CN101795361A - 用于基于两个影像的匹配进行深度估计的二维多项式模型 - Google Patents

Abstract

本发明公开了用于基于两个影像的匹配进行深度估计的二维多项式模型。提供了用于电子地估计相机(照相机和/或视频摄像机)与物体之间的聚焦距离的装置和方法。校准目标的不同聚焦位置处的图像与物体位置之间的距离一起被收集。一方面，执行直方图匹配以减少噪声误差。然后，响应于检测到校准目标的连续图像之间的模糊差异来生成聚焦匹配模型。优选地，将聚焦匹配模型转换为所希望次数的多项式等式，以平滑掉图像采集噪声。聚焦匹配模型被存储以供在操作期间访问。在使用中，通过捕获图像、检测图像之间的模糊差异并且将模糊差异信息输入匹配模型，来估计出到对象的距离。

Description

用于基于两个影像的匹配进行深度估计的二维多项式模型

技术领域

本发明一般涉及图像捕获，并且更具体地涉及用于基于两个影像的匹配进行深度估计(depth estimation)的相机的方法和装置。

背景技术

一种用于捕获所希望图像的重要度量是图像被适当地聚焦。已开发出了用于估计或获得适当的相机聚焦的多种系统。由于相机镜头系统具有多种相关元件和特性，因此，下面简要讨论这些元件及其关联特性。

通常，摄影镜头的两个主要光学参数是最大光圈和焦距。焦距确定了视角，以及离物体给定距离(物距)时图像相对于对象(物体)的大小。最大光圈(f光圈系数或f光阑)限制了图像的明度以及可用于给定设置(焦距/有效光圈)的最快快门速度，其中，较小的数值表明较多的光被提供给焦平面，焦平面在简单的数码相机中通常可以被认为是图像传感器的表面。

一种形式的典型简单镜头(在技术上，为具有单个元件的镜头)具有单个焦距(亦称为“定焦镜头”)。在利用单焦距镜头对相机聚焦时，使镜头与焦平面之间的距离改变，其中，将拍摄物体的焦点变动到该焦平面上。因此，虽然单焦距镜头具有固定的光学关系和焦距，然而，其在相机中用来在聚焦范围跨度内对物体聚焦。因此，不应当将镜头的固定聚焦距离(focal distance)与可利用该镜头在相机上获得的聚焦距离的范围相混淆，从而调节该镜头相对于焦平面的位置以改变聚焦距离。

在使用单焦距镜头时，要相对于所希望的快门速度调节光圈以选择光量，并且随后根据物距(亦称为聚焦距离)来调节聚焦，然后捕获图像。对单焦距镜头的宏设置被提供有不同的焦距选择，以用于获取特写镜头(close-up shot)。远摄镜头在高的放大倍率下提供非常窄的视角，用于利用来自远处的对象的图像填充画幅(frame)。

多焦距镜头通常称为“变焦”镜头，这是因为可以根据具体情况来使图像放大倍率“缩放”或“还原”。变焦镜头允许用户选择物体的放大量，或者换言之，允许用户选择物体填充画幅的程度。明白这些镜头的变焦功能或相机镜头系统在概念上是与聚焦控制和光圈控制分开的是很重要的。

无论使用单焦距镜头还是多焦距镜头，都需要针对给定的物距对镜头进行适当地聚焦。针对给定聚焦设置的可接受聚焦范围称为“景深”，其是对对象空间或物体空间中的可接受清晰度的深度的一种度量。例如，对于15英尺的物距，高清晰相机的可接受聚焦范围可能在英寸的量级，而最优聚焦甚至可能要求更精确。将会理解，景深随着聚焦从中间距离朝向“无穷远”移动而增加(例如，捕获远处的山、云等的图像)，当然，在该范围处，具有无限的景深。

对于具有给定光圈设置的单焦距镜头，对于从相机到物体的给定距离(物距)存在单个最优聚焦设置。物体上比相机的聚焦距离近或远的部分由于影响景深的许多因素，而将显现在经过了某种模糊测度的捕获图像中。然而，在多焦距镜头中，对于可由镜头获得的每个镜头放大倍率(镜头焦距)，存在最优聚焦点。为了增加实用性，镜头制造商大幅减少了响应于变焦设置进行重新聚焦的需要，然而，重新聚焦的必要性取决于所使用的具体相机镜头系统。另外，可能需要响应于不同程度的变焦放大倍率，来改变光圈设置。

最初，仅响应于操作者的识别和手动聚焦调节来确定和校正相机的聚焦。然而，由于聚焦对结果的关键本质，毫不迟疑地采用了聚焦辅助。近来，成像设备通常提供对物体进行自动聚焦的能力，即，现在通常称为“自动聚焦”的功能。由于许多现有自动聚焦机构的每种都具有缺陷和短处，因此，聚焦将继续成为技术开发的热点。

存在两种常见类型的自动聚焦(AF)系统，即，有源自动聚焦和无源自动聚焦。在有源自动聚焦中，将一个或多个图像传感器用来确定到焦点的距离，或者以其它方式检测图像捕获镜头系统外部的焦点。尽管有源AF系统通常不会通过窗口聚焦，或者在其它具体应用中，由于声波和红外光被玻璃和其它表面反射，使得有源AF系统可以执行快速聚焦。在无源自动聚焦系统中，所观看到的图像的特性被用来检测和设置焦点。

大多数高端LSR相机目前使用透过镜头光学AF传感器，这些AF传感器例如还可以用作光测量仪。这些现代的AF系统的聚焦能力通常可以比通过普通取景器手动获得的聚焦具有更高的精度。

一种形式的无源AF使用相位检测，例如通过光束分离器将进入光分为图像对并且在AF传感器上将它们进行比较。两个光学棱镜捕获来自镜头相对侧的光线并且将其转移到AF传感器，这产生了具有与镜头直径相等的基线(base)的简单测距仪。响应于检查出类似的光强模式来确定聚焦，并且相位差被计算来判断对象是在聚焦位置前面还是在适当的聚焦位置后面。

在另一类型的无源AF系统中，通过镜头在感测区域内进行对比度测量。该系统调节聚焦以使相邻像素之间的强度差异最大化，强度差异通常表示正确的图像聚焦。因此，在获得了最大程度的对比度之后执行聚焦。这种形式的聚焦慢于有源AF，尤其是当在弱光下进行操作时，然而是低端成像设备中所使用的一种普遍方法。

无源系统在低对比度条件下，特别是在单色表面(固体表面、天空等)上或在低光照条件下时进行聚焦判定的能力极差。无源系统取决于对物体的一定的照明程度(是自然的还是以其它方式的)，而有源系统即使在完全黑暗时也可以按照需要正确地聚焦。

因此，存在对在较宽范围的条件下提供快速且准确的物距估计和/或聚焦控制的经改进的自动聚焦技术的需求。本发明满足了该需求以及其它需求，并且克服了先前的相机聚焦技术的缺点。

发明内容

描述了基于模糊差异和多影像匹配的相机深度估计方法。该方法计算在不同聚焦位置处捕获的图像之间的模糊差异。这种模糊差异根据与对象图像有关的镜头焦点和位置而变化，根据本发明，可以利用至少二维的多项式模型来近似与对象图像有关的镜头焦距和位置。例如利用阶跃边缘图像序列，或者利用用于记录适当焦距的类似的便利校准图像机构来对模型进行校准，然后模型被用来计算给定图像采集装置的一般图像的深度。因此，将校准目标或物体用在特性化处理中，其中，确定并建模相机和镜头系统的聚焦特性，或者更恰当地表达为模糊特性，以供在相机操作期间使用。

这里的讨论主要针对具有单焦距镜头的相机，然而，本技术也可应用于多焦距镜头(例如，“变焦”镜头)，如在本说明书结尾处将讨论的。将理解，除自动聚焦以外，这里教导的深度估计在包括计算机/机器人视觉、监视、3D成像以及类似图像系统在内的领域中具有许多应用。

根据本发明的一般性描述，针对在整个聚焦范围内或在其所希望部分内的不同距离处的校准图像(例如，阶跃边缘图像)来获得匹配曲线。然后，创建多维(例如二维)模型(优选地，多项式模型)来表示匹配曲线。然后，当针对给定装置计算出了一般图像的模糊差异后，将二维多项式模型用于深度估计。

一般地描述了与说明书有关的下面的术语，并且不应将这些术语解释为约束说明书中的具体陈述。

术语“直方图”是描述制成表格的频率的图形显示的统计术语，并且一般地，以离散条状或跨越一范围的方式来按比例示出落入若干类别的每类中的案例数。

用于建模匹配曲线的术语“多项式”是多项式函数，例如具有常见的一维形式的多项式函数：

y＝a_nxⁿ+a_n-1x^n-1+...+a₂x²+a₁x¹+a₀

其中，n是定义多项式次数的非负整数。注意，具有次数3的多项式是三次式，具有次数2的多项式是二次式，具有次数1的多项式是线性的，并且具有次数0的多项式是常数。多项式等式可以用来对较宽范围的根据经验确定的关系进行建模。

这里使用的术语“卷积”描述一种数学操作，即操作两个函数以产生通常被认为是原始函数之一的修改版的第三函数。通常，第二函数被反转并且覆盖第一函数的一部分，以便更适当地建模给定数据集。

术语“点分布函数”(PSF)描述成像系统对点源或点对象的响应，这通常也称为脉冲响应，例如在阶跃边缘处见到的。在此上下文中，点对象的散布(模糊)程度是对成像系统的聚焦质量的量测。

术语“异常值”是表示经验数据集中的一个或多个观测在数值上与数据集的其余部分不同或相偏离的统计术语。尽管在任何较大的采样集合中希望少量的异常值，然而，异常值点可能表示系统性缺陷、错误数据等。尝试建模包括“异常值”的数据集可能产生误导性的模型，其中，当确定这些异常值未适当地表示潜在函数的特性时，通常将它们丢弃。

可修改本发明以通过多种方式来体现，包括但不限于下面的描述。

本发明的一个实施例是用于电子地捕获图像的装置，该装置包括：(a)成像设备(例如一个或多个电荷耦合器件(CCD)、互不金属氧化物半导体(CMOS)成像元件等)；(b)被耦合到成像设备的聚焦控制元件；(c)被耦合到成像设备和聚焦控制元件的计算机处理器；以及(d)至少一个存储器，被配置用于保存从成像设备捕获来的图像，并适合于保存可在计算机上执行的程序；(e)至少一个多维聚焦匹配模型，该模型是针对所述装置响应于对不同焦距处的校准目标成像而获得的并且被保存在所述存储器中；以及(f)程序，该程序可在计算机上执行来捕获多个对象图像，并且基于将在对象图像之间检测到的模糊差异输入到多维聚焦匹配模型中，响应于对对象图像执行深度估计，来自动地调节装置的聚焦控制元件。应当理解，装置包括至少一个静止图像捕获设备、视频图像捕获设备或者静止图像与视频图像捕获设备。还应理解，优选地，利用计算机来执行校准，其中，可以由计算机来计算多项式系数，以供存储在给定相机或给定实施例的相机中。在优选实施例中，然后在相机中实现深度估计和聚焦控制。

在本发明的一个实施例中，聚焦匹配模型(例如，多维聚焦匹配模型)被投射为对聚焦匹配曲线建模的多项式函数，聚焦匹配曲线是响应于对相机的聚焦范围中的校准目标成像而获得的。应注意，聚焦匹配模型是针对给定实施例的相机装置的成像设备(例如，型号、类型或配置)(和/或镜头系统)来确定的，并且表示模型的信息存储在至少一个存储器中，该存储器的内容可由相机内的计算机处理器元件取回。

在本发明的一个实施例中，在计算模糊差异之前计算直方图匹配。直方图匹配包括均衡化，其中，响应于使在不同物距处捕获的影像之间的误差最小化，而在直方图之间转移最接近亮度的像素。然后，通过线性直方图匹配函数来近似这种处理。

本发明的一个实施例是用于估计从相机(物镜)到物体的聚焦距离的装置，包括：(a)与相机的成像设备集成在一起或被配置为连接到相机的成像设备的计算机(例如，相机设备内的计算元件)；(b)至少一个存储器，被配置用于保存所捕获的图像，并且保存可在计算机上执行的程序；(c)针对所述装置响应于对不同焦距处的校准目标成像而获得的至少一个多维聚焦匹配模型，所述多位聚焦匹配模型被保存在所述存储器中；(d)程序，该程序可在所述计算机上执行以用于基于如下操作，响应于执行深度估计来自动地估计出适当的聚焦距离(例如，自动聚焦)：(i)捕获多个对象图像，(ii)确定多个对象图像之间的模糊差异，以及(iii)将模糊差异输入多维聚焦匹配模型中以生成对物体的聚焦距离的估计。应当理解，该装置被配置为包括在照相机、视频摄像机或者精致相机与视频摄像机的组合设备中。上面的聚焦匹配模型可以被创建并用于单焦距镜头，或者另外地，在使用多焦距(变焦)镜头系统时用于在放大倍率范围内摄取数据。

在本发明的一个方面中，聚焦匹配曲线的二维模型是基于模糊差异的，模糊差异是响应于校准物距的相机在相机和/或镜头系统的至少一部分聚焦范围或更优选的整个聚焦范围中移动时引起的对比度改变而确定的。因此，图像被捕获时的聚焦设置以及在这些图像之间检测到的模糊差异量被用来估计实际的物距或者物体离相机的深度。在本发明的一个实施例中，生成聚焦匹配曲线的二维模型包括：(i)将从第一位置到第二位置的模糊变化建模为点分布函数；(ii)在第一和第二位置之间的中间位置处估计模糊改变，并且判断哪个图像更尖锐；以及(iii)响应于当在相机的至少所希望部分的聚焦范围内，或者优选地在整个聚焦范围内采集图像序列时所执行的步骤(i)和(ii)来生成聚焦匹配模型，这些聚焦范围使得图像之间的模糊差异被包括在聚焦匹配模型中。

在本发明的一个模式中，执行直方图匹配处理，以用于移除或消除响应于物理相机和环境变化(例如，光照变化、快门定时变化、定位波动等)而在连续聚焦位置之间产生的失配，以使得可以基于模糊更准确地确定距离。将理解，在最初生成聚焦匹配模型时，可以对校准目标的图像执行直方图匹配处理，并且此外，在相机设备中，作为在确定模糊差异之前的步骤，可以对被捕获用于聚焦匹配模型的图像执行直方图匹配处理。

在至少一个优选实施例中，聚焦匹配模型被投射为多项式函数，其平滑聚焦位置之间的曲线以便减少失配噪声。优选地，基于所希望的图像应用以及所使用的镜头和相机系统的性质来选择多项式。作为示例而非限制，多项式函数可以是双二次函数、双三次函数等。

本发明的一个实施例是一种物体聚焦深度的自动相机估计方法，包括：(a)响应于检测到在不同聚焦距离处捕获的校准物体的多个图像之间的模糊差异，存储多维聚焦匹配模型；(b)捕获多个对象图像；(c)确定多个对象图像之间的模糊差异；以及(d)响应于将多个对象图像之间的模糊差异输入到多维聚焦匹配模型中以生成对到物体的聚焦距离的估计，从而估计出聚焦深度。该方法可以被包括在任何形式的具有画幅捕获能力的成像系统中，例如照相机、视频摄像机、或者照相机与视频摄像机的组合。

在本发明的一个方面，所捕获图像之间的模糊差异是响应于确定当校准物体与相机之间的距离改变时引起的已知校准目标(例如，特定的固定状态或图形)的对比度差异改变而确定的。图像被捕获时的聚焦距离以及这些图像之间的模糊差异量被用来通过聚焦匹配模型估计实际的物距或深度。

本发明的一个实施例是包含了可在计算机(例如，集成在相机设备内)上执行的计算机程序的计算机可读介质，该计算机被配置来响应于如下步骤自动地估计物体的相机聚焦深度，所述步骤包括：(a)存储响应于针对不同焦距处的校准物体生成的模糊差异信息而创建的聚焦匹配模型；(b)捕获至少两个不同聚焦位置的图像；(c)计算所捕获图像之间的模糊差异；以及(d)响应于将所捕获图像之间的模糊差异输入聚焦匹配模型并且求解该模型以生成对到物体的距离的估计，从而估计出物体的深度。更具体地，将理解，模型被用于求解获得对到物体的距离的估计的输入。因此，将理解，可将本发明构建为成像装置(例如，电子照相机和/或视频摄像机)、成像设备的控制装置，或者用于在成像系统内估计物距的方法，优选地，成像系统例如是包含计算机处理元件和用于保存可在计算机上执行的程序的存储器的成像系统。

本发明提供了多个有益方面，在不脱离本教导的情况下，可以单独地或者以任何所希望的组合来实现这些有益方面。

本发明的一个方面是一种用于通过在多个聚焦点处对相机透镜系统进行特性化期间捕获并匹配多个图像，来估计到物体的距离(物距或者相机聚焦距离)的方法。

本发明的另一方面是使用距离估计来在相机系统内估计焦距，或者控制焦距调节。

本发明的另一方面是物距估计方法，其可以通过至少输入表示在给定物距处拍摄图像时的至少两个聚焦设置的图像来估计距离。

本发明的另一方面是物距估计方法，其特性化给定装置的模糊差异，并且然后，当针对给定物距存在不同的模糊程度的至少两个图像被提供时，则将该特性用来估计物距。

本发明的另一方面是物距估计方法，其仅需使用用于估计物距的两个图像输入，尽管可以按照需要将其它输入用来增加估计准确度，或者用于相继和/或连续的估计。

本发明的另一方面是物距估计方法，其中，具有不同聚焦设置的多个图像被捕获作为具有固定物距的图像，并且来自这些图像的模糊信息被插入聚焦匹配模型中，针对距离来求解该模型以生成对实际物距的估计。

本发明的另一方面是采用多项式模型来表示经验聚焦匹配模型的物距估计方法或装置。

本发明的另一方面是这样的直方图匹配方法，其中，像素从一个直方图被顺序地转移到另一直方图，以均衡另一直方图中最接近亮度的像素，从而减小因不希望的物理和环境变化而引入模型中的噪声的影响，并且该方法通过线性匹配函数来近似。

本发明的另一方面是这样的物距估计装置和方法，其可被用于单焦点镜头、离散焦点镜头(例如，正常设置和宏设置)或者连续变化焦点的镜头(例如，变焦镜头)。

本发明的另一方面是这样的物距估计装置和方法，其中，可以针对相机的每个离散的放大倍率设置，或者在沿着连续变化的放大倍率(变焦)范围递增的位置处生成聚焦匹配模型。

本发明的又一方面在于深度估计和聚焦可被确定用于被配置来捕获不同聚焦和变焦设置处的图像的宽范围成像装置(例如，照相机和/或视频摄像机设备)。

将在本说明书的下面部分中描述本发明的其它方面，其中，详细描述是为了充分公开本发明的优选实施例而非对其进行限制。

附图说明

通过参考仅用于说明的目的的附图将更全面地理解本发明，在附图中：

图1是根据本发明一个方面在多个聚焦位置处捕获多个图像的示图。

图2A-2B是根据本发明一个方面对校准目标(例如，结缘边缘)图像的比较。

图3是根据本发明的一个方面用于计算三次迭代中的模糊差异的示图。

图4是根据本发明的一个方面采集的匹配曲线的曲线图，并且示出了所包含的异常值和噪声。

图5是根据本发明的一个方面的连续物距之间的失配的直方图。

图6是示出了图5所示的直方图的一部分的放大直方图。

图7是示出了在根据本发明的直方图匹配之前和之后的匹配曲线的曲线图。

图8是示出了在根据本发明一个方面的直方图匹配之前和之后的十五条匹配曲线的曲线图。

图9是示出了根据本发明一个方面的双二次拟合的使用的匹配曲线的曲线图。

图10是示出了根据本发明一个方面的双三次拟合的使用的匹配曲线的曲线图。

图11是根据本发明一个方面的校准的流程图。

图12是根据本发明一个方面基于两个影像匹配的相机深度估计的流程图。

图13是根据本发明一个方面的直方图匹配的流程图。

图14是根据本发明的一个方面被配置用于执行深度估计的图像捕获装置的框图。

具体实施方式

更具体地参考附图，为了说明的目的，将本发明体现在图1至图14中一般地示出的装置中。将理解，在不脱离这里公开的基本概念的情况下，可以使装置的配置和各部分的细节改变，并且可以使方法的具体步骤和顺序改变。

1.模糊差异

图1图示出了实施例10，其中，在采集给定成像装置(例如，在特定实施例中，利用相同/类似的光学成像元件来制作或建模相机或相机系列)的数据集时，在不同聚焦位置(物距)处将多个图像捕获作为校准目标(或校准物体)。采集数据集包括：对给定放大倍率设置(固定焦距处的镜头、变焦设置)中的相机镜头系统进行特性化处理。示出了成像设备(相机)12，其可以进行从最小聚焦距离14到无限远处16的聚焦。示出了最小聚焦距离14(例如，在此情况中，为35cm)以及无限远处16的聚焦。根据本发明，焦点沿着聚焦路径(focal path)24会聚到校准目标22上的第一焦点位置18，并且随后会聚到第二焦点位置20，校准目标22例如是阶跃边缘型图像、石板、方格图或具有已知光学特性的类似对象。

作为示例而非限制，将索尼DSC-R1相机在这里用来图示出发明方法，然而本领域技术人员将会理解，还可以将该方法与其它数字照相机和/或视频摄像机一起使用。这种相机的聚焦距离在最小聚焦距离(例如，对于索尼DSC-R1为35cm)到无限远之间的范围内。

图2A示出了物体32处于聚焦状态的情况30，其中，所捕获图像是最清晰的，如鲜明对比度曲线34(也称为阶跃边缘的“边缘轮廓”)所表示的。将会理解，优选地，校准目标或物体提供了用于简单地基于对比度确定聚焦锐度的途径。例如，在阶跃边缘型对象中，在至少两种颜色、形状、亮度之间绘出了清晰的阶跃边缘轮廓，其中，可以从对比度轮廓的锐度容易地确定聚焦的锐度。本领域技术人员将会理解，可以以多种不同方式中的任一种，按照与在测试视频捕获和输出的不同方面时使用不同色度键和色带图类似地方式来配置对象。

图2B示出了当镜头远离“焦点对准”位置时对象38的图像变得越来越模糊的情况36，其中，示出了所得到的倾斜对比度曲线40。通常，当两个影像是在两个不同的聚焦距离处摄得时，更接近物距时所摄得的一个影像比另一个尖锐。摄取影像的聚焦距离以及这两个影像之间的模糊差异量可以用来估计实际的物距或深度。

假设两个影像f_A和f_B是在位置A和B处摄得的，其中，f_A比f_B尖锐。可以通过如下的点分布函数P来对模糊改变进行建模：

f_A*P＝f_B

其中，*表示二维卷积。另外，可以利用通过模糊核K进行的一系列卷积来近似点分布函数P。

P＝K*K*...*K                 (1)

对于一个测试例，核K被选为

$K=\frac{1}{48}\left(\begin{array}{ccc}1& 4& 1\\ 4& 28& 4\\ 1& 4& 1\end{array}\right)---\left(2\right)$

根据此，f_A和f_B之间的模糊差异量可以通过等式1中的卷积数目来测得。在实际实现时，更可取地是利用迭代处理来获得模糊差异。

图3图示出了迭代处理，这里以在影像f_A(左边)和影像f_B(右边)之间执行的三次迭代为例。

图4示出了针对被置于固定距离(例如100cm)处的阶跃边缘图像获得的匹配曲线。序列中的第一影像是在无限远的聚焦距离处摄得的，然后，每当镜头移动以在一更接近的景深处聚焦时就摄得一个影像，直到聚焦距离达到最小聚焦距离为止。该影像序列用f₀，f₁，...，f_N-1表示，其中，N是序列长度。实际上，为了确保序列覆盖整个聚焦范围，优选地，f₀开始于比无限远稍远的距离，而f_N-1比所指定的最小聚焦距离稍近。这些结果是利用被配置有用于控制相机步骤和序列的软件的DSC-R1相机获得的。

对于给定的聚焦深度(focal depth)，为了找到迭代数与聚焦位置之间的关系，针对相机的整个聚焦范围来摄取影像序列，相机的整个聚焦范围可以用来计算出每两个影像之间的模糊差异。

应当理解迭代意味着什么，尤其是负的迭代数意味着什么，如在某些附图(例如图4)中可见的。正的迭代数表示f_i比f_i+1尖锐。跌代数的绝对值利用等式

来计算。另一方面，如果跌代数为负，则这表示f_i+1比f_i尖锐。在此情况中，跌代数的绝对值由给出。注意，‖·‖₂表示L₂范数。还应当认识到，在不脱离本发明的情况下，可以利用其它的误差测量方法。然而，应当注意，当摄得两个影像时，并不知道f_i或f_i+1中哪个更尖锐的先验(priori)。因此，方法被配置来计算下面的等式3和等式4。

如果I₁大于I₂，则f_i比f_i+1尖锐，其中，迭代数的值(如图4所示)将为I₁。另一方面，如果I₂大于I₁，则f_i+1比f_i尖锐，并且迭代数的值(例如，如图4所示)将为-I₂。如果I₁和I₂相等，则比较误差：

以及

如果e₁小于e₂，则f_i比f_i+1尖锐；反之，e₂较小，则其中，f_i+1比f_i尖锐。

图4示出了深度为100cm时的跌代数与聚焦位置之间的关系。计算出每两个影像f_i和f_i+1(i＝0，...，N-2)之间的模糊差异。“影像编号”轴表示计算出了其跌代数的图像对。例如，影像编号0表示计算出了f₀和f₁之间的跌代数。可见，当镜头聚焦位置移离物距时，迭代数的绝对值增加。过零点在物体对准焦点的地方。

图5和图6比较了来自图4的影像138和139的直方图，其中，记录了明显的失配。将理解，在基于模糊准确地计算出物距之前应当移除这种失配。

2.直方图匹配

为了校正失配，优选地通过修改一个直方图以与另一个相匹配来执行匹配过程。将理解，可以使用简单的线性匹配函数，尽管还可以使用其它函数。从一个直方图顺序地转移像素，以均衡另一直方图中最接近亮度的像素数。响应于两个直方图之间像素的转移，例如利用最小平方误差解决方案来确定匹配函数。此后，在执行聚焦匹配之前，将直方图匹配函数应用到两个影像。

图7和图8示出了不同物体深度的迭代曲线，其中，在聚焦匹配之前未应用直方图匹配的迭代曲线如实线所示，应用了直方图匹配的迭代曲线如虚线所示。图7示出了单个示例，而图8示出了15种不同距离时的迭代曲线。图8的绘图是通过将阶跃边缘分别置于如下距离处生成的：无限远、1000、500、300、200、150、125、100、80、70、60、50、45、40和35cm。迭代数I可以被写为聚焦距离L与物体深度D的函数F。

I＝F(L，D)                (5)

其中，L和D都是通过影像编号测得的，影像编号在物理上表示从无限远处或者从影像0被定义的地方测得的景深的数值。深度估计是在给定数I和L的情况下确定D的处理。基于图8所示的数据，将等式5用来建模深度估计。

图4、图7和图8所示的数据清楚地显示了明显的信号噪声。例如，在图4-6中，在影像编号139处可看到明显的异常值(outlier)。这些异常值的源可能包括捕获处理期间的光圈变化和光照条件的改变，以及其它物理上的相机和环境的变化。

将理解，考虑到在这些附图中所见的失配，在计算模糊差异之前向图像应用直方图匹配技术。令h₁和h₂分别表示两个不同图像f₁和f₂的直方图。将h₁当作基准直方图，并且将h₂当作要被修改得与h₁相匹配的直方图，其中，下面的步骤被执行。

(1)生成像素映射矩阵w(i，j)。

(2)对于从0到最大灰阶M范围内的每个i和j，设置w(i，j)＝0。

(3)找到满足h₁(i)＞0的最小i，并且找到满足h₂(j)＞0的最小j。

(4)如果h₂(j)≥h₁(i)，则设置w(i，j)＝h₁(i)，通过h₂(j)←h₂(j)-h₁(i)来更新h₂(j)，并且设置h₁(i)＝0。

否则，如果h₂(j)＜h₁(i)，则设置w(i，j)＝h₂(j)，通过h₁(i)←h₁(i)-h₂(j)来更新h₁(i)，并且设置h₂(j)＝0。

然后重复步骤3和4直到对于所有灰阶h₁和h₂都变为0为止，其响应于两个影像具有相同的像素数而发生。

在创建了映射矩阵w(i，j)之后，例如利用加权最小平方回归方法来构建线性匹配函数H(x)＝ax+b，其中，如下这样来计算a和b：

$b=\frac{\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}w(i,j)\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}\left[w(i,j)\mathrm{ij}\right]-\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}\left[w(i,j)i\right]\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}\left[w(i,j)j\right]}{\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}w(i,j)\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}\left[w(i,j)j^2\right]-{\left(\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}w(i,j)j\right)}^2}---\left(6\right)$

$a=\frac{\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}\left[w(i,j)i\right]-b\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}\left[w(i,j)j\right]}{\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}w(i,j)}---\left(7\right)$

矩阵w(i，j)通常是稀疏矩阵。在该方法的一个实施例中，仅存储非零值及其位置以提高存储器和计算的效率。

在执行两个图像的模糊匹配之前将直方图匹配函数H(x)应用于f₂的每个像素。图8示出了直方图匹配的结果。

应当理解，直方图匹配的主要目的是移除异常值。即使在执行了匹配过程之后，可以看出，匹配曲线仍然显示出明显的噪声。因此，在执行了匹配之后，根据多项式模型来对曲线建模。

3.二维多项式模型

可以利用诸如二维(2-D)多项式函数之类的多维多项式函数来近似上述的匹配曲线，以在移除图4至图8中所见的大部分失配噪声时辅助计算。

在这种模型中，迭代数是镜头位置和对象距离的函数。例如响应于使用最小平方误差二维多项式拟合算法来确定系数。二维多项式被用来对等式5的模糊迭代函数进行建模。

$I=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}C(i,j)L^i{D}^j---\left(8\right)$

利用在T.B.Deng的“Liner Approach to the Least-SquareMultidimensional Polynomial Fitting”，Proc.IEEE International Conference onInformation，Communication and Signal Processing，Singapore，1997年9月中描述的方法来确定系数C(i，j)。

多项式的次数m和n是利用特定镜头和应用来选择的。图中示出了双二次(m＝n＝2)和双三次(m＝n＝3)多项式的示例。

作为第一示例，双二次函数系数可以用来近似拟合算法。作为示例而非限制，对于双二次近似，可以用如下的3×3矩阵来表示曲线：

C(i，j)＝

-5.268385e+00       1.014786e+01     -3.073324e-02

-9.677197e+00       -1.522669e-02    3.695552e-04

3.325387e-02        -2.438326e-04    -3.833738e-07

图9是虚线所示的双二次拟合曲线与实线所示的匹配数据相的比较。双二次曲线拟合的平滑线与以经验为根据收集的匹配数据的锯齿状线形成鲜明对比。可见，多项式提供了与实线所示的匹配数据的充分匹配。

作为第二示例，可以将双三次函数系数替代地用来近似拟合算法。作为示例而非限制，对于双三次近似，可以用如下的4×4矩阵来表示曲线：

C(i，j)＝

-2.096603e+01    1.414987e+01    -1.356138e-01   5.802068e-04

-1.074841e+01    -1.387527e-01   4.771262e-03    -2.600512e-05

8.499311e-02     -4.243161e-04   -3.456327e-05   2.485215e-07

-3.199641e-04    6.471844e-06    5.348240e-08    -6.416592e-10

图10示出了虚线所示的双三次拟合曲线与实线所示的匹配数据的比较。可见，该双三次多项式提供了比图9所示的双二次拟合略微更接近的匹配。

4.深度估计

通过等式5所示的模型，容易实现深度估计方法。首先，以位于一景深内的聚焦位置之间的距离捕获不同聚焦位置处的两个图像。注意，此时不知道物距，因为物距正是所要估计的。处理所用的两个影像可以在任意距离处捕获，只要这两个影像的聚焦位置之间的差值为一景深即可。可选地，可以在确定模糊差异之前对所捕获的图像信息执行诸如直方图匹配之类的噪声处理。通过等式2-4来计算所捕获图像之间的模糊差异，并且等式5变为单变量多项式等式。对多项式等式求解D，产生了估计出的对象的深度，亦称为物距。应当注意，可以以诸如整数或浮点数之类的任何所希望格式来配置D。对于自动聚焦应用，镜头可以被移动以在估计出的距离D处聚焦，并以相同的方式估计新的深度。可以重复这种过程直到迭代数收敛到0或某个所希望阈值之下为止。应当理解，对于变化的焦距和光圈，可以将这种算法扩展为更高维度的多项式模型。

5.对方法和装置的一般性描述

图11图示出了例如将由诸如相机之类的给定成像设备的制造商执行的校准实施例。在块50，获得用于在不同焦距处的阶跃边缘图像的匹配曲线。作为多维多项式模型的示例，随后根据块52创建二维模型来表示匹配曲线。在该校准处理之后，诸如模型的多项式系数之类的模型的表示被存储54，例如被编码在相机设备的非易失性程序存储器中。

图12图示出了根据本发明在相机设备内将多维多项式模型用于深度估计的实施例。在校准处理(图11)之后，则该模型可以用于在特定相机设备内估计对象深度。如块60所表示的，在不同聚焦位置处捕获两个图像(例如，摄取影像)。优选地，根据块62对图像执行直方图匹配。随后在块64中计算模糊差异。此后，在块66中将多项式模型用于基于模糊差异以及捕获两个图像的聚焦位置来估计深度。

应当理解，可以根据本发明执行一系列的深度估计。例如，如果与相机聚焦调节相配合来使用该方法，则在调节相机焦点时，可以收集另外的图像输入并且再次(或连续地)执行距离估计处理，以便当物距估计与实际物距匹配时，由于相机接近适当焦点而提供越来越高的准确度。

为了简化聚焦匹配模型并且平滑响应，希望消除因物理的相机要素(例如，光圈变化、光学元件电能和温度变化、机械镜头设置波动等)和环境因素(即，光照、运动、温度、位置等)改变引起的误差。虽然在确定模糊差异之前直方图匹配处理移除了一些噪声源，然而，仍然存在测得的可消除噪声，如在图7中所见的。为了移除另外的噪声，优选地，例如采用可用于深度估计的所希望次数(例如，2，3或4次)的多项式函数，来将响应于校准处理而确定的聚焦匹配模型本身投射(cast)为充分平滑的数学表示(函数)。因此，函数(例如，多项式函数)被选来替代基于根据经验收集的数据而创建的模型。当然，替代函数必须提供与经验数据充分匹配(拟合)的曲线，以便使得模型的使用将提供足够准确的距离估计。

例如，给定镜头位置和迭代数，则二维多项式等式变成单变量等式。本发明的各方面将单变量等式的示例描述为可在一步中求解的二次或三次等式。还应当理解，可以按需将算法扩展为更高维度的多项式函数，例如以供与不同的焦距和光圈一起使用。

图13图示出了如图12的块62中所见的直方图匹配处理，优选地，该处理在计算模糊差异之前被执行来移除噪声。如块72所示，生成用于在不同聚焦位置处获得的两个影像的直方图。根据块72，顺序地从一个直方图转移像素，以均衡另一直方图中最接近亮度的像素数。如块74所示，利用最小平方误差解决方案来确定直方图匹配函数。应当认识到，为了简化起见，优选地，一维线性函数被选择用于这种直方图匹配函数。应当认识到，直方图匹配函数与聚焦匹配函数是不同的且有区别的，后者是二维多项式函数。

图14图示出了被配置用于根据本发明的深度估计的图像捕获设备(相机)90的示例实施例90。聚焦/变焦控制装置94被示为在计算机(CPU)96的控制下耦合到成像光学器件92。计算机96响应于来自存储器98和/或辅助存储器100的所运行指令，来执行深度估计方法。作为示例示出的相机设备(例如，视频或静止)有图像显示装置102和触摸屏104，然而，将理解，根据本发明的方法还可以在配置有聚焦控制装置、聚焦指示器或其组合的各种图像捕获设备上实现。应当理解，生成了例如由多项式系数定义的模型的校准处理(例如图11)由受计算机控制的测试装置来执行。作为对比，深度估计和聚焦控制应当在如图14所示的相机或类似成像设备中实现。

对于改变镜头焦距(亦称为放大倍率)的变焦控制或其它装置的使用，应当理解，优选地，根据本发明在相机和/或镜头系统的可应用变焦范围内来对其进行特征化。例如，按照对如下情况中的所设置的镜头的每个离散焦距所述的那样来执行对相机和/或镜头的特征化：在具有离散镜头选择的相机中，或者在沿着具有连续可选变焦控制的相机的变焦范围的递增步骤中。以这种方式，可以针对如上所述的单焦距镜头或者针对具有连续范围(例如，变焦)或不连续范围(通常称为离散范围)(例如，正常/宏设置或其它可选范围设置)的多个范围的镜头来执行到物体的距离的估计。在前一种选择中，描述了将2维多项式模型扩展到更高维度，其提供了各种焦距(不同变焦位置)和光圈。作为示例而非限制，可以将等式(5)写为I＝F(L，D，Z，A)，以提供四维的多项式模型，其中，Z是焦距，A是光圈。

虽然上面的描述包含多个细节，然而，不应当认为这些细节是限制本发明的范围的，而仅提供了对本发明当前的一些优选实施例的说明。因此，将理解，本发明的范围完全包括本领域技术人员可能想到的其它实施例，并且本发明的范围仅由所附权利要求书来限定，其中，除非明确说明，否则对单数元件的引用不希望是指“一个以及仅一个”而是指“一个或多个”。本领域技术人员所知的与上述优选实施例的元件等同的结构和功能通过引用明确包含于此，并且希望被本权利要求所包括。此外，本权利要求书所包括的设备或方法不必解决企图由本发明解决的每个问题。此外，不希望本公开中的元件、组件或方法步骤被视为贡献给公众，无论元件、组件或方法步骤是否在权利要求书中明确阐述。这里要求包含的元件不认为是在35U.S.C.112第6款的规定下的元件，除非利用短语“用于...的装置”进行了清楚地阐述。

版权声明

本专利文献中的一部分资料受到美国及其它国家的版权法的版权保护。版权所有者不反对任何人对如出现在专利和商标局的专利文件或记录中的本专利文献或专利公开的任一个进行复制再现，但是无论怎样版权所有者都保存所有版权权利。版权所有者不因此而放弃维持本专利文献的保密性的任何权利，包括不限制根据37C.C.R.§1.14的其权利。

Claims (20)

1.一种电子地捕获图像的装置，包括：

成像设备；

耦合到所述成像设备的聚焦控制元件；

计算机处理器，被耦合到所述成像设备和所述聚焦控制元件；

存储器，被耦合到所述计算机处理器，并且被配置用于保存从所述成像设备捕获来的图像并且保存可由所述计算机处理器执行的程序；

保存在所述存储器中的多维聚焦匹配模型，其中，所述模型是基于不同焦距处的成像校准目标的；以及

可由所述计算机处理器执行的程序，以用于执行如下步骤：

(i)捕获多个对象图像，并且

(ii)基于将在图像之间检测到的模糊差异输入到所述聚焦匹配模型中，响应于执行了对所述对象图像的深度估计，来自动地调节所述聚焦控制元件。

2.如权利要求1所述的装置，其中，所述成像装置包括照相机、视频摄像机、或者照相机与视频摄像机的组合。

3.如权利要求1所述的装置，其中，所述聚焦匹配模型使用多项式函数来减少失配噪声。

4.如权利要求3所述的装置，其中，所述多项式函数的系数被存储在存储器中。

5.如权利要求1所述的装置，还包括：保存在所述存储器中的直方图匹配程序，所述直方图匹配程序可在所述模糊差异被输入到所述聚焦匹配模型中之前，由所述计算机处理器执行来处理所述对象图像，以减少因聚焦位置之间的异常值引起的噪声。

6.如权利要求1所述的装置，其中，其中，所述聚焦匹配模型是通过执行校准处理生成的，所述校准处理包括：

获取校准目标图像序列以用于记录合适的焦点；

获取所述校准目标图像序列的聚焦曲线；以及

基于对所述校准目标图像序列的聚焦曲线的匹配，生成多维模型。

7.如权利要求6所述的装置：

其中，所述校准处理包括在获取所述校准目标图像序列时用于减小相继的聚焦位置之间的失配的直方图匹配处理，所述直方图匹配处理包括：

顺序地将像素从第一直方图转移到第二直方图，以均衡最接近亮度的像素；以及

利用线性匹配函数来近似直方图匹配；

其中，噪声效应被减小，所述噪声效应是由于不希望的物理和环境变化而被引入模型中的。

8.一种用于估计从相机到对象的聚焦距离的装置，包括：

计算机处理器，被配置用于结合相机的成像设备进行操作；

存储器，被耦合到所述计算机处理器，并且被配置用于保存从所述成像设备捕获来的对象的图像并且保存可由所述计算机处理器执行的程序；

被保存在所述存储器中的多维聚焦匹配模型，其中，该模型是基于不同焦距处的成像校准目标的；以及

程序，可由所述计算机处理器执行来通过执行深度估计而自动地估计出适当的聚焦距离，所述深度估计包括，

(i)捕获多个对象图像，

(ii)确定所述多个对象图像之间的模糊差异，并且

(iii)将所述模糊差异输入所述聚焦匹配模型以生成到对象的聚焦距离的估计。

9.如权利要求8所述的装置，其中，所述装置被包括在照相机、视频摄像机、或者照相机与视频摄像机的组合中。

10.如权利要求8所述的装置，其中，所述聚焦匹配模型是基于模糊差异的，所述模糊差异是响应于当校准目标距离的相机改变经过了相机聚焦范围的至少一部分时所检测到的对比度改变而确定的。

11.如权利要求10所述的装置，其中，图像被捕获时的聚焦距离以及图像之间的模糊差异量在所述聚焦匹配模型中被建模。

12.如权利要求8所述的装置，其中，所述程序还包括直方图匹配处理，所述直方图匹配处理在确定模糊差异之前被执行来移除相继的聚焦位置之间的失配，以使得可以基于更准确的模糊差异来更准确地确定距离。

13.如权利要求8所述的装置，其中，所述聚焦匹配模型使用多项式函数来减少失配噪声。

14.如权利要求6所述的装置，其中，所述聚焦匹配模型还包括针对多焦距镜头系统中的不同焦距设置的聚焦匹配信息。

15.一种用于自动地估计相机到对象的聚焦深度的方法，包括：

响应于检测到在不同聚焦距离处捕获的校准物体的多个图像之间的模糊差异，来生成多维聚焦匹配模型；

捕获多个对象图像；

确定所述多个对象图像之间的模糊差异；以及

响应于将所述多个对象图像之间的模糊差异输入到所述聚焦匹配模型中以生成到对象的聚焦距离的估计，从而估计出聚焦深度。

16.如权利要求15所述的方法，其中，所述方法是与照相机、视频摄像机、或照相机与视频摄像机的组合相关联地执行的。

17.如权利要求16所述的方法，其中，所述确定模糊差异是响应于当对象与相机之间的距离改变时检测到对比度差异改变而被执行的。

18.如权利要求15所述的方法，还包括多个对象图像的直方图匹配，用于在确定模糊差异之前减少与聚焦位置之间的异常值相关联的噪声。

19.如权利要求15所述的方法，还包括利用所述聚焦匹配模型中的多项式函数来减少失配噪声。

20.一种计算机可读介质，包含可在计算机上执行的计算机程序，所述计算机被配置来响应于如下步骤自动地估计对象的相机聚焦深度：

存储响应于模糊差异信息创建的聚焦匹配模型，所述模糊差异信息是针对在不同聚焦距离处的校准目标生成的；

捕获至少两个不同聚焦位置时的图像；

计算所捕获图像之间的模糊差异；以及

响应于将所捕获图像之间的所述模糊差异输入到所述聚焦匹配模型中并且求解模型以生成到对象的距离的估计，从而估计出对象的深度。

Images