CN104169970A - 用于确定图像的景深图的方法和光学系统 - Google Patents

Abstract

提供了一种用于确定图像的景深图的方法，包括：确定图像的至少一个区域中的第一颜色的第一聚焦测量；确定图像的至少一个区域中的第二颜色的第二聚焦测量；确定第一聚焦测量和第二聚焦测量的比率；以及基于第一聚焦测量和第二聚焦测量的比率确定景深图。还提供了一种相应的光学系统。

Description

用于确定图像的景深图的方法和光学系统

技术领域

本公开内容涉及确定图像的景深图的方法和光学系统。

背景技术

对于诸如三维图像形成、后捕获再聚焦(背景虚化效果)、用于用户界面(UI)的手势检测和延伸的景深系统(depth of field system)的几个应用，需要确定图像的景深图的改善的方法和光学系统。

发明内容

提出了一种用于确定图像的景深图的方法，包括确定图像的至少一个区域中的第一颜色的第一聚焦测量；确定图像的至少一个区域中的第二颜色的第二聚焦测量；确定第一聚焦测量和第二聚焦测量的比率；以及基于第一聚焦测量和第二聚焦测量的比率确定景深图。

此外，提供了一种用于确定景深图的光学系统，包括拍摄图像的透镜和传感器；以及处理器：确定图像的至少一个区域中的第一颜色的第一聚焦测量，确定图像的至少一个区域中的第二颜色的第二聚焦测量，确定第一聚焦测量和第二聚焦测量的比率，以及基于第一聚焦测量和第二聚焦测量的比率确定景深图。

前面的段落已经通过概况给出，但不旨在限制以下权利要求的范围。结合附图，参照以下详细描述，可最佳地理解所描述的实施方式和进一步的优点。附图的元件不一定彼此成比例。

附图说明

当结合附图考虑时，通过参照以下具体实施方式，将容易地容易获得本发明更全面的理解及其许多附带优点，并且本发明及其优点将会变得更好理解，其中：

图1描述了根据本发明的实施方式的示意性流程图，

图2示出包括具有纵向色差(longitudinal chromatic aberration)的透镜的光学系统，

图3示意性地示出根据本发明的实施方式的用于不同颜色的调制传递函数，

图4示出了根据本发明的实施方式的光学系统的一部分的示意性框图，

图5示出了根据本发明的另外的实施方式的光学系统的一部分的示意性框图，

图6示出了根据本发明的实施方式的光学系统的示意性框图，以及

图7示出根据本发明的实施方式的处理系统的示意性框图。

具体实施方式

现在参考附图，其中相同的标号指代通篇几个附图中相同或者相应部件，在图1中描述了根据实施方式的方法的示意流程图。

在步骤S100，确定了图像的至少一个区域的第一颜色的第一聚焦测量(focus measure)。第一聚焦测量可以是描述图像的锐度的值并且可以通过任何已知的聚焦确定方法(例如，梯度、方差(variance)、相位检测或者对比度检测)来确定。“聚焦测量”在下面还可以称作“模糊测量”。

相位检测通过将入射的光划分为成对的图像并且将它们进行比较来实现。

通过测量传感器区域内的通过透镜的对比度来实现对比度检测。传感器的相邻像素之间的强度差利用正确的图像聚焦而自然地增加。对于自动聚焦(AF)系统，光学系统可以从而被调节直到检测到最大对比度。在该方法中，AF根本没有涉及实际的距离测量并且通常(尤其在暗光下操作时)比相位检测系统慢。

因此，第一聚焦测量描述图像的聚焦的程度。某些区域，例如，具有当拍摄图像时位于景深内的对象是聚焦的(in-focus)，但是其他区域(例如，具有当拍摄图像时位于景深以外的对象)可能是失焦的(out-of-focus)。

在步骤S102中，为图像的至少一个区域的第二颜色确定第二聚焦测量。第二聚焦测量也可以是描述图像的锐度的值并且可以通过任何已知的聚焦确定方法(例如，梯度、方差、相位检测或者对比度检测)来确定。第一聚焦测量和第二聚焦测量两者可以通过相同的算法来确定。

可以通过分割处理来确定图像的至少一个区域以找到属于相同的对象的区域。

在步骤S104中，确定第一聚焦测量和第二聚焦测量的比率。可以通过使第一聚焦测量除以第二聚焦测量或者使第二聚焦测量除以第一聚焦测量来计算出比率。

在步骤S106中，基于步骤S104的确定的比率来确定景深图(depthmap)。景深图可以包括图像的每个像素的单独的深度值，所述深度至描述例如，从成像系统(例如，照相机)的透镜到对象的距离。因此，景深图包括存在于图像中的对象的距离。

利用提出的方法，采用使用单个镜头图像(shot image)估计连续的深度的纵向色差(longitudinal chromatic aberration)的信息。色差是由于透镜中的分散性导致不同波长的光(颜色)的聚焦在不同的距离处的现象。作为波长的函数的焦距可以被写为

$f\left(\mathrm{\λ}\right)=\frac{1}{(n\left(\mathrm{\λ}\right)-1)}\frac{(R1\·R2)}{(R2-R1)}---\left(1\right)$

其中，f＝单个透镜的焦距，n＝折射指数(取决于波长λ)，R1和R2分别为第一和第二透镜表面的曲率半径。

在图2中描述了使用典型光学系统，例如，照相机的透镜200和传感器配置205的纵向色差的现象。在图2中，源自对象的光210聚焦在不同的点。红色光215聚焦在光轴230上焦点FR处，绿色光220聚焦在光轴230上焦点FG处，以及蓝色光225聚焦在光轴230上焦点FB处。在图2中描述的传感器配置中，传感器205位于绿色光的焦距处，因此，可以看到，在该示例中，绿色光220的焦点位于传感器205的平面处，蓝色光225的焦点FB位于透镜200和传感器205之间的光轴230上和红色光215的焦点FR位于距离透镜200比传感器205更远的光轴230上。

这进一步在图3中示出，其中，示出了每毫米90个周期的标准化直通聚焦调制函数(MTF)(normalized through focus modulation transferfunction)对于在50 cm处聚焦的物距。调制传递函数(MTF)是成像系统(照相机、视频系统、显微镜等)的光学传递函数(OTF)的幅度分量，其为系统所能够的分辨率(图像锐度)的真实测量。可以通过光幅度(亮度)和相位与空间频率(每个图片宽度的周期)的曲线图表示光学传递函数。

调制传递函数描述了相邻像素响应于变化空间频率的图案从黑色变为白色的能力，以及由此示出是否具有全部或者减小的对比度的精密的细节的实际性能。

在图3中，用调制传递函数MTF描述红色光315、绿色光320和蓝色光325。可以观察到，蓝色光聚焦在附近的距离，绿色光聚焦在中间的距离和红色光聚焦在远的距离。

在图3中还可以观察到，不同颜色之间的调制传递函数的比率随着物距而改变。通过计算第一和第二颜色的聚焦测量之间的比率和通过从调制传递函数确定对应于确定的比率的物距来使用该信息以估计连续的景深图。

使用第三颜色和相应的第一、第二和第三聚焦测量的比率提高了计算出的深度的精确度。当然，可以使用每个计算出的比率或者仅使用几个比率的其中之一。可以通过使用另外的颜色(例如，红外)进一步提高深度确定的精确度。

利用提出的实施方式，提出使用色差来估计连续的深度的低成本和合理的精确的系统和方法。估计的景深图可以用于诸如三维图像配置、后捕获再聚焦、用于用户界面(US)的手势检测和延伸的景深系统的几个应用。此外，估计的深度可以用于校正色差以提高图像质量。因为可以从单个图像估计深度，所以提出的方法还可以用于动态图片或者视频。

与其他确定连续的深度的方法(例如，基于光成像的时间、立体图像系统、光场成像系统、有源照明的方法，或者无源测距方法)相比，提出的实施方式为低成本和低计算复杂度。不需要有源光投影并且其可以用于静止图像和视频的深度估计。

在图4中，描述了用于提出的方法的另外的实施方式的框图。在内插步骤402中内插原始拜耳输入数据(Raw bayer input data)400以便获得全分辩率的红色、绿色和蓝色数据。

步骤接着为局部图像标准化404，其用于比较彩色边缘的锐度。

然后，聚焦测量406被用于测量每个颜色分量的锐度并且将聚焦测量406应用在来自局部图像标准化404的标准化数据上。

此外，来自内插402的内插数据被用于例如，通过使用最小值和最大值或者方差或者边缘检测的任何其他方法在非平面区检测408中找到边缘。

在阈值步骤410中例如通过使用传感器噪声特性选择阈值。

通过在颜色比率计算步骤412中划分例如蓝色和绿色之间的两个颜色的有价值的锐度来获得颜色比率图411。

将从非平面区检测408所得的估计的边缘图414提供至分割步骤416。可以为了例如，分水岭分割算法的目的使用任何鲁棒图像分割算法。

在步骤420中，为分割的图像418的每个片段创建比率的直方图。直方图被平滑(422)且直方图的最大值被选择(424)以便找到该片段的深度。以这种方法，为图像的所有片段计算出景深图426的连续的深度。

在图5中示意性地描述另外的实施方式。在这个实施方式中，没有使用图像分割，因此可以减小计算的复杂性。原始拜耳输入数据400首先被双线性地内插(502)以获得全分辩率红色、绿色和蓝色数据。

该步骤接着为标准化404以便比较彩色边缘的锐度。

聚焦测量406被用于测量每个颜色分量的锐度并且将聚焦测量406应用在来自局部图像标准化404的标准化数据上。

在边缘和纹理检测步骤504中输入双线地内插数据以推导边缘图414。

在求和与比率图步骤506中，组合边缘图414和聚焦测量406以便提供比率图411。

通过使用交叉或者结合的双向滤波408或者它的近似来过滤比率图并且然后通过内插使连续的深度传播(510)至图像的所有的其他区域。

之后，获得景深图426。该实施方式适合用于诸如移动电话照相机的低成本应用。

在图6中，描述了用于确定景深图的示意性的光学系统的实施方式。光学系统包括拍摄物体的图像的透镜602和传感器604。光学系统600还包括处理器606，处理器606被配置为确定图像的至少一个区域中的第一颜色的第一聚焦测量，确定至少一个区域中的第二颜色的第二聚焦测量，确定第一和第二聚焦测量的比率并基于该比率确定景深图。

光学系统可以进一步包括存储器608以存储在制造光学系统时可能被确定和/或模拟的透镜602的调制传递函数或者校准曲线，且处理器606可以进一步被配置为基于存储在存储器608中的调制传递函数或者校准曲线确定深度。调制传递函数还可以被称作校准曲线。

通过将例如，透镜的聚焦位置、透镜的f-数、从像面到透镜的距离、透镜的孔径直径、传感器的噪声特性、传感器像素大小、轴向色差的影响的光学系统和数字处理的影响纳入考虑的模拟构架可以产生用于阶梯边缘(step edge)的校准曲线。

可以通过使用不同的比率，例如，三个不同的颜色计算出校准曲线。利用存储在存储器中的校准曲线，可以产生涵盖重要的图像形成处理并且产生更加准确的绝对深度的绝对景深图。

利用该实施方式，例如，可以在制造光学元件步骤(optical step)时和在将其运送和售卖之前单独地为每个光学系统600确定调制传递函数或者校准曲线。光学系统600的示例可以是照相机，例如，移动电话中的照相机。

方法的一个实施方式可以实现为如在下文中所描述的。在从图像中的边缘估计深度时，标准化方法应当利用单个因素平衡整个边缘的强度，使得边缘的每个像素处的模糊测量BM一致。因此，利用局部最大值和最小值的差值，还称作“局部对比度”使图像标准化。如果利用等于边缘范围的两倍的窗口大小计算局部对比度，整个边缘的标准化将一致。因为在噪声的情况下利用最小值和最大值计算局部对比度没有鲁棒性，所以在计算局部对比度和模糊估计之前应用中值滤波器。

在标准化之后，利用四个方向，水平的、垂直的和对角的梯度的幅度平方的总和估计模糊量。梯度运算器(gradient operator)是去除DC值的带通滤波器。因此，代替使图像标准化，具有局部对比度的图像的梯度被标准化。以这种方式，没有必要从图像中减去平均值或者局部最小值并且通过标准化处理引入的噪音将不会影响梯度估计。在图像I的局部相邻的M x N中的模糊估计BMc被计算为

${\mathrm{BM}}_C=\frac{\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{\left[\mathrm{\Δ}{I}_C(x,y)\right]}^2}{{[\underset{x=1}{\overset{M}{\max }}\underset{y=1}{\overset{N}{\max }}I(x,y)-\underset{x=1}{\overset{M}{\min }}\underset{y=1}{\overset{N}{\min }}I\left(x,y)\right)]}^2}---\left(2\right)$

其中，△I_C(x,y)是在不同方向上任何彩色图像I_C的梯度。

通过采取不同颜色的模糊测量值的标准化比率产生相对景深图。常规的颜色传感器捕获三种颜色：红色、绿色和蓝色。因此，对于深度估计，产生了三个散焦图像，这使得在仅使用两个图像时可以估计更大距离范围的深度。因此，提出使用所有三个颜色的标准化比率来获得用于更广范围的单个景深图，例如，在下面方法中：

其中，BM_r是用于红色的模糊测量，BM_b是用于蓝色的模糊测量和BM_g是用于绿色的模糊测量。

图7是体现包括涉及计算机的方面的本公开的方面的处理系统的硬件示图。本文中描述的处理、算法和电驱动系统可以经由与图7中示出的结构相一致的离散控制设备或计算系统来实现。这样的系统在本文中描述为处理系统700。如在图7中所示，根据本公开的处理系统700可以使用诸如中央处理器(CPU)710或至少一个应用程序专用处理器ASP(未示出)的微处理器或其等同物来实现。微处理器710使用诸如存储器720(例如，ROM、EPROM、EEPROM、闪存、静态存储器、DRAM、SDRAM、以及其等同物)的计算机可读存储介质，被配置为控制微处理器710执行和/或控制本公开的处理器和系统。诸如可以借助于控制硬盘驱动器或光盘驱动器的诸如磁盘控制器730的控制器来控制其他存储介质。

在可替换实施方式中，微处理器730或其方面可以包括或排他地包括用于增加或完全实现本公开的逻辑设备。这样的逻辑设备包括但不限于专用集成电路(ASIC)、现场可编程门阵列(FPGA)、通用阵列逻辑(GAL)及其等同物。微处理器可以是独立设备或单个处理机构。进一步地，本公开可以从多核CPU的并行处理能力中受益。

在另一个方面，根据本公开的处理结果或者数据输入可经由显示控制器740显示至监视器750。为了提交计算效率，显示控制器740则优选包括至少一个图形处理单元。此外，设置I/O(输入/输出)接口760以用于从键盘761或点控设备(例如，计算机鼠标762)输入数据，用于控制本公开的不同的处理和算法的参数的该键盘或点控设备可以被连接至I/O接口760以提供额外的功能和配置选择、或控制显示特性。而且，监测器750可以对命令/指令界面设置触摸感应界面，并且可以结合其他的外围设备770，包括当使用基于图像的数据条目时的扫描仪或网络摄像头。

如图7中所示，上面所提及的组件可经由用于数据的传输或接收的网络接口785耦合到诸如因特网或者本地局域网这样的网络780中，其中，该数据包括可控参数。网络780为移动设备提供通信路径，其可以借助于数据包的方式来提供。此外，中央BUS790被设置为将上述硬件组件连接在一起并且提供用于在其间数字通信的至少一个路径。

提出的系统和方法利用色差作为有用的工具用于从单个镜头图像估计连续的深度。其还克服用于深度估计的其他方法的缺点和劣势。

方法和系统为低的计算复杂性并且因此，可以在处理图像和视频两者中实时实现。此外，提出的方法和系统输出具有多种应用(诸如，例如，三维图像创建、后捕获再聚焦、用于用户界面的手势检测和延伸的景深成像)的连续的景深图。

总之，提出的方法和系统合理地产生精确的连续的深度估计结果。这是通过计算标准化图像数据的不同的颜色的锐度的比率实现的。

因为确定标准化模糊测量，所以提出的方法用于真正的彩色图像。可以优化光学系统和数字处理的设计以便选择用于透镜和传感器像素节距的最佳参数。

与散焦/聚焦方法相比，提出的方法具有以下优点：可以利用单个镜头产生景深图，没有缺失登记错误出现，方法可以应用于视频而无需修改，因为没有必要机械地改变焦点，当使用三个散焦图像(三种颜色)时，可以覆盖较大的深度范围。

显然，鉴于上述教导，本公开内容的多种修改和变化是可能的。因此应当理解，在所附权利要求的范围内，本发明可以按不同于这里具体描述的方式被实施。

Claims (15)

1.一种用于确定图像的景深图的方法，包括：

确定所述图像的至少一个区域中的第一颜色的第一聚焦测量；

确定所述图像的所述至少一个区域中的第二颜色的第二聚焦测量；

确定所述第一聚焦测量和所述第二聚焦测量的比率；以及

基于所述第一聚焦测量和第二聚焦测量的比率确定所述景深图。

2.根据权利要求1所述的方法，进一步包括：

产生所述图像的边缘图；

基于所述边缘图确定所述图像的所述至少一个区域。

3.根据权利要求1或2所述的方法，进一步包括：

将所述图像分割为片段；

基于该分割步骤确定所述图像的所述至少一个区域。

4.根据权利要求3所述的方法，进一步包括：

确定包括边缘的片段；以及

确定用于包括边缘的所述片段的所述第一聚焦测量和所述第二聚焦测量。

5.根据权利要求1至4的任一项所述的方法，进一步包括：

确定至少一个片段中的第三颜色的第三聚焦测量；

基于所述第一聚焦测量和所述第三聚焦测量的比率确定所述距离。

6.根据权利要求1至5的任一项所述的方法，进一步包括：

确定用于照相机的透镜的所述第一颜色和所述第二颜色的校准曲线；

存储所述校准曲线；

利用所述照相机拍摄所述图像；以及

基于所述校准曲线确定所述景深图。

7.根据权利要求1至6的任一项所述的方法，进一步包括：

在确定所述第一聚焦测量和第二聚焦测量之前，将所述图像的颜色信息内插在所述图像的像素之间。

8.根据权利要求7所述的方法，进一步包括：

在确定所述第一聚焦测量和第二聚焦测量之前，使所述颜色信息标准化。

9.根据权利要求2所述的方法，进一步包括：

基于所述第一聚焦测量和所述第二聚焦测量并基于所述边缘图确定比率图；以及

基于比率图的双向滤波近似和深度传播确定所述景深图。

10.一种用于确定景深图的光学系统，包括

拍摄图像的透镜和传感器；以及

处理器

确定所述图像的至少一个区域中的第一颜色的第一聚焦测量；

确定所述图像的所述至少一个区域中的第二颜色的第二聚焦测量；

确定所述第一聚焦测量和所述第二聚焦测量的比率；以及

基于所述第一聚焦测量和所述第二聚焦测量的比率确定所述景深图。

11.根据权利要求10所述的光学系统，其中，所述处理器进一步被配置为确定所述至少一个区域中的第三颜色的第三聚焦测量并基于所述第一聚焦测量和所述第三聚焦测量的比率和/或所述第二聚焦测量和所述第三聚焦测量的比率确定所述景深图。

12.根据权利要求10或11的任一项所述的光学系统，进一步包括

存储器，存储所述透镜的校准曲线；以及所述处理器被进一步被配置为基于所述校准曲线确定所述深度。

13.根据权利要求10至12的任一项所述的光学系统，其中，所述光学系统是照相机。

14.一种包括计算机程序指令的计算机程序，当通过计算机执行时，使所述计算机执行包括以下步骤的方法：

确定所述图像的至少一个区域中的第一颜色的第一聚焦测量；

确定所述图像的所述至少一个区域中的第二颜色的第二聚焦测量；

确定所述第一聚焦测量和所述第二聚焦测量的比率；以及

基于所述第一聚焦测量和第二聚焦测量的比率确定所述景深图。

15.一种包括根据权利要求14所述的计算机程序的非临时性计算机可读介质。