CN104519328A - 图像处理设备、图像捕捉装置和图像处理方法 - Google Patents

Abstract

公开了图像处理设备、图像捕捉装置和图像处理方法。图像处理设备基于具有不同模糊度并且由图像传感器捕捉的第一图像和第二图像来获得代表关于对象的深度信息的分布的深度信息图像，图像传感器包括组，每个组包括获得关于对象的不同颜色信息的像素。该图像处理设备包括：提取单元，配置为从所述组提取信号，每个信号对应于每个组中的像素中的一个像素，并且生成分别对应于第一图像和第二图像的第一被提取图像和第二被提取图像；及计算单元，配置为根据第一被提取图像和第二被提取图像之间的模糊度的差来计算深度信息图像。每个对应于每个组中的像素中的一个像素并且从所述组提取出来的信号是对应于获得相同颜色信息的像素的信号。

Description

图像处理设备、图像捕捉装置和图像处理方法

技术领域

本发明涉及用于从多个捕捉到的图像获得深度信息图像的图像处理设备和图像捕捉装置，其中深度信息图像代表关于对象的深度信息的分布。本发明还涉及用于从多个捕捉到的图像获得深度信息图像的图像处理方法，其中深度信息图像代表关于对象的深度信息的分布。

背景技术

日本专利特开No.01-167610描述一种通过使用由图像捕捉装置捕捉到的对象的两维图像来获得在深度方向上到对象的距离的“散焦测距”(depth from defocus，DFD)方法。在DFD方法中，通过控制图像捕捉光学系统的拍摄条件(也称为拍摄参数)，获得具有不同模糊度的多个图像。然后，通过使用距离测量像素和周围像素来计算多个图像的尺寸或模糊度之间的相关性。尺寸或模糊度之间的相关性根据从图像捕捉光学系统的焦点位置到对象的距离而变。因此，从图像捕捉光学系统的焦点位置到对象的距离可以通过使用该相关性获得。

日本专利特开No.2010-016743描述一种通过使用模糊相关性来计算对象距离的距离测量装置，其中模糊相关性是通过使用DFD方法对要处理的每个区域计算的。距离测量装置为要处理的区域中的每个像素设置用于模糊相关性的权重系数并且通过使用权重系数来计算模糊相关性的加权平均。

一般而言，图像捕捉装置的图像捕捉光学系统具有轴上色差，并且因此焦点位置在颜色(波长)之间不同。因此，在深度信息通过使用尺寸或模糊度之间的相关性来计算的情况下，计算出的深度信息具有由于颜色(波长)造成的误差。换句话说，当深度信息是利用彩色图像通过使用DFD方法或类似方法计算的时，由于颜色(波长)造成的距离测量误差发生。

日本专利特开No.01-167610和日本专利特开No.2010-016743没有描述由于颜色(波长)造成的深度信息的误差的发生。

本发明提供利用彩色图像通过使用DFD方法以高精度获得关于对象的深度信息的技术。

发明内容

根据本发明的一方面，提供一种基于具有不同模糊度的第一图像和第二图像来获得代表关于对象的深度信息的分布的深度信息图像的图像处理设备，第一图像和第二图像是由包括多个组的图像传感器捕捉的，每个组包括获得关于对象的不同颜色信息的多个像素。该图像处理设备包括：提取单元，从所述多个组提取信号，每个信号对应于每个组中的多个像素中的一个像素，并且生成分别对应于第一图像和第二图像的第一被提取图像和第二被提取图像；和计算单元，根据第一被提取图像和第二被提取图像之间的模糊度的差来计算深度信息图像。每个对应于每个组中的多个像素中的一个像素并且从所述多个组提取出来的信号是对应于获得相同颜色信息的像素的信号。

根据本发明的另一方面，提供一种图像处理方法，包括：提取步骤，从图像传感器的多个组提取信号，每个信号对应于所述多个组的每个组中的多个像素中的一个像素，并且生成分别对应于由图像传感器捕捉并具有不同模糊度的第一图像和第二图像的第一被提取图像和第二被提取图像，所述多个像素获得关于对象的不同颜色信息；及计算步骤，根据第一被提取图像和第二被提取图像之间的模糊度的差来计算代表关于对象的深度信息的分布的深度信息图像。每个对应于每个组中的多个像素中的一个像素并且从多个组提取出来的信号是对应于获得相同颜色信息的像素的信号。

参考附图，本发明的更多特征将从以下示例性实施例的描述变得清楚。

附图说明

图1是图示出根据第一实施例的包括图像处理设备的图像捕捉装置的例子的示意图。

图2A是根据第一实施例的图像传感器的部分示意图，图2B是图示出根据第一实施例的被选通道的被提取图像的例子的示意图。

图3是根据第一实施例的图像处理方法的例子的流程图。

图4是图示出根据第二实施例的包括图像处理设备的图像捕捉装置的例子的示意图。

图5是根据第二实施例的图像处理方法的例子的流程图。

图6A至6C图示出根据第二实施例的对应于被提取像素的信号的生成。

图7是图示出根据第三实施例的包括图像处理设备的图像捕捉装置的例子的示意图。

图8A和图8B图示出一般的图像捕捉光学系统的轴上色差和像面弯曲(field curvature)。

图9是根据第三实施例的图像处理方法的例子的流程图。

图10A是根据第三实施例的用于获得深度信息的校正数据的装置的示意图，图10B是获得深度信息的校正数据的方法的例子的流程图。

具体实施方式

本发明涉及基于在不同拍摄条件下捕捉到的两个或更多个图像之间的模糊度的差来计算在深度方向上关于对象的深度信息的技术(DFD方法)的改进。本说明书提出，即使在使用通过利用具有用于捕捉不同颜色信息的多个像素的图像捕捉装置捕捉到的图像的情况下，也通过使用DFD方法以高精度计算关于对象的深度信息的技术。这种技术可以实现为安装在图像捕捉装置(诸如数码相机、数码摄像机或监控相机)中的图像处理设备(图像处理引擎)的功能。该技术用来对捕捉到的图像执行各种图像处理操作(诸如测量距离、生成深度信息图像、剪切对象、模糊背景以及产生模糊效果的操作)。

在本发明中，“深度信息”可以指在捕捉图像时从两个图像的焦点位置之间的中点到对象的相对距离、从两个图像之一的焦点位置到对象的相对距离以及从图像捕捉装置到对象的绝对距离当中任何一个。绝对距离或相对距离可以是像面侧的距离或者物侧的距离。距离可以表示为现实空间中的距离或者表示为散焦量。

在下文中，将参考附图描述本发明的实施例。本发明不限于这些实施例。

第一实施例

图1是图示出根据第一实施例的包括图像处理设备13的图像捕捉装置1的例子的示意图。图像捕捉装置1包括图像捕捉光学系统10、图像传感器11、图像捕捉光学系统10的控制器12、图像处理设备13、存储单元14、输入单元15和显示单元16。

图2A是根据第一实施例的图像传感器11的部分示意图。图像传感器11包括图像传感器111和滤色器(color filter)112。滤色器112设置在图像传感器111的光入射侧。图像传感器11具有多个组113，每个组包括像素A、B、C和D。像素A、B、C和D中每个获得关于对象的颜色信息。因此，滤色器112具有分段的区域，每个区域允许红、绿和蓝光中的相应一个通过。分段的区域分别对应于像素A、B、C和D。

像素A具有主要允许长波长范围(580nm至720nm的波长范围)内的可见光通过的红色滤色器。像素B和像素C具有主要允许中间波长范围(440nm至620nm的波长范围)内的可见光通过的绿色滤色器。像素D具有主要允许短波长范围(400nm至540nm的波长范围)内的可见光通过的蓝色滤色器。根据本实施例的图像捕捉装置1可以通过这些像素获得彩色图像。在本实施例中，术语“颜色信息”指作为红色、绿色或蓝色的颜色以及关于该颜色的亮度(luminance)信息。

图像处理设备13包括处理器130、存储器131、提取单元132和计算单元133。处理器130对从图像传感器11输出的模拟信号执行以下信号处理操作：AD转换、噪声降低、去马赛克、亮度信号和色差信号的转换、像差校正、白平衡校正、颜色校正、伽玛校正等等。从处理器130输出的数字图像信号存储在存储器131中，记录(存储)在存储单元14中，并且用来例如计算深度信息。

提取单元132从图像传感器11的组提取信号，每个信号对应于每组的像素A、B、C和D之一(例如，像素B)。信号是从组中的获得相同颜色信息的像素提取的。例如，在图2A中，对应于组113的像素B的信号被提取。然后，提取单元132收集对应于所有组的像素B的信号并且生成例如图2B中所示的被提取图像。如下所述，图像传感器11获得具有不同模糊度(degree of blurring)的第一图像和第二图像。提取单元132生成分别对应于第一图像和第二图像的两个被提取图像。换句话说，提取单元132从第一图像生成第一被提取图像并且从第二图像生成第二被提取图像。

计算单元133基于已经由提取单元132生成的第一被提取图像和第二被提取图像之间的模糊度之差，通过使用DFD方法计算关于对象的深度信息。深度信息被计算，以便对应于每个组。然后，计算单元133收集对应于组的深度信息并且获得代表关于对象的深度信息分布的深度信息图像。

存储单元14是用于存储捕捉到的图像数据和由图像捕捉装置1使用的参数数据的非易失性存储介质。存储单元14可以是能高速读/写数据并且能存储大量数据的任何设备。例如，存储单元14可以是闪存存储器。

输入单元15是用户可以利用其指定用于计算基准颜色(基准色调角)的区域并且可以设定掩模的接口。例如，输入单元15可以包括拨号盘、按钮、开关或触摸面板。显示单元16可以是液晶显示器、有机EL显示器等。显示单元16用来例如检查要捕捉的图像的构图、观看已经被捕捉和记录的图像、显示设定画面和消息、显示用于计算基准颜色(基准色调角)的指定区域以及显示掩模。

深度信息的计算原理

参考图1，将描述利用对焦包围(focus bracketing)进行距离计算的原理。首先，控制器12把图像捕捉光学系统10的焦点设定在第一焦点位置Obj1，并且通过由实线表示的光路捕捉对象的图像。接下来，控制器12把图像捕捉光学系统10的焦点改变到第二焦点位置Obj2，并且通过由虚线表示的光路捕捉同一对象的图像。这样，图像传感器11获得具有不同模糊度的两个图像。术语“对焦包围”指一种图像捕捉方法，其中，作为拍摄条件之一的焦点位置改变。用于通过改变拍摄条件来捕捉具有不同模糊度的两个图像的方法的另一个例子是光圈包围(aperture bracketing)，其中，在改变孔径的同时捕捉两个图像。除了这些方法，本发明还可以应用到用于捕捉具有不同模糊度的多个图像的任何适当的方法。

在根据本发明计算深度信息的方法中，深度信息是通过使用两个图像的小区域之间的相关性来估计的。根据本发明，如上所述的由提取单元132生成的两个被提取图像用来计算深度信息。这两个被提取图像具有不同的模糊度。在图像被捕捉的同时相机抖动或对象移动不发生的情况下，使用在相同位置的小区域。在图像被捕捉的同时相机抖动或对象移动发生的情况下，使用其中相同对象的图像被捕捉并且通过执行定位操作而获得的小区域。在下文中，假设相机抖动或对象移动不发生。但是，即使在相机抖动或对象移动发生的情况下，通过使用其中捕捉相同对象的图像的小区域，相同的方法也可以使用。

当对象位于图像捕捉光学系统10的焦点位置时，可以获得具有关于对象的最大量信息的图像，并且该图像在从高空间频域到低空间频域的整个范围上具有高对比度。相反，当对象不位于图像捕捉光学系统10的焦点位置时，对象的图像模糊，并且虽然图像的对比度在低空间频域不显著减小，但是对比度在高空间频域显著减小。当对象位于远离图像捕捉光学系统10的焦点位置的位置时，图像的对比度在低空间频域也显著减小。

在本实施例中，实际图像上高和低空间频域的每一个中对比度的变化是通过使用对被提取图像进行带通滤波而生成的图像获得的，并且关于对象的深度信息是通过使用对比度的变化获得的。

具体而言，计算单元133计算两个带通滤波后的被提取图像的小区域之间的相关性，其中小区域位于相同的位置，并且根据该相关性计算关于对象的深度信息。两个带通滤波后的图像的小区域之间的相关性NCC是通过使用表达式(1)计算的。

$\mathrm{NCC}=\frac{\mathrm{\Σ}({I1}_i-{I1}_{\mathrm{av}})({I2}_i-{I2}_{\mathrm{av}})}{\sqrt{\mathrm{\Σ}{({I1}_i-{I1}_{\mathrm{av}})}^2}\sqrt{\mathrm{\Σ}{({I2}_i-{I2}_{\mathrm{av}})}^2}}---\left(1\right)$

在这里，I1_i是作为两个带通滤波后的图像之一的第一带通滤波后的被提取图像的小区域中像素的信号值，并且I1_av是第一带通滤波后的被提取图像的小区域中信号值的平均值。I2_i是作为两个带通滤波后的图像中另一个的第二带通滤波后的被提取图像的小区域中像素的信号值，并且I2_av是第二带通滤波后的被提取图像的小区域中信号值的平均值。

关于利用对焦包围方法的DFD方法，相关性在两个被提取图像的焦点位置之间的中点处具有最高的值，并且相关性随着离该中点的距离增加而减小。通过使用这种方法，能够获得对象距离两个被提取图像之间的中点的相对位置。而且，能够确定对象是位于两个被提取图像的焦点位置之间的中点的前侧(在接近图像捕捉装置1的方向上)还是位于该中点的后侧(在远离图像捕捉装置1的方向上)。具体而言，如果满足表达式(2)，则对象在从两个被提取图像的焦点位置之间的中点起接近第一被提取图像的焦点位置的方向上。如果满足表达式(3)，则对象在从两个被提取图像的焦点位置之间的中点起接近第二被提取图像的焦点位置的方向上。基于这些事实，能够计算关于对象的深度信息。

∑(I1_i-I1_av)²＞∑(I2_i-I2_av)²    (2)

∑(I1_i-I1_av)²＜∑(I2_i-I2_av)²    (3)

在有必要把深度信息转换成实际距离的情况下，散焦量和带通滤波器允许通过的空间频率范围内的相关性之间的关系可以事先计算并存储。通过这样做，散焦量可以从两个带通滤波后的图像之间的相关性反向计算。

在这里，深度信息是从两个被提取图像的焦点位置之间的中点到对象的相对距离。而且，从图像捕捉装置1到对象的距离可以如下计算。首先，通过使用表达式(4)，根据诸如图像捕捉光学系统10的焦距和聚焦透镜的移动量之类的拍摄参数，计算两个图像的每一个中从图像捕捉装置1到图像捕捉光学系统10的焦点位置f的距离S_obj。

$\frac{1}{S_{\mathrm{obj}}}=\frac{1}{S_{\mathrm{img}}}-\frac{1}{f}---\left(4\right)$

在这里，S_img是图像捕捉光学系统10的从后主点到像面的距离，并且f是图像捕捉光学系统10的焦距。

当捕捉到第一图像时，能够计算从图像捕捉装置1到焦点位置Obj1的距离S_obj1，并且，当捕捉到第二图像时，能够计算从图像捕捉装置1到焦点位置Obj2的距离S_obj2。然后，通过使用表达式(5)，可以计算从图像捕捉装置1到两个图像的焦点位置之间的中点的距离S_img。

$S_{\mathrm{objm}}=\frac{S_{\mathrm{obj}1}+S_{\mathrm{obj}2}}{2}---\left(5\right)$

在其中光圈包围方法用来捕捉具有不同模糊度的两个图像的情况下，从两个图像获得的关于对象的深度信息是距离图像捕捉光学系统10的焦点位置的相对距离。从图像捕捉装置到对象的距离可以按照与以上所述相同的方式获得。

根据本发明，至少深度信息被计算，并且实际距离可以根据需要来计算。是否有必要计算实际距离取决于应用。例如，诸如剪切对象、模糊背景和产生模糊效果之类的应用可以通过只使用深度信息来实现。

图像处理方法

图3是根据本实施例的图像处理方法的流程图。参考图3，将描述根据本实施例的图像捕捉装置1计算深度信息并生成深度信息图像的过程。

首先，在步骤S40，图像捕捉装置1执行对焦包围。具体而言，聚焦图像是通过聚焦到主要对象上来捕捉的，然后通过移动焦点位置来捕捉散焦图像。因而，图像传感器11捕捉到具有不同模糊度的两个RGB图像(D40、D41)。术语“图像”指可以显示在显示单元16上并且具有颜色信息的数据。

在步骤S41，提取单元132从每个组提取信号，每个信号对应于每个组的一个像素并且用来计算深度信息。在步骤S42，提取单元132生成只由被提取像素的信号构成的被提取图像。在这里，两个被提取图像(D42、D43)分别是从具有不同模糊度的两个图像生成的。图2B图示出通过收集仅图2A中所示组的像素B的信号而构成的被提取图像。换句话说，在本实施例中，被提取图像是通过从由图像传感器11获得的图2A的RGB图像收集对应于像素B的绿色像素的信号生成的。因此，被提取图像具有RGB图像尺寸的四分之一的尺寸。因为图像传感器11的光接收部分的灵敏度在绿色的频率范围内是最高的，所以提取单元132可以如上所述提取对应于绿色像素的信号。像素B和C都是绿色像素，并且像素B和C的信号中的任一个可以从每个组中提取。通过使用对应于位于相同位置的像素的信号，可以增大距离测量的精度。

在步骤S43，通过使用DFD方法根据两个被提取图像计算关于其图像被每个组捕捉的对象的深度信息。深度信息被针对每个组计算。在步骤S43，通过收集所有组的深度信息生成深度信息图像(D44)。所生成的深度信息图像(D44)和捕捉到的图像(D40、D41)存储在存储单元14中。

在这里获得的深度信息图像(D44)可以用来执行(例如)根据深度信息对聚焦图像产生模糊效果、对聚焦图像执行3D转换和从聚焦图像剪切对象的操作。

因而，在本实施例中，深度信息是通过使用单色图像计算的，所述单色图像是通过从RGB图像提取对应于组的相同像素的信号而生成的。

在DFD方法中，关于对象的深度信息是通过使用两个图像之间的模糊度之差来计算的。因此，如果模糊度之差由于除从图像捕捉装置1到对象的距离之外的其它因素而发生，则深度信息具有测量误差。除距离之外的此类因素的例子包括图像捕捉光学系统的轴上色差。一般而言，图像捕捉光学系统具有未被除去的轴上色差。如果这种轴上色差的量小，则像差对捕捉到的图像的影响可以忽略。但是，当通过使用DFD方法计算深度信息时，只有少量的轴上色差就可造成深度信息的大测量误差。特别地，关于具有带短焦距的图像捕捉光学系统的小型数码相机或数码摄像机，当从相机到对象的距离改变时，由于图像捕捉光学系统而生成的模糊度只稍微改变。因此，轴上色差具有相对大的影响，并且因此发生深度信息的大测量误差。

为了把轴上色差减小到使像差不影响利用DFD方法的深度信息计算的水平，有必要增大图像捕捉光学系统的透镜个数或者使用具有非线性色散性质的特殊光学材料，诸如荧石。但是，采取这种措施将增大图像捕捉装置1的成本。

相反，根据本实施例的图像捕捉装置1从彩色图像生成单色图像，并且通过使用该单色图像来计算关于对象的深度信息。因此，即使在图像捕捉光学系统具有轴上色差的情况下，也能够在不受轴上色差影响的情况下以高精度计算深度信息。因而，能够在通过使用DFD方法计算深度信息的图像捕捉装置中使用现有的图像捕捉光学系统。相应地，能够以低成本并以高精度计算深度信息并生成深度信息图像。

在本实施例中，提取RGB格式的彩色信号中对亮度信号具有最大影响的绿色信号。因此，图像传感器的暗噪声不太可能影响被提取图像，并且深度信息可以以高精度稳定地计算。

在本实施例中，关于对象的深度信息是通过使用DFD方法来计算的。这不是限制。例如，深度信息可以通过使用“对焦测距”(depth from focus，DFF)方法计算。就像DFD方法那样，DFF方法是用于通过使用模糊度之差来计算关于对象的深度信息的方法。具体而言，从通过改变图像捕捉光学系统的焦点位置多次而捕捉到的对象的多个图像，选择各自在相应的一个像素中最清晰聚焦的图像，并且基于所选择图像的焦点位置来计算关于对象的深度信息。关于DFF的问题是，就像DFD方法那样，如果模糊度之差是由于除距离之外的其它因素而发生的，则深度信息的测量误差发生。相应地，通过使用本发明的效果，深度信息可以以高测量精度计算。

第二实施例

本实施例与第一实施例的区别在于各对应于用来计算深度信息的一个像素的信号是混合信号，还在于被提取图像是从混合信号生成的，其中每个混合信号是通过混合对应一个组的不同像素的信号而生成的。在下文中，将主要描述与第一实施例的区别。

图4是图示出根据本实施例的包括图像处理设备23的图像捕捉装置2的例子的示意图。根据本实施例，除处理器130、存储器131、提取单元132和计算单元133之外，图像捕捉装置1的图像处理设备23还包括生成单元134。

通过混合分别对应于每一组多个像素的信号，生成单元134生成混合信号，每个混合信号对应于用来计算至少深度信息的一个像素。在本实施例中，混合信号的混合比率是红色(R)0.299、绿色(G)0.587和蓝色(B)0.114。这种混合比率被调整到人眼的视感度(luminous efficiency)。因此，这个比率的使用带来优点，因为Y^*U^*V^*格式的亮度信号Y^*可以直接用作混合信号。亮度信号Y^*存储在存储器131中、记录在存储单元14中并且用来例如计算深度信息。

图5是根据本实施例的图像处理方法的流程图。图6A图示出原始图像，图6B图示出RGB格式图像，而图6C图示出混合图像。参考图5至6C，将描述根据本实施例的图像捕捉装置2计算深度信息并生成深度信息图像的过程。

首先，在步骤S80，就像在第一实施例中，图像捕捉装置2执行对焦包围。因而，图像传感器11捕捉到具有不同模糊度的两个图像(D80、D81)。附连到图像传感器11的图像传感器111的滤色器112具有分别允许红(R)、绿(G)、蓝(B)光通过的透射区域。透射区域以图6A所示的Bayer布置被布置。图像传感器11捕捉原始图像。图6A中所示的原始图像是基于由图2A中所图示出的图像传感器11的一部分生成的信号而生成的。具体而言，图2A中所示的像素A、B、C和D分别对应于红色像素、第一绿色像素、第二绿色像素和蓝色像素。图6A中所示R、G和B的颜色信息是通过使用对应于像素A、像素B(或像素C)和像素D的信号获得的。

在步骤S81，处理器130执行把原始图像(D80、D81)去马赛克的操作。图6B中所示分别对应于原始图像(D80、D81)的RGB格式的图像(D82、D83)是通过去马赛克操作而生成的。具体而言，原始图像被分解成红(R)、绿(G)、蓝(B)图像，并且，通过内插丢失的像素，生成具有图像的所有像素的红(R)、绿(G)、蓝(B)的信号值的RGB格式图像。因而，通过对焦包围获得具有不同模糊度的两个RGB格式图像(D82、D83)。

在步骤S82，生成单元134从每个RGB格式的图像(D82、D83)生成混合图像(Y^*U^*V^*格式的图像)，这在图6C中示出。具体而言，对应于每个像素的混合信号是通过计算同一组中红(R)、绿(G)、蓝(B)的信号值的加权平均来生成的。此时，用于生成混合信号的混合比率是红色(R)0.299、绿色(G)0.587和蓝色(B)0.114，这与Y^*U^*V^*格式的亮度信号Y^*的混合比率相同。具体而言，混合信号M是通过使用表达式(6)计算的。这样，生成具有不同模糊度的两个混合图像(D84、D85)。

M＝0.299×R+0.587×G+0.114×B    (6)

在这里，R、G和B分别是每一组中红色像素、绿色像素之一和蓝色像素的信号值。

在步骤S83，提取单元132从每组的像素A、B、C和D之一提取用来计算深度信息的混合信号。在这里，对应于图6C中被粗线包围的像素的混合信号从混合图像的信号中提取出来。换句话说，混合信号是对应于图6A原始图像的第一绿色像素(图2A的像素B)的信号。在步骤S84，通过只收集对应于两个混合图像(D84、D85)的第一绿色像素的信号，提取单元132生成分别对应于混合图像(D84、D85)的被提取图像(D86、D87)。

后续步骤与第一实施例的那些相同。具体而言，在步骤S85，通过使用DFD方法，计算单元133根据具有不同模糊度的两个被提取图像(D86、D87)计算关于其图像被每个组捕捉的对象的深度信息。在步骤S86，计算单元133通过收集所有组的深度信息而生成深度信息图像(D88)。所生成的深度信息图像(D88)、亮度信号Y^*(混合信号M)以及原始图像(D80、D81)存储在存储单元14中。

如上所述，在步骤S82，生成对应于所有像素的混合信号。可替代地，可以生成至少对应于用来计算深度信息的像素(在本实施例中，是像素B)的混合信号。

在步骤S86获得的深度信息图像(D88)可以用来执行(例如)根据深度信息在聚焦图像中产生模糊效果、执行聚焦图像的3D转换以及从聚焦图像剪切对象的操作。

如上所述，在本实施例中，被提取图像是通过从混合信号收集对应于相同颜色的像素的混合信号而构成的，其中混合信号是通过混合不同颜色的信号而生成的，并且，对于每个组，通过使用混合图像计算关于对象的深度信息。

通过混合不同像素的信号，能够对具有难以通过使用单个像素为其获得高灵敏度的频谱的对象增大灵敏度，并且因此计算距离的精度可以提高。通过使用所有像素的混合信号中的对应于用于获得相同的颜色信息的像素的混合信号，图像捕捉光学系统的轴上色差的影响可以减小。

在本实施例中，混合信号的混合比率是红色(R)0.299、绿色(G)0.587和蓝色(B)0.114。但是，这不是限制。用于具有高灵敏度的图像传感器的像素的混合比率可以进一步增大。例如，混合信号的混合比率可以是红色(R)0.15、绿色(G)0.80和蓝色(B)0.05。

第三实施例

本实施例与第二实施例的区别在于被提取像素的轴上色差和像面弯曲被校正。在下文中，将主要描述与第二实施例的区别。

图7是图示出根据本实施例的包括图像处理设备33的图像捕捉装置3的示意图。除处理器130、存储器131、提取单元132、计算单元133和生成单元134之外，根据本实施例的图像捕捉装置3的图像处理设备33还包括校正单元135。

图8A和8B分别图示出图像捕捉光学系统10的轴上色差和像面弯曲。图像捕捉光学系统10通常具有轴上色差。术语“轴上色差”指由于光波长的不同而造成的焦点位置的位移。就像在图像捕捉装置3中，当使用具有用于获得颜色信息的多个像素的图像传感器11时，焦点位置在用于不同颜色的像素之间有区别。在焦点调节中，焦点位置是通过使用像素的平均值或类似值来调节的。因此，用于每个像素的实际焦点位置与最优位置有位移。在图8A中，位移量由Ax表示，其中位移量是由于轴上色差造成的散焦量。而且，图像捕捉光学系统10通常具有像面弯曲。术语“像面弯曲”指由于视角造成的焦点位置的位移。在图8B中，像面弯曲量由Zo表示。此外，像面弯曲的量取决于光的波长而变，并且，因此，像面弯曲的色差发生。

但是，在通用的图像捕捉光学系统中，轴上色差、像面弯曲以及像面弯曲的色差只造成模糊度的小差异，这几乎是人眼察觉不到的，因此捕捉到的图像的质量不受这些影响。但是，在深度信息通过使用模糊度之差计算的情况下，就像在本发明中这样，检测深度信息的精度是通过检测人眼几乎不可察觉的模糊度的小差异来提高的。因此，即使像差的量小，在深度信息中也发生距离测量误差。

因此，图像处理设备33包括校正单元135，该校正单元校正由计算单元133计算出的每个组的深度信息的距离测量误差，其中距离测量误差是由于诸如轴上色差、像面弯曲和像面弯曲的色差之类的像差而产生的。

图9是根据本实施例的图像处理方法的流程图。参考图9，将描述根据本实施例的图像捕捉装置3校正深度信息中的距离测量误差并且生成校正后的深度信息图像的过程，其中距离测量误差是由于图像捕捉光学系统10的像差而发生的。

与第二实施例的那些相同的步骤S80至S85的描述将略去。

在步骤S90，通过使用校正数据(D90)，校正单元135校正每个组的深度信息的由于以上提到的像差而产生的误差，其中每个组的深度信息已经由计算单元133在步骤S85中算出。具体而言，在步骤S90，通过从计算出的深度信息中减去用于每个组的校正数据(D90)，深度信息被转换成具有更高精度的深度信息。在步骤S91，计算单元133收集所有组的校正后的深度信息并且生成校正后的深度信息图像(D91)。

校正数据(D90)事先存储在存储单元14中。校正数据(D90)可以例如如下所述地获得。

参考图10A，评估图表50设置在与图像捕捉装置3隔开一定距离的位置。在本实施例中，评估图表50是设置在与图像捕捉装置3隔开3m的对象距离S_obj的位置的平板状随机图案图像。

参考图10B，在步骤S100，在改变评估图表50在深度方向上在两个位置(50a、50b)之间的位置的同时，位于散焦位置的图像被捕捉，该步骤S100是用于捕捉散焦图像的步骤。具体而言，首先，图像捕捉装置3聚焦到评估图表50上并且捕捉图像。接下来，评估图表50在深度方向上移动，并且图像捕捉装置3捕捉另一个图像。此时，焦点位置位于相同的位置，其在距离图像捕捉装置3有3m的对象距离S_obj处，并且不位于评估图表50已经移动到的位置50a或50b处。通过连续地移动评估图表的位置，捕捉处于散焦位置的图像。这样，获得评估图表50的对应于散焦位置的被捕捉图像(D100)。

在步骤101，检查在散焦位置捕捉到的图像的聚焦情况，该步骤101是用于计算图像锐度散焦特性的步骤。具体而言，首先，在每个散焦位置捕捉到的被捕捉图像f通过使用由表达式(7)表示的拉普拉斯滤波器g来滤波，由此从被捕捉图像f提取高频成分(对应于2.0至2.2个像素)。然后，作为像素周围小区域内高频成分的绝对值之和，计算图像锐度I。图像锐度I是通过使用表达式(8)计算的。

$g=\left[\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right]---\left(7\right)$

$I(x,y)=\mathrm{\Σ}|f\⊗g|---\left(8\right)$

通过关联图像锐度I与散焦位置，可以计算对应于像高的图像锐度散焦特性。图像锐度I在聚焦位置具有最高的值，并且图像锐度I随着散焦量增大而减小。因此，能够获得对应于像高(像面弯曲的量)和图像锐度的深度(轴上色差的量)的焦点位置。如上所述，关于深度信息，距离评分在聚焦图像的焦点位置和散焦图像的焦点位置之间的中点具有最高的值，并且深度信息的距离评分在所述图像之一的图像锐度具有最低值的区域附近具有最低的值。因此，通过获得图像锐度，能够获得对应于像高的深度信息的散焦误差以及焦深误差。在步骤102，生成用于以对应于以上提到的误差的量来校正深度信息的距离数据，该步骤102是用于生成校正数据(D90)的步骤。

校正数据(D90)在制造过程中存储在图像捕捉装置1的存储单元14中，使得校正数据(D90)可以从存储单元14取回。

这样，根据本实施例的图像捕捉装置1测量对应于图像捕捉光学系统的像高的图像锐度散焦特性，由此获得对应于像高的散焦位置和深度信息之间的对应关系。通过使用这种对应关系，编译使得能够把深度信息转换成对应于像高的散焦位置的转换表。该转换表存储在存储单元14中。

如上所述，根据本实施例，图像捕捉光学系统10的像差(轴上色差、像面弯曲以及像面弯曲的色差)被校正，由此能够以高距离测量精度获得对象的深度信息和深度信息图像。

第四实施例

上述根据本发明的图像处理方法可以应用到，例如，诸如数码相机或摄像机之类的图像捕捉装置；并应用到对由图像捕捉装置获得的图像数据执行图像处理的图像处理设备或计算机。根据本发明的技术还可以应用到其中可以安装图像捕捉装置或图像处理设备的各种电子装置(手机、智能电话、平板终端、个人计算机等等)。在上述实施例中，图像处理设备的功能块含在图像捕捉装置的主体中。但是，图像处理设备的功能块可以含在任何适当的装置中。例如，图像处理设备可以含在具有图像捕捉装置的计算机中，并且该计算机可以基于由图像捕捉装置捕捉到的图像计算距离。图像处理设备可以含在连接到有线或无线网络的计算机中，并且该计算机可以通过经网络获得多个图像来计算距离。所获得的深度信息可以用来执行各种图像处理操作，诸如图像的区域分割、三维图像或深度图像的生成和模糊效果的仿真。

根据本发明的图像处理设备的功能可以在软件(程序)或硬件中实现。例如，程序可以存储在含在图像捕捉装置中的计算机(诸如微计算机或FPGA)的存储器中，并且该计算机可以执行程序来执行根据本发明的各种处理操作。诸如ASIC之类的专用处理器可以用来执行根据本发明的全部或一些处理操作。

在上述实施例中，图像捕捉装置通过使用可见光捕捉图像。但是，这不是限制。图像捕捉装置可以是通过使用红外线辐射或紫外线辐射捕捉图像的装置。在这种情况下，图像传感器的每个组中具有最高灵敏度的像素的信号可以用来生成被提取图像。这是因为噪声水平降低并且因此距离测量可以以高精度稳定地执行。这对于捕捉黑暗对象的图像特别有效。

利用本发明，能够通过使用利用彩色图像的DFD方法以高精度获得深度信息。

虽然已经参考示例性实施例描述本发明，但是应当理解，本发明不限于所公开的示例性实施例。以下权利要求的范围要被赋予最宽的解释，从而涵盖所有这些修改以及等同的结构和功能。

Claims (13)

1.一种图像处理设备，该图像处理设备基于具有不同模糊度的第一图像和第二图像来获得代表关于对象的深度信息的分布的深度信息图像，第一图像和第二图像是由包括多个组的图像传感器捕捉的，每个组包括获得关于对象的不同颜色信息的多个像素，该图像处理设备的特征在于包括：

提取单元，配置为从所述多个组提取信号，每个信号对应于每个组中的多个像素中的一个像素，并且生成分别对应于第一图像和第二图像的第一被提取图像和第二被提取图像；及

计算单元，配置为根据第一被提取图像和第二被提取图像之间的模糊度的差来计算深度信息图像，

其中，每个对应于每个组中的多个像素中的一个像素并且从所述多个组提取出来的信号是对应于获得相同颜色信息的像素的信号。

2.如权利要求1所述的图像处理设备，

其中，所述多个像素包括获得红色信息的像素、获得绿色信息的像素和获得蓝色信息的像素。

3.如权利要求2所述的图像处理设备，

其中，所述多个像素中的所述一个像素是获得绿色信息的像素。

4.如权利要求1所述的图像处理设备，还包括：

生成单元，配置为通过混合分别对应于所述多个像素的信号来生成对应于所述多个像素中的所述一个像素的混合信号，

其中，提取单元配置为从每个组提取混合信号并且生成第一被提取图像和第二被提取图像。

5.如权利要求1所述的图像处理设备，

其中，计算单元配置为基于第一被提取图像和第二被提取图像之间的模糊度的差来计算每个组的深度信息，

其中，图像处理设备还包括校正单元，该校正单元配置为校正每个组的深度信息的误差，该误差是由于像差而生成的，及

其中，计算单元配置为根据由校正单元校正后的每个组的深度信息来计算深度信息图像。

6.如权利要求1所述的图像处理设备，

其中，所述多个像素中的所述一个像素在每个组中位于相同的位置。

7.一种图像捕捉装置，包括：

图像捕捉光学系统；

图像传感器，包括多个组，每个组包括获得关于对象的颜色信息的多个像素；及

如权利要求1至6中任一项所述的图像处理设备。

8.一种图像处理方法，该图像处理方法的特征在于包括：

提取步骤，从图像传感器的多个组提取信号，每个信号对应于所述多个组的每个组中的多个像素中的一个像素，并且生成分别对应于由图像传感器捕捉并具有不同模糊度的第一图像和第二图像的第一被提取图像和第二被提取图像，所述多个像素获得关于对象的不同颜色信息；及

计算步骤，根据第一被提取图像和第二被提取图像之间的模糊度的差来计算代表关于对象的深度信息的分布的深度信息图像，

其中，每个对应于每个组中的多个像素中的一个像素并且从多个组提取出来的信号是对应于获得相同颜色信息的像素的信号。

9.如权利要求8所述的图像处理方法，

其中，所述多个像素包括获得红色信息的像素、获得绿色信息的像素和获得蓝色信息的像素。

10.如权利要求9所述的图像处理方法，

其中，所述多个像素中的所述一个像素是获得绿色信息的像素。

11.如权利要求8所述的图像处理方法，还包括：

生成步骤，通过混合分别对应于所述多个像素的信号来生成对应于所述多个像素中的所述一个像素的混合信号，

其中，在提取步骤中，从每个组提取混合信号并且生成第一被提取图像和第二被提取图像。

12.如权利要求8所述的图像处理方法，

其中，计算步骤包括

基于第一被提取图像和第二被提取图像之间的模糊度的差来计算每个组的深度信息的步骤，

校正每个组的深度信息的误差的校正步骤，该误差是由于像差而生成的，及

根据在校正步骤中校正后的每个组的深度信息来计算深度信息图像的步骤。

13.如权利要求8所述的图像处理方法，

其中，所述多个像素中的所述一个像素在每个组中位于相同的位置。