CN102164293A - 图像处理装置、图像处理方法、图像处理程序和成像装置 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理方法、图像处理程序以及成像装置。该图像处理装置包括被配置为通过用多个视差图像执行相关值计算来检测视差图像之间的相差并生成图像内的相差分布的相差检测部，其中，相差检测部沿着两个以上彼此不同的方向单独地执行相差检测，并通过利用关于两个以上的方向的相差检测结果来生成相差分布。

Description

图像处理装置、图像处理方法、图像处理程序和成像装置

技术领域

本发明涉及用多个视差图像执行图像处理的图像处理装置、图像处理方法、图像处理程序以及包括这种图像处理装置的成像装置。

背景技术

作为本发明实施方式的相关技术，已经提出并开发了通过各种类型的图像处理来进行距离计算的算法。作为其中的一种方法，已经提出了使用一种叫做块匹配(立体匹配)的技术的距离计算方法(参考例如D.Scharstein and R.Szeliski，“A taxonomy and evaluation of dense two-frame stereo correspondence algorithms，”IJCV 2002)。

在此技术中，通过使用多个视差图像进行的图像处理来计算距离，多个视差图像具有沿着一定方向(例如，水平方向)不同的视差。具体地，通过顺序比较局部区域中的视差图像(获得相关值)来获得物体的移动量(视差图像之间的相差)，并且，以此相差为基础计算距离。

在这种立体匹配技术中，在从沿着图像中的水平方向(H方向)的多个视差图像计算距离的情况中，在获得视差图像之间的相差时，在水平方向上顺序地移动作为比较对象的局部区域(单位区域)。此外，将与在比较范围中具有最高相关性的单位区域相关的视差图像之间的位置移动(像素移动)获得为相差。在从沿着图像中的垂直方向(V方向)的多个视差图像计算距离的情况中，类似地，在获得视差图像之间的相差时，在垂直方向上顺序地移动作为比较对象的单位区域。

然而，这种相关技术的立体匹配技术具有以下问题。具体地，例如，如果在图像中包括边缘区域，在此边缘区域中无法获得正确的相差，结果，难以实现图像中的正确的相差分布。如果相差分布的正确性较低，那么基于相差分布获得的距离信息(图像中的距离分布)也是不正确的。

此问题归咎于以下原因。具体地，例如，如果存在沿着水平方向(水平边缘区域)的边缘区域，尽管在此边缘区域中移动作为比较对象的局部区域(在水平方向上移动)，相关性也始终较高(在比较范围中，相关值始终不变)。也就是说，无法唯一地决定具有最高相关性的单位区域之间的位置移动，使得无法定义相差。

需要本发明实施方式提供与相关技术相比能够生成更准确的相差分布的图像处理装置、图像处理方法、图像处理程序以及包括这种图像处理装置的成像装置。

发明内容

根据本发明的一个实施方式，提供一种图像处理装置，包括被配置为通过用多个视差图像执行相关值计算来检测视差图像之间的相差并生成图像内的相差分布的相差检测部。相差检测部沿着彼此不同的两个以上方向单独地执行相差检测，并通过利用关于两个以上方向的相差检测结果来生成相差分布。

根据本发明的另一实施方式，提供一种图像处理方法，其包括以下步骤：通过用多个视差图像执行相关值计算来检测视差图像之间的相差，并生成图像内的相差分布。沿着彼此不同的两个以上方向单独地执行相差检测，并通过利用关于两个以上方向的相差检测结果来生成相差分布。

根据本发明的另一实施方式，提供一种用于引起计算机执行包括以下步骤的处理的图像处理程序：通过用多个视差图像执行相关值计算来检测视差图像之间的相差，并生成图像内的相差分布。沿着彼此不同的两个以上方向单独地执行相差检测，并通过利用关于两个以上方向的相差检测结果来生成相差分布。

根据本发明的另一实施方式，提供一种成像装置，其包括成像光学系统以及被配置为对由成像光学系统获得的成像数据执行图像处理的图像处理装置。图像处理装置具有相差检测部，其通过用从成像数据直接或间接获得的多个视差图像执行相关值计算来检测视差图像之间的相差，并且生成图像内的相差分布。相差检测部沿着彼此不同的两个以上方向单独地执行相差检测，并通过利用关于两个以上方向的相差检测结果来生成相差分布。

在根据本发明的实施方式的图像处理装置、图像处理方法、图像处理程序和成像装置中，通过使用多个视差图像的相关值计算来检测视差图像之间的相差，并生成图像内的相差分布。此时，沿着两个以上彼此不同的方向单独地执行相差检测，并通过利用关于这两个以上方向的相差检测的结果来生成相差分布。由于此特征，例如，即使在图像中包括边缘区域，与仅基于沿着某一方向的相差检测结果来生成相差分布的相关技术相比，对相差检测中的边缘区域的影响的敏感性更小。

在根据本发明的实施方式的图像处理装置、图像处理方法、图像处理程序和成像装置中，因为沿着两个以上彼此不同的方向单独地执行相差检测，并通过利用关于这两个以上方向的相差检测的结果来生成相差分布，所以，与相关技术相比，可以降低对相差检测中的边缘区域的影响的敏感性。因此，与相关技术相比，可生成更准确的相差分布。

附图说明

图1是示出了本发明的第一实施方式的成像装置的整个构成的图；

图2A和图2B是用于说明微透镜阵列的F数的示意图；

图3是示出了图1所示的图像处理部的示意性构成的功能块图；

图4是示出了图1所示的成像元件上的光接收区域的平面图；

图5是用于说明在成像元件上接收的光束的示意图；

图6是用于说明基于两个视差图像的相差检测处理的示意图；

图7是示出了在第一实施方式的相差检测中使用的三个视差图像的示意图；

图8A、图8B、图8C、图8D、图8E和图8F是用于说明用包括边缘区域的视差图像在水平方向上进行的相差检测处理的示意图；

图9A、图9B、图9C、图9D、图9E和图9F是用于说明用包括边缘区域的视差图像在垂直方向上进行的相差检测处理的示意图；

图10A、图10B和图10C是由根据第一实施方式和比较例的图像处理装置生成的相差分布(距离信息分布)的示意图；

图11是示出了在第一实施方式中生成相差分布的操作的流程图；

图12是用于说明图11所示的可靠性判定处理的一个实例的示意图；

图13A、图13B、图13C和图13D是用于说明图11所示的可靠性判定处理的另一实例的示意图；

图14是用于说明计算从成像透镜到测量对象的距离的方法的示意图；

图15A和图15B是用于说明距离信息和重聚焦系数之间的关系的示意图；

图16是用于说明重聚焦计算处理的示意图；

图17是示出了在本发明的第二实施方式中生成相差分布的操作的流程图；

图18A、图18B和图18C是用于说明图17所示的边缘检测处理的示意图；

图19A和图19B是用于说明边缘检测滤波器的一个实例的示意图；

图20A和图20B是示出了与本发明实施方式的成像装置的一个应用例相关的数字相机的示意性构成的图。

具体实施方式

下面将参考附图详细描述本发明的实施方式。描述顺序如下所述。

1.第一实施方式(通过使用可靠性判定处理来生成相差分布的操作的实例)

2.第二实施方式(通过使用边缘检测处理来生成相差分布的操作的实例)

3.应用例(对数字相机等应用成像装置的实例)

4.修改例

<第一实施方式>

[成像装置1的整个构成]

图1示出了根据本发明第一实施方式的成像装置(成像装置1)的整个构成。成像装置1执行成像对象(照相对象)2的成像，并执行预定图像处理，由此生成并输出图像数据(成像数据)Dout。此成像装置1包括：具有孔径光阑10的成像透镜11、微透镜阵列12、成像元件13、图像处理部14、成像元件驱动部15和控制部16。其中，图像处理部14相当于本实施方式的“图像处理装置”的一个具体实例。

本实施方式(以及将在后面描述的第二实施方式)的图像处理方法体现于图像处理部14中，由此也将在下面描述。此外，本实施方式(以及将在后面描述的第二实施方式)的图像处理程序相当于以软件方式在图像处理部14中实现的相应图像处理功能。在此情况下，软件由使计算机执行相应图像处理功能的程序组构成。例如，可能这样使用各个程序：提前结合在专用硬件中，或者从网络或从记录介质安装至通用个人计算机等中。

孔径光阑10是成像透镜11的光学孔径光阑。在成像元件13上基于一个个微透镜形成成像物体2的图像(将在后面描述的单位图像)，其具有孔径形状(例如，圆形)的相似形状。

成像透镜11是用于使成像物体2成像的主透镜，由例如在可携式摄像机、静物摄影机等中使用的一般成像透镜形成。

通过多个微透镜的二维布置来获得微透镜阵列12，并且，将其设置在成像透镜11的焦平面(成像平面)处。每个微透镜具有，例如，圆形平面形状，由例如固态透镜、液晶透镜或衍射透镜形成。

优选地，成像透镜11的F数F_ML与微透镜阵列12的F数F_MLA基本相等。这是由于以下原因。如图2A所示，如果成像透镜11的F数F_ML小于微透镜阵列12的F数F_MLA(F_ML＜F_MLA)，那么由相邻微透镜形成的成像光束彼此交叠。在此情况下，出现串扰，使得重构图像的图像质量变差。另一方面，如图2B所示，如果成像透镜11的F数F_ML大于微透镜阵列12的F数F_MLA(F_ML＞F_MLA)，那么存在没有接收由微透镜形成的成像光束的成像像素。在此情况中，无法充分利用成像像素，因此，重构图像的像素数量减小。

成像元件13从微透镜阵列12接收光束，以获得包括多个像素数据的成像数据D0，并将成像元件13设置在微透镜阵列12的焦平面(成像平面)处。此成像元件13由多个以矩阵形式布置的二维固态成像元件形成，例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)元件。

在这种成像元件13的光接收平面(在微透镜阵列12侧的平面)上，以矩阵形式布置M×N(M和N均是整数)个成像像素(在下文中，简称为像素)。此外，对多个像素分配微透镜阵列12中的一个微透镜。例如，光接收平面上的像素的数量是M×N＝3720×2520＝9374400，给m×n＝12×12＝144个像素分配一个微透镜。随着分配给每个微透镜的像素的数量m和n的值变大，将在后面描述的重构图像的分辨能力也变得更高，例如，任意视野中的分辨能力和基于重聚焦计算处理的深度方向上的分辨能力(任意焦点处的分辨能力)。另一方面，(M/m)和(N/n)与重构图像的分辨率有关。因此，当(M/m)和(N/n)的值变大时，重构图像的分辨率变高。如刚刚描述的，对重构图像的分辨能力和重构图像的分辨率是平衡关系。然而，优选地，分辨能力和分辨率在良好平衡的基础上具有高值。

在成像元件13的光接收面上，可以将例如滤色片(未示出)以像素为单位二维地布置。作为滤色片，例如，可以使用以棋盘方式按照R∶G∶B＝1∶2∶1的比例布置三原色(红(R)、绿(G)和蓝(B))滤色片而获得的拜尔布置方式的滤色片(原色滤色片)。设置这种滤色片能够将由成像元件13获得的成像数据转换成与滤色片的颜色相应的多种颜色(在此情况中是三原色)的像素数据。

图像处理部14对由成像元件13获得的成像数据D0执行将在后面描述的预定的图像处理，从而生成图像数据Dout。将在后面描述此图像处理部14的详细构成。

成像元件驱动部15驱动成像元件13，并控制其光接收操作。

控制部16控制图像处理部14和成像元件驱动部15的操作。通过使用控制信号Sout，来执行图像处理部14的操作的控制。控制部16由例如微型计算机形成。

[图像处理部14的详细构成]

参考图3，将在下面描述图像处理部14的详细构造。图3示出了图像处理部14的功能块构成。图像处理部14具有缺陷校正块141、钳位(clamp)处理块142、重聚焦系数计算块143、重排列处理块144、噪声减小处理块145、轮廓增强处理块146、白平衡处理块147以及伽玛校正处理块148。

缺陷校正块141校正缺陷，例如，包括在成像数据D0中的封闭阴影(由于成像元件13的元件本身的异常而产生的缺陷)。

钳位处理块142对由缺陷校正块141进行缺陷校正而得到的成像数据，执行设置每个像素数据的黑色电平的处理(钳位处理)。对于钳位处理得到的成像数据，还可以执行颜色插入处理，例如去马赛克处理。

(重聚焦系数计算块143)

重聚焦系数计算块143在由钳位处理块142提供的成像数据D1的基础上，计算在将在后面描述的重排列处理块144中的重排列处理中使用的重聚焦系数α。重聚焦系数α对应于当用与成像数据D1相应的捕获图像中的指定深度面作为重聚焦面时所定义的系数。

此重聚焦系数计算块143具有相差检测部143A、距离信息计算部143B以及重聚焦系数设置部143C。

相差检测部143A基于成像数据D1生成(计算)将在后面描述的相差分布(将在后面描述的差异图(disparity map))DM。距离信息计算部143B基于相差分布DM计算将在后面描述的距离信息d(与从成像透镜11到将在后面描述的重聚焦面的距离相关的信息)。重聚焦系数设置部143C基于距离信息d设置(计算)重聚焦系数α。将在后面详细描述重聚焦系数计算块143的操作。

重排列处理块144通过使用在重聚焦系数计算块143中计算的重聚焦系数α，对钳位处理块142提供的成像数据D1执行将在后面描述的预定的重排列处理，从而生成图像数据D2。在此实施方式中，用重聚焦计算处理作为此重排列处理，该重聚焦计算处理使用将在后面描述的称为“光场摄影”的技术。将在后面详细描述重排列处理块144的操作。

噪声减小处理块145执行减小包括在重排列处理块144提供的图像数据D2中的噪声(例如，在黑暗地方或在感光度不充分的地方成像时产生的噪声)的处理。

轮廓增强处理块146执行轮廓增强处理，以对噪声减小处理块145提供的图像数据强调影像的轮廓。

白平衡处理块147根据例如照明条件和装置特性中的个体差异(例如，滤色片的通路特性和成像元件13的光谱感光度)，对轮廓增强处理块146提供的图像数据执行色彩平衡的调节处理(白平衡处理)。

伽玛校正处理块148对从白平衡处理块147提供的图像数据执行预定的伽玛校正(亮度和对比度的校正)，从而生成图像数据Dout。

[成像装置1的操作和效果]

下面将描述本实施方式的成像装置1的操作和效果。

(1.基本操作)

在此成像装置1中，如图1所示，在微透镜阵列12上形成由成像透镜11对成像物体2生成的图像。此外，由成像元件13经由微透镜阵列12接收入射在微透镜阵列12上的光束。此时，根据其传输方向，在成像元件13上的不同位置接收入射在微透镜阵列12上的光束。结果，例如，如图4所示，在各个微透镜上形成成像物体2的图像(单位图像)13-1，其具有孔径光阑10的孔径形状的相似形状。此单位图像13-1，即，由分配给一个微透镜的像素P构造的区域(重构像素区域13D)，与重构图像的一个像素等价。

参考图5，下面将描述由成像元件13接收的光束。如图5所示，在成像透镜11的成像透镜面上采用直角坐标系(u，v)，并在成像元件13的成像面上采用直角坐标系(x，y)。另外，将成像透镜11的成像透镜面和成像元件13的成像面之间的距离定义为F。在此情况中，用四维函数L_F(x，y，u，v)代表通过成像透镜11和成像元件13的光束L1。因此，在这种状态下记录成像元件13：除了光束的位置信息以外，还保留光束的传输方向。也就是说，用分配给各个微透镜的多个像素P的布置，来确定光束的入射方向。

在成像元件13由此接收光时，根据成像元件驱动部15进行的驱动操作来获得成像数据D0，并将其输入至图像处理部14。图像处理部14对此成像数据D0执行将在后面描述的预定的图像处理。由此，在成像装置1中生成图像数据Dout，并将其输出至外部。

(2.图像处理操作)

参考图3以及图6至图16，通过与比较例进行比较，将在下面详细描述图像处理部14中的图像处理操作(具体地，重聚焦系数计算块143的操作)。

如图3所示，在图像处理部14中，缺陷校正块141对成像数据D0执行缺陷校正，然后，钳位处理块142对由缺陷校正获得的成像数据执行钳位处理。从而，将由钳位处理获得的成像数据D1输入至重聚焦系数计算块143。

(2-1.重聚焦系数计算的操作)

然后，重聚焦系数计算块143基于成像数据D1通过以下方式计算重聚焦系数α。

(相差检测的操作)

具体地，首先，相差检测部143A在成像数据D1的基础上，生成多个(例如，三个以上)具有彼此不同的视差的视差图像(从不同视点看的任意视点图像)。可通过提取并组合从位于成像元件13所接收的单位图像中的相同位置的像素P获得的像素数据，来生成用于检测相差的视差图像。因此，所生成的视差图像的数量与分配给一个微透镜的像素的数量相同。

相差检测部143A通过用多个所生成的视差图像执行将在下面描述的校正值计算，检测视差图像之间的相差，并生成表示图像中的各个单位区域(例如，各个像素P)的相差的相差分布(差异图)DM。具体地，例如，在与图6所示的视差相似的左右两个视差的情况下，检测由右侧光束LR生成的视差图像和由左侧光束LL生成的视差图像之间的相差

(由光束LR生成的视差图像的相位和由光束LL生成的视差图像的相位

之间的相差)。

更具体地，在本实施方式中，例如如图7所示，通过沿着两个以上彼此不同的方向(图像中的水平(H)方向和垂直(V)方向的两个方向)使用多个视差图像(三个视差图像DC、DH和DV)，来生成相差分布DM。两个视差图像DC和DH彼此在水平方向上具有视差，并且，两个视差图像DC和DV彼此在垂直方向上具有视差。

在这两个视差图像之间的相差的检测中(相差分布DM的生成)，使用例如以下的立体匹配技术。具体地，在此技术中，通过顺序比较在局部区域中的两个视差图像(获得表示图像之间的相似性的相关值(像素相关值))，来获得物体的移动量(视差图像之间的相差)。

具体地，例如，在获得两个视差图像DC和DH之间的沿着水平方向的相差的情况下，通过以下方式生成相差分布DM。具体地，首先，选出一个视差图像DC中的单位区域(图7中的部分图像C1：中心坐标(x1，y1))，并固定其位置。然后，选出另一视差图像DH中的作为比较对象的单位区域(图7中的部分图像H1：中心坐标(x1，y1))，然后，在部分图像H1在比较范围H10中的水平方向上的位置顺序移动的情况下，顺序计算相关值。此外，将相关性在此比较范围H10中最高时的部分图像C1和H1之间的位置移动(像素移动)获得为相差(差异)。改变部分图像C1的位置，对视差图像DC和DH的整个表面重复执行这种计算处理。从而，获得上述相差分布DM(差异的集合)。而且，在获得沿着垂直方向的两个视差图像DC和DV之间的相差的情况中，以相似的方式生成相差分布DM。具体地，首先，选出视差图像DC中的部分图像C1和视差图像DV中的部分图像V1，并在顺序移动比较范围V10中的垂直方向上的部分图像V1的位置的情况下，顺序计算相关值。改变部分图像C1的位置，对视差图像DC和DV的整个表面重复执行这种计算处理。从而，生成相差分布DM。

此时，可用各种表达式作为计算相关值的公式。代表性表达式是以下示出的公式(1)至(3)。具体地，可用由公式(1)规定的SAD(绝对差之和)、由公式(2)规定的SSD(方差之和)、由公式(3)规定的NCC(归一化互相关)等作为相关值。在公式(1)至(3)中，I₁和I₂均表示视差图像中的像素值。在SAD和SSD的情况下，越小的值(更接近于0的值)表示越高的相关性，越大的值(更接近于∞的值)表示越低的相关性。在NCC的情况下，越接近于1的值表示相关性越高，越接近于0的值表示相关性越低。

SAD(绝对差之和)

∑_i，jabs(I₁(x+i，y+j)-I₂(x+i+d，y+j))        ……(1)

SSD(方差之和)

∑_i，j(I₁(x+i，y+j)-I₂(x+i+d，y+j))²          ……(2)

NCC；(归一化互相关)

$\frac{{\mathrm{\&Sigma;}}_{i,j}(I_1(x+i,y+j)\&times;I_2(x+i+d,y+j))}{\mathrm{Sqrt}\left({\mathrm{\&Sigma;}}_{i,j}\left(I_1{(x+i,y+j)}^2\right)\right)\&times;\mathrm{Sqrt}\left({\mathrm{\&Sigma;}}_{i,j}\left(I_2{(x+i+d,y+j)}^2\right)\right)}...\left(3\right)$

(比较例)

然而，在这种相关技术的立体匹配技术中，例如，如果在图像中包括边缘区域，那么会出现以下问题。

图8A至图8F示意性地示出了用包括边缘区域的视差图像DC和DH在水平方向上进行相差检测处理的一个实例。在图中，将部分图像C1(中心坐标(x1，y1))和沿着水平方向的比较范围H10定位在同一物体的垂直边缘区域周围。另一方面，将部分图像C2(中心坐标(x2，y2))和比较范围H20定位在同一物体的水平边缘区域周围。作为一个实例，用上述SSD作为图8E和图8F所示的相关值。在水平方向上的这种相差检测的情况下，如图8C和图8E所示，在垂直边缘区域中正确地检测相差。相反，如图8D和图8F所示，无法在水平边缘区域中检测到相差。这是由于以下原因的缘故。具体地，虽然如图8D所示，在位于水平边缘区域周围的比较范围H20中移动单位图像H2(在水平方向上移动)，但是，如图8F所示，相关性始终较高(比较范围H20中的相关值始终不变)。也就是说，无法唯一地确定当相关性最高时的位置移动，使得无法定义相差。

另一方面，例如，图9A至图9F示意性地示出了用包括边缘区域的视差图像DC和DV在垂直方向上进行相差检测处理的一个实例。在图中，将部分图像C1(中心坐标(x1，y1))和沿着垂直方向的比较范围V10定位在同一物体的垂直边缘区域周围。另一方面，将部分图像C2(中心坐标(x2，y2))和沿着垂直方向的比较范围V20定位在同一物体的水平边缘区域周围。作为一个实例，用上述SSD作为图9E和图9F所示的相关值。在垂直方向上的这种相差检测的情况中，获得与水平方向上的上述相差检测的结果相反的结果。具体地，如图9D和图9F所示，在水平边缘区域中正确地检测相差。相反，如图9C和图9E所示，无法在垂直边缘区域中检测到相差。这是由于以下原因的缘故。具体地，虽然如图9C所示，在位于垂直边缘区域周围的比较范围V10中移动单位图像V1(在垂直方向上移动)，但是，如图9E所示，相关性始终较高(比较范围V10中的相关值始终不变)。也就是说，同样在此情况中，无法唯一地确定当相关性最高时的位置移动，使得无法定义相差。

如刚刚描述的，在比较例的相关技术中，如果在图像中包括边缘区域，那么在边缘区域中无法获得正确的相差。结果，难以获得正确的相差分布DM。这是因为，在相关技术中，如图8和图9所示，仅在沿着某一方向(在此情况中，是水平方向或垂直方向)的相差检测的结果的基础上，生成相差分布DM，这与将在下面描述的本实施方式不同。如果相差分布DM的正确性较低，那么，在相差分布DM的基础上获得的将在后面描述的距离信息d(图像中的距离分布)也不正确。

因此，例如，如果在包括如图10A所示的水平边缘区域的图像(相当于成像数据D1)的基础上执行水平方向上的相差检测处理，那么，上述比较例的技术导致，例如，图10B所示的不正确的相差分布DM101。具体地，因为与成像数据D1相应的此图像是通过对具有平板形状的物体成像而获得的图像，所以，自然应当获得具有均一相差值的相差分布(具有均一距离的距离信息分布)。然而，根据与比较例相关的图10B所示的相差分布DM101，由于上述原因，在图中的符号P101所示的水平边缘区域中，检测不到正确的相差。

(本实施方式)

相反，在本实施方式中，通过以下方式在相差检测部143A中执行相差检测处理(生成相差分布DM的操作)。因此，在本实施方式中，例如，即使当在包括图10A所示的水平边缘区域的图像的基础上执行水平方向上的相差检测处理时，，不同于上述比较例，例如，如图10C所示，获得正确的相差分布DM1。具体地，在此情况中，作为相差分布DM1，获得具有均一相差值的相差分布(具有均一距离的距离信息分布)。

具体地，相差检测部143A沿着两个以上彼此不同的方向(在此实施方式中，是图像中的水平(H)方向和垂直(V)方向的两个方向)单独执行相差检测处理，并通过利用关于这两个以上方向的相差检测的结果来生成相差分布DM。具体地，在此实施方式中，作为一个实例，相差检测部143A沿着图7所示的三个视差图像DC、DH和DV中的水平方向和垂直方向单独执行相差检测处理，并通过利用关于水平方向的相差检测结果和关于垂直方向的相差检测结果来生成相差分布DM。

图11是示出了生成根据本实施方式的相差分布DM的操作(相差检测处理)的流程图。如图11所示，在生成相差分布DM时，相差检测部143A首先在水平方向上执行立体匹配处理，如上面参考图7和图8所描述的。换句话说，其通过使用视差图像DC和DH，来执行相差检测处理(图11中的步骤S11)。此外，与此并行地，相差检测部143A在垂直方向上执行立体匹配处理，如上面参考图7和图9所描述的。换句话说，其通过使用视差图像DC和DV，来执行相差检测处理(步骤S12)。

然后，相差检测部143A对关于两个以上方向的相差检测的每个结果(在此实施方式中，是关于水平方向和垂直方向的相差检测结果)，对每个单位区域进行相差可靠性判定(可靠性判定处理)(步骤S13)。具体地，相差检测部143A基于相关特性线的形状执行可靠性判定处理，相关特性线表示相关值计算时的像素位置和相关值之间的关系，例如，如图8E和图8F以及图9E和图9F中示出的那样。这利用了以下事实。具体地，如图8E和图9F所示，如果执行了正确的相差检测，那么相关特性线是曲线(在此情况中，是向下凸的曲线)。相反，如图8F和图9E所示，如果没有执行正确的相差检测，那么相关特性线是直线。作为利用相关特性线的形状的这种可靠性判定处理的技术，例如，可以使用以下三种技术。

第一种技术提供使用由以下公式(4)规定的锐度γ(表示相关特性线的形状的锐度程度的指标)的可靠性判定处理。在此公式(4)中，将像素位置i中的相关值定义为Xi(i＝1至N(整数))，并将这些相关值Xi的平均偏差和标准偏差分别定义为μ和σ。锐度γ的值越大意味着，相关特性线具有形状(曲线形状)越锐利，即实现正确的相差检测的可能性越高(可靠性更高)。相反，锐度γ的值越小意味着，相关特性线具有越不锐利的形状(直线形状)，即实现正确的相差检测的可能性越低(可靠性更低)。

v＝∑(Xi-μ)⁴/(Nσ⁴)        ……(4)

第二种技术提供通过使用例如如图12所示的相关特性线的峰点及其周围点之间的相关值的差来执行的可靠性判定处理。具体地，在此技术中，如果将位于像素位置x、(x-1)和(x+1)的相关值分别定义为f(x)、f(x+1)和f(x-1)，并将系数(常数)定义为α，那么用以下的公式(5)规定可靠性R。可靠性R的值越大意味着，相关特性线具有越锐利的形状(曲线形状)，即实现正确的相差检测的可能性越高(可靠性更高)。相反，可靠性R的值越小意味着，相关特性线具有越不锐利的形状(直线形状)，即实现正确的相差检测的可能性越低(可靠性更低)。

可靠性R＝

|α×{f(x-1)-2×f(x)+f(x+1)}|……(5)

第三种技术提供通过使用例如如图13A至图13D所示的相应像素位置处的相关值的导数值的积分值(积分的值)来执行的可靠性判定处理。具体地，例如，如图13A和图13C所示，作为相关值的导数值的此积分值越大(对应于图13C中的阴影区域的面积值)意味着，相关特性线具有越锐利的形状(曲线形状)，即实现正确的相差检测的可能性更高(可靠性更高)。相反，例如，如图13B和图13D所示，作为相关值的导数值的积分值越小意味着，相关特性线具有越不锐利的形状(直线形状)，即实现正确的相差检测的可能性越低(可靠性更低)。

最后，基于步骤S13中的可靠性判定处理的结果，相差检测部143A在每个单位区域使用关于最高可靠性的方向的相差检测的结果，并组合这些结果，从而生成作为最终结果的相差分布DM(步骤S14)。具体地，在此实施方式中，例如，对于这样的单位区域(在该单位区域中，与关于垂直方向的相差检测的结果相比，关于水平方向的相差检测的结果具有更高的可靠性)，用关于水平方向的相差检测的结果作为此单位区域的相差检测的最终结果。相反，对于这样的单位区域(在该单位区域中，与关于水平方向的相差检测的结果相比，关于垂直方向的相差检测的结果具有更高的可靠性)，用关于垂直方向的相差检测结果作为此单位区域的相差检测的最终结果。基于各个单位区域，对整个图像执行相差检测结果的这种选择(使用)。从而，生成与整个图像相关的一个相差分布DM。

以此方式，在本实施方式中，通过用多个视差图像(三个视差图像DC、DH和DV)进行相关值计算，来检测视差图像之间的相差，并生成图像内的相差分布DM。对于此生成，沿着两个以上彼此不同的方向(在此实施方式中，是图像中的水平方向和垂直方向的两个方向)单独地执行相差检测，并通过利用关于相应方向的相差检测的结果来生成相差分布DM。由于此特征，例如，即使在图像中包括边缘区域(水平边缘区域和垂直边缘区域)，与仅在沿着某一方向的相差检测的结果的基础上生成相差分布的相关技术(比较例)的技术相比，对相差检测中的边缘区域的影响的敏感性较低。

(距离信息计算的操作)

然后，在重聚焦系数计算块143中，距离信息计算部143B在相差检测部143A中获得的相差分布DM的基础上计算预定的距离信息d。在此实施方式中，此距离信息d表示从成像透镜11到与成像数据D1相应的所捕获的图像中的任意参考位置的距离的信息。具体地，距离信息d指的是成像透镜11和期望将物体聚焦于其上的重聚焦面之间的距离信息d(从成像透镜11到上述参考位置的距离d的信息)，即，将在后面描述的重聚焦时成像透镜11的物体侧的焦距。

具体地，距离信息计算部143B通过使用根据以下的公式(6)至(13)的相差分布DM，计算到测量对象的距离d(距离信息d)。在这些公式中，如图14所示，将成像透镜11的物体侧焦平面定义为D。将成像透镜11的焦距定义为F。将当获得相差分布DM时的成像透镜的孔径大小定义为v。将当在距离D处执行物体的成像时的成像透镜11的图像侧焦平面定义为f。将当在离成像透镜11距离d的地方执行物体的成像时的成像透镜11的图像侧焦平面定义为g。将通过使用与距离d处的物体相关的孔径大小v来计算的((差异)×(成像元件13中的像素P的大小)×(分配给微透镜阵列12的一侧的长度的像素的数量))的值定义为h。

具体地，首先，基于相似关系获得公式(6)。此外，因为根据图14满足e＝(g-f)的关系，所以，通过将其代入公式(6)来获得公式(7)，并且，从公式(7)获得公式(8)。另外，由成像透镜11的图像形成的公式来获得公式(9)和(10)。因此，通过将公式(9)代入公式(8)来获得公式(11)，并从公式(10)获得公式(12)。因此，通过将公式(12)代入公式(11)来获得公式(13)。因此，如果公式(13)中的F、D和v的值是已知的值，则基于相差分布DM计算距离d。

(h/e)＝(v/g)                     ……(6)

{h/(g-f)}＝(v/g)                 ……(7)

(1/g)＝(1/f)×{1-(h/v)}          ……(8)

(1/F)＝(1/g)+(1/d)               ……(9)

(1/F)＝(1/D)+(1/f)               ……(10)

(1/d)＝(1/F)-[(1/f)×{1-(h/v)}]  ……(11)

f＝F×{D/(D-F)}                  ……(12)

(1/d)＝(1/F)-[1/F×D/(D-F)}×{1-(h/v)}]

……(13)

(设置重聚焦系数的操作)

然后，在重聚焦系数计算块143中，重聚焦系数设置部143C基于距离信息计算部143B中获得的距离信息d设置(计算)重聚焦系数α。具体地，如果在成像透镜11的物体侧焦平面存在于由如图15A所示的距离D分开的距离的状态下执行成像，那么通过以下方式计算重聚焦系数α。具体地，如图15B所示，由上述公式(10)和以下示出的公式(14)计算重聚焦系数α，其用于在与成像透镜11隔开距离d的位置的平面上获得重聚焦的图像。将由此计算出的重聚焦系数α与成像数据D1一起输入至重排列处理块144。

(1/F)＝(1/D)+(1/αf)  ……(14)

(2-2.重聚焦计算处理的操作)

然后，重排列处理块144通过使用以上述方式在重聚焦系数计算块143中计算的重聚焦系数α，对从钳位处理块142提供的成像数据D1执行预定的重排列处理，以生成图像数据D2。具体地，其通过执行将在下面描述的重聚焦计算处理(积分处理)，来生成设置于任意焦点(由重聚焦系数α规定的重聚焦面)的图像(重构图像)。

如图16所示，用以下示出的公式(15)代表与由重聚焦系数α规定的重聚焦面120上的坐标(s，t)相关的成像平面130上的检测强度L_F’。此外，在重聚焦面120上获得的图像E_F’(s，t)由关于透镜孔径的检测强度L_F’的积分产生，由此用以下示出的公式(16)代表。因此，重排列处理块144通过执行使用此公式(16)的重聚焦计算处理，可生成设置于任意焦点(由重聚焦系数α规定的重聚焦面120)的重构图像(图像数据D2)。

$L_{F^{,}}(s,t,u,v)=L_{(\mathrm{\&alpha;}\&CenterDot;F)}(s,t,u,v)$

$=L_F(u+\frac{s-u}{\mathrm{\&alpha;}},v+\frac{t-v}{\mathrm{\&alpha;}},u,v)$

$=L_F\{u(1-\frac{1}{\mathrm{\&alpha;}})+\frac{s}{\mathrm{\&alpha;}},v(1-\frac{1}{\mathrm{\&alpha;}})+\frac{1}{\mathrm{\&alpha;}},u,v\}$

……(15)

$E_{F^{,}}(s,t)=\frac{1}{F^{,}2}\&Integral;\&Integral;L_{F^{,}}(s,t,u,v)\mathrm{dudv}$

$=\frac{1}{{\mathrm{\&alpha;}}^2{F}^2}\&Integral;\&Integral;L_F\{u(1-\frac{1}{\mathrm{\&alpha;}})+\frac{s}{\mathrm{\&alpha;}},v(1-\frac{1}{\mathrm{\&alpha;}})+\frac{t}{\mathrm{\&alpha;}},u,v\}\mathrm{dudv}$

……(16)

此后，首先，噪声减小处理块145对由此生成的图像数据D2执行噪声减小处理。然后，轮廓增强处理块146对由噪声减小处理生成的图像数据执行轮廓增强处理。接下来，白平衡处理块147对由轮廓增强处理生成的图像数据执行色彩平衡调节处理(白平衡处理)。此外，伽玛校正处理块148对由白平衡处理生成的图像数据执行伽玛校正处理。从而，从图像处理部14生成并输出图像数据Dout。

如上所述，在本实施方式中，在通过用多个视差图像DC、DH和DV计算的相关值检测视差图像之间的相差并生成图像内的相差分布DM时，沿着图像中的水平方向和垂直方向的两个方向单独地执行相差检测，并通过利用关于这两个方向的相差检测的结果来生成相差分布DM。因此，与相关技术相比，可减小对相差检测中的边缘区域的影响的敏感性。由此，与相关技术相比，可生成更正确的相差分布DM。结果，与相关技术相比，基于此相差分布DM获得的距离信息d(距离信息分布)为更正确的信息。

<第二实施方式>

下面将描述本发明的第二实施方式。在本实施方式中，相差检测部143A执行在下面描述的相差检测处理，而不是图11所示的相差检测处理。其它构成和操作与上述第一实施方式的构成和操作相同。对与第一实施方式中相同的构成要素给予相同的符号，并由此省略其描述。

图17是示出了根据本实施方式的生成相差分布DM的操作(相差检测处理)的流程图。在本实施方式中，在生成相差检测DM时，首先，对沿着两个以上方向的多个视差图像中的至少一个，相差检测部143A执行边缘检测处理，以检测沿着其视差方向的边缘区域。具体地，在此实施方式中，对沿着水平方向的视差图像DH执行水平边缘检测处理，以检测沿着水平方向的边缘区域(水平边缘区域)。替代地，对沿着垂直方向的视差图像DV执行垂直边缘检测处理，以检测沿着垂直方向的边缘区域(垂直边缘区域)(图17中的步骤S21)。

具体地，例如，如果对如图18A所示的包括边缘区域的视差图像DH执行水平边缘检测处理，那么，获得检测例如图18B所示的水平边缘区域PH1和PH2的水平边缘检测结果。如果图18A所示的视差图像是视差图像DV且对此视差图像DV执行垂直边缘检测处理，那么，获得检测例如图18C所示的垂直边缘区域PV1和PV2的垂直边缘检测结果。

例如，可用如图19A和图19B所示的Sobel滤波器作为在此边缘检测处理中使用的滤波器(边缘检测滤波器)。具体地，例如，图19A所示的Sobel滤波器用作水平边缘检测滤波器，而图19B所示的Sobel滤波器用作垂直边缘检测滤波器。如果将边缘检测处理之前的图像中的像素值定义为img(x，y)等，将边缘检测处理之后的图像中的像素值定义为S(x，y)等，那么，如下所示，分别用公式(17)和(18)代表用作水平边缘检测滤波器和垂直边缘检测滤波器的Sobel滤波器。

S(x，y)＝img(x-1，y-1)+img(x-1，y+1)+img(x，y-1)

+img(x，y+1)+img(x+1，y-1)+img(x+1，y+1)

……(17)

S(x，y)＝img(x-1，y-1)+img(x-1，y+1)+img(x，y-1)

+img(x，y+1)+img(x+1，y-1)+img(x+1，y+1)

……(18)

然后，基于步骤S21的边缘检测结果，相差检测部143A使用关于各个单位区域的与所检测的边缘区域的方向不同的方向的相差检测结果，并组合这些结果，从而生成相差分布DM。具体地，在此实施方式中，相差检测部143A组合水平方向上的立体匹配处理(使用视差图像DC和DH的相差检测处理)(步骤S22)和垂直方向上的立体匹配处理(使用视差图像DC和DV的相差检测处理)(步骤S23)。

具体地，对于在步骤S21的边缘检测处理中没有检测到边缘区域的单位区域，相差检测部143A沿着与此边缘检测处理的方向相同的方向，执行相差检测处理。此外，对于在边缘检测处理中检测到边缘区域的单位区域，相差检测部143A沿着一个与此边缘检测处理的方向不同的方向，执行相差检测处理。由于此特征，在后面描述的步骤S24中组合这些相差检测结果时，没有对其执行了不必要的(没有用的)相差检测处理的单位区域。因此，提高整个相差检测操作(生成相差分布DM的操作)的处理速度，而且也降低计算成本。

更具体地，在此实施方式中，例如，如果在步骤S21中执行水平边缘检测处理，那么在步骤S22中对没有检测到水平边缘区域的单位区域执行沿着水平方向的相差检测处理。另一方面，对于检测到水平边缘区域的单位区域，在步骤S23中执行沿着垂直方向的相差检测处理。

例如，如果在步骤S21中执行垂直边缘检测处理，那么在步骤S23中对没有检测到垂直边缘区域的单位区域执行沿着垂直方向的相差检测处理。另一方面，对于检测到垂直边缘区域的单位区域，在步骤S22中执行沿着水平方向的相差检测处理。

最后，相差检测部143A对每个单位区域，将在步骤S22和S23中执行的关于水平方向和垂直方向的相差检测结果组合，从而生成作为最终结果的相差分布DM(步骤S24)。

按照上述方式，本实施方式也与上述第一实施方式一样，与相关技术相比，可减小对相差检测中的边缘区域的影响的敏感性。因此，与相关技术相比，可生成更正确的相差分布DM。结果，基于相差分布DM所获得的距离信息d(距离信息分布)也可以是比相关技术更正确的信息。

在本实施方式中，如图17所示，在执行边缘检测处理之后，执行与相应方向相关的相差检测处理。然而，处理的顺序不限于此，例如，可以以相反的顺序执行处理。也就是说，可以在执行与相应方向相关的相差检测处理之后，执行边缘检测处理。然而，如果以本实施方式的顺序执行处理，可以在考虑如上所述的边缘检测处理的结果后，对每个单位区域执行选择性相差检测处理。因此，本实施方式的顺序能够实现更高速度的整个相差检测操作(生成相差分布DM的操作)的处理和更低的计算成本。

<应用例>

下面将描述在上述第一和第二实施方式中描述的成像装置1的应用例。可将根据这些实施方式的成像装置1应用于，例如，将在下面描述的数字相机3、位置传感器、生物传感器和光学显微镜。

图20A和图20示出了包括上述成像装置1的数字相机3的示意性构成：图20A是前视图，而图20B是侧视图。此数字相机3包括壳体300内部的成像装置1。在壳体300的上部设置快门按钮17、闪光灯18、取景器光学系统19等。

<修改例>

虽然上面描述了本发明的实施方式及其应用例，但是本发明不限于这些实施方式等，可以有各种修改。

例如，在上述实施方式等中，相差检测部143A通过使用三个视差图像DC、DH和DV来生成相差分布DM。然而，本发明不限于此，可以通过使用四个以上的视差图像来生成相差分布DM。

此外，在上述实施方式等中，在多个视差图像中沿着水平方向和垂直方向单独执行相差检测处理。然而，本发明不限于此，例如，还可以利用沿着图像中的倾斜方向的相差检测处理。也就是说，只要沿着两个以上彼此不同的方向单独执行相差检测处理，任何方向都可用作相差检测处理的方向。

此外，在上述实施方式等中，基于由相差检测部143A生成的相差分布DM来计算距离信息d(与从成像透镜11到重聚焦面的距离相关的信息)。然而，本发明不限于此，还适用于基于所生成的相差分布计算另一参数(例如，中间视差图像生成处理或视差增强处理)。

另外，在上述实施方式等中，将使用“光场摄影”的重聚焦计算处理描述为，在图像处理部14中执行的包括重排列处理的图像处理的一个实例。然而，包括重排列处理的图像处理不限于此，可适用于例如焦距模糊处理或场深调节处理。

此外，在上述实施方式中，将图像处理部14作为成像装置1的构成要素中的一个。然而，图像处理部14并非必须设置于成像装置1内。具体地，图像处理部可以与数字相机3的壳体300中的成像装置分开地设置，并且，此图像处理部可以对由成像装置获得的成像数据执行图像处理。

此外，在上述实施方式等中，图像处理部14对由利用“光场摄影”的成像光学系统(具有成像透镜11、微透镜阵列12和成像元件13的成像光学系统)获得的成像数据D0执行图像处理。然而，本发明不限于此，还可适用于不同于下述成像数据的数据，该成像数据通过上述成像光学系统在保持光束的传输方向的状态下获得。具体地，例如，可以基于通过使用具有多个视差的成像光学系统获得的多个视差图像，生成相差分布。

另外，在上述实施方式中，在成像透镜的对象侧(入射侧)上设置孔径光阑10。然而，该构造不限于此，还可以将孔径光阑10设置在成像透镜的图像侧(出射侧)上或设置在成像透镜的内部。

此外，在在上述实施方式等中，作为滤色片的一个实例，采用通过以棋盘方式按R∶G∶B＝1∶2∶1的比例布置三原色(红(R)、绿(G)和蓝(B))滤色片来获得的拜尔布置方式的滤色片。然而，滤色片不限于此，还可以使用另一布置方式的滤色片，例如互补滤色片。作为这种互补滤色片的一个实例，可使用以Y∶M∶C∶G＝1∶1∶1∶1的比例按棋盘方式布置黄色(Y)、品红(M)、青色(C)和绿色(G)的四种互补颜色的滤色片。

本申请包含于2010年2月16日向日本专利局提交的日本在先专利申请JP 2010-031833中公开的主题，该专利的全部内容结合于此作为参考。

本领域的技术人员应该理解，只要在所附的权利要求书或其等价物的范围内，则可以根据设计需求和其它因素，进行各种修改、组合、子组合和改变。

Claims (15)

1.一种图像处理装置，包括：

相差检测部，被配置为通过用多个视差图像执行相关值计算来检测视差图像之间的相差，并生成图像内的相差分布，其中，

所述相差检测部沿着彼此不同的两个以上方向单独地执行相差检测，并通过利用关于所述两个以上方向的相差检测结果来生成所述相差分布。

2.根据权利要求1所述的图像处理装置，其中，

所述相差检测部在每个单位区域对关于所述两个以上方向的相差检测结果中的每一个进行相差的可靠性判定，并且

所述相差检测部基于所述可靠性判定的结果，在每个单位区域采用关于最高可靠性方向的相差检测结果，并组合这些结果，从而生成所述相差分布。

3.根据权利要求2所述的图像处理装置，其中，

所述相差检测部基于相关特性线进行所述可靠性判定，所述相关特性线表示所述相关值计算中的像素位置和相关值之间的关系。

4.根据权利要求1所述的图像处理装置，其中，

关于所述两个以上方向的视差图像中的至少一个，所述相差检测部执行边缘检测处理，以沿着所述至少一个视差图像的视差方向检测边缘区域，并且

所述相差检测部基于所述边缘检测的结果，在每个单位区域采用与检测出的边缘区域的方向不同的方向相关的相差检测结果，并组合这些结果，从而生成所述相差分布。

5.根据权利要求4所述的图像处理装置，其中，

所述相差检测部对在所述边缘检测处理中检测不到边缘区域的单位区域，沿着与所述边缘检测处理的方向相同的方向执行相差检测，并且

所述相差检测部对在所述边缘检测处理中检测到边缘区域的单位区域，沿着与所述边缘检测处理的方向不同的方向中的一个方向执行相差检测。

6.根据权利要求1所述的图像处理装置，其中，

所述相差检测部沿着多个视差图像中的水平方向和垂直方向单独执行相差检测，并且

所述相差检测部通过利用关于水平方向的相差检测结果和关于垂直方向的相差检测结果生成所述相差分布。

7.根据权利要求1所述图像处理装置，其中，

所述多个视差图像由成像光学系统基于在保持光束的传输方向的状态下获得的成像数据而生成，该成像光学系统具有：成像透镜；基于所接收的光束而获得成像数据的成像元件；以及设置在所述成像透镜和所述成像元件之间、并通过对所述成像元件的多个像素分配一个微透镜来配置的微透镜阵列。

8.根据权利要求7所述的图像处理装置，还包括：

距离信息计算部，被配置为基于所述相差检测部生成的相差分布来计算从所述成像透镜到重聚焦面的距离信息。

9.根据权利要求8所述的图像处理装置，还包括：

重聚焦系数设置部，被配置为基于所述距离信息计算部计算的距离信息来设置重聚焦系数。

10.根据权利要求9所述的图像处理装置，还包括：

重排列处理块，被配置为通过使用由所述重聚焦系数设置部设置的重聚焦系数，对所述成像数据执行重排列处理。

11.一种图像处理方法，包括以下步骤：

通过用多个视差图像执行相关值计算来检测视差图像之间的相差，并生成图像内的相差分布，其中，

沿着彼此不同的两个以上方向单独地执行相差检测，并通过利用关于所述两个以上方向的相差检测结果来生成所述相差分布。

12.一种图像处理程序，用于使得计算机执行包括以下步骤的处理：

通过用多个视差图像执行相关值计算来检测视差图像之间的相差，并生成图像内的相差分布，其中，

沿着彼此不同的两个以上方向单独地执行相差检测，并通过利用关于所述两个以上方向的相差检测结果来生成所述相差分布。

13.一种成像装置，包括：

成像光学系统；以及

图像处理装置，被配置为对由所述成像光学系统获得的成像数据执行图像处理，其中，

所述图像处理装置具有相差检测部，其通过用由所述成像数据直接或间接获得的多个视差图像执行相关值计算来检测视差图像之间的相差，并生成图像内的相差分布，并且

所述相差检测部沿着彼此不同的两个以上方向单独地执行相差检测，并通过利用关于所述两个以上方向的相差检测结果来生成相差分布。

14.根据权利要求13所述的成像装置，其中，

所述成像光学系统具有成像透镜、基于所接收的光束而获得成像数据的成像元件、以及设置在所述成像透镜和所述成像元件之间并通过对所述成像元件的多个像素分配一个微透镜来配置的微透镜阵列，并且

所述多个视差图像基于在保持光束的传输方向的状态下获得的成像数据而生成。

15.一种图像处理装置，包括：

相差检测装置，通过用多个视差图像执行相关值计算来检测视差图像之间的相差，并生成图像内的相差分布，其中，

相差检测装置沿着彼此不同的两个以上方向单独地执行相差检测，并通过利用关于所述两个以上方向的相差检测的结果来生成所述相差分布。

Images