CN101990065B - 图像处理装置、图像拍摄装置、图像处理方法和程序 - Google Patents

Abstract

本发明公开了一种图像处理装置、图像拍摄装置、图像处理方法和程序。所述图像处理装置包括以下元件。从不同的视点拍摄第一和第二图像。块划分单元将第一图像划分为块。类似度计算单元计算第一图像中的块与第二图像中的图像区域之间的类似度。似然度计算单元基于候选对应图像区域的位置关系来计算第二图像中的每个候选对应图像区域相对于第一图像中的各个相邻块组的似然度。对应位置确定单元使用所计算的类似度和似然度来确定第二图像中的每个候选对应图像区域相对于第一图像中的所述块的评价值，并通过比较所确定的评价值来确定与第一图像中的每个块对应的第二图像中的图像区域。

Description

图像处理装置、图像拍摄装置、图像处理方法和程序

技术领域

本发明涉及图像处理装置、图像拍摄装置、图像处理方法和程序。更具体而言，本发明涉及用于确定从不同视点拍摄的多个图像之间的对应点的图像处理装置、图像拍摄装置、图像处理方法和程序。

背景技术

可以搜索从多个不同视点拍摄的图像之间的对应点以计算在图像中出现的对象距照相机的距离。已经提出了用于精确地和迅速地搜索图像之间的对应点的许多技术。

例如，日本未审查专利申请公布No.2003-085566公开了一种用于高精度地确定图像之间的对应(correspondence)的技术。在所公开的技术中，使用作为动态编程算法的维特比(Viterbi)算法来向水平扫描线上的像素序列分配最佳对应。

日本未审查专利申请公布No.07-103734公开了一种用于迅速地确定图像之间的对应的技术。在所公开的技术中，使用尺寸缩小的图像来形成分层结构，在所述分层结构中，在低分辨率层中的对应检测的结果被转用到高分辨率层，以减小在高分辨率层中的对应搜索处理的量。

发明内容

如上所述，现有技术的一些示例公开了用于精确地或者迅速地计算从多个视点拍摄的图像之间的对应点的配置。但是，这样的配置存在困难。例如，在上面的日本未审查专利申请公布No.2003-085566中公开的处理中，用于形成图像的各个像素的对应的计算涉及大量的计算处理。此外，在上面的日本未审查专利申请公布No.07-103734中公开的处理中，用于搜索层中的对应的块尺寸是固定的，与层无关。因此，用于搜索低分辨率层中的对应的块尺寸相对于图像的尺寸可能很大。

因此，期望提出具有改善的精度和速度的一种用于进行对应点测量的技术。

本发明的示例性实施例例如提供了图像处理装置、图像拍摄装置、图像处理方法和程序。在所述示例性实施例中，将图像划分为块，并且优化从水平方向上的块序列的对应位置获得的评价值。此外，所述图像在尺寸上被缩小，并且，获得低分辨率图像中的对应检测结果。在该处理中，块尺寸也根据图像的缩小比率而缩小。该处理能够实现对图像之间的对应的高速和高精度检测。

本发明的一个实施例提供了一种图像处理装置，其包括：块划分单元，配置成对从第一图像和第二图像中选择的所述第一图像执行块划分处理，所述第一图像和所述第二图像是从不同视点拍摄的图像；类似度计算单元，配置成计算所述第一图像中的由所述块划分单元限定的块和形成所述第二图像的图像区域之间的类似度；似然度计算单元，配置成计算所述第二图像中的每个候选的对应图像区域相对于所述第一图像中的各相邻块组的似然度，所述计算基于所述候选对应图像区域的位置关系；以及对应位置确定单元，配置成使用由所述类似度计算单元计算出的类似度和由所述似然度计算单元计算出的似然度来确定所述第二图像中的每个候选对应图像区域相对于所述第一图像中的块的评价值，并通过比较所确定的评价值来确定与所述第一图像中的块对应的所述第二图像中的图像区域。

所述图像处理装置还可包括：图像尺寸缩小单元，配置成缩小所述第一图像的尺寸和所述第二图像的尺寸，以产生第一尺寸缩小图像和第二尺寸缩小图像。所述块划分单元、所述类似度计算单元、所述似然度计算单元和所述对应位置确定单元可以对由所述图像尺寸缩小单元产生的所述第一尺寸缩小图像和所述第二尺寸缩小图像执行处理，以确定与所述第一尺寸缩小图像中的块对应的所述第二尺寸缩小图像中的对应图像区域。当所述块划分单元、所述类似度计算单元、所述似然度计算单元和所述对应位置确定单元对尺寸还没有缩小的所述第一图像和所述第二图像执行处理以确定与所述第一图像中的块对应的所述第二图像中的对应图像区域时，所述对应位置确定单元可以执行仅将尺寸未缩小的所述第二图像中的对应图像区域设置为被计算评价值的候选对应图像区域的处理，所述尺寸未缩小的第二图像中的对应图像区域对应于为所述第二尺寸缩小图像确定的对应图像区域。

所述图像尺寸缩小单元可以产生具有不同缩小比率的尺寸缩小的图像。所述块划分单元、所述类似度计算单元、所述似然度计算单元和所述对应位置确定单元可以对具有高缩小比率的尺寸缩小图像执行作为在前图像处理的处理，并且可以对具有低缩小比率的尺寸缩小图像或者对尺寸未缩小的图像执行作为随后图像处理的处理。在所述随后图像处理中，可以基于在所述在前图像处理中确定的所述第二尺寸缩小图像中的对应图像区域来执行用于限定被计算评价值的候选对应图像区域的处理，所述第二尺寸缩小图像具有高缩小比率。

所述块划分单元可以对所述尺寸缩小图像执行块划分处理，以使用以与所述尺寸缩小图像的缩小比率相同的缩小比率缩小的块尺寸将所述尺寸缩小图像划分为块。

所述似然度计算单元可以通过下述方式来计算所述第二图像中的第一候选图像区域和第二候选图像区域分别相对于所述第一图像中的相邻块中包括的第一块和第二块的似然度：当所述第一候选图像区域和所述第二候选图像区域彼此分开时，设置所述似然度使得根据所述第二图像中的所述第一候选图像区域和所述第二候选图像区域之间的距离的增加来缩小所述似然度，以及当所述第一候选图像区域和所述第二候选图像区域交迭时，设置所述似然度使得根据所述第二图像的所述第一候选图像区域和所述第二候选图像区域之间的交迭程度的增加来缩小所述似然度。

所述对应位置确定单元可以使用由所述类似度计算单元计算的类似度F和由所述似然度计算单元计算的似然度H，根据下面的表达式来计算评价值X：

X＝F+λH，

其中，λ表示预定系数。

所述对应位置确定单元可以使用所述表达式来计算在所述第一图像中限定的一组多个块的评价值，并使用所计算出的评价值来确定与在所述第一图像中限定的所述一组多个块对应的所述第二图像中的对应图像区域。

所述对应位置确定单元可以使用动态编程、通过比较所述评价值来确定与所述第一图像中的块对应的所述第二图像中的对应图像区域。

本发明的另一个实施例提供了一种图像拍摄装置，其包括如上所述的图像处理装置。

本发明的另一个实施例提供了一种在图像处理装置中执行的图像处理方法，所述方法包括下述步骤：通过块划分单元来对从第一图像和第二图像中选择的所述第一图像执行块划分处理，所述第一图像和所述第二图像是从不同视点拍摄的图像；通过类似度计算单元来计算在所述执行块划分处理的步骤中限定的所述第一图像中的块和形成所述第二图像的图像区域之间的类似度；通过似然度计算单元来计算所述第二图像中的每个候选的对应图像区域相对于所述第一图像中的各组相邻块的似然度，所述计算基于所述候选对应图像区域的位置关系；以及通过对应位置确定单元使用由所述类似度计算单元计算出的类似度和由所述似然度计算单元计算出的似然度来确定所述第二图像中的每个候选对应图像区域相对于所述第一图像中的所述块的评价值，并通过比较所确定的评价值来确定与所述第一图像中的所述块对应的所述第二图像中的图像区域。

本发明的另一个实施例提供了一种程序，用于使得图像处理装置执行图像处理，所述图像处理包括下述步骤：使得块划分单元对从第一图像和第二图像中选择的所述第一图像执行块划分处理，所述第一图像和所述第二图像是从不同视点拍摄的图像；使得类似度计算单元计算在所述使得块划分单元执行块划分处理的步骤中限定的所述第一图像中的块和形成所述第二图像的图像区域之间的类似度；使得似然度计算单元计算所述第二图像中的每个候选的对应图像区域相对于所述第一图像中的各组相邻块的似然度，所述计算基于所述候选对应图像区域的位置关系；以及使得对应位置确定单元使用由所述类似度计算单元计算出的类似度和由所述似然度计算单元计算出的似然度来确定所述第二图像中的每个候选对应图像区域相对于所述第一图像中的所述块的评价值，并通过比较所确定的评价值来确定与所述第一图像中的所述块对应的所述第二图像中的图像区域。

根据本发明的所述实施例的所述程序可以例如是可以使用存储介质或者通信介质、以计算机可读形式被提供到能够执行各种程序代码的图像处理装置或者计算机系统的程序。被以计算机可读形式提供了这种程序的所述通信处理装置或者计算机系统根据所述程序来执行处理。

根据以下结合附图对本发明的示例性实施例的更详细说明，本发明的实施例的其他特征和优点将变得清楚。在此使用的术语“系统”指的是逻辑上的一组装置，而与具有独立结构的装置是否被容纳在单个外壳中无关。

根据本发明的示例性实施例的配置，可以实现从多个不同视点拍摄的多个图像之间的对应点的有效检测。具体而言，在作为从不同视点拍摄的图像的L图像和R图像中的所述L图像被划分为多个块，并计算L图像中的所述块与形成R图像的图像区域之间的类似度。然后，基于R图像中的每个候选对应图像区域的位置关系来确定所述候选对应图像区域相对于L图像中的各组相邻块的似然度。此外，使用类似度和似然度来确定在R图像中的每个候选对应图像区域相对于L图像中的所述块的评价值，并比较所确定的评价值以确定与L图像中的所述块对应的R图像中的图像区域。另外，使用尺寸缩小的图像的处理或者使用动态编程的处理允许高速处理。

附图说明

图1是图示根据本发明的示例性实施例的图像处理装置的示例配置的图；

图2是图示被使用来同时从不同视点拍摄图像的照相机的示例配置的图；

图3是图示由根据本发明的示例性实施例的图像处理装置执行的块划分处理的示例的图；

图4是图示在由根据本发明的示例性实施例的图像处理装置执行的对应点搜索处理中限定的搜索范围的示例的图；

图5是图示在类似度计算单元中执行的类似度计算处理的特定示例的图；

图6是图示由似然度计算单元执行的似然度计算处理的特定示例的图；

图7是图示对在图像中的水平线上布置的块执行的优化的图；

图8是图示使用动态编程的立体匹配的示例处理的图；

图9是图示使用动态编程的立体匹配的示例处理的图；

图10是图示使用动态编程的立体匹配的示例处理的图；

图11是图示使用动态编程的立体匹配的示例处理的图；

图12是图示使用动态编程的立体匹配的示例处理的图；

图13是图示使用动态编程的立体匹配的示例处理的图；

图14是图示使用动态编程的立体匹配的示例处理的图；

图15是图示使用动态编程的立体匹配的示例处理的图；

图16是图示使用动态编程的立体匹配的示例处理的图；

图17是图示根据本发明的示例性实施例的图像处理装置的示例配置的图；

图18A到18C是图示由根据本发明的示例性实施例的图像处理表示执行的图像尺寸缩小处理的示例的图；以及

图19是图示根据本发明的示例性实施例的图像拍摄装置的示例配置的图。

具体实施方式

将参考附图来详细说明根据本发明的实施例的图像处理装置、图像拍摄装置、图像处理方法和程序。按下面的条目来给出说明：

1.根据第一示例性实施例的图像处理装置

2.实现高速处理的图像处理装置的示例配置(第二示例性实施例)

3.根据示例性实施例的图像拍摄装置

1.根据第一示例性实施例的图像处理装置

将参考附图来说明根据本发明的第一示例性实施例的图像处理装置。图1图示了根据本发明的第一示例性实施例的图像处理装置100的示例配置。从不同视点拍摄的多个图像被输入到在图1中图示的图像处理装置100。在对示例性实施例的以下说明中，输入图像可以是L图像200和R图像300。图像处理装置100确定在R图像300中的与形成L图像200的图像区域被划分为的每个块相对应的位置。也就是说，执行用于确定图像之间的对应点的处理。

例如，L图像200可以是从并行放置的两个照相机中的一个照相机获得的图像，而R图像300可以是从另一个照相机获得的图像。如在图1下部的照相机与输入图像的相关图中所示，L图像200和R图像300是分别使用平行放置的两个照相机20和30从不同视点拍摄的图像。

当两个照相机完全平行地放置时，在使用所述两个照相机拍摄的两个图像中，特定块在垂直方向上的对应位置通常相同。因此，可以仅在水平方向上执行对应位置搜索。当照相机未被平行地放置时，假定L图像200和R图像300已经进行了图像修改校正处理或者矫正(rectification)。矫正是用于将使用未平行放置的两个照相机获得的图像修改为与使用平行放置的照相机获得的图像相类似的图像的图像校正处理。通过矫正，对应位置的搜索方向可以限于水平方向。

注意，L图像200和R图像300可以不一定是使用多个照相机拍摄的图像。例如，可以使用单个照相机，通过在拍摄图像之一后移动所述照相机以改变视点并拍摄另一个图像来获得两个图像。可以将所获得的图像用作L图像200和R图像300。

或者，通过使用反射镜等，可以使用单个照相机同时从多个视点获得图像。所获得的图像也可以使用。将参考图2来说明用于使用单个照相机同时从多个视点获得图像的示例配置。参考图2，照相机50具有两个单独的成像路径(由实线和虚线所示)和单个成像元件51。

如在图2右部的照相机50的内部配置中所示，位于光学系统52前面的反射镜53-56允许用户使用单个成像元件51来获得来自多个视点的图像。通过使用位于成像元件51和光学系统52之前的反射镜53-56，可以使用单个成像元件51获得来自不同视点的光，如实线箭头和虚线箭头所示。

在图1中图示的配置中的L图像200和R图像300可以是使用单个照相机以上述方式拍摄的图像，或者是使用多个照相机拍摄的图像。L图像200和R图像300也可以是使用单个照相机通过移动所述照相机而拍摄的图像。

将说明由在图1中图示的图像处理装置100执行的处理的概述。

块划分单元101将L图像200划分为块。图像处理装置100确定在L图像200中限定的每个块对应于R图像300中的哪个位置。被搜索用于查找与L图像200中的一个块对应的R图像300中的位置的区域(搜索范围)可以是R图像300的整个范围，或者可以预先限定对应于每个块的有限区域。下面说明用于确定搜索范围的具体示例。

类似度计算单元102单独地计算由成像元件51限定的L图像200中的每个块与可以在R图像300中限定的搜索范围中限定的所有候选对应位置(候选对应块)的类似度。

似然度计算单元103在L图像200中限定相邻块组，每个相邻块组包括多个相邻的块，并且似然度计算单元103针对在L图像200中限定的每个相邻块组计算在R图像300中限定的对应块组的似然度。

例如，使用L图像200中的两个水平相邻的块(块La和Lb)作为块组，并且在R图像300中限定相对于L图像200中的块La和Lb的各个候选对应位置(块Ra和Rb)。

似然度计算单元103计算在R图像300中限定的候选对应位置(块Ra和Rb)的似然度。具体而言，当L图像200中的块La和Lb水平相邻时，如果R图像300中的对应候选位置(块Ra和Rb)水平相邻，则似然度高。如果R图像300中的候选对应位置(块Ra和Rb)未水平相邻，而是隔开或者交迭，则似然度低。

以这种方式，似然度计算单元103以块组为单位来执行似然度计算。似然度计算单元103计算在R图像300中限定的对应位置相对于在L图像200中限定的块组的似然度，并对可以在上述搜索范围中限定的候选对应位置的所有组合执行上述计算。

对应位置确定单元104从候选对应位置中确定具有最佳评价值的对应位置，并向每个块分配所述对应位置。评价值是基于从似然度计算单元103获得的似然度和从类似度计算单元102获得的类似度来计算的。

现在详细地说明由各个构成元件执行的处理。

在图像处理装置100中，首先，块划分单元101将L图像200划分为块。所获得的块的大小可以例如是4×4像素或者8×8像素。

图3是图示用于将L图像200划分为4×4像素的块的示例处理的图。在图3中，L图像200的一部分被放大，并且图示了100个4×4像素的块，其中，在垂直方向上有10个块，在水平方向上有10个块。也图示了R图像300中的与在L图像200中的放大部分位于相同位置的放大部分。

类似度计算单元102单独地计算在由块划分单元101限定的L图像200中的每个块与可以在R图像300中限定的搜索范围中限定的所有候选对应位置(候选对应块)之间的类似度。

如上所述，被搜索用于查找R图像300中的与L图像200中的一个块对应的对应位置的区域(搜索范围)可以是R图像300的整个范围，或者可以是预先限定的有限区域。限定搜索范围允许减少搜索处理时间。类似度计算单元102和似然度计算单元103在搜索范围内执行处理。现在说明用于确定搜索范围的具体示例。

例如，可以根据估计的对象距离来确定搜索范围。当对象位于与拍摄L图像200和R图像300的两个照相机相距距离D的位置时，通过下面的等式给出对象在从相应照相机获得的图像中的对应位置之间的偏差量：

d＝(f×B)/(D×p)

其中，

f表示两个照相机的焦距，

B表示两个照相机之间的距离，并且

p表示在照相机中安装的固态成像元件，比如互补金属氧化物半导体(CMOS)传感器的像素间距。

假定f＝10mm、B＝100mm并且p＝0.01mm，并且还假定对象与假定的照相机的距离的范围是1m到无限远。当对象距离是1m时，通过上面的等式，L图像200和R图像300之间的对应位置之间的偏差量是10mm。当所述距离是无限远(D＝∞)时，同样，通过上面的等式，偏差量是0。因此，对应位置之间的偏差量d可以被估计为0-10mm。因此，在R图像300中的针对在L图像200中限定的一个块的搜索范围可以是例如相对于与L图像200中的块的位置对应的R图像300中的块位置移动0-10mm的区域的范围。

图像可以包括位于距照相机不同距离的对象。通过考虑所述距离和在所拍摄的图像中包括的误差等来确定搜索范围。例如，当在如上所述的条件下计算的偏差量d是0-10mm时，如果限定了比10mm略大的搜索范围，则可以搜索位于范围从1m到无限远的距离内的所有对象的对应点。以这种方式，有可能基于拍摄条件来限定搜索范围。应当明白，R图像300的整个图像范围，而不是R图像300的特定部分，可以被限定为用于L图像200中的一个块的搜索范围。

如上所述，当完全平行地布置两个照相机时，在两个图像中，特定块在垂直方向上的对应位置通常相同。因此，可以仅在水平方向上限定在R图像300中的对应位置的搜索范围。也就是说，如图4中所示，与L图像200中的块La的位置对应的、R图像300中的对应位置的搜索范围可以被限定为在R图像300中的相同高度(LY＝RY)的水平方向上移动在上述处理中确定的最大偏移量d的搜索范围。在下面的示例性实施例的说明中，作为示例，限定了在图4中图示的搜索范围，并且执行所述处理。

类似度计算单元102单独地计算在由块划分单元101限定的L图像200中的每个块与在R图像300中限定的搜索范围中可以限定的所有候选对应位置(候选对应块)之间的类似度。

可以使用像素之间的差分绝对值(differential absolute values)的和、像素之间的差的平方的和或者任何其他适当的表达式来表示类似度。例如，当使用像素之间的差分绝对值的和来表示类似度时，类似度计算单元102计算由等式(1)给出的类似度F如下：

$F(i,d)=\underset{p\∈B_i}{\mathrm{\Σ}}|I\left(p\right)-J(p+d)|---\left(1\right)$

在等式(1)中，

F(i，d)表示在形成L图像200的块中的第i个块与在R图像300中的由向量d(参见图5)限定的位置之间的类似度，

B_i表示形成第i个块的像素的坐标的集合，

I(p)表示在L图像200中的坐标p的像素值，并且

J(p+d)表示在R图像300中的坐标(p+d)的像素值。

当L图像200中的块和R图像300中的对应块之间的类似度高时，在等式(1)中给出的类似度F具有小值，而当所述类似度低时，在等式(1)中给出的类似度F具有大值。在等式(1)中给出的类似度F的最小值是0，并且当在L图像200中的块和在R图像300中的对应块匹配时，类似度是0。

将参考图5来说明在类似度计算单元102中执行的类似度计算处理的特定示例。

在图5中，当在L图像200中包括的块201是第i个块时，则Bi是在块201中包括的像素的集合，并且I(p)是在块201中包括的每个像素的像素值。此外，如果由虚线指示的、在图5中图示的R图像300中的块区域301位于与L图像200中的块201相同的位置，则块区域302内的相对于图像位置移动距离d的像素值被表示为J(p+d)。类似度计算单元102计算像素之间的差分绝对值的和，并将所述和确定为第i个块与由距离d限定的R图像300中的区域之间的类似度。

当分配了R图像300中的与在L图像200中的水平方向上相邻的两个块对应的对应位置时，似然度计算单元103计算对应位置的似然度。

具体而言，执行基于相邻块的对应位置不剧烈改变的假设的处理。

当与L图像200中的相邻块对应的R图像300中的对应位置剧烈不同时，限定低似然度。在这种情况下，例如，与L图像200中的相邻块对应的R图像300中的对应位置可能不相邻，而是可能隔开或者可能交迭。在这种情况下，限定低似然度。

当与在L图像200中的相邻块对应的R图像300中的对应位置彼此接近时，限定高似然度。在这种情况下，例如，与在L图像200中的相邻块对应的R图像300中的对应位置可能相邻。在这种情况下，限定高似然度。

将参考图6来说明似然度计算单元103的似然度计算处理的具体示例。

例如，如图6中所示，假定R图像300中的与在L图像200中的两个相邻块211和212对应的对应区域分别是块311和312。如图6中所示，在块311和312之间有间隔。在这种情况下，块间距被表示为“s”。

在图6中，还假定R图像300中的与在L图像200中的两个相邻块213和214对应的对应区域分别是块313和314。如图6中所示，所述对应区域，即块313和314部分交迭。在这种情况下，对应区域之间的交迭被表示为“r”。似然度计算单元103根据下面的等式使用r和s来计算上述对应区域的似然度H(s，r)：

G_space(s)＝C|s|                                (2)

G_overlap(r)＝Dr                                (3)

H(s，r)＝G_space(s)+G_overlap(r)                 (4)

在等式(2)中，G_space(s)表示基于对应区域之间的间隔s的似然度。

在等式(3)中，G_overlap(r)表示基于对应区域之间的交迭r的似然度。

通过等式(4)中的H(s，r)来给出最终获得的对应区域的似然度。

在等式(2)中，C是用于控制基于间隔s的似然度的改变的参数，并预先被设置为期望的值。虽然G_space(s)的计算是基于绝对值，但是G_space(s)可以是随着对应区域之间的间隔s的绝对值增大而增大的任何函数。例如，也可以使用s的平方。

在等式(3)中，D是用于控制基于对应区域之间的交迭r的似然度的改变的参数，并预先被设置为期望的值。此外，G_overlap(r)也可以是具有随着对应位置之间的交迭r增大而增大的值的函数。注意，似然度H的值越小，似然度越高。

对应位置确定单元104基于从类似度计算单元102获得的类似度和从似然度计算单元103获得的似然度来计算评价值，并且向在L图像200中包括的每个块分配具有最佳评价值的对应位置。

当L图像200中的块与R图像300中的对应块之间的偏差量被表示为“d”(参见图5)时，根据例如如下等式(5)来确定在具有以上偏差量(d)的块之间的评价值X(d)：

$X\left(d\right)=\underset{i\∈I}{\mathrm{\Σ}}\{F(i,d_i)+\mathrm{\λH}(s_i,r_i)\}---\left(5\right)$

其中，I表示要被执行优化的块的索引集合。

例如，当对形成图像的所有块执行优化时，I是形成图像的所有块的索引集合。

系数λ用于调整类似度和似然度对于评价值的影响。

在等式(5)中，F表示当与在等式(1)中给出的第i个块对应的位置被表示为d_i时第i个块与R图像300中的对应位置d_i之间的类似度；并且，H表示在等式(4)中给出的、基于在与第i个块对应的位置和与相邻的第(i-1)个块对应的位置之间的间隔s_i以及在与第i个块对应的位置和与相邻的第(i-1)个块对应的位置之间的交迭r_i计算的似然度。

当与第i个块对应的位置和与相邻的第(i-1)个块对应的位置分别被表示为d_i和d_i-1时，使用下面的等式来计算间隔s_i和交迭r_i：

S_i＝d_i-d_i-1                        (6)

在等式(7)中，N表示块大小。在等式(5)中，d是由与每个块对应的位置d_i限定的向量。对应位置确定单元104确定每个块和评价值X最小的对应位置的组合，并且将结果产生的对应位置确定为R图像300中的对应于所述块的位置。

使用如在以上等式(5)中给出的类似度F和似然度H来计算在具有偏差量(d)的块之间的评价值X(d)。

如先前参考等式(1)所述，L图像200和R图像300中的对应块之间的类似度愈大，类似度F的值变得越小(接近0)。而且，L图像200和R图像300中的对应块之间的似然度越大，似然度H的值变得越小。

因此，当L图像200和R图像300中的对应块之间的类似度和似然度高时，在上面的等式(5)中给出的评价值X(d)具有小值。

也就是说，对应位置确定单元104基于从类似度计算单元102获得的类似度F和从似然度计算单元103获得的类似度H来计算评价值X(d)，并且向在L图像200中包括的每个块分配评价值X(d)最小的对应位置。

将参考图7来说明对在图像中的水平线上排列的块执行的优化。具体而言，确定位于图7中所示的L图像200的水平线上的块序列221中的每个块对应于R图像300中的搜索范围321中的哪个位置，其中在所述搜索范围321中搜索对应区域。

在所述确定处理中，对应位置确定单元104将在等式(5)中给出的评价值X(d)最小的位置确定为对应位置。依序对于在L图像200中包括的所有块序列依序执行该处理。也就是说，确定R图像300中的与在L图像200中包括的所有块序列对应的最佳对应区域(对应块)的位置。执行对每个块的对应位置确定处理，以便如上所述的评价值X(d)能够变得更小。这个处理被称为“优化处理”。

将说明对位于图7中所示的L图像200的水平线上的块序列221执行的优化。在块序列221中包括的每个块的索引i被设置为i＝1、...、9。

因此，在上面的等式(5)中给出的I，即要被执行优化的块的索引的集合I被表达为：

I＝{0，1，...，9}

如在表示在图7的下部中的搜索范围中的对应块的向量d_i的示例中所示，通过向量d_i表示与L图像200中的块i对应于的R图像300中的块的位置。向量d_i是从R图像300中的与L图像200中的块Ii的位置相同的位置开始，并且在对应块的位置结束的向量。

在上面的等式(1)中给出的类似度F(i，d_i)是当通过向量d_i限定R图像300中的与在L图像200中的第i个块Ii对应的对应位置时，L图像200中的块Ii与R图像300中的对应区域(对应块)之间的类似度。

此外，基于向量d_i，使用等式(4)、(6)和(7)来获得在与L图像200中的一组相邻块对应的R图像300中的对应块之间的似然度H(s_i，r_i)。

通过如下的等式(8)来给出用于表示R图像300中的对应位置的向量d₀到d₉的组合，所述对应位置对应于图7中所示的在L图像200中的水平线上排列的块I0到I9：

d＝[d₀，d₁，d₂，d₃，d₄，d₅，d₆，d₇，d₈，d₉]     (8)。

可以根据上面的等式(5)，使用分别与块I0到I9对应的向量d₀到d₉来计算评价值X(d)。

对应位置确定单元104确定所确定的评价值X(d)最小的对应位置的组合d＝[d₀到d₉]，并将所获得的向量d₀到d₉限定为用于指示与第0到第9块对应的R图像300中的对应位置的距离信息。

具体而言：

与L图像200中的块I0对应的R图像300中的对应位置位于从R图像300中的块I0位置(其是与L图像200中的块I0的位置相同的位置)位移d₀的位置。

与L图像200中的块I1对应的R图像300中的对应位置位于从R图像300中的块I1位置(其是与L图像200中的块I1的位置相同的位置)位移d₁的位置。

以这种方式，与L图像200中的块I0到I9对应的R图像300中的对应位置位于从R图像300中的块I0到块I9位置(它们分别是与L图像200中的块I0到块I9的位置相同的位置)移动d₀到d₉的位置。

对应位置确定单元104对每个块执行对应位置确定处理，以便例如在上面的等式(5)中给出的评价值X(d)能够针对向量d₀到d₉变得更小，所述向量d₀到d₉分别表示与在L图像200中的水平线上排列的块I0到块I9对应的、R图像300中的对应位置。该处理被称为“优化处理”。

参考图7所述的处理可以是用于确定向量d₀到d₉的示例处理，所述向量d₀到d₉分别用于表示与L图像200中的10个块I0到块I9对应的R图像300中的对应位置。如上所述，当对在图像中包括的所有块执行优化时，I是在图像中包括的所有块的索引集合。

对大量块执行的处理包括大量的计算。因此，优选地，执行如上所述的预先限定搜索范围、计算在搜索范围中的评价值、比较评价值以及选择最小值的处理。

例如，可以预先限定用于表示与块Ii对应的位置的候选向量d_i，以便确定从-5到0的范围。-5到0的范围意味着从向左移动5个像素的位置到具有偏差量0的位置的范围被限定为搜索范围。

以这种方式，为图7中图示的L图像200中的10个块I0到I9的每个限定偏差量。所有候选对应位置的组合被分配到向量d₀到d₉，并且基于对应位置的每种组合来计算评价值。因此，可以获得具有最小评价值的对应位置组合。

在图7中图示的示例中，为10个块I0到I9中的每个提供具有块偏差位置d_i＝-5到0的6个候选块位置，并且存在6¹⁰种对应位置组合。

根据上面的等式(5)来计算所有组合的评价值X(d)。

将结果进行比较，并且将评价值X(d)最小的d₀到d₉的组合，即d＝[d₀，d₁，d₂，d₃，d₄，d₅，d₆，d₇，d₈，d₉]，确定为表示与L图像200中的块I0到I9对应的R图像300中的对应位置的向量d₀到d₉。

但是，即使当例如通过以这种方式限制搜索范围来限定d_i的范围时，在图7中，也要为10个块I0到I9中的每个提供具有块偏差位置d_i＝-5到0的6个候选块位置，并且存在6¹⁰种对应位置组合。

如果对L图像200中的所有块执行计算，则计算量大。

为了进一步减小计算量，可以应用现有的优化技术。例如，如图7中所示，当对在水平线上排列的块I0到I9的序列执行优化时，可以应用动态编程。在这种情况下，像在评价值的依序计算中那样，可以实现计算量的减小以及对应位置的最佳组合(具有最小评价值)的获取。

将参考图8和随后的附图来说明使用动态编程的立体匹配处理的示例。

动态编程是通过递归地将问题划分为子问题并使用子问题的解决方案来有效地解决问题的技术。

将使用图8-16来说明使用动态编程来确定呈现最佳评价值的对应位置组合的示例。

图8图示了用于应用动态编程的、被称为代价矩阵的矩阵。在图8中图示的代价矩阵400的每个元素存储L图像中的每个块与R图像的对应部分之间的类似度。即，代价矩阵400的每个元素表示类似度。

将说明针对图8中图示的类似度存储区域404执行的类似度存储处理。L图像块序列402例如对应于图7中图示的L图像200中的块序列221。在这个示例中，每个块的大小是4×4像素。

图8中图示的R图像带区域403对应于图7中图示的R图像300中的搜索范围321。图8中的图示被旋转了90度。代价矩阵400的每列存储L图像中的块与R图像中的特定区域之间的类似度。

例如，图8中图示的类似度存储区域404存储L图像200中的块421与在作为R图像300中的搜索范围的R图像带区域403中的特定位置上的像素区域431之间的类似度。像素区域431可以是位于从R图像300中的对应位置向L图像200中的块421的位置移动一个像素的位置上的块区域。在R图像带区域403中，通过虚线来限定一个像素的宽度。

参见图9，代价矩阵400中的类似度存储区域405存储L图像200中的块422与在作为R图像300中的搜索范围的R图像带区域403中的特定位置上的像素区域432之间的类似度。像素区域432可以是位于从R图像300中的对应位置向L图像200中的块421的位置移动两个像素的位置上的块区域。

可以使用例如要在L图像200和R图像300中比较的块中的像素之间的差分绝对值的和或者任何其他适当的表达式来实现在代价矩阵400的每个元素中设置的类似度。在这种情况下，可以假定在代价矩阵400中存储的值越小，类似度越高。

代价矩阵400的每个元素存储预先或者按照需要依次计算的类似度。但是，可能不一定对所有的元素执行计算。例如，如上所述，相对于对应位置的块的偏差量可以被限制在预定搜索范围内。也就是说，仅考虑在搜索范围内的偏差d。

当对应于搜索范围的偏差量d的范围是从0到9个像素时，可以仅对由图10中的实线指示的类似度存储区域440中的元素执行计算。换句话说，可以不必确定在L图像200和R图像300之间不出现位置偏差的区域的类似度。

在此，假定代价矩阵400中的每个元素是节点。然后，路径从代价矩阵400中的最左列中的单个节点开始，通过相应列中的节点一次，最后达到代价矩阵400中的最右列中的节点之一。这个路径表示向块分配的对应位置的偏差量。

这样的路径的示例例如是由图11中的箭头所示的路径450。图11中所示的路径450表示L图像200中的块LA、LB、LC、LD和LE对应于在从R图像300的左侧开始依次分别移动1、1、3、5和3像素的位置上的R图像300中的块(这不是最佳对应，而仅是对应匹配的示例)。在图11中，块RA至RE是R图像300中的根据路径450而成为与L图像200中的块LA至LE对应的块。

在这种情况下，确定根据图11中的路径450通过的节点的代价和根据连接节点的边缘的代价的总和以获得路径450的特定评价值。如果根据路径450通过的节点的代价表示类似度，并且根据连接节点的边缘的代价表示似然度，则可以将针对特定路径获得的代价的总和(总代价)视为由等式(5)给出的评价值，其是对于对应位置相对于由所述路径指示的块的偏差量获得的。

将使用图12来说明在图11中图示的路径450的总代价。假定在上面给出的似然度计算等式(等式(2)至(4))中，系数C和D是1。

因此，块A的偏差量是1，并且块B的偏差量是1。所以，基于等式(2)到(4)、(6)和(7)，与由用于连接块A和B的箭头(边缘)所示的路径451对应的似然度是0。

同样，由用于连接块的箭头所示的路径451至454的似然度如下：

与由连接块A和B的箭头所示的路径451对应的似然度是0。

与由连接块B和C的箭头所示的路径452对应的似然度是2。

与由连接块C和D的箭头所示的路径453对应的似然度是2。

与由连接块D和E的箭头所示的路径454对应的似然度是2。

在图12中图示的代价矩阵400中的数值表示根据偏差量的L图像200中的块与R图像300的对应部分之间的类似度。

对应于块A的类似度是3。

对应于块B的类似度是5。

对应于块C的类似度是4。

对应于块D的类似度是6。

对应于块E的类似度是5。

在图12中图示的路径451至454的总代价是29，其是如上所述的似然度和类似度的和。即，

(0+2+2+2)+(3+5+4+6+5)＝29。

因此，路径451至454的总代价是29。

搜索被分配以便优化由等式(5)给出的评价值X(d)的对应位置的问题可以被视为搜索具有最小总代价的路径的问题。可通过以上述方式计算所有可能路径的总代价，并选择具有最小总代价的路径来解决所述问题。但是，这种解决方案可能涉及大量的计算。动态编程方便了这种路径的发现。现在具体说明用于使用动态编程来搜索路径的一部分具体过程。

图13图示了在已经计算了必要类似度后获得的代价矩阵400。使用代价矩阵400来搜索从与块A对应的列到与块E对应的列的最佳路径。在下面的说明中，代价矩阵400中的元素对于列方向用向块分配的字符A到E表示，并且对于行方向用写在代价矩阵400的右侧的索引表示。例如，代价矩阵400的底部最左侧的元素被表示为A0，并且顶部最右侧的元素被表示为E19。

首先，搜索要连接到与块B的列对应的每个节点(在列B中的节点)的列A中的节点。可以按以下来找到要连接到在图13中所示的节点B4的最佳节点。

首先，考虑节点B4和A0之间的连接。在这种情况下，节点A0具有2的类似度，并且节点B具有6的类似度。与节点A0和B4对应的偏差量是0。似然度因此为0。

因此，通过2+6+0＝8给出当选择从节点A0到节点B4的路径时获得的总代价。即，总代价是8。

类似地，依序计算与从节点A1到节点B4和从节点A2到节点B4的路径对应的代价。通过以这种方式来计算节点A0到A7与节点B4之间的连接的代价，获得下面的结果：

节点A0和B4之间的连接：代价＝8

节点A1和B4之间的连接：代价＝10

节点A2和B4之间的连接：代价＝9

节点A3和B4之间的连接：代价＝14

节点A4和B4之间的连接：代价＝14

节点A5和B4之间的连接：代价＝16

节点A6和B4之间的连接：代价＝14

节点A7和B4之间的连接：代价＝9

可以从上述结果看出，呈现代价8的节点A0连接到节点B4是最佳的。当找到最佳局部路径时，在代价矩阵400中重写对应的总代价。

具体而言，如图14中所示，将节点B4的值改变为当选择如上所述从节点A0到节点B4的路径时确定的总代价的值，即“8”，其通过下面的等式给出：

2+6+0＝8。

另外，还存储数值0，其指示对于达到节点B4来说最佳的节点。在图14中，这个数值在括号中。总之，在图14中，节点B4的表示“8(0)”指示对于达到节点B4来说最佳的节点是节点A0，并且直到B4的总代价是8。

随后，依序对节点B5-B11重复地执行上述处理。因此，以在图15中图示的方式来限定代价矩阵400的元素。

接着，考虑在列C和B之间的连接。因为找到了在从列A中的节点到列B中的节点的路径中的最佳路径及其总代价，所以对列C中的每个节点执行与先前对列B中的每个节点执行的处理类似的处理。因此，获得在从列A中的节点到列C中的节点的路径中的最佳路径。

对所有列重复地执行所述处理，最后获得图16中所示的代价矩阵400。列E中的每个节点的值表示在当最佳路径从列A中的节点之一开始并且达到列E中的节点时获得的路径中的最佳路径的总代价。因此，可以选择具有最小总代价13的节点E16或者E17。可以使用任何方法来选择具有相同最小值的节点之一，这里，可以选择最低节点，即节点E16。

如在节点E16的括号中的值所示，要连接到节点E16的列D中的最佳节点是节点D12。因此，引用节点D12。如在节点D12的括号中的值所示，要连接到节点D12的列C中的最佳节点是节点C8。因此，引用节点C8。如在节点C8的括号中的值所示，要连接到节点C8的列B中的最佳节点是节点B6。因此，引用节点B6。

如节点B6的括号中的值所示，要连接到节点B6的列A中的最佳节点是节点A2。最后，可以确定路径A2→B6→C8→D12→E16呈现最小代价。当与相应节点对应的偏差量被分配到块时，所述偏差量表示L图像200中的块和被优化了评价值的R图像300的对应部分之间的对应。即，应当明白，当分别向块A、B、C、D和E分配2、2、0、0和0的偏差量时，获得最小评价值。

参考图8至16所述的动态编程使得能够有效地确定提供最佳评价值的对应位置组合。也就是说，使用动态编程，除了计算量上的减小之外，还可以实现最佳对应位置组合(具有最小评价值)的获取，就像当逐个计算评价值时那样。

2.实现高速处理的图像处理装置的示例配置(第二示例性实施例)

随后，将说明根据本发明的第二示例性实施例的具有进一步提高的处理速度的图像处理装置的配置和处理。

图17图示了能够迅速地检测图像之间的对应的图像处理装置700的示例配置。图像处理装置700接收要进行对应点检测的L图像200和R图像300，并且检测所述图像之间的对应点。这个处理类似于在第一示例性实施例中所述的、图1中图示的图像处理装置的处理。图像处理装置700确定L图像200中的每个块对应于R图像300中的哪个位置。即，执行用于确定图像之间的对应点的处理。

根据本示例性实施例的图像处理装置700缩小输入图像的尺寸，并对所获得的尺寸缩小的图像执行与根据如上所述的第一示例性实施例的图像处理装置100的处理类似的对应匹配处理。基于所获得的对应匹配结果对未缩小尺寸的图像执行对应匹配，从而限制对应匹配候选对象，并减小处理量。当对尺寸缩小的图像执行对应匹配处理时，也根据与图像的缩小比率类似的缩小比率来缩小用于对应匹配的块尺寸。因此，在图像中包括的块的数量不改变。

将参考图18A-18C中图示的示例，使用具体示例处理来描述图17中图示的图像处理装置700的操作。

图18A图示了输入图像的图像数据。图18B图示了第一尺寸缩小的图像的图像数据。图18C图示了第二尺寸缩小的图像的图像数据。

图18A中图示的输入图像是被输入到图17中图示的图像处理装置700的L图像200和R图像300。输入图像是L图像200和R图像300，它们可以类似于先前参考图1在第一示例性实施例中描述的L图像和R图像。

图像处理装置700将L图像200划分为4×4像素的块，并检测L图像200与R图像300之间的对应。首先，输入到图像处理装置700的L图像200和R图像300分别被输入到图像尺寸缩小单元701和702，并且被缩小到原始尺寸的一半。通过这个尺寸缩小处理，产生在图18B中图示的第一尺寸缩小的图像数据。即，获得1/2倍缩小的L图像821和1/2倍缩小的R图像822。

虽然在此使用1/2的缩小比率，但是缩小比率可以被设置为任何其他值。

由图像尺寸缩小单元701和702产生的尺寸缩小的L和R图像821和822分别被图像尺寸缩小单元703和704缩小到当前尺寸的一半。通过这个尺寸缩小处理，产生在图18C中图示的第二尺寸缩小的图像数据。即，获得1/4倍缩小的L图像851和1/4倍缩小的R图像852。

在图18C中图示的第二尺寸缩小的图像数据具有与在图18A中图示的输入图像数据的尺寸的1/4相等的尺寸。

1/4倍缩小的L图像851和1/4倍缩小的R图像852被输入到图17中图示的图像处理装置700的图像处理单元c730。

图像处理单元c730执行与如上所述的图像处理装置100的处理相同或者类似的处理。注意，块划分单元731将图像划分为以与图像的缩小比率相同的缩小比率在尺寸上缩小的块。即，如图18C中图示，1/4倍缩小的L图像851被划分为1×1像素的块。

类似度计算单元732单独地计算由块划分单元731限定的1/4倍缩小的L图像851中的每个1×1像素的块与可以在1/4倍缩小的R图像852中限定的搜索范围中限定的所有候选对应位置(候选对应块)之间的类似度。

似然度计算单元733在1/4倍缩小的L图像851中限定相邻的块组，其中每个块组包括多个相邻的块，并且似然度计算单元733以在1/4倍缩小的L图像851中限定的相邻块组为单位确定在1/4倍缩小的R图像852中限定的对应块组的似然度。

对应位置确定单元734从候选对应位置中确定具有最佳评价值的对应位置，并且向每个块分配对应位置。基于从似然度计算单元733获得的似然度和从类似度计算单元732获得的类似度来计算评价值。

类似度计算单元732、似然度计算单元733和对应位置确定单元734的处理分别类似于在第一示例性实施例中所述的图像处理装置100的类似度计算单元102、似然度计算单元103和对应位置确定单元104的处理。差别是要处理的块的尺寸。对1×1像素的块执行所述处理。

接着，在图像处理单元b720中，对在图18B中所示的1/2倍缩小的L图像821和1/2倍缩小的R图像822执行对应点搜索处理。图像处理单元b720的块划分单元721使用以与图像的缩小比率相同的缩小比率在尺寸上缩小的块的尺寸来将图像划分为块。即，如图18B中所示，1/2倍缩小的L图像821被划分为2×2像素的块。

类似度计算单元722和似然度计算单元723的所有处理可以分别类似于在第一示例性实施例中所述的图像处理装置100的类似度计算单元102和似然度计算单元103的处理。差别是要处理的块的尺寸。对2×2像素的块执行所述处理。

对应位置确定单元724从图像处理单元c730接收通过使用更加缩小的图像，即在图18C中图示的1/4倍缩小的L图像851和1/4倍缩小的R图像852，来执行对应点搜索处理而获得的对应位置信息。对应位置确定单元724使用所接收的信息来确定候选对应位置，并且仅对所确定的候选对应位置执行评价值计算处理。

现在说明对应位置确定处理724的处理。对应位置确定处理724被配置成能够从图像处理单元c730的对应位置确定单元734接收以1/4倍缩小图像的1×1像素的块为单位的对应位置信息。对应位置确定处理724使用如下的等式(9)来确定候选对应位置：

D′_i＝{2d″_i-1，2d″_i，2d″_i+1}            (9)

在等式(9)中：

D_i’表示当对应位置确定处理724确定第i块Ii的对应位置时使用的候选对应位置集合，并且

d_i”表示由图像处理单元c730的对应位置确定单元734确定的第i块Ii的对应位置。

可以从等式(9)中明显看到，由图像处理单元b720的对应位置确定处理724确定的候选对应位置的数量是3，其更小。也就是说，对应块的偏差量d的候选对象是三个偏差量，其中包括2d_i”以及相对于2d_i”向左和向右移动一个像素的值，即：

2d_i”，

2d_i”-1，以及

2d_i”+1。

偏差量d是1/2倍缩小的图像中的偏差量。

对应位置确定单元724使用上述三个偏差量d作为候选对象对于每个块执行如上所述的评价值X(d)的计算。结果，大大地减小了计算量。可以不一定使用等式(9)来确定候选对应位置，并且可以基于从进一步缩小的图像获得的任何结果来确定候选对应位置。

随后，图17中图示的图像处理单元a710执行处理。图像处理单元a710对在图18A中图示的L图像200和R图像300执行对应点搜索处理。图像处理单元a710的块划分单元711将L图像200划分为4×4像素的块。

类似度计算单元712和似然度计算单元713的所有处理可以分别类似于在第一示例性实施例中所述的图像处理装置100的类似度计算单元102和似然度计算单元103的处理。

对应位置确定单元714从图像处理单元b720接收通过使用尺寸缩小的图像执行对应点搜索处理而获得的对应位置信息。对应位置确定单元714使用所接收的信息来确定候选对应位置，并且仅对所确定的候选对应位置执行评价值计算处理。

现在说明对应位置确定处理714的处理。对应位置确定处理714被配置成能够从图像处理单元b720的对应位置确定单元724接收对应位置信息。对应位置确定处理714使用如下的等式(10)来确定候选对应位置：

D_i＝{2d′_i-1，2d′_i，2d′_i+1}              (10)

在等式(10)中：

D_i表示当对应位置确定处理714确定与第i块对应的位置时使用的候选对应位置集合，并且

d_i’表示由图像处理单元b720的对应位置确定单元724确定的第i块的对应位置。

可以从等式(10)明显看出，由图像处理单元a710的对应位置确定单元714确定的候选对应位置的数量是3，其更新。也就是说，对应块的偏差量d的候选对象是三个偏差量，其中包括2d_i’以及相对于2d_i’向左和向右移动一个像素的值，即

2d_i’，

2d_i’-1，以及

2d_i’+1。

偏差量d是在未尺寸缩小的图像中的偏差量。

对应位置确定处理714使用上述三个偏差量d作为候选对象对每个块执行如上所述的评价值X(d)的计算。结果，大大地减小了计算量。可以不一定使用等式(10)来确定候选对应位置，并且可以基于从进一步缩小的图像获得的任何结果来确定候选对应位置。

因此，在图17中所示的图像处理装置700分级地生成尺寸缩小的图像，并且使用为尺寸缩小的图像获得的对应位置信息来确定更大图像中的候选对应位置。仅对所确定的候选对应位置执行处理，以计算评价值。通过这个处理，可以以大大减小的计算量来计算对应点，从而实现高速的对应点搜索。

3.根据示例性实施例的图像拍摄装置

尽管已经使用第一示例性实施例(图1)和第二示例性实施例(图17)说明了图像处理装置的示例性实施例，但是图像拍摄装置可以被配置成使得根据前述示例性实施例的图像处理装置具有图像拍摄单元。例如，如图19中所示，图像拍摄装置800包括图像拍摄单元a801、图像拍摄单元b802和图像处理单元810。

图像拍摄单元a801拍摄L图像200，图像拍摄单元b802拍摄R图像300。L图像200和R图像300被输入到图像处理单元810。像参考图1所述的图像处理装置100那样，图像处理单元810包括块划分单元811、类似度计算单元812、似然度计算单元813和对应位置确定单元814，并且执行与如上所述的第一示例性实施例中的处理类似的处理。

图19中图示的图像拍摄装置800的图像拍摄单元801和802可以具有例如参考图2所述的配置，并且可以使用单个图像拍摄装置从两个不同的视点拍摄L图像200和R图像300。

此外，图19中所示的图像处理单元810可以被替换为参考图17所述的图像处理装置700。也就是说，图像处理单元810可以被配置成产生尺寸缩小的图像，根据对尺寸缩小的图像执行的处理的结果来确定候选对应位置，并执行分级处理。

虽然已经详细说明了本发明的特定示例性实施例，但是应当明白，在不偏离本发明的范围的情况下，本领域内的技术人员可以对所述示例性实施例进行修改或者替代。也就是说，已经以说明性的形式公开了本发明的实施例，并且本发明的实施例不应当被理解为限定本发明。应当参考所附的权利要求来确定本发明的范围。

可以通过硬件、软件或者两者的组合来执行在此所述的系列处理。当通过软件来执行所述处理时，程序在被执行之前可以被安装到在专用硬件中包含的计算机中的存储器中，或者所述程序可以在被执行之前被安装到能够执行各种处理的通用计算机中。例如，所述程序可以被预先记录在记录介质上。除了从记录介质安装到计算机中的程序之外，也可以经由诸如局域网(LAN)或者因特网的网络接收所述程序，并将所述程序安装到诸如内置硬盘的记录介质中。

可以以在此所述的顺序来依序执行在此所述的各种处理，或者可以根据执行处理的装置的处理能力或者适当地并行或者单独地执行在此所述的各种处理。此外，在此使用的术语“系统”指的是逻辑上的一组装置，与具有各个结构的装置是否容纳在单个外壳中无关。

本申请包含与2009年7月29日在日本专利局提交的日本在先专利申请JP 2009-176085中公开的主题相关的主题，所述日本在先专利申请的整体内容通过引用合并在此。

本领域内的技术人员应当明白，可以根据设计要求和其他因素来进行各种修改、组合、子组合和改变，只要所述修改、组合、子组合和改变在所附的权利要求或者其等同物的范围内。

Claims (10)

1.一种图像处理装置，包括：

块划分单元，配置成对从第一图像和第二图像中选择的所述第一图像执行块划分处理，所述第一图像和所述第二图像是从不同视点拍摄的图像；

类似度计算单元，配置成计算所述第一图像中的由所述块划分单元限定的块和形成所述第二图像的图像区域之间的类似度；

似然度计算单元，配置成计算所述第二图像中的每个候选的对应图像区域相对于所述第一图像中的各相邻块组的似然度，所述计算基于所述候选对应图像区域的位置关系；以及

对应位置确定单元，配置成使用由所述类似度计算单元计算出的类似度和由所述似然度计算单元计算出的似然度来确定所述第二图像中的每个候选对应图像区域相对于所述第一图像中的块的评价值，并通过比较所确定的评价值来确定与所述第一图像中的块对应的所述第二图像中的图像区域。

2.根据权利要求1所述的图像处理装置，还包括：图像尺寸缩小单元，配置成缩小所述第一图像的尺寸和所述第二图像的尺寸，以产生第一尺寸缩小图像和第二尺寸缩小图像，

其中，所述块划分单元、所述类似度计算单元、所述似然度计算单元和所述对应位置确定单元对由所述图像尺寸缩小单元产生的所述第一尺寸缩小图像和所述第二尺寸缩小图像执行处理，以确定与所述第一尺寸缩小图像中的块对应的所述第二尺寸缩小图像中的对应图像区域，以及

其中，当所述块划分单元、所述类似度计算单元、所述似然度计算单元和所述对应位置确定单元对尺寸还没有缩小的所述第一图像和所述第二图像执行处理以确定与所述第一图像中的块对应的所述第二图像中的对应图像区域时，所述对应位置确定单元执行仅将尺寸未缩小的所述第二图像中的对应图像区域设置为被计算评价值的候选对应图像区域的处理，所述尺寸未缩小的第二图像中的对应图像区域对应于针对所述第二尺寸缩小图像而确定的对应图像区域。

3.根据权利要求2所述的图像处理装置，其中，所述图像尺寸缩小单元产生具有不同缩小比率的尺寸缩小图像，

其中，所述块划分单元、所述类似度计算单元、所述似然度计算单元和所述对应位置确定单元对具有高缩小比率的尺寸缩小图像执行作为在前图像处理的处理，并对具有低缩小比率的尺寸缩小图像或者对尺寸未缩小的图像执行作为随后图像处理的处理，以及

其中，在所述随后图像处理中，基于在所述在前图像处理中确定的所述第二尺寸缩小图像中的对应图像区域来执行用于限定被计算评价值的候选对应图像区域的处理，所述第二尺寸缩小图像具有高缩小比率。

4.根据权利要求2或者3所述的图像处理装置，其中，所述块划分单元对所述尺寸缩小图像执行块划分处理，以使用以与所述尺寸缩小图像的缩小比率相同的缩小比率缩小的块尺寸将所述尺寸缩小图像划分为决。

5.根据权利要求1-3中任何一项所述的图像处理装置，其中，所述似然度计算单元通过下述方式来计算所述第二图像中的第一候选图像区域和第二候选图像区域分别相对于所述第一图像中的相邻决中包括的第一块和第二块的似然度：

当所述第一候选图像区域和所述第二候选图像区域彼此分开时，设置所述似然度使得根据所述第二图像中的所述第一候选图像区域和所述第二候选图像区域之间的距离的增加来缩小所述似然度，以及

当所述第一候选图像区域和所述第二候选图像区域交迭时，设置所述似然度使得根据所述第二图像的所述第一候选图像区域和所述第二候选图像区域之间的交迭的增加来缩小所述似然度。

6.根据权利要求1-3中任何一项所述的图像处理装置，其中，所述对应位置确定单元使用由所述类似度计算单元计算出的类似度F和由所述似然度计算单元计算出的似然度H，根据下面的表达式来计算评价值X，

X＝F+λH

其中，λ表示预定系数。

7.根据权利要求6所述的图像处理装置，其中，所述对应位置确定单元使用所述表达式来计算在所述第一图像中限定的一组多个块的评价值，并使用所计算出的评价值来确定与在所述第一图像中限定的所述一组多个块对应的所述第二图像中的对应图像区域。

8.根据权利要求1-3中任何一项所述的图像处理装置，其中，所述对应位置确定单元使用动态编程、通过比较所述评价值来确定与所述第一图像中的块对应的所述第二图像中的对应图像区域。

9.一种图像拍摄装置，包括根据权利要求1-8中任何一项所述的图像处理装置。

10.一种在图像处理装置中执行的图像处理方法，包括下述步骤：

通过块划分单元来对从第一图像和第二图像中选择的所述第一图像执行块划分处理，所述第一图像和所述第二图像是从不同视点拍摄的图像；

通过类似度计算单元来计算在所述执行块划分处理的步骤中限定的所述第一图像中的块和形成所述第二图像的图像区域之间的类似度；

通过似然度计算单元来计算所述第二图像中的每个候选的对应图像区域相对于所述第一图像中的各组相邻块的似然度，所述计算基于所述候选对应图像区域的位置关系；以及

通过对应位置确定单元使用由所述类似度计算单元计算出的类似度和由所述似然度计算单元计算出的似然度来确定所述第二图像中的每个候选对应图像区域相对于所述第一图像中的块的评价值，并通过比较所确定的评价值来确定与所述第一图像中的块对应的所述第二图像中的图像区域。

Images