CN102625120A - 图像处理设备、方法和程序 - Google Patents

Abstract

公开了一种图像处理设备、方法和程序。图像处理设备包括：图像获得单元，被配置成获得作为从不同视点捕获的同一被摄对象的图像的多个图像；图像偏移校正单元，被配置成基于用于校正图像偏移的参数来修改由图像获得单元获得的多个图像，并针对每个获得的图像生成校正图像；评估值计算单元，被配置成计算误差量的针对整个屏幕的积分值作为评估值，误差量指示由图像偏移校正单元生成的多个校正图像之间的在视差方向上的关联不可能的程度；以及更新单元，被配置成改变参数之中在视差方向上的关联所需的参数以更新参数，使得评估值成为最小。

Description

图像处理设备、方法和程序

技术领域

本公开涉及一种图像处理设备、方法和程序。更具体地，本公开涉及能够容易地校准由于当要生成视差图像(深度图像)时摄像装置在图像捕获方向上的偏移而引起的误差的图像处理设备、方法和程序。

背景技术

通过使用多个摄像装置从不同角度捕获同一被摄对象的图像以及基于各个图像的视差方向的对应点搜索来生成视差图像(深度图像)的技术变得广泛普及。

通常，当生成视差图像时，如果多个摄像装置的图像捕获方向之间的偏移产生，则将会产生误差，并且将无法获得准确的视差图像。由于此原因，当要生成视差图像时，需要用于使由于摄像装置的图像捕获方向之间的偏移产生的误差最小的校准。

关于校准，已经提出了这样的技术：例如捕获称作校准图案(该校准图案由具有已经获得了位置关系的多个特征点的平面图形成)的图像并基于校准图案的图像捕获结果来执行校准(参考“A Flexible New Techniquefor Camera Calibration”)。

此外，已经提出了这样的技术：从用于获得视差图像的图像检测特征点、获得用于指定图像捕获方向的校准参数(校准参数用于执行摄像装置的校准)、并且使用获得的校准参数来执行校准(参考“Self-calibration ofstereo camera，Fumiaki TOMITA，et al.，Information Processing，May1990”)。

发明内容

然而，在“A Flexible New Technique for Camera Calibration”的技术中，需要捕获校准图案的图像，这会在用户环境中消耗时间和精力，并且当考虑操作内容时需要的操作内容不是实际的。此外，如果要在制造时执行该处理，则导致制造成本增加。另外，会需要机器准确度相对于长期退化的保证，并且机器零件的材料成本和组装成本将增加。

此外，在1990年5月Fumiaki TOMITA等人在信息处理的“Self-calibration of stereo camera”的技术中，由于校准很大程度取决于从图像获得的特征点的检测准确度，所以校准的鲁棒性是低的。此外，分别需要用于执行特征点检测的专用硬件或软件处理。在用户环境中执行校准的配置中或在制造时执行校准的配置中，导致成本增加。

期望当要生成视差图像时，在改变对多个摄像装置的图像捕获方向之间的偏移进行调整的参数的情况下，通过使误差量最小使得能够容易地执行校准。

根据本公开的实施例，提供了一种图像处理设备，包括：图像获得单元，被配置成获得作为从不同视点捕获的同一被摄对象的图像的多个图像；图像偏移校正单元，被配置成基于用于校正图像偏移的参数来修改由图像获得单元获得的多个图像，并针对每个获得的图像生成校正图像；评估值计算单元，被配置成计算误差量的针对整个屏幕的积分值作为评估值，误差量指示由图像偏移校正单元生成的多个校正图像之间的视差方向上的关联不可能的程度；以及更新单元，被配置成改变参数之中的视差方向上的关联所需的参数以更新参数，使得评估值成为最小。

更新单元可以在参数之中，在图像的整个范围中在二维方向上以粗像素间隔改变位移量，以将位移量更新为评估值成为最小的位移量，并且进一步可以在通过以粗像素间隔改变位移量搜索的位移量的邻近范围中，在二维方向上以细像素间隔改变位移量，以将位移量更新为评估值成为最小的位移量。

更新单元可以在参数之中，改变与作为多个图像之间的关联方向的视差搜索方向相垂直的倾斜分量，以将倾斜分量更新为评估值成为最小的倾斜分量。

更新单元可以在参数之中，分割与作为多个图像之间的关联方向的视差搜索方向相垂直的方向上的倾斜分量，并可以各自改变倾斜分量以将倾斜分量更新为评估值成为最小的倾斜分量。

评估值计算单元可以计算误差量的针对整个屏幕的积分值作为评估值，使得由图像的周围部分做出的贡献是小的，所述误差量指示由图像偏移校正单元生成的多个校正图像之间的在视差方向上的关联不可能的程度。

评估值计算单元可以计算误差量的针对整个屏幕的积分值作为块匹配的差绝对值和的整个屏幕总和，并可以将计算结果设置为评估值，所述误差量指示由图像偏移校正单元生成的多个校正图像之间的在视差方向上的关联不可能的程度。

评估值计算单元可以使用动态规划，计算误差量的针对整个屏幕的积分值，并可以将计算结果设置为评估值，所述误差量指示由图像偏移校正单元生成的多个校正图像之间的在视差方向上的关联不可能的程度。

评估值计算单元可以对于多个校正图像之中的每个偏移量，计算误差量的针对整个屏幕的积分值作为块匹配的差绝对值和的整个屏幕总和，并可以将偏移量最接近0的计算结果之中的局部最小值设置为评估值，所述误差量指示由图像偏移校正单元生成的多个校正图像之间的在视差方向上的关联不可能的程度。

评估值计算单元可以在多个校正图像之中的每个粗偏移间隔处，计算误差量的针对整个屏幕的积分值作为块匹配的差绝对值和的整个屏幕总和，可以搜索偏移量最接近0且包含有局部最小值的范围中的计算结果，并可以将在搜索范围中详细获得的整个屏幕总和的局部最小值设置为评估值，所述误差量指示由图像偏移校正单元生成的多个校正图像之间的在视差方向上的关联不可能的程度。

根据本公开的另一实施例，提供了一种用于图像处理设备的图像处理方法，图像处理设备包括：图像获得单元，被配置成获得作为从不同视点捕获的同一被摄对象的图像的多个图像；图像偏移校正单元，被配置成基于用于校正图像偏移的参数来修改由图像获得单元获得的多个图像，并针对每个获得的图像生成校正图像；评估值计算单元，被配置成计算误差量的针对整个屏幕的积分值作为评估值，所述误差量指示由图像偏移校正单元生成的多个校正图像之间的在视差方向上的关联不可能的程度；以及更新单元，被配置成改变参数之中在视差方向上的关联所需的参数以更新参数，使得评估值成为最小值，图像处理方法包括：在图像获得单元中，获得作为从不同视点捕获的同一被摄对象的图像的多个图像；在图像偏移校正单元中，基于用于校正图像偏移的参数来修改在图像获得的处理中获得的多个图像，并针对每个获得的图像生成校正图像；在评估值计算单元中，计算误差量的针对整个屏幕的积分值作为评估值，所述误差量指示在图像偏移校正的处理中生成的多个校正图像之间的在视差方向上的关联不可能的程度；以及在更新单元中，改变参数之中在视差方向上的关联所需的参数并更新参数，使得评估值成为最小。

根据本公开的另一实施例，提供了一种用于使控制图像处理设备的计算机执行处理的程序，图像处理设备包括：图像获得单元，被配置成获得作为从不同视点捕获的同一被摄对象的图像的多个图像；图像偏移校正单元，被配置成基于用于校正图像偏移的参数来修改由图像获得单元获得的多个图像，并针对每个获得的图像生成校正图像；评估值计算单元，被配置成计算误差量的针对整个屏幕的积分值作为评估值，所述误差量指示由图像偏移校正单元生成的多个校正图像之间的在视差方向上的关联不可能的程度；以及更新单元，被配置成改变参数之中在视差方向上的关联所需的参数以更新参数，使得评估值成为最小，所述处理包括：在图像获得单元中，获得作为从不同视点捕获的同一被摄对象的图像的多个图像；在图像偏移校正单元中，基于用于校正图像偏移的参数来修改在图像获得的处理中获得的多个图像，并针对每个获得的图像生成校正图像；在评估值计算单元中，计算误差量的针对整个屏幕的积分值作为评估值，所述误差量指示在图像偏移校正的处理中生成的多个校正图像之间的在视差方向上的关联不可能的程度；以及在更新单元中，改变参数之中在视差方向上的关联所需的参数并更新参数，使得评估值成为最小。

在本公开的实施例中，获得作为从不同视点捕获的同一被摄对象的图像的多个图像，基于用于校正图像偏移的参数来修改多个获得的图像，生成各个校正图像，计算误差量的针对整个屏幕的积分值作为评估值，其中误差量指示多个生成的校正图像之间的在视差方向上的关联不可能的程度，改变参数之中在视差方向上的关联所需的参数，并且更新参数使得评估值成为最小。

根据本公开的实施例的图像处理设备可以是独立设备，也可以是执行图像处理的块。

根据本公开的实施例，当要生成视差图像(深度图像)时，可以容易地校准由于摄像装置的图像捕获方向之间的偏移产生的误差。

附图说明

图1是图示了应用本公开的图像处理设备的第一实施例的示例性配置的框图；

图2图示了输入图像和深度图像；

图3图示了摄像装置的配置；

图4图示了输入图像和校正图像的坐标关系；

图5图示了校正输入图像时的参数；

图6是图示了由图1的图像处理设备执行的校准处理的流程图；

图7是图示了由图1的图像处理设备执行的简化位置调整处理的流程图；

图8是图示了由图1的图像处理设备执行的立体匹配处理的流程图；

图9图示了简化位置调整处理；

图10是图示了由图1的图像处理设备执行的详细位置调整处理的流程图；

图11图示了详细位置调整处理；

图12是图示了由图1的图像处理设备执行的倾斜调整处理的流程图；

图13图示了倾斜调整处理；

图14是图示了应用本公开的图像处理设备的第二实施例的示例性配置的框图；

图15图示了光轴调整量；

图16是图示了由图14的图像处理设备执行的简化位置调整处理的流程图；

图17是图示了应用本公开的图像处理设备的第三实施例的示例性配置的框图；

图18图示了由图17的图像处理设备执行的立体匹配处理；

图19图示了由图17的图像处理设备执行的立体匹配处理；

图20图示了由图17的图像处理设备执行的立体匹配处理；

图21是图示了由图17的图像处理设备执行的立体匹配处理的流程图；

图22图示了由图17的图像处理设备执行的立体匹配处理；

图23图示了由图17的图像处理设备执行的立体匹配处理；

图24图示了通用个人计算机的示例性配置。

具体实施方式

下文中，将描述实施本公开的方式(下文中称为实施例)。将按照以下顺序给出说明。

1.第一实施例(使用软件程序执行校准的情况的示例)

2.第二实施例(通过操作硬件执行校准的情况的示例)

3.第三实施例(执行另一立体匹配处理的示例)

1.第一实施例

图像处理设备的示例性配置

图1图示了应用本公开的图像处理设备的硬件的实施例的示例性配置。图1的图像处理设备11根据由摄像装置21-1和21-2捕获的图像生成视差图像(深度图像)，其中使得每个像素的像素值为与从图像捕获位置到被摄对象的距离成反比的值。也就是，在由摄像装置21-1和21-2捕获的图像是诸如图2的上部区域中示出的图像的图像P1的情况下，图像处理设备11生成诸如图2的底部区域示出的图像的视差图像P2。在图2的图像P1中，图像中包含人、云和太阳。相比较，视差图像P2是这样的图像：使得在更朝向前面的一侧在更接近图像捕获位置的位置处的左手和右手的手指与作为图像P1中的被摄对象的人的身体主体相比显示为较明亮，并且使得与手指相比距图像捕获位置更远的身体主体为较暗的颜色。然后，由于远离作为被摄对象的人的身体的云和太阳距图像捕获位置足够远，所以使它们为更暗的颜色。此外，当图像处理设备11生成视差图像时，图像处理设备11执行校准使得由于摄像装置21-1和21-2的图像捕获方向之间的偏移产生的视差图像的误差成为最小。

更具体地，图像处理设备11包括摄像装置21-1和21-2、图像偏移校正单元22、匹配单元23、以及偏移调整单元24。如图3所示，例如，摄像装置21-1和21-2均被设置为从不同的左视点和右视点捕获同一被摄对象的图像，并且摄像装置21-1和21-2中的每个将捕获的图像提供给图像偏移校正单元22。对于摄像装置21-1和21-2而言，具有能够从不同视点执行图像捕获的配置是足够的。由此，可以从竖直地不同的视点执行图像捕获，而不是如图3所示从不同的左视点和右视点执行图像捕获。此外，由于摄像装置21-1和21-2具有能够从多个不同视点执行图像捕获的配置是足够的，所以不一定使用由两个摄像装置从两个不同视点得到的图像，并且可以使用从三个或更多个视点捕获的多个图像。然而，在下文中，将通过假定使用从不同的左视点和右视点执行图像捕获的两个摄像装置21-1和21-2而给出说明。

图像偏移校正单元22基于由偏移调整单元24调整的参数来校正从摄像装置21-1和21-2提供的图像，并将各个校正图像提供给匹配单元23。更详细地，图像偏移校正单元22包括投影变换单元41-1和41-2、以及投影变换参数计算单元42。投影变换参数计算单元42基于存储在偏移调整单元24的调整参数存储单元82中的调整参数来计算投影变换参数，并将投影变换参数提供给投影变换单元41-1和41-2。投影变换单元41-1和41-2基于投影变换参数生成对相应地从摄像装置21-1和21-2提供的图像的每个像素的像素位置进行转换的校正图像，并将校正图像提供给匹配单元23。

具体地，投影变换单元41-1和41-2根据投影变换参数将例如图4的图像PL1和PR1变换成图4的图像PL2和PR2。图4的图像PL1是由摄像装置21-1捕获的图像，并且图像PL2表示由投影变换单元41-1投影变换和校正的校正图像。此外，类似地，图4的图像PR1是由摄像装置21-2捕获的图像，并且图像PR2表示由投影变换单元41-2投影变换和校正的校正图像。也就是，与投影变换源的四个顶点的坐标(x_left[n]，y_left[n])对应的投影变换目标的坐标被表示为(X_left[n]，Y_left[n])。n是标识顶点的四个点的标识符，并且0≤n＜3。

如在以下方程(1)至(4)中那样，通过将摄像图像的水平像素尺寸设置为W并将其竖直像素尺寸设置为H(例如，W＝320且H＝240)来表示投影变换目标的矩形。

(X_left[0]，Y_left[0])＝(BW，BH)                …(1)

(X_left[1]，Y_left[1])＝(W-BW，BH)              …(2)

(X_left[2]，Y_left[2])＝(BW，H-BH)              …(3)

(X_left[3]，Y_left[3])＝(W-BW，H-BH)            …(4)

这里，BW和BH表示从水平/竖直屏幕端部到矩形的像素数目，例如BW＝64且BH＝64。在方程(1)至(4)中，在图像PL1变换为图像PL2的情况下的示例中的变换方程基本上与将图像PR1变换成图像PR2的变换方程相同。由此，省略了其描述。

此外，用(ΔX，ΔY，ΔS0，ΔY0，ΔS1，ΔY1)表示调整参数，并且调整参数是用于执行矩形形状的以上提到的图像中的每个顶点的投影变换的参数。

在调整参数之中，ΔX和ΔY是分别用于在水平方向上和竖直方向上校正整个屏幕上的摄像图像之间的偏移的参数。例如，当偏移在正方向上大时，如图5的图像PL11所示，ΔY对应于使投影变换源的参考矩形朝向下侧移动了ΔY，或如图5的图像PR11所示，ΔY对应于使投影变换源的参考矩形朝向上部区域移动了ΔY。在例如输入的左和右摄像图像的左侧关于右侧在整个图像中与理想状态向下偏离了n个像素的情况下，该参数可以通过设置ΔY＝n来校正左图像和右图像之间的上偏移和下偏移。以相似的方式，ΔX是校正左偏移和右偏移的参数，如图5的图像PL12和PR12所示。

调整参数ΔS0、ΔY0、ΔS1和ΔY1是使上部区域的倾斜和上部区域在竖直方向上的偏移与下部区域的倾斜和下部区域在竖直方向上的偏移匹配的参数。在稍后将描述的、两个校正图像的立体匹配中，一般地，如果存在竖直方向上的偏移甚至小的偏移(子像素准确度)，则匹配将不会成功，并且偏移将表现为误差。因此，分别关于图像的上部区域和下部区域执行调整。也就是，调整参数ΔS0被用于调整上部区域的倾斜，如图5的图像PL13和PR13所示，并且调整参数ΔS1被用于调整下部区域的倾斜，如图5的图像PL14和PR14所示。此外，以通过使用调整参数ΔY0调整上部区域的偏移(如图5的图像PL15和PR15所示)以及通过使用调整参数ΔY1调整下部区域的偏移(如图5的图像PL16和PR16所示)的方式，分别在图像的上部区域与下部区域之间执行调整。

然后，偏移调整单元24中的调整参数(ΔX，ΔY，ΔS0，ΔS1，ΔY0，ΔY1)被调整以使得匹配单元23中的视差图像中的误差成为最小。将如在以下方程(5)至(12)中那样根据这些调整参数(ΔX，ΔY，ΔS0，ΔS1，ΔY0，ΔY1)和投影变换目标的坐标(X_left[n]，Y_left[n])来表示投影变换源的四个顶点的坐标(x_left[n]，y_left[n])。

(x_left[0]，y_left[0])

＝(X_left[0]+ΔX，Y_left[0]+ΔY+ΔY0+ΔS0)            …(5)

(x_left[1]，y_left[1])

＝(X_left[1]+ΔX，Y_left[1]+ΔY+ΔY0-ΔS0)        …(6)

(x_left[2]，y_left[2])

＝(X_left[2]+ΔX，Y_left[2]+ΔY+ΔY1+ΔS1)        …(7)

(x_left[3]，y_left[3])

＝(X_left[3]+ΔX，Y_left[3]+ΔY+ΔY1-ΔS1)        …(8)

(x_right[0]，y_right[0])

＝(X_right[0]-ΔX，Y_right[0]-ΔY+ΔY0-ΔS0)      …(9)

(x_right[1]，y_right[1])

＝(X_right[1]-ΔX，Y_right[1]-ΔY+ΔY0+ΔS0)      …(10)

(x_right[2]，y_right[2])

＝(X_right[2]-ΔX，Y_right[2]-ΔY+ΔY1-ΔS1)      …(11)

(x_right[3]，y_right[3])

＝(X_right[3]-ΔX，Y_right[3]-ΔY+ΔY1+ΔS1)      …(12)

当如上已获得的、左和右的投影变换源和投影目标的坐标投影分别替代为(x，y)和(X，Y)时，如下文中那样，可以通过使用投影变换参数a、b、c、d、e、f、g和h，利用以下方程(13)来表达坐标。

$x=\frac{\mathrm{aX}+\mathrm{bY}+c}{\mathrm{gX}+\mathrm{hY}+1}...\left(13\right)$

$y=\frac{\mathrm{dX}+\mathrm{eY}+f}{\mathrm{gX}+\mathrm{hY}+1}...\left(14\right)$

当投影变换前的坐标(x，y)和投影变换后的坐标(X，Y)分别被表示为(x_n，y_n)和(X_n，Y_n)(n是0、1、2或3)并且投影变换参数被表示为P＝(a，b，c，d，e，f，g，h)时，可以如以下方程(15)那样修改以上提到的方程。

$\left(\begin{array}{cccccccc}{X}_1& y_1& 1& 0& 0& 0& -x_1{X}_1& -x_1{X}_1\\ 0& 0& 0& X_1& y_1& 1& -x_1{X}_1& -x_1{X}_1\\ X_2& y_2& 1& 0& 0& 0& -x_2{X}_2& -x_2{X}_2\\ 0& 0& 0& X_2& y_2& 1& -x_2{X}_2& -x_2{X}_2\\ X_3& y_3& 1& 0& 0& 0& -x_3{X}_3& -x_3{X}_3\\ 0& 0& 0& X_3& y_3& 1& -x_3{X}_3& -x_3{X}_3\\ X_4& y_4& 1& 0& 0& 0& -x_4{X}_4& -x_4{X}_4\\ 0& 0& 0& X_4& y_4& 1& -x_4{X}_4& -x_4{X}_4\end{array}\right)P^T=\left(\begin{array}{c}1\\ 1\\ 1\\ 1\\ 1\\ 1\\ 1\\ 1\end{array}\right)...\left(15\right)$

通过将x_left[n]和y_left[n]的坐标替代为以上提到的方程(15)的(x_n，y_n)，并且通过将X_left[n]和Y_left[n]替代为(X_n，Y_n)，可以获得投影变换参数P作为联立方程的对应解。

下文中，前文中获得的左图像和右图像的投影变换参数P被分别表示为Pleft和Pright。

也就是，基于以上述方式获得的投影变换参数Pleft和Pright，投影变换单元41-1和41-2根据方程(13)和方程(14)分别对由摄像装置21-1和21-2捕获的图像执行投影变换处理，并生成校正图像。关于投影变换中的像素值的关联，优选地，为了抑制混叠的发生，执行根据双线性方法、双三次方法等使用周围像素的像素插值。

匹配单元23通过使用从图像偏移校正单元22提供的、基于调整参数校正的图像(这些图像是使用具有不同视点的摄像装置21-1和21-2捕获的)来生成视差图像。此外，匹配单元23计算评估视差图像的误差的匹配评估值并将匹配评估值提供给偏移调整单元24。

更详细地，匹配单元23包括竖直边缘检测单元61-1和61-2、以及立体匹配单元62。竖直边缘检测单元61-1和61-2分别对与由摄像装置21-1和21-2捕获的图像对应的校正图像执行边缘检测滤波处理，以生成边缘检测图像，并将它们提供给立体匹配单元62。立体匹配单元62通过使用与由摄像装置21-1和21-2捕获的图像对应的边缘检测图像来执行立体匹配处理以生成视差图像，并且还计算评估视差图像的误差的匹配评估值。

更详细地，立体匹配单元62包括相似度计算单元101、惩罚(penalty)计算单元102、成本计算单元103、匹配评估值计算单元104、以及视差计算单元105。相似度计算单元101计算两个边缘检测图像的相似度。惩罚计算单元102通过计算获得关于相邻像素之间的视差的改变的惩罚。成本计算单元103通过将两个边缘检测图像的水平方向上的每一行的相似度与惩罚相加来计算成本。匹配评估值计算单元104计算所有行中的每一行的成本的总和作为匹配评估值误差。视差计算单元105获得使成本最小时的每个像素的视差，并输出视差作为视差图像。

偏移调整单元24更新调整参数(ΔX，ΔY，ΔS0，ΔS1，ΔY0，ΔY1)，使得匹配评估值误差成为最小。更详细地，偏移调整单元24包括调整参数更新单元81和调整参数存储单元82。调整参数更新单元81在改变调整参数(ΔX，ΔY，ΔS0，ΔY0，ΔS1，ΔY1)的同时获得匹配评估值误差，更新匹配评估值误差以使得其成为最小，并将匹配评估值误差存储在调整参数存储单元82中。

更详细地，调整参数更新单元81包括简化位置调整单元121、详细位置调整单元122、以及倾斜调整单元123。简化位置调整单元121关于图像的整个范围，以较粗像素间隔改变作为调整参数之中的在搜索方向上的视差的参数的调整参数(ΔX，ΔY)，并调整调整参数(ΔX，ΔY)以使得匹配评估值误差成为最小。详细位置调整单元122在逐渐减小由简化位置调整单元121获得的调整参数(ΔX，ΔY)的邻近的间隔的同时改变像素之间的间隔，并详细地调整调整参数(ΔX，ΔY)以使得匹配评估值误差成为最小。倾斜调整单元123按照调整参数ΔS0→ΔY0→ΔS1→ΔY1→··的顺序重复地减小作为调整参数之中与视差的搜索方向相垂直的方向上的参数的、调整参数(ΔS0，ΔY0，ΔS1，ΔY1)中的逐渐改变的间隔来调整调整参数(ΔS0，ΔY0，ΔS1，ΔY1)，以使得匹配评估值误差成为最小。

也就是，在图像处理设备11中，通过使用由偏移调整单元24调整的调整参数，图像偏移校正单元22校正由摄像装置21-1和21-2捕获的图像，并将它们作为校正图像提供给匹配单元23。然后，匹配单元23基于两个校正图像，通过执行立体匹配处理生成视差图像，并且还计算匹配评估值误差。偏移调整单元24更新调整参数以使得匹配评估值误差最小。作为重复该系列处理的结果，当匹配评估值误差成为最小时，调整参数收敛，并且完成校准。在下文中，可以生成具有高准确度的视差图像。

校准处理

接着，将参照图6的流程图给出校准处理的描述。

在步骤S1中，偏移调整单元24的调整参数更新单元81将用作调整参数(ΔX，ΔY，ΔS0，ΔY0，ΔS1，ΔY1)的参考的基本调整量(ΔXbase，ΔYbase，ΔS0base，ΔY0base，ΔS1base，ΔY1base)初始化为能够作为调整参数采用的值之一。初始化的值的示例包括可以作为调整参数采用的范围中的最小值和最大值。

在步骤S2中，调整参数更新单元81控制简化位置调整单元121以执行简化位置调整处理，并获得以简化的方式减小匹配评估值误差的粗调整参数(ΔX，ΔY)。

简化位置调整处理

这里，下面将参照图7的流程图给出简化位置调整处理的描述。

在步骤S21中，简化位置调整单元121定义误差最小值error_min，将它初始化，并且还将作为调整参数的ΔX、ΔY、ΔS0、ΔY0、ΔS1和ΔY1的调整变量ΔX′、ΔY′、ΔS0′、ΔY0′、ΔS1′和ΔY1′初始化。更具体地，简化位置调整单元121可以替代被认为是误差最小值error_min的最大值，并可以设置例如误差最小值error_min＝0xffffffff。在简化位置调整处理中，由于仅处理调整参数之中的ΔX和ΔY，因此，如果仅将这些调整参数初始化，则仅需要将其它值设置为预定值。

在步骤S22中，简化位置调整单元121通过使用调整变量(ΔX′，ΔY′，ΔS0′，ΔY0′，ΔS1′，ΔY1′)来计算和更新调整参数(ΔX，ΔY，ΔS0，ΔY0，ΔS1，ΔY1)，并将调整参数存储在调整参数存储单元82中。也就是，简化位置调整单元121关于每个调整参数，通过将调整变量的值与基本调整量相加来计算和更新(ΔX＝ΔXbase+ΔX′，ΔY＝ΔYbase+ΔY′，ΔS0＝ΔS0base+ΔS0′，ΔY0＝ΔY0base+ΔY0′，ΔS1＝ΔS1base+ΔS1′，ΔY1＝ΔY1base+ΔY1′)。这里，(ΔXbase，ΔYbase，ΔS0base，ΔY0base，ΔS1base，ΔY1base)分别是调整参数(ΔX，ΔY，ΔS0，ΔY0，ΔS1，ΔY1)的基本调整量。

在步骤S23中，图像偏移校正单元22的投影变换参数计算单元42读取存储在调整参数存储单元82中的调整参数(ΔX，ΔY，ΔS0，ΔY0，ΔS1，ΔY1)，根据以上的方程(13)和方程(14)计算投影变换参数P，并将它们提供给投影变换单元41-1和41-2。

在步骤S24中，投影变换单元41-1和41-2基于投影变换参数P将从摄像装置21-1和21-2提供的图像投影变换，从而生成校正图像，并将它们提供给匹配单元23。

在步骤S25中，匹配单元23的竖直边缘检测单元61-1和61-2通过使用竖直边缘检测滤波器对从图像偏移校正单元22的投影变换单元41-1和41-2提供的校正图像执行处理，并检测竖直边缘。然后，竖直边缘检测单元61-1和61-2将分别由检测到的竖直边缘形成的边缘检测图像提供给立体匹配单元62。

更详细地，竖直边缘检测单元61-1和61-2生成执行立体匹配中所需要的、水平方向上的边缘信息的提取的边缘图像，以消除对由于校正图像的直流(DC)的偏移分量而产生的左右之间的差的影响，使得由摄像装置21-1和21-2捕获的输入图像由图像偏移校正单元22校正。当使输入的校正图像的每个像素为关注像素时，竖直边缘检测单元61-1和61-2使用具有以关注像素为中心的3×3像素的正方形形状的索贝尔(Sobel)滤波器来执行处理。更具体地，竖直边缘检测单元61-1和61-2经由用以下方程(16)示出的计算，通过将输入图像的关注像素的亮度值设置为g(x，y)以及将输出图像的亮度值设置为f(x，y)来执行计算。

$f(x,y)=\underset{j=\mathrm{0,1,2}}{\mathrm{\Σ}}\underset{i=\mathrm{0,1,2}}{\mathrm{\Σ}}\{g(x+i-1,y+j-1)\×h(i,j)\}...\left(16\right)$

这里，h是例如表示由以下方式(17)示出的索贝尔滤波器的矩阵表达式。

$h=\left(\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right)...\left(17\right)$

在步骤S26中，立体匹配单元62通过使用与提供的由摄像装置21-1和21-2捕获的图像对应的边缘检测图像来执行立体匹配处理，从而计算匹配评估值误差并生成视差图像。

立体匹配处理

这里，将参照图8的流程图给出立体匹配处理的描述。

这里，将描述如下示例：当左图像用作参考时，获得由摄像装置21-1和21-2捕获的图像之中直到右图像的对应点的视差。此外，左图像表示为p(x，y)且右图像表示为q(x，y)，并且要获得的视差被设置为disparity(x，y)(0≤disparity(x，y)≤d_max)。d_max是要获得的视差的最大值，例如d_max＝63。

在步骤S51中，相似度计算单元101根据以下方程(18)计算指示左图像与右图像之间的相似度的similarity(x，y，d)。

$\mathrm{similarity}(x,y,d)$

$=\underset{i=-\mathrm{1,0,1}}{\mathrm{\Σ}}\underset{j=-\mathrm{1,0,1}}{\mathrm{\Σ}}\mathrm{ABS}(p(x+i,y+i)-q(x+d+i,y+j))...\left(18\right)$

在获得similarity(x，y，d)的方程(18)中，示出了如下示例：使用3×3像素的块区域的亮度差的差绝对值和(SAD)。然而，块尺寸不限于该块尺寸。此外，当要获得similarity(x，y，d)时，可以执行使用差平方和(SSD)等而不是差绝对值和(SAD)的计算，其中d是水平方向上的偏移量。

在步骤S52中，惩罚计算单元102计算加上约束的惩罚，使得平滑地改变disparity(x，y)惩罚。更详细地，当相邻像素在水平方向上的视差值被表示为d0和d1时，惩罚计算单元102如在以下方程(19)中那样定义它们。

penalty(d₀，d₁)＝λ×|d₀-d₁|                …(19)

这里，λ是改变与视差的改变量的绝对值成比例的惩罚的加权，例如，λ＝5。方程(19)不一定是比例方程，并且仅需是根据disparity(x，y)的改变量增大的函数。

在步骤S53中，成本计算单元103根据以下方程(20)计算当针对从x＝0到x＝W-1的每一行(y＝0)将关于左和右图像之间的similarity(x，y，d)和视差值的连续性的penalty(d0，d1)相加时的成本函数。

在步骤S54中，视差计算单元105计算方程(20)以计算视差。更详细地，在例如要获得从x＝0到x＝W-1的视差的情况下，视差计算单元105通过使cost_min(W-1，y)最小来获得每个像素的disparity(x，y)。该最小化计算可以通过使用动态规划、利用较小数目的计算来实现。用于计算立体匹配的视差的目的、与前述相似地使用动态规划的这样的示例目前广泛普及。对于使用动态规划的立体匹配，应参考例如Yuichi Ohta，TakeoKanade Stereo by Intra-and Inter-Scanline Search Using DynamicProgramming IEEE Transactions on Pattern Analysis and MachineIntelligence，1985。

存在用于成本函数的定义的各种技术。然而，成本函数不限于以上所述。可以使用其它技术，只要成本函数是成本响应于作为立体匹配处理的结果的误差量增加的函数。

在步骤S55中，如下面的方程(21)所示，匹配评估值计算单元104在所有行中计算由方程(20)示出的cost_min(x，y)的总和作为匹配处理中的评估值误差，并将评估值误差提供给偏移调整单元24。

然而，图像端部由于对应点的丢失而具有很少的统计正确信息。因此，可以获得以像素为单位的相似度与惩罚量之和，可以在整个屏幕上执行加权的同时获得其总和，并且可以使总和为评估值。

也就是，如在以下方程(22)中那样表示以像素为单位的cost(x，y)。

cost(x，y)＝similarity(x，disparity(x，y))+

            penalty(disparity(x，y)，disparity(x-1，y))

                                                 …(22)

因此，匹配评估值计算单元104对由方程(22)表示的cost(x，y)执行加权，使得屏幕端部所做的贡献减小。此外，通过执行积分，可以如下面的方程(23)那样执行计算。作为以上处理的结果，对于匹配评估值计算单元104而言，可以计算由于加权而减小由图像端部做出的贡献的匹配评估值。

这里，weight(a)是加权函数，并且例如可以使得其为如下面的方程(24)所示的函数。

这里，自变量a表示沿着水平或竖直轴从0到1.0的有效像素的位置(x，y)。加权方法可以是其它函数，只要该函数使得由端部做出的贡献减小即可。

在前述内容中，已经描述了获得如下立体匹配的结果的示例：立体匹配通过使用左图像作为参考获得右图像的对应部分。以相似的方式，可以通过使用右图像作为参考获得左图像的对应部分。因此，通过使用这些，匹配评估值计算单元104指示左和右分别用作如error_left_base和error_right_base那样的参考的匹配评估值，如下面的方程(25)所示那样定义这些值之和，并可以将该和取作匹配评估值。作为执行如上所述将左和右用作参考的立体匹配的结果，关于彼此形成有死区的、难以参考的区域(闭合)部分的评估值可以相加到一起。因此，可以进一步改进作为评估值的特征。

error_dual＝error_left_base+error_right_base    …(25)

这里，描述将返回到图7的流程图。

在步骤S27中，偏移调整单元24中的调整参数更新单元81的简化位置调整单元121确定此时获得的匹配评估值误差是否小于误差最小值error_min。在步骤S27中，当匹配评估值误差小于误差最小值error_min时，假定已经更新最小值，则处理进行到步骤S28。

在步骤S28中，简化位置调整单元121存储此时的调整参数(ΔX，ΔY，ΔS0，ΔY0，ΔS1，ΔY1)作为调整参数的最小值(ΔXmin，ΔYmin，ΔS0min，ΔY0min，ΔS1min，ΔY1min)。此时，简化位置调整单元121将误差最小值error_min更新为此时的匹配评估值误差。

另一方面，在步骤S27中，当匹配评估值误差不小于误差最小值error_min时，跳过步骤S28的处理。

在步骤S29中，简化位置调整单元121确定匹配评估值误差的最小值的搜索范围之内的未处理的搜索范围是否仍然存在，其中匹配评估值由调整变量之中的ΔX′和ΔY′来定义。调整变量ΔX′、ΔY′、ΔS0′、ΔY0′、ΔS1′和ΔY1′的搜索范围将分别表示为ΔX′min到ΔX′max、ΔY′min到ΔY′max、ΔS0′min到ΔS0′max、ΔY0′min到ΔY0′max、ΔS1′min到ΔS1′max、以及ΔY1′min到ΔY1′max。因此，调整变量ΔX′、ΔY′、ΔS0′、ΔY0′、ΔS1′和ΔY1′的搜索范围分别被定义为ΔX′min≤ΔX′≤ΔX′max、ΔY′min≤ΔY′≤ΔY′max、ΔS0′min≤ΔS0′≤ΔS0′max、ΔY0′min≤ΔY0′≤ΔY0′max、ΔS1′min≤ΔS1′≤ΔS1′max、以及ΔY1′min≤ΔY1′≤ΔY1′max。

当在步骤S29中确定搜索范围仍然存在时，在步骤S30中，简化位置调整单元121将调整变量(ΔX′，ΔY′)更新为未处理的搜索范围，并且处理返回到步骤S22。

也就是，例如，在如图9所示定义要在搜索范围中搜索的像素的情况下，按照箭头的次序顺序地设置在图中的左上区域中由圆圈标记指示的像素SL1直到像素SLm。此时，如果搜索变量ΔX′和ΔY′的搜索间隔被表示为ΔX′step和ΔY′step，在ΔX′min到ΔX′max中，根据ΔX′＝ΔX′+ΔX′step顺序地更新搜索间隔。当达到X′max时，根据ΔY′＝ΔY′+ΔY′step更新搜索间隔，设置ΔX′＝ΔX′min，在ΔY′min到ΔY′max的范围中重复相同处理，并且当X′＝X′max且Y′＝Y′max时，完成处理。

然后，当在步骤S29中确定搜索范围不存在时，处理进行到步骤S31。

在步骤S31中，简化位置调整单元121基于误差最小值error_min中的调整参数的最小值(ΔXmin，ΔYmin，ΔS0min，ΔY0min，ΔS1min，ΔY1min)来更新基本调整量(ΔXbase，ΔYbase，ΔS0base，ΔY0base，ΔS1base，ΔY1base)。也就是，简化位置调整单元121将基本调整量(ΔXbase，ΔYbase)设置为误差最小值error_min中的调整参数的最小值(ΔXmin，ΔYmin)，并完成处理。

也就是，作为以上处理的结果，在图像的整个范围中，可以获得作为匹配评估值误差成为最小的调整参数(ΔX，ΔY)的粗略位置，以作为基本调整量(ΔXbase，ΔYbase)。

这里，描述返回到图6的流程图。

在步骤S3中，调整参数更新单元81的详细位置调整单元122基于在简化位置调整处理中以简化的方式获得的总调整参数(ΔX，ΔY)来执行详细位置调整处理，并且更详细地，获得匹配评估值误差成为最小的总调整参数(ΔX，ΔY)。

详细位置调整处理

这里，将参照图10的流程图给出详细位置调整处理的描述。

在步骤S81中，详细位置调整单元122将对重复次数进行计数的计数器r初始化，稍后将对此进行描述。

在步骤S82中，详细位置调整单元122设置被减小为在紧接在前的处理中达到误差最小值error_min的调整参数(ΔX，ΔY)的邻近的搜索范围。

在步骤S83中，详细位置调整单元122与搜索范围相关联地减小搜索变量ΔX′和ΔY′的搜索间隔。

也就是，在由图11的上层中的圆圈标记指示的每个像素的搜索范围中，在由阴影圆圈标记指示的像素指示在第一处理中成为误差最小值error_min的调整参数ΔX或ΔY的情况下，在第二处理中，如图11的中间层中的圆圈标记所指示的，详细位置调整单元122减小搜索像素的间隔(ΔX′step或ΔY′step)，并且还将在第一处理中获得的像素的邻近的范围设置为搜索范围。类似地，在由图11中的中间层的圆圈标记指示的每个像素的搜索范围中，在阴影圆圈标记的像素指示在第二处理中达到误差最小值error_min的调整参数ΔX或ΔY的情况下，在第三处理中，如图11的下层中的圆圈标记所指示的，详细位置调整单元122进一步减小搜索像素的间隔(ΔX′step或ΔY′step)，并且将第二次搜索的像素的邻近的范围设置为搜索范围。

步骤S84至S92的处理与图7的步骤S22至S30的处理相同。由此，省略其描述。

也就是，作为步骤S84至S92的处理结果，当搜索范围和搜索变量的改变减小并且获得匹配评估值误差成为误差最小值error_min的调整参数(ΔX，ΔY)时，处理进行到步骤S93。

在步骤S93中，详细位置调整单元122确定是否重复次数的计数器r已为预定次数，搜索范围和搜索变量的改变减小了预定次数，以及已经获得匹配评估值误差成为误差最小值error_min的调整参数(ΔX，ΔY)。当在步骤S93中确定例如重复次数不是预定次数，则在步骤S94中，详细位置调整单元122使计数器r递增1，并且处理返回到步骤S82。也就是，使步骤S82至S94的处理重复预定次数。然后，当在步骤S93中确定处理已经重复了预定次数时，处理进行到步骤S95。

在步骤S95中，详细位置调整单元122基于误差最小值error_min中的调整参数的最小值(ΔXmin，ΔYmin，ΔS0min，ΔY0min，ΔS1min，ΔY1min)来更新基本调整量(ΔXbase，ΔYbase，ΔS0base，ΔY0base，ΔS1base，ΔY1base)。也就是，详细位置调整单元122将基本调整量(ΔXbase，ΔYbase)设置为误差最小值error_min中的调整参数的最小值(ΔXmin，ΔYmin)，并且完成处理。

也就是，作为以上处理的结果，在已经获得基本调整量(ΔXbase，ΔYbase)作为粗略位置的邻近的范围中，重复以下处理：搜索范围和搜索变量的改变减小了预定次数且获得匹配评估值误差成为误差最小值error_min的调整参数(ΔX，ΔY)。结果，详细获得匹配评估值误差成为误差最小值error_min的调整参数(ΔX，ΔY)，从而可以将调整参数存储为基本调整量(ΔXbase，ΔYbase)。

这里，描述返回到图6的流程图。

当在步骤S3的详细位置调整处理中详细地获得调整参数(ΔX，ΔY)时，处理进行到步骤S4。

在步骤S4中，倾斜调整单元123执行倾斜调整处理以获得匹配评估值误差成为误差最小值error_min的调整参数(ΔS0，ΔY0，ΔS1，ΔY1)。

倾斜调整处理

这里，将参照图12的流程图给出倾斜调整处理的描述。

在步骤S101中，倾斜调整单元123将对重复次数进行计数的计数器r和稍后将描述的标识调整参数的计数器k初始化为0。

在步骤S102中，倾斜调整单元123设置被减小为在紧接在前的处理中成为误差最小值error_min的调整参数Z(k)(k＝0至3)(＝(ΔS0，ΔY0，ΔS1，ΔY1))的邻近的搜索范围。这里，通过使用计数器k，用调整参数Z(k)(k＝0至3)来表示调整参数(ΔS0，ΔY0，ΔS1，ΔY1)。也就是，调整参数Z(0)是调整参数ΔS0。调整参数Z(1)是调整参数ΔY0。调整参数Z(2)是调整参数ΔS1。调整参数Z(3)是调整参数ΔY1。此外，关于每个调整参数设置搜索范围，并且在第一处理中，搜索范围可以是能够采用的值的整个范围。

在步骤S103中，倾斜调整单元123与搜索范围相关联地设置搜索变量ΔS0′、ΔY0′、ΔS1′和ΔY1′的搜索间隔。也就是，与设置上述搜索范围ΔX′和ΔY′的搜索间隔的情况类似地，与搜索范围和重复次数相关联地减小和设置搜索间隔。

步骤S104至S112的处理与图7的步骤S22至S30的处理相同。因此，省略其描述。

也就是，作为步骤S104至S112的处理的结果，当搜索范围和搜索变量的改变减小并且获得匹配评估值误差成为误差最小值error_min的调整参数Z(k)时，处理进行到步骤S113。

在步骤S113中，倾斜调整单元123确定计数器k是否为3。当在步骤S113中确定计数器k不为3时，在步骤S114中，使计数器k递增1，并且处理返回到步骤S104。

也就是，作为重复步骤S104至S114的处理的结果，每次计数器k递增1时，按照ΔS0→ΔY0→ΔS1→ΔY1的顺序切换并获得匹配评估值误差成为误差最小值error_min的调整参数。然后，在步骤S113中，当计数器k是k＝3时，也就是，当获得全部四种类型的调整参数ΔS0、ΔY0、ΔS1和ΔY1时，处理进行到步骤S115。

在步骤S115中，倾斜调整单元123确定是否重复次数的计数器r成为预定次数，搜索范围和搜索变量的改变减小了预定次数，以及获得了匹配评估值误差成为误差最小值error_min的全部四种类型的调整参数ΔS0、ΔY0、ΔS1和ΔY1。当在步骤S115中确定例如重复次数不是预定次数时，在步骤S116中，倾斜调整单元123使对重复次数进行计数的计数器r递增1。然后，在步骤S117中，倾斜调整单元123使标识调整参数Z(k)的计数器k递增1，并且处理返回到步骤S102。也就是，作为重复步骤S102至S117的处理的结果，在按照ΔS0→ΔY0→ΔS1→ΔY1的顺序切换调整参数ΔS0、ΔY0、ΔS1和ΔY1的同时，重复以下处理：减小搜索范围和搜索变量的改变，并且获得匹配评估值误差成为误差最小值error_min的调整参数Z(k)。然后，当在步骤S115中确定处理重复了预定次数时，处理进行到步骤S116。

在步骤S116中，倾斜调整单元123基于误差最小值error_min中的调整参数的最小值(ΔXmin，ΔYmin，ΔS0min，ΔY0min，ΔS1min，ΔY1min)来更新基本调整量(ΔXbase，ΔYbase，ΔS0base，ΔY0base，ΔS1base，ΔY1base)。也就是，倾斜调整单元123将基本调整量(ΔS0base，ΔY0base，ΔS1base，ΔY1base)设置成误差最小值error_min中的调整参数的最小值(ΔS0min，ΔY0min，ΔS1min，ΔY1min)，并且完成处理。

也就是，当关于与图13的上部区域的第一层至第四层对应的调整参数ΔS0、ΔY0、ΔS1和ΔY1中的每一个，在行中用圆圈标记表示的每个像素的搜索范围内获得均用阴影圆圈标记表示的像素作为在第一处理中达到误差最小值error_min的调整参数ΔS0、ΔY0、ΔS1和ΔY1时，在第二处理中倾斜调整单元123关于与图13的下部区域的第一层至第四层对应的调整参数ΔS0、ΔY0、ΔS1和ΔY1中的每一个，减小在行中用圆圈标记表示的搜索像素之间的间隔(ΔS0′step，ΔY0′step，ΔS1′step，ΔY1′step)，并且还将搜索的像素的邻近范围设置成搜索范围。

也就是，作为以上处理的结果，通过在获得了基本调整量(ΔS0base，ΔY0base，ΔS1base，ΔY1base)的邻近范围中减小搜索范围和搜索变量的改变预定次数，可以重复获得匹配评估值误差成为误差最小值error_min的调整参数(ΔS0，ΔY0，ΔS1，ΔY1)。结果，可以详细地获得匹配评估值误差成为误差最小值error_min的调整参数(ΔS0，ΔY0，ΔS1，ΔY1)。

这里，描述返回到图6的流程图。

作为步骤S4的处理的结果，当获得基本调整量(ΔS0base，ΔY0base，ΔS1base，ΔY1base)作为匹配评估值误差成为误差最小值error_min的调整参数(ΔS0，ΔY0，ΔS1，ΔY1)时，处理进行到步骤S5。

在步骤S5中，调整参数更新单元81将通过步骤S3和S4的以上提到的处理获得的基本调整量(ΔXbase，ΔYbase，ΔS0base，ΔY0base，ΔS1base，ΔY1base)作为调整参数(ΔX，ΔY，ΔS0，ΔY0，ΔS1，ΔY1)存储在调整参数存储单元82中，并且完成处理。

例如，在步骤S3和S4的以上提到的处理的重复次数被设置为3的情况下，水平方向上的调整参数的范围被设置为ΔX′min＝-4.0/N且ΔX′max＝+4.0/N，并且竖直方向上的调整参数的范围被设置为ΔY′min＝-2.0/N且ΔY′max＝+2.0/N。此外，水平方向上的间隔可以被设置为使得ΔX′step＝-1.0/N，并且竖直方向上的间隔可以被设置为使得ΔY′step＝-0.5/N。此外，在此情况下，上部区域倾斜的范围可以被设置为使得ΔS0′min＝-2.0/N且ΔS0′max＝+2.0/N，并且上部区域竖直方向的范围可以被设置为使得ΔY0′min＝-1.0/N且ΔY0′max＝+1.0/N。此外，在类似情况下，下部区域倾斜的范围可以被设置为使得ΔS1′min＝-2.0/N且ΔS1′max＝+2.0/N，并且竖直方向上的下部区域的范围可以被设置为使得ΔY1′min＝-1.0/N且ΔY1′max＝+1.0/N。此外，上部区域的倾斜间隔可以被设置为使得ΔS0′step＝0.5/N，上部区域竖直方向的间隔可以被设置为使得ΔY0′step＝0.25/N，下部区域的倾斜间隔可以被设置为使得ΔS1′step＝0.5/N，并且竖直方向上的下部区域的间隔可以被设置为使得ΔY1′step＝0.25/N。

作为以上处理的结果，可以设置调整参数，使得匹配评估值误差成为最小，该匹配评估值误差对基于作为捕获的立体图像的图像通过立体匹配的处理获得的视差图像中的误差量进行评估。因此，可以根据调整参数调整捕获立体图像的多个摄像装置的图像捕获方向之间的偏移。此外，由于在执行以上提到的校准处理的同时重复立体匹配处理，所以继续生成视差图像。因此，可以继续校准处理，同时维持继续生成视差图像的状态。因此，不需要单独提供在制造图像处理设备作为产品的同时执行校准的步骤。因此，可以在不招致制造成本的情况下仅通过用户使用图像处理设备来实现校准。此外，可以在继续生成视差图像的同时重复校准。因此，即使摄像装置21-1和21-2的光轴由于长期退化而改变，也可以响应于改变执行校准。此外，可以基于通过使用捕获的图像的整个范围获得的匹配评估值来执行校准。因此，能够以高鲁棒性执行校准。

2.第二实施例

图像处理设备的另一示例性配置

虽然前文中已经描述了使用软件程序实现校准处理的情况，但是可以通过控制对摄像装置21-1和21-2的图像捕获方向等进行控制的硬件的操作来实现校准。图14图示了应用本公开的图像处理设备的硬件的另一实施例的配置的示例，其中可以通过控制硬件的操作来执行校准。用相同的名称和附图标记来表示图14中的与图1的部件相同的部件，并且由此适当地省略其描述。

图14的图像处理设备11与图1的图像处理设备11的区别在于，提供了图像偏移校正单元151来替代图像偏移校正单元22。

在图像偏移校正单元22中，通过对根据软件程序捕获的、摄像装置21-1和21-2的各图像进行校正来生成校正图像。相比较，图像偏移校正单元151控制摄像装置21-1和21-2的图像捕获方向以生成校正图像。

具体地，图像偏移校正单元151控制摄像装置21-1和21-2的俯仰方向，如图15的左部区域中的箭头t1和t2所指示的。此外，图像偏移校正单元151控制摄像装置21-1和21-2的摇摆方向(pan direction)，如图15的中间部分中的箭头p1和p2所指示的。此外，图像偏移校正单元151控制摄像装置21-1和21-2的旋转方向，如图15的右部区域中的箭头r1和r2所指示的。

更详细地，图像偏移校正单元151包括光轴调整量转换单元171、以及光轴调整单元172-1和172-2。光轴调整量转换单元171基于存储在调整参数存储单元82中的调整参数(ΔX，ΔY，ΔS0，ΔY0，ΔS1，ΔY1)来生成控制摄像装置21-1和21-2的每个的俯仰、摇摆和旋转的光轴调整量。

光轴调整单元172-1和172-2物理上控制摄像装置21-1和21-2的各俯仰、摇摆和旋转，并校正由每个摄像装置21-1和21-2捕获的图像的偏移，从而生成校正图像，并将图像提供给匹配单元23。

关于图14的图像处理设备11中的校准处理，仅图6的步骤S2至S4中的一些不同。因此，将仅描述不同处理。

简化位置调整处理

将参照图16的流程图，给出作为不同处理的简化位置调整处理的描述。图16的流程图中的处理除了步骤S123和S124的处理之外，与图7的流程图中的步骤S21、S22和S25至S31的处理相同。因此，省略其描述。

也就是，在步骤S123中，光轴调整量转换单元171基于存储在调整参数存储单元82中的调整参数(ΔY，ΔY0，ΔY1)获得俯仰的调整量，基于调整参数ΔX获得摇摆的调整量，并基于调整参数(ΔS0，ΔS1)获得旋转的调整量。然后，光轴调整量转换单元171将获得的关于调整量的信息提供给光轴调整单元172-1和172-2。

在步骤S124中，光轴调整单元172-1和172-2基于来自光轴调整量转换单元171的调整量来控制摄像装置21-1和21-2的摇摆、俯仰和旋转，从而生成校正图像，并将图像提供给匹配单元23。

关于分别对应于步骤S3和S4的处理的详细位置调整处理和倾斜调整处理，使得步骤S85和S86的对应处理以及步骤S105和S106的对应处理与步骤S123和S124的处理相同，从而可以实现相同处理。因此，省略其描述。

作为以上处理的结果，还在图14的图像处理设备11中，可以获得与图1的图像处理设备11的情况下的校准处理相同的优点。

3.第三实施例

图像处理设备的另一示例性配置

在前文中，已经描述了如下示例：在立体匹配处理中，通过使用动态规划等获得视差，此后，计算出匹配评估值。然而，使用动态规划的视差的计算具有高处理负荷，由此处理是耗时的。因此，通过利用更简单的方法定义匹配评估值误差，可以在不通过使用动态规划等计算视差的情况下实现立体匹配处理。

图17示出了被配置成在立体匹配处理中以简单的方式计算匹配评估值误差的图像处理设备11的示例性配置。用相同的名称和附图标记表示具有与图1中的图像处理设备11相同的功能的图17中的图像处理设备11的部件。因此，适当地省略其描述。更具体地，图17中的图像处理设备11与图1中的图像处理设备11的区别在于，在匹配单元23中去掉了竖直边缘检测单元61-1和61-2，并且在立体匹配单元62中提供了成本计算单元201、匹配评估值计算单元202和视差计算单元203来替代相似度计算单元101至视差计算单元105。

如图18所示，成本计算单元201在使右图像和左图像在竖直方向上偏移的同时，与偏移量对应地计算指示从图像偏移校正单元22提供的右图像和左图像中的块之间的匹配误差量的评估值的成本的最小值。更具体地，如图18的上部区域所示，例如，用作标准的左图像P11以预定尺寸分割成块。然后，成本计算单元201例如计算块之间的像素间差和(其是在对应于图18的上部区域的块B的右图像P12的区域Z1内在水平方向上以像素为单位按顺序使图像位移的同时获得的)作为成本。例如在右图像P2关于左图像P1在竖直方向上位移了偏移量Δy的情形下，区域Z1被设置为包含例如处于与块B相同高度且对应于左图像P11中的块B的水平位置的范围，其中该范围在水平方向上比块B长。此外，如图18的下部区域所示，成本计算单元201使得左图像P11以像素为单位在竖直方向上从偏移量Δy1改变为例如偏移量Δy2，并且根据偏移量Δy设置区域Z2以顺序地计算成本，并与偏移量Δy对应地存储该成本。

匹配评估值计算单元202首先针对竖直方向上的每个偏移量Δy获得成为最小的成本，其是以设置在用作标准的左图像中的块为单位在对应的右图像中设置的区域中获得的。然后，匹配评估值计算单元202针对所有图像计算关于所有块获得的、作为最小的成本的总和，作为每个偏移量Δy的匹配评估值误差。作为这种处理的结果，匹配评估值计算单元202获得例如指示关于偏移量Δy的匹配评估值误差的改变的波形W，如图19所示。此外，如图19所示，匹配评估值计算单元202输出每个偏移量Δy的匹配评估值误差成为最小的偏移量Δymin的匹配评估值误差，作为当左图像P11用作标准时关于右图像P12的匹配评估值误差。

在使得由于在远离了预定距离的位置处捕获建筑物的图像而将设置在建筑物侧墙上的格状窗玻璃投影的两个立体图像的情况下，存在以下情况：每个偏移量Δy的匹配评估值误差与偏移量Δy之间的关系成为例如图20所示的波形W1。在这样的情况下，存在多个局部最小值。由于此原因，例如，当作为最小值的局部最小值被设置为关于用作标准的左图像的右图像的匹配评估值时，在图20中，即使偏移量Δymin1是正确的匹配评估值误差，在一些情况下，也会由于小于偏移量Δymin1的偏移量Δymin2被设置为关于左图像的右图像的匹配评估值误差而发生错误。

然而，一般地，在使得一个壳体设置有两个摄像装置(诸如3D摄像装置或3D视频摄像装置)的设备的情况下，期望两个图像之间的偏移量Δy是小的。更具体地，在具有设置在一个壳体中的两个摄像装置的图像捕获装置的情况下，由于摄像装置之间的大致位置是固定的，所以期望位置关系由于振动、长期退化或撞击而在某种程度上改变。因此，在一个壳体设置有两个摄像装置的情况下，假定对于两个图像之间的偏移量Δy而言，在不存在竖直偏移的状态附近，也就是在竖直偏移量Δy＝0的状态附近存在正确答案。因此，在如图20的这样的情况下，假定采用了接近偏移量Δy＝0的偏移量Δymin1中的匹配评估值误差。

视差计算单元203基于像素之间的关系获得以像素为单位的视差，像素之间的关系是由匹配评估值计算单元202获得的匹配评估值误差成为最小的左图像的每个块与右图像的对应块之间的关系形成的。然后，视差计算单元203基于获得的视差生成并输出视差图像。

立体匹配处理

接下来，将参照图21的流程图给出由图17的图像处理设备11执行的立体匹配处理的描述。

图17的图像处理设备11的校准处理除了立体匹配处理之外，与由参照图6描述的图1的图像处理设备11执行的校准处理基本相同。因此，这里，将仅描述立体匹配处理。然而，在图17的图像处理设备11中，由于省略了竖直边缘检测单元61-1和61-2，因此省略了用于基于左和右校正图像生成边缘检测图像的处理。更具体地，省略了图7的简化位置调整处理中的步骤S25、图10的详细位置调整处理中的步骤S87以及图12的倾斜调整处理中的步骤S107的处理。

这里，描述了以下示例：获得当由摄像装置21-1和21-2捕获的图像之中左图像用作标准时的匹配评估值、以及直到右图像的对应点的视差。此外，左图像表示为p(x，y)，右图像表示为q(x，y)，并且要获得的视差表示为disparity(x，y)(d_min≤disparity(x，y)≤d_max)。d_min是要获得的视差的最小值，例如，d_min＝-63。d_max是要获得的视差的最大值，例如，d_max＝63。

在步骤S201中，成本计算单元201将指示偏移量的计数器Δyc初始化为Δyc＝0。

在步骤S202中，当成本计算单元201计算作为偏移量Δyc的匹配误差量的评估值的匹配评估值时，成本计算单元201针对用作标准的左图像的每个块计算以下方程(26)以在使对应的右图像的参考区域在水平方向上位移的情况下计算cost(x，y，d)。

$\cos t(x,y,d)=\underset{i=-\mathrm{1,0,1}}{\mathrm{\Σ}}\underset{j=-\mathrm{1,0,1}}{\mathrm{\Σ}}\mathrm{ABS}(p(x+i,y+i)-q(x+d+i,y+j))...\left(26\right)$

在获得cost(x，y，d)的方程(26)中，描述了以下示例：使用3×3像素的块区域的亮度差的差绝对值和(SAD)；然而块区域不限于该块尺寸。此外，当要获得cost(x，y，d)时，可以执行使用差平方和(SSD)而不是差绝对值和(SAD)的计算。这里，d是水平方向上的偏移量。

此外，关于每个块，匹配评估值计算单元202选择作为cost(x，y，d)最小的min(cost(x，y，d))的水平方向上的偏移量，如以下方程(27)所示计算所有块中的总和，并且计算总和作为偏移量Δyc的匹配评估值误差。

在步骤S203中，成本计算单元201关于偏移量Δyc，设置存在于以预定距离分隔的邻近中的偏移量ΔyL(＝c-步长)和ΔyR(＝c+步长)(步长(step)：常数)。关于匹配评估值误差与偏移量Δy的关系，例如，如图22所示，需要生成水平轴表示竖直方向上的偏移量且竖直轴表示每个偏移量的匹配评估值误差的波形。因此，图22中所示的波形中的设置在偏移量Δyc的左侧的偏移量被设置为偏移量ΔyL(＝c-步长)，并且类似地，设置在偏移量Δyc的右侧的偏移量被设置为偏移量ΔyR(＝c+步长)。

在步骤S204中，成本计算单元201和匹配评估值计算单元202分别计算以上描述的方程(26)和(27)，从而计算各偏移量ΔyL和ΔyR中的成本和匹配评估值误差。

在步骤S205中，匹配评估值计算单元202基于以下方程(28)的关系是否满足来确定匹配评估值误差的局部最小值是否包含在偏移量ΔyL至ΔyR的范围之中。

这里，Δy_n表示竖直方向上的预定偏移量，偏移量Δy_n+i和Δy_n-i分别各自是在正方向和负方向上与偏移量Δy_n分隔了i个像素的偏移量，并且Th₀是预定阈值。此外，这里，偏移量Δy_n-i、Δy_n和Δy_n+i分别对应于偏移量ΔyL、Δyc和ΔyR，并且i对应于步长(i＝步长)。更具体地，在形成在水平轴上描绘偏移量且在竖直轴上描绘匹配评估值的波形的情况下，当按照偏移量ΔyL、Δyc和ΔyR的顺序获得匹配评估值误差时，当形成利用偏移量Δyc作为顶点的向下凸出的波形时，方程(28)为真(包括局部最小值)，否则的话，方程(28)为假(不包括局部最小值)。因此，例如，在如图22的上部区域所示的这样的情况下，误差按照偏移量ΔyL、Δyc和ΔyR的顺序单调增大。结果，由于没有满足以上方程(28)的关系，所以处理进行到步骤S206。

在步骤S206中，匹配评估值计算单元202设置计数器Δyc以使得分别对应于偏移量ΔyL和ΔyR的匹配评估值误差中的较小者成为偏移量Δyc，并且处理返回到步骤S203。

更具体地，例如，如图22的上部区域所示，在偏移量Δyc被设置在偏移量Δyc＝0的状态下并且偏移量ΔyL和ΔyR被设置在其左和右的情况下，当误差按照偏移量ΔyL、Δyc和ΔyR的顺序单调增大时，偏移量ΔyL至ΔyR中不存在局部最小值。因此，如图22的下部区域所示，重新设置偏移量ΔyL至ΔyR。更具体地，在图22的上部区域中，由于偏移量ΔyL和ΔyR之中的偏移量ΔyL的匹配评估值误差较小，所以偏移量ΔyL被设置为下一偏移量Δyc，并且在重新设置偏移量Δyc之前和之后设置新的偏移量ΔyL和ΔyR。这基于以下约束条件：假定如上所述偏移量Δyc接近零的局部最小值作为关于用作标准的左图像的右图像的匹配评估值误差(关于标准图像的参考图像的匹配评估值误差)。顺序重复步骤S203至S206的处理，直到搜索到包含有局部最小值的范围(诸如以上所述的接近偏移量Δy＝0的位置处的范围)为止。

在步骤S206中，例如，如图22的下部区域所示，达到以下关系：局部最小值包含在以与对应于偏移量Δyc的方式设置的偏移量ΔyL至ΔyR的范围中，也就是，当形成利用偏移量Δyc的匹配评估值作为局部最小值的向下凸出的波形时，满足方程(28)的条件。因此，处理进行到步骤S207。

在步骤S207中，成本计算单元201和匹配评估值计算单元202计算分别与偏移量ΔyL和ΔyR对应的偏移量Δyc-步长与Δyc+步长之间存在的所有匹配评估值。更具体地，如由图23的上部区域中的白色圆圈所示，当使偏移量ΔyL和ΔyR为包含有以对应于偏移量Δyc的方式设置的局部最小值的关系时，获得由图23的下部区域中的黑色圆圈所表示的所有匹配评估值。

在步骤S208中，匹配评估值计算单元202采用偏移量Δyc-步长与Δyc+步长之间存在的所有偏移量的匹配评估值的最小值，作为关于左图像(标准图像)的右图像(参考图像)的匹配评估值误差。更具体地，关于作为左图像(以这种方式获得的标准图像)的参考图像的右图像的匹配评估值误差，采用作为最接近偏移量Δy＝0的偏移量的匹配评估值误差的局部最小值。因此，例如，在诸如图23的下部区域中所示的情况下，采用在所有获得的匹配评估值误差之中的由偏移量Δymin指示的位置处的匹配评估值误差作为关于作为标准图像的左图像的右图像的匹配评估值误差。

在步骤S209中，视差计算单元203基于与在匹配评估值误差中采用的偏移量Δy对应的左图像和右图像的块之间的关系来计算视差，生成视差图像并将其输出。

利用以上处理，由于关于竖直方向上的偏移的最小单位在某种程度上将i＝步长设置为大的，从接近偏移量Δy＝0的范围开始在存在匹配评估值的局部最小值的范围中粗略地进行搜索之后，关于所有偏移量Δy详细地计算匹配评估值误差，从而能够以高速度识别关于标准图像的参考图像的匹配评估值误差。此外，在以上立体匹配处理中，不包括具有大的处理负荷的处理(诸如动态规划)，从而可以减小处理负荷并增加处理速度。如果关于设置为步长的距偏移量Δyc的距离以足够小的间隔获得匹配评估值，则在获得包含局部最小值的范围之后，不一定需要获得所有偏移量的匹配评估值。更具体地，确定任一偏移量的匹配评估值满足匹配评估值最接近偏移量Δy＝0并且是局部最小值的约束条件是足够的。因此，不需要获得偏移量的所有匹配评估值，并且可以根据需要减小其间隔数目。如上所述，通过获得偏移量的匹配评估值，通过减小间隔数目，可以更加减小立体匹配处理的负荷并更加增加处理速度。

在前文中，基于是否满足以上方程(28)的关系来确定是否包含局部最小值。可以使用另一种方法，只要对于是否包含局部最小值的确定可行即可。例如，可以基于诸如以下方程(29)所示的倾斜关系来确定是否包含局部最小值。

这里，Th₁表示预定阈值。更具体地，在方程(29)中，当关于偏移量Δy_n至偏移量Δy_n+i，偏移量的匹配评估值的倾斜是大于预定阈值Th₁的正倾斜时，并且当关于偏移量Δy_n-i至偏移量Δy_n，偏移量的匹配评估值的倾斜是小于预定阈值-Th₁的负倾斜时，方程(29)为真(包括局部最小值)，否则的话，方程(29)为假(不包括局部最小值)。

根据以上内容，可以在不使用具有大的负荷的计算(诸如动态规划)的情况下实现立体匹配处理，从而可以增加处理速度。此外，按照以粗准确度与偏移量Δy＝0分隔开的方式从包含偏移量Δy＝0的邻近顺序地搜索包含匹配评估值的局部最小值的范围，此后，仅详细获得搜索的范围的匹配评估值以搜索局部最小值。结果，能够以高速度搜索最接近偏移量Δy＝0且是局部最小值的偏移量Δy的匹配评估值，作为关于标准图像的参考图像的匹配评估值。在图像处理设备11的处理速度是例如足够快且图像处理设备11能够执行更多处理的情况下，在获得偏移量Δy的所有匹配评估值之后，搜索最接近偏移量Δy＝0且是局部最小值的匹配评估值，作为关于标准图像的参考图像的匹配评估值。此外，在前文中，已经描述了以下示例：关于竖直方向上的偏移量Δy获得匹配评估值。替选地，类似地，可以针对水平方向上的偏移量获得匹配评估值，使得其最小值被设置为关于标准图像的参考图像的匹配评估值。

可以通过硬件并且也可以通过软件来执行上述系列图像处理。当要由软件来执行系列处理时，将构成软件的程序从记录介质安装到并入专用硬件中的计算机，或将这样的程序从记录介质安装到能够通过安装各程序执行各处理的通用计算机。

图24图示了通用个人计算机的示例性配置。个人计算机具有其中并入的中央处理单元(CPU)1001。输入/输出接口1005通过总线1004连接到CPU 1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接到总线1004。

用户输入操作命令使用的、包括输入装置(诸如键盘和鼠标)的输入单元1006、用于将处理操作屏幕和处理结果的图像输出到显示装置的输出单元1007、包括用于存储程序和各数据的硬盘驱动器的存储单元1008、以及用于经由以因特网为代表的网络执行通信处理的通信单元1009、包括局域网(LAN)适配器等的通信单元1009被连接到输入/输出接口1005。此外，从可拆卸介质1011读出数据和向其写入数据的驱动器1010(诸如磁盘(包括软盘)、光盘(CD-ROM(致密盘-只读存储器)、以及DVD(数字多功能盘)、磁-光盘(包括MD(微型盘)、或半导体存储器)连接到输入/输出接口1005。

CPU 1001根据存储在ROM 1002中的程序或根据从可拆卸介质1011(诸如磁盘、光盘、磁-光盘或半导体存储器)读取的、安装到存储单元1008的、以及从存储单元1008加载到RAM 1003的程序来执行各种类型的处理。CPU 1001执行各种类型的处理所需要的数据等还被适当地存储在RAM 1003中。

在如以上描述的那样配置的计算机中，CPU 1001将存储在存储单元1008中的程序加载到RAM 1003并通过输入/输出接口1005和总线1004执行程序，从而执行上述系列处理。

由计算机(CPU 1001)执行的程序能够按照例如其被记录在作为封装介质的可拆卸介质1011上的方式来提供。此外，可以通过诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。

在计算机中，程序可以通过将可拆卸介质1011加载到驱动器1010经由输入/输出接口1005而安装到存储单元1008。此外，程序可以由通信单元1009接收并经由有线或无线传输介质安装到存储单元1008。此外，可以将程序预先安装到ROM 1002和/或存储单元1008。

由计算机执行的程序可以是根据本说明书中描述的顺序按照时间序列的方式处理的程序，并且可以是并行或在需要的时间处(诸如当被调用时)处理的程序。

此外，在本说明书中，系统是指多个部件(装置、模块(部件)等)的组件，并且其与所有部件是否在同一壳体内没有关系。因此，容纳在分离的壳体中并通过网络连接的多个装置、以及容纳在一个壳体内的多个模块的一个装置均是指系统。

本公开的实施例不限于上述实施例，并且在不背离本公开的主旨的范围内各种改变是可能的。

例如，本公开可以采取由多个装置通过网络共享一个函数并协作地处理该函数的云计算的配置。

此外，上述流程图中描述的步骤可以由一个装置来执行，也可以由多个装置来共享和执行。

此外，在一个步骤中包括多个处理的情况下，包括在一个步骤中的多个处理可以由一个装置来执行，也可以由多个装置共享和执行。

本公开可以采用以下配置。

(1)一种图像处理设备，包括：

图像获得单元，被配置成获得作为从不同视点捕获的同一被摄对象的图像的多个图像；

图像偏移校正单元，被配置成基于用于校正图像偏移的参数来修改由所述图像获得单元获得的所述多个图像，并针对每个所述获得的图像生成校正图像；

评估值计算单元，被配置成计算误差量的针对整个屏幕的积分值作为评估值，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之间的在视差方向上的关联不可能的程度；以及

更新单元，被配置成改变所述参数之中在所述视差方向上的关联所需的参数以更新所述参数，使得所述评估值成为最小。

(2)根据(1)中所述的图像处理设备，其中所述更新单元在所述参数之中，在所述图像的整个范围中在二维方向上以粗像素间隔改变位移量，以将所述位移量更新为所述评估值成为最小的位移量，并且在通过以所述粗像素间隔改变所述位移量搜索的所述位移量的邻近范围中，在二维方向上以细像素间隔进一步改变所述位移量，以将所述位移量更新为所述评估值成为最小的位移量。

(3)根据(1)或(2)中所述的图像处理设备，其中所述更新单元在所述参数之中，改变与作为所述多个图像之间的关联方向的视差搜索方向相垂直的倾斜分量，以将所述倾斜分量更新为所述评估值成为最小的倾斜分量。

(4)根据(3)中所述的图像处理设备，其中所述更新单元在所述参数之中，分割与作为所述多个图像之中的关联方向的视差搜索方向相垂直的方向上的倾斜分量，并各自改变所述倾斜分量以将所述倾斜分量更新为所述评估值成为最小的倾斜分量。

(5)根据(1)至(3)中任一项所述的图像处理设备，其中所述评估值计算单元计算误差量的针对所述整个屏幕的积分值作为评估值，使得由所述图像的周围部分做出的贡献是小的，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之间的在所述视差方向上的关联不可能的程度。

(6)根据(1)至(5)中任一项所述的图像处理设备，其中所述评估值计算单元计算误差量的针对所述整个屏幕的积分值作为块匹配的差绝对值和的整个屏幕总和，并将计算结果设置为评估值，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之间的在所述视差方向上的关联不可能的程度。

(7)根据(6)中所述的图像处理设备，其中所述评估值计算单元使用动态规划，计算误差量的针对所述整个屏幕的积分值，并将计算结果设置为评估值，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之间的在所述视差方向上的关联不可能的程度。

(8)根据(6)中所述的图像处理设备，其中所述评估值计算单元对于所述多个校正图像之中的每个偏移量，计算误差量的针对所述整个屏幕的积分值作为块匹配的差绝对值和的整个屏幕总和，并将所述计算结果之中所述偏移量最接近0的局部最小值设置为评估值，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之间的在所述视差方向上的关联不可能的程度。

(9)根据(8)中所述的图像处理设备，其中所述评估值计算单元在所述多个校正图像之中的每个粗偏移间隔处，计算误差量的针对所述整个屏幕的积分值作为块匹配的差绝对值和的整个屏幕总和，搜索所述偏移量最接近0且包含有局部最小值的范围中的计算结果，并将在所述搜索范围中详细获得的所述整个屏幕总和的所述局部最小值设置为评估值，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之间的在所述视差方向上的关联不可能的程度。

(10)根据(1)至(9)中任一项所述的图像处理设备，其中所述评估值计算单元计算误差量的针对所述整个屏幕的积分值的总和作为评估值，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之中的标准图像与除了所述标准图像之外的参考图像之间的在所述视差方向上的关联不可能的程度。

(11)根据(1)至(10)中任一项所述的图像处理设备，还包括图像捕获单元，其被配置成从不同视点捕获所述同一被摄对象的图像，

其中所述图像获得单元获得作为通过使用所述图像捕获单元从不同视点捕获的所述同一被摄对象的图像的多个图像，并且

其中所述图像偏移校正单元基于用于校正图像偏移的参数，通过移动成为所述图像捕获单元中图像捕获方向的光轴来修改由所述图像获得单元获得的所述多个图像，并针对每个所述获得的图像生成校正图像。

(12)一种用于图像处理设备的图像处理方法，所述图像处理设备包括：

图像获得单元，被配置成获得作为从不同视点捕获的同一被摄对象的图像的多个图像；

图像偏移校正单元，被配置成基于用于校正图像偏移的参数来修改由所述图像获得单元获得的所述多个图像，并针对每个所述获得的图像生成校正图像；

评估值计算单元，被配置成计算误差量的针对整个屏幕的积分值作为评估值，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之间的在视差方向上的关联不可能的程度；以及

更新单元，被配置成改变所述参数之中在所述视差方向上的关联所需的参数以更新所述参数，使得所述评估值成为最小，所述图像处理方法包括：

在所述图像获得单元中，获得作为从不同视点捕获的所述同一被摄对象的图像的多个图像；

在所述图像偏移校正单元中，基于用于校正图像偏移的参数来修改在所述图像获得的处理中获得的所述多个图像，并针对每个所述获得的图像生成校正图像；

在所述评估值计算单元中，计算误差量的针对整个屏幕的积分值作为评估值，所述误差量指示在所述图像偏移校正的处理中生成的所述多个校正图像之间的在视差方向上的关联不可能的程度；以及

在所述更新单元中，改变所述参数之中在所述视差方向上的关联所需的参数并更新所述参数，使得所述评估值成为最小。

(13)一种用于使控制图像处理设备的计算机执行处理的程序，所述图像处理设备包括：

图像获得单元，被配置成获得作为从不同视点捕获的同一被摄对象的图像的多个图像；

图像偏移校正单元，被配置成基于用于校正图像偏移的参数来修改由所述图像获得单元获得的所述多个图像，并针对每个所述获得的图像生成校正图像；

评估值计算单元，被配置成计算误差量的针对整个屏幕的积分值作为评估值，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之间的在视差方向上的关联不可能的程度；以及

更新单元，被配置成改变所述参数之中在所述视差方向上的关联所需的参数以更新所述参数，使得所述评估值成为最小，所述处理包括：

在所述图像获得单元中，获得作为从不同视点捕获的所述同一被摄对象的图像的多个图像；

在所述图像偏移校正单元中，基于用于校正图像偏移的参数来修改在所述图像获得的处理中获得的所述多个图像，并针对每个所述获得的图像生成校正图像；

在所述评估值计算单元中，计算误差量的针对整个屏幕的积分值作为评估值，所述误差量指示在所述图像偏移校正的处理中生成的所述多个校正图像之间的在视差方向上的关联不可能的程度；以及

在所述更新单元中，改变所述参数之中在所述视差方向上的关联所需的参数并更新所述参数，使得所述评估值成为最小。

在本说明书中，描述了记录在记录介质上的程序的步骤包括根据书写顺序按照时间序列的方式执行的处理，还有虽然没有按照时间序列的方式执行但是并行地或单独执行的处理。

本申请包含与在2011年1月31日向日本专利局提交的日本优先权专利申请JP2011-019274中公开的主题相关的主题，其全部内容通过引用并入本申请。

本领域的技术人员应理解，可以根据设计要求和其它因素进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围之内。

Claims (13)

1.一种图像处理设备，包括：

图像获得单元，被配置成获得作为从不同视点捕获的同一被摄对象的图像的多个图像；

图像偏移校正单元，被配置成基于用于校正图像偏移的参数来修改由所述图像获得单元获得的所述多个图像，并针对每个所述获得的图像生成校正图像；

评估值计算单元，被配置成计算误差量的针对整个屏幕的积分值作为评估值，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之间的在视差方向上的关联不可能的程度；以及

更新单元，被配置成改变所述参数之中在所述视差方向上的关联所需的参数以更新所述参数，使得所述评估值成为最小。

2.根据权利要求1所述的图像处理设备，其中所述更新单元在所述参数之中，在所述图像的整个范围中在二维方向上以粗像素间隔改变位移量，以将所述位移量更新为所述评估值成为最小的位移量，并且在通过以所述粗像素间隔改变所述位移量搜索的所述位移量的邻近范围中，在二维方向上以细像素间隔进一步改变所述位移量，以将所述位移量更新为所述评估值成为最小的位移量。

3.根据权利要求1所述的图像处理设备，其中所述更新单元在所述参数之中，改变与作为所述多个图像之间的关联方向的视差搜索方向相垂直的倾斜分量，以将所述倾斜分量更新为所述评估值成为最小的倾斜分量。

4.根据权利要求3所述的图像处理设备，其中所述更新单元在所述参数之中，分割与作为所述多个图像之间的关联方向的视差搜索方向相垂直的方向上的倾斜分量，并各自改变所述倾斜分量以将所述倾斜分量更新为所述评估值成为最小的倾斜分量。

5.根据权利要求1所述的图像处理设备，其中所述评估值计算单元计算误差量的针对所述整个屏幕的积分值作为评估值，使得由所述图像的周围部分做出的贡献是小的，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之间的在所述视差方向上的关联不可能的程度。

6.根据权利要求1所述的图像处理设备，其中所述评估值计算单元计算误差量的针对所述整个屏幕的积分值作为块匹配的差绝对值和的整个屏幕总和，并将计算结果设置为评估值，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之间的在所述视差方向上的关联不可能的程度。

7.根据权利要求6所述的图像处理设备，其中所述评估值计算单元使用动态规划计算误差量的针对所述整个屏幕的积分值，并将计算结果设置为评估值，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之间的在所述视差方向上的关联不可能的程度。

8.根据权利要求6所述的图像处理设备，其中所述评估值计算单元对于所述多个校正图像之中的每个偏移量，计算误差量的针对所述整个屏幕的积分值作为块匹配的差绝对值和的整个屏幕总和，并将所述计算结果之中所述偏移量最接近0的局部最小值设置为评估值，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之间的在所述视差方向上的关联不可能的程度。

9.根据权利要求8所述的图像处理设备，其中所述评估值计算单元在所述多个校正图像之中的每个粗偏移间隔处，计算误差量的针对所述整个屏幕的积分值作为块匹配的差绝对值和的整个屏幕总和，搜索所述偏移量最接近0且包含有局部最小值的范围中的计算结果，并将在所述搜索范围中详细获得的所述整个屏幕总和的所述局部最小值设置为评估值，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之间的所述视差方向上的关联不可能的程度。

10.根据权利要求1所述的图像处理设备，其中所述评估值计算单元计算误差量的针对所述整个屏幕的积分值的总和作为评估值，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之中的标准图像与除了所述标准图像之外的参考图像之间的在所述视差方向上的关联不可能的程度。

11.根据权利要求1所述的图像处理设备，还包括图像捕获单元，其被配置成从不同视点捕获所述同一被摄对象的图像，

其中所述图像获得单元获得作为通过使用所述图像捕获单元从不同视点捕获的所述同一被摄对象的图像的多个图像，并且

其中所述图像偏移校正单元基于用于校正图像偏移的参数，通过移动成为所述图像捕获单元中的图像捕获方向的光轴来修改由所述图像获得单元获得的所述多个图像，并针对每个所述获得的图像生成校正图像。

12.一种用于图像处理设备的图像处理方法，所述图像处理设备包括：图像获得单元，被配置成获得作为从不同视点捕获的同一被摄对象的图像的多个图像；图像偏移校正单元，被配置成基于用于校正图像偏移的参数来修改由所述图像获得单元获得的所述多个图像，并针对每个所述获得的图像生成校正图像；评估值计算单元，被配置成计算误差量的针对整个屏幕的积分值作为评估值，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之间的在视差方向上的关联不可能的程度；以及更新单元，被配置成改变所述参数之中在所述视差方向上的关联所需的参数以更新所述参数，使得所述评估值成为最小，所述图像处理方法包括：

在所述图像获得单元中，获得作为从不同视点捕获的所述同一被摄对象的图像的多个图像；

在所述图像偏移校正单元中，基于用于校正图像偏移的参数来修改在所述图像获得的处理中获得的所述多个图像，并针对每个所述获得的图像生成校正图像；

在所述评估值计算单元中，计算误差量的针对整个屏幕的积分值作为评估值，所述误差量指示在所述图像偏移校正的处理中生成的所述多个校正图像之间的在视差方向上的关联不可能的程度；以及

在所述更新单元中，改变所述参数之中在所述视差方向上的关联所需的参数并更新所述参数，使得所述评估值成为最小。

13.一种用于使计算机控制图像处理设备执行处理的程序，所述图像处理设备包括：图像获得单元，被配置成获得作为从不同视点捕获的同一被摄对象的图像的多个图像；图像偏移校正单元，被配置成基于用于校正图像偏移的参数来修改由所述图像获得单元获得的所述多个图像，并针对每个所述获得的图像生成校正图像；评估值计算单元，被配置成计算误差量的针对整个屏幕的积分值作为评估值，所述误差量指示由所述图像偏移校正单元生成的所述多个校正图像之间的在视差方向上的关联不可能的程度；以及更新单元，被配置成改变所述参数之中在所述视差方向上的关联所需的参数以更新所述参数，使得所述评估值成为最小，所述处理包括：

在所述图像获得单元中，获得作为从不同视点捕获的所述同一被摄对象的图像的多个图像；

在所述图像偏移校正单元中，基于用于校正图像偏移的参数来修改在所述图像获得的处理中获得的所述多个图像，并针对每个所述获得的图像生成校正图像；

在所述评估值计算单元中，计算误差量的针对整个屏幕的积分值作为评估值，所述误差量指示在所述图像偏移校正的处理中生成的所述多个校正图像之间的在视差方向上的关联不可能的程度；以及

在所述更新单元中，改变所述参数之中在所述视差方向上的关联所需的参数并更新所述参数，使得所述评估值成为最小。

Images