CN102289803A - 图像处理设备、图像处理方法及程序 - Google Patents

Abstract

公开了一种图像处理设备、图像处理方法及程序，该图像处理设备包括：投影变换单元，其对从不同视点捕获的左图像和右图像执行投影变换；投影变换参数生成单元，其通过接收关于左图像和右图像的特征点信息来生成由投影变换单元使用的投影变换参数；立体匹配单元，其使用经过投影变换的左投影变换图像和右投影变换图像来执行立体匹配；以及匹配误差最小化控制单元，其获取关于左投影变换图像和右投影变换图像的图像旋转角信息、以及立体匹配的误差评价值的对应信息。匹配误差最小化控制单元计算使误差评价值最小的图像旋转角，以及投影变换参数生成单元计算反映使误差评价值最小的图像旋转角的投影变换参数。

Description

图像处理设备、图像处理方法及程序

技术领域

本公开涉及图像处理设备、图像处理方法及程序，以及尤其涉及基于从不同视点获得的捕获图像计算对象距离或执行用于计算对象距离的校正处理的图像处理设备、图像处理方法及程序。

背景技术

为了计算由相机捕获的对象的距离(depth)信息，即对象与相机之间的距离，已经开发了用于使用从不同视点捕获的多个图像来分析同一对象在捕获图像中的位置的技术。这样的技术之一是立体匹配。注意，例如，在Yuichi Ohta和Takeo Kanade，“Stereo by Intra-and Intra-ScanlineSearch Using Dymamic Programming”，1985年，IEEE Transactions onPattern Analysis and Machine Intelligence中描述了立体匹配。

为了基于立体匹配计算距离信息，从自不同视点捕获的多个图像中搜索对应的特征点。一般，事先在预定搜索区域内执行这样的搜索处理。但是，如果在预定区域内没有检测到对应特征点，过程异常终止。为了给对应特征点可靠地设置可检测到的搜索区域，例如，应用了诸如投影变换(projective transformation)的图像转换处理。一般，诸如投影变换的图像校正处理或相机调整处理被称为“校准(calibration)处理”，该图像校正处理或相机调整处理用于将从不同视点捕获的左图像和右图像的视差(disparity)与立体图像的搜索区域进行匹配。注意，例如，在以下文献中描述了在立体匹配中使用校准处理的现有技术。

在http://research.microsoft.com/～zhang处的技术文献“A flexiblenew technique for camera calibration”描述了这样的配置：当改变视点和基于获得的参数实现校准时，通过捕获具有印于其上的多个特征点(预先确定特征点之间的位置关系)的图特征的图像，来获得用于定位图像中的每个图像的投影变换参数。

但是，该技术具有的问题在于，为了从不同视点捕获图的多个图像，需要移动图或相机，因此需要附加地提供控制移动的步骤。

另外，为了仅通过一个图像捕获操作来执行校准，日本未审查专利申请公开第2006-250889号描述了这样的技术：其中，两个透明的校准图重叠，同时捕获具有不同距离的两个或更多个图的图像，以及获得校准参数。

但是，在“Stereo by Intra-and Intra-Scanline Search Using DymamicProgramming”和日本未审查专利申请公开第2006-250889号描述的过程中，为了估计用于使立体匹配的搜索方向与视差的倾斜方向相同的极线(epipolar line)的位差角，需要基于以子像素准确度测量的具有不同距离的两个或更多个特征点之间的几何位置关系来计算位差角。

接下来参考图1描述用于估计极线的位差角的过程的示例。为了估计极线的位差角，如图1所示，例如，需要从由具有左镜头和右镜头的立体相机10捕获的左相机图像11和右相机图像12中检测具有不同距离的特征点a和b。此后，需要基于以子像素准确度测量的特征点之间的几何位置关系来计算极线21的位差角θ。

通过该过程，使用垂直方向上和水平方向上的一些对应点之间的几何位置关系来估计倾斜角。因此，该过程具有的缺点在于，其极大地依赖于图特征的子像素检测准确度。为了提高检测准确度，需要采用具有复杂特征的图特征，该复杂特征允许在子像素基础上分析特征点的位置。但是，如果采用具有这样的复杂特征的图特征，则难以从图像中检测对应特征点，因此经常会发生误检测。

发明内容

相应地，本公开提供了一种图像处理设备、图像处理方法及程序，其能够通过对使用简化的捕获配置从不同视点捕获的图像执行诸如投影变换的图像校正处理，来减少对应特征点的搜索误差的发生概率，以及可靠地计算对象距离。

根据本公开的实施例，一种图像处理设备包括：投影变换单元，被配置成对从不同视点捕获的左图像和右图像执行投影变换；投影变换参数生成单元，被配置成通过接收关于左图像和右图像的特征点信息来生成由投影变换单元使用的投影变换参数；立体匹配单元，被配置成使用经过由投影变换单元执行的投影变换的左投影变换图像和右投影变换图像来执行立体匹配；以及匹配误差最小化控制单元，被配置成获取关于左投影变换图像和右投影变换图像的图像旋转角信息、和立体匹配的误差评价值的对应信息。匹配误差最小化控制单元计算使误差评价值最小的图像旋转角，以及投影变换参数生成单元计算反映使误差评价值最小的图像旋转角的投影变换参数。

匹配误差最小化控制单元能顺序地更新图像旋转角信息，以及将图像旋转角信息输出到投影变换参数生成单元，而投影变换参数生成单元能基于从匹配误差最小化控制单元输入的图像旋转角信息来更新投影变换参数。投影变换单元能基于投影变换参数生成单元生成的更新的投影变换参数来执行投影变换，而立体匹配单元能使用顺序更新的投影变换参数来执行左投影变换图像与右投影变换图像之间的立体匹配。匹配误差最小化控制单元能检测使顺序更新的投影变换参数所应用到的左投影变换图像与右投影变换图像之间的立体匹配的误差评价值最小的图像旋转角，以及将检测到的图像旋转角输出到投影变换参数生成单元。投影变换参数生成单元能基于从匹配误差最小化控制单元输入的使误差评价值最小的图像旋转角生成最终的投影变换参数。

投影变换参数生成单元能被配置成基于包括在左图像和右图像中的多个特征点来生成投影变换参数，以及投影变换参数生成单元能接收校准图检测单元检测到的特征点信息以及生成投影变换参数，其中，该校准图检测单元被配置成从包括在左图像和右图像中的平面图的组成部分中检测多个特征点。

平面图能由中空矩形(hollow rectangle)形成，以及校准图检测单元能将形成平面图的矩形的四个顶点检测为特征点。

投影变换参数生成单元生成用于生成校正图像的投影变换参数，其中该校正图像使形成包括在从不同视点捕获的左图像和右图像中的平面图的矩形的形状相同。

立体匹配单元能使用在由中空矩形形成的平面图的中空部分内部捕获的纹理图像，来执行立体匹配。

通过接收由捕获中空矩形形成的平面图和在中空部分内部位于与平面图不同的距离处的纹理表面而获得的左图像和右图像来执行处理。

图像处理设备能接收通过捕获由矩形形成的平面图而获得的第一左图像和第一右图像，以及通过捕获不包括平面图的对象而获得的第二左图像和第二右图像，对第一左图像和第一右图像执行特征点的检测，以及执行第二左图像与第二右图像之间的立体匹配。

根据本公开的另一实施例，提供了一种在图像处理设备中使用的图像处理方法。该方法包括：使用投影变换单元对从不同视点捕获的左图像和右图像执行投影变换；使用投影变换参数生成单元，通过接收关于左图像和右图像的特征点信息来生成由投影变换单元使用的投影变换参数；使用立体匹配单元，以及使用经过由投影变换单元执行的投影变换的左投影变换图像和右投影变换图像来执行立体匹配；以及使用匹配误差最小化控制单元来获取关于左投影变换图像和右投影变换图像的图像旋转角信息、和立体匹配的误差评价值的对应信息。在获取关于左投影变换图像和右投影变换图像的图像旋转角信息、和立体匹配的误差评价值的对应信息中，计算使误差评估值最小的图像旋转角，以及在生成投影变换参数中，计算反映使误差评价值最小的图像旋转角的投影变换参数。

根据本公开的又一实施例，提供了一种用于使图像处理设备执行图像处理的程序。程序包括：用于使用投影变换单元，对从不同视点捕获的左图像和右图像执行投影变换的指令；用于使用投影变换参数生成单元，通过接收关于左图像和右图像的特征点信息来生成由投影变换单元使用的投影变换参数的指令；用于使用立体匹配单元，以及使用经过由投影变换单元执行的投影变换的左投影变换图像和右投影变换图像来执行立体匹配的指令；以及用于使用匹配误差最小化控制单元来获取关于左投影变换图像和右投影变换图像的图像旋转角信息、和立体匹配的误差评价值的对应信息的指令。用于获取关于左投影变换图像和右投影变换图像的图像旋转角信息、和立体匹配的误差评价值的对应信息的指令包括用于计算使误差评估值最小的图像旋转角的指令，以及用于生成投影变换参数的指令包括用于计算反映使误差评价值最小的图像旋转角的投影变换参数的指令。

使用计算机可读的记录介质或用于例如能执行各种程序代码的信息处理设备和计算机系统的通信媒介，能够提供根据本公开的程序。通过提供这样的计算机可读的程序，在图像处理设备和计算机系统中能实现根据该程序的处理。

参考附图从示例性实施例的以下详细描述中，本公开的另外的特征和优点将变得明显。另外，如在本说明书中所使用的，术语“系统”指的是多个设备的逻辑组合；多个设备不需要包括在一体中。

根据本公开的实施例的配置，实现了用于使用从不同视点捕获的左图像和右图像来计算变换参数的设备和方法，该变化参数用于可靠地计算对象距离。更具体地，执行投影变换处理，在该投影变换处理中，执行从不同视点捕获的左图像和右图像的投影变换。因此，使用经过投影变换的左投影变换图像和右投影变换图像来获得立体匹配的误差评价值。基于左投影变换图像、右投影变换图像、和有关误差评价值的对应信息来计算使误差评价值最小的图像旋转角。此后，计算对应于图像旋转角的投影变换参数。通过这样的处理，能够计算减少立体匹配中误差的发生的最优投影变换参数。

附图说明

图1描绘了用于估计极线的位差角的过程；

图2描绘了根据本公开实施例的用于执行校准处理的图像捕获结构；

图3描绘了校准图特征的结构的示例；

图4描绘了根据本公开实施例的图像处理设备的配置的示例；

图5A和图5B描绘了从左相机捕获图像和右相机捕获图像中检测到的图；

图6A和图6B描绘了从左相机捕获图像和右相机捕获图像中检测到的图；

图7A和图7B描绘了期望的左校正图像和右校正图像的示例；

图8A至图8C描绘了用于通过投影变换参数生成处理中执行的图像校正来设置参考矩形的处理的示例；

图9描绘了基于从匹配误差最小化控制单元输出的旋转校正量执行的旋转处理；

图10描绘了在投影变换参数生成处理期间执行的处理；

图11描绘了在投影变换参数生成处理期间执行的处理；

图12描绘了在投影变换参数生成处理期间执行的处理；

图13A和图13B描绘了在投影变换参数生成处理期间执行的处理；

图14描绘了在投影变换参数生成处理期间执行的处理；

图15描绘了立体匹配处理；

图16描绘了用于计算匹配误差评价值(matching_error)的最小值的技术；

图17描绘了将代价函数(cost function)的最小值的积分值(integration value)用作匹配误差评价值的处理的示例；

图18为描绘根据本公开实施例的图像处理设备执行的处理序列的流程图；

图19A和图19B描绘了用于通过分别捕获图特征和纹理表面来计算校准参数(投影变换参数)的处理；

图20为描绘根据本公开实施例的图像处理设备执行的处理序列的流程图；以及

图21描绘了根据本公开实施例的图像处理设备的硬件配置的示例。

具体实施方式

参考附图详细描述根据本公开实施例的图像处理设备、图像处理方法及程序。按以下顺序进行描述：

1.本公开的简要概述，

2.相机的图像捕获结构，

3.根据本公开的图像处理设备和由图像处理设备执行的处理的详细配置，

4.根据本公开的图像处理设备执行的处理的序列，

5.根据本公开的图像处理设备执行的处理的第二序列，以及

6.图像处理设备的硬件配置的示例。

1.本公开的简要概述

在本实施例中，计算用于使用简化的图像捕获配置校正从不同视点捕获的图像的处理的参数，例如图像的投影变化处理的参数，以及使用投影变换图像能准确地计算对象与相机之间的距离。

在本实施例中，图像处理设备处理通过使用立体相机的左相机和右相机同时捕获纹理表面而获得的图像，其中，该纹理表面位于与平面图的距离不同的距离处。通过应用这些捕获的图像，校正从相机理想状态中的位置/角度位移的位置/角度引起的平面变形。根据本实施例，图像处理设备计算对捕获的图像执行的投影变换的参数(校准参数)，作为应用到这样的校正的参数。

在根据本实施例的配置中，使用作为参考的非常简单的平面图来执行图像校正。另外，使用位于与包括在捕获的图像中的平面图的距离不同的距离处的纹理图像来执行右图像与左图像之间的立体匹配，以及计算使立体匹配的误差量最小的参数。以这种方式，能够容易地和准确地校正左成像平面和右成像平面相对于相机基线方向(即，右相机和左相机的极线)的倾斜，仅使用平面检测无法校正该倾斜。

如以上所描述的，如果在立体匹配中没有发现对应点，则发生误差。当在获得的左图像与右图像之间延伸的极线的方向与立体匹配过程的搜索方向相同时，统计上地使误差最小化。即，通过调整倾斜角和使立体匹配中的误差最小化，能够校正倾斜角，即能够实现校准。

尽管以下更详细地描述了处理，能够设置由左相机和右相机捕获的平面图，使得仅获得位于矩形外围部分以内的矩形的四个顶点上的特征点。当平面图的中央部分中空或者平面图透明时，以及如果同时捕获具有不同距离的平面图和纹理表面，则仅通过一个图像捕获操作就能够执行校准。因此，能够实现例如在制造时刻执行的低成本调整处理。

2.相机的图像捕获结构

首先描述相机的图像捕获结构。

图2描绘了根据本公开实施例的用于执行校准处理的图像捕获结构。在图2中，示出了立体相机100以及要被捕获的校准图特征101和纹理表面102的布局的示例，该立体相机100能从不同视点捕获两个图像。

立体相机100包括两个成像单元，即左成像单元和右成像单元，每个单元包括在与水平方向上的预定基线相同距离(例如30mm)处的镜头和图像传感器模块。立体相机100捕获来自不同视点的图像，即左图像(L图像)和右图像(R图像)。例如，由能够以每秒60帧的速率捕获具有320×240分辨率的图像的互补金属氧化物(CMOS)成像单元来形成图像传感器模块。

如图3所示，校准图特征101为具有顶点p0、p1、p2和p3的矩形特征。期望的是，校准图标特征101具有中空的中央部分。将校准图特征101放置在离立体相机100的成像表面大约50cm的距离处，使得图的平面尽可能地平行于成像表面。注意，预先确定矩形特征在水平方向上的长度(参考点p0与参考点p1之间的距离或参考点p2与参考点p3之间的距离)(例如，32cm)。

注意，在根据本公开实施例的图像处理设备中，由于使用捕获的图像图的平面作为参考来执行校准，期望的是，校准图的平面应当尽可能地平行于立体相机的成像表面。由于本实施例的校准的主要目的是校正立体相机的左相机与右相机之间的位置/角度位移，可允许平行化中的一些误差。

纹理表面102具有随机的特征，并且比校准图特征101更进一步向背面远离相机。此时，期望的是，离立体相机100的成像表面的距离应当在垂直方向上变化。例如，如图2所示，使纹理表面102倾斜。注意，纹理表面可以不是平的，而是可具有不规则性(irregularity)。

3.根据本公开的图像处理设备和由图像处理设备执行的处理的详细配置

以下描述根据本公开实施例的使用由立体相机捕获的左图像和右图像来执行校准(投影变换参数的计算)的图像处理设备的配置，以及由图像处理设备执行的处理。

图4描绘了根据本公开实施例的图像处理设备180的配置的示例。

图像处理设备180使用由立体相机100以图2所示的图像捕获结构从左视点捕获的图像作为图4中所示的左相机图像151，以及使用由立体相机100以图2所示的图像捕获结构从右视点捕获的图像作为图4中所示的右相机图像151。图像处理设备180接收这样的图像，以及执行处理。

图像处理设备180包括投影变换单元200和201、垂直边缘检测单元202和203、立体匹配单元205、校准图检测单元210和211、投影变换参数生成单元215、匹配误差最小化控制单元216、以及校准参数存储单元220。

以下描述由单元执行的处理。

<用于提取图特征点(p0至p3)的处理(图18所示流程中的步骤2)>

校准图检测单元210和211接收左相机图像151和右相机图像152，以及通过以下描述的图像处理从图像中检测图2中所示的校准图特征101，即矩形图。

注意，该处理对应于图18所示的流程图中的第2步骤(步骤2)中执行的处理。

校准图检测单元210和211例如通过应用边缘检测滤波器(filter)来检测表示矩形图轮廓的边缘。例如，校准图检测单元210和211使用PREWITT滤波器来检测水平方向上的边缘和垂直方向上的边缘。更具体地，用g(x，y)表示输入图像的亮度值，用f(x，y)表示输出图像的亮度值。然后，使用下面的方程式(1)至(3)能执行计算：

$f(x,y)=\underset{j=\mathrm{0,1,2}}{\mathrm{\&Sigma;}}\underset{i=\mathrm{0,1,2}}{\mathrm{\&Sigma;}}\{g(x+i-1,y+j-1)\&CenterDot;h(i,j)\}...\left(1\right)$

垂直边缘： $h=\left(\begin{array}{ccc}-1& 0& +1\\ -1& 0& +1\\ -1& 0& +1\end{array}\right)$

$...\left(2\right)$

水平边缘： $h=\left(\begin{array}{ccc}-1& -1& -1\\ 0& 0& 0\\ +1& +1& +1\end{array}\right)$

$...\left(3\right)$

随后，获得了其中检测到的边缘连续的部分。因此，提取了对应于四条线，即上部线、下部线、左边线和右边线的边缘的坐标系列。通过使用这些坐标序列和最小二乘法，获得了表示四条线的线性方程式。

能够用线性方程式，例如y＝ax+b来近似上部线和下部线，以及能够用线性方程式，例如x＝cx+d来近似左边线和右边线。左图参考点和右图参考点p0至p3的坐标对应于上部线和下部线与左边线和右边线的交叉点，所以通过同时求解表示线的方程式能获得图参考点p0至p3。

作为示例，图5A和图5B以及图6A和图6B示出了从左捕获相机图像和右捕获相机图像中检测图的结果。

图5A和图5B分别描绘了从不同视点捕获的左相机图像和右相机图像。

相机图像中的每个包括由线形成的矩形。该矩形表示通过捕获图2和图3中描绘的校准图特征101而获得的图像。

使用例如上述PREWITT滤波器，对水平方向上和垂直方向上捕获的图像执行边缘检测处理。更具体地，输入图像的亮度值被定义为g(x，y)，而输出图像的亮度值被定义为f(x，y)。此后，执行上述方程式(1)至(3)指示的计算。以这种方式，执行边缘检测处理。

通过边缘检测处理，以诸如y＝ax+b的线性方程式的形式获得上部线和下部线，而以诸如x＝cx+d的线性方程式的形式获得左边和右边两条线。左图参考点和右图参考点p0至p3的坐标对应于上部线和下部线与左边和右边两条线的交叉点，所以通过同时求解表示线的方程式能获得图参考点p0至p3。图6中示出了计算结果。

<投影变换参数(a至h)的生成(图18示出的流程中的步骤4)>

投影变换参数生成单元215使用在校准图检测单元210和211中从左相机图像和右相机图像中检测到的图特征点(p0、p1、p2和p3)的四个坐标以及从匹配误差最小化控制单元216输出的旋转位移校正量θ(以下描述)，来计算用于在投影变换单元200和201中将左相机图像和右相机图像变换成期望的左校正图像和右校正图像的投影变换参数。以下更详细地描述该处理。注意，如图7A和图7B所描绘的，术语“期望的左校正图像和右校正图像”指的是包括显示在左校正图像和右校正图像中的相同校准图的图像。

注意，该处理对应于图18所示的流程图中的第4步骤(步骤4)中执行的处理。

计算用于获得这样的校正图像的投影变换参数，即用于通过投影变换将捕获的左图像和右图像变换成期望的左校正图像和右校正图像的投影变换参数。

首先，为了将各自通过连接从左图像和右图像中获得的四个特征点的线而形成的四边形投影到具有相同形状的矩形，投影变换参数生成单元215计算参考矩形在水平方向上和垂直方向上的边(w，h)的长度，以及校正的倾斜角Φ。

如图8A所示，投影变换参数生成单元215根据左相机图像和右相机图像之一(在该示例中为左相机图像)计算图参考点p0与图参考点p1之间的中点q0，图参考点p2与图参考点p3之间的中点q1，图参考点p0与图参考点p2之间的中点q2，以及图参考点p1与图参考点p3之间的中点q3。

另外，投影变换参数生成单元215将在中点q1与中点q2之间延伸的线的长度定义为w，将在中点q0与中点q3之间延伸的线的长度定义为h。另外，投影变换参数生成单元215将在中点q1与中点q2之间延伸的线相对于相机图像水平线的倾斜定义为Φ(在该示例中，顺时针方向被认为是正的)。

图8C中示出的矩形具有拥有h长度的边和拥有w长度的边。该矩形被称为“参考矩形”。

另外，如图9所示，投影变换参数生成单元215以从匹配误差最小化控制单元216输出的旋转校正量θ(例如，以初始值θ＝-0.15[rad])来旋转参考矩形(参见图8C)。如图10所示，这能够通过将具有顶点(-w/2，h/2)，(w/2，h/2)，(-w/2，-h/2)以及(w/2，-h/2)的矩形的形心放置在原点(0，0)以及以角度(Φ+θ)旋转矩形来进行。

随后，如图11所示，从左相机捕获的图像中检测由图的参考点p0至p3形成的四边形的形心。另外，从右相机捕获的图像中检测由图的参考点p0至p3形成的四边形的形心。用(cx，cy)表示形心之间的中点。然后，平移上述参考矩形(在参考矩形中，参考矩形的形心是原点)，使得点(cx，cy)成为参考矩形的形心(参考图12)。

由于这样的过程对应于其中使用仿射变换(affine transform)以角度(Φ+θ)来旋转参考矩形、以及此后以(cx，cy)平移参考矩形的过程，因此最终的参考矩形的坐标(X，Y)表示如下：

$\left(\begin{array}{c}X\\ Y\end{array}\right)=\left(\begin{array}{c}x\\ y\end{array}\right)\left(\begin{array}{cc}\cos (\mathrm{\&phi;}+\mathrm{\&theta;})& -\sin (\mathrm{\&phi;}+\mathrm{\&theta;})\\ \sin (\mathrm{\&phi;}+\mathrm{\&theta;})& \cos (\mathrm{\&phi;}+\mathrm{\&theta;})\end{array}\right)+\left(\begin{array}{c}\mathrm{cx}\\ \mathrm{cy}\end{array}\right)...\left(4\right)$

在方程式(4)中，如图12所示，通过将具有用作原点的形心的参考矩形的顶点(-w/2，h/2)、(w/2，h/2)、(-w/2，-h/2)以及(w/2，-h/2)的坐标替换成(x，y)，能获得绝对坐标(X₀，Y₀)、(X₁，Y₁)、(X₂，Y₂)和(X₃，Y₃)。

最后，如图13A和图13B所示，获得左校正图像的参考矩形的顶点(X_left0，Y_left0)至(X_left3，Y_left3)的坐标(参见图13A)，以及获得右校正图像的参考矩形的顶点(X_right0，Y_right0)至(X_right3，Y_right3)的坐标(参见图13B)。

通过在水平方向上平移参考矩形能够获得这些值，使得对象的视差在无穷远处消失在左校正图像和右校正图像中的每个中(坐标在水平方向上匹配)。即，能够以对应于立体相机与图特征之间的距离的左右视差d_chart在水平方向上平移参考矩形。以下描述详细过程。

如果图的矩形特征在实空间中的水平方向上的的长度W_chart(p0与p1之间的距离、或p2与p3之间的距离)已知，并且左相机与右相机之间的基线W_baseline的长度已知，则能够如下使用从左相机图像和右相机图像中获得的矩形特征的长度w来计算视差d_chart：

$d_{\mathrm{chart}}=w\frac{W_{\mathrm{baseline}}}{W_{\mathrm{chart}}}...\left(5\right)$

因此，如果考虑左右视差，则通过平移上面由以上获得的视差而获得的坐标(X，Y)，能表示参考矩形的坐标(X_left0，Y_left0)至(X_left3，Y_left3)以及(X_right0，Y_right0)至(X_right3，Y_right3)，使得左图像和右图像如下在形状方面相等：

$\left(\begin{array}{c}{X}_{\mathrm{left}}\\ Y_{\mathrm{left}}\end{array}\right)=\left(\begin{array}{c}X\\ Y\end{array}\right)+\left(\begin{array}{c}\frac{d_{\mathrm{chart}}}{2}\\ 0\end{array}\right)...\left(6\right)$

$\left(\begin{array}{c}{X}_{\mathrm{right}}\\ Y_{\mathrm{right}}\end{array}\right)=\left(\begin{array}{c}X\\ Y\end{array}\right)-\left(\begin{array}{c}\frac{d_{\mathrm{chart}}}{2}\\ 0\end{array}\right)...\left(7\right)$

注意，(X_left，Y_left)表示(X_left0，Y_left0)至(X_left3，Y_left3)，而(X_right，Y_right)表示(X_right0，Y_right0)至(X_right3，Y_right3)。

通过整理上述方程式，左校正图像的参考矩形的坐标(X_left，Y_left)能表示如下：

$\left(\begin{array}{c}{X}_{\mathrm{left}}\\ Y_{\mathrm{left}}\end{array}\right)=\left(\begin{array}{c}x\\ y\end{array}\right)\left(\begin{array}{cc}\cos (\mathrm{\&theta;}+\mathrm{\&phi;})& -\sin (\mathrm{\&theta;}+\mathrm{\&phi;})\\ \sin (\mathrm{\&theta;}+\mathrm{\&phi;})& \cos (\mathrm{\&theta;}+\mathrm{\&phi;})\end{array}\right)+\left(\begin{array}{c}\mathrm{cx}+\frac{d_{\mathrm{chart}}}{2}\\ \mathrm{cy}\end{array}\right)...\left(8\right)$

另外，右校正图像的参考矩形的坐标(X_right，Y_right)能表示如下：

$\left(\begin{array}{c}{X}_{\mathrm{right}}\\ Y_{\mathrm{right}}\end{array}\right)=\left(\begin{array}{c}x\\ y\end{array}\right)\left(\begin{array}{cc}\cos (\mathrm{\&phi;}+\mathrm{\&theta;})& -\sin (\mathrm{\&phi;}+\mathrm{\&theta;})\\ \sin (\mathrm{\&phi;}+\mathrm{\&theta;})& \cos (\mathrm{\&phi;}+\mathrm{\&theta;})\end{array}\right)+\left(\begin{array}{c}\mathrm{cx}-\frac{d_{\mathrm{chart}}}{2}\\ \mathrm{cy}\end{array}\right)...\left(9\right)$

因此，通过将具有用作原点的形心的参考矩形的顶点的四个坐标(-w/2，h/2)，(w/2，h/2)，(-w/2，-h/2)以及(w/2，-h/2)替换成(x，y)，能够计算左校正图像和右校正图像中的每个的参考矩形的顶点的四个坐标(左校正图像的(X_left，Y_left)，以及右校正图像的(X_right，Y_right))。

使用图14中示出的投影变换，以上述方式计算的校正图像的坐标(X_left，Y_left)与坐标(X_right，Y_right)之间的关系，以及从左相机图像和右相机图像中获得的特征点检测坐标(X_left，Y_left)与(X_right，Y_right)能表示如下：

$x=\frac{\mathrm{aX}+\mathrm{bY}+c}{\mathrm{gX}+\mathrm{hY}+1}...\left(10\right)$

$y=\frac{\mathrm{dX}+\mathrm{eY}+f}{\mathrm{gX}+\mathrm{hY}+1}...\left(11\right)$

其中，(X，Y)表示执行投影变换之后的校正图像的坐标，(x，y)表示执行投影变换之前的相机图像的坐标，以及变量a、b、c、d、e、f、g和h表示投影变换参数。

分别用(x_n，y_n)和(X_n，Y_n)表示执行投影变换之前的坐标(x，y)、以及执行投影变换之后的坐标(X，Y)(n＝0至3)，并且投影变换参数P被表示为：P＝(a，b，c，d，e，f，g，h)。然后，能将上述方程式(10)和方程式(11)变换成下面的方程式(12)：

$\left(\begin{array}{cccccccc}{X}_1& y_1& 1& 0& 0& 0& -x_1{X}_1& -x_1{X}_1\\ 0& 0& 0& X_1& y_1& 1& -x_1{X}_1& -x_1{X}_1\\ X_2& y_2& 1& 0& 0& 0& -x_2{X}_2& -x_2{X}_2\\ 0& 0& 0& X_2& y_2& 1& -x_2{X}_2& -x_2{X}_2\\ X_3& y_3& 1& 0& 0& 0& -x_3{X}_3& -x_3{X}_3\\ 0& 0& 0& X_3& y_3& 1& -x_3{X}_3& -x_3{X}_3\\ X_4& y_4& 1& 0& 0& 0& -x_4{X}_4& -x_4{X}_4\\ 0& 0& 0& X_4& y_4& 1& -x_4{X}_4& -x_4{X}_4\end{array}\right)P^T=\left(\begin{array}{c}1\\ 1\\ 1\\ 1\\ 1\\ 1\\ 1\\ 1\end{array}\right)...\left(12\right)$

通过将左相机图像和右相机图像中的四个图参考点p0、p1、p2和p3的坐标替换成上述方程式(12)的(x_n，y_n)，以及将使用方程式(8)和方程式(9)获得的左校正图像和右校正图像的参考矩形的顶点的坐标(X_left，Y_left)和(X_right，Y_right)替换成(X_n，Y_n)，能够获得用于左图像和右图像的投影变换参数P作为联立方程式(simultaneous equation)的解。在下文中，分别用Pleft和Pright表示用于左图像和右图像的投影变换参数(P)。

<对左图像和右图像执行的投影变换处理(图18所示的流程中的步骤5)>

如图14所示，投影变换单元200和201使用投影变换参数生成单元215获得的用于左图像和右图像的投影变换参数Pleft和Pright对输入的左相机图像和右相机图像执行投影变换处理。

注意，该处理对应于图18所示的流程图中的第5步骤(步骤5)。

更具体地，使用上述方程式(10)和方程式(11)获得与校正图像的坐标(X，Y)相对应的输入相机图像的坐标(x，y)。以这种方式，将校正图像的像素值中的每个映射到输入相机图像。注意，在映射中，为了减少图像失真(aliasing)，使用例如双线性(bi-linear)方法来执行像素插值(pixel interpolation)。

<对投影变换图像执行的立体匹配(图18所示的流程中的步骤6)>

垂直边缘检测单元202和203移除捕获的图像中的DC成分，以及仅提取为搜索立体匹配中的左对应点和右对应点所需的垂直边缘成分。

注意，该处理对应于图18所示的流程图中的第6步骤(步骤6)。

例如，如图15所示，对立体匹配中的左对应点和右对应点的搜索对应于用于从左图像和右图像中检测同一对象的图像的处理。在该处理中，仅提取为立体匹配中的左对应点和右对应点的搜索操作所需的垂直边缘成分。因此，即使当左相机模块与右相机模块之间的亮度值的偏移变化时，也能够消除影响。更具体地，例如，用g(x，y)表示输入图像的亮度值，而用f(x，y)表示输出图像的亮度值。然后，使用上述方程式(1)和方程式(2)能执行计算。

立体匹配单元205搜索经过投影变换的左图像和右图像中的垂直边缘的对应点。因此，立体匹配单元205计算匹配误差评价值。能将对其执行匹配处理的图像区域的大小设置成各种值。在该示例中，描述了使用基于块匹配方法的立体匹配的处理。在块匹配方法中，计算与位于右图像给定坐标处的4×4像素块对应的左图像点的坐标的差像素值(视差)。

当基于每个4×4像素块执行处理时，输出坐标(x，y)的x和y中的每个的范围减少到输入图像在垂直方向上和水平方向上的1/4。分别用left(x，y)和right(x，y)表示从垂直边缘检测单元202和203输出的左边缘图像和右边缘图像。另外，用“disparity”表示左图像与右图像之间的视差。然后，在输出坐标(x，y)处的左图像与右图像之间的4×4像素块的差绝对和block_abs_sum(x，y，disparity)表示如下：

$\mathrm{block}\_\mathrm{abs}\_\mathrm{sum}(x,y,\mathrm{disparity})$

$=\underset{j=\mathrm{0,1,2,3}}{\mathrm{\&Sigma;}}\underset{i=\mathrm{0,1,2,3}}{\mathrm{\&Sigma;}}\mathrm{abs}\{\mathrm{left}(4x+i+\mathrm{disparity},4y+j)-\mathrm{right}(4x+i,4y+j)\}$

$...\left(13\right)$

通过基于每个像素使视差[disparity]在预定范围(例如，0至63个像素)内连续变化来获得使方程式(13)中的4×4像素块的差绝对和block_abs_sum(x，y，disparity)最小的视差的值。获得的视差的值被定义为视差[disparity(x，y)]。

如下面方程式(14)所指示的，针对输出像素的数目通过上述块匹配处理获得的最小的差绝对和block_abs_sum(x，y，disparity)的积分值(integration value)趋向于随着块数目的增长而统计地增长，这些块是未在其中正确地找到左立体图像和右立体图像的对应点的块。因此，积分值被定义为立体匹配误差评价值matching_error。

$\mathrm{matching}\_\mathrm{error}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}(\mathrm{block}\_\mathrm{abs}\_\mathrm{sum}(x,y,\mathrm{disparity}(x,y))...\left(14\right)$

<匹配误差最小化控制单元执行的处理(图18示出的流程中的步骤7至步骤10)>

匹配误差最小化控制单元216搜索用于左图像和右图像的投影变换参数(Pleft，Pright)，该投影变换参数(Pleft，Pright)通过使旋转位移校正量θ变化来使从立体匹配单元205输出的匹配误差评价值(matching_error)最小。如果去除噪音成分，误差统计地和连续地根据角度而变化。因此，通过使用例如最速下降法(steepest descent method)能减少搜索时间。

注意，该处理对应于图18所示的流程图中的第7步骤至第10步骤(步骤7至步骤10)。

作为示例，参考图16描述用于使用完整搜索来简单地计算匹配误差评价值(matching_error)的最小值的技术。图16为具有横坐标和纵坐标的图，该横坐标表示旋转位移校正量θ，该纵坐标表示立体匹配的误差评价值(matching_error)。

例如，通过使旋转位移校正量θ以0.001[rad]从-0.15[rad]到+0.15[rad]变化，针对每个θ计算匹配误差评价值matching_error(θ)。因此，搜索最小匹配误差评价值(matching_error_min)。以这种方式，能获得提供匹配误差评价值(matching_error)的最小值的旋转位移校正量θ。

注意，为了简单，已经描述了基于块匹配的配置的示例。但是，可定义代价函数，使用DP(动态规划，dynamic programming)对该代价函数进行约束，使得视差在线方向上连续地改变；以及可将代价函数的最小值的积分值用作匹配误差评价值。当使用代价函数时，使用例如图17所示的曲线指示的代价值的改变，能够获得提供代价最小值的旋转位移校正量θ。

注意，如以上所描述的，用于计算立体匹配误差的处理非常复杂。但是，通过与用于计算立体匹配误差的处理一起，采用视差检测立体匹配处理，能够容易地简化该处理，其中，视差检测立体匹配处理为使用立体相机的应用。

<用于存储投影变换参数(校准结果)的处理(图18所示的流程中的步骤11)>

校准参数存储单元220存储用于左图像和右图像的投影变换参数对(Pleft’，Pright’)，该投影变换参数对(Pleft’，Pright’)是当匹配误差评价值matching_error(θ)等于作为校正参数(校准结果)的最小值(matching_error_min)时而获得的。

注意，该处理对应于图18所示的流程图中的第11步骤(步骤11)。

4.根据本公开的图像处理设备执行的处理的序列

参考图18所示的流程图描述了根据本公开的本实施例的图像处理设备执行的处理的序列。

图18所示的流程表示了根据本实施例的图像处理设备执行的处理的示例。该处理对应于同时(仅一次)捕获图2和图3中描绘的中空图特征的图和纹理表面的图、以及此后计算校准(投影变换)参数的处理。

在第1步骤(步骤1)，在图2所示的图像捕获环境中，立体相机100接收捕获的图特征101和纹理表面102的左图像和右图像。这些输入图像对应于图4所示的左相机图像151和右相机图像152。

在第2步骤(步骤2)，校准图检测单元210从步骤1获取的左立体图像和右立体图像中检测特征点(参考点)p0、p1、p2和p3。

该处理对应于图5和图6中示出的处理。

在第3步骤(步骤3)，匹配误差最小化控制单元216将立体匹配误差评价值的最小值matching_error_min设置成可能的最大值(即，matching_error_min＝∞)以作为初始值。另外，匹配误差最小化控制单元216设置旋转位移校正量θ的初始值(例如，θ＝-0.15)。该初始值对应于旋转位移校正量的预定测量范围的起始位置。

在第4步骤(步骤4)，投影变换参数生成单元215生成投影变换参数(Pleft，Pright)，该投影变换参数(Pleft，Pright)用于使用步骤2检测到的左相机图像和右相机图像中的图特征的特征点(p0、p1、p2和p3)的坐标和从匹配误差最小化控制单元216输出的旋转位移校正量θ，将左相机图像和右相机图像变换成左校正图像和右校正图像。

该处理对应于图8至图14示出的处理。

在第5步骤(步骤5)，投影变换单元200和201使用左图像和右图像的投影变换参数(Pleft，Pright)，对左相机图像和右相机图像执行投影变换，以及生成左校正图像和右校正图像。

该处理对应于图14示出的上述处理。

在第6步骤(步骤6)，垂直边缘检测单元202和203首先生成左校正图像和右校正图像在垂直方向上的的边缘图像。随后，立体匹配单元205对获得的左图像和右图像执行立体匹配处理，以及计算对应于旋转位移校正量θ的匹配误差评价值matching_error(θ)。

该处理对应于图15和图16示出的上述处理。

在第7步骤(步骤7)，匹配误差最小化控制单元216通过将匹配误差评价值matching_error(θ)与匹配误差评价值的最小值matching_error_min进行比较，来确定匹配误差评价值matching_error(θ)是否为最小值。如果匹配误差评价值matching_error(θ)为最小值，则处理前进到第8步骤(步骤8)。否则，处理前进到第9步骤(步骤9)。

第7步骤至第10步骤(步骤7至步骤10)执行的处理对应于用于使用具有横坐标和纵坐标的图来计算误差评价值的最小值的上述处理，其中，该横坐标表示旋转位移校正量θ，该纵坐标表示图16示出的立体匹配的误差评价值(match_error)。

在第8步骤(步骤8)，将匹配误差最小值match_error_min更新成新的匹配误差评价值(match_error)。另外，将左投影变换参数和右投影变换参数(Pleft，Pright)存储为用于最小误差的投影变换参数(Pleft’，Pright’)。

在第9步骤(步骤9)，更新旋转位移校正量θ。在该示例中，以0.001[rad]的增量来增加旋转位移校正量θ。

在第10步骤(步骤10)，确定旋转位移校正量θ是否在搜索范围以内(在该示例中，是否θ＜0.15)。如果旋转位移校正量θ在搜索范围以内，则处理前进到第4步骤(步骤4)。但是，如果旋转位移校正量θ在搜索范围以外，则处理前进到第11步骤(步骤11)。

在第11步骤(步骤11)，将提供最小误差的投影变换参数(Pleft’，Pright’)作为校准结果存储在存储单元(校准参数存储单元220)中。

以这种方式，根据本实施例的图像处理设备能够计算例如投影变换的参数，作为使匹配误差最小的参数(校准参数)，其中，通过使用利用图2所示的简化结构捕获的图像，即通过立体相机的左相机和右相机同时捕获具有与平面图的距离不同的距离的纹理图像而获得的图像，对捕获的图像执行该投影变换。

将根据图4所示的本实施例的图像处理设备180的配置总结如下。

投影变换单元200和201对左图像和右图像执行投影变换，左图像和右图像为从不同视点捕获的图像。

校准图检测单元210和211从平面图的组成部分中检测多个特征点，该平面图包括在左图像和右图像的每个中。

投影变换参数生成单元215接收关于校准图检测单元210和211检测到的左图像和右图像的特征点信息，以及生成在投影变换单元200和201中使用的投影变换参数。

立体匹配单元205使用经过由投影变换单元200和201执行的投影变换的左投影变换图像和右投影变换图像，来执行立体匹配。

匹配误差最小化控制单元216获取关于左投影变换图像和右投影变换图像的图像旋转角信息、和对应于立体匹配的误差评价值的信息，以及计算提供最小误差评价值的图像旋转角。

另外，投影变换参数生成单元215计算最终投影变换参数，该最终投影变换参数反映提供最小误差评价值的图像旋转角。

在用于计算最终投影变换参数的过程中，执行图18所示的从第4步骤(步骤4)至第10步骤(步骤10)的循环。

即，匹配误差最小化控制单元216顺序地更新图像旋转角信息，以及将更新的图像旋转角信息输出到投影变换参数生成单元215。投影变换参数生成单元215基于从匹配误差最小化控制单元216接收的图像旋转角信息来更新投影变换参数。另外，投影变换单元200和201基于由投影变换参数生成单元214生成的更新的投影变换参数来执行投影变换。

另外，立体匹配单元205使用顺序地更新的投影变换参数来执行左投影变换图像与右投影变换图像之间的立体匹配。匹配误差最小化控制单元216检测使顺序地更新的投影变换参数所应用到的左投影变换图像与右投影变换图像之间的立体匹配的误差评价值最小的图像旋转角。此后，匹配误差最小化控制单元216将检测到的图像旋转角输出到投影变换参数生成单元215。投影变换参数生成单元215基于使从匹配误差最小化控制单元216接收的误差评价值最小的图像旋转角来生成最终投影变换参数。

通过这样的处理，能够计算最优的投影变换参数，该最优的投影变换参数减少立体匹配中的误差的发生概率。

在根据本实施例的配置中，使用作为参考的图3示出的非常简单的平面图来执行图像校正。同时捕获具有与平面图的距离不同的距离的纹理图像，以及使左图像与右图像之间的立体匹配的误差量最小。以这种方式，能够简单地和准确地校正左图像捕获表面和右图像捕获表面相对于基线(即，左相机和右相机的极线)的倾斜，其中，仅使用平面检测难以校正该倾斜。

注意，作为要被左相机和右相机捕获的平面图，能使用具有这样的设置的任何平面图：其中，仅获取位于图的外围部分以内的矩形的四个顶点。通过同时捕获在中央处具有中空部分的平面图的图像或透明平面图的图像、以及纹理表面的图像，能够仅通过一个图像捕获操作来执行校准。所以，能够在例如制造的时候实现低成本调整处理。

5.根据本公开的图像处理设备执行的处理的第二序列

图18示出的处理的序列示出了使用同时捕获图特征的图像和纹理表面的图像的处理的示例。但是，限于这样的环境：在该环境中，捕获既包括图特征又包括纹理表面的图像。因此，以下描述在不同时间点捕获图特征的图像和纹理表面的图像以及此后计算校准(投影变换)参数的处理的序列。

例如，如图19A和19B所示，分别捕获下面的图像，以及执行校准：

图特征的捕获图像1(参见图19A)，以及

具有与图特征的距离不同的距离的空间的捕获图像2(参见图19B)。

接着参考图20示出的流程来描述这些示例处理的序列。

注意，还以与图4示出的图像处理设备180的配置类似的配置来执行该处理。

在第12步骤(步骤12)，立体相机100将图特征，例如图19A示出的捕获图像1，捕获为左图像和右图像。该图特征类似于图2和图3示出的图特征。

在第13步骤(步骤13)，校准图检测单元210从第12步骤(步骤12)捕获的图特征的左图像和右图像中检测特征点(参考点)p0、p1、p2和p3。

在第14步骤(步骤14)，立体相机100将具有与图特征的距离不同的距离的空间的任何图像，例如图19B示出的捕获图像2，捕获为左图像和右图像。

随后的过程与图18示出的流程中第3步骤(步骤3)之后的过程相同。

即，在第3步骤(步骤3)，匹配误差最小化控制单元216将立体匹配误差评价值的最小值matching_error_min设置成可能的最大值(即，matching_error_min＝∞)以作为初始值。另外，匹配误差最小化控制单元216设置旋转位移校正量θ的初始值(例如，θ＝-0.15)。该初始值对应于旋转位移校正量的预定测量范围的起始位置。

在第4步骤(步骤4)，投影变换参数生成单元215生成投影变换参数(Pleft，Pright)，该投影变换参数(Pleft，Pright)用于使用步骤13检测到的左相机图像和右相机图像中的图特征的特征点(p0，p1，p2和p3)的坐标以及从匹配误差最小化控制单元216输出的旋转位移校正量θ，将左相机图像和右相机图像变换成左校正图像和右校正图像。

在第5步骤(步骤5)，投影变换单元200和201使用左图像和右图像的投影变换参数(Pleft，Pright)对左图像和右图像执行投影变换，以及生成左校正图像和右校正图像。该处理对应于图14示出的上述处理。

注意，在该示例处理中，如图19A和19B所示，呈现下面四个图像：

图特征捕获图像的第一左图像和第一右图像(参见图19A)，以及

诸如风景的任意捕获图像的第二左图像和第二右图像(参见图19B)。

所期望的是，为了检测特征点p0至p3，使用图特征捕获图像的第一左图像和第一右图像，以及所期望的是，为了执行匹配误差检测过程，使用诸如风景的任意捕获图像的第二左图像和第二右图像。注意，这些图像是通过同一相机捕获的。

即，在第3步骤(步骤3)和第4步骤(步骤4)执行的处理中，使用图特征捕获图像的第一左图像和第一右图像。相反，在第5步骤(步骤5)执行的处理中，使用第4步骤(步骤4)计算出的投影变换参数(初始值)，对诸如风景的任意捕获图像的第二左图像和第二右图像执行投影变换。

此后，使用诸如风景的任意捕获图像的第二左图像和第二右图像能够执行第4步骤(步骤4)至第10步骤(步骤10)的循环。最后，在第11步骤(步骤11)，计算最小匹配误差的最小投影变换参数并将其存储在存储单元中。

在处理的该示例中，能够使用通过捕获矩形图和诸如一般风景的任意对象而获得的图像来计算校准参数。

注意，在处理的示例中，图19A示出的图特征的中央部分不需要为中空。能够使用其中可检测到四个顶点的任意设置。

6.图像处理设备的硬件配置的示例

最后，描述根据本实施例的图像处理设备的硬件配置的示例。图21将个人计算机(PC)描绘为图像处理设备的示例。但是，能够通过能接收图像、执行图像处理、计算例如投影变换的校正参数、以及执行立体匹配处理的任意设备来实现根据本实施例的图像处理设备。因此，能够使用诸如PC或成像设备的各种设备来实现图像处理设备。注意，例如，在成像设备的情况下，将成像单元布置在图4示出的投影变换单元200和201的上行数据流上。

中央处理单元(CPU)501根据存储在只读存储器(ROM)502或存储单元508中的程序来执行各种处理。例如，CPU 501执行以上实施例中描述的图像处理。随机访问存储器(RAM)503存储CPU 501根据需要使用的程序和数据。CPU 501、ROM 502、和RAM 503经由总线504彼此连接。

CPU 501经由总线504连接到输入和输出接口505。输入和输出接口505具有输入单元506和输出单元507，其中，输入单元506包括操作开关、键盘、和鼠标，而输出单元507包括显示器及与其连接的扬声器。

另外，输入单元506接收要被处理的数据(例如，立体相机捕获的多个图像)。

CPU 501根据从输入单元506输入的指令信息来执行各种处理。此后，CPU 501将处理的结果输出到例如输出单元507。输出单元507包括例如显示器和扬声器。

连接到输入和输出接口505的存储单元508由例如硬盘形成。存储单元508存储CPU 501执行的程序以及各种数据项。通信单元509经由诸如因特网或局域网的网络与外部设备通信。

连接到输入和输出接口505的驱动器510驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质511，以及获取存储于其中的程序和数据。根据需要将获取的程序和数据发送到存储单元508。因此，存储获取的程序和数据。

尽管已经结合本公开的具体实施例描述了本公开，但是明显的是，对本领域技术人员来说，在本公开的精神和广泛范围内，许多替换、修改和变型将是容易想到的。即，已经参考各种示例描述了本公开，而且不应将其解释成本公开的技术范围限于此。应当理解的是，本公开的范围仅由所附权利要求来确定。

另外，能由硬件、软件或其组合来执行上述处理系列。当由软件执行上述处理系列时，定义处理系列的程序能被安装在并入专用硬件的计算机的存储器中，并且能被执行。可替选地，程序能被安装在能执行各种处理的通用计算机中，并且能被执行。例如，程序能被预录在记录介质中。除了从记录介质安装之外，还能经由诸如局域网(LAN)或因特网的网络来接收程序，以及将程序安装在并入计算机的诸如硬盘的记录介质中。

应当指出的是，根据执行步骤的设备的处理能力或处理的需要，不仅可以以上述顺序来执行本说明书中描述的步骤，而且还可以并行地或独立地执行本说明书中描述的步骤。另外，如本文中所使用的，术语“系统”指的是多个装置的逻辑组合，多个装置不需要包括在一体中。

本公开包含与2010年6月2日在日本专利局提交的日本优先权专利申请JP2010-127112有关的主题，其全部内容通过参考合并于此。

Claims (10)

1.一种图像处理设备，包括：

投影变换单元，被配置成对从不同视点捕获的左图像和右图像执行投影变换；

投影变换参数生成单元，被配置成通过接收关于所述左图像和所述右图像的特征点信息来生成由所述投影变换单元使用的投影变换参数；

立体匹配单元，被配置成使用经过由所述投影变换单元执行的投影变换的左投影变换图像和右投影变换图像来执行立体匹配；以及

匹配误差最小化控制单元，被配置成获取关于所述左投影变换图像和所述右投影变换图像的图像旋转角信息、和所述立体匹配的误差评价值的对应信息；

其中，所述匹配误差最小化控制单元计算使所述误差评价值最小的图像旋转角，以及其中，所述投影变换参数生成单元计算反映使所述误差评价值最小的所述图像旋转角的投影变换参数。

2.根据权利要求1所述的图像处理设备，

其中，所述匹配误差最小化控制单元顺序地更新所述图像旋转角信息，以及将所述图像旋转角信息输出到所述投影变换参数生成单元，

其中，所述投影变换参数生成单元基于从所述匹配误差最小化控制单元输入的所述图像旋转角信息来更新所述投影变换参数，

其中，所述投影变换单元基于所述投影变换参数生成单元生成的更新的投影变换参数来执行投影变换，

其中，所述立体匹配单元使用顺序更新的投影变换参数来执行所述左投影变换图像与所述右投影变换图像之间的立体匹配，

其中，所述匹配误差最小化控制单元检测使顺序更新的投影变换参数所应用到的所述左投影变换图像与所述右投影变换图像之间的所述立体匹配的误差评价值最小的图像旋转角，以及将检测到的图像旋转角输出到所述投影变换参数生成单元，

其中，所述投影变换参数生成单元基于从所述匹配误差最小化控制单元输入的使所述误差评价值最小的图像旋转角，来生成最终的投影变换参数。

3.根据权利要求1所述的图像处理设备，

其中，所述投影变换参数生成单元被配置成基于包括在所述左图像和所述右图像中的多个特征点来生成投影变换参数，以及

其中，所述投影变换参数生成单元接收校准图检测单元检测到的特征点信息以及生成投影变换参数，其中所述校准图检测单元被配置成从包括在所述左图像和所述右图像中的平面图的组成部分中检测多个特征点。

4.根据权利要求3所述的图像处理设备，其中，所述平面图由中空矩形形成，以及其中，所述校准图检测单元将形成所述平面图的矩形的四个顶点检测为所述特征点。

5.根据权利要求3所述的图像处理设备，其中，所述投影变换参数生成单元生成用于生成校正图像的投影变换参数，其中所述校正图像使形成包括在从不同视点捕获的左图像和右图像中的所述平面图的矩形的形状相同。

6.根据权利要求4所示的图像处理设备，其中，所述立体匹配单元使用在由中空矩形形成的所述平面图的中空部分内部捕获的纹理图像，来执行立体匹配。

7.根据权利要求1所述的图像处理设备，其中，通过接收经由捕获中空矩形形成的平面图和在所述中空部分内部位于与所述平面图不同的距离处的纹理表面而获得的左图像和右图像来执行处理。

8.根据权利要求3所述的图像处理设备，其中，输入通过捕获由矩形形成的平面图而获得的第一左图像和第一右图像，以及通过捕获不包括所述平面图的对象而获得的第二左图像和第二右图像，以及其中，对所述第一左图像和所述第一右图像执行特征点的检测，以及其中，执行所述第二左图像与所述第二右图像之间的立体匹配。

9.一种在图像处理设备中使用的图像处理方法，包括：

使用投影变换单元，对从不同视点捕获的左图像和右图像执行投影变换；

使用投影变换参数生成单元，通过接收关于所述左图像和所述右图像的特征点信息，来生成由所述投影变换单元使用的投影变换参数；

使用立体匹配单元，以及使用经过由所述投影变换单元执行的投影变换的左投影变换图像和右投影变换图像来执行立体匹配；以及

使用匹配误差最小化控制单元，来获取关于所述左投影变换图像和所述右投影变换图像的图像旋转角信息、和所述立体匹配的误差评价值的对应信息；

其中，在获取关于所述左投影变换图像和所述右投影变换图像的图像旋转角信息、和所述立体匹配的误差评价值的对应信息中，计算使所述误差评价值最小的图像旋转角，以及其中，在生成投影变换参数中，计算反映使所述误差评价值最小的所述图像旋转角的投影变换参数。

10.一种用于使图像处理设备执行图像处理的程序，包括：

用于使用投影变换单元对从不同视点捕获的左图像和右图像执行投影变换的指令；

用于使用投影变换参数生成单元，通过接收关于所述左图像和所述右图像的特征点信息，来生成由所述投影变换单元使用的投影变换参数的指令；

用于使用立体匹配单元，以及使用经过由所述投影变换单元执行的投影变换的左投影变换图像和右投影变换图像来执行立体匹配的指令；以及

用于使用匹配误差最小化控制单元，来获取关于所述左投影变换图像和所述右投影变换图像的图像旋转角信息、和所述立体匹配的误差评价值的对应信息的指令，

其中，用于获取关于所述左投影变换图像和所述右投影变换图像的图像旋转角信息、和所述立体匹配的误差评价值的对应信息的指令包括用于计算使所述误差评价值最小的图像旋转角的指令，以及其中，用于生成投影变换参数的指令包括用于计算反映使所述误差评价值最小的所述图像旋转角的投影变换参数的指令。

Images