CN102906782B - 立体图像处理装置及立体图像处理方法 - Google Patents

Abstract

公开了维持与SAD方式同等的处理量的同时提高视差计算精度的立体图像处理装置及立体图像处理方法。在立体图像处理装置(200)中，数据删除单元(201)被设置于图像匹配单元(102)和滤波器单元(103)的前级，通过对基准图像和参照图像进行疏间，来形成疏间基准图像和疏间参照图像。而且，滤波器单元(103)进行基于相位相关的匹配处理即、使用了反相滤波器的滤波处理。通过这样进行疏间处理，能够在维持匹配精度的同时削减图像数据量，从而能够削减图像匹配单元(102)和滤波器单元(103)的处理量。并且，滤波器单元(103)进行基于相位相关的匹配处理即、使用了反相滤波器的滤波处理，所以，即使进行疏间处理，也能够维持视差计算精度。

Description

立体图像处理装置及立体图像处理方法

技术领域

本发明涉及立体图像处理装置及立体图像处理方法。

背景技术

以往，已知有如下的立体图像处理装置:根据使用立体摄像机对同一对象物进行了拍摄时的立体图像(即，基准图像及参照图像)计算图像间的偏差，并基于该偏差测定距对象物的距离。

当前正在研究将立体图像处理装置例如适用于测定距前方车辆的距离的车载装置，或测定从车内摄像机到驾驶员的脸部器官(眼睛或鼻子等)为止的距离来估计驾驶员脸部朝向的车载装置等。

而且，由于近年来的摄像机(车载摄像机或车内摄像机等)的小型化，而使摄像机的基线长度(摄像机的间隔)变短。其结果，立体图像间的偏差也变小，从而对立体图像处理装置要求高精度的视差运算功能。

另外，以往，立体图像处理装置中使用立体匹配(立体图像处理的视差运算)的方式，例如SAD(SumofAbsoluteDifferences，绝对差值和)方式或POC(PhaseOnlyCorrelation，相位相关)方式等。

在SAD方式中，将使用矩形窗从基准图像中截取出的第一部分图像和同样使用矩形窗从参照图像中截取出的第二部分图像之间的亮度值的差的绝对值，针对整个部分图像取总和，由此计算出SAD值。SAD值表示图像亮度的相异度。而且，将参照图像的矩形窗的位置沿摄像机的基线长度方向按每1像素地进行错位，求出SAD值成为最小时的基准图像中的第一部分图像的位置和参照图像中的第二部分图像的位置之间的偏差，作为“像素级的视差”。然后，使用SAD值成为最小的位置的SAD值和在其两个相邻(立体摄像机的基线长度方向为水平的情况下是左右)位置计算出的两个SAD值进行等角直线拟合，计算出“子像素级的视差”。基准图像和参照图像之间的偏差是将“子像素级的视差”与“像素级的视差”相加所得的值。

SAD方式的解析分辨率较高，运算量较少。但是，SAD方式的子像素级视差运算的精度较低。因此，视差计算的精度的限度为1/4～1/16像素左右。

因此，近年来，视差运算精度较高的POC方式受到了关注。在POC方式中，对利用汉宁窗等进行图像截取而得到的第一部分图像及第二部分图像进行二维傅里叶变换，并对所得到的二维傅里叶变换后的第一部分图像及第二部分图像进行合成。而且，在对该合成图像的振幅分量进行归一化后，进行二维傅里叶逆变换，由此，求出相位相关系数。而且，基于相位相关系数的相关峰值计算出图像的偏差量。

这种POC方式(称为二维POC方式)具有视差运算精度非常高的优点。但是，二维POC方式的视差运算的运算量庞大，以短时间进行运算处理是极其困难的。另外，二维POC方式的解析分辨率(能够区分距离不同的物体进行测距的画面上的大小)不如SAD方式。

因此，最近也提出了将二维POC方式的运算量减少后的一维POC方式(例如参照专利文献1)。在该一维POC方式中，对利用汉宁窗等进行图像截取而得到的第一部分图像及第二部分图像进行一维傅里叶变换，并对一维傅里叶变换后的第一部分图像及第二部分图像进行合成。而且，在对该合成图像的振幅分量进行归一化后，进行一维傅里叶逆变换，由此，求出相位相关系数。即，不是进行二维傅里叶变换，而是进行一维傅里叶变换，由此，实现了运算量的削减。

现有技术文献

专利文献

专利文献1:日本特开2008-123141号公报

发明内容

发明要解决的问题

但是，即使使用以往的一维POC方式，与SAD方式相比，视差运算所需要的运算量也是庞大的。因此，即使使用以往的一维POC方式，以短时间进行运算处理也不是容易的。另外，一维POC方式在解析分辨率(能够区分距离不同的物体进行测距的画面上的大小)方面不如SAD方式。

本发明的目的在于，提供维持与SAD方式同等的处理量的同时提高视差计算精度的立体图像处理装置及立体图像处理方法。

解决问题的方案

本发明的一个形态的立体图像处理装置包括：获取单元，获取包括基准图像和参照图像的立体图像；图像匹配单元，通过图像匹配处理，提取所述基准图像中包含的基准点和所述参照图像中包含的、与所述基准点对应的对应点，基于所述基准点和所述对应点来计算所述基准图像与所述参照图像之间的像素单位的第一偏差量；滤波单元，从所述基准图像提取包含所述基准点的第一部分图像，并从所述参照图像提取包含所述对应点的第二部分图像，基于使所述第一部分图像中包含的各坐标点的亮度值的顺序相对于坐标反转而得到的值、以及所述第二部分图像中包含的各坐标点的亮度值来生成输出信号串；峰值位置检测单元，检测在所述输出信号串中输出值最大的峰值位置，基于所述峰值位置计算所述基准图像和所述参照图像之间的子像素单位的第二偏差量；以及计算单元，基于所述第一偏差量和所述第二偏差量计算视差值。

本发明的另一个形态的立体图像处理装置包括：获取单元，获取包括基准图像和参照图像的立体图像；数据删除单元，通过以规定的采样周期对所述基准图像的图像数据进行采样来形成疏间基准图像，通过以所述规定的采样周期对所述参照图像的图像数据进行采样来形成疏间参照图像；图像匹配单元，通过图像匹配处理，提取所述疏间基准图像中包含的基准点和所述疏间参照图像中包含的、与所述基准点对应的对应点，基于所述基准点和所述对应点来计算所述基准图像与所述参照图像之间的像素单位的第一偏差量；滤波单元，从所述疏间基准图像提取包含所述基准点的第一部分图像，并从所述疏间参照图像提取包含所述对应点的第二部分图像，基于使所述第一部分图像中包含的各坐标点的亮度值的顺序相对于坐标反转而得到的值、以及所述第二部分图像中包含的各坐标点的亮度值来生成输出信号串；峰值位置检测单元，检测在所述输出信号串中输出值最大的峰值位置，基于所述峰值位置计算所述基准图像和所述参照图像之间的子像素单位的第二偏差量；以及计算单元，基于所述第一偏差量和所述第二偏差量计算视差值。

本发明的一个形态的立体图像处理方法包括以下步骤：获取步骤，获取包括基准图像和参照图像的立体图像；图像匹配步骤，通过图像匹配处理，提取所述基准图像中包含的基准点和所述参照图像中包含的、与所述基准点对应的对应点，基于所述基准点和所述对应点来计算所述基准图像与所述参照图像之间的像素单位的第一偏差量；滤波步骤，从所述基准图像提取包含所述基准点的第一部分图像，并从所述参照图像提取包含所述对应点的第二部分图像，基于使所述第一部分图像中包含的各坐标点的亮度值的顺序相对于坐标反转而得到的值、以及所述第二部分图像中包含的各坐标点的亮度值来生成输出信号串；峰值位置检测步骤，检测在所述输出信号串中输出值最大的峰值位置，基于所述峰值位置计算所述基准图像和所述参照图像之间的子像素单位的第二偏差量；以及计算步骤，基于所述第一偏差量和所述第二偏差量计算视差值。

发明的效果

根据本发明，能够提供维持与SAD方式同等的处理量的同时提高视差计算精度的立体图像处理装置及立体图像处理方法。

附图说明

图1是表示本发明实施方式1的立体图像处理装置的结构的方框图。

图2是用于说明立体图像处理装置的动作的流程图。

图3是用于说明图像匹配单元的处理的图。

图4是表示子单位运算处理的细节的流程图。

图5是用于说明滤波器单元的处理的图。

图6是用于说明滤波器计算处理及滤波处理的图。

图7是用于说明使用sinc函数的峰值位置检测的图。

图8是用于说明使用二次曲线近似的峰值位置检测的图。

图9是表示本发明实施方式2的立体图像处理装置的结构的方框图。

图10是用于说明立体图像处理装置的动作的流程图。

图11是对未执行疏间处理的情况下得到的光信号(图像信号)和执行了疏间处理的情况下得到的光信号进行比较的图。

图12是表示本发明的实施方式3的立体图像处理装置的结构的方框图。

图13是用于说明立体图像处理装置的动作的流程图。

图14是对未执行高频分量的抑制处理的情况下得到的相对于空间频率的振幅特性和执行了高频分量的抑制处理的情况下得到的相对于空间频率的振幅特性进行比较的图。

图15是表示本发明实施方式4的立体图像处理装置的结构的方框图。

图16是用于说明立体图像处理装置的动作的流程图。

图17是用于说明通过彩色滤波器得到的拜尔排列图像的图。

图18是表示只是R通道图像的光信号(图像信号)的图。

图19是表示本发明实施方式5的立体图像处理装置的结构的方框图。

图20是表示本发明实施方式6的立体图像处理装置的结构的方框图。

图21是用于说明互相关处理的图。

图22是对使用了以往的SAD方式、一维POC方式、以及本发明的立体图像处理方法的情况下的测距精度进行比较的图。

图23是对使用了SAD方式、一维POC方式以及本方式的情况下的视差计算的运算时间进行比较的图。

符号说明

100，200，300，400，500，600立体图像处理装置

101立体图像获取单元

102，502图像匹配单元

103，503滤波器单元

104峰值位置检测单元

201，501数据删除单元

301高频分量删除单元

401彩色图像数据删除单元

601互相关单元

具体实施方式

以下，参照附图详细说明本发明的实施方式。此外，在实施方式中，对相同的结构元素标以相同的符号，并省略重复说明。

[实施方式1]

[立体图像处理装置100的结构]

图1表示本发明实施方式1的立体图像处理装置100的结构。在图1中，立体图像处理装置100具有:立体图像获取单元101；图像匹配单元102；滤波器单元103；和峰值位置检测单元104。

<立体图像获取单元101>

立体图像获取单元101获取两个以上的摄像系统(即，摄像机)拍摄到的立体图像。立体图像中包括利用两个不同的摄像系统拍摄同一对象物而得到的基准图像和参照图像。

<图像匹配单元102>

图像匹配单元102基于由立体图像获取单元101获取的基准图像和参照图像进行图像匹配处理，由此，计算基准图像和参照图像之间的“偏差量n”。由图像匹配单元102计算的偏差量n的单位例如是像素。另一方面，由后述的峰值位置检测单元104得到的、基准图像和参照图像之间的“视差”的单位例如是子像素。即，在图像匹配单元102中以规定的检测单位粗略地检测出基准图像和参照图像之间的偏差，然后，由峰值位置检测单元104以子单位细致地检测出偏差。

具体而言，图像匹配单元102以基准图像中包含的任意的一个像素为“基准点”，从基准图像中截取以基准点为中心的周边的部分图像(以下，称为“单位基准图像”)。另外，图像匹配单元102从参照图像的不同位置截取多个与单位基准图像相同尺寸的部分图像(以下，称为“单位参照图像”)。而且，图像匹配单元102从所截取出的多个单位参照图像中提取出与单位基准图像之间的匹配度最大的单位参照图像。

在该提取出的单位参照图像中，与“基准点”对应的一个像素成为参照图像上的“对应点”。作为表示匹配度的指标，例如使用表示亮度相异度的SAD值。在是立体摄像机的情况下，基准图像和参照图像之间的视差只在摄像机的基线长度方向产生，所以，在截取多个单位参照图像的情况下，只要在基线长度方向改变截取位置进行截取即可。而且，计算出基准图像中的基准点的位置和参照图像中的对应点的位置之间的偏差量，作为上述的偏差量n。

<滤波器单元103>

滤波器单元103从图像匹配单元102获取基准点的位置及偏移量n，以及从立体图像获取单元101获取立体图像。

而且，滤波器单元103基于基准图像计算滤波器系数，并使用计算出的滤波器系数对参照图像进行滤波。即，滤波器单元103首先从基准图像中提取部分图像作为子像素估计用单位基准图像，根据该子像素估计用单位基准图像计算滤波器系数。接下来，滤波器单元103从参照图像中提取部分图像作为子像素估计用单位参照图像，使用计算出的滤波器系数对该子像素估计用单位参照图像进行滤波处理，并将滤波结果输出到峰值位置检测单元104。

<峰值位置检测单元104>

峰值位置检测单元104对从滤波器单元103获取的滤波结果中的峰值位置进行检测，由此计算子像素估计用单位基准图像和子像素估计用单位参照图像之间的以子像素为单位的偏差量。其中，峰值位置是滤波结果成为最大值的位置。该以子像素为单位的偏差与以像素为单位的偏差量n的和，是基准图像和参照图像之间的准确的偏差量。

[立体图像处理装置100的动作]

对具有以上结构的立体图像处理装置100的动作进行说明。此外，在以下，将图像横向方向设为X轴，将图像纵向方向设为Y轴，并设成一个像素为一个座标点来进行说明。

图2是用于说明立体图像处理装置100的动作的流程图。此外，下面，对关于基准图像中的任意一个基准点的处理进行说明，但是，在立体图像处理装置100中，通过依次改变基准点来对基准图像中的测距对象区域的全部像素计算视差。

<分析基准位置决定处理>

在步骤S1中，图像匹配单元102决定分析基准位置。所谓分析基准位置，是在基准图像中成为视差计算的对象的一个坐标点，是上述的基准点。

<单位基准图像的截取处理>

在步骤S2中，图像匹配单元102从自立体图像获取单元101接收的基准图像中截取以在步骤S1中决定的分析基准位置为基准的部分图像即单位基准图像。该单位基准图像的大小的单位例如是像素。

<搜索范围及搜索开始位置的决定处理>

在步骤S3中，图像匹配单元102基于在步骤S1中决定的分析基准位置来决定参照图像中的搜索范围和搜索开始位置。立体摄像机的视差是根据摄像机间的距离即基线长度及透镜的焦点距离以及从立体摄像机到对象物的距离而决定的。因此，基于从立体摄像机到测距对象物的距离来决定搜索范围即可。另外，距离立体摄像机无限远的对象物，在基准图像和参照图像的相同位置被摄像，所以，对于参照图像中的搜索开始位置，设定与基准图像中的基准点相同的坐标即可。

<单位基准图像的截取处理>

在步骤S4中，图像匹配单元102从自立体图像获取单元101接收的基准图像中截取以在步骤S3中决定的搜索开始位置为中心的周边的部分图像作为单位参照图像。该单位参照图像的大小的单位例如是像素。

<匹配度的计算处理>

在步骤S5中图像匹配单元102计算单位基准图像和单位参照图像之间的匹配度。对于该匹配度，例如使用表示亮度相异度的SAD值或亮度相似度。

<搜索范围的结束判定处理>

在步骤S6中，图像匹配单元102进行搜索范围的结束判定处理。当在此判定为搜索范围未结束的情况下(步骤S6:“否”)，图像匹配单元102在通过步骤S3所决定的搜索范围内把进行截取的位置错开一个像素，在步骤S4中截取新的单位参照图像。这样，重复进行步骤S4～S6的处理，直到搜索范围结束为止。

<匹配度的最大位置>

在步骤S7中，图像匹配单元102基于通过步骤S4～S6的处理得到的多个匹配度，确定匹配度成为最大的单位参照图像。在使用亮度相异度作为匹配度的情况下，图像匹配单元102确定亮度相异度成为极小或最小的单位参照图像。

在此，参照图3具体地说明步骤S2～S7的处理。

在步骤S2中，如图3所示，图像匹配单元102截取以分析基准位置为中心的周边的部分图像作为单位基准图像。在单位基准图像的截取中，使用规定尺寸的矩形窗(纵向尺寸:wv像素，横向尺寸:wh像素)。在图3中，分析基准位置是基准点(xa，ya)。

此外，这里，设为使由窗函数规定的矩形窗的中心和分析基准位置一致来进行说明，但是，即使不是严格的中心，分析基准位置存在于矩形窗的中心附近即可。

接下来，在步骤S3中，图像匹配单元102基于在步骤S1中决定的分析基准位置决定参照图像中的搜索范围和搜索开始位置。对于搜索开始位置(在参照图像中截取单位参照图像的初始坐标)，例如使用与基准图像中的分析基准位置相同的坐标(xa，ya)。

接下来，在步骤S4中，图像匹配单元102从参照图像中截取以搜索开始位置为中心的周边的部分图像作为单位参照图像。在该单位参照图像的截取中，使用与在单位基准图像的截取中使用的矩形窗相同的矩形窗。

而且，在步骤S5中图像匹配单元102计算单位基准图像和单位参照图像之间的匹配度。对于该匹配度，例如使用表示亮度相异度的SAD值。根据下面的式(1)计算出该SAD值。

$SAD\left(n\right)=\underset{j=ya-wv/2}{\overset{ya+wv/2}{\&Sigma;}}\underset{i=xa-wh/2}{\overset{xa+wh/2}{\&Sigma;}}|f(x+i,y+j)-g(x+i+n,y+j)|\mathrm{...}\left(1\right)$

而且，当在步骤S6中判定为搜索范围未结束的情况下，图像匹配单元102使进行截取的位置错位，从参照图像中截取新的单位参照图像。这里，使进行截取的位置按每1像素进行错位。进行错位的方向是从图3中的参照图像的坐标(xa，ya)延伸的向右箭头的方向。

这样，计算单位基准图像和多个单位参照图像之间的匹配度(例如SAD值)。然后，在步骤S7中，图像匹配单元102基于通过步骤S4～S6的处理得到的多个匹配度，确定匹配度成为最大的单位参照图像。具体而言，图像匹配单元102确定多个SAD值中的例如最小的SAD值所对应的单位参照图像。该确定出的单位参照图像中的与“基准点”对应的一个像素成为参照图像上的“对应点”。若将对应点的坐标设为(xa+n、ya)，则n成为以像素为单位的偏差量。

此外，这里，作为匹配度的指标使用了SAD值，但是，本发明不限定于此，只要是可以作为匹配度的指标而使用则可以代替使用。例如，也可以使用SSD(SumofSquaredDifferences，离差平方和)。

<子单位运算处理>

在步骤S8中，滤波器单元103和峰值位置检测单元104基于在步骤S7中得到的对应点以及从立体图像获取单元101接收的基准图像和参照图像进行子单位运算处理。

图4是表示子单位运算处理的细节的流程图。图5是用于说明子单位运算处理的概念的图。

(子像素估计用单位基准图像的截取处理)

在步骤S11中，滤波器单元103从基准图像中截取子像素估计用单位基准图像。

另外，在子像素估计用单位基准图像的截取中使用窗函数。对于窗函数，例如可以使用式(2)所示的汉宁窗的窗函数w(m)。

$w\left(m\right)=\frac{1}{2}\{cos\left(\mathrm{\&pi;}\frac{m}{K-J}\right)+1\}\mathrm{...}\left(2\right)$

此外，这里，对使用汉宁窗窗函数的情况进行说明，但是，本发明不限定于此，作为窗函数，也可以使用汉明窗、布兰克曼窗和凯泽窗等。根据重视子像素估计用单位基准图像的特性(例如，频率功率特性、相位特性、截取端连续性)中的哪个特性来选择这些窗函数。例如，在重视相位特性时选择凯泽窗，在重视运算量的削减时选择汉宁窗。

在此，对于子像素估计用单位基准图像的截取处理，为了准确地求出以子像素为单位的偏差，在所截取出的图像中不包含噪声是重要的。另一方面，对于图像匹配单元102中的图像截取处理，例如，由于以像素为单位进行，所以，与精度相比，削减运算次数是重要的。从而，对于图像匹配单元102中使用的第一窗函数，使用只是对图像数据进行截取的窗函数。

相对于此，对于以子像素为单位的图像截取处理中使用的第二窗函数，由于重视噪声少，所以与第一窗函数相比，优选是窗的两端的变化是连续性的函数(即，一个周期的最初和最后的值是零的函数)。通过使用这种第二窗函数，能够保证子像素估计用单位基准图像的信号串的连续性，从而能够降低由于截取产生的噪声分量。

此外，若关于频率特性，对第一窗函数和第二窗函数进行比较，则，与第二窗函数相比，第一窗函数的主瓣(main-lobe)的宽度较窄，旁瓣(side-lobe)的振幅较大。

在图5中，作为第二窗函数w(m)，使用纵轴尺寸是1像素(pixel)，横轴尺寸是“K-J”像素的汉宁窗。而且，m是J以上且K以下的整数。而且，以基准点(xa，ya)为中心设定第二窗函数w(m)。由此，作为子像素估计用单位基准图像，以基准点(xa，ya)为中心，截取纵轴尺寸是1像素、横轴尺寸是“K-J”像素的图像。在图5中，f’(m)表示子像素估计用单位基准图像的亮度信号串。

(子像素估计用单位参照图像的截取处理)

在步骤S12中，滤波器单元103从参照图像中截取以在步骤S7中检测出的对应点为中心的子像素估计用单位参照图像。在子像素估计用单位参照图像的截取处理中，使用与子像素估计用单位基准图像的情况相同的第二窗函数。但是，以对应点(xa+n、ya)为中心设定第二窗函数。由此，作为子像素估计用单位参照图像，以对应点(xa+n、ya)为中心，截取纵轴尺寸是1像素、横轴尺寸是“K-J”像素的图像。在图5中，g’(m)表示子像素估计用单位参照图像的亮度信号串。

此外，在以上的说明中，使用了纵轴尺寸是1像素(pixel)，横轴尺寸是“K-J”像素的第二窗函数w(m)，但是，该尺寸只是一例，本发明并不限定于此。例如，也可以使用纵轴尺寸是3像素的第二窗函数。在这种情况下，首先，使用第二窗函数，分别从基准图像和参照图像中截取纵轴尺寸是3像素的部分图像。而且，在截取出的部分图像中，计算坐标的横轴值相同的三个像素的亮度的平均(平均亮度)，并设为由平均亮度构成的、纵轴尺寸是1像素的子像素估计用单位基准图像或子像素估计用单位参照图像。

另外，即使是在使用纵轴尺寸为1像素的第二窗函数的情况下，例如也可以，对于在包括上行和下行的3行中分别截取出的部分图像，计算坐标的纵轴值相同的像素的亮度值的平均，并设为由平均亮度构成的子像素估计用单位基准图像或子像素估计用单位基准图像。此外，在计算平均亮度时，也可以在附加权重进行相加后进行计算。也可以如二维POC那样，利用窗函数决定这种情况下所使用的权重系数。这样，通过使用附近像素的平均亮度，对噪声具有鲁棒性。

(滤波器计算处理)

在步骤S13中，滤波器单元103基于子像素估计用单位基准图像计算反相滤波器系数。具体地，滤波器单元103，通过将子像素估计用单位基准图像中的各坐标的亮度值按顺序排列而得到的信号串(即，亮度值信号串)按相反的顺序重新排列(即，反转)，计算出反相滤波器系数。即，反相滤波器的抽头长度与子像素估计用单位基准图像的横轴尺寸(即，窗函数的窗长度)相等。

(滤波处理)

在步骤S14中，滤波器单元103使用在步骤S13中计算出的反相滤波器系数，对子像素估计用单位参照图像进行滤波，并将滤波结果输出到峰值位置检测单元104。

在此，参照图6详细说明上述的反相滤波器系数计算处理和滤波处理。在图6中，设为窗函数w(m)的窗长度(K-J)是5像素，子像素估计用单位基准图像的亮度值信号串是“1，2，3，4，5”来进行说明。另外，子像素估计用单位参照图像的亮度值信号串x(m)是“1，2，3，4，5”。

在子像素估计用单位基准图像的亮度值信号串是“1，2，3，4，5”的情况下，作为反相滤波器系数h(k)计算出“5，4，3，2，1”。

而且，滤波器单元103使用反相滤波器系数h(k)对子像素估计用单位参照图像的亮度值信号串实施滤波处理。

具体地，在将子像素估计用单位参照图像的任意的构成信号的坐标设为k的情况下，通过对构成信号的坐标为“k-2、k-1、k、k+1、k+2”的信号串乘以反相滤波器系数h(k)来实施滤波处理，并计算出各乘法运算结果的总和z(m)。其中，m为整数值。

这里，在子像素估计用单位参照图像的周边的坐标点处的亮度为零的情况下，若考虑到子像素估计用单位参照图像的周边的坐标点的亮度，则，包含子像素估计用单位参照图像的左右相邻的各2像素的图像的亮度值信号串x(m)成为“0，0，1，2，3，4，5，0，0”。在将图6中的m(m:0～4)设为子像素估计用单位参照图像的坐标点的情况下(即，x(0)＝1、x(1)＝2、x(2)＝3、x(3)＝4、x(4)＝5)，如下那样进行滤波处理。

在m＝0的情况下，利用反相滤波器“5、4、3、2、1”对以m＝0为中心的亮度值信号串“0、0、1、2、3”进行滤波处理，总和z(0)为26(＝0×1+0×2+1×3+2×4+3×5)。

在m＝1的情况下，利用反相滤波器“5、4、3、2、1”对以m＝1为中心的亮度值信号串“0、1、2、3、4”进行滤波处理，总和z(1)为40(＝0×1+1×2+2×3+3×4+4×5)。

同样地，总和z(2)为55，总和z(3)为40，总和z(4)为26。

从而，作为信号串z(m)得到“26、40、55、40、26”。

利用下面的式(3)表示这样的滤波处理。

$z\left(m\right)=\underset{k=J}{\overset{K}{\&Sigma;}}{f}^{\&prime;}(-k)\&times;g^{\&prime;(m-k)}...\left(3\right)$

在式(3)中，子像素估计用单位基准图像的亮度值信号串被反转后的f’(-k)作为反相滤波器的滤波器系数h(k)而被使用。另外，g’(m)是子像素估计用单位参照图像的亮度值。

如信号串z(m)所示，使用反相滤波器的滤波处理的处理结果具有如下特征:对称(图6中，以m＝2为中心左右对称)，且在中央附近存在峰值。另外，反相滤波器具有如下特征:是所谓的FIR滤波器的一种，且是线性移不变系统。其中，所谓线性移不变系统是，在输入信号中存在偏差的情况下，在输出信号中也产生与输入信号同样程度的偏差的系统。即，在上述的具体例中，以在子像素估计用单位基准图像和子像素估计用单位参照图像之间没有偏差的情况为例进行了说明，但是，在子像素估计用单位参照图像相对于子像素估计用单位基准图像存在比采样间隔小的偏差的情况下，在作为滤波结果的信号串z(m)中，也产生同样程度的偏差。

此外，根据在以像素为单位的匹配中检测出的以像素为单位的偏差量n的大小设定反相滤波器的抽头长度。例如，在以像素为单位的偏差量n较小的情况下，与此相应，也将反相滤波器的抽头长度设定得较短。即，当求在实空间中相同尺寸的物体的视差时，与物体存在于近处的情况相比，在物体存在于远处的情况下视差较小，以像素为单位的偏差量n变小。与此同时，图像中拍摄的尺寸也变小，所以，通过与偏差量n的大小相应改变子像素估计用单位基准图像和子像素估计用单位参照图像的尺寸，也能够自适应地改变反相滤波器的抽头长度。由此，能够计算与作为测距对象物体的尺寸相符合的视差。

另外，因为滤波结果是线性移不变系统的输出，所以，如果去掉透镜的畸变校正误差、CCD等图像传感器引起的增益噪声等误差、基于加窗的图像截取的运算精度误差，则在理论上表示真正的偏差量。由此，通过按照采样定理对以像素为单位离散化的反相滤波器的输出插补像素间的数值，能够求以子像素为单位的真正的峰值位置。

(峰值位置的检测处理)

在步骤S15中，峰值位置检测单元104检测出滤波结果中的峰值位置。能够基于该峰值位置，检测基准图像和参照图像之间的以子像素为单位的偏差量。

在该峰值位置的检测中，使用sinc函数。sinc函数是由sin(πx)/πx定义的函数，是在将离散化的采样数据恢复成原始的连续数据时使用的函数。利用采样定理证明了，通过进行采样后的离散数据和sinc函数之间的卷积运算能够完全复原原始的连续数据。

因此，通过利用sinc函数对离散化的滤波结果进行卷积运算，能够对以像素为单位的信号数据进行插补，即使是以子像素为单位，在理论上也能够导出插补了信号数据后的滤波结果z(m)的真正的峰值位置。

图7是用于说明使用了sinc函数的峰值位置检测的图，曲线701是进行了在步骤S14中计算出的滤波结果即信号串z(m)和sinc函数之间的卷积运算后的结果的例。插补了滤波结果z(1)与z(2)之间的数值，和z(2)与z(3)之间的信号数据。峰值位置检测单元104通过二分法检索检测插补了信号数据后的滤波结果z(m)的峰值位置。

图7表示了在作为滤波结果的信号串z(m)中，在m＝2时出现峰值的情况的例。在这种情况下，峰值位置检测单元104，将m＝2设为位置A(即，二分法检索基准点)。而且，峰值位置检测单元104对从该位置A向左右分别错开1像素的位置的滤波结果即z(3)和z(1)进行比较，将值较大一方的位置(在此是m＝3)设为位置B(即，二分法检索使用点)。

而且，峰值位置检测单元104，基于采样定理使用以下的式(4)计算二分法检索基准点A和二分法检索使用点B之间的中点即位置C(在图7中是m＝2.5)的值702。

$f\left(m\right)=\underset{n=-\mathrm{\&infin;}}{\overset{\mathrm{\&infin;}}{\&Sigma;}}f\left(nT\right)\frac{\sin \left(\mathrm{\&pi;}\left(\frac{m}{T}-n\right)\right)}{\mathrm{\&pi;}\left(\frac{m}{T}-n\right)}\mathrm{...}\left(4\right)$

而且，峰值位置检测单元104，将位置C作为新的二分法检索基准点，重复与上述相同的处理。可以将该处理的重复次数设为与所需要的子像素精度相应的数。即，如果所需要的子像素精度是1/2像素，进行一次上述的处理即可，如果是1/4像素则进行两次，如果是1/8像素则进行三次，如此，根据所需要的子像素精度决定重复次数。而且，峰值位置检测单元104将最后得到的中点作为检测出的峰值位置δ。

此外，在以上的说明中，对使用sinc函数和二分法检索方法检测峰值位置的方法进行了说明。但是，本发明不限于此，也可以通过sinc函数和梯度法的组合检索峰值位置。总而言之，通过利用sinc函数对离散化的滤波结果进行卷积运算，在对以像素为单位的信号数据进行插补后，能够使用任意的最大值检测方法。

或者，峰值位置检测单元104也可以使用二次曲线近似检测峰值位置。由此，能够削减运算量。在使用二次曲线近似检测峰值位置的处理中，使用二次曲线对离散化的滤波结果进行拟合，并将该二次曲线的极大值的位置，检测为峰值位置。由此，能够以离散化间隔以下的精度求峰值位置。

图8是用于说明使用二次曲线近似的峰值位置检测的图。如图8所示，求通过以像素为单位的滤波结果z(m)成为最大的位置m＝0处的值z(0)、从该最大位置向左右各错开1像素的位置的滤波结果即z(+1)和z(-1)这三点的二次曲线，并且将该二次曲线取极大值的位置，检测为峰值位置δ。根据下面的式(5)计算该峰值位置δ。

$\mathrm{\&delta;}=\frac{z(-1)-z(+1)}{2\&times;\{z(-1)+z(+1)-2\&times;z\left(0\right)\}}\mathrm{...}\left(5\right)$

通过将以像素为单位的偏差n和以子像素为单位的偏差δ相加，可以求基准图像中的分析基准位置的视差。

<测距对象区域的结束判定处理>

在步骤S9中，进行测距对象区域的结束判定处理，在存在还未进行步骤S1～S8的处理的未处理区域的情况下，将分析基准位置错位，对该未处理区域进行步骤S1～S8的处理。

如上所述，根据本实施方式，在立体图像处理装置100中，图像匹配单元102计算基准图像和参照图像之间的以像素为单位的偏差量。而且，滤波器单元103，通过使由基准图像内的亮度值构成的数据串的数据顺序反转，计算反相滤波器系数，并使用计算出的反相滤波器系数对参照图像进行滤波。而且，峰值位置检测单元104通过检测滤波结果中的峰值，计算基准图像和参照图像之间的以子像素为单位的偏差量。通过将以像素为单位的偏差量和以子像素为单位的偏差量相加，能够求视差。

[实施方式2]

在实施方式2中，在对基准图像和参照图像进行疏间后，进行图像匹配单元102的处理和滤波器单元103的处理。由此减少了处理量。

[立体图像处理装置200的结构]

图9表示本发明实施方式2的立体图像处理装置200的结构。在图9中，立体图像处理装置200具有数据删除单元201。

数据删除单元201通过对基准图像和参照图像的图像数据进行疏间，形成疏间基准图像和疏间参照图像。具体而言，数据删除单元201通过以规定的采样周期进行采样，来对基准图像和参照图像的图像数据进行疏间。

在通过对数据信号进行疏间来进行下采样的情况下，为了使疏间前后的数据信号的信息量相互相同，需要在对数据信号进行疏间前使用低通滤波器进行频带限制。即，对原始的数据信号使用低通滤波器进行频带限制，对被频带限制后的数据信号进行疏间，由此得到疏间后的数据信号(下采样后的数据信号)。通过这样的处理，被频带限制后的数据信号，与对该被频带限制后的数据进行疏间而得到的数据信号相比，数据量较多，但是，信息量相等。

在使用摄像机的情况下，通过对透镜的焦点距离进行调整，能够去掉图像数据(数据信号)的高频分量。总之，通过在对数据信号进行疏间前预先使其成为模糊的图像(分辨率降低后的图像)，能够将疏间前的数据信号和疏间后的数据信号看作为同等的。例如，在将具有横向640×纵向480的分辨率的VGA图像，缩小为具有横向320×纵向240的分辨率的QVGA图像的情况下，对透镜的焦点距离进行调整以使分辨率成为一半，并进行摄影，将所得到的图像数据每隔1像素进行采样即可。

该疏间基准图像和疏间参照图像向图像匹配单元102和滤波器单元103输出。从而，在立体图像处理装置200中，图像匹配单元102和滤波器单元103将疏间基准图像和疏间参照图像作为处理对象。

[立体图像处理装置200的动作]

对具有以上结构的立体图像处理装置200的动作进行说明。此外，本实施方式的立体图像获取单元101，通过对摄像机透镜的焦点距离进行调整来获取去除高频分量后的模糊的图像(分辨率降低后的图像)，并传给数据删除单元201。

图10是用于说明立体图像处理装置200的动作的流程图。

在步骤S21中，数据删除单元201通过对基准图像和参照图像的图像数据进行疏间，形成疏间基准图像和疏间参照图像。

图11是对在未执行疏间处理的情况下得到的光信号(图像信号)(图11A)和执行了疏间处理的情况下得到的光信号(图11B)进行比较的图。设为，图11A和图11B各自的上层的XY平面，都是在以使分辨率成为一半的方式对透镜的焦点距离进行了调整的状态下进行拍摄而得到的图像(基准图像或参照图像)。总之，XY平面所示的图像是从原始的图像中去除了高频分量的状态。另外，XY平面中含有的多个矩形分别表示像素。

图11A中的光信号，是从XY平面中含有的白色矩形所表示的像素(即，全部像素)得到的(即，未执行疏间处理)。另外，图11B中的光信号，是从XY平面中含有的白色矩形所表示的像素(即，每隔1像素)得到的(即，执行了疏间处理)。图11A(未执行疏间处理的情况)、图11B(执行了疏间处理的情况)的情况，都是通过使分辨率成为一半去除了原始图像的高频分量。另外，由于等间隔地对像素进行了采样，所以，根据采样定理能够将在各情况下所再现的光信号看作为同等。

另一方面，即使在不是进行疏间处理，而是例如对多个像素(例如，4像素)取平均的情况下，也能够削减图像数据量，但是，由于该处理不是线性处理，所以，在以后的处理中以信号处理理论为前提的处理变得无谓。

这里，在不是基于相位相关的一般性的匹配处理中，理论上，如式(6)所示，有时分辨率对像素间距带来影响，而使精度降低。例如，在分辨率变成1/2的情况下，像素间距成为2倍，所以，与匹配方式的视差计算精度无关，距离误差成为大约2倍。

(距离误差)≒(视差误差)×(距离)×(距离)×(像素间距)/((基线长度)×(焦点距离))···(6)

在是作为本发明的特征的基于相位相关的匹配的情况下，即使通过透镜焦点距离调整而去除了图像数据的高频分量，也能够只根据其以外的频带的图像数据获取为了准确地计算相位相关而需要的相位特性。总之，即使通过进行疏间处理，来削减图像数据量而削减运算量，也能够在理论上维持匹配精度。

如上所述，根据本实施方式，在立体图像处理装置200中，数据删除单元201被设置于图像匹配单元102和滤波器单元103的前级，通过对基准图像和参照图像的图像数据进行疏间，来形成疏间基准图像和疏间参照图像。而且，滤波器单元103进行基于相位相关的匹配处理即、使用了反相滤波器的滤波处理。

通过这样进行疏间处理，能够在维持匹配精度的同时削减图像数据量，从而能够削减图像匹配单元102和滤波器单元103的处理量。并且，滤波器单元103进行基于相位相关的匹配处理即、使用了反相滤波器的滤波处理，所以，即使进行疏间处理，也能够维持视差计算精度。[实施方式3]

在实施方式3中，在实施方式2的疏间处理的前级，进行如下的处理:通过抑制构成基准图像和参照图像的图像数据(数据信号)的、低频分量和高频分量中的高频分量，只提取低频分量。由此，在将立体图像也应用于其他用途等时，通过调整透镜的焦点距离，即使在不希望使图像模糊的情况下也能够防止精度降低并削减运算量。

[立体图像处理装置300的结构]

图12表示本发明实施方式3的立体图像处理装置300的结构。在图12中，立体图像处理装置300具有高频分量删除单元301。

高频分量删除单元301进行如下处理:通过抑制构成基准图像和参照图像的图像数据(数据信号)的、低频分量和高频分量中的高频分量，只提取低频分量。所谓高频分量，在此是指数据删除单元201中的采样频率的1/2的频率以上的分量。高频分量删除单元301例如由低通滤波器(lowpassfilter)构成。该滤波器是FIR滤波器等线性滤波器即可。

[立体图像处理装置300的动作]

对具有以上结构的立体图像处理装置300的动作进行说明。图13是用于说明立体图像处理装置300的动作的流程图。

在步骤S31中，高频分量删除单元301进行如下处理:通过抑制构成基准图像和参照图像的图像数据(数据信号)的、低频分量和高频分量中的高频分量，只提取出低频分量。

图14是对未执行高频分量的抑制处理的情况下得到的相对于空间频率的振幅特性(图14A)和执行了高频分量的抑制处理的情况下得到的相对于空间频率的振幅特性(图14B)进行比较的图。图14B表示对后级的数据删除单元201中的采样频率的1/2的频率以上的频率分量进行了抑制的情况下的相对于空间频率的振幅特性。图14A上层所示的XY平面是高频分量未被抑制的图像数据(数据信号)，图14B上层所示的XY平面是高频分量被抑制后的图像数据(数据信号)以后的数据删除单元201的处理与实施方式2相同。

即使利用线性滤波器除去图像数据的高频分量，也能够只根据低频分量得到基于相位相关的匹配处理所需要的相位特性。由此，能够高精度地计算视差。与此相对，在不利用线性滤波器将高频分量除去的情况下，由于在进行疏间处理时高频分量作为混叠噪声重叠于低频分量上，使得低频分量的相位特性发生变化，其结果，视差精度降低。

如上所述，根据本实施方式，在立体图像处理装置300中进行如下处理:通过抑制构成基准图像和参照图像的信号的、低频分量和高频分量中的高频分量，只提取低频分量。

通过这样构成，能够在不会使摄像机图像模糊而削减运算量的同时高精度地进行视差运算。

[实施方式4]

在实施方式4中，特别地，基准图像和参照图像分别由多个通道图像(例如，R(红)通道图像、G(绿)通道图像、B(蓝)通道图像)构成。而且，在实施方式4中，只是提取出多个通道图像中的一个，或使种类不同的多个通道图像平均。由此，能够得到与实施方式2中的疏间同等的效果。

[立体图像处理装置400的结构]

图15表示本发明实施方式4的立体图像处理装置400的结构。在图15中，立体图像处理装置400具有彩色图像数据删除单元401。

彩色图像数据删除单元401从基准图像和参照图像中只提取一个通道图像(例如，R通道图像)由此，由于能够删除其他通道图像，所以，能够削减后级的图像匹配单元102的处理和滤波器单元103的处理中的处理量。

[立体图像处理装置400的动作]

对具有以上结构的立体图像处理装置400的动作进行说明。图16是用于说明立体图像处理装置400的动作的流程图。

在步骤S41中，彩色图像数据删除单元401从基准图像和参照图像中只提取一个通道图像。

图17是用于说明通过彩色滤波器得到的拜尔排列图像的图。如图17所示，拜尔排列图像是将R像素、G像素、G像素、B像素作为一个构成单位(即，彩色像素单元)而构成的。这里，彩色图像数据删除单元401从基准图像和参照图像各自的图像数据中只提取R通道图像。在拜尔排列图像中，每隔一个像素配置有R像素。因此，若只是提取R通道图像的光信号(图像信号)，则得到与对基准图像和参照图像的图像数据进行疏间处理同等的效果。

图18是只是提取R通道图像时的示意图，能够得到与利用图14所说明的内容同等的效果。

如上所述，根据本实施方式，在立体图像处理装置400中，基准图像和参照图像分别由多个通道图像构成，彩色图像数据删除单元401，从基准图像和参照图像中只提取出多个通道图像中的一个通道图像，由此，形成疏间基准图像和疏间参照图像。由此，能够削减图像数据量，从而能够削减图像匹配单元102和滤波器单元103的处理量。

而且，滤波器单元103进行基于相位相关的匹配处理即、使用了反相滤波器的滤波处理。只从一个通道图像也能够得到对于维持基于相位相关的匹配精度来说充分的相位特性。由此，即使进行上述那样的疏间处理也能够维持视差计算精度。

另外，由于在基线长度方向进行视差计算，所以通过对在垂直于基线长度方向的方向所排列的像素取亮度信号之和，能够提高信号/噪声比。例如，在是利用水平排列的摄像机所拍摄的彩色立体图像的情况下，左右方向成为基线长度方向。因此，通过对上下方向排列的像素取亮度信号之和，能够提高信号/噪声比。即，如果以上述的彩色像素单元为例，通过取R像素的像素值和存在于R像素之下的G像素的像素值的和，能够提高视差计算精度。此外，在对在垂直于基线长度方向的方向所排列的像素取亮度信号之和的情况下，也可以对相同波长的像素取像素值之和。

进而，可以认为作为视差计算的对象物中，存在位于距摄像机大致相同距离的位置的面。因此，通过也对基线长度方向排列的像素取和，能够提高信号/噪声比。例如，在是利用水平排列的摄像机所拍摄的彩色立体图像的情况下，左右方向成为基线长度方向。因此，通过对左右方向排列的像素取亮度信号之和，能够提高信号/噪声比。即，如果以上述的彩色像素单元为例，通过取R像素的像素值和存在于R像素之左右的G像素的像素值的和，能够提高视差计算精度。但是，对于水平坐标(X坐标)不同且具有相同波长的像素，不取和。其原因是，这与光信号的采样间隔不是每隔1像素，而是对连续的2像素取平均的同时进行采样等效，不能维持光信号的频率特性。例如，对于拜尔排列的R(红)、G(绿)、G(绿)不取和。

另外，在此所示的拜尔排列只是一例，本发明不限定于此。

[实施方式5]

在实施方式5中，与实施方式4相同，基准图像和参照图像分别由多个通道图像(例如，R(红)通道图像、G(绿)通道图像、B(蓝)通道图像)构成。在实施方式5中，在彩色像素单元是由R像素、第一G像素、第二G像素、B像素这四个像素构成的情况下，分成由R像素、第一G像素及B像素构成的第一像素组，和由第二G像素构成的第二像素组，在第一像素组内进行亮度值的线性合成。

图19表示本发明实施方式5的立体图像处理装置500的结构。在图19中，立体图像处理装置500具有:数据删除单元501；图像匹配单元502；和滤波器单元503。

数据删除单元501通过在将构成彩色像素单元的多个像素分组而成的两个像素组中的第一像素组内对亮度值进行线性合成，形成一个通道合成图像。针对基准图像和参照图像，分别形成该通道合成图像。即，形成了通道合成基准图像和通道合成参照图像。

在彩色像素单元是由R像素、第一G像素、第二G像素、B像素这四个像素构成的情况下，第一像素组由R像素、第一G像素及B像素构成。另方面，第二像素组由第二G像素构成。通过这样构成，以彩色像素单元的每个构成像素而存在的四个亮度值减少为两个亮度值。即，这里，通道合成基准图像和第二像素组的基准图像的两者与疏间基准图像相当，通道合成参照图像和第二像素组的参照图像的两者与疏间参照图像相当。

图像匹配单元502基本上具有与图像匹配单元102相同的功能。但是，图像匹配单元502将通道合成基准图像和通道合成参照图像作为处理对象，基于通道合成基准图像和通道合成参照图像进行匹配处理。匹配处理的结果，图像匹配单元502将基准点和“偏差量n”输出到滤波器单元503。此外，图像匹配单元502不将第二像素组的基准图像和第二像素组的参照图像作为处理对象。

滤波器单元503基于关于基准图像的第一像素组的通道合成基准图像以及第二像素组的图像，分别计算第一滤波器系数和第二滤波器系数。

而且，滤波器单元503，通过使用第一滤波器系数对通道合成参照图像进行滤波，得到第一滤波结果。另外，滤波器单元503，通过使用第二滤波器系数对参照图像的第二像素组的图像进行滤波，得到第二滤波结果。而且，滤波器单元503，通过将第一滤波结果和第二滤波结果相加得到最终的滤波结果。将该最终的滤波结果输出到峰值位置检测单元104。

这样，通过使用将第一滤波结果和第二滤波结果相加而得到的最终的滤波结果进行峰值位置检测，能够提高峰值检测精度。

[实施方式6]

在实施方式6中，进行互相关处理，以代替滤波器计算处理和滤波处理。

[立体图像处理装置600的结构]

图20表示本发明实施方式6的立体图像处理装置600的结构。在图20中，立体图像处理装置600具有互相关单元601。

互相关单元601，与滤波器单元103同样地，从以对应点为基准的单位参照图像中截取子像素估计用单位参照图像。而且，互相关单元601计算子像素估计用单位基准图像和子像素估计用单位参照图像之间的互相关。

[立体图像处理装置600的动作]

对具有以上结构的立体图像处理装置600的动作进行说明。图21是用于说明互相关处理的图。

互相关单元601从以对应点为基准的单位参照图像中截取子像素估计用单位参照图像。在子像素估计用单位参照图像的截取处理中，也使用与子像素估计用单位基准图像的情况相同的第二窗函数。但是，对对应点(xa+n、ya)设定第二窗函数。由此，作为子像素估计用单位参照图像，以对应点(xa+n、ya)为中心，截取纵轴尺寸是1像素，且横轴尺寸是“K-J”像素的图像。

而且，互相关单元601计算出子像素估计用单位基准图像和子像素估计用单位参照图像之间的互相关。利用式(7)进行该互相关的计算。

$CC\left(n\right)=\underset{j=ya-wv/2}{\overset{ya+wv/2}{\&Sigma;}}\underset{i=xa-wh/2}{\overset{xa+wh/2}{\&Sigma;}}\{f^{\&prime;}(x+i,y+j)-g^{\&prime;}(x+i+n,y+j)\}\mathrm{...}\left(7\right)$

在式(7)中，若将i用-k替换，则Σ之中与式(3)等效，Σ的加法计算的范围为从-J到-K。J和K表示以零为中心的窗函数的范围。J和K的符号相反。因此，基本上，只是加法计算的顺序在算式上不同，能够得到与式(3)同等的计算结果。即，能够将基于反相滤波器的计算替换为互相关的计算。由此，即使在使用互相关的情况下，也能够与使用反相滤波器的方式同样地，进行高精度的子像素级的匹配。

在此，最后，在图22中表示对使用以往的SAD方式、一维POC方式及本发明的立体图像处理方法(以下称为本方式)的情况下的测距精度进行了比较的结果。利用距测距对象的距离和测距结果的标准偏差的特性表示测距精度。

对于图22所示的结果，测距对象为车辆，且是基于使距立体摄像机的距离以10m间隔进行变化而拍摄到的立体图像计算出的。对于评价指标，为了排除透镜的畸变校正和立体摄像机的平行化校正的误差因素，而使用测距结果的标准偏差。在图22中，测距结果的标准偏差小的方式是精度高的方式。在此，所谓标准偏差是测距结果的偏差。

测距结果的标准偏差是将拍摄到的立体图像中包含的像素中的通过目视提取出的车辆区域内的像素作为采样点而计算出的。在本方式的子像素估计中，使用了运算量最少的二次曲线近似。如图22所示，POC方式(◆标记)和本方式(■标记)表示等同的特性，与SAD方式(▲标记)相比，标准偏差小。

图23表示对使用了SAD方式、一维POC方式以及本方式的情况下的视差计算的运算时间进行比较的结果。

图23所示的结果是对半VGA图像(640x240)的1帧使用个人计算机(3.33GHz)进行运算所需的时间。本方式与SAD方式相比，需要大约1.25倍的运算时间，但是，一维POC方式与本方式相比，需要30倍以上的运算时间。

如上所述，根据图22和图23的结果可知，本发明的立体图像处理方法得到如下的效果:是与SAD方式等同的运算时间，且，能够实现与一维POC方式等同的测距精度。

[其他实施方式]

(1)在上述的各实施方式中，将立体图像获取单元所获取的立体图像直接输入到图像匹配单元和滤波器单元，但是，也可以作为输入前的预处理而进行下面的处理。

即，也可以在图像匹配单元和滤波器单元的前级设置平行化校正单元，该平行化校正单元进行立体图像的透镜畸变校正处理和使光轴平行的平行化校正处理。具体地，畸变校正处理是使用预先准备好的标准化数据进行校正，以使得在实际空间中为直线的物体在摄像机图像中也拍摄为直线的处理。另外，在平行化校正处理中，包含如下的处理:坐标变换处理，进行坐标变换，以使得摄像机光轴方向上的距离相同的物体被拍摄在摄像机图像中的无论哪个位置，也拍摄成大小相同的物体图像；图像移位处理，使摄像机的光轴平行，以使位于无限远点的物体在两个摄像机映像中处于相同位置。此外，这里，在进行坐标变换处理后通过图像移位处理进行平行化校正，但是，本发明不限于此，也可以与透镜畸变校正同时地通过坐标变换进行平行化校正。总而言之，只要能够进行透镜畸变校正和两个摄像机的位置关系的校正这两者，对于其方法，不进行特别的限定。

另外，作为预处理，也可以进行在通常的图像处理中进行的对比度校正，或使用拉普拉斯滤波器进行的边缘增强等。在进行了对比度校正的情况下，由于能够使基准图像和参照图像之间的亮度变化的动态范围一致，所以能够进行更准确的图像匹配。另外，如果使用拉普拉斯滤波器进行边缘增强，则能够除掉由于摄像机的个体差别引起的直流分量(即，基准图像和参照图像之间的亮度差)，从而能够进行更准确的图像匹配。

另外，一般地，在进行图像的坐标变换和移位时，将以像素为单位(在整数值的位置)采样得到的亮度信息，变换为实数值位置的亮度信息。在该变换处理中，例如利用使用了线性插补的双线性插值(Inter-linear)法，或使用变换对象位置的周边的亮度信息的双立方插补法等即可。

(2)另外，也可以在上述各实施方式中说明过的立体图像处理装置中，设置基于滤波结果检测像素级的匹配错误的匹配错误检测单元。在来自滤波器单元的输出不是对称(即左右对称)的情况下，该匹配错误检测单元判定为像素级的匹配是误匹配。或者，该匹配错误检测单元，在SAD值的极小位置和来自滤波器单元的输出的峰值位置在像素级中不同的情况下(即，在来自滤波器单元的输出中未出现峰值等情况)，判定为匹配错误。由此，无需进行反向匹配(backmatching)处理，减少了相应的运算量。

(3)在上述各实施方式中，以将本发明用硬件来构成的情况为例进行了说明，但是，也可以通过与硬件联合，利用软件来实现。

另外，用于上述实施方式的说明中的各功能块通常被作为集成电路的LSI来实现。这些功能块既可以被单独地集成为单芯片，也可以包含一部分或全部地被集成为单芯片。虽然此处称为LSI，但根据集成程度，可以被称为IC、系统LSI、超大LSI(SuperLSI)、或特大LSI(UltraLSI)。

另外，实现集成电路化的方法不仅限于LSI，也可使用专用电路或通用处理器来实现。也可以使用可在LSI制造后编程的FPGA(FieldProgrammableGateArray：现场可编程门阵列)，或者可重构LSI内部的电路单元的连接和设定的可重构处理器。

再者，随着半导体的技术进步或随之派生的其它技术的出现，如果出现能够替代LSI的集成电路化的新技术，当然可利用该新技术进行功能块的集成化。还存在着适用生物技术等的可能性。

于2010年6月30日申请的特愿第2010-149425号的日本申请案中包含的说明书、附图以及说明书摘要的公开内容全部引用于本申请。

工业实用性

本发明的立体图像处理装置及立体图像处理方法维持与SAD方式同等的处理量的同时提高视差计算精度而极其有用。

Claims (11)

1.立体图像处理装置，包括：

获取单元，获取包括基准图像和参照图像的立体图像；

图像匹配单元，通过图像匹配处理，提取所述基准图像中包含的基准点和所述参照图像中包含的、与所述基准点对应的对应点，基于所述基准点和所述对应点来计算所述基准图像与所述参照图像之间的像素单位的第一偏差量；

滤波单元，从所述基准图像提取包含所述基准点的第一部分图像，并从所述参照图像提取包含所述对应点的第二部分图像，基于使所述第一部分图像中包含的各坐标点的亮度值的顺序相对于坐标反转而得到的值、以及所述第二部分图像中包含的各坐标点的亮度值来生成输出信号串；

峰值位置检测单元，检测在所述输出信号串中输出值最大的峰值位置，基于所述峰值位置计算所述基准图像和所述参照图像之间的子像素单位的第二偏差量；以及

计算单元，基于所述第一偏差量和所述第二偏差量计算视差值。

2.如权利要求1所述的立体图像处理装置，

所述基准图像是使用第一摄像系统拍摄对象物得到的图像，所述参照图像是使用第二摄像系统拍摄所述对象物得到的图像。

3.如权利要求1所述的立体图像处理装置，

所述基准点和所述对应点之间的图像亮度的相异度，小于所述基准点与所述参照图像中包含的除所述对应点以外的坐标点之间的图像亮度的相异度。

4.如权利要求1所述的立体图像处理装置，

所述滤波单元按所述第一部分图像和所述第二部分图像中的相对的各坐标位置，将使所述第一部分图像中包含的各坐标点的亮度值的顺序相对于坐标反转而得到的值、以及所述第二部分图像中包含的各坐标点的亮度值进行合计。

5.立体图像处理装置，包括:

获取单元，获取包括基准图像和参照图像的立体图像；

数据删除单元，通过以规定的采样周期对所述基准图像的图像数据进行采样来形成疏间基准图像，通过以所述规定的采样周期对所述参照图像的图像数据进行采样来形成疏间参照图像；

图像匹配单元，通过图像匹配处理，提取所述疏间基准图像中包含的基准点和所述疏间参照图像中包含的、与所述基准点对应的对应点，基于所述基准点和所述对应点来计算所述基准图像与所述参照图像之间的像素单位的第一偏差量；

滤波单元，从所述疏间基准图像提取包含所述基准点的第一部分图像，并从所述疏间参照图像提取包含所述对应点的第二部分图像，基于使所述第一部分图像中包含的各坐标点的亮度值的顺序相对于坐标反转而得到的值、以及所述第二部分图像中包含的各坐标点的亮度值来生成输出信号串；

峰值位置检测单元，检测在所述输出信号串中输出值最大的峰值位置，基于所述峰值位置计算所述基准图像和所述参照图像之间的子像素单位的第二偏差量；以及

计算单元，基于所述第一偏差量和所述第二偏差量计算视差值。

6.如权利要求5所述的立体图像处理装置，

所述基准图像是使用第一摄像系统拍摄对象物得到的图像，所述参照图像是使用第二摄像系统拍摄所述对象物得到的图像。

7.如权利要求5所述的立体图像处理装置，

所述基准点和所述对应点之间的图像亮度的相异度，小于所述基准点与所述疏间参照图像中包含的除所述对应点以外的坐标点之间的图像亮度的相异度。

8.如权利要求5所述的立体图像处理装置，

所述基准图像和所述参照图像分别由多个通道图像构成，

所述数据删除单元从所述基准图像和所述参照图像中，只提取所述多个通道图像中的一个通道图像，从而形成所述疏间基准图像和所述疏间参照图像。

9.如权利要求5所述的立体图像处理装置，

所述基准图像和所述参照图像分别由多个通道图像构成，

所述数据删除单元通过将所述多个通道图像合成来形成一个合成通道图像，从而形成所述疏间基准图像和所述疏间参照图像。

10.如权利要求5所述的立体图像处理装置，

所述基准图像和所述参照图像分别由多个彩色像素单元构成，

各彩色像素单元由红像素、第一绿像素、第二绿像素以及蓝像素这四个像素构成，

所述红像素、所述第一绿像素以及所述蓝像素构成第一像素组，所述第二绿像素构成第二像素组，

所述数据删除单元通过在所述基准图像的所述第一像素组内形成基准通道合成图像，从而形成由所述基准通道合成图像和所述第二像素组的所述基准图像构成的所述疏间基准图像，通过在所述参照图像的所述第一像素组内形成参照通道合成图像，从而形成由所述参照通道合成图像和所述第二像素组的所述参照图像构成的所述疏间参照图像，

所述图像匹配单元基于所述基准通道合成图像和所述参照通道合成图像，计算所述第一偏差量，

所述滤波单元根据所述基准通道合成图像和所述第二像素组的所述基准图像，计算第一反相滤波器系数和第二反相滤波器系数，

使用所述第一反相滤波器系数对所述参照通道合成图像进行滤波，且使用所述第二反相滤波器系数对所述第二像素组的所述参照图像进行滤波，并将由此得到的第一滤波结果和第二滤波结果相加，将相加得到的滤波结果输出到所述峰值位置检测单元。

11.立体图像处理方法，包括以下步骤：

获取步骤，获取包括基准图像和参照图像的立体图像；

图像匹配步骤，通过图像匹配处理，提取所述基准图像中包含的基准点和所述参照图像中包含的、与所述基准点对应的对应点，基于所述基准点和所述对应点来计算所述基准图像与所述参照图像之间的像素单位的第一偏差量；

滤波步骤，从所述基准图像提取包含所述基准点的第一部分图像，并从所述参照图像提取包含所述对应点的第二部分图像，基于使所述第一部分图像中包含的各坐标点的亮度值的顺序相对于坐标反转而得到的值、以及所述第二部分图像中包含的各坐标点的亮度值来生成输出信号串；

峰值位置检测步骤，检测在所述输出信号串中输出值最大的峰值位置，基于所述峰值位置计算所述基准图像和所述参照图像之间的子像素单位的第二偏差量；以及

计算步骤，基于所述第一偏差量和所述第二偏差量计算视差值。