CN103189715A - 立体图像处理装置及立体图像处理方法 - Google Patents

Abstract

本发明提供在对象物在拍摄图像上仅占据小的区域的情况下也能够高精度地计算视差的立体图像处理装置以及立体图像处理方法。在立体图像处理装置(100)中，图像截取单元(401)提取M(M为2以上且N以下的自然数)个对基准图像内的第一部分区域进行N(N为2以上的自然数)分割后的分割基准图像，并且提取M个对参考图像中的第二部分区域进行N分割后的分割参考图像。图像结合单元(402)将各数据串由各分割基准图像中的亮度值构成的M个数据串串联地连结从而形成第一图像数据串，并且将各数据串由各分割参考图像中的亮度值构成的M个数据串串联地连结从而形成第二图像数据串。滤波单元(403)以及峰值位置检测单元(104)基于第一图像数据串及第二图像数据串，计算基准图像和参考图像之间的视差。

Description

立体图像处理装置及立体图像处理方法

技术领域

本发明涉及从拍摄同一对象物得到的立体图像(基准图像和参照图像)，计算视差的立体图像处理装置以及立体图像处理方法。

背景技术

以往，已知从使用立体照相机拍摄对象物而得到的两个图像(基准图像和参照图像)计算图像的错位，并基于该错位来计算距对象物的距离的立体图像处理装置。正在研究将立体图像处理装置适用于车载装置，该车载装置基于包含车辆以及行人的立体图像来测定距车辆以及行人的距离。然而，近年来，由于照相机的小型化，照相机间隔变小，视差也变小。因此，要求高精度的立体匹配。

以往，作为高精度的立体匹配(立体图像处理的视差运算)的方式，例如提出了一维POC(Phase Only Correlation：仅相位相关)方式(例如，参照专利文献1)。在一维POC方式中，使用汉宁窗(Hanning window)从基准图像以及参照图像中截取出部分图像(一维图像数据串)。截取出的部分基准图像及部分参照图像在被实施一维傅里叶变换后进行合成。对合成后的图像数据，在将其振幅分量归一化后，实施一维傅里叶逆变换。由此，计算仅相位相关系数，并基于仅相位相关系数的相关峰值，计算图像的错位量(视差)。

现有技术文献

专利文献

专利文献1：特开2008-123141号公报

发明内容

发明要解决的问题

但是，在以往技术中，对于在立体图像中基线长度方向的图像区域大小小的对象物(例如，位于远处的行人等)，难以高精度地计算视差。因为在基线长度方向的图像区域大小小的情况下，为了降低周边区域的影响，需要减小一维图像数据串，但一维图像数据串越小，相关峰值的精度越低。

本发明的目的在于，提供对于基线长度方向的图像区域小的对象物，能够高精度地计算视差的立体图像处理装置以及立体图像处理方法。

解决问题的方案

本发明的一个形态的立体图像处理装置计算构成立体图像的基准图像与参考图像之间的错位量，该立体图像处理装置包括：提取单元，提取M个对所述基准图像内的第一部分区域进行N分割后的分割基准图像，并且提取M个对与所述基准图像内的所述第一部分区域对应的所述参考图像内的第二部分区域进行N分割后的分割参考图像，其中，M为2以上且N以下的自然数，N为2以上的自然数；连结单元，将各数据串由各分割基准图像中的亮度值构成的M个数据串串联地连结，从而形成第一结合数据串，并且将各数据串由各分割参考图像中的亮度值构成的M个数据串串联地连结，从而形成第二结合数据串；滤波单元，通过使所述第一结合数据串的数据顺序反转来计算反相滤波器系数，并对于所述第二结合数据串使用所述反相滤波器系数进行滤波；以及计算单元，基于所述滤波单元的滤波结果中的峰值位置，计算所述错位量。

本发明的一个形态的立体图像处理方法用于计算构成立体图像的基准图像与参考图像之间的错位量，该立体图像处理方法包括以下步骤：提取M个对所述基准图像内的第一部分区域进行N分割后的分割基准图像，并且提取M个对与所述基准图像内的所述第一部分区域对应的所述参考图像内的第二部分区域进行N分割后的分割参考图像，其中，M为2以上且N以下的自然数，N为2以上的自然数；将各数据串由各分割基准图像中的亮度值构成的M个数据串串联地连结，从而形成第一结合数据串，并且将各数据串由各分割参考图像中的亮度值构成的M个数据串串联地连结，从而形成第二结合数据串；通过使所述第一结合数据串的数据顺序反转来计算反相滤波器系数，并对于所述第二结合数据串使用所述反相滤波器系数进行滤波；以及基于滤波结果中的峰值位置，计算所述错位量。

发明的效果

根据本发明，能够提供对于基线长度方向的图像区域大小小的对象物，可以高精度地计算视差的立体图像处理装置及立体图像处理方法。

附图说明

图1是表示本发明的实施方式1的立体图像处理装置的结构的方框图。

图2是表示滤波器单元的结构的方框图。

图3是用于说明立体图像处理装置的动作的流程图。

图4是用于说明图像匹配(matching)单元的处理的图。

图5是表示子像素单位运算处理的细节的流程图。

图6是用于说明子像素单位运算处理的概念的图。

图7是用于说明图像结合单元的处理的概念的图。

图8是表示本发明实施方式2的滤波器单元的结构的方框图。

图9是表示子像素单位运算处理的细节的流程图。

图10是用于说明低频分量抑制处理的概念的图。

图11是表示本发明实施方式3的滤波器单元的结构的方框图。

图12是表示子像素单位运算处理的细节的流程图。

图13是用于说明高频分量判定处理的概念的图。

图14是用于说明图像结合单元的处理的概念的图。

图15是用于说明利用了反相滤波器系数的滤波的概念的模式图。

图16是表示利用了sinc函数的峰值位置检测的处理的一例的概要的模式图。

图17是表示利用了二次曲线近似的峰值位置检测的处理的一例的概要的模式图。

标号说明

100立体图像处理装置

101立体图像获取单元

102图像匹配单元

103滤波器单元

104峰值位置检测单元

401图像截取单元

402图像结合单元

403滤波单元

501低频分量抑制单元

601高频分量判定单元

具体实施方式

下面，参照附图详细地说明本发明的实施方式。另外，在本实施方式中，对相同的结构元素附加相同的标号并省略重复的说明。再有，将图像横方向设为X轴，将图像纵方向设为Y轴，1像素为1坐标点来说明。

[实施方式1]

[立体图像处理装置100的结构]

图1表示本发明的实施方式1的立体图像处理装置100的结构。在图1中，立体图像处理装置100包括：立体图像获取单元101；图像匹配单元102；滤波器单元103；以及峰值位置检测单元104。

立体图像获取单元101获取由两个以上的摄像系统(即，照相机)拍摄的立体图像。在立体图像中，包含通过两个不同的摄像系统拍摄同一对象物(目标)所得的基准图像和参考图像。再有，在本实施方式中，假定立体图像为通过基线长度方向与水平方向大致一致的两个照相机拍摄到的图像来进行说明。此外，立体图像获取单元101例如是电路装置中的输入端子。

图像匹配单元102从立体图像获取单元101获取立体图像，对于基准图像以及参考图像进行图像匹配处理，由此提取与基准图像的基准点对应的、参考图像的像素级的对应点。图像匹配单元102计算基准图像和参考图像之间的“像素级的错位量n”。

另一方面，在后述的峰值位置检测单元104中得到的、基准图像和参考图像之间的‘视差’的单位为子像素。即，在图像匹配单元102中，以“像素单位”粗略地检测基准图像和参考图像之间的错位，然后，在峰值位置检测单元104中，以“子像素单位”仔细地检测基准图像和参考图像之间的错位。

具体地说，图像匹配单元102从基准图像中截取基准图像所包含的、包含规定的1像素即“基准点”的部分图像(以下，称为“‘单位基准图像”)。此外，图像匹配单元102从参考图像中截取多个与单位基准图像为相同大小的部分图像(以下，称为“单位参考图像”)。在参考图像中，从不同的位置截取多个单位参考图像。

在立体照相机的情况下，仅在照相机的基线长度方向上产生基准图像和参考图像之间的视差。因此，图像匹配单元102在基线长度方向上变更截取的位置，截取多个单位参考图像。而且，计算基准图像中的基准点的位置和参考图像中的对应点的位置之间的错位量，作为上述的错位量n。

然后，图像匹配单元102在截取出的多个单位参考图像之中，确定与单位基准图像的匹配度为最大的单位参考图像。在确定出的单位参考图像中，与“基准点”对应的1像素是参考图像中的“像素级的对应点”。作为表示匹配度的指标，例如采用意味着表示亮度差异性的SAD(Sum of AbsoluteDifferences；绝对值差的总和)值。

滤波器单元103从立体图像获取单元101获取立体图像。另外，滤波器单元103从图像匹配单元102获取基准点和错位量n。

滤波器单元103基于基准图像计算滤波器系数，并利用计算出的滤波器系数对参考图像进行滤波处理。即，滤波器单元103基于基准图像及基准点的位置来计算滤波器系数。进而，滤波器单元103利用计算出的滤波器系数，对于参考图像的像素级的对应点周边进行滤波处理，并将滤波结果输出至峰值位置检测单元104。此外，滤波器系数称为“反相滤波器系数”。

图2表示滤波器单元103的结构。在图2中，滤波器单元103包括图像截取单元401、图像结合单元402和滤波单元403。

图像截取单元401从基准图像中截取由与立体图像的基线长度方向平行的多个像素行、和多个像素列构成的部分图像作为子像素估计用单位基准图像。此外，图像截取单元401同样地从参考图像中，截取由与子像素估计用单位基准图像同一像素行、同一像素列(同一大小)构成的部分图像，作为子像素估计用单位参考图像。

而且，图像截取单元401将子像素估计用单位基准图像和子像素估计用单位参考图像输出到图像结合单元402。

再有，在本实施方式中，图像截取单元401确定基准图像中的图像的截取位置，以在子像素估计用单位基准图像中包含基准点。此外，图像截取单元401确定图像的截取位置，以在子像素估计用单位参考图像中包含像素级的对应点。

具体而言，图像截取单元401从单位基准图像中提取M(M为2以上且N以下的自然数)个将该单位基准图像分割为N(N为2以上的自然数)个后的N分割单位基准图像。同样地，图像截取单元401从与单位基准图像之间的匹配度最大的单位参考图像中，提取M个对该单位参考图像分割为N(N为2以上的自然数)个后的N分割单位参考图像。即，子像素估计用单位基准图像是单位基准图像在Y轴的方向上被N分割后的N分割单位基准图像。另外，子像素估计用单位参考图像是与单位基准图像之间的匹配度最大的单位参考图像在Y轴的方向上被N分割后的N分割单位参考图像。另外，图像截取单元401基于由图像匹配单元102计算出的错位量n，设定M的值以及N的值。此外，为了削减运算量，图像截取单元401也可以将M的值及N的值设定为固定。

截取子像素估计用单位基准图像以及子像素估计用单位参考图像的方向是沿着立体图像的核线(epipolar line)而平行的方向。而且，截取子像素估计用单位基准图像(或者子像素估计用单位参考图像)的位置为从基准点(或者对应点)起向上下(即，Y轴方向)错位后的位置。但是，截取的位置不限于上下，也可以是基准点(或者对应点)的任意的周边位置，也可以包含基准点(或者对应点)。

然后，子像素估计用单位基准图像(子单位基准图像)和子像素估计用单位参考图像(子单位参考图像)被输出到图像结合单元402。此外，在子像素估计用单位基准图像以及子像素估计用单位参考图像中，假设各结构数据为从X坐标的值小的数据到X坐标的值大的数据的顺序排列。

图像结合单元402将从图像截取单元401输出的多个子像素估计用单位基准图像和多个子像素估计用单位参考图像作为输入。然后，图像结合单元402形成将多个子像素估计用单位基准图像串联地结合而成的一维数据串(以下，称为“结合基准图像”)。另外，同样地，图像结合单元402形成将多个子像素估计用单位参考图像串联地结合而成的一维数据串(以下，称为“结合参考图像”)。

滤波单元403通过使在图像结合单元402中形成的结合基准图像的各像素值的顺序反转，从而计算反相滤波器系数。各像素值的顺序在前后方向上反转。然后，滤波单元403使用计算出的反相滤波器系数，对结合参考图像进行滤波处理。然后，滤波单元403将滤波处理的结果(以下，称为“滤波结果”)输出到峰值位置检测单元104。此外，滤波处理的细节将后述。

返回到图1，峰值检测单元104在从滤波器单元103接受的滤波结果中，检测结合基准图像和结合参考图像之间的相关度最高的相对位置关系。而且，峰值位置检测单元104基于获取的相对位置关系，计算子像素估计用单位基准图像和相对基准点的子像素估计用单位参考图像中的像素级的对应点之间的视差(错位量)。

具体而言，峰值位置检测单元104通过检测滤波结果中的峰值的位置，计算该错位量。这里，滤波结果中的峰值是滤波结果为最大值的位置。通过将该子像素单位的错位量与在图像匹配单元102中计算的像素单位的错位量(上述的错位量n)相加，能够计算基准图像与参考图像之间的正确的错位量。

立体图像处理装置100例如具有CPU、RAM等存储介质。在此情况下，通过由CPU执行控制程序而实现上述的各功能单元。

[立体图像处理装置100的动作]

下面说明具有以上的结构的立体图像处理装置100的动作。再有，以下，将图像横方向设为X轴，将图像纵方向设为Y轴，1像素为1坐标点来说明。此外，为了便于说明，假定核线方向(基线长度方向)在整体图像中平行于X轴。

图3是用于说明立体图像处理装置100的动作的流程图。再有，以下说明基准图像中的某一个基准点的处理，而立体图像处理装置100在基准图像的整体中使基准点依次移动，对于测距对象区域内的全部像素进行以下步骤S1～S9的动作。

<分析基准位置确定处理>

在步骤S1中，图像匹配单元102确定在测距对象区域中作为分析的对象的基准点的位置(以下，称为“分析基准位置”)。

<单位基准图像的截取处理>

在步骤S2中，图像匹配单元102从立体图像获取单元101接受的基准图像中，截取单位基准图像。单位基准图像是将步骤S1中确定的分析基准位置(即，基准点)作为基准的部分区域的图像(图像范围)。单位基准图像的大小的单位是像素。即，单位基准图像是多个像素行(像素行)×多个像素列(像素列)的图像。

<搜索范围及搜索开始位置的确定处理>

在步骤S3中，图像匹配单元102基于步骤S2中确定出的分析基准位置，确定参考图像中的搜索范围及搜索开始位置。根据照相机间的距离即基线长度和透镜的焦距、以及从立体照相机到对象物的距离来计算立体图像的视差。因此，搜索范围基于从立体照相机到测距的对象物的距离来确定。此外，位于距立体照相机无限远的对象物在基准图像和参考图像中拍摄到相同的位置，所以将参考图像中的搜索开始位置设定为与基准图像中的基准点相同的坐标即可。

<单位参考图像的截取处理>

在步骤S4中，图像匹配单元102确定截取基准位置，从参考图像中截取与单位基准图像相同大小的单位参考图像。图像匹配单元102将步骤S3中确定的搜索开始位置例如确定为最初的截取基准位置，以后使截取基准位置不断移动。

<匹配度的计算处理>

在步骤S5中，图像匹配单元102计算单位基准图像和单位参考图像之间的匹配度。作为该匹配度，例如使用表示亮度差异性的SAD值或亮度相似性。

<搜索范围的结束判定处理>

在步骤S6中，图像匹配单元102进行对搜索范围的处理的结束判定处理。即，图像匹配单元102判断通过截取基准位置的移动是否网罗了搜索范围。这里，在判定为搜索范围未结束的情况下(步骤S6：“否”)，图像匹配单元102返回到步骤S4。其结果，图像匹配单元102使截取基准位置在搜索范围内移动，以使步骤S4中的单位参考图像的截取区域错位。由此，反复进行步骤S4～S6的处理，直至对搜索范围的处理结束(步骤S6：“是”)。

<匹配度的最大位置>

在步骤S7中，图像匹配单元102基于由步骤S4～S6的处理得到的多个匹配度，确定匹配度为最大的单位参考图像的位置。在使用亮度差异性作为匹配度的情况下，图像匹配单元102检测亮度差异性非极小而为最小的单位参考图像。

这里，参照图4具体地说明步骤S2～步骤S7的处理。

如图4所示，图像匹配单元102在上述步骤S2中，将以分析基准位置(基准点)(xa，ya)为中心的周围的部分图像作为单位基准图像截取。为了截取该单位基准图像，使用规定大小(纵大小：wv像素，横大小：wh像素)的矩形窗。此外，这里，作为使由窗函数规定的矩形窗的中心和分析基准位置一致的情况来进行说明，但严格地说即使不是中心也可以，只要在矩形窗的中心附近存在分析基准位置即可。

接着，图像匹配单元102在上述步骤S3中，基于步骤S1中确定出的分析基准位置，确定参考图像中的搜索范围和搜索开始位置。作为搜索开始位置(在参考图像中截取单位参考图像的初始坐标)，例如使用与基准图像中的分析基准位置相同的坐标(xa，ya)。接着，如图4所示，图像匹配单元102依次错开截取的基准位置，同时在步骤S4中，将以搜索开始位置为中心的周边的部分图像从参考图像中作为单位参考图像来截取。截取的基准位置，在这里为每次错开1像素。在该单位参考图像的截取上，使用与在单位基准图像的截取中所使用的矩形窗相同的矩形窗。另外，作为参考图像中的截取基准位置的初始坐标，使用与基准图像中的分析基准位置相同的坐标(xa，ya)。

然后，图像匹配单元102在上述步骤S5中，计算单位基准图像和各单位参考图像之间的匹配度。对于该匹配度，例如，使用表示亮度差异度的SAD值。该SAD值根据下式(1)计算。

$\mathrm{SAD}\left(n\right)=\underset{j=\mathrm{ya}-\mathrm{wv}/2}{\overset{\mathrm{ya}+\mathrm{wv}/2}{\mathrm{\&Sigma;}}}\underset{i=\mathrm{xa}-\mathrm{wh}/2}{\overset{\mathrm{xa}+\mathrm{wh}/2}{\mathrm{\&Sigma;}}}|f(x+i,y+j)-g(x+i+n,y+j)|\&CenterDot;\&CenterDot;\&CenterDot;\left(1\right)$

而且，如图4所示，图像匹配单元102在上述步骤S6中，在判定为搜索范围未结束的情况下，错开要截取的位置而返回到步骤S4，从参考图像中截取新的单位参考图像。要截取的位置，在这里每次被错开1像素。此外，在图4中，截取的位置从参考图像的坐标(xa，ya)起在X轴方向上错开。

由此，图像匹配单元102对于一个单位基准图像，计算多个单位参考图像各自的SAD值。然后，在步骤S7中，图像匹配单元102基于通过步骤S5的处理得到的多个匹配度，确定匹配度为最大的单位参考图像。具体而言，图像匹配单元102在多个SAD值之内，例如确定与最小的SAD值对应的单位参考图像。将该确定的单位参考图像的截取基准位置的坐标设为(xa+n、ya)时，n为像素单位的错位量。

而且，图像匹配单元102将SAD值为最小的截取基准位置设为分析基准位置(基准点)的像素级的对应点。再有，这里，采用SAD值作为匹配度的指标，但本发明不限于此，只要是能够作为匹配度的指标使用的指标，就可以代用。例如，也可以利用SSD(Sum of Squared Differences；差值平方和)作为匹配度的指标。到此结束有关步骤S2～S7的处理的具体的说明。

<子像素单位运算处理>

在图3的步骤S8中，滤波器单元103及峰值位置检测单元104基于在步骤S7中得到的像素级的对应点、以及从立体图像获取单元101接受的基准图像及参考图像，进行子像素单位运算处理。

图5是表示子像素单位运算处理的细节的流程图。图6是用于说明子像素单位运算处理的概念的图。

<子像素估计用单位基准图像的截取处理>

在步骤S12中，滤波器单元103的图像截取单元401从单位基准图像中截取多个子像素估计用单位基准图像。也就是说，图像截取单元401从单位基准图像中提取M(M为2以上且N以下的自然数)个将该单位基准图像分割为N(N为2以上的自然数)个后的N分割单位基准图像(以下称为“子像素估计用单位基准图像”)。

子像素估计用单位基准图像的大小的单位为像素。截取多个子像素估计用单位基准图像的位置是从基准点起向上下方向错开后的位置。另外，截取多个子像素估计用单位基准图像的方向是沿着核线平行的X轴方向。即，子像素估计用单位基准图像是单位基准图像在Y轴的方向上被N分割后的N分割单位基准图像。

另外，截取子像素估计用单位基准图像的位置不限于上下错开的位置，也可以是基准点(或者对应点)的任意的周边位置，也可以包含基准点(或者对应点)。

图像截取单元401在从基准点起向上下方向错开后的位置进行截取是由于测距的对象物如行人那样、呈纵长的形状。例如，如果对象物是向斜方向倾斜的形状，则优选在向斜方向错开后的位置截取多个子像素估计用单位基准图像。即，优选的是，对于映入了位于距立体摄影机相同距离处的对象物的图像区域，截取多个子像素估计用单位基准图像。另外，优选子像素估计用单位基准图像的大小为与对象物的图像区域上的大小相应的设计值。

此外，为了截取子像素估计用单位基准图像，使用窗函数。作为该窗函数，例如，使用以式(2)表示的汉宁窗的窗函数w(m)。

$w\left(m\right)=\frac{1}{2}\{\cos \left(\mathrm{\&pi;}\frac{m}{K-J}\right)+1\}\&CenterDot;\&CenterDot;\&CenterDot;\left(2\right)$

再有，这里说明使用汉宁窗的窗函数的情况，但本发明不限于此，作为窗函数，也可以使用汉明窗(Hamming window)、布莱克曼窗(Blackmanwindow)、凯撒窗(Kaiser window)等。这是因为根据重视子像素估计用单位基准图像的特性(例如，频率功率特性、相位特性、截取端连续性)之内的哪个特性来选择窗函数。

这里，在用于以子像素为单位来估计视差的图像截取处理中，重要的是在截取出的图像中不包含噪声。这是为了正确地求子像素单位的错位量。另一方面，图像匹配单元102中的图像截取处理例如以子像素为单位进行，所以相比精度更注重削减运算次数。因此，在图像匹配单元102所使用的第一窗函数，使用仅用于截取图像数据的窗函数。与此相对，对于在子像素估计用单位基准图像的截取处理中所用的第二窗函数，重视噪声少。因此，优选的是，与第一窗函数相比，第二窗函数是窗的两端的变化是连续性的函数(即，1周期的最初和最后的值为零的函数)。

通过使用这样的第二窗函数，可以保持子像素估计用单位基准图像信号的连续性，降低后述的反相滤波器的特性中所包含的、截取造成的噪声分量。再有，若将第一窗函数和第二窗函数进行有关频率特性的比较，则相比于第二窗函数，第一窗函数的主瓣(main-lobe)的宽度窄，旁瓣(side-lobe)的振幅大。

在图6中，子像素单位估计用窗函数w(m)使用了具有纵轴为1像素、横轴为“K-J”像素的大小的汉宁窗。而且，m为J以上、K以下的整数。而且，子像素单位估计用窗函数w(m)，将基准点(xa，ya)设定为中心。由此，作为子像素估计用单位基准图像，截取以基准点(xa，ya)为中心、纵轴大小为1像素、横轴大小为“K-J”像素的图像。此外，f’(m)表示子像素估计用单位基准图像的亮度值。同样地，使用以基准点(xa，ya+1)为中心而设定的第二窗函数w(m)，截取以基准点(xa，ya+1)为中心、纵轴大小为1像素、横轴大小为“K-J”像素的图像。这里，示出了截取两个子像素估计用单位基准图像的例子，但也可以不是两个，三个以上的情况下也能够同样地截取。

<子像素估计用单位参考图像的截取处理>

在步骤S13中，图像截取单元401从步骤S7中检测出的、与单位基准图像的匹配度最大的单位参考图像中，提取M个对该单位参考图像分割为N个后的N分割单位参考图像(即，子像素估计用单位参考图像)。这里，N为2以上的自然数，M为2以上且N以下的自然数。子像素估计用单位参考图像的截取处理上，也使用与子像素估计用单位基准图像的情况相同的第二窗函数。

但是，第二窗函数被设定在对应点(xa+n，ya)。由此，作为子像素估计用单位参考图像，截取以对应点(xa+n，ya)为中心、纵轴大小为1像素、横轴大小为“K-J”像素的图像。

在图6中，g’(m)表示子像素估计用单位参考图像的亮度值。同样地，使用以对应点(xa，ya+1)为中心而设定的第二窗函数w(m)，截取以对应点(xa，ya+1)为中心、纵轴大小为1像素、横轴大小为“K-J”像素的图像。这里，示出了截取两个子像素估计用单位参考图像的例子，但也可以不是两个，三个以上的情况下也能够同样地截取。

再有，在以上说明中，使用了具有纵轴为1像素、横轴为“K-J”像素大小的第二窗函数w(m)，但该大小是一例，并不限于此。例如，在将纵大小设为3像素的情况下，对每1像素进行上述处理，将得到的结果进行平均即可。

而且，例如，在纵大小包含多个像素的情况下，各纵每次1像素进行上述处理，将纵大小所包含的多个像素的每个像素的结果进行加权平均即可。在此情况下所使用的加权系数，也可以如二维POC那样由窗函数来确定。在子像素估计用单位基准图像和子像素估计用单位参考图像的纵尺寸为2像素以上时，图像截取单元401进行如上所述的平均等。而且，图像截取单元401将子像素估计用单位基准图像和子像素估计用单位参考图像分别变换为一维的数据串。

<子像素估计用单位基准图像结合处理>

步骤S14中，图像结合单元402将M个子像素估计用单位基准图像的数据串(在通过平均等变换成一维的数据串时，为变换后的子像素估计用单位基准图像的数据串)串联地结合。由此，图像结合单元402形成一维的数据串(以下，称为“结合基准图像数据串”)。

<子像素估计用单位参考图像结合处理>

步骤S15中，图像结合单元402将M个子像素估计用单位参考图像的数据串(在通过平均等变换成一维的数据串时，为变换后的子像素估计用单位参考图像的数据串)串联地结合。由此，图像结合单元402形成一维的数据串(以下，称为“结合参考图像数据串”)。

图7是用于说明图像结合单元402的处理的概念的图。图7(a)表示从基准图像截取子像素估计用单位基准图像的情况和将截取出的两个子像素估计用单位基准图像结合后的图像701。图7(b)表示图7(a)的结合后的图像701的数据串(即，结合基准图像数据串)的亮度信号。图7(c)表示从参考图像截取子像素估计用单位参考图像的情况和将截取出的两个子像素估计用单位参考图像结合后的图像702。图7(d)表示图7(c)的结合后的图像702的数据串(即，结合参考图像数据串)的亮度信号。

另外，图7示出如下的情况：在单位基准图像及单位参考图像中，分别存在亮度值的变化的频度因纵线703(例如，相当于测距的对象即行人)而变高的图像区域(即，亮度信号中存在高频分量)。可知在结合后的子像素单位估计用单位基准图像701和结合后的子像素估计用单位参考图像702中，出现了多个与纵线703对应的亮度值变化。

这样，立体图像处理装置100也能够利用虚拟地产生的、相距窗大小左右地存在多个的亮度值变化(相当于窗大小的周期的低频分量)，所以能够提高视差计算精度。

此外，图像结合单元402也可以在将M个子像素估计用单位基准图像(或，子像素估计用单位参考图像)串联地结合之前，进行用于使各图像的数据串的端部平滑地结合的、图像数据串端部平滑处理。但是，在截取子像素估计用单位基准图像(或，子像素估计用单位参考图像)时使用汉宁窗等用于平滑地截取图像数据串端部的窗函数的情况下，无需进行上述处理。

<反相滤波器系数计算处理>

在步骤S16中，滤波单元403根据结合基准图像数据计算反相滤波器系数。具体而言，滤波器单元103以使结合基准图像数据串的对应的各像素的位置在前项方向上反转的形式，将数据串排列成相反的顺序。

<滤波处理>

在步骤S17中，滤波单元403使用在步骤S16中计算出的反相滤波器系数对结合单位参考图像数据串进行滤波，将滤波结果输出到峰值位置检测单元104。

这里说明滤波的概念。图15是用于说明利用了反相滤波器系数的滤波的概念的模式图。在图15中，假设窗函数w(m)的长度(N)为5像素。而且，假设结合基准图像数据是“1，2，3，4，5”。另外，假设结合参考图像数据x(m)也是“1，2，3，4，5”。另外，假设用于滤波的像素值是亮度值。

在结合基准图像数据为“1，2，3，4，5”时，滤波器单元103计算出“5，4，3，2，1”作为反相滤波器系数h(k)。

然后，如图15(B)所示，滤波器单元103使用反相滤波器系数h(k)，对于结合参考图像数据进行滤波处理。具体而言，该滤波处理如下面那样进行。在设结合参考图像数据中的、任意的成分信号的坐标为k时，滤波器单元103对于成分信号的坐标为“k-2，k-1，k，k+1，k+2”的信号串乘以反相滤波器系数h(k)。由此，滤波器单元103对于信号串实施滤波处理，并计算各乘法结果的总和作为滤波结果z(m)。这里，m取1～5的整数值。

这里，在结合参考图像数据的两端的外部，考虑到亮度为0的虚拟的坐标点时，如图15(A)所示那样、结合参考图像数据x(m)成为“0，0，1，2，3，4，5，0，0”。在将图15(A)中的m(m：0～4)作为结合参考图像数据的坐标点时(即，x(0)＝1，x(1)＝2，x(2)＝3，x(3)＝4，x(4)＝5)，如下进行滤波处理。

在m＝0时，滤波器单元103通过反向滤波器“5，4，3，2，1”，对以m＝0为中心的亮度值信号串“0，0，1，2，3”进行滤波处理。其结果是，z(0)成为26(＝0×1+0×2+1×3+2×4+3×5)。

另外，在m＝1时，滤波器单元103通过反向滤波器“5，4，3，2，1”，对以m＝1为中心的亮度值信号串“0，1，2，3，4”进行滤波处理。其结果是，z(1)成为40(＝0×1+1×2+2×3+3×4+4×5)。

同样地，z(2)成为55，z(3)成为40，z(4)成为26。因此，滤波器单元103获得“26，40，55，40，26”作为滤波结果z(m)。

由式(3)来表示这种滤波处理。在式(3)中，将结合基准图像数据反转后的f(-k)用作反向滤波器的滤波器系数h(k)。另外，g′(m)是结合参考图像数据的亮度值。

$z\left(m\right)=\underset{k=0}{\overset{2(K-J)+1}{\mathrm{\&Sigma;}}}\tilde{f}(-k)\&times;\tilde{g}(m-k)---\left(3\right)$

如图15(C)所示，通过使用了反向滤波器的滤波处理所得的滤波结果z(m)具有如下特征，即，呈对称(在图15中，以m＝2为中心而左右对称)并且在中央附近存在峰值。

另外，反向滤波器相当于所谓的FIR滤波器(有限冲激响应滤波器)的一种，具有为线形趋势不变系统这一特征。在此，所谓的线形趋势不变系统，是指在输入信号有错位时，输出信号中也发生与输入信号相同的错位的系统。

在上述的具体例中，以在结合参考图像数据与结合基准图像数据之间没有错位的情况为例进行了说明。然而，在结合参考图像数据与结合基准图像数据之间存在较小的错位时，滤波结果即z(m)中也发生相同的错位。

再有，在求实际空间中同一大小的对象物的视差的情况下，对象物距立体照相机存在于远处的情况相比存在于近处的情况，视差小，像素单位的错位量n也小。与此同时，该对象物的基线长度方向的图像区域大小也小。

因此，反相滤波器的抽头(tap)长度，优选根据由图像匹配单元102检测出的像素单位的错位量n的大小来设定。例如，在像素单位的错位量n小的情况下，根据该大小，反相滤波器的抽头长度也设定得短。立体图像处理装置100通过对于错位量n自适应地变更子像素估计用单位基准图像及子像素估计用单位参考图像的大小，从而反相滤波器的抽头长度也可以自适应地变更。

由此，可进行与对象物的大小对应的视差计算。

此外，滤波结果是线性趋势不变系统的输出。因此，若除去透镜的畸变校正的误差、CCD等图像传感器引起的增益噪声等的误差、开窗造成的图像截取的运算精度的误差，滤波结果在理论上表现真实的错位量。因此，通过将以像素为单位离散的反相滤波器的输出根据采样定理来插补像素间的数值，可以求以子像素为单位的真实的峰值位置。到此结束滤波的概念的说明。

接着，说明滤波结果中的峰值位置检测的处理(步骤S18)的概要。图16是表示利用了sinc函数的峰值位置检测的处理的一例的概要的模式图。

sinc函数是由sin(πx)/πx定义的函数，是在使被离散的采样数据复原为原来的连续数据时所用的函数。由采样定理来证明，通过进行采样后的离散数据和sinc函数的卷积运算，能够完全复原原来的连续数据。

因此，峰值位置检测单元104使用sinc函数，对离散化后的滤波结果进行卷积运算。由此，峰值位置检测单元104能够插补像素单位间隔的信号数据，即使子像素单位也能够在逻辑上导出插补了信号数据后的滤波结果z(m)的真正的峰值位置。

如图16所示，峰值位置检测单元104例如通过二分法检索来检测峰值位置。

例如，峰值位置检测单元104将像素单位间隔的滤波结果z(m)成为最大的位置m＝0设为位置A(即，二分法检索基准点)。峰值位置检测单元104对从该最大位置A向左右各错开了1像素的位置的滤波结果即z(+1)和z(-1)进行比较。然后，峰值位置检测单元104将较大的一方的位置(这里，m＝1)设为位置B(即，二分法检索使用点)。

然后，峰值位置检测单元104基于采样定理，利用例如以下的式(4)，计算二分法检索基准点A与二分法检索使用点B的中点即位置C的值。式中，T是采样间隔(像素间距)。

$f\left(m\right)=\underset{n=-\&infin;}{\overset{\&infin;}{\mathrm{\&Sigma;}}}f\left(\mathrm{nT}\right)\frac{\sin \left(\mathrm{\&pi;}(\frac{m}{T}-n)\right)}{\mathrm{\&pi;}(\frac{m}{T}-n)}---\left(4\right)$

然后，峰值位置检测单元104将位置C作为新的二分法检索基准点，重复进行与上述同样的处理。

该处理的反复次数可以设为与需要的精度相应的次数。即，如果需要的子像素精度为1/2像素，则峰值位置检测单元104只要进行一次上述的处理即可。另外，如果需要的子像素精度为1/4像素精度，则峰值位置检测单元104执行两次，如果为1/8像素则执行三次，只要根据需要的子像素精度来确定反复次数即可。

然后，峰值位置检测单元104将最后获得的中点作为检测出的峰值位置δ处理。

此外，在以上的说明中，对利用sinc函数及二分法检索来检测峰值位置的方法进行了说明。但是，但本发明并不限定于此，例如，峰值位置检测单元104也可以通过将sinc函数和梯度法组合来搜索峰值位置。也就是说，只要在使用sinc函数对离散化后的滤波结果进行卷积运算而将像素单位间隔的信号数据插补之后，峰值位置检测单元104就可以利用各种最大值检测方法。

或者，峰值位置检测单元104也可以使用二次曲线近似来检测峰值位置。由此，峰值位置检测单元104能够削减峰值位置检测所需的运算量。在此情况下，峰值位置检测单元104以二次曲线对离散化后的滤波结果进行拟合，并检测该二次曲线的极大值的位置作为峰值位置。由此，峰值位置检测单元104能够以离散化的间隔以下的精度来求峰值位置。

图17是表示利用了二次曲线近似的峰值位置检测的处理的一例的概要的模式图。

如图17所示，峰值位置检测单元104首先求像素单位间隔的滤波结果z(m)成为最大的、位置m＝0处的值z(0)。另外，峰值位置检测单元104获取从该最大位置m＝0起向左右各错开1像素的、位置m＝+1、-1的滤波结果即z(+1)、z(-1)。然后，峰值位置检测单元104求穿过这三个点的二次曲线，并且检测该二次曲线取极大值的位置作为峰值位置δ。该峰值位置δ例如能够利用下面的式(5)计算。

$\mathrm{\&delta;}=\frac{z(-1)-z(+1)}{2\&times;\{z(-1)+z(+1)-2\&times;z\left(0\right)\}}---\left(5\right)$

通过将像素单位的错位n和子像素单位的错位δ′相加，能够求基准图像中的分析基准位置的视差。

到此结束滤波结果中的峰值位置检测的处理的概要的说明。并且结束有关步骤S16～S18的处理的具体的说明。

<测距对象区域的结束判定处理>

在步骤S9中，图像匹配单元102进行测距对象区域的结束判定处理。即，图像匹配单元102判断在基准图像的整体中是否存在还未进行步骤S1～步骤S8的处理的未处理区域。图像匹配单元102在存在未处理区域时(S9：“否”)，返回到步骤S1，错位分析基准位置并对该未处理区域进行步骤S1～步骤S8的处理。另外，图像匹配单元102在不存在未处理区域时(S9：“是”)，结束一系列的动作。

如以上所述，根据本实施方式，在立体图像处理装置100中，图像截取单元401提取M(M为2以上且N以下的自然数)个对基准图像内的第一部分区域(这里为单位基准图像)进行N(N为2以上的自然数)分割后的分割基准图像。并且，图像截取单元401提取M个对参考图像中的、与所述第一部分区域对应的第二部分区域(这里为单位参考图像)进行N分割后的分割参考图像。然后，图像结合单元402通过将各数据串由各分割基准图像中的亮度值构成的M个数据串串联地连结，从而形成第一结合数据串(这里为结合基准图像数据串)。进而，图像结合单元402通过将各数据串由各分割参考图像中的亮度值构成的M个数据串串联地连结，从而形成第二结合数据串(这里为结合参考图像数据串)。然后，滤波单元403通过使第一结合数据串的数据顺序反转来计算反相滤波器系数，并对所述第二结合数据串利用上述反相滤波器系数进行滤波。然后，峰值位置检测单元104基于滤波单元403的滤波结果中的峰值位置，计算错位量n。

这样，通过基于结合基准图像数据串和结合参考图像数据串来计算视差，能够同时利用多个与较短宽度的亮度值变化有关的信息。而且，较短宽度的亮度值变化相距窗大小左右地存在多个，由此也能够虚拟地利用相当于窗大小的周期的低频分量，所以能够提高视差计算精度。

[实施方式2]

在实施方式2中，作为图像截取处理的预处理，进行低频分量抑制处理。

图8表示本发明实施方式2的滤波器单元103的结构。在图8中，滤波器单元103具有低频分量抑制单元501。

低频分量抑制单元501将在立体图像获取单元101中获取的基准图像及参考图像作为输入，相对地抑制基准图像及参考图像的低频分量的振幅。因为只要相对于高频分量的振幅相对地抑制低频分量的振幅即可，所以低频分量抑制单元501也可以增强高频分量的振幅。

图9是表示实施方式2的子像素单位运算处理的细节的流程图。

<低频分量抑制处理>

步骤S21中，低频分量抑制单元501相对地抑制单位基准图像及单位参考图像的低频分量。因为只要相对于高频分量的振幅相对地抑制低频分量的振幅即可，所以低频分量抑制单元501也可以增强高频分量的振幅。高频分量的振幅增强处理可以利用一般的处理，例如能够通过利用LoG(Laplacian ofGaussian；高斯拉普拉斯)滤波器来实现。

图10是用于说明低频分量抑制处理的概念的图。图10(a)和图10(b)分别表示高频的亮度信号和频率特性，图10(c)和图10(d)分别表示低频的亮度信号和频率特性。T表示图6中的窗长度(K-J)。如图10(a)那样地相对于根据窗函数的截取宽度T具有短的周期的亮度信号，是如图10(b)那样地在空间频率中具有1/(2T)以上的频率的亮度信号。另一方面，如图10(c)那样地相对于根据窗函数的截取宽度T具有长的周期的亮度信号，是如图10(d)那样地在空间频率中具有低于1/(2T)的频率的亮度信号。在低频分量抑制处理中，使用1/(2T)作为用于判定是增强对象即高频的亮度信号还是抑制对象即低频的亮度信号的判定基准(即，判定阈值)。

这里，相对于截取宽度T具有长周期的亮度信号是具有在截取宽度T中无法表现的频率的信号。即，相对于截取宽度T具有长周期的亮度信号在截取宽度T中连1周期的波形都未表现。而且，这种亮度信号成为使利用了频率的匹配(即，注目于信号的频率分量的匹配)的精度劣化的主要原因。因此，优选在尽可能抑制了低频分量后，进行后级的截取处理。

如以上所述，根据本实施方式，在立体图像处理装置100中，低频分量抑制单元501与高频分量相对地抑制对应于第一部分区域的图像信号以及对应于所述第二部分区域的图像信号中的低频分量。这里，第一部分区域成为单位基准图像，第二部分区域成为单位参考图像。

通过这样，能够抑制成为使利用了频率的匹配(即，注目于信号的频率分量的匹配)的精度劣化的主要原因的低频分量，所以能够提高视差计算精度。

此外，在以上的说明中，说明了在实施方式1的滤波器单元103中适用低频分量抑制单元501的情况，但并不限定于此。例如，也可以在不具有图像结合单元402(即，通过一个单位基准图像和与之对应的一个单位参考图像来计算视差)的立体图像处理装置中，适用低频分量抑制单元501。另外，在具备如下的图像匹配单元和滤波器单元的立体图像处理装置中，也可以在滤波器单元中设置用于抑制基准图像及参考图像的各自中的低频分量的低频分量抑制单元。图像匹配单元计算基准图像和参考图像之间的像素单位的错位量。滤波器单元通过使由基准图像内的亮度值构成的数据串的数据顺序反转来计算反相滤波器系数，并对参考图像利用反相滤波器系数进行滤波。

[实施方式3]

在实施方式3中，在图像截取处理的前级，基于高频分量的振幅判定是否执行图像截取处理以后的处理。

图11表示本发明实施方式3的滤波器单元103的结构。在图11中，滤波器单元103具有高频分量抑制单元601。

高频分量判定单元601将在低频分量抑制单元501中低频分量的振幅被相对抑制后的基准图像及参考图像和来自图像匹配单元102的基准点以及错位量n作为输入，基于它们来判定是否执行后级的处理。具体而言，根据基准图像的基准点处的图像数据串的高频分量的振幅的大小、以及参考图像的对应点处的图像数据串的高频分量的振幅的大小来实行该判定。所谓的参考图像的对应点，即在参考图像中从与基准点相同的坐标起错开了错位量n后的点。另外，所谓的后级的处理，这里是图像截取单元401、图像结合单元402、滤波单元403以及峰值位置检测单元104中的处理。

图12是表示实施方式3的子像素单位运算处理的细节的流程图。

<高频分量判定处理>

在步骤S31中，高频分量判定单元601输入在低频分量抑制单元501中低频分量的振幅被相对抑制后的基准图像及参考图像和来自图像匹配单元102的基准点以及错位量n。然后，高频分量判定单元601基于这些判定是否执行后级的处理。具体而言，根据基准图像的基准点处的图像数据串的高频分量的振幅的大小、以及参考图像的对应点处的图像数据串的高频分量的振幅的大小来实行该判定。所谓的参考图像的对应点，即在参考图像中从与基准点相同的坐标起错开了错位量n后的点。而且，在基准图像的基准点处的图像数据串的高频分量的振幅的大小、以及参考图像的对应点处的图像数据串的高频分量的振幅的大小两者都为规定的阈值以上时(即，判定为振幅大时)，执行后级的处理。另一方面，在小于规定的阈值时，子像素单位运算处理结束。

图13是用于说明高频分量判定处理的概念的图。图13(a)和图13(b)分别表示低频分量抑制后的高频的亮度信号和频率特性，图13(c)和图13(d)分别表示低频分量抑制后的低频的亮度信号和频率特性。为了判定有无高频分量的振幅，可以利用傅里叶变换等的频率变换处理，为了削减运算量，可以利用取亮度信号的变化率的绝对值的总和等简单的处理。

如上所述，根据与窗函数的截取宽度的关系，通过低频分量无法实现正确的匹配，所以高频分量的振幅小的信号与视差为零的信号是等价的。即，通过高频分量的振幅小的信号，难以计算正确的视差。因此，在小于规定的阈值时，通过结束子像素单位运算处理，能够防止执行无谓的处理。

图14是用于说明图像结合单元402的处理的概念的图。图14(a)表示从基准图像截取子像素估计用单位基准图像的情况和将截取出的两个子像素估计用单位基准图像结合后的一维的图像的数据串(即，结合基准图像数据串)。图14(b)表示结合基准图像数据串的亮度信号。图14(c)表示从参考图像截取子像素估计用单位参考图像的情况和将截取出的两个子像素估计用单位参考图像结合后的一维的图像的数据串(即，结合参考图像数据串)。图14(d)表示结合参考图像数据串的亮度信号。图14中，示出了在单位基准图像及单位参考图像中，分别不存在高频度的亮度值变化(即，亮度信号中几乎不存在高频分量)的情况。

研究如下情况：即，这样在子像素估计用单位基准图像及子像素估计用单位参考图像中，分别不存在高频度的亮度值变化，并且亮度值在子像素估计用单位基准图像间或者子像素估计用单位参考图像间发生变化(即，Y轴方向(纵向)的亮度值发生变化)的情况。在此情况下，子像素估计用单位基准图像与子像素估计用单位参考图像之间的视差(子像素估计用单位基准图像的亮度信号与子像素估计用单位参考图像的亮度信号的相位差)虚拟地成为零。为此，无法计算正确的视差，成为视差计算精度劣化的较大的原因。为此，优选的是，在进行图像结合处理之前，在高频判定处理中删除这种低频分量。

如以上所述，根据本实施方式，在立体图像处理装置100中，高频分量判定单元601仅在以下情况下执行图像截取单元401、图像结合单元402、滤波单元403以及峰值位置检测单元104的处理。上述的情况是指，与第一部分区域(这里为单位基准图像)对应的图像信号以及与第二部分区域(这里为单位参考图像)对应的图像信号中的高频分量的振幅为阈值以上的情况。

通过这样，能够防止在难以计算正确的视差的情况下执行无谓的处理。

此外，在以上的说明中，说明了在实施方式2的滤波器单元103中适用了高频分量判定单元601的情况，但并不限定于此，也可以在实施方式1的滤波器单元103中适用高频分量判定单元601。

在上述各实施方式中，以由硬件构成本发明的情况为例进行了说明，但本发明也可以由软件实现。

[其它实施方式]

(1)在上述各实施方式中，说明了由图像匹配单元102以‘像素单位’粗略地检测基准图像和参考图像之间的错位量，然后，由峰值位置检测单元104以‘子像素单位’仔细地检测错位量的情况。即，说明了以2阶段来计算错位的情况。但是，本发明并不限定于此，在通过1阶段计算错位的情况下也能够适用。

(2)另外，用于上述各实施方式的说明中的各功能块通常被作为集成电路的LSI来实现。这些功能块既可以被单独地集成为单芯片，也可以包含一部分或全部地被集成为单芯片。虽然此处称为LSI，但根据集成程度，可以被称为IC、系统LSI、超大LSI(Super LSI)、或特大LSI(Ultra LSI)。

另外，实现集成电路化的方法不仅限于LSI，也可使用专用电路或通用处理器来实现。也可以使用可在LSI制造后编程的FPGA(Field ProgrammableGate Array：现场可编程门阵列)，或者可重构LSI内部的电路单元的连接和设定的可重构处理器。

再者，随着半导体的技术进步或随之派生的其它技术的出现，如果出现能够替代LSI的集成电路化的新技术，当然可利用该新技术进行功能块的集成化。还存在着适用生物技术等的可能性。

2010年11月5日提交的日本专利申请特愿2010-248691号所包含的说明书、说明书附图和说明书摘要的公开内容全部引用于本申请。

工业实用性

本发明的立体图像处理装置及立体图像处理方法，作为即使在目标图像区域在拍摄图像上仅占据小的区域时也能够高精度地计算视差的装置和方法而是有用的。

Claims (6)

1.立体图像处理装置，计算构成立体图像的基准图像与参考图像之间的错位量，该立体图像处理装置包括：

提取单元，提取M个对所述基准图像内的第一部分区域进行N分割后的分割基准图像，并且提取M个对与所述基准图像内的所述第一部分区域对应的所述参考图像内的第二部分区域进行N分割后的分割参考图像，其中，M为2以上且N以下的自然数，N为2以上的自然数；

连结单元，将各数据串由各分割基准图像中的亮度值构成的M个数据串串联地连结，从而形成第一结合数据串，并且将各数据串由各分割参考图像中的亮度值构成的M个数据串串联地连结，从而形成第二结合数据串；

滤波单元，通过使所述第一结合数据串的数据顺序反转来计算反相滤波器系数，并对于所述第二结合数据串使用所述反相滤波器系数进行滤波；以及

计算单元，基于所述滤波单元的滤波结果中的峰值位置，计算所述错位量。

2.如权利要求1所述的立体图像处理装置，还包括：

抑制单元，设置于所述提取单元的输入级，与高频分量相对地抑制在与所述第一部分区域对应的图像信号和与所述第二部分区域对应的图像信号中的低频分量。

3.如权利要求1所述的立体图像处理装置，还包括：

控制单元，仅在与所述第一部分区域对应的图像信号以及与所述第二部分区域对应的图像信号中的高频分量的振幅为阈值以上时，执行所述提取单元、所述连结单元、所述滤波单元以及所述计算单元的处理。

4.如权利要求2所述的立体图像处理装置，

将所述低频分量和所述高频分量分开的频率值是1/(2T)，T是所述第一部分区域及所述第二部分区域的宽度。

5.如权利要求1所述的立体图像处理装置，还包括：

计算单元，计算所述基准图像与所述参考图像之间的像素单位的错位量，基于所述计算出的像素单位的错位量而设定所述M的值及所述N的值。

6.立体图像处理方法，计算构成立体图像的基准图像与参考图像之间的错位量，该立体图像处理方法包括以下步骤：

提取M个对所述基准图像内的第一部分区域进行N分割后的分割基准图像，并且提取M个对与所述基准图像内的所述第一部分区域对应的所述参考图像内的第二部分区域进行N分割后的分割参考图像，其中，M为2以上且N以下的自然数，N为2以上的自然数；

将各数据串由各分割基准图像中的亮度值构成的M个数据串串联地连结，从而形成第一结合数据串，并且将各数据串由各分割参考图像中的亮度值构成的M个数据串串联地连结，从而形成第二结合数据串；

通过使所述第一结合数据串的数据顺序反转来计算反相滤波器系数，并对于所述第二结合数据串使用所述反相滤波器系数进行滤波；以及

基于滤波结果中的峰值位置，计算所述错位量。

Images