CN103080973A - 立体图像处理装置及立体图像处理方法 - Google Patents

Abstract

提供对于基线长度方向的图像区域小的对象物，也能够高精度地计算视差的立体图像处理装置及立体图像处理方法。窗函数移动单元(411)基于由峰值位置检测单元(104)计算出的子像素单位的挪动量，对图像截取单元(412)设定通过移动第2窗函数形成的第3窗函数。图像截取单元(412)将第2窗函数适用于截取对象位置，从基准图像中截取子像素估计用单位基准图像，并适用第2窗函数或由窗函数移动单元(411)设定的第3窗函数，从参考图像中截取子像素估计用单位参考图像。峰值位置检测单元(106)基于由截取出的子像素估计用单位基准图像的亮度值构成的数据串、和由截取出的子像素估计用单位参考图像的亮度值构成的数据串之间的相位差，计算子像素单位的挪动量。

Description

立体图像处理装置及立体图像处理方法

技术领域

本发明涉及从拍摄同一对象物的立体图像(基准图像和参考图像)，计算起因于视差的图像的挪动的立体图像处理装置及立体图像处理方法。

背景技术

以往，已知从使用立体照相机对同一对象物拍摄时的两个图像(基准图像和参考图像)计算图像的挪动，并基于该图像的挪动来测定距对象物的距离的立体图像处理装置。正在研究该立体图像处理装置适用于例如从车载照相机拍摄的前方车辆或行人的立体图像来测定距该车辆或行人的距离的装置等。可是，近年来因照相机(车载照相机等)的小型化的影响，照相机间隔也变小，其结果是，立体图像的挪动也变小。因此，对立体图像处理装置，不断要求高精度的视差运算功能。

以往，作为立体图像处理装置中的高精度的立体匹配(立体图像处理的视差运算)的方式，例如提出了一维POC(Phase Only Correlation；仅相位相关)方式(例如，参照专利文献1)。在该一维POC方式中，首先，从基准图像及参考图像的各自图像中使用汉宁窗(Hanning window)截取部分图像(一维图像数据串)。接着，截取出的部分基准图像及部分参考图像在被实施一维傅立叶变换而成为傅立叶图像数据后进行合成。接着，合成后的傅立叶图像数据，在将其振幅分量归一化后，实施一维傅立叶逆变换。由此，求相位限定相关系数。然后，基于相位限定相关系数的相关峰值，计算图像的挪动量(视差)。

现有技术文献

专利文献

专利文献1：特开2008-123141号公报

发明内容

发明要解决的课题

但是，在以往技术中，对于位于远处的行人等的、在立体图像上所占有的基线长度方向上的图像区域的大小(以下，称为‘基线长度方向的图像区域大小’)小的对象物，有难以高精度地计算视差的课题。因为在基线长度方向的图像区域大小小的情况下，为了降低背景周围的图像的影响而需要减小一维图像数据串，但一维图像数据串越小，上述相关峰值的精度越低。

本发明鉴于这样的方面而完成，目的在于提供即使对于基线长度方向的图像区域大小小的对象物，也可以高精度地计算视差的立体图像处理装置及立体图像处理方法。

用于解决课题的方案

本发明的一形态的立体图像处理装置，计算构成立体图像的基准图像和参考图像之间的子像素单位的挪动量，包括：截取装置，将第1窗函数适用于截取对象位置，从所述基准图像中截取子像素估计用单位基准图像，适用所述第1窗函数或所设定的第2窗函数，从所述参考图像中截取子像素估计用单位参考图像；计算装置，基于由所述截取出的子像素估计用单位基准图像的亮度值构成的数据串、和由所述截取出的子像素估计用单位参考图像的亮度值构成的数据串之间的相位差，计算所述子像素单位的挪动量；以及窗函数设定装置，基于由所述计算装置计算出的子像素单位的挪动量，对所述截取装置设定通过移动所述第1窗函数形成的所述第2窗函数。

本发明的一形态的立体图像处理方法，用于计算构成立体图像的基准图像和参考图像之间的子像素单位的挪动量，包括：截取步骤，将第1窗函数适用于截取对象位置，从所述基准图像中截取子像素估计用单位基准图像，适用所述第1窗函数或所设定的第2窗函数，从所述参考图像中截取子像素估计用单位参考图像；计算步骤，基于由所述截取出的子像素估计用单位基准图像的亮度值构成的数据串、和由所述截取出的子像素估计用单位参考图像的亮度值构成的数据串之间的相位差，计算所述子像素单位的挪动量；以及窗函数设定步骤，基于由所述计算步骤计算出的子像素单位的挪动量，通过移动所述第1窗函数而形成并设定所述第2窗函数。

发明效果

根据本发明，能够提供即使对于基线长度方向的图像区域大小小的对象物，也可以高精度地计算视差的立体图像处理装置及立体图像处理方法。

附图说明

图1是表示本发明的实施方式1的立体图像处理装置的结构的方框图。

图2是表示滤波器单元的结构的方框图。

图3是表示高精度滤波器单元的结构的方框图。

图4是用于说明立体图像处理装置的动作的流程图。

图5是用于说明图像匹配(matching)单元的处理的图。

图6是表示子像素单位运算处理的细节的流程图。

图7是用于说明子像素单位运算处理的概念的图。

图8是用于说明子像素单位运算处理的概念的图。

图9是用于说明窗移动单元的处理的概念的图。

图10是用于说明窗移动单元的处理的概念的图。

图11是表示本发明的实施方式2的立体图像处理装置的结构的方框图。

图12是用于说明立体图像处理装置的动作的流程图。

标号说明

100、900立体图像处理装置

101立体图像获取单元

102图像匹配单元

103滤波器单元

104、106峰值位置检测单元

105高精度滤波器单元

402、412图像截取单元

403、413滤波单元

411窗函数移动(shift)单元

901高精度滤波器执行判定单元

902输出单元

具体实施方式

以下，参照附图详细地说明本发明的实施方式。再有，在实施方式中，对同一结构要素附加同一标号，由于其说明重复而省略。再有，将图像横方向设为X轴，将图像纵方向设为Y轴，1像素为1坐标点来说明。

[实施方式1]

[立体图像处理装置100的结构]

图1表示本发明的实施方式1的立体图像处理装置100的结构。在图1中，立体图像处理装置100包括：立体图像获取单元101；图像匹配单元102；滤波器单元103；峰值位置检测单元104、106；以及高精度滤波器单元105。

立体图像获取单元101获取由两个以上的摄像系统(即，照相机)拍摄的立体图像。在立体图像中，包含通过两个不同的摄像系统拍摄同一对象物所得的基准图像和参考图像。而且，立体图像获取单元101将获取的立体图像输出到图像匹配单元102、滤波器单元103、以及高精度滤波器单元105。再有，在本实施方式中，假定立体图像获取单元101获取通过基线长度方向与水平方向大致一致的两个照相机拍摄的立体图像。

图像匹配单元102获取参考图像对基准图像的基准点的像素级的对应点。具体地说，图像匹配单元102通过对于在立体图像获取单元101中获取的基准图像及参考图像进行图像匹配处理，获取参考图像对基准图像的基准点的像素级的对应点。然后，图像匹配单元102计算基准图像和参考图像之间的‘像素级的挪动量n’。另一方面，通过后述的峰值位置检测单元104及峰值位置检测单元106得到的、基准图像和参考图像之间的‘视差’的单位为子像素。即，在图像匹配单元102中，以‘像素单位’粗略地检测基准图像和参考图像之间的挪动，然后，通过峰值位置检测单元104及峰值位置检测单元106，以‘子像素单位’仔细地检测基准图像和参考图像之间的挪动。

具体地说，图像匹配单元102将基准图像中包含的规定的1像素设为‘基准点’，从基准图像中截取以基准点为中心的周边的部分图像(以下，称为‘单位基准图像’)。此外，图像匹配单元102从参考图像中截取多个与单位基准图像为相同大小的部分图像(以下，称为‘单位参考图像’)。在参考图像中，从不同的位置截取多个单位参考图像。为了截取单位基准图像和基准参考图像，例如，采用规定大小的矩形窗(纵大小：wv像素，横大小：wh像素)的矩形窗。再有，以下，将规定该矩形窗的窗函数称为‘像素单位估计用窗函数’。

在立体照相机的情况下，仅在照相机的基线长度方向上产生基准图像和参考图像之间的视差。因此，图像匹配单元102变更在基线长度方向上截取的位置，截取多个单位参考图像即可。而且，基准图像中的基准点的位置和参考图像的对应点的位置之间的挪动量，作为上述像素单位的挪动量n来计算。

图像匹配单元102在截取出的多个单位参考图像之中，决定与单位基准图像的匹配度最大的单位参考图像。与决定的单位参考图像中的‘基准点’对应的1像素，成为参考图像中的‘像素级的对应点’。作为表示匹配度的指标，例如，采用意味着亮度差异性的SAD(Sum of Absolute Differences；绝对值差的总和)的值。

滤波器单元103将来自图像匹配单元102的基准点及挪动量n、以及来自立体图像获取单元101的立体图像作为输入。

而且，滤波器单元103基于基准图像和基准点的位置计算反相滤波器系数，使用计算出的反相滤波器系数，进行对参考图像的像素级的对应点周围的滤波处理。

图2表示滤波器单元103的结构。在图2中，滤波器单元103包括图像截取单元402和滤波单元403。

图像截取单元402在立体图像的基线长度方向上，从基准图像中截取部分图像作为子像素估计用单位基准图像。为了截取子像素估计用单位基准图像，采用子像素单位估计用窗函数。作为子像素估计用窗函数，例如，可以使用汉宁窗的窗函数。此外，图像截取单元402使用子像素单位估计用窗函数，从参考图像中，截取与子像素估计用单位基准图像同一大小的部分图像作为子像素估计用单位参考图像。

而且，图像截取单元402将子像素估计用单位基准图像和子像素估计用单位参考图像输出到滤波单元403。

再有，在本实施方式中，假定图像截取单元402决定基准图像中的图像的截取位置，以在子像素估计用单位基准图像中包含基准点。此外，假定图像截取单元402决定图像的截取位置，以在子像素估计用单位参考图像中包含像素级的对应点。

滤波单元403计算将由图像截取单元402截取出的子像素估计用单位基准图像的各像素值的位置在前后方向上反转所得的反相滤波器系数。而且，滤波单元403使用计算出的反相滤波器系数，进行对子像素估计用单位参考图像的滤波处理。而且，滤波器生成单元403将滤波处理的结果(以下，称为‘滤波结果’)输出到峰值位置检测单元104。

峰值检测单元104在从滤波器单元103接受的滤波结果中，获取子像素估计用单位基准图像和子像素估计用单位参考图像之间的相关度最高的相对位置关系。而且，峰值位置检测单元104基于获取的相对位置关系，计算子像素估计用单位基准图像和相对基准点的子像素估计用单位参考图像中的像素级的对应点之间的视差(挪动量)。

高精度滤波器单元105将来自图像匹配单元102的基准点及挪动量n、来自立体图像获取单元101的立体图像、以及来自峰值位置检测单元104的子像素单位的挪动量作为输入。

而且，与滤波器单元103同样，高精度滤波器单元105基于子像素估计用单位基准图像计算反相滤波器系数，使用计算出的反相滤波器系数，对子像素估计用单位参考图像进行滤波。即，与滤波器单元103同样，高精度滤波器单元105首先从基准图像中截取子像素估计用单位基准图像，并从子像素估计用单位基准图像计算反相滤波器系数。即，基于从基准图像中提取的子像素估计用单位基准图像，计算反相滤波器系数。

但是，接着，与滤波器单元103不同，高精度滤波器单元105通过将滤波器单元103中子像素估计用单位参考图像的截取上使用的子像素单位估计用窗函数，进行相当于从峰值位置检测单元104输入的子像素单位的挪动量的移动，形成在高精度滤波器单元105中子像素估计用单位参考图像的截取上使用的子像素单位估计用移动窗函数。而且，高精度滤波器单元105使用子像素单位估计用移动窗函数，从参考图像中截取子像素估计用单位参考图像，使用计算出的反相滤波器系数，对于子像素估计用单位参考图像进行滤波处理，将滤波结果输出到峰值位置检测单元106。

图3表示高精度滤波器单元105的结构。在图3中，高精度滤波器单元105包括窗函数移动单元411、图像截取单元412、以及滤波单元413。

窗函数移动单元411通过将滤波器单元103中子像素估计用单位参考图像的截取上使用的子像素单位估计用窗函数，移动相当于峰值位置检测单元104中计算出的子像素单位的挪动量，形成在高精度滤波器单元105中用于子像素估计用单位参考图像的截取的子像素单位估计用移动窗函数。

图像截取单元412从基准图像中截取包含基准点的子像素估计用单位基准图像。此外，图像截取单元412使用在窗函数移动单元411中形成的子像素单位估计用移动窗函数，从参考图像中截取包含对应点(即，在参考图像中从与基准点相同的坐标起挪动了挪动量n的点)的子像素估计用单位参考图像。即，图像截取单元412与图像截取单元402具有基本上相同的功能。

滤波单元413根据图像截取单元412中截取出的子像素估计用单位基准图像计算反相滤波器系数。而且，滤波单元413对于子像素估计用单位参考图像，使用计算出的反相滤波器系数进行滤波处理，将滤波结果输出到峰值位置检测单元106。即，滤波单元413与滤波单元403具有基本上相同的功能。

返回到图1，峰值位置检测单元106通过检测从高精度滤波器单元105接受的滤波结果中的峰值的位置，计算基准图像和参考图像之间的子像素单位的挪动量。这里，峰值是滤波结果为最大值的位置。

[立体图像处理装置100的动作]

下面说明具有以上结构的立体图像处理装置100的动作。

再有，以下，将图像横方向设为X轴，将图像纵方向设为Y轴，1像素为1坐标点来说明。此外，为了便于说明，假定核线(epipolar line)方向(基线长度方向)在全体图像中平行于X轴。

图4是用于说明立体图像处理装置100的动作的流程图。再有，在以下，说明基准图像中的某一个基准点的处理，而立体图像处理装置100在基准图像的整体中使基准点依次移动，对于测距对象区域内的全部像素进行以下步骤S1～S9的动作。

<分析基准位置决定处理>

在步骤S1中，图像匹配单元102决定在测距对象区域中作为分析的对象的基准点的位置(以下，称为‘分析基准位置’)。

<单位基准图像的截取处理>

在步骤S2中，图像匹配单元102从立体图像获取单元101接受的基准图像中，截取单位基准图像。单位基准图像是将步骤S1中决定的分析基准位置(即，基准点)作为基准的部分区域的图像(图像区域)。单位基准图像的大小的单位是像素。即，单位基准图像是多个像素行(像素行)×多个像素列(像素列)的图像。

<搜索范围及搜索开始位置的决定处理>

在步骤S3中，图像匹配单元102基于步骤S1中决定的分析基准位置，决定参考图像中的搜索范围及搜索开始位置。立体图像的视差，根据照相机间的距离即基线长度和透镜的焦距、以及从立体照相机到对象物的距离来决定。因此，图像匹配单元102也可以基于从立体照相机到要测距的对象物的距离来决定搜索范围。此外，位于距立体照相机无限远的对象物在基准图像和参考图像的相同的位置被拍摄，所以图像匹配单元102也可以将与基准图像中的基准点相同的坐标作为参考图像中的搜索开始位置来设定。

<单位参考图像的截取处理>

在步骤S4中，图像匹配单元102决定截取基准位置，从参考图像中截取与单位基准图像相同大小的单位参考图像。图像匹配单元102将步骤S3中决定的搜索开始位置例如决定为最初的截取基准位置，以后使截取基准位置不断移动。

<匹配度的计算处理>

在步骤S5中，图像匹配单元102计算单位基准图像和单位参考图像之间的匹配度。为了该匹配度，例如使用表示亮度差异性的SAD值或亮度相似性。

<搜索范围的结束判定处理>

在步骤S6中，图像匹配单元102进行对搜索范围的处理的结束判定处理。即，图像匹配单元102判定通过截取基准位置的移动是否网罗了搜索范围。这里，在判定为搜索范围未结束的情况下(步骤S6：“否”)，图像匹配单元102返回到步骤S4。其结果，图像匹配单元102使截取基准位置在搜索范围内移动，以使步骤S4中的单位参考图像的截取区域挪动。由此，重复步骤S4～S6的处理，直至搜索范围结束(步骤S6：“是”)。

<匹配度的最大位置>

在步骤S7中，图像匹配单元102基于由步骤S4～S6的处理得到的多个匹配度，确定匹配度为最大的单位参考图像的位置。在使用亮度差异性作为匹配度的情况下，图像匹配单元102检测亮度差异性非极小而为最小的单位参考图像。

这里，参照图5具体地说明步骤S2～步骤S7的处理。

如图5所示，图像匹配单元102在上述步骤S2中，将以分析基准位置(基准点)(xa，ya)为中心的周围的部分图像作为单位基准图像截取。为了截取该单位基准图像，使用以像素单位估计用窗函数规定的、预定大小(纵大小：wv像素，横大小：wh像素)的矩形窗。此外，这里，作为使由像素单位估计用窗函数规定的矩形窗的中心和分析基准位置一致的情况来进行说明，但严格地说即使不是中心也可以，只要在矩形窗的中心附近存在分析基准位置即可。

接着，图像匹配单元102在上述步骤S3中，基于步骤S1中决定的分析基准位置，决定参考图像中的搜索范围和搜索开始位置。搜索开始位置(在参考图像中截取单位参考图像的初始坐标)，例如使用与基准图像中的分析基准位置相同的坐标(xa，ya)。接着，如图5所示，图像匹配单元102依次挪动截取的基准位置，同时在步骤S4中，将以搜索开始位置为中心的周边的部分图像从参考图像中作为单位参考图像来截取。截取的基准位置，在这里为每次挪动1像素。在该单位参考图像的截取上，使用与在单位基准图像的截取中所使用的矩形窗相同的矩形窗。即，为了截取单位基准图像和单位参考图像，使用以相同像素单位估计用窗函数规定的矩形窗。

然后，图像匹配单元102在上述步骤S5中，计算单位基准图像和各单位参考图像之间的匹配度。对于该匹配度，例如，使用表示亮度差异度的SAD值。该SAD值根据下式(1)计算。

$\mathrm{SAD}\left(n\right)=\underset{j=\mathrm{ya}-\mathrm{wv}/2}{\overset{\mathrm{ya}+\mathrm{wv}/2}{\mathrm{\&Sigma;}}}\underset{i=\mathrm{xa}-\mathrm{wh}/2}{\overset{\mathrm{xa}+\mathrm{wh}/2}{\mathrm{\&Sigma;}}}|f(x+i,y+j)-g(x+i+n,y+j)|...\left(1\right)$

而且，如图5所示，图像匹配单元102在上述步骤S6中，在判定为搜索范围未结束的情况下，挪动要截取的位置而返回到步骤S4，从参考图像中截取新的单位参考图像。要截取的位置，在这里每次挪动1像素。此外，挪动的方向是从图5中的参考图像的坐标(xa，ya)延伸的右箭头的方向。

由此，图像匹配单元102对于一个单位基准图像，计算多个单位参考图像各自的SAD值。而且，图像匹配单元102在步骤S7中基于通过步骤S5的处理得到的多个匹配度，确定匹配度为最大的单位参考图像。具体地说，图像匹配单元102在多个SAD值之内，例如确定与最小的SAD值对应的单位参考图像。将该确定的单位参考图像的截取基准位置的坐标设为(xa+n、ya)时，n为像素单位的挪动量。而且，图像匹配单元102将SAD值为最小的截取基准位置设为分析基准位置(基准点)的像素级的对应点。再有，这里，使用SAD值作为匹配度的指标，但本发明不限于此，只要是能够作为匹配度的指标使用的指标，就可以代用。例如，图像匹配单元102也可以使用SSD(Sum ofSquared Differences；平方差和)作为匹配度的指标。

通过以上，结束有关步骤S2～S7的处理的具体的说明。

<子像素单位运算处理>

在图4的步骤S8中，滤波器单元103及峰值位置检测单元104基于在步骤S7中得到的像素级的对应点、以及从立体图像获取单元101接受的基准图像及参考图像，进行子像素单位运算。

图6是表示子像素单位运算处理的细节的流程图。图7是用于说明子像素单位运算处理的概念的图。

(子像素估计用单位基准图像的截取处理)

在步骤S12中，图像截取单元402从单位基准图像中截取子像素估计用单位基准图像。子像素估计用单位基准图像的大小的单位为像素。截取子像素估计用单位基准图像的位置设为从距基准点的位置起，方向设为沿核线平行的、X轴方向的指向。

此外，为了截取子像素估计用单位基准图像，使用子像素单位估计用窗函数。作为子像素单位估计用窗函数，例如，使用以式(2)表示的汉宁窗的窗函数w(m)。

$w\left(m\right)=\frac{1}{2}\{\cos \left(\mathrm{\&pi;}\frac{m}{K-J}\right)+1\}...\left(2\right)$

再有，这里，说明使用汉宁窗的窗函数作为子像素单位估计用窗函数的情况，但本发明不限于此，作为窗函数，也可以使用汉明窗(Hammingwindow)、布莱克曼窗(Blackman window)、凯撒窗(Kaiser window)等。这些窗函数，根据重视子像素估计用单位基准图像的特性(例如，频率功率特性、相位特性、截取端连续性)之内的哪个特性来选择。例如，在重视相位特性的情况下，凯撒窗适合。但是，若使用凯撒窗，运算相当复杂。另一方面，从运算量削减的观点来说，汉宁窗适合。

这里，在用于以子像素为单位来估计视差的图像截取处理中，重要的是在截取出的图像中不包含噪声。这是为了正确地求子像素单位的挪动量。另一方面，为了图像匹配单元102中的图像截取处理以子像素为单位进行，所以相比精度更注重削减运算次数。因此，在图像匹配单元102所使用的子像素单位估计用窗函数，仅使用截取图像数据的窗函数。相对于此，子像素估计用单位基准图像的截取处理所使用的子像素单位估计用窗函数，重视噪声少，所以与子像素单位估计用窗函数相比，优选窗的两端上的变化为连续的函数(即，1周期的最初及最后的值为零的函数)。

通过使用这样的子像素单位估计用窗函数，可以保持子像素估计用单位基准图像信号的连续性，降低后述的反相滤波器的特性中所包含的、截取造成的噪声成分。再有，若将像素单位估计用窗函数和子像素单位估计用窗函数进行有关频率特性的比较，则相比子像素单位估计用窗函数，像素单位估计用窗函数的主瓣(main-lobe)的宽度窄，旁瓣(side-lobe)的振幅大。

在图7中，子像素单位估计用窗函数w(m)使用了具有纵轴为1像素、横轴“K-J”像素的大小的汉宁窗。而且，m为J以上、K以下的整数。而且，子像素单位估计用窗函数w(m)，将基准点(xa，ya)设定为中心。由此，作为子像素估计用单位基准图像，截取以基准点(xa，ya)为中心、纵轴大小为1像素、横轴大小为“K-J”像素的图像。此外，f’(m)表示子像素估计用单位基准图像的亮度值。

(子像素估计用单位参考图像的截取处理)

在步骤S13中，图像截取单元402从步骤S7中检测出的、与单位基准图像的匹配度最大的的单位参考图像中，截取子像素估计用单位参考图像。子像素估计用单位参考图像的截取处理上，也使用与子像素估计用单位基准图像的情况相同的子像素单位估计用窗函数。但是，子像素单位估计用窗函数被设定在对应点(xa+n，ya)。由此，作为子像素估计用单位参考图像，截取以对应点(xa+n，ya)为中心、纵轴大小为1像素、横轴大小为“K-J”像素的图像。在图7中，g’(m)表示子像素估计用单位参考图像的亮度值。

再有，在以上说明中，使用了具有纵轴为1像素、横轴为“K-J”像素大小的子像素单位估计用窗函数w(m)，但该大小是一例，并不限于此。例如，在将纵大小设为3像素的情况下，对每1像素进行上述处理，将得到的结果进行平均即可。而且，例如，在纵大小包含多个像素的情况下，各纵每次1像素进行上述处理，将纵大小所包含的多个像素的每个像素的结果进行加权平均即可。该情况所使用的加权系数，如二维POC那样，由窗函数决定即可。在子像素估计用单位基准图像和子像素估计用单位参考图像的大小为2像素以上的情况下，图像截取单元402进行上述的平均，将子像素估计用单位基准图像和子像素估计用单位参考图像分别变换为一维的数据串。

(反相滤波器系数计算处理)

在步骤S14中，滤波单元403根据子像素估计用单位基准图像计算反相滤波器系数。具体地说，滤波器单元103以使子像素估计用单位基准图像的结构数据串的各像素的位置反转的方式，将数据串重新排列为相反的顺序。

(滤波处理)

在步骤S15中，滤波单元403使用在步骤S14中算出的反相滤波器系数对子像素估计用单位参考图像进行滤波，将滤波结果输出到峰值位置检测单元104。

再有，求实际空间中同一大小的对象物的视差的情况下，距立体照相机存在于远处情况相比存在于近处的情况，视差小，像素单位的挪动量n也小。与此同时，该对象物的基线长度方向的图像区域大小也小。

因此，反相滤波器的抽头(tap)长度，优选根据由图像匹配单元102检测出的像素单位的挪动量n的大小来设定。例如，在像素单位的挪动量n小的情况下，根据该大小，反相滤波器的抽头长度也设定得短。立体图像处理装置100通过对于挪动量n自适应地变更子像素估计用单位基准图像及子像素估计用单位参考图像的大小，从而反相滤波器的抽头长度也可以自适应地变更。由此，可进行与对象物的大小对应的视差计算。

此外，滤波结果是线性趋势不变系统的输出。因此，若除去透镜的失真校正的误差、CCD等的图像传感器引起的增益噪声等的误差、开窗造成的图像截取的运算精度的误差，滤波结果在理论上表现真实的挪动量。因此，通过将以像素为单位离散的反相滤波器的输出根据采样定理插补像素间的数值，可以求以子像素为单位的真实的峰值位置。

(峰值位置(子像素单位的挪动)检测)

在步骤S16中，峰值位置检测单元104基于滤波结果来检测峰值位置，计算基准图像和参考图像之间的子像素单位的挪动量(即，峰值位置的X轴方向的位移)。然后，峰值位置检测单元104将该计算结果输出到高精度滤波器单元105。

(窗函数移动)

在步骤S17中，窗函数移动单元411通过将滤波器单元103中子像素估计用单位参考图像的截取上使用的子像素单位估计用窗函数，移动在峰值位置检测单元104中算出的、基准图像和参考图像之间的子像素单位的相应挪动量，形成子像素单位估计用移动窗函数。子像素单位估计用移动窗函数被用于图像截取单元412中子像素估计用单位参考图像的截取。窗函数移动单元411将子像素单位估计用移动窗函数输出到图像截取单元412。由此，子像素单位估计用移动窗函数设定在图像截取单元412中。

(子像素估计用单位基准图像的截取处理)

在步骤S18中，图像截取单元412使用子像素单位估计用窗函数，从单位基准图像中截取子像素估计用单位基准图像。步骤S18中的截取处理与步骤S12中的处理是同样的。

(子像素估计用单位参考图像的截取处理)

在步骤S19中，图像截取单元412使用子像素单位估计用移动窗函数，截取以步骤S7中确定的匹配度为最大的单位参考图像的位置为基准的子像素估计用单位参考图像。步骤S19中的截取处理与步骤S13中的处理基本上相同，但在截取子像素估计用单位参考图像时所使用的窗函数不同。即，在两步骤中所使用的窗函数(即，子像素单位估计用窗函数和子像素单位估计用移动窗函数)挪动与步骤S16中检测出的挪动量对应的间隔。

(反相滤波器系数计算处理)

在步骤S20中，滤波单元413根据子像素估计用单位基准图像来计算反相滤波器系数。步骤S20中的计算处理与步骤S14中的处理相同。

(滤波处理)

在步骤S21中，滤波单元413使用在步骤S20中算出的反相滤波器系数对子像素估计用单位参考图像进行滤波，将滤波结果输出到峰值位置检测单元106。

(峰值位置(子像素单位的挪动)检测)

在步骤S22中，峰值位置检测单元106基于滤波结果来检测峰值位置，计算基准图像和参考图像之间的子像素单位的挪动量(即，峰值位置的X轴方向的位移)。

这里，说明有关高精度滤波器单元105中的处理的概念。

图8是用于说明高精度滤波器单元的处理的概念的图。在图8中，作为对基准图像的子像素单位估计用窗函数w(m)，使用具有纵轴为1像素、横轴为“K-J”像素的大小的汉宁窗。而且，m是J以上、K以下的整数。而且，对于子像素单位估计用窗函数w(m)，将基准点(xa，ya)设定为中心。由此，作为子像素估计用单位基准图像，截取将基准点(xa，ya)为中心、纵轴大小为1像素、横轴大小为“K-J”像素的图像。此外，f’(m)表示子像素估计用单位基准图像的亮度值。

另一方面，作为对参考图像的子像素单位估计用移动窗函数w(m)，使用具有纵轴为1像素、横轴为“K-J”像素的大小，并且子像素单位估计用窗函数w(m)移动了在峰值位置检测单元104中算出的子像素单位的相应挪动量的汉宁窗。而且，对于子像素单位估计用移动窗函数w(m)，将对应点(xa+n，ya)设定为中心。由此，作为子像素估计用单位参考图像，截取以对应点(xa+n，ya)为中心、纵轴大小为1像素、横轴大小为“K-J”像素的图像。

图9是用于说明窗函数移动单元411的处理的概念的图。图9(a)表示所截取的范围(例如，15像素)中的基准图像的亮度信号和所截取的范围中的参考图像的亮度信号。即，图9(a)中，绘制了相应15像素的基准图像及参考图像各自的各像素中的亮度值。图9(b)表示滤波器单元103中的、用于子像素估计用单位基准图像及子像素估计用单位参考图像的截取的子像素单位估计用窗函数。

图9(c)表示对图9(a)中所示的基准图像及参考图像乘以图9(b)中所示的子像素单位估计用窗函数后的结果。即，图9(c)表示通过乘以子像素单位估计用窗函数而降低了端点上的不连续性的影响的亮度信号。图9(d)表示高精度滤波器105中的、用于子像素估计用基准图像截取的子像素单位估计用窗函数和用于子像素估计用参考图像截取的子像素单位估计用移动窗函数。这里，子像素单位估计用窗函数和子像素单位估计用移动窗函数之间的挪动量(即，提供给子像素单位估计用移动窗函数的移动量)，对应于图9(c)中的、基准图像乘以子像素单位估计用窗函数后的结果(图像截取单元402输出的子像素估计用基准图像)和对于参考图像乘以子像素单位估计用窗函数后的结果(图像截取单元402输出的子像素估计用参考图像)之间的相位差。

图9(e)表示将图9(a)中所示的基准图像及参考图像分别乘以子像素单位估计用窗函数及子像素单位估计用移动窗函数后的结果(图像截取单元402输出的子像素估计用基准图像和图像截取单元412输出的子像素估计用基准图像)。

图10是用于说明窗函数移动单元411的处理产生的效果的图。在图10中，横轴表示作为窗函数使用的sin函数的周期，纵轴表示视差的真实值与算出的基准图像和参考图像的子像素单位的挪动量之间的差分值。

图10中由绘制的‘◆’形成的曲线1001，表示基于图9(c)所示的、通过乘以子像素单位估计用窗函数而从基准图像中截取的子像素估计用单位基准图像的像素数据串，以及通过乘以子像素单位估计用窗函数而从参考图像中截取的子像素估计用单位参考图像的像素数据串进行的峰值位置检测的结果。

另一方面，图10中由绘制的‘▲’形成的曲线1002，表示基于图9(e)所示的、通过乘以子像素单位估计用窗函数而从基准图像中截取的子像素估计用单位基准图像的像素数据串，以及通过乘以子像素单位估计用移动窗函数而从参考图像中截取的子像素估计用单位参考图像的像素数据串进行的峰值位置检测的结果。

从图10的曲线1001和曲线1002可知，相对于在不移动子像素单位估计用窗函数的情况下，所算出的子像素单位的挪动量和真实值之间的差分值(误差)较大而言，在移动子像素单位估计用窗函数的情况下，所算出的子像素单位的挪动量和真实值之间的差分值(误差)几乎接近0。即，通过子像素单位估计用窗函数的移动，可以改善所算出的子像素单位的挪动量的精度。

于是，在不移动子像素单位估计用窗函数的情况和移动子像素单位估计用窗函数的情况下，在与真实值之间的误差方面产生差的理由如下。

图9(a)所示的基准图像和参考图像，是基于在图像匹配单元102中算出的‘挪动量n’而被参照的图像数据串。在图像匹配单元102中算出的‘挪动量n’和真实值之间，存在最大为0.5像素、最小为0像素的误差。在误差为最大的情况下(即，误差为0.5像素的情况)，对基准图像和参考图像两方，若使用图9(b)所示的相同子像素单位估计用窗函数(即，将对于基准图像使用的窗函数和对于参考图像使用的窗函数之间的移动间隔设为零)，则与真实值之间的差为0.5像素相比，算出极大地受到对于基准图像和参考图像两方使用的窗函数的相位差为0像素产生的影响的子像素单位的挪动量。因此，如图10所示，在算出的子像素单位的挪动量和真实值之间产生差分值(误差)。

另一方面，在使用被给予与‘挪动量n’和真实值之间的误差对应的移动间隔的子像素单位估计用窗函数及子像素单位估计用移动窗函数的对(参照图9(d))的情况下，可以进行与‘挪动量n’和真实值之间的误差对应的图像截取。使用这样截取出的图像数据算出的子像素单位的挪动为更接近真实值的值，如图10所示，能够大幅度地削减与真实值之间的差分值(误差)。

再有，像素单位的‘挪动量n’和真实值之间的误差越大，移动子像素单位估计用窗函数产生的、视差计算精度的改善效果越大。此外，像素单位的‘挪动量’和真实值的误差取决于照相机的基线长度(立体照相机间的距离)、透镜的焦距、以及照相机和对象物之间的距离。

此外，窗函数移动单元411也可以在移动了子像素单位估计用窗函数后，将子像素单位估计用移动窗函数的系数归一化。通过系数的归一化，可以进一步实现视差计算的高精度。将系数归一化的子像素单位估计用移动窗函数，例如，通过下式表示。

$w\left(m\right)=c\&CenterDot;\frac{1}{2}\{\cos \left(\mathrm{\&pi;}\frac{m-\mathrm{\&Delta;d}}{K-J}\right)+1\}$

$c=\frac{\{\cos \left(\mathrm{\&pi;}\frac{m}{K-J}\right)+1\}\{\cos (\mathrm{\&pi;}-\frac{m}{K-J})+1\}}{\{\cos \left(\mathrm{\&pi;}\frac{m}{K-J}\right)+1\}\{\cos \left(\mathrm{\&pi;}\frac{m-\mathrm{\&Delta;d}}{K-J}\right)+1\}}...\left(3\right)$

此外，图6中的步骤S18及步骤S20的处理，与步骤S12及步骤S14重复，所以也可以省略。该情况下，在存储器(未图示)中预先保存由步骤S12及步骤S14获得的反相滤波器，在步骤S12中，也可以使用该保存的反相滤波器。由此，可以削减运算量。

<测距对象区域的结束判定处理>

在步骤S9中，进行测距对象区域的结束判定处理，此外在存在未进行步骤S1～步骤S8为止的处理的未处理区域的情况下，对于该未处理区域进行步骤S1～步骤S8为止的处理。

如以上那样，根据本实施方式，在立体图像处理装置100中，图像截取单元402使用子像素单位估计用窗函数，从基准图像及参考图像中截取子像素估计用单位基准图像及子像素估计用单位参考图像，滤波单元403通过将由图像截取单元403截取出的子像素估计用单位基准图像的亮度值构成的数据串的数据顺序反转，计算反相滤波器系数，对于由子像素估计用单位参考图像的亮度值构成的数据串，使用反相滤波器系数进行滤波，峰值位置检测单元104基于滤波装置的滤波结果中的峰值位置，计算子像素单位的挪动量。

然后，窗函数移动单元411基于由峰值位置检测单元104算出的子像素单位的挪动量，通过移动子像素单位估计用窗函数而形成子像素单位估计用移动窗函数，并将其设定在图像截取单元412中。

然后，图像截取单元412使用子像素单位估计用窗函数，从基准图像中截取子像素估计用单位基准图像，使用由窗函数移动单元411设定的子像素单位估计用移动窗函数，从参考图像中截取子像素估计用单位参考图像，滤波单元413通过将由图像截取单元412截取出的子像素估计用单位基准图像的亮度值构成的数据串的数据顺序反转，计算反相滤波器系数，对于子像素估计用单位参考图像的亮度值构成的数据串使用反相滤波器系数进行滤波，峰值检测单元106基于滤波装置的滤波结果中的峰值位置，计算子像素单位的挪动量。

由此，可以进行与‘挪动量n’和真实值之间的误差对应的图像截取。使用这样截取出的图像数据算出的子像素单位的挪动为更接近真实值的值，作为结果，可以提高视差计算精度。

[实施方式2]

在实施方式2中，在高精度的滤波器处理之前，进行是否执行该高精度滤波器处理的判定，根据该判定结果，执行高精度滤波器处理。

[立体图像处理装置900的结构]

图11表示本发明的实施方式2的立体图像处理装置900的结构。在图11中，立体图像处理装置900具有高精度滤波器执行判定单元901和输出单元902。

高精度滤波器执行判定单元901根据由峰值位置检测单元104算出的、子像素单位的挪动量，判定是否执行高精度滤波器单元105及峰值位置检测单元106的处理。由峰值位置检测单元104算出的子像素单位的挪动量取从零到最大值之间的任何一个值。而且，假设从零到基准值的范围为‘不执行区域’，从基准值到最大值的范围为‘执行区域’。这里，基准值也可以按运行时处理时间和所要求的视差的精度之间的折衷(trade-off)来决定。例如，关于视差，并不要求那么高的精度，但在要使处理时间短的情况下，将基准值设为较高的值即可。

高精度滤波器执行判定单元901判定由峰值位置检测单元104算出的子像素单位的挪动量的值属于‘不执行区域’及‘执行区域’的哪一个。然后，在判定为属于‘不执行区域’的情况下，高精度滤波器执行判定单元901将从峰值位置检测单元104输出的子像素单位的挪动量输出到输出单元902。另一方面，在判定为属于‘执行区域’的情况下，高精度滤波器执行判定单元901将从峰值位置检测单元104输出的子像素单位的挪动量输出到高精度滤波器单元105。

输出单元902输出从高精度滤波器执行判定单元901或峰值位置检测单元106输出的子像素单位的挪动量。

[立体图像处理装置900的动作]

图12是表示实施方式2的子像素单位处理的细节的流程图。与图6所示的流程图相比，在图12所示的流程图中，设有高精度滤波器执行判定的步骤S31。

在步骤S31中，高精度滤波器执行判定单元901根据由峰值检测单元104算出的、子像素单位的挪动量，判定是否执行高精度滤波器单元105及峰值位置检测单元106的处理。

在判定要执行的情况下(步骤S31为“是”)，执行步骤S17～步骤S22的处理。

另一方面，在判定为不执行的情况下(步骤S31为“否”)，结束图12所示的流程。

这里，如上所述，像素单位的‘挪动量’和真实值之间的误差越大，移动子像素单位估计用窗函数产生的视差计算精度的改善效果越大。因此，通过高精度滤波器执行判定单元901基于由峰值位置检测单元104计算出的、子像素单位的挪动量进行判定，可以仅在视差计算精度的改善效果大的情况下执行高精度滤波器单元105及峰值位置检测单元106的处理。由此，在视差计算精度的改善效果小的情况下，可以省去高精度滤波器单元105及峰值位置检测单元106，所以可以削减运算量。

[其他实施方式]

(1)在上述各实施方式中，将图像截取单元402和图像截取单元412、滤波单元403和滤波单元413、以及峰值位置检测单元104和峰值位置检测单元106作为单独的功能单元进行了说明。但是，本发明不限于此，也可以将图像截取单元402和图像截取单元412作为单一的功能单元，将滤波单元403和滤波单元413作为单一的功能单元，将峰值位置检测单元104和峰值位置检测单元106作为单一的功能单元。

(2)在上述各实施方式中，步骤S17、步骤S19、步骤S21及步骤S22的处理不限于一次，可以单纯地重复多次，也可以反复进行直至在步骤S22中检测出的子像素单位的挪动量的值为基准值以下。由此，可以进一步提高视差检测精度。该情况下，在第2次以后的步骤S17中，移动了相当于刚刚在步骤S22检测出的子像素单位的挪动量的窗函数被用作子像素单位估计用移动窗函数。

(3)在上述各实施方式中，说明了由图像匹配单元102以‘像素单位’粗略地检测基准图像和参考图像之间的挪动量，然后，由峰值位置检测单元104以‘子像素单位’仔细地检测挪动量的情况。即，说明了以2阶段来计算挪动量的情况。但是，本发明不限于此，也可以适用于不进行以‘像素单位’下的检测，而直接以‘子像素单位’计算挪动量的情况。

(4)在上述各实施方式中，以由硬件构成本发明的情况为例进行了说明，但本发明在与硬件的协作下，也可以由软件实现。

(5)用于上述各实施方式的说明中的各功能块通常被作为集成电路的LSI来实现。这些功能块既可以被单独地集成为单芯片，也可以包含一部分或全部地被集成为单芯片。这里，虽然称为LSI，但根据集成程度，也可以被称为IC、系统LSI、超大LSI(SuperLSI)、或特大LSI(Ultra LSI)。

另外，实现集成电路化的方法不限于LSI，也可使用专用电路或通用处理器来实现。也可以使用可在LSI制造后编程的FPGA(Field ProgrammableGate Array：现场可编程门阵列)，或者可重构LSI内部的电路单元的连接和设定的可重构处理器。

再者，随着半导体的技术进步或随之派生的其它技术的出现，如果出现替代LSI的集成电路化的技术，当然可利用该技术进行功能块的集成化。还存在着适用生物技术等的可能性。

2010年12月20日提交的日本专利申请特愿2010-283622所包含的说明书、附图和摘要的公开内容，都引用于本申请。

工业实用性

本发明的立体图像处理装置及立体图像处理方法，即使对于基线长度方向的图像区域大小小的对象物，也可以作为能够高精度地计算视差的装置和方法而是有用的。

Claims (4)

1.立体图像处理装置，计算构成立体图像的基准图像和参考图像之间的子像素单位的挪动量，包括：

截取装置，将第1窗函数适用于截取对象位置，从所述基准图像中截取子像素估计用单位基准图像，适用所述第1窗函数或所设定的第2窗函数，从所述参考图像中截取子像素估计用单位参考图像；

计算装置，基于由所述截取出的子像素估计用单位基准图像的亮度值构成的数据串、和由所述截取出的子像素估计用单位参考图像的亮度值构成的数据串之间的相位差，计算所述子像素单位的挪动量；以及

窗函数设定装置，基于由所述计算装置计算出的子像素单位的挪动量，对所述截取装置设定通过移动所述第1窗函数形成的所述第2窗函数。

2.权利要求1所述的立体图像处理装置，

所述计算装置通过使所述截取出的子像素估计用单位基准图像的亮度值构成的数据串的数据顺序反转来计算反相滤波器系数，使用所述反相滤波器系数对于由所述子像素估计用单位参考图像的亮度值构成的数据串进行滤波，基于滤波结果的峰值位置来计算所述子像素单位的挪动量。

3.权利要求1所述的立体图像处理装置，还包括：

判定装置，根据基于由所述第1窗函数截取出的子像素估计用单位基准图像及子像素估计用单位参考图像计算出的所述子像素单位的挪动量，判定是否执行所述窗函数设定装置的处理。

4.立体图像处理方法，用于计算构成立体图像的基准图像和参考图像之间的子像素单位的挪动量，包括：

截取步骤，将第1窗函数适用于截取对象位置，从所述基准图像中截取子像素估计用单位基准图像，适用所述第1窗函数或所设定的第2窗函数，从所述参考图像中截取子像素估计用单位参考图像；

计算步骤，基于由所述截取出的子像素估计用单位基准图像的亮度值构成的数据串、和由所述截取出的子像素估计用单位参考图像的亮度值构成的数据串之间的相位差，计算所述子像素单位的挪动量；以及

窗函数设定步骤，基于由所述计算步骤计算出的子像素单位的挪动量，通过移动所述第1窗函数而形成并设定所述第2窗函数。

Images