CN102113013A

CN102113013A - 视差检测装置、测距装置及视差检测方法

Info

Publication number: CN102113013A
Application number: CN201080002259XA
Authority: CN
Inventors: 大山一朗
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2009-07-22
Filing date: 2010-07-13
Publication date: 2011-06-29
Also published as: US8723926B2; WO2011010438A1; JP4782899B2; JPWO2011010438A1; US20110157320A1

Abstract

目的在于，提供视差检测装置(3)等，即使在使用透镜的解析度比摄像元件的像素间距低的照相机的情况下，也能够抑制视差检测误差。一种视差检测装置(3)，计算多个光学系统间产生的视差，该视差检测装置具备：PSF相同化部(5)，对从多个光学系统的各个光学系统得到的多个图像中的至少一个图像进行校正，以使多个光学系统的点像分布与规定的光学系统的点像分布相同；以及视差计算部(9)，利用由PSF相同化部(5)进行了校正的图像，计算多个光学系统间产生的视差。

Description

视差检测装置、测距装置及视差检测方法

技术领域

本发明涉及计算多个光学系统间产生的视差的视差检测装置等。

背景技术

近年来，希望高精度地测量从规定的位置到对象物的距离、或对象物的三维位置，这种要求日益提高。例如，在汽车的视野支援中提出了以下方法，即：通过不仅显示由安装在汽车上的照相机(camera)拍摄的周围的物体的影像，而且还同时显示由测距装置测量的物体与汽车之间的正确的距离信息，从而更加可靠地避免汽车与周围的物体之间的碰撞。另外，在便携式电话或电视机等中，为了更加忠实地再现影像的身临其境的感觉，希望有立体影像的输入输出装置。在这些用途中，希望使测距装置的测距精度高精度化。

作为测量到对象物的距离、或测量对象物的三维位置的方式，以往利用立体测距方式，该立体测距方式利用了三角测量的原理。在立体测距方式中，根据多个照相机间产生的视差来计算到对象物的距离。

图1是说明利用照相机a及照相机b这两个照相机的情况下的、基于立体测距方式来计算到对象物的距离的例子的图。对象物100的光线101a或101b经由照相机a的透镜102a的光学中心105a、或照相机b的透镜102b的光学中心105b，成像于摄像区域104a或104b。光轴103a及103b表示各照相机的光轴。此时，例如对象物100通过照相机a在从摄像区域104a与光轴103a的交点106a离开Pa的成像位置107a处成像，通过照相机b在从摄像区域104b上的摄像区域104b与光轴103b的交点106b离开Pb的成像位置107b处成像，在这种情况下，在照相机a与照相机b之间产生视差P(＝Pb-Pa)。该视差P按照测距装置与对象物距离的距离D变化。如果照相机a的光轴103a与照相机b的光轴103b平行，且其间隔为基线长度B，且设照相机a及照相机b的焦距都为焦距f，则到对象物的距离D由(式1)表示。因此，如果通过事先的校准处理等已知基线长度B及焦距f，则通过求出视差P，能够计算到对象物100的距离D。

[数学式1]

D = f \frac{B}{P}

…(式1)

其中，在实际的环境中照相机a与照相机b的光轴不相互平行的情况很多。因此，例如进行如非专利文献1所示的平行化处理。结果，已知能够制作光轴平行的图像，并利用上述运算来计算距离D。

摄像区域104a及104b通常由CCD(Charge Coupled Device：电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等的摄像元件构成。因此，由于利用在二维平面上被离散化的对象物像的亮度信号来计算视差P，因此通常其视差检测分辨率为一个像素。按照(式1)的关系，根据视差检测分辨率来决定测距分辨率(以下记做测距精度)。

说明以往的视差检测装置中视差P的具体检测方法的例子。视差检测装置为，对于在照相机a的摄像区域104a中取入的图像a和在照相机b的摄像区域104b中取入的图像b，计算各图像的每个小区域的相关值即SAD(Sum of Absolute Difference：差分绝对值总和)。然后，视差检测装置利用计算出的相关值来计算图像a与图像b之间的每个小区域的图像的偏差、即视差P。其中，SAD是相关值的一个例子，视差检测装置也可以利用公知的SSD(Sum of Squared Difference：差分平方总和)或NCC(Normalized Cross-Correlation：归一化互相关)等作为相关值。

以下，参照图2至图5来说明利用作为代表性相关值的SAD的视差计算。

图2是说明图像中的各像素的亮度的表现方法的图。如图2所示，“0”表示黑，“15”表示白，各像素的亮度的等级由线的密度来表现。其中，亮度也可以成为小数点以下的值。

图3A是表示从对象物侧观察所成像的对象物的纹理的图像a的一部分的图。图3B是表示从对象物侧观察所成像的对象物的纹理的图像b的一部分的图。

图3B的由粗线包围的图像块201b在对象物位于无限远时，成像出与图3A的由粗线包围的图像块201a相同的图像。在对象物位于有限的距离的情况下，如图3A及图3B所示，由于产生视差，所以图3B的图像相对于图3A的图像在右侧成像。在此，说明图3A与图3B具有3.6个像素的实际视差的情况。视差检测装置为了搜索与图像块201a相关最高的图像区域，预先将图像块201b从图3B的粗线的位置向右方向依次偏移1个像素，按照每个偏移量来根据(式2)计算SAD。

[数学式2]

SAD = Σ | Ia (i, j) - Ib (i, j) |

…(式2)

在此，Ia、Ib表示各图像块内的亮度值，i、j表示各图像块内的局部地址。图像块201a及图像块201b的图像尺寸相同。视差检测装置按照每个偏移量来计算两图像块的相同地址的亮度差分的绝对值的块内总和。图像块的形状也可以是长方形或对应于纹理的特征的形状，在此说明是正方形的图像块的情况。

图4是表示使图像块201b依次移动一个像素时的SAD的推移的图。在偏移量为4个像素的情况下SAD成为最小，所以可以认为图像块201a与图像块201b之间的相关最高。因此，图像块201a中的照相机a与照相机b的视差计算为4个像素。另外，通过对计算出的视差乘以图像间距尺寸来求出(式1)的视差P，计算到对象物的距离D。此时，视差检测装置虽然能够求出与实际的视差3.6个像素接近的视差，但由于视差的检测精度为一个像素，所以无法以小数点以下的像素的精度求出视差(以下称为亚像素视差)。

作为不是以一个像素为单位而是以更高精度求出测距精度即视差检测分辨率的方法，提出了推测亚像素等级视差的方法(例如参照专利文献1)。例如，在称作等角直线拟合的亚像素视差推测方法中，通过如图5所示假设SAD的推移以实际视差为基准在左右为相同的倾角θ，从而通过一次线性插补来以亚像素等级推测实际视差。等角直线拟合的亚像素视差计算式即插补式如(式3)所示。

[数学式3]

P＝Pmin+d …(式3)

·R(1)＜R(-1)时

d = 0.5 \frac{R (1) - R (- 1)}{R (0) - R (- 1)}

·否则

d = 0.5 \frac{R (1) - R (- 1)}{R (0) - R (1)}

在此，设P为亚像素视差，Pmin为SAD成为最小的偏移量(整数视差)，R(0)为SAD成为最小的偏移量处的相关值(SAD)，其相邻的偏移量处的SAD为R(-1)、R(1)。

另外，还提出了通过二次函数等高次的线性函数或非线性函数来插补运算实际视差的方法。尤其是在如图3A及图3B所示的亮度以一次函数的方式变化的对象物的情况下，如图4所示，SAD的推移以实际视差为基准而对称，且SAD以一次直线的方式推移。因此，视差检测装置通过利用等角直线拟合来进行亚像素视差推测，能够正确地求出视差3.6个像素。

专利文献1：日本特开2000-283753号公报

非专利文献1：徐刚、辻三郎著，《3次元ビジョン(三维视觉)》，共立出版，pp96-99，2002年9月25日出版

在利用多个照相机进行立体测距时，例如基于以降低成本或降低高度(低背化)为目的而减少透镜组的片数等理由、或其他有意为之的理由，有时使用透镜的解析度比摄像元件的像素间距低的照相机。在这种情况下，存在立体测距中的视差检测误差变大的问题。

发明内容

因此，本发明为了解决上述问题而做成，其目的在于，提供一种视差检测装置，即使在使用透镜的解析度比摄像元件的像素间距低的照相机的情况下，也能够抑制视差检测误差。

为了达到上述目的，作为本发明的一个方式的视差检测装置计算多个光学系统间产生的视差，该视差检测装置具备：点像分布相同化部，对从上述多个光学系统的各个光学系统得到的多个图像中的至少一个图像进行校正，以使上述多个光学系统的点像分布与规定的光学系统的点像分布相同；以及视差计算部，利用由上述点像分布相同化部进行了校正的图像，计算上述多个光学系统间产生的视差。

由此，能够校正图像以使不同的照相机的图像间的像差分布的差异变小，因此即使在使用透镜的解析度比摄像元件的像素间距低的照相机的情况下，也能够抑制视差检测误差。

另外，优选上述点像分布相同化部具有：频域变换部，将上述多个图像中的至少一个图像从空间域变换至频域；点像分布变换部，通过使校正数据作用于由上述频域变换部变换至频域的图像，从而校正该图像以使上述多个光学系统的点像分布与上述规定的光学系统的点像分布相同；以及空间域变换部，把由上述点像分布变换部进行了校正的图像从频域逆变换至空间域；上述视差计算部利用由上述空间域变换部进行了逆变换的图像，计算上述视差，上述校正数据是第一光学传递函数除以第二光学传递函数所得到的数据或与其相当的数据，该第二光学传递函数是得到由该校正数据作用的图像的光学系统的光学传递函数。

另外，优选上述点像分布变换部通过在由上述频域变换部变换至频域的图像上乘以上述校正数据，从而对图像进行校正。

由此，能够在从空间域变换至频域变换的图像中进行校正，因此能够有效地对图像进行校正。进而，能够利用光学传递函数来缩小不同的照相机的图像间的像差分布的差异，因此能够进一步抑制视差检测误差。即，能够进一步提高立体照相机的测距精度。

另外，优选上述第一光学传递函数是上述多个光学系统之中作为基准的一个光学系统的光学传递函数。

由此，能够进一步提高立体照相机的测距精度，并且不需要对作为基准的光学系统的像差分布进行校正，因此能够缩短运算时间。

另外，优选上述第一光学传递函数是下述比率比得到由上述点像分布相同化部进行校正的图像的光学系统的光学传递系数中的该比率大的光学传递函数，上述比率为第二空间频率上的值的大小与第一空间频率上的值的大小的比率，该第二空间频率比上述第一空间频率高。

由此，能够进一步提高立体照相机的测距精度，并且能够提高摄影图像的解析度，因此能够与测距数据一起输出高解析度的图像。

另外，优选上述第一光学传递函数为各空间频率上的值的大小大致相同。

由此，能够进一步提高立体照相机的测距精度，并且能够进一步提高摄影图像的解析度，因此能够与测距数据一起输出解析度更高的图像。

另外，优选还具备校正数据生成部，该校正数据生成部生成用第一光学传递函数除以第二光学传递函数的数据或与其相当的数据，来作为校正数据，该第二光学传递函数是得到由上述点像分布相同化部进行了校正的图像的光学系统的光学传递函数，上述点像分布变换部使由上述校正数据生成部生成的校正数据作用于由上述频域变换部变换至频域的图像。

由此，能够生成校正数据，因此即使在光学系统的点像分布发生了变化的情况下，也能够生成与变化后的点像分布对应的校正数据。

另外，优选上述规定的光学系统的点像分布为上述多个光学系统之中作为基准的一个光学系统的点像分布。

由此，无需校正从作为基准的光学系统得到的图像，因此能够缩短点像分布的相同化所需的运算时间。

另外，作为本发明的一个方式的测距装置具备上述视差检测装置、以及利用由上述视差检测装置检测出的视差来计算到对象物的距离的距离计算部。

由此，能够抑制视差检测误差，因此能够提高立体测距的测距精度。

另外，本发明不仅能够作为如上所述的视差检测装置来实现，而且也能够作为以像这样的视差检测装置所具备的特征性结构部的动作为步骤的视差检测方法来实现。进而，本发明也可以作为使具有处理器及存储器的计算机执行视差检测方式所包括的步骤的程序来实现。而且，这样的程序显然可以通过CD-ROM等记录介质或互联网等传输媒体来分发。

发明效果

根据本发明，能够缩小不同的照相机的图像间的像差分布的差异，因此能够缩小由不同的照相机拍摄相同被摄体时的图像间的变形的差。因此，即使在使用透镜的解析度比摄像元件的像素间距低的照相机的情况下，也能够抑制视差检测误差。

附图说明

图1是以往的立体测距原理的说明图。

图2是以往的图像的亮度的表现方法的说明图。

图3A是以往的视差计算运算的说明图。

图3B是以往的视差计算运算的说明图。

图4是说明以往的视差计算运算的图。

图5是以往的亚像素视差计算运算的说明图。

图6是透镜的偏心的说明图。

图7是透镜的倾斜的说明图。

图8是透镜的后焦点量的说明图。

图9A是透镜的偏心的说明图。

图9B是透镜的偏心的说明图。

图10A是表示各光学系统的点像分布的图。

图10B是表示各光学系统的点像分布的图。

图11A是表示被摄体的图。

图11B是表示被摄体的图。

图12A是表示测距误差大的区域的图。

图12B是表示测距误差大的区域的图。

图13A是透镜的偏心的说明图。

图13B是透镜的偏心的说明图。

图14A是表示校正后的点像分布的图。

图14B是表示校正后的点像分布的图。

图15A是本发明的实施方式1所涉及的测距系统的结构图。

图15B是表示本发明的实施方式1所涉及的视差检测装置中计算视差的处理的流程的流程图。

图16是说明本发明的实施方式1所涉及的被摄体与被拍摄的被摄体像的像差分布的关系性的图。

图17A是本发明的实施方式1所涉及的第一光学系统中的透镜的偏心的说明图。

图17B是本发明的实施方式1所涉及的第二光学系统中的透镜的偏心的说明图。

图18A是表示本发明的实施方式1所涉及的第一光学系统的点像分布的图。

图18B是表示本发明的实施方式1所涉及的第二光学系统的点像分布的图。

图19A是表示本发明的实施方式1所涉及的第一光学系统的点像分布的图。

图19B是表示本发明的实施方式1所涉及的第二光学系统的校正后的点像分布的图。

图20是表示本发明的实施方式1的变形例所涉及的校正数据的计算的处理及点像分布的相同化的处理中的区域分割的一个例子的图。

图21是本发明的实施方式1的变形例所涉及的测距系统的结构图。

图22是表示本发明的实施方式2所涉及的模型照相机的点像分布的图。

图23A是表示本发明的实施方式2所涉及的第一光学系统的校正后的点像分布的图。

图23B是表示本发明的实施方式2所涉及的第二光学系统的校正后的点像分布的图。

具体实施方式

在利用多个照相机进行立体测距时，例如基于以降低成本或降低高度为目的而减少透镜组的片数等理由、或其他有意为之的理由，有时使用透镜的解析度比摄像元件的像素间距低的照相机。此时，如果透镜的偏心量或倾斜量等在照相机间不同，则照相机之间的图像的像差分布的差异也变大。像这样，在像差分布的差异大的情况下，由不同的照相机拍摄相同被摄体时的图像间的变形的差变大，因此视差检测误差变大。

在此，所谓偏心，如图6所示表示透镜的一面侧的光轴C1与另一面的光轴C2之间的偏差D。在透镜组的情况下，透镜间的光轴的偏差量也称为偏心。

另外，如图7所示，在照相机a的透镜的倾斜量与照相机b的透镜的倾斜量的差异Td(＝Ta-Tb)大的情况下，或者如图8所示照相机a的后焦点量与照相机b的后焦点量的差异Bf(＝Ba-Bb)大的情况下，都由于照相机间的像差分布的差异大，因而视差检测误差变大。

例如图9A及图9B所示，在图1的照相机a的透镜102a的一面侧的偏心Da与照相机b的透镜102b的偏心Db在摄像元件的水平方向上分别发生在反方向上的情况下，照相机a的点像分布(PSF：Point SpreadFunction)例如成为图10A所示，照相机b的点像分布例如成为图10B所示。

在此，所谓点像分布，也称为点扩散函数或点像分布函数，指的是用照相机拍摄非常小的点光源时的摄影像的情况，表示照相机的光学系统的像差分布(模糊程度)。

在利用存在图10A及图10B所示的像差分布的差异的光学系统，对例如图11A或图11B的被摄体进行测距的情况下，作为实验结果，得知图12A或图12B的斜线区域的测距精度比其他区域大幅下降。图12A及图12B中测距精度下降的区域的分布根据照相机的光学设计、或图像的每个区域的点像分布的不同而变化。在此，示出光学系统由单透镜构成，光学设计为焦距2mm、半视场角30度、F值2.8，像素间距为2μm、偏心Da及Db为5μm左右的情况下的测距结果的一个例子。图12A及图12B的斜线区域大致示出发生大约一个像素以上的视差检测误差(测距误差)的区域。另外，光学系统间的距离设为2.8mm。

另一方面，如图13A及图13B所示，在照相机a的透镜102a的偏心Da与照相机b的透镜102b的偏心Db在摄像元件的水平方向上分别在相同方向上发生发生相同偏心量的情况下，且如图14A及图14B所示照相机a与照相机b的点像分布相同的情况下，在对图11A及图11B的被摄体进行测距时，任一个被摄体都能够在图像整体上得到较高的测距精度。因此，在照相机的像差分布的差异大的情况下，根据图像中的区域不同而测距精度不均匀，或根据被摄体不同而测距精度不均匀。即，在照相机间的像差分布的差异大的情况下，视差检测误差变大。

因此，参照附图说明下述视差检测装置，该视差检测装置即使在由于使用透镜的解析度比摄像元件的像素间距低的照相机而照相机间的像差分布的差异变大的情况下，也能够抑制视差检测误差。

本发明的实施方式1所涉及的视差检测装置在频域上校正从第二光学系统得到的图像，以使第二光学系统的点像分布与第一光学系统的点像分布相同。由此，测距装置即使在照相机间的像差分布的差异大的情况下，也能够实现测距精度的提高。

另外，本发明的实施方式2所涉及的视差检测装置在频域上校正输入图像，以使全部光学系统的点像分布与作为模型的光学系统的点像分布相同。由此，测距装置即使在照相机间的像差分布的差异大的情况下，也能够实现测距精度的提高。

(实施方式1)

首先，说明本发明的实施方式1所涉及的测距系统。

本实施方式所涉及的视差检测装置3校正由照相机2b拍摄的图像，以使照相机2b所具有的第二光学系统的点像分布与照相机2a所具有的第一光学系统的点像分布相同。由此，视差检测装置3能够使视差的计算及测距的精度提高。其中，在本实施方式中，第一光学系统相当于规定的光学系统，而且相当于多个光学系统之中作为基准的一个光学系统。

图15A是表示本发明的实施方式1所涉及的测距系统的结构的图。如图15A所示，测距系统具备测距装置1和PSF校正数据制作装置20。

测距装置1利用第一光学系统与第二光学系统之间产生的视差，测量到对象物的距离、或者对象物的三维位置或形状。测距装置1具备照相机2a及2b、视差检测装置3和距离计算部11。

照相机2a包括第一光学系统和摄像元件，拍摄作为测距的对象的对象物。另外，照相机2b包括第二光学系统和摄像元件，拍摄与照相机2a所拍摄的对象物相同的对象物。

在本实施方式中，第一及第二光学系统由单透镜构成，光学设计为焦距2mm、半视场角30度、F值2.8。另外，偏心在任一光学系统中都存在5μm左右。其中，照相机2a及2b不一定必须如上构成，例如光学系统也可以由多个透镜构成。

距离计算部11利用从视差检测装置3输出的视差，计算到对象物的距离、或者对象物的三维位置或形状。具体而言，距离计算部11例如利用从视差检测装置3输出的视差、以及通过事先的校准处理等已知的基线长度B和焦距f，按照(式1)计算距离D。

视差检测装置3计算在两个照相机2a及2b间产生的视差。具体而言，视差检测装置3取入照相机2a及2b的各自所输出的两个图像，根据取入的两个图像来计算视差。如图15A所示，视差检测装置13具备前处理部4、视差计算部9和后处理部10。

前处理部4校正图像以便容易实施视差的检测。具体而言，前处理部4使用PSF相同化部5，校正照相机2b的图像，以使第一及第二光学系统的点像分布相同。进而，前处理部4对照相机2a的图像以及由PSF相同化部5进行了校正的照相机2b的图像，实施包括平行化处理的校准处理、以及低通滤波处理。

其中，前处理部4不一定必须要按照PSF相同化处理、校准处理以及低通滤波处理的顺序执行处理，也可以按照需要来变更该顺序。

PSF相同化部5相当于点像分布相同化部，进行使从两个照相机输出的两个图像的像差分布充分相同(同等、相似)的处理。具体而言，PSF相同化部5为了使第一及第二光学系统的点像分布相同，而校正从第二光学系统得到的图像。PSF相同化部5具有频域变换部6、PSF变换部7和空间域变换部8。

频域变换部6将从第二光学系统得到的图像从空间域变换到频域。具体而言，频域变换部6将输入的照相机2b的图像fob(i，j)二维傅立叶变换为作为频域数据的校正前复数数据Fob(u，v)。

以下，设二维傅立叶变换的图像的尺寸为垂直方向M像素、水平方向N像素(i＝0，1，2，…，M-1，j＝0，1，2，…，N-1，u＝0，1，2，…，M-1，v＝0，1，2，…，N-1)来进行说明。

PSF变换部7相当于点像分布变换部，通过使校正数据作用于由频域变换部6变换至频域的图像，从而进行校正以使第一及第二光学系统的点像分布相同。具体而言，PSF变换部7使校正数据Fc(u，v)作用于校正前复数数据Fob(u，v)，输出校正后复数数据Fob’(u，v)。

在此，校正数据Fc(u，v)是用作为基准的光学系统即第一光学系统的第一光学传递函数除以得到由该校正数据作用的图像的光学系统(第二光学系统)的光学传递函数即第二光学传递函数而得到的数据、或与其相当的数据。

PSF变换部7及校正数据的详细情况留待后述。

空间域变换部8把由PSF变换部7进行了校正的图像从频域逆变换至空间域。具体而言，空间域变换部8对校正后复数数据Fob’(u，v)进行二维逆傅立叶变换，输出PSF校正后图像fcb(i，j)。

视差计算部9根据从前处理部4输出的照相机2a及照相机2b的前处理后图像，利用上述相关值SAD等来计算图像间的视差。

后处理部10对视差计算部9计算出的视差，进行视差量的校正及输出格式的调整等后处理，输出视差的计算结果。具体而言，后处理部10例如利用中值滤波器等，去除由视差计算部9计算出的视差的噪声。另外，后处理部10例如把由视差计算部9计算出的视差的单位从像度进行单位变换为毫米。

PSF校正数据制作装置20生成用第一光学传递函数除以得到由PSF相同化部5校正的图像的光学系统的光学传递函数即第二光学传递函数而得到的数据、或与其相当的数据，来作为校正数据。例如，PSF校正数据制作装置20在工厂出厂时等用户使用测距装置1之前，事先计算PSF变换部7中使用的校正数据Fc(u，v)。如图15A所示，PSF校正数据制作装置20具备校正数据计算前处理部21、频域变换部22、校正数据计算部23和校正数据计算后处理部24。

校正数据计算前处理部21从照相机2a及照相机2b获得第一及第二光学系统的点像分布。然后，校正数据计算前处理部21在所获得的点像分布中，进行明亮度调整等前处理。其中，第一及第二光学系统的点像分布例如通过照相机2a及2b各自拍摄非常小的点光源而得到。

频域变换部22把由校正数据计算前处理部21进行了前处理的第一及第二光学系统的点像分布从空间域变换为频域。即，频域变换部22将第一光学系统的点像分布变换为第一光学传递函数，将第二光学系统的点像分布变换为第二光学传递函数。

校正数据计算部23计算用作为基准的光学系统即第一光学系统的第一光学传递函数除以第二光学系统的第二光学传递函数所得到的数据或与其相当的数据，来作为校正数据。

校正数据计算后处理部24进行由校正数据计算部23计算出的校正数据的噪声去除或输出格式的调整等。

接下来，说明上述构成的测距系统的动作。

首先，前处理部4获得由照相机2a及2b拍摄的图像(步骤S101)。接着，PSF相同化部5在获得的图像之中，选择除了具有作为基准的光学系统的照相机2a以外的照相机即照相机2b所拍摄的图像，频域变换部6将选择的图像从空间域变换至频域(步骤S102)。

接着，PSF变换部7通过使校正数据作用于被变换至频域的图像，从而对图像进行校正以使第一及第二光学系统的点像分布相同(步骤S103)。具体而言，PSF变换部7通过将变换至频域的图像与校正数据相乘，从而校正被变换至频域的照相机2b的图像。

然后，空间域变换部8将校正了的图像从频域逆变换至空间域(步骤S104)。进而，前处理部4对被逆变换的图像、以及在步骤S102中未选择的由照相机2a拍摄的图像，实施包括平行化处理的校准处理及低通滤波处理等前处理(步骤S105)。

接下来，视差计算部9利用在步骤S106中实施了前处理的图像，计算视差(步骤S106)。具体而言，视差计算部9在实施了前处理的、照相机2a的图像和照相机2b的图像中，计算表示各图像的每个小区域的类似度的相关值。然后，视差计算部9利用计算出的相关值来计算图像间的每个小区域的偏差量来作为视差。

最后，后处理部10进行计算出的视差的噪声去除及输出格式的调整等后处理(步骤S107)。

像这样，视差检测装置3利用对两个照相机2a及2b的光学系统的点像分布进行了相同化而得到的图像，计算光学系统间产生的视差。

接下来，下面详细说明测距系统的具体例。

首先，说明PSF校正数据制作装置20的校正数据Fc(u，v)的计算原理及计算方法。

图16是说明被摄体与被拍摄的被摄体像的像差分布的关系性的图。如图16所示，将对原来的被摄体像51(等价于由无像差的理想透镜拍摄的被摄体像)进行了二维傅立叶变换之后的数据记做Fi(u，v)。另外，将对经由照相机的光学系统而成像在摄像元件上的被摄体像52进行了二维傅立叶变换之后的数据记做Fo(u，v)。另外，将对照相机的光学系统的点像分布53进行了二维傅立叶变换而得到的光学传递函数(OTF：Optical TransferFuntion)记做Fp(u，v)。此时，如果假设作为复数的Fi(u，v)、Fo(u，v)及Fp(u，v)以分别相同的采样间隔对像进行二维傅立叶变换，则(式4)的关系成立。

[数学式4]

Fo(u，v)＝Fi(u，v)·Fp(u，v)

(u＝0，1，2，…M-1、v＝0，1，2，…N-1) …(式4)

其中，二维傅立叶变换利用图像数据f(i，j)和频域的复数数据F(u，v)，如(式5)所示。

[数学式5]

F (u, v) = Σ_{i = 0}^{M - 1} Σ_{j = 0}^{N - 1} f (i, j) e^{- 2 πi (\frac{ui}{M} + \frac{vj}{N})}

…(式5)

二维傅立叶变换显然也可以利用FFT(快速傅立叶变换：Fast FourierTransformation)等快速运算方法来计算。

在图15A的本实施方式所涉及的测距装置1中，照相机2a所具有的第一光学系统与照相机2b所具有的第二光学系统如图17A及图17B所示，偏心的方向不同。因此，第一及第二光学系统的点像分布相互不同。

图18A是表示照相机2a所具有的第一光学系统的点像分布(PSF)的图。另外，图18B是表示照相机2b所具有的第二光学系统的点像分布(PSF)的图。频域变换部22对图18A及图18B的点像分布分别进行二维傅立叶变换。结果，频率变换部22输出照相机2a所具有的第一光学系统的OTF(第一光学传递函数)即Fpa(u，v)、以及照相机2b所包含的第二光学系统的OTF(第二光学传递函数)即Fpb(u，v)。其中，由照相机2a及照相机2b拍摄的图像的像差分布(模糊程度)不同，因此Fpa(u，v)与Fpb(u，v)不同。

接下来，校正数据计算部23计算用于使照相机2b的图像的像差分布与照相机2a的图像的像差分布相同的校正数据。

在此，如果考虑(式4)的关系式，校正后复数数据Fob’利用照相机2b的被摄体拍摄图像的二维傅立叶变换后的校正前复数数据Fob(u，v)，如(式6)所示。

[数学式6]

{Fob}^{'} (u, v) = Fob (u, v) \cdot \frac{Fpq (u, v)}{Fpb (u, v)}

…(式6)

(u＝0，1，2，…M-1、v＝0，1，2，…N-1)

视差检测装置3通过对按照(式6)计算的校正后复数数据Fob’(u，v)进行二维逆傅立叶变换，从而能够使照相机2b的图像的像差分布与照相机2a的图像的像差分布相同。二维逆傅立叶变换如果设复数数据为F(u，v)并设图像数据为f(i，j)，则如(式7)所示。

[数学式7]

f (i, j) = \frac{1}{MN} Σ_{u = 0}^{M - 1} Σ_{v = 0}^{N - 1} F (u, v) e^{2 πi (\frac{ui}{M} + \frac{vj}{N})}

…(式7)

其中，二维逆傅立叶变换也与(式5)所示的二维傅立叶变换相同，显然也可以利用快速运算方法来计算。

图19B是表示利用(式6)对图18B的照相机2b的第二光学系统的点像分布进行校正之后的点像分布的图。图19B的图像成为与图19A所示的照相机2a的第一光学系统的点像分布相同的图像。

校正数据计算部23根据(式6)，如(式8)所示计算用于使照相机2b的图像的像差分布与照相机2a的图像的像差分布相同的校正数据Fc(u，v)。

[数学式8]

Fc (u, v) = \frac{Fpa (u, v)}{Fpb (u, v)}

…(式8)

(u＝0，1，2，…M-1、v＝0，1，2，…N-1)

即，校正数据计算部23计算用作为基准的光学系统即第一光学系统的第一光学传递函数除以得到由PSF相同化部5校正的图像的光学系统即第二光学系统的第二光学传递函数而得到的数据，来作为校正数据。

其中，根据光学设计的情况，有时Fpb(u，v)的尤其是空间频率高的区域的复数(频率成分)的大小为零或为接近于零的值。此时，由于由摄像元件引起的噪声的不良影响也产生作用，有时Fc(u，v)的值成为不适当的值。此时，例如校正数据计算部23也可以利用减轻由除零等引起的校正数据Fc(u，v)的值的发散的维纳滤波器、或利用贝叶斯理论等的统计方法，来计算校正数据Fc(u，v)。即，校正数据计算部23也可以计算相当于用第一光学传递函数除以第二光学传递函数而得到的数据的数据，来作为校正数据。由此，校正数据Fc(u，v)不容易出现不适当的值。

接着，校正数据计算后处理部24进行校正数据Fc(u，v)的修正或输出格式的调整等。PSF变换部7利用从校正数据计算后处理部24输出的校正数据Fc(u，v)来校正图像。

根据上述原理及方法，PSF校正数据制作装置20根据照相机2a及照相机2b的点像分布(PSF)，计算校正数据Fc(u，v)。

其中，在由于视场角不同而点像分布大为不同的情况下，PSF校正数据制作装置20也可以按照图像中的每个区域来计算校正数据Fc(u，v)。具体而言，PSF校正数据制作装置20例如也可以如图20所示将图像分割为多个区域61～69，按照每个分割的区域来求出点像分布，并计算每个区域的校正数据Fc(u，v)。

接下来，进行PSF变换部7的详细说明。

在PSF变换部7中，输入由频域变换部6对照相机2b的图像fob(i，j)进行二维傅立叶变换而得到的校正前复数数据Fob(u，v)。PSF变换部7利用由PSF校正数据制作装置20预先计算的校正数据Fc(u，v)，根据(式9)计算校正后复数数据Fob’(u，v)。

[数学式9]

Fob′(u，v)＝Fc(u，v)·Fob(u，v)

(u＝0，1，2，…M-1、v＝0，1，2，…N-1) …(式9)

空间域变换部8对由PSF变换部7进行了校正的校正后复数数据Fob’(u，v)进行二维逆傅立叶变换。由此，PSF相同化部5能够生成与照相机2a的图像的像差分布充分相同(同等、相似)的照相机2b的校正后的图像。即，利用与从点像分布相同的光学系统得到的图像同等的图像，进行视差的计算处理等。

其中，例如在如图20所示按照图像中的每个区域计算校正数据Fc(u，v)的情况下，PSF变换部7同样按照图像中的每个区域计算照相机2b的校正后复数数据Fob’。

校正数据Fc(u，v)例如在闪存(flash)ROM等存储部中存储为表即可。另外，校正数据Fc(u，v)也可以作为表示校正数据Fc(u，v)的近似函数存储在存储部中。即，校正数据Fc(u，v)按照与装置对应的方法来存储即可。

如上所述，根据本发明的实施方式1，能够缩小不同的照相机的图像间的像差分布的差异，因此由不同的照相机拍摄相同被摄体的情况下的图像间的变形的差变小，能够抑制视差检测误差。即，即使在由于使用透镜的解析度比摄像元件的像素间距低的照相机而照相机间的像差分布的差异变大的情况下，也能够提高立体测距的测距精度。

另外，在实施方式1中，由于不需要实施作为基准的照相机(在此为照相机2a)的像差分布的校正运算，因此能够进行高速的处理运算。

另外，本发明的实施方式1显然也可以适用于如图21所示的具有三个以上的照相机的测距装置(三眼以上的所谓多视角立体)。此时，视差检测装置对由三个以上的照相机之中的除了作为基准的照相机(例如照相机2a)以外的照相机(例如照相机2b及2c)拍摄的图像，通过与使上述照相机2b的第二光学系统的点像分布与照相机2a的第一光学系统的点像分布相同的方法相同的方法来进行校正。由此，视差检测装置能够使各照相机的光学系统的点像分布与作为基准的照相机的光学系统的点像分布相同。即，视差检测装置能够缩小全部照相机的图像间的视差分布的差异，能够抑制视差检测误差。

(实施方式2)

接下来，说明本发明的实施方式2。

本实施方式所涉及的测距系统的结构与图15A的实施方式1所涉及的测距系统相同，因此省略图示。在本实施方式中，PSF校正数据制作装置20及PSF相同化部5的内部处理与实施方式1不同。因此，以下仅说明PSF校正数据制作装置20及PSF相同化部5的处理。

本实施方式所涉及的视差检测装置对全部的照相机的图像进行校正，以使全部的照相机的光学系统的点像分布与作为模型的照相机(以下简称为“模型照相机”)的光学系统的点像分布fps(i，j)相同。由此，视差检测装置能够使不同的照相机的点像分布相同来提高视差及测距的精度。另外，在本实施方式中，模型照相机的光学系统相当于规定的光学系统。

在本实施方式中，PSF校正数据制作装置20计算用于使三个照相机2a、2b及2c的光学系统的三个点像分布(PSF)与模型照相机的光学系统的点像分布(PSF)充分相同(同等、相似)的校正数据Fca(u，v)及Fcb(u，v)。与实施方式1相同，照相机2a的第一光学系统的点像分布为图18A所示的点像分布，照相机2b的第二光学系统的点像分布为图18B所示的点像分布。

校正数据计算前处理部21对第一及第二光学系统的点像分布进行明亮度调整等前处理。

频域变换部22对由校正数据计算前处理部21进行了前处理的点像分布分别进行二维傅立叶变换。结果，频域变换部22计算照相机2a的OTF作为Fpa(u，v)，计算照相机2b的OTF作为Fpb(u，v)。照相机2a和照相机2b的光学系统如图17A及图17B所示，由于偏心的方向不同，因而点像分布不同。因此，图像的像差分布(模糊程度)不同，所以Fpa(u，v)与Fpb(u，v)相互不同。

图22是表示模型照相机的点像分布fps(i，j)的图。对该点像分布fps(i，j)进行二维傅立叶变换而得到的数据是光学传递函数Fps(u，v)。

校正数据计算部23计算用于使照相机2a、照相机2b的图像的像差分布与模型照相机的像差分布相同的校正数据。在此，如果考虑(式4)的关系式，则校正后复数数据Foa’(u，v)及Fob’(u，v)利用照相机2a及照相机2b的被摄体拍摄图像的二维傅立叶变换后的校正前复数数据Foa(u，v)及Fob(u，v)，如(式10)及(式11)所示。

[数学式10]

{Foa}^{'} (u, v) = Foa (u, v) \cdot \frac{Fps (u, v)}{Fpa (u, v)}

…(式10)

(u＝0，1，2，…M-1、v＝0，1，2，…N-1)

[数学式11]

{Fob}^{'} (u, v) = Fob (u, v) \cdot \frac{Fps (u, v)}{Fpb (u, v)}

…(式11)

(u＝0，1，2，…M-1、v＝0，1，2，…N-1)

视差检测装置3通过对根据(式10)及(式11)计算的校正后复数数据Foa’(u，v)及Fob’(u，v)进行二维逆傅立叶变换，从而能够使照相机2a及照相机2b的图像的像差分布与模型照相机的像差分布相同。

图23A及图23B是表示利用(式10)及(式11)对图18A及图18B的照相机2a及照相机2b的光学系统的点像分布进行了校正的图像的图。图23A及图23B的图像成为与图22所示的模型照相机的点像分布相同的图像。

校正数据计算部23根据(式10)及(式11)，如(式12)及(式13)那样计算用于使照相机2a及照相机2b的图像的像差分布与模型照相机的像差分布相同的校正数据Fca(u，v)及Fcb(u，v)。

[数学式12]

Fca (u, v) = \frac{Fps (u, v)}{Fpa (u, v)}

…(式12)

(u＝0，1，2，…M-1、v＝0，1，2，…N-1)

[数学式13]

Fcb (u, v) = \frac{Fps (u, v)}{Fpb (u, v)}

…(式13)

(u＝0，1，2，…M-1、v＝0，1，2，…N-1)

即，校正数据计算部23计算用作为模型的光学系统的光学传递函数除以得到由PSF相同化部5校正的图像的光学系统即第一或第二光学系统的光学传递函数而得到的数据，来作为第一或第二光学系统的校正数据。

其中，根据光学设计的情况，有时Fpa(u，v)及Fpb(u，v)的尤其是空间频率高的区域的复数的大小为零或为接近于零的值。此时，由于由摄像元件引起的噪声的不良影响也产生作用，有时Fca(u，v)及Fcb(u，v)的值成为不适当的值。此时，例如校正数据计算部23也可以利用减轻由除零等引起的校正数据Fca(u，v)及Fcb(u，v)的值的发散的维纳滤波器、或利用贝叶斯理论等的统计方法，来计算校正数据Fca(u，v)及Fcb(u，v)。即，校正数据计算部23也可以计算相当于用作为模型的光学系统的光学传递函数除以第一或第二光学系统的光学传递函数而得到的数据的数据，来作为第一或第二光学系统的校正数据。由此，校正数据Fca(u，v)及Fcb(u，v)不容易出现不适当的值。

校正数据计算后处理部24进行校正数据Fca(u，v)及Fcb(u，v)的修正或输出格式的调整等。PSF变换部7利用从校正数据计算后处理部24输出的校正数据Fca(u，v)及Fcb(u，v)来校正图像。

根据上述方法，PSF校正数据制作装置20根据模型照相机、照相机2a及照相机2b的点像分布(PSF)，计算校正数据Fca(u，v)及Fcb(u，v)。

其中，在由于视场角不同而点像分布大为不同的情况下，也可以与实施方式1相同，PSF校正数据制作装置20按照图像中的每个区域来计算校正数据Fca(u，v)及Fcb(u，v)。具体而言，PSF校正数据制作装置20例如也可以如图20所示将图像分割为多个区域61～69，按照每个分割的区域来求出点像分布，并计算每个区域的校正数据Fca(u，v)及Fcb(u，v)。

接下来，说明PSF相同化部5。

在PSF变换部7中，输入由频域变换部6对照相机2a的图像foa(i，j)及照相机2b的图像fob(i，j)进行二维傅立叶变换而得到的校正前复数数据Foa(u，v)及Fob(u，v)。PSF变换部7利用由PSF校正数据制作装置20预先计算的校正数据Fca(u，v)及Fcb(u，v)，根据(式14)及(式15)计算校正后复数数据Foa’(u，v)及Fob’(u，v)。

[数学式14]

Foa′(u，v)＝Fca(u，v)·Foa(u，v)

(u＝0，1，2，…M-1、v＝0，1，2，…N-1) …(式14)

[数学式15]

Fob′(u，v)＝Fcb(u，v)·Fob(u，v)

(u＝0，1，2，…M-1、v＝0，1，2，…N-1) …(式15)

空间域变换部8对由PSF变换部7进行了校正的校正后复数数据Foa’(u，v)及Fob’(u，v)进行逆傅立叶变换。由此，PSF相同化部5能够生成与模型照相机的像差分布充分相同(同等、相似)的照相机2a及照相机2b的校正后的图像。即，利用与从点像分布相同的光学系统得到的图像同等的图像，进行视差的计算处理等。

其中，例如在如图20所示按照图像中的每个区域计算校正数据Fca(u，v)及Fcb(u，v)的情况下，PSF变换部7同样按照图像中的每个区域计算照相机2a及照相机2b的校正后复数数据Foa’和Fob’。

校正数据Fca(u，v)及Fcb(u，v)例如在闪存(flash)ROM等存储部中存储为表即可。另外，校正数据Fca(u，v)或Fcb(u，v)也可以作为表示校正数据Fca(u，v)或Fcb(u，v)的近似函数存储在存储部中。即，校正数据Fca(u，v)或Fcb(u，v)按照与装置对应的方法来存储即可。

如上所述，根据本发明的实施方式2，能够缩小不同的照相机的图像间的像差分布的差异，因此由不同的照相机拍摄相同被摄体的情况下的图像间的变形的差变小，能够抑制视差检测误差。即，能够提高立体照相机的测距精度。

另外，在本实施方式中，优选模型照相机的解析度特性比实际的照相机(在此为照相机2a、2b)好。由此，测距装置1或视差检测装置3能够生成解析度比拍摄图像高的校正后的图像，能够与测距数据一起输出高解析度的图像。

换言之，优选模型照相机的光学系统的光学传递函数比第一及第二光学传递函数更加显示出平坦的频率特性。即，优选模型照相机的光学系统的光学传递函数为，比第一空间频率高的第二空间频率上的值的大小与第一空间频率上的值的大小的比率大于第一及第二光学系统的光学传递函数中的该比率。

特别是，更加优选模型照相机的解析度特性为没有像差的特性(OTF的大小在全空间频率上基本相同)。由此，测距装置1或视差检测装置3能够生成及输出解析度极高的图像。

换言之，优选模型照相机的光学系统的光学传递函数是示出平坦的频率特性的函数。即，优选模型照相机的光学系统的光学传递函数为，各空间频率上的值的大小大致相同。

其中，本发明的实施方式2显然也可以适用于图21所示的具备三台以上的照相机的测距装置(三眼以上的所谓多视角立体)。此时，视差检测装置对于由照相机2c及其他的照相机拍摄的图像，也通过与使上述照相机2a及照相机2b的光学系统的点像分布与模型照相机的光学系统的点像分布相同的方法相同的方法来进行校正。由此，视差检测装置能够使照相机2a、2b及2c的光学系统的点像分布与模型照相机的光学系统的点像分布相同。即，视差检测装置能够缩小全部照相机的图像间的视差分布的差异，能够抑制视差检测误差。

以上基于实施方式说明了本发明所涉及的测距系统，但本发明不限定于这些实施方式。在不脱离本发明的主题的前提下，对本实施方式施加本领域技术人员想到的各种变形而成的方式，或者对不同实施方式中的结构要素进行组合而架构的方式，都包括在本发明的范围内。

例如，在上述实施方式中，测距装置或视差检测装置不具备PSF校正数据制作装置，但也可以具备PSF校正数据制作装置来作为校正数据生成部。由此，测距装置或视差检测装置即使在光学系统的点像分布发生变化的情况下，也能够按照变换后的点像分布来生成校正数据。

另外，在上述实施方式中，视差检测装置配置在测距装置中，但不一定必须配置在测距装置中。例如，视差检测装置也可以将计算出的视差输出给其他装置。更具体而言，视差检测装置例如也可以将视差输出至生成立体影像的装置。

另外，在上述实施方式中，测距装置或视差检测装置所具备的构成要素的一部分或全部也可以作为LSI(Large Scale Integration：大规模集成电路)来实现。具体而言，例如图15A或图21所示的前处理部、视差计算部及后处理部的功能模块也可以作为LSI实现。其中，这些功能模块既可以各自单芯片化，也可以以包括一部分或全部的方式进行单芯片化。集成电路化的方法不限定于LSI，也可以由专用电路或通用处理器来实现。另外，也可以利用LSI制造后可编程的FPGA(场可编程门阵列：FieldProgrammable Gate Array)、可编程处理器、或可重构LSI内部的电路单元的连接和设定的可重构处理器。

另外，本发明也可以作为以视差检测装置所具备的特征性结构要素的动作作为步骤的视差检测方法来实现。另外，也可以作为使具有处理器及存储器的计算机执行这种视差检测方法所包括的步骤的程序来实现。而且，这种程序也可以通过CD-ROM等记录介质或互联网等传输介质来分发。

工业可利用性

本发明涉及能够计算拍摄相同对象物的多个光学系统所产生的视差的视差检测装置、以及能够求出从装置到对象物的距离或者对象物的三维位置或形状的测距装置，在车载、监视、医疗、机器人、游戏、CG图像制作以及立体图像用输入等用途上是有用的。

符号说明

1测距装置

2a、2b、2c照相机

3视差检测装置

4前处理部

5PSF(点像分布)相同化部

6频域变换部

7PSF(点像分布)变换部

8空间域变换部

9视差计算部

10后处理部

11距离计算部

20PSF(点像分布)校正数据制作装置

21校正数据计算前处理部

22频域变换部

23校正数据计算部

24校正数据计算后处理部

100对象物

101a、101b光线

102a、102b透镜

103a、103b光轴

104a、104b摄像区域

105a、105b光学中心

106a、106b光轴与摄像区域的交点

107a、107b成像位置

Claims

1.一种视差检测装置，计算多个光学系统间产生的视差，具备：

点像分布相同化部，对从上述多个光学系统中的各个光学系统得到的多个图像中的至少一个图像进行校正，以使上述多个光学系统的点像分布与规定的光学系统的点像分布相同；以及

视差计算部，利用由上述点像分布相同化部进行了校正的图像，计算上述多个光学系统间产生的视差。

2.如权利要求1记载的视差检测装置，

上述点像分布相同化部具有：

频域变换部，将上述多个图像中的至少一个图像从空间域变换至频域；

点像分布变换部，通过使校正数据作用于由上述频域变换部变换至频域的图像，从而校正该图像以使上述多个光学系统的点像分布与上述规定的光学系统的点像分布相同；以及

空间域变换部，将由上述点像分布变换部进行了校正的图像从频域逆变换至空间域；

上述视差计算部利用由上述空间域变换部进行了逆变换的图像，计算上述视差；

上述校正数据是用第一光学传递函数除以第二光学传递函数所得到的数据或与其相当的数据，该第二光学传递函数是得到由该校正数据作用的图像的光学系统的光学传递函数。

3.如权利要求2记载的视差检测装置，

上述点像分布变换部通过在由上述频域变换部变换至频域的图像上乘以上述校正数据，从而对图像进行校正。

4.如权利要求2记载的视差检测装置，

上述第一光学传递函数是上述多个光学系统之中作为基准的一个光学系统的光学传递函数。

5.如权利要求2记载的视差检测装置，

上述第一光学传递函数是下述比率比得到由上述点像分布相同化部进行校正的图像的光学系统的光学传递系数中的该比率大的光学传递函数，上述比率为第二空间频率上的值的大小与第一空间频率上的值的大小的比率，该第二空间频率比上述第一空间频率高。

6.如权利要求2记载的视差检测装置，

上述第一光学传递函数的各空间频率上的值的大小大致相同。

7.如权利要求2记载的视差检测装置，

还具备校正数据生成部，该校正数据生成部生成用第一光学传递函数除以第二光学传递函数所得到的数据或与其相当的数据，来作为校正数据，该第二光学传递函数是得到由上述点像分布相同化部进行校正的图像的光学系统的光学传递函数；

上述点像分布变换部使由上述校正数据生成部生成的校正数据作用于由上述频域变换部变换至频域的图像。

8.如权利要求1记载的视差检测装置，

上述规定的光学系统的点像分布为上述多个光学系统之中作为基准的一个光学系统的点像分布。

9.一种测距装置，具备：

权利要求1记载的视差检测装置；以及

距离计算部，利用由上述视差检测装置检测出的视差，计算到对象物的距离。

10.一种视差检测方法，计算多个光学系统间产生的视差，包括：

点像分布相同化步骤，对从上述多个光学系统中的各个光学系统得到的多个图像中的至少一个图像进行校正，以使上述多个光学系统的点像分布与规定的光学系统的点像分布相同；以及

视差计算步骤，利用在上述点像分布相同化步骤中进行了校正的图像，计算上述多个光学系统间产生的视差。

11.一种程序，用于使计算机执行权利要求10记载的视差检测方法。