CN102713509B - 立体摄影装置和校正方法 - Google Patents

Abstract

一种检测到物体的距离的立体摄影装置，包括两个照相机和计算单元，该计算单元基于通过两个照相机获取的图像计算到物体的距离。计算单元包括图像处理单元，图像处理单元搜索通过两个照相机获取的图像的对应点并且基于图像上的对应点的位置坐标中的差计算两个视差；补偿值计算单元，补偿值计算单元基于通过图像处理单元至少在两个时间点计算的两个视差，对图像计算视差补偿值；和统计处理单元，统计处理单元对视差补偿值的分布执行统计分析并且确定视差补偿值的最佳值，最佳值被用作校正参数。

Description

立体摄影装置和校正方法

技术领域

本发明涉及一种利用图像测量到物体的距离的测量技术，更尤其涉及一种立体摄影机和校正方法。

背景技术

已知一种所谓的立体摄影装置，通过设置多个诸如用于形成物体的图像的照相机的成像装置测量形成的图像和物体之间的距离。平行立体摄影机包括固定于不同的位置的两个照相机。平行立体摄影装置包括彼此分离了称为基线长度的预定距离的两个固定的照相机。那两个照相机以照相机的光轴彼此平行的方式被固定。立体摄影装置被设置成通过利用光学系统中的特定参数将由第一照相机获得的物体图像和由第二照相机获得的物体图像之间的视差转换成距离来确定到物体的距离。

图7图解传统的立体摄影装置的光学系统。如图7所示，立体摄影装置700包括两个照相机1_R和1_L。那两个照相机1_R和1_L被设置成彼此分离预定基线长度B。那些照相机1_R和1_L包括各自的图像传感器(成像装置)和成像透镜(成像光学系统)。图像传感器(成像装置)由CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)传感器等等制成。成像透镜(成像光学系统)被设置成用于在图像传感器的成像面上的成像域中形成物体的图像。

参照图7描述利用两个并行设置的照相机测量距离的方法。在图7的立体摄影装置700中，假定具有焦距f、光学中心O_R和成像面S_R的照相机1_R以照相机1_R的光轴在与图7的纸张的竖直方向平行的方向上延伸的方式被设置，并且具有焦距f、光学中心O_L和成像面S_L的照相机1_L以照相机1_L平行于照相机1_R并且与照相机1_R分离距离B的方式被设置。通过具有这个构造，在光轴方向上距离照相机1_R的光学中心O_R为距离d的物体X的图像被形成在照相机1_R的成像面S_R上的位置P_R，位置P_R是穿过X和光学中心O_R的直线(以下称为直线X-O_R)之间的交点。

另一方面，在照相机1_L中，物体X的图像被形成在照相机1_L的成像面S_L上的位置P_L。进一步说，穿过照相机1_L的光学中心O_L并且平行于直线X-O_R的直线如图7的虚线表示。进一步地说，虚线和成像面S_L的交点被表示为位置P_R’，并且位置P_L和位置P_R’之间的距离被表示为距离p。在这种情况下，照相机1_L中的位置P_R’对应于照相机1_R中的位置P_R，并且距离p表示相同物体X在两个照相机的成像面上的位置偏移量。当距离p被称为视差时，因为三角形：X-O_R-O_L与三角形：O_L-P_R’-P_L相似，所以假如已知基线长度B和焦距f，那么从光学中心到物体X的距离d基于距离p通过利用公式：d＝B×f/p获得。

在很多情况下，立体摄影装置被安装在诸如车辆的移动体中并且被用于测量距离。由于这个用法，立体摄影装置受到持续振荡和温度改变。如参照图7所描述的，为了正确地测量(计算)距离，假定在平行立体摄影装置中的两个照相机的光轴彼此平行。因此，当光轴的平行度失准(即，一个照相机的光轴相对于另一个照相机的光轴旋转，所以两个光轴彼此不平行)时，成像传感器在相对于光学中心的横向上的位置偏差可能会使将在视差方向上形成物体的图像的位置移位(偏移)。这种光学系统的偏差可能引起距离测量的严重误差。这个误差被称为“视差补偿(offset)”。如参照图7所描述的，视差补偿直接地影响视差并且降低距离测量的精度。

为了防止距离测量的精度的降低，必须精确地调整制造过程的参数。然而，由于车辆移动期间的振动和车体变形方面的时间有关的变化、温度变化等等，可能发生偏差。为了克服该偏差，即为了维持立体摄影装置中的两个照相机的位置关系的精确度，有一种方法，在立体摄影装置的出货(销售)之后，通过利用离装置具有已知距离的图像的测试图调整(校正)装置。然而，在利用该测试图的调整(校正)期间，立体摄影装置可能不能使用。即，当使用这个方法时，可能大大降低立体摄影装置的可用性。

为了克服该方法的不便，已提出几个方法，通过利用移动的同时景物中的物体而不利用测试图进行调整(校正)，该物体具有已知的特征(例如，具有已知距离的白色车道、交通信号和电线杆(utility pole)。例如，日本专利申请公开公报No.10-341458(专利文献1)公开一种技术，在该技术中，为了检测立体摄影装置在安装方向上的偏差，静态物体的形状被首先记住并且通过比较所记住的数据识别静态物体。然后，基于速度传感器等等测量的移动距离和识别的静态物体的距离计算视差补偿。进一步地说，日本专利No.3436074(专利文献2)公开一种车载立体摄影装置，该立体摄影装置基于设置在多个位置的相同的静态物体的图像和多个位置之间的距离执行校正处理。进一步地说，日本专利申请公开公报No.2009-176090(专利文献3)描述一种环境识别装置，该环境识别装置基于所成像的图像检测物体和确定周围环境。进一步地说，日本专利申请公开公报No.2009-288233(专利文献4)描述校正通过照相机成像的图像的倾斜的方法。

发明内容

本发明所要解决的问题

然而，在如上所述的技术中，仅仅可以识别诸如在高速公路上具有已知距离的白色车道、交通信号、电线杆等等的有限的物体。因此，当能够执行视差补偿时的地方和时间可能受到限制。进一步地说，景物在移动期间连续地变化，并且由于透镜畸变，视觉也取决于图像中的物体的位置而变化。因此，可能难以精确识别静态物体。进一步地说，该方法仅能用于具有已经被记住的轮廓的静态物体。

本发明考虑到如上所述的相关技术的技术的上述不便，并且可以提供一种立体摄影装置、校正方法和程序，通过充分利用立体摄影装置的功能精确地校正视差补偿，而不管物体的形状、时间、地方并且不管物体是否移动。

解决问题的方式

根据本发明的实施例，一种立体摄影装置包括两个照相机和计算部件。两个照相机以两个照相机被彼此分离(预定)基线长度的方式被安装。计算部件包括图像处理部件、补偿值计算部件、统计处理部件和距离计算部件。

图像处理部件搜索通过两个照相机获取的图像之间的对应点，计算视差并且将各个对应点的计算的视差输出到补偿值计算部件。补偿值计算部件计算各个对应点(1-N)的视差补偿值。视差补偿值是校正对应点的各个视差的补偿值。通过利用在不同的时间t₀和t₁的视差和立体摄影装置所安装的车辆等等的移动距离，而不需利用到物体的距离Z，计算视差补偿值。

计算的视差补偿值输出到统计处理部件。补偿值计算部件的计算结果被转变为视差补偿值的出现频率。对出现频率执行统计分析，以便确定将被用作校正参数的视差补偿值的最佳值。

距离计算部件基于基线长度、照相机的焦距和通过统计处理部件确定的校正参数计算到要在视差图像中测量的物体的距离。

进一步地说，根据本发明的实施例的立体摄影装置可以包括校正部件，校正部件基于视差补偿值的最佳值修正(校正)校正参数。校正参数被用于测量距离。在本实施例中的校正部件可以是马达站(motor stage)或NVRAM(非易失随机存取存储器)。

进一步地说，根据本发明的实施例，提供一种校正方法和程序，该校正方法和程序使得计算部件获取校正参数q以便被用于随后的距离计算。

附图说明

图1是图解根据本发明的实施例的立体摄影装置100的构造的示意图；

图2是根据本发明的实施例的立体摄影装置100的详细功能方块图200；

图3是图解根据本发明的实施例的对于对应点k₀的视差p_k0的关系的图；

图4是图解从时间t₀在已经度过适当的时间间隔之后获得的左右图像的图；

图5是图解根据本发明的实施例的校正方法的详细流程图；

图6是图解在从视差补偿值q_k的最小值到最大值的范围内通过本实施例中的校正方法产生的频率矩阵的图表，该图表具有表示视差补偿值的横轴和表示频率A的纵轴；和

图7是图解用于利用立体摄影装置的距离测量的光学关系的图。

附图标记的描述

100：立体摄影装置

102：照相机

102a：透镜

102b：光电变换元件

104：照相机

106：位置

108：物体

110：光轴

120：计算部件

200：功能块

202：图像处理部件

204：速度传感器

206：补偿值计算部件

208：距离计算部件

210：接口

230：外部装置

234：非易失随机存取存储器NVRAM

240：统计处理部件

具体实施方式

在下文中，参照附图描述本发明的实施例。然而，本发明不局限于实施例。图1示意地图解根据本发明的实施例的立体摄影装置100的构造。如图1所示，立体摄影装置100包括两个照相机102和104和计算部件120。照相机102和104输出数字数据。即，照相机102和104输出各自捕获(获得)图像到计算部件120。计算部件120基于从左右照相机(即照相机102和104)输出的图像执行距离计算，并且获得(计算)从照相机102和104的光学中心到物体108的距离Z(见图1)。计算部件120输出计算的距离Z到连接到计算部件120的外部装置230(见图2)，以便输出装置230可以使用距离Z的值。包括计算部件120的立体摄影装置100通过在立体摄影装置100和用户界面与外部装置230之间执行I/O控制的控制器(未显示)执行距离计算、补偿值测量和参数校正。

照相机102和104包括透镜102a和104a和光电变换元件102b和104b，以分别获得(获取)右(R)和左(L)图像。以照相机102和104在透镜102a和104a的中心之间彼此分离基线距离B并且照相机102的光轴110平行于照相机104的光轴112的方式设置照相机102和104。照相机102和104通过快门(未显示)对分别穿过透镜102a和104a并且形成在变换元件102b和104b上的光学图像执行光电变换，并且存储各自的光电变换图像作为数字数据。存储的(记录的)图像被输出到计算部件120，以便随后在距离计算和校正处理中使用。

如上所述，以照相机102和104彼此分离基线距离B并且光轴110平行于光轴112的方式设置照相机102和104。进一步地说，照相机102和104的透镜102a和104a具有相同的焦距f。通过利用物体108在由左右照相机102和104获取的物体108的右(R)和左(L)图像中的视差p，由以下公式(1)给出光学中心和物体108之间(在与光轴110和112平行的方向上)的距离Z。这里，视差p被称为通过照相机102和104获取的物体108的图像的位置差。

Z＝B×f/p    (1)

为了精确地测量距离Z，光轴110精确地平行于光轴112是必要的。然而，取决于在制造和安装期间照相机102和104的设定状态，可能难以维持光轴110和112之间的平行关系。为了克服这种不便，在很多情况下，在距离计算中，实际的立体摄影装置100使用包括校正参数q的下列公式(2)，以利用主要与平行度(平行关系)有关的参数精确地计算距离。

Z＝B×f/(p-q)    (2)

公式(2)中的参数q是称为视差补偿的校正参数。在本发明的这个实施例中，校正参数q在如下所述的方法中计算。即，在不同的时间点处的图像上确定对应点k。基于时间差或具有对应点k的立体摄影装置100的车辆的行驶距离，与对应点k有关的视差补偿值q_k对整个图像被获得。然后，对视差补偿值q_k执行统计处理，并且图像的视差补偿值q_k的最佳值被确定为校正参数q。在自从安装立体摄影装置100以来已经度过一定的周期之后，由于因例如安装立体摄影装置100的车辆的振动所引起的照相机102和104之间的相对旋转，而可能导致削弱照相机102和104之间的平行度(平行关系)。图1示意地图解随着时间的过去照相机104相对于照相机102稍微旋转到位置(状态)106的情况。结果，光轴110和112之间的平行度(平行关系)被削弱(降低)。

随时间的过去相同变化也同样发生在照相机102中。因此，在传统的立体摄影装置中，采用的方法为：具有预定距离的测试图被定期读取以计算视差补偿值；先前的校正参数q被计算的视差补偿值替代；并且替换(更新)的校正参数q被存储在诸如NVRAM(非易失性随机存取存储器)的非易失性存储器中以便用于随后的距离计算。进一步地说，当立体摄影装置包括校正光轴的马达时，替换(更新)的校正参数q可以被用于控制数据以控制马达的驱动。

图2是根据本发明的这个实施例的立体摄影装置100的功能方框图200。如图2所示，立体摄影装置100包括照相机102和104和计算部件120。计算部件120指示(使得)照相机102和104捕获图像，并且利用通过照相机102和104获取的图像执行距离测量计算和用于参数校正的计算。

计算部件120可以被实现作为单芯片微型计算机、ASIC(专用集成电路)、车载电脑、个人电脑等等。进一步地说，计算部件120执行与外部装置230的相互通信，以将通过计算部件120利用图像计算的距离测量计算的结果输出到外部装置230，以便外部装置230可以利用通过计算部件120计算的距离Z执行各种各样的控制。外部装置230可以不包括在利用CPU(中央处理器)、RAM(随机存取存储器)、ROM(只读存储器)及诸如USB存储器等其他存储器件执行存储器存取的计算部件120中。否则，外部装置230可以被集成到计算部件120中，作为信息处理装置。

如图2所示，计算部件120包括图像处理部件202、补偿值计算部件206、距离计算部件208和统计处理部件240。在距离测量计算中，图像处理部件202在通过右(R)和左(L)照相机102和104获取的图像上执行图像分析，并且确定图像共有的对应点。然后，图像处理部件202确定右和左图像中物体的相同像素作为对应点，并且计算视差p_k作为图像关于对应点的位置坐标的差。在这个实施例中，对于图像处理部件202有必要对整个图像计算视差。为了改善在捕获的图像中搜索对应点和计算视差的精确度，可以使用已知的畸变校正处理(方法)。

计算的视差p_k被输出到补偿值计算部件206并且被进一步输出到距离计算部件208。在开始参数校正处理的时间或在收到外部中断信号以开始参数校正处理时，补偿值计算部件206开始参数校正处理。在除了执行参数校正处理的周期外的周期中，补偿值计算部件206只利用视差p_k执行距离测量。通过使获得速度信息的速度传感器204和通过计算部件120获取图像的照相机102和104的时间同步执行参数校正处理。

当补偿值计算部件206执行距离测量时，距离计算部件208接收由补偿值计算部件206接收到的视差p_k，并且利用在那时是有效的校正参数q且基于公式(1)计算距离Z。计算的距离Z经由包括在计算部件120中的接口210从计算部件120被输出到外部装置230。通过利用接收的距离Z，外部装置230执行控制其他的车载装置，例如报警装置、控制装置和发动机等的控制。

如上所述，计算部件120包括统计处理部件240。图2的统计处理部件240与补偿值计算部件206和速度传感器204一起组成根据本发明的这个实施例的参数校正单元。速度传感器204检测安装立体摄影装置100的车辆的移动速度。当立体摄影装置100被安装在车辆上时，速度传感器204可以是例如车辆速度传感器或基于纬度/经度坐标的差和时间(时间点)t₀和t₁之间的时间差计算和输出速度的GPS(全球定位系统)装置。进一步地说，在本发明的另一个实施例中，速度传感器204可以被设置作为立体摄影装置100的计算部件120中的嵌入装置。

接下来，描述根据本发明的这个实施例的特殊的参数校正处理。在根据本发明的这个实施例的参数校正处理中，首先，计算部件120指示照相机102和104在作为基准时间的时间t₀捕获(获取)图像并且同时地指示速度传感器204输出速度信息。

在已经从时间t₀度过了预定周期的时间t₁处，计算部件120进一步指示照相机102和104捕获(获取)图像。结果，立体摄影装置100获取通过两个照相机102和104在时间(时间点)t₀和t₁处捕获的图像。即，立体摄影装置100获取四个图像。然后，图像处理部件202基于各自的照相机102和104在时间t₀的两个图像搜索对应点并且计算相应的视差图像。同样地，图像处理部件202基于各自的照相机102和104在时间t₁的两个图像搜索对应点并且计算相应的视差图像。那些视差图像被输入到补偿值计算部件206。进一步地说，为了计算(获取)视差图像在t₀和t₁的对应点，不仅视差图像而且已经被用于获取视差图像的图像被输入到补偿值计算部件206。

另一方面，计算部件120设定从速度传感器204输出到补偿值计算部件206的速度信息，并且进一步设定视差值p₀和p₁，该视差值p₀和p₁与通过两个照相机102和104捕获的两个图像的各自设定共有的对应点有关。在这里，视差值p₀指对应点k在时间t₀的视差。视差值p₁指相同对应点k在时间t₁的视差。在下文描述中，为了清楚的目的，假定对应点已经被固定到对应点k。

基于如上所述获取的视差值p₀和p₁，补偿值计算部件206获得表示在时间t₀和t₁时的距离Z₀和Z₁以及在时间t₀和t₁时的视差值p₀和p₁之间的关系的下列公式(3)。

Z₀＝Bf/{p₀-q_k}

Z₁＝Bf/{p₁-q_k}  (3)

当对应点的物体是静止物体时，距离Z₀和Z₁和行驶距离D对应于移动的距离。另一方面，当对应点的物体是诸如车辆的移动物体时，距离Z₀和Z₁和行驶距离D对应于基于相对速度计算的距离。进一步地说，当对应点的物体是移动物体时，对应于照相机102的相对速度可以不同于对应于照相机104的相对速度。在这种情况下，Z₁的值分布在具有Z₀的中心的范围中。

通过利用上述公式(3)，给出行驶距离D为D＝Z₀-Z₁。进一步地说，给出行驶距离D为以下公式(4)，其中使用了基线距离B、焦距f、测量变量p₀和p₁的视差值和对应点k的视差补偿值q_k。

Z₀-Z₁＝Bf/{p₀-q_k}-Bf/{p₁-q_k}  (4)

上述公式(4)可以被变成视差补偿值q_k的二次方程。进一步地说，以公式(4)为基础，视差补偿值q_k在以下公式(5)中给出作为二次方程的解(q_k≧0)。

$q_k=\frac{(p_0+p_1)\sqrt{{(p_0+p_1)}^2-4(p_0{p}_1-\frac{\mathrm{Bf}}{D}(p_1-p_0))}}{2}---\left(5\right)$

如上所述，视差补偿值q_k可以取决于移动体之间的相对速度变化并且可以不必总是相同，在这个实施例中，对于每个对应点k(k＝1至N)给出上述关系式。因此，对于每个对应点k，视差补偿值q_k对整个图像被计算，作为校正参数q的候选。补偿值计算部件206执行上述公式(5)的处理。

接下来，描述通过统计处理部件240执行的统计(校正)处理。当补偿值计算部件206的处理结束时，计算的视差补偿值q_k被输入到统计处理部件240。统计处理部件240逐个确定每一计算的视差补偿值q_k是否属于预定组块(chunks)(群)。在这种情况下，例如，当一个视差补偿值q_k被确定属于特定组块Q_m(m：正整数)时，统计处理部件240增加组块Q_m的计数值(增加一个)。进一步地说，统计处理部件240计算用于每个组块Q_m的视差补偿值q_k的数量，并且产生(计算)相应组块Q_m的视差补偿值q_k的频率(出现频率)A_m。

进一步地说，基于当所有对应点k的上述计数处理完成时的频率(出现频率)A_m，统计处理部件240产生下列公式(6)的频率矩阵F。在这里，符号Q_m表示视差补偿值q_k的组块并且由相应的索引值I_m查阅，相应的索引值I_m被提供用于给出校正参数q且其值定义为I_m＝(最小值)+Δ×M。进一步地说，相对于组块Q_m，视差补偿值q_k的最大值可以被预先确定，并且在最大值以下的范围内可以平均分为m个部分，以便可以执行上述频率累积计算。在这个实施例中，即使当视差补偿值q_k不能对整个图像获取时，也变得可以基于频率分布的峰值和剩余采样点的数量之间的比较有效地确定最佳值。结果，当由于统计(校正)处理而使得立体摄影装置100不能测量距离时，变得可以最小化(降低)周期。进一步地说，根据本发明的另一个实施例，在为所有像素计算视差补偿值q_k之后，可以计算出现频率。

$\left(\begin{array}{c}m\\ A_m\end{array}\right)=\left(\begin{array}{c}\mathrm{1,2,3},...,(M-2),(M-1),M\\ A_1,A_2,A_3,...,A_{M-2},A_{M-1},A_M\end{array}\right)---\left(6\right)$

上述频率矩阵F提供用于提供(确定)校正参数q的统计数据。在这种情况下，统计处理部件240可以使用任何已知的统计处理执行以对统计数据执行处理从而获得最佳值。具体地，在统计处理中，可以使用众数值、中值、平均值和加权平均值等值。当使用众数值时，视差补偿值q_k可能确定为提供焦距f_max的索引值I_max。另外，视差补偿值q_k可以通过利用假定正态分布的回归分析、假定多项分布的回归分析、利用诸如二项式分布、X方分布、泊松分布、β分布等等的分布函数的回归分析被获取(确定)。即，可使用任何适当的统计模型。

在统计处理中，当方差被计算并且计算的方差值占有比相对于视差补偿值q_k的偏差范围大于预定的比率时，结果至此可以被丢弃，以便在某个周期之后，可以再执行处理。通过这么做，变得可以避免不适当的值被采用作为校正参数q的情况。当两个照相机102和104之间的位置关系受到大冲击而大大地变化时，视差补偿值q_k自初值的变化将变得更大，视差补偿值q_k随时间等的变化将变得更小。因此，视差补偿值q_k的偏差范围的设定值取决于要检测的变化的类型如何而改变。

进一步地说，在本发明的另一个实施例中，当执行假定标准差的统计分析时，可以存储当获取当前有效的校正参数q时的标准差σ_past，并且该值是否被采用可以基于这时候获取的值的检查结果确定。

下列公式(7)具有通过利用校正参数q表示照相机102和104的光轴110和112之间的位差角(位移角)的格式。

θ＝tan^-1(q/f)    (7)

当立体摄影装置100包括照相机驱动系统时，基于校正参数q获取的角θ的数据被传输到照相机驱动系统的马达，作为表示驱动马达的量的数据。另一方面，当立体摄影装置100不包括照相机驱动系统时，基于校正参数q获取的角θ的数据被传输到距离计算部件208并且被存储在NVRAM234中，作为将用于随后计算距离Z的校正参数q。通过距离计算部件208获取的距离Z的数据从计算部件120经由接口210被输出到外部装置230，以便被用于使用距离Z的各种各样的控制。

在这个实施例中，在通过照相机102和104捕获(获取)的图像上的对应点k可以通过像素被搜索。否则，出于更快地处理的观点，右(R)和左(L)图像可以被分成网格，并且可以计算网格的辉度、色调、颜色分布等等，以便通过网孔确定对应点。

图3示意地图解这个实施例中使用的对应点k₀和视差值p₀之间的关系。在将网格分配给通过右(R)和左(L)照相机102和104获取的右(R)和左(L)图像之后，立体摄影装置100搜索右(R)和左(L)图像的对应点(网格)。对右(R)和左(L)图像的对应点的搜索可以通过计算和利用网格的辉度、色调、颜色分布等等被执行。右(R)和左(L)图像彼此相差并不是很大，尽管该变化可以取决于基线长度B。因为此特征，在这个实施例中，例如，当确定左(L)图像中的对应点时，可以通过仅搜索周围几个附近的网格来搜索右(R)图像中有关的对应点。

为了说明的目的，图3的部分(a)图解对应点的状态。当右(R)和左(L)图像被彼此重叠时，右(R)图像的特性点和左(L)图像的特性点在几个网格的范围内。进一步地说，在立体摄影装置100的照相机102和104的基线被假定为水平的情况下，当在当从安装照相机的侧面看上去时视线的偏移方向上进行对应点的搜索时，可以有效地搜索(检测)对应点。然而，图3的部分(a)实质上依比例图解右(R)和左(L)图像的视差。因此，不能清楚地图示。图3的部分(b)是图解图3的部分(a)的环300内部的放大图。如图3的部分(b)所示，对应点k_r0和k_l0在水平方向上彼此接近，对应点k_r0和k_l0之间的位置偏移给出(对应于)视差p_k0。进一步地说，符号k_r1和k_l1表示在时间t₁时的对应点。进一步地说当在时间t时的对应点k的视差被表示为p_kt时，满足下列公式。

p_kt＝k_rt-k_lt

在这个实施例中，如上所述，对整个图像计算视差。因此，为了改善搜索捕获的图像中的对应点和计算视差的精度，更较佳的是，执行已知的畸变校正处理等等。

图4图解在根据本发明的实施例从时间t₀已经度过适当的周期之后获取的右(R)和左(L)图像的实例。响应于经过的时间，物体的位置根据相对速度的差变化。然而，在图4实例中，因为过去的周期是如此的短以至于右(R)和左(L)图像410和420实质上与图3的时间的图像相同。更较佳的是，以能够检测甚至接近图像的边缘部分的对应点的方式确定时间t₀和时间t₁之间适当的差。即，更较佳的是确定适当的差以便对应点能够被顺利地检测。然而，当时间t₀和时间t₁之间的差太长时，会降低检测对应点的精度。另一方面，当差太短时，无法获取具有足够差的视差。因此，更较佳的是，以能够基于通过例如参照速度传感器204的记录数据的速度获取视差的差并且对应点的搜索不能失败的方式，来确定时间t₀和时间t₁之间的适当差。

在这个实施例中，只要可以识别在相同时间点获取的右(R)和左(L)图像中的相同物体，图像中物体的特定像素的位置可以被直接地使用。在另一个实施例中，在图像被分成网格之后，相同网格中的像素的数据会被平均，并且可以使用网格的位置坐标。在下文中，假定网格和网格的像素或像素区域可以被称为变成这个实施例中的计算的参考的对应点。

在这个实施例中，划分的网格的尺寸不局限于特定大小。然而，当划分的网格的尺寸太小时，会花费更长时间搜索作为左右图像中的处理目标的对应点。另一方面，当划分的网格的尺寸太大时，会降低校正的精度。鉴于上述特征，在这个实施例中，例如，图像以水平和竖直方向的网格的数量是100并且因此图像中网格的总数是10,000的方式被分成网格。

图5是图解根据本发明的这个实施例的补偿值计算部件206执行的处理的流程图。如图5所示，在步骤S500中处理开始。在步骤S501中，补偿值计算部件206从图像处理部件202接收在时间t₀的图像和相应的视差图像。在步骤S502中，补偿值计算部件206进一步地从图像处理部件202接收在时间t₁的图像和相应的视差图像。在步骤S503中，补偿值计算部件206基于来自速度传感器204输出的信息计算车辆在时间t₀和时间t₁之间的行驶距离D。在步骤S504中，补偿值计算部件206基于在时间t₁和时间t₀获取的图像搜索在不同的时间点处的不同的图像上的对应点。

在这种情况下，通过利用由两个照相机102和104在时间t₁和时间t₀捕获的图像搜索对应点，其中时间t₀是自从时间t₁度过了预定时间的时间点。然而，更准确地说，例如，可以通过利用仅由两个照相机102和104中的一个照相机获取的图像搜索对应点。否则，可以通过利用由两个照相机102和104中的每一个获取的图像搜索对应点。在搜索对应点中，可以使用诸如SAD(绝对差值总和)和POC(纯相位相关法(Phase Only Correlation))等已知技术。在这里，图像在不同的时间点的对应点可以称为对应点k(k＝1至N)。

在步骤S505和S506中，补偿值计算部件206计算图像在不同的时间点的对应点k的视差值，对应点k在步骤S504已经被搜索。更准确地说，在步骤S505中，补偿值计算部件206基于在时间t₀的视差图像获取(计算)与对应点k相关的视差值p_k0。以同样地方式，在步骤S506中，补偿值计算部件206基于在时间t₁的视差图像获取(计算)与对应点k相关的视差值p_k1。

在步骤S507中，补偿值计算部件206基于公式(5)计算视差补偿值q_k，其中公式(5)利用与在时间t₀的对应点k有关的视差值p_k0、与在时间t₁的对应点k有关的视差值p_k1以及车辆在时间t₀和时间t₁之间的行驶距离D。然而，如上所述,存在对整个图像的多个对应点k。因此，存在多个视差值p_k0和多个视差值p_k1。另一方面，车辆在时间t₀和时间t₁之间的行驶距离D仅有一个值。在步骤S508中，在步骤S507中计算的视差补偿值q_k被输出到统计处理部件240。

在步骤S509中，补偿值计算部件206确定与对整个图像的多个对应点k有关的视差补偿值q_k的计算是否已经被完成。当确定没有完成计算(在步骤S509中为否)时，处理返回至步骤S505，重复计算直到完成所有的对应点k的计算。另一方面，当确定已经完成计算(在步骤S509为是)时，处理前往步骤S510，以停止(结束)补偿值计算部件206的处理。当完成处理时，与对整个图像的多个对应点k有关的视差补偿值q_k已经被输出到统计处理部件240。

图6是图解利用根据本发明的这个实施例的校正方法产生的频率矩阵F的图表。在图6的图表中，横轴表示在从视差补偿值q_k的最小值至最大值的范围内的视差补偿值q_k，纵轴表示出现频率A。在图6的实施例中，视差补偿值q_k根据对应点k的相对速度分布。立体摄影装置100对为每个对应点k计算的视差补偿值q_k执行统计处理，以形成出现频率A的柱状图。在图6这个实例中，当确定一个视差补偿值q_k对应于特定组块Q_m时，特定组块Q_m的计数值增加(累积)了一个。这个处理被重复直到完成对应点k的所有计算。当完成对应点k的所有的计算时，形成具有索引值I_m和Δ的宽度的组块Q_m的柱状图。通过对图6所示的分布执行统计分析，可以获得最佳值作为校正参数q。校正参数q可以通过直接地利用索引值I_m的值被确定。否则，当应用加权平均等等时，可以使用除了索引值I_m之外的正实数。

作为本发明的另一个实施例，显然还可通过对散布图式中的n个视差补偿值q_k集中执行统计分析确定最佳值，而无需产生频率柱状图。即，例如，适当的统计分析可以基于计算部件120的性能和存储容量被选择。

如上所述，根据本发明的实施例，变得可以提供一种立体摄影装置、校正方法和程序，不管物体移动与否、不管物体的形状、不管时间和地点，并且不须精确地测量到物体的相对距离，通过最大限度地使用立体摄影装置的功能，都高精度地校正视差补偿。

在本实施例中的上述功能可以通过利用诸如C、C++、Java(注册商标)等等的程序设计语言或汇编语言描述的装置可执行程序被实现。进一步地说，该程序可以被存储在装置可读记录介质中并且利用装置可读记录介质被分布，其中装置可读记录介质例如是硬盘装置、CD-ROM(光盘只读存储器)、MO(磁光盘)、软磁盘、EEPROM(电可擦可编程只读存储器)、EPROM(可擦可编程序只读存储器)等等。进一步地说，该程序可以通过另一个装置以可读的形式被提供并且可以经由网络被传输。

尽管为了完全且清楚的公开的目的，已经根据具体的实施例描述了本发明，所附权利要求不因此作为限制而应该视为包含本领域的技术人员能够想到的所有的变化例和替换结构，这些变化例和替换结构完全落入这里阐明的基本教导的范围内。

本申请是基于并且要求2010年9月14日提交的第2010-205015号日本专利申请和2011年5月31日提交的第2011-121378号日本专利申请的优先权，并且该申请的全部内容通过引用而结合在本文中。

Claims (7)

1.一种检测到物体的距离的立体摄影装置，其特征在于，所述立体摄影装置包括：

两个照相机，所述两个照相机被安装并且被彼此分离基线长度；和

计算单元，基于通过所述两个照相机获取的图像，所述计算单元在图像上计算到所述物体的距离；

其中，所述计算单元包括图像处理单元、补偿值计算单元和统计处理单元，

其中，所述图像处理单元被配置成搜索通过所述两个照相机获取的所述图像的对应点并且基于所述图像上的所述对应点的位置坐标中的差计算两个视差，

其中，所述补偿值计算单元被配置成基于通过所述图像处理单元至少在两个时间点计算的两个视差，对整个所述图像计算视差补偿值，并且

其中，所述统计处理单元被配置成对所述视差补偿值的分布执行统计分析并且确定所述视差补偿值的最佳值，所述最佳值被用作校正参数。

2.如权利要求1所述的立体摄影装置，其特征在于，

所述统计处理单元被配置成产生所述视差补偿值的频率分布以确定所述最佳值。

3.如权利要求1或2所述的立体摄影装置，其特征在于，进一步包括：

距离计算单元，所述距离计算单元通过利用所述校正参数计算到所述物体的距离。

4.如权利要求1或2中任意一项所述的立体摄影装置，其特征在于，进一步地包括：

校正单元，所述校正单元通过利用所述视差补偿值的所述最佳值校正所述校正参数，所述校正参数被用于测量所述距离。

5.如权利要求4中任意一项所述的立体摄影装置，其特征在于，

所述校正单元是将数据写到马达站或NVRAM的存储器存取单元。

6.一种通过检测到物体的距离的立体摄影装置执行的校正方法，其特征在于，所述方法包括：

通过使被安装并且被彼此分离基线长度的两个照相机同步而在不同的时间点获取图像；

基于在通过所述两个照相机获取的所述图像上的对应点的位置坐标中的差计算视差；

基于在两个不同的时间点获取的至少两个图像的视差并且通过利用所述基线长度、所述两个照相机的焦距和用于校正对应点的视差的视差补偿值计算到相同的对应点的距离，所述相同的对应点在所述两个图像上；

基于到在不同的时间点获取的相同的对应点的距离差和所述两个图像的所述视差，整个所述图像计算所述相同的对应点的所述视差补偿值；

通过对所述视差补偿值的分布执行统计分析确定所述视差补偿值的最佳值；和

通过利用确定的所述最佳值对校正参数进行校正，所述校正参数被用于测量所述距离。

7.如权利要求6所述的校正方法，其特征在于，进一步包括：

产生所述视差补偿值的频率分布以确定所述最佳值。