CN112424566A - 测距摄像机 - Google Patents

Abstract

测距摄像机(1)具备：第一摄像系统(IS1)，其用于获取包括第一被摄体像的第一图像；第二摄像系统(IS2)，其用于获取包括第二被摄体像的第二图像；尺寸获取部(3)，其用于检测第一图像中的第一被摄体像的多个特征点，测定该特征点之间的距离，由此获取第一被摄体像的尺寸，并且通过利用极线来检测与第一被摄体像的多个特征点分别对应的、第二图像中的第二被摄体像的多个特征点，测定该特征点间的距离，由此获取第二被摄体像的尺寸；以及距离计算部(5)，其用于基于第一被摄体像的倍率与第二被摄体像的倍率的图像倍率比来计算到被摄体(100)的距离。

Description

测距摄像机

技术领域

本发明涉及一种一般用于测定到被摄体的距离的测距摄像机，更具体地说，涉及一种基于通过被摄体像的倍率根据到被摄体的距离发生的变化互不相同的至少两个光学系统形成的至少两个被摄体像间的图像倍率比来测定到被摄体的距离的测距摄像机。

背景技术

以往以来，提出了一种通过拍摄被摄体来测定到被摄体的距离的测距摄像机。作为这样的测距摄像机，已知一种立体摄像机方式的测距摄像机，所述立体摄像机方式的测距摄像机至少具备两对光学系统和摄像元件，所述光学系统用于将来自被摄体的光进行聚光来形成被摄体像，所述摄像元件用于将由该光学系统形成的被摄体像转换为图像信号(例如参照专利文献1)。

如专利文献1所公开的那样的立体摄像机方式的测距摄像机能够计算由在与光轴方向垂直的方向上彼此偏离地配置的两个光学系统形成的两个被摄体像之间的平移视差(与光轴方向垂直的方向上的视差)，并且基于该平移视差的值来计算到被摄体的距离。

在这样的立体摄像机方式的测距摄像机中，若被摄体像之间的平移视差小，则无法准确地计算到被摄体的距离。因而，为了使被摄体像之间的平移视差充分大，需要将两个光学系统在与光轴方向垂直的方向上间隔较远地配置。这使得难以缩小测距摄像机的尺寸。

另外，当被摄体位于近距离处时，根据得到的图像的视场的关系，可能会发生用于计算平移视差的被摄体像的特征点被拍进一个图像内但未被拍进另一个图像内的状况。为了避免该状况，需要将两个光学系统相接近地配置。然而，当将两个光学系统相接近地配置时，导致被摄体像之间的平移视差变小，测距的精度下降。因此，难以通过基于被摄体像之间的平移视差进行测距来准确地计算到位于近距离处的被摄体的距离。

针对这样的问题，本发明的发明人们提出了一种基于两个被摄体像之间的图像倍率比(倍率的比)来计算到被摄体的距离的、图像倍率比方式的测距摄像机。在图像倍率比方式的测距摄像机中，使用被摄体像的倍率根据到被摄体的距离发生的变化互不相同的两个光学系统，基于通过这两个光学系统形成的两个被摄体像之间的图像倍率比(倍率的比)来计算到被摄体的距离(参照专利文献2)。

在这样的图像倍率比方式的测距摄像机中，不利用被摄体像之间的平移视差来计算到被摄体的距离，因此即使将两个光学系统相接近地配置，也能够准确地计算到被摄体的距离。因此，能够减小测距摄像机的尺寸。另外，即使在被摄体位于近距离处的情况下，也能够准确地获取被摄体像之间的图像倍率比，因此图像倍率比方式的测距摄像机能够准确地计算到位于近距离处的被摄体的距离。

被摄体像之间的图像倍率比是根据两个被摄体像的尺寸之比来计算的。为了获取被摄体像的尺寸，检测通过拍摄被摄体像而得到的图像中的被摄体像的多个特征点(例如测距对象的高度方向或宽度方向上的两端部)，并且测定图像中的该特征点之间的距离，由此进行获取。另外，为了获取被摄体像之间的图像倍率比，需要获取两个被摄体像的相同部分的尺寸。因此，需要在检测到一个被摄体像的多个特征点后，执行用以检测与检测出的一个被摄体像的多个特征点分别对应的另一个被摄体像的多个特征点的对应特征点检测处理。

一般来说，这样的对应特征点检测处理是对通过拍摄另一个被摄体像而获取到的图像的整个区域进行搜索来执行的。然而，对图像的整个区域进行搜索需要大量处理时间的作业，会使对应特征点检测处理需要的处理时间长。其结果是，存在用于基于被摄体像间的图像倍率比来计算到被摄体的距离的处理时间变长的问题。

现有技术文献

专利文献

专利文献1：日本特开2012-26841号公报

专利文献2：日本特愿2017-241896号

发明内容

发明要解决的问题

本发明是鉴于上述以往的问题点而完成的，其目的在于提供如下一种测距摄像机：在用于检测与一个被摄体像的多个特征点分别对应的另一个被摄体像的多个特征点的对应特征点检测处理中，利用基于对极几何的极线来执行特征点的搜索，由此能够缩短用于基于被摄体像之间的图像倍率比来计算到被摄体的距离的处理时间。

用于解决问题的方案

这样的目的通过以下的(1)～(7)的本发明来实现。

(1)一种测距摄像机，其特征在于，具备：

第一摄像系统，其具有第一光学系统和第一摄像元件，所述第一光学系统用于将来自被摄体的光进行聚光来形成第一被摄体像，所述第一摄像元件用于通过拍摄所述第一被摄体像来获取包括所述第一被摄体像的第一图像；

第二摄像系统，其具有第二光学系统和第二摄像元件，所述第二光学系统以相对于所述第一光学系统在与所述第一光学系统的光轴方向垂直的方向上偏离的方式配置，用于将来自所述被摄体的所述光进行聚光来形成第二被摄体像，所述第二摄像元件用于通过拍摄所述第二被摄体像来获取包括所述第二被摄体像的第二图像；

尺寸获取部，其用于检测所述第一图像中的所述第一被摄体像的多个特征点，测定所述第一被摄体像的所述多个特征点之间的距离，由此获取所述第一被摄体像的尺寸，并且检测与所述第一被摄体像的所述多个特征点分别对应的、所述第二图像中的所述第二被摄体像的多个特征点，测定所述第二被摄体像的所述多个特征点之间的距离，由此获取所述第二被摄体像的尺寸；以及

距离计算部，其用于基于作为由所述尺寸获取部获取到的所述第一被摄体像的所述尺寸与所述第二被摄体像的所述尺寸之比得到的、所述第一被摄体像的倍率与所述第二被摄体像的倍率的图像倍率比，来计算到所述被摄体的距离，

其中，所述尺寸获取部在与所述第一被摄体像的所述多个特征点分别对应的所述第二图像中的多个极线上进行搜索，由此检测所述第二图像中的所述第二被摄体像的所述多个特征点。

(2)根据上述(1)所记载的测距摄像机，所述尺寸获取部基于考虑了所述第一摄像系统和所述第二摄像系统的特性及配置的模型，来导出与所述第一被摄体像的所述多个特征点分别对应的、所述第二图像中的所述多个极线。

(3)根据上述(2)所记载的测距摄像机，与所述第一被摄体像的所述多个特征点分别对应的、所述第二图像中的所述多个极线通过下述式(1)来表示。

其中，

在此，x₁和y₁分别为所述第一被摄体像的所述多个特征点中的任意一个特征点在所述第一图像中的x坐标和y坐标，x₂和y₂分别为与所述第一被摄体像的所述多个特征点中的所述任意的一个特征点对应的、所述第二图像中的所述第二被摄体像的特征点的x坐标和y坐标，P_x和P_y分别为所述第一光学系统的前侧主点与所述第二光学系统的前侧主点之间的平移视差的在x轴方向上的值和在y轴方向上的值，D为所述第一光学系统与所述第二光学系统之间的在所述第一光学系统或所述第二光学系统的光轴方向上的深度视差，PS₁为所述第一摄像元件的像素尺寸，PS₂为所述第二摄像元件的像素尺寸，f₁为所述第一光学系统的焦距，f₂为所述第二光学系统的焦距，EP₁为从所述第一光学系统的出射光瞳起至所述被摄体存在于无限远处的情况下的所述第一被摄体像的成像位置为止的距离，EP₂为从所述第二光学系统的出射光瞳起至所述被摄体存在于无限远处的情况下的所述第二被摄体像的成像位置为止的距离，a_FD1为所述第一被摄体像在所述第一摄像元件的摄像面为最佳聚焦的情况下的从所述第一光学系统的所述前侧主点起至所述被摄体为止的距离，a_FD2为所述第二被摄体像在所述第二摄像元件的摄像面为最佳聚焦的情况下的从所述第二光学系统的所述前侧主点起至所述被摄体为止的距离，u₁和v₁分别为所述第一图像中的所述第一光学系统的光轴的x坐标和y坐标，u₂和v₂分别为所述第二图像中的所述第二光学系统的光轴的x坐标和y坐标，R₁₁、R₁₂、R₁₃、R₂₁、R₂₂、R₂₃、R₃₁、R₃₂以及R₃₃为所述第二摄像系统相对于所述第一摄像系统的旋转矩阵的成分。

(4)根据上述(1)所记载的测距摄像机，所述第一光学系统和所述第二光学系统构成为：所述第一被摄体像的所述倍率根据到所述被摄体的所述距离发生的变化不同于所述第二被摄体像的所述倍率根据到所述被摄体的所述距离发生的变化。

(5)根据上述(4)所记载的测距摄像机，

所述第一光学系统和所述第二光学系统构成为：所述第一光学系统的焦距与所述第二光学系统的焦距互不相同，由此，所述第一被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化不同于所述第二被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化。

(6)根据上述(4)或(5)所记载的测距摄像机，

所述第一光学系统和所述第二光学系统构成为：从所述第一光学系统的出射光瞳起至在所述被摄体存在于无限远处的情况下由所述第一光学系统形成的所述第一被摄体像的成像位置为止的距离不同于从所述第二光学系统的出射光瞳起至在所述被摄体存在于无限远处的情况下由所述述第二光学系统形成的所述第二被摄体像的成像位置为止的距离，由此，所述第一被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化不同于所述第二被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化。

(7)根据上述(4)至(6)中的任一项所记载的测距摄像机，在所述第一光学系统的前侧主点与所述第二光学系统的前侧主点之间存在在所述第一光学系统或所述第二光学系统的光轴方向上的深度视差，由此所述第一被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化不同于所述第二被摄体像的所述倍率根据到所述被摄体的所述距离发生的变化。

发明的效果

在本发明的测距摄像机中，在用于检测与一个被摄体像的多个特征点分别对应的另一个被摄体像的多个特征点的对应特征点检测处理中，利用基于对极几何的极线来执行特征点的搜索。因此，能够缩短用于基于被摄体像之间的图像倍率比来计算到被摄体的距离的处理时间。

附图说明

图1是用于说明本发明的测距摄像机的测距原理的图。

图2是用于说明本发明的测距摄像机的测距原理的图。

图3是用于说明由图2所示的第一光学系统形成的第一被摄体像的倍率与由图2所示的第二光学系统形成的第二被摄体像的倍率的图像倍率比根据到被摄体的距离发生变化的曲线图。

图4是用于表示用于导出在本发明的测距摄像机中使用的极线的模型的X-Z俯视图。

图5是用于表示用于导出在本发明的测距摄像机中使用的极线的模型的Y-Z俯视图。

图6是表示使用图4和图5所示的模型导出的极线的一例的图。

图7是概要性地表示本发明的第一实施方式所涉及的测距摄像机的框图。

图8是概要性地表示本发明的第二实施方式所涉及的测距摄像机的框图。

图9是概要性地表示本发明的第三实施方式所涉及的测距摄像机的框图。

图10是用于说明由本发明的测距摄像机执行的测距方法的流程图。

图11是表示在图10所示的测距方法中执行的对应特征点检测处理的详情的流程图。

具体实施方式

首先，对在本发明的测距摄像机中使用的、用于基于被摄体像之间的图像倍率比来计算到被摄体的距离的原理进行说明。此外，在各图中，对发挥同样或类似的功能的组件标注相同的附图标记。

关于由光学系统形成的被摄体像的倍率m_OD，能够利用从光学系统的前侧主点(前侧主面)起至被摄体为止的距离(被摄体距离)a、从光学系统的后侧主点(后侧主面)起至被摄体像的成像位置为止的距离b_OD、以及光学系统的焦距f，根据透镜的公式如下述式(1)那样表示。

[数1]

另外，关于被摄体像的尺寸Y_OD，能够根据被摄体像的倍率m_OD和被摄体的实际的尺寸sz，如下述式(2)那样表示。

[数2]

在传感器等摄像元件的摄像面处于被摄体像的成像位置的情况下、即为最佳聚焦的情况下，被摄体像的尺寸Y_OD能够用上述式(2)来表示。在光学系统具有自动调焦功能且始终以最佳聚焦进行摄像的情况下，能够使用上述式(2)求出被摄体像的尺寸Y_OD。

然而，在光学系统为不具有自动调焦功能的固定焦点系统并且传感器等摄像元件的摄像面不处于被摄体像的成像位置的情况下、即存在散焦的情况下，为了求出形成于摄像元件的摄像面上的被摄体像的尺寸Y_FD，需要考虑散焦量、即被摄体像的成像位置与摄像元件的摄像面的位置的在深度方向(光轴方向)上的差(偏移量)。

如图1所示，将从光学系统的出射光瞳起至被摄体存在于无限远处的情况下的被摄体像的成像位置为止的距离设为EP，将从光学系统的出射光瞳起至被摄体存在于任意的距离a处的情况下的被摄体像的成像位置为止的距离设为EP_OD，将从光学系统的出射光瞳起至摄像元件的摄像面为止的距离(聚焦距离：Focus Distance)设为EP_FD。另外，将从光学系统的后侧主点起至被摄体存在于任意的距离a处的情况下的被摄体像的成像位置为止的距离设为b_OD，将从光学系统的后侧主点起至摄像元件的摄像面为止的距离设为b_FD。此外，在图示的方式中，为了使说明简化，概要性地示出光学系统的后侧主点处于光学系统的中心位置的光学系统。

关于从光学系统的后侧主点起至被摄体存在于任意的距离a处的情况下的被摄体像的成像位置为止的距离b_OD，能够根据透镜的公式通过下述式(3)来求出。

[数3]

因而，焦距f与距离b_OD之差Δb_OD能够通过下述式(4)求出。

[数4]

另外，关于从光学系统的后侧主点起至摄像元件的摄像面为止的距离b_FD，能够使用在被摄体像在摄像元件的摄像面为最佳聚焦的情况下从光学系统的前侧主点起至被摄体为止的距离a_FD，根据透镜的公式通过下述式(5)来求出。

[数5]

因而，焦距f与距离b_FD之差Δb_FD能够通过下述式(6)求出。

[数6]

另外，根据图1明确可知的是，以光轴与光学系统的出射光瞳的交点为一个顶点、以被摄体存在于任意的距离a处的情况下的被摄体像的成像位置的被摄体像的尺寸Y_OD为一个边的直角三角形同以光轴与光学系统的出射光瞳的交点为一个顶点、以摄像元件的摄像面中的被摄体像的尺寸Y_FD为一个边的直角三角形为相似关系。因此，根据相似关系，EP_OD：EP_FD＝Y_OD：Y_FD成立，能够根据下述式(7)求出摄像元件的摄像面中的被摄体像的尺寸Y_FD。

[数7]

EP_OD：EP_FD＝Y_OD：Y_FD

EP+Δb_OD：EP+Δb_FD＝Y_OD：Y_FD

根据上述式(7)明确可知的是，摄像元件的摄像面中的被摄体像的尺寸Y_FD能够表示为被摄体的实际尺寸sz、光学系统的焦距f、从光学系统的出射光瞳起至被摄体存在于无限远处的情况下的被摄体像的成像位置为止的距离EP、从光学系统的出射光瞳起至被摄体为止的距离(被摄体距离)a、以及在被摄体像在摄像元件的摄像面为最佳聚焦的情况下从光学系统的前侧主点起至被摄体为止的距离(焦距)a_FD的函数。

接着，如图2所示，假定使用两个摄像系统统IS1、IS2拍摄了相同的被摄体100的情况。第一摄像系统IS1具有用于将来自被摄体100的光进行聚光来形成第一被摄体像的第一光学系统OS1、以及用于拍摄由第一光学系统OS1形成的第一被摄体像的第一摄像元件S1。第二摄像系统IS2具有用于将来自被摄体100的光进行聚光来形成第二被摄体像的第二光学系统OS2、以及用于拍摄由第二光学系统OS2形成的第二被摄体像的第二摄像元件S2。此外，第一摄像元件S1的像素尺寸(每个像素的尺寸)为PS₁，第二摄像元件S2的像素尺寸为PS₂。

另外，根据图2明确可知的是，第一摄像系统IS1的第一光学系统OS1的光轴与第二摄像系统IS2的第二光学系统OS2的光轴平行，但不一致。另外，第二光学系统OS2配置成相对于第一光学系统OS1在与第一光学系统OS1的光轴方向垂直的方向上分离距离P。

此外，在图示的结构中，第一光学系统OS1的光轴与第二光学系统OS2的光轴平行，但本发明不限于此。例如，第一光学系统OS1和第二光学系统OS2也可以配置为：第一光学系统OS1的光轴的角度(三维极坐标的角度参数

)与第二光学系统OS2的光轴的角度互不相同。然而，为了简化说明，设为第一光学系统OS1和第二光学系统OS2如图2所示那样配置为：第一光学系统OS1的光轴与第二光学系统OS2的光轴平行但不一致，彼此分离距离P。

第一光学系统OS1和第二光学系统OS2是分别具有焦距f₁、f₂的、焦点固定的光学系统。在构成第一摄像系统IS1时，将第一光学系统OS1的位置(透镜位置)即第一光学系统OS1与第一摄像元件S1的分离距离调整为使处于任意的距离(焦距)a_FD1处的被摄体100的第一被摄体像形成于第一摄像元件S1的摄像面上，即、使处于任意的距离a_FD1处的被摄体100成为最佳聚焦。同样地，在构成第二摄像系统IS2时，将第二光学系统OS2的位置(透镜位置)即第二光学系统OS2与第二摄像元件S2的分离距离调整为使处于任意的距离(焦距)a_FD2处的被摄体100的第二被摄体像形成于第二摄像元件S2的摄像面上，即、使处于任意的距离a_FD2处的被摄体100成为最佳聚焦。

另外，从第一光学系统OS1的出射光瞳起至被摄体100存在于无限远处的情况下的第一被摄体像的成像位置为止的距离为EP₁，从第二光学系统OS2的出射光瞳起至被摄体100存在于无限远处的情况下的第二被摄体像的成像位置为止的距离为EP₂。

第一光学系统OS1和第二光学系统OS2构成且配置为：在第一光学系统OS1的前侧主点(前侧主面)与第二光学系统OS2的前侧主点(前侧主面)之间存在深度方向(光轴方向)上的差(深度视差)D。即，当将从第一光学系统OS1的前侧主点起至被摄体100为止的距离(被摄体距离)设为a时，从第二光学系统OS2的前侧主点起至被摄体100为止的距离为a+D。

通过利用参照图1进行了说明的相似关系，由第一光学系统OS1形成于第一摄像元件S1的摄像面上的第一被摄体像的倍率m₁能够用下述式(8)表示。

[数8]

在此，EP_OD1为从第一光学系统OS1的出射光瞳起至被摄体100存在于距离a处的情况下的第一被摄体像的成像位置为止的距离，EP_FD1为从第一光学系统OS1的出射光瞳起至第一摄像元件S1的摄像面为止的距离。距离EP_OD1和距离EP_FD1的位置关系是在构成第一摄像系统IS1时通过以处于任意的距离a_FD1处的被摄体100成为最佳聚焦的方式调整第一光学系统OS1的位置(透镜位置)来决定的。另外，Δb_OD1为焦距f₁与从第一光学系统OS1的后侧主点起至被摄体100存在于距离a处的情况下的第一被摄体像的成像位置为止的距离b_OD1之差，Δb_FD1为焦距f₁与从第一光学系统OS1的后侧主点起至第一摄像元件S1的摄像面为止的距离b_FD1之差，m_OD1为被摄体100存在于距离a处的情况下的第一被摄体像的成像位置的第一被摄体像的倍率。

上述式(1)、(4)和(6)也能够应用于利用第一光学系统OS1进行的成像，因此上述式(8)能够用下述式(9)表示。

[数9]

在此，a_FD1为在第一被摄体像在第一摄像元件S1的摄像面成为最佳聚焦的情况下从第一光学系统OS1的前侧主点起至被摄体100为止的距离。

同样地，由第二光学系统OS2形成于第二摄像元件S2的摄像面上的第二被摄体像的倍率m₂能够用下述式(10)表示。

[数10]

在此，EP_OD2为从第二光学系统OS2的出射光瞳起至被摄体100存在于距离a+D处的情况下的第二被摄体像的成像位置为止的距离，EP_FD2为从第二光学系统OS2的出射光瞳起至第二摄像元件S2的摄像面为止的距离。距离EP_OD2和距离EP_FD2的位置关系是在构成第二摄像系统IS2时通过以使处于任意的距离a_FD2处的被摄体100成为最佳聚焦的方式调整第二光学系统OS2的位置(透镜位置)来决定的。另外，Δb_OD2为焦距f₂与从第二光学系统OS2的后侧主点起至被摄体100存在于距离a+D的情况下的第二被摄体像的成像位置为止的距离b_OD2之差，Δb_FD2为焦距f₂与从第二光学系统OS2的后侧主点起至第二摄像元件S2的摄像面为止的距离b_FD2之差，m_OD2为被摄体100存在于距离a+D处的情况下的第二被摄体像的成像位置的第二被摄体像的倍率，a_FD2为在第二被摄体像在第二摄像元件S2的摄像面成为最佳聚焦的情况下从第二光学系统OS2的前侧主点起至被摄体100为止的距离。

因而，由第一光学系统OS1形成于第一摄像元件S1的摄像面上的第一被摄体像的倍率m₁与由第二光学系统OS2形成于第二摄像元件S2的摄像面上的第二被摄体像的倍率m₂的图像倍率比MR能够用下述式(11)表示。

[数11]

在此，K为系数，用由根据第一摄像系统统IS1和第二摄像系统IS2的结构决定的固定值f₁、f₂、EP₁、EP₂、a_FD1以及a_FD2构成的下述式(12)表示。

[数12]

根据上述式(11)明确可知的是：由第一光学系统OS1形成于第一摄像元件S1的摄像面上的第一被摄体像的倍率m₁与由第二光学系统OS2形成于第二摄像元件S2的摄像面上的第二被摄体像的倍率m₂的图像倍率比MR根据从被摄体100起至第一光学系统OS1的前侧主点为止的距离a发生变化。

另外，当关于距离a对上述式(11)求解时，能够得到关于到被摄体100的距离a的通用公式(13)。

[数13]

在上述式(13)中，f₁、f₂、EP₁、EP₂、D及K为根据第一摄像系统IS1和第二摄像系统IS2的结构和配置决定的固定值，因此只要能够得到图像倍率比MR，就能够计算从被摄体100起至第一光学系统OS1的前侧主点为止的距离a。

在图3中示出基于上述式(13)计算出的、由第一光学系统OS1形成于第一摄像元件S1的摄像面上的第一被摄体像的倍率m₁与由第二光学系统OS2形成于第二摄像元件S2的摄像面上的第二被摄体像的倍率m₂的图像倍率比MR同到被摄体100的距离a的关系的一例。根据图3明确可知的是：在图像倍率比MR的值与到被摄体100的距离a之间，一对一的关系成立。

另一方面，图像倍率比MR能够通过下述式(14)来计算。

[数14]

在此，sz为被摄体100的实际尺寸(高度或宽度)，Y_FD1为由第一光学系统OS1形成于第一摄像元件S1的摄像面上的第一被摄体像的尺寸(像高或像宽)，Y_FD2为由第二光学系统OS2形成于第二摄像元件S2的摄像面上的第二被摄体像的尺寸(像高或像宽)。

第一被摄体像的尺寸Y_FD1能够根据通过第一摄像元件S1拍摄第一被摄体像而得到的第一图像来实际测量。同样地，第二被摄体像的尺寸Y_FD2能够根据通过第二摄像元件S2拍摄第二被摄体像而获取的第二图像来实际测量。

具体地说，检测第一图像内包括的第一被摄体像的多个特征点(例如高度方向或宽度方向上的两端部)，并且测定检测出的该多个特征点之间的距离，由此获取第一被摄体像的尺寸Y_FD1。另一方面，检测与检测出的第一被摄体像的多个特征点分别对应的、第二图像中的第二被摄体像的多个特征点，并且测定检测出的该特征点间的距离，由此获取第二被摄体像的尺寸Y_FD2。此外，在以下的说明中，将用于检测与检测出的第一被摄体像的多个特征点分别对应的、第二图像中的第二被摄体像的多个特征点的处理称作对应特征点检测处理。在本发明的测距摄像机中，在对应特征点检测处理中，通过利用基于对极几何的极线，大幅地缩短了进行对应特征点检测处理所需的处理时间。

在图4和图5中示出用于导出在本发明的测距摄像机中使用的极线的模型。图4是表示用于导出极线的模型中的第一摄像系统IS1和第二摄像系统IS2的配置的X-Z俯视图。图5是表示用于导出极线的模型中的第一摄像系统IS1和第二摄像系统IS2的配置的Y-Z俯视图。

如图4和图5所示，第一摄像系统IS1和第二摄像系统IS2以第一摄像系统IS1的第一光学系统OS1的光轴与第二摄像系统IS2的第二光学系统OS2的光轴不一致的方式配置。因此，在由第一光学系统OS1形成的第一被摄体像与由第二光学系统OS2形成的第二被摄体像之间产生平移视差。在本发明的测距摄像机中，第一被摄体像的倍率m₁与第二被摄体像的倍率m₂之比即图像倍率比MR被用于计算到被摄体100的距离a，第一被摄体像与第二被摄体像之间的平移视差不被用于计算到被摄体100的距离a。然而，由于在第一被摄体像与第二被摄体像之间存在平移视差，因此也能够将如在立体摄像机方式的测距摄像机中使用的基于对极几何的极线的原理应用于在本发明的测距摄像机中得到的第一被摄体像和第二被摄体像。

一般来说，作为用于导出极线的模型，大多使用仅考虑第一摄像系统IS1和第二摄像系统IS2的配置(与视差有关的参数P_x、P_y、D)而不未考虑第一摄像系统IS1和第二摄像系统IS2的特性(上述的参数f₁、f₂、EP₁、EP₂、a_FD1、a_FD2、PS₁、PS₂)的针孔模型。然而，实际的摄像系统IS1、IS2具有光学系统OS1、OS2、摄像元件S1、S2等与摄像有关的很多要素。因此，忽略了这样的要素的针孔模型与现实之间存在偏差，无法准确地导出极线。另一方面，在本发明的测距摄像机中，使用图4和图5所示的考虑了第一摄像系统IS1和第二摄像系统IS2的特性及配置的模型来导出极线，由此能够更准确地导出极线。此外，如参照图2所说明的那样，图4和图5所示的模型中的第一摄像系统IS1和第二摄像系统IS2的特性及配置如下表所示。

[表1]

在图4和图5所示的模型中，第一摄像系统IS1的第一光学系统OS1的前侧主点的坐标为原点(0，0，0)，第二摄像系统IS2的第二光学系统OS2的前侧主点的坐标为(P_x，P_y，-D)。因此，与第一光学系统OS1或第二光学系统OS2的光轴方向垂直的方向上的、第一光学系统OS1的光轴与第二光学系统OS2的光轴之间的分离距离P用P＝(P_x ²+P_y ²)^1/2表示。此外，将第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点的在x轴方向上的分离距离P_x称作x轴方向上的平移视差，将第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点的在y轴方向上的分离距离P_y称作y轴方向上的平移视差。另外，如上述那样，将第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点的在z轴方向上的分离距离D称作深度视差。另外，将第二摄像系统IS2相对于第一摄像系统IS1的绕x轴、绕y轴以及绕z轴的旋转分别设为θ_x、θ_y、θ_z。

另外，在第一摄像系统IS1中，理想情况下，第一光学系统OS1的光轴位于第一摄像元件S1的摄像面的中心。然而，由于第一摄像系统IS1的组装时的误差、精度等原因，有时第一光学系统OS1的光轴未位于第一摄像元件S1的摄像面的中心。在该情况下，在由第一摄像系统IS1获取的第一图像中，第一光学系统OS1的光轴不位于第一图像的中心、即第一图像的原点(0，0)。上述表1所示的第一摄像系统IS1的特性中的光轴位置(u₁，v₁)表示第一图像中的第一光学系统OS1的光轴的位置的x坐标和y坐标。同样地，上述表1所示的第二摄像系统IS2的特性中的光轴位置(u₂，v₂)表示第二图像中的第二光学系统OS2的光轴的位置的x坐标和y坐标。在用于导出极线的模型中，通过考虑这样的第一光学系统OS1和第二光学系统OS2的光轴位置的偏离，能够更准确地导出极线。

在这样的模型中，设为使用第一摄像系统IS1和第二摄像系统IS2来拍摄位于坐标(X，Y，a)的被摄体100的特征点S。此时，将由第一摄像系统IS1获取到的第一图像中的特征点S的坐标设为(x₁，y₁)，将由第二摄像系统IS2获取到的第二图像中的特征点S的坐标设为(x₂，y₂)。

此外，在以下的说明中，将以任意的基准点为原点的坐标称作世界坐标，将以第一摄像系统IS1的第一光学系统OS1的前侧主点为原点的坐标称作第一摄像系统IS1的摄像机坐标，将以第二摄像系统IS2的第二光学系统OS2的前侧主点为原点的坐标称作第二摄像系统IS2的摄像机坐标，将第一图像中的坐标(例如x₁，y₁)称作第一图像的图像坐标，将第二图像中的坐标(例如x₂，y₂)称作第二图像的图像坐标。在图4和图5所示的模型中，世界坐标的原点为第一摄像系统IS1的第一光学系统OS1的前侧主点。因而，在图4和图5所示的模型中，世界坐标的原点与第一摄像系统IS1的摄像机坐标的原点一致。

世界坐标通过摄像系统的外部矩阵被转换为摄像机坐标。并且，摄像机坐标通过摄像系统的内部矩阵被转换为图像坐标。因而，特征点S的世界坐标(X，Y，a)通过第一摄像系统IS1的外部矩阵和内部矩阵被转换为第一图像的图像坐标(x₁，y₁)。同样地，特征点S的世界坐标(X，Y，a)通过第二摄像系统IS2的外部矩阵和内部矩阵被转换为第二图像的图像坐标(x₂，y₂)。

首先，讨论由第一摄像系统IS1获取的第一图像的图像坐标(x₁，y₁)。在通过第一摄像系统IS1拍摄了特征点S的情况下，特征点S的世界坐标(X，Y，a)通过第一摄像系统IS1的外部矩阵被转换为第一摄像系统IS1的摄像机坐标(x’₁，y’₁，a’)。然而，如上述那样，图4和图5所示的模型中的世界坐标以第一摄像系统IS1的第一光学系统OS1的前侧主点为原点(基准点)，因此在图4和图5所示的模型中的世界坐标与第一摄像系统IS1的摄像机坐标之间不存在旋转、位移。该状态能够用下述式(15)表示。下述式(15)中的4行4列的矩阵为第一摄像系统IS1的外部矩阵。由于在图4和图5所示的模型中的世界坐标与第一摄像系统IS1的摄像机坐标之间不存在旋转、位移，因此第一摄像系统IS1的外部矩阵为单位矩阵。

[数15]

接着，特征点S的第一摄像系统IS1的摄像机坐标(x’₁，y’₁，a’)通过第一摄像系统IS1的内部矩阵被转换为第一图像的图像坐标(x₁，y₁)。关于该第一摄像系统IS1的内部矩阵，能够同上文中参照图2叙述的、用上述式(7)表示的被摄体100的尺寸sz与第一被摄体像的尺寸Y_FD1之间的关系同样地导出。但是，在图4和图5所示的模型中，考虑了第一光学系统OS1的光轴位置的偏移，第一光学系统OS1的光轴不位于第一图像的原点(0，0)，位于第一图像的坐标(u₁，v₁)。当考虑第一光学系统OS1的光轴位置的偏移时，能够得到下述式(16)。此外，在上述式(7)中，被摄体100的尺寸sz和第一被摄体像的尺寸Y_FD1用mm单位表示，但由于下述式(16)表示第一图像的图像坐标x₁，因此变为像素单位。

[数16]

其中，

同样地，当求出第一图像的图像坐标y₁时，能够得到下述式(17)。

[数17]

在此，上述式(16)和(17)中的K₁和L₁根据由第一摄像系统IS1的结构决定的固定值f1、EP₁、a_FD1、PS₁来决定。因此，上述式(16)和(17)中的K₁和L₁为根据第一摄像系统IS1的结构唯一地确定的固定值。

根据上述式(16)和(17)，能够得到表示特征点S的第一图像的图像坐标(x₁，y₁)的下述式(18)。此外，下述式(18)中的3行4列的矩阵为第一摄像系统IS1的内部矩阵。

[数18]

其中，

根据上述式(18)，能够确定由第一摄像系统IS1获取的第一图像中的被摄体100的特征点S的坐标(x₁，y₁)。下面，将在第一图像的图像坐标(x₁，y₁)出观测到的被摄体100的特征点S称作第一被摄体像的特征点。

上述式(18)中的4行4列的第一摄像系统IS1的外部矩阵反映出第一摄像系统IS1的配置(第一摄像系统IS1相对于世界坐标的基准点的配置)，上述式(18)中的3行4列的第一摄像系统IS1的内部矩阵反映出第一摄像系统IS1的特性(固定值f₁、EP₁、a_FD1、PS₁、u₁、v₁)。

接着，讨论由第二摄像系统IS2获取的第二图像的图像坐标(x2，y2)。特征点S的世界坐标(X，Y，a)通过第二摄像系统IS2的外部矩阵被转换为第二摄像系统IS2的摄像机坐标(x’₂，y’₂，a’)。此时，存在第二摄像系统IS2相对于作为世界坐标的原点的、第一摄像系统IS1的第一光学系统OS1的前侧主点的旋转、位置偏移。

关于绕x轴的旋转的旋转矩阵R^x、关于绕y轴的旋转的旋转矩阵R^y以及关于绕z轴的旋转的旋转矩阵R^z通过下述式(19)表示。

[数19]

第二摄像系统IS2的x轴、y轴以及z轴均可能相对于第一摄像系统IS1旋转，因此使旋转矩阵R^x、旋转矩阵R^y以及旋转矩阵R^z相乘得到的就是第二摄像系统IS2的旋转矩阵R。因而，第二摄像系统IS2的旋转矩阵R用下述式(20)表示。此外，在下述式(20)中，旋转矩阵R用R^x·R^y·R^z表示，但用于得到旋转矩阵R的旋转矩阵R^x、旋转矩阵R^y以及旋转矩阵R^z的相乘顺序不限定于此。例如，旋转矩阵R可以用R^z·R^y·R^x、R^y·R^x·R^z等表示。另外，下述式(20)中的R₁₁、R₁₂、R₁₃、R₂₁、R₂₂、R₂₃、R₃₁、R₃₂、R₃₃为第二摄像系统IS2相对于第一摄像系统IS1的旋转矩阵R的成分。

[数20]

另外，如上述那样，第二摄像系统IS2相对于第一摄像系统IS1具有平移方向上的平移视差P_x、P_y以及深度方向上的深度视差D。这些视差能够用下式(21)的平移矩阵t表示。

[数21]

第二摄像系统IS2的外部矩阵用上述式(20)的旋转矩阵R与上述式(21)的平移矩阵的组合表现，特征点S的第二摄像系统IS2的摄像机坐标(x’₂，y’₂，a’)能够用下述式(22)表示。下述式(22)中的4行4列的矩阵为第二摄像系统IS2的外部矩阵。

[数22]

接着，特征点S的第二摄像系统IS2的摄像机坐标(x’₂，y’₂，a’)通过第二摄像系统IS2的内部矩阵被转换为第二图像的图像坐标(x₂，y₂)。基于与上述式(16)和(17)相同的理由，特征点S的第二图像的图像坐标(x₂，y₂)用下述式(23)和(24)表示。

[数23]

其中，

[数24]

在此，上述式(23)和(24)中的K₂和L₂根据由第二摄像系统IS2的结构决定的固定值f₂、EP₂、a_FD2、PS₂来决定。因此，上述式(23)和(24)中的K₂和L₂是根据第二摄像系统IS2的结构唯一地确定的固定值。

根据上述式(23)和(24)，特征点S的第二图像的图像坐标(x₂，y₂)能够用下述式(25)表示。此外，下述式(25)中的3行4列的矩阵为第二摄像系统IS2的内部矩阵。

[数25]

其中，

根据上述式(25)，能够确定由第二摄像系统IS2获取的第二图像中的被摄体100的特征点S的坐标(x₂，y₂)。下面，将在第二图像的图像坐标(x₂，y₂)处观测到的被摄体100的特征点S称作第二被摄体像的特征点。

上述式(25)中的4行4列的第二摄像系统IS2的外部矩阵反映出第二摄像系统IS2的配置(第二摄像系统IS2相对于世界坐标的基准点的配置)，上述式(25)中的3行4列的第二摄像系统IS2的内部矩阵反映出第二摄像系统IS2的特性(固定值f₂、EP₂、a_FD2、PS₁、u₂、v₂)。

并且，上述式(18)的X和上述式(25)的X相同，因此根据上述式(18)和上述式(25)得到关于距离a的下述式(26)。同样地，上述式(18)的Y和上述式(25)的Y相同，因此根据上述式(18)和上述式(25)得到关于距离a的下述式(27)。

[数26]

[数27]

其中，

上述式(26)和(27)是等效的，因此当关于第二图像中的第二被摄体像的特征点的坐标x₂和y₂进行合并时，能够得到以下所示的关于极线的通用公式(28)。

[数28]

上述通用公式(28)中的G₁、G₂、G₃、G₄、G₅、G₆根据由第一摄像系统IS1和第二摄像系统IS2的结构和配置决定的固定值f₁、f₂、EP₁、EP₂、PS₁、PS₂、a_FD1、a_FD2、P_x、P_y、D、u₁、v₁、u₂、v₂、θ_x、θ_y、θ_z、R₁₁、R₁₂、R₁₃、R₂₁、R₂₂、R₂₃、R₃₁、R₃₂、R₃₃来决定。因此，上述式(28)中的G₁、G₂、G₃、G₄、G₅、G₆为根据第一摄像系统IS1和第二摄像系统IS2的结构和配置唯一地确定的固定值。

通过上述式(28)表示的与第二图像中的第二被摄体像的特征点的坐标x₂和y₂有关的一次方程式表示与位于第一图像中的坐标(x₁，y₁)的第一被摄体像的特征点对应的、第二图像中的极线。即，在第一图像中在坐标(x₁，y₁)处检测到第一被摄体像的任意的特征点的情况下，在第二图像中，与第一被摄体像的任意的特征点对应的、第二被摄体像的特征点一定存在于上述式(28)表示的极线上。

在图6中示出如上述那样计算出的极线的一例。在以图6中所示的第一摄像系统IS1和第二摄像系统IS2的特性及配置对被摄体100进行了拍摄的情况下，获取到如图6所示的第一图像和第二图像。在图6的例子中，将第一图像和第二图像中包括的三角形的上侧的顶点设为被摄体100的任意的特征点S。在各图像中，以中心点为原点(坐标(0，0))的坐标为各图像的图像坐标。

当在第一图像中在(x₁，y₁)＝(972.0，-549.0)的位置检测到第一被摄体像的特征点(第一图像中的三角形的上侧顶点)的情况下，与第一被摄体像的特征点对应的、第二被摄体的特征点一定存在于用上述式(28)表示的第二图像中的极线上。在图示的例子中，与第一被摄体像的特征点对应的、第二被摄体的特征点存在于第二图像中的坐标(x₂，y₂)＝(568.7，-229.5)。

像这样，通过使用上述式(28)导出第二图像中的极线，不用搜索第二图像的整个区域，通过在该极线上进行搜索就能够检测与第一被摄体像的任意的特征点对应的、第二被摄体像的特征点。在用于检测与第一被摄体像的多个特征点分别对应的、第二图像中的第二被摄体像的特征点的对应特征点检测处理中，利用上述的基于对极几何的极线来执行特征点的搜索，由此能够大幅地缩短进行对应特征点检测处理需要的处理时间。基于这样的理由，在本发明的测距摄像机中，实现了用于基于被摄体像之间的图像倍率比MR来计算到被摄体100的距离a的处理时间的大幅缩短。

并且，相比于大多被用于如上述那样导出极线的针孔模型，图4和图5所示的模型的特征在于考虑了第一摄像系统IS1和第二摄像系统IS2的特性及配置这两方。特别地，在上述式(18)中的3行4列的第一摄像系统IS1的内部矩阵中反映出第一摄像系统IS1的特性(固定值f₁、EP₁、a_FD1、PS₁、u₁、v₁)，在上述式(25)中的3行4列的第二摄像系统IS2的内部矩阵中反映出第二摄像系统IS2的特性(固定值f₂、EP₂、a_FD2、PS₂、u₂、v₂)。因此，相比于使用以往的针孔模型的情况，能够更准确地检测第二图像中的第二被摄体像的多个特征点。

本发明的测距摄像机在对应特征点检测处理中，利用上述的基于对极几何的极线来检测与为了测定第一被摄体像的尺寸Y_FD1而检测出的第一被摄体像的多个特征点分别对应的、第二图像中的第二被摄体像的多个特征点。测定检测出的第二被摄体像的多个特征点之间的距离，并获取第二被摄体像的尺寸Y_FD2。将获取到的第一被摄体像的尺寸Y_FD1和第二被摄体像的尺寸Y_FD2使用于获取第一被摄体像的倍率m₁与第二被摄体像的倍率m₂的图像倍率比MR，并基于图像倍率比MR来计算到被摄体100的距离a。

像这样，在本发明的测距摄像机中，根据通过实际地使用第一摄像系统IS1和第二摄像系统IS2拍摄被摄体100而得到的包括第一被摄体像的第一图像和包括第二被摄体像的第二图像，来实际测量第一被摄体像的尺寸Y_FD1和第二被摄体像的尺寸Y_FD2，基于上述式(14)MR＝Y_FD2/Y_FD1能够得到第一被摄体像的倍率m₁与第二被摄体像的倍率m₂的图像倍率比MR。

此外，根据上述式(11)明确可知的是：在第一光学系统OS1的焦距f₁与第一光学系统OS1的焦距f₂相等(f₁＝f₂)，从第一光学系统OS1的出射光瞳起至被摄体100处于无限远处的情况下的第一被摄体像的成像位置为止的距离EP₁与从第二光学系统OS2的出射光瞳起至被摄体100处于无限远处的情况下的第二被摄体像的成像位置为止的距离EP₂相等(EP₁＝EP₂)，并且第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点之间不存在在深度方向(光轴方向)上的深度视差D(D＝0)的情况下，图像倍率比MR不会成为距离a的函数，图像倍率比MR为常数。在该情况下，第一被摄体像的倍率m₁根据到被摄体100的距离a发生的变化与第二被摄体像的倍率m₂根据到被摄体100的距离a发生的变化相同，无法基于图像倍率比MR来计算从第一光学系统OS1起至被摄体为止的距离a。

另外，作为特殊条件，即使在f₁≠f₂、EP₁≠EP₂且D＝0的情况下，若f₁＝EP₁且f₂＝EP₂，则图像倍率比MR不会成为距离a的函数，图像倍率比MR为常数。在这样的特殊情况下也无法基于图像倍率比MR来计算从第一光学系统OS1起至被摄体为止的距离a。

因而，在本发明的测距摄像机中，第一光学系统OS1和第二光学系统OS2构成且配置为满足以下的三个条件中的至少一个条件，由此，第一被摄体像的倍率m₁根据到被摄体100的距离a发生的变化不同于第二被摄体像的倍率m₂根据到被摄体100的距离a发生的变化。

(第一条件)第一光学系统OS1的焦距f₁与第二光学系统OS2的焦距f₂互不相同(f₁≠f₂)

(第二条件)从第一光学系统OS1的出射光瞳起至被摄体100处于无限远处的情况下的第一被摄体像的成像位置为止的距离EP₁与从第二光学系统OS2的出射光瞳起至被摄体100处于无限远处的情况下的第二被摄体像的成像位置为止的距离EP₂互不相同(EP₁≠EP₂)

(第三条件)在第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点之间存在深度方向(光轴方向)上的差D(D≠0)

以外，即使设为满足了上述第一条件～第三条件中的至少一个条件，在上述的特殊情况下(f₁≠f₂、EP₁≠EP₂、D＝0、f₁＝EP₁且f₂＝EP₂)，图像倍率比MR也不会成为距离a的函数，无法基于图像倍率比MR来计算从第一光学系统OS1起至被摄体100为止的距离a。因而，为了基于图像倍率比MR来计算从第一光学系统OS1起至被摄体100为止的距离a，本发明的测距摄像机构成为还满足图像倍率比MR为距离a的函数这个第四条件。

因此，基于根据使用本发明的测距摄像机获取到的第一图像和第二图像实际测量的第一被摄体像的尺寸Y_FD1和第二被摄体像的尺寸Y_FD2来计算图像倍率比MR，由此能够计算从第一光学系统OS1的前侧主点起至被摄体100为止的距离a。

下面，基于附图所示的优选的实施方式来详细叙述基于第一被摄体像的倍率m₁与第二被摄体像的倍率m₂的图像倍率比MR来计算到被摄体100的距离a的本发明的测距摄像机。

<第一实施方式>

首先，参照图7来说明本发明的测距摄像机的第一实施方式。图7是概要性地表示本发明的第一实施方式所涉及的测距摄像机的框图。

图7所示的测距摄像机1具备：控制部2，其进行测距摄像机1的控制；第一摄像系统IS1，其具有第一光学系统OS1和第一摄像元件S1，所述第一光学系统OS1用于将来自被摄体100的光进行聚光来形成第一被摄体像，所述第一摄像元件S1用于拍摄第一被摄体像来获取包括第一被摄体像的第一图像；第二摄像系统IS2，其具有第二光学系统OS2和第二摄像元件S2，所述第二光学系统OS2以相对于第一光学系统OS1在与第一光学系统OS1的光轴方向垂直的方向上偏离距离P的方式配置，用于将来自被摄体100的光进行聚光来形成第二被摄体像；所述第二摄像元件S2用于拍摄第二被摄体像来获取包括第二被摄体像的第二图像；尺寸获取部3，其用于获取第一被摄体像的尺寸Y_FD1和第二被摄体像的尺寸Y_FD2；关联信息存储部4，其存储将第一被摄体像的倍率m₁与第二被摄体像的倍率m₂的图像倍率比MR同到被摄体100的距离a建立关联的关联信息；距离计算部5，其用于基于由通过尺寸获取部3获取到的第一被摄体像的尺寸Y_FD1与第二被摄体像的尺寸Y_FD2之比得到的、第一被摄体像的倍率m₁与第二被摄体像的倍率m₂的图像倍率比MR，来计算到被摄体100的距离a；三维图像生成部6，其基于由第一摄像元件S1获取到的第一图像或由第二摄像元件S2获取到的第二图像、以及由距离计算部5计算出的到被摄体100的距离a，来生成被摄体100的三维图像；显示部7，其为用于显示任意的信息的液晶面板等；操作部8，其用于输入使用者进行的操作；通信部9，其用于与外部器件执行通信；以及数据总线10，其用于执行测距摄像机1的各组件间的数据的发送和接收。

本实施方式的测距摄像机1的特征在于，第一光学系统OS1和第二光学系统OS2构成为：满足用以基于图像倍率比MR来计算到被摄体100的距离a所要求的上述的三个条件中的第一条件，即、第一光学系统OS1的焦距f₁与第二光学系统OS2的焦距f₂互不相同(f₁≠f₂)。另一方面，在本实施方式中，第一光学系统OS1和第二光学系统OS2未构成且配置为满足上述的三个条件中的其它两个条件(EP₁≠EP₂和D≠0)。并且，本实施方式的测距摄像机1构成为满足图像倍率比MR为距离a的函数这个第四条件。

因此，用于使用图像倍率比MR来计算到被摄体100的距离a的上述通用公式(13)通过EP₁＝EP₂＝EP和D＝0的条件能被简化，能够用下述式(29)表示。

[数29]

其中，

在本实施方式的测距摄像机1中，通过第一摄像系统IS1和第二摄像系统IS2来拍摄被摄体100，由此计算第一被摄体像的倍率m₁与第二被摄体像的倍率m₂的图像倍率比MR，并且使用上述式(29)来计算到被摄体100的距离a。

另外，在本实施方式的测距摄像机1中，尺寸获取部3检测由第一摄像元件S1获取到的第一图像中的第一被摄体像的多个特征点(例如高度方向或宽度方向上的两端部)，并且测定该多个特征点之间的距离，由此获取第一被摄体像的尺寸Y_FD1。并且，尺寸获取部3检测与检测出的第一被摄体像的多个特征点分别对应的、第二图像中的第二被摄体像的多个特征点，并且测定该多个特征点之间的距离，由此获取第二被摄体像的尺寸Y_FD2。

另外，在本实施方式的测距摄像机1中，在用于检测与第一被摄体像的多个特征点分别对应的、第二图像中的第二被摄体像的多个特征点的对应特征点检测处理中，使用基于对极几何的极线。表示极线的上述通用公式(28)通过EP₁＝EP₂＝EP和D＝0的条件能被简化，能够用下述式(30)表示。

[数30]

其中，

在本实施方式的测距摄像机1中，通过在由上述式(30)表示的第二图像中的极线上进行搜索，能够检测与第一被摄体像的多个特征点分别对应的、第二图像中的第二被摄体像的多个特征点。由此，即使不搜索第二图像的整个区域，也能够检测第二被摄体像的多个特征点，从而能够大幅地缩短进行对应特征点检测处理需要的处理时间。其结果是，能够大幅地缩短基于被摄体像之间的图像倍率比MR来计算到被摄体100的距离a使用的处理时间。

下面，详细叙述测距摄像机1的各组件。控制部2经由数据总线9而与各组件之间进行各种数据、各种指示的发送和接收，来执行测距摄像机1的控制。控制部2具备用于执行运算处理的处理器以及保存有进行测距摄像机1的控制所需的数据、程序、模块等的存储器，控制部2的处理器使用存储器内保存的数据、程序、模块等来执行测距摄像机1的控制。另外，控制部2的处理器通过使用测距摄像机1的各组件能够提供期望的功能。例如，控制部2的处理器通过使用距离计算部5，能够执行用于基于第一被摄体像的倍率m₁与第二被摄体像的倍率m₂的图像倍率比MR来计算到被摄体100的距离a的处理。

控制部2的处理器例如是基于计算机可读命令来执行信号操作等运算处理的一个以上的运算单元，如微处理器、微计算机、微控制器、数字信号处理器(DSP)、中央运算处理装置(CPU)、存储器控制单元(MCU)、图像处理用运算处理装置(GPU)、状态设备、逻辑电路、专用集成电路(ASIC)或它们的组合等。特别地，控制部2的处理器构成为调取控制部2的存储器内保存的计算机可读命令(例如数据、程序、模块等)来执行运算、信号操作及控制。

控制部2的存储器为包括易失性存储介质(例如RAM、SRAM、DRAM)、非易失性存储介质(例如ROM、EPROM、EEPROM、闪存、硬盘、光盘、CD-ROM、数字多功能光盘(DVD)、磁盒、磁带、磁盘)或它们的组合的装卸式或非装卸式的计算机可读介质。

另外，事先在控制部2的存储器内保存有根据由第一摄像系统IS1和第二摄像系统IS2的结构和配置决定的固定值f₁、f₂、EP₁、EP₂、a_FD1、a_FD2、PS₁、PS₂、P_x、P_y、D、u₁、v₁、u₂、v₂、θ_x、θ_y、θ_z、R₁₁、R₁₂、R₁₃、R₂₁、R₂₂、R₂₃、R₃₁、R₃₂、R₃₃、以及在根据这些固定值导出且使用于计算到被摄体100的距离a的上述通用公式(13)(或简化后的上述式(29))和关于第二图像中的极线的上述通用公式(28)(或简化后的上述式(30))中使用的固定值L₁、L₂、K、K₁、K₂、G₁、G₂、G₃、G₄、G₅、G₆。

第一摄像系统IS1具有第一光学系统OS1和第一摄像元件S1。第一光学系统OS1具有将来自被摄体100的光进行聚光来在第一摄像元件S1的摄像面上形成第一被摄体像的功能。第一摄像元件S1具有拍摄形成于摄像面上的第一被摄体像来获取包括第一被摄体像的第一图像的功能。第二摄像系统IS2具有第二光学系统OS2和第二摄像元件S2。第二光学系统OS2具有用于将来自被摄体100的光进行聚光来在第二摄像元件S2的摄像面上形成第二被摄体像的功能。第二摄像元件S2具有拍摄形成于摄像面上的第二被摄体像来获取包括第二被摄体像的第二图像的功能。

此外，在图示的方式中，构成第一摄像系统IS1的第一摄像元件S1和第一光学系统OS1设置于同一壳体内，构成第二摄像系统IS2的第二摄像元件S2和第二光学系统OS2设置于另外的同一壳体内，但本发明不限于此。第一光学系统OS1、第二光学系统OS2、第一摄像元件S1以及第二摄像元件S2全部设置于同一壳体内的方式也属于本发明的范围。

第一光学系统OS1和第二光学系统OS2由一个以上的透镜和光圈等光学元件构成。如上述那样，第一光学系统OS1和第二光学系统OS2构成为：第一光学系统OS1的焦距f₁与第二光学系统OS2的焦距f₂互不相同(f₁≠f₂)。由此，由第一光学系统OS1形成的第一被摄体像的倍率m₁根据到被摄体100的距离a发生的变化不同于由第二光学系统OS2形成的第二被摄体像的倍率m₂根据到被摄体100的距离发生的变化。通过这样的第一光学系统OS1和第二光学系统OS2的结构得到的第一被摄体像的倍率m₁与第二被摄体像的倍率m₂之比、即图像倍率比MR被使用于计算到被摄体100的距离a。

另外，如图示的那样，第一光学系统OS1的光轴与第二光学系统OS2的光轴平行，但不一致。并且，第二光学系统OS2以相对于第一光学系统OS1在与第一光学系统OS1的光轴方向垂直的方向上分离距离P的方式配置。

第一摄像元件S1和第二摄像元件S2可以分别为具有按拜尔阵列等任意的图案排列的RGB原色系滤色器、CMY补色系滤色器这样的滤色器的CMOS图像传感器、CCD图像传感器等彩色摄像元件，也可以为不具有这样的滤色器的黑白摄像元件。在该情况下，由第一摄像元件S1得到的第一图像和由第二摄像元件S2得到的第二图像为被摄体100的彩色或黑白的亮度信息。

另外，第一摄像元件S1和第二摄像元件S2也可以分别为获取被摄体100的相位信息的相位传感器。在该情况下，由第一摄像元件S1得到的第一图像和由第二摄像元件S2得到的第二图像为被摄体100的相位信息。

通过第一光学系统OS1在第一摄像元件S1的摄像面上形成第一被摄体像，通过第一摄像元件S1获取包括第一被摄体像的第一图像。经由数据总线10将获取到的第一图像传送至控制部2和尺寸获取部3。同样地，通过第二光学系统OS2在第二摄像元件S2的摄像面上形成第二被摄体像，通过第二摄像元件S2获取包括第二被摄体像的第二图像。经由数据总线10将获取到的第二图像传送至控制部2和尺寸获取部3。

被传送至尺寸获取部3的第一图像和第二图像被用于获取第一被摄体的尺寸Y_FD1和第二被摄体的尺寸Y_FD2。另一方面，被传送至控制部2的第一图像和第二图像被用于显示部7中的图像显示、通信部9进行的图像信号的通信。

尺寸获取部3具有根据包括第一被摄体像的第一图像和包括第二被摄体像的第二图像来获取第一被摄体的尺寸Y_FD1和第二被摄体的尺寸Y_FD2的功能。具体地说，尺寸获取部3检测第一图像中的第一被摄体像的多个特征点，并且测定检测出的第一被摄体像的多个特征点之间的距离，由此获取第一被摄体像的尺寸Y_FD1。并且，尺寸获取部3检测与检测出的第一被摄体像的多个特征点分别对应的、第二图像中的第二被摄体像的多个特征点，并且测定检测出的第二被摄体像的多个特征点之间的距离，由此获取第二被摄体像的尺寸Y_FD2。

具体地说，尺寸获取部3从第一摄像元件S1接收第一图像，并且从第二摄像元件S2接收第二图像。之后，尺寸获取部3检测第一图像中的第一被摄体像的任意的多个特征点。关于尺寸获取部3检测第一图像中的第一被摄体像的任意的多个特征点的方法并无特别限定，尺寸获取部3能够使用本领域中的已知的各种方法来检测第一图像中的第一被摄体像的任意的多个特征点。由尺寸获取部3检测出的多个特征点的各特征点的坐标(x₁，y₁)暂时保存于控制部2的存储器内。

在一个例子中，尺寸获取部3对第一图像实施Canny这样的滤波处理，来提取第一图像内的第一被摄体像的边缘部。之后，尺寸获取部3将提取出的第一被摄体像的边缘部中的任意的几处检测为第一被摄体像的多个特征点，并且测定该多个特征点之间的分离距离，由此获取第一被摄体像的尺寸Y_FD1。在该情况下，尺寸获取部3可以将与第一被摄体像的高度方向上的两端部相当的边缘部检测为第一被摄体像的多个特征点，将该特征点之间的分离距离设为第一被摄体像的尺寸(像高)Y_FD1，将与第一被摄体像的宽度方向上的两端部相当的边缘部检测为第一被摄体像的多个特征点，将该特征点之间的分离距离设为第一被摄体像的尺寸(像宽)Y_FD2。

在获取第一被摄体像的尺寸Y_FD1后，尺寸获取部3执行用于检测与检测出的第一被摄体像的多个特征点分别对应的、第二图像中的第二被摄体像的多个特征点的对应特征点检测处理。

具体地说，首先，尺寸获取部3参照控制部2的存储器内保存的第一被摄体像的多个特征点的坐标(x₁，y₁)，来选择检测出的第一被摄体像的多个特征点中的某一个特征点。之后，尺寸获取部3裁切出第一图像中的以选择出的特征点为中心的规定尺寸的区域(例如以选择出的特征点为中心的5×5像素的区域、7×7像素的区域等)，来获取选择出的特征点用的搜索块。该搜索块被用于搜索与选择出的第一被摄体的特征点对应的、第二图像中的第二被摄体像的特征点。获取到的搜索块暂时保存于控制部2的存储器内。

之后，尺寸获取部3使用控制部2的存储器内保存的固定值，基于上述式(30)(或通用公式(28))导出与选择出的第一被摄体像的特征点对应的极线。之后，尺寸获取部3通过在导出的极线上进行搜索，来检测与选择出的第一被摄体像的特征点对应的、第二图像中的第二被摄体像的特征点。

具体地说，尺寸获取部3执行控制部2的存储器内保存的被选择出的第一被摄体像的特征点用的搜索块与以第二图像中的极线上的像素为中心且具有与搜索块相同尺寸的极线周边区域之间的卷积运算(卷积积分)，来计算搜索块与极线周边区域之间的相关值。该相关值的计算是沿第二图像中的导出的极线来执行的。尺寸获取部3将相关值最高的极线周边区域的中心像素(即、极线上的像素)检测为与选择出的第一被摄体像的特征点对应的、第二图像中的第二被摄体像的特征点。计算出的第二被摄体像的特征点的坐标(x₂，y₂)暂时保存于控制部2的存储器内。

此外，在执行搜索块与极线周边区域的卷积运算时，也可以针对搜索块或第二图像执行像素的插值。为了准确地获取这样的两个区域之间的相关值，可以在对应特征点检测处理中使用本领域中的已知的任意的方法。

变更选择出的第一被摄体像的特征点来重复执行这样的处理，直至检测到与检测出的第一被摄体像的全部特征点的对应的、第二图像中的第二被摄体像的特征点为止。因而，尺寸获取部3基于上述式(30)(或通用公式(28))导出与检测出的第一被摄体像的多个特征点分别对应的多个极线，并且如上述那样在该多个极线上分别进行搜索，由此检测与检测出的第一被摄体像的多个特征点分别对应的、第二图像中的第二被摄体像的多个特征点。当检测出与检测出的第一被摄体像的全部特征点的对应的、第二图像中的第二被摄体像的特征点时，利用尺寸获取部3进行的对应特征点检测处理结束。

在执行对应特征点检测处理后，尺寸获取部3根据控制部2的存储器内暂时保存的第二被摄体像的多个特征点的坐标(x₂，y₂)，来测定检测出的第二被摄体像的多个特征点之间的分离距离，由此获取第二被摄体像的尺寸Y_FD2。

此外，如上述那样，关于用上述式(30)(或通用公式(28))表示的极线，不使用在现有技术中通常使用的未考虑第一摄像系统IS1和第二摄像系统IS2的特性的针孔模型来导出，使用如图4和图5所示的考虑了第一摄像系统IS1和第二摄像系统IS2的特性及配置的模型来导出。

因此，相比于使用以往的针孔模型导出第二图像中的多个极线来检测第二图像中的第二被摄体像的多个特征点的情况，尺寸获取部3能够更准确地检测第二图像中的第二被摄体像的多个特征点。由此，能够更准确地测定到被摄体100的距离a。

关联信息存储部3为用于存储将第一被摄体像的倍率m₁与第二被摄体像的倍率m₂的图像倍率比MR(m₂/m₁)同从第一光学系统OS1的前侧主点起至被摄体100为止的距离(被摄体距离)a建立关联的关联信息的任意的非易失性记录介质(例如硬盘、闪存)。关联信息存储部4中保存的关联信息为用于根据第一被摄体像的倍率m₁与第二被摄体像的倍率m₂的图像倍率比MR(m₂/m₁)来计算到被摄体100的距离a的信息。

代表性地，关联信息存储部4中保存的关联信息为基于图像倍率比MR来计算到被摄体100的距离a的上述式(29)(或通用公式(13))。作为代替，关联信息存储部4中保存的关联信息也可以为将图像倍率比MR与到被摄体100的距离a唯一地进行了对应的查找表。通过参照关联信息存储部4中保存的这样的关联信息，能够基于图像倍率比MR来计算到被摄体100的距离a。此外，在关联信息为用于计算到被摄体100的距离a的前述的式子的情况下，除了关联信息以外，还参照控制部2的存储器内保存的固定值来计算到被摄体100的距离a。

距离计算部5具有基于作为由尺寸获取部3获取到的第一被摄体像的尺寸Y_FD1与第二被摄体像的尺寸Y_FD2之比得到的、第一被摄体像的倍率m₁与第二被摄体像的倍率m₂的图像倍率比MR来计算到被摄体100的距离a的功能。具体地说，距离计算部5基于由尺寸获取部3获取到的第一被摄体像的尺寸Y_FD1和第二被摄体像的尺寸Y_FD2，通过上述式(14)MR＝Y_FD2/Y_FD1来计算第一被摄体像的倍率m₁与第二被摄体像的倍率m₂的图像倍率比MR。之后，距离计算部5参照关联信息存储部4中保存的关联信息(在关联信息为用于计算到被摄体100的距离a的前述的式子的情况下，还参照控制部2的存储器内保存的固定值)，基于图像倍率比MR来计算(确定)到被摄体100的距离a。

三维图像生成部6具有基于由距离计算部5计算出的到被摄体100的距离a以及第一摄像系统IS1或第二摄像系统IS2获取到的被摄体100的彩色或黑白的亮度信息(第一图像或第二图像)来生成被摄体100的三维图像的功能。此处所说的“被摄体100的三维图像”是指将通常的表示被摄体100的彩色或黑白的亮度信息的二维图像的各像素与计算出的到被摄体100的距离a建立了关联的数据。此外，在第一摄像系统IS1的第一摄像元件S1和第二摄像系统IS2的第二摄像元件S2为获取被摄体100的相位信息的相位传感器的情况下，可省略三维图像生成部6。

显示部7为液晶显示部等面板型显示部，根据来自控制部2的处理器的信号，在显示部7中以文字或图像的形式显示由第一摄像系统IS1或第二摄像系统IS2获取到的被摄体100的彩色或黑白的亮度信息或被摄体100的相位信息(第一图像或第二图像)、由距离计算部5计算出的到被摄体100的距离a、由三维图像生成部6生成的被摄体100的三维图像、用于操作测距摄像机1的信息等。

操作部8用于测距摄像机1的使用者执行操作。操作部8只要能够供测距摄像机1的使用者执行操作即可，并无特别限定，例如能够将鼠标、键盘、0-9数字键、按钮、拨盘、操作杆、触摸面板等用作操作部8。操作部8将与测距摄像机1的使用者进行的操作相应的信号发送至控制部2的处理器。

通信部9具有用于进行针对测距摄像机1的数据输入或从测距摄像机1向外部设备的数据输出的功能。通信部9可以构成为能够与因特网这样的网络连接。在该情况下，测距摄像机1通过使用通信部9，能够与设置于外部的万维网服务器、数据服务器这样的外部设备进行通信。

像这样，在本实施方式的测距摄像机1中，第一光学系统OS1和第二光学系统OS2构成为第一光学系统OS1的焦距f₁与第二光学系统OS2的焦距f₂互不相同(f₁≠f₂)，由此第一被摄体像的倍率m₁相对于到被摄体100的距离a的变化与第二被摄体像的倍率m₂相对于到被摄体100的距离a的变化互不相同。因此，本发明的测距摄像机1能够基于第一被摄体像的倍率m₁与第二被摄体像的倍率m₂的图像倍率比MR(m₂/m₁)来唯一地计算到被摄体100的距离a。

另外，在本实施方式的测距摄像机1中，在通过尺寸获取部3执行的对应特征点检测处理中利用了基于对极几何的极线。因此，能够大幅地缩短进行对应特征点检测处理所需的处理时间，从而能够大幅地缩短为了计算到被摄体100的距离a所需的处理时间。

并且，关于用上述式(30)(或通用公式(28))表示的极线，不使用现有技术中通常使用的未考虑第一摄像系统IS1和第二摄像系统IS2的特性的针孔模型，使用图4和图5所示的考虑了第一摄像系统IS1和第二摄像系统IS2的特性及配置这两方的模型来导出。因此，相比于使用以往的针孔模型导出第二图像中的多个极线来检测第二图像中的第二被摄体像的多个特征点的情况，能够更准确地检测第二图像中的第二被摄体像的多个特征点。由此，能够提高利用测距摄像机1进行的到被摄体100的距离a的测定的精度。

<第二实施方式>

接着，参照图8来详细叙述本发明的第二实施方式所涉及的测距摄像机1。图8是概要性地表示本发明的第二实施方式所涉及的测距摄像机的框图。

下面，以与第一实施方式的测距摄像机1的不同点为中心来说明第二实施方式的测距摄像机1，关于同样的事项省略其说明。本实施方式的测距摄像机1变更了第一光学系统OS1和第二光学系统OS2的结构，除这点以外，与第一实施方式的测距摄像机1相同。

本实施方式的测距摄像机1的特征在于，第一光学系统OS1和第二光学系统OS2构成为：满足为了基于图像倍率比MR来计算到被摄体100的距离a所要求的上述三个条件中的第二条件，即、从第一光学系统OS1的出射光瞳起至被摄体100处于无限远处的情况下的第一被摄体像的成像位置为止的距离EP₁与从第二光学系统OS2的出射光瞳起至被摄体100处于无限远处的情况下的第二被摄体像的成像位置为止的距离EP₂互不相同(EP₁≠EP₂)。另一方面，在本实施方式中，第一光学系统OS1和第二光学系统OS2未构成且配置为满足上述三个条件中的其它两个条件(f₁≠f₂和D≠0)。并且，本实施方式的测距摄像机1构成为满足图像倍率比MR为距离a的函数这个第四条件。

用于基于图像倍率比MR来计算到被摄体100的距离a的上述通用公式(13)通过f₁＝f₂＝f和D＝0的条件能被简化，能够用下述式(31)表示。

[数31]

其中，

另外，表示极线的上述通用公式(28)通过f₁＝f₂＝f和D＝0的条件能被简化，能够用下述式(32)表示。

[数32]

其中，

像这样，在本实施方式的测距摄像机1中，第一光学系统OS1和第二光学系统OS2构成为：从第一光学系统OS1的出射光瞳起至被摄体100处于无限远处的情况下的第一被摄体像的成像位置为止的距离EP₁与从第二光学系统OS2的出射光瞳起至被摄体100处于无限远处的情况下的第二被摄体像的成像位置为止的距离EP₂互不相同(EP₁≠EP₂)，由此第一被摄体像的倍率m₁相对于到被摄体100的距离a的变化与第二被摄体像的倍率m₂相对于到被摄体100的距离a的变化互不相同。因此，本实施方式的测距摄像机1能够基于第一被摄体像的倍率m₁与第二被摄体像的倍率m₂的图像倍率比MR(m₂/m₁)来唯一地计算到被摄体100的距离a的第一候选。

并且，在本实施方式的测距摄像机1中，通过在由上述式(32)表示的第二图像中的极线上进行搜索，能够检测与第一被摄体像的多个特征点分别对应的、第二图像中的第二被摄体像的多个特征点。由此，即使不搜索第二图像的全部区域，也能够检测第二被摄体像的多个特征点，从而能够大幅地缩短进行对应特征点检测处理需要的处理时间。其结果是，能够大幅地缩短用于基于被摄体像之间的图像倍率比MR来计算到被摄体100的距离a的处理时间。像这样，通过本实施方式也能够发挥与上述的第一实施方式相同的效果。

<第三实施方式>

接着，参照图9来详细叙述本发明的第三实施方式所涉及的测距摄像机1。图9是概要性地表示本发明的第三实施方式所涉及的测距摄像机的框图。

下面，以与第一实施方式的测距摄像机1的不同点为中心来说明第三实施方式的测距摄像机1，关于同样的事项省略其说明。本实施方式的测距摄像机1变更了第一光学系统OS1和第二光学系统OS2的结构，除这点以外，与第一实施方式的测距摄像机1相同。

本实施方式的测距摄像机1的特征在于，第一光学系统OS1和第二光学系统OS2构成且配置为：满足为了基于图像倍率比MR来计算到被摄体100的距离a所要求的上述的三个条件中的第三条件，即、在第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点之间存在深度方向(光轴方向)上的差D(D≠0)。另一方面，在本实施方式中，第一光学系统OS1和第二光学系统OS2未构成为满足上述三个条件中的其它两个条件(f₁≠f₂和EP₁≠EP₂)。并且，本实施方式的测距摄像机1构成为满足图像倍率比MR为距离a的函数这个第四条件。

用于基于图像倍率比MR来计算到被摄体100的距离a的上述通用公式(13)通过f₁＝f₂＝f和EP₁＝EP₂＝EP的条件能被简化，能够用下述式(33)表示。

[数33]

其中，

另外，表示极线的上述通用公式(28)通过f₁＝f₂＝f和EP₁＝EP₂＝EP的条件能被简化，能够用下述式(34)表示。

[数34]

其中，

像这样，在本实施方式的测距摄像机1中，构成且配置为：在第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点之间存在深度方向(光轴方向)上的差D(D≠0)，由此第一被摄体像的倍率m₁相对于到被摄体100的距离a的变化与第二被摄体像的倍率m₂相对于到被摄体100的距离a的变化互不相同。因此，本实施方式的测距摄像机1能够基于第一被摄体像的倍率m₁与第二被摄体像的倍率m₂的图像倍率比MR(m₂/m₁)来唯一地计算到被摄体100的距离a。

并且，在本实施方式的测距摄像机1中，通过在由上述式(34)表示的第二图像中的极线上进行搜索，能够检测与第一被摄体像的多个特征点分别对应的、第二图像中的第二被摄体像的多个特征点。由此，即使不搜索第二图像的整个区域，也能够检测第二被摄体像的多个特征点，从而能够大幅地缩短对应特征点检测处理需要的处理时间。其结果是，能够大幅地缩短用于基于被摄体像之间的图像倍率比MR来计算到被摄体100的距离a的处理时间。像这样，通过本实施方式也能够发挥与上述的第一实施方式相同的效果。

如至此为止参照各实施方式详细叙述的那样，本发明的测距摄像机1基于根据使用第一摄像系统IS1获取到的第一图像和使用第二摄像系统IS2获取到的第二图像实际测量的第一被摄体像的尺寸Y_FD1和第二被摄体像的尺寸Y_FD2来计算图像倍率比MR，由此能够计算从第一光学系统OS1的前侧主点至被摄体100为止的距离a。

另外，在用于测定第二被摄体像的尺寸Y_FD2的对应特征点检测处理中，使用基于对极几何的极线。因此，即使不搜索第二图像的整个区域，也能够检测第二被摄体像的多个特征点，能够大幅地缩短进行对应特征点检测处理需要的处理时间。其结果是，能够大幅地缩短用于基于被摄体像间的图像倍率比MR来计算到被摄体100的距离a的处理时间。

另外，在上述各实施方式中，使用第一光学系统OS1和第二光学系统OS2这两个光学系统，但使用的光学系统的数量不限于此。例如，除了第一光学系统OS1和第二光学系统OS2以外还具备追加的光学系统这样的方式也属于本发明的范围。在该情况下，追加的光学系统构成且配置为：由追加的光学系统形成的被摄体像的倍率相对于到被摄体100的距离a的变化不同于第一被摄体像的倍率m₁相对于到被摄体的距离a的变化以及第二被摄体像的倍率m₂相对于到被摄体的距离a的变化。

此外，在上述的第一实施方式～第三实施方式中，第一光学系统OS1和第二光学系统OS2构成且配置为满足为了基于图像倍率比MR来计算到被摄体100的距离a所要求的上述的三个条件中的某一个条件，但只要第一光学系统OS1和第二光学系统OS2构成且配置为满足上述的三个条件中的至少一个条件即可，本发明不限于此。例如，第一光学系统OS1和第二光学系统OS2构成且配置为满足上述的三个条件中的全部条件或任意条件的组合的方式也属于本发明的范围。

<测距方法>

接着，参照图10和图11来说明通过本发明的测距摄像机1执行的测距方法。图10是用于说明通过本发明的测距摄像机执行的测距方法的流程图。图11是表示在图10所示的测距方法中执行的对应特征点检测处理的详情的流程图。

此外，下面详细叙述的测距方法能够使用上述的本发明的第一实施方式～第三实施方式所涉及的测距摄像机1以及具有与测距摄像机1同等功能的任意装置来执行，但设为使用第一实施方式所涉及的测距摄像机1执行该测距方法来进行说明。

测距摄像机1的使用者使用操作部8来执行用于测定到被摄体100的距离a的操作，由此图10所示的测距方法S100开始。在工序S110中，通过第一摄像系统IS1的第一摄像元件S1来拍摄由第一光学系统OS1形成的第一被摄体像，并获取包括第一被摄体像的第一图像。经由数据总线10将第一图像传送至控制部2和尺寸获取部3。同样地，在工序S120中，通过第二摄像系统IS2的第二摄像元件S2来拍摄由第二光学系统OS2形成的第二被摄体像，并获取包括第二被摄体像的第二图像。经由数据总线10将第二图像传送至控制部2和尺寸获取部3。S110的第一图像的获取和S120的第二图像的获取可以同时执行，也可以分开执行。

在工序S110中的第一图像的获取和工序S120中的第二图像的获取之后，测距方法S100转到工序S130。在工序S130中，尺寸获取部3检测第一图像中的第一被摄体像的任意的多个特征点。在工序S130中通过尺寸获取部3检测的第一被摄体像的任意的多个特征点例如为第一被摄体像的高度方向上的两端部或第一被摄体像的宽度方向上的两端部。通过尺寸获取部3检测出的第一被摄体像的多个特征点的各特征点的坐标(x₁，y₁)暂时保存于控制部2的存储器内。

在工序S140中，尺寸获取部3参照控制部2的存储器内暂时保存的第一被摄体像的多个特征点的各特征点的坐标(x₁，y₁)来测定检测出的第一被摄体像的多个特征点之间的距离，由此获取第一被摄体像的尺寸Y_FD1。将在工序S140中获取到的第一被摄体像的尺寸Y_FD1暂时保存于控制部2的存储器内。

之后，在工序S150中，尺寸获取部3执行用于检测与在工序S130中检测出的第一被摄体像的多个特征点分别对应的、第二图像中的第二被摄体像的多个特征点的对应特征点检测处理。在图11中示出表示在工序S150中执行的对应特征点检测处理的详情的流程图。

在工序S151中，尺寸获取部3参照控制部2的存储器内保存的第一被摄体像的多个特征点的各特征点的坐标(x₁，y₁)，选择检测出的第一被摄体像的多个特征点中的某一个特征点。接着，在工序S152中，尺寸获取部3裁切出第一图像中的以选择出的第一被摄体像的特征点为中心的规定尺寸的区域(例如以特征点为中心的5×5像素的区域、7×7像素的区域等)，获取选择出的特征点用的搜索块。将获取到的搜索块暂时保存于控制部2的存储器内。

接着，在工序S153中，尺寸获取部3使用控制部2的存储器内保存的固定值，基于上述的通用公式(28)(或各实施方式中的简化后的表示极线的式子)导出与在工序S151中选择出的第一被摄体像的特征点对应的、第二图像中的极线。之后，在工序S154中，尺寸获取部3执行控制部2的存储器内保存的选择出的第一被摄体像的特征点用的搜索块与以第二图像中的导出的极线上的像素为中心且具有与搜索块相同尺寸的极线周边区域之间的卷积运算(卷积积分)，来计算搜索块与极线周边区域之间的相关值。将计算出的相关值暂时保存于控制部2的存储器内。该相关值的计算也称作块匹配，沿第二图像中的导出的极线来执行该计算。

当沿第二图像中的极线进行的相关值的计算结束时，工序S150的处理转到工序S155。在工序S155中，尺寸获取部3将相关值最高的极线周边区域的中心像素(即极线上的像素)检测为与选择出的第一被摄体像的特征点对应的、第二图像中的第二被摄体像的特征点。将计算出的第二被摄体像的特征点的坐标(x₂，y₂)暂时保存于控制部2的存储器内。

之后，在工序S156中，判别在工序S130中检测出的第一被摄体像的多个特征点是否全部在工序S151中被进行了选择。在工序S130中检测出的第一被摄体像的多个特征点并非全部在工序S151中被进行了选择的情况下(工序S156＝“否”)，工序S150的处理返回工序S151。在工序S151中，重新在第一被摄体像的多个特征点中选择未被选择的一个，来使选择出的第一被摄体像的特征点变更。变更选择出的第一被摄体像的特征点来重复执行工序S151～工序S155的处理，直至检测到与检测出的第一被摄体像的全部特征点对应的、第二图像中的第二被摄体像的特征点为止。

在工序S130中检测出的第一被摄体像的多个特征点全部在工序S151中被进行了选择的情况下(工序S156＝“是”)，工序S150的处理结束。当工序S150的处理结束时，测距方法S100转到工序S160。

返回图10，在工序S160中，尺寸获取部3通过测定检测出的第二被摄体像的多个特征点之间的距离，来获取第二被摄体像的尺寸Y_FD2。将在工序S160中获取到的第二被摄体像的尺寸Y_FD2暂时保存于控制部2的存储器内。

当通过尺寸获取部3获取第一被摄体像的尺寸Y_FD1和第二被摄体像的尺寸Y_FD2时，测距方法S100转到工序S170。在工序S170中，距离计算部5根据控制部2的存储器内暂时保存的第一被摄体像的尺寸Y_FD1和第二被摄体像的尺寸Y_FD2，基于上述式(14)MR＝Y_FD2/Y_FD1来计算第一被摄体像的倍率m₁与第二被摄体像的倍率m₂的图像倍率比MR。接着，在工序S180中，距离计算部5参照关联信息存储部4中保存的关联信息，基于计算出的图像倍率比MR来计算到被摄体100的距离a。此外，在关联信息为用于计算到被摄体100的距离a的前述的式子的情况下，距离计算部5除了关联信息以外还参照控制部2的存储器内保存的固定值来计算到被摄体100的距离a。

在工序S180中，当距离计算部5计算到被摄体100的距离a时，测距方法S100转到工序S190。在工序S190中，三维图像生成部6基于通过距离计算部5计算出的到被摄体100的距离a以及第一摄像系统IS1或第二摄像系统IS2获取到的被摄体100的彩色或黑白的亮度信息(第一图像或第二图像)，来生成被摄体100的三维图像。此外，在第一摄像系统IS1的第一摄像元件S1和第二摄像系统IS2的第二摄像元件S2为获取被摄体100的相位信息的相位传感器的情况下，省略工序S190。

之后，将至此为止的工序中获取到的被摄体100的彩色或黑白的亮度信息或相位信息(第一图像以及/或者第二图像)、到被摄体100的距离a、以及/或者被摄体100的三维图像显示于显示部7、或者通过通信部9发送至外部器件，测距方法S100结束。

以上基于图示的实施方式说明了本发明的测距摄像机，但本发明并不限定于此。本发明的各结构能够置换为能够发挥同样功能的任意结构，或者能够对本发明的各结构追加任意结构。

本发明所属的技术领域中的本领域技术人员在不脱离本发明的原理、构思以及范围的情况下能够对所记述的本发明的测距摄像机的结构执行变更，具有变更后的结构的测距摄像机也属于本发明的范围。例如，将第一实施方式至第四实施方式的测距摄像机任意进行组合所得到的方式也属于本发明的范围。

另外，图7～图9所示的测距摄像机的组件的数量、种类只是用来进行说明的例示，本发明不一定限定于此。在不脱离本发明的原理和意图的范围内追加或组合了任意的组件、或者删除了任意的组件的方式也属于本发明的范围。另外，测距摄像机的各组件可以通过硬件来实现，也可以通过软件来实现，还可以通过它们的组合来实现。

另外，图10和图11所示的测距方法S100的工序的数量、种类只是用来进行说明的例示，本发明不一定限定于此。在不脱离本发明的原理和意图的范围内以任意目的追加或组合了任意的工序、或者删除了任意的工序的方式也属于本发明的范围。

产业上的可利用性

在本发明的测距摄像机中，在用于检测与一个被摄体像的多个特征点分别对应的、另一个被摄体像的多个特征点的对应特征点检测处理中，利用基于对极几何的极线来执行特征点的搜索。因此，能够缩短用于基于被摄体像之间的图像倍率比来计算到被摄体的距离的处理时间。因而，本发明具有产业上的可利用性。

Claims (7)

1.一种测距摄像机，其特征在于，具备：

第一摄像系统，其具有第一光学系统和第一摄像元件，所述第一光学系统用于将来自被摄体的光进行聚光来形成第一被摄体像，所述第一摄像元件用于通过拍摄所述第一被摄体像来获取包括所述第一被摄体像的第一图像；

第二摄像系统，其具有第二光学系统和第二摄像元件，所述第二光学系统以相对于所述第一光学系统在与所述第一光学系统的光轴方向垂直的方向上偏离的方式配置，用于将来自所述被摄体的所述光进行聚光来形成第二被摄体像，所述第二摄像元件用于通过拍摄所述第二被摄体像来获取包括所述第二被摄体像的第二图像；

尺寸获取部，其用于检测所述第一图像中的所述第一被摄体像的多个特征点，测定所述第一被摄体像的所述多个特征点之间的距离，由此获取所述第一被摄体像的尺寸，并且检测与所述第一被摄体像的所述多个特征点分别对应的、所述第二图像中的所述第二被摄体像的多个特征点，测定所述第二被摄体像的所述多个特征点之间的距离，由此获取所述第二被摄体像的尺寸；以及

距离计算部，其用于基于作为由所述尺寸获取部获取到的所述第一被摄体像的所述尺寸与所述第二被摄体像的所述尺寸之比得到的、所述第一被摄体像的倍率与所述第二被摄体像的倍率的图像倍率比，来计算到所述被摄体的距离，

其中，所述尺寸获取部在与所述第一被摄体像的所述多个特征点分别对应的、所述第二图像中的多个极线上进行搜索，由此检测所述第二图像中的所述第二被摄体像的所述多个特征点。

2.根据权利要求1所述的测距摄像机，其特征在于，

所述尺寸获取部基于考虑了所述第一摄像系统和所述第二摄像系统的特性及配置的模型，来导出与所述第一被摄体像的所述多个特征点分别对应的、所述第二图像中的所述多个极线。

3.根据权利要求2所述的测距摄像机，其特征在于，

与所述第一被摄体像的所述多个特征点分别对应的、所述第二图像中的所述多个极线通过下述式(1)来表示：

其中，

在此，x₁和y₁分别为所述第一被摄体像的所述多个特征点中的任意一个特征点的在所述第一图像中的x坐标和y坐标，x₂和y₂分别为与所述第一被摄体像的所述多个特征点中的所述任意一个特征点对应的、所述第二图像中的所述第二被摄体像的特征点的x坐标和y坐标，P_x和P_y分别为所述第一光学系统的前侧主点与所述第二光学系统的前侧主点之间的平移视差的在x轴方向上的值和在y轴方向上的值，D为所述第一光学系统与所述第二光学系统之间的在所述第一光学系统或所述第二光学系统的光轴方向上的深度视差，PS₁为所述第一摄像元件的像素尺寸，PS₂为所述第二摄像元件的像素尺寸，f₁为所述第一光学系统的焦距，f₂为所述第二光学系统的焦距，EP₁为从所述第一光学系统的出射光瞳起至所述被摄体存在于无限远处的情况下的所述第一被摄体像的成像位置为止的距离，EP₂为从所述第二光学系统的出射光瞳起至所述被摄体存在于无限远处的情况下的所述第二被摄体像的成像位置为止的距离，a_FD1为所述第一被摄体像在所述第一摄像元件的摄像面为最佳聚焦的情况下的从所述第一光学系统的所述前侧主点起至所述被摄体为止的距离，a_FD2为所述第二被摄体像在所述第二摄像元件的摄像面为最佳聚焦的情况下的从所述第二光学系统的所述前侧主点起至所述被摄体为止的距离，u₁和v₁分别为所述第一图像中的所述第一光学系统的光轴的x坐标和y坐标，u₂和v₂分别为所述第二图像中的所述第二光学系统的光轴的x坐标和y坐标，R₁₁、R₁₂、R₁₃、R₂₁、R₂₂、R₂₃、R₃₁、R₃₂以及R₃₃为所述第二摄像系统相对于所述第一摄像系统的旋转矩阵的成分。

4.根据权利要求1所述的测距摄像机，其特征在于，

所述第一光学系统和所述第二光学系统构成为：所述第一被摄体像的所述倍率根据到所述被摄体的所述距离发生的变化不同于所述第二被摄体像的所述倍率根据到所述被摄体的所述距离发生的变化。

5.根据权利要求4所述的测距摄像机，其特征在于，

所述第一光学系统和所述第二光学系统构成为：所述第一光学系统的焦距与所述第二光学系统的焦距互不相同，由此，所述第一被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化不同于所述第二被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化。

6.根据权利要求4或5所述的测距摄像机，其特征在于，

所述第一光学系统和所述第二光学系统构成为：从所述第一光学系统的出射光瞳起至在所述被摄体存在于无限远处的情况下由所述第一光学系统形成的所述第一被摄体像的成像位置为止的距离不同于从所述第二光学系统的出射光瞳起至在所述被摄体存在于无限远处的情况下由所述第二光学系统形成的所述第二被摄体像的成像位置为止的距离，由此，所述第一被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化不同于所述第二被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化。

7.根据权利要求4至6中的任一项所述的测距摄像机，其特征在于，

在所述第一光学系统的前侧主点与所述第二光学系统的前侧主点之间存在在所述第一光学系统或所述第二光学系统的光轴方向上的深度视差，由此，所述第一被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化不同于所述第二被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化。

Images