CN112368544B - 测距摄像机 - Google Patents
测距摄像机 Download PDFInfo
- Publication number
- CN112368544B CN112368544B CN201980042012.1A CN201980042012A CN112368544B CN 112368544 B CN112368544 B CN 112368544B CN 201980042012 A CN201980042012 A CN 201980042012A CN 112368544 B CN112368544 B CN 112368544B
- Authority
- CN
- China
- Prior art keywords
- distance
- image
- optical system
- subject
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Abstract
测距摄像机(1)具备:第一光学系统(OS1),其用于形成第一被摄体像;第二光学系统(OS2),其用于形成第二被摄体像;摄像部(S),其用于拍摄第一被摄体像和第二被摄体像;以及距离计算部(4),其用于基于由摄像部(S)拍摄到的第一被摄体像的倍率与第二被摄体像的倍率的图像倍率比来计算到被摄体(100)的距离的第一候选,并且基于第一被摄体像与第二被摄体像之间的平移视差来计算到被摄体(100)的距离的第二候选。距离计算部(4)按照规定的条件选择第一候选和第二候选中的某一方来作为到被摄体(100)的距离。
Description
技术领域
本发明涉及一种用于测定到被摄体的距离的测距摄像机,更具体地说,涉及一种基于由至少两个光学系统形成的至少两个被摄体像之间的图像倍率比或至少两个被摄体像之间的平移视差来测定到被摄体的距离的测距摄像机。
背景技术
以往以来,提出了一种通过拍摄被摄体来测定到被摄体的距离的测距摄像机。作为这样的测距摄像机,已知一种立体摄像机方式的测距摄像机,所述立体摄像机方式的测距摄像机至少具备两组光学系统和摄像元件,所述光学系统用于将来自被摄体的光进行聚光来形成被摄体像,所述摄像元件用于将由该光学系统形成的被摄体像转换为图像信号(例如参照专利文献1)。
如专利文献1所公开的那样的立体摄像机方式的测距摄像机能够计算由配置成在与光轴方向垂直的方向上彼此偏离的两个光学系统形成的两个被摄体像之间的平移视差(与光轴方向垂直的方向上的视差),并且基于该平移视差的值来计算到被摄体的距离。
在利用这样的基于被摄体像之间的平移视差进行的测距的情况下,当被摄体像之间的平移视差小时,无法准确地计算到被摄体的距离。因而,为了使被摄体像之间的平移视差充分地增大,需要将两个光学系统在与光轴垂直的方向上间隔较远地配置。这使得难以减小测距摄像机的尺寸。
另外,当被摄体位于近距离处时,由于得到的图像的视场的关系,导致发生用于计算平移视差的被摄体像的特征点被拍进一个图像内但未被拍进另一个图像内的状况。为了避免该状况,需要将两个光学系统相接近地配置。然而,当将两个光学系统相接近地配置时,导致被摄体像之间的平移视差变小,测距的精度下降。因此,难以利用基于被摄体像之间的平移视差进行的测距来准确地计算到位于近距离处的被摄体的距离。
另一方面,被摄体像之间的平移视差不取决于得到的各图像内的被摄体像的尺寸(各图像内的被摄体像的占有率)。因此,即使在各图像内的被摄体像的尺寸小的情况下,基于被摄体像之间的平移视差进行的测距也能够准确地计算到被摄体的距离。作为各图像内的被摄体像的尺寸小的状况,可列举被摄体的尺寸本来就小的状况和被摄体位于远距离处的状况。因此,基于被摄体像之间的平移视差进行的测距适于测定到尺寸小的被摄体以及位于远距离处的被摄体的距离。
因而,基于被摄体像之间的平移视差进行的测距不适合用于测定到位于近距离处的被摄体的距离,适用于测定到尺寸小的被摄体以及位于远距离处的被摄体的距离。
另一方面,本发明的发明人们提出了一种基于两个被摄体像之间的图像倍率比(倍率的比)来计算到被摄体的距离的图像倍率比方式的测距摄像机。在图像倍率比方式的测距摄像机中,使用被摄体像的倍率根据到被摄体的距离发生的变化互不相同的两个光学系统,基于通过这两个光学系统形成的两个被摄体像之间的图像倍率比(倍率的比)来计算到被摄体的距离(参照专利文献2)。
在这样的基于被摄体像之间的图像倍率比进行的测距中,不利用被摄体像之间的平移视差来计算到被摄体的距离,因此即使将两个光学系统相接近地配置,也能够准确地计算到被摄体的距离。因此,能够减小测距摄像机的尺寸。
通过获取拍摄由两个光学系统形成的两个被摄体像而得到的两个图像,并且取得根据两个图像实际测量出的两个被摄体像的尺寸(第一被摄体像的尺寸和第二被摄体像的尺寸)之比来获取被摄体像之间的图像倍率比。在各图像内的被摄体像的尺寸(各图像内的被摄体像的占有率)大的情况下,能够根据各图像准确地实际测量被摄体像的尺寸。因此,在各图像内的被摄体像的尺寸大的情况下,能够准确地获取被摄体像之间的图像倍率比,从而能够准确地计算到被摄体的距离。作为各图像内的被摄体像的尺寸大的状况,可列举被摄体的尺寸本来就大的状况和被摄体位于近距离处的状况。由于这样的理由,基于被摄体像之间的图像倍率比进行的测距适用于计算到尺寸大的被摄体或位于近距离处的被摄体的距离。
另一方面,在各图像内的被摄体像的尺寸(各图像内的被摄体像的占有率)小的情况下,难以根据各图像准确地实际测量被摄体像的尺寸。因此,在各图像内的被摄体像的尺寸小的情况下,难以准确地获取被摄体像之间的图像倍率比来准确地计算到被摄体的距离。如上述那样,作为各图像内的被摄体像的尺寸小的状况,可列举被摄体的尺寸本身就小的状况以及被摄体位于远距离处的状况。由于这样的理由,基于被摄体像之间的图像倍率比进行的测距不适合用于计算到尺寸小的被摄体或位于远距离处的被摄体的距离。
因而,基于被摄体像之间的图像倍率比进行的测距适用于测定到尺寸大的被摄体和位于近距离处的被摄体的距离,但不适合用于计算到尺寸小的被摄体和位于远距离处的被摄体的距离。
像这样,基于被摄体像之间的平移视差进行的测距以及基于被摄体像之间的图像倍率比进行的测距分别具有擅长的领域和不擅长的领域,无论到被摄体的距离及被摄体的尺寸如何,均无法准确地计算到被摄体的距离。
现有技术文献
专利文献
专利文献1:日本特开2012-26841号公报
专利文献2:日本特愿2017-241896号
发明内容
发明要解决的问题
本发明是鉴于上述以往的问题点而完成的,其目的在于提供一种无论到被摄体的距离及被摄体的尺寸如何均能够准确地计算到被摄体的距离的测距摄像机。
用于解决问题的方案
这样的目的能够通过以下的(1)~(8)的本发明达成。
(1)一种测距摄像机,其特征在于,具备:
第一光学系统,其用于将来自被摄体的光进行聚光来形成第一被摄体像;
第二光学系统,其配置成相对于所述第一光学系统在与所述第一光学系统的光轴方向垂直的方向上偏离,用于将来自所述被摄体的所述光进行聚光来形成第二被摄体像;
摄像部,其用于拍摄由所述第一光学系统形成的所述第一被摄体像和由所述第二光学系统形成的所述第二被摄体像;以及
距离计算部,其用于基于由所述摄像部拍摄到的所述第一被摄体像的倍率与所述第二被摄体像的倍率的图像倍率比来计算到所述被摄体的距离的第一候选,并且基于所述第一被摄体像与所述第二被摄体像之间的平移视差来计算到所述被摄体的所述距离的第二候选,
其中,所述距离计算部按照规定的条件选择所述第一候选和所述第二候选中的某一方来作为到所述被摄体的所述距离。
(2)根据上述(1)所记载的测距摄像机,
所述距离计算部在所述被摄体的尺寸小于规定的阈值的情况下,选择基于所述平移视差计算出的所述第二候选来作为到所述被摄体的所述距离,在所述被摄体的所述尺寸为所述规定的阈值以上的情况下,选择基于所述图像倍率比计算出的所述第一候选来作为到所述被摄体的所述距离。
(3)根据上述(1)所记载的测距摄像机,
所述距离计算部在所述第一候选和所述第二候选小于规定的阈值的情况下,选择基于所述图像倍率比计算出的所述第一候选来作为到所述被摄体的所述距离,在所述第一候选和所述第二候选为所述规定的阈值以上的情况下,选择基于所述平移视差计算出的所述第二候选来作为到所述被摄体的所述距离。
(4)根据上述(1)至(3)中的任一项所记载的测距摄像机,
所述第一光学系统和所述第二光学系统构成为:所述第一被摄体像的所述倍率根据到所述被摄体的所述距离发生的变化不同于所述第二被摄体像的所述倍率根据到所述被摄体的所述距离发生的变化。
(5)根据上述(4)所记载的测距摄像机,
所述第一光学系统和所述第二光学系统构成为所述第一光学系统的焦距与所述第二光学系统的焦距互不相同,由此,所述第一被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化不同于所述第二被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化。
(6)根据上述(4)或(5)所记载的测距摄像机,
所述第一光学系统和所述第二光学系统构成为从所述第一光学系统的出射光瞳起至在所述被摄体存在于无限远处的情况下由所述第一光学系统形成的所述第一被摄体像的成像位置为止的距离不同于从所述第二光学系统的出射光瞳起至在所述被摄体存在于无限远处的情况下由所述述第二光学系统形成的所述第二被摄体像的成像位置为止的距离,由此,所述第一被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化不同于所述第二被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化。
(7)根据上述(4)至(6)中的任一项所记载的测距摄像机,
在所述第一光学系统的前侧主点与所述第二光学系统的前侧主点之间存在所述第一光学系统的所述光轴方向上的深度视差,由此,所述第一被摄体像的所述倍率根据到所述被摄体的所述距离发生的变化不同于所述第二被摄体像的所述倍率根据到所述被摄体的所述距离发生的变化。
(8)根据上述(1)至(7)中的任一项所记载的测距摄像机,
所述摄像部包括用于拍摄所述第一被摄体像的第一摄像元件和用于拍摄所述第二被摄体像的第二摄像元件。
发明的效果
在本发明的测距摄像机中,按照规定的条件来选择基于被摄体像之间的图像倍率比计算出的第一候选和基于被摄体像之间的平移视差计算出的第二候选中的某一方来作为到被摄体的距离。因此,根据本发明的测距摄像机,无论到被摄体的距离和被摄体的尺寸如何,均能够准确地计算到被摄体的距离。
另外,在被摄体位于近距离处的情况下,本发明的测距摄像机选择基于被摄体像之间的图像倍率比计算出的第一候选来作为到被摄体的距离,因此,被摄体像之间的平移视差不被使用于计算到位于近距离处的被摄体的距离。因而,在本发明的测距摄像机中,无需考虑被摄体位于近距离处的情况下的被摄体像之间的平移视差,因此能够将第一光学系统和第二光学系统相接近地配置。因此,相比于以往的立体摄像机方式的摄像机而言,能够使本发明的测距摄像机小型化。
附图说明
图1是用于说明本发明的测距摄像机中使用的基于被摄体像之间的图像倍率比的测距原理的图。
图2是用于说明本发明的测距摄像机中使用的基于被摄体像之间的图像倍率比的测距原理的图。
图3是用于说明由图2所示的第一光学系统形成的第一被摄体像的倍率与由图2所示的第二光学系统形成的第二被摄体像的倍率的图像倍率比根据到被摄体的距离发生变化的曲线图。
图4是概要性地表示本发明的第一实施方式所涉及的测距摄像机的框图。
图5是表示在将到被摄体的距离固定了的情况下相对于被摄体的尺寸的变化的、基于被摄体像之间的平移视差进行的测距和基于被摄体像之间的图像倍率比进行的测距的误差的大小(绝对值)的变化的一例的图。
图6是表示在将被摄体的尺寸固定了的情况下相对于到被摄体的距离的变化的、基于被摄体像之间的平移视差进行的测距和基于被摄体像之间的图像倍率比进行的测距的误差的大小(绝对值)的变化的一例的图。
图7是概要性地表示本发明的第二实施方式所涉及的测距摄像机的框图。
图8是概要性地表示本发明的第三实施方式所涉及的测距摄像机的框图。
图9是概要性地表示本发明的第四实施方式所涉及的测距摄像机的框图。
图10是用于说明由本发明的测距摄像机执行的测距方法的流程图。
具体实施方式
首先,对本发明的测距摄像机中使用的、用于基于被摄体像之间的图像倍率比来计算到被摄体的距离的原理进行说明。此外,在各图中,对发挥同样或类似的功能的组件标注相同的附图标记。
关于由光学系统形成的被摄体像的倍率mOD,能够通过从光学系统的前侧主点(前侧主面)起至被摄体为止的距离(被摄体距离)a、从光学系统的后侧主点(后侧主面)起至被摄体像的成像位置为止的距离bOD以及光学系统的焦距f,根据透镜的公式如下述式(1)那样表示。
[数1]
另外,关于被摄体像的尺寸YOD,能够根据被摄体像的倍率mOD和被摄体的实际的尺寸sz,如下述式(2)那样表示。
[数2]
在传感器等摄像元件的摄像面处于被摄体像的成像位置的情况下、即为最佳聚焦的情况下,能够用上述式(2)来表示被摄体像的尺寸YOD。在光学系统具有自动调焦功能且始终以最佳聚焦进行摄像的情况下,能够使用上述式(2)求出被摄体像的尺寸YOD。
然而,在光学系统为不具有自动调焦功能的固定焦点系统并且传感器等摄像元件的摄像面不处于被摄体像的成像位置的情况下、即存在散焦的情况下,为了求出形成于摄像元件的摄像面上的被摄体像的尺寸YFD,需要考虑散焦量、即被摄体像的成像位置与摄像元件的摄像面的位置的在深度方向(光轴方向)上的差(偏移量)。
如图1所示,将从光学系统的出射光瞳起至被摄体存在于无限远处的情况下的被摄体像的成像位置为止的距离设为EP,将从光学系统的出射光瞳起至被摄体存在于任意的距离a处的情况下的被摄体像的成像位置为止的距离设为EPOD,将从光学系统的出射光瞳起至摄像元件的摄像面为止的距离(焦距:Focus Distance)设为EPFD。另外,将从光学系统的后侧主点起至被摄体存在于任意的距离a处的情况下的被摄体像的成像位置为止的距离设为bOD,将从光学系统的后侧主点起至摄像元件的摄像面为止的距离设为bFD。此外,在图示的方式中,为了使说明简化,概要性地示出光学系统的后侧主点处于光学系统的中心位置的光学系统。
关于从光学系统的后侧主点起至被摄体存在于任意的距离a处的情况下的被摄体像的成像位置为止的距离bOD,能够根据透镜的公式通过下述式(3)来求出。
[数3]
因而,能够通过下述式(4)求出焦距f与距离bOD之差ΔbOD。
[数4]
另外,关于从光学系统的后侧主点起至摄像元件的摄像面为止的距离bFD,能够使用在被摄体像在摄像元件的摄像面为最佳聚焦的情况下从光学系统的前侧主点起至被摄体为止的距离aFD,根据透镜的公式通过下述式(5)来求出。
[数5]
因而,能够通过下述式(6)求出焦距f与距离bFD之差ΔbFD。
[数6]
另外,根据图1明确可知的是,以光轴与光学系统的出射光瞳的交点为一个顶点、以被摄体存在于任意的距离a处的情况下的被摄体像的成像位置的被摄体像的尺寸YOD为一个边的直角三角形同以光轴与光学系统的出射光瞳的交点为一个顶点、以摄像元件的摄像面中的被摄体像的尺寸YFD为一个边的直角三角形为相似关系。因此,根据相似关系,EPOD:EPFD=YOD:YFD成立,能够根据下述式(7)求出摄像元件的摄像面中的被摄体像的尺寸YFD。
[数7]
根据上述式(7)明确可知的是,摄像元件的摄像面中的被摄体像的尺寸YFD能够表示为被摄体的实际尺寸sz、光学系统的焦距f、从光学系统的出射光瞳起至被摄体存在于无限远处的情况下的被摄体像的成像位置为止的距离EP、从光学系统的出射光瞳起至被摄体为止的距离(被摄体距离)a、以及在被摄体像在摄像元件的摄像面为最佳聚焦的情况下从光学系统的出射光瞳起至被摄体为止的距离(焦距)aFD的函数。
接着,如图2所示,假定使用两个摄像系统IS1、IS2拍摄了该被摄体100的情况。第一摄像系统IS1具备用于将来自被摄体100的光进行聚光来形成第一被摄体像的第一光学系统OS1、以及用于拍摄由第一光学系统OS1形成的第一被摄体像的第一摄像元件S1。第二摄像系IS2具备用于将来自被摄体100的光进行聚光来形成第二被摄体像的第二光学系统OS2、以及用于拍摄由第二光学系统OS2形成的第二被摄体像的第二摄像元件S2。另外,根据图2明确可知的是,第一摄像系统IS1的第一光学系统OS1的光轴与第二摄像系统IS2的第二光学系统OS2的光轴平行,但不一致。另外,第二光学系统OS2配置成相对于第一光学系统OS1在与第一光学系统OS1的光轴方向垂直的方向上分离距离P。因此,在由第一光学系统OS1形成的第一被摄体像与由第二光学系统OS2形成的第二被摄体像之间存在平移视差(与第一光学系统OS1或第二光学系统OS2的光轴方向垂直的方向上的视差)。
此外,在图示的结构中,第一光学系统OS1的光轴与第二光学系统OS2的光轴平行,但本发明不限于此。例如,第一光学系统OS1和第二光学系统OS2可以配置为,第一光学系统OS1的光轴的角度(三维极坐标的角度参数θ、)与第二光学系统OS2的光轴的角度互不相同。然而,为了简化说明,设为第一光学系统OS1和第二光学系统OS2如图2所示那样配置为:第一光学系统OS1的光轴与第二光学系统OS2的光轴平行但不一致,彼此分离距离P。
第一光学系统OS1和第二光学系统OS2分别是具有焦距f1、f2的、焦点固定的光学系统。在构成第一摄像系统IS1时,将第一光学系统OS1的位置(透镜位置)即第一光学系统OS1与第一摄像元件S1的分离距离调整为使处于任意的距离aFD1处的被摄体100的第一被摄体像形成于第一摄像元件S1的摄像面上,即、处于任意的距离aFD1处的被摄体100成为最佳聚焦。同样地,在构成第二摄像系统IS2时,将第二光学系统OS2的位置(透镜位置)即第二光学系统OS2与第二摄像元件S2的分离距离调整为使处于任意的距离aFD2处的被摄体100的第二被摄体像形成于第二摄像元件S2的摄像面上,即、处于任意的距离aFD2处的被摄体100成为最佳聚焦。
另外,从第一光学系统OS1的出射光瞳起至被摄体100存在于无限远处的情况下的第一被摄体像的成像位置为止的距离为EP1,从第二光学系统OS2的出射光瞳起至被摄体100存在于无限远处的情况下的第二被摄体像的成像位置为止的距离为EP2。
第一光学系统OS1和第二光学系统OS2构成且配置为,在第一光学系统OS1的前侧主点(前侧主面)与第二光学系统OS2的前侧主点(前侧主面)之间存在深度方向(光轴方向)上的差(深度视差)D。即,当将从第一光学系统OS1的前侧主点起至被摄体100为止的距离(被摄体距离)设为a时,从第二光学系统OS2的前侧主点起至被摄体100为止的距离为a+D。
通过利用参照图1所说明的相似关系,能够用下述式(8)表示由第一光学系统OS1形成于第一摄像元件S1的摄像面上的第一被摄体像的倍率m1。
[数8]
在此,EPOD1为从第一光学系统OS1的出射光瞳起至被摄体100存在于距离a处的情况下的第一被摄体像的成像位置为止的距离,EPFD1为从第一光学系统OS1的出射光瞳起至第一摄像元件S1的摄像面为止的距离。距离EPOD1和距离EPFD1的位置关系是在构成第一摄像系统IS1时通过以处于任意的距离aFD1处的被摄体100成为最佳聚焦的方式调整第一光学系统OS1的位置(透镜位置)来决定的。另外,ΔbOD1为焦距f1与从第一光学系统OS1的后侧主点起至被摄体100存在于距离a处的情况下的第一被摄体像的成像位置为止的距离bOD1之差,ΔbFD1为焦距f1与从第一光学系统OS1的后侧主点起至第一摄像元件S1的摄像面为止的距离bFD1之差,mOD1为被摄体100存在于距离a处的情况下的第一被摄体像的成像位置的第一被摄体像的倍率。
上述式(1)、(4)和(6)也能够应用于利用第一光学系统OS1进行的成像,因此能够用下述式(9)表示上述式(8)。
[数9]
在此,aFD1为在第一被摄体像在第一摄像元件S1的摄像面成为最佳聚焦的情况下从第一光学系统OS1的前侧主点起至被摄体100为止的距离。
同样地,能够用下述式(10)表示由第二光学系统OS2形成于第二摄像元件S2的摄像面上的第二被摄体像的倍率m2。
[数10]
在此,EPOD2为从第二光学系统OS2的出射光瞳起至被摄体100存在于距离a+D处的情况下的第二被摄体像的成像位置为止的距离,EPFD2为从第二光学系统OS2的出射光瞳起至第二摄像元件S2的摄像面为止的距离。距离EPOD2和距离EPFD2的位置关系是在构成第二摄像系统IS2时通过以处于任意的距离aFD2处的被摄体100成为最佳聚焦的方式调整第二光学系统OS2的位置(透镜位置)来决定的。另外,ΔbOD2为焦距f2与从第二光学系统OS2的后侧主点起至被摄体100存在于距离a+D的情况下的第二被摄体像的成像位置为止的距离bOD2之差,ΔbFD2为焦距f2与从第二光学系统OS2的后侧主点起至第二摄像元件S2的摄像面为止的距离bFD2之差,mOD2为被摄体100存在于距离a+D处的情况下的第二被摄体像的成像位置的第二被摄体像的倍率,aFD2为在第二被摄体像在第二摄像元件S2的摄像面成为最佳聚焦的情况下从第二光学系统OS2的前侧主点起至被摄体100为止的距离。
因而,能够用下述式(11)表示由第一光学系统OS1形成于第一摄像元件S1的摄像面上的第一被摄体像的倍率m1与由第二光学系统OS2形成于第二摄像元件S2的摄像面上的第二被摄体像的倍率m2的图像倍率比MR。
[数11]
在此,K为系数,用由根据第一摄像系统IS1和第二摄像系统IS2的结构决定的固定值f1、f2、EP1、EP2、aFD1、以及aFD2构成的下述式(12)表示。
[数12]
根据上述式(11)明确可知的是:由第一光学系统OS1形成于第一摄像元件S1的摄像面上的第一被摄体像的倍率m1与由第二光学系统OS2形成于第二摄像元件S2的摄像面上的第二被摄体像的倍率m2的图像倍率比MR根据从被摄体100起至第一光学系统OS1的前侧主点为止的距离a发生变化。
另外,当关于距离a对上述式(11)求解时,能够得到关于到被摄体100的距离a的通用公式(13)。
[数13]
在上述式(13)中,f1、f2、EP1、EP2、D及K为根据第一摄像系统IS1和第二摄像系IS2的结构和配置来决定的固定值,因此只要能够得到图像倍率比MR,就能够计算从被摄体100起至第一光学系统OS1的前侧主点为止的距离a。
在图3中示出基于上述式(13)计算出的、由第一光学系统OS1形成于第一摄像元件S1的摄像面上的第一被摄体像的倍率m1与由第二光学系统OS2形成于第二摄像元件S2的摄像面上的第二被摄体像的倍率m2的图像倍率比MR同到被摄体100的距离a的关系的一例。根据图3明确可知的是,在图像倍率比MR的值与到被摄体100的距离a之间,一对一的关系成立。
另一方面,能够通过下述式(14)来计算图像倍率比MR。
[数14]
在此,sz为被摄体100的实际尺寸(高度或宽度),YFD1为由第一光学系统OS1形成于第一摄像元件S1的摄像面上的第一被摄体像的尺寸(像高或像宽),YFD2为由第二光学系统OS2形成于第二摄像元件S2的摄像面上的第二被摄体像的尺寸(像高或像宽)。
关于第一被摄体像的尺寸YFD1和第二被摄体像的尺寸YFD2,能够根据通过第一摄像元件S1和第二摄像元件S2拍摄第一被摄体像和第二被摄体像而获取的第一被摄体像的图像信号和第二被摄体像的图像信号来实际测量。因此,能够根据实际地使用第一摄像系统IS1和第二摄像系统IS2拍摄被摄体100而得到的第一被摄体像的图像信号和第二被摄体像的图像信号来实际测量第一被摄体像的尺寸YFD1和第二被摄体像的尺寸YFD2,并且基于此得到第一被摄体像的倍率m1与第二被摄体像的倍率m2的图像倍率比MR。
本发明的测距摄像机根据上述的原理,基于实际测量的第一被摄体像的尺寸YFD1和第二被摄体像的尺寸YFD2来计算第一被摄体像的倍率m1与第二被摄体像的倍率m2的图像倍率比MR,由此计算从第一光学系统OS1的前侧主点起至被摄体100为止的距离a。基于图像倍率比MR计算出的到被摄体100的距离a被视作到被摄体100为止的距离a的第一候选。
此外,根据上述式(11)明确可知的是,在第一光学系统OS1的焦距f1与第一光学系统OS1的焦距f2相等(f1=f2),从第一光学系统OS1的出射光瞳起至被摄体100处于无限远处的情况下的第一被摄体像的成像位置为止的距离EP1与从第二光学系统OS2的出射光瞳起至被摄体100处于无限远处的情况下的第二被摄体像的成像位置为止的距离EP2相等(EP1=EP2),并且在第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点之间不存在深度方向(光轴方向)上的深度视差D(D=0)的情况下,图像倍率比MR作为距离a的函数不成立,图像倍率比MR为常数。在该情况下,第一被摄体像的倍率m1根据到被摄体100的距离a发生的变化与第二被摄体像的倍率m2根据到被摄体100的距离a发生的变化相同,无法基于图像倍率比MR来计算从第一光学系统OS1至被摄体为止的距离a的第一候选。
另外,作为特殊条件,即使在f1≠f2、EP1≠EP2且D=0的情况下,在f1=EP1且f2=EP2的情况下,图像倍率比MR作为距离a的函数不成立,图像倍率比MR为常数。在这样的特殊情况下也无法基于图像倍率比MR来计算从第一光学系统OS1起至被摄体为止的距离a的第一候选。
因而,在本发明的测距摄像机中,第一光学系统OS1和第二光学系统OS2构成且配置为满足以下的三个条件中的至少一个条件,由此,第一被摄体像的倍率m1根据到被摄体100的距离a发生的变化不同于与第二被摄体像的倍率m2根据到被摄体100的距离a发生的变化。
(第一条件)第一光学系统OS1的焦距f1与第二光学系统OS2的焦距f2互不相同(f1≠f2)
(第二条件)从第一光学系统OS1的出射光瞳起至被摄体100处于无限远处的情况下的第一被摄体像的成像位置为止的距离EP1与从第二光学系统OS2的出射光瞳起至被摄体100处于无限远处的情况下的第二被摄体像的成像位置为止的距离EP2互不相同(EP1≠EP2)
(第三条件)在第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点之间存在深度方向(光轴方向)上的差D(D≠0)
以外,即使设为满足上述第一条件~第三条件中的至少一个条件,在上述的特殊情况下(f1≠f2、EP1≠EP2、D=0、f1=EP1且f2=EP2),图像倍率比MR作为距离a的函数不成立,无法基于图像倍率比MR来计算从第一光学系统OS1起至被摄体100为止的距离a。因而,为了基于图像倍率比MR来计算从第一光学系统OS1起至被摄体100为止的距离a的第一候选,本发明的测距摄像机构成为还满足图像倍率比MR作为距离a的函数成立这个第四条件。
因此,基于根据使用本发明的测距摄像机获取到的第一被摄体像的图像信号和第二被摄体像的图像信号实际测量的第一被摄体像的尺寸YFD1和第二被摄体像的尺寸YFD2来计算图像倍率比MR,由此能够计算从第一光学系统OS1的前侧主点起至被摄体100为止的距离a的第一候选。
另外,如上述那样,第二光学系统OS2配置成相对于第一光学系统OS1在与第一光学系统OS1的光轴方向垂直的方向上分离距离P,因此,在由第一光学系统OS1形成的第一被摄体像与由第二光学系统OS2形成的第二被摄体像之间存在平移视差(与第一光学系统OS1或第二光学系统OS2的光轴方向垂直的方向上的视差)。因此,本发明的测距摄像机在利用了上述原理的、基于图像倍率比MR进行的到被摄体100的距离a的第一候选的计算之外,还能够基于第一被摄体像与第二被摄体像之间的平移视差来计算到被摄体100的距离a的第二候选。此外,基于第一被摄体像与第二被摄体像之间的平移视差进行的到被摄体100的距离a的第二候选的计算能够使用立体摄像机方式的测距摄像机领域中的各种已知的方法来执行。
像这样,本发明的测距摄像机构成为能够执行基于被摄体像之间的图像倍率比MR进行的测距和基于被摄体像之间的平移视差进行的测距这两方。如在背景技术栏中叙述的那样,基于被摄体像之间的平移视差进行的测距不适合用于测定到位于近距离的被摄体100的距离a,但适用于测定到尺寸sz小的摄体100和位于远距离处的被摄体100的距离a。另一方面,基于被摄体像之间的图像倍率比MR进行的测距不适合用于计算到尺寸sz小的被摄体100和位于远距离处的被摄体100的距离a,但适用于测定到尺寸sz大的被摄体100和位于近距离处的被摄体100的距离a。
像这样,基于被摄体像之间的平移视差进行的测距和基于被摄体像之间的图像倍率比MR进行的测距分别具有擅长的领域和不擅长的领域。因此,本发明的测距摄像机构成为:基于被摄体像之间的图像倍率比MR来计算到被摄体100的距离a的第一候选,并且基于被摄体像之间的平移视差来计算到被摄体100的距离a的第二候选,按照规定的条件选择第一候选和第二候选中的某一方来作为到被摄体100的距离a。
因此,根据本发明的测距摄像机,不论到被摄体100的距离a的大小和被摄体100的尺寸sz如何,均能够准确地计算到被摄体100的距离a。下面,基于附图所示的优选的实施方式来详细叙述如上述那样计算到被摄体100的距离a的、本发明的测距摄像机。
<第一实施方式>
首先,参照图4~图6来说明本发明的测距摄像机的第一实施方式。图4是概要性地表示本发明的第一实施方式所涉及的测距摄像机的图。图5是表示在将到被摄体的距离固定了的情况下相对于被摄体的尺寸的变化的、基于被摄体像之间的平移视差进行的测距和基于被摄体像之间的图像倍率比进行的测距的误差的大小(绝对值)的变化的一例的图。图6是表示在将被摄体的尺寸固定了的情况下相对于到被摄体的距离的变化的、基于被摄体像之间的平移视差进行的测距和基于被摄体像之间的图像倍率比进行的测距的误差的大小(绝对值)的变化的一例的图。
图4所示的测距摄像机1具有处理器和存储器,并且具备:控制部2,其进行测距摄像机1的控制;第一光学系统OS1,其用于将来自被摄体100的光进行聚光来形成第一被摄体像;第二光学系统OS2,其配置成相对于第一光学系统OS1在与第一光学系统OS1的光轴方向垂直的方向上分离距离P,用于将来自被摄体100的光进行聚光来形成第二被摄体像;摄像部S,其用于拍摄由第一光学系统OS1形成的第一被摄体像和由第二光学系统OS2形成的第二被摄体像;关联信息存储部3,其存储有将第一被摄体像的倍率m1与第二被摄体像的倍率m2的图像倍率比MR同到被摄体100的距离a的第一候选建立关联的关联信息;距离计算部4,其基于第一被摄体像的倍率m1与第二被摄体像的倍率m2的图像倍率比MR来计算到被摄体100的距离a的第一候选,基于第一被摄体像与第二被摄体像之间的平移视差来计算到被摄体100的距离a的第二候选,并且按照规定的条件选择第一候选和第二候选中的某一方来作为到被摄体100为止的距离a;三维图像生成部5,其用于基于摄像部S获取到的第一被摄体像或第二被摄体像、以及由距离计算部4计算出的到被摄体100的距离a,来生成被摄体100的三维图像;液晶面板等用于显示任意的信息的显示部6;操作部7,其用于使用者输入操作;通信部8,其用于与外部设备执行通信;以及数据总线9,其用于执行测距摄像机1的各组件间的数据的发送和接收。
本实施方式的测距摄像机1的特征在于,第一光学系统OS1和第二光学系统OS2构成为满足为了基于图像倍率比MR来计算到被摄体100的距离a的第一候选所要求的上述的三个条件中的第一条件,即、第一光学系统OS1的焦距f1与第二光学系统OS2的焦距f2互不相同(f1≠f2)。另一方面,在本实施方式中,第一光学系统OS1和第二光学系统OS2未构成且配置为满足上述的三个条件中的其它两个条件(EP1≠EP2和D≠0)。并且,本实施方式的测距摄像机1构成为满足图像倍率比MR作为距离a的函数成立这个第四条件。
因此,用于使用图像倍率比MR来计算到被摄体100的距离a的上述通用公式(13)通过EP1=EP2=EP和D=0的条件能被简化,能够用下述式(15)表示。
[数15]
在此,系数K用下述式(16)表示。
[数16]
本实施方式的测距摄像机1通过摄像部S来拍摄被摄体100,由此计算第一被摄体像的倍率m1与第二被摄体像的倍率m2的图像倍率比MR,并且使用上述式(15)来计算到被摄体100的距离a的第一候选。使用上述式(15)计算出的到被摄体100的距离a的第一候选被暂时保存于控制部2的存储器内。
并且,如图4所示,第一光学系统OS1和第二光学系统OS2配置成第一光学系统OS1的光轴和第二光学系统OS2的光轴在与第一光学系统OS1的光轴方向垂直的方向上分离距离P。因此,在由第一光学系统OS1形成的第一被摄体像与由第二光学系统OS2形成的第二被摄体像之间存在平移视差(与第一光学系统OS1或第二光学系统OS2的光轴方向垂直的方向上的视差)。本实施方式的测距摄像机1通过摄像部S来拍摄被摄体100,由此计算第一被摄体像与第二被摄体像之间的平移视差,并且基于计算出的平移视差来计算到被摄体100的距离a的第二候选。像这样计算出的到被摄体100的距离a的第二候选被暂时保存于控制部2的存储器内。
之后,本实施方式的测距摄像机1按照规定的条件选择控制部2的存储器内暂时保存的到被摄体100的距离a的第一候选和第二候选中的某一方,来作为到被摄体100的距离a。
下面,详细叙述测距摄像机1的各组件。控制部2经由数据总线9来与各组件之间进行各种数据、各种指示的发送和接收,来执行测距摄像机1的控制。控制部2具备用于执行运算处理的处理器以及保存有进行测距摄像机1的控制所需的数据、程序、模块等的存储器,控制部2的处理器使用存储器内保存的数据、程序、模块等来执行测距摄像机1的控制。另外,控制部2的处理器通过使用测距摄像机1的各组件,能够提供期望的功能。例如,控制部2的处理器通过使用距离计算部4,能够执行基于由摄像部S拍摄到的第一被摄体像和第二被摄体像来计算到被摄体100的距离a的处理。
控制部2的处理器例如是基于计算机可读命令来执行信号操作等运算处理的一个以上的运算单元如微处理器、微计算机、微控制器、数字信号处理器(DSP)、中央运算处理装置(CPU)、存储器控制单元(MCU)、图像处理用运算处理装置(GPU)、状态设备、逻辑电路、专用集成回路(ASIC)或它们的组合等。特别地,控制部2的处理器构成为调取控制部2的存储器内保存的计算机可读命令(例如数据、程序、模块等)来执行运算、信号操作及控制。
控制部2的存储器为包括易失性存储介质(例如RAM、SRAM、DRAM)、非易失性存储介质(例如ROM、EPROM、EEPROM、闪存、硬盘、光盘、CD-ROM、数字多功能光盘(DVD)、磁盒、磁带、磁盘)或它们的组合的一个以上的装卸式或非装卸式的计算机可读介质。
第一光学系统OS1具有将来自被摄体100的光进行聚光来在摄像部S的第一摄像元件S1的摄像面上形成第一被摄体像的功能。第二光学系统OS2具有用于将来自被摄体100的光进行聚光来在摄像部S的第二摄像元件S2的摄像面上形成第二被摄体像的功能。第一光学系统OS1和第二光学系统OS2由一个以上的透镜和光圈等光学元件构成。
如上述那样,第一光学系统OS1和第二光学系统OS2构成为,第一光学系统OS1的焦距f1与第二光学系统OS2的焦距f2互不相同(f1≠f2)。由此,由第一光学系统OS1形成的第一被摄体像的倍率m1根据到被摄体100的距离a发生的变化不同于由第二光学系统OS2形成的第二被摄体像的倍率m2根据到被摄体100的距离发生的变化。通过这样的第一光学系统OS1和第二光学系统OS2的结构得到的第一被摄体像的倍率m1与第二被摄体像的倍率m2之比即图像倍率比MR被使用于计算到被摄体100的距离a的第一候选。
另外,如图示的那样,第一光学系统OS1的光轴与第二光学系统OS2的光轴平行,但不一致。并且,第二光学系统OS2配置成相对于第一光学系统OS1在与第一光学系统OS1的光轴方向垂直的方向上分离距离P。因此,在由第一光学系统OS1形成的第一被摄体像与由第二光学系统OS2形成的被摄体像之间存在平移视差。该第一被摄体像与第二被摄体像之间的平移视差被使用于计算到被摄体100的距离a的第二候选。
摄像部S具有拍摄由第一光学系统OS1形成的第一被摄体像和由第二光学系统OS2形成的第二被摄体像并获取第一被摄体像的图像信号和第二被摄体像的图像信号的功能。在本实施方式中,摄像部S具备用于拍摄第一被摄体像并获取第一被摄体像的图像信号的第一摄像元件S1以及用于拍摄第二被摄体像并获取第二被摄体像的图像信号的第二摄像元件S2。
此外,在图示的方式中,第一摄像元件S1和第一光学系统OS1设置于同一壳体内,第二摄像元件S2和第二光学系统OS2设置于另外的同一壳体内,但本发明不限于此。第一光学系统OS1、第二光学系统OS2、第一摄像元件S1以及第二摄像元件S2均设置于同一壳体内的方式也在本发明的范围内。
第一摄像元件S1和第二摄像元件S2可以分别为具有按拜尔阵列等任意的图案排列的RGB原色系滤色器、CMY补色系滤色器这样的滤色器的CMOS图像传感器、CCD图像传感器等彩色摄像元件,也可以为不具有这样的滤色器的黑白摄像元件。在该情况下,由第一摄像元件S1得到的第一被摄体像的图像信号和由第二摄像元件S2得到的第二被摄体像的图像信号为被摄体100的彩色或黑白的亮度信息。
另外,第一摄像元件S1和第二摄像元件S2也可以分别为获取被摄体100的相位信息的相位传感器。在该情况下,由第一摄像元件S1得到的第一被摄体像的图像信号和由第二摄像元件S2得到的第二被摄体像的图像信号为被摄体100的相位信息。
通过第一光学系统OS1在第一摄像元件S1的摄像面上形成第一被摄体像,通过第一摄像元件S1获取第一被摄体像的图像信号。经由数据总线9将获取到的第一被摄体像的图像信号传送至控制部2、距离计算部4。同样地,通过第二光学系统OS2在第二摄像元件S2的摄像面上形成第二被摄体像,通过第二摄像元件S2获取第二被摄体像的图像信号。经由数据总线9将获取到的第二被摄体像的图像信号传送至控制部2、距离计算部4。被传送至距离计算部4的第一被摄体像的图像信号和第二被摄体像的图像信号被使用于计算到被摄体100的距离a。另一方面,被传送至控制部2的第一被摄体像的图像信号和第二被摄体像的图像信号被使用于利用显示部6进行的图像显示、利用通信部8进行的图像信号的通信。
关联信息存储部3为用于存储将第一被摄体像的倍率m1与第二被摄体像的倍率m2的图像倍率比MR(m2/m1)同从第一光学系统OS1的前侧主点起至被摄体100为止的距离(被摄体距离)a的第一候选建立关联的关联信息的任意的非易失性记录介质(例如硬盘、闪存)。关联信息存储部3中保存的关联信息为用于根据第一被摄体像的倍率m1与第二被摄体像的倍率m2的图像倍率比MR(m2/m1)来计算到被摄体100的距离a的第一候选的信息。
代表性地,关联信息存储部3中保存的关联信息为用于基于图像倍率比MR来计算到被摄体100的距离a的第一候选的上述式(15)(或通用公式(13))、以及根据该式中的第一光学系统OS1和第二光学系统OS2的结构和配置决定的上述的固定值(如果为上述式(15),则是固定值f1、f2、EP以及K)。替代性地,关联信息存储部3中保存的关联信息也可以为将图像倍率比MR与到被摄体100的距离a唯一地进行了对应的查找表。通过参照关联信息存储部3中保存的这样的关联信息,能够基于图像倍率比MR来计算到被摄体100的距离a的第一候选。
距离计算部4具有以下功能:基于由摄像部S拍摄到的第一被摄体像的倍率m1与第二被摄体像的倍率m2的图像倍率比MR来计算到被摄体100的距离a的第一候选,并且基于第一被摄体像与第二被摄体像之间的平移视差来计算到被摄体100的距离a的第二候选,按照规定的条件选择第一候选和第二候选中的某一方来作为到被摄体100的距离a。
距离计算部4从摄像部S的第一摄像元件S1接收第一被摄体像的图像信号,并且从摄像部S的第二摄像元件S2接收第二被摄体像的图像信号。之后,距离计算部4对第一被摄体像的图像信号和第二被摄体像的图像信号实施如Canny这样的滤波处理,来提取第一被摄体像的图像信号内的第一被摄体像的边缘部和第二被摄体像的图像信号内的第二被摄体像的边缘部。距离计算部4基于提取出的第一被摄体像的边缘部来计算第一被摄体像的尺寸(像宽或像高)YFD1,并且基于提取出的第二被摄体像的边缘部来计算第二被摄体像的尺寸(像宽或像高)YFD2。
关于距离计算部4基于提取出的第一被摄体像的边缘部和第二被摄体像的边缘部来计算第一被摄体像的尺寸YFD1和第二被摄体像的尺寸YFD2的方法,并无特别限定,但例如可以将各图像信号中被摄体像的边缘部的处于最上侧的部分与处于最下侧的部分的分离距离设为被摄体像的像高,也可以将被摄体像的边缘部的处于最左侧的部分与处于最右侧的部分的分离距离设为被摄体像的像宽。
之后,距离计算部4基于计算出的第一被摄体像的尺寸YFD1和第二被摄体像的尺寸YFD2,通过上述式(14)MR=YFD2/YFD1来计算第一被摄体像的倍率m1与第二被摄体像的倍率m2的图像倍率比MR。当计算图像倍率比MR时,距离计算部4参照关联信息存储部3中保存的关联信息,基于图像倍率比MR来计算到被摄体100的距离a的第一候选。计算出的到被摄体100的距离a的第一候选被暂时保存于控制部2的存储器内。
距离计算部4除了计算到被摄体100的距离a的第一候选以外,还检测第一被摄体像的图像信号中的第一被摄体像的任意的特征点(例如任意的边缘部)的位置,并且检测第二被摄体像的图像信号中的与第一被摄体像的任意的特征点对应的第二被摄体像的特征点。第一光学系统OS1与第二光学系统OS2之间的几何相对关系是已知的,因此距离计算部4能够根据第一被摄体像的图像信号中的第一被摄体像的特征点的二维坐标(xy坐标)和第二被摄体像的图像信号中的第二被摄体像的对应的特征点的二维坐标之差,来计算第一被摄体像与第二被摄体像之间的平移视差。
距离计算部4在计算第一被摄体像与第二被摄体像之间的平移视差后,基于计算出的第一被摄体像与第二被摄体像之间的平移视差来计算到被摄体100的距离a的第二候选。关于基于第一被摄体像与第二被摄体像之间的平移视差来计算到被摄体100的距离a的第二候选的方法,并无特别限定,能够使用本领域中的各种已知的方法,基于第一被摄体像与第二被摄体像之间的平移视差来计算到被摄体100的距离a的第二候选。计算出的到被摄体100的距离a的第二候选被暂时保存于控制部2的存储器内。
之后,距离计算部4按照规定的条件选择第一候选和第二候选中的某一方来作为到被摄体100的距离a。如上述那样,基于被摄体像之间的平移视差进行的测距不适合用于测定到位于近距离的被摄体100的距离a,但适用于测定到尺寸sz小的被摄体100和位于远距离处的被摄体100的距离a。另一方面,基于被摄体像之间的图像倍率比MR进行的测距不适合用于计算到尺寸sz小的被摄体100和位于远距离处的被摄体100的距离a,但适用于测定到尺寸sz大的被摄体100和位于近距离从的被摄体100的距离a。
因此,距离计算部4使用与被摄体100的尺寸sz有关的条件或与到被摄体100的距离a有关的条件选择第一候选和第二候选中的某一方来作为到被摄体100的距离a。距离计算部4将与被摄体100的尺寸sz有关的条件以及与到被摄体100的距离a有关的条件中的哪个条件用作用于选择第一候选和第二候选中的某一方来作为到被摄体100的距离a的规定的条件,是根据测距摄像机1的使用用途事先设定的。
例如,在使用测距摄像机1执行面部的三维形状测量的情况下,将与被摄体100的尺寸sz有关的条件用作规定的条件。在执行面部的三维形状测量时,从测距摄像机1到整个面部的距离是固定的,需要针对面部的各部分(面部的轮廓、眼睛、鼻子、嘴、耳朵等)执行测距。在该情况下,面部的各部分(面部的轮廓、眼睛、鼻子、嘴、耳朵等)与作为测距对象的被摄体100对应。
在针对尺寸小的部分(眼睛、鼻子、嘴、耳朵等)进行的测距中,选择基于被摄体像之间的平移视差计算且被暂时保存于控制部2的存储器内的第二候选来作为到被摄体100的距离a。在针对尺寸大的部分(面部的轮廓等)进行的测距中,选择基于被摄体像之间的图像倍率比MR计算且被暂时保存于控制部2的存储器内的第一候选来作为到被摄体100的距离a。通过这样的结构,不论被摄体100的尺寸sz如何,均能够准确地计算到被摄体100的距离a。
另一方面,例如在将测距摄像机1使用于FA(Factory Automation:工厂自动化)用途中的情况下,将与到被摄体100的距离a有关的条件用作规定的条件。在对FA用途中使用的机械臂使用测距摄像机1的情况下,将测距摄像机1组装至机械臂内,通过测距摄像机1来计算从机械臂到作为拾起对象的部件或产品的距离。在该情况下,作为拾起对象的部件或产品与作为测距对象的被摄体100对应。
部件或产品的尺寸是固定的,但从机械臂到部件或产品的距离根据机械臂的姿势、位置发生变化。在从机械臂到部件或产品的距离短的情况下,选择基于被摄体像之间的图像倍率比MR计算并且被暂时保存于控制部2的存储器内的第一候选来作为到被摄体100的距离a。在从机械臂到部件或产品的距离长的情况下,选择基于被摄体像之间的平移视差计算并且被暂时保存于控制部2的存储器内的第二候选来作为到被摄体100的距离a。通过这样的结构,无论到被摄体100的距离a如何,均能够准确地计算到被摄体100的距离a。
像这样,事先根据测距摄像机1的使用用途来设定将与被摄体100的尺寸sz有关的条件以及与到被摄体100的距离a有关的条件中的哪个条件用作用于选择第一候选和第二候选中的某一方来作为到被摄体100的距离a的规定的条件。
关于与被摄体100的尺寸sz有关的条件,图5示出在将到被摄体100的距离a设为固定的情况下(在该例中,a=300mm)的相对于被摄体100的尺寸sz的变化的、基于被摄体像之间的平移视差进行的测距和基于被摄体像之间的图像倍率比进行的测距的误差的大小(绝对值)。
此外,图5的曲线图为在根据以下的条件来构成本申请的测距摄像机1的情况下基于图像倍率比进行的测距的误差的大小(绝对值)和基于平移视差进行的测距的误差的大小的变化的一例。
第一光学系统OS1的焦距f1:12.4mm
从第一光学系统OS1的出射光瞳起至被摄体100处于无限远处的情况下的第一被摄体像的成像位置为止的距离EP1:34.5mm
第一被摄体像在第一摄像元件S1上为最佳聚焦时从第一光学系统OS1的前侧主点起至被摄体100为止的距离aFD1:458mm
第二光学系统OS2的焦距f2:5.1mm
从第二光学系统OS2的出射光瞳起至被摄体100处于无限远处的情况下的第二被摄体像的成像位置为止的距离EP2:147.4mm
第二被摄体像在第二摄像元件S2上为最佳聚焦时从第二光学系统OS2的前侧主点起至被摄体100为止的距离aFD2:292mm
第一光学系统OS1的光轴与第二光学系统OS2的光轴的在与第一光学系统OS1的光轴方向垂直的方向上的分离距离P:27mm
第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点之间的深度视差D:123mm
此外,在图5的曲线图的条件下,第一光学系统OS1和第二光学系统OS2构成且配置为满足用于基于被摄体像之间的图像倍率比MR来计算到被摄体100的距离a的第一候选的上述的第一条件~第三条件(f1≠f2、EP1≠EP2及D≠0)的全部条件,但参照图5的曲线图说明的同基于被摄体像之间的图像倍率比MR进行的测距和基于被摄体像之间的平移视差进行的测距之间的测距误差有关的关系不取决于上述的第一条件~第三条件(f1≠f2、EP1≠EP2及D≠0)地成立。即,即使在如本实施方式那样在第一光学系统OS1和第二光学系统OS2构成为仅满足第一条件(f1≠f2)的情况下、如后述的实施方式那样第一光学系统OS1和第二光学系统OS2构成且配置为仅满足第二条件(EP1≠EP2)或第三条件(D≠0)的情况下、第一光学系统OS1和第二光学系统OS2构成且配置为满足第一条件~第三条件中的两个条件或全部条件的情况下,参照图5的曲线图说明的同基于被摄体像之间的图像倍率比MR进行的测距和基于被摄体像之间的平移视差进行的测距之间的测距的误差有关的关系也成立。该点同样也能够适用于参照图6后述的同基于被摄体像之间的图像倍率比MR进行的测距和基于被摄体像之间的平移视差进行的测距之间的测距的误差有关的关系。
根据图5明确可知的是,以表示基于被摄体像之间的图像倍率比MR进行的测距的误差的大小的曲线(实线)与表示基于被摄体像之间的平移视差进行的测距的误差的大小的曲线(虚线)的交点为界,基于被摄体像之间的图像倍率比MR进行的测距和基于被摄体像之间的平移视差进行的测距中的哪一方的精度更高发生变化。因此,表示基于被摄体像之间的图像倍率比MR进行的测距的误差的大小的曲线与表示基于被摄体像之间的平移视差进行的测距的误差的大小的曲线的交点作为用于距离计算部4判别选择第一候选与第二候选中的哪一方来作为到被摄体100的距离a的、与被摄体100的尺寸sz有关的阈值。
此外,在图5中,随着被摄体100的尺寸sz增大,基于被摄体像之间的平移视差进行的测距的误差增大。这并非意味着被摄体像之间的平移视差根据被摄体100的尺寸sz的增大而减少。伴随被摄体100的尺寸sz增大的、基于被摄体像之间的平移视差进行的测距的误差的增大是由于第一光学系统OS1的焦距f1与第二光学系统OS2的焦距f2之差、第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点之间的深度视差D的存在而引起的。例如,在如上述的图5的曲线图的条件那样,第一光学系统OS1的焦距f1与第二光学系统OS2的焦距f2互不相同(f1≠f2)的情况下,当对第一被摄体像和第二被摄体像施加相同像素数的误差(像位置的变动)时,误差对由焦距长的光学系统形成的被摄体像的影响比误差对由焦距短的光学系统形成的被摄体像的影响更大。因此,在图5中,随着被摄体100的尺寸sz增大,基于被摄体像之间的平移视差进行的测距的误差增大。换言之,在第一光学系统OS1与第二光学系统OS2的特性相同并且第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点之间不存在深度视差D的情况下,基于被摄体像之间的平移视差进行的测距的误差不取决于被摄体100的尺寸sz,相对于被摄体100的尺寸sz为固定。
在上述的测距摄像机1的构成条件的情况下,与被摄体100的尺寸sz有关的阈值约为4mm。预先根据测距摄像机1的结构来规定该阈值,并且在测距摄像机1的制造时或出厂时将该阈值以不可重写的方式保存于控制部2的存储器。
在被摄体100的尺寸sz小于上述的阈值的情况下,基于被摄体像之间的平移视差进行的测距的误差的大小比基于被摄体像之间的图像倍率比MR进行的测距的误差的大小更小。另一方面,在被摄体100的尺寸sz超过上述的阈值的情况下,基于被摄体像之间的图像倍率比MR进行的测距的误差的大小比基于被摄体像之间的平移视差进行的测距的误差的大小更小。因而,在被摄体100的尺寸sz小于上述的阈值的情况下,优选选择基于被摄体像之间的平移视差计算出的第二候选来作为到被摄体100的距离a,在被摄体100的尺寸sz超过上述的阈值的情况下,优选选择基于被摄体像之间的图像倍率比MR计算出的第一候选来作为到被摄体100的距离a。
另外,能够将由距离计算部4计算出且被保存于控制部2的存储器的到被摄体100的距离a的第一候选和第二候选视作暂定的到被摄体100的距离a。因此,距离计算部4能够基于根据三角形的相似关系得到的第一被摄体像与被摄体100之间的关系式(被摄体100的尺寸sz:第一被摄体像的尺寸YFD1=到被摄体100的距离a的第一候选或第二候选:从第一光学系统OS1的后侧主点起至第一摄像元件S1的摄像面为止的距离bFD1)来得到基于到被摄体100的距离a的第一候选的被摄体100的尺寸sz的第一暂定值和基于到被摄体100的距离a的第二候选的被摄体100的尺寸sz的第二暂定值。
因而,在设定为距离计算部4将与被摄体100的尺寸sz有关的条件用作前述的规定的条件的情况下,在被摄体100的尺寸sz的第一暂定值和第二暂定值小于上述的阈值的情况下,距离计算部4选择基于被摄体像之间的平移视差计算出的第二候选来作为到被摄体100的距离a,在被摄体100的尺寸sz的第一暂定值和第二暂定值为上述的阈值以上的情况下,距离计算部4选择基于被摄体像之间的图像倍率比MR计算出的第一候选作为到被摄体100的距离a。
在除此以外的情况下,即、被摄体100的尺寸sz的第一暂定值小于上述的阈值且被摄体100的尺寸sz的第二暂定值为上述的阈值以上的情况或被摄体100的尺寸sz的第一暂定值为上述的阈值以上且被摄体100的尺寸sz的第二暂定值小于上述的阈值的情况下,距离计算部4基于与被摄体100的尺寸sz有关的条件无法恰当地判别选择第一候选和第二候选中的哪一方来作为到被摄体100的距离a。在该情况下,优选的是,距离计算部4不使用与被摄体100的尺寸sz有关的条件,使用与到后述的被摄体100的距离a有关的条件来判别选择第一候选和第二候选中的哪一方来作为到被摄体100的距离a。
关于与到被摄体100的距离a有关的条件,图6示出在将被摄体100的尺寸sz设为固定的情况下(在该例中,sz=80mm)相对于到被摄体100的距离a的变化的、基于被摄体像之间的平移视差进行的测距和基于被摄体像之间的图像倍率比进行的测距的误差的大小(绝对值)的变化的一例。此外,图6的曲线是通过以与为了得到上述的图5的曲线图而设定的测距摄像机1的结构条件相同的条件构成测距摄像机1来得到的。
根据图6明确可知的是,以表示基于被摄体像之间的图像倍率比MR进行的测距的误差的大小的曲线(实线)与表示基于被摄体像之间的平移视差进行的测距的误差的大小的曲线(虚线)的交点为界,基于被摄体像之间的图像倍率比MR进行的测距和基于被摄体像之间的平移视差进行的测距中的哪一方的精度更高发生变化。因此,表示基于被摄体像之间的图像倍率比MR进行的测距的误差的大小的曲线与表示基于被摄体像之间的平移视差进行的测距的误差的大小的曲线的交点作为用于距离计算部4判别选择第一候选与第二候选中的哪一方来作为到被摄体100的距离a的、与到被摄体100的距离a有关的阈值。
在上述的测距摄像机1的构成条件的情况下,与到被摄体100的距离a有关的阈值约为550mm。预先根据测距摄像机1的结构来规定该阈值,并且在测距摄像机1的制造时或出厂时将该阈值以不可重写的方式保存于控制部2的存储器。
在到被摄体100的距离a小于上述的阈值的情况下,基于被摄体像之间的图像倍率比MR进行的测距的误差的大小比基于被摄体像之间的平移视差进行的测距的误差的大小更小。另一方面,在到被摄体100的距离a超过上述的阈值的情况下,基于被摄体像之间的平移视差进行的测距的误差的大小比基于被摄体像之间的图像倍率比MR进行的测距的误差的大小更小。因而,在到被摄体100的距离a小于上述的阈值的情况下,优选选择基于被摄体像之间的图像倍率比MR计算出的第一候选来作为到被摄体100的距离a,在到被摄体100的距离a超过上述的阈值的情况下,优选选择基于被摄体像之间的平移视差计算出的第二候选来作为到被摄体100的距离a。
另外,如上述那样,能够将由距离计算部4计算出且被保存于控制部2的存储器的到被摄体100的距离a的第一候选和第二候选视作暂定的到被摄体100的距离a。因此,在设定为距离计算部4将与到被摄体100的距离a有关的条件来用作前述的规定的条件的情况下,距离计算部4基于控制部2的存储器内保存的第一候选和第二候选,选择第一候选和第二候选中的某一方来作为到被摄体100的距离a。
具体地说,在控制部2的存储器内保存的第一候选和第二候选小于上述的阈值的情况下,距离计算部4选择基于被摄体像之间的图像倍率比MR计算出的第一候选来作为到被摄体100的距离a,在控制部2的存储器内保存的第一候选和第二候选为上述的阈值以上的情况下,距离计算部4选择基于被摄体像之间的平移视差计算出的第二候选来作为到被摄体100的距离a。
在除此以外的情况下,即、第一候选小于上述的阈值且第二候选为上述的阈值以上的情况或第一候选为上述的阈值以上且第二候选小于上述的阈值的情况下,距离计算部4基于与到被摄体100的距离a有关的条件无法恰当地判别选择第一候选和第二候选中的哪一方来作为到被摄体100的距离a。在该情况下,优选的是,距离计算部4不使用与到被摄体100的距离a有关的条件,使用与上述的被摄体100的尺寸sz有关的条件来判别选择第一候选和第二候选中的哪一方来作为到被摄体100的距离a。
此外,在距离计算部4不论使用与被摄体100的尺寸sz有关的条件以及与到被摄体100的距离a有关的条件中的哪个条件均无法判别选择第一候选和第二候选中的哪一方来作为到被摄体100的距离a的情况下,距离计算部4在显示部6中显示错误,促使测距摄像机1的使用者变更摄影条件。替代性地,距离计算部4也可以不促使测距摄像机1的使用者变更摄影条件,而是将表示测距失败的代码作为数据进行记录。这样的数据被测距摄像机1的使用者在之后进行检查,并且有效利用于分析在怎样的摄影条件下到被摄体100的距离a的测距会产生不良。
如至此详细进行了叙述的那样,距离计算部4使用与被摄体100的尺寸sz有关的条件或与到被摄体100的距离a有关的条件选择第一候选和第二候选中的某一方来作为到被摄体100的距离a。因此,不论到被摄体100的距离a的大小和被摄体100的尺寸sz如何,本发明的测距摄像机1均能够准确地计算到被摄体100的距离a。
另外,在被摄体100位于近距离处的情况下,距离计算部4选择基于被摄体像之间的图像倍率比MR计算出的第一候选来作为到被摄体100的距离a。因而,在本发明的测距摄像机1中,无需考虑被摄体100位于近距离处的情况下的被摄体像之间的平移视差,因此能够将第一光学系统OS1和第二光学系统OS2相接近地配置。因此,相比于以往的立体摄像机方式的摄像机,能够使本发明的测距摄像机1小型化。
三维图像生成部5具有基于由距离计算部4计算出的到被摄体100的距离a和摄像部S获取到的被摄体100的彩色或黑白的亮度信息(第一被摄体像的图像信号或第二被摄体像的图像信号)来生成被摄体100的三维图像的功能。此处所说的“被摄体100的三维图像”是指将表示通常的被摄体100的彩色或黑白的亮度信息的二维图像的各像素与计算出的到被摄体100的距离a建立了关联的数据。此外,在摄像部S的第一摄像元件S1和第二摄像元件S2为获取被摄体100的相位信息的相位传感器的情况下,可省略三维图像生成部5。
显示部6为液晶显示部等面板型显示部,根据来自控制部2的处理器的信号,在显示部6中以文字或图像的形式显示由摄像部S获取到的被摄体100的彩色或黑白的亮度信息或被摄体100的相位信息(第一被摄体像的图像信号或第二被摄体像的图像信号)、由距离计算部4计算出的到被摄体100的距离a、由三维图像生成部5生成的被摄体100的三维图像、用于操作测距摄像机1的信息等。
操作部7用于测距摄像机1的使用者执行操作。操作部7只要能够使测距摄像机1的使用者执行操作即可,并无特别限定,例如能够将鼠标、键盘、0-9数字键、按钮、拨盘、操作杆、触摸面板等用作操作部7。操作部7将与测距摄像机1的使用者进行的操作相应的信号发送至控制部2的处理器。
通信部8具有用于进行对测距摄像机1的数据输入或从测距摄像机1向外部设备的数据输出的功能。通信部8可以构成为能够与因特网这样的网络连接。在该情况下,测距摄像机1通过使用通信部8,能够与设置于外部的万维网服务器、数据服务器这样的外部设备进行通信。
像这样,本实施方式的测距摄像机1按照规定的条件,选择控制部2的存储器内暂时保存的到被摄体100的距离a的第一候选和第二候选中的某一方来作为到被摄体100的距离a。因此,根据本发明的测距摄像机1,不论到被摄体100的距离a的大小和被摄体100的尺寸sz如何,均能够准确地计算到被摄体100的距离a。
并且,在本发明的测距摄像机1中,无需考虑被摄体100位于近距离处的情况下的被摄体像之间的平移视差,因此能够将第一光学系统OS1和第二光学系统OS2相接近地配置。因此,相比于以往的立体摄像机方式的摄像机而言,能够使本发明的测距摄像机1小型化。
<第二实施方式>
接着,参照图7来详细叙述本发明的第二实施方式所涉及的测距摄像机1。图7是概要性地表示本发明的第二实施方式所涉及的测距摄像机的框图。
下面,以与第一实施方式的测距摄像机1的不同点为中心来说明第二实施方式的测距摄像机1,关于同样的事项省略其说明。本实施方式的测距摄像机1变更了第一光学系统OS1和第二光学系统OS2的结构,除这点以外,与第一实施方式的测距摄像机1相同。
本实施方式的测距摄像机1的特征在于,第一光学系统OS1和第二光学系统OS2构成为满足为了基于图像倍率比MR来计算到被摄体100的距离a的第一候选所要求的上述三个条件中的第二条件,即、从第一光学系统OS1的出射光瞳起至被摄体100处于无限远处的情况下的第一被摄体像的成像位置为止的距离EP1与从第二光学系统OS2的出射光瞳起至被摄体100处于无限远处的情况下的第二被摄体像的成像位置为止的距离EP2互不相同(EP1≠EP2)。另一方面,在本实施方式中,第一光学系统OS1和第二光学系统OS2未构成且配置为满足上述三个条件中的其它两个条件(f1≠f2和D≠0)。并且,本实施方式的测距摄像机1构成为满足图像倍率比MR作为距离a的函数成立这个第四条件。
用于基于图像倍率比MR来计算到被摄体100的距离a的上述通用公式(13)通过f1=f2=f和D=0的条件能被简化,能够用下述式(17)表示。
[数17]
在此,系数K用下述式(18)表示。
[数18]
像这样,在本实施方式的测距摄像机1中,第一光学系统OS1和第二光学系统OS2构成为从第一光学系统OS1的出射光瞳起至被摄体100处于无限远处的情况下的第一被摄体像的成像位置为止的距离EP1与从第二光学系统OS2的出射光瞳起至被摄体100处于无限远处的情况下的第二被摄体像的成像位置为止的距离EP2互不相同(EP1≠EP2),由此,第一被摄体像的倍率m1的相对于到被摄体100的距离a的变化与第二被摄体像的倍率m2的相对于到被摄体100的距离a的变化互不相同。因此,本实施方式的测距摄像机1能够基于第一被摄体像的倍率m1与第二被摄体像的倍率m2的图像倍率比MR(m2/m1)来唯一地计算到被摄体100的距离a的第一候选。
因此,与上述的第一实施方式的测距摄像机1同样地,本实施方式的测距摄像机1能够基于被摄体像之间的图像倍率比MR来计算到被摄体100的距离a的第一候选,并且基于被摄体像之间的平移视差来计算到被摄体100的距离a的第二候选,按照规定的条件选择第一候选和第二候选中的某一方来作为到被摄体100的距离a。因此,通过本实施方式,也能够发挥与上述的第一实施方式相同的效果。
<第三实施方式>
接着,参照图8来详细叙述本发明的第三实施方式所涉及的测距摄像机1。图8是概要性地表示本发明的第三实施方式所涉及的测距摄像机的框图。
下面,以与第一实施方式的测距摄像机1的不同点为中心来说明第三实施方式的测距摄像机1,关于同样的事项省略其说明。本实施方式的测距摄像机1变更了第一光学系统OS1和第二光学系统OS2的结构和配置,除这点以外,与第一实施方式的测距摄像机1相同。
本实施方式的测距摄像机1的特征在于,第一光学系统OS1和第二光学系统OS2构成且配置为满足为了基于图像倍率比MR来计算到被摄体100的距离a的第一候选所要求的上述的三个条件中的第三条件,即、在第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点之间存在深度方向(光轴方向)上的差D(D≠0)。另一方面,在本实施方式中,第一光学系统OS1和第二光学系统OS2未构成为满足上述三个条件中的其它两个条件(f1≠f2和EP1≠EP2)。并且,本实施方式的测距摄像机1构成为满足图像倍率比MR作为距离a的函数成立这个第四条件。
用于基于图像倍率比MR来计算到被摄体100的距离a的上述通用公式(13)通过f1=f2=f和EP1=EP2=EP的条件能被简化,能够用下述式(19)表示。
[数19]
在此,系数K能够用下述式(20)表示。
[数20]
像这样,在本实施方式的测距摄像机1中,构成且配置为在第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点之间存在深度方向(光轴方向)上的差D(D≠0),由此,第一被摄体像的倍率m1的相对于到被摄体100的距离a的变化与第二被摄体像的倍率m2的相对于到被摄体100的距离a的变化互不相同。因此,本实施方式的测距摄像机1能够基于第一被摄体像的倍率m1与第二被摄体像的倍率m2的图像倍率比MR(m2/m1)来唯一地计算到被摄体100的距离a的第一候选。
因此,与上述的第一实施方式的测距摄像机1同样地,本实施方式的测距摄像机1能够基于被摄体像之间的图像倍率比MR来计算到被摄体100的距离a的第一候选,并且基于被摄体像之间的平移视差来计算到被摄体100的距离a的第二候选,按照规定的条件选择第一候选和第二候选中的某一方来作为到被摄体100的距离a。因此,通过本实施方式,也能够发挥与上述的第一实施方式相同的效果。
<第四实施方式>
接着,参照图9来详细叙述本发明的第四实施方式所涉及的测距摄像机1。图9是概要性地表示本发明的第四实施方式所涉及的测距摄像机的框图。
下面,以与第一实施方式至第三实施方式的测距摄像机1的不同点为中心来说明第四实施方式的测距摄像机1,关于同样的事项省略其说明。第四实施方式的测距摄像机1除以下各点以外与第一实施方式的测距摄像机1相同:摄像部S仅由第二摄像元件S2构成;第一光学系统OS1和第二光学系统OS2设置于同一壳体内;在形成第一被摄体像的光的光路上设置有限制形成第一被摄体像的光的波长的第一波长选择元件WS1;在形成第二被摄体像的光的光路上设置有限制形成第二被摄体像的光的波长的第二波长选择元件WS2;以及第二摄像元件S2被限定为彩色摄像元件。
在本实施方式中,第一光学系统OS1和第二光学系统OS2构成为满足为了基于图像倍率比MR来计算到被摄体100的距离a的第一候选所要求的上述第一条件至第三条件中的至少一个条件、以及图像倍率比MR作为距离a的函数成立这个第四条件。即,本实施方式的第一光学系统OS1和第二光学系统OS2与上述的第一实施方式至第三实施方式的第一光学系统OS1和第二光学系统OS2中的某一方或它们的组合同样地构成。
另外,如图9所示,在本实施方式中,第一光学系统OS1和第二光学系统OS2配置于同一壳体内。另外,在由第一光学系统OS1进行聚光来形成第一被摄体像的光的光路上设置有第一波长选择元件WS1。并且,在由第二光学系统OS2进行聚光来形成第二被摄体像的光的光路上设置有第二波长选择元件WS2。
在本实施方式中,第一波长选择元件WS1为波长选择板型镜,具有仅选择性地反射特定的波长范围的光的功能。第二波长选择元件WS2为波长选择棱镜型镜,具有限制从棱镜的一侧入射的光的波长范围且仅选择性地使进行被限制后的波长范围的光通过的功能、以及将从棱镜的另一侧入射的光反射的功能。第一波长选择元件WS1和第二波长选择元件WS2构成为通过第一波长选择元件WS1被限制后的光的波长范围不同于通过第二波长选择元件WS2被限制后的光的波长范围。
由第一光学系统OS1进行聚光后的来自被摄体100的光被第一波长选择元件WS1(波长选择板型镜)反射。此时,由第一光学系统OS1进行聚光后的光的波长范围被第一波长选择元件WS1限制。之后,被第一波长选择元件WS1反射后的光被第二波长选择元件WS2(波长选择棱镜型镜)反射后到达第二摄像元件S2的摄像面。由此,第一被摄体像形成于第二摄像元件S2的摄像面上。此外,第二波长选择元件WS2可以构成为在形成第一被摄体像的光被第二波长选择元件WS2反射时进一步限制形成第一被摄体像的光的波长范围,也可以构成为不限制该光的波长范围。
另一方面,由第二光学系统OS2进行聚光后的来自被摄体100的光通过第二波长选择元件WS2(波长选择棱镜型镜)。此时,由第二光学系统OS2进行聚光后的光的波长范围被第二波长选择元件WS2限制。之后,通过第二波长选择元件WS2后的光到达第二摄像元件S2的摄像面。由此,第二被摄体像形成于第二摄像元件S2的摄像面上。
因而,在本实施方式中,由第一光学系统OS1形成的第一被摄体像和由第二光学系统OS2形成的第二被摄体像这两方形成于第二摄像元件S2的摄像面上。并且,如上述那样,通过第一波长选择元件WS1被限制后的光的波长范围不同于通过第二波长选择元件WS2被限制后的光的波长范围,因此形成第一被摄体像的光的波长范围与形成第二被摄体像的光的波长范围互不相同。
在本实施方式中,第二摄像元件S2为具有如按拜尔阵列这样的任意的图案排列的RGB原色系滤色器、CMY补色系滤色器这样的滤色器的彩色摄像元件。通过第一波长选择元件WS1被限制后的光的波长范围与第二摄像元件S2具有的多个滤色器中的任一个滤色器对应,通过第二波长选择元件WS2被限制后的光的波长范围与第二摄像元件S2具有的多个滤色器中的不同的一个滤色器对应。
由此,由第二摄像元件S2获取的与各滤色器对应的图像信号(例如红色图像信号、绿色图像信号以及蓝色图像信号)中的任一个图像信号同第一被摄体像的图像信号对应,另一个不同的图像信号与第二被摄体像的图像信号对应。因此,第二摄像元件S2能够将第一被摄体像的图像信号和第二被摄体像的图像信号分离并同时地获取。
例如,在通过第一波长选择元件WS1被限制后的光的波长范围与第二摄像元件S2具有的多个滤色器的红滤色器的透过波长范围对应的情况下,由第二摄像元件S2获取的红色图像信号为第一被摄体像的图像信号。另一方面,在通过第二波长选择元件WS2被限制后的光的波长范围与第二摄像元件S2所具有的多个滤色器的绿滤色器的透过波长范围对应的情况下,由第二摄像元件S2获取的绿色图像信号为第二被摄体像的图像信号。
通过这样的方式,能够通过拍摄由第一光学系统OS1形成的第一被摄体像和由第二光学系统OS2形成的第二被摄体像这两方的单一的彩色摄像元件(第二摄像元件S2)来构成摄像部S。因此,能够实现测距摄像机1的小型化和低成本化。
此外,在本实施方式中,将波长选择板型镜用作第一波长选择元件WS1,并且将波长选择棱镜型镜用作第二波长选择元件WS2,但本发明不限于此。第一波长选择元件WS1和第二波长选择元件WS2只要能够分别限制形成第一被摄体像的光的波长范围和形成第二被摄体像的光的波长范围即可,可以为任何方式。例如,可以将设置于第一光学系统OS1的前侧或后侧的波长选择滤波器或具有波长选择功能的任意的光学部件用作第一波长选择元件WS1,并且将设置于第二光学系统OS2的前侧或后侧的波长选择滤波器或具有波长选择功能的任意的光学部件用作第二波长选择元件WS2。在该情况下,在配置有本实施方式的第一波长选择元件WS1的部位配置通常的镜,在配置有第二波长选择元件WS2的部位配置通常的棱镜型镜。
另外,在本实施方式中,设为使用第一波长选择元件WS1和第二波长选择元件WS2,单一的摄像元件(第二摄像元件S2)拍摄由第一光学系统OS1形成的第一被摄体像和由第二光学系统OS2形成的第二被摄体像这两方,但本发明不限于此。例如,如下的方式也在本发明的范围内:在第一光学系统OS1和第二光学系统OS2的各光学系统的前侧设置快门,使设置于第一光学系统OS1的前方的快门和设置于第二光学系统OS2的前方的快门交替地打开,由此单一的摄像元件(第二摄像元件S2)单独地拍摄第一被摄体像和第二被摄体像这两方。在该情况下,摄像元件S(第二摄像元件S2)可以为相位传感器。
如至此参照各实施方式详细叙述的那样,本发明的测距摄像机1按照规定的条件选择控制部2的存储器内暂时保存的到被摄体100的距离a的第一候选和第二候选中的某一方来作为到被摄体100的距离a。因此,根据本发明的测距摄像机1,不论到被摄体100的距离a的大小和被摄体100的尺寸sz如何,均能够准确地计算到被摄体100的距离a。
另外,在上述各实施方式中,使用第一光学系统OS1和第二光学系统OS2这两个光学系统,但使用的光学系统的数量不限于此。例如,除了第一光学系统OS1和第二光学系统OS2以外还具备追加的光学系统这样的方式也在本发明的范围内。在该情况下,追加的光学系统构成且配置为,由追加的光学系统形成的被摄体像的倍率的相对于到被摄体100的距离的变化不同于第一被摄体像的倍率m1的相对于到被摄体的距离a的变化以及第二被摄体像的倍率m2的相对于到被摄体的距离a的变化。并且,追加的光学系统配置成相对于第一光学系统OS1和第二光学系统OS2在与第一光学系统OS1或第二光学系统OS2的光轴方向垂直的方向上偏离,以使由追加的光学系统形成的被摄体像与第一被摄体像和第二被摄体像之间存在平移视差,。
此外,在上述的第一实施方式~第三实施方式中,第一光学系统OS1和第二光学系统OS2构成且配置为满足为了基于图像倍率比MR来计算到被摄体100的距离a的第一候选所要求的上述的三个条件中的某个条件,但只要第一光学系统OS1和第二光学系统OS2构成且配置为满足上述的三个条件中的至少一个条件即可,本发明不限于此。例如,第一光学系统OS1和第二光学系统OS2构成且配置为满足上述的三个条件中的全部条件或任意条件的组合的方式也在本发明的范围内。
<测距方法>
接着,参照图10来说明通过本发明的测距摄像机1执行的测距方法。图10是用于说明通过本发明的测距摄像机执行的测距方法的流程图。此外,下面详细叙述的测距方法能够使用上述的本发明的第一实施方式~第四实施方式所涉及的测距摄像机1以及具有与测距摄像机1同等功能的任意装置来执行,但设为使用第一实施方式所涉及的测距摄像机1执行该测距方法来进行说明。
测距摄像机1的使用者使用操作部7来执行用于测定到被摄体100的距离a的操作,由此使图10所示的测距方法S100开始。在工序S101中,通过摄像部S的第一摄像元件S1来拍摄由第一光学系统OS1形成的第一被摄体像,并获取第一被摄体像的图像信号。经由数据总线9将第一被摄体像的图像信号传送至控制部2、距离计算部4。在工序S102中,距离计算部4根据接收到的第一被摄体像的图像信号来计算第一被摄体像的尺寸(像高或像宽)YFD1。
另一方面,在工序S103中,通过摄像部S的第二摄像元件S2来拍摄由第二光学系统OS2形成的第二被摄体像,并获取第二被摄体像的图像信号。经由数据总线9将第二被摄体像的图像信号传送至控制部2、距离计算部4。在工序S104中,距离计算部4根据接收到的第二被摄体像的图像信号来计算第二被摄体像的尺寸(像高或像宽)YFD2。
此外,工序S101及工序S102中的第一被摄体像的图像信号的获取及第一被摄体像的尺寸YFD1的计算与工序S103及工序S104中的第二被摄体像的图像信号的获取及第二被摄体像的尺寸YFD2的计算可以同时执行,也可以分开执行。
当计算第一被摄体像的尺寸YFD1和第二被摄体像的尺寸YFD2这两方时,处理转到工序S105。在工序S105中,距离计算部4根据第一被摄体像的尺寸YFD1和第二被摄体像的尺寸YFD2,基于上述式(14)MR=YFD2/YFD1来计算第一被摄体像的倍率m1与第二被摄体像的倍率m2的图像倍率比MR。
接着,在工序S106中,距离计算部4参照关联信息存储部3中保存的关联信息,基于计算出的图像倍率比MR来计算到被摄体100的距离a的第一候选。将计算出的到被摄体100的距离a的第一候选暂时保存于控制部2的存储器。
另一方面,在工序S107和S108中,距离计算部4与到上述的被摄体100的距离a的第一候选的计算同时或分开地计算到被摄体100的距离a的第二候选。在进行工序S101中的第一被摄体像的摄影和工序S103中的第二被摄体像的摄影后,距离计算部4在工序S107中检测第一被摄体像的图像信号中的第一被摄体像的任意的特征点的位置,并且检测第二被摄体像的图像信号中的与第一被摄体像的任意的特征点对应的第二被摄体像的特征点。第一光学系统OS1与第二光学系统OS2之间的几何相对关系是已知的,因此距离计算部4根据第一被摄体像的图像信号中的第一被摄体像的特征点的二维坐标和第二被摄体像的图像信号中的第二被摄体像的对应的特征点的二维坐标之差,来计算第一被摄体像与第二被摄体像之间的平移视差。
之后,在工序S108中,距离计算部4基于计算出的第一被摄体像与第二被摄体像之间的平移视差,来计算到被摄体100的距离a的第二候选。将计算出的到被摄体100的距离a的第二候选暂时保存于控制部2的存储器。
当工序S106中的到被摄体100的距离a的第一候选的计算和工序S108中的到被摄体100的距离a的第二候选的计算这两方结束时,处理转到工序S109。在工序S109中,距离计算部4按照规定的条件选择第一候选和第二候选中的某一方来作为到被摄体100的距离a。
更具体的说,距离计算部4使用与被摄体100的尺寸sz有关的条件或与到被摄体100的距离a有关的条件选择第一候选和第二候选中的某一方来作为到被摄体100的距离a。
在设定为距离计算部4将与被摄体100的尺寸sz有关的条件用作规定的条件的情况下,距离计算部4基于根据上述的三角形的相似关系得到的第一被摄体像与被摄体100之间的关系式,来计算基于到被摄体100的距离a的第一候选获取到的被摄体100的尺寸sz的第一暂定值和基于到被摄体100的距离a的第二候选获取到的被摄体100的尺寸sz的第二暂定值。之后,距离计算部4基于被摄体100的尺寸sz的第一暂定值和第二暂定值,来判别选择第一候选和第二候选中的哪一方作为到被摄体100的距离a。
具体地说,在被摄体100的尺寸sz的第一暂定值和第二暂定值小于控制部2的存储器内保存的与被摄体100的尺寸sz有关的规定的阈值的情况下,距离计算部4选择基于被摄体像之间的平移视差计算出的第二候选来作为到被摄体100的距离a,在被摄体100的尺寸sz的第一暂定值和第二暂定值为控制部2的存储器内保存的与被摄体100的尺寸sz有关的规定的阈值以上的情况下,距离计算部4选择基于被摄体像之间的图像倍率比MR计算出的第一候选来作为到被摄体100的距离a。
在除此以外的情况下,即、被摄体100的尺寸sz的第一暂定值小于上述的阈值且被摄体100的尺寸sz的第二暂定值为上述的阈值以上的情况或被摄体100的尺寸sz的第一暂定值为上述的阈值以上且被摄体100的尺寸sz的第二暂定值小于上述的阈值的情况下,距离计算部4基于与被摄体100的尺寸sz有关的条件无法恰当地判别选择第一候选和第二候选中的哪一方来作为到被摄体100的距离a。在该情况下,距离计算部4不使用与被摄体100的尺寸sz有关的条件,使用与到被摄体100的距离a有关的条件来判别选择第一候选和第二候选中的哪一方来作为到被摄体100的距离a。此外,预先根据测距摄像机1的结构来规定与被摄体100的尺寸sz有关的规定的阈值,并且在测距摄像机1的制造时或出厂时将该阈值以不可重写的方式保存于控制部2的存储器。
另一方面,在设定为距离计算部4将与到被摄体100的距离a有关的条件用作前述的规定的条件的情况下,距离计算部4基于控制部2的存储器内保存的第一候选和第二候选选择第一候选和第二候选中的某一方来作为到被摄体100的距离a。
具体地说,在控制部2的存储器内保存的第一候选和第二候选小于控制部2的存储器内保存的与到被摄体100的距离a有关的阈值的情况下,距离计算部4选择基于被摄体像之间的图像倍率比MR计算出的第一候选来作为到被摄体100的距离a,在控制部2的存储器内保存的第一候选和第二候选为控制部2的存储器内保存的与到被摄体100的距离a有关的阈值以上的情况下,距离计算部4选择基于被摄体像之间的平移视差计算出的第二候选来作为到被摄体100的距离a。
在除此以外的情况下,即、第一候选小于控制部2的存储器内保存的与到被摄体100的距离a有关的阈值且第二候选为控制部2的存储器内保存的与到被摄体100的距离a有关的阈值以上的情况下、或第一候选为控制部2的存储器内保存的与到被摄体100的距离a有关的阈值以上且第二候选小于控制部2的存储器内保存的与到被摄体100的距离a有关的阈值的情况下,距离计算部4基于与到被摄体100的距离a有关的条件无法恰当地判别选择第一候选和第二候选中的哪一方来作为到被摄体100的距离a。在该情况下,距离计算部4不使用与到被摄体100的距离a有关的条件,使用与上述的被摄体100的尺寸sz有关的条件来判别选择第一候选和第二候选中的哪一方来作为到被摄体100的距离a。此外,预先根据测距摄像机1的结构来规定与到被摄体100的距离a有关的阈值,并且在测距摄像机1的制造时或出厂时将该阈值以不可重写的方式保存于控制部2的存储器。
此外,在距离计算部4无论使用与被摄体100的尺寸sz有关的条件以及与到被摄体100的距离a有关的条件中的哪一个条件均无法判别选择第一候选和第二候选中的哪一方来作为到被摄体100的距离的情况下,距离计算部4在显示部6中显示错误,促使测距摄像机1的使用者变更摄影条件。替代性地,距离计算部4也可以不促使测距摄像机1的使用者变更摄影条件,而是将表示测距失败的代码作为数据进行记录。像这样,在无论使用与被摄体100的尺寸sz有关的条件和与到被摄体100的距离a有关的条件中的哪个条件均无法判别选择第一候选和第二候选中的哪一方来作为到被摄体100的距离a的情况下,测距方法S100结束。
在工序S109中,当距离计算部4选择第一候选和第二候选中的某一方来作为到被摄体100的距离a时,处理转到工序S110。在工序S110中,三维图像生成部5基于由距离计算部4计算出的到被摄体100的距离a和摄像部S获取到的被摄体100的彩色或黑白的亮度信息(第一被摄体像的图像信号或第二被摄体像的图像信号),来生成被摄体100的三维图像。此外,在摄像部S的第一摄像元件S1和第二摄像元件S2为获取被摄体100的相位信息的相位传感器的情况下,省略工序S110。
之后,将在至此为止的工序中获取到的被摄体的彩色或黑白的亮度信息或相位信息、到被摄体100的距离a以及/或者被摄体100的三维图像显示在显示部6中或通过通信部8发送至外部设备,测距方法S100结束。
以上基于图示的实施方式说明了本发明的测距摄像机,但本发明并不限定于此。本发明的各结构能够置换为能够发挥同样的功能的任意结构,或者能够对本发明的各结构追加任意结构。
本发明所属的技术领域中的本领域技术人员在不脱离本发明的原理、构思以及范围的情况下能够对所记述的本发明的测距摄像机的结构执行变更,具有变更后的结构的测距摄像机也在本发明的范围内。例如,任意地组合第一实施方式至第四实施方式的测距摄像机得到的方式也在本发明的范围内。
另外,图4和图7~图9所示的测距摄像机1的组件的数量、种类只是用来进行说明的例示,本发明不一定限定于此。在不脱离本发明的原理和意图的范围内追加或组合了任意的组件、或者删除了任意的组件的方式也在本发明的范围内。另外,测距摄像机的各组件可以通过硬件来实现,也可以通过软件来实现,还可以通过它们的组合来实现。
另外,图10所示的测距方法S100的工序的数量、种类只是用来进行说明的例示,本发明不一定限定于此。在不脱离本发明的原理和意图的范围内以任意目的追加或组合了任意的工序、或者删除了任意的工序的方式也在本发明的范围内。
产业上的可利用性
在本发明的测距摄像机中,按照规定的条件来选择基于被摄体像之间的图像倍率比计算出的第一候选和基于被摄体像之间的平移视差计算出的第二候选中的某一方来作为到被摄体的距离。因此,根据本发明的测距摄像机,不论到被摄体的距离和被摄体的尺寸如何,均能够准确地计算到被摄体的距离。
另外,本发明的测距摄像机在被摄体位于近距离处的情况下,选择基于被摄体像之间的图像倍率比计算出的第一候选来作为到被摄体的距离,因此在计算到位于近距离处的被摄体的距离时不使用被摄体像之间的平移视差。因而,在本发明的测距摄像机中,无需考虑被摄体位于近距离处的情况下的被摄体像之间的平移视差,因此能够将第一光学系统和第二光学系统相接近地配置。因此,相比于以往的立体摄像机方式的摄像机而言,能够使本发明的测距摄像机小型化。因而,本发明具有产业上的利用可能性。
Claims (7)
1.一种测距摄像机,其特征在于,具备:
第一光学系统,其用于将来自被摄体的光进行聚光来形成第一被摄体像;
第二光学系统,其配置成相对于所述第一光学系统在与所述第一光学系统的光轴方向垂直的方向上偏离,用于将来自所述被摄体的所述光进行聚光来形成第二被摄体像;
摄像部,其用于拍摄由所述第一光学系统形成的所述第一被摄体像和由所述第二光学系统形成的所述第二被摄体像;以及
距离计算部,其用于基于由所述摄像部拍摄到的所述第一被摄体像的倍率与所述第二被摄体像的倍率的图像倍率比来计算到所述被摄体的距离的第一候选,并且基于所述第一被摄体像与所述第二被摄体像之间的平移视差来计算到所述被摄体的所述距离的第二候选,
其中,所述距离计算部按照规定的条件选择所述第一候选和所述第二候选中的某一方来作为到所述被摄体的所述距离,
所述距离计算部在所述被摄体的尺寸小于规定的阈值的情况下,选择基于所述平移视差计算出的所述第二候选来作为到所述被摄体的所述距离,在所述被摄体的所述尺寸为所述规定的阈值以上的情况下,选择基于所述图像倍率比计算出的所述第一候选来作为到所述被摄体的所述距离。
2.根据权利要求1所述的测距摄像机,其特征在于,
所述第一光学系统和所述第二光学系统构成为:所述第一被摄体像的所述倍率根据到所述被摄体的所述距离发生的变化不同于所述第二被摄体像的所述倍率根据到所述被摄体的所述距离发生的变化。
3.根据权利要求2所述的测距摄像机,其特征在于,
所述第一光学系统和所述第二光学系统构成为所述第一光学系统的焦距与所述第二光学系统的焦距互不相同,由此,所述第一被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化不同于所述第二被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化。
4.根据权利要求2所述的测距摄像机,其特征在于,
所述第一光学系统和所述第二光学系统构成为从所述第一光学系统的出射光瞳起至在所述被摄体存在于无限远处的情况下由所述第一光学系统形成的所述第一被摄体像的成像位置为止的距离不同于从所述第二光学系统的出射光瞳起至在所述被摄体存在于无限远处的情况下由所述第二光学系统形成的所述第二被摄体像的成像位置为止的距离,由此,所述第一被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化不同于所述第二被摄体像的所述倍率根据到所述被摄体的所述距离发生的所述变化。
5.根据权利要求2所述的测距摄像机,其特征在于,
在所述第一光学系统的前侧主点与所述第二光学系统的前侧主点之间存在所述第一光学系统的所述光轴方向上的深度视差,由此,所述第一被摄体像的所述倍率根据到所述被摄体的所述距离发生的变化不同于所述第二被摄体像的所述倍率根据到所述被摄体的所述距离发生的变化。
6.根据权利要求1所述的测距摄像机,其特征在于,
所述摄像部包括用于拍摄所述第一被摄体像的第一摄像元件和用于拍摄所述第二被摄体像的第二摄像元件。
7.一种测距摄像机,其特征在于,具备:
第一光学系统,其用于将来自被摄体的光进行聚光来形成第一被摄体像;
第二光学系统,其配置成相对于所述第一光学系统在与所述第一光学系统的光轴方向垂直的方向上偏离,用于将来自所述被摄体的所述光进行聚光来形成第二被摄体像;
摄像部,其用于拍摄由所述第一光学系统形成的所述第一被摄体像和由所述第二光学系统形成的所述第二被摄体像;以及
距离计算部,其用于基于由所述摄像部拍摄到的所述第一被摄体像的倍率与所述第二被摄体像的倍率的图像倍率比来计算到所述被摄体的距离的第一候选,并且基于所述第一被摄体像与所述第二被摄体像之间的平移视差来计算到所述被摄体的所述距离的第二候选,
其中,所述距离计算部按照规定的条件选择所述第一候选和所述第二候选中的某一方来作为到所述被摄体的所述距离,
所述距离计算部在所述第一候选和所述第二候选小于规定的阈值的情况下,选择基于所述图像倍率比计算出的所述第一候选来作为到所述被摄体的所述距离,在所述第一候选和所述第二候选为所述规定的阈值以上的情况下,选择基于所述平移视差计算出的所述第二候选来作为到所述被摄体的所述距离。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018129387A JP7121269B2 (ja) | 2018-07-06 | 2018-07-06 | 測距カメラ |
JP2018-129387 | 2018-07-06 | ||
PCT/JP2019/023487 WO2020008832A1 (ja) | 2018-07-06 | 2019-06-13 | 測距カメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112368544A CN112368544A (zh) | 2021-02-12 |
CN112368544B true CN112368544B (zh) | 2022-11-04 |
Family
ID=69060048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980042012.1A Active CN112368544B (zh) | 2018-07-06 | 2019-06-13 | 测距摄像机 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11410321B2 (zh) |
EP (1) | EP3819588A4 (zh) |
JP (1) | JP7121269B2 (zh) |
CN (1) | CN112368544B (zh) |
WO (1) | WO2020008832A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7104301B2 (ja) * | 2018-03-19 | 2022-07-21 | ミツミ電機株式会社 | 測距カメラ |
TWI728696B (zh) * | 2020-02-13 | 2021-05-21 | 日商泰克霍隆公司 | 距離測定裝置 |
US11968353B2 (en) * | 2021-04-05 | 2024-04-23 | Acumera, Inc. | Camera health determination based on local analysis of scene information content |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03200007A (ja) * | 1989-12-28 | 1991-09-02 | Nippon Telegr & Teleph Corp <Ntt> | ステレオ計測装置 |
RU2095756C1 (ru) * | 1992-04-16 | 1997-11-10 | Сергей Александрович Елманов | Способ определения расстояния до объекта при помощи оптического прибора |
JP3200007B2 (ja) | 1996-03-26 | 2001-08-20 | シャープ株式会社 | 光結合器及びその製造方法 |
JP2001141422A (ja) | 1999-11-10 | 2001-05-25 | Fuji Photo Film Co Ltd | 画像撮像装置及び画像処理装置 |
RU2340872C1 (ru) | 2007-05-02 | 2008-12-10 | Институт мониторинга климатических и экологических систем | Моностатический способ определения расстояния до объекта, его направления и скорости движения |
JP5489897B2 (ja) * | 2010-07-22 | 2014-05-14 | パナソニック株式会社 | ステレオ測距装置及びステレオ測距方法 |
JP2015005200A (ja) * | 2013-06-21 | 2015-01-08 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体 |
JP6306735B2 (ja) | 2014-10-24 | 2018-04-04 | 京セラ株式会社 | ステレオカメラ装置及びステレオカメラ装置を備える車両 |
EP3508814B1 (en) | 2016-09-01 | 2023-08-23 | Sony Semiconductor Solutions Corporation | Imaging device |
JP7104294B2 (ja) * | 2017-12-18 | 2022-07-21 | ミツミ電機株式会社 | 測距カメラ |
JP7157303B2 (ja) * | 2018-02-01 | 2022-10-20 | ミツミ電機株式会社 | 認証装置 |
US11341668B2 (en) * | 2018-07-18 | 2022-05-24 | Mitsumi Electric Co., Ltd. | Distance measuring camera |
JP7132501B2 (ja) * | 2018-11-01 | 2022-09-07 | ミツミ電機株式会社 | 測距カメラ |
-
2018
- 2018-07-06 JP JP2018129387A patent/JP7121269B2/ja active Active
-
2019
- 2019-06-13 CN CN201980042012.1A patent/CN112368544B/zh active Active
- 2019-06-13 WO PCT/JP2019/023487 patent/WO2020008832A1/ja unknown
- 2019-06-13 EP EP19831107.8A patent/EP3819588A4/en not_active Withdrawn
- 2019-06-13 US US17/258,131 patent/US11410321B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11410321B2 (en) | 2022-08-09 |
JP7121269B2 (ja) | 2022-08-18 |
EP3819588A4 (en) | 2021-11-24 |
CN112368544A (zh) | 2021-02-12 |
EP3819588A1 (en) | 2021-05-12 |
US20210279901A1 (en) | 2021-09-09 |
JP2020008415A (ja) | 2020-01-16 |
WO2020008832A1 (ja) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4852591B2 (ja) | 立体画像処理装置、方法及び記録媒体並びに立体撮像装置 | |
US9076214B2 (en) | Image acquisition apparatus and image processing apparatus using selected in-focus image data | |
US8648961B2 (en) | Image capturing apparatus and image capturing method | |
CN112368544B (zh) | 测距摄像机 | |
JP7104294B2 (ja) | 測距カメラ | |
JP4894939B2 (ja) | 撮像装置、表示方法、および、プログラム | |
CN110998228A (zh) | 测距照相机 | |
JP7288226B2 (ja) | 測距カメラ | |
CN111868474B (zh) | 测距摄像机 | |
US9756304B2 (en) | Image-acquisition apparatus for performing distance measurement using parallax | |
CN112585423B (zh) | 测距摄像机 | |
JP2019168479A (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
WO2020017377A1 (ja) | 測距カメラ | |
US11924542B2 (en) | Accuracy estimation apparatus, image capturing apparatus, accuracy estimation method, control method, and storage medium | |
JP6648916B2 (ja) | 撮像装置 | |
JP2014194502A (ja) | 撮像装置および撮像システム | |
CN113424020B (zh) | 测距摄像机 | |
CN112424566B (zh) | 测距摄像机 | |
JP6257201B2 (ja) | 焦点検出装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP2022128516A (ja) | 測距カメラ | |
JP2012022716A (ja) | 立体画像処理装置、方法及びプログラム並びに立体撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |