CN104395692B - 三维测定方法、装置、系统以及图像处理装置 - Google Patents

三维测定方法、装置、系统以及图像处理装置 Download PDF

Info

Publication number
CN104395692B
CN104395692B CN201380034951.4A CN201380034951A CN104395692B CN 104395692 B CN104395692 B CN 104395692B CN 201380034951 A CN201380034951 A CN 201380034951A CN 104395692 B CN104395692 B CN 104395692B
Authority
CN
China
Prior art keywords
image pickup
translation
camera positions
image
pickup part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380034951.4A
Other languages
English (en)
Other versions
CN104395692A (zh
Inventor
增田智纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104395692A publication Critical patent/CN104395692A/zh
Application granted granted Critical
Publication of CN104395692B publication Critical patent/CN104395692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

本发明提供三维测定装置、图像处理装置、三维测定系统以及三维测定方法，容易并且高精度地进行三维测定。三维测定装置具备：基线长BL的第一摄像部以及第二摄像部、特征点检测部以及对应点检测部、算出表示两个摄影位置A、B的旋转以及平移方向的矩阵的旋转矩阵计算部以及平移矩阵计算部、核线计算部、评价部、三维数据计算部。核线计算部基于旋转矩阵以及平移矩阵、作为假设值的假想平移距离，在预定图像上算出应该通过预定的特征点的核线。评价部对边改变假想平移距离边算出的多个核线是否分别通过对应点进行评价。三维数据计算部利用为了算出评价为通过预定的特征点的核线而假设的假想平移距离，算出被摄体的三维数据。

Description

三维测定方法、装置、系统以及图像处理装置
技术领域
本发明涉及用于根据拍摄出的图像求出被摄体的三维数据的三维测定方法、装置、系统以及图像处理装置。
背景技术
已知有基于从2个地点拍摄被摄体而得到的2个图像，算出被摄体的三维数据(例如，尺寸)的三维测定装置。三维测定装置由例如左右隔开预定间隔(以下，称为基线长)而配置的2个相机以及根据通过这两个相机得到的有视差的图像算出三维数据的处理装置等构成。
三维测定所需的2个图像是拍摄相同的被摄体、并且彼此具有视差的图像即可，所以也可以采用例如通过具有2个摄影镜头的立体相机获得的图像。但是，由于三维测定装置的三维数据的测定精度依赖于被摄体的尺寸与基线长的长度的关系，所以在测定的被摄体的尺寸相对于立体相机的基线长较大的情况下，能够得到大体的三维数据但误差较大，有时无法得到可靠的值。因此，在高精度地测定建筑物等尺寸比较大的被摄体的三维数据的情况下，需要增大基线长。例如，专利文献1的三维测定装置通过在汽车上安装2台相机，从而作为整体形成巨大的立体相机。
另外，为了高精度地进行三维测定，需要准确地知道基线长。在普通的立体相机中，在制造时预先高精度地进行对位以使基线长为预定长度。但是，如专利文献1那样，在采用2台相机形成巨大的立体相机的情况下，准确地使基线长与预定值一致、准确地测定基线长都不容易。因此，专利文献1公开了用于准确地测定基线长的校准的方法。另外，专利文献2中也记载有用于准确地测定基线长的校准方法。
此外，近年来，也已知有一种能够利用基线长较短的立体相机从2个摄影位置拍摄被摄体，并使用在各摄影位置得到的图像高精度地测定三维数据的三维测定装置。但是，专利文献3的三维测定装置为了知道2个摄影位置间的距离，而对形状、尺寸等已知的基准被摄体与测定三维数据的被摄体一起进行摄影。若将移动前后的立体相机的整体作为巨大的1个立体相机，则2个摄影位置间的距离相当于该巨大的立体相机的基线长。因此，专利文献3的三维测定装置也将基线长为已知这一情况作为前提，与专利文献1、2的三维测定装置相同。
专利文献
专利文献1:日本特开2007－263669号公报
专利文献2:日本特开2005－241323号公报
专利文献3:日本特开2011－232330号公报
发明内容
发明所要解决的课题
在使用2个相机形成基线长(相机间距离)较长的巨大的立体相机而进行三维测定的情况下，如专利文献1、2所公开那样，必须预先高精度地求出基线长，如果为了将被摄体较好地收纳在摄影范围内而变更各相机的再配置，则当然必须再次进行复杂的校准。例如，如专利文献1那样，当将2个相机安装在汽车上时，为了利用2个相机较好地捕捉被摄体，必须改变汽车的朝向，但是在必须从道路宽度狭窄的道路进行摄影的情况下、或者在必须在车辆禁止进入的场所进行摄影的情况下等，不得不改变相机的配置。
也可以考虑不将基线长较长的巨大的立体相机安装在汽车上而进行搬运，但由于巨大而不切实际。另外，分别对2个相机进行搬运而不进行校准地以使基线长为预定值的方式进行再配置是基本不可能的。如此，在采用基线长较长的巨大的立体相机的情况下，必须重新进行校准的情形较多，不方便。
另外，在采用正常尺寸的基线长较短的立体相机进行三维测定的情况下，能够如专利文献3那样携带基准被摄体，并配置在适当的位置而对被摄体进行摄影，但是不方便。例如，必须设法改良基准被摄体的配置，以避免妨碍被摄体的三维测定，而且在想知道处于较高的位置的被摄体的尺寸等的情况下等，在无法较好地将基准被摄体与被摄体一起配置在摄影范围内的情况下，有时也无法进行三维测定。用于无论摄影时的状况如何总能够高精度地算出巨大的立体相机的基线长的基准被摄体的形状、材质等的选择也不容易。
如此，在以往的装置中，由于需要校准，所以操作麻烦，另外在省略校准、或者不准确地测定出基线长的情况下，无法进行高精度的三维测定。
本发明的目的是提供操作容易并且能够进行高精度的三维测定的三维测定方法、装置以及系统。
用于解决课题的手段
本发明的三维测定装置具备第一摄像部、第二摄像部、对应点检测部、旋转矩阵计算部、平移矩阵计算部、核线计算部、评价部、三维数据计算部。第二摄像部相对于第一摄像部隔开预定的基线长而配置，对包含第一摄像部拍摄的被摄体的至少一部分在内的范围进行摄像。特征点检测部从在第一摄影位置由第一摄像部以及第二摄像部对被摄体进行摄像而获得的两张图像中的至少任一张图像检测多个特征点。对应点检测部对于在与第一摄影位置不同的第二摄影位置由第一摄像部以及第二摄像部对被摄体进行摄像而获得的两张图像中的至少任一张图像检测与特征点对应的对应点。旋转矩阵计算部算出表示以第一摄影位置的第一摄像部或者第二摄像部为基准的、第二摄影位置的第一摄像部或者第二摄像部的旋转角以及旋转方向的旋转矩阵。平移矩阵计算部算出表示以第一摄影位置的第一摄像部或者第二摄像部为基准的、第二摄影位置的第一摄像部或者第二摄像部的平移移动方向的平移矩阵。核线计算部基于由第一旋转矩阵、第一平移矩阵以及第一假想平移距离而确定的第一摄影位置以及第二摄影位置的各摄像部的相对位置关系，算出将从第一摄影位置的摄像部朝向预定的特征点的视线方向投影到在第二摄影位置得到的图像上的核线，第一旋转矩阵在旋转矩阵计算部中基于特征点以及对应点而算出，第一平移矩阵在平移矩阵计算部中基于特征点以及对应点而算出，第一假想平移距离是任意地假设对检测出特征点的图像与检测出对应点的图像进行了摄像的各摄像部间的距离而得到的。评价部对边改变第一假想平移距离边算出的多个核线是否分别通过与特征点对应的对应点进行评价。三维数据计算部利用为了算出通过预定的特征点的核线而假设的第一假想平移距离，算出被摄体的三维数据。
优选为，核线计算部基于表示对算出核线的图像进行了摄像的第二摄影位置的摄像部相对于对检测出特征点的图像进行了摄像的第一摄影位置的摄像部的旋转角以及旋转方向的第二旋转矩阵、表示平移方向的第二平移矩阵以及表示包含了第一假想平移距离的假设的平移距离的第二假想平移距离，算出核线。
优选为，评价部沿着多个核线算出与特征点的一致度，并基于一致度对核线是否通过与特征点对应的对应点进行评价。
优选为，三维数据计算部利用为了算出包含一致度最高的点的核线而假设的假想平移距离，算出被摄体的三维数据。
优选为，对应点检测部在算出核线的图像中，检测核线应通过的预定的特征点所对应的对应点，评价部基于多个核线与核线应通过的特征点所对应的对应点之间的距离，对核线是否通过对应点进行评价。
优选为，在由评价部评价为多个核线不通过与预定的特征点对应的对应点的情况下，变更条件而再次算出第一旋转矩阵以及第一平移矩阵。
优选为，再次检测对应点而再次算出第一旋转矩阵以及第一平移矩阵。
优选为，再次检测对应点的情况包括：包含为了检测对应点而使用的特征点的图像的大小的变更、放大缩小率的变更、旋转角度的变更或者检测对应点的特征点的组合的变更中的任一个。
另外，也可以再次检测特征点而再次算出第一旋转矩阵以及第一平移矩阵。
优选为，在第一旋转矩阵表示第一摄影位置与第二摄影位置未旋转的情况下，以不使用核线的其他方法算出三维数据。
具体而言，优选为，对利用第三假想平移距离而算出的三维数据与利用第一假想平移距离而算出的三维数据进行比较，第三假想平移距离表示与第一假想平移距离所表示的摄像部间距离不同的第一摄影位置、第二摄影位置的摄像部间距离，并由第一假想平移距离的假设而确定，求出使利用第一假想平移距离而算出的三维数据与利用第三假想平移距离而算出的三维数据之差为预定阈值以下的第一假想平移距离以及三维数据。
优选为，利用第一旋转矩阵以及第一平移矩阵、第三旋转矩阵以及第三平移矩阵，搜索基线长矢量的基端以及前端分别位于第一平移矩阵与第三平移矩阵所表示的方向上的基线长矢量的位置，第一旋转矩阵以及第一平移矩阵利用在第一摄影位置以及第二摄影位置得到的四张图像中的任意的组合的多个图像而算出，第三旋转矩阵以及第三平移矩阵利用与多个图像不同的组合的多个图像而算出，基线长矢量由第一旋转矩阵以及第三旋转矩阵确定方向并具有基线长的长度，基于基端以及前端分别位于第一平移矩阵与第三平移矩阵所表示的方向上的情况下的基端以及前端的位置，算出三维数据。
优选为，具备检测第一摄影位置与第二摄影位置的位置信息的摄影位置检测部，基于根据由摄影位置检测部检测出的位置信息而算出的第一摄影位置与第二摄影位置的距离，决定第一假想平移距离的初始值或者变更第一假想平移距离的范围。
优选为，在将基线长的长度设为|BL|、将在第一摄影位置得到的图像与在第二摄影位置得到的图像的视差设为ε、将在第一摄影位置得到的两个图像的视差设为γ的情况下，基于|BL|×ε/γ来决定第一假想平移距离的初始值或者变更第一假想平移距离的范围。
优选为，三维数据是被摄体上的两点间的长度、被摄体上的两点间的角度、被摄体的三维模型数据中的任一个。
本发明的图像处理装置具备存储部、特征点检测部、对应点检测部、旋转矩阵计算部、平移矩阵计算部、核线计算部、评价部、三维数据计算部。存储部存储由一个或者两个立体相机在第一摄影位置与第二摄影位置分别拍摄到的图像，立体相机具有：第一摄像部，对被摄体进行摄像；以及第二摄像部，相对于第一摄像部隔开预定的基线长而配置，对包含第一摄像部拍摄的被摄体的至少一部分在内的范围进行摄像。特征点检测部从在第一摄影位置由第一摄像部以及第二摄像部对被摄体进行摄像而获得的两张图像中的至少任一张图像检测多个特征点。对应点检测部对于在与第一摄影位置不同的第二摄影位置由第一摄像部以及第二摄像部对被摄体进行摄像而获得的两张图像中的至少任一张图像检测与特征点对应的对应点。旋转矩阵计算部算出表示以第一摄影位置的第一摄像部或者第二摄像部为基准的、第二摄影位置的第一摄像部或者第二摄像部的旋转角以及旋转方向的旋转矩阵。平移矩阵计算部算出表示以第一摄影位置的第一摄像部或者第二摄像部为基准的、第二摄影位置的第一摄像部或者第二摄像部的平移移动方向的平移矩阵。核线计算部基于由第一旋转矩阵、第一平移矩阵以及第一假想平移距离而确定的第一摄影位置以及第二摄影位置的各摄像部的相对位置关系，算出将从第一摄影位置的摄像部朝向预定的特征点的视线方向投影到在第二摄影位置得到的图像上的核线，第一旋转矩阵在旋转矩阵计算部中基于特征点以及对应点而算出，第一平移矩阵在平移矩阵计算部中基于特征点以及对应点而算出，第一假想平移距离是任意地假设对检测出特征点的图像与检测出对应点的图像进行了摄像的各摄像部间的距离而得到的。评价部对边改变第一假想平移距离边算出的多个核线是否分别通过与特征点对应的对应点进行评价。三维数据计算部利用为了算出通过预定的特征点的核线而假设的第一假想平移距离，算出被摄体的三维数据。
本发明的三维测定系统具备：一个或者两个立体相机，立体相机具有：第一摄像部，对被摄体进行摄像；以及第二摄像部，相对于第一摄像部隔开预定的基线长而配置，对包含第一摄像部拍摄的被摄体的至少一部分在内的范围进行摄像；以及上述的图像处理装置。
优选为，在三维测定系统中，立体相机是车载相机。
本发明的三维测定方法具备特征点检测步骤、对应点检测步骤、旋转矩阵计算步骤、平移矩阵计算步骤、核线计算步骤、评价步骤、三维数据计算步骤。在特征点检测步骤中，从由一个或者两个立体相机在第一摄影位置对被摄体进行摄像而获得的两张图像中的至少任一张图像检测多个特征点，立体相机具有：第一摄像部，对被摄体进行摄像；以及第二摄像部，相对于第一摄像部隔开预定的基线长而配置，对包含第一摄像部拍摄的被摄体的至少一部分在内的范围进行摄像。在对应点检测步骤中，对于在与第一摄影位置不同的第二摄影位置由第一摄像部以及第二摄像部对被摄体进行摄像而获得的两张图像中的至少任一张图像检测与特征点对应的对应点。在旋转矩阵计算步骤中，算出表示以第一摄影位置的第一摄像部或者第二摄像部为基准的、第二摄影位置的第一摄像部或者第二摄像部的旋转角以及旋转方向的旋转矩阵。在平移矩阵计算步骤中，算出表示以第一摄影位置的第一摄像部或者第二摄像部为基准的、第二摄影位置的第一摄像部或者第二摄像部的平移移动方向的平移矩阵。在核线计算步骤中，基于由第一旋转矩阵、第一平移矩阵以及第一假想平移距离而确定的第一摄影位置以及第二摄影位置的各摄像部的相对位置关系，算出将从第一摄影位置的摄像部朝向预定的特征点的视线方向投影到在第二摄影位置得到的图像上的核线，第一旋转矩阵在旋转矩阵计算部中基于特征点以及对应点而算出，第一平移矩阵在平移矩阵计算部中基于特征点以及对应点而算出，第一假想平移距离是任意地假设对检测出特征点的图像与检测出对应点的图像进行了摄像的各摄像部间的距离而得到的。在评价步骤中，对边改变第一假想平移距离边算出的多个核线是否分别通过与特征点对应的对应点进行评价。在三维数据计算步骤中，利用为了算出通过预定的特征点的核线而假设的第一假想平移距离，算出被摄体的三维数据。
发明效果
根据本发明，根据采用基线长确定的两个摄像部在两个摄影位置分别进行摄影而得到的图像，算出对它们进行了摄影的各摄像部间的距离(相当于巨大的立体相机的基线长)，所以不进行校准并且不使用基准被摄体，仅通过拍摄想要测定三维数据的被摄体而得到的图像，就能够进行高精度的三维测定。
附图说明
图1是三维测定装置的说明图。
图2是测定部的框图。
图3是表示旋转矩阵、平移矩阵以及平移距离的说明图。
图4是表示平移距离的任意性的说明图。
图5是表示三维测定的顺序的流程图。
图6是表示特征点的概要的说明图。
图7是表示对应点检测的概要的说明图。
图8是表示核线的说明图。
图9是表示利用核线来确定第二摄影位置B的原理的说明图。
图10是表示将三维数据显示在显示器上的情况的说明图。
图11是表示第2实施方式的三维测定的顺序的流程图。
图12是表示对应点与核线的误差的说明图。
图13是表示第3实施方式的三维测定的顺序的流程图。
图14是表示第3实施方式的变形例的三维测定的顺序的流程图。
图15是表示三维测定装置在第一、第二摄影位置未旋转的情况下的核线的说明图。
图16是表示第4实施方式的三维测定顺序的流程图。
图17是表示步骤S42、S43的具体例子的流程图。
图18是表示旋转矩阵r3以及平移矩阵t3的说明图。
图19是表示其他平移距离计算方法的流程图。
图20是表示其他平移距离计算方法的原理的说明图。
图21是表示T1方向与T2方向交叉的例子的说明图。
图22是表示搭载了GPS的三维测定装置的说明图。
图23是表示第5实施方式的三维测定的顺序的流程图。
图24是表示三维测定系统的框图。
图25是表示具有多个立体相机的三维测定系统的框图。
图26是表示采用车载相机作为立体相机的例子的说明图。
具体实施方式
[第1实施方式]
如图1所示，三维测定装置10具备：第一摄像部11、第二摄像部12、测定部15、显示器16等。即，三维测定装置10是在所谓的立体相机上搭载测定部15，并能够根据拍摄出的图像算出被摄体的三维数据的装置。另外，三维测定装置10紧凑地形成为能够简单地携带的程度(以往的单纯的立体相机程度)。
第一摄像部11与第二摄像部12分别配置在三维测定装置10的左右，摄影光轴L1、L2是平行的。基线长BL的长度在三维测定装置10的制造时被精确地确定，在进行利用了第一、第二摄像部11、12的摄影图像的三维测定的情况下，基线长BL是已知量。另外，基线长BL是第一摄像部11与第二摄像部12的配置间隔，更具体地说，是摄影光轴L1、L2的间隔。在使摄影光轴L1、L2为非平行的情况下，例如各摄像部11、12的主点的间隔是基线长BL。
另外，第一摄像部11与第二摄像部12的摄影范围至少一部分重复，在第一摄像部11与第二摄像部12重复的摄影范围内，同时拍摄相同的被摄体，并输出左右具有视差的1对图像。另外，在本说明书中，被摄体表示测定三维数据的对象。因此，以下在由第一摄像部11与第二摄像部12分别得到的图像中都拍摄测定三维数据的被摄体，但也能够在重复的摄影范围内捕捉其他的结构体(建筑物等)，并以此为基准，算出仅在由第一摄像部11(或者第二摄像部12)得到的图像上拍摄出的被摄体的三维数据。
第一摄像部11具备摄像镜头11a、图像传感器11b等。摄像镜头11a使被摄体的像成像在图像传感器11b上。虽省略了图示，但摄像镜头11a包含光圈、可动透镜以及用于使它们动作的凸轮、齿轮等，也能够进行AF(Auto Focus：自动对焦)、变焦。图像传感器11b是例如CMOS、CCD等，对应每个像素对通过摄像镜头11a而成像在摄像面上的被摄体的像进行光电转换，由此将被摄体的图像输出到测定部15。
第二摄像部12具备摄像镜头12a、图像传感器12b等。摄像镜头12a、图像传感器12b与第一摄像部11的摄像镜头11a、图像传感器11b相同。但是，第一摄像部11与第二摄像部12的各部位不需要是严格相同的结构，也可以互不相同。第二摄像部12与第一摄像部11同样，也将进行摄像而得到的图像输出到测定部15。
另外，第一摄像部11以及第二摄像部12的各部的动作由未图示的CPU等按照预定的程序进行控制。另外，在三维测定装置10中具有：未图示的图像处理电路、存储器、A/D转换电路等，对第一摄像部11以及第二摄像部12输出的图像实施A/D转换、白平衡校正、伽马校正等各种图像处理后，输入到测定部15。
测定部15基于至少在2个不同的摄影位置通过第一摄像部11以及第二摄像部12进行摄影而得到的4种图像，算出被摄体的三维数据。测定部15算出的三维数据是例如2点间距离(长度、高度、宽度等)、曲线的长度、曲率、面积、体积、位置坐标等的实际空间中的尺寸等、用线框、多边形表示被摄体在假想空间上的三维模型数据。测定部15根据设定而算出它们中的1个或者多个作为三维数据。另外，测定部15根据设定将算出的三维数据显示在显示器16上。例如测定部15使实际空间中的被摄体的尺寸等重叠在拍摄出的图像上而显示在显示器16上。另外，测定部15将拍摄出的图像与算出的三维数据建立关联并存储在存储装置(未图示的存储器、装卸自如的介质卡等)中。在显示器16上的显示是任意的，在将算出的三维数据存储为能够在其他装置(计算机等)中使用的情况下，也可以不将三维数据显示在显示器16上。
另外，测定部15对三维数据的计算需要至少在2个以上不同的摄影位置对被摄体进行拍摄所得的图像。因此，以下，在第一摄影位置A与第二摄影位置B的2个位置进行被摄体的拍摄，从而得到4种图像PAL、PAR、PBL、PBR。第一下标表示摄影位置，第二下标表示摄像部(第一摄像部11为L，第二摄像部12为R)。例如，图像PAL是在第一摄影位置A通过第一摄像部11得到的图像，图像PAR是在第一摄影位置A通过第二摄像部12得到的图像。同样，图像PBL是在第二摄影位置B通过第一摄像部11得到的图像，图像PBR是在第二摄影位置B通过第二摄像部12得到的图像。在测定部15中，使用这四种图像PAL、PAR、PBL、PBR-中的至少3个图像来算出被摄体的三维数据。
如图2所示，测定部15具有：特征点检测部21、对应点检测部22、旋转矩阵计算部23、平移矩阵计算部24、平移距离计算部25以及三维数据计算部28。
特征点检测部21检测所输入的图像的多个特征点，并将坐标等特征点的信息输入到对应点检测部22、旋转矩阵计算部23、平移矩阵计算部24。特征点是例如被摄体的角(拐角)、线段的端点、交叉点、分支点等。对它们中的哪一个进行检测等，特征点检测部21检测的特征点的具体种类是任意的。另外，特征点检测部21进行的特征点检测处理的算法是任意的，例如，将拐角作为特征点进行检测时，可以采用例如Moravec、Harris算法。
另外，由于算出三维数据需要至少8个点的特征点，所以选择特征点的种类以检测8个点以上的特征点。另外，在检测出的特征点少于8个点的情况下，特征点检测部21变更检测的特征点的种类或者用于检测特征点的算法，从而必须检测出8个点以上的特征点。当然，在变更特征点的种类、检测算法也无法检测出8个点的特征点的情况下，通知错误，并促使变更所使用的图像(或者重新拍摄)。
也根据具体的被摄体的形状等，但多数情况下，特征点检测部21检测8个点以上的多个特征点。因此，特征点检测部21从检测出的多个特征点中选出八个点～十几个点左右的所使用的特征点。在检测出多个特征点的情况下，只要特征点检测部21选出的特征点的个数为8个点以上则可以任意。也可以使用检测出的全部的特征点，但由于在之后进行的对应点的检测等中需要漫长的时间，所以在能够确保精度的范围内，优选如上述那样选出并采用少量的特征点。
对应点检测部22在从特征点检测部21接收到特征点的信息时，从与检测出特征点的图像不同的图像中，分别检测与各特征点对应的对应点。对应点检测部22所进行的对应点检测处理的算法是任意的，能够采用例如块匹配法、KLT追踪法等。在通过块匹配法对对应点进行检测的情况下，从检测出特征点的图像中切出包含特征点的预定尺寸的局部图像，对该局部图像进行放大(缩小)、或使其旋转，并与检测对应点的图像进行比较，检测出一致度(也称为相似度)高的部位作为对应点。对应点检测部22检测出的对应点的坐标等对应点的信息被输入到旋转矩阵计算部23与平移矩阵计算部24。另外，在本实施方式中，对从图像PAL检测特征点、从图像PBL检测对应点的例子进行说明。
旋转矩阵计算部23基于检测出特征点的图像以及检测出的特征点的信息和检测出对应点的图像以及检测出的对应点的信息，并以对检测出特征点的图像进行了摄影的摄像部的位置为基准，从而算出表示对检测出对应点的图像进行了摄影的摄像部的旋转方向以及旋转量的旋转矩阵。
例如，如图3所示，旋转矩阵计算部23基于图像PAL的特征点与图像PBL的对应点，算出表示以第一摄影位置A的第一摄像部11为基准的第二摄影位置B的第一摄像部11的旋转方向以及旋转量的旋转矩阵R1。
旋转矩阵R1使用例如水平面内的旋转角θ1以及从铅垂方向的旋转角这2个参数来表示。当然，也能够规定在实际空间上彼此正交的X轴、Y轴、Z轴，并使用绕这些各轴的旋转角α、β、γ表示旋转矩阵R1。θ1以及所表示的旋转矩阵R1与α～γ所表示的旋转矩阵R1的表示方法不同，但实质上相同。
另外，测定部15算出旋转矩阵R1与平移矩阵T1(后述)后，对第一摄影位置A的第一摄像部11与第二摄影位置B的第一摄像部11的距离d1进行假设(以下，称为假想平移距离d1。)的假想平移距离d1为任意值。若利用该假想平移距离d1，则通过旋转矩阵R1以及平移矩阵T1唯一地确定第一摄影位置A与第二摄影位置B的各摄像部11、12的相对位置关系。并且，通过利用假想平移距离d1、旋转矩阵R1以及平移矩阵T1，旋转矩阵计算部23算出表示以第一摄影位置A的第一摄像部11为基准的第二摄影位置B的第二摄像部12的旋转方法以及旋转角度的旋转矩阵r2。
由于在图3中平面状地图示，所以看起来旋转矩阵R1、r2表示相同的旋转，但在三维测定装置10也在铅垂方向上旋转的情况下，旋转矩阵R1、r2不同，旋转矩阵r2由与旋转矩阵R1不同的旋转角θ2、表示。在仅在水平方向上旋转的情况下，旋转矩阵R1、r2相等。如此，旋转矩阵计算部23算出的旋转矩阵R1、r2被输入到平移距离计算部25。
另外，根据检测出特征点的图像以及检测出的特征点的信息和检测出对应点的图像以及检测出的对应点的信息算出旋转矩阵的具体的方法能够采用例如日本特开平9－237341号公报所记载的方法。
平移矩阵计算部24基于检测出特征点的图像以及检测出的特征点的信息和检测出对应点的图像以及检测出的对应点的信息，并以对检测出特征点的图像进行了摄影的摄像部的位置为基准，算出表示对检测出对应点的图像进行了摄影的摄像部的平移移动的方向的平移矩阵。
具体来说，平移矩阵计算部24基于图像PAL的特征点与图像PBL的对应点，算出表示以第一摄影位置A的第一摄像部11为基准的第二摄影位置B的第一摄像部11的平移移动方向的平移矩阵T1(参照图3)。但是，由于仅能够算出标准化后的平移矩阵T1，因此不包含平移距离的信息。
另外，如上所述，测定部15算出旋转矩阵R1与平移矩阵T1后，通过将第一摄影位置A的第一摄像部11与第二摄影位置B的第一摄像部11的距离假设成假想平移距离d1，从而确定第一摄影位置A与第二摄影位置B的各摄像部11、12的相对位置关系，所以，平移矩阵计算部24通过利用假想平移距离d1、旋转矩阵R1以及平移矩阵T1，从而算出表示以第一摄影位置A的第一摄像部11为基准的第二摄影位置B的第二摄像部12的平移移动的方向的平移矩阵t2。
另外，平移矩阵t2由于表示第一摄像部11与第二摄像部12的位置关系，因此严格来说不表示第一摄像部11、第二摄像部12的移动，但在本说明书中，将第一摄影位置A的摄像部(第一摄像部11或者第二摄像部12)与第二摄像部B的摄像部的位置关系称为平移移动。另外，将第一摄影位置A与第二摄影位置B的各摄像部间的距离称为平移距离。平移矩阵t2与平移矩阵T1一样被标准化，不包含平移距离的信息。
如此，平移矩阵计算部24算出的平移矩阵T1、t2被输入到平移距离计算部25。
根据检测出特征点的图像以及检测出的特征点的信息和检测出对应点的图像以及检测出的对应点的信息算出平移矩阵的具体的方法与旋转矩阵的计算方法相同，可以采用例如日本特开平9－237341号公报所记载的方法。另外，在本说明书中为了说明而使旋转矩阵计算部23与平移矩阵计算部24分开，但是旋转矩阵与平移矩阵是大致同时成对地被算出的。因此，旋转矩阵计算部23与平移矩阵计算部24作为整体是算出旋转矩阵以及平移矩阵的一体的电路等。
如上所述，由于旋转矩阵表示旋转方向与旋转量，与此相对平移矩阵仅表示平移移动的方向，所以仅通过一组旋转矩阵与平移矩阵(R1与T1)，无法确定与第一摄影位置A的摄像部对应的第二摄影位置B的摄像部。具体来说，如图4所示，通过平移矩阵T1确定第一摄像部11的平移移动方向，通过旋转矩阵R1确定相对于平移移动方向的第一摄像部11的旋转方向以及旋转角度，但是由于平移距离未确定，所以第二摄影位置B的位置具有任意性。因此，三维测定装置10通过接下来说明的平移距离计算部25，不仅利用旋转矩阵R1以及平移矩阵T1，而且进一步利用使用假想平移距离d1算出的临时的旋转矩阵r2以及平移矩阵t2，从而算出准确的平移距离(例如，第一摄影位置A的第一摄像部11与第二摄影位置B的第一摄像部11的非假设的准确的平移距离D1)。
平移距离计算部25具有核线计算部26以及评价部27。
核线计算部26根据由假想平移距离d1、旋转矩阵R1以及平移矩阵T1而唯一地确定的第一摄影位置A与第二摄影位置B的位置关系，算出假想平移距离d2。假想平移距离d2是第一摄影位置A的第一摄像部11与第二摄影位置B的第二摄像部12之间的距离(参照图3)。由于假想平移距离d2是基于假想平移距离d1算出的包含假设的值，所以与假想平移距离d1相同地称为假想平移距离。
并且，核线计算部26通过利用假想平移距离d2、旋转矩阵r2以及平移矩阵t2而在由第二摄影位置B得到的图像中算出核线。核线是将第一摄影位置A的摄像部的视线方向投影到在第二摄影位置得到的图像上的直线。另外，准确地算出核线需要使第一摄影位置A与第二摄影位置B的各摄像部11、12间的相对位置关系确定。因此，核线计算部26算出的核线是平移距离对应于假想平移距离d2(追溯源头的话是假想平移距离d1)的临时的核线(以下，仅称为核线)。
更具体地说，在本实施方式的情况下，核线计算部26基于假想平移距离d2的假设，算出将通过与从图像PAL检测出的特征点对应的被摄体上的点的视线方向投影到由第二摄影位置B的第二摄像部12得到的图像PBR上的核线。如此，若假想平移距离d1、d2错误，则核线计算部26算出的核线不通过图像PBR上的对应点。另一方面，在假想平移距离d1、d2与真正的平移距离相等的情况下，由于核线是真正的核线，所以通过图像PBR上的对应点。
另外，核线能够对多个特征点分别算出，但核线计算部26对至少1个特征点算出核线。在本实施方式中，核线计算部26对任意的1个特征点算出核线，但当然也可以分别对多个特征点算出核线。在对多个特征点分别算出核线的情况下，对算出的各核线进行以下所说明的基于评价部27的评价等。
另外，三维测定装置10边变更假想平移距离d1的值边多次进行旋转矩阵r2以及平移矩阵t2的计算、假想平移距离d2的计算、核线的计算。因此，对于相同的特征点，算出假想平移距离d1以及d2的值不同的多种核线。
评价部27对假想平移距离d1的值不同、应通过相同的特征点的多种核线是否通过对应点进行评价。并且，从它们中选出通过与特征点对应的点的真正的核线，从而求出表示真正的平移距离的假想平移距离。评价部27如例如以下那样进行该评价。首先，评价部27从提取了特征点的图像PAL切出包含核线应该通过的特征点的局部图像，在算出了核线的图像PBR上沿着核线算出与局部图像的一致度。对由核线计算部26算出的全部核线分别进行沿着该核线的一致度的计算。
在假想平移距离d1错误的情况下，利用该假想平移距离d1算出的核线不通过对应点(与核线应该通过的特征点对应的点)，所以一致度较低。另一方面，在假想平移距离d1正确的情况下，采用该假想平移距离d1算出的核线通过对应点，所以与其他核线相比在对应点的位置一致度高。因此，评价部27在沿着由核线计算部26算出的全部核线分别对一致度进行评价时，选出一致度最高的核线。并且，将算出所选出的核线所使用的假想平移距离d1作为第一摄影位置A的第一摄像部11与第二摄影位置B的第一摄像部11之间的真正的平移距离D1。如此评价部27求出的真正的平移距离D1被输入到三维数据计算部28。
另外，若求出真正的平移距离D1，则通过旋转矩阵R1以及平移矩阵T1、平移距离D1，确定第一摄影位置A的各摄像部11、12与第二摄影位置B的各摄像部11、12的准确的相对位置关系。因此，利用对应于评价部27所选出的核线的假想平移距离d1(真正的平移距离D1)而算出的旋转矩阵r2以及平移矩阵t2、假想平移距离d2分别是真正的旋转矩阵R2以及真正的平移矩阵T2、真正的平移距离D2。
三维数据计算部28基于下述数学式1的式子，将图像PAL上的坐标(u，v)与实际空间上的坐标(X，Y，Z)建立对应关系。“w”是图像PAL与图像PBL的视差，“f”是拍摄图像PAL时的焦距，“p”是图像传感器11b的像素间距。视差由特征点与对应点的像素坐标之差表示。例如，在三维测定装置10在第一摄影位置A与第二摄影位置B仅在水平方向上旋转的情况下，是特征点的u坐标与对应点的u坐标之差(w＝u特－u对)。另外，通过将平移距离D1、视差“w”、焦距“f”、像素间距“p”置换成适当的量，能够利用数学式1将图像PBL、图像PBR上的坐标转换成实际空间上的坐标。
[数学式1]
X Y Z = μ × D 1 ω v × D 1 ω f p × D 1 ω
三维数据计算部28如上所述，利用根据图像PAL上的坐标算出的实际空间上的坐标，算出被摄体的三维数据。另外，在算出了特征点间的长度等实际空间上的尺寸等的情况下，三维数据计算部28进行将算出的尺寸等重叠在图像PAL上的合成处理，并显示在显示器16上。另外，在由三维数据计算部28算出了三维模型数据的情况下，使三维模型数据显示在显示器16上。
另外，测定部15的各部21～28具体来说，由存储器、各种运算电路、集中地控制这些电路等的动作的CPU以及控制用程序构成。形成各部21～28的电路等也可以是各部21～28中一部分或者全部通用的电路。
对如上所述地构成的三维测定装置10的作用进行说明。如图5所示，采用三维测定装置10从第一摄影位置A与第二摄影位置B拍摄测定三维数据的被摄体，并取得四张图像PAL、PAR、PBL、PBR(摄影步骤S10)。此时，在第一摄像部11与第二摄像部12重复的摄影范围内，优选使被摄体位于尽量近的位置。这是因为，被摄体距离越远，则之后算出的三维数据的分辨率越低，尤其是图像的进深方向的分辨率显著降低。具体来说，拍摄的被摄体优选在1～3m以内。若被摄体距离在该程度的范围内，则在进深方向中也能够得到相对于被摄体距离为1％左右的分辨率。
当得到四张图像PAL、PAR、PBL、PBR时，首先从图像PAL中检测特征点(特征点检测步骤S11)。具体来说，如图6所示，当设为在图像PAL中有被摄体H1、H2时，特征点检测部21将这些被摄体H1、H2的拐角等分别作为特征点F1～F14而进行检测。另外，由于特征点F1～F14全部有14个点，所以选出算出三维数据所使用的8个点的特征点。例如选出特征点F1、F3、F4、F8、F9、F11、F13、F14。
如此，当检测出并选出特征点时，对应点检测部22从图像PBL以及图像PBR中检测对应点(对应点检测步骤S12)。具体来说，如图7所示，对应点检测部22从检测出特征点的图像PAL切出包含特征点F1的图像PAL的局部图像31，适当放大局部图像31、使其旋转，并与图像PBL的局部进行比较。并且，检测一致度最高的部分作为对应点C1。同样，分别检测出其他被选出的特征点F3、F4、F8、F9、F11、F13、F14的对应点C3、C4、C8、C9、C11、C13、C14。
另外，由于存在因摄影位置以及摄影的朝向引起的视差，因此在图像PAL与图像PBL中，各图像内的被摄体H1、H2的位置、朝向不同，所以有时在图像PBL中无法检测出与所选出的特征点对应的对应点。例如，由于特征点F2、特征点F5(参照图6)未拍摄在图像PBL中，所以在图像PBL无法检测出它们的对应点。另外，有时虽然一致度最高，但与特征点完全无关的部分会作为对应点被检测出。如此，在无法检测出对应点的情况下，或者最高的一致度小于预定值的情况下，重新选出特征点，并对新选出的特征点再次进行对应点的检测。
当检测出对应点时，基于图像PAL的特征点与图像PBL的对应点的各图像内坐标，算出旋转矩阵R1与平移矩阵T1(步骤S13)。因此，步骤S13既是第一旋转矩阵计算步骤，也是第一平移矩阵计算步骤。
当算出旋转矩阵R1以及平移矩阵T1时，测定部15任意地确定假想平移距离d1。并且，旋转矩阵计算部23以及平移矩阵计算部24利用假想平移距离d1算出旋转矩阵r2以及平移矩阵t2(步骤S14)。另外，核线计算部26基于假想平移距离d1与旋转矩阵R1以及平移矩阵T1，算出假想平移距离d2(该步骤S14)。因此，该步骤S14既是第二旋转矩阵计算步骤，也是第二平移矩阵计算步骤。而且也是第二平移距离计算步骤。
另外，边改变假想平移距离d1的值边多次进行步骤S14。因此，基于值不同的假想平移矩阵d1，算出多组旋转矩阵r2以及平移矩阵t2、假想平移距离d2。
如此利用假想平移距离d1，算出旋转矩阵r2以及平移矩阵t2、假想平移距离d2时，核线计算部26利用假想平移距离d2、旋转矩阵r2以及平移矩阵t2算出图像PBR上的核线(核线计算步骤S15)。
如图8所示，连结第一摄影位置A的第一摄像部11与被摄体H1、H2的特征点的直线(核线)能够对多个特征点分别画出。在图8中，表示通过特征点F1、F10、F13的核线E1、E10、E13，但也可以对其他特征点画出同样的核线。在本实施方式中，对核线计算部26算出核线E10的情况进行说明，上述核线E10通过作为这些特征点中的1个的特征点F10。另外，图像PBR上的核线是将如图8所示能够空间性地画出的核线投影到图像PBR上的直线。
另外，如果假想平移距离d1的假设正确，则核线E10应该通过与特征点F10对应的对应点C10。但是，假想平移距离d1只不过是平移距离计算部25任意地设定的假设值。因此，在基于假想平移距离d1为d1a、d1b、d1c、d1d的4种假想平移距离来算出核线E10，并分别用E10[d1a]、E10[d1b]、E10[d1c]、E10[d1d]区别表示与各假想平移距离d1a、d1b、d1c、d1d对应的各核线E10的情况下，如图9的上部所示，各核线E10[d1a]～E10[d1d]在图像PBR上的斜率、起点、终点根据假想平移距离d1的值而不同。
另外，在本实施方式中，将假想平移距离d1边变成4种边算出核线，但实际上基于更多的假想平移距离算出核线。另外，核线计算部26算出核线的图像PBR是在第二摄影位置B拍摄出的图像，而不是为了算出旋转矩阵R1以及平移矩阵T1而检测出对应点的图像PBL。根据设定，在从图像PBR检测出对应点的情况下，算出图像PBL上的核线。
如此，当算出图像PBR上的核线E10[d1a]～E10[d1d]时，评价部27与上述对应点检测相同地，从图像PAL切出包含特征点F10的局部图像，并沿着各核线E10[d1a]～E10[d1d]与图像PBR的部分进行比较，由此算出一致度(一致度计算步骤S16)。该局部图像与图像PBR的比较以及一致度的计算与例如上述的对应点检测相同地进行。
评价部27算出的一致度如例如图9的下部所示，在不通过特征点F10的对应点C10的情况下，虽然有起伏，但局限于大致较小的范围内。另一方面，在通过对应点C10的情况下，在对应点C10的附近一致度变大，出现显著的峰值。在图9中，由于核线E10[d1a]、E10[d1c]、E10[d1d]不通过对应点C10，所以一致度几乎始终较低。另一方面，由于核线E10[d1b]通过对应点C10，所以与其他核线相比在对应点C10的附近的一致度变高。因此，当评价部27沿着各核线E10[d1a]～E10[d1d]算出一致度时，判断为包含一致度最高的点(峰值)的核线E10[d1b]为通过对应点C10的核线，并将其选出。并且，评价部27将为了算出通过对应点C10的核线E10[d1b]而假设的假想平移距离d1b设为真正的平移距离D1。
另外，在图9中适当地表示出对应点C10，但在图像PBR不需要事先检测出对应点C10。如上所述，基于一致度选出真正的核线E10[d1b]基本等效于选出通过对应点C10的核线，所以若选出真正的核线E10[d1b]，则沿着该核线E10[d1b]算出的一致度的峰值的坐标就是对应点C10。
当求出平移距离D1时，三维数据计算部28利用平移距离D1、拍摄图像PAL时的焦距「f」、视差「w」、图像传感器11b的像素间距「p」，并按照上述的数学式1的式子将图像PAL内的坐标与实际空间坐标建立对应关系，由此算出被摄体H1、H2的三维数据(三维数据计算步骤S17)。并且，将三维数据计算部28算出的三维数据显示在显示器16上(表示步骤S18)。例如，如图10所示，在算出特征点间的距离作为三维数据的情况下，将特征点间的距离的显示重叠在图像PAL上，而显示在显示器16上。
如上所述，三维测定装置10具备基线长BL已知的第一摄像部11以及第二摄像部12，利用由它们从2处摄影位置对被摄体进行摄影所得的图像PAL、PBL、PBR，算出三维测定装置10的移动前后的位置关系(尤其是平移距离D1)以及三维数据。因此，三维测定装置10不需要如专利文献1、2那样为了形成巨大的立体相机而事先进行高精度的校准，也不需要如专利文献3那样对基准被摄体同时进行摄影。即，三维测定装置10仅通过自由地携带并拍摄被摄体，就能够简单并且高精度地算出被摄体的三维数据。
另外，三维测定装置10为了算出三维数据，而分别成对地利用图像PAL与图像PBL、图像PAL与图像PBR，从而算出旋转矩阵、平移矩阵。这是因为，第一摄影位置A的第一摄像部11与第二摄影位置B的第一摄像部11的对、第一摄影位置A的第一摄像部11与第二摄影位置B的第二摄像部12的对实际上等于形成了巨大的立体相机。而且，这些对的基线长(平移距离D1、D2)比基线长BL长。因此，三维测定装置10能够高精度地算出三维数据。
另外，在第1实施方式中，对沿着各核线算出的一致度彼此进行比较，选出包含最大的点(最大的峰值)的核线作为真正的核线，但也可以选出一致度的坐标图的面积最大的核线作为真正的核线，也可以选出一致度的中央值最大的核线作为真正的核线。另外，也可以选出一致度的平均值最大的核线作为真正的核线。在本说明书中，一致度最大是指面积、中央值、平均值或者峰值的高度最大。
[第2实施方式]
在第1实施方式中，沿着图像PBR上的核线求出与包含特征点的局部图像的一致度，但也可以如接下来所说明的那样，通过预先求出对应点，对算出的核线与对应点的误差进行评价，从而选出真正的核线。
在该情况下，首先，在第一以及第二摄影位置A、B对被摄体进行摄影，取得图像PAL、PAR、PBL、PBR(S20)，从图像PAL中检测特征点(S21)、从图像PBL检测对应点与第1实施方式的步骤S 10～S12相同。然后，在本实施方式中，还也从图像PBR中检测对应点(第二对应点检测步骤S23)。从图像PBR中检测出的对应点用于估算后述的核线的误差。接着，算出旋转矩阵R1以及平移矩阵T1(S24)，假设假想平移距离d1并算出旋转矩阵r2以及平移矩阵t2、假想平移距离d2(S25)，算出图像PBR上的核线(S26)与第1实施方式的步骤S13～S15相同。
如此，当算出图像PBR上的核线时，在第1实施方式中，算出一致度而选出真正的核线，但在本实施方式中，通过对与在步骤S23中算出的图像PBR的对应点对应的各核线的误差进行评价，从而选出真正的核线，并将为了算出所选出的核线而假设的假想平移距离d1设为真正的平移距离D1(S27)。
具体来说，如图12所示，当算出与4种假想平移距离d1a、d1b、d1c、d1d对应的特征点F10的核线E10[d1a]～E10[d1d]时，评价部27分别算出核线E10[d1a]～E10[d1d]与在步骤S23中算出的特征点F10所对应的对应点C10的距离σa～σd。
如果假想平移距离d1a～d1d的假设正确，则关于特征点F10的核线E10[d1a]～E10[d1d]应该通过对应点C10，所以对应点C10与核线E10[d1a]～E10[d1d]的距离σa～σd是对应于假想平移距离da～dd与真正的平移距离D1的误差的值。在图12的情况下，σb＜σa≈σc＜σd，最小的距离σb几乎为零，所以所对应的核线E10[d1b]是真正的核线。因此，评价部27选出与对应点C10的距离最小的核线E10[d1b]作为真正的核线，将为了算出该核线而假设的假想平移距离d1b设为真正的平移距离D1。
如此，求出真正的平移距离D1后，与第1实施方式的步骤S17～S18相同，利用平移距离D1算出三维数据(S28)，并显示(S29)。
如此，若选出误差σ最小的核线作为真正的核线，则与如第1实施方式那样沿着核线算出一致度并进行比较相比，有时能够高速地选出真正的核线。尤其是，若选出误差σ的评价中使用的少量的特征点(例如1个特征点F10)，并从图像PBR中仅检测与选出的特征点对应的对应点(例如对应点C10)，则与如第1实施方式那样沿着各核线进行多次与对应点检测相等的运算而算出一致度相比，能够缩短对应点检测以及真正的核线的选出所需的时间。
[第3实施方式]
另外，在第1实施方式中，选出由评价部27算出的一致度最大的核线作为真正的核线，但有时由评价部27算出的一致度最大的核线不是真正的核线。另外，在第2实施方式中，有时误差σ最小的核线不是真正的核线。这样的不良情况会在下述情况下产生：例如对应点的检测精度差，检测出错误的对应点的情况下、使用的特征点的组合差、旋转矩阵R1、平移矩阵T1、假想平移距离d2的误差较大的情况下等。因此，为了更可靠地高精度地算出三维数据，优选对是否有上述那样的不良情况进行验证，在判断为三维数据的计算精度差的情况下，重新进行对应点检测等。
例如，在如第1实施方式那样基于一致度算出真正的核线的情况下，如图13所示，选出真正的核线后(S16)，通过确认真正的核线的一致度的最大值是否在预定阈值以上，从而验证选出的核线是否表示真正的核线(验证步骤S31)。在选出的核线的一致度的最大值在预定阈值以上的情况下，利用为了算出所选出的核线而假设的假想平移距离d1作为真正的平移距离D1，来算出三维数据(S17)，并显示(S18)。
另一方面，在选出的核线的一致度的最大值比预定阈值小的情况下，如上所述，由于有可能检测出的对应点不是与特征点对应的点，所以变更条件并重新进行对应点的检测(对应点再检测步骤S32)。并且，利用再检测出的对应点重新进行旋转矩阵R1、r2、平移矩阵T1、t2的计算、以及假想平移距离d2的计算(S13，14)、核线的计算(S15)、一致度的计算(S 16)。
另外，在重新检测对应点的情况下变更的条件是指，例如，变更所使用的特征点的组合；改变局部图像31的大小、局部图像31的放大率或缩小率(放大缩小率)；改变旋转角度；在为了加快处理而不对局部图像31进行放大、旋转地检测对应点的情况下也进行局部图像31的放大、旋转；变更对应点检测的算法等中的任一个或者它们的组合。
另外，在图13的例子中，将一致度的最大值(峰值的高度)与预定阈值进行比较，但在根据面积、中央值、平均值等来选出真正的核线的情况下，只要将这些值与各自设定的预定的阈值进行比较即可。
此外，在第2实施方式的例子中为了进行与上述相同的验证，如图14所示，在选出核线后(S27)，通过确认选出的核线对对应点的误差σ是否在预定阈值以下，来验证选出的核线是否表示真正的核线(验证步骤S33)。在选出的核线的误差σ在预定阈值以下的情况下，利用为了算出选出的核线而假设的假想平移距离d1来算出三维数据(S17)，并显示(S18)。
另一方面，在选出的核线的误差σ比预定阈值大的情况下，由于有可能检测出的对应点不是与特征点对应的点，所以变更条件并重新进行对应点的检测(对应点再检测步骤S34)。并且，利用再检测出的对应点重新进行旋转矩阵R1、r2、平移矩阵T1、t2的计算、以及假想平移距离d2的计算(S13、14)、核线的计算(S15)、一致度的计算(S16)。在步骤S34中变更的条件与上述相同。
如此，若改变条件并再次检测对应点而提高对应点的检测精度，则能够防止算出误差较大的三维数据。
另外，在第3实施方式中，重新检测对应点，但也可以从特征点的检测开始重新进行。在重新进行特征点的计算的情况下，可以从之前检测出的特征点中对选出的特征点的组合重新进行选出，也可以变更检测特征点的算法，对新的特征点进行检测。在如第3实施方式那样，可以在尝试了对应点的再检测后，在仅通过对应点的再检测而一致度没变成预定阈值以上的情况下、或者误差σ没变成预定阈值以下的情况下，进行特征点的再检测。相反，也可以先尝试特征点的再检测，在仅通过特征点的再检测无法将误差σ抑制得较小的情况下，尝试对应点的再检测。
[第4实施方式]
另外，在第1～第3实施方式中，以通过适当变更假想平移距离d1而能够在图像PBR上求出多个不同的核线为前提，但例如，在第一摄影位置A与第二摄影位置B三维测定装置10在铅垂方向(方向)上完全未旋转的情况下，即使变更假想平移距离d1，实际上各核线也完全相同。具体来说，如图15所示，与假想平移距离d1a～d1d的不同无关，全部的核线E10[d1a]～E10[d1d]是水平方向的直线，实际上相同。因此，如第1～第3实施方式那样，在对一致度、误差σ的评价中，无法判断出哪个假想平移距离d1a～d1d表示真正的平移距离D1。在三维测定装置10完全不旋转而仅进行了平移移动的情况下也相同。
为了消除这种不良情况，如图16所示，算出旋转矩阵R1后(S13)，首先，确认算出的旋转矩阵R1是否表示三维测定装置10的旋转(旋转确认步骤S41)。并且，在第一摄影位置A与第二摄影位置B，在确认出三维测定装置10进行了适当的旋转的情况下，通过第1～第3实施方式的方法算出三维数据。
另一方面，在第一摄影位置A与第二摄影位置B，在确认了未进行适当的旋转的情况下，通过与第1～第3实施方式不同的其他方法算出平移距离D1(S42)，并利用该平移距离D1算出三维数据即可(S43)。
步骤S42、S43如例如以下那样进行。如图17所示，首先假设假想平移距离d1，并算出旋转矩阵r2、平移矩阵t2以及假想平移距离d2(S44)。在此算出的旋转矩阵r2、平移矩阵t2以及假想平移距离d2与第1实施方式的步骤S14相同。但是在第1实施方式等中采用它们算出了核线，但在本例的情况下，由于即使使假想平移距离d1的值变化也只能算出实际上相同的核线，所以代替算出核线而利用假想平移距离d2算出三维数据(S45)。具体来说，在上述数学式1的式子中，通过代替D1而利用假想平移距离d2，视差“w”采用图像PAL与图像PBL的视差，从而算出例如预定的特征点的实际空间坐标。
然后进一步，假设与步骤S44相同的值的假想平移距离d1，并算出旋转矩阵r3、平移矩阵t3以及假想平移距离d3(S46)。如图18所示，假想平移距离d3是以第一摄影位置A的第二摄像部12为基准的第二摄影位置B的第二摄像部12的平移距离。另外，旋转矩阵r3表示第一、第二摄影位置A、B的各第二摄像部12间的旋转方向以及旋转角，平移矩阵t3表示平移方向。
并且，采用平移距离d3算出三维数据(S47)。步骤S47的三维数据的计算中，在数学式1的式子中，通过代替D1而利用假想平移距离d3，视差“w”采用图像PAR与图像PBR的视差，从而在图像PAR(或者图像PBR)中，算出与步骤S45相同的点的实际空间坐标。例如，在步骤S45中算出了特征点F10的实际空间坐标的情况下，在步骤S47中算出其对应点C10的实际空间坐标。对应点的检测可以在算出三维数据的情况下进行，也可以预先进行。
基于如此算出的假想平移距离d2的三维数据与基于假想平移距离d3的三维数据都是根据相同值的假想平移距离d1求出的三维数据，所以如果假想平移距离d1的假设正确，则应该几乎完全一致。例如，由于特征点F10与对应点C10在实际空间上是相同的点的坐标，所以如果假想平移距离d1的假设正确，则是相同的值。另一方面，即使本来假想平移距离d1是相同的值，但分别算出基于假想平移距离d2的三维数据与基于假想平移距离d3的三维数据时所使用的图像有区别，所以会产生差值。假想平移距离d1与真正的平移距离D1的偏差越大，则该差值越大。
因此，平移距离计算部25算出基于假想平移距离d2的三维数据与基于假想平移距离d3的三维数据之差，并与预定阈值进行比较(S48)，若差为预定阈值以下，则将假想平移距离d1设为真正的平移距离D1，并利用该假想平移距离d1算出三维数据(S43)。
另一方面，在基于假想平移距离d2的三维数据与基于假想平移距离d3的三维数据之差比预定阈值大的情况下，变更假想平移距离d1的值(S49)，并重新进行假想平移距离d2、d3以及三维数据的等的计算。
如上所述，在对假想平移距离d1进行了假设后，若通过改变了所使用的图像对的2种方法算出三维数据并对它们进行比较，则即使在三维测定装置10未旋转的情况下也能够算出平移距离D1。
另外，在上述的例子中，在基于假想平移距离d2的三维数据与基于假想平移距离d3的三维数据之差为预定阈值以下的情况下，利用假想平移距离d1(真正的平移距离D1)重新算出三维数据，但也可以不重新算出三维数据，而将基于假想平移距离d2的三维数据、基于假想平移距离d3的三维数据使用于显示等。
另外，在即使变更假想平移距离d1，实际上各核线也完全相同的情况下，也可以通过下面所说明的其他方法进行图16的步骤S42、S43。
如图19所示，首先，从图像PBR中检测在图像PAL检测出的特征点(图16的S11)的对应点(S51)，并基于图像PAL的特征点与图像PBR的对应点算出旋转矩阵R2以及平移矩阵T2(S52)。旋转矩阵R2以及平移矩阵T2与图3的旋转矩阵r2以及平移矩阵t2对应，但由于不包含假设而根据图像PAL的特征点与图像PBR的对应点直接算出，所以表示第二摄影位置B的第二摄像部12相对于第一摄影位置A的第一摄像部11的准确的旋转角度、旋转方向、平移方向。但是，与上述一样平移距离D2不明。
接着，平移距离计算部52利用旋转矩阵R1、R2以及平移矩阵T1、T2算出与第二摄影位置B一致的基线长矢量的位置(S53)。
如图20所示，基线长矢量32具有基线长BL的长度、由旋转矩阵R1、R2确定的方向，是将第二摄影位置B的三维测定装置10的第一摄像部11与第二摄像部12分别设为基点32a以及前端32b的矢量。
平移距离计算部25将基线长矢量32的基点32a置于以第一摄影位置A的第一摄像部11为基准而平移矩阵T1所表示的直线(以下，称为T1方向)上的任意的点上，并算出以第一摄影位置A的第一摄像部11为基准而平移矩阵T2所表示的直线(以下，称为T2方向)与前端32b的距离。并且，求出T2方向与前端32b的距离最小的基线长矢量32的基点32a以及前端32b的坐标。
T1方向以及T2方向分别表示第二摄影位置B的第一摄像部11与第二摄像部12所在的方向，T1方向与T2方向的间隔随着离开第一摄影位置A而扩大。但是，由于基线长BL的长度不变，所以在将基线长矢量32的基端32a置于T1方向上的任意的位置并对第二摄影位置B的第一摄像部11的位置进行了假设的情况下，如果该位置是真正的第二摄影位置B，则表示第二摄影位置B的第二摄像部12的位置的基线长矢量32的前端32b应该在T2方向上。另外，如箭头b1以及箭头b3所示，若将基线长矢量32的基端32a设置成过于接近或远离第一摄影位置A，则前端32b离开T2方向。因此，若一边使基端32a的位置在T1方向上变化一边算出前端32b与T2方向的距离，则如箭头b2所示，能够将前端32b与T2方向最近的(理想上与T2方向一致的)位置判断为是第二摄影位置B。
若第二摄影位置B的位置确定，则基线长矢量32的基端32a是第二摄影位置B的第一摄像部11的位置，前端32b是第二摄影位置B的第二摄像部12的位置。因此，平移距离计算部25通过算出第一摄影位置A的第一摄像部11到基端32a的长度，从而算出平移距离D1(S54)。另外，通过算出到前端32b为止的长度，从而算出平移距离D2。
当如此求出平移距离D1(以及平移距离D2)时，三维数据计算部28利用平移距离D1算出三维数据(S54)，并显示(S43)。
如此，如果利用旋转矩阵R1、R2以及平移矩阵T1、T2，算出与第二摄影位置B一致的基线长矢量的位置，则在三维测定装置10未旋转的情况下也能够准确地算出平移距离D1。
另外，在上述的例子中，采用了图像PAL与图像PBL、图像PAL与图像PBR，但也可以采用图像PAL与图像PBL、图像PAR与图像PBR。在该情况下，如图21所示，T1方向与采用图像PAR与图像PBR算出的t3方向交叉，但利用基线长矢量32决定第二摄影位置B的方法与上述的例子相同。
另外，在第4实施方式中，将基线长矢量32的基端32a置于T1方向上，通过算出前端32b与T2方向的距离而确定了第二摄影位置B，但也能够将前端32a置于T2方向上，通过算出基端32a与T1方向的距离而确定第二摄影位置B。另外，也可以反向地定义基线长矢量32的基端32a与前端32b。
[第5实施方式]
在第1～第4实施方式中，假想平移距离d1是任意的值，但为了在短时间内算出平移距离D1，假想平移距离d1优选假设成接近真正的平移距离D1的值。
为了将假想平移距离d1假设成接近真正的平移距离D1的值，例如，如图22所示，在三维测定装置10上设置GPS41(摄影位置检测部)即可。而且，将由GPS41计测的摄影时的位置信息与图像PAL、PAR、PBL、PBR建立关联地存储。例如，存储第一摄影位置A的位置信息作为图像PAL以及图像PAR的EXIF数据，存储第二摄影位置B作为图像PBL以及图像PBR的EXIF数据。
而且，如图23所示，在算出旋转矩阵R1以及平移矩阵T1后，在为了算出核线而假设假想平移距离d1的情况下，取得与图像PAL、PAR、PBL、PBR建立关联而存储的位置信息(S61)，并基于取得的位置信息决定假设的假想平移距离d1的值(S62)。具体来说，例如，在图像PAL的位置信息与图像PBL的位置信息之差的附近设定假想平移距离d1的初始值、使假想平移距离d1变化的范围。
能够由GPS41测定的只不过是整个三维测定装置10的大致的位置，无法得到算出三维数据所需的各摄影位置A、B的摄像部11、12的精确位置信息，但通过用于如上所述那样地确定假想平移距离d1的初始值、使其变化的范围，能够更快地进行真正的平移距离D1的计算。
另外，在第5实施方式中，由GPS41测定用于决定假想平移距离d1的初始值、使假想平移距离d1变化的范围的位置信息，但只要能够得到第一、第二摄影位置A、B的大致的位置信息，则位置信息的取得方法是任意的。例如，也可以通过进行摄影的用户的输入来指定初始值、变化范围。
另外，在第5实施方式中采用了GPS41，但也可以不采用GPS41，将基线长的长度设为|BL|，将图像PAL的任意的特征点的像素地址与图像PBL的对应点的像素地址之差设为ε，将图像PAL的特征点(与之前的特征点相同)与图像PAR的对应点的像素地址之差设为γ，并将|BL|×ε/γ设为假想平移距离d1的初始值。ε是图像PAL与图像PBL的视差，γ是图像PAL与图像PAR的视差。
预定的特征点的进深由(基线长/视差)×(焦距/像素间距)表示。另外，若是相同的特征点则进深应该相等，所以(|BL|/γ)×(焦距/像素间距)与(平移距离/ε)×(焦距/像素间距)相等。因此，如果焦距、像素间距相等，则平移距离大概可由|BL|×ε/γ表示。因此，若如上述那样地使假想平移距离d1为|BL|×ε/γ，则预先成为接近真正的平移距离D1的值，所以能够在短时间内算出真正的平移距离D1的可能性变高。使假想平移距离d1变化的范围也可以是包含|BL|×ε/γ的预定范围。
另外，在第5实施方式中以第1实施方式的方法为基础，但在通过第2～第4实施方式的方法算出三维数据的情况下，同样也优选基于位置信息决定假想平移距离d1的初始值、变化范围。
另外，在第1～第5实施方式中，预先求出与多个假想平移距离d1对应的旋转矩阵r2以及平移矩阵t2，并算出与它们分别对应的核线，但也可以通过重复进行下述步骤而分别算出与多个假想平移距离d1对应的核线：利用任意一个假想平移距离d1求出核线后，变更假想平移距离d1而重新算出核线。
另外，在第1～第5实施方式中，三维测定装置10具备第一摄像部11与第二摄像部12，此外也内置有测定部15，但它们也可以分开。即，也可以如图24所示，由具备第一摄像部11与第二摄像部12的立体相机51以及具有测定部15的图像处理装置52构成三维测定系统53。在该情况下，立体相机51除了必须具备基线长BL为已知的2个摄像部(第一摄像部11与第二摄像部12)之外，其他构成是任意的。另外，图像处理装置52是由例如CPU、各种运算电路等构成测定部15的计算机，在测定部15之外还具有例如用于从立体相机51接受图像PAL、PAR、PBL、PBR的接口、至少暂时存储这些图像的存储器54、显示由测定部15算出的三维数据的显示器55等。
另外，在如上述那样地使立体相机与图像处理装置分开地做成三维测定系统的情况下，也可以如图25所示，由2台立体相机51a、51b以及图像处理装置52构成三维测定系统56。而且，也可以在第一摄影位置A使用一个立体相机51a拍摄被摄体，在第二摄影位置B使用另一个立体相机51b拍摄被摄体。在图像处理装置52中也能够使用如此在2个摄影位置A、B分别采用不同的立体相机51a、51b拍摄出的图像来算出三维数据。立体相机51a、51b优选为相同机种，但只要基线长BL相等(或者能够使基线长BL适合另一个立体相机)，则也能够采用不同的机种。另外，在1个三维测定系统中也可以具有3台以上的立体相机。在该情况下，能够从在3个以上的摄影位置拍摄出的图像中选择性地采用在2个摄影位置拍摄出的图像来算出三维数据。
此外，在如上所述地将三维测定装置10与立体相机51、图像处理装置52分开地设置的三维测定系统10中，如图26所示，能够使立体相机51为车载相机。在该情况下，由汽车57边在被摄体H1、H2的周边行驶边进行摄影，然后，将拍摄出的图像读取到图像处理装置52中，从而能够算出被摄体H1、H2的三维数据。如此，若使立体相机51为车载相机，则能够利用移动速度的优点，并且能够容易且精确地得到被摄体的三维数据。但是，即使在立体相机51为车载相机的情况下，也不需要做成专利文献1那样巨大的立体相机，能够采用基线长BL为已知的紧凑的立体相机51，并且，也不需要精确地测定配置、朝向。立体相机51仅以能够对被摄体H1、H2进行摄影的方式进行车载即可。因此，在被摄体因汽车57的朝向等而无法较好地收纳在第一摄像部11与第二摄像部12重复的摄影范围内的情况下，适当调节立体相机51的位置、朝向即可。因此，没有因汽车57的大小、道路的朝向、立体相机的朝向的调节的难度带来的缺点。当然，也可以车载包含测定部15的三维测定装置10自身。
另外，在第1～第5实施方式中，三维测定装置10的基线长BL是不变的，但基线长也可以是可变的。但是，用于算出三维数据的全部图像必须以相同的基线长进行拍摄。另外，至少在算出三维数据时，变化后的基线长BL必须是已知的。另外，为了使三维数据的测定精度不下降，需要以算出三维数据所需的程度精确地测定变化后的基线长BL。
另外，在第1～第5实施方式中，第一摄像部11与第二摄像部12的各摄影光轴L1、L2是平行的，但也可以将第一摄像部11与第二摄像部12相对地倾斜配置，使各摄影光轴L1、L2为非平行。在该情况下，算出三维数据的计算变得复杂，但基本的原理与第1～第5实施方式相同。
另外，在上述的各实施方式中，第一摄像部11与第二摄像部12同时进行摄影，但第一摄像部11与第二摄像部12的摄影时机不需要严格同时。若能够在摄影位置、三维测定装置10的倾斜等可视为不变化的范围内大概同时地进行摄影，则也可以由例如第一摄像部11、第二摄像部12依次进行拍摄。
附图标号说明
10 三维测定装置
11 第一摄像部
12 第二摄像部
15 测定部
21 特征点检测部
22 对应点检测部
23 旋转矩阵计算部
24 平移矩阵计算部
25 平移距离计算部
26 核线计算部
27 评价部
28 三维数据计算部
31 局部图像
32 基线长矢量
51 立体相机
52 图像处理装置

Claims (19)

1.一种三维测定装置，具备：
第一摄像部，对被摄体进行摄像；
第二摄像部，相对于所述第一摄像部隔开预定的基线长而配置，对包含所述第一摄像部拍摄的所述被摄体的至少一部分在内的范围进行摄像；
特征点检测部，从在第一摄影位置由所述第一摄像部以及所述第二摄像部对所述被摄体进行摄像而获得的两张图像中的至少任一张图像检测多个特征点；
对应点检测部，对于在与所述第一摄影位置不同的第二摄影位置由所述第一摄像部以及所述第二摄像部对所述被摄体进行摄像而获得的两张图像中的至少任一张图像，检测与所述特征点对应的对应点；
旋转矩阵计算部，算出表示以所述第一摄影位置的所述第一摄像部或者所述第二摄像部为基准的、所述第二摄影位置的所述第一摄像部或者所述第二摄像部的旋转角以及旋转方向的旋转矩阵；
平移矩阵计算部，算出表示以所述第一摄影位置的所述第一摄像部或者所述第二摄像部为基准的、所述第二摄影位置的所述第一摄像部或者所述第二摄像部的平移移动方向的平移矩阵；
核线计算部，基于由第一旋转矩阵、第一平移矩阵以及第一假想平移距离而确定的所述第一摄影位置以及所述第二摄影位置的各摄像部的相对位置关系，算出将从所述第一摄影位置的摄像部朝向预定的所述特征点的视线方向投影到在所述第二摄影位置得到的图像上的核线，所述第一旋转矩阵在所述旋转矩阵计算部中基于所述特征点以及所述对应点而算出，所述第一平移矩阵在所述平移矩阵计算部中基于所述特征点以及所述对应点而算出，所述第一假想平移距离是任意地假设对检测出所述特征点的图像与检测出所述对应点的图像进行了摄像的各摄像部间的距离而得到的；
评价部，对边改变所述第一假想平移距离边算出的多个所述核线是否分别通过与所述特征点对应的对应点进行评价；及
三维数据计算部，利用为了算出通过所述预定的特征点的所述核线而假设的所述第一假想平移距离，算出所述被摄体的三维数据。
2.根据权利要求1所述的三维测定装置，其中，
所述核线计算部基于表示对算出所述核线的图像进行了摄像的所述第二摄影位置的摄像部相对于对检测出所述特征点的图像进行了摄像的所述第一摄影位置的摄像部的旋转角以及旋转方向的第二旋转矩阵、表示平移方向的第二平移矩阵以及表示包含了第一假想平移距离的假设的平移距离的第二假想平移距离，算出所述核线。
3.根据权利要求1所述的三维测定装置，其中，
所述评价部沿着多个所述核线算出与所述特征点的一致度，并基于所述一致度对所述核线是否通过与所述特征点对应的对应点进行评价。
4.根据权利要求3所述的三维测定装置，其中，
所述三维数据计算部利用为了算出包含所述一致度最高的点的所述核线而假设的所述假想平移距离，算出所述被摄体的三维数据。
5.根据权利要求1所述的三维测定装置，其中，
所述对应点检测部在算出所述核线的图像中，检测核线应通过的所述预定的特征点所对应的对应点，
所述评价部基于多个所述核线与所述核线应通过的所述特征点所对应的所述对应点之间的距离，对所述核线是否通过所述对应点进行评价。
6.根据权利要求1所述的三维测定装置，其中，
在所述评价部评价为多个所述核线不通过与所述预定的特征点对应的对应点的情况下，所述旋转矩阵计算部及所述平移矩阵计算部变更条件而再次算出所述第一旋转矩阵以及所述第一平移矩阵。
7.根据权利要求6所述的三维测定装置，其中，
所述对应点检测部再次检测所述对应点，所述旋转矩阵计算部及所述平移矩阵计算部基于被再次检测出的所述对应点而再次算出所述第一旋转矩阵以及所述第一平移矩阵。
8.根据权利要求7所述的三维测定装置，其中，
所述对应点检测部再次检测所述对应点的情况下进行包括以下变更中的任一个在内的条件变更：包含为了检测所述对应点而使用的所述特征点的图像的大小的变更、放大缩小率的变更、旋转角度的变更或者检测所述对应点的所述特征点的组合的变更。
9.根据权利要求6所述的三维测定装置，其中，
所述特征点检测部再次检测所述特征点，所述旋转矩阵计算部及所述平移矩阵计算部基于被再次检测出的所述特征点而再次算出所述第一旋转矩阵以及所述第一平移矩阵。
10.根据权利要求1所述的三维测定装置，其中，
在所述第一旋转矩阵表示所述第一摄影位置与所述第二摄影位置未旋转的情况下，所述三维数据计算部以不使用所述核线的其他方法算出所述三维数据。
11.根据权利要求10所述的三维测定装置，其中，
所述三维数据计算部对利用第三假想平移距离而算出的所述三维数据与利用所述第一假想平移距离而算出的所述三维数据进行比较，所述第三假想平移距离表示与所述第一假想平移距离所表示的摄像部间距离不同的所述第一摄影位置、第二摄影位置的摄像部间距离，并由所述第一假想平移距离的假设而确定，
求出使利用所述第一假想平移距离而算出的所述三维数据与利用所述第三假想平移距离而算出的所述三维数据之差为预定阈值以下的所述第一假想平移距离以及所述三维数据。
12.根据权利要求10所述的三维测定装置，其中，
所述三维数据计算部利用所述第一旋转矩阵以及所述第一平移矩阵、第三旋转矩阵以及第三平移矩阵，搜索基线长矢量的基端以及前端分别位于所述第一平移矩阵与所述第三平移矩阵所表示的方向上的所述基线长矢量的位置，所述第一旋转矩阵以及所述第一平移矩阵利用在所述第一摄影位置以及所述第二摄影位置得到的四张图像中的任意的组合的多个图像而算出，所述第三旋转矩阵以及所述第三平移矩阵利用与所述多个图像不同的组合的多个图像而算出，所述基线长矢量由所述第一旋转矩阵以及所述第三旋转矩阵确定方向并具有所述基线长的长度，
基于所述基端以及所述前端分别位于所述第一平移矩阵与所述第三平移矩阵所表示的方向上的情况下的所述基端以及所述前端的位置，算出所述三维数据。
13.根据权利要求1所述的三维测定装置，其中，
具备检测所述第一摄影位置与所述第二摄影位置的位置信息的摄影位置检测部，
所述核线计算部基于根据由所述摄影位置检测部检测出的位置信息而算出的所述第一摄影位置与所述第二摄影位置的距离，决定所述第一假想平移距离的初始值或者变更所述第一假想平移距离的范围。
14.根据权利要求1所述的三维测定装置，其中，
在将所述基线长的长度设为|BL|、将在所述第一摄影位置得到的图像与在所述第二摄影位置得到的图像的视差设为ε、将在所述第一摄影位置得到的两个图像的视差设为γ的情况下，所述核线计算部基于|BL|×ε/γ来决定所述第一假想平移距离的初始值或者变更所述第一假想平移距离的范围。
15.根据权利要求1所述的三维测定装置，其中，
所述三维数据是所述被摄体上的两点间的长度、所述被摄体上的两点间的角度、所述被摄体的三维模型数据中的任一个。
16.一种图像处理装置，具备：
存储部，存储由一个或者两个立体相机在第一摄影位置与第二摄影位置分别拍摄到的图像，所述立体相机具有：第一摄像部，对被摄体进行摄像；以及第二摄像部，相对于所述第一摄像部隔开预定的基线长而配置，对包含所述第一摄像部拍摄的所述被摄体的至少一部分在内的范围进行摄像；
特征点检测部，从在第一摄影位置由所述第一摄像部以及所述第二摄像部对所述被摄体进行摄像而获得的两张图像中的至少任一张图像检测多个特征点；
对应点检测部，对于在与所述第一摄影位置不同的第二摄影位置由所述第一摄像部以及所述第二摄像部对所述被摄体进行摄像而获得的两张图像中的至少任一张图像，检测与所述特征点对应的对应点；
旋转矩阵计算部，算出表示以所述第一摄影位置的所述第一摄像部或者所述第二摄像部为基准的、所述第二摄影位置的所述第一摄像部或者所述第二摄像部的旋转角以及旋转方向的旋转矩阵；
平移矩阵计算部，算出表示以所述第一摄影位置的所述第一摄像部或者所述第二摄像部为基准的、所述第二摄影位置的所述第一摄像部或者所述第二摄像部的平移移动方向的平移矩阵；
核线计算部，基于由第一旋转矩阵、第一平移矩阵以及第一假想平移距离而确定的所述第一摄影位置以及所述第二摄影位置的各摄像部的相对位置关系，算出将从所述第一摄影位置的摄像部朝向预定的所述特征点的视线方向投影到在所述第二摄影位置得到的图像上的核线，所述第一旋转矩阵在所述旋转矩阵计算部中基于所述特征点以及所述对应点而算出，所述第一平移矩阵在所述平移矩阵计算部中基于所述特征点以及所述对应点而算出，所述第一假想平移距离是任意地假设对检测出所述特征点的图像与检测出所述对应点的图像进行了摄像的各摄像部间的距离而得到的；
评价部，对边改变所述第一假想平移距离边算出的多个所述核线是否分别通过与所述特征点对应的对应点进行评价；及
三维数据计算部，利用为了算出通过所述预定的特征点的所述核线而假设的所述第一假想平移距离，算出所述被摄体的三维数据。
17.一种三维测定系统，具备：
A.一个或者两个立体相机，所述立体相机具有：第一摄像部，对被摄体进行摄像；及第二摄像部，相对于所述第一摄像部隔开预定的基线长而配置，对包含所述第一摄像部拍摄的所述被摄体的至少一部分在内的范围进行摄像；及
B.图像处理装置，所述图像处理装置具有：存储部，存储由所述一个或者两个立体相机在第一摄影位置与第二摄影位置分别拍摄到的图像；特征点检测部，从在第一摄影位置由所述第一摄像部以及所述第二摄像部对所述被摄体进行摄像而获得的两张图像中的至少任一张图像检测多个特征点；对应点检测部，对于在与所述第一摄影位置不同的第二摄影位置由所述第一摄像部以及所述第二摄像部对所述被摄体进行摄像而获得的两张图像中的至少任一张图像，检测与所述特征点对应的对应点；旋转矩阵计算部，算出表示以所述第一摄影位置的所述第一摄像部或者所述第二摄像部为基准的、所述第二摄影位置的所述第一摄像部或者所述第二摄像部的旋转角以及旋转方向的旋转矩阵；平移矩阵计算部，算出表示以所述第一摄影位置的所述第一摄像部或者所述第二摄像部为基准的、所述第二摄影位置的所述第一摄像部或者所述第二摄像部的平移移动方向的平移矩阵；核线计算部，基于由第一旋转矩阵、第一平移矩阵以及第一假想平移距离而确定的所述第一摄影位置以及所述第二摄影位置的各摄像部的相对位置关系，算出将从所述第一摄影位置的摄像部朝向预定的所述特征点的视线方向投影到在所述第二摄影位置得到的图像上的核线，所述第一旋转矩阵在所述旋转矩阵计算部中基于所述特征点以及所述对应点而算出，所述第一平移矩阵在所述平移矩阵计算部中基于所述特征点以及所述对应点而算出，所述第一假想平移距离是任意地假设对检测出所述特征点的图像与检测出所述对应点的图像进行了摄像的各摄像部间的距离而得到的；评价部，对边改变所述第一假想平移距离边算出的多个所述核线是否分别通过与所述特征点对应的对应点进行评价；及三维数据计算部，利用为了算出通过所述预定的特征点的所述核线而假设的所述第一假想平移距离，算出所述被摄体的三维数据。
18.根据权利要求17所述的三维测定系统，其中，
所述立体相机是车载相机。
19.一种三维测定方法，具备：
特征点检测步骤，从由一个或者两个立体相机在第一摄影位置对被摄体进行摄像而获得的两张图像中的至少任一张图像检测多个特征点，所述立体相机具有：第一摄像部，对被摄体进行摄像；及第二摄像部，相对于所述第一摄像部隔开预定的基线长而配置，对包含所述第一摄像部拍摄的所述被摄体的至少一部分在内的范围进行摄像；
对应点检测步骤，对于在与所述第一摄影位置不同的第二摄影位置由所述第一摄像部以及所述第二摄像部对所述被摄体进行摄像而获得的两张图像中的至少任一张图像，检测与所述特征点对应的对应点；
旋转矩阵计算步骤，算出表示以所述第一摄影位置的所述第一摄像部或者所述第二摄像部为基准的、所述第二摄影位置的所述第一摄像部或者所述第二摄像部的旋转角以及旋转方向的旋转矩阵；
平移矩阵计算步骤，算出表示以所述第一摄影位置的所述第一摄像部或者所述第二摄像部为基准的、所述第二摄影位置的所述第一摄像部或者所述第二摄像部的平移移动方向的平移矩阵；
核线计算步骤，基于由第一旋转矩阵、第一平移矩阵以及第一假想平移距离而确定的所述第一摄影位置以及所述第二摄影位置的各摄像部的相对位置关系，算出将从所述第一摄影位置的摄像部朝向预定的所述特征点的视线方向投影到在所述第二摄影位置得到的图像上的核线，所述第一旋转矩阵在所述旋转矩阵计算部中基于所述特征点以及所述对应点而算出，所述第一平移矩阵在所述平移矩阵计算部中基于所述特征点以及所述对应点而算出，所述第一假想平移距离是任意地假设对检测出所述特征点的图像与检测出所述对应点的图像进行了摄像的各摄像部间的距离而得到的；
评价步骤，对边改变所述第一假想平移距离边算出的多个所述核线是否分别通过与所述特征点对应的对应点进行评价；及
三维数据计算步骤，利用为了算出通过所述预定的特征点的所述核线而假设的所述第一假想平移距离，算出所述被摄体的三维数据。
CN201380034951.4A 2012-06-29 2013-06-06 三维测定方法、装置、系统以及图像处理装置 Active CN104395692B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012146469 2012-06-29
JP2012-146469 2012-06-29
PCT/JP2013/065670 WO2014002725A1 (ja) 2012-06-29 2013-06-06 ３次元測定方法、装置、及びシステム、並びに画像処理装置

Publications (2)

Publication Number Publication Date
CN104395692A CN104395692A (zh) 2015-03-04
CN104395692B true CN104395692B (zh) 2016-08-24

Family

ID=49782891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380034951.4A Active CN104395692B (zh) 2012-06-29 2013-06-06 三维测定方法、装置、系统以及图像处理装置

Country Status (4)

Country Link
US (1) US9369695B2 (zh)
JP (1) JP5715735B2 (zh)
CN (1) CN104395692B (zh)
WO (1) WO2014002725A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811688B (zh) * 2014-01-28 2017-09-01 聚晶半导体股份有限公司 图像获取装置及其图像形变检测方法
TWI520098B (zh) 2014-01-28 2016-02-01 聚晶半導體股份有限公司 影像擷取裝置及其影像形變偵測方法
JP2016070762A (ja) * 2014-09-29 2016-05-09 ファナック株式会社 対象物の三次元位置を検出する検出方法および検出装置
CN108141510A (zh) * 2015-10-30 2018-06-08 奥林巴斯株式会社 摄像系统
US11143504B2 (en) * 2015-11-16 2021-10-12 Sony Semiconductor Solutions Corporation Image capture device and image capture system
CN105910584B (zh) * 2016-05-06 2018-05-04 北京信息科技大学 大尺寸动态摄影测量系统的高精度定向及定向精度评价方法
JP2018051728A (ja) * 2016-09-30 2018-04-05 ファナック株式会社 対象物の三次元位置を検出する検出方法および検出装置
KR101986433B1 (ko) * 2017-11-28 2019-06-05 재단법인 다차원 스마트 아이티 융합시스템 연구단 시점 변환을 이용하는 영상 스티칭 방법 및 시스템
CN108088383B (zh) * 2017-12-05 2019-06-25 武汉理工大学 一种应用于起重机械的摄影测量算法
US20200186776A1 (en) * 2018-11-14 2020-06-11 Htc Corporation Image processing system and image processing method
CN113167568B (zh) * 2018-11-29 2023-04-28 日本电气方案创新株式会社 坐标计算装置、坐标计算方法和计算机可读记录介质
CN109559354B (zh) * 2018-11-30 2024-02-23 北京金风科创风电设备有限公司 测量塔架净空的方法以及装置
CN111432117B (zh) * 2020-03-23 2021-08-10 北京迈格威科技有限公司 图像矫正方法、装置和电子系统
CN114608450B (zh) * 2022-03-10 2023-09-26 西安应用光学研究所 机载光电系统对远距离海面目标三维尺寸测算方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6038074A (en) * 1997-05-20 2000-03-14 Ricoh Company, Ltd. Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image
WO2006090735A1 (ja) * 2005-02-23 2006-08-31 Aisin Seiki Kabushiki Kaisha エピポーラ幾何を用いた物体認識装置及び物体認識方法
CN1834582A (zh) * 2005-03-15 2006-09-20 欧姆龙株式会社 图像处理方法、三维位置测量方法以及图像处理装置
JP2009517683A (ja) * 2005-11-30 2009-04-30 テレコム・イタリア・エッセ・ピー・アー ステレオビジョンにおいて散乱視差場を求める方法
CN102113013A (zh) * 2009-07-22 2011-06-29 松下电器产业株式会社 视差检测装置、测距装置及视差检测方法
JP2011232330A (ja) * 2010-04-08 2011-11-17 Casio Comput Co Ltd 撮像装置、長さ測定方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06195445A (ja) * 1992-12-24 1994-07-15 Canon Inc 複数画像の対応点抽出方法
US5680474A (en) * 1992-10-27 1997-10-21 Canon Kabushiki Kaisha Corresponding point extraction method for a plurality of images
JP4227037B2 (ja) 2004-02-25 2009-02-18 株式会社国際電気通信基礎技術研究所 撮像システム及び校正方法
JP4814669B2 (ja) 2006-03-28 2011-11-16 株式会社デンソーアイティーラボラトリ ３次元座標取得装置
JP5516376B2 (ja) * 2010-12-10 2014-06-11 富士通株式会社 位置特定装置、位置特定方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6038074A (en) * 1997-05-20 2000-03-14 Ricoh Company, Ltd. Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image
WO2006090735A1 (ja) * 2005-02-23 2006-08-31 Aisin Seiki Kabushiki Kaisha エピポーラ幾何を用いた物体認識装置及び物体認識方法
CN1834582A (zh) * 2005-03-15 2006-09-20 欧姆龙株式会社 图像处理方法、三维位置测量方法以及图像处理装置
JP2009517683A (ja) * 2005-11-30 2009-04-30 テレコム・イタリア・エッセ・ピー・アー ステレオビジョンにおいて散乱視差場を求める方法
CN102113013A (zh) * 2009-07-22 2011-06-29 松下电器产业株式会社 视差检测装置、测距装置及视差检测方法
JP2011232330A (ja) * 2010-04-08 2011-11-17 Casio Comput Co Ltd 撮像装置、長さ測定方法、及びプログラム

Also Published As

Publication number Publication date
WO2014002725A1 (ja) 2014-01-03
US20150103148A1 (en) 2015-04-16
JPWO2014002725A1 (ja) 2016-05-30
US9369695B2 (en) 2016-06-14
JP5715735B2 (ja) 2015-05-13
CN104395692A (zh) 2015-03-04

Similar Documents

Publication Publication Date Title
CN104395692B (zh) 三维测定方法、装置、系统以及图像处理装置
CN104428624B (zh) 三维测定方法、装置及系统、以及图像处理装置
US10621753B2 (en) Extrinsic calibration of camera systems
CN102278946B (zh) 摄像装置以及长度测量方法
US10582188B2 (en) System and method for adjusting a baseline of an imaging system with microlens array
JP3728900B2 (ja) キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法
CN104634248B (zh) 一种双目视觉下的转轴标定方法
WO2011125937A1 (ja) キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置
US7349580B2 (en) Apparatus and method for calibrating zoom lens
CN104240262A (zh) 一种用于摄影测量的相机外参数标定装置及标定方法
CN104279960A (zh) 用移动设备进行物体尺寸测量的方法
CN106500729B (zh) 一种无需控制信息的智能手机自检校方法
CN105791663B (zh) 距离估算系统及距离估算方法
CN105865423B (zh) 双目测距方法、装置和全景图像拼接方法及其系统
JP4649192B2 (ja) ステレオ画像作成方法及び３次元データ作成装置
JP2009253715A (ja) カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体
JP2008076405A (ja) ３次元測量装置及び電子的記憶媒体
CN107527323B (zh) 镜头畸变的标定方法及装置
JPH09210649A (ja) 三次元計測装置
JP4550081B2 (ja) 画像測定方法
JP2003006618A (ja) ３次元モデルの生成方法および装置並びにコンピュータプログラム
JPWO2020145004A1 (ja) 撮影ガイド装置
WO2009107365A1 (ja) 複眼測距装置の検査方法及び検査装置並びにそれに用いるチャート
CN109813283A (zh) 立体摄像头和立体摄影测量方法
Calore et al. Accelerometer based horizon and keystone perspective correction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant