CN109813283A - 立体摄像头和立体摄影测量方法 - Google Patents

立体摄像头和立体摄影测量方法 Download PDF

Info

Publication number
CN109813283A
CN109813283A CN201811373767.3A CN201811373767A CN109813283A CN 109813283 A CN109813283 A CN 109813283A CN 201811373767 A CN201811373767 A CN 201811373767A CN 109813283 A CN109813283 A CN 109813283A
Authority
CN
China
Prior art keywords
image
camera
designed
hand
stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811373767.3A
Other languages
English (en)
Other versions
CN109813283B (zh
Inventor
E·V·范德泽万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Geosystems AG
Original Assignee
Leica Geosystems AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Geosystems AG filed Critical Leica Geosystems AG
Publication of CN109813283A publication Critical patent/CN109813283A/zh
Application granted granted Critical
Publication of CN109813283B publication Critical patent/CN109813283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • G01C11/14—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical projection
    • G01C11/16—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical projection in a common plane
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

立体摄像头和立体摄影测量方法。一种用于对远程对象(5)进行基于图像的测量的手持装置(1)，包括：具有正面(11)和背面(12)的壳体(10)；用于记录对象(5)的图像(51、52)的第一摄像头(3a)和第二摄像头(3b)，其被设置为在背面(12)上并具有立体基线(30)；分析单元，其具有用于对摄像头(3a、3b)的图像(51、52)进行立体摄影测量分析的算法；以及显示单元(20)，其设置在正面(11)，用于显示对象(5)的图像(50)和立体摄影测量分析的结果，其中，该壳体(10)具有纵向轴线(15)，立体基线(30)相对于该纵向轴线(15)对角地对准，并且分析单元被设计成在立体摄影测量分析期间考虑立体基线(30)的相对对准。

Description

立体摄像头和立体摄影测量方法
技术领域
本发明涉及包括立体摄像头的手持装置以及借助于这种装置对远程对象进行基于图像的测量的方法。
背景技术
用于立体摄影测量图像记录的装置和方法在现有技术中大致已知，并且以多种方式用于在图像中执行测量，即，特别是用于确定图像中的尺寸，例如，所描绘的特征之间的距离。
例如，EP 2 918 972A2公开了一种用于通过立体摄影测量法产生空间模型的方法和相应的手持装置。
如果已知的立体摄影测量装置用于记录诸如建筑物之类的人造和/或人造结构的图像，则在通过特征提取来自动匹配图像期间会发生错误。这是因为特别是现代建筑具有许多等同和重复的特征。如果立体摄影测量装置的立体基线在记录期间与重复方向巧合地平行，则在某些情况下两个图像中的等同特征会彼此错误地彼此关联，因此产生不正确编辑的立体图像并且其中执行的图像测量有缺陷。
发明内容
因此，本发明的一个目的是提供一种装置和方法，借助于该装置和方法，可以降低在立体摄影测量范围内编辑图像期间的错误概率。
具体地，本发明的目的是提供这样的一种装置和这样的方法，借助于该装置和方法，可以在没有特殊设计支出或显着提高的计算能力的情况下降低错误概率。
另一个目的是提供这样的装置和这样的方法，其可以由用户简单且直观地处理。
通过实现独立权利要求的特征特征来实现这些目的中的至少一个。在这种情况下，在相应的从属权利要求中找到了本发明的有利实施方式。
由于特别是现代建筑物通常是直线规划和建造的并且具有多个直角，因此它们与重力方向和与其正交的水平线对准。这导致在建筑物中，相同特征(例如，窗口立面的窗口)的重复方向通常是完全水平和/或垂直的。在根据本发明的立体摄像装置中，因此根据本发明使用立体基线，其相对于装置的纵向轴线对角地设置，该纵向轴线在正常使用期间大致水平地对准。
本发明的第一方面涉及一种用于对远程对象进行基于图像的测量的手持装置，该手持装置包括具有正面和背面的壳体；用于记录对象的图像的第一摄像头和第二摄像头，其被设置在该背面上，具有作为彼此的固定间隔的立体基线；分析单元，其包括用于对第一摄像头和第二摄像头的图像进行立体摄影测量分析的算法；和显示单元，其设置在该正面上，用于显示所述对象的图像以及该立体摄影测量分析的结果。壳体具有纵向轴线，并且立体基线相对于纵向轴线对角地对准，其中分析单元被设计为在立体摄影测量分析期间考虑立体基线的相对对准。
根据一个实施方式，该装置包括电子测距仪，具体地该电子测距仪设计为激光测距仪，其设置在背面，用于测量到远程对象的距离，其中，分析单元被设计为在立体摄影测量分析期间考虑所测量的距离。
根据该装置的另一实施方式，立体基线相对于纵向轴线以至少20°的角度设置，具体地以30°到60°之间的角度设置。
根据另一实施方式，该装置被设计为用户手持使用，从而以纵向轴线大致水平的的方式来保持装置以记录对象的图像。
根据一个实施方式，摄像头以这样的方式设置：立体基线包括背面的最大延伸的至少75％，具体地至少90％。
在一个实施方式中，该装置具有输入装置，其设置在正面，用于由用户输入数据和/或命令。输入装置具体地可以实现为按钮，或者显示单元和输入装置设计为触摸屏。
具体地输入装置设计为能够由用户标记或选择对象的图像中的像素，其中，像素对应于对象的目标点。分析单元可以被设计为确定与所选择的像素对应的目标点之间的距离并将该距离显示在显示单元上。
在一个实施方式中，该装置具有记录功能，该记录功能在用户触发后自动运行，在该记录的范围内，按时间顺序相关地，具体地同时地，第一摄像头记录第一图像并且第二摄像头记录该对象的第二图像；分析单元的算法通过特征识别并基于关于立体基础的知识将第一图像和第二图像彼此关联，并且在显示单元上显示对象的图像。
在这种情况下，具体地，将第一图像和第二图像彼此的关联的处理可以包括图像的校正和校正后的图像的立体匹配，具体地通过半全局匹配方法进行立体匹配。
根据另一实施方式，分析单元被设计为识别图像中至少一个图像的重复图案并从中得到对象的重复特征的重复方向，并确定重复方向与极线之间的角度β。
本发明的第二方面涉及一种用于对远程对象进行基于图像的测量的手持装置，该手持装置具有正面和背面的壳体；用于记录对象的图像的第一摄像头和第二摄像头，其被设置在该背面上，具有作为彼此的固定间隔的立体基线；分析单元，其包括用于对第一摄像头和第二摄像头的图像进行立体摄影测量分析的算法；和显示单元，其设置在该正面上，用于显示所述对象的图像以及该立体摄影测量分析的结果。根据本发明的该方面，分析单元被设计用于识别图像中至少一个图像的重复图案并从中得到对象的重复特征的重复方向，并确定重复方向与极线之间的角度β。其中，分析单元被设计为如果该角度β的值低于预定阈值，则启动措施，其中，该措施能够使得进一步记录对象的图像，在进一步记录的图像中达到或超过该预定阈值。
根据该装置的一个实施方式，所述措施包括以下处理指示，该处理指示使用户针对所述进一步记录与先前记录相比对角地保持所述装置，具体地其中，该处理指示显示在显示单元上。
本发明的第三方面涉及一种借助于手持装置对远程对象进行基于图像的测量的方法，该手持装置是根据本发明的第一方面或第二方面的装置，该方法包括：由第一摄像头和第二摄像头对图像进行立体记录，并且对第一摄像头和第二摄像头的图像进行立体摄影测量分析。根据本发明的这个方面，考虑已知角度α来对图像进行分析，其中，所述第一摄像头和所述第二摄像头被设置在所述装置上，具有作为彼此的固定间隔的立体基线，使得该立体基线相对于所述装置的纵向轴线以角度α对角地取向。
根据一个实施方式，该方法包括
-基于第一摄像头和第二摄像头的图像中的至少一个图像在装置的显示单元上显示图像，
-由用户选择要测量的尺寸，
-基于立体摄影测量分析后的图像进行对应于选择的测量，和
-在显示单元上输出结果和/或在装置的数据存储单元中存储结果。
本发明的第四方面涉及一种具有程序代码的计算机程序产品，该程序代码存储在机器可读载体上，用于通过手持装置执行基于图像的远程对象测量的方法，特别是根据第三方面的方法，其中，程序在根据本发明第一方面或第二方面的装置的分析单元中执行，并且至少包括以下步骤：
-第一摄像头和第二摄像头对图像进行立体记录，以及
-对第一摄像头和第二摄像头的图像进行立体摄影测量分析，其中，考虑已知角度α来执行该分析，其中，所述第一摄像头和所述第二摄像头被设置在所述装置上，具有作为彼此的固定间隔的立体基线，使得该立体基线相对于所述装置的纵向轴线以角度α对角地取向。
本发明的第五方面涉及一种用于对远程对象进行基于图像的测量的系统，该系统包括手持装置和计算机程序产品。在这种情况下，手持装置包括具有正面和背面的壳体；用于记录对象的图像的第一摄像头和第二摄像头，其被设置在该背面上，具有作为彼此的固定间隔的立体基线；以及用于向外部电子装置发送所记录的图像的数字图像数据的数据接口。该计算机程序产品具有存储在机器可读载体上的程序代码，该程序代码具有用于对第一摄像头和第二摄像头的图像进行立体摄影测量分析的算法。壳体具有纵向轴线并且立体基线相对于纵向轴线对角地对准，其中，程序代码包含关于立体基线的相对对准的信息项，可在外部电子装置中执行，并且被设计为在立体摄影测量分析期间考虑立体基线的相对对准。
根据一个实施方式，该手持装置包括机器可读载体，具体地其中该机器可读载体是永久安装的数据存储单元，并且被设计为经由该数据接口向外部电子装置发送程序代码。
附图说明
在下文中，基于附图中示意性示出的特定示例性实施方式，将仅通过示例的方式更详细地描述根据本发明的装置和根据本发明的方法，其中还将讨论本发明的其他优点。在具体附图中：
图1示出了借助于现有技术的手持立体摄影测量装置记录建筑物的图像；
图2a-图2b示出了图1的立体摄影测量装置；
图3a-图3c示出了使用图1中的装置对建筑物进行摄影测量测量期间的问题；
图4a-图4b示出了根据本发明的手持立体摄影测量装置的示例性实施方式；
图5示出了借助于根据本发明的手持式立体摄影测量装置的示例性实施方式的建筑物图像的记录。
图6a-图6c示出了使用根据本发明的装置的建筑物的摄影测量测量；
图7示出了根据本发明的用于对远程对象进行基于图像的测量的方法的示例性实施方式；
图8a-图8b示出了对象线与特征的重复方向之间的角度的识别；
图9示出了用于识别极线和重复方向之间的角度的方法步骤；以及
图10示出了根据本发明的用于对远程对象进行基于图像的测量的系统的示例性实施方式。
具体实施方式
借助于现有技术的手持式立体摄影测量装置1记录建筑物5的图像50在图1中示出。示出了在记录期间装置1的面向用户的正面11。该正面具有显示单元20，其例如被实施为触摸屏，以及具有用于选择装置1的功能的按钮21的面板。
两个摄像头3a、3b设置成在装置1的面向待记录的建筑物5的背面具有立体基线30。立体基线30在此平行于装置1的纵向轴线。
作为要由摄像头3a、3b记录的对象的建筑物5，其这里在地平线6前面示出以进行例示，具有水平即沿X轴排列的明显特征的阵列。这涉及例如沿着水平线61-64对准的窗口和屋檐。此外，主要使用了直角，因此窗口和墙壁的特征还竖直延伸。
立体摄影测量装置1被设计为使得它优选地直线地由用户保持，即，其纵轴平行于地平线6，尤其是因为显示在显示单元20上的测量值因此最容易读取。这导致立体基线30在与建筑物5的明显特征相同的方向上延伸。
图1中的立体摄影测量装置1在图2a和图2b中详细示出。在这种情况下，图2a示出了具有显示单元20和按钮21的正面11，图2b示出了具有两个摄像头3a、3b的背面12，摄像头设置在壳体的相同高度处。
图3a-图3c示出了在借助于图2a-图2b中所示的装置1记录图1中所示的建筑物5的情况下出现的问题。
图3a示出了由两个摄像头3a、3b同时记录的建筑物的图像51、52彼此相邻。在用于立体匹配的典型算法中，例如，“半全局匹配”，作为先行步骤，必须对图像彼此进行校正。
在图3b中，对图3a的图像进行相应校正。在校正后图像51’、52’中示出了极线70，其与各个图像以直线相交。在校正后，极线70在校正后图像51’、52’中的是水平的，即，与位于第一图像51’中的像素相对应的第二图像52’中的像素位于同一图像线上。第二图像52’中的与设置在第一图像51’中并且位于所示的极线70上的点71对应的像素72也可以因此仅位于极线70上。
为了匹配两个图像51、52，算法因此必须将第一校正后图像51’中的特征仅与位于同一极线70上的第二校正后图像52’的那些特征进行比较。窗口交叉的角在左图像51’中作为示例示出为特征71。由于统一的构造，在建筑物上在水平方向上重复相同的特征-两个窗口具有相同的大小和相同的设计，而且位于相同的高度。
由于极线70也在校正后图像51’、52’中水平延伸，因此多个相似或等同特征72、72’在右图像52’中的极线70上彼此相邻。因此，如果算法错误地将等同特征72’与第一图像51中的特征71相关联，而不是与第二图像52中的实际对应特征72相关联，则在特征匹配期间会发生错误。
图3c示出了校正后图像51’、52’，其中在两点之间进行距离测量。在左图像51’中，其为分别位于建筑物的水平延伸线上的点73和71。由于两个极线70、70’与建筑物特征的平行性，这里也会发生错误，因此执行了不正确的距离测量。
图4a和图4b示出了根据本发明的立体摄影测量装置1的示例性实施方式。在这种情况下，分别示出了具有摄像头3a、3b的装置1的壳体10的背面12。在图4a中另外示出了用于测量到远程对象(例如，到建筑物上的点)的距离的激光测距仪4和用于在固定面上对装置1进行止动的止动单元17。
使用激光测距仪4记录的距离可以具体地用于缩放由摄像头3a、3b记录的图像，这提高了摄影测量的准确性。
图4b例示了几何。示出了壳体纵向轴线15、与其正交延伸的壳体横向轴线16以及相对于这两个轴线以对角对准的立体基线30。除了沿着纵向轴线15延伸或相对于纵向轴线15平行延伸的纵向间隔33外，两个摄像头还设置成彼此具有横向间隔35，该横向间隔35相对于纵向轴线15正交地延伸。因此，在立体基线30与壳体的纵向轴线15之间产生角度α，该角度α根据纵向间隔33和横向间隔35。
使用所示出的的装置1，即使是未经训练的用户也可以对建筑物和其他人造结构进行高质量的摄影测量。在这种情况下，通常不需要在图像记录期间对角地保持装置1。此外，由于摄像头3a、3b的倾斜设置，可以有利地实现立体基线30的最大长度。
然而，在要测量自然或人工对象的情况下，需要对角地保持该装置，在该情况下，对象特征以与立体基线30的倾斜相对应的角度重复。然而，这种情况在实践中发生的相对较少。
图5与图1类似地示出了借助于图4a和图4b的手持立体摄影测量装置1记录建筑物5的图像50。与图1中所示的装置1相比，虽然装置1是被线性保持的，但是立体基线30没有相对于水平线61-64平行对准，建筑物5的明显特征沿着水平线61-64对准。
用户可以使用摄像头3a、3b记录建筑物5的立体图像，并且可以标记由显示单元20显示的图像50中的像素56、57，该像素对应于实际建筑物5上的目标点66、67，并且可以通过摄影测量来确定目标点之间的距离68并显示该距离。
图6a-图6c示出了如何借助于根据本发明的装置来避免图3a-图3c中所示的问题。
图6a示出了由图5中的装置的两个摄像头3a、3b同时记录的建筑物的图像51、52。在通常的立体匹配算法中，例如，“半全局匹配”，作为先行步骤，需要对图像相互校正。
在图6b中，对图6a的图像进行相应校正。在校正后图像51’、52’中示出了极线70，其与各个图像以直线相交。在校正之后，对极线70在校正后图像51’、52’中是水平的，即，与位于第一图像51’中的像素对应的第二图像52’中的像素位于同一图像线上。第二图像52’中的与设置在第一图像51’中并且位于所示的极线70上的点71对应的像素72也可以因此仅位于极线70上。
为了匹配两个图像51、52，算法因此必须将第一校正后图像51’中的特征仅与位于同一极线70上的第二校正后图像52’的那些特征进行比较。窗口交叉的角在左图像51’中作为示例示出为特征71。由于统一的构造，在建筑物上在水平方向上重复相同的特征-两个窗口具有相同的大小和相同的设计，而且位于相同的高度。
由于摄像头的对角设置，这些自然水平的线在校正后图像中对角地延伸。因此，与图3b相反，在右图像52’中，多个相似或等同的特征不在对极线70上彼此相邻，而仅是对应于第一图像51中的特征71的特征72。因此避免了在关联期间的错误。
图6c示出了校正后图像51’、52’，其中将执行两点之间的路线75的距离测量。在左图像51’中，其为点73和71，它们各自位于建筑物的水平延伸线上。由于摄像头的对角设置，这些自然水平线在校正后图像中对角地延伸。因此，右图像52’中的点72、74可以唯一地与左图像51’中的点71、73相关联，由此也可以无错误地确定路径75的距离。
或者，当然也可以在没有事先校正的情况下进行匹配。在图1的传统装置的情况下，(标称)水平极线70则穿过多个相同外观的水平排列的特征72和72’。相反，使用来自图5的根据本发明的装置，极线有利地仅穿过特征72。
另选地，只有特定的关注点也可以彼此相关，而不是必须处理整个图像。例如，可以在用户选择关注点之后执行模板匹配。
图7例示了根据本发明的方法100的示例性实施方式，其用于借助于根据本发明的手持装置对远程对象进行基于图像的测量。
在步骤110中，首先借助于两个摄像头对对象的图像进行立体记录。可选地，可以同时执行到对象的距离测量130，以能够精确地缩放图像，并因此具有用于在图像中的测量的精确比例。
使用关于角度α的知识(即，关于立体基线相对于装置纵轴的相对对准，参见图4b)，以及可选地距离测量结果，在步骤140对立体记录的图像进行立体摄影测量分析。
同时，在步骤120中，在装置的显示单元上向用户显示对象的图像，这可以是例如摄像头的图像中的有个，或已编辑的图像。因此，用户在步骤150中基于该图像选择将要测量尺寸的某些路线或区域。这些尺寸在步骤160中通过在立体摄影测量分析后的图像中进行图像测量来确定，并最终在步骤170中在显示单元上显示给用户，并在步骤180中存储在装置的存储单元中。
在一个实施方式中，装置的分析单元被设计用于识别图像中的重复图案并从中得到重复真实特征的重复方向。这在图8a和图8b中示出。
图8a通过示例示出了由图1中的装置记录的对象的校正后图像51’。分析单元的算法将建筑物的窗口识别为重复特征77并且从其得到这些特征的重复方向78。
随后，确定重复方向78平行于极线70，这会在图像匹配期间导致错误，如图3b所示。在这种情况下，分析单元启动措施以结束这种并行性。尤其是，这些措施可以包括指示用户进行新的记录，在新的记录中该装置被不同地保持，具体地相对于最后记录进行倾斜。该指示可以优选地在显示单元上执行，此外，还可以触发声信号或振动。
作为示例，图8b示出了校正后图像51’，其中特征77的重复方向78与极线70之间的角度β足够大。这尤其可以是相对于图8a改变装置姿态的结果-或者是使用图5中的装置进行记录的结果。
分析单元优选地设计为确定重复方向78和极线70之间的角度β，并且如果角度β的值低于预定阈值则启动该措施。
图9示出了作为图7的方法100的部分200的进一步的步骤，其涉及图8a、图8b中所示的极线和重复方向的比较。
具体地，该方法部分200可以排布在图7所示的之前。开始于步骤210，其中，由装置的摄像头中的一个或两个记录图像，其中记录待测量对象的至少一个图像。在该图像中，重复对象特征被识别为重复图案(步骤220)并且与对极线进行比较(步骤230)。立体基线的已知角度α可用于此目的。如果重复方向和极线过度接近，即，如果角度β的值低于建立的阈值，则向用户输出不同地保持装置的处理指示(步骤240)。否则，可以执行图7中所示的方法。
图10示出了根据本发明的手持立体摄影测量装置1的另一示例性实施方式。该装置具有用于连接到外部电子装置的至少一个接口90、95，外部电子装置例如膝上型计算机2。在这里通过示例示出了用于建立有线连接92的插头接口90(例如，通过USB)和用于建立无线连接97的无线接口95(例如，借助于WLAN或蓝牙)。由摄像头3a、3b记录的图像的图像数据经由(有线或无线)连接92、97向膝上型计算机2发送，在那里对其进行立体摄影分析。该系统具有相应的软件，该软件还提供关于两个摄像头3a、3b的设置的信息项，并且为此目的安装在膝上型计算机2上。该软件优选地存储在装置1的存储单元19中并且通过(有线或无线)连接92、97向膝上型计算机2发送。其也可以在数据载体上或在云中提供。该实施方式的优点在于手持装置1不是必须具有单独的分析单元；显示单元也不是必须的。因此，所得到的装置1可以较紧凑并且较轻，并且可以以较少的技术支出来生产。
用户使用立体摄影测量装置1来记录图像，其数据被实时地或者在记录序列之后向膝上型计算机2传送。该软件被存储在存储单元19中并例如连同图像数据一起向膝上型计算机发送。。特别地，来自图7的方法100的步骤140-170可以是能够在该膝上型计算机上执行的。
显然，这些示出的附图仅示意性地示出了可能的示例性实施方式。各种方法也可以彼此组合并与现有技术的方法和装置组合。

Claims (15)

1.一种用于对远程对象(5)进行基于图像的测量的手持装置(1)，该手持装置(1)包括：
-具有正面(11)和背面(12)的壳体(10)；
-用于记录对象(5)的图像(51、52)的第一摄像头(3a)和第二摄像头(3b)，其被设置在该背面(12)上，具有作为彼此的固定间隔的立体基线(30)；
-分析单元，其具有用于对第一摄像头(3a)和第二摄像头(3b)的所述图像(51、52)进行立体摄影测量分析的算法；和
-显示单元(20)，其设置在该正面(11)上，用于显示所述对象(5)的图像(50)以及该立体摄影测量分析的结果，
其特征在于，该壳体(10)具有纵向轴线(15)，并且所述立体基线(30)相对于该纵向轴线(15)对角地对准，其中，该分析单元被设计为在立体摄影测量分析期间考虑所述立体基线(30)的相对对准。
2.根据权利要求1所述的装置(1)，其特征在于，在所述背面(12)设置有用于测量到所述远程对象(5)的距离的电子测距仪(4)，具体地该电子测距仪(4)被设计为激光测距仪，其中，所述分析单元设计为在所述立体摄影测量分析期间考虑所测量的距离。
3.根据权利要求1或2所述的装置(1)，其特征在于，所述立体基线(30)相对于所述纵向轴线(15)以至少20°的角度(α)设置，具体地以30°到60°之间的角度设置。
4.根据前述权利要求中任一项所述的装置(1)，其特征在于，所述装置(1)被设计为用户手持使用，以所述纵向轴线(15)大致水平的的方式来保持装置(1)以记录所述对象(5)的图像(51、52)。
5.根据前述权利要求中任一项所述的装置(1)，其特征在于，所述摄像头(3a、3b)被设置成使得立体基线(30)包括背面(12)的最大延伸的至少75％，具体地至少90％。
6.根据前述权利要求中任一项所述的装置(1)，其特征在于，输入装置，其设置在所述正面(11)，用于由用户输入数据和/或命令，具体地该输入装置：
-被实现为按钮(21)，或者所述显示单元(20)和所述输入装置被设计为触摸屏；且/或
-被设计为能够由用户标记或选择所述对象(5)的所述图像(50)中的像素(56、57)，其中，所述像素(56、57)对应于所述对象(5)的目标点(66、67)，并且所述分析单元被设计为确定与所选择的像素(56、57)对应的目标点(66、67)之间的距离(68)并将该距离(68)显示在显示单元上(20)。
7.根据前述权利要求中任一项所述的装置(1)，其特征在于，在用户触发之后自动运行的记录功能，在该记录的范围内：
-按时间顺序相关地，具体地同时地，所述第一摄像头(3a)记录所述对象(5)的第一图像(51)并且所述第二摄像头(3b)记录所述对象(5)的第二图像(52)，
-所述分析单元的所述算法通过特征识别并基于关于立体基线(30)的知识将第一图像(51)和第二图像(52)彼此关联，以及
-在所述显示单元(20)上显示所述对象(5)的所述图像(50)，具体地，将所述第一图像(51)和所述第二图像(52)彼此关联的处理包括：
-对所述图像(51、52)进行校正，并且
-对校正后图像(51’、52’)进行立体匹配，具体地通过半全局匹配法进行立体匹配。
8.根据前述权利要求中任一项所述的装置(1)，其特征在于，所述分析单元被设计为
-识别所述图像(51、52)中的至少一个图像中的重复图案并从中得到所述对象(5)的重复特征(77)的重复方向(78)，并且
-确定该重复方向(78)与极线(70)之间的角度β。
9.一种用于对远程对象(5)进行基于图像的测量的手持装置(1)，该手持装置(1)包括：
-具有正面(11)和背面(12)的壳体(10)；
-用于记录对象(5)的图像(51、52)的第一摄像头(3a)和第二摄像头(3b)，其被设置在该背面(12)上，具有作为彼此的固定间隔的立体基线(30)；
-分析单元，其具有用于对该第一摄像头(3a)和该第二摄像头(3b)的所述图像(51、52)进行立体摄影测量分析的算法；和
-显示单元(20)，其设置在该正面(11)上，用于显示所述对象(5)的图像(50)以及该立体摄影测量分析的结果，
其特征在于，所述分析单元被设计为
-识别所述图像(51、52)中的至少一个图像的重复图案并从中得到所述对象(5)的重复特征(77)的重复方向(78)，并且
-确定该重复方向(78)与极线(70)之间的角度β，
其中，分析单元被设计为如果该角度β的值低于预定阈值，则启动措施，其中，所述措施能够使得进一步记录所述对象(5)的所述图像(51、52)，在进一步记录的图像中达到或超过该预定阈值。
10.根据权利要求9的装置(1)，其特征在于，所述措施包括以下处理指示，该处理指示使用户针对所述进一步记录与先前记录相比对角地保持所述装置(1)，具体地，该处理指示显示在显示单元(20)上。
11.一种借助手持装置(1)来对远程对象(5)进行基于图像的的测量的方法(100)，具体地该手持装置(1)是根据前述权利要求中任一项所述的装置，所述方法包括以下步骤：
-由第一摄像头(3a)和第二摄像头(3b)对图像(51、52)进行立体记录(110)，并且
-对该第一摄像头(3a)和该第二摄像头(3b)的该图像(51、52)进行立体摄影测量分析(140)，
其特征在于，考虑已知角度α来执行对所述图像(51、52)的所述分析(140)，其中，所述第一摄像头(3a)和所述第二摄像头(3b)被设置在所述装置(1)上，具有作为彼此的固定间隔的立体基线(30)，该立体基线(30)相对于所述装置(1)的纵向轴线(15)以角度α对角地取向。
12.根据权利要求11的方法(100)，其特征在于：
-基于所述第一摄像头(3a)和所述第二摄像头的所述图像(51、52)中的至少一个图像，在所述装置(1)的显示单元(20)上显示(120)图像(50)，
-由用户选择(150)要测量的尺寸，
-基于所述立体摄影测量分析后的图像(51、52)进行对应于所述选择(150)的测量(160)，以及
-在显示单元(20)上输出(170)结果和/或将该结果存储(180)在所述装置(1)的数据存储单元中。
13.一种具有程序代码的计算机程序产品，该程序代码存储在机器可读载体上，用于通过手持装置(1)对远程对象(5)进行基于图像的的测量的方法，具体地该方法为根据权利要求11和12中任一项所述的方法，其中，所述程序在根据权利要求1至10中任一项所述的装置(1)的所述分析单元中执行并且至少包括以下步骤：
-第一摄像头(3a)和第二摄像头(3b)对图像(51、52)进行立体记录(110)，以及
-对第一摄像头(3a)和第二摄像头(3b)的图像(51、52)进行立体摄影测量分析(140)，
其中，考虑已知角度α来执行所述分析(140)，其中，所述第一摄像头(3a)和所述第二摄像头(3b)被设置在所述装置(1)上，具有作为彼此的固定间隔的立体基线(30)，使得该立体基线(30)相对于所述装置(1)的纵向轴线(15)以角度α对角地取向。
14.一种用于对远程对象(5)进行基于图像的测量的系统，该系统包括手持装置(1)和计算机程序产品，其中，该手持装置(1)包括：
-具有正面(11)和背面(12)的壳体(10)；
-用于记录对象(5)的图像(51、52)的第一摄像头(3a)和第二摄像头(3b)，其被设置在该背面(12)上，具有作为彼此的固定间隔的立体基线(30)；以及
-用于向外部电子装置(2)发送所记录的图像(51、52)的数字图像数据的数据接口(90、95)，
其中，所述计算机程序产品包括存储在机器可读载体上的程序代码，该程序代码具有用于对所述第一摄像头(3a)和所述第二摄像头(3b)的图像(51、52)进行立体摄影测量分析的算法，
其特征在于，所述壳体(10)具有纵向轴线(15)，并且所述立体基线(30)相对于该纵向轴线(15)对角地对准，其中所述程序代码
-包含有关所述立体基线(30)的相对对准的信息项，
-能够在外部电子装置(2)中执行，并且
-被设计为在立体摄影测量分析期间考虑所述立体基线(30)的相对对准。
15.根据权利要求14的系统，
其特征在于，手持装置(1)
-包括机器可读载体，具体地其中，该机器可读载体是永久安装的数据存储单元(19)，并且
-被设计为经由所述数据接口(90、95)向外部电子装置(2)发送所述程序代码。
CN201811373767.3A 2017-11-20 2018-11-19 手持装置、利用手持装置进行的基于图像的测量的方法 Active CN109813283B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17202630.4A EP3486606A1 (de) 2017-11-20 2017-11-20 Stereokamera und stereophotogrammetrisches verfahren
EP17202630.4 2017-11-20

Publications (2)

Publication Number Publication Date
CN109813283A true CN109813283A (zh) 2019-05-28
CN109813283B CN109813283B (zh) 2021-05-07

Family

ID=60421612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811373767.3A Active CN109813283B (zh) 2017-11-20 2018-11-19 手持装置、利用手持装置进行的基于图像的测量的方法

Country Status (3)

Country Link
US (1) US11509881B2 (zh)
EP (1) EP3486606A1 (zh)
CN (1) CN109813283B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3486607B1 (de) * 2017-11-20 2021-09-01 Leica Geosystems AG Bildbasierte kantenvermessung
DE102020127060A1 (de) 2020-10-14 2022-04-14 Thyssenkrupp Elevator Innovation And Operations Gmbh Verfahren zum Modellieren eines Aufzugschienensystems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100194860A1 (en) * 2009-02-03 2010-08-05 Bit Cauldron Corporation Method of stereoscopic 3d image capture using a mobile device, cradle or dongle
DE102013202658A1 (de) * 2013-02-19 2014-08-21 Frederic Ludley Verfahren und Vorrichtung zur Bestimmung der Abmessungen von Gegenständen
US20160037152A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Photography apparatus and method thereof
CN106382917A (zh) * 2015-08-07 2017-02-08 武汉海达数云技术有限公司 一种室内环境三维空间信息连续采集方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6038074A (en) * 1997-05-20 2000-03-14 Ricoh Company, Ltd. Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image
JP4480083B2 (ja) * 2005-02-23 2010-06-16 アイシン精機株式会社 物体認識装置
US8090194B2 (en) * 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
WO2008062407A2 (en) * 2006-11-21 2008-05-29 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
JP4931668B2 (ja) * 2007-03-29 2012-05-16 富士フイルム株式会社 複眼撮像装置
JP4856611B2 (ja) * 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
WO2011096251A1 (ja) * 2010-02-02 2011-08-11 コニカミノルタホールディングス株式会社 ステレオカメラ
JP5464280B2 (ja) * 2010-12-28 2014-04-09 コニカミノルタ株式会社 情報処理装置および情報処理方法
US20120274626A1 (en) * 2011-04-29 2012-11-01 Himax Media Solutions, Inc. Stereoscopic Image Generating Apparatus and Method
US9324190B2 (en) * 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
EP2846531A4 (en) * 2012-05-01 2015-12-02 Central Engineering Co Ltd STEREO CAMERA AND STEREO CAMERA SYSTEM
US9185387B2 (en) * 2012-07-03 2015-11-10 Gopro, Inc. Image blur based on 3D depth information
US20150009119A1 (en) * 2013-01-29 2015-01-08 Imimtek, Inc. Built-in design of camera system for imaging and gesture processing applications
US20140210950A1 (en) * 2013-01-31 2014-07-31 Qualcomm Incorporated Systems and methods for multiview metrology
US9609305B1 (en) * 2013-03-13 2017-03-28 Amazon Technologies, Inc. Feature-based rectification of stereo cameras
US9303982B1 (en) * 2013-05-08 2016-04-05 Amazon Technologies, Inc. Determining object depth information using image data
JP6144826B2 (ja) * 2013-06-11 2017-06-07 クアルコム，インコーポレイテッド データベース作成のための対話型および自動的３ｄオブジェクト走査方法
TWI486551B (zh) * 2013-10-21 2015-06-01 Univ Nat Taiwan Science Tech 三維資料擷取方法及其系統
EP2919067B1 (en) * 2014-03-12 2017-10-18 Ram Srikanth Mirlay Multi-planar camera apparatus
EP2918972B1 (de) 2014-03-14 2019-10-09 Leica Geosystems AG Verfahren und handhaltbares Entfernungsmessgerät zum Erzeugen eines Raummodells
US10049454B2 (en) * 2014-06-24 2018-08-14 Mantis Vision Ltd. Active triangulation calibration
WO2016024200A2 (en) * 2014-08-12 2016-02-18 Mantisvision Ltd. Structured light projection and imaging
US11019323B2 (en) * 2015-02-06 2021-05-25 Tara Chand Singhal Apparatus and method for 3D like camera system in a handheld mobile wireless device
EP3322959B1 (en) * 2015-07-13 2024-04-03 Renishaw Plc. Method for measuring an artefact
CN106709899B (zh) * 2015-07-15 2020-06-02 华为终端有限公司 双摄像头相对位置计算方法、装置和设备
US10587858B2 (en) * 2016-03-14 2020-03-10 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data
IL266041B (en) * 2016-10-18 2022-09-01 Photonic Sensors & Algorithms S L Device and method for obtaining distance information from a sight
US10109055B2 (en) * 2016-11-21 2018-10-23 Seiko Epson Corporation Multiple hypotheses segmentation-guided 3D object detection and pose estimation
US10726558B2 (en) * 2017-02-27 2020-07-28 Dolphin AI, Inc. Machine learning-based image recognition of weather damage
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100194860A1 (en) * 2009-02-03 2010-08-05 Bit Cauldron Corporation Method of stereoscopic 3d image capture using a mobile device, cradle or dongle
DE102013202658A1 (de) * 2013-02-19 2014-08-21 Frederic Ludley Verfahren und Vorrichtung zur Bestimmung der Abmessungen von Gegenständen
US20160037152A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Photography apparatus and method thereof
CN106382917A (zh) * 2015-08-07 2017-02-08 武汉海达数云技术有限公司 一种室内环境三维空间信息连续采集方法

Also Published As

Publication number Publication date
CN109813283B (zh) 2021-05-07
US20190158811A1 (en) 2019-05-23
US11509881B2 (en) 2022-11-22
EP3486606A1 (de) 2019-05-22

Similar Documents

Publication Publication Date Title
CN106871878B (zh) 手持测距装置及利用其创建空间模型的方法、存储介质
US8639025B2 (en) Measurement apparatus and control method
US10424078B2 (en) Height measuring system and method
CN103328926B (zh) 具有自动表征改变功能的测量装置
US9109889B2 (en) Determining tilt angle and tilt direction using image processing
CN104395692B (zh) 三维测定方法、装置、系统以及图像处理装置
WO2014002849A1 (ja) ３次元測定方法、装置及びシステム、並びに画像処理装置
JP2004163292A (ja) 測量装置と電子的記憶媒体
CN108351201A (zh) 物体测定装置及物体测定方法
CN112492292B (zh) 一种自由姿态的智能视觉3d信息采集设备
JP2005077385A (ja) 画像対応付け方法ならびに測量方法およびそれらを利用する計測システム
CN105387847A (zh) 非接触式测量方法、测量设备及其测量系统
CN109813283A (zh) 立体摄像头和立体摄影测量方法
WO2022257794A1 (zh) 可见光图像和红外图像的处理方法及装置
JP4649192B2 (ja) ステレオ画像作成方法及び３次元データ作成装置
JP2017151026A (ja) 三次元情報取得装置、三次元情報取得方法、及びプログラム
JP5987549B2 (ja) 建設部材の設置精度の測定システム及び方法
JP4764896B2 (ja) カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体
TW202001615A (zh) 一種利用點雲判斷岩石不連續面位態的方法
JP2002099902A (ja) 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体
JP2005270484A (ja) キャリブレーション方法
JP4550081B2 (ja) 画像測定方法
JP6448413B2 (ja) 屋根勾配推定システム及び屋根勾配推定方法
KR101475742B1 (ko) 사진 계측 장치 및 방법
JP2005351855A (ja) 傾き補正機能を備える３次元物体測量装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant