CN116499433A - 移动测量装置、测定其合适部署的方法和计算机程序产品 - Google Patents
移动测量装置、测定其合适部署的方法和计算机程序产品 Download PDFInfo
- Publication number
- CN116499433A CN116499433A CN202310097752.3A CN202310097752A CN116499433A CN 116499433 A CN116499433 A CN 116499433A CN 202310097752 A CN202310097752 A CN 202310097752A CN 116499433 A CN116499433 A CN 116499433A
- Authority
- CN
- China
- Prior art keywords
- measurement
- point cloud
- deployment
- environment
- measuring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004590 computer program Methods 0.000 title claims abstract description 6
- 238000005259 measurement Methods 0.000 claims abstract description 204
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 230000003287 optical effect Effects 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 21
- 238000012800 visualization Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 27
- 238000001514 detection method Methods 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012625 in-situ measurement Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
- G01C1/02—Theodolites
- G01C1/04—Theodolites combined with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
- G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Astronomy & Astrophysics (AREA)
- Computer Graphics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
移动测量装置、测定其合适部署的方法和计算机程序产品。本发明涉及一种用于测定移动测量装置(1)在测量环境(3)内的合适部署的方法,其中,使用视觉惯性系统(VIS)(6)并且在改变部署的范围内,在第一部署(4)自动地光学捕获(12)并跟踪包含第一对象特征(14)的第一测量环境(5)和包含第二对象特征(15)的第二测量环境(9)。比较第一测量环境(5)和第二测量环境(9),其中,该比较是基于在第一测量环境(5)和第二测量环境(9)中搜索以一定数量和质量可见的对应的第一对象特征(24)和第二对象特征(24)的,该一定数量和质量的对应的特征(24)是能够进行第一点云和第二点云的配准的标准。
Description
技术领域
本发明涉及一种用于测定移动测量装置在测量环境内的合适部署(deployment)的方法,其中,使用视觉惯性系统(visual inertial system,VIS)并且在改变部署的范围内,在第一部署自动地光学捕获并跟踪包含第一对象特征的第一测量环境和包含第二对象特征的第二测量环境。比较第一测量环境和第二测量环境,其中,该比较是基于在第一测量环境和第二测量环境中搜索以一定数量和质量可见的对应的第一对象特征和第二对象特征的,其中,该一定数量和质量的对应特征是能够进行第一点云和第二点云的配准(registration)的标准。
背景技术
自古以来就已知多种用于记录测量环境中的定义点的特性、特别是具有空间关系的数据的测量方法。在该过程中,将勘测装置的位置和对准以及到测量点的方向、距离和角度记录为空间标准数据。被提供用于高度准确的单独点测量的经纬仪或全站仪代表了这种坐标型勘测装置或测地装置的通常已知的例子。举例来说,现有技术的大地勘测装置例如在EP 1686350中进行了描述。另一类型的通用地面坐标测量装置涉及诸如激光扫描器的扫描装置,其被具体实施成记录非常大量的对象点,以便由此以点云的形式对例如建筑物或工件表面进行三维地图构建(map)。现代装置可以具有摄像头,该摄像头被对准瞄准方向和/或能够摇摄以用于捕获图像,所捕获的图像能够被显示、特别是作为实况图像被显示在显示控制单元的显示器上和/或所连接的外围装置(举例来说,如平板电脑)的显示器上。
原则上,这样的站坐标以及还有测量装置在该位置处的对准可以根据与测量环境中的已经被绝对参考的点有关的测量结果被计算为所谓的自由部署。现有技术已经公开了多种方法,这些方法促进了相应装置位置对于部署的参考。另外,多种方法被已知,借助于这些方法,测量环境的从不同部署的多个测量区域随后可以彼此相关或者与同一个参考系统相关,例如,在后处理内作为对3D点云的所谓的配准。
通常,无法从单个部署来对测量环境的整体进行勘测,例如,因为对象的一个或更多个侧面背离该装置,因为这些是成角度的测量环境(例如,建筑物中的多个房间)或者因为对象被其它对象部分地遮蔽。因此,单个部署通常是不够的;而相反,该装置必须从多个位置对测量环境进行勘测。这里,应当勘测所有相关的测量环境区域或者所有所需的对象点;即,应执行无间隙勘测。用户经常发现很难或者需要很多时间来决定哪些位置适合于部署(特别是如果需要非常大量的部署),以找到最优测量路径(随着勘测位置的连续进展),这避免了不必要的部署或者重复的勘测,而另一方面不会“遗漏”环境中的区域。
EP 1903303 B1提出了一种用于填充勘测间隙的方法,该方法包括以下步骤:通过激光扫描器从指定测量区域捕获主点云数据,识别没有捕获到数据的区域,通过附加图像记录设备从至少两个方向捕获没有捕获到数据的区域的互补图像数据,基于由附加图像记录设备获得的补充图像数据准备立体图像,通过基于立体图像的图像测量从没有捕获到数据的区域捕获补充点云数据,通过比较主点云数据与补充点云数据来补充主点云数据中的没有捕获到数据的区域。这里,该方法被提供用于后处理。从而,关于未捕获区域的原位信息或提前信息不可用。
激光扫描的典型配准(即,单独扫描到一个组合点云的组合)是在完成数据采集之后在办公室中使用后处理软件来执行的。当在办公室中时,通常是操作者第一次能够调查扫描项目的结果并检查数据采集的完整性。操作者可能识别出一些遗漏区域,并且他们可能不得不返回到现场并执行一些额外的扫描。有时,在项目位置远离办公室的情况下,它可能与相当长时间的驾驶相关联,因此,一些客户无论如何都想要避免。
如果在后处理期间证实由于重叠区域不足或其它原因而无法配准该扫描,那么不存在立即纠正的可能性,这是因为如上提及的,该评估不是在实地执行的。
在扫描已经被配准之后,执行对对象的简单测量通常仅在PC上是可行的。然而,这对于一些应用是不利的,诸如当在勘测期间创建的数据集是秘密的并且必须不离开该场所时。这意味着所有的决定、评估以及数据采集必须在实地执行,使得在上述的后处理中不能允许对对象的后续测量。
多个激光扫描的实地(in-field)预配准完全解决了昂贵的返工。在每次扫描之后,将在实地采集的数据与所采集的先前扫描数据自动配准。使所得到的组合点云在移动平板电脑上可视化。这允许用户立即调查捕获了什么数据和可能遗漏了什么数据,以最优地计划下一扫描器设置,并且最重要的是,当仍然在现场时执行完整性检查。
EP 3062066 A1公开了一种方法,该方法可以被用于提供勘测无人驾驶飞行器(unmanned aerial vehicle,UAV)的原位测量位置、或预先合适的测量位置。为此,借助于诸如全站仪或激光扫描器的地面勘测装置来测定对象的参考点,基于这些参考点,可以导出出于借助于UAV实际勘测对象的目的而要采用的UAV的测量位置。因此,可以使用这种非常具体且复杂的方法来预先测定用于勘测UAV的合适的勘测飞行路径。然而,该教导对于从多个位置的改进勘测或者对于借助于诸如激光扫描器或全站仪本身的移动测量装置找到改进的部署没有帮助。
发明内容
因此,本发明的目的是,提供一种用于测定移动测量装置在测量环境内的合适部署的方法,其消除了现有技术的缺陷。
本发明的另一目的是,提供一种用于执行所提及的方法的计算机程序产品。
而且,本发明的一个目的是,提供一种被用于所提及的方法的移动测量装置。
这些目的中的至少一个目的通过实现独立权利要求的表征特征来实现。以另选或有利方式开发本发明的特征可以从从属专利权利要求并且还从包括对附图的描述的说明书来收集。
本发明涉及一种用于测定移动测量装置在测量环境内的合适部署的方法,其中,从第一部署勘测第一测量区域,基于该勘测,将第一测量区域中的多个测量点确定为第一点云,并且使用视觉惯性系统(VIS)在第一部署自动地光学捕获并跟踪包含第一对象特征的第一测量环境。
出于将第一部署改变成第二部署的目的,使移动测量装置离开第一部署,并且从该第二部署勘测第二测量区域,其中,基于该第二勘测,将第二测量区域中的多个测量点确定为第二点云。在改变部署的范围内,使用VIS自动地光学捕获并跟踪包含第二对象特征的第二测量环境,并且比较第一测量环境和第二测量环境,其中,该比较是基于在第一测量环境和第二测量环境中搜索以一定数量和质量可见的对应的第一对象特征和第二对象特征的,其中,该一定数量和质量的对应特征是能够进行第一点云和第二点云的配准的标准。
这里描述的用于测定移动测量装置在测量环境内的合适部署的方法被描述为第一部署和第二部署的示例。它可以被用于任何数量的部署,并且不限于第一部署和第二部署。例如,在已经执行了四个部署的测量之后,可以将该方法用于测定合适的第五部署。
已经在部署改变期间执行了第一测量环境和第二测量环境的比较,其中,向用户通知关于在部署改变期间比较的结果。向用户通知如:能够进行第一点云和第二点云的点云配准,和/或不能进行第一点云和第二点云的点云配准。
在另一(开发的)实施方式中,向用户通知关于在部署改变期间比较的结果。向用户通知如:在第一测量环境和第二测量环境中仍存在以一定数量和质量可见的第一对象特征和第二对象特征,和/或在第一测量环境和第二测量环境中不再存在以一定数量和质量可见的第一对象特征和第二对象特征。
VIS正在检测图像流中的对象特征/点特征或者所谓的界标,并且从一个图像帧到下一个图像帧跟踪它们的位置。现在,当摄像头朝着建筑物移动时,所检测到的特征(例如,建筑物的角落、或者门或窗户)将从图像中心向外移动,这是因为建筑物在视场中正在变得更大。当摄像头从左向右旋转时,图像上的特征将接着从右向左移动。如果存在具有多个摄像头的VIS系统,则在旋转期间,特征也可以从一个摄像头的视场移动到另一摄像头的视场。因此,根据对象特征在图像流的帧之间的移动或者特征在不同的摄像头视场中的出现,VIS可以推导出摄像头在3D空间中的运动方向。
在连续过程中,算法从两个或更多个位置计算所跟踪的特征的3D坐标(地图构建),并且使用这些坐标来确定随后的位置(定位)。所生成的界标地图正在随着操作者沿着该轨迹移动而演变到下一个扫描器设置,并且充当整个定位算法的参考。从而,在该过程期间建立和维持的该地图对于保持漂移误差很小是必要的。
VIS提供移动的轨迹以及由VIS检测到的对象特征的数量和质量。因此,VIS扩展到全穹顶系统(full dome system)。在移动期间,例如,启用五个摄像头和一个惯性测量单元(Inertial Measurement Unit,IMU)(其中,IMU不是必须的而是可选的),以用于视觉-惯性定位(Visual-Inertial Localization),即,根据前一扫描站和下一扫描站计算姿态变换的六个自由度。VIS的目的是确定两个连续扫描器设置之间的相对位置和取向。自动计算六个自由度,而不需要任何用户交互。基于相对定位,可以将第二点云变换到第一点云的坐标系中。这种初始预对准对于初步用户检查和利用ICP(Iterative Closest Point,迭代最近点)算法的自动调整是非常有价值的。将连续扫描站的增量姿态(delta-pose)存储为每一个作业的元数据。VIS的工作原理是视觉SLAM(同时定位和地图构建,SimultaneousLocation And Mapping)。它可以将来自一个或更多个(优选为五个)摄像头的视觉信息与来自可选的IMU的惯性测量结果相结合,从而产生高度鲁棒且准确的姿态估计系统。
一旦以第一设置收集了扫描,VIS算法就识别从一个或更多个(五个)摄像头流传输的第一图像集合的视觉特征。由于3D引擎和VIS摄像头的相对校准,这些点可用作3D点。该第一3D点集合在VIS流传输中的后交集(back intersection)给出了作为VIS跟踪的起始点的所计算的扫描器的位置。
还可以想到将由VIS光学捕获的数据与装置上的其它传感器结合,主要与罗盘结合,可选地与全球导航卫星系统(Global Navigation Satellite System,GNSS)或LIDARSLAM结合。如果存在像IMU或GNNS这样的其它传感器,那么也可以在移动或部署改变期间进行VIS初始化,这是因为可以使这些特征的移动与这些传感器的移动相关。
VIS技术不对激光扫描工作流程增加任何约束,这意味着操作者不受某些附加规则影响,比如以特定方式携带激光扫描器。即使装置的一侧被例如操作者的身体挡住,VIS技术也仍能工作。从根本上说,这是装置中内置多于一个VIS摄像头的主要理由。而且,自动预配准处理是以这样的方式实时地执行的,即,操作者在执行扫描之后立即获得所呈现的结果。
对于配准,需要点云重叠。如果在光学捕获的第一测量环境中以及在光学捕获的第二测量环境中可以看见一定数量和质量的对象特征,则满足该要求。
在另一实施方式中,基于对第一点云和第二点云的点云配准的可能性的自动分析,检查移动测量装置在移动范围内采用的位置对于部署、特别是对于第二部署以及下一个部署的适合性。
优选地,考虑到对于第二部署和下一个部署的适合性,即,在第一部署之后或作为第一部署的直接后继来执行这样的检查。从而,位置的自动“实况”检查可以确保对测量环境的连续邻接测量区域进行勘测,而在这些测量区域之间不会出现测量间隙。
在另一实施方式中,连续地执行处理,其中,在该处理的范围中,连续地实现包含第一对象特征的第一测量环境和包含第二对象特征的第二测量环境的光学捕获,和/或基于连续捕获的第一测量环境和第二测量环境,连续地更新所捕获的第一对象特征和第二对象特征。对第一测量环境和第二测量环境的比较、和/或对所捕获的第一对象特征和第二对象特征的比较、和/或对第一点云和所二点云的点云配准的可能性的自动分析、和/或针对对于部署的适合性的检查是连续执行的。
在另一实施方式中,一旦位置被确定为不适于部署,就在所述方法的范围内输出用户警告。在这种情况下,下一个可能的步骤是在轨迹上标记能够进行与先前扫描配准的最后位置。因此,可以通知用户并将用户引导回该地点。
在另一实施方式中,在所述方法的范围内并且基于所述检查的结果,
●用于勘测第二测量区域的合适的和/或不合适位置和/位置区,和/或
●第一对象特征和第二对象特征以一定数量和质量在第一测量环境和第二测量环境中的可见性,和/或
●覆盖间隙在第一点云和第二点云中的存在特别是借助于以下项被建立和提供作为用户输出:声学信号、和/或振动信号、和/或光学信号,特别是测量环境的图形地图上的可视化。
IMU提供对加速度和角速率的测量,该加速度和角速率被积分以在第一步骤中导出速度并最终导出装置的位置和取向。由于这些测量受到测量误差的影响,因此,积分导致所导出量的显著漂移。由于在该方法中缺少作为总体参考的地图,因此与VIS相比,所得到的漂移显著更高。尽管仅基于IMU无法实现最优结果,但是来自IMU的数据可以与图像测量结果融合并支持VIS。
通过立即(on-the-fly)分析点云数据(优选地下采样的),可以检测由遮蔽而造成的可能间隙。结果是,可能的点云间隙可以引起用户的注意,并且用户可以被引导到最优位置以使该间隙闭合。
如前所述,在轨迹上标记能够进行与先前扫描配准的最后位置。因此,可以通知用户并将用户引导回该地点。
在另一实施方式中,还基于至少一个指定优化标准来实现测定对于最优部署的合适位置。
在另一实施方式中,所述优化标准涉及
@以与所述第一测量区域的限定重叠,将第二测量区域无间隙地接合至第一测量区域,和/或
·按照以下项勘测第一测量区域和第二测量区域
ο尽可能少的部署,和/或
ο尽可能少的时间开销,和/或
ο部署之间的最短可能路径,和/或
ο部署相对彼此的最大可能几何准确度,和/或
ο尽可能等距的部署,
●具有尽可能均一的点密度的第一点云和第二点云。
因此,利用该构思,可以最小化配准所需的扫描位置的数量。所提供的信息允许用户选择用于扫描的好地点并减少必要扫描位置的数量。还支持实地导航。
在另一实施方式中,以下项的数据被实时上传至云,并且在它们上传之后可以在任何时间从云下载:
●对第一测量环境和第二测量环境的光学捕获,
●对光学捕获的第一测量环境和第二测量环境的比较,
●第一点云和第二点云,
●对第一点云和第二点云的分析,
●对部署适合性的检查,
·用于勘测测量区域的合适的和/或不合适的位置和/位置区。
在另一实施方式中,从先前扫描活动导出的和/或预先计算的参考轨线的数据被从云下载和/或已经被保存在移动测量装置上,其中,用户和/或移动测量装置选择(该移动测量装置能够独立地/自动地选择至少一个参考轨线,所述至少一个参考轨线被认为适合于满足已经提及的尽可能多的优化标准)这些参考轨线中的至少一个,其中,将所选择的参考轨线与移动测量装置的移动进行比较,其中,所述比较通过向用户提供用户输出,特别是借助于以下项,来辅助用户导航通过测量环境:声学信号、和/或振动信号、和/或光学信号、特别是在用户离开参考轨线时在测量环境的图形地图上的可视化。
从现场的已知位置开始,系统可以将其当前移动与参考轨线进行比较。该参考可以从先前扫描活动中导出,或者在办公室或云中预先计算并发送给装置。基于两个轨迹的差异,导航是可能的。
在另一实施方式中,数据同时从多个移动测量装置上传至云和从云下载,其中,这些多个测量装置被使用并且被协调以用于勘测测量环境(并因此实现勘测过程的时间节省)。
操作者可以被引导到建筑物的内部和外部。这允许在现场使用不同的装置和装置类型。云中的实时数据处理可以计算新的扫描位置并将引导数据直接发送到装置。
在另一实施方式中,部署之间的距离和/或移动测量装置与测量环境中的所测量的对象特征之间的距离和/或测量环境中的所测量的对象特征之间的距离是通过机器学习、特别是通过卷积神经网络来确定的,其中,移动测量装置与测量环境中的所测量的对象特征之间的距离和/或测量环境中的所测量的对象特征之间的距离是以下标准:能够进行第一点云和第二点云的点云配准,特别是移动测量装置与所测量的对象特征之间的大距离和/或所测量的对象特征之间的大距离指示第一点云和第二点云中的覆盖间隙。
通过使用VIS,可以跟踪扫描位置之间的距离以及到所测量的对象的距离(例如,通过使用VIS的初始特征)。将用户引导到与同时控制的对象距离的几乎等距的位置可以产生具有均一点密度和优化数量的扫描位置的已配准点云。
在另一实施方式中,所述数量和质量的对应的第一对象特征和第二对象特征被用于优化所述部署,其中
·增加数量的对应的对象特征促进第一点云和第二点云经由用于粗配准的基于特征的方法的配准,
●粗配准借助于算法、特别是迭代最近点算法(iterative closest pointalgorithm,ICP)来提供用于精配准的足够准确的初始值,
·对应的第一对象特征和第二对象特征的光学捕获的质量是通过对第一测量环境和第二测量环境的图像中的对应于第一对象特征和第二对象特征的像素进行计算和匹配来确定的,其中,在像素数量方面的高度匹配对应于对应的第一对象特征和第二对象特征的高质量光学捕获,
@通过质量提高的对应的第一对象特征和第二对象特征,促进借助于算法、特别是迭代最近点算法(ICP)的精配准。
本发明还涉及一种具有被存储在机器可读载体上、特别是移动测量装置的被配置为控制和评估单元的电子数据处理单元上的程序代码的计算机程序产品,该计算机程序产品用于至少执行上述方法的下列步骤。
这些步骤包括:使用VIS在第一部署光学捕获并跟踪包含第一对象特征的第一测量环境;将第一测量区域中的多个测量点确定为第一点云;以及从第二部署勘测第二测量区域,其中,基于该第二勘测,将第二测量区域中的多个测量点确定为第二点云。进一步的步骤是:在改变移动测量装置的部署的范围内,使用VIS来光学捕获并跟踪包含第二对象特征的第二测量环境;对第一测量环境和第二测量环境进行比较,其中,该比较是基于在第一测量环境和第二测量环境中搜索以一定数量和质量可见的对应的第一对象特征和第二对象特征的,其中,该一定数量和质量的对应的特征是能够进行第一点云和第二点云的配准的标准;以及在部署改变期间执行第一测量环境和第二测量环境的比较。向用户通知关于在部署改变期间比较的结果,其中,向用户通知如:能够进行第一点云和第二点云的点云配准,和/或不能进行第一点云和第二点云的点云配准。
本发明还涉及移动测量装置,该移动测量装置包括:被具体实施为VIS以捕获包含对象特征的测量环境的一个或更多个光学单元;以及部署检查功能。
当执行部署检查功能时,包括以下步骤:借助于使用VIS的所述一个或更多个光学单元,在第一部署光学地捕获并跟踪包含第一对象特征的第一测量环境;将第一测量区域中的多个测量点确定为第一点云;以及从第二部署勘测第二测量区域,其中,基于该第二勘测,将第二测量区域中的多个测量点确定为第二点云。
部署检查功能的进一步步骤包括:在改变移动测量装置的部署的范围内,使用VIS来光学捕获并跟踪包含第二对象特征的第二测量环境;对第一测量环境和第二测量环境进行比较,其中,该比较是基于在第一测量环境和第二测量环境中搜索以一定数量和质量可见的对应的第一对象特征和第二对象特征的,其中,该一定数量和质量的对应特征是能够进行第一点云和第二点云的配准的标准;在部署改变期间执行第一测量环境和第二测量环境的比较。
向用户通知关于在部署改变期间比较的结果,其中,向用户通知如:能够进行第一点云和第二点云的点云配准,和/或不能进行第一点云和第二点云的点云配准。
导航和间隙检测的基本思想也可以被用于自主扫描装置或移动地图构建。除了VIS之外,还可以使用LIDAR SLAM。
附图说明
图1:被配置为激光扫描器的移动测量装置在从第一部署对室内环境进行勘测期间的实施方式。
图2:由第一测量位置覆盖的第一测量区域在平面图上的可视化。
图3:借助于该VIS对第一测量环境和被包含在该第一测量环境中的第一对象特征的光学捕获的可视化。
图4:借助于该VIS对第二测量环境和被包含在该第二测量环境中的第二对象特征的光学捕获的可视化。
图5:在到达或离开用于进一步测量的合适位置时的用户输出的可视化。
图6:部署改变期间的光学捕获在平面图上的可视化。
图7:由第二测量位置覆盖的第二测量区域在平面图上的可视化。
图8:用于测量环境的完全检测的进一步可想到的部署的可视化。
图9:从云下载或者已经被保存在装置上的一个参考轨线的可视化。
图10:间隙检测在平面图上的可视化。
具体实施方式
图1描绘了移动测量装置1(在该示例中被具体实施为激光扫描器)在从第一部署4对室内环境进行勘测25期间的示例性实施方式。除了勘测25之外,还使用视觉惯性系统(VIS)6自动地光学捕获12并跟踪包含第一对象特征14的第一测量环境5。这种对象特征可以是与众不同的、可识别的特征,诸如角落、边缘等。
这里被示出为激光扫描器的移动测量装置1的实施方式纯粹是示例性的,并且从现有技术中已知可能的修改例。例如在大地勘测的范围内利用可执行单独点测量的全站仪或电子测速仪是这种装置的另一些示例。
借助于射束操纵单元的旋转,由测量射束沿着竖直圆周(verticalcircumference)扫描测量环境3的表面。借助于上部相对于基座的旋转,这些圆周连续地扫描整个房间。这种测量的全体测量点被称为扫描25,并且例如可以产生点云。
在每种情况下借助于移动测量装置1对环境3的勘测创建了对特定记录对象的扫描,或者更一般地说,以协调的方式测量对象点。在此,经常存在无法通过单次扫描或者从单个位置4(例如,建筑物的成角度的内部或多个房间)捕获的记录对象或测量环境3。为了对这样的记录对象和测量环境进行勘测,依靠自动地检查位置对于部署的适合性,利用如基于所附附图描述的根据本发明的方法来辅助用户。
图2描绘了由第一测量位置4覆盖的第一测量区域2在测量环境3的平面图上的可视化。将激光扫描器设置在多个房间中的一个房间中的第一测量位置4处。将第一测量环境5(测量环境3的第一部分)的表面(即,墙壁、地板以及天花板)(在图中由粗黑线表示)连续地扫描为第一测量区域2(灰色阴影区域),其中,作为结果可能出现第一点云。
图3描绘了在部署改变11期间借助于VIS 6对第一测量环境5和被包含在该第一测量环境中的第一对象特征14的光学捕获12的可视化。用户10携带装置1以便能够测量测量环境3的除第一测量环境5外的其它遗漏部分。在部署改变11期间,对象特征14也由VIS 6进行光学检测。在该图中,房间的角落和走廊的两个角落被检测为对象特征14。还可以想到其它特征,这些其它特征可以被清楚地识别并且适合于将例如走廊与墙壁的其余部分区分开。
图4描绘了在部署改变11期间借助于VIS 6对第二测量环境9和被包含在该第二测量环境中的第二对象特征15的光学捕获12的可视化。用户10仍然携带装置1进入第二测量环境9。第二对象特征15也由VIS 6进行光学捕获12。然后,从所捕获的对象特征14、15中搜索对应的第一对象特征24和第二对象特征24(这里被示出为走廊的两个角落)。如果对应的第一对象特征24和第二对象特征24(对象特征14的子集)在第一测量环境(5)和第二测量环境(9)中以一定数量和质量(表述“一定”并非是指必须正好是该数量的对象特征,而是必须是最小数量的对象特征)可见(其中,该一定数量和质量的对应特征24是能够进行第一点云和第二点云的配准的标准),则在部署改变11期间向用户10通知如能够进行或者不能进行第一点云和第二点云的点云配准。基于对第一点云和第二点云的点云配准的可能性的自动分析,检查装置1在移动11的范围内采用的位置对于部署、特别是对于第二部署8以及下一个部署13的适合性。在该自动分析的范围内,增加数量的对应的对象特征24促进经由用于粗配准的基于特征的方法对第一点云和第二点云的配准。
粗配准不必须是基于特征的,因为VIS总是提供位移矢量并且连续地提供从起点开始的位置。从而,总是可以进行粗略对准。然而,只有当存在点云重叠时,精配准才是可能的,为此,对应特征24是重要的。
该粗配准借助于算法、特别是迭代最近点算法(ICP)来提供用于精配准的足够准确的初始值,对应的第一对象特征24和第二对象特征24的光学捕获12的质量是通过对第一测量环境5和第二测量环境9的图像中的对应于第一对象特征和第二对象特征的像素进行计算和匹配来确定的,其中,在像素数量方面的高度匹配对应于对应的第一对象特征24和第二对象特征24的高质量光学捕获12。如果高质量的对应的第一对象特征24和第二对象特征24被配准,则利用点云数据执行借助于算法、特别是迭代最近点算法(ICP)的精配准。
图5描绘了在到达或离开用于勘测第二测量环境9的合适位置时的用户输出23的可视化。在该位置,不能进行第一点云和第二点云的点云配准。建立用于勘测与第一测量区域2没有间隙的第二测量区域7的合适位置,并将该合适位置作为声信号来提供。然而,也可以是对应特征24的数量变得非常低的情况。因此,在离开重叠区域之前警告用户。由于路径11被连续地记录,因此,如果用户已经离开了可以进行配准的区域,那么还可以引导用户返回。
图6描绘了在部署改变11期间的光学捕获12在平面图上的可视化。出于改变部署的目的,激光扫描器沿着路径11从第一部署(测量位置)4移动到位置26。这里,例如在激光扫描器的部署测定功能的范围内,在该示例中测量环境3是经由VIS从位置26来进行光学捕获12的。为了更简单的例示,在该示例中仅在位置26处捕获测量环境3;然而,在该方法的范围内,从测量位置4开始,在改变部署的范围内,沿着路径11连续地捕获测量环境。优选地,连续地执行对第一点云和第二点云的点云配准的可能性的分析,使得检查多个位置对于部署的适合性,或者连续地监测相应的当前位置的适合性。
图7描绘了由位置26上的第二部署覆盖的第二测量区域7(有点部分)在平面图上的可视化。第一测量环境5和第二测量环境9被理解为例如应当被勘测(即,扫描)的环境区域(任务区域)。在示例中,这是已经扫描的第一测量区域2(有格子花部分)以及到两个较小房间16、17的通道区域9。因此,第一测量区域2可以被视为部分区域或任务区域的子集。在示例中,第一测量环境5和第二测量环境9(大房间5和通道区域9)都是由VIS从位置26光学捕获的。然后,从所捕获的第一测量环境5和第二测量环境9中搜索在该第一测量环境5和第二测量环境9中以一定数量和质量可见的对应的第一对象特征24和第二对象特征24。如果该一定数量和质量的对应特征24可见,则能够进行第一点云和第二点云的配准。因此,可以测量整个任务区域而没有间隙,如图7所示。
然而,如图8所描绘的,用户10和装置1继续其移动11并到达位置/部署13。在部署改变11期间并且从该位置13执行对测量环境3的进一步光学捕获12。已经在到该位置13的路径上执行了图像捕获、特征检测、特征跟踪以及路径11的计算。光学捕获12以及基于对应的第一对象特征24和第二对象特征24对所捕获的第一测量环境5与第二测量环境9的比较进一步示出了能够进行第一点云和第二点云的配准,并因此任务区域(5加9)的无间隙测量是可能的。也可以从位置13勘测房间16的一部分。从而,利用第二勘测可以从位置13覆盖比从位置26更大的区域。因此,基于具有尽可能少部署的指定优化标准,与位置26相比,位置13被建议给用户10作为第二部署8的更优位置。然而,为了完全覆盖测量环境3,必须进入房间16和17(虚线箭头)。
图9描绘了从云下载或者已经被保存在装置上的一个参考轨线18的可视化。从先前扫描活动导出的和/或预先计算的参考轨线18的数据被从云下载和/或已经被保存在移动测量装置1上。然后,用户10选择参考轨线18中的至少一个参考轨线。用户10在测量环境3中从第一部署4进行移动以便完全测量该测量环境。例如,将所选择的参考轨线18与移动测量装置1的移动11进行比较。如果用户10在移动11期间偏离参考轨线18或者将装置部署在不合适的位置,则经由用户输出23(例如,声信号或振动信号)来通知用户10,并将该用户引导回参考轨线18。举例来说,用户10还可以在平板电脑上看到测量环境3的地图,在该地图上标记有参考轨线18、他自己的轨线11以及最优部署4、19、20、21。这样,用户10通过导航而得到支持,并且可以快速地找到他通过测量环境3的路径,遵循参考轨线18,并因此以节省时间的方式执行具有最优部署和引导路径的勘测。
除了确定最小数量部署或者最优部署之外,另一应用可以是将用户引导到特定位置以特定分辨率(再次)扫描和/或捕获图像。办公室中的操作者可以立即分析正被实况流传输到云的数据。通过使用从云发送到测量装置的目标轨线,可以将现场的用户直接引导到一位置。
图10描绘了间隙检测在平面图上的可视化。来自扫描位置28的扫描覆盖范围27被标记为有点区域。白色区域尚未被覆盖。为了间隙检测,将边缘/对象特征检测为相邻扫描点/对象特征29具有非常不同距离30的区域(表述“相邻”是指光学捕获的扫描点/对象特征29位于从最靠近所述装置的光学捕获的扫描点/对象特征上的扫描位置28开始的线32上,扫描点/对象特征29之间的距离可以改变)。距离差30越大,潜在间隙31就越大。对象特征之间的距离可以通过使用机器学习、特别是通过卷积神经网络来估计。该估计被改进,并且通过利用连续图像对网络进行训练来减少误差。例如,可以使用已知距离的三个点的图案来计算初始距离,其中,摄像头必须垂直于这些点。随后,将摄像头放置在距对象的已知距离处(以图像为中心)。然后,对所检测到的面的像素进行计数;最后,利用这些数据,建立关系以计算当在来自摄像头的不同位置的未来图像中检测相同对象时的距离。
在本发明中,如果还存在从图像中提取的对象特征可用作扫描点的点云(对于由VIS跟踪的对象特征,到装置的距离以及对象特征之间的距离总是已知的),则对象特征的距离就被准确地已知。摄像头和测量系统彼此被校准,这允许明确的匹配。可以将该数据用于改进卷积神经网络。
尽管上面部分参照一些优选实施方式例示了本发明,但是必须理解,可以做出这些实施方式的许多修改例和不同特征的结合。这些修改例全部落入所附权利要求的范围内。
Claims (15)
1.一种用于测定移动测量装置(1)在测量环境(3)内的合适部署的方法,其中
-从第一部署(4)勘测第一测量区域(2),
-基于该勘测(25),将所述第一测量区域(2)中的多个测量点确定为第一点云,
-使用视觉惯性系统VIS(6)在所述第一部署(4)处自动地光学捕获(12)并跟踪包含第一对象特征(14)的第一测量环境(5),
-出于将所述第一部署(4)改变成第二部署(8)的目的,使所述移动测量装置(1)离开所述第一部署,并且从该第二部署(8)勘测第二测量区域(7),其中,基于该第二勘测,将所述第二测量区域(7)中的多个测量点确定为第二点云,
-在改变所述部署的范围内,使用所述VIS(6)自动地光学捕获(12)并跟踪包含第二对象特征(15)的第二测量环境(9),
-比较所述第一测量环境(5)和所述第二测量环境(9),其中,所述比较是基于在所述第一测量环境(5)和所述第二测量环境(9)中搜索以一定数量和质量可见的对应的第一对象特征(24)和第二对象特征(24)的,其中,该一定数量和质量的对应的特征(24)是能够进行所述第一点云和所述第二点云的配准的标准,
-在所述部署改变(11)期间执行所述第一测量环境(5)和所述第二测量环境(9)的所述比较,
-向用户(10)通知关于在所述部署改变(11)期间所述比较的结果,其中,所述用户(10)被通知
■能够进行所述第一点云和所述第二点云的点云配准,和/或
■不能进行所述第一点云和所述第二点云的点云配准。
2.根据权利要求1所述的方法,
其特征在于
向所述用户(10)通知关于在部署改变(11)期间所述比较的结果,其中,所述用户(10)被通知
■在所述第一测量环境(5)和所述第二测量环境(9)中仍存在以一定数量和质量可见的第一对象特征(14)和第二对象特征(15),和/或
■在所述第一测量环境(5)和所述第二测量环境(9)中不再存在以一定数量和质量可见的第一对象特征(14)和第二对象特征(15)。
3.根据权利要求1或2所述的方法,
其特征在于
基于对所述第一点云和所述第二点云的所述点云配准的可能性的自动分析,检查所述移动测量装置(1)在所述移动(11)的范围内采用的位置对于部署、特别是对于第二部署(8)以及下一个部署(13)的适合性。
4.根据权利要求1至3中的任一项所述的方法,
其特征在于
连续地执行处理,其中,在所述处理的范围中,
-连续地执行对包含第一对象特征(14)的所述第一测量环境(5)和包含第二对象特征(15)的所述第二测量环境(9)的光学捕获(12),和/或
-基于连续捕获的第一测量环境(5)和第二测量环境(9),连续地更新所捕获的第一对象特征(14)和第二对象特征(15),和/或
-连续地执行对所述第一测量环境(5)和所述第二测量环境(9)的比较,和/或
-连续地执行对所捕获的第一对象特征(14)和第二对象特征(15)的比较,和/或
-连续地执行对所述第一点云和所述第二点云的所述点云配准的可能性的自动分析,和/或
-连续地执行对于所述部署的适合性的检查。
5.根据权利要求3和4所述的方法,
其特征在于
一旦将位置确定为不适于部署,就在所述方法的范围内输出用户警告。
6.根据前述权利要求中的任一项所述的方法,
其特征在于
在所述方法的范围内并且基于所述检查的结果,
-用于勘测所述第二测量区域的合适的和/或不合适的位置和/位置区,和/或
-所述第一对象特征(14)和第二对象特征(15)以一定数量和质量在所述第一测量环境(5)和所述第二测量环境(9)中的可见性,和/或
-所述第一点云和所述第二点云中的覆盖间隙的存在,
被建立和提供为用户输出(23),特别是借助于
-声学信号,和/或
-振动信号,和/或
-光学信号,特别是在所述测量环境的图形地图上的可视化。
7.根据前述权利要求中的任一项所述的方法,
其特征在于
还基于至少一个指定优化标准来实现测定对于最优部署的合适位置。
8.根据权利要求7所述的方法,
其特征在于
所述优化标准涉及
-以与所述第一测量区域(2)的限定重叠,将所述第二测量区域(7)无间隙地接合至所述第一测量区域(2),和/或
-通过以下来勘测所述第一测量区域(2)和所述第二测量区域(7)
□尽可能少的部署,和/或
□尽可能少的时间开销,和/或
□所述部署之间的最短可能路径、和/或
□所述部署相对彼此的最大可能几何准确度、和/或
□尽可能等距的部署,
-具有尽可能均一的点密度的第一点云和第二点云。
9.根据前述权利要求中的任一项所述的方法,
其特征在于
以下项的数据被实时上传至云,并且在被上传之后能够在任何时间从所述云下载:
-对所述第一测量环境(5)和所述第二测量环境(9)的光学捕获(12),
-对光学捕获的第一测量环境(5)和第二测量环境(9)的比较,
-所述第一点云和所述第二点云,
-对所述第一点云和所述第二点云的分析,
-所述部署适合性的检查,
-用于勘测所述测量区域(2、7)的合适的和/或不合适的位置和/位置区。
10.根据前述权利要求中的任一项所述的方法,
其特征在于
从先前扫描活动导出的和/或预先计算的参考轨线(18)的数据被从所述云下载和/或已经被保存在所述移动测量装置(1)上,其中,所述用户(10)和/或所述移动测量装置(1)选择所述参考轨线(18)中的至少一个参考轨线,其中,将所选择的参考轨线(18)与所述移动测量装置(1)的所述移动(11)进行比较,其中,所述比较通过向所述用户(10)提供用户输出(23),特别是借助于以下项,来辅助所述用户(10)导航通过所述测量环境(3):
-声学信号,和/或
-振动信号,和/或
-光学信号,特别是当所述用户离开所述参考轨线时在所述测量环境(3)的图形地图上的可视化。
11.根据权利要求9和10所述的方法,
其特征在于
所述数据同时从多个移动测量装置被上传至所述云和从所述云下载,其中,这些多个测量装置被使用并且协调以用于对所述测量环境(3)的所述勘测。
12.根据前述权利要求中的任一项所述的方法,
其特征在于
-所述部署之间的距离,
-所述移动测量装置(1)与所述测量环境(5、9)中的所测量的对象特征(14、15)之间的距离,
-所述测量环境(5、9)中的所测量的对象特征(14、15)之间的距离
是通过机器学习、特别是通过卷积神经网络来确定的,其中,所述移动测量装置(1)与所述测量环境(5、9)中的所测量的对象特征(14、15)之间的距离和/或所述测量环境(5、9)中的所测量的对象特征(14、15)之间的距离是以下标准:能够进行所述第一点云和所述第二点云的点云配准,特别是所述移动测量装置(1)与所测量的对象特征(14、15)之间的大距离和/或所测量的对象特征(14、15)之间的大距离指示所述第一点云和所述第二点云中的覆盖间隙。
13.根据前述权利要求中的任一项所述的方法,
其特征在于
所述数量和质量的对应的第一对象特征(24)和第二对象特征(24)被用于优化所述部署,其中
●数量增加的对应的对象特征(24)促进经由用于粗配准的基于特征的方法对所述第一点云和第所述二点云的所述配准,
●所述粗配准借助于算法、特别是迭代最近点算法(ICP)来提供用于精配准的足够准确的初始值,
●对应的第一对象特征(24)和第二对象特征(24)的光学捕获的质量是通过对所述第一测量环境(5)和所述第二测量环境(9)的对应于第一对象特征和第二对象特征的图像中的像素进行计算和匹配来确定的,其中,在像素数量方面的高度匹配对应于对应的第一对象特征(24)和第二对象特征(24)的高质量光学捕获(12),
●通过质量提高的对应的第一对象特征(24)和第二对象特征(24),促进借助于算法、特别是迭代最近点算法(ICP)的精配准。
14.一种计算机程序产品,所述计算机程序产品具有被存储在机器可读载体上、特别是移动测量装置(1)的被配置为控制和评估单元的电子数据处理单元上的程序代码,所述程序代码用于至少执行根据权利要求1所述的方法的下列步骤:
-使用视觉惯性系统VIS(6)在第一部署(4)光学捕获(12)并跟踪包含第一对象特征(14)的第一测量环境(5),
-将所述第一测量区域(2)中的多个测量点确定为第一点云,
-从第二部署(8)勘测第二测量区域(7),其中,基于该第二勘测,将所述第二测量区域(7)中的多个测量点确定为第二点云,
-在改变所述移动测量装置(1)的所述部署的范围内,使用VIS(6)来光学捕获(12)并跟踪包含第二对象特征(15)的第二测量环境(9),
-比较所述第一测量环境(5)和所述第二测量环境(9),其中,所述比较是基于在所述第一测量环境(5)和所述第二测量环境(9)中搜索以一定数量和质量可见的对应的第一对象特征(24)和第二对象特征(24)的,其中,该一定数量和质量的对应的特征(24)是能够进行所述第一点云和所述第二点云的配准的标准,
-在所述部署改变(11)期间执行所述第一测量环境(5)和所述第二测量环境(9)的比较,
-向用户(10)通知关于在所述部署改变(11)期间所述比较的结果,其中,所述用户(10)被通知
■能够进行所述第一点云和所述第二点云的点云配准,和/或
■不能进行所述第一点云和所述第二点云的点云配准。
15.一种移动测量装置(1),
其特征在于
所述移动测量装置(1)包括:
-一个或更多个光学单元,所述一个或更多个光学单元被具体实施为视觉惯性系统VIS(6),以捕获包含对象特征(14、15)的测量环境(3),以及
-部署检查功能,
其中,在执行所述部署检查功能时自动地执行以下步骤:
-借助于使用所述VIS(6)的所述一个或更多个光学单元,在第一部署(4)光学捕获(12)并跟踪包含第一对象特征(14)的第一测量环境(5),
-将所述第一测量区域(2)中的多个测量点确定为第一点云,
-从第二部署(8)勘测第二测量区域(7),其中,基于该第二勘测,将所述第二测量区域(7)中的多个测量点确定为第二点云,
-在改变所述移动测量装置(1)的所述部署的范围内,使用所述VIS(6)来光学捕获(12)并跟踪包含第二对象特征(15)的第二测量环境(9),
-比较所述第一测量环境(5)和所述第二测量环境(9),其中,所述比较是基于在所述第一测量环境(5)和所述第二测量环境(9)中搜索以一定数量和质量可见的对应的第一对象特征(24)和第二对象特征(24)的,其中,该一定数量和质量的对应的特征(24)是能够进行所述第一点云和所述第二点云的配准的标准,
-在所述部署改变(11)期间执行对所述第一测量环境(5)和所述第二测量环境(9)的比较,
-向用户(10)通知关于在所述部署改变(11)期间所述比较的结果,其中,所述用户(10)被通知
■能够进行所述第一点云和所述第二点云的点云配准,和/或
■不能进行所述第一点云和所述第二点云的点云配准。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP22153735.0 | 2022-01-27 | ||
EP22153735.0A EP4220080A1 (en) | 2022-01-27 | 2022-01-27 | Method for ascertaining suitable positioning of measuring devices and simplified moving in measuring areas using vis data and reference trajectories |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116499433A true CN116499433A (zh) | 2023-07-28 |
Family
ID=80121844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310097752.3A Pending CN116499433A (zh) | 2022-01-27 | 2023-01-19 | 移动测量装置、测定其合适部署的方法和计算机程序产品 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230237681A1 (zh) |
EP (1) | EP4220080A1 (zh) |
CN (1) | CN116499433A (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1686350A1 (de) | 2005-01-26 | 2006-08-02 | Leica Geosystems AG | Modular erweiterbare geodätische Totalstation |
JP5057734B2 (ja) | 2006-09-25 | 2012-10-24 | 株式会社トプコン | 測量方法及び測量システム及び測量データ処理プログラム |
DE102012109481A1 (de) * | 2012-10-05 | 2014-04-10 | Faro Technologies, Inc. | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
EP3062066A1 (en) | 2015-02-26 | 2016-08-31 | Hexagon Technology Center GmbH | Determination of object data by template-based UAV control |
EP3333538B1 (en) * | 2016-12-07 | 2020-09-09 | Hexagon Technology Center GmbH | Scanner vis |
EP3415866B1 (en) * | 2017-06-12 | 2020-06-03 | Hexagon Technology Center GmbH | Device, system, and method for displaying measurement gaps |
-
2022
- 2022-01-27 EP EP22153735.0A patent/EP4220080A1/en active Pending
-
2023
- 2023-01-19 CN CN202310097752.3A patent/CN116499433A/zh active Pending
- 2023-01-27 US US18/102,364 patent/US20230237681A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4220080A1 (en) | 2023-08-02 |
US20230237681A1 (en) | 2023-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11604065B2 (en) | Fully automatic position and alignment determination method for a terrestrial laser scanner and method for ascertaining the suitability of a position for a deployment for surveying | |
US9898821B2 (en) | Determination of object data by template-based UAV control | |
US10535148B2 (en) | Scanner VIS | |
Ravi et al. | Simultaneous system calibration of a multi-lidar multicamera mobile mapping platform | |
US9322652B2 (en) | Stereo photogrammetry from a single station using a surveying instrument with an eccentric camera | |
EP3550513B1 (en) | Method of generating panorama views on a mobile mapping system | |
US9222771B2 (en) | Acquisition of information for a construction site | |
US11238609B2 (en) | Point cloud data processing method and point cloud data processing device | |
JP4607095B2 (ja) | 測量機器において画像処理を行う方法と装置 | |
JP4533659B2 (ja) | レーザー計測により地図画像を生成する装置及び方法 | |
US11195016B2 (en) | Pile head analysis system, pile head analysis method, and storage medium in which pile head analysis program is stored | |
US8077913B2 (en) | Method and device for determining the actual position of a geodetic instrument | |
US20130060520A1 (en) | Method And System For Position Determination Using RFID Devices | |
CN106066645A (zh) | 在操作推土机的同时测量和绘制地形的方法和控制系统 | |
CN107402000A (zh) | 用于相对于测量仪器参照显示装置的系统和方法 | |
JP2011039968A (ja) | 車両可動領域検出装置 | |
JP6930840B2 (ja) | 測量システム | |
US20230064401A1 (en) | System for 3d surveying by a ugv and a uav with automatic provision of referencing of ugv lidar data and uav lidar data | |
JP2964402B1 (ja) | 三次元地図データベースの作成方法及び装置 | |
JP2011112556A (ja) | 捜索目標位置特定装置及び捜索目標位置特定方法並びにコンピュータプログラム | |
US20230237681A1 (en) | Method for ascertaining suitable positioning of measuring devices and simplified moving in measuring areas using vis data and reference trajectories background | |
US20220018950A1 (en) | Indoor device localization | |
US20240210563A1 (en) | Scanning project planning | |
US20240077310A1 (en) | Laser scanner with stereo camera vision for improved selective feature scanning | |
CN114648577A (zh) | 设备检测方法和设备检测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |