CN107402000B - 用于将显示装置相对于测量仪器相互关联的方法和系统 - Google Patents

用于将显示装置相对于测量仪器相互关联的方法和系统 Download PDF

Info

Publication number
CN107402000B
CN107402000B CN201710346726.4A CN201710346726A CN107402000B CN 107402000 B CN107402000 B CN 107402000B CN 201710346726 A CN201710346726 A CN 201710346726A CN 107402000 B CN107402000 B CN 107402000B
Authority
CN
China
Prior art keywords
display device
image
measuring instrument
instrument
photograph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710346726.4A
Other languages
English (en)
Other versions
CN107402000A8 (zh
CN107402000A (zh
Inventor
伯恩哈德·麦茨勒
B·赖曼
G·内尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hexagon Technology Center GmbH
Original Assignee
Hexagon Technology Center GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hexagon Technology Center GmbH filed Critical Hexagon Technology Center GmbH
Publication of CN107402000A publication Critical patent/CN107402000A/zh
Publication of CN107402000A8 publication Critical patent/CN107402000A8/zh
Application granted granted Critical
Publication of CN107402000B publication Critical patent/CN107402000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00Measuring angles
    • G01C1/02Theodolites
    • G01C1/04Theodolites combined with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/02Means for marking measuring points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用于将显示装置相对于测量仪器相互关联的方法和系统。显示装置(2)和测量仪器(1)在空间上彼此分离并包括用于彼此通信的通信装置,方法包括:从测量仪器(1)提供第一图像(10)并从显示装置(2)提供第二图像(20),第一图像(10)和第二图像(20)至少部分地覆盖相同场景(3),利用处理单元在第一图像(10)和第二图像(20)中检测对应特征(F1、F2、F3、F4、F1’、F2’、F3’、F4’),利用处理单元至少部分地基于对应特征(F1、F2、F3、F4、F1’、F2’、F3’、F4’)获得转变参数的集合,利用处理单元至少部分地基于参数的集合关于位置和取向相对于测量仪器(1)参照显示装置(2)。

Description

用于将显示装置相对于测量仪器相互关联的方法和系统
技术领域
本发明涉及用于针对诸如地面激光扫描仪、全站仪或测量杆的测量仪器参照(reference)诸如眼镜、智能电话或平板PC的显示装置的系统和方法。
背景技术
在现有技术中熟知的是用于测量场景中的一个或(特别地)多个目标点的众多大地测量仪器。将距离和方向或从测量设备到待测量目标点的立体角作为标准空间数据记录下来,并且特别地,在有可能存在的参考点的帮助下,获取测量设备的绝对位置。
现今,这种大地测量设备的众所周知的示例由激光扫描仪、视距仪或全站仪组成,其中,后者也被称为电子视距仪或计算机视距仪。例如,在公开文献EP 1 686 350中描述了现有技术的大地测量仪器。这样的设备具有电子传感器角度和距离测量功能,所述电子传感器角度和距离测量功能允许确定相对于所选择的目标点的方向和距离。角度和距离的量在这种情况下在设备的内部参考系中被确定,并且对于绝对位置确定,还有可能会与外部参考系相关联。
在许多大地测量学应用中,通过在点处放置特殊构造的目标对象来测量这些点。这些常常由具有用于限定测量距离的可成为目标的标记或反射器的杆、或考虑到偏移(即标记或反射器与指向测量点的杆顶端之间的距离)的测量点组成。通过使用中央(central)大地测量仪器,因此可测量甚至相对大量的目标对象,尽管这需要标识这些目标对象。
另外,在现有技术中,还已知独立进行操作并因此不依赖于之前提到的大地测量仪器的测量杆。这些杆常常包括用于定位杆并且支持目标点的测量的全球导航卫星系统接收器。此外,它们可包括各种传感器,如同相机、加速度计、陀螺仪、罗盘等。在这种情况下,当测量杆能够通过独立测量来生成地理数据(geodata)时,测量杆可被理解为是测量仪器本身。
然而,在涉及与大地测量装置协作的杆的测量任务中,可能需要例如用无线技术在目标对象(测量杆)和中央大地测量仪器之间进行各种数据(如同指令、词语或其它信息)的通信,以控制或支持测量处理,并且建立或注册测量参数。这样的数据的示例是目标对象的标识、杆的倾斜度、反射器在地面上方的高度、反射器常数或诸如温度或空压的测量值。
现代的全站仪带有用于对所获取的测量数据进行数字后处理和存储的微处理器,现代的测量杆亦如此。
这些仪器通常被制成紧凑的一体化设计,常常在仪器中集成有同轴距离和角度测量元件以及计算、控制和存储单元。根据全站仪的发展水平,用于将目标光学器件机动化、用于无反射器距离测量、用于自动目标搜索和跟踪以及用于远程控制整个仪器的装置被一体化。
此外,现有技术中已知的全站仪具有无线电数据接口(或基于其它无线技术),该无线电数据接口用于设置与外围组件的无线链路,例如,与数据获取装置的无线链路,特别地,数据获取装置可被形成为手持数据记录器、远程控制单元、阵列处理器、笔记本、平板PC、智能电话、眼镜和/或头盔,外围组件能够用图形方式显示与测量相关的信息,因此此后被称为显示装置。
通过数据接口,全站仪所获取和/或存储的测量数据可被例如输出到外部后处理;外部获取的测量数据可被读取到全站仪中,以便进行存储和/或后处理;可输入或输出用于远程控制全站仪或其它外部组件(特别地,在移动领域中使用时)的远程控制信号,并且可将控制软件传送到全站仪中。
为了用诸如地面激光扫描仪或全站仪的大地测量装置生成点云,可扫描对象、诸如建筑物内房间的内部场景或诸如所关注景观的外部场景。另选地,为了进行单点测量,特别地,使用全站仪、测量级GNSS系统和/或测量杆。为了给用户提供正被测量的周围场景的图像,这些仪器中的一些仪器被配备以“仪器-中心(centric)”静态视图拍摄图像的相机。此外,这样的仪器还可配备示出该“仪器-中心”视图的显示器。
然而,实际上,远离仪器站立的用户将受益于从他的视点来观察“用户-中心”,而没有牺牲测量信息或与其相关的补充信息。
发明内容
因此,本发明的目的在于提供改进的测量方法和系统。
本发明的其它目的在于提供用户友好性提高的测量方法和系统。
本发明提供了用于关于测量仪器(例如,全站仪、地面激光扫描仪、GNSS杆)基于图像参照显示装置(例如,传统手持测量场控制器、增强现实眼镜或头盔、平板、智能电话、场控制器)的系统和方法。所述显示装置和所述测量仪器的姿势和位置的这种相互关系(参照)可例如被用于可视化、监督、测量或转向目的。
在关于测量仪器参照显示装置的情况下,可通过显示装置来筛选测量仪器所定义的坐标系中给定的数据(例如,测得的三维点),或者将其叠加在利用显示装置的相机所获取的活动图像(live-image)上。
所述显示装置可包括:
·相机,其用于捕获图像(例如,RGB、IR、超光谱)和/或视频,
·集成的显示器或投影仪,其用于在附接到眼镜的棱镜(例如,如同在现有技术中已知为HUD(平视显示器))或头戴式虚拟视网膜显示器上将图像可视化,
·眼镜跟踪器,其用于监测用户的观看方向,
·测量单元,其用于确定装置的位置和倾斜,包括例如:
ο惯性测量单元(加速度计、陀螺仪等),
οGNSS传感器,和/或
ο罗盘,
·通信信道(WiFi,Bluetooth(蓝牙)等),其用于接收并发送数据,以及
·深度传感器或距离传感器。
显示装置与测量仪器的相互关系可以是可视化支持测量和监督目的以及测量和转向任务的基础,其中,用户可在显示装置的帮助下控制测量仪器。与单个测量点、点云或仪器相关的其它信息、3D数据、或由第三方提供的任何其它地理参照信息或数据可在显示装置上的在空间上特定分派的位置处可被可视化。所述信息可被链接到特定坐标。
作为测量仪器的地面扫描仪使得能够以非常高的精度在短时间内获取成千上万的点。另选地,全站仪或GNSS测量系统提供高度准确的单点测量。然而,如果配备有相机,则这些仪器可只向占据与仪器视点不同的视点的用户提供静态仪器-中心图像。
根据本发明,关于由测量仪器所获得的图像对由集成在显示装置中的相机所拍摄的图像进行处理,并且关于位置和取向计算两个组件的视点之间的差异。由测量仪器所提供的图像将被理解为是二维或三维图,举例来说,可以是点云或任何类型的照片。
根据本发明的系统和/或方法不能只被应用于“被动”可视化和监督目的,而且也能用于“主动”测量和转向任务。举出一个例子,测量仪器可遵循显示装置的取向,并且以这种方式,用户可将测量仪器定位成朝向他所需目标瞄准。举出另一个例子,测得的地理数据可被显示在显示装置上,并且通过将显示装置指向所关注的区域,用户可检查测量任务的完成。
作为这些应用的部分执行的常见领域任务的使用情况包括维修、停歇管理、现场检查、预计资产的现场验证、竣工记录保持、决策支持、网络规划和归档。
本发明涉及用于将显示装置相对于测量仪器相互关联的方法,所述显示装置和测量仪器在空间上彼此分离并且包括用于彼此通信的通信装置,所述方法包括以下步骤:
·从所述测量仪器提供第一图像并且从所述显示装置提供第二图像,其中,所述第一图像和所述第二图像至少部分地覆盖相同的场景,
·利用处理单元在所述第一图像和所述第二图像中检测对应特征,
·利用所述处理单元至少部分地基于所述对应特征来获得转变参数的集合,
·利用所述处理单元至少部分地基于所述参数的集合,关于位置和取向相对于所述测量仪器参照所述显示装置。
在根据本发明的方法的一个实施方式中,在检测对应特征的步骤中,处理单元使用特征匹配算法,特别地,结合使用特征跟踪算法。
在根据本发明的方法的另一个实施方式中,测量仪器包括用于捕获照片的装置,特别地,其中,第一图像是照片,特别地,全景照片或马赛克拼贴图(photo-mosaic)。
在根据本发明的方法的其它实施方式中,测量仪器包括用于提供三维点云和/或多个单点的装置,特别地,其中,第一图像至少部分地基于点云和/或单点。
在根据本发明的方法的其它实施方式中,显示装置包括用于捕获照片或视频的装置,特别地,其中,第二图像是照片、或视频的至少部分。
在根据本发明的方法的其它实施方式中,显示装置包括用于显示以下项中的一个或更多个的屏幕或投影仪:
·第一图像(10),
·第二图像(20),
·活动图像,所述活动图像由所述测量仪器或所述显示装置所包括的用于捕获照片或视频的装置来捕获,
·三维点云(4),
·单点,
特别地,其中,所述显示被透视地(perspectively)适应于显示装置的位置和取向。
在根据本发明的方法的其它实施方式中,该方法包括以下步骤:显示活动图像或将活动图像与和三维点云和/或多个单点相关的信息叠加。
在根据本发明的方法的其它实施方式中,所述信息是:
·表示地理数据的符号,其中,地理数据包括三维点云、单点和/或将被放样(staked-out)的点、和/或
·具有地理参考的补充数据。
在根据本发明的方法的其它实施方式中,显示装置和/或测量仪器包括传感器单元,传感器单元提供相对于测量仪器关于显示装置的位置和/或取向的传感器数据,以改进转变参数的集合,并且其中,相对于测量仪器参照显示装置的步骤进一步基于所述传感器数据。
在根据本发明的方法的其它实施方式中,传感器单元包括以下项中的一个或更多个:
·惯性测量单元,特别地,包括加速度计和/或陀螺仪,
·深度传感器,
·距离传感器,
·全球导航卫星系统(GNSS)接收器,
·罗盘。
在测量仪器的传感器单元或显示装置的传感器单元具有所列出传感器中的不止一个的情况下,可实现传感器融合,以改进特征匹配算法和/或特征跟踪算法
在根据本发明的方法的其它实施方式中,所述方法还包括以下步骤:
利用显示装置接收控制命令,
利用控制命令控制测量仪器,特别地,控制测量仪器的取向或控制将由测量仪器执行的测量的触发。
在根据本发明的方法的其它实施方式中,测量仪器包括以下项中的一个:
·全站仪,
·激光扫描仪,
·GNSS测量杆,
·移动测绘系统,特别地,背负式移动测绘(mobile mapping backpack),
并且其中,显示装置(2)是以下项中的一个:
·平板计算机,
·智能电话,
·场控制器,
·增强型、混合或虚拟现实眼镜,
·带有平视显示器的头盔。
示例性的背负式移动测绘是Leica Pegasus:在待测量的区域周围行走的用户可穿戴背负式移动测绘。包括多个传感器的传感器单元捕获环境的全景360°球形视野并且用其自动地创建3D模型。
在根据本发明的方法的其它实施方式中,显示装置包括眼睛跟踪器。
所述眼睛跟踪器观察用户的当前观察方向,并且出于此目的,可被安装在智能电话的面对用户的表面上,或虚拟现实眼镜上,或头盔的帽舌上。用关于用户观看方向的信息,参照信息的筛选或投影可被优化。
在根据本发明的方法的其它实施方式中,通过使用以下项的原理来执行相对于测量仪器参照显示装置的步骤和/或提供第一图像和第二图像的步骤:
·图像后方交会法,
·运动恢复结构(structure from motion),或
·同时定位与地图构建(SLAM)。
本发明还涉及用于执行根据本发明的方法中的步骤的系统,所述系统包括:
·测量仪器,
·显示装置,
·处理单元。
例如,所述处理单元可包括子处理单元,这些子处理单元被以下项中的一个或更多个所包括:
·测量仪器、
·显示装置、
·远程装置、
·云计算机。
附图说明
以下,将参照附带附图的示例性实施方式来详细描述本发明,在附图中:
图1示出根据本发明的系统和执行根据本发明的方法的情形的快照的实施方式;
图2示出根据本发明的系统和执行根据本发明的方法的情形的快照的另一个实施方式;
图3示出根据本发明的系统和执行根据本发明的方法的情形的快照的另一个实施方式;
图4示出根据本发明的系统和执行根据本发明的方法的情形的快照的另一个实施方式;
图5示出根据本发明的系统和执行根据本发明的方法的情形的快照的一个实施方式;
图6示出根据本发明的系统和执行根据本发明的方法的情形的快照的实施方式;
图7示出根据本发明的系统和执行根据本发明的方法的情形的快照的又一实施方式;
图8示出根据本发明的系统和执行根据本发明的方法的情形的快照的一个实施方式。
具体实施方式
如图1中所示,在第一图像至第二图像内标识同源(homologous)点的集合。在所示出的示例中,如在测量仪器的第一图像(用F1、F2、F3和F4指示)以及与显示装置关联的相机的第二图像(用F1'、F2'、F3'和F4'指示)二者中观察到的,已经指出了窗口的角点(cornerpoint)。第一图像可以至少是安装在测量仪器的上面或里面的相机所捕获的3D点云或照片的一部分或视频的一部分。
显示装置(通常如同一副眼镜一样穿戴的光学头戴式显示器)参照测量仪器(全站仪)是基于:通过使用同源点和它们位置的透视(perspective)变形计算在第一图像和第二图像中标识出的位置和取向的差异。
测量仪器的内部坐标系和显示装置的坐标系可彼此相关。还可针对诸如例如WGS84的外部绝对参考系使它们相关。算法可确定位置偏移(3次转变)和/或取向偏移(3次旋转),以将显示装置的透视注册在由测量系统所定义的坐标系的上下文中(或反之亦然)
对于计算相对姿势的可选规范,还可以另外使用由作为该方法和/或系统的部分的一个或更多个附加传感器所提供的信息。这种传感器的示例可以是:
·针对关于位置的信息:GNSS传感器、加速度计,
·针对关于倾斜角度的信息:加速度计、陀螺仪、罗盘,
·针对关于距离的信息:距离传感器和深度传感器。
在这种情况下,传感器融合使得能够提供装置的姿势和位置的准确值。此外,多个自由度中的仅一些自由度需要按上述参照方法来提供,而多个自由度中的其它自由度由装置直接利用指派的单独传感器来测量。
可由可被以下组件中的一个包括的处理单元来执行参照计算:显示装置、测量仪器、单独的本地计算机、远程服务器、云计算机;就这个认识而言,处理单元是有形的单个单元。然而,另选地,所述组件中的两个或更多个可包括有形的子处理单元,所述子处理单元被处理单元包括;就这个认识而言,处理单元是子处理单元的集合体。
出于这些目的,可通过使用通信信道(诸如,Wi-Fi、蓝牙、数据线缆等)在显示装置、测量仪器和任何其它所涉及的装置之间进行数据通信和共享。
位置和取向偏移的确定至少部分是基于用显示装置所获取的图像中的同源点(即,第一点集合)和用测量仪器所获取的图像中的同源点(即,对应的第二点集合)的标识。
确定眼镜的姿势还可以是基于SLAM(同时定位与地图构建)点云的3D点。参见图2,可通过与用GNSS极(测量仪器)的相机获取的图像进行前方交会法(forwardintersection)来生成这些SLAM点。为了确定眼镜(显示装置)的姿势,用眼镜的相机来获取图像。例如,通过特征匹配(SIFT、SURF等)来标识来自眼镜的图像和来自GNSS极的图像中的同源点。例如,通过图3中示出的后方交会法(resection)基于与同源点对应的已知3D坐标来计算眼镜的姿势。
在只图像数据可用而3D信息不可用的情况下,例如,当将用地面激光扫描仪获取的全景图像与用眼镜或平板获取的图像进行匹配时,姿势只可被大致地确定。在该星座中,只可确定位置偏移的方向,但不确定位置偏移的幅度。在显示装置(例如,眼镜、平板)的位置靠近测量仪器的情况下,可完全忽略位置偏移。当没有相关对象靠近测量仪器(和显示装置)被定位时,尤为如此。
换句话讲,当测量仪器和显示装置之间的距离小并且3D点远离时,针对在测量系统的坐标系中给出的3D点,显示装置的图像的重投影误差为小。
另选地,可使用对象距离和/或位置偏移幅度的估计值来进一步减小显示装置的图像重投影误差。其它替代方式是考虑来自深度传感器或距离传感器的值以减少或消除该图像重投影误差,所述传感器被集成在显示装置中。
然而,如果引入比例尺(scale),则可确定整个姿势(包括依比例决定的(scaled)位置偏移)。实际上,这可通过以下来实现:用测量仪器测量在图像中标识出的点的3D坐标,或者如果可从给定的已经测得的点云或从在图像中标识出的CAD对象获得3D信息。
根据本发明,可由测量仪器连续地更新第一图像。当环境改变(例如,因汽车驶离,或建筑用起重机改变其位置)时,确保测量仪器和显示装置之间的实时参照而没有干扰。由于对象存在差异,导致某些特征可原本不能够被匹配。
在本发明的另一个实施方式中,作为同源点的替代,线特征或图像块被使用以匹配显示装置和测量仪器的图像。在本发明的又一个实施方式中,作为同源点的替代,消失点(vanishing point)被使用以只确定仅显示装置和测量仪器之间的取向差异。随后,假定位置偏移是零。
根据本发明的一个方面,放样点可被投影到显示装置上并且在显示屏上用活动视图覆盖(参见图4)。这样允许高亮显示用户将需要放置测量杆的那些位置。
根据本发明的另一个方面,当前正生成的已经测得的单个点、或点云、或已经测得的点云的部分的坐标会(除了用于参照外)被显示在显示装置上。测量仪器可选地还具有用于捕获图像的相机,这些图像也可以用于参照相对于装置的仪器,并且用于以空间参照方式在显示装置上显示所捕获图像或所捕获图像的部分。这种增强现实图像允许用户例如在执行任务时或在执行任务之后,执行测量任务的视觉进程检查或完成度检查(参见图6)。在用激光扫描仪扫描点云的情况下,这向用户给出(在图6中用感叹号指示的)点云中的间隙的早期视觉指示,以允许用户改善或重做扫描。
根据本发明的另一个方面,扫描的点云和/或单个点测量的图像、或指示例如建筑物和植被层的其模型或另外的附加数据可被投影到显示装置上,或者在显示屏上被显示为与活动视图叠加。一些示例是:
·允许例如用于建造师、建筑师等比较“规划的对已建造的”的建筑规划的可视化
·隐藏结构(例如,墙壁中的管道或电线)的可视化
根据本发明的另一个方面,作为测量点的替代或除了测量点之外,还可以在显示装置上显示测量任务的标签或另外多条有关测量任务的信息(参见图8)。一些示例是:
·诸如名称、标识号或类型的信息
·之前测得的标记或测量点的值,
·关于测量仪器和扫描处理的操作状态的信息;以及
·关于用于用户检查扫描的对象是否已被正确分类的自动分派的特征类别的信息。
根据本发明的另一个方面,对于给定的测量任务,用户可戴着包含眼镜跟踪器的增强现实眼镜行走穿过测量地点,并且“观察”特别关注的对象。使用所描述的参照方法,用户(的眼镜)的姿势可沿着该轨迹以及-使用来自眼睛跟踪器的信息-所关注的对象的大致3D位置来计算。然后,可使用无人飞行器(UAV)或无人路上车辆(UGV)执行所关注的那些对象的细致、高分辨率扫描。此处理允许减少用户的现场工作(“还免持”)并且允许高效飞行规划(在UVA的情况下)或者地面路径规划(在UGV的情况下)。另选地,用户的手对平板电脑施加的轻击命令(参见图5)、或利用用户的观察方向对特征或区域的瞄准可命令UVA或UGV对在显示器上被轻击的对象执行细致扫描(参见图7)。
根据本发明的另一个方面,在给定眼镜相对于例如激光扫描仪的坐标系的姿势的情况下,可使用由处于眼镜中的眼睛跟踪传感器所确定的显示装置本身的角度或用户的观察方向来控制测量仪器。当以这种方式进行控制时,仪器将指向例如(分别地)与用户正看向或朝向相同的对象。
根据本发明的另一个方面,用户可通过非接触手势来控制测量处理。这些手势可被显示装置的相机记录,并且被处理单元转化成针对测量仪器的有意义命令,该处理单元例如位于显示装置中或测量仪器中。通过这样做,用户可以通过用他的手指指向待扫描区域的左上角或右下角或者指向将被测量为单点的坐标来限定扫描窗口。
根据本发明的另一个方面,之前提到的工作流程和应用是能组合的,以便为用户提供不同的增强现实视觉的组合。这里,用户可通过提供以下输入来选择将被可视化的增强型图像:
·通过在显示装置上、测量仪器上或外围系统上(例如,键盘、触摸板、鼠标上)进行手动地输入,或者
·通过用显示装置或用测量仪器检测和解释手势,或者
·由显示装置或由测量仪器检测的他的观察方向或头的方向。
根据本发明的另一个方面,用户可面对(在眼镜的情况下)测量仪器或可在测量仪器处引导另一个显示装置(例如,平板计算机),并且眼镜随后通过显示扫描仪的操作状态和指令进行可视化,而当在待扫描和/或已扫描的对象的方向观看/引导时,显示装置可显示扫描的点云(另选地,连同指示例如对象类别的文本标签一起)。
虽然以上部分地参照一些优选实施方式例示了本发明,但必须理解,可对实施方式的不同特征进行众多修改和组合。这些修改全部落入保护范围内。

Claims (22)

1.一种用于将显示装置(2)相对于测量仪器(1)相互关联的方法,所述方法用于利用所述显示装置(2)对所述测量仪器(1)进行转向,所述显示装置(2)和所述测量仪器(1)在空间上彼此分离并且包括用于彼此通信的通信装置,该方法包括以下步骤:
提供由所述测量仪器(1)生成的第一图像(10)并且提供由所述显示装置(2)生成的第二图像(20),其中,所述第一图像(10)和所述第二图像(20)至少部分地覆盖相同的场景(3),
利用处理单元在所述第一图像(10)中和在所述第二图像(20)中检测对应特征(F1、F2、F3、F4、F1’、F2’、F3’、F4’),
利用所述处理单元至少部分地基于所述对应特征(F1、F2、F3、F4、F1’、F2’、F3’、F4’)来获得转变参数的集合,
利用所述处理单元至少部分地基于所述转变参数的集合,关于位置和取向相对于所述测量仪器(1)参照所述显示装置(2),
基于所述参照,利用所述显示装置(2)接收控制命令,并且
利用所述控制命令控制所述测量仪器(1)的取向或控制将由所述测量仪器(1)执行的测量的触发。
2.根据权利要求1所述的方法,其中,在检测对应特征的步骤中,所述处理单元使用特征匹配算法。
3.根据权利要求2所述的方法,其中,所述处理单元使用特征匹配算法结合特征跟踪算法。
4.根据权利要求1所述的方法,其中,所述测量仪器(1)包括用于捕获照片的装置。
5.根据权利要求4所述的方法,其中,所述第一图像(10)是照片。
6.根据权利要求5所述的方法,其中,所述照片是全景照片或马赛克拼贴图。
7.根据权利要求1所述的方法,其中,所述测量仪器(1)包括用于提供三维点云(4)和多个单点中的至少一项的装置。
8.根据权利要求7所述的方法,其中,所述第一图像(10)至少部分地基于所述三维点云和所述单点中的至少一项。
9.根据权利要求1所述的方法,其中,所述显示装置(2)包括用于捕获照片或视频的装置。
10.根据权利要求9所述的方法,其中,所述第二图像(20)是照片、或视频的至少部分。
11.根据权利要求10所述的方法,
其中,所述显示装置(2)包括用于显示以下中的一个或更多个的屏幕或投影仪:
所述第一图像(10),
所述第二图像(20),
活动图像,所述活动图像由所述测量仪器或所述显示装置所包括的用于捕获照片或视频的装置来捕获,
三维点云(4),以及
单点。
12.根据权利要求11所述的方法,其中,所述显示被透视地适应于所述显示装置(2)的位置和取向。
13.根据权利要求11所述的方法,
该方法还包括以下步骤:显示与三维点云和单点中的至少一者相关的信息(6),或将所述信息(6)与所述活动图像叠加。
14.根据权利要求13所述的方法,其中,所述信息(6)是以下至少一项:
表示地理数据的符号,其中,所述地理数据包括以下至少一项:三维点云(4)、单点和将被放样的点,和
具有地理参考的补充数据。
15.根据权利要求1所述的方法,其中,所述显示装置(2)和所述测量仪器(1)中的至少一者包括传感器单元,所述传感器单元提供与所述显示装置(2)相对于所述测量仪器(1)的位置和取向中的至少一者有关的传感器数据,以改进所述转变参数的集合,并且其中,相对于所述测量仪器(1)参照所述显示装置(1)的步骤进一步基于所述传感器数据。
16.根据权利要求15所述的方法,其中,所述传感器单元包括以下项中的一个或更多个:
惯性测量单元,
深度传感器,
距离传感器,
全球导航卫星系统GNSS接收器,
罗盘。
17.根据权利要求16所述的方法,其中,所述惯性测量单元包括加速度计和陀螺仪中的至少一者。
18.根据权利要求1所述的方法,其中,所述测量仪器(1)是以下项中的一个:
全站仪,
激光扫描仪,
GNSS测量杆,
移动测绘系统,
并且其中,所述显示装置(2)是以下项中的一个:
平板计算机,
智能电话,
场控制器,
增强型、混合或虚拟现实眼镜,
带有平视显示器的头盔。
19.根据权利要求18所述的方法,其中,所述移动测绘系统是背负式移动测绘系统。
20.根据权利要求1所述的方法,其中,所述显示装置(2)包括眼睛跟踪器(5)。
21.根据权利要求1所述的方法,
其中,使用以下项的原理来执行相对于所述测量仪器(1)参照所述显示装置(2)的步骤和提供第一图像(10)和第二图像(20)的步骤中的至少一者:
图像后方交会法,
运动恢复结构,或
同时定位与地图构建SLAM。
22.一种用于执行根据权利要求1至21中的任一项所述的方法的步骤的系统,该系统包括:
测量仪器(1),
显示装置(2),
处理单元。
CN201710346726.4A 2016-05-19 2017-05-17 用于将显示装置相对于测量仪器相互关联的方法和系统 Active CN107402000B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16170479.6 2016-05-19
EP16170479.6A EP3246660B1 (en) 2016-05-19 2016-05-19 System and method for referencing a displaying device relative to a surveying instrument

Publications (3)

Publication Number Publication Date
CN107402000A CN107402000A (zh) 2017-11-28
CN107402000A8 CN107402000A8 (zh) 2018-02-09
CN107402000B true CN107402000B (zh) 2020-07-03

Family

ID=56026723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710346726.4A Active CN107402000B (zh) 2016-05-19 2017-05-17 用于将显示装置相对于测量仪器相互关联的方法和系统

Country Status (3)

Country Link
US (1) US20170337743A1 (zh)
EP (1) EP3246660B1 (zh)
CN (1) CN107402000B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6688990B2 (ja) * 2016-04-28 2020-04-28 パナソニックIpマネジメント株式会社 識別装置、識別方法、識別プログラムおよび記録媒体
JP6773503B2 (ja) * 2016-09-27 2020-10-21 株式会社トプコン レーザスキャナシステム及び点群データのレジストレーション方法
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
EP3415866B1 (en) 2017-06-12 2020-06-03 Hexagon Technology Center GmbH Device, system, and method for displaying measurement gaps
US11164606B2 (en) * 2017-06-30 2021-11-02 Qualcomm Incorporated Audio-driven viewport selection
US10602046B2 (en) 2017-07-11 2020-03-24 Htc Corporation Mobile device and control method
US10835809B2 (en) 2017-08-26 2020-11-17 Kristina Contreras Auditorium efficient tracking in auditory augmented reality
EP3531243B1 (en) * 2018-02-23 2021-12-29 Rohde & Schwarz GmbH & Co. KG Measurement instrument identification system as well as method for finding a particular measurement instrument
EP3567341B1 (en) * 2018-05-08 2023-11-29 Leica Geosystems AG Augmented reality-based system
US20200117201A1 (en) * 2018-10-15 2020-04-16 Caterpillar Paving Products Inc. Methods for defining work area of autonomous construction vehicle
US20220172406A1 (en) * 2018-12-13 2022-06-02 Leica Geosystems Ag Measurement method, measurement systems and auxiliary measurement instruments
EP3677871B1 (en) * 2019-01-03 2023-08-16 Leica Geosystems AG Measuring system
US11193766B2 (en) * 2019-04-09 2021-12-07 Ruslan Pozhidayev Apparatus and methods in installation of objects
CN110455265A (zh) * 2019-08-28 2019-11-15 广州市中海达测绘仪器有限公司 Rtk放样系统、方法及装置
JP7240996B2 (ja) * 2019-09-18 2023-03-16 株式会社トプコン アイウェア装置を用いた測量システムおよび測量方法
CN111121731B (zh) * 2019-12-11 2022-09-09 国网湖北省电力有限公司荆州供电公司 一种基础分坑仪
US11221217B1 (en) * 2020-07-09 2022-01-11 Trimble Inc. Layout workflow with augmented reality and optical prism
US11512956B2 (en) 2020-07-09 2022-11-29 Trimble Inc. Construction layout using augmented reality
US11360310B2 (en) 2020-07-09 2022-06-14 Trimble Inc. Augmented reality technology as a controller for a total station
JP2022023592A (ja) * 2020-07-27 2022-02-08 株式会社トプコン 測量システム、測量方法および測量用プログラム
GB2605442B (en) * 2021-04-01 2023-03-22 Xyz Reality Ltd Configuration method for the display of a building information model
US11373381B1 (en) * 2021-05-05 2022-06-28 Trimble Inc. High-density 3D environment capture to guide mixed reality
JP2023047024A (ja) * 2021-09-24 2023-04-05 株式会社トプコン 測量システム
JP2023047026A (ja) * 2021-09-24 2023-04-05 株式会社トプコン 測量システム
JP2023130558A (ja) * 2022-03-08 2023-09-21 株式会社トプコン 測量支援システム、情報表示端末、測量支援方法、及び測量支援プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102884492A (zh) * 2010-03-01 2013-01-16 李汶基 增强现实的指向装置
CN103119396A (zh) * 2010-09-16 2013-05-22 莱卡地球系统公开股份有限公司 具有集成在遥控单元内的摄像机的大地测量系统
CN106066173A (zh) * 2015-04-21 2016-11-02 赫克斯冈技术中心 用测量仪器和像机装置提供点云

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030014212A1 (en) * 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
US7098997B2 (en) * 2002-06-26 2006-08-29 Pentax Corporation Surveying system
EP1686350A1 (de) 2005-01-26 2006-08-02 Leica Geosystems AG Modular erweiterbare geodätische Totalstation
US8510039B1 (en) * 2010-10-05 2013-08-13 The Boeing Company Methods and apparatus for three-dimensional localization and mapping
US9001205B2 (en) * 2011-10-20 2015-04-07 Trimble Navigation Ltd. System and methods for controlling a surveying device
US8531519B1 (en) * 2012-09-06 2013-09-10 Google Inc. Automatic multi-device localization and collaboration using cameras
US9581431B1 (en) * 2014-03-18 2017-02-28 Jeffrey M. Sieracki Method and system for parallactically synced acquisition of images about common target
EP2787322B1 (de) * 2013-04-05 2017-10-04 Leica Geosystems AG Geodätisches Referenzieren von Punktwolken
CN104750232B (zh) * 2013-12-28 2017-12-29 华为技术有限公司 一种眼动跟踪方法及装置
EP3021078B1 (en) * 2014-11-14 2018-09-26 Leica Geosystems AG Geodetic surveying system with virtual camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102884492A (zh) * 2010-03-01 2013-01-16 李汶基 增强现实的指向装置
CN103119396A (zh) * 2010-09-16 2013-05-22 莱卡地球系统公开股份有限公司 具有集成在遥控单元内的摄像机的大地测量系统
CN106066173A (zh) * 2015-04-21 2016-11-02 赫克斯冈技术中心 用测量仪器和像机装置提供点云

Also Published As

Publication number Publication date
EP3246660A1 (en) 2017-11-22
US20170337743A1 (en) 2017-11-23
EP3246660B1 (en) 2019-10-30
CN107402000A8 (zh) 2018-02-09
CN107402000A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
CN107402000B (zh) 用于将显示装置相对于测量仪器相互关联的方法和系统
US10366511B2 (en) Method and system for image georegistration
US11054258B2 (en) Surveying system
CN109556580B (zh) 测绘仪器、ar系统和相对于参照系定位ar装置的方法
KR101285360B1 (ko) 증강현실을 이용한 관심 지점 표시 장치 및 방법
US10878633B2 (en) Augmented reality-based measuring system
EP3011269B1 (en) Use of overlap areas to optimize bundle adjustment
JP6630504B2 (ja) 作業行動支援ナビゲーションシステム及び方法、並びに作業行動支援ナビゲーション用コンピュータプログラム、作業行動支援ナビゲーション用プログラムを記憶した記憶媒体、作業行動支援ナビゲーションシステムを搭載した自走式ロボット、作業行動支援ナビゲーションシステムに用いられるインテリジェントヘルメット
US11869159B2 (en) High density 3D environment capture with guided mixed reality
CN109032330A (zh) 无缝桥接ar装置和ar系统
JP2022140903A (ja) 測量デバイスおよびこれを用いた測量方法
KR20180060403A (ko) 영상 기반의 드론 제어장치
WO2013070125A1 (en) Method and system for determining a relation between a first scene and a second scene
EP4296943A2 (en) Methods and systems for camera 3d pose determination
US20240112406A1 (en) Bar arrangement inspection result display system
JP2004085555A (ja) 測量システム
JP2022132751A (ja) 測量情報管理システム
JP2022021009A (ja) 現場映像管理システムおよび現場映像管理方法
CN114966749A (zh) 视觉测量方法及rtk接收机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CI02 Correction of invention patent application

Correction item: Priority

Correct: 16170479.6 2016.05.19 EP

Number: 48-01

Page: The title page

Volume: 33

Correction item: Priority

Correction item: Priority

Correct: 16170479.6 2016.05.19 EP

Number: 48-01

Volume: 33

CI02 Correction of invention patent application
GR01 Patent grant
GR01 Patent grant