CN117630874A - 具有tof传感器的测量设备 - Google Patents

具有tof传感器的测量设备 Download PDF

Info

Publication number
CN117630874A
CN117630874A CN202311047740.6A CN202311047740A CN117630874A CN 117630874 A CN117630874 A CN 117630874A CN 202311047740 A CN202311047740 A CN 202311047740A CN 117630874 A CN117630874 A CN 117630874A
Authority
CN
China
Prior art keywords
tof
data
pixel
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311047740.6A
Other languages
English (en)
Inventor
J·斯蒂格瓦尔
杨征
托马斯·延森
M·迈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hexagon Technology Center GmbH
Original Assignee
Hexagon Technology Center GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hexagon Technology Center GmbH filed Critical Hexagon Technology Center GmbH
Publication of CN117630874A publication Critical patent/CN117630874A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002Active optical surveying means
    • G01C15/004Reference lines, planes or sectors
    • G01C15/006Detectors therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002Active optical surveying means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4812Constructional features, e.g. arrangements of optical elements common to transmitter and receiver transmitted and received beams following a coaxial path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705Pixels for depth measurement, e.g. RGBZ
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51Display arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

具有TOF传感器的测量设备。提供用于获取与场景中的目标相关的三维测量点的测量设备,包括:测距单元,包括发射准直测量辐射的发射单元和检测由目标反射的准直测量辐射的至少一部分的接收单元;引导单元,可围绕俯仰轴线旋转并将测量辐射引导朝向场景;捕获单元,包括图像传感器并至少捕获场景的至少一部分的场景图像;控制和处理单元,至少对准引导单元。测距单元和捕获单元被设置在引导单元中,捕获单元的光学轴线与测距单元的光学轴线同轴对准。图像传感器通过生成像素相关图像数据提供场景图像。测量设备包括TOF传感器,其提供场景的至少一部分的像素相关TOF数据作为TOF图像,像素相关TOF数据至少包括TOF图像中的各个像素的范围数据和/或振幅数据。

Description

具有TOF传感器的测量设备
技术领域
本发明涉及一种用于获取三维测量点的测量设备,特别是涉及一种大地测量仪器。这种仪器的示例是全站仪、经纬仪或激光扫描器。
背景技术
用于确定大地测量现场或者建筑工地区域和/或建筑物中的位置的勘测或测量系统被已知为多种形式。这些系统的示例是由具有测距测向仪的固定勘测设备(例如,全站仪)以及标记待勘测或标识的点的辅助仪器组成的系统。例如,在公开的申请EP 1686350中描述了现有技术的大地测量设备。
已知关于测量设备的设计的许多不同实施方式。因此,例如,现代全站仪具有用于对所获取的测量数据进行数字处理和存储的微处理器。这些设备通常具有紧凑和集成结构,其中,通常在设备中提供同轴测距元件以及计算机单元、控制单元和存储单元。根据全站仪的配置水平,可以集成瞄准(targeting and/or aiming)单元的机动化,而且在将后向反射器(诸如360°棱镜)用作目标物体的情况下,可以集成用于自动目标搜索和跟踪的装置。
作为人机接口,全站仪可以包括电子显示-控制单元(通常为具有电子数据存储装置的微处理器计算机单元),电子显示-控制单元具有显示屏和输入装置(例如键盘)。将所获取的测量数据供应给显示-控制单元,使得目标点的位置可由显示-控制单元查明、可视地显示以及存储。而且,从现有技术已知的全站仪可以具有无线电数据接口,无线电数据接口用于建立到外围组件的无线电连接,例如,到测量辅助仪器或者到手持式数据获取设备的无线电连接,手持式数据获取设备可以被特别地设计为数据记录器或现场计算机。
为了瞄准待勘测的目标点,一般大地勘测设备包括望远镜瞄准具(例如,光学望远镜),作为瞄准单元。望远镜瞄准具通常可相对于测量设备的基座(base)围绕竖立轴线并且围绕水平倾斜轴线旋转,使得望远镜可以通过枢转和倾斜来与待勘测的点对准。除了光学可视通道之外,现代设备还包括摄像机,摄像机被集成到望远镜瞄准具中,并且例如同轴地或平行地对准以用于获取图像,其中,所获取的图像可以特别地表示为显示-控制单元的显示屏上和/或被用于远程控制的外围设备(例如,数据记录器)的显示屏上的实况图像。
在许多测量应用中,执行对点的测量是由于专门设计的测量辅助仪器或目标物体(例如,勘测杆)被放置在目标点处。这些通常由具有用于定义测量距离或测量点的反射器(例如,360°棱镜)的杆组成。在这种勘测任务中,数据、指令、语音以及进一步信息项通常在目标物体与中央测量设备之间传输,以用于控制测量过程和用于定义或记录测量参数。这样的数据的示例是目标物体的标识信息(例如,所使用的棱镜的类型)、杆的倾度、反射器在地面上方的高度、反射器常数、或者诸如温度或气压的测得值。需要这些信息项和/或情形相关参数,以使得能够实现对由具有棱镜的杆定义的测量点的高精度瞄准和勘测。
为了测量场景中的测量点,通常,使目标或目标物体(例如,杆)位于测量点处或附近,并且通过借助于测量设备测量到目标的距离和方向来确定该测量点的位置。
为此,在第一步骤中,必须标识待测量的相应目标。然而,由于这种目标可能位于远离测量设备的位置,因此,标识可能变得比较具有挑战性。在场景中存在多个目标并且必须标识和测量这些目标中的特定目标的情况下,情况就更是如此。
作为标准特征,典型的勘测设备已经包括用于被用作目标反射器的棱镜的自动目标瞄准和跟踪功能(ATR:“Automatic Target Recognition,自动目标识别”)作为标准特征。为此目的,例如,另外在望远镜中集成了对ATR光源的波长敏感的另一单独且特殊ATR检测器(例如,CCD表面传感器或CMOS)。
已知的测量设备提供用于搜索目标的具体解决方案。例如,常见的方法利用以IR(infra-red,红外)光对场景的闪光照明以及对IR光谱中的目标反射光的检测。经反射的IR光可以借助于IR敏感传感器来检测,其中,经反射的IR光入射到传感器的相应像素上。基于分别激发的像素的位置,可以导出到目标的方向。
根据另选方法,可以通过在场景上方移动(IR)搜索光的光扇(fan),并且在由传感器检测到搜索光的反射的任何时间检测光扇的相应取向来提供对目标的照明。
当标识目标时,通常激光束与目标对准并被该目标反射。到目标的距离可以借助于检测所反射的激光而导出。基于这种测量光的反射来计算距离的许多原理是已知的。
在一些应用中,现场的目标不是静止的,而是在场景上移动,例如,目标由操作者移动以接近下一测量点或者由建筑车辆携带。这里,测量激光束应当优选地被保持引导至目标,即,应当跟踪目标,以便避免在场景中执行对目标的另一搜索,而该搜索可能变得非常耗时。
如今的勘测设备通常包括传感器,传感器使得能够检测所接收到的激光束与传感器的中心的偏移,所述偏移是由于反射器移动而在反射器侧造成的偏移导致的。可以基于所测得的偏移来重定向测量光束以减小或消除偏移。由于传感器尺寸的相应限制,这种方法的鲁棒性受到限制。如果反射器快速移动,那么传感器上的信号可能由于反射光因偏移太大而不再到达传感器而丢失。
由于信号可能因反射器与勘测设备之间的视线中断而丢失的事实,给出了进一步限制。这种中断可能是由现场的一些障碍物(例如,房屋前方的树木、或建筑工具、或车辆)而造成的。
而且,当跟踪目标时,移动目标的轨迹可以越过更靠近勘测设备的另一目标的位置。在这样的情况下,不再跟踪最初跟踪的目标,而是将测量光束保持引导至前景中最近检测到的目标。由于因新目标对光束的反射而仍然有足够的可用反射信号,甚至可能没有误差信号。因此,用户可以相信正确的目标仍然被跟踪,而情况并非如此。
因此,如果所选目标实际上是应当被测量的目标,那么仍然存在不确定性。对于关于它们的瞄准方向彼此非常靠近的目标或者在自动发现的目标中的一些目标不是真实的大地测量目标而可能源于无意反射的情况下,情况也是如此。这种情形特别发生在跟踪的情况下,在这种情况下具有多个目标的情形可能变得相当动态,例如,如上提及的目标交叉。
发明内容
发明目的
因此,本发明的目的是提供一种克服上面所提及的问题的测量设备。
本发明的另一目的是提供一种测量设备,测量设备提供用于对测量场景中的目标进行跟踪的改进能力。
发明概要
本发明的构思主要在于勘测类型的测量设备,比如全站仪或激光扫描器。
通常,勘测设备提供用于借助于检测传感器数据来搜索和找到场景中的特定目标的所谓的ATR(自动目标识别)功能和轴上摄像机(on-axis camera,OAC)以提供场景的图像。
OAC和ATR两者通常使用设备的同一光学器件来对相当小视场进行成像。这两个摄像机具有不同规格。然而,本发明的一个特定构思还涉及将这两个功能组合到一个传感器中以节省光学复杂性、尺寸、成本以及调节用于瞄准目标的焦点位置的可能性。
查看这样的组合传感器的分辨率,该分辨率可以是至少1Mpx或5Mpx,以用于捕获相应的图像。
在光谱上,传感器还可以提供(N)IR灵敏度,特别是可切换的。可以附接IR截止滤波器(IR-cut filter),其在相应的光谱带宽内透射例如10%。
另选地或者另外地,可以提供机械可切换滤波器或可见波长照明源。
当在ATR与OAC成像(用于ATR开/关的主动照明和不同曝光时间)之间交替时,可以在运行ATR的同时,提供清晰的OAC图像而没有任何ATR干扰。
本发明的构思还在于在测量设备中设置TOF(Time-Of-Flight,飞行时间)传感器,并且利用由TOF传感器提供的数据来跟踪场景中的目标。由于这样的TOF传感器可以提供图像数据而且还提供各个像素的范围(range)或振幅数据,因此,可以利用这种范围信息来提供更可靠且更准确的目标标识。此外,如果考虑将TOF范围数据用于跟踪目标,那么可以以改进方式来跟踪目标。在由EDM(electronic distance meter,电子测距仪)发射的测量辐射不再入射到目标上的情况下,例如,在目标突然和无意移动的情况下,这变得更加相关。
TOF传感器可以另外或者代替任何其它图像传感器被设置,并且可以提供如所提及的范围数据而且还提供图像数据。
TOF传感器还可以被配置成例如通过选择性地检测可见光谱(visual spectrum,VIS)的光而且还选择性地检测红外(near infrared,IR)光谱、特别是近红外(NIR)光谱的光来提供ATR功能。由于ATR功能利用以IR光或NIR光来对场景的至少一部分进行照明,因此传感器优选地被配置用于相应检测。
TOF传感器可以提供用于通过主动照明(通常以NIR)来检测反射器并且获得范围和方向(位置)信息。TOF传感器还可以被配置成以环境光(通常以NIR)来提供场景的图像。来自TOF传感器的这种信息或者来自OAC(通常以VIS)的图像可以被用于通过利用场景信息或反射器上下文来改进对目标的分类。
通过这样提供能够获取关于到目标的方向的ATR信息并且还能够获取目标或目标周围(附近)区域的(粗略)范围信息的单个传感器,潜在目标的搜索和标识变得显著更高效且准确,同时可以降低设备的结构复杂性。
可以将TOF阵列(传感器)分类成两种类型:间接TOF(诸如Sony IMX567(640×480像素)和直接TOF(诸如OnSemi Pandion)。这种TOF阵列的4D数据(3D点云+强度)允许增强ATR和强力搜索的功能。ATR系统利用强度信息来瞄准移动棱镜杆。如果存在位于照明光锥内的多个棱镜目标,则它们可能不是仅基于强度可选择的。一种改进跟踪稳定性的构思涉及利用TOF阵列来代替摄像机芯片,以使基于距离数据改进多个目标的分离和选择。TOF阵列也可以被用于目标的搜索。
至少两个间接TOF传感器是商业可获得的。虽然第一种技术CAPD(当前辅助光子解调器(Current Assisted Photonic Demodulator),例如,Sony)被广泛用于TOF摄像机,但是在Heliotis S4摄像机芯片(锁定式2D检测器)中实现的第二种技术被设计用于解调白光干涉测量的相关图的包络。两种技术在它们的解调频率和帧速率方面彼此不同。虽然SonyIMX 556的高解调频率可以被用于实现TOF摄像机的毫米(mm)深度分辨率,但是HeliotisS4的高帧速率可以有利于白光干涉测量的快速深度扫描。
例如,使用CAPD技术(Current Assisted Photonic Demodulator,当前辅助光子解调器)的传感器是具有背面照明技术和改进的解调频率的IMX556PLR(Sony)。由于背面照明技术,因此850nm的量子效率高达56.6%。在各个像素中,对两个有效像素进行积分。通过在电极上施加“推挽”电压,所产生的光子电子可以被引导至一个或另一个像素。这种切换机构的频率可以与照明频率同步。该机构相当于对4相移(4-phase-shift)算法的在0°和180°对强度进行采样。为了明确地计算相位和振幅,可以通过使切换定时移位90°来获取90°和270°处的强度。两个所得到的0°和90°微帧递送四个强度值A1、A2、A3以及A4,从这些强度值可以计算相位和振幅。
关于锁定式2D检测器,各个像素皆具有单独模拟电路,以直接抑制经调制光的DC部分,并且在像素级解调该经调制光的振幅和相位。这种像素级模拟操作可以避免传统数字处理单元中的大计算工作量,并且大幅提升信号解调的获取速度。该特征使得能够提供具有高达50mm/sec的异常高的深度扫描速度的白光干涉测量系统。每一个像素都是“智能像素”并且具有光子敏感光电二极管,光电二极管是AC联接的并且配备有具有两个通道(Q和I)的单独模拟电路。通过乘法和积分器电路对两个通道中的光子电流进行滤波。输出信号Q(t)和I(t)被数字化并转发至FPGA单元以用于数字后处理。根据使用情况,可以在FPGA中执行进一步数字运算以实现目标信号。在经由飞行时间进行测距的情况下,可以以固定频率来调制光源。在所述智能像素处将收发器与目标之间的距离编码到所检测到的光子电流的相位中。在像素级背景抑制的情况下,应当检测经调制光源的振幅调制。在目标ID检测的情况下,可以扫描乘法电路的载波频率,以便扫描经调制光源的频率。如果解调频率与光源的载波频率匹配,则图像将显示亮点,否则图像仍保持是暗的。
相应地,本发明涉及一种用于获取与场景中的目标相关的三维测量点的测量设备,其中,目标标识符可以与该目标相关联。该测量设备包括:基座单元;支承单元,该支承单元被安装在基座单元上,并且该支承单元可相对于该基座单元绕方位轴线旋转;以及测距单元,测距单元包括发射单元和接收单元,发射单元被配置为发射准直测量辐射,并且接收单元被配置为检测由目标反射的准直测量辐射的至少一部分。测距单元可以被配置成通过向物体发射测量辐射并且检测由该物体反射的辐射的一部分来导出到物体(例如,目标)的距离。基于这种方法导出距离的几种测量原理在本领域中是公知的,比如飞行时间测量或WFD(波形数字化)。
该设备还包括引导单元(directing unit),引导单元被安装在支承单元中,可相对于该支承单元绕俯仰轴线旋转,并且引导单元被配置为将测量辐射引导朝向场景,特别是朝向目标。第一致动器可以被设置为使支承单元相对于基座单元绕方位轴线旋转,第二致动器可以被设置为使引导单元相对于支承单元绕俯仰轴线旋转,第一角度编码器可以被设置为测量支承单元的旋转位置,并且第二角度编码器可以被设置为测量引导单元的旋转位置。
该设备包括捕获单元,其中,捕获单元包括图像传感器并且被配置为至少捕获场景的至少一部分的场景图像。可以通过对可见光谱(VIS)光和/或近红外光谱(NIR)光的检测来生成场景图像。这种场景图像可以为操作者提供概览图像(overview image)或示出待测量目标的图像,以便例如精确地瞄准目标。
发射单元被配置成发射准直测量辐射,准直测量辐射特别地被提供为准直激光束。这样的光束通常被用于引导至后向反射目标,并且光束的经反射部分由接收单元来检测。通过这样,可以以本领域已知的非常准确的方式来导出到目标的距离。
该设备包括控制和处理单元,其中,控制和处理单元至少被配置为控制引导单元的对准。
根据本发明,测距单元和捕获单元被设置在引导单元中,并且捕获单元的光学轴线与测距单元的光学轴线同轴对准。图像传感器被配置成通过对可见光谱(VIS)光和/或近红外光谱(NIR)光进行检测来生成像素相关图像数据,从而提供场景图像。
根据本发明,测量设备包括飞行时间(TOF)传感器,其中,TOF传感器被配置为提供场景的至少一部分的像素相关TOF数据作为TOF图像,像素相关TOF数据至少包括TOF图像中的各个像素的范围数据和/或振幅数据。
控制和处理单元包括目标标识功能,目标标识功能被配置为处理场景图像和像素相关TOF数据,以基于该场景图像和像素相关TOF数据来导出目标信息,其中,目标信息包括关于测量设备到目标的方向、以及与目标相关联的TOF数据。
在本发明的上下文中,像素相关数据应当优选地被理解为包括多个检测值的数据,所述多个检测值分布在定义(检测)区域(例如,传感器平面)上并且以定义方案(例如,行和列)设置。因此,像素相关图像数据应当优选地被理解为包括特定的和不同的(图像)值,比如提供相应图像的颜色和/或亮度和/或信号强度。更具体地,像素相关图像数据可以通过具有不同像素值的像素的定义布置来提供图像。
根据本发明,控制和处理单元包括目标跟踪功能,目标跟踪功能被配置成通过以下来连续更新目标信息:连续更新场景图像,以特别是提供场景的视频流;以及通过对场景图像进行图像处理来连续导出目标在场景图像中的位置;以及借助于TOF传感器连续导出用于目标的TOF数据。目标跟踪功能被配置成基于经更新的目标信息来连续控制使测量辐射朝向目标的引导。
在一个实施方式中,TOF传感器可以被设置在支承单元中。这种布置导致关于通过TOF传感器和通过图像传感器对像素相关数据的获取的视差。然而,由于这些组件的已知相对布置和取向,这些组件的内部坐标系的相对参考或配准是可用的,并且通过这样,像素数据可以彼此准确地相关联。
特别地,控制和处理单元可以包括像素关联功能(pixel relatingfunctionality),像素关联功能被配置成:特别是通过处理TOF数据来导出TOF图像中的各个像素的距离值;以及基于TOF图像中的像素的距离值来将场景图像中的各个像素与TOF图像中的至少一个像素相关联。这种关联可以动态地执行,即,连续地或者根据需要执行,以便提供图像彼此之间的准确关系。
根据一个实施方式,TOF传感器可以被设置在引导单元中,并且TOF传感器的光学轴线可以与捕获单元的光学轴线、特别是图像传感器的光学轴线同轴对准。通过这样,可以有利地在相对于场景图像没有任何视差的情况下获取TOF图像。
在一个实施方式中,TOF传感器和捕获单元可以彼此相对地配置和设置,使得TOF传感器的视场大于图像传感器的视场,特别是其中,图像传感器的分辨率大于TOF传感器的分辨率。
控制和处理单元可以被配置成提供与像素相关图像数据相关联的像素相关TOF数据,以使像素相关图像数据中的各个像素皆被指派给像素相关TOF数据中的至少一个像素,特别是使得像素相关图像数据中的像素被划分成像素组,并且各个组皆被指派给像素相关TOF数据中的一个相应像素。在图像传感器的分辨率大于TOF传感器的分辨率的情况下,可以应用像素的逐组关系,使得TOF传感器中的一个像素的TOF数据与场景图像的多个像素相关联。
特别地,控制和处理单元可以被配置成特别是显示在显示单元上以叠加方式提供相关联的像素相关TOF数据(特别是TOF图像)和像素相关图像数据(特别是场景图像)。两个图像可以同时显示在测量设备的显示器上或者远程显示器上(例如,在智能手机、平板电脑、膝上型电脑等上)。
在一个实施方式中,范围数据包括各个像素的距离值或者与利用TOF传感器的范围测量相关的各个像素的范围信息,和/或振幅数据包括与所检测到的准直测量辐射的强度相关的信号强度。
根据一个实施方式,测量设备可以包括照明单元,照明单元被配置为利用照明辐射对场景的至少一部分进行照明,其中,照明辐射包括经调制照明信号。照明单元可以设置在支承单元处,特别是靠近TOF传感器,以便提供对要利用TOF传感器捕获的区域的准确照明。
与发射单元形成对比,照明单元提供照明辐射(光),照明辐射不仅用于照明目标的后向反射器,而且用于照明相对较大勘测场景,即,照明现场明显大于借助于所发射的具有(非常)小光束发散度的测量辐射来照明的现场。换句话说,照明辐射的开度角大于测量辐射的开度角。
通过处理照明设备和TOF传感器的控制数据(例如,用于发射照明光或起始脉冲的信号以及用于接收反射光的像素相关信号),可以导出TOF数据。范围信息可以包括以发射照明光开始并且以接收反射光结束的光传播的持续时间。
根据一个实施方式,可以借助于图像传感器,通过检测可见光谱(VIS)光和/或近红外光谱(NIR)光的非调制信号、特别是照明辐射的非调制照明信号,来生成或提供像素相关图像数据。因此,可以通过检测发射光的非调制部分来导出场景图像。
根据一个实施方式,可以通过检测由照明辐射提供的经调制照明信号,来生成或提供像素相关TOF数据。因此,可以通过检测(经反射的)发射光的经调制部分来导出TOF数据。
根据本发明,TOF传感器应当被理解为具体实施为集成传感器设备,集成传感器设备包括多个感测像素(像素阵列),这些感测像素提供对TOF数据的检测,特别是对(经反射的)照明光的经调制部分的检测。
在一个实施方式中,照明单元和捕获单元彼此相对地被配置和设置成使得用于发射照明辐射的孔径角等于或大于用于由TOF传感器接收经反射的照明辐射的孔径角。特别地,在照明单元未与TOF传感器同轴对准的情况下,照明单元的显著更大视场(用于发射照明辐射的孔径角)可以提供对TOF传感器的整个视场的覆盖,并且通过这样,提供一次拍摄整个传感器平面来可靠地获取TOF数据。
当照明单元和TOF传感器同轴对准时,可以通过照明单元来照明TOF传感器的整个视场,并且可以一次拍摄整个视场来收集TOF数据。
在一个实施方式中,控制和处理单元可以包括目标区分功能,目标区分功能被配置成区分一组目标中的至少两个特定目标,其中,对像素相关TOF数据进行处理,以使导出TOF数据并且将TOF数据关联至至少两个目标中的各个目标,特别是其中,导出至少两个目标中的各个目标在场景图像中的位置,并且以相关联的方式提供、特别是显示至少两个目标中的各个目标的位置和TOF数据。特别地,关于测量设备导出到所述至少两个目标中的各个目标的方向。
在一个实施方式中,目标区分功能可以被配置成:接收目标选择标准;对至少两个目标中的各个目标的TOF数据应用目标选择标准;基于对TOF数据应用目标选择标准,来确定至少两个目标中的各个目标的匹配量度;以及基于匹配量度来选择至少两个目标中的一个目标。
特别地,目标选择标准包括距离值、振幅值、以及信号强度值中的至少一者。
标识和选择特定目标的以上步骤可以根据特定标准的定义(例如,目标被预期位于其内的距离范围)而自动执行。
通过上述方法,可以基于目标标准来对一组目标进行标识和分类。而且,可以提供基于所定义的目标标准来选择和跟踪特定目标的自动化例程。
在一个实施方式中,导出目标信息可以包括:通过比较第一组像素(至少一个单像素)的第一TOF数据与第二组像素(至少一个单像素)的第二TOF数据,并且基于第一TOF数据与第二TOF数据之间的差异对目标进行标识来处理像素相关TOF数据。特别地,第一组像素中的像素与第二组像素中的像素相邻。
目标信息可以以不同的方式来导出。特别地,可以基于目标的相关振幅数据(即,所检测到的反射的信号强度)来检测目标。通过这样,可以通过比较第一组像素(例如,具有目标的强振幅信号)与第二组像素(例如,具有背景的弱信号)来执行标识。因此,到目标的方向可以被导出并且基于跨图像的振幅数据的比较。范围(或到目标的距离)也可以基于TOF信息,例如它可以是例如基于波形的图像传感器抽头(tap)或相位或脉冲飞行时间测量。
执行上述几个像素或多组像素的方法可以加以分析并且与其它像素(特别是彼此靠近的像素)进行比较。通过这样,例如可以确定像素的范围数据中的差异。在一个像素(或第一组像素)包括特定范围或者与例如周围或邻近像素的值显著不同的振幅值(周围像素可以对应于可能不包括范围值或者与值“0”相关的漫反射表面)的情况下,可以标识可能的目标。这样的发现可以是对场景中的不是自然环境的部分但是可以是人工的并且被放置用于特定目的(比如大地测量目标(例如,反射器或杆))的物体的清楚提示。
由于到这种目标的距离可以通过TOF测量获知(通常不如通过EDM的测量精确),并且这种信息被提供给所述设备的操作者,因此可以使得操作者能够单独地或手动地决定所找到的物体是否表示待跟踪的目标。
因此,在一些实施方式中,测量设备可以包括显示器,并且控制和处理单元被配置成在显示器上提供TOF数据。另选地或者另外地,TOF数据可以被发送至远程设备以用于显示和/或进一步处理。例如,数据可以被发送至另一勘测设备,以使得另一设备能够高效地瞄准所找到的目标,而不必执行另一ATR或其它搜索功能。
在一个实施方式中,控制和处理单元可以包括子跟踪功能,子跟踪功能被配置成执行、特别是连续执行以下步骤:处理像素相关TOF数据;基于对像素相关TOF数据的处理来标识多个目标;确定所标识的目标在TOF图像中的相应位置;导出所标识的目标中的各个目标的TOF数据;连同标记一起提供TOF图像或场景图像,其中,各个标记皆与所标识的相应目标相关联,并且各个标记皆指示其相关联的所标识目标在所提供的图像中的位置,其中,各个标记皆包括指示相应目标的TOF数据(特别是范围)的量度的指示符。
这种子跟踪功能提供关于测量设备的视场内的场景中的目标的信息。关于这些目标的信息(特别是这些目标在现场的位置(方向)以及这些目标到测量设备的相应距离),对于操作者来说可以直接访问,例如通过显示器上的标记的位置和大小。标记可以优选地叠加在场景图像上方。
特别地,控制和处理单元可以包括切换功能,切换功能被配置成:接收与选择标记中的一个标记相关的用户输入;以及控制引导单元的对准,以使准直测量辐射被引导朝向与所选标记相关联的目标。
在一个实施方式中,捕获单元和/或TOF传感器可以包括能够在VIS与IR之间切换的滤波器、分频滤波器、或者对VIS敏感的多个像素以及对IR频谱敏感的多个像素。
滤波器可以在可见光谱(RGB)或(N)IR光谱之间以机械方式切换(滤波器交换)。TOF传感器可以被具体实施为RGB-IR传感器,以读出作为RGB-IR传感器的单独通道的RGB和IR,RGB-IR传感器的拜尔模板(Bayer pattern)具有四个通道(R、G、B、IR)。滤波器可以是IR截止滤波器(通过附接IR截止滤波器将可见光谱扩展至包括例如10%IR)。
根据实施方式,滤波器可以透射VIS(例如,整个频带)和窄带IR波长。即使IR频带窄且被衰减,RGB场景图像也仍可以具有足够的颜色准确度。
根据实施方式,捕获单元和/或TOF传感器可以包括窄带透射滤波器,窄带透射滤波器被配置成透射包括照明光的波长的波长带的辐射,并且阻挡从波长带排除的波长的背景辐射。
在一个实施方式中,特别是在上述上下文中,TOF传感器可以被配置成提供彩色场景图像,其中,TOF传感器的像素被配置成检测相应颜色信息。
特别地,控制和处理单元可以包括图像捕获功能,图像捕获功能被配置为通过控制捕获单元来捕获场景图像。因此,图像捕获功能可以被配置为借助于TOF传感器来捕获TOF图像。
测量设备包括用于搜索场景中的目标的功能。这种功能也可以被称为ATR(自动目标识别)功能。
特别地,目标照明单元可以被配置为可变地照明场景的至少一部分,即,在不同的时间点提供场景的不同部分的照明。
可以由TOF传感器收集搜索数据。
在一个实施方式中,照明单元可以被配置为发射照明光以照明场景的至少一部分,其中,发射NIR或IR光谱的照明光。换句话说,目标照明单元可以包括(N)IR光源并且提供(N)IR照明光。
如上已经提及的,可以相应地具体实施或控制TOF传感器,以选择性地接收和检测照明光的反射(例如,通过使用可切换滤波器)。换句话说,可以通过在IR光透射和/或检测与VIS光透射和/或检测之间的照明同步切换,来提供对捕获单元的控制。通过这样,可以确定场景中的相应反射的方向。可以确定相应方位角和/或俯仰角。
在一个实施方式中,目标搜索功能可以被配置成使得目标照明单元提供对场景的至少一部分的闪光照明,并且TOF传感器和/或捕获单元提供对场景的由所述照明覆盖的至少一部分的搜索数据的闪光同步捕获。这里,可变照明将被理解为提供及时选择性照明。通过使捕获单元的光检测同步,可以在同时提供场景的实况图像时执行搜索功能,特别是在照明和检测照明光的持续时间保持相对较短的情况下。
根据一个实施方式,目标搜索功能可以被配置成使得目标照明单元提供照明光扇,照明光扇提供对场景的围绕沿第一方向(例如,俯仰角)的定义角度范围的至少一部分的照明,其中,照明光扇的取向在第二方向(例如,方位角)上变化,特别是连续变化的,并且捕获单元和/或TOF传感器可以提供对场景的被所述照明覆盖的至少一部分的搜索数据的取向同步捕获,其中,用于捕获搜索数据的捕获方向在第二方向上以与改变照明光扇的取向同步的方式改变。
在上述实施方式中,可变照明至少将被理解为仅覆盖场景的一部分并且照明的方向是变化的照明。改变用于捕获搜索数据的捕获方向可以通过选择性地控制传感器的特定像素(例如,像素阵列的一个或更多个行/列)并读出那些像素来提供。例如在旋转测量设备的望远镜(引导单元)的情况下,可以分别改变或可以保持该组选择性控制像素。
特别地,捕获单元和/或TOF传感器包括滚动快门。另选地,TOF传感器包括全局快门。
全局快门可以提供先进的光学效率和优化的峰值功率。通过这样,可以通过使用具有非常短的脉冲持续时间(例如,100μs)的闪光照明光来提供特定信号-背景比。
为了通过捕获单元提供ATR功能,可以提供可切换光谱滤波器,以在可见图像(正常传感器功能)与NIR图像(用于搜索)之间切换。可能地,传感器可以在搜索期间以像素合并模式(binning mode)(例如,2×2像素合并模式)使用,以允许更高的帧速率。
根据本发明,不仅可以确定目标方向,而且确定目标距离(通过TOF数据),这在提供场景图像的图像传感器的FOV(视场)中存在多个目标的情况下尤其有帮助。当跟踪目标时,所选目标的路径可能靠近其它不想要的目标。通过使用TOF传感器的附加距离信息,可以更容易地选择期望目标,从而增加跟踪模式中的鲁棒性。
根据本发明,测距单元(特别是发射单元(例如,EDM))的光学轴线与捕获单元的光学轴线同轴对准。光学轴线可以通过使用半透明反射镜、分束器或者其它光学元件而同轴对准。通过利用相对于EDM的瞄准方向无视差的传感器来生成图像,给出这种布置的优点。因而,不需要复杂的坐标变换来提供将测量辐射引导至图像中的相应点的点一致性。
无视差布置的另一优点是提供甚至在短距离也(完全)看到目标。摄像机通常具有小视场(例如,1.5度)。因此,对于轴偏移的情况来说,在距离低于某一值时,当EDM瞄准时将不会覆盖目标。
特别地,照明单元的光学轴线可以与TOF传感器的光学轴线同轴对准。
根据一个实施方式,测量设备可以包括变焦物镜(zoom objective),其中,变焦物镜和捕获单元被设置成使得变焦物镜的光学轴线和捕获单元的光学轴线是同轴的或平行的,并且同轴轴线的取向可借助于引导单元来对准。特别地,TOF传感器和变焦物镜被设置成使得TOF传感器的光学轴线延伸贯穿变焦物镜,并且由变焦物镜接收到的(照明)光被引导至TOF传感器。
测量设备的这种布置使得能够使用OAC(或TOF传感器)来搜索目标。通过利用聚焦能力(变焦物镜),可以在搜索和/或跟踪期间在更近的距离内减少或避免目标图像模糊。特别地,在望远镜中不需要像特定ATR摄像机那样的第二图像传感器。
本发明的特别优点是在简化望远镜设计和减少所需传感器的数量时的成本、尺寸以及重量节省。而且,通过使用聚焦来测量近距离处的无源目标和反射带,可以提供ATR。可以增加ATR波长范围。为了改进对反射带的信号检测,可以添加未被NIR滤波器衰减的可见波长照明。
可以通过使用EDM信号的距离信息或者通过使用沿着目标方向的适当TOF像素距离值来辅助聚焦。以这种方式,可以进行望远镜中的聚焦元件的正确设定,以实现目标的清晰图像。一些目标示出了在更靠近的范围内可分辨的细节,即,玻璃棱镜的允许确定相对于测量设备的取向的边缘。这样,通过应用图像处理,可以完全确定目标的六个自由度。
因此,在一个实施方式中,控制和处理单元可以包括聚焦功能,聚焦功能被配置成基于TOF数据或者基于由测距单元(EDM)提供的距离信息,来导出聚焦距离。可以对变焦物镜进行控制,以使提供特定变焦水平,变焦水平与聚焦距离相互关联。
通过具有(自动)聚焦功能的这种类型的ATR,新应用变得可用。例如,具有融合ATR的全站仪可以在对目标编程之后完全自动操作。ATR可以聚焦、定位以及标识经编程的目标。ATR可以通过以高精度(例如,弧秒)自动瞄准和测量到目标的方向(特别是独立于目标类型),来将内部坐标系参考到全局坐标系。
如所提及的,使用勘测仪器的长距离(range)EDM,借助于到目标或目标标记的所测得距离,可以执行ATR的自动聚焦。视距仪(Tachymeter)或全站仪还配备有基于相位计原理或脉冲飞行时间原理的激光测距仪(laser range finder)。它们以毫米甚或更好的精度来测量从0m到10km的距离。
当使勘测仪器的瞄准轴线在水平和竖直方向上旋转时,可以以高速连续模式导出所测得距离。每次当EDM的激光束触及物体表面或反射目标时,就例如以1kHz或更快的速率来测量和更新距离。因此,到场景中的物体的距离是(永久地)已知的。通过将该距离信息用于ATR的聚焦光学器件,ATR的图像传感器可以进行连续更新。目标表面或目标物体被清晰地成像,并且可以被精确地识别和定位。由于EDM的高测量速度,可以执行聚焦,直到望远镜的超焦距。当望远镜被聚焦到大距离时,典型景深是从400m直到无穷大。EDM可以以高准确度测量这种距离。
EDM的激光束的发散角通常约为0.1deg(度)。典型ATR传感器的视场约为目视望远镜(visual telescope)或成像RGB摄像机的视场,即1.5deg。为了使EDM的激光束适应ATR的视场,可以将EDM激光束的发散度增加因子5到15。在这种情况下,EDM将平均距离作为图像尺寸的一部分同等地递送至传统摄像机的聚焦窗口。通过增加的发散度,可以加速目标搜索,这是因为环境的较大部分被捕获并被清晰地成像。因此,对经编程目标的识别变得更可能,搜索和瞄准过程可以加速,并且瞄准和指向目标的时间可以缩短。
在一个实施方式中,对激光束发散度的设定可以完全自动化,并且可以根据实际场景和/或被用于勘测作业的目标类型而以自调节模式被驱动。
EDM的距离也可以被用于控制ATR目标照明器的发射功率和调制图案(modulationpattern)。在短距离处,所发射的光功率低。在较长距离处,功率主要增加到眼睛安全极限。
而且,脉动ATR发射的占空比和相应地摄像机传感器的快门时间可以由到目标的EDM距离来控制或者至少由到目标的EDM距离来支持。ATR照明器的脉动发射的占空比通常在短距离处最短,而在较长距离处(当ATR激光器的峰值功率受到其最大光功率限制时),ATR发射器的占空比被扩展以增加所发射的平均功率。
关于上面所提及的距离相关功能和应用,这些功能和应用可以另选地或者另外地基于由TOF传感器提供的距离信息来提供。
可以增加ATR波长范围。为了改进对反射带的信号检测,可以添加未被NIR滤波器衰减的可见波长照明。
根据现有技术的测量设备通常包括光学取景器。从本发明的观点,可以将可视通道替换成电光取景器(electro-optical viewfinder,EOV)模块。由于高传感器帧速率(例如,由全局快门提供),因此显示滞后(lag)可以非常小,从而在显示器上给出反应迅速的用户体验。为了仿效光学通道的恒定可用性,可以提供立即切换到摄像机实时观看模式然后再次返回的专用实时观看按钮。另选地,除了UI的其余部分之外,还可以在总是可见的“画中画”窗口中示出实况视频。
通过除去光学取景器,通常更多光(与具有取景器的现有技术相比)可用于摄像机。通过这样,更大量的可见光可用。
使用接收大量可见光的本发明的传感器,可以达到比裸眼更好的灵敏度,使得在比白天更暗的环境中可以手动瞄准。可以另外实现“夜间模式”,其通过对突发中的许多图像求平均并且执行高级去噪,甚至在几乎完全黑暗中也提供良好质量的静止图像。
附图说明
仅通过举例,纯粹通过示例的方式,参照附图更详细地描述或说明本发明的各方面。附图中利用相同的标号来标注相同的要素。所述实施方式通常不按真实比例示出,并且这些实施方式也不应被解释为限制本发明。具体地,
图1示出了被具体实施为全站仪的示例性测量设备;
图2以示意图示出了图1中的全站仪;
图3示出了根据本发明的设置测量设备的图像传感器、发射单元以及接收单元的实施方式;
图4示出了图1中的全站仪的TOF传感器;以及
图5示出了图1中的全站仪的图像传感器和TOF传感器的叠加图像。
具体实施方式
图1示出了根据本发明的测量设备,测量设备被构建为用于获取三维测量点的全站仪1。图2提供了主要组件的抽象例示。全站仪1包括:基座单元2;支承单元3,支承单元被安装在基座单元2上,并且支承单元可相对于基座单元2绕方位轴线A旋转;测距单元,测距单元具有发射单元4和接收单元5,发射单元被配置为提供发送光束T(所发射的准直测量辐射),并且接收单元被配置为检测接收光束R(经反射的准直测量辐射)。接收光束R通常是由发射光束T在目标处的反射来提供的。
引导单元6被安装在支承单元3中,可相对于支承单元3绕俯仰轴线E旋转,并且引导单元被配置为将来自发射单元4的发送光束T引导朝向场景并且将来自场景的接收光束R引导至接收单元5。在全站仪的这个示例中的引导是通过望远镜中的投影光学器件来完成的。在其它示例(例如,激光扫描器)中,引导单元可以是高速旋转的反射镜,其中,发射单元和接收单元被设置在支承单元中,并且反射镜将发送光束和接收光束偏转至场景/从场景偏转发送光束和接收光束。
发射单元和接收单元可以被理解为电子测距仪(EDM)的部分,或者也被称为使用飞行时间、多频相移或干涉测量技术的测距仪。测距单元可以被理解为EDM。例如,发射单元是光源,特别是激光二极管,并且接收单元包括被配置成检测发射单元正在发送的光的反射的传感器。
第一致动器7被设置为使支承单元3相对于基座单元2绕方位轴线A旋转;以及第二致动器8被设置为使引导单元6相对于支承单元3绕俯仰轴线E旋转。第一角度编码器9被设置为测量支承单元3相对于基座单元2绕方位轴线A的旋转位置,以及第二角度编码器10被设置为测量引导单元6相对于支承单元3绕俯仰轴线E的旋转位置。
这里被设置在引导单元6中的捕获单元11包括图像传感器(参见图3),并且被配置为捕获场景的至少一部分的场景图像。这里,测距单元(其包括发射单元4和接收单元5)与捕获单元11同轴。
图3更详细地示出了根据图1和图2的测量设备的图像传感器12(其是捕获单元11的一部分)、发射单元4以及接收单元5的内部布置。图像传感器12的光学轴线、发射单元4的光学轴线以及接收单元5的光学轴线彼此同轴对准。因此,捕获单元的光学轴线与测距单元的光学轴线同轴对准。这里,通过借助于内耦合反射镜(in-coupling mirror)17和彩色分束器(chromatic beam splitter)16耦合这些光学组件的光路来提供光学轴线的相应对准。
光学布置还包括主透镜31和聚焦透镜32。
由此,捕获单元及其图像传感器12可以被设置成使得图像传感器12的光学轴线与EDM的光学轴线同轴。图像传感器12可以被称为轴上摄像机(On-Axis-Camera,OAC)。这种同轴对准例如可以通过借助于半透明反射镜的分束器联接光学轴线来提供。
测量系统中的这种光学系统具有使用设备光学器件(例如,变焦物镜)的聚焦能力的优点,例如,在搜索或跟踪期间避免在较近距离内的目标图像模糊。在望远镜中不需要像当今设备的ATR摄像机那样的进一步图像传感器。
因此,OAC可以被配置成超越ATR功能。为此,可以提供可切换光谱滤波器,以在可见图像(正常OAC功能)与(N)IR图像(用于瞄准)之间切换。OAC传感器被具体实施成灵敏地检测VIS光谱光和(N)IR光谱光。特别地,在瞄准期间可以以2×2像素合并模式驱动OAC以允许更高的帧速率。
测量设备1包括飞行时间(TOF)传感器15,其中,TOF传感器15被配置成提供场景的至少一部分的像素相关TOF数据作为TOF图像。像素相关TOF数据至少提供TOF图像中的像素(特别是TOF图像中的各个像素)的范围数据和/或振幅数据。这里,TOF传感器15可以设置在支承单元3处。根据另选实施方式(未示出),TOF传感器15可以设置在引导单元6处。
控制和处理单元可以是测量系统的单个组件,或者它本身可以包括物理上分布的多个单元。在所示示例中,控制和处理单元包括现场可编程门阵列(FPGA)13和中央处理单元(CPU)14。在其它实施方式中,控制和处理单元包括网络连接器和远程服务器,远程服务器被配置为执行根据本发明的至少一些数据处理。控制和处理单元优选地连接至捕获单元11、测距单元和TOF传感器15。
如图4所示,TOF传感器提供具有像素阵列的传感器平面,并且能够为阵列中的各个像素提供范围数据。因此,构建TOF传感器以提供各个像素的范围数据。由像素阵列提供的数据可以优选地以点云的形式提供。因此,TOF传感器为所捕获的场景提供多个距离数据。
另外地或者另选地,TOF传感器可以提供像素中的每个像素的振幅信号或振幅数据。相应信号振幅可以是特定距离的量度。信号振幅可以取决于测量光的行进距离。例如,测量设备1的照明单元18借助于照明光提供对场景的照明,照明光因其被场景中的目标反射而被检测。与朝向目标的方向相关的TOF传感器的像素或像素组与周围像素相比将检测到增加的信号振幅。通过比较跨TOF传感器15的传感器平面的信号振幅,可以基于具有增加的信号振幅的像素的位置,来确定到目标的相应方向。
另外地或者另选地,可以提供起始脉冲和/或触发信号,以用于检测或触发对相应脉冲的行进时间的测量。
TOF传感器被配置为提供场景的至少一部分的TOF数据,其中,TOF数据可以包括范围数据和/或振幅数据。
控制和处理单元14包括目标标识功能,目标标识功能被配置为处理由TOF传感器提供的数据。基于TOF数据,可以导出目标信息。目标信息可以包括关于测量设备1到目标的方向、以及与目标相关联的相应范围数据。目标信息还可以或者另选地包括信号强度(振幅数据)。连同范围信息一起,可以验证目标是例如棱镜角锥体后向反射器(信号强度较大)还是反射带(信号强度较小)。
根据该实施方式,TOF传感器还能够捕获场景的图像,并且图像数据可以与TOF数据相关。通过这样,可以使相应标记(marker)21-23与图像相关,其中,各个标记皆表示可以通过处理TOF数据来标识的目标。
为了标识目标,TOF数据可以包括TOF图像,TOF图像包括作为像素相关数据的振幅或范围数据,并且可以通过将第一组像素的第一振幅(或范围)数据与第二组像素的第二振幅(或范围)数据进行比较,并且基于第一振幅数据与第二振幅数据之间的差异对目标进行标识来处理像素相关数据,从而导出目标信息,第一组像素中的像素可以优选地与第二组像素中的像素相邻定位。通过这种方法,可以基于(邻近)像素的显著不同的振幅或距离值来标识目标。
换句话说,可以通过关于跨TOF图像的增加振幅对TOF数据进行分析,来检测一个目标或多个目标。TOF图像的包括低(甚或零)振幅的区域可以被认为是背景像素(例如,被认为是第一组像素),而具有较高振幅的这种区域(例如,被认为是第二组像素)可以被认为与要寻找的反射目标相关。在目标处反射并且在TOF传感器侧检测到的光提供增加的振幅值。通过这样,可以确定到目标的方向(和距离)。另选地,代替使用振幅数据,可以使用所导出的范围数据来确定到目标的相应方向(和距离)。
根据本发明,控制和处理单元14包括目标跟踪功能,目标跟踪功能被配置成连续更新目标信息。为此,连续地更新由图像传感器12提供的场景图像,特别是提供场景的视频流,并且通过对场景图像进行图像处理来连续导出目标在场景图像中的位置。而且,借助于TOF传感器连续导出目标的TOF数据。因此,为了跟踪目标,处理由图像传感器和TOF传感器两者提供的信息,其结果是提供更鲁棒且可靠的目标跟踪。
目标跟踪功能被配置成基于经更新的目标信息来连续控制使测量辐射朝向目标的引导。
通过例如对具有增加的TOF振幅的位置(TOF图像中的目标位点)周围的像素进行分析,场景图像另外被用于更精确的目标跟踪。图5也示出了这种方法,其中,TOF图像被附加图像传感器的附加场景图像叠加。
TOF传感器可以被配置成检测可见光谱(VIS)的光和IR光谱的光。
图4示出了借助于处理TOF传感器的范围或振幅数据来标识的三个特定目标21至23。到目标的相应方向或目标的位置是由这些目标在TOF传感器上的位置来描述的。到相应目标的距离是由其标记的大小来表示的。
根据图5,图像传感器12的分辨率大于TOF传感器15的分辨率。图5示出了根据传感器图像的坐标系的特定配准以及这些传感器图像在测量设备1处的相对布置的传感器图像的参考叠加(overlap)。
对于附加优点,两个传感器(TOF传感器和图像传感器)在目标搜索期间并行地运行,并且还用于跟踪目标。通过利用两个传感器收集信息,不仅确定目标方向,而且可以导出目标距离。这在场景中存在多个目标的情况下尤其有帮助。例如,当跟踪目标时,所选目标的路径可能靠近其它不想要的目标。通过使用附加距离信息,更容易地选择和跟踪期望目标,从而增加跟踪模式中的鲁棒性。
根据实施方式,控制和处理单元14可以包括目标区分功能,目标区分功能用于区分一组目标中的至少两个特定目标,其中,像素相关TOF数据被处理成使得TOF数据被导出并且被关联至至少两个目标中的各个目标。目标区分功能被配置为执行目标标识功能(使用场景图像和像素相关TOF数据),以基于目标标识功能来导出目标信息。像素相关TOF数据被处理成使得目标信息包括关于测量设备1到所述一组目标中的至少两个特定目标的方向、以及目标的相应TOF数据。TOF数据被导出并且被关联至至少两个目标中的各个目标。
可以导出场景图像中的至少两个目标中的各个目标的位置,特别是关于测量设备导出到至少两个目标21至23中的各个目标的方向,并且以关联的方式提供(特别是显示)至少两个目标21至23中的各个目标的位置和TOF数据。例如,可以通过图像中的标记来指示到目标的方向,并且可以紧挨着标记显示距离。通过这样,使得用户能够从应当被跟踪的多个目标中选择一个特定目标。
在另一实施方式中,控制和处理单元14被配置成:接收目标选择标准;对至少两个目标中的各个目标的TOF数据应用目标选择标准;基于对TOF数据应用目标选择标准,来确定至少两个目标中的各个目标的匹配量度;以及基于匹配量度来选择至少两个目标中的一个目标。
通过导出和更新所选目标的目标信息,目标跟踪功能可以被连续地应用至所选目标。
根据本发明的目标可以被理解为应当确定到其的距离和方向的物体。目标可以优选地为勘测目标,诸如后向反射器、勘测杆或者位于待测量和/或待跟踪的物体处的任何其它种类的反射物体。
尽管上面例示了本发明,但是部分参照一些优选实施方式,必须理解,可以作出这些实施方式的许多修改例和不同特征的组合。

Claims (15)

1.一种用于获取与场景中的目标相关的三维测量点的测量设备(1),所述测量设备(1)包括:
基座单元(2),
支承单元(3),所述支承单元被安装在所述基座单元上并且能够相对于所述基座单元(2)绕方位轴线(A)旋转,
测距单元,所述测距单元包括发射单元(4)和接收单元(5),所述发射单元被配置为发射准直测量辐射(T),并且所述接收单元被配置为检测由所述目标反射的准直测量辐射(R)的至少一部分,
引导单元(6),所述引导单元被安装在所述支承单元(3)中,能够相对于所述支承单元(3)绕俯仰轴线(E)旋转,并且所述引导单元被配置为将所述测量辐射引导朝向所述场景,
捕获单元(11),其中,所述捕获单元包括图像传感器(12)并且被配置成至少捕获所述场景的至少一部分的场景图像,以及
控制和处理单元,所述控制和处理单元至少被配置为对准所述引导单元,
其特征在于
所述测距单元和所述捕获单元(11)被设置在所述引导单元中,并且所述捕获单元的光学轴线与所述测距单元的光学轴线同轴对准,
所述图像传感器(12)被配置成通过对可见光谱VIS光和/或近红外光谱NIR光进行检测来生成像素相关图像数据,提供所述场景图像,
所述测量设备(1)包括飞行时间TOF传感器(15),其中,所述TOF传感器(15)被配置成提供所述场景的至少一部分的像素相关TOF数据作为TOF图像,所述像素相关TOF数据至少包括所述TOF图像中的各个像素的范围数据和/或振幅数据,
所述控制和处理单元包括目标标识功能,所述目标标识功能被配置成处理所述场景图像和所述像素相关TOF数据,以基于所述场景图像和所述像素相关TOF数据导出目标信息,其中,所述目标信息包括关于所述测量设备(1)到所述目标的方向、以及与所述目标相关联的TOF数据,并且
所述控制和处理单元包括目标跟踪功能,所述目标跟踪功能被配置成通过以下来连续更新所述目标信息:
连续更新所述场景图像,特别是提供所述场景的视频流,并且通过对所述场景图像进行图像处理来连续导出所述目标在所述场景图像中的位置,以及
借助于所述TOF传感器连续导出所述目标的TOF数据,并且
该目标跟踪功能被配置成基于经更新的目标信息连续控制使所述测量辐射朝向所述目标的引导。
2.根据权利要求1所述的测量设备(1),其中,所述控制和处理单元包括像素关联功能,所述像素关联功能被配置成导出所述TOF图像中的各个像素的距离值,并且基于所述TOF图像中的所述像素的所述距离值,使所述场景图像中的各个像素与所述TOF图像中的至少一个像素相关联。
3.根据权利要求1或2所述的测量设备(1),其中,所述TOF传感器(15)被设置在所述引导单元中,并且所述TOF传感器(15)的光学轴线与所述捕获单元的光学轴线、特别是所述图像传感器的光学轴线同轴对准。
4.根据前述权利要求中的任一项所述的测量设备(1),其中,所述TOF传感器(15)和所述捕获单元(11)彼此相对地被配置和设置成使得所述TOF传感器的视场大于所述图像传感器的视场,特别是其中,所述图像传感器(12)的分辨率大于所述TOF传感器(15)的分辨率。
5.根据前述权利要求中的任一项所述的测量设备(1),其中,所述控制和处理单元被配置成提供与所述像素相关图像数据相关联的所述像素相关TOF数据,以使所述像素相关图像数据中的各个像素皆被指派给所述像素相关TOF数据中的至少一个像素,特别是使得所述像素相关图像数据中的所述像素被划分成像素组,并且各个像素组皆被指派给所述像素相关TOF数据中的一个相应像素。
6.根据权利要求5所述的测量设备(1),其中,相关联的像素相关TOF数据和像素相关图像数据以叠加方式被提供。
7.根据前述权利要求中的任一项所述的测量设备(1),其中,所述范围数据包括各个像素的距离值或者与利用所述TOF传感器(15)的范围测量相关的各个像素的范围信息,和/或所述振幅数据包括与所检测到的准直测量辐射的强度相关的信号强度。
8.根据前述权利要求中的任一项所述的测量设备(1),其中,所述测量设备包括照明单元(18),所述照明单元被配置为利用照明辐射对所述场景的至少一部分进行照明,其中,所述照明辐射包括经调制照明信号,并且所述像素相关TOF数据能够通过检测由所述照明辐射提供的所述经调制照明信号来生成。
9.根据前述权利要求中的任一项所述的测量设备(1),其中,所述像素相关图像数据能够通过借助于所述图像传感器检测所述可见光谱VIS光和/或所述近红外光谱NIR光的非调制信号、特别是照明辐射的非调制照明信号来生成。
10.根据前述权利要求中的任一项所述的测量设备(1),其中,所述控制和处理单元包括目标区分功能,所述目标区分功能被配置为区分一组目标中的至少两个特定目标,其中,所述像素相关TOF数据被处理成使得所述目标信息包括关于所述测量设备(1)到所述一组目标中的所述至少两个特定目标的方向、以及所述至少两个目标的相应TOF数据,所述TOF数据被导出并且被关联至所述至少两个目标中的各个目标,
特别是其中,导出所述场景图像中的所述至少两个目标中的各个目标的位置,特别是关于所述测量设备(1)导出到所述至少两个目标中的各个目标的方向,并且
以关联的方式提供、特别是显示所述至少两个目标中的各个目标的所述位置和所述TOF数据。
11.根据权利要求10所述的测量设备(1),其中,所述目标区分功能被配置成:
接收目标选择标准,
对所述至少两个目标中的各个目标的所述TOF数据应用所述目标选择标准,
基于对所述TOF数据应用所述目标选择标准,来确定所述至少两个目标中的各个目标的匹配量度,以及
基于所述匹配量度来选择所述至少两个目标中的一个目标。
12.根据前述权利要求中的任一项所述的测量设备(1),其中
导出所述目标信息包括:通过比较第一组像素的第一TOF数据与第二组像素的第二TOF数据,并且基于所述第一TOF数据与所述第二TOF数据之间的差异对所述目标进行标识,来处理所述像素相关TOF数据。
13.根据前述权利要求中的任一项所述的测量设备(1),其中,所述控制和处理单元包括子跟踪功能,所述子跟踪功能被配置成执行以下步骤:
处理所述像素相关TOF数据,
基于对所述像素相关TOF数据的处理来标识多个目标,
确定所标识的目标在所述TOF图像中的相应位置,
导出所标识的目标的TOF数据,
连同标记一起提供所述TOF图像或所述场景图像,各个标记皆与所标识的相应目标相关联,并且各个标记皆指示其关联的所标识的目标在所提供的图像中的位置,其中,各个标记皆包括指示相应目标的所述TOF数据的量度的指示符,
特别是其中,所述控制和处理单元包括切换功能,所述切换功能被配置成:
接收与选择所述标记中的一个标记相关的用户输入,以及
控制所述引导单元的对准,以使所述准直测量辐射被引导朝向与所选标记相关联的目标。
14.根据前述权利要求中的任一项所述的测量设备(1),其中,所述测量设备(1)包括变焦物镜,其中,所述变焦物镜和所述捕获单元(11)被设置成使得所述变焦物镜的光学轴线和所述捕获单元的光学轴线是同轴的,并且同轴轴线的取向能够借助于所述引导单元来对准。
15.根据权利要求14所述的测量设备(1),其中,所述控制和处理单元包括聚焦功能,所述聚焦功能被配置成:
基于所述TOF数据或者基于由所述测距单元提供的距离信息,来导出聚焦距离,以及
控制所述变焦物镜,以使提供特定变焦水平,该变焦水平与所述聚焦距离相互关联。
CN202311047740.6A 2022-08-30 2023-08-18 具有tof传感器的测量设备 Pending CN117630874A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22192939.1A EP4332630A1 (en) 2022-08-30 2022-08-30 Measuring device with tof sensor
EP22192939.1 2022-08-30

Publications (1)

Publication Number Publication Date
CN117630874A true CN117630874A (zh) 2024-03-01

Family

ID=83151659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311047740.6A Pending CN117630874A (zh) 2022-08-30 2023-08-18 具有tof传感器的测量设备

Country Status (3)

Country Link
US (1) US20240068810A1 (zh)
EP (1) EP4332630A1 (zh)
CN (1) CN117630874A (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1686350A1 (de) 2005-01-26 2006-08-02 Leica Geosystems AG Modular erweiterbare geodätische Totalstation
US9113154B2 (en) * 2013-07-10 2015-08-18 Faro Technologies, Inc. Three-dimensional measurement device having three-dimensional overview camera
EP2860550B1 (de) * 2013-10-09 2016-03-02 Hexagon Technology Center GmbH Scanner zur Raumvermessung
US11168982B2 (en) * 2017-02-14 2021-11-09 Laser Technology, Inc. Laser-based rangefinding instrument

Also Published As

Publication number Publication date
US20240068810A1 (en) 2024-02-29
EP4332630A1 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
CN111521161B (zh) 确定到目标的方向的方法、勘测装置和机器可读载体
US6031606A (en) Process and device for rapid detection of the position of a target marking
US10352699B2 (en) Surveying device having a fine targeting and target tracking functionality
US11859976B2 (en) Automatic locating of target marks
US9658059B2 (en) Measuring device having a scanning functionality and a single-point measurement mode
US9189858B2 (en) Determining coordinates of a target in relation to a survey instrument having at least two cameras
JP6120521B2 (ja) 3次元測量装置及び3次元測量システム
JP5469894B2 (ja) 測量装置及び自動追尾方法
CN101458081B (zh) 测量装置
EP3640678B1 (en) Tracker, surveying apparatus and method for tracking a target
EP2805180A1 (de) Lasertracker mit funktionalität zur graphischen zielbereitstellung
CN102803990A (zh) 跟踪方法和具有激光跟踪器的测量系统
US9482756B2 (en) Tracker unit and method in a tracker unit
US10508914B2 (en) Device for automatically finding a mobile geodetic target object
EP3869152B1 (en) Surveying device with a coaxial beam deflection element
CN104603635B (zh) 利用用于扩展测量范围的混合成像方法的激光跟踪器
CN103076002A (zh) 图像测量系统
EP4332630A1 (en) Measuring device with tof sensor
CN116338712A (zh) 勘测设备
EP4332629A1 (en) Measuring device with tof sensor
US20030099471A1 (en) Distance-measuring device of camera and focusing method of camera
JPH10197247A (ja) 位置計測作図装置の自動追尾装置
CN115150545A (zh) 具有全景图像获取功能的测量系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination