CN111521161B - 确定到目标的方向的方法、勘测装置和机器可读载体 - Google Patents
确定到目标的方向的方法、勘测装置和机器可读载体 Download PDFInfo
- Publication number
- CN111521161B CN111521161B CN202010080262.9A CN202010080262A CN111521161B CN 111521161 B CN111521161 B CN 111521161B CN 202010080262 A CN202010080262 A CN 202010080262A CN 111521161 B CN111521161 B CN 111521161B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- camera
- images
- surveying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000005855 radiation Effects 0.000 claims abstract description 129
- 230000000007 visual effect Effects 0.000 claims abstract description 32
- 238000005259 measurement Methods 0.000 claims description 91
- 230000033001 locomotion Effects 0.000 claims description 57
- 230000008859 change Effects 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 9
- 230000000630 rising effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims 1
- 230000006870 function Effects 0.000 description 34
- 230000000875 corresponding effect Effects 0.000 description 18
- 238000005286 illumination Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008685 targeting Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000005019 pattern of movement Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
- G01C1/02—Theodolites
- G01C1/04—Theodolites combined with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
- G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
- G01C15/002—Active optical surveying means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
- G01C15/002—Active optical surveying means
- G01C15/008—Active optical surveying means combined with inclination sensor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本发明涉及确定到目标的方向的方法、勘测装置和机器可读载体。例如激光跟踪仪、全站仪、激光扫描仪或测量杆的勘测装置(1,1')包括事件相机(2,20),该相机包括动态视觉传感器(5)。由相机(2,20)检测到的事件借助于目标辐射(4)用于确定到例如回射器的待勘测目标(3,13)的方向,和/或在视觉测距的情况下确定相机(2,20)的相机姿态,例如,用于对三维点云进行配准和/或确定例如包括相机(2,20)的基于GNSS的测量杆(1')的勘测装置(1,1')的位置的目的。
Description
技术领域
本发明涉及一种勘测装置,所述勘测装置包括事件相机,并且涉及一种用于这种勘测装置的方法。
背景技术
已知用于测量一个或更多个目标点的许多勘测装置。这种勘测装置的众所周知的现代示例是激光跟踪仪(也就是说,被配置为用于目标点的连续跟踪以及该点的坐标位置确定的测量装置)、或针对大地勘测专门定制的勘测装置(诸如,激光扫描仪、视距仪和全站仪)。后者也称为电子视距仪或计算机视距仪,并且包括用于以高度自动化或自动的方式完成勘测任务的一系列不同的子系统。例如在EP 1686350中描述了根据现有技术的一种大地勘测装置。在这种情况下,勘测装置(该勘测装置的绝对位置是已知的)相对于待勘测目标点的距离和方向或水平和垂直角被记录为空间标准数据。
在许多应用中,通过将具体配置的目标定位或安装在可移动车辆上来勘测点。所述目标例如包括具有用于限定测量路径或测量点的回射器(例如,全圆棱镜)的铅垂杆。然而,在没有反射器的情况下操作的勘测系统也是可以的,诸如,在申请号为EP 10168771.3的欧洲专利申请中描述的系统。具有用于位置确定的GNSS接收器的勘测装置也是已知的。
在对勘测装置和(如果适用)用于标记待勘测目标点的反光目标作出相应严格要求的情况下,甚至跨勘测装置与目标点(所谓的远场)之间的约100米或更长的较大距离,例如在公路或隧道建设中进行勘测期间所需的精度也在毫米范围内。
对于勘测点,通用类型的勘测装置包括瞄准单元或射束引导单元。后者通常可相对于测量装置的基座绕竖直轴线和水平倾斜轴线旋转,使得借助于枢转和倾斜,由射束引导单元发射的测量辐射可以与待勘测点对准。因此,目标点的位置是基于(借助测角仪确定的)射束引导单元的取向和/或测量辐射的发射方向以及到目标的距离测量的,所述距离例如根据飞行时间或相位测量原理基于测量辐射来确定。
作为对单个点的勘测的另选方案或除了单个点的勘测之外,例如借助于利用数百万个点勘测的扫描来勘测大量的点,由此生成所谓的3D点云。在这种情况下,为了完全勘测物体,也就是说,为了生成无间隙地对物体的表面成像的3D点云,通常需要从多个站点勘测物体。因此,从两个或更多个位置生成的点云必须与公共基准(所谓的配准)相关,这很复杂并且通常只能在后面进行。
为了链接不同的站点或支持多个点云的配准,已知的是使用视觉测距来确定测量环境中的两个站点的位置和取向的差异。为此目的,勘测装置包括标准相机,该标准相机在站点改变时,在算法上例如借助所谓的SLAM(同时局部化和映射)或SfM(运动恢复结构)算法连续地记录一系列图像。还可以独立于点云配准使用这种方法,以便确定勘测装置的位置和/或取向或跟踪勘测装置在测量环境中的移动。
这里存在的问题是,传统相机的图像质量会因诸如高动态范围或移动模糊(特别是在诸如隧道或建筑物内部的较弱照明测量环境中)的光度效应而大大受损。由于图像质量不足,视觉测距算法无法成功正确地确定装置姿态或具有足够的精度。测距测量质量的进一步障碍是由于过度照明(例如,强阳光)、照明的快速或巨大变化以及快速或不均匀的图像场景变化(在某些情况下几秒钟甚至更快)而引起的,这种情况经常例如在公开场合以及当勘测装置被人从一个位置移动到另一位置时发生。
特别是对于勘测单个目标,可以将勘测装置(主要是激光跟踪仪或全站仪)配置为自动目标照准/精细瞄准和目标跟踪,以下简称为ATR(自动目标识别)。例如,可以在Kirschner,H.和Stempfhuber,W.的以下出版物中找到这种ATR系统的描述:The KinematicPotential of Modern Tracking Total Stations-A State of the Art Report on theLeica TPS1200+.1st International Conference on Machine Control&Guidance 2008.
根据现有技术的ATR系统包括用于发射照明射束并且用于借助于ATR相机捕获照明射束的从目标(例如,环境中的某个点或反射棱镜)反射回来的部分的至少一部分的装置。另选地,这种目标辐射由目标自身借助于安装到目标的射束源发出。由目标反射或发射的光在光电传感器(例如,CMOS 2D芯片)上被成像为光斑。
光斑的位置或定位提供有关到目标的方向的信息。根据相机的光学瞄准轴线的取向与到目标的方向的偏差,反射辐射在ATR传感器上的撞击位置这里还偏离中心传感器区域位置,也就是说,从目标发出的ATR目标辐射在ATR区域传感器上的光斑不位于ATR区域传感器的中心,因此不会撞击在例如基于校准被限定为与光学目标轴线相对应的位置的期望位置上。因此,在精细瞄准功能的情况下,基于图像传感器上的反射点或曝光像素的位置,得出目标相对于光学瞄准轴线的方向。
在偏差的情况下,借助于精细瞄准功能,通常以机动方式,对瞄准单元或射束引导单元的取向稍微进行重新调整,以使得在棱镜处回射的ATR测量射束高精确地撞击在ATR区域传感器上的传感器区域的中心处,也就是说,照准设备的水平角和垂直角以这种方式迭代地改变和调整,直到反射点的中心与ATR区域传感器上的期望位置一致为止。
除了ATR精细跟踪功能之外,以类似的方式并使用相同的ATR组件,还可以提供自动目标跟踪功能,这主要是针对激光跟踪仪的情况,但也是用于现代全站仪的情况。在目标跟踪期间,连续地或以很小的时间间隔确定移动目标的位置。测量/勘测装置跟随目标的位移。因此,照准设备以如下方式“实时”且适当地迅速跟踪目标的移动:使得ATR反射点的中心仍然尽可能准确地且总是保持在ATR区域传感器上的期望位置上。术语通常会提到“锁定”到目标上或目标“被锁定”。
为了确保自动精细瞄准或自动跟踪的功能,有必要在功能开始之前将照准设备与目标至少大致以如下方式对准:使得目标辐射能够由ATR相机接收或撞击到ATR区域传感器上。如果在测量环境中存在多于一个可能的目标,则这里存在选择实际期望的目标并且避免与不期望的目标的不正确对准的问题。现有技术公开了用于识别目标的解决方案,例如,借助于目标上的条形码,该条形码借助于概览相机被成像并被读出。然而,这种已知的目标识别手段的不利之处在于,特别是在相对较大距离的情况下,条形码的安全读出从复杂变为不可能。
作为用于目标识别的另一种方法,已知的是为目标配备发射随时间变化的光图案的多个LED。该光图案由位置敏感检测器(PSD)的图像传感器成像,并且与所存储的图案进行比较。有关该解决方案的缺点是:首先,发光体上的额外支出;其次,对由图像传感器提供的图像的复杂图像估计。最重要的是,使用这种方法不可能或仅在高支出/复杂度的情况下才能使多个成像目标或目标图案彼此分开,并消除或掩盖掉由外部光源或外部反射引起的干扰影响。
在这种情况下,外来光影响不仅妨碍或阻止目标的检测或识别,而且还具有将外来光源或其反射错误地锁定而不是锁定在目标上的效果。这些外来反射由外来光或辐射源引起,诸如直接日射或间接日射(即,从路标或玻璃表面反射的日射、或工程车辆的前灯)。因为干扰通常会导致失去对目标反射的锁定,这需要耗时的重新锁定,所以干扰特别是在目标跟踪过程中是有问题的。
WO 1997/10517 A1公开了一种具有发射光的偏振的调制的目标识别方法。此处不利的是用于偏振(尤其是以偏振装置的形式)的附加支出,所述偏振装置此外必须至少部分地布置在目标反射器上,从而导致不能使用传统回射器。WO 2011/098131使用一种装置,该装置包括两个不同布置的辐射源和至少两个图像传感器,其中,基于在利用第一辐射源的反射光照射下的图像传感器的信号和在利用第二辐射源的反射光照射下的信号来区分反射。这里,同样再次不利的是这次为附加光源和图像传感器的形式的装置的附加支出。
如果目标以使得目标从ATR检测器的视场中消失(即,在目标处反射的ATR测量辐射不再撞击到ATR区域传感器上)的方式颠簸且快速地移动,则会出现另一个问题。仍然记录在图像中的目标在另一图像的随后记录期间已经在相机的视场之外,从而所述另一图像不再包含目标辐射的光斑。由于两次图像记录之间的曝光持续时间或时间间隔不能任意缩短-即,由于现有技术的ATR相机的向下限制的帧速或帧频-该问题主要发生在非常迅速移动目标和/或近距离的情况下。
发明内容
因此,本发明的目的是提供一种具有改进的自动精细瞄准和目标跟踪功能的勘测装置和勘测方法。
本发明的另一目的是提供一种具有改进的目标识别的勘测装置和勘测方法。
本发明的另一目的是提供一种改进的勘测装置和方法,该测勘测装置和方法使得能够借助于视觉测距来确定勘测装置的位置和/或取向和/或其更改。
除非另有明确说明,否则本说明书中示出或以其它方式公开的本发明的所有实施方式可彼此组合。
根据第一方面,本发明涉及一种包括相机的勘测装置(例如,被配置为全站仪、经纬仪或视距仪)或激光跟踪仪(被配置为参考内部坐标系确定目标的位置),该相机包括用于接收并检测由目标回射或发射的光学目标辐射的位置敏感像素阵列传感器,其中,可基于检测到的目标辐射在像素阵列上的确定位置来确定到目标的方向。
相机被配置为事件相机,使得对于像素阵列的各个像素,事件可被检测为接收光或辐射强度的变化。可选地,在这种情况下,如果亮度变化超过特定强度阈值(即,例如,检测到的目标辐射至少改变定义值),则将亮度变化检测为事件。
可选地,勘测装置被配置为基于借助于传感器确定的检测到的目标辐射的相位差和/或飞行时间来确定到目标的距离。举例来说,与最终或实际位置确定相比,借助于事件相机检测到的目标辐射,确定到目标的粗略或近似距离。
在一个优选的改进方案中,勘测装置具有识别功能,在实现该功能时,基于检查标准识别目标辐射并因此识别目标。举例来说,通过检查与所存储的事件序列相对应和/或与事件序列类别相关联的检测到的事件的序列来进行识别。举例来说,将借助于事件检测检测到的目标辐射的强度调制(例如,在超过阈值强度和低于阈值强度之间变化的调制)与先前已知的调制模式进行比较,使得目标辐射与环境辐射和/或不同目标的目标辐射区分开。
可选地,传感器被配置为动态视觉传感器(DVS)和/或针对至少1kHz的事件检测速率或测量速率,和/或传感器覆盖至少1.5°(例如,20°,特别是至少180°)的视场。
可选地,勘测装置包括基座以及射束引导单元,该射束引导单元用于发射测量辐射(特别是激光辐射)并且用于接收在目标处反射的测量辐射的至少一部分,其中,射束引导单元可以以机动方式相对于基座绕两条轴线枢转,并且目标轴线由测量辐射的发射方向限定。此外,在该选项中,该装置包括:精细距离测量单元,其用于借助于测量辐射确定到目标的距离;以及角度测量功能,其用于确定射束引导单元相对于基座的取向(目标轴线的取向),使得可基于所确定的距离和取向确定所寻求的目标位置。基于借助于传感器确定的到目标的方向,射束引导单元可以以如下方式枢转:使得所发射的测量辐射集中地撞击在目标上。在这种情况下,作为另一选项,射束引导单元包括用于发射目标辐射的目标辐射源,即,由勘测装置利用目标辐射照射目标。
本发明还涉及一种用于确定到目标的方向的方法,其中,该方法包括:借助于勘测装置(例如,全站仪或激光跟踪仪)的事件相机来接收由目标回射或发射的经调制的光学目标辐射,其中,相机包括位置敏感传感器,该位置敏感传感器包括像素阵列,所述传感器例如被配置为动态视觉传感器;以及借助于像素阵列将事件检测为所接收的辐射强度的变化,所述变化特别是超过所定义阈值。
优选地,该方法还包括:基于由目标辐射的调制引起的检测到的事件来识别目标辐射或目标;以及借助于确定检测到的目标辐射在像素阵列上的位置来确定到目标的方向。在这种情况下,调制被广泛地理解并且例如还包括目标辐射的传播方向的(目标)改变。
在一种改进方案中,在发射目标辐射时例如通过产生脉冲目标辐射来执行调制,和/或在通过目标反射目标辐射时例如通过有时中断反射(特别是借助于目标的快门)来进行调制和/或改变目标辐射方向(例如,以有针对性的方式使目标枢转),从而产生移动/方向模式。为这种目标辐射调制形式的枢转模式不仅可以利用反射目标产生,而且可以利用自发光目标产生。
可选地,为了识别目标辐射的目的,执行针对与所存储的事件序列的对应性的检查和/或针对与事件序列类别的关联性的检查。举例来说,将检测到的事件序列与表示调制的先前已知模式进行比较。
作为另一选项,借助于确定由传感器检测到的目标辐射的相位差和/或飞行时间来估计到目标的距离。
在另一改进方案中,为了确定在像素阵列上的位置,借助于将检测到的事件关于时间进行整合并且通过逐像素捕获检测到的目标辐射的事件,来生成表示目标辐射的至少一个光斑的图像,所述事件已经关于时间被整合,其中,例如,光斑的中心被确定为位置。在这种情况下,可选地已经在传感器的(估计)级别进行了整合,而不是直到在连接到传感器下游的估计阶段为止才进行整合。在该选项的情况下,读取强度图像。
作为选项,该方法包括:借助于不断地确定方向,对移动目标进行目标跟踪;以及基于所确定的方向改变事件相机的取向,特别是其中,在目标跟踪的情况下估计目标的速度。
可选地,该方法包括:基于具有相对于彼此布置在固定位置的多个目标的测量辅助仪器的各个目标的相应目标辐射的检测到的位置来确定测量辅助仪器的取向(相对取向)。
用于确定到目标的方向的另选方法包括:根据预定移动模式使目标移动或枢转;借助于勘测装置(例如,全站仪、经纬仪或视距仪或激光跟踪仪)的事件相机接收从目标发出的光,其中,相机包括位置敏感传感器,该位置敏感传感器包括像素阵列;借助于像素阵列将事件检测为接收到的光强度的变化,所述变化特别是超过所定义阈值;基于与由目标的预定义移动模式引起的光强度变化相对应的事件来识别目标;以及借助于确定检测到的移动模式事件在像素阵列上的位置来确定到目标的方向。
因此,根据该另选方法,利用基于光变化的事件来进行目标识别,所述事件是由根据已知模式明确确定的目标移动引起的。在这种情况下,例如正常环境光用作光源,所述光在相机的方向上被目标镜面反射或散射。因此,在该另选方案的情况下,可以省去单独目标辐射。
在另一方面,本发明涉及一种移动勘测装置,该移动勘测装置包括至少一个相机模块和具有视觉测距功能的计算机,在实现视觉测距功能时,借助于所存储的特别是基于SLAM或SfM的视觉测距算法,以确定相机姿态的至少一部分的方式,估计相机模块在勘测装置沿着测量环境中的路径移动期间以各种相机姿态记录的一系列图像。
相机模块包括动态视觉传感器(DVS),使得对于动态视觉传感器的像素阵列的相应像素,事件可被检测为接收到的光强度的变化,所述变化特别是超过所定义阈值。此外,在功能的情况下,在移动期间,除了记录一系列图像之外,还检测事件,并且借助于算法使用检测到的事件确定相机的姿态。因此,基于相机图像的估计和检测到的事件来确定相机姿态。
可选地,动态视觉传感器还被配置并提供为在功能的情况下记录图像,也就是说,因此,该动态视觉传感器既用于事件检测又用于记录一系列图像的双用途。
在一种改进方案中,在功能的情况下,借助于基于SLAM或SfM估计的算法,基于检测到的事件(仅借助于检测到的事件或以检测到的事件作为附加数据源),识别一系列图像的各个子组中的多个对应图像点,并且基于各个相应图像点的后视和前视过程确定相机姿态。
可选地,在功能的情况下,一系列图像中的第一图像被记录为参考图像,该参考图像相对于/关于测量环境的姿态是已知的,基于检测到的事件创建在一系列图像中的参考图像和至少一个其它图像中出现的一组参考图像点,并且基于一组参考图像点相对于测量环境确定相机姿态。
作为另一选项,在功能的情况下,使用检测到的事件进行捆绑调整(bundleadjustment)。在一种改进方案中,在功能的情况下,对一系列图像中的图像中的图像特征进行跟踪(特征跟踪),其中,基于检测到的事件对图像特征进行跟踪。作为另一选项,在功能的情况下,基于检测到的事件确定相机模块的移动变量(例如,加速度和/或速度)。
可选地,在功能的情况下,基于相机姿态的至少一部分来确定勘测装置的位置和/或取向。位置确定借助于相机姿态例如直接地或排他地进行,或者后者被用于提高精度或以内插方式用于桥接。
可选地,在功能的情况下,记录一系列图像中的第一路径点处的第一3D点云(特别是借助于激光扫描)以及至少一个第一图像,其中,第一3D点云和第一图像对测量环境的至少部分重叠区段成像,从而使得第一3D点云和第一图像由于重叠而能够在空间上链接。此外,该功能包括记录一系列图像中的第二路径点处的第二3D点云和至少一个第二图像,其中,第二3D点云和第二图像对测量环境的至少部分重叠区段成像。最终,该功能包括基于所确定的至少第一图像和第二图像的相机姿态,使第一3D点云和第二3D点云相对于彼此进行配准。
作为选项,勘测装置包括热图像传感器、惯性测量单元和/或电子测距设备,并且在功能的情况下使用热图像传感器、惯性测量单元和/或电子测距设备的测量数据来确定相机姿态。
可选地,在功能的情况下,以帧速率记录图像,并以为帧速率的大小的至少100倍的检测速率执行检测事件。
作为选项,勘测装置被配置为激光扫描仪、全站仪、经纬仪或视距仪或激光跟踪仪,和/或勘测装置包括基座和射束引导单元,所述射束引导单元用于发射测量辐射(特别是激光辐射)并且用于接收在目标处反射的测量辐射的至少一部分,其中,射束引导单元可以以机动方式相对于基座绕两条轴线枢转。另外,该装置包括:精细距离测量单元,其用于借助于测量辐射确定到目标的距离;以及角测量功能,其用于确定射束引导单元相对于基座的取向,使得可基于所确定的距离和取向确定目标位置。作为另一选项,在这种情况下,勘测装置被配置为实现用于确定到目标的方向的上述方法。
可选地,勘测装置被配置为测量杆,特别是具有GNSS接收器的测量杆。例如,将要勘测或标出的地形点与这种测量杆相联系。
此外,根据第二方面,本发明涉及一种利用移动勘测装置(特别是激光扫描仪、全站仪、经纬仪或视距仪、激光跟踪仪或测量杆)进行视觉测距的方法,其中,该方法包括:使勘测装置沿着路径移动;以及借助于勘测装置在移动期间以各种相机姿态记录一系列相机图像;以及基于一系列图像中的相机图像的至少一部分确定相机姿态的至少一部分,所述至少一部分表示相机的位置和取向。
此外,该方法包括:借助于勘测装置的动态视觉传感器来检测事件,其中,事件是借助于动态视觉传感器接收到的光强度的变化,所述变化特别是超过所定义阈值;使用检测到的事件的至少一部分来确定相机姿态。
另外,本发明涉及一种计算机程序产品,该计算机程序产品包括存储在机器可读载体(特别是根据本发明的勘测装置的机器可读载体)上的程序代码或者用于执行根据本发明的相应方法或所有方法的计算机数据信号。
附图说明
下面根据在附图中示意性示出的实施方式和应用处理来更详细地描述根据本发明的勘测装置和根据本发明的方法。
具体地,
图1示意性地示出了根据本发明的勘测装置和由所述勘测装置照射的目标,
图2示出了估计到目标的距离的一个示例,
图3示出了区分多个目标的一个示例,
图4示出了捕获移动目标的一个示例,
图5示出了被构造为测量杆的另一勘测装置的一个示例,
图6示出了借助于勘测装置的视觉测距的一个示例,以及
图7示出了根据本发明的测距方法的另一示例性应用。
具体实施方式
图1示出了例如被配置为自动全站仪或激光跟踪仪的示例性勘测装置1,借助于该勘测装置1,例如通过激光源(未示出)作为第一射束源向目标3发射测量射束,可确定目标3的位置,从而例如根据飞行时间方法可确定到目标3的距离,从而在已知或测得的发射方向的情况下,可相对于勘测装置1的内部参考系确定目标3的坐标。勘测装置1包括控制和估计单元(未示出)以及瞄准设备或射束引导单元11,所述瞄准设备或射束引导单元11可相对于基座12绕两条轴线枢转,并且包括物镜单元(例如,望远镜瞄准器或望远镜)以及与目标3对准的ATR相机。然而,如下所述捕获目标辐射本身并不需要使瞄准装置11或相机枢转。目标物体3例如被配置为反射器,特别是被配置为反射棱镜。
勘测装置1配备有第二射束源(例如,激光或IR光源),所述第二射束源用于向反射器3发射经调制的(例如,在示例中为脉冲的)目标照明射束4,目标辐射4从该反射器3处沿目标相机2的方向被反射回并由目标相机2接收(当然假设目标3位于相机2的视场中)。另选地,目标3本身包括光源(未示出),该光源发射能够被相机2接收的这种经调制的目标辐射4。相机2配备有空间分辨检测器或光敏传感器。在这种情况下,勘测装置1或相机2以及目标3都可以是静止的(下面将结合图4进一步详细描述移动目标3的情况)。
相机2被配置为事件相机(事件相机),其包括作为检测器的动态视觉传感器5(DVS),该DVS在图1中在装置1旁边以放大图示出。所述传感器5包括像素阵列(由网格图案表示),其中,对于每个像素,只要撞击到该像素的光强度的变化ΔI超过所定义阈值9,就登记该变化ΔI。
在该示例中,由于目标辐射4被脉冲化,所以这种强度变化ΔI由所反射的目标照明射束4(恒定地)触发。因此,目标辐射脉冲4被检测为事件8。在这种情况下,具有千赫兹范围内的频率(例如,5kHz或10kHz)的传感器5的测量速率有利地足够高,使得可以跟随单个光脉冲,也就是说,脉冲4在每种情况下都可分辨为事件8。更确切地说,如示例中所示,相应脉冲甚至被分辨为两个事件8u、8d。换句话说,借助于根据本发明的传感器5,可以从单个脉冲收集双重信息,结果,例如对于期望时间分辨率,具有一半大小的脉冲速率就足够了。
作为另选方案(未示出),通过目标3执行导致像素阵列上的所定义光调制的示例性移动,产生可检测为事件并能够进行目标识别的强度变化ΔI。举例来说,目标3包括一个或更多个目标辐射源,所述目标辐射源根据所定义模式移动,结果,由于位置变化,强度变化(例如,光移位形式的光调制)发生在像素阵列上,所述强度变化可由传感器5检测为事件。
另一另选方案涉及由于目标3的所定义移动而借助于环境光触发像素阵列上的先前已知强度变化。举例来说,目标3被配置为明亮的或镜面反射的盘并且由用户以移动模式枢转,结果,传感器5由此检测到其时间和空间轮廓可明确地分配到目标3的事件。
在该示例中,目标辐射4撞击在像素阵列的区域4s上。因此,在位于所述区域4s内的所有像素处,经调制的目标辐射4被检测为事件8。这针于一个像素4p通过举例的方式来说明。以与在各个情况下超过阈值9(为简单起见,仅在图中以绝对值示出)的强度变化ΔI对应的方式,针对所述像素4p输出事件8。在该示例中,所述事件另外被提供有它们各自的事件时刻t1、t2、…或t6,并且还被提供有变化的类型,也就是说,根据上升强度的事件8u(正变化)和下降强度的事件8d(负变化)进行区分。因此,将亮度变化的极性、时刻和地址(像素坐标)确立为事件。可选地,在此可以针对每个极性定义不同阈值。
与事件触发脉冲目标辐射4相反,不检测在该示例中由发光物体10(例如,太阳)连续发射的外来辐射。在该示例中,该非目标光实际上撞击在传感器5的区域10s上。然而,由于这与强度变化不相关(或者仅强度变化非常小,以至于它们低于阈值9),因此由于这种不期望的辐射10,传感器5不产生任何输出或检测信号,也就是说,外来辐射没有被传感器装置捕获。
因此,所使用的事件相机或所使用的光配准方法有利地使得可以从开始就消除外来光影响。外来光不是根据常规方法从检测中被分类出来(如回顾过去那样),而是从开始就不被检测。与此相反,有利地将目标辐射4与干扰影响分开,并且由于其强度调制而捕获了目标辐射4,而无需采取任何其它措施。
作为进一步的优点,与传统勘测装置相机相比,事件相机2具有显著减少的数据量(由于不会不断地记录完整图像,而是只会登记可能的变化,或者不需要处理完整图像,而只需处理单个像素),并且还具有显著减小的功耗。较低的信号处理需求或数据输出以及较低的功率需求主要在通用类型的移动(因此由电池供电的)勘测装置1(诸如,激光跟踪仪或全站仪)的情况下很重要,这些装置关于数据处理和传输通常具有有限的潜力。
为了确定目标辐射4在传感器5上的位置,从而确定从勘测装置2到目标3的方向或装置2的对准与目标3的理想对准之间的偏差,事件8在特定时间段内被整合。因此,可以确定例如距传感器零点(在该示例中,零点是像素阵列的左上角)的距离Δy和Δx,结果是相机2或勘测装置2的目标轴线的取向可以根据距离Δy、Δx改变,以便使目标辐射4集中地撞击在零点上。在移动目标3的情况下,目标跟踪因此可以以本身已知的方式进行。
作为事件整合的另选方案,传感器5还被配置为除了强度变化或事件8之外还确定(绝对)强度值。例如,这可以以30Hz的测量速率进行,也就是说,以比事件测量速率显著低的测量速率进行,或者与现有技术相比以显著降低的测量速率进行,因为基于事件的检测提供了足够高的时间分辨率,或甚至与现有技术相比提供增加的时间分辨率。由于强度值,因此可以将目标辐射4成像为几何形状,该几何形状的位置指示所寻求的撞击位置,例如,作为所成像的圆形光斑的中心。
图2示意性地示出了如何进一步有利地利用事件相机2或动态视觉传感器5的相对高测量速率。借助于事件相机2(由于该相机在千赫兹范围内的测量频率),不仅可以确定到目标3的方向,还可以确定或估计到目标4的距离D。在该示例中,这是根据本身已知的飞行时间原理进行的。当发射目标辐射脉冲4时触发开始时间t0,并且在脉冲4被检测作为事件8时触发停止时间t1。在知道光速c的情况下,距离D可从时间差Δt=t1-t0粗略地确定。另选地或另外地,通过借助于传感器5确定相位差来进行距离估计。
利用如此粗略地确定到目标的距离,可以首先识别出目标3是位于测量环境的近范围内还是远范围内。这可以被例如自动地利用以设置实际高精度激光测距的测量参数,结果,例如以例如测距激光(对于该测距范围)的最佳参数自动地对远场中的目标3进行勘测。
此外,ATR目标发现的鲁棒性因此可以被提高。这是因为,除了干扰光源(见图1)之外,如果勘测装置1无法区分多个目标3,则测量环境中的多个目标3也会出现问题,因此,可能发生疏忽地锁定到不正确的当前不期望的目标3上。借助于距离估计,可以将至少远场中的目标3与近场中的那些目标区分开。
为了进一步提高测量关于目标辐射4的鲁棒性,可选地将目标辐射4识别为进行检查以确立事件8的序列是否满足特定检查标准的效果。例如,将登记的事件序列与一个或多个存储的事件序列进行比较。这些存储的序列表示目标辐射的调制。如果确立了对应性,则将事件序列识别为实际上是由目标辐射4引起的。否则,装置1搜索或输出例如错误消息。
作为另选或附加检查标准,可以测试与一类事件的关联性。这种分类的一个简单示例是有关事件8之间的时间间隔是否符合所定义上限或特定最小事件频率的检查,该频率在该示例中表示目标辐射脉冲速率。例如,假设装置1对目标辐射4和非目标辐射进行训练,可以借助于机器学习形成用于将检测到的事件8分类为目标辐射4或非目标辐射的分类模型。自学习分类模型提供以下优点:这样可以自动地识别迄今为止甚至勘测装置1仍未知的新目标辐射4。
利用这种目标辐射识别,首先由此可以识别出均匀干扰光,尽管该干扰光具有高于阈值的可变强度并因此触发事件8,但由于与目标辐射调制不同的调制,该干扰光与先前已知的检查标准不对应。
如图3所示,此外也可以由此识别不同的目标3、13。两个目标3和13以不同脉冲速率发射目标辐射4和14。因此,检测到不同的事件序列8和18,结果,可以由此识别出相应的事件序列8、18,以及由此识别出潜在辐射4、14-例如,借助于目标3、13被分配到每个事件序列的所存储的表。因此,例如,可以并行勘测测量环境中的多个目标3、13,而不必担心混淆。
在一些实施方式中,目标相机2和相应的传感器5具有大视场(高达180°或更大)。这可以消除对与目标3、13的手动粗对准或自动粗对准的需要,所述自动粗对准是在现有技术中例如借助于单独概览相机而进行的,并且主要在来自现有技术的具有相对窄(例如,10°或更小)的视场的ATR相机的情况下是必需的。因此,根据本发明的勘测装置可以在没有概览相机的情况下被具体实现。
此外,可识别的目标辐射4、14可选地用于确定用于标记物体的目标点的例如手持式测量辅助仪器的取向或对准。具有与激光跟踪仪结合使用的测量探针或扫描附件的手持式测量辅助仪器的一个示例在WO 2007/124010 A2中被描述,或者由Leica Geosystems AG出售为“T探针”。为此目的,测量辅助仪器包括固定地布置在仪器上的定义点处的多个目标3、13(例如,以T或X的形状)。由于相对于彼此固定地布置的这些目标3、13中的每个的各个目标辐射4、14,因此可以将传感器5上的每个检测点4s、14s分配给每个目标3、13(为说明清楚起见,在图3中省去了用符号表示传感器5处的像素阵列的网格图案)。根据传感器上的位置x4、y4和x14、y14的关系,利用关于目标3、13在测量辅助仪器上的位置关系的知识,可以推导出测量辅助仪器相对于相机2的取向。另外,检测到的位置关系还可以以可以推导出到测量辅助仪器的粗略距离的方式被可选地估计。
由于相对高的测量速率,因此可以很好且鲁棒地跟随这种测量辅助仪器的快速旋转或枢转移动(也就是说,取向变化),结果,因此可以比现有技术的设备更快地进行(例如,借助于被配置为激光跟踪仪的勘测装置1)物体的勘测。
作为发射不同调制的目标辐射4、14的目标3、13的另选方案,例如通过在回射器的上游设置的快门,在反射目标3、13处产生经调制并且可选地还不同的目标辐射4、14。利用这种快门,可以以针对性方式(反射器的暂时控制遮蔽)引入和遮蔽掉由勘测装置1连续发射的目标辐射,结果,因此可实现经调制的目标辐射,并且利用不同计时快门可实现不同的目标辐射。
另选地或另外地,例如,借助于可枢转反射器或借助于目标3、13(或承载目标的测量杆)的手动枢转,可产生反射方向的调制,而不是这种强度调制。这导致检测点(例如,传感器上的4s)的所定义移动(或者,在非常快速枢转的情况下,在目标辐射的一种脉动中),该定义移动可通过伴随其的逐像素强度变化来检测。这种方向变化例如借助于交替地移动或旋转反射器是可能的。
图4示意性地示出了捕获移动目标的一个示例。目标相对于勘测装置1移动,在该图中由三个时刻T1、T2和T3处的三个位置表示。在时刻T1,在此出现目标辐射4的脉冲的上升沿,在时刻T2出现下降沿,并且在时刻T3再次出现上升沿。这三个强度变化分别由传感器5登记在像素阵列的点4s1、4s2和4s3处(在该示例中,出于简单起见,假定相机2或装置1未跟随或尚未跟随目标3的移动)。
由于传感器5的高测量速率,加上脉冲下降沿也被登记为事件的事实,也就是说,从相应辐射脉冲收集两次信息,因此出现目标3的移动的高度动态表示。因此,与来自现有技术的装置相比,可以更好地捕获目标移动,在现有技术的装置中,在非常快速移动目标3的情况下(主要是在近距离处)或在突然移动变化的情况下,失去了目标获取,因为由于过度迟缓的目标跟踪而使目标3从传感器5的视野中消失。
例如,可以借助于动态传感器5更快速且更精确地检测描述移动的速度V1、V2。如图4中的速度矢量V1、V2的不同长度用符号表示的,即使(突然的)移动变化也可以被很好地检测到。
因此,根据本发明的系统提供了具有较高时间分辨率的改进目标跟踪,借助于该跟踪,即使相对快速地移动或突然改变其移动的目标3也可以被可靠地跟踪,因此,避免了目标3的耗时重新寻找(重新锁定)。
如上面已经进一步描述的,与传统装置相比,借助于具有相对大视场的相机2或传感器5,甚至可以进一步改善这些效果。凭借附随地考虑借助于传感器5的上述距离估计,可以另外支持确定目标移动或跟踪,也就是说,利用目标3处于近距离的知识,从开始就假定传感器5的较高位移速率(方向变化的较高角频率)。结合高测量速率,由此可以实现的是,始终充分地进行瞄准方向的跟踪,使得即使在近距离处快速移动的目标3实际上也从来不会离开相机2的视场并且因此不会再发生锁定的丢失。
图5示意性地示出了另一勘测装置1',该勘测装置1'在示例中被配置为具有GNSS模块23的测量杆。由使用者25引导的这样的测量杆1’可以借助于相应地定位的杆21以本身已知的方式用于勘测或标记出测量环境点24。除了GNSS模块23之外,勘测装置1’还包括相机模块20。除了用于记录常规图像的图像传感器之外,所述相机模块20还包括动态视觉传感器(DVS),并且因此光强度变化也可以被检测为事件。因此,GNSS极1'具有事件相机,就像上面已经介绍过的装置一样。
作为具有常规图像传感器和附加DVS的上述配置的另选方案,该勘测装置包括动态视觉传感器,该动态视觉传感器除了事件检测外,还可以捕获强度值(另请参见有关图1的描述),使得也可借助于DVS记录相机图像。因此,DVS可以用作用于事件检测和拍照的双传感器。
然后,该事件相机以及由此检测到的事件与并行记录的相机图像一起被使用,以便(在该示例中,借助于勘测装置1'的计算机单元22)进行视觉测距,在该计算机单元中,为此存储了相应的视觉测距算法。换句话说,借助于基于相机图像和DVS的数据的视觉测距,确定相机模块20的姿态,由此可确定勘测装置1'沿着路径移动时的位置和取向。因此可以例如借助于GNSS支持或改善位置确定(6-DoF)或甚至在没有GNSS接收的位置(例如,在隧道或房屋投射的阴影中)进行位置确定;由于事件相机20,这甚至在困难的照明条件下(例如非常亮或非常暗)或在勘测装置1'的快速移动时也是可能的。因此,以这种方式确定的相机姿态用于直接确定位置和/或取向,用于提高精度和/或用于在勘测装置1'的定位期间内插桥接。参照后续附图更详细地描述了视觉测距的处理。
图6以鸟瞰图示出了用户25如何沿着轨迹T从起点S到终点E引导勘测装置1′。在起点W1、在终点Wn和另一个路径点W,借助于勘测杆1′的相机模块分别记录相机图像26、26b、26c。借助于对应点(在图中指定了两个点29a、29b,这些点借助于虚线27表示的后视过程出现在一系列图像29a-29c中的至少两个图像中),根据已知几何原理(例如,使用SLAM算法(同时定位和映射)或SfM算法(运动恢复结构)),原则上可确定基于图像29a-29c的相机姿态。举例来说,两个点29a、29b是在图像系列子组26a和26b中识别出的这样的点。例如,能够借助于前视过程创建用于确定相机姿态的附加对应点。这种基于图像的方法的一个缺点是,鉴于这种类型的移动勘测装置1’的有限计算能力,只能在一定程度上鲁棒地处理这种类型的图像信息。特别是,快速(旋转)移动或快速场景改变可能导致轨迹T的重构终止。
因此,所示的确定相机取向和相机位置的处理不仅基于相机图像26a、26c来进行,而且还借助于勘测装置1′的DVS检测到的事件的附加使用来进行。例如,DVS的像素阵列上的点29b的位移被检测为事件,所述位移是由于勘测装置1’的移动而引起的。以这种方式可以跟踪点29b的“行程”以及因此其在传感器上的相应像素位置。在此基础上,对于(由线28所指示的)后视过程和前视过程来说,附加测量数据是可用的。
在该示例中,使用检测到的事件相机的事件来使相应点29a,29b的识别更鲁棒或改善相机姿势的基于图像确定。如果由于不利照明条件或快速轨迹T(这导致例如所谓的高动态范围效果或运动模糊)而使评估图像26a、26c或确定同调点29a、29b可能仅不准确或者根本不可能,则这是特别有利的。
如图6所示,事件相机或DVS的高事件测量速率(例如,几kHz)被用于跟踪或寻找图像26a-26c之间的对应点29a、29b,所述速率是例如比记录图像26a-26c的速率大100倍的因子。在图像记录路径点之间的路径点W处(为了更清楚起见,在图6中仅示出了路径点中的几个),因此在每种情况下都进行事件的检测。这些事件用于跟踪或连续识别它们后面的点29a、29b。这尤其极大地促进或改善了在相机图像26a-26c中再次找到它们或对其进行识别的处理。此外,因此可以针对各个图像26a-26c之间的路径点W确定相机姿态。在确定勘测装置1'的位置时不造成丢失的情况下,还可以可选地使用事件的检测,从而与常规装置和方法相比,减少了一系列图像,也就是说,记录了更少的图像。由于相机图像26a-26c是数据密集的,而DVS产生相对较少的数据,因此数据量因此被有利地减少。
可选地,在用于视觉测距的勘测装置功能的情况下,将一系列图像26a-26c中的第一图像26a记录为参考图像,同时具有相对于测量环境的已知姿态。也就是说,例如以绝对项(相对于绝对参考系)参考图像26a,使得基于检测到的事件创建的点29a、29b也用作参考点。一组这样的参考点或参考点区段然后用于确定后续图像26b、26c的绝对相机姿态。
换句话说,关于对应点(也就是说,在多个图像中成像的测量环境点)分析图像26a-26c的图像数据。这组点形成参考点区段,该参考点区段用作其它相机图像26b、26c的参考,结果,每个其它图像26b、26c都用作用于关于所有先前图像对图像26b、26c进行参考的参考点。在每个新图像26b、26c中,针对已经存在的参考点区段中的环境点,借助于或使用检测到的事件来识别与之对应的图像点。所找到的这些图像点与已经确定的相关点的坐标一起用于借助于后视过程来确定新图像26b、26c的相机姿态。此外,在相应的新图像26b、26c中,借助于前视过程,基于DVS的测量数据或者由DVS的测量数据支持,用于确定附加点坐标的相应点依次被识别,使得参考点区段被扩展。此外,借助于这种SLAM评估,不仅可以确定相机姿态,而且另外还可以生成测量环境(所有参考点的位置)的3D点云(稀疏点云),其中,由于DVS的相对高测量速率及其测量数据的更易处理性,因此在对计算能力没有额外要求的情况下,与使用常规手段/方法相比,可以生成更密集的点云。
作为进一步的选择,例如,最后步骤涉及改善所产生的参考点区段和通过捆绑调整确定的相机姿态,其中,捆绑调整是使用检测到的事件进行的。借助于这种捆绑调整,优化了相机姿态的位置和取向以及(如果适用)在方法过程中确定的3D点坐标。进行使典型SfM方法中的重投影误差最小化的全局优化。
图7以示意性侧视图示出了根据本发明的测距方法的另一示例性应用。在该示例中,借助于勘测装置1(例如,关于图1所描述那样配置的勘测装置1),通过激光扫描S1从第一位置W1记录测量环境的一部分(在该示例中为建筑物30的第一部分)的第一3D点云。为了扫描建筑物30的其它部分(主要是从第一位置S1不可扫描的那些部分),将勘测装置1沿着路径T运送到第二位置W2,以便从那里借助于第二扫描S2建立另一个第二3D点云。为了能够以单个3D形式表示房屋30,必须对两个3D点云进行配准,也就是说,将它们置于公共坐标系中。
这在该示例中通过从除了扫描S1、S2之外的各个位置W1、W2记录相机图像来进行,所述相机图像分别与扫描S1、S2或第一或第二点云重叠。在移动T期间,借助于勘测装置1的动态视觉传感器不断地检测事件。基于相机图像和检测到的事件,确定相机机姿态,并最终根据需要确定第二3D点云相对于第一3D点云的位置和取向。在该示例中,因此,使用事件相机的视觉测距可以确定两个扫描位置W1、W2之间的姿态差,并由此对两个点云进行配准。
在该示例中,借助于特征跟踪(例如,特征31、34和36的特征跟踪)来确定相机姿态或位置和取向。该特征跟踪仅排他性地基于检测到的事件,或者这些事件用于支持对在移动T期间借助于勘测装置相机记录的一系列图像中的相机图像中的特征31,34,36的跟踪(例如,凭借以下事实:出于寻找特征的目的,DVS测量数据可以被用作用于在随后图像中预先严密地界定目标区域的基础)。举例来说,可以在这里应用诸如SIFT、SURF、BRISK或BRIEF的匹配算法。
事件相机的使用对于特征跟踪是有利的,尤其是由于高测量速率,还因为由此可以特别好地跟踪代表拐角的这种特征31、34。即使从不同的观看方向,拐角31、34也被鲁棒地检测为事件,因此可以特别好地跟踪这些拐角。
此外,利用DVS数据,即使在物体特征的快速相对移动的情况下,也可以鲁棒地进行特征跟踪。由于DVS的高动态范围,即使是勘测装置且由此相机1的快速移动、或者传感器上的特征的“移动”或逐图像移动也可以被跟随,并且不会导致特征丢失,并由此不会导致特征跟踪不充分或不可行,由此最终导致视觉测距。此外,可以处理物体33在测量环境本身中的其它有问题的移动。在该示例中,行驶中的汽车33也被相机捕获。DVS的测量数据允许识别物体33的该固有动态范围。因此,可以可靠地区分由装置1的移动引起的特征31的移动32与由物体33的(另外)移动引起的这种移动35。
可选地,这种移动32被量化。在这种情况下,将由勘测装置1引起的特征或点移动与由物体移动引起的特征或点移动区分开是特别有利的。勘测装置1或相机模块的移动变量是其速度或加速度(例如,其速度或加速度是基于检测到的事件确定的)。
作为另一选项,勘测装置1具有热图像传感器、惯性测量单元(IMU)或电子测距设备。这些检测器或测量单元然后用于进一步支持相机姿态的确定。利用它们的测量数据(例如,环境的热图像像表示、加速度值或距离值),存在关于测量环境的附加信息,例如,这些信息使特征跟踪更加鲁棒或便于图像或检测到的事件之间的分配或使它们可验证。
因此,总而言之,根据第一方面的本发明的主题是:
1.一种勘测装置(1),特别是被配置为全站仪、经纬仪或视距仪或激光跟踪仪,所述勘测装置(1)被配置为参考内部坐标系确定目标(3,13)的位置,所述勘测装置(1)包括相机(2),所述相机(2)包括位置敏感像素阵列传感器(5),所述位置敏感像素阵列传感器(5)用于接收并检测由所述目标(3,13)回射或发射的光学目标辐射(4),其中,到目标(3,13)的方向能够基于检测到的目标辐射(4)在所述像素阵列上的所确定的位置来确定,其特征在于,所述相机(2)被配置为事件相机(2),使得对于所述像素阵列中的各个像素(4p),事件(8,8u,8d)能够被检测为接收到的辐射强度的变化(ΔI),所述变化特别是超过所定义阈值(9)。
2.根据点1所述的勘测装置(1),其特征在于,所述勘测装置(1)被配置为基于借助于所述传感器(5)确定的检测到的目标辐射(4)的相位差和/或飞行时间来确定到所述目标(3,13)的距离。
3.根据点1或2所述的勘测装置(1),其特征在于,所述勘测装置(1)具有识别功能,在实现该识别功能时,基于检查标准,特别是通过针对与所存储的事件序列的对应性和/或与事件序列类别的关联性检查检测到的事件(8,8u,8d)的序列,识别所述目标(3,13)。
4.根据前述点中的任一项所述的勘测装置(1),其特征在于,所述传感器(5)
·被配置为具有至少1kHz的事件检测速率,和/或
·覆盖至少1.5°的视场,特别是至少180°的视场。
5.根据前述点中的任一项所述的勘测装置(1),其特征在于,所述勘测装置包括:
·基座(12);
·射束引导单元(11),所述射束引导单元(11)用于发射测量辐射,特别是激光辐射,并且用于接收在所述目标(3,13)处反射的所述测量辐射的至少一部分,其中,所述射束引导单元(11)能够以机动方式相对于所述基座(12)绕两条轴线枢转,以及
·精细距离测量单元,所述精细距离测量单元用于借助于所述测量辐射确定到所述目标(3,13)的距离,
·角度测量功能,所述角度测量功能用于确定所述射束引导单元(11)相对于所述基座(12)的取向,
使得能够基于所确定的距离和取向确定目标位置,其中,基于借助于所述传感器(5)确定的到所述目标(3,13)的方向,所述射束引导单元(11)能够以使得所发射的测量辐射撞击在所述目标(3,13)上的方式枢转,特别是其中,所述射束引导单元(11)包括用于发射目标辐射的目标辐射源。
6.一种确定到目标(3,13)的方向的方法,所述方法包括以下步骤:
·借助于勘测装置(1)的事件相机(2)接收由所述目标(3,13)回射或发射的光学目标辐射(4),特别是其中,所述勘测装置(1)被配置为全站仪、经纬仪或视距仪或激光跟踪仪,其中,相机(2)包括位置敏感传感器(5),所述位置敏感传感器(5)包括像素阵列,以及
·借助于所述像素阵列将事件事件(8,8u,8d)检测为接收到的辐射强度的变化(ΔI),所述变化特别是超过所定义阈值。
7.根据点6所述的方法,
其特征在于
·基于由所述目标辐射(4)的调制引起的检测到的事件(8,8u,8d)识别所述目标(4),以及
·借助于确定检测到的目标辐射(4)在所述像素阵列上的位置(Δx,Δy,x4,y4,x14,y14)来确定到所述目标(3,13)的方向,特别是其中,所述调制
□在发射所述目标辐射(4)时进行,特别是通过产生脉冲目标辐射(4)来进行,和/或
□在所述目标辐射(4)被所述目标(3,13)反射时,特别是和/或有时中断所述反射进行,特别是借助于快门中断所述反射,和/或
□通过改变所述目标辐射方向来进行。
8.根据点7所述的方法,其特征在于,所述方法包括:借助于不断地确定方向,对移动目标(3,13)进行目标跟踪;以及基于所确定的方向改变事件相机(2)的取向,特别是其中,估计所述目标(3,13)的速度(V1,V2)在目标跟踪的情况下进行。
9.根据点6至8中的任一项所述的方法,其特征在于,为了识别所述目标(4)的目的,检查与所存储的事件序列的对应性和/或与事件序列类别的关联性。
10.根据点6至9中的任一项所述的方法,其特征在于,借助于确定由所述传感器(5)检测的目标辐射(4)的相位差和/或飞行时间来估计到所述目标(3,13)的距离。
11.根据点6至10中的任一项所述的方法,其特征在于,为了确定位置(Δx,Δy,x4,y4,x14,y14)的目的,表示目标辐射(4)的至少一个光斑的图像(4)借助于以下生成:
·关于时间对检测到的事件(8,8u,8d)进行整合;以及
·逐像素捕获已经关于时间进行整合的目标辐射(4)的检测到的事件(8,8u,8d),
·特别地其中,所述光斑的中心被确定为位置(Δx,Δy,x4,y4,x14,y14),
12.根据点6至11中的任一项所述的方法,其特征在于,所述方法包括:基于具有相对于彼此布置在固定位置的多个目标(3,13)的测量辅助仪器的各个目标(3,13)的相应目标辐射的检测到的位置来确定测量辅助仪器的取向。
13.一种确定到目标(3,13)的方向的方法,所述方法包括以下步骤:
·根据预定义移动模式移动所述目标(3,13),
·借助于勘测装置(1)的事件相机(2)接收从所述目标(3,13)发出的光(4),特别是其中,所述勘测装置(1)被配置为全站仪、经纬仪或视距仪或激光跟踪仪,其中,所述相机(2)包括位置敏感传感器(5),所述位置敏感传感器(5)包括像素阵列,
·借助于所述像素阵列将事件(8,8u,8d)检测为接收到的光强度的变化(ΔI),所述变化特别是超过所定义阈值,
·基于与所述目标(3,13)的预定义移动模式引起的光强度变化相对应的事件,识别所述目标(3,13),以及
·借助于确定检测到的移动模式事件(4)在所述像素阵列上的位置(Δx,Δy,x4,y4,x14,y14)来确定到所述目标(3,13)的方向。
此外,根据第二方面,总的来说,本发明的主题是:
14.一种移动勘测装置(1,1'),所述移动勘测装置(1,1')包括至少一个相机模块(20)和具有视觉测距功能的计算机(22),在实现所述视觉测距功能时,借助于所存储的用于视觉测距的算法,特别是基于SLAM或SfM的算法,通过在所述勘测装置(1,1')在测量环境中沿着路径(T)的移动期间由所述相机模块(20)以各种相机姿态记录的一系列图像(26a-26c)的估计来确定相机姿态,其特征在于,
·所述相机模块(20)包括动态视觉传感器(5),使得对于所述动态视觉传感器(5)的像素阵列的相应像素,事件(8,8u,8d)能够被检测为接收到的光强度的变化,所述变化特别是超过所定义阈值,并且
·在该功能的情况下,在移动期间,除了记录一系列图像(26a-26c)之外,还检测事件(8,8u,8d),并且
·借助于所述算法,使用检测到的事件(8,8u,8d)确定相机姿态。
15.根据点14所述的勘测装置(1、1′),其特征在于,所述动态视觉传感器(5)还被配置和设置为在所述功能的情况下记录所述图像(26a-26c)。
16.根据点14或15所述的勘测装置(1,1'),其特征在于,在所述功能的情况下,借助于基于检测到的事件的SLAM或SfM估计的算法,识别一系列图像(26a-26c)的相应子组中的多个对应图像点(29a,29b),并基于后视过程和前视过程(27,28),基于相应的对应图像点(29a,29b),确定所述相机姿态,
17.根据点14至16中的任一项所述的勘测装置(1、1′),其特征在于,在所述功能的情况下,
·一系列图像(26a-26c)中的第一图像(26a)被记录为参考图像,所述参考图像相对于/关于测量环境的姿态是已知的,
·基于检测到的事件(8,8u,8d),创建在一系列图像(26a-26c)中的参考图像(26a)和至少一个其它图像(26b,26c)中出现的一组参考图像点,并且
·基于该组参考图像点确定相对于所述测量环境的相机姿态。
18.根据点14至17中的任一项所述的勘测装置(1、1′),其特征在于,在所述功能的情况下,使用检测到的事件(8,8u,8d)进行捆绑调整。
19.根据点14至18中的任一项所述的勘测装置(1,1'),其特征在于,在所述功能的情况下,进行所述一系列图像(26a-26c)的图像中的图像特征的跟踪,其中,基于检测到的事件(8,8u,8d)进行图像特征(31,34,36)的跟踪。
20.根据点14至19中的任一项所述的勘测装置(1、1′),其特征在于,在所述功能的情况下,基于检测到的事件(8,8u,8d)确定相机模块(20)的移动变量。
21.根据点14至20中的任一项所述的勘测装置(1、1′),其特征在于,在所述功能的情况下,基于所述相机姿态的至少一部分确定所述勘测装置(1,1')的位置和/或取向。
22.根据点14至21中的任一项所述的勘测装置(1、1′),其特征在于,在所述功能的情况下,
·记录所述一系列图像(26a-26c)中在第一路径点(W1)处的第一3D点云以及至少一个第一图像,特别是借助于扫描(S1)来记录第一3D点云,其中,所述第一3D点云和所述第一图像(26a)对所述测量环境的至少部分重叠区段成像,
·记录所述一系列图像(26a-26c)在第二路径点(W2)处的第二3D点云和至少一个第二图像,其中,所述第二3D点云和所述第二图像对所述测量环境的至少部分重叠区段成像,
·基于所确定的至少第一图像和第二图像的相机姿态,相对于彼此对所述第一3D点云和所述第二3D点云进行配准。
23.根据点14至22中的任一项所述的勘测装置(1,1'),其特征在于,所述勘测装置(1,1')包括热图像传感器、惯性测量单元和/或电子测距设备,并且使用所述热图像传感器、所述惯性测量单元和/或所述电子测距设备的测量数据确定相机姿态。
24.根据点14至点23中的任一项所述的勘测装置(1,1'),其特征在于,在所述功能的情况下,以图像速率记录所述图像(26a-26c)并以检测速率检测事件(8,8u,8d),所述检测速率是帧速率的大小的至少100倍。
25.根据点14至24中的任一项所述的勘测装置(1,1'),其特征在于,所述勘测装置(1,1')被配置为激光扫描仪、全站仪、经纬仪或视距仪或激光跟踪仪,和/或所述勘测装置(1,1')包括:
·基座(12);
·射束引导单元(11),所述射束引导单元(11)用于发射测量辐射,特别是激光辐射,并且用于接收在目标(3,13)处反射的所述测量辐射的至少一部分,其中,所述射束引导单元(11)能够以机动方式相对于所述基座(12)绕两条轴线枢转,以及
·精细距离测量单元,所述精细距离测量单元用于借助于所述测量辐射确定到所述目标(3,13)的距离,
·角度测量功能,所述角度测量功能用于确定所述射束引导单元(11)相对于所述基座(12)的取向,
使得能够基于所确定的距离和取向确定目标位置,
特别是其中,所述勘测装置(1,1')被配置为实施根据点6的方法。
26.根据点14至25中的任一项所述的勘测装置(1,1'),其特征在于,所述勘测装置(1,1')被配置为勘测杆,特别是所述勘测装置(1,1')包括GNSS接收器。
27.一种利用移动勘测装置(1,1')进行视觉测距的方法,所述移动勘测装置(1,1')特别是激光扫描仪、全站仪、经纬仪或视距仪、激光跟踪仪或测量杆,所述方法包括:
·沿着路径(T)移动所述勘测装置(1,1'),
·以各种相机姿态在移动期间借助于所述勘测装置(1,1')的相机模块(20)记录一系列图像(26a-26c),
·基于所述一系列图像(26a-26c)中的图像的至少一部分来确定所述相机姿态的至少一部分,
其特征在于
·借助于所述勘测装置(1,1')的动态视觉传感器(5)来检测事件(8,8u,8d),其中,所述事件(8,8u,8d)是借助于所述动态视觉传感器(5)接收到的光强度的变化(ΔI),所述变化特别是超过所定义阈值,
·使用检测到的事件(8,8u,8d)中的至少一部分确定所述相机姿态。
不用说,这些例示附图仅示意性地例示了可能示例性实施方式。根据本发明,各种方法同样可以彼此组合,并且还可以与现有技术的相应装置和方法组合。
Claims (11)
1.一种移动勘测装置(1,1'),所述移动勘测装置(1,1')包括至少一个相机模块(20)和具有视觉测距功能的计算机(22),在实现所述视觉测距功能时,借助于所存储的用于视觉测距的算法,通过在所述勘测装置(1,1')在测量环境中沿着路径(T)移动期间由所述相机模块(20)以各种相机姿态记录的一系列图像(26a-26c)的估计来确定相机姿态,
其特征在于
所述相机模块(20)包括动态视觉传感器(5),使得对于所述动态视觉传感器(5)的像素阵列的相应像素,事件(8,8u,8d)能够被检测为接收到的光强度的变化(ΔI),所述变化超过所定义阈值,其中,上升强度变化和下降强度变化被检测为不同事件,并且
在所述视觉测距功能的情况下,在所述移动期间,除了记录所述一系列图像(26a-26c)之外,还检测事件(8,8u,8d),并且
借助于所述算法,使用检测到的事件(8,8u,8d)确定相机姿态。
2.根据权利要求1所述的移动勘测装置(1,1'),
其特征在于
所述算法是基于SLAM或SfM的算法。
3.根据权利要求1所述的移动勘测装置(1,1'),
其特征在于
所述动态视觉传感器(5)还被配置并提供用于在所述视觉测距功能的情况下记录所述图像(26a-26c),
和/或
在所述视觉测距功能的情况下,借助于基于根据检测到的事件的SLAM或SfM估计的算法,识别所述一系列图像(26a-26c)的相应子组中的多个对应图像点(29a,29b),并根据基于相应的对应图像点(29a,29b)的后视过程和前视过程(27,28),确定所述相机姿态,
和/或
在所述视觉测距功能的情况下,
所述一系列图像(26a-26c)中的第一图像(26a)被记录为参考图像,所述参考图像相对于/关于所述测量环境的姿态是已知的,
基于检测到的事件(8,8u,8d),创建在所述一系列图像(26a-26c)中的参考图像(26a)和至少一个其它图像(26b,26c)中出现的一组参考图像点,并且
基于该组参考图像点,相对于所述测量环境确定相机姿态。
4.根据权利要求1所述的移动勘测装置(1,1'),
其特征在于
在所述视觉测距功能的情况下,
使用检测到的事件(8,8u,8d)进行捆绑调整,和/或
进行所述一系列图像(26a-26c)的图像中的图像特征的跟踪,其中,基于检测到的事件(8,8u,8d)进行对图像特征(31,34,36)的跟踪。
5.根据权利要求1至4中的任一项所述的移动勘测装置(1,1'),
其特征在于
在所述视觉测距功能的情况下,
根据检测到的事件(8,8u,8d)确定所述相机模块(20)的移动变量,和/或
基于所述相机姿态的至少一部分来确定所述勘测装置(1、1′)的位置和/或取向,和/或
在所述视觉测距功能的情况下,
记录所述一系列图像(26a-26c)在第一路径点(W1)处的第一3D点云以及至少一个第一图像,其中,所述第一3D点云和所述第一图像(26a)对所述测量环境的至少部分重叠区段成像,并且
记录所述一系列图像(26a-26c)在第二路径点(W2)处的第二3D点云和至少一个第二图像,其中,所述第二3D点云和所述第二图像对所述测量环境的至少部分重叠区段成像,并且
基于所确定的至少所述第一图像和所述第二图像的相机姿态,使所述第一3D点云和所述第二3D点云相对于彼此配准。
6.根据权利要求5所述的移动勘测装置(1,1'),
其特征在于
借助于扫描(S1)来记录所述第一3D点云。
7.根据权利要求1至4中的任一项所述的移动勘测装置(1,1'),
其特征在于
在所述视觉测距功能的情况下,以帧速率记录所述图像(26a-26c),并以检测速率检测事件(8,8u,8d),所述检测速率为所述帧速率的大小的至少100倍,
和/或
所述勘测装置(1,1')包括热图像传感器、惯性测量单元和/或电子测距设备,并且使用所述热图像传感器、所述惯性测量单元和/或所述电子测距设备的测量数据来确定相机姿态。
8.根据权利要求1至4中的任一项所述的移动勘测装置(1,1'),
其特征在于
所述勘测装置(1,1')被配置为激光扫描仪、全站仪、经纬仪或视距仪或激光跟踪仪,和/或所述勘测装置(1,1')包括
基座(12),
射束引导单元(11),所述射束引导单元(11)用于发射测量辐射,并且用于接收在目标(3,13)处反射的所述测量辐射的至少一部分,其中,所述射束引导单元(11)能够以机动方式相对于所述基座(12)绕两条轴线枢转,以及
精细距离测量单元,所述精细距离测量单元用于借助于所述测量辐射确定到所述目标(3,13)的距离,
角度测量功能,所述角度测量功能用于确定所述射束引导单元(11)相对于所述基座(12)的取向,
使得能够基于所确定的距离和取向确定目标位置,
所述勘测装置(1,1')被配置为测量杆(1’),所述勘测装置(1,1')包括GNSS接收器。
9.根据权利要求8所述的移动勘测装置(1,1'),
其特征在于
所述测量辐射是激光辐射。
10.一种用于利用移动勘测装置(1,1')进行视觉测距的方法,所述移动勘测装置(1,1')是激光扫描仪、全站仪、经纬仪或视距仪、激光跟踪仪或测量杆,所述方法包括:
使所述勘测装置(1,1')沿着路径(T)移动,
借助于所述勘测装置(1,1')的相机模块(20)以各种相机姿态在所述移动期间记录一系列图像(26a-26c),
基于所述一系列图像(26a-26c)中的图像的至少一部分来确定所述相机姿态的至少一部分,
其特征在于
借助于所述勘测装置(1,1')的动态视觉传感器(5)来检测事件(8,8u,8d),其中,事件(8,8u,8d)是借助于所述动态视觉传感器(5)接收到的光强度的变化(ΔI),所述变化超过所定义阈值,其中,上升强度变化和下降强度变化被检测为不同事件,
使用检测到的事件(8,8u,8d)的至少一部分确定所述相机姿态。
11.一种机器可读载体,所述机器可读载体包括计算机程序,所述计算机程序用于执行根据权利要求10所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211225911.5A CN115585798A (zh) | 2019-02-05 | 2020-02-05 | 确定到目标的方向的方法、勘测装置和计算机程序产品 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19155545.7A EP3693698A1 (de) | 2019-02-05 | 2019-02-05 | Vermessungsgerät mit ereignisbasierter kamera |
EP19155545.7 | 2019-02-05 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211225911.5A Division CN115585798A (zh) | 2019-02-05 | 2020-02-05 | 确定到目标的方向的方法、勘测装置和计算机程序产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111521161A CN111521161A (zh) | 2020-08-11 |
CN111521161B true CN111521161B (zh) | 2022-10-28 |
Family
ID=65324258
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010080262.9A Active CN111521161B (zh) | 2019-02-05 | 2020-02-05 | 确定到目标的方向的方法、勘测装置和机器可读载体 |
CN202211225911.5A Pending CN115585798A (zh) | 2019-02-05 | 2020-02-05 | 确定到目标的方向的方法、勘测装置和计算机程序产品 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211225911.5A Pending CN115585798A (zh) | 2019-02-05 | 2020-02-05 | 确定到目标的方向的方法、勘测装置和计算机程序产品 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200249017A1 (zh) |
EP (1) | EP3693698A1 (zh) |
CN (2) | CN111521161B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7298277B2 (ja) * | 2019-04-25 | 2023-06-27 | トヨタ自動車株式会社 | イベントカメラ |
US11450103B2 (en) | 2020-10-05 | 2022-09-20 | Crazing Lab, Inc. | Vision based light detection and ranging system using dynamic vision sensor |
CN112200856A (zh) * | 2020-10-16 | 2021-01-08 | 北京航空航天大学 | 一种基于事件相机的视觉测距方法 |
CN112688991B (zh) * | 2020-12-15 | 2022-11-04 | 北京百度网讯科技有限公司 | 用于执行点云扫描操作的方法、相关装置及存储介质 |
CN113155032A (zh) * | 2020-12-16 | 2021-07-23 | 重庆邮电大学 | 一种基于动态视觉传感器dvs的建筑物结构位移测量方法 |
CN112816995B (zh) * | 2020-12-25 | 2024-03-01 | 北京灵汐科技有限公司 | 目标检测方法及装置、融合处理单元、计算机可读介质 |
CN112715403A (zh) * | 2020-12-29 | 2021-04-30 | 燕山大学 | 牲畜圈自动供水方法及其养殖用自动供水装置 |
EP4092379A1 (en) * | 2021-05-20 | 2022-11-23 | Hexagon Technology Center GmbH | Surveying device with image evaluator for determining a spatial pose of the target axis |
CN114286024B (zh) * | 2021-11-15 | 2023-03-24 | 北京理工大学 | 基于动态视觉传感器的光学偏振信息模型构建方法及装置 |
US20230230212A1 (en) * | 2022-01-14 | 2023-07-20 | Omnivision Technologies, Inc. | Image processing method and apparatus implementing the same |
EP4220080A1 (en) * | 2022-01-27 | 2023-08-02 | Leica Geosystems AG | Method for ascertaining suitable positioning of measuring devices and simplified moving in measuring areas using vis data and reference trajectories |
WO2023188184A1 (ja) * | 2022-03-30 | 2023-10-05 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム |
CN115979231B (zh) * | 2023-03-20 | 2023-07-18 | 广东工业大学 | 一种基于虚拟点位的无量纲运动学标定方法及其相关装置 |
CN117268342B (zh) * | 2023-09-22 | 2024-03-29 | 合肥筑创空间建筑设计有限公司 | 一种场景模拟距离辅助测绘装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105699983A (zh) * | 2014-12-12 | 2016-06-22 | 莱卡地球系统公开股份有限公司 | 激光跟踪器 |
CN106716441A (zh) * | 2014-09-30 | 2017-05-24 | 高通股份有限公司 | 基于事件的计算机视觉计算 |
CN108073857A (zh) * | 2016-11-14 | 2018-05-25 | 北京三星通信技术研究有限公司 | 动态视觉传感器dvs事件处理的方法及装置 |
CN108171733A (zh) * | 2016-12-07 | 2018-06-15 | 赫克斯冈技术中心 | 扫描仪vis |
CN108205679A (zh) * | 2016-12-20 | 2018-06-26 | 三星电子株式会社 | 针对动态视觉传感器跟踪的多尺度加权匹配和传感器融合 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE504941C2 (sv) | 1995-09-14 | 1997-06-02 | Geotronics Ab | Förfarande och anordning för inriktning |
EP1686350A1 (de) | 2005-01-26 | 2006-08-02 | Leica Geosystems AG | Modular erweiterbare geodätische Totalstation |
EP2008120B1 (en) | 2006-04-20 | 2010-12-08 | Faro Technologies Inc. | Camera based six degree-of-freedom target measuring and target tracking device |
EP2053353A1 (de) * | 2007-10-26 | 2009-04-29 | Leica Geosystems AG | Distanzmessendes Verfahren und ebensolches Gerät |
IL201110A (en) * | 2009-09-22 | 2014-08-31 | Vorotec Ltd | Device and method of navigation |
US8860809B2 (en) | 2010-02-11 | 2014-10-14 | Trimble Ab | Dual transmitter tracker |
EP2887009A1 (en) * | 2013-12-23 | 2015-06-24 | Universität Zürich | Method for reconstructing a surface using spatially structured light and a dynamic vision sensor |
FR3020699A1 (fr) * | 2014-04-30 | 2015-11-06 | Centre Nat Rech Scient | Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere |
EP3569977A1 (en) * | 2014-05-05 | 2019-11-20 | Hexagon Technology Center GmbH | Surveying system |
EP2977931A1 (en) * | 2014-07-24 | 2016-01-27 | Universität Zürich | Method for tracking keypoints in a scene |
EP3045936A1 (en) * | 2015-01-13 | 2016-07-20 | XenomatiX BVBA | Surround sensing system with telecentric optics |
EP3064898B1 (de) * | 2015-03-04 | 2019-12-18 | Leica Geosystems AG | Vermessungsgerät mit Feinanzielungs- bzw. Zielverfolgungsfunktionalität |
WO2017114577A1 (en) * | 2015-12-30 | 2017-07-06 | Fundació Centre Tecnologic De Telecomunicacions De Catalunya (Cttc) | Improved surveying pole |
US10198660B2 (en) * | 2016-01-27 | 2019-02-05 | Samsung Electronics Co. Ltd. | Method and apparatus for event sampling of dynamic vision sensor on image formation |
CN106289106B (zh) * | 2016-08-04 | 2017-12-12 | 北京航空航天大学 | 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法 |
EP3306344A1 (en) * | 2016-10-07 | 2018-04-11 | Leica Geosystems AG | Flying sensor |
CN106597463B (zh) * | 2016-12-29 | 2019-03-29 | 天津师范大学 | 基于动态视觉传感器芯片的光电式接近传感器及探测方法 |
CN106705965A (zh) * | 2017-01-12 | 2017-05-24 | 苏州中德睿博智能科技有限公司 | 场景三维数据配准方法及导航系统误差校正方法 |
CN107238727B (zh) * | 2017-04-28 | 2020-05-01 | 天津师范大学 | 基于动态视觉传感器芯片的光电式转速传感器及探测方法 |
US11740083B2 (en) * | 2017-05-04 | 2023-08-29 | Google Llc | Methods and apparatus for curbside surveying |
US11378693B2 (en) * | 2017-05-21 | 2022-07-05 | Timothy Coddington | Floor surveying system |
JP7253258B2 (ja) * | 2017-05-29 | 2023-04-06 | ユニベアズィテート チューリッヒ | 動的視覚センサ用ブロックマッチングオプティカルフローとステレオ視 |
EP3428683B1 (en) * | 2017-07-11 | 2019-08-28 | Sick Ag | Optoelectronic sensor and method for measuring a distance |
CN109146929B (zh) * | 2018-07-05 | 2021-12-31 | 中山大学 | 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法 |
CN109215063B (zh) * | 2018-07-05 | 2021-12-17 | 中山大学 | 一种事件触发相机与三维激光雷达的配准方法 |
-
2019
- 2019-02-05 EP EP19155545.7A patent/EP3693698A1/de not_active Withdrawn
-
2020
- 2020-02-04 US US16/781,906 patent/US20200249017A1/en active Pending
- 2020-02-05 CN CN202010080262.9A patent/CN111521161B/zh active Active
- 2020-02-05 CN CN202211225911.5A patent/CN115585798A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106716441A (zh) * | 2014-09-30 | 2017-05-24 | 高通股份有限公司 | 基于事件的计算机视觉计算 |
CN105699983A (zh) * | 2014-12-12 | 2016-06-22 | 莱卡地球系统公开股份有限公司 | 激光跟踪器 |
CN108073857A (zh) * | 2016-11-14 | 2018-05-25 | 北京三星通信技术研究有限公司 | 动态视觉传感器dvs事件处理的方法及装置 |
CN108171733A (zh) * | 2016-12-07 | 2018-06-15 | 赫克斯冈技术中心 | 扫描仪vis |
CN108205679A (zh) * | 2016-12-20 | 2018-06-26 | 三星电子株式会社 | 针对动态视觉传感器跟踪的多尺度加权匹配和传感器融合 |
Also Published As
Publication number | Publication date |
---|---|
CN111521161A (zh) | 2020-08-11 |
CN115585798A (zh) | 2023-01-10 |
US20200249017A1 (en) | 2020-08-06 |
EP3693698A1 (de) | 2020-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111521161B (zh) | 确定到目标的方向的方法、勘测装置和机器可读载体 | |
US11859976B2 (en) | Automatic locating of target marks | |
US8384914B2 (en) | Device for optically scanning and measuring an environment | |
US6031606A (en) | Process and device for rapid detection of the position of a target marking | |
US10240924B2 (en) | Geodetic surveying system and method with multiple target tracking functionality | |
US9401024B2 (en) | Measuring device for determining the spatial position of an auxiliary measuring instrument | |
US10352699B2 (en) | Surveying device having a fine targeting and target tracking functionality | |
US9528828B2 (en) | Method and system for determining position and orientation of a measuring instrument | |
US10508914B2 (en) | Device for automatically finding a mobile geodetic target object | |
US20040247157A1 (en) | Method for preparing image information | |
US11378398B2 (en) | Surveying device with automatic training of locked object or person for camera based target tracking | |
US10976158B2 (en) | Device and method to locate a measurement point with an image capture device | |
JP2004530144A (ja) | 画像情報を提供する方法 | |
JP2008527360A (ja) | 少なくとも1つの標的の測量方法及びその測地装置 | |
JP2000337887A (ja) | 移動体の自己位置標定装置 | |
JP2018527575A5 (zh) | ||
JPH07139942A (ja) | 測量装置 | |
US20240068810A1 (en) | Measuring device with tof sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |