CN112782716A - 光电传感器和用于检测对象的方法 - Google Patents

光电传感器和用于检测对象的方法 Download PDF

Info

Publication number
CN112782716A
CN112782716A CN202011237916.0A CN202011237916A CN112782716A CN 112782716 A CN112782716 A CN 112782716A CN 202011237916 A CN202011237916 A CN 202011237916A CN 112782716 A CN112782716 A CN 112782716A
Authority
CN
China
Prior art keywords
sensor
image
axis
laser scanner
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011237916.0A
Other languages
English (en)
Inventor
托马斯·鲁斯
塞巴斯蒂安·丘奇
罗曼·穆勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick AG
Original Assignee
Sick AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick AG filed Critical Sick AG
Publication of CN112782716A publication Critical patent/CN112782716A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/42—Diversity systems specially adapted for radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/20—Calibration, including self-calibrating arrangements
    • G08B29/24—Self-calibration, e.g. compensating for environmental drift or ageing of components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors

Abstract

本申请涉及光电传感器和用于检测对象的方法。提出了用于检测监控区域(16、120、212)中的对象的光电传感器(10)，其中传感器(10)具有：激光扫描仪(110)，其具有可围绕旋转轴线(118)旋转的偏转单元(112)，该偏转单元用于利用至少一个扫描射束(126、128)扫描监控区域(120)；以及第一距离测量单元(140)，其用于利用光飞行时间法确定被扫描射束(126、128)扫到的相应对象的3D测量点；全景相机(210)，其具有全景光学器件(216)和图像传感器(218)，该图像传感器具有用于检测像点的多个光接收元件；以及控制和评估单元(14、140、222)，其被配置用于融合3D测量点和像点。在此，全景相机的光学轴线(220)和旋转轴线(118)重合。

Description

光电传感器和用于检测对象的方法
本发明涉及根据权利要求1或11的主题的光电传感器和利用激光扫描仪和全景相机来检测监控区域中的对象的方法。
在激光扫描仪中，扫描射束(Scanstrahl)扫描区域并评估漫反射(remittieren)或反射的光。为了还获得关于对象距离、轮廓或外形的信息，通常不仅要确定对象的存在，还要同时确定对象的距离。这种测量距离的激光扫描仪根据光飞行时间原理工作，其中测量从扫描仪到场景和返回的飞行时间，并根据光速来计算距离数据。两种类型的光飞行时间法被广泛使用。在基于相位的方法中，光发射器调制扫描射束，并测定参考与接收的扫描射束之间的相位。基于脉冲的方法将显著的模式(例如，几纳秒持续时间的窄脉冲)调制
Figure BDA0002767388550000011
到扫描射束上，并确定该模式的接收时间。在称为脉冲平均法的一般设计中，发射多个脉冲或一个脉冲序列，并对接收的脉冲进行统计学评估。
激光扫描仪具有旋转反射镜或多面反射镜轮，以便周期性地扫描监控平面或监控平面的一段。可替代地，具有光发射器和光接收器的有源测量头旋转。3D激光扫描仪检测三维空间区域，而不仅仅是面。这可以通过围绕另一个轴线的运动(枢转运动或全面的旋转运动)来实现。例如，在DE 10 2008 032 216 A1中，结合发射器、接收器和旋转反射镜的整个扫描单元被布置在偏转盘上。EP 1 965 225 A2公开了将激光扫描仪的旋转运动与附加的倾斜运动相结合的各种方案。
此外，已知多层激光扫描仪，其具有呈仰角相叠布置的多个扫描射束。因此，从US8 767 190 B2中已知，为多个扫描平面的每个扫描平面设置自己的光发射器和光接收器，使得各个扫描平面都可以在期望的高度网格或仰角网格中进行调节。US 2017/0289524 A1公开了一种用于检测距离信息的光学系统，其中在发射侧设置了串联排列的光源，并且在接收侧设置了图像传感器，该图像传感器在具有光圈阵列的大接收透镜的后面。
相机是获取光学信息的可替代方案。与检测直至360°的角度的激光扫描仪相比，相机通常具有明显更窄的视野。通过使用全景光学器件，可以实现更宽的视野，直至同样为360°全方位视野。
Figure BDA0002767388550000021
Aki、Mika Aikio、和Matti Kumpulainen于2014年IEEE第十届智能计算机通信与处理国际会议(ICCP)，IEEE，2014发表的文章“Fisheye optics foromnidirectional perception”使用了鱼眼镜头(Fischauge)。可替代地，还使用折反射(katadioptrisch)镜头，例如参见Aikio、Mika、Jukka-Tapani
Figure BDA0002767388550000022
和Bo Yang于2013年IEEE第九届智能计算机通信与处理国际会议(ICCP)，IEEE，2013发表的文章的“Omnidirectional camera”，或者参见Gimkiewicz、Christiane等人的发表于Micro-Optics 2008，第6992卷，国际光学与光子学学会，2008的文章“Ultra-miniaturecatadioptrical system for an omnidirectional camera”。
原则上，这种类型的全景相机本身也可以产生深度值，即可以被配置成3D相机。例如，WO 2012/038601 A1介绍了一种具有全方位镜头的立体相机。在DE 20 2006 014 939U1、DE 20 2011 052 106 U1或EP 2 354 806A1中分别描述了根据光传飞行间原理的、具有全方位镜头的相机。
这些系统都无法产生完全令人满意的3D图像数据。激光扫描仪的点云在竖直方向上通常具比水平方向低的分辨率。尽管立体相机能够水平地和竖直地检测更小的对象，但受到原理限制具有相对低的深度分辨率。基于光飞行时间的、具有全景光学器件的相机虽然在论文中讨论过，但仍须在实践中证明其价值。
因此，有了组合系统的方式。激光扫描仪用于扫描场景的几何形状的同时，相机可以检测场景的视觉印象，从而检测诸如照明、材料或纹理等的属性。可替代地，可以设想同样利用相机产生3D数据，使得这两个系统在几何检测方面相互补充。
然而，这需要用于校准和后续数据融合(Fusionieren)的极大耗费。为此，须已知所谓的外部属性(Extrinsik)，即激光扫描仪的光学中心与相机之间的转换。这种转换一般包括三个空间维度的平移和空间中的三个旋转角，因此具有六个自由度。转换的确定被称为外部校准。这也可以被描述为确定相应的局部坐标系之间的换算规则或转换成全局坐标系的规则，对此，术语注册也是常用的。
在Pandey、Gaurav等人发表于IFAC公报卷43.16(2010):336-341中的文章“Extrinsic calibration of a 3d laser scanner and an omnidirectional camera”中，使用了准确定义的棋盘，该棋盘须从不同的角度来看。此外，相机系统装备有多个光学通道。
根据Park、Yoonsu等人发表于Sensors14.3(2014)：5333-5353的文章“Calibration between color camera and 3D LIDAR instruments with a polygonalplaner board”，使用了准确定义的菱形对象代替棋盘作为校准目标。精确定义的校准目标可能很难获得或者昂贵，或者刚好在例如测量活动期间需要时不可使用。此外，在这种情况下相机仅检测扫描区域的子区段。
然而，在Scaramuzza、Davide、Ahad Harati、和Roland Siegwart发表于Intelligent Robots and Systems，2007，IROS 2007，IEEE/RSJ国际会议，IEEE，200的“Extrinsic self calibration of a camera and a 3d laser range finder fromnatural scenes”中，没有使用校准对象。为此，须手动定义用于变换估计的对应关系，这需要大量时间，并且根据经验也可能是有误差的。
DE 10 2017 109 039 A1涉及相机和激光扫描仪的融合。就此而言，除了激光扫描仪的3D测量点之外，利用激光扫描仪还检测漫反射(Remission)，并且通过将该漫反射图像与相机图像进行比较来实现相互校准。从GB 2507560 A中已知对相机和激光扫描仪的外部校准，其中就此而言，由于系统处于运动中并且利用校准还根据检测的测量数据重建运动路径，因此额外地使任务变得困难。在US 2016/0070981 A1中，为了使车辆上的相机和激光扫描仪融合，首先根据运动路径使激光扫描仪的参考数据本地化，随后在相机图像中使这些参考数据本地化。在所有这些示例中，相机不是全景相机。
在US 2018/0139431 A1中，检测并组合全景图像和深度数据。就此而言，全景图像是通过使一个相机或布置在四周的多个相机运动来得出的。CN 105678783 B描述了用于全景相机和激光扫描仪的任意布置的复杂的校准模型。由于大量的自由度，因此只有使用大的耗费才能进行校准。
最近，已经产生了一种新的相机技术，即所谓的基于事件(event)的相机，该基于事件的相机根据视觉皮层也被称为神经形态的相机。传统相机以规则的图像刷新速率曝光其所有像素，并且随后同时读出这些像素，以获得每个观察的时间段的静止二维图像的对应于图像刷新速率的数量。在基于事件的相机中，同样存在像素矩阵，但既没有固定的图像刷新速率，也没有共同的像素读出。替代于此，每个像素单独检查其是否确定强度发生变化。只有在这种情况下，才输出或读出图像信息，并且只从这个像素输出或读出图像信息。因此，每个像素是一种独立的运动探测器。检测到的运动被单独报告为事件。由此，基于事件的相机对场景中的动态反应极快。图像数据由于缺少静态图像分量而对于人眼来说不能如此直观地检测到，但是在机器评估中可以提供优势。
就此而言，Wu,Nanjian发表于中国科学：信息科学61.6(2018):060421的文章“Neuromorphic vision chips”给出了概述。例如，基于事件的相机在Prophesee公司的白皮书中进行了描述，该白皮书可以从其网页上下载。从WO 2015/036592 A1、WO 2017/174579 A1和WO 2018/073379 A1中分别已知用于基于事件的相机的像素电路。Gallego、Guillermo、Henri Rebecq和Davide Scaramuzza发表于IEEE电脑虚拟模式识别国际会议(CVPR)，2018年第1卷的文章“A unifying contrast maximization framework for eventcameras,with applications to motion,depth,and optical flow estimation”提出了根据基于事件的相机的数据来确定运动、距离和光流的方法。US 2013/0335595 A1公开了一种用于基于事件的图像处理的设备和方法，具体地用于确定光流的设备和方法，在代码的读取方面，光流并不特别重要。
基于事件的图像传感器具有其优点，然而就此而言仅代替传统的2D图像传感器，因此暂时对改进的3D检测没有任何贡献，或甚至特别是对激光扫描仪与全景相机的融合没有任何贡献。
因此，本发明的任务在于简化激光扫描仪和相机的组合。
该任务通过根据权利要求1或11的光电传感器和利用激光扫描仪和全景相机来检测监控区域中的对象的方法来实现。这两个相互组合的系统—激光扫描仪和全景相机—具有任意的已知的结构。激光扫描仪发射一个或更多个扫描射束，这些扫描射束通过偏转单元围绕旋转轴线旋转或者也可能围绕旋转轴来回枢转在扫描平面上被周期性地引导。这些扫描射束被再次接收，并且测量光飞行时间。利用该距离、来自偏转单元的角位置的方位角和来自相应的扫描射束的已知的射出方向的仰角得出3D测量点。另一方面，全景相机包括全景光学器件和具有大量光接收元件或像素的图像传感器。由于全景光学器件，因此实现在至少90°或甚至180°直至360°的大角度范围上的像点。优选地，激光扫描仪和全景光学器件的角度范围至少几乎一致。
控制和评估单元融合激光扫描仪的3D测量点和全景相机的像点。因此，相应的测量值彼此相关联或被换算成共同的坐标系，必要时利用附加的步骤，例如用于在输出数据和/或融合数据中填充间隙或进行平滑的插值法。由此，例如将深度值或几何结构与漫反射测量值或场景的纹理进行叠加。这以(外部)校准为前提，因此控制和评估单元须知道对应的转换或用于确定转换的参数，无论是通过固定的机械结构、对应参数的输入还是校准阶段。根据实施方式，控制和评估单元被实现为在激光扫描仪、全景相机或与其连接的系统中的一个或更多个功能块。
本发明基于将激光扫描仪和全景相机布置在同一轴线上的基本思想。传感器被构造成使得激光扫描仪的旋转轴线和全景相机的光学轴线相同，即位于同一直线上。特别地，全景相机的光学轴线是全景光学器件的对称轴线。
本发明具有的优点在于，通过具有直至360°的扫描角或方位角的激光扫描仪与相机的融合来获得特别高品质的检测数据。特别地，激光扫描仪的竖直分辨率还有横向分辨率均可以通过相机进行细化。由此，与已知的技术解决方案相比，可以实现更可靠、更快速且更准确的对象识别和对象跟踪。相机仅具有一个光学通道，但仍然尽可能全面地检测激光扫描仪的扫描场。由于在共同的轴线上的特别结构，实现了相对简单的系统，并且因此极大地简化了校准。复杂的校准模型是不必要的。
优选地，全景相机被配置成光飞行时间相机。由此，除了全景相机的彩色图像数据或灰度值图像数据之外，全景相机还检测3D点。通过这种方式可以检验激光扫描仪的3D测量点是否合理，或者总体上获得具有更高分辨率的3D点。
优选地，图像传感器被布置在旋转轴线上，特别是垂直于旋转轴线定向和/或以旋转轴线为中心。这样得到了像点的实际检测的旋转对称的布置，该布置进一步简化了结构和校准。然而可替代地，图像传感器的略微偏移或倾斜位置也可以借助于校准来进行补偿。
优选地，控制和评估单元被配置用于将偏转单元的至少一个角位置与图像传感器的径向线上的光接收元件相关联。由此，实现了激光扫描仪的扫描角与全景相机的方位角的关联，因此相对于围绕旋转轴线的旋转，在共同的角坐标上达成约定(Einigung)。角位置特别是零位(Nulllage)，然而也可以设想确定并确保所提到的关联的其他或另外的角位置。优选地，原点或参考点是穿过图像传感器的旋转轴线的贯穿点(Durchstoβpunkt)，其中共同的世界坐标沿着旋转轴线或在任意其他方向上的平移当然仍然是可行的。
为了理解特别是与图像传感器上的径向线的关联性，应解释的是，激光扫描仪的扫描平面由图像传感器分别成像为围绕旋转轴线的贯穿点的同心圆环。从贯穿点开始的每个半径进而对应于一个固定的方位角或扫描角。方位角和扫描角的这种同一性
Figure BDA0002767388550000061
是旋转轴线和光学轴线重合的结构的结果。因此，只有一个零位或角度0°待被校准，其中这当然只是针对一般参考角的名称。零位进而由几何结构确定，使得在图像传感器处于固定的、校准的布置且激光扫描仪的角度为0°的情况下，可以省略实际的校准，这是因为该校准通过组合得以实现。然而，零位也可以在工厂校准，或者对该零位进行示教，其方式为将激光扫描仪保持在其零位，并且控制和评估单元定位图像传感器上的被照亮的像素，并将相应的半径标记为方位角的零位。
优选地，控制和评估单元被配置用于将距离光学轴线径向距离的光接收元件与扫描射束相关联。由于传感器的特殊结构，除了方位角和扫描角之外，这是唯一仍有待校准的自由度，其中在一定的对象距离的情况下将相应的扫描射束根据其方位角与同心圆中的一个特定的同心圆(即，距离贯穿点的径向距离)相关联。再次地，所有这些都是由几何形状确定的，在这种情况下主要由视差确定，而视差又取决于激光扫描仪和全景相机在旋转轴线上的相互距离。作为校准的计算和调整后的装配的替代，可以设想工厂外或现场的校准程序。为此，激活激光扫描仪的特定的扫描射束，并且在对象间距恒定的情况下定位在图像传感器上成像的同心圆环。这些同心圆环在径向方向上的离散的序列明确地对应于扫描射束在仰角上的叠加排列的顺序。
优选地，激光扫描仪和全景相机在旋转轴线上直接相叠地布置。这两个系统之间的距离保持尽可能小，以便获得低视差和尽可能良好的、彼此匹配的3D测量点和像点。可以根据扫描点的相应的距离信息、激光扫描仪与全景相机之间的距离以及全景光学器件在径向方向上的已知成像特性以明确的方式实现像点的距离校正。在这一点上，以这样的方式配置全景光学器件是有利的，使得图像传感器上的径向位置尽可能与仰角成比例，也是为了在整个扫描范围内能够实现尽可能恒定的分辨率。
优选地，控制和评估单元被配置用于识别由扫描射束在图像传感器上产生的光斑，并根据该光斑将3D测量点和像点彼此关联。这甚至可以实现在操作中进行动态校准或对校准的追踪，特别是以便使相应的测量数据的时间关系特别准确的一致。
优选地，图像传感器是基于事件的图像传感器。开篇简短地介绍了这种类型的基于事件(event-based)或神经形态的图像传感器。这些图像传感器特别适于监控可移动的或快速变化的场景，例如在传感器的移动应用的情况下。
优选地，光接收元件被配置用于确定由相应的光接收元件检测到的强度何时变化，并随后准确地以基于事件的方式提供图像信息。光接收元件检查检测到的强度是否变化。仅在是事件，并且仅在一个事件的情况下，才输出或读出图像信息。可以设想迟滞类型，其中光接收元件忽略定义的、过小的强度变化，而不将其视为事件。
优选地，相应的光接收元件将强度是降低还是增加的差异信息提供为图像信息。因此，根据强度的变化方向，从光接收元件读取的信息例如是符号+1或-1。在此，可以设置强度变化的阈值，直至这些阈值为止光接收元件不会触发事件。在用于进一步评估的后续内部表示中，可以为未检测到事件的时间补充值0。
优选地，相应的光接收元件将在由强度变化所确定的时间窗口内的积分强度提供为图像信息。在这里，信息不限于强度变化的方向，而是在由事件所确定的时间窗口内对入射光进行积分，并由此确定灰度值。因此，测量值对应于传统相机的测量值，但是检测的时间点仍然是基于事件的，并且与强度变化相关联。
优选地，相应的光接收元件以至少1KHz或者甚至至少10KHz的更新频率输出图像信息。传统相机的更新频率是图像刷新频率或帧速率。基于事件的相机没有这种共同的图像刷新频率，这是因为光接收元件单独地且基于事件地输出或刷新其图像信息。然而，就此而言存在极短的响应时间，该响应时间利用传统相机只能以每秒数千张图像或更多图像的巨大成本来实现，在基于事件的相机的情况下，更新频率甚至可能为10KHz或甚至几十KHz，这利用传统相机在技术上是不可能展现的。这种高的时间分辨率还具有实际上没有运动伪影(motion blurr)的优点。在一个极短的更新周期(对应于传统的曝光时间)内，对象不再进一步移动多个像素，因此也不会记录到模糊图像。优选地，极快速的记录用于以高的时间分辨率检测激光点，并从而实现或追踪高精度的校准。
优选地，激光扫描仪和/或全景相机被配置成可以从传感器移除或添加至传感器的模块，其中特别地，控制和评估单元被配置用于当随后添加模块时对激光扫描仪和全景相机进行相互校准。由于模块化结构，在后续在需要时还可以在操作现场补充全景相机或激光扫描仪。随后，例如通过触发示教过程来进行校准。由于在共同的轴线上的结构，这是很容易实现的。相对地，传统的通用校准模型将需要在场景中的校准对象和具有相应的大量校准数据的非常复杂的计算。
根据本发明的方法可以以类似的方式进行改进，并同时显示出类似的优点。这种有利的特征是示例性的，而且在独立权利要求之后的从属权利要求中并非穷尽地描述。
优选地，融合将扫描单元的扫描角与图像传感器上的方位角相关联，并且将扫描射束的仰角与图像传感器上的距离旋转轴线的径向距离相关联。上面解释了激光扫描仪的扫描平面基于这种简单的校准和换算成像为围绕图像传感器上的旋转轴线的同心圆环：半径分别同时对应于固定的方位角和扫描角，并且各个圆环的径向距离与在特定对象间距下的特定的扫描射束明确相关联。
附图说明
下面还示例性地基于实施例并且参考附图对本发明的其他特征和优点更详细地进行阐述。在附图中：
图1示出了激光扫描仪的示意性剖视图；
图2示出了全景相机的示意性剖视图；
图3示出了作为激光扫描仪和全景相机的组合的光电传感器的示意性剖视图；以及
图4示出了根据图3的传感器的视场的图示以及视场在全景相机的图像传感器上的成像。
图1示出了示例性的激光扫描仪110的示意性剖视图。以粗略的划分,激光扫描仪110包括可移动的扫描单元112和基座单元114。扫描单元112是光学测量头，同时在基座单元114中还安装了其他元件，例如电源、评估电子器件、端口等。在操作中，借助于基座单元114的驱动器116使扫描单元112置于围绕旋转轴线118的旋转运动中，以便周期性地扫描监控区域120。
在扫描单元112中，具有多个光源122a(例如，LED或者边缘发射器(Kantenemitter)或VCSEL形式的激光器)的光发射器122借助于共同的发射光学器件124产生具有相互角度偏移的多个发射光束126，这些发射光束被发射到监控区域120中。可替代地，多个发射光束126可以通过更少或仅一个光源和至少一个分束元件或模式生成元件(Mustererzeugungselement)生成。四个发射光束126的数量仅仅是一个示例，可以更多或更少，甚至可以只有|唯一的发射光束。
如果发射光束126在监控区域120中落到对象上，则相应漫反射的光束128返回至激光扫描仪110。漫反射的光束128被接收光学器件130引导到具有多个光接收元件132a的光接收器132上，这些光接收元件132a分别产生电接收信号。光接收元件132a可以是单独的构件或集成矩阵排列的像素，例如光电二极管、APD(雪崩二极管，Avalanche Diode)或SPAD(单光子雪崩二极管，Single-Photon Avalanche Diode)。
在图1所示的实施方式中，光发射器122和光接收器132一起被布置在印刷电路板134上，该印刷电路板134位于旋转轴线118上并与驱动器116的轴136连接。这仅是通过示例来理解，实际上可以设想任意数量和布置的印刷电路板。具有双轴彼此相邻放置的光发射器122和光接收器132的光学基本结构也不是强制性的，并且可以由单光束的光电传感器或激光扫描仪本身已知的任何结构形式代替。为此，示例是具有或不具有分束器的同轴布置。
非接触式电源和数据接口138将可移动的扫描单元112与静止的基座单元114连接，距离测量单元140位于静止的基座单元114中，该距离测量单元140也可以至少部分地布置在印刷电路板134上或扫描单元112中的其他地点。距离测量单元140控制光发射器122，并获得光接收器132的接收信号以用于进一步评估。此外，该距离测量单元还控制驱动器116，并获得通常从激光扫描仪中已知的角度测量单元(未示出)的信号，该角度测量单元确定扫描单元112的相应的角位置。
优选地，为了进行评估，用已知的光飞行时间法测量与被扫描的对象的间距。连同角度测量单元的关于角位置的信息，在每次扫描周期之后，利用角度和距离，可以获得扫描平面中所有对象点的二维极坐标。各个扫描平面也通过对相应漫反射的光束128的标识
Figure BDA0002767388550000111
及其在光接收元件132a之一中的检测已知，从而在总体上扫描三维空间区域。因此，对象位置或对象轮廓是已知的，并且可以经由传感器接口142输出，例如作为3D点云输出。反过来，传感器接口142或另一个端口(未示出)用作参数化接口。
所示的激光扫描仪110具有旋转的测量头，即扫描单元112。在此，不仅发射-接收模块可以如这里所示一起旋转，而且还可以设想相对于旋转轴线118具有高度偏移或角度偏移的其他这种类型的模块。可替代地，也可以设想借助于旋转反射镜或小平面反射镜轮的周期性偏转。这需要额外的考虑，原因在于多个发射光束126如何落入到监控区域120中取决于相应的旋转位置。这些发射光束可以说是随着旋转反射镜的运动而围绕彼此旋转，但是这以可预测的并且因此以在3D测量点中可补偿的方式进行。
在激光扫描仪110旋转期间，每个发射光束126分别扫描一个面。在此，仅在偏转角为0°的情况下，也就是在图1中不存在的发射光束为水平的情况下，监控区域120的平面被扫描。其余的发射光束扫描锥体的外表面，该锥体根据偏转角被构造成不同的尖端。在以各种角度向上和向下偏转的多个发射光束126中，产生多个沙漏嵌套类型作为扫描结构。在这里，这些锥体外表面有时也被简称为扫描平面。
图2示出了示例性的全景相机210的剖视图。接收光214从监控区域212经由全景光学器件216被引导到图像传感器218上。全景光学器件能够接收直至360°的大的方位角范围内的光。例如，该全景光学器件被设计成鱼眼镜头或者折反射光学器件或全方位光学器件。在前述介绍中列举了一些具体的实施方案。
优选地，图像传感器218垂直于全景相机210或全景光学器件216的对称轴线220，并且再次优选地使得对称轴线220的贯穿点位于图像传感器218的中心。除了作为具有用于彩色或单色记录的像素的CCD或CMOS矩阵的实施方式之外，作为开篇提到的基于事件或神经形态的图像传感器的实施方式也是可行的。由于基于事件的图像传感器的直至50KHz或更高的极快的检测，这种基于事件的图像传感器特别适用于快速且连续的对象跟踪。这特别有利地补充了激光扫描仪110的相对较慢的刷新速率(就时间分集而言典型为50Hz的旋转频率)。在仍待描述的由激光扫描仪110和全景相机210组成的组合系统中，可以以高时间分辨率记录移动的发射光束126的光斑，从而可以以基于事件的图像传感器的高时间分辨率使这两个系统110、210的测量点在时间上相关联。
图像传感器218的相应像素的位置携带相应检测的对象点的位置信息，即在围绕对称轴线220的贯穿点的角度方向上的方位角和在径向方向上的仰角。这在下文中将参考图3和图4更详细地阐述。
图像读出单元222与图像传感器218连接，并经由输出端224输出检测到的像点。在一个可替代的实施方式中，全景相机具有附加的照明器，该照明器例如借助于分频镜(Teilerspiegel)同轴地耦合到全景光学器件216的光路中，或者该照明器具有其自己的全景光学器件。因此，图像读出单元222可以得到扩展，并且通过适当调制的照明还可以测量光飞行时间。在实践中，这种3D全景相机通常已经在图像传感器218的像素中执行了光飞行时间测量或至少预备性解调，从而至少部分地消除了如图2中所示的划分成两个单独的构件218、222。利用3D全景相机，除了或代替即将要描述的用于融合的彩色像点或灰度值像点以外，还生成3D像点。
图3示出了作为激光扫描仪110和全景相机210的组合的光电传感器10的示意性截面图。这两个单独的系统—激光扫描仪110和全景相机210—可以以所描述的方式之一或本身已知的其他方式来进行配置。从现在起，这些系统仅纯象征性地显示为功能块。相应的测量数据的融合和进一步处理实际上可以任意地分布在激光扫描仪110的距离测量单元140、全景光学器件的图像读出单元222、共同的数据处理单元14和/或所连接的其他系统(例如，上级的控制器或甚至云)上。
激光扫描仪110和全景相机210被集成到共同构成的传感器10中，使得激光扫描仪110的旋转轴线118和对称轴线220重合在共同的轴线12。因此，机械耦合使得旋转轴线118和对称轴线220相同，或者图像传感器218垂直于激光扫描仪110的旋转轴线118。由此，外部校准以及激光扫描仪110的3D测量点与全景相机210的像点之间的关联得到了极大的简化。
首先，这是由于通过使用全景相机210总共仅须校准两个系统。此外，由于传感器10的特殊结构，激光扫描仪110的旋转运动的扫描角和全景相机的方位角由共同的角
Figure BDA0002767388550000131
来描述。在这里，仅缺少关于零位的约定。相应的高度角或仰角Θ也可以同样容易地与径向距离相关联。这在下面在图4中以图像传感器218的俯视图进行描绘。
该草图在图4的右侧再次放大示出。在该图的左侧，再次示出了具有共同的监控区域16的传感器10，其中在该共同的监控区域16中，在图3中以非常靠近系统的大显示比例分开显示的相应的监控区域120、212优选尽可能完全重叠。如果共同的轴线12上的相互距离a选择得尽可能小，则这是能得到支持的。在方位角方向
Figure BDA0002767388550000132
上，分别检测至少90°、至少180°或甚至360°或者合适的中间值(例如，270°)的大角度范围。
在图4的右侧可以看到，共同的监控区域16是如何在图像传感器218上成像到圆环上的。半径为K1的内边界圆对应于顶部仰角，半径为K2的外边界圆对应于底部仰角。固定角为
Figure BDA0002767388550000133
的对象点被成像到沿半径的线段r上。这位于哪里在很大程度上取决于视差，因此建议保持距离a尽可能小。因此，扫描射束126、128根据它们相应的仰角Θ在它们的扫描运动期间画出半径介于K1和K2之间的圆，并且彼此叠置的扫描射束126、128以固定的扫描角沿着半径r画出线段。
因此，校准可以限于对扫描角和方位角的调整，例如使用共同的零位，并使沿线段r的点与相应的扫描射束126、128相关联。这些关系由传感器10中的几何形状给出，因此可以进行计算。可替代地，在周期性扫描运动期间，扫描射束126、128的光斑在偏转单元112和/或圆环静止的情况下被定位在图像传感器218上。特别是在应用基于事件的图像传感器218时，这在操作中甚至可以是动态的。不再需要复杂的校准模型。

Claims (12)

1.一种用于检测监控区域(16、120、212)中的对象的光电传感器(10)，其中，所述传感器(10)具有：激光扫描仪(110)，其具有能够围绕旋转轴线(118)旋转的偏转单元(112)，所述偏转单元用于利用至少一个扫描射束(126、128)扫描所述监控区域(120)；以及第一距离测量单元(140)，其用于利用光飞行时间法确定被所述扫描射束(126、128)扫到的相应对象的3D测量点；全景相机(210)，其具有全景光学器件(216)和图像传感器(218)，所述图像传感器具有用于检测像点的多个光接收元件；以及控制和评估单元(14、140、222)，其被配置用于融合所述3D测量点和所述像点，
其特征在于，
所述全景相机的光学轴线(220)和所述旋转轴线(118)重合(12)。
2.根据权利要求1所述的传感器(10)，其中，所述全景相机(210)被配置成光飞行时间相机。
3.根据权利要求1或2所述的传感器(10)，其中，所述图像传感器(218)被布置在所述旋转轴线(12、118)上，特别是垂直于所述旋转轴线(12、118)定向和/或以所述旋转轴线(12、118)为中心。
4.根据前述权利要求中的任一项所述的传感器(10)，其中，所述控制和评估单元(14、140、222)被配置用于将所述偏转单元(112)的至少一个角位置与所述图像传感器(218)的径向线上的光接收元件相关联。
5.根据前述权利要求中的任一项所述的传感器(10)，其中，所述控制和评估单元(14、140、222)被配置用于将距离所述光学轴线径向距离的光接收元件与扫描射束(126、128)相关联。
6.根据前述权利要求中的任一项所述的传感器(10)，其中，激光扫描仪(110)和全景相机(210)在所述旋转轴线(12、118)上直接相叠地布置。
7.根据前述权利要求中的任一项所述的传感器(10)，其中，所述控制和评估单元(14、140、222)被配置用于识别由扫描射束(126、128)在所述图像传感器(128)上产生的光斑，并基于所述光斑将3D测量点和像点彼此相关联。
8.根据前述权利要求中的任一项所述的传感器(10)，其中，所述图像传感器(218)是基于事件的图像传感器。
9.根据权利要求8所述的传感器(10)，其中，所述光接收元件被配置用于确定由相应的光接收元件检测到的强度何时改变，并且随后基于事件准确地提供图像信息，其中特别地，相应的光接收元件将所述强度是降低还是增加的差异信息作为图像信息提供，和/或提供在由所述强度的变化所确定的时间窗口内的积分强度。
10.根据前述权利要求中的任一项所述的传感器(10)，其中，所述激光扫描仪(110)和/或全景相机(210)被配置成能够从所述传感器(10)移除或添加至所述传感器(10)的模块，并且其中特别地，所述控制和评估单元(14、140、222)被配置用于在随后添加模块的情况下对激光扫描仪(110)和全景相机(210)相互进行校准。
11.一种用于检测监控区域(16、120、212)中的对象的方法，其中一方面由具有能够围绕旋转轴线(118)旋转的偏转单元(112)的激光扫描仪(110)以至少一个扫描射束(126、128)扫描所述监控区域(120)，以便利用光飞行时间法确定由所述扫描射束(126、128)扫到的相应对象的3D测量点，并且另一方面由具有全景光学器件(216)和带有多个光接收元件的图像传感器(218)的全景相机(210)检测所述监控区域(120)，以便获得像点，并且其中融合所述3D测量点和所述像点，
其特征在于，
所述全景相机(210)的光学轴线(220)和所述旋转轴线(118)重合(12)。
12.根据权利要求11所述的方法，其中，所述融合将所述扫描单元(112)的扫描角与所述图像传感器(218)上的方位角相关联，并且将所述扫描射束(126、128)的仰角与所述图像传感器(218)上的距离旋转轴线(12、118)的径向距离相关联。
CN202011237916.0A 2019-11-07 2020-11-09 光电传感器和用于检测对象的方法 Pending CN112782716A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019129986.1A DE102019129986A1 (de) 2019-11-07 2019-11-07 Optoelektronischer Sensor und Verfahren zur Erfassung von Objekten
DE102019129986.1 2019-11-07

Publications (1)

Publication Number Publication Date
CN112782716A true CN112782716A (zh) 2021-05-11

Family

ID=72943877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011237916.0A Pending CN112782716A (zh) 2019-11-07 2020-11-09 光电传感器和用于检测对象的方法

Country Status (5)

Country Link
US (1) US20210141094A1 (zh)
EP (1) EP3819671B1 (zh)
JP (1) JP2021076603A (zh)
CN (1) CN112782716A (zh)
DE (1) DE102019129986A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023009755A1 (en) 2021-07-29 2023-02-02 Summer Robotics, Inc. Dynamic calibration of 3d acquisition systems
US11808857B2 (en) 2021-08-27 2023-11-07 Summer Robotics, Inc. Multi-sensor superresolution scanning and capture system
CN114137553B (zh) * 2022-01-30 2022-04-12 探维科技(北京)有限公司 一种图像融合激光的雷达调光方法及系统
US11785200B1 (en) 2022-03-14 2023-10-10 Summer Robotics, Inc. Stage studio for immersive 3-D video capture
WO2023175890A1 (ja) * 2022-03-18 2023-09-21 株式会社ソニー・インタラクティブエンタテインメント センサシステムおよびセンシング方法
CN114740457A (zh) * 2022-04-06 2022-07-12 惠州越登智能科技有限公司 一种tof激光雷达发射单元调节系统及方法
CN115079133B (zh) * 2022-06-14 2023-05-12 山东沂蒙地理信息有限公司 一种基于激光测距技术的校准测距仪及其运行方法
US11974055B1 (en) 2022-10-17 2024-04-30 Summer Robotics, Inc. Perceiving scene features using event sensors and image sensors

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008089791A1 (en) * 2007-01-26 2008-07-31 Trimble Jena Gmbh Optical instrument and method for obtaining distance and image information
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
DE202011052106U1 (de) * 2011-11-25 2012-01-03 Sick Ag Entfernungsmessender optoelektronischer Sensor
JP2017125790A (ja) * 2016-01-15 2017-07-20 株式会社Ihi 計測装置
CN108271408A (zh) * 2015-04-01 2018-07-10 瓦亚视觉有限公司 使用被动和主动测量生成场景的三维地图
CN108957478A (zh) * 2018-07-23 2018-12-07 上海禾赛光电科技有限公司 多传感器同步采样系统及其控制方法、车辆
CN110082771A (zh) * 2018-01-26 2019-08-02 西克股份公司 用于检测对象的光电传感器和方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8767190B2 (en) 2006-07-13 2014-07-01 Velodyne Acoustics, Inc. High definition LiDAR system
DE202006014939U1 (de) 2006-09-28 2006-11-30 Sick Ag Optiksystem zur Erfassung einer dreidimensionalen Superweitwinkelszene
EP1965225A3 (en) 2007-02-28 2009-07-15 Denso Wave Incorporated Laser radar apparatus for three-dimensional detection of objects
JP2008281427A (ja) * 2007-05-10 2008-11-20 Jtekt Corp 距離測定装置
DE102008032216A1 (de) 2008-07-09 2010-01-14 Sick Ag Vorrichtung zur Erkennung der Anwesenheit eines Objekts im Raum
US7991575B2 (en) * 2009-01-08 2011-08-02 Trimble Navigation Limited Method and system for measuring angles based on 360 degree images
US8179393B2 (en) * 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
ATE557293T1 (de) 2010-02-01 2012-05-15 Sick Ag Optoelektronischer sensor
FI20105977A0 (fi) 2010-09-22 2010-09-22 Valtion Teknillinen Optinen järjestelmä
US10848731B2 (en) 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
KR102070562B1 (ko) 2012-06-19 2020-01-30 삼성전자주식회사 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법
GB2507560A (en) 2012-11-05 2014-05-07 Univ Oxford Extrinsic calibration of mobile camera and lidar
CN105706439B (zh) 2013-09-16 2019-06-28 超龙凯姆公司 动态、单个光电二极管像素电路及其操作方法
EP2980528A1 (de) * 2014-08-01 2016-02-03 HILTI Aktiengesellschaft Trackingverfahren und Trackingsystem
JP2016057108A (ja) 2014-09-08 2016-04-21 株式会社トプコン 演算装置、演算システム、演算方法およびプログラム
US9715016B2 (en) * 2015-03-11 2017-07-25 The Boeing Company Real time multi dimensional image fusing
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
CN105678783B (zh) 2016-01-25 2018-10-19 西安科技大学 折反射全景相机与激光雷达数据融合标定方法
JP6943875B2 (ja) 2016-04-04 2021-10-06 プロフジー サンプルホールドに基づく時間コントラスト視覚センサ
EP3313064A1 (en) 2016-10-20 2018-04-25 Chronocam Pixel circuit for detecting time-dependent visual data
DE102017109039A1 (de) 2017-04-27 2018-10-31 Sick Ag Verfahren zur Kalibrierung einer Kamera und eines Laserscanners

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008089791A1 (en) * 2007-01-26 2008-07-31 Trimble Jena Gmbh Optical instrument and method for obtaining distance and image information
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
DE202011052106U1 (de) * 2011-11-25 2012-01-03 Sick Ag Entfernungsmessender optoelektronischer Sensor
CN108271408A (zh) * 2015-04-01 2018-07-10 瓦亚视觉有限公司 使用被动和主动测量生成场景的三维地图
JP2017125790A (ja) * 2016-01-15 2017-07-20 株式会社Ihi 計測装置
CN110082771A (zh) * 2018-01-26 2019-08-02 西克股份公司 用于检测对象的光电传感器和方法
CN108957478A (zh) * 2018-07-23 2018-12-07 上海禾赛光电科技有限公司 多传感器同步采样系统及其控制方法、车辆

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RIHUI SONG 等: "Calibration of Event-based Camera and 3D LiDAR", 《2018 WRC SYMPOSIUM ON ADVANCED ROBOTICS AND AUTOMATION》, pages 289 - 295 *

Also Published As

Publication number Publication date
JP2021076603A (ja) 2021-05-20
EP3819671A1 (de) 2021-05-12
US20210141094A1 (en) 2021-05-13
EP3819671B1 (de) 2022-01-26
DE102019129986A1 (de) 2021-05-12

Similar Documents

Publication Publication Date Title
CN112782716A (zh) 光电传感器和用于检测对象的方法
JP7114728B2 (ja) 物体を多次元捕捉するためのマルチパルスｌｉｄａｒシステム
JP6069281B2 (ja) 回転軸を中心に運動する走査ユニットを備えるセンサ
KR101762525B1 (ko) 다수의 이미터들을 이용한 깊이 주사를 위한 장치 및 방법
EP2957926B1 (en) System and method for scanning a surface and computer program implementing the method
EP2722645B1 (en) Three-dimensional measuring device and three-dimensional measuring system
EP2378310B1 (en) Time of flight camera unit and optical surveillance system
US8384914B2 (en) Device for optically scanning and measuring an environment
US10643349B2 (en) Method of calibrating a camera and a laser scanner
KR20200004840A (ko) 파노라마 lidar 결과의 컬러 보강
US10509109B2 (en) Optoelectronic sensor and method for detecting an object
US11733043B2 (en) Automatic locating of target marks
US11914074B2 (en) Optoelectronic sensor and method for the detection of objects
US10321037B2 (en) Active pushbroom scanning system and method
CN113538591A (zh) 一种距离测量装置与相机融合系统的标定方法及装置
US11313954B2 (en) Optoelectronic sensor and method for detecting three-dimensional image data
WO2019055979A1 (en) ACQUISITION OF LIDAR SIGNAL
US11698442B2 (en) Optoelectronic sensor and method for detecting objects
US20210311193A1 (en) Lidar sensor for optically detecting a field of vision, working device or vehicle including a lidar sensor, and method for optically detecting a field of vision
CN108572369A (zh) 一种微镜扫描探测装置及探测方法
JP2019215320A (ja) 光電センサ並びに物体の検出及び距離測定方法
KR20180092738A (ko) 디지털 마이크로 미러 소자를 이용한 거리 정보 획득 장치 및 방법
US20030234923A1 (en) Scanner for optically detecting objects
CN108885260B (zh) 具有单轴扫描的渡越时间探测器
JP7114207B2 (ja) 距離測定データの取得

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination