CN114966607A - 三维图像数据的检测 - Google Patents

三维图像数据的检测 Download PDF

Info

Publication number
CN114966607A
CN114966607A CN202210152448.XA CN202210152448A CN114966607A CN 114966607 A CN114966607 A CN 114966607A CN 202210152448 A CN202210152448 A CN 202210152448A CN 114966607 A CN114966607 A CN 114966607A
Authority
CN
China
Prior art keywords
measurements
measurement
camera
partial
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210152448.XA
Other languages
English (en)
Inventor
马库斯·哈姆斯
沃尔弗拉姆·斯特雷普
约尔格·西格蒙德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick AG
Original Assignee
Sick AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick AG filed Critical Sick AG
Publication of CN114966607A publication Critical patent/CN114966607A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请涉及三维图像数据的检测。给出了一种用于检测来自检测区域(18)的三维图像数据的相机(10)，具有：照明单元(12)，其用于发出至少以第一调制频率调制的发射光(16)；图像传感器(26)，其具有用于产生相应的接收信号的多个接收元件(26a)；多个解调单元(32)，其用于以第一调制频率解调接收信号以获得采样值；参考照明单元(38)，其用于发出参考光(42)，参考光以第一调制频率调制并在相机内被引导到图像传感器上；以及控制和评估单元(34)。在此，控制和评估单元还被设计成将用于功能测试的参考部分测量分布在多个距离测量上。

Description

三维图像数据的检测
本发明涉及一种根据权利要求1的主题的用于检测来自检测区域的三维图像数据的相机，特别是3D飞行时间相机，以及一种根据权利要求15的主题的用于检测来自检测区域的三维图像数据的方法。
这种相机测量距离，并由此获得深度信息。所检测的具有各个像素的距离值或间距值的三维图像数据也被称为3D图像、距离图像或深度图。已知各种方法来测定深度信息。其中，基于相位方法的飞行时间测量(TOF，Time of Flight或Lidar，Light Detection andRanging)在这里将更详细地研究。
在此，用调幅的光照亮场景。从场景返回的光被接收，并用相同的频率解调，该频率还用于调制发射光(锁定方法(Lock-In-Verfahren))。解调产生幅度测量值，该幅度测量值与接收信号的采样值相对应。根据奈奎斯特准则，需要至少两个采样值来确定周期信号的相位。因此，测量在发射侧调制和接收侧解调的信号之间的相对相位位置不同的情况下进行。这样就可以测定发射信号和接收信号之间与传播时间相关的绝对相移，而绝对相移又与场景中的物距成比例。
图5a示出了传统的调制方案。在上部，S代表以调制频率周期性调制的发射光。下部是标记为E的返回的接收光，并且根据发射光返回所在的对象的距离，返回的接收光与发射光S有相位偏移。下部示出了分配给相机的相应像素的电荷存储器的时间段，在该时间段中存储了在相应的时间段内产生的光电子。如图所示，不必选择与发射光对齐的时间段，但应考虑可能的时间偏移，否则将导致相位测量误差，从而导致距离测量误差。
在图5a中，每个像素有两个电荷存储器A和B，在它们之间用发射光的调制频率来回切换。电荷在多个调制周期内进行积分，即累积的电荷载流子相加，然后才从像素中读出总电荷，其中图5a示出了两个这样的调制周期。从B/(A+B)得出所寻求的相位。
这种简易测量的缺点是对外来光或背景光的敏感性。诚然，如上所述，周期性信号的相位确定的最小数值刚好用A和B这两个值就可以达到。但是为了额外考虑另外的可变背景光(假设电平恒定，背景光是恒定的)，缺少至少一个另外的采样值。为了还考虑背景光以及其他原因，例如补偿图像传感器的像素中的非线性和不对称性，这导致相对较高的未知系统测量偏差，可以执行附加的测量。因此，对于稳健且精确的距离测量来说，需要多于两次的单独测量来获得每像素的深度值，或者换句话说，如果3D图像采集的一帧由多于两次的部分测量组成，则是有利的。可选地，为了确定背景光，可以增加像素的电荷存储器的数量，但是如果没有重复的单独测量也并不能补偿像素中的不对称性。相反，像素也可以仅具有单个电荷存储器，并且为了补偿，可以相应地增加部分测量的数量。
四个采样值的扩展调制方案共同显示在图5a和图5b中。利用根据图5a的测量，确定值A和B。随后，进行根据图5b的另一测量，其中在两个电荷存储器之间来回切换之后的时间段偏移了1/4个调制频率周期。为了区分以这种方式获得的测量值，将它们标记为C和D。现在从arctan((C-D)/(A-B))得出所寻求的相位。如已经提到的，像素中电荷存储器的数量在某种意义上可以被交换为每帧的部分测量的数量，其中通过电荷存储器的数量和部分测量的数量的恒定乘积将可比的测量联系起来，因为该乘积给出了在一帧中获得的采样值的数量，从中可以重建调制频率。
例如，基于图5a和图5b介绍的两种方法的介绍性讨论可以在技术白皮书SLOA190B(2014)中Li,Larry的文章“Time-of-flight camera-an introduction”中找到。
除了使用两个或四个采样值的概述测量之外，还已知使用0°、120°和240°的三个采样值的变型。在可替代的图像传感器结构中，两个电荷存储器A和B的测量值不是单独可读的，而是输出值A-B的差分像素。此外，已知在180°相位偏移的情况下，再次测量采样值，例如A、B、C和D，以补偿像素中的不对称性。相应的采样值数量带来了不同的优点和缺点，这对于不同的应用是有意义的。获得的采样值越多，测量精度就越高或深度测量偏差就越小。采样值越少，测量误差就越大，但采集时间缩短，且产生的运动伪影就越少。
用相位法进行飞行时间测量的另一个方面是有限的明确范围，因为相移只有在调制频率的周期内是明确的。为了扩展明确范围，从而扩展相机的有效范围，通常用多个不同的调制频率连续进行测量。调制频率的可替代降低只能在窄范围内考虑，因为这会影响测量精度。采用多个调制频率的测量结合了高的深度分辨率和大的深度测量范围。该有效范围的增加对于任何数量的部分测量都是可能的。
附加的距离维度可用于多种应用，以获得关于由相机检测的场景中的对象的更多信息，从而解决各种任务。例如，在自动化技术中，基于三维图像信息可以检测并进行分类，以根据哪些对象被识别到(优选包括它们的位置和取向)来进行进一步的自动处理步骤。例如，这可以用于支持机器人或传送带上各种类型的致动器的控制。
对于在公共道路或封闭环境中行驶的交通工具，特别是在工厂和物流自动化领域，应使用三维相机尽可能完整和三维地记录整个环境，特别是规划路线。这适用于几乎所有可以想到的交通工具，无论是有司机的交通工具，如PKW、LKW、作业机器和叉车，还是无人驾驶交通工具，如AGV(Automated Guided Vehicle)、AGC(Automated Guided Cart)、AMR(Autonomous Mobile Robot)或地面运输工具。图像数据用于实现自主导航或支持驾驶员识别障碍物、避免碰撞或便于装载和卸载运输货物，包括纸箱、托盘、集装箱或拖车。
在安全技术中，3D相机检测危险点(例如，机器，特别是机器人)附近的人员。当识别到不允许的侵入保护空间或低于与机器的安全距离时，就进行以安全为导向的反应，以避免事故发生。安全技术中使用的传感器必须特别可靠地工作，因此必须满足高安全要求，例如用于机器安全的EN 13849标准和用于的非接触式保护设备(BWS)的IEC61496或EN61496设备标准。为了满足这些安全标准，必须采取一系列措施，例如通过冗余、多样化的电子设备进行安全的电子评估、功能监控或者专门监控光学元件的污染。安全标准还规定了所谓的安全等级或安全要求水平，以此对可实现的安全性进行分级。对此的示例是根据IEC61508/IEC61511(Safety Integrity Level)的SIL，1为最低等级，4为最高等级，或者根据EN ISO 13849-1的PL(Performance Level)，等级从a“低”到e“高”。
然而在实践中，迄今为止安全技术在工业环境中的应用仍然用安全光栅或激光扫描仪来解决。自动化程度的提高本身就要求防护越来越复杂的自动化任务和几何形状，而这只能通过这些相对简单的传统安全传感器在有限的范围内实现。然而事实上，安全相机甚至3D相机在市场上仍然不可用，或者由于有效范围、尺寸、成本和类似因素，它们有很大的局限性。相反，3D飞行时间相机基于为完全不同的应用开发的高度集成的图像传感器，其中集成了照明调制信号和解调信号以及大部分测量技术。因此，这些图像传感器并不是针对安全应用而指定的，并且缺失的安全功能或缺失的安全相关的诊断选项也只能纯粹从理论上用大量安全技术的新芯片开发的巨大且令人望而却步的费用来补充。
为了确保传统安全激光扫描仪的安全设计，设置有内部参考目标，激光扫描仪每转一圈都会对该参考目标进行扫描，并且必须从该参考目标测量预期距离。因此，整个测量链都以与提供新扫描数据相同的响应时间进行可靠测试。这在DE 43 40 756 A1中首次进行了描述，并且在今天仍然是常见的做法。由于缺乏扫描运动，所以已被证实的原理无法转移到相机上。
原则上，可以设想通过不同的刺激或测试模式逐个测试图像传感器的各个部件。然后，根据各个部件的功能性推断出整个测量链的功能性。然而，事实上，测试模式从未完全通过测量链。因此，关于整个测量值的结论只有在对图像传感器的子区域有非常好的了解的情况下才是完全可以设想的，因此专门针对特定的图像传感器量身定制。因此，改变图像传感器需要付出巨大的耗费，因为安全性必须重新得到保证。然而，诊断级别不足以达到上述安全标准意义上的高安全水平，充其量只能达到中等安全水平。其中原因在于，通过不同刺激对部分功能的多次测试需要相当长的执行时间。这不仅显示了这些测试方法在计算资源和运行时间方面所涉及的努力。如果安全级别要求在响应时间内进行故障检测，那就太慢了。
还未公开的文件号为102019131988.9的德国专利申请涉及一种3D飞行时间相机，其中可以调节测量重复的次数或部分测量的次数。这增加了灵活性和应用可能性，但没有解决安全问题。
从EP3 525 004 B1中已知一种具有测试发射器的TOF传感器。在传感器运行期间，发送器大约每隔100毫秒中断一次。在暂停期间，发送测试信号，并将测量的虚拟距离与期望值进行比较。这个测试周期对于高安全水平来说太长了。如果发射器被更频繁地中断，这将影响帧速率，从而影响响应时间，因为在足够短的测试周期内，实际测量所需的时间与测试信号所需的时间相似。
DE10 2010 038 566 A1公开了另一种具有监控功能的飞行时间相机。为此，设置了具有参考光源的参考通道。参考测量是在预定的时间间隔内进行的，例如在每次距离测量之后或在更大的时间间隔内进行。在这些可替代方案中，上一段提到的缺点再次体现出来，因为帧速率在每次距离测量后都会受到参考测量的影响，而不太频繁的参考测量则无法实现高安全水平所需的短响应时间。
在EP 3 091 271 A1中，提供了一种基于SPAD(Single-Photon Avalanche Diode)的光传感器，在实施方式中，它具有作为参考光发射器的光发射器，用于安全相关的自测试。在这里，优选地使用脉冲方法，并且仅提及了cw方法，而没有更深入的解释。另外，目前还不清楚在什么时候进行自测试而不会对帧速率或测试周期的长度产生不利影响。
DE 10 2007 008 806 B3描述了通过动态化进行测试的光电监测。在外部测试中，来自场景的接收光与测试光叠加。对于内部测试，设置有附加照明，其将预定相位的调制光辐射到接收元件中。同样，没有解释如何在不影响帧速率或以与高安全级别不兼容的方式不延长测试周期的情况下，找到该测试所需的时间。
因此，本发明的任务在于提高通用相机的安全性。
该任务通过根据权利要求1和权利要求15的用于检测来自检测区域的三维图像数据的相机，特别是3D飞行时间相机，以及方法来解决。相机基本上按照引言中所述的那样工作。照明单元产生发射光，该发射光以第一调制频率进行调制。作为预防措施，应该说这是一种人为的幅度调制，该发射光具有选定的调制频率，该调制频率不应该与实际光波的载波频率相混淆。从检测区域中的对象反射回来的发射光与外来光或背景光叠加，落在具有多个接收元件或像素的图像传感器上，这些接收元件或像素由此产生相应的接收信号。
多个解调单元通过使用来自相应接收信号的第一调制频率的信号进行解调，在锁定方法中获得采样值。对于距离测量，执行第一数量的至少两个部分测量，这两个部分测量在具有用于发射光和用于解调的调制频率的信号之间具有不同的相位。部分测量可以是通过重新曝光的顺序重复测量和/或在接收元件的多个电荷存储器中的并行测量。从多个采样值中重建接收信号的相位位置，以由此获得飞行时间并最终获得距离。因此，距离测量通过对应于第一数量的多个部分测量获得每个所涉及的接收元件或像素的距离值，从而形成图像采集的帧。
参考照明单元发出也用第一调制频率调制的参考光，并使图像传感器曝光。与发射光相反，参考光在内部，即在相机内，特别是相机的外壳内，被反馈到图像传感器上。因此，参考光不会从相机出来进入检测区域中。以这种方式形成参考通道，在该参考通道中，至少一部分接收元件，优选地所有接收元件或者至少对应于检测区域中的安全相关区域的接收元件，可以通过照明进行主动检测。
对于该功能测试，类似于距离测量，执行第二多个参考部分测量。这是部分测量，但是在部分测量中参考照明单元现在承担照明单元的角色。根据参考部分测量确定参考距离值，该参考距离值对应于参考照明单元和图像传感器之间的光路长度，而无需进一步修改。参考照明单元可以模拟或仿效其他参考距离。在任何情况下，完整的相机都应该测量预期参考距离，以成功地进行功能测试。
距离测量和功能测试由控制和评估单元控制和评估。在此，解调单元优选地已经在像素中实现，这些像素然后也被称为ToF像素(ToF，Time of Flight、飞行时间)或锁定像素。控制和评估单元的其他部件，特别是那些负责部分测量和参考部分测量和/或从多个采样值重建相位的部件，已经可以在像素中或图像传感器上实现，或者与图像传感器集成在共同的芯片上。可替代地，也可以在图像传感器下游根据多个采样值确定距离，例如在FPGA(Field-Programmable Gate Array)中。
本发明基于以下基本思路，即将功能测试所需的参考部分测量分布在多个距离测量或帧上。因此，第二数量的参考部分测量的执行延伸在多个距离测量或帧上。换句话说，参考部分测量分布在部分测量上或穿插在部分测量中，并且执行频率较低，再换句话说，在当前帧内没有达到第二数量的参考部分测量的情况下，已经针对下一个距离值或帧进行了部分测量。这里应该已经注意到并且稍后将更详细地解释，通过追用(Rückgriff auf)先前的参考部分测量，功能测试仍然可以在高达帧速率本身的高重复率下进行。然后，在一帧内仍然没有达到第二数量的参考部分测量。
本发明的优点在于，提供了可以全部集成到相机中的参考通道，利用该参考通道可以在运行时测试三维图像数据检测的整个测量链。距离计算的已有计算路径可用于功能测试。这不仅简化了实现，还隐含地测试了距离计算。通过将参考部分测量分布在多个距离测量或帧上，相机的实际采集时间基本上不受影响。同时，可以在响应时间内进行功能测试。根据部分测量和参考部分测量的分布，对功耗以及设备的热负荷产生不同的影响。总的来说，相机因此可以在开篇提及的或类似的用于人身保护、机器安全或非接触式的保护设备的安全标准的意义上进行安全设计，而且这可以达到很高的安全水平，例如至少是SIL 2或PL d。这在广泛的应用领域中开辟了灵活的应用，特别是在移动应用中，其中由于移动而无法对图像的某些部分做出可靠的预期。
因此，优选地，控制和评估单元被设计成在部分测量期间仅激活照明单元，而在参考部分测量期间仅激活参考照明单元。这意味着两个照明不会相互干扰，仅进行部分测量或参考部分测量。相应的照明在整个相应的时间窗口内不一定都是激活的，相反，优选地存在尽可能多的没有任何照明的相位。
优选地，第一数量和/或第二数量是至少三个。因此，可以从至少三个部分测量或至少三个参考部分测量的至少三个采样值中重建相应的相位。如引言中所讨论的，原则上两个采样值就已经足够了，但即使是恒定的背景光也会使距离值失真到无法识别，至少第三采样值可以考虑背景光的这种偏移贡献。一般情况下，由运行时间引起的相位通过附加的采样值更精确地重建，从而精进距离测量。通过发射侧的调制和接收侧的解调之间的0°、120°和240°的相位偏移来实现三个采样值的优选星座位置(Konstellation)，对于四个采样值，相位偏移优选为0°、90°、180°和270°。更多的采样值和其他相位位置是可能的，以及偏移或背景光的附加的部分测量或参考部分测量也是可能的。
优选地，第一数量不等于第二数量。这最终意味着距离测量和功能测试的准确度不同。优选地，第一数量大于第二数量，因此通过更多个部分测量，距离测量更加可靠和精确。由于距离、环境光等不同，可预计在检测区域内会有更多的可变性。此外，在参考通道中，参考照明单元和图像传感器之间的已经固定的距离的测量精度并不重要，重要的是查出误差。可替代地，第一数量等于第二数量，以在距离测量和功能测试期间提供更相似的条件。
优选地，控制和评估单元被设计成对于每个距离测量执行一个参考部分测量或两个参考部分测量。特别优选地，对于距离测量的第一数量的部分测量，只有恰好一个参考部分测量。由此，距离测量的持续时间以及帧速率尽可能少地被影响到。功能测试需要多个参考部分测量，因此只有在多个距离测量或帧之后才可能进行。为了加速这一过程，或者在优选有待描述的追用先前的参考部分测量的情况下尽可能保持最新，还可以对每个距离测量进行两个参考部分测量。在与距离测量相比功能测试受控的条件下，在相机的保护外壳中只有内部路径，至少可以设想从两个参考部分测量中确定参考距离值。然而，根据本发明，没有规定用单个距离测量的参考部分测量来确定参考距离值，并且为了足够的可靠性，功能测试应该优选地如已经解释的那样基于至少三个参考部分测量。
优选地，控制和评估单元被设计成在每第i个距离测量中执行至少一个参考部分测量。特别优选地，在每第i个距离测量中，正好执行一个参考部分测量或正好两个参考部分测量。参考部分测量的周期用i表示。优选地，允许i＝1的情况，这意味着在每次距离测量中进行至少一个参考部分测量。对于i>1，会产生其间有距离测量的较慢周期，其中根本没有参考部分测量。也可以设想不规则分布代替周期，例如在第一帧中一个参考部分测量，在第二帧中两个参考部分测量，在第三帧中没有参考部分测量，以及在另外的帧中的相同、相似或完全不同的分布。
优选地，控制和评估单元被设计成改变所述第一数量、第二数量、部分测量的相位偏移、参考部分测量的相位偏移和/或参考部分测量在距离测量上的分布。因此，相机并非固定在一种配置上，而是可以根据情况在小的时间范围内进行转换，或者在后续较长的操作阶段永久地转换。特别地，通过这种方式可以适应不同的安全级别。无数可能的示例之一是从0°、120°、240°的三个部分测量转换为45°、90°、120°、270°和350°的五个部分测量，其中对于参考部分测量，这也是以相同或完全不同的方式完成的。另一示例是从每个距离测量一个参考部分测量转换到现在每三个距离测量两个参考部分测量。这样，距离测量的响应时间和精度、功能测试的可靠性、周期时间以及最终的安全级别都可以调整。特别地，这样的改变可以使功能测试多样化。
优选地，控制和评估单元被设计成从当前距离测量中的至少一个当前参考部分测量和先前距离测量中的至少一个先前参考部分测量中确定参考距离值，特别是以这种方式对于每个距离测量确定参考距离值。这就是已经多次提及的通过一种类似于滑动平均值的滚动方法追用先前的参考部分测量。由于在单个距离测量中未达到第二多个参考部分测量，所以加入了具有当前未测量的相位参考的先前的参考部分测量。优选地，较早或先前的参考部分测量是最近可用的。这样可以更频繁地执行功能测试，因为不必等待第二多个参考部分测量的完成。特别地，甚至可以对每个距离测量或帧执行功能测试，尽管所涉及的参考部分测量是在多个帧上收集的。
控制和评估单元优选地被设计成在参考部分测量期间使用比部分测量更短的积分时间。积分时间或曝光时间是指接收元件为相应的采样值收集光子的时间窗口。由于参考通道中定义明确的条件，包括短且已知的光路，因此在相对较短的时间内进行积分就足够了。由此，进一步减少了参考部分测量所占用的测量时间，该测量之间无论如何已经受到多个距离测量上的分布的限制。相比之下，在用于可能较远和较暗的对象的测量通道中，这种较短的积分时间是不够的。
优选地，控制和评估单元被设计成仅基于一个参考部分测量来检查图像传感器的至少一个功能，特别是发现有缺陷的像素。整个测量链的实际功能测试以及飞行时间的确定只能通过多个参考部分测量来实现。但是，即使仅基于一个参考部分测量，也可以执行补充的功能测试来找出图像传感器中的误差。例如，可以找出有缺陷的像素、像素组或者行或列中的误差或者它们的读出和驱动。
优选地，控制和评估单元优选地被设计成利用至少第二调制频率执行其他的部分测量和/或参考部分测量。如引言中所述，通过使用两个或更多个调制频率进行测量，明确范围得以扩展。对于每个调制频率，分别需要更多个部分测量，其中对于每个调整频率，测量重复的次数再次优选地但不必须地是相同的。可以设想，根据所需的有效范围和测量分辨率可以调整调制频率的数量以及调制频率。在运行时间自由可调的参考通道中，明确范围并不重要。然而优选地，为了更可靠的诊断，也利用多个调制频率进行测试，即优选地在第一调制频率和/或至少第二调制频率下执行参考部分测量。由于调制频率在这里创造了更大的自由度，因此现在出现了更多的组合可能性，即如何将参考部分测量穿插到距离测量中。在此，有利地但绝非强制性地，在参考通道中使用与测量通道中当前使用的调制频率相同的调制频率。参考光源可以单独用其自己的调制频率驱动，甚至是测量通道中从未使用过的调制频率。
优选地，控制和评估单元被设计成向参考光施加人工延迟。由此，模拟或仿效了与物理光路不同距离的参考目标。延迟可以是负的，在这种情况下，参考目标似乎移动得更近。人工延迟再次扩展了功能测试并使之多样化。
优选地，接收元件具有多个电荷存储器。如引言中已经解释的，多个电荷存储器允许同时获得多个采样值，因此，电荷存储器允许多个同时的部分测量或参考部分测量。但是，如果电荷存储太多，则只有一小部分积分时间分配给各个电荷存储器，因此有限数量的入射光子的这种划分有其局限性。特别优选地，每个接收元件恰好有两个电荷存储器，甚至更优选地，这两个电荷存储器被差分读出。然后，这两个电荷存储器提供的不是一个电荷存储器的采样值A以及另一个电荷存储器的第二采样值B，而是差值A-B。即使有多个电荷存储器，在距离测量中也存在具有不同相位基准的重复部分测量。一方面，这有助于在其他相位获得更多的采样值。无论是差分读出还是单次读出，180°的偏移也是有利的。这是因为尽管理论上测量了相同的相位，但实践中在电荷存储器形成的通道中存在不对称性，这可以通过180°的双重反向测量来补偿。可替代地，每个接收元件只有一个电荷存储器的实施例是可能的。
优选地，参考光经由至少一个反射区域和/或光导被直接引导到图像传感器上。这为相机内部的构型留下了自由空间。反射区域可以与另外的部件组合或集成到另外的部件中，例如光学器件、前面板、护罩、外壳部分等，并且利用光导实际上可以实现任何光路或其部分以适合相机中的条件。
优选地，控制和评估单元优选地被设计成改变距离测量被重复的帧速率。帧速率不能快于所选择的第一数量部分测量和有效范围所指定的速率。然而，可以改变有效范围，从而缩短部分测量，以及减慢帧速率或逆转减慢。低于技术上可能的帧速率的等待时间减少了光发射并节省了能量。
优选地，控制和评估单元被设计成调节照明单元的发射光。对此有许多可设想的标准，例如所需的测量范围、检测区域内的某些感兴趣区域或外来光负载。可以通过打开和关闭照明单元的照明模块或者可替代地借助于自适应照明单元来调整，该自适应照明单元被设计成使得发射光可以根据位置和/或时间选择性地分布在场景中。也可以设想调整参考光，但是由于相机内部的条件不会改变，因此一次性的固定设置通常就足够了。至少可以设想的是，至少暂时放弃接收元件的功能测试，该接收元件至少暂时与安全无关，例如位于感兴趣的区域之外，其中检测区域在任何情况下由于照明单元的调节而没有被充分照明。
根据本发明的方法可以以类似的方式进一步发展，同时显示出类似的优点。在独立权利要求之后的从属权利要求中，以示例但未穷举的方式描述了这样的有利特征。
附图说明
下面将基于实施例并参照附图对本发明的其他特征和优点进一步阐述。在附图中：
图1示出了具有直接照明的参考通道的3D飞行时间相机的示意框图；
图2示出了具有两个电荷存储器的3D飞行时间相机的接收像素的俯视图；
图3示出了具有反射参考通道的3D飞行时间相机的示意框图；
图4a示出了在距离测量结束时各个参考部分测量的示例性分布；
图4b示出了在距离测量的部分测量之间的各个参考部分测量的示例性分布；
图4c示出了在距离测量的不同部分测量之间的各个参考部分测量的示例性循环变换的分布；
图4d示出了在距离测量的不同部分测量之间的各个参考部分测量的示例性不规则分布；
图4e示出了在类似于图4a的距离测量结束时各个参考部分测量的示例性分布，但现在距离测量有四个部分测量而不是三个部分测量；
图4f示出了在距离测量的不同部分测量之间的两个参考部分测量的示例性非均匀分布；
图5a示出了具有用于距离测量的两个采样值的传统调制方案的示图；以及
图5b示出了具有四个采样值的传统扩展调制方案的示图。
图1示出了相机10的示意框图，相机10优选地被设计为3D飞行时间相机。照明单元12将由发射光学器件14调制的发射光16发射到检测区域18中。边缘发射器或VCSEL形式的LED或激光器可被视为光源。照明单元12是可控的，使得发射光16的幅度以通常在1MHz至1000MHz范围内的频率进行调制。例如，调制是正弦波的或矩形的，在任何情况下都是周期性的调制。为了减少多个系统的相互影响，也可以使用人工抖动或某种类型的编码(扩频)。该频率导致距离测量的明确范围有限，因此对于有效范围大的相机10，需要小的调制频率。可替代地，在两到三个或更多个调制频率下进行测量，以便结合测量来扩大明确范围。
如果发射光16在检测区域18中撞击到对象20上，则一部分作为接收光22被反射回到相机10，并在相机中被引导通过接收光学器件24，例如单透镜或接收镜头，到达图像传感器26。图像传感器26具有例如布置成矩阵或行的多个接收元件或接收像素26a。图像传感器26的分辨率范围可以从两个或几个到几千个或几百万个接收像素26a。
图2示出了图像传感器26的接收像素26a的部分的俯视图。该视图纯粹是功能性和示意性的，并且图像传感器26的具体半导体结构不是本说明书的主题。接收像素26a分别具有光敏表面28和至少一个电荷存储器30，例如电容器。在根据图2的实施例中，示例性地是两个电荷存储器30。接收像素26a的其他开关元件非常示意性地并且纯粹象征性地作为解调单元32组合在块中。接收像素26a在测量周期或积分时间期间在其电荷存储器30中探测接收光22。在此，解调单元32根据也用于调制发射光16的调制频率来控制电荷被收集在电荷存储器30中的时间。因此，根据锁定方法进行解调。
像素排列通常是矩阵，使得在X方向和Y方向上产生横向的空间分辨率，辅以距离测量的Z方向形成三维图像数据。优选地，在谈到3D相机、3D飞行时间相机或三维图像数据时，是指这种3D检测。然而，原则上也可以设想其他像素排列，例如以矩阵选择的像素行或者形成线阵相机(Zeilenkamera)的整个图像传感器的像素行。
回到图1，将接收像素26a的电荷存储器30中收集的电荷量读出、数字化并传输到控制和评估单元34。两个电荷存储器30产生两个采样值。对于两个采样值的单次读出可替代地，也可以设想差分接收像素26a，其输出两个电荷存储器30的差作为单个采样值。在此，与相位确定相关的信息实际上是等效的，因为在评估中无论如何都会形成差。为了获得附加的采样值，所描述的收集和读出电荷存储器30的部分测量被重复n次，优选两次到四次。在每种情况下，在用于发射光16的调制频率与解调单元32中用于解调的调制频率之间的相位在部分测量之间变化。
现在，根据多个采样值，控制和评估单元34基于通过检测区域18的飞行时间重建相位偏移，该相位偏移可以被转换成每个接收像素26a的距离值。产生了三维图像、距离图像或深度图像，图像被输出到接口36。接口36或者可替代地一个或更多个另外的连接端(未示出)反过来用于输入相机10的控制信号或参数化。
因此，根据间接飞行时间方法进行距离测量，其原理已经在引言中进行了描述。例如，为了确定距离值，依次以相应的相位基准0°、120°和240°进行三次部分测量，或者依次以相应的相位基准0°、90°、180°和270°进行四次部分测量，其中对于后一实施方式，对距离的计算已经在引言中参照图5a-图5b进行了说明。
对此有许多变型，这些变型的不同之处在于部分测量的数量以及部分测量期间发射器调制和接收器调制之间的相应的相位基准。因此，举个在实践中不是特别相关的任意示例，也可以在6°、90°、105°、170°、250°、300°和310°下进行七个部分测量。此外，对于图2所示的具有两个电荷存储器30的实施方式可替代地，可以设想有更多个电荷存储器或仅一个电荷存储器。电荷存储器30的数量使得可以同时获得多个采样值，从而可以以某种方式由电荷存储器将同时并连续执行的部分测量相互交换。
优选地，所示的实施方式有两个电荷存储器30，这两个电荷存储器彼此以180°的相位偏移进行采样，然后优选地，以差分方式读出。无论有无差分地读出，有利地在每种情况下都以与另一部分测量成180°的偏移执行附加的部分测量。在三个部分测量的情况下，相位基准优选为0°，180°；120°，300°；240°，60°，在四个部分测量的情况下，相位基准是0°，180°；90°，270°；180°，0°；270°，90°。后者尤其显得冗余，但有助于补偿由电荷存储器30形成的两个通道中与硬件有关的差异。然后共有八个单独的采样值A、B、C、D、A’、B’、C’、D’，或者在差分像素的情况下，有采样值的四个差A-B、C-D、A’-B’、C’-D’。然后，所寻求的相位的结果是arctan(((C-D)-(C’-D’))/((A-B)-(A’-B’)))。当然，对于其他数量的部分测量或其他相互的相位偏移，会产生不同的公式，但是利用以较低的计算资源就可以实现的已知数学手段仍然可以重建相位。
为了对相机10进行功能测试，除了照明单元12之外，还设置了诊断或参考照明单元38，其通过可选的参考光学器件40产生参考光42，利用该参考光，图像传感器26内部被照明。内部意味着参考光42的光路在相机10内，特别是在其未示出的外壳内延伸，因此不进入检测区域18的场景，且不受场景及其周围条件的影响。在根据图1的实施方式中，参考光42直接从参考照明单元38直接耦合到图像传感器26，参考照明单元38可以优选地布置在图像传感器26附近，对于图示可替代地，可以布置在图像传感器26和接收光学器件24之间，同时避免阴影。稍后，将参考图3呈现参考通道的可替代的实施方案。
对于参考照明单元38的结构和光源，上述对照明单元12的说明类似地适用，其中由于内部光路短，对参考照明单元38的要求较低。因此，可以使用紧凑且便宜的激光二极管或LED，因为无论如何只需要较低的光输出，并且甚至必须抑制强光源以避免饱和。参考照明单元38可以用调制信号与图像传感器26分开驱动。为此，例如可以使用图像传感器26的第二驱动通道(如果有的话)，或者可替代地通过相应的使能信号选择是否对照明单元12或参考照明单元38施加调制信号。
因此，除了测量检测区域18中的距离的实际测量通道之外，还为功能测试建立了参考通道。类似于测量通道的距离值，接收像素26a经由参考通道测量参考距离值。在一个完整的系统中，参考距离值必须对应于期望值，即从参考照明单元38到图像传感器26的内部光路。检测区域18的场景的动态变化对这些内部光路没有影响。可以设想通过调制和解调之间的附加人工延迟来模拟待测量的参考距离值的不同距离。因此，特别地，可能的相位相关的测量误差可用于诊断。对完整系统的相应的期望值在开始时示教或基于理论考虑或模拟指定。
因此，控制和评估单元34基于参考通道来识别相机10何时不再能够可靠地执行其任务。在与安全相关的应用中，优选地在发生故障的情况下输出以安全为导向信号，通过该信号使机器、交通工具、机器人或其他受监控的危险源转换到安全状态，无论是通过减速、规避还是停止。
将图1和图2分成具有接收像素26a的图像传感器26(每个接收像素具有解调单元32)以及控制和评估单元34只是优选的实施方式。控制和评估功能也可以以其他方式分布。如图所示，控制和评估单元34也不必由所示的单个组件组成，而是可以由一个或更多个数字计算组件组成，例如微处理器、FPGA(现场可编程门阵列)或ASIC(专用集成电路)。此外，所示的照明是平面式照明，为此，例如漫射器被用作发射光学器件14的一部分。在另一实施方式中，照明单元12的多个单光源的排列被清晰地投射到检测区域18中，因此接收像素26a被单独照明并且有效范围增加。此外，可以与图示不同，照明单元不被集成到相机10中，而是可以在结构上或空间上与相机分离。
图3示出了相机10的另一实施方式。与图1相比，仅改变了参考通道。参考光42从参考照明38到图像传感器26的光路在这里不是直接的，而是借助反射元件44被折叠一次。也可以有可选的参考光学器件40。反射元件44可以是单独的元件，或者使用另一部件的至少部分反射的区域或附接到该区域，例如附接到光学器件14、24、前面板、发射器-接收器芯片的屏蔽或外壳部件中的一个上。参考光42的光路也可以多次折叠或偏转。作为另一可替代方案，可以设想该光路的至少部分在光导中，其中反射和光导可以彼此结合。最终，重要的是足够的参考光44到达图像传感器26上的内部可再现的光路上，并在那里照射待测试的接收像素26a。
图4a-图4f示出了用于将功能测试的参考部分测量穿插到距离测量的部分测量中的各种示例性方案。由此，功能测试或参考测量分布在相机10的多个距离测量或帧上。因此，功能测试所需的额外时间和功耗被延长到更长的时间间隔。
图4a示出了第一实施方式，其中距离测量基于调制和解调之间的相位基准为0°、120°和240°的三个部分测量，以及确定用于功能测试的参考距离值的三个参考部分测量。在该实施方式中，参考部分测量被分别插入到距离测量或帧(图像采集周期)的末端，具体来说每帧只有一个参考部分测量。插入的参考部分测量具有独立于部分测量的自身的相位基准，该相位基准逐帧变化。在第一帧中，进行相位基准为0°的参考部分测量，在第二帧中，进行相位基准为120°的参考部分测量，以及在第三帧中，进行相位基准为240°的参考部分测量。相应的中间结果例如被存储在预处理装置中，优选为FPGA，或者控制和评估单元34可访问的存储区域中的其他地方。在第三帧之后，获得完整的参考通道数据集，从该参考通道数据集中生成参考距离值。然后，重复所示的循环。
图4b示出了另一实施方式，其中参考部分测量现在被插入在第二部分测量和第三部分测量之间，而不是在帧的末端。参考部分测量也可以被插入在第一部分测量和第二部分测量之间，或者被设置在帧的开端处。此外，由于两帧之间的计算时间，一帧的开始时间点不一定等于前一帧的结束时间点。
图4c示出了另一实施方式，其中参考部分测量被循环交替地插入在帧的不同部分测量之间。可替代地，该循环可以在其他部分测量之间的不同时间点开始，以相反的方向运行等等。
图4d示出了另一实施方式，该实施例旨在表明，即使每帧有固定数量的部分测量、每帧和每功能测试有固定数量的参考部分测量以及固定的相位关系，仍有许多其他方案用于在帧内和帧间分布参考部分测量。在所示的实施方式中，参考部分测量在帧内的时间点以不规则的方式变化，该参考部分测量在第三帧之后重复或继续不规则地变化。此外，参考部分测量的相位基准的顺序也发生变化，现在首先在120°测量，然后在0°测量，然后在240°测量。这也可以在第三帧之后重复或改变顺序。部分测量在帧内的相位基准的顺序也可以逐帧变化。
图4e示出了另一实施方式，该实施方式在原理上对应于图4a的实施例，其中在每一帧的末端恰好执行一个参考部分测量。此外，每帧的部分测量的数量已经增加到四个，因此相位基准现在是0°、90°、180°和270°。这同样适用于参考部分测量，现在在第一帧中相位基准为0°，第二帧中相位基准为90°，第三帧中相位基准为180°，第四帧中相位基准为270°。应当理解，类似于图4b-图4d的其他实施方式也是可行的，其中参考部分测量改变它们在帧内的时间点以及部分测量和/或参考部分测量的相位基准的顺序。也可以设想其他数量的部分测量和参考部分测量(例如，五个或更多个)以及其他相位基准。
图4f示出了另一实施方式，其中现在每帧执行两个参考部分测量。所示示例使用帧内参考部分测量的不规则时间点和相位基准的非升序，其中具体图示仅代表可能的不规则性。也可以设想重复类似的循环或总体规则的时间点，例如在帧的开端、中间或末端和/或相位基准的升序。另一个未示出的变型改变了分别插入到帧中的参考部分测量的数量，例如第一帧中一个参考部分测量，第二帧中两个参考部分测量，第三帧中的无参考部分测量和第四帧中的一个参考部分测量，然后循环重复或不规则地继续。也可以设想更长的周期，其中参考部分测量分别仅被插入在第二帧、第三帧或通常第i帧中。
图4a-图4f中所示的实施方式是不完全的示例，它们可以相互结合，即使如此也只代表无数可能性中的几个。距离测量的部分测量的数量和/或功能测试所基于的参考部分测量的数量可以进一步变化，相关的相位基准也可以变化。这甚至可以以不同的方式用于距离测量和功能测试，例如在0°、90°、180°和270°处进行四个部分测量的距离测量，以及在0°、120°和240°处进行由三个参考部分测量组成的功能测试。可以使用差分像素。相位基准在部分测量或参考部分测量中的彼此跟随的顺序可以循环地和非循环地混合。参考测量可以被插入在相应帧的不同时间点，并且这在帧与帧之间可以相同或不同。
图4a-图4f中没有表示的一种变化可能性涉及使用的调制频率。原则上，测量通道和参考通道在这方面是相互独立的。因此，可以设想采用第一种调制频率测量距离值，而参考部分测量则应用完全不同的调制频率。或者用第一调制频率和第二调制频率测量明确范围较大的距离值，而根据实施方式，参考部分测量使用该第一调制频率和第二调制频率、仅使用其中一个、另一个调制频率或者甚至两个或更多个其他调制频率。这导致调制频率的至少另一个自由度，该自由度可以与前面描述的所有变化可能性相结合。
因此，功能测试基于来自不同帧的参考部分测量。然而，这并不意味着只有在完成一组新的参考部分测量后，才可能每n>1帧进行一次功能测试。尽管这是可能的，但它会导致功能测试的响应时间相当缓慢，这不一定能满足高安全级别。
为了可以在几帧内并且优选地在每一帧内执行功能测试，优选地使用类似于滑动平均值的滚动方法。在此，参考距离值的确定是基于来自当前帧的参考部分测量和来自先前帧，最好是紧接在前的帧的关于其它仍需要的相位关系的存储的参考部分测量。优选地，参考距离值的期望值保持足够窄，使得从安全角度来看不可容忍的偏差或误差只能在当前参考部分测量中识别出来。
以图4a为例具体说明该滚动方法，该方法可以类似地用于所有其他变型。在第一帧中，进行相位基准为0°的参考部分测量；由此还不能获得参考距离值。在第二帧中，进行相位基准为120°的参考部分测量，但现在可用的两个参考部分测量仍然不足以确定参考距离值。在第三帧中，进行相位基准为240°的参考部分测量，并且现在系统已经在几分之一秒内首次稳定下来，即使只有240°的参考部分测量源自当前帧，也可以从0°、120°、240°的三个可用参考部分测量来确定参考距离值。在第四帧中，再次进行相位基准为0°的参考部分测量，用该参考部分测量代替来自第一帧的相位基准为0°的旧参考部分测量，以确定参考距离值。
因此，可以实现实际测量以及功能测试的响应时间保持较短。通过将参考部分测量分布在几个帧上，距离值的确定几乎不会明显延迟。同时，通过所述滚动方法可以在每帧可达一次的短响应时间内执行功能测试。因此，根据本发明，也可以实现高安全水平，例如SIL 2或PL d。
所有部分测量的总积分时间通常约占相机10周期时间的1/3。随后，计算原始数据并计算实际的3D图像，然后对其应用进行评估。因此，上述周期时间对应于可能的帧速率，该帧速率仍然可以人为地减慢，例如对应于对相机10的接口或配置的外部期望值。
与部分测量的积分时间相比，参考部分测量的积分时间可能非常小。参考照明单元38的信号强度是众所周知的，并且由于其独立于检测区域18中的场景而可再现的且不会衰减。短的积分时间不仅缩短了参考部分测量在一帧中所需的可能最短持续时间，因为功能测试对相机10的响应时间的影响应完全没有或至少轻微影响。当解调信号只短暂出现时，积分时间还减少了图像传感器26中的功耗，因为在积分时间期间运行的调制和解调是图像传感器26甚至整个相机10中的大部分功耗的原因。通过短积分时间获得的时间可替代地用于更高的诊断程度，该诊断程度测试附加的相位关系、频率变化等。然而，随之而来的是相对较高的功耗。
除了基于多个参考部分测量的整个测量链的所述功能测试之外，还可以对当前参考部分测量进行单独评估，无需对图像中局部出现的误差的飞行时间进行评估，例如有缺陷的像素、列或行。这种局部误差已经可以被识别到，而无需计算多个参考部分测量以获得参考距离值。
对于将参考部分测量分布在多个帧上可替代地，可以在单个帧内记录完整的参考通道数据集(其中包括为此所需的所有参考部分测量)，然后每一帧或所有n个帧进行这一操作。然而，这仅在图像传感器26和下游原始数据处理足够快的情况下才起作用，否则这会导致实际测量的响应时间延长或帧速率降低。这个问题通过在不同帧的部分测量之间分布参考部分测量来解决。

Claims (15)

1.一种用于检测来自检测区域(18)的三维图像数据的相机(10)，特别是3D飞行时间相机，具有：
照明单元(12)，其用于发出发射光(16)，所述发射光至少以第一调制频率进行调制，
图像传感器(26)，其具有用于产生相应的接收信号的多个接收元件(26a)，
多个解调单元(32)，其用于以所述第一调制频率解调所述接收信号，以获得采样值，
参考照明单元(38)，其用于发出参考光(42)，所述参考光以所述第一调制频率进行调制并在所述相机(10)内被引导到所述图像传感器(26)上，以及
控制和评估单元(34)，其被设计成对于距离测量，在用于所述发射光(16)的所述第一调制频率与用于解调的所述第一调制频率之间的不同相位偏移下，驱动所述照明单元(12)和/或所述解调单元(32)用于第一数量的部分测量，并且从通过每个接收元件(26a)的所述部分测量获得的所述采样值确定距离值，以及
对于功能测试，在用于所述参考光(42)的所述第一调制频率与用于解调的所述第一调制频率之间的不同相位偏移下，驱动所述参考照明单元(38)和/或所述解调单元(32)用于第二数量的参考部分测量，并且从通过每个接收元件(26a)的所述参考部分测量获得的所述采样值确定参考距离值，
其特征在于，
所述控制和评估单元(34)还被设计成将用于功能测试的所述参考部分测量分布在多个距离测量上。
2.根据权利要求1所述的相机(10)，
其中，所述控制和评估单元(34)被设计成在部分测量期间仅激活所述照明单元，而在参考部分测量期间仅激活所述参考照明单元。
3.根据权利要求1或2所述的相机(10)，
其中，所述第一数量和/或所述第二数量至少为三。
4.根据前述权利要求中任一项所述的相机(10)，
其中，所述第一数量不等于所述第二数量。
5.根据前述权利要求中任一项所述的相机(10)，
其中，所述控制和评估单元(34)被设计成每个距离测量执行一个参考部分测量或两个参考部分测量，和/或在每个第i个距离测量中执行至少一个参考部分测量。
6.根据前述权利要求中任一项所述的相机(10)，
其中，所述控制和评估单元(34)被设计成改变所述第一数量、所述第二数量、所述部分测量的相位偏移、所述参考部分测量的相位偏移和/或参考部分测量在距离测量上的分布。
7.根据前述权利要求中任一项所述的相机(10)，
其中，所述控制和评估单元(34)被设计成从当前距离测量中的至少一个当前参考部分测量和先前的距离测量中的至少一个先前的参考部分测量中确定参考距离值，特别是以这种方式对于每个距离测量确定参考距离值。
8.根据前述权利要求中任一项所述的相机(10)，
其中，所述控制和评估单元(34)被设计成在所述参考部分测量期间使用比所述部分测量期间更短的积分时间。
9.根据前述权利要求中任一项所述的相机(10)，
其中，所述控制和评估单元(34)被设计成仅基于一个参考部分测量来检查所述图像传感器(26)的至少一个功能，特别是发现有缺陷的像素。
10.根据前述权利要求中任一项所述的相机(10)，
其中，所述控制和评估单元(34)被设计成利用至少第二调制频率执行其他的部分测量和/或参考部分测量。
11.根据前述权利要求中任一项所述的相机(10)，
其中，所述控制和评估单元(34)被设计成向所述参考光施加人工延迟。
12.根据前述权利要求中任一项所述的相机(10)，
其中，所述接收元件(26a)具有被差分读出的多个电荷存储器(30)，特别是两个电荷存储器(30)。
13.根据前述权利要求中任一项所述的相机(10)，
其中，所述参考光(42)经由至少一个反射区域(44)和/或光导直接被引导到所述图像传感器(26)上。
14.根据前述权利要求中任一项所述的相机(10)，
其中，所述控制和评估单元(34)被设计成改变距离测量被重复的帧速率和/或调节所述照明单元(12)的发射光(16)。
15.一种用于检测来自检测区域(18)的三维图像数据的方法，其中：
发出发射光(16)，所述发射光(16)用至少一个第一调制频率来调制，
接收来自所述检测区域(18)的接收光(22)并且由此以空间分辨的方式(26a)产生多个接收信号，
所述接收信号用所述第一调制频率来解调以获得采样值，
对于距离测量，在用于所述发射光(16)的所述第一调制频率与用于解调的所述第一调制频率之间的不同相位偏移下，执行第一数量的部分测量，并且从通过所述部分测量获得的所述采样值以空间分辨的方式确定相应的距离值，
发出参考光(42)，所述参考光用所述第一调制频率进行调制，并且在没有通过所述检测区域(18)的光路的情况下被再次接收，以及
对于功能测试，在用于所述参考光(42)的所述第一调制频率与用于解调的所述第一调制频率之间的不同相位偏移下，执行第二数量的参考部分测量，并且从通过所述参考部分测量获得的所述采样值以空间分辨的方式确定相应的参考距离值，
其特征在于，
将用于功能测试的所述参考部分测量分布在多个距离测量上。
CN202210152448.XA 2021-02-18 2022-02-18 三维图像数据的检测 Pending CN114966607A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21157831.5 2021-02-18
EP21157831.5A EP4047389B1 (de) 2021-02-18 2021-02-18 Erfassung dreidimensionaler bilddaten

Publications (1)

Publication Number Publication Date
CN114966607A true CN114966607A (zh) 2022-08-30

Family

ID=74668675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210152448.XA Pending CN114966607A (zh) 2021-02-18 2022-02-18 三维图像数据的检测

Country Status (3)

Country Link
US (1) US20220260720A1 (zh)
EP (1) EP4047389B1 (zh)
CN (1) CN114966607A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD1039406S1 (en) 2023-02-14 2024-08-20 Banner Engineering Corp. Fill sensor

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4340756C5 (de) 1992-12-08 2006-08-10 Sick Ag Laserabstandsermittlungsvorrichtung
DE102007008806C5 (de) * 2006-10-27 2010-05-06 Sick Ag Optoelektronische Überwachung mit Test durch Dynamisierung
EP2073035A1 (en) * 2007-12-18 2009-06-24 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Recording of 3D images of a scene
AU2010339731B2 (en) * 2009-12-21 2016-01-28 Heptagon Micro Optics Pte. Ltd. Stray light compensation method and system for time of flight camera systems
DE102010038566A1 (de) 2010-07-28 2012-02-02 Ifm Electronic Gmbh Lichtlaufzeitkamera mit Funktionsüberwachung
DE102010041390B4 (de) * 2010-07-28 2017-12-07 pmdtechnologies ag Lichtlaufzeitkamera mit Signalpfadüberwachung
DE102013207649B4 (de) * 2012-05-21 2024-06-20 pmdtechnologies ag Lichtlaufzeitkamerasystem
DE102013207653B4 (de) * 2012-05-21 2018-11-29 pmdtechnologies ag Lichtlaufzeitkamerasystem
EP3091271B1 (de) 2015-05-05 2018-07-11 Sick Ag Lichttaster
US10841491B2 (en) * 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
EP3525004B1 (de) 2018-02-08 2020-10-14 Cedes AG Tof sensor mit prüfsender
EP3528005A1 (de) * 2018-02-20 2019-08-21 Espros Photonics AG Tof-kameravorrichtung zur fehlererkennung
US10924692B2 (en) * 2018-05-08 2021-02-16 Microsoft Technology Licensing, Llc Depth and multi-spectral camera
DE102018124835B3 (de) * 2018-10-09 2019-11-07 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung von Objekten

Also Published As

Publication number Publication date
US20220260720A1 (en) 2022-08-18
EP4047389A1 (de) 2022-08-24
EP4047389B1 (de) 2023-03-29

Similar Documents

Publication Publication Date Title
US20220137189A1 (en) Method and device for optically measuring distances
CN109557522B (zh) 多射束激光扫描仪
KR102704849B1 (ko) 대상물의 다차원 검출을 위한 다중 펄스 라이다 시스템
DE10360174B4 (de) Vorrichtung zur Überwachung eines Erfassungsbereichs an einem Arbeitsmittel
US7710548B2 (en) Optoelectronic monitor including dynamic testing unit
US6636300B2 (en) Spatially resolving range-finding system
US9383200B2 (en) Optoelectronic sensor and method for the detection and determination of distances of objects
CA3239810A1 (en) Method, system and computer readable medium for evaluating influence of an action performed by an external entity
EP1879049B1 (en) Space information detecting device, and space information detecting system using the device
EP2517044B1 (en) Stray light compensation method and system for time of flight camera systems
US20100108919A1 (en) Optical sensor chip and jamming protection device comprising such a chip
CN101449181A (zh) 测距方法和用于确定目标的空间维度的测距仪
CN112731424B (zh) 用于检测目标对象的测距光电传感器和方法
CN114966607A (zh) 三维图像数据的检测
US20220179092A1 (en) Adjustment device and lidar measuring device
US20220179093A1 (en) Adjustment device and lidar measuring device
KR20170116635A (ko) 스캐닝 장치 및 이의 작동 방법
WO2004055544A1 (de) Verfahren zur kalibrierung von 3d-bildaufnehmern
CN110132227B (zh) 三角测量光传感器
US20210157007A1 (en) 3D time-of-flight camera and method of detecting three-dimensional image data
US20200142061A1 (en) Method and device for detecting objects, and lidar system
US20230305159A1 (en) Apparatus for testing lidar modules and test method
CN111183366A (zh) 用于监控机动车的模拟装置
KR20220025894A (ko) 두 개의 라이다 측정 장치를 구비하는 라이다 측정 시스템
CN112236687A (zh) 一种探测电路、探测方法及测距装置、移动平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination