CN104838284A - 用于至少两个ToF相机的拍摄方法 - Google Patents

用于至少两个ToF相机的拍摄方法 Download PDF

Info

Publication number
CN104838284A
CN104838284A CN201380064389.XA CN201380064389A CN104838284A CN 104838284 A CN104838284 A CN 104838284A CN 201380064389 A CN201380064389 A CN 201380064389A CN 104838284 A CN104838284 A CN 104838284A
Authority
CN
China
Prior art keywords
time
light
camera
measuring process
flight camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380064389.XA
Other languages
English (en)
Inventor
R·奥伯哈姆尔
R·赫拉尼茨基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Blue Tai Kenike Co Ltd
Original Assignee
Blue Tai Kenike Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Blue Tai Kenike Co Ltd filed Critical Blue Tai Kenike Co Ltd
Publication of CN104838284A publication Critical patent/CN104838284A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/26—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein the transmitted pulses use a frequency-modulated or phase-modulated carrier wave, e.g. for pulse compression of received signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种用于利用至少两个飞行时间相机(1、2)对一个场景(3)进行拍摄的方法，所述飞行时间相机分别具有光源(5)和图像传感器(6)，其中利用所述至少两个飞行时间相机(1、2)中的每个都执行多个图像拍摄过程，这些图像拍摄过程包括用于确定深度信息的测量过程，所述测量过程包括：由光源(5)发出经调制的光(5)，在场景(3)的物体(4)上反射之后利用图像传感器(6)检测经调制的光(12)，以及由所述经调制的光在被发射和被检测到之间的行进时间计算深度信息。为了提高图像质量，第一飞行时间相机(1)由该第一飞行时间相机所执行的测量过程的测量结果确定，在该测量过程中除了由自带的光源(5)发出的光(11)以外还以何种程度检测到第二飞行时间相机(2)的经调制的光，并且第一飞行时间相机(1)根据所述确定操作的结果改变其拍摄模式。

Description

用于至少两个ToF相机的拍摄方法
技术领域
本发明涉及一种用于利用至少两个飞行时间(Time-of-Flight)相机对一个场景进行拍摄的方法，所述飞行时间相机分别具有一个光源和一个图像传感器，其中所述至少两个飞行时间相机中的每个都执行多个图像拍摄过程，这些图像拍摄过程包括用于确定深度信息的测量过程，所述测量过程包括：由光源发出经调制的光，在场景的物体上反射之后利用图像传感器检测经调制的光，以及由所述经调制的光在被发射和被检测到之间的行进时间计算深度信息。
背景技术
飞行时间(ToF)相机是这样相机，所述相机不仅拍摄2D图像，而且对于每个拍摄像素还测量深度信息。深度信息是指关于场景的各个物体与ToF相机之间的距离的信息。ToF相机也可以称为主动相机，因为这种相机装备有自带的光源。由所述光源发出的光在要拍摄的场景的物体上反射并由此到达相机图像传感器的探测区域中。通过行进时间测量或相位差测量由所述反射的光确定深度信息。
光源通常是LED(发光器件)。飞行时间相机发出经调制的光。通常在兆赫范围内进行OOK(通断键控(On-Off-Keying))对所述光进行调制(例如以20MHz)，并且由此在自己的相机传感器的可见范围内发射所述光。反射的光分量(光子)由相机传感器记录并用于计算反射的物体的距离。然后，除了灰度图以外，还提供这种深度数据供使用。在多数应用中，目前使用红外光作为照射光线。
ToF相机特别是在工业、交通通信技术以及自主机器人技术中具有很宽的应用范围。例如ToF相机可以在工业中在最高1m的近距离范围内用作液位测量仪或测距仪。在交通通信技术中，ToF相机可以在最高30m的范围内用作车辆以及人员检测器和计数器。在自主机器人技术中，ToF相机用于识别障碍以及用于导航。
外来光源的光可能影响深度计算。如果背景光不具有与相机所发出的经调制的光类似的特性，图像传感器，例如PMD芯片(Photonic MixerDevice)形式的图像传感器可以对于每个像素执行背景光消除(Ausblendung)。这个功能通常用于消除阳光或房间中的人造照明光。为了实现消除，PMD芯片对于每个像素在接通和断开自带光源的情况下记录光，并以电子的形式将两个测量结果相减。只有当在所有所述时间内背景光的强度保持恒定并且PMD芯片没有进入电饱和状态时，才能实现正确地消除背景光。对于在MHz范围内调制的人造光，这种消除不能完全起作用并且所计算出的深度数据在具体像素上是错误的。
特别是当其他相机的人造光源在自带相机传感器的可见范围内被拍摄时，会在ToF相机中出现错误的深度计算。这种干扰性的外来光可能直接或通过反射间接地被拍摄。在这些情况下，深度计算至少部分是无效的。
在很多应用领域使用多个相机，这些相机的观察范围可能相互重叠，例如在对房间进行监控、在交通通信技术中或者在控制多个机器人时。在确定深度信息时，各个相机的主动光源总是会干扰其他相机，因为这些相机不仅检测到了自己的光，而且还检测到了其他相机的光，也称为外来光。这种相互干扰会导致，与距离相关的测量结果失真并且深度信息不再对应于实际情况。
为了解决所述问题，可以针对并行运行将各个相机在控制上和在功能上相互联网，以用于并行运行，但这会明显提高设备上的花费。这里，ToF相机在网络中运行。所述网络除了数据交换以外还用于同步图像拍摄，以便避免相机相互间的干扰。为此在网络中交换时间戳和预约令牌(Reservierungstoken)。只有占有预约令牌的相机才被授权执行图像拍摄。所述令牌可以依次轮流传递或者由网络服务器进行中央管理。这些措施防止了两个相机的测量过程在拍摄一个场景时相互影响。因此在这种解决方案中采取了预防措施，使得一个相机在另一个相机的测量或检测过程期间不发出经调制的光。
按照所述原理将ToF相机联网的问题在于，这个处理方式会导致材料上和开发工作上很高的额外成本。此外，由于预约令牌的传送时间导致的网络等待时间会对系统的图像处理能力产生影响，从而产生问题。这种机制也没有考虑到相机的可见范围，因为只有在可见范围有重叠时才预期会出现干扰。
特别是在各个相机运动的应用场合，必须以一定程度上更为复杂的机制来考虑始终变化或交变的重叠的可见范围，以便在干扰作用极小的同时仍保持高的图像处理能力。
在网络中，图像拍摄的可靠性还与所有相机的预约令牌的传递的可靠性相关。
除了数据和控制技术上的问题，特别是用于涉及连接、联网成共同的信号技术系统以及所需的复杂的软件的耗费的高额成本通常是根本没有考虑ToF相机相互间干扰的原因，这对于所确定的深度信息的质量产生负面影响。
发明内容
本发明的目的在于，提供一种方法，所述方法没有所述缺点并且消除了多个ToF相机相互间的不利影响或者至少使这种不利影响最小化。这个目的应能够以小的设备上的耗费实现。不再需要通过共同的数据或控制网络将各个相机相互联网。与上面描述的根据现有技术的解决方案不同，提高了确定深度信息的精度，而不必同时提高设备上的耗费。
所述目的利用前面所述的方法这样来实现，即，第一飞行时间相机由该第一飞行时间相机所执行的测量过程的测量结果确定，在该测量过程中除了由自带的光源发出的光以外还在何种程度上检测到第二飞行时间相机的经调制的光，并且第一飞行时间相机根据所述确定操作的结果改变其拍摄模式。
当检测到第二相机的经调制的光或者当第二相机的经调制的光检测到的强度超过阈值时，改变拍摄模式。在多于两个相机时，当然也可以将所有其他相机的外来光包含到测量中。为了根据图像传感器数据评估来改变拍摄模式，图像传感器和负责对所发出的光进行调制的单元与相机控制装置连接。
因此，第一相机具有这样的能力，即，当在第一相机的可见范围内存在第二相机的经调制的光时，改变其拍摄模式。当存在使测量过程失真的外来光时，各相机主动做出反应。通过改变拍摄模式，例如中断图像拍摄过程，可以防止获得错误的深度信息。此外中断图像拍摄过程或测量过程还实现了，其他相机在其图像拍摄过程中不会受到经调制的光的干扰。由此明显提高了由这些相机拍摄的图像、图像序列或视频流的图像质量。通过相机自主的行动还可以提高图像获取或评估的快速性，而不必对控制装置进行加速或发生高的设备耗费。
这里不必在信号或控制技术上例如通过网络将拍摄一个场景的各相机彼此连接。根据本发明的方法实现了两个或更多个ToF相机的自主同步。根据本发明没有设置各相机相互间的通信或联网。
本发明涉及一种自主的方法，或者说一种用于间接地协调多个相机的方法，用以在存在其他ToF相机的情况下在图像拍摄时降低对深度计算的干扰。一个优选的方法允许自主地识别干扰、关闭自带光源并对于视频流的每个单帧图像在以后的时刻重复图像拍摄。
该方法实现了所有ToF相机的间接同步，这些相机能够检测到其可见范围内相应其他相机的光，并且该方法还在图像拍摄时使这些ToF相机的主动光源相互间的干扰最小化，由此提高了图像质量。
第二飞行时间相机优选由它所执行的测量过程的测量结果确定，在该测量过程中除了由自带的光源发出的光以外还在何种程度上检测到第一飞行时间相机的经调制的光，并且第二飞行时间相机根据所述确定操作的结果改变其拍摄模式。由此，不仅第一相机具有根据是否存在外来光调整其拍摄模式的能力，而且第二相机也具有这样的能力，从而得到了更为有效的自主同步并且能够获得特别可靠的深度信息，而不必明显降低图像拍摄速率。
优选这样来实现拍摄模式的改变，即，使图像拍摄过程停止或中断预先规定的时间段。这使得可以在相应的其他相机不发出经调制的光的时刻重新进行尝试。
优选这样来实现拍摄模式的改变，即，使用于确定深度信息的测量过程中止/停顿或中断预先规定的时间段。在这个变型方案中可以只拍摄没有深度信息的二维图像。
优选这样来实现拍摄模式的改变，即，对于测量过程改变所发出的光的调制频率。不同的频率对于相应其他的相机影响小于相应其他的相机的传感器调制信号也具有的频率的影响。
优选当一个飞行时间相机检测到的其他飞行时间相机的经调制的光的强度超过阈值时，该飞行时间相机改变其拍摄模式。由此，在外来光的强度较小时，图像获取可以以仅很小的深度信息误差继续进行，并且只有在所确定的深度信息相对于场景内部的实际距离有不可接受的偏差时，才改变拍摄模式。
优选测量过程由多个具有所发出光的调制和图像传感器的传感器调制信号之间不同的相差的单次测量组成。这使得可以实现更为敏感地检测到经调制的外来光。
在该实施形式中，在图像传感器中，每个像素配设至少两个势阱。传感器调制信号是切换信号，所述切换信号控制所述势阱之间的切换。
所述测量过程优选包括至少四次测量，其中对于四次测量中的各次测量，所发出的光的调制与图像传感器的传感器调制信号的相差为和其中是初始相差。这使得能够以巧妙的方式进行图像获取和同时对外来光进行测量。初始相差或偏移(Offset)相差是任意值，优选为0°。
在所述方法中，拍摄四个相位图像I(0°)、I(90°)、I(180°)和I(270°)(对应于相差为和的四次测量)。除了计算深度信息以外，可以由这些相位图像获得关于是否存在或以何种程度存在其他相机的经调制的光的信息。该信息优选由相位图像I(0°)与相位图像I(180°)之间的差或相位图像I(90°)和相位图像I(270°)之间的差确定。在理想情况下，就是在没有外来光的情况下，I(0°)在其数值上等于I(180°)，而I(90°)在其数值上等于I(270°)。与上述关系的任何偏差都可以得出存在其他相机的外来光的结论，并且由偏差的程度能得出外来光的强度。
换而言之，对于每个深度图像，使用具有传感器的调制与所发出的光之间不同的相移的四个曝光相位。当由于外来光的影响而使数学关系发生改变时，则可以得出关于存在外来光的结论并且可以检测到“干扰情况”。在这些情况下，不再能确保正确地确定深度信息。相机在这些情况下关闭或中断其图像拍摄过程，并且在预先规定的时间段之后尝试重新进行图像拍摄过程。
飞行时间相机优选在图像拍摄过程之前在自身光源关闭时执行一个用于检测光的测量过程，并且根据这个测量过程的测量结果改变该飞行时间相机的拍摄模式。由此，在一个预先进行的测量过程中就已经能粗略地估计外来光的存在。
优选在用于图像拍摄的图像拍摄过程失败的次数超过预先规定的数量时，飞行时间相机改变其拍摄模式，使得图像拍摄速率降低。通过这个措施，减轻了拍摄一个场景的各ToF相机以其经调制的光发生的相互影响。
因此，一个优选的实施形式在于，在用至少两个飞行时间相机拍摄一个场景时，对于每个相机，在一次拍摄的范围内，都执行一次用于确定深度信息的测量过程，其中所述测量过程由分别具有发出的光调制信号与传感器调制信号之间的不同的相差的各单次测量组成，并且由第一飞行时间相机的测量过程的测量结果确定，在测量过程期间是否存在第二飞行时间相机的外来光，并且根据所述确定操作，就是说，在存在外来光时，改变第一飞行时间相机的拍摄模式。
附图说明
下面根据附图来详细说明本发明的优选实施形式。其中：
图1示出一个场景和两个拍摄该场景的相机，所述相机在一个物体上具有相应的可见范围，图中示出在可见范围强烈重叠(左边)、较小重叠(中间)和没有重叠(右边)时的情况，
图2示出根据本发明的方法的一个实施形式的过程控制的流程图，
图3用示意图示出ToF相机的光源和光传感器的一部分，以及所发出的和在物体上反射的光束，
图4示出测量光行进时间的信号图，
图5示出带有在所发出的光的调制和传感器调制信号之间的不同的相位差下的四次测量的信号图。
具体实施方式
图1示出用两个飞行时间相机1、2拍摄的场景3的三个可能的布置形式，所述场景包括物体4。在左边的布置形式中，各个相机1、2的可见范围以较高程度重叠。由于各相机彼此相对，一个相机的光直接、即没有先在物体4上反射地被另一个相机一起检测到。因此可以预期相机1、2由于所发出的光导致的较强的相互影响，并且由此可以预期所确定的深度信息有较强的失真。
在中间示出的布置形式中，各相机1、2不是直接相互照射，而其中一个相机的反射光由相应的另一个相机一起检测到。这里也可以预期会发生相互影响，尽管这种影响比左边的布置形式中的情况小。在右边示出的布置形式中，各个相机1、2的可见范围相互背离。因此这里可以预期没有相互影响或者相互影响的程度可以忽略。
图2用具有方法步骤进程的流程图示出根据本发明的一个优选的实施形式。
在飞行时间相机的程序启动16之后，首先执行测量过程17。该测量过程在所计划的图像拍摄过程之前进行。在测量过程17期间，在光源关闭的情况下，执行是否存在(外来)光的检测。就是说，在第一步骤中，在自带光源5关闭的情况下(图3)，照相机还检查在其可见范围内能否检测到其他光源的经调制的信号(“干扰信号”)。这个测量过程也称为“载波感测”。如果没有检测到干扰信号，则在判断步骤18(干扰源：是-否)之后执行另一个测量过程19，否则转向步骤22。
在图3中示意性示出的飞行时间相机1现在激活其自带光源5，以执行所述另一个测量过程19。该测量过程19包括：通过相机的光源5发出经调制的光11，在场景3的物体4上反射之后利用图像传感器6检测经调制的光12，以及由所述经调制的光在被发出和被检测到之间的行进时间计算深度信息。飞行时间相机1由该飞行时间相机所执行的测量过程19的测量结果确定，在该测量过程中除了由其自带光源5发射的光以外还在何种程度上检测到第二飞行时间相机2的经调制的光11。下面还根据图5说明的该测量过程的一个优选实施形式。
如果通过测量过程19没有检测到干扰信号，则在判断步骤20(干扰源：是-否)之后该检查程序到达其结束21步骤，并且继续进行图像拍摄过程。此时深度信息已经存在，因为在检测过程19期间已经同时确定了深度信息。如果相反检测到了另一个飞行时间相机的外来光，则转向步骤22。
在步骤22中，作为对于存在外来光的响应，改变相机的拍摄模式。因此，飞行时间相机根据测量过程19的结果改变其拍摄模式。
拍摄模式的改变可以这样来进行，即，终止图像拍摄过程或将图像拍摄过程中断预定的时间段。相机关闭其自带光源，结束拍摄并且必须等待可能是预先规定的或者是随机确定的时长，以及然后重新以第一测量过程17开始(或者备选地立即以测量过程19开始)。
备选地，拍摄模式的改变也可以这样进行，即，使用于确定深度信息的测量过程中止或中断预先规定的时间段。
另一种可能性在于，相机对于测量过程19改变由其发出的光11的调制频率。相机因此可以变换自带光源的调制频率并重新从第一测量过程17开始。这个过程也称为“跳频”。当然，由于4相位计算(见下文)，频率变换不能在此前的频率上针对外来光干扰提供完整的保护。通过不同的频率实现的分离只在经调制的“外来光”在均匀地存在于所有四个积分相位上的情况下才能发挥作用。但在实践中在各相机之间不进行图像拍摄其他形式的同步的情况下，这种情况出现的可能性很小。
在本发明的一个实施形式中，当由一个飞行时间相机1检测到的一个(或多个)另外的飞行时间相机2的经调制的光强度超过预先规定的阈值时，该飞行时间相机可以改变其拍摄模式。
在可选的判断步骤23中确定，是否超过“误差极限”。这意味着，在达到或超过图像拍摄的失败的拍摄尝试的最大次数时，向相机的控制软件发送消息。在这种情况下，会发生对于应用可确认的图像拍摄速率的降低，所述图像拍摄速率用每秒的图像数表示。
如果一个拍摄循环结束(结束21)，则以测量过程17开始另一个拍摄循环。
在关闭自带光源情况下进行的简单的第一测量过程17是可选的，但在却是优选的实施形式，因为一方面干扰光检测更为可靠，另一方面，当在第一测量过程17中能够清楚地确认干扰光时，可以缩短检查程序。
下面根据图3至5详细说明一种优选的、用于确定深度信息的测量过程19。
图3示出带有光源5、特别是LED的飞行时间相机1，所述光源用于发出经调制的光5。仅示意性示出的开关10使得能够实现具有调制频率f的OOK调制(通断键控)的简单情况。当然也可以使用其他调制方法。由光源发出的光11到达要拍摄的场景的物体4并由该物体反射。反射的光12由相机1的图像传感器6检测。在图3中，为了更好地理解，图像传感器6的简化视图仅包含拍摄一个像素所需的器件。图像传感器6对于每个像素包括一个光敏的元件，例如光电二极管，所述元件配设有至少两个势阱8、9。开关7允许在这两个势阱之间进行切换，从而可以交替地(在规定的时间段上)使电荷汇集到各个势阱8、9中。各势阱之间的切换通过传感器调制信号13来实现。读取势阱8、9使得可以访问图像信息。
图4现在根据信号图上下重叠地用时间曲线示出由光源5发出的经调制的光11、被反射并由图像传感器6检测到的光12、传感器调制信号13、到达第一势阱8中的积分信号14、到达第二势阱9中的积分信号15。
可以清楚地看到，由于所述行进时间，在发出的光11和检测到的光信号12之间形成的时间上的推移(相移)。
传感器调制信号13是切换信号，通过该切换信号在两个势阱8、9之间切换。在图4(以及还有图5)的图示中，传感器调制13的正部分8‘对应于接通第一势阱8，而传感器调制信号13的负部分9‘对应于接通势阱9。传感器调制信号13的频率这里对应于所发出的光11的调制频率。
根据时间上的推移，积分信号14、15有不同的强度，从而由第一势阱8的积分信号14与第二势阱9的积分信号15之间的差可以得出光的行进时间，并由此可以得出物体4到相机1的距离。实际上是检测相移。如果相移为0°，则信号仅在第一势阱8中被“积分”，而第二势阱保持为空的。如果相移为90°，则在两个势阱8、9中汇集“同样多的信号”。
图5现在示出深度计算的特殊原理，其中也可以检查是否存在外来光，即是否存在其他相机的经调制的光。
每个像素包括两个势阱8、9，这两个势阱交替地以所发出的光的调制频率被曝光。这种曝光进行四次，其中，在每次曝光时将在传感器调制信号13(势阱切换)和所发出的光11的调制之间的相移提高90°。由此对于第一次曝光，得到0°的名义相移，在第二次曝光时得到90°的相移，然后得到180°的相移，并且最终在第四次曝光时得到270°的相移。通过物体4到相机1的距离对于每个曝光相位得到一个附加的相移。
所发出的光的调制和图像传感器的传感器调制信号之间的相差对于四次测量中的各次测量为和其中是初始相差或者说偏移相差，该初始相差在所示实施例中为0°，但原则上可以任意选择初始相差。
两个势阱8、9之间的信号差作为对于每个像素和对于四个不同的相位(0°、90°、180°、270°)中每一个的曝光值输出，由此得到四个相位图像I(0°)、I(90°)、I(180°)和I(270°)。相位图像通过在一个势阱8的信号与另一个势阱9的信号之间求差来形成。相位图像如下所述用于进一步的计算。
由相位图像I(0°)和I(180°)之间的差以及相位图像I(90°)和I(270°)之间的差可以通过对其商求反正切确定到物体4的距离。该值由幅值得到。
d～arctan[(I(270°)-I(90°))/(I(180°)-I(0°))]
在数学上这涉及两个矩形波信号的关系：所发出的光11的调制信号和传感器调制信号13，其中原则上OOK调制不是强制性地必须采用的，而是可以采用任意形式的调制信号，只要能够用该信号对光源进行调制。
现在由各个相位图像还这样来进行信度检查，即，外来光是否使测量失真。这按以下方式进行：
各个相位的每个像素的各个值必须具有确定的关系，以便能够执行正确的深度计算。如果这种关系不存在，则不能实现可靠的深度计算。破坏这种关系的一个可能的原因是外来光的影响，所述外来光由于各次测量之间分别以90°偏移的相差不是均匀地对所有四个相位图像起作用。
为了评估在测量期间是否存在外来光，可以由相位图像I(0°)和相位图像I(180°)求和，以及由相位图像I(90°)和相位图像I(270°)求和。这两个和必须接近0。如果不是这种情况，则测量受到了外来光的影响，并且可以认定，所确定的深度信息与实际的距离不一致。
由此在图像拍摄过程期间还可以确定与其他相机的冲突。在这种情况下，如已经根据图2说明的那样，执行步骤22，即改变相机的拍摄模式。
本发明不仅限于所说明的实施形式和其中着重说明的各个方面。相反，在本发明构思的范围内可以实现大量的修改，这些修改是本领域技术人员能够掌握的。同样可以通过所记载的手段和特征的组合来实现其他的实施方案，而不偏离本发明的范围。

Claims (10)

1.用于利用至少两个飞行时间相机(1、2)对一个场景(3)进行拍摄的方法，所述飞行时间相机分别具有光源(5)和图像传感器(6)，其中利用所述至少两个飞行时间相机(1、2)中的每个都执行多个图像拍摄过程，这些图像拍摄过程包括用于确定深度信息的测量过程，所述测量过程包括：由光源(5)发出经调制的光(11)，在场景(3)的物体(4)上反射之后利用图像传感器(6)检测经调制的光(12)，以及由所述经调制的光在被发射和被检测到之间的行进时间计算深度信息，其特征在于，第一飞行时间相机(1)由该第一飞行时间相机所执行的测量过程的测量结果确定，在该测量过程中除了由自带的光源(5)发出的光(11)以外还以何种程度检测到第二飞行时间相机(2)的经调制的光，并且第一飞行时间相机(1)根据所述确定操作的结果改变其拍摄模式。
2.根据权利要求1所述的方法，其特征在于，第二飞行时间相机(2)由该第二飞行时间相机所执行的测量过程的测量结果确定，在该测量过程中除了由自带的光源发出的光(11)以外还以何种程度检测到第一飞行时间相机(1)的经调制的光，并且第二飞行时间相机(2)根据所述确定操作的结果改变其拍摄模式。
3.根据权利要求1或2所述的方法，其特征在于，这样来实现拍摄模式的改变，即，停止图像拍摄过程或者使图像拍摄过程中断预先确定的时间段。
4.根据权利要求1或2所述的方法，其特征在于，这样来实现拍摄模式的改变，即，中止用于确定深度信息的测量过程或者使所述测量过程中断预先确定的时间段。
5.根据权利要求1或2所述的方法，其特征在于，这样来实现拍摄模式的改变，即，对于测量过程改变所发出的光(11)的调制频率。
6.根据上述权利要求之一所述的方法，其特征在于，当一个飞行时间相机(1、2)检测到的其他飞行时间相机(2、1)的经调制的光的强度超过阈值时，所述一个飞行时间相机改变其拍摄模式。
7.根据上述权利要求之一所述的方法，其特征在于，测量过程由分别具有所发出的光(11)的调制与图像传感器(6)的传感器调制信号(13)之间不同的相差的各单次测量组成。
8.根据权利要求7所述的方法，其特征在于，所述测量过程包括至少四次测量，其中对于四次测量中的各次测量，所发出的光(11)的调制与图像传感器(6)的传感器调制信号(13)之间的相差为 和其中是初始相差。
9.根据上述权利要求之一所述的方法，其特征在于，一个飞行时间相机(1、2)在图像拍摄过程之前在自带光源(5)关闭的情况下执行一个用于检测光的测量过程，并且根据这个测量过程的测量结果改变该飞行时间相机(1、2)的拍摄模式。
10.根据上述权利要求之一所述的方法，其特征在于，在用于图像拍摄的图像拍摄过程失败的次数超过预先规定的数量时，飞行时间相机(1、2)这样改变其拍摄模式，即，使得图像拍摄速率降低。
CN201380064389.XA 2012-11-08 2013-09-11 用于至少两个ToF相机的拍摄方法 Pending CN104838284A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ATA1191/2012A AT513589B1 (de) 2012-11-08 2012-11-08 Aufnahmeverfahren für zumindest zwei ToF-Kameras
ATA1191/2012 2012-11-08
PCT/EP2013/068818 WO2014072100A1 (de) 2012-11-08 2013-09-11 Aufnahmeverfahren für zumindest zwei tof-kameras

Publications (1)

Publication Number Publication Date
CN104838284A true CN104838284A (zh) 2015-08-12

Family

ID=49209343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380064389.XA Pending CN104838284A (zh) 2012-11-08 2013-09-11 用于至少两个ToF相机的拍摄方法

Country Status (6)

Country Link
US (1) US9977128B2 (zh)
EP (1) EP2917762B8 (zh)
JP (1) JP2016502657A (zh)
CN (1) CN104838284A (zh)
AT (1) AT513589B1 (zh)
WO (1) WO2014072100A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017063435A1 (zh) * 2015-10-15 2017-04-20 杭州海康威视数字技术股份有限公司 一种组合深度图获得方法及深度相机
CN106683130A (zh) * 2015-11-11 2017-05-17 杭州海康威视数字技术股份有限公司 一种深度图像获得方法及装置
CN107843253A (zh) * 2017-10-30 2018-03-27 广东欧珀移动通信有限公司 导航控制方法、移动终端以及计算机可读存储介质
CN107852472A (zh) * 2016-06-15 2018-03-27 索尼公司 成像装置、成像方法和程序
CN108780153A (zh) * 2016-03-16 2018-11-09 微软技术许可有限责任公司 同步主动照明相机
CN108814452A (zh) * 2018-08-22 2018-11-16 上海炬佑智能科技有限公司 扫地机器人及其障碍检测方法
CN108955641A (zh) * 2018-04-23 2018-12-07 维沃移动通信有限公司 一种深度摄像方法、深度摄像设备及移动终端
CN109991581A (zh) * 2017-11-30 2019-07-09 索尼半导体解决方案公司 飞行时间获取方法和飞行时间相机
CN110095780A (zh) * 2019-05-06 2019-08-06 歌尔股份有限公司 基于tof相机模组的抗干扰方法及设备
CN110632614A (zh) * 2018-06-21 2019-12-31 美国亚德诺半导体公司 测量和去除由内部散射引起的飞行时间深度图像的破坏
CN110879398A (zh) * 2018-09-05 2020-03-13 英飞凌科技股份有限公司 飞行时间相机和用于校准飞行时间相机的方法
CN111289988A (zh) * 2018-12-07 2020-06-16 英飞凌科技股份有限公司 用于确定距离信息的方法、装置以及计算机程序
CN111580117A (zh) * 2019-02-19 2020-08-25 光宝电子(广州)有限公司 飞时测距感测系统的控制方法
CN112166338A (zh) * 2018-03-07 2021-01-01 特利丹E2V半导体简化股份公司 针对多相机环境进行优化的飞行时间测量视觉相机
CN112969934A (zh) * 2018-08-24 2021-06-15 威力登激光雷达美国有限公司 用于减轻光测距和检测系统中的光学串扰的系统和方法
CN113676683A (zh) * 2020-05-14 2021-11-19 宁波飞芯电子科技有限公司 一种图像传感器和一种消除信号偏移的方法
CN113677955A (zh) * 2019-04-09 2021-11-19 索尼半导体解决方案公司 距离测量传感器、信号处理方法和距离测量模块

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11002856B2 (en) * 2015-08-07 2021-05-11 King Abdullah University Of Science And Technology Doppler time-of-flight imaging
CN106527761A (zh) * 2015-09-10 2017-03-22 义明科技股份有限公司 非接触式光学感测装置及三维空间物件深度位置感测方法
US10397546B2 (en) 2015-09-30 2019-08-27 Microsoft Technology Licensing, Llc Range imaging
CN108139482B (zh) * 2015-10-09 2023-01-06 新唐科技日本株式会社 摄像装置、以及在其中使用的固体摄像元件
US10523923B2 (en) 2015-12-28 2019-12-31 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
US20190056498A1 (en) * 2016-03-01 2019-02-21 Brightway Vision Ltd. Gated imaging apparatus, system and method
US10627494B2 (en) * 2016-09-16 2020-04-21 Analog Devices, Inc. Interference handling in time-of-flight depth sensing
JP6333921B2 (ja) 2016-11-09 2018-05-30 ファナック株式会社 撮像装置及び撮像方法
US11428786B2 (en) * 2017-12-03 2022-08-30 Munro Design & Technologies, Llc Dual waveforms for three-dimensional imaging systems and methods thereof
US20200264280A1 (en) * 2019-02-19 2020-08-20 Lite-On Electronics (Guangzhou) Limited Control method for time-of-flight sensing system
WO2021066219A1 (ko) * 2019-10-01 2021-04-08 엘지전자 주식회사 이동단말기
JP7235638B2 (ja) 2019-10-04 2023-03-08 株式会社日立エルジーデータストレージ 測距装置および測距システム
US20210156881A1 (en) * 2019-11-26 2021-05-27 Faro Technologies, Inc. Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking
JP7245767B2 (ja) 2019-12-23 2023-03-24 株式会社日立エルジーデータストレージ 全方位測距装置
EP3913401A1 (en) 2020-05-22 2021-11-24 Melexis Technologies NV Method of optical detection and optical detection apparatus

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3185547B2 (ja) * 1994-06-28 2001-07-11 三菱電機株式会社 距離測定装置
JP3553438B2 (ja) * 1999-10-26 2004-08-11 総合自動車安全・公害技術研究組合 車両周辺監視装置
JP4689813B2 (ja) * 2000-11-20 2011-05-25 本田技研工業株式会社 距離測定装置
JP4200328B2 (ja) * 2005-04-18 2008-12-24 パナソニック電工株式会社 空間情報検出システム
DE102005045993B4 (de) * 2005-07-29 2008-11-13 Gerd Reime Verfahren zur Lichtlaufzeitmessung
US8125508B2 (en) * 2006-01-24 2012-02-28 Lifesize Communications, Inc. Sharing participant information in a videoconference
JP2007326428A (ja) * 2006-06-07 2007-12-20 Denso Corp 駐車支援装置
JP5019117B2 (ja) * 2007-11-14 2012-09-05 スタンレー電気株式会社 距離画像生成装置
SI2306426T1 (sl) * 2009-10-01 2013-04-30 Kapsch Trafficcom Ag Naprava za detekcijo vozil na prometni površini
DE102010003409B4 (de) 2010-03-29 2022-06-09 pmdtechnologies ag Lichtlaufzeit-Kamera
EP2598910A4 (en) * 2010-07-29 2014-06-25 Waikatolink Ltd APPARATUS AND METHOD FOR MEASURING DISTANCE AND / OR INTENSITY CHARACTERISTICS OF OBJECTS
JP5161938B2 (ja) * 2010-08-23 2013-03-13 パナソニック株式会社 空間情報検出装置
JP5751842B2 (ja) * 2010-09-16 2015-07-22 キヤノン株式会社 速度検出装置および画像形成装置
US9194953B2 (en) * 2010-10-21 2015-11-24 Sony Corporation 3D time-of-light camera and method
US9857469B2 (en) * 2010-10-22 2018-01-02 Heptagon Micro Optics Pte. Ltd. System and method for multi TOF camera operation using phase hopping
DE102011089636A1 (de) 2010-12-22 2012-06-28 PMD Technologie GmbH Lichtlaufzeitkamera

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BERNHARD BÜTTGEN等: ""Pseudonoise Optical Modulation for Real-Time 3-D Imaging With Minimum Interference"", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS—I: REGULAR PAPERS》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017063435A1 (zh) * 2015-10-15 2017-04-20 杭州海康威视数字技术股份有限公司 一种组合深度图获得方法及深度相机
US10713804B2 (en) 2015-10-15 2020-07-14 Hangzhou Hikvision Digital Technology Co., Ltd. Method for obtaining combined depth image, and depth camera
CN106683130B (zh) * 2015-11-11 2020-04-10 杭州海康威视数字技术股份有限公司 一种深度图像获得方法及装置
CN106683130A (zh) * 2015-11-11 2017-05-17 杭州海康威视数字技术股份有限公司 一种深度图像获得方法及装置
CN108780153A (zh) * 2016-03-16 2018-11-09 微软技术许可有限责任公司 同步主动照明相机
CN108780153B (zh) * 2016-03-16 2022-07-26 微软技术许可有限责任公司 用于控制多个主动照明飞行时间(tof)测距相机的操作的方法和系统以及主动照明tof测距相机
CN107852472A (zh) * 2016-06-15 2018-03-27 索尼公司 成像装置、成像方法和程序
CN107843253A (zh) * 2017-10-30 2018-03-27 广东欧珀移动通信有限公司 导航控制方法、移动终端以及计算机可读存储介质
CN107843253B (zh) * 2017-10-30 2021-06-01 Oppo广东移动通信有限公司 导航控制方法、移动终端以及计算机可读存储介质
CN109991581A (zh) * 2017-11-30 2019-07-09 索尼半导体解决方案公司 飞行时间获取方法和飞行时间相机
US11675048B2 (en) 2017-11-30 2023-06-13 Sony Semiconductor Solutions Corporation Time-of-flight acquisition method and time-of-flight camera
CN112166338A (zh) * 2018-03-07 2021-01-01 特利丹E2V半导体简化股份公司 针对多相机环境进行优化的飞行时间测量视觉相机
CN108955641A (zh) * 2018-04-23 2018-12-07 维沃移动通信有限公司 一种深度摄像方法、深度摄像设备及移动终端
CN110632614A (zh) * 2018-06-21 2019-12-31 美国亚德诺半导体公司 测量和去除由内部散射引起的飞行时间深度图像的破坏
CN110632614B (zh) * 2018-06-21 2023-08-22 美国亚德诺半导体公司 测量和去除由内部散射引起的飞行时间深度图像的破坏
CN108814452A (zh) * 2018-08-22 2018-11-16 上海炬佑智能科技有限公司 扫地机器人及其障碍检测方法
CN112969934A (zh) * 2018-08-24 2021-06-15 威力登激光雷达美国有限公司 用于减轻光测距和检测系统中的光学串扰的系统和方法
US11971507B2 (en) 2018-08-24 2024-04-30 Velodyne Lidar Usa, Inc. Systems and methods for mitigating optical crosstalk in a light ranging and detection system
CN110879398A (zh) * 2018-09-05 2020-03-13 英飞凌科技股份有限公司 飞行时间相机和用于校准飞行时间相机的方法
CN111289988A (zh) * 2018-12-07 2020-06-16 英飞凌科技股份有限公司 用于确定距离信息的方法、装置以及计算机程序
US11879993B2 (en) 2018-12-07 2024-01-23 Infineon Technologies Ag Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data
CN111289988B (zh) * 2018-12-07 2024-02-02 英飞凌科技股份有限公司 用于确定距离信息的方法、装置以及计算机程序
CN111580117A (zh) * 2019-02-19 2020-08-25 光宝电子(广州)有限公司 飞时测距感测系统的控制方法
CN113677955A (zh) * 2019-04-09 2021-11-19 索尼半导体解决方案公司 距离测量传感器、信号处理方法和距离测量模块
WO2020224271A1 (zh) * 2019-05-06 2020-11-12 歌尔股份有限公司 基于tof相机模组的抗干扰方法及设备
CN110095780A (zh) * 2019-05-06 2019-08-06 歌尔股份有限公司 基于tof相机模组的抗干扰方法及设备
CN110095780B (zh) * 2019-05-06 2024-04-09 歌尔光学科技有限公司 基于tof相机模组的抗干扰方法及设备
CN113676683A (zh) * 2020-05-14 2021-11-19 宁波飞芯电子科技有限公司 一种图像传感器和一种消除信号偏移的方法
CN113676683B (zh) * 2020-05-14 2024-02-06 宁波飞芯电子科技有限公司 一种图像传感器和一种消除信号偏移的方法

Also Published As

Publication number Publication date
US20150355330A1 (en) 2015-12-10
WO2014072100A1 (de) 2014-05-15
AT513589B1 (de) 2015-11-15
EP2917762B1 (de) 2019-04-17
EP2917762B8 (de) 2019-06-05
AT513589A1 (de) 2014-05-15
US9977128B2 (en) 2018-05-22
JP2016502657A (ja) 2016-01-28
EP2917762A1 (de) 2015-09-16

Similar Documents

Publication Publication Date Title
CN104838284A (zh) 用于至少两个ToF相机的拍摄方法
KR102233419B1 (ko) 확률적 tof 이미징
CN105049829B (zh) 滤光片、图像传感器、成像装置以及三维成像系统
EP3248374B1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
US11196919B2 (en) Image processing method, electronic apparatus, and computer-readable storage medium
US11187804B2 (en) Time of flight range finder for a structured light system
CN106851124A (zh) 基于景深的图像处理方法、处理装置和电子装置
US10085001B2 (en) Method and apparatus for detecting and mitigating mechanical misalignments in an optical system
CN106851123A (zh) 曝光控制方法、曝光控制装置及电子装置
CN102783123B (zh) 便携式电子设备
CN104730536A (zh) 在飞行时间测距装置之间交换信息
US11644570B2 (en) Depth information acquisition system and method, camera module, and electronic device
CN106576159A (zh) 一种获取深度信息的拍照设备和方法
CN108802746B (zh) 一种抗干扰的测距方法及装置
JP2019004424A (ja) 処理装置、処理システム、方法及びプログラム
CN104154898A (zh) 一种主动测距方法及系统
Li et al. Multi-camera interference cancellation of time-of-flight (TOF) cameras
CN112862821A (zh) 基于图像处理的漏水检测方法、装置、计算设备和介质
US20140092219A1 (en) Device for acquiring stereoscopic images
JPWO2017094060A1 (ja) 通信制御装置、料金収受システム、通信制御方法及びプログラム
CN104376323A (zh) 一种确定目标距离的方法及装置
CN108957914B (zh) 激光投射模组、深度获取装置和电子设备
CN115601738B (zh) 停车信息获取方法、装置、设备、存储介质及程序产品
US20200092464A1 (en) Electronic device and notification method
CN108921888A (zh) 一种深度图像检测方法、系统及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150812