CN102253392A - 飞行时间摄像机单元和光学监视系统 - Google Patents

飞行时间摄像机单元和光学监视系统 Download PDF

Info

Publication number
CN102253392A
CN102253392A CN2011100975188A CN201110097518A CN102253392A CN 102253392 A CN102253392 A CN 102253392A CN 2011100975188 A CN2011100975188 A CN 2011100975188A CN 201110097518 A CN201110097518 A CN 201110097518A CN 102253392 A CN102253392 A CN 102253392A
Authority
CN
China
Prior art keywords
radiation
flight time
mirror
unit
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100975188A
Other languages
English (en)
Other versions
CN102253392B (zh
Inventor
卡尔·曼赫茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockwell Automation Switzerland GmbH
Original Assignee
Cedes Safety and Automation AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42752043&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102253392(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Cedes Safety and Automation AG filed Critical Cedes Safety and Automation AG
Publication of CN102253392A publication Critical patent/CN102253392A/zh
Application granted granted Critical
Publication of CN102253392B publication Critical patent/CN102253392B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

本发明涉及用于光学监视系统的飞行时间摄像机单元和包括这种飞行时间摄像机的光学监视系统。飞行时间摄像机单元(100)包括：辐射发射单元(102)，用于照射第一平面所限定的监视区域；辐射检测单元(102)，用于接收从监视区域反射的辐射并用于根据所检测到的辐射来生成三维图像；以及至少一个镜子(120，122)，用于将所发射的辐射至少部分地偏转到至少一个第二平面(114)中并用于将从第二平面反射的辐射偏转到辐射检测单元，其中第二平面(114)相交地延伸至第一平面。飞行时间摄像机和至少一个镜子可以被布置在一个共用支座元件(124)上。

Description

飞行时间摄像机单元和光学监视系统
技术领域
本发明涉及用于光学监视系统的飞行时间(TOF，time of flight)摄像机单元以及包括这种TOF摄像机的光学监视系统。
背景技术
在过去几年，基于飞行时间(TOF)原理的第一个全固态三维摄像机(3-D摄像机)变得可在市场上获得。基于飞行时间原理的3-D摄像机或传感器从正被成像的场景中的物体获取距离信息。在摄像机传感器的每个像素处独立生成距离信息。就美国专利6,323,942中描述的实例来说，TOF系统发射光能量并确定直到被目标物体所反射的能量中的至少一些能量返回到要被检测的系统为止花多长时间。相比于接近于该系统的目标物体，在被朝向系统反射回之前穿过目标物体的更远表面区域的所发射的光能量将限定更长的TOF。如果来回行程TOF被标示为t，则目标物体和TOF时间之间的距离d可以被计算为d＝t·c/2，其中c是光速。
这种已知系统可以获取光度数据(信号振幅)和TOF距离，并可以实时产生目标物体的三维图像。
不直接测量飞行时间(其需要非常敏感的成像装备)，更复杂的原理是基于相位测量TOF原理的。此处，不直接测量光脉冲的总行程，确定所发送信号和所接收信号之间的相位差。当利用调制频率FM调制所发射的光时，反射点和摄像机之间的距离可以被计算为：
对系统像素阵列中的多个位置上的反射光的检测得到测量信号，其被称作深度图像。深度图像表示目标物体表面的三维图像。
图4示出这种用于监视预定监视区域的已知系统200。如图4中所示，TOF摄像机202被安装在距背景204一定距离处，其允许考察(survey)足够大的检测视野。在该图中，只有TOF 202发射的辐射束被示意性地示出并被标示为参考标号206，但未示出返回的被检测辐射束。依赖于所采用的TOF摄像机202的孔径，检测视野被限制，如检测视野限制208所示。
当要被检测的物体210进入检测视野时出现问题。如图5中示意性示出的，到达物体210的上表面的那些辐射束206被反射并到达用于提供物体210的第一表面212的三维成像的TOF摄像机202。然而，由于阴影效应，对于已知监视系统200，导致出现剩下物体210的不可见区域214的问题。对于物体210的明确自动识别来说，经常还需要接收关于这些通常不可见区域214的信息。
为了解决该问题，第一解决方案是提供两个摄像机202和203。第一摄像机202以其可以监测区域218的方式来定向，第二摄像机203以其可以监测区域216的方式来布置，其中对于摄像机202来说，区域216是不可见的。通过根据图6中所示的系统将两个摄像机的图像结合，可以明确地检测物体的轮廓。然而，该系统成本高，需要两个完整的TOF摄像机，并且难以对所生成图像进行同步。
为了用于更大区域的物体轮廓监测，例如，门和通道，从美国专利5,903,355中已知结合激光扫描仪使用镜子，以通过在镜子中反射扫描射线，来允许间接检测该扫描仪不直接可见的形状。到底，必须扫描比观看区域所需的角度更大的激光束偏移角，使得镜子区域也被包括在扫描移动中。然而，如对激光扫描仪来说已知的，该布置的视野仅是在一个平面中，而无法根据所取回的数据生成三维图像。此外，该文献中所提出的信号处理例程只有结合移动激光扫描束才工作。此外，根据美国5,903,355的布置不适于短距离应用。
因此存在对改进的光学监视系统的需要，该系统一方面强大、经济并用户友好，而另一方面对于短距离物体也生成全面的三维轮廓信息。
发明内容
该目的被独立权利要求的主旨所解决。该新技术的有利改进是从属权利要求的主旨。
该新技术基于以下思想，通过利用用于光学监视系统的飞行时间TOF摄像机单元并通过提供将所发射的辐射至少部分地反射到至少一个第二平面(第二平面与第一平面交叉延伸)并且用于将从第二平面反射的辐射偏转回辐射检测单元的至少一个镜子，可以按特别简单可靠的方式来检测物体的直接可见部分和阴影部分的三维图像。具体地，只需要一个TOF摄像机，这因此避免了使多个TOF摄像机同步的必要。
当通过上述相移原理计算光行进的距离时，本发明依赖于考虑辐射调制的相位不受镜子处的反射的影响的物理事实。
根据本发明，辐射发射单元包括至少一个发光二极管，其呈现了一种提供监视区域的照度的特别有效并容易控制的方式。
根据本发明的有利实施例，辐射检测单元包括：对相位敏感的检测器芯片和用于估计所述至少一个检测器芯片的输出的信号处理单元，根据关于光从辐射发射单元行进回辐射检测单元的距离的距离信息来推导相移。为了确定相移，必须通过所述辐射发射单元来发送经调制的辐射。这种对相位敏感的检测器芯片可以例如基于所谓的光子混合器器件(photonicmixer devices)PMD。具体地，当提供智能像素阵列时，可以单独地借助每个像素通过单独地测量调制光的转向时间来监测被照射有调制光的监视区域。典型地，这通过利用连续调制并测量每个像素中的相位延迟来完成。可以用CMOS技术来加工PMD传感器阵列。因为在每个像素内进行电信号和光信号的完整混合处理，所以PMD元件也称为灵巧像素。这种传感器的原理在例如Ringbeck等人的文章“Multidimentsionalmeasurements by using 3-D PMD sensors”，Adv.Radio Sci.，5，135-146，2007中有所阐述。
根据本发明的信号处理单元优选地用于限定和估计表示所述辐射发射单元直接照射的区域的第一深度水平、以及表示经由所述至少一个镜子由所述辐射发射单元照射的区域的至少一个第二深度水平。与这两个深度水平对应的图像独合并，以生成包括要被检测的物体的阴影部分的全部监视区域的三维图像。通过将信号处理限制到这些深度水平，可以有效地抑制背景信号。
当TOF摄像机和至少一个镜子被安装在一个共用支座元件上并相对于彼此而固定在其位置上时，可以提供特别用户友好的布置。当加工包括镜子的TOF摄像机作为一个紧凑装置时，所有的校准例程均可以在加工该装置时完成，因而用户不需要进行任何适应性的学习例程。所有的参数均可以直接从TOF摄像机相对于镜子的几何布置来直接导出。
为了特别有利地实现本发明，TOF摄像机的视角大于监测监视区域所需的视角，并且至少一个镜子位于视角的外围区域中。所需的视角大小可以通过机械地增大视角来实现，例如通过辐射检测单元以及辐射发射单元的像素的弯曲布置。可替换地，可以应用其他用于提供足够大的视角的手段，例如使用光学透镜。
根据有利实施例，TOF摄像机可以位于一组镜子的中央，用于生成关于监视区域内的物体的旋转对称信息。可替换地，TOF摄像机也可以相对于要被检测的物体离心地定位，并且仅一个单个镜子被提供以将光束反射到对于入射辐射来说不直接可见的区域以及反射来自该区域的光束。
当将根据该新技术的TOF摄像机单元用在响应于从TOF摄像机单元接收的三维图像来生成安全切换信号的监视系统中时，可以最佳地利用根据该新技术的TOF摄像机单元的有利特性。
具体地，可以结合安全切换装置的噪声抑制功能来使用关于存在于监视区域中物体的三维信息。噪声抑制的特征在于安全功能的自动临时中止。有时，该处理要求在人进入该区域中时机器停止，但是在自动馈给的材料进入时保持运行。在这种情况下，需要噪声抑制功能，并且噪声抑制功能可以基于对进入主体的辨别。
附图说明
为了完成前述和相关结果，在本文中结合以下描述内容和附图来描述所公开的新技术的特定示例性方面。然而，这些方面是仅通过可以运用本文中所公开的原理的各种方式中的几种方式来表示，其旨在包括所有这些方面及其等同物。根据结合附图一起考虑的以下详细描述，其他优点和新颖特征将变得明显。
图1示出根据第一实施例的利用飞行时间TOF摄像机单元的光学监视系统的示意性表示；
图2示出根据第二实施例的利用TOF摄像机单元的光学监视系统的示意性表示；
图3示出根据图1的布置的TOF摄像机单元；
图4示出没有要被检测的物体的传统光学监视系统的示意性表示；
图5示出具有要被检测的物体的图4的传统系统；
图6示出具有用于检测物体的轮廓的两个摄像机的传统立体布置。
具体实施方式
参照图1，飞行时间TOF摄像机102与两个镜子120和122结合，这两个镜子用于检测从TOF摄像机102发送到物体110的辐射106并且反之亦然。尽管在图1中仅示出了所发射的辐射，当然，从物体和背景反射的辐射也沿着所示光线路径行进，只是方向相反。该辐射通常由发光二极管LED或红外发光二极管IRED来发射。
镜子120、122的使用允许利用一个单个TOF摄像机102测量三维体的所有表面。当被镜子120、122偏转的辐射束106在TOF摄像机102的检测器处接收回时，该辐射束106通过在镜子表面处的每次反射而受到附加电磁相移π，得到总共2π。然而，调制相位不受反射的影响。因此，飞行时间的计算仅必须考虑镜子120和122相对于TOF摄像机102和背景104的几何位置所限定的附加光学路径长度。
根据本发明，使用广角TOF摄像机102，该摄像机具有比观察场景所需的视角更宽的视角。视野中不用于测量物体的那部分视野可以被一个或更多个镜子120和122偏转，使得物体中对于TOF摄像机102来说不直接可见的那些部分可以经由镜子120、122而被间接观察和测量。因为TOF摄像机102是真正的三维测量系统，所以镜子120、122所添加的观察视野也是三维的。
在图1中，视角受检测视野限制108的限制。被镜子偏转的附加辐射束106可以例如由附加LED元件生成，其中按照附加LED元件以非常大的视角发射其辐射的方式来布置附加LED元件。可替换地，镜子120、122的位置可以被调整以反射具有小角度发射的辐射束106。
通过对物体112、114的期望反射平面限定不同的深度帧，可以开发用于开发物体的三维图像的非常有效的计算例程。TOF摄像机102可以基于光子混合器器件PMD。TOF摄像机例如包括照射背景104上的监视区域的红外发光二极管，其中背景可以是例如传送带。PMD传感器芯片测量发送回的辐射的反射率以及经调制的所发送信号和所检测信号之间的相移。根据上述等式(1)，距离信息可以被提取，并通过对被镜子120、122偏转两次的那些辐射束的光学路径长度进行校正，可以生成物体的真正三维图像。
图2示出了仅使用一个镜子120的替换性实施例。根据该实施例，以关于要被识别的物体110而偏轴的方式来布置摄像机102。如可以从该图中看出的，两个第一平面112可以通过TOF摄像机102来直接监测，而一个第二平面114对于直接发送的辐射来说是不可见的。该第二平面114经由镜子120而被照射，并且该物体表面所反射的光经由镜子120被发射回TOF摄像机102的检测器单元。利用该偏离中心的布置，仅一个镜子需要被提供，并且相对于摄像机102来调整。
根据图3中所示的有利实施例，TOF摄像机102和一个或更多个镜子120、122被布置在一个共用支座元件124上。该支座元件可以是根据图1或图2的任意实施例的一部分，将镜子的位置固定在其相对于TOF摄像机的距离处并与TOF摄像机102结合，并允许TOF摄像机单元100可以被安装在监视环境中而不需要用户进行任何机械调整。
此外，用户将不必执行关于计算的任何学习例程，这是因为控制单元可以被包括在TOF摄像机单元100中并在传送之前被预先初始化。因此，可以提供一种强大的、易于使用的监视系统，其对通常遭受到阴影效应的物体也生成真正的三维图像。
附记
方案1.一种用于光学监视系统的飞行时间摄像机单元，所述飞行时间摄像机单元(100)包括：
辐射发射单元(102)，用于照射第一平面所限定的监视区域；
辐射检测单元(102)，用于接收从所述监视区域反射的辐射并用于根据所检测到的辐射来生成三维图像；
至少一个镜子(120，122)，用于将所发射的辐射至少部分地偏转到至少一个第二平面(114)中并用于将从所述第二平面反射的辐射偏转到所述辐射检测单元，所述第二平面(114)相交地延伸至所述第一平面。
方案2.根据方案1所述的飞行时间摄像机单元，其中所述辐射发射单元(102)包括至少一个发光二极管和/或红外发光二极管。
方案3.根据方案1或2所述的飞行时间摄像机单元，其中所述辐射检测单元(102)包括对相位敏感的检测器芯片和用于估计所述检测器芯片的输出的信号处理单元。
方案4.根据方案3所述的飞行时间摄像机单元，其中所述信号处理单元可操作用于限定并评估表示所述辐射发射单元直接照射的区域的第一深度水平、以及表示经由所述至少一个镜子(120，122)由所述辐射发射单元所照射的区域的至少一个第二深度水平，
其中，所述处理单元还可操作用于将与所述第一深度水平对应的图像和与所述第二深度水平对应的图像合并起来，以生成全部监视区域的三维图像。
方案5.根据前述方案之一所述的飞行时间摄像机单元，还包括支座元件(124)，其中所述至少一个镜子(120，122)通过所述支座元件(124)而被保持在相对于所述飞行时间摄像机(102)的预定位置。
方案6.根据前述方案之一所述的飞行时间摄像机单元，其中所述接收单元的视角大于监测所述监视区域所需的视角，并且其中所述至少一个镜子(120，122)位于所述视角的外围区域中。
方案7.根据前述方案之一所述的飞行时间摄像机单元，其中所述辐射发射单元的孔径大于照射所述监视区域所需的孔径，并且其中按照所述至少一个镜子(120，122)偏转所述辐射的外围部分的方式来布置所述至少一个镜子(120，122)。
方案8.根据前述方案之一所述的飞行时间摄像机单元，其中所述辐射发射单元和所述辐射检测单元被布置在共用的摄像机外壳(102)内，并且其中多个镜子(120，122)围绕所述摄像机外壳而对称布置。
方案9.根据前述方案之一所述的飞行时间摄像机单元，其中所述辐射发射单元(102)包括被布置在非平面基板上的发光二极管和/或红外发光二极管的阵列，并且所述辐射检测单元包括被布置在非平面基板上的光子混合器检测器的阵列。
方案10.一种光学监视系统，包括：
飞行时间摄像机(102)，用于三维地监测监视区域；
至少一个镜子元件(120，122)，用于将来自所述飞行时间摄像机的测量辐射偏转到所述监视区域，并用于将所述监视区域所反射的辐射偏转到所述飞行时间摄像机的检测器单元；
控制单元，用于根据所述检测器单元所接收到的辐射来计算三维图像。
方案11.根据方案10所述的光学监视系统，其中所述控制单元还可操作用于估计所述三维图像并响应于估计结果输出安全切换信号。
方案12.根据方案10或11所述的光学监视系统，其中所述辐射发射单元包括至少一个发光二极管和/或红外发光二极管。
方案13.根据方案10至12之一所述的光学监视系统，其中所述辐射检测单元包括对相位敏感的检测器芯片和用于估计所述检测器芯片的输出的信号处理单元。
方案14.根据方案13所述光学监视系统，其中所述信号处理单元可操作用于限定并评估表示所述辐射发射单元直接照射的区域的第一深度水平、以及表示经由所述至少一个镜子由所述辐射发射单元照射的区域的至少一个第二深度水平，
其中所述处理单元还可操作用于将与所述第一深度水平对应的图像和与所述第二深度水平对应的图像合并，以生成全部监视区域的三维图像。
方案15.根据方案10至14之一所述的光学监视系统，还包括支座元件(124)，其中所述至少一个镜子通过所述支座元件而被保持在相对于所述飞行时间摄像机的预定位置。
方案16.根据方案10至15之一所述的光学监视系统，其中所述接收单元的视角大于监测所述监视区域所需的视角，并且其中所述至少一个镜子位于所述视角的外围区域中。
方案17.根据方案10至16之一所述的光学监视系统，其中所述辐射发射单元的孔径大于照射所述监视区域所需的孔径，并且其中按照所述至少一个镜子偏转所述辐射的外围部分的方式来布置所述至少一个镜子。
方案18.根据方案10至17之一所述的光学监视系统，其中所述辐射发射单元和所述辐射检测单元被布置在共用的摄像机外壳内，并且其中多个镜子围绕所述摄像机外壳而对称布置。
方案19.根据方案10至18之一所述的光学监视系统，其中所述辐射发射单元包括被布置在非平面基板上的发光二极管和/或红外发光二极管的阵列，并且所述辐射检测单元包括被布置在非平面基板上的光子混合器检测器的阵列。

Claims (10)

1.一种用于光学监视系统的飞行时间摄像机单元，所述飞行时间摄像机单元(100)包括：
辐射发射单元(102)，用于照射第一平面所限定的监视区域；
辐射检测单元(102)，用于接收从所述监视区域反射的辐射并用于根据所检测到的辐射来生成三维图像；
至少一个镜子(120，122)，用于将所发射的辐射至少部分地偏转到至少一个第二平面(114)中并用于将从所述第二平面反射的辐射偏转到所述辐射检测单元，所述第二平面(114)相交地延伸至所述第一平面。
2.根据权利要求1所述的飞行时间摄像机单元，其中所述辐射发射单元(102)包括至少一个发光二极管和/或红外发光二极管。
3.根据权利要求1或2所述的飞行时间摄像机单元，其中所述辐射检测单元(102)包括对相位敏感的检测器芯片和用于估计所述检测器芯片的输出的信号处理单元。
4.根据权利要求3所述的飞行时间摄像机单元，其中所述信号处理单元可操作用于限定并评估表示所述辐射发射单元直接照射的区域的第一深度水平、以及表示经由所述至少一个镜子(120，122)由所述辐射发射单元所照射的区域的至少一个第二深度水平，
其中，所述处理单元还可操作用于将与所述第一深度水平对应的图像和与所述第二深度水平对应的图像合并起来，以生成全部监视区域的三维图像。
5.根据前述权利要求之一所述的飞行时间摄像机单元，还包括支座元件(124)，其中所述至少一个镜子(120，122)通过所述支座元件(124)而被保持在相对于所述飞行时间摄像机(102)的预定位置。
6.根据前述权利要求之一所述的飞行时间摄像机单元，其中所述接收单元的视角大于监测所述监视区域所需的视角，并且其中所述至少一个镜子(120，122)位于所述视角的外围区域中。
7.根据前述权利要求之一所述的飞行时间摄像机单元，其中所述辐射发射单元的孔径大于照射所述监视区域所需的孔径，并且其中按照所述至少一个镜子(120，122)偏转所述辐射的外围部分的方式来布置所述至少一个镜子(120，122)。
8.根据前述权利要求之一所述的飞行时间摄像机单元，其中所述辐射发射单元和所述辐射检测单元被布置在共用的摄像机外壳(102)内，并且其中多个镜子(120，122)围绕所述摄像机外壳而对称布置。
9.根据前述权利要求之一所述的飞行时间摄像机单元，其中所述辐射发射单元(102)包括被布置在非平面基板上的发光二极管和/或红外发光二极管的阵列，并且所述辐射检测单元包括被布置在非平面基板上的光子混合器检测器的阵列。
10.一种光学监视系统，包括：
飞行时间摄像机(102)，用于三维地监测监视区域；
至少一个镜子元件(120，122)，用于将来自所述飞行时间摄像机的测量辐射偏转到所述监视区域，并用于将所述监视区域所反射的辐射偏转到所述飞行时间摄像机的检测器单元；
控制单元，用于根据所述检测器单元所接收到的辐射来计算三维图像。
CN201110097518.8A 2010-04-15 2011-04-13 飞行时间摄像机单元和光学监视系统 Expired - Fee Related CN102253392B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP10004001.3 2010-04-15
EP10004001.3A EP2378310B1 (en) 2010-04-15 2010-04-15 Time of flight camera unit and optical surveillance system

Publications (2)

Publication Number Publication Date
CN102253392A true CN102253392A (zh) 2011-11-23
CN102253392B CN102253392B (zh) 2015-12-16

Family

ID=42752043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110097518.8A Expired - Fee Related CN102253392B (zh) 2010-04-15 2011-04-13 飞行时间摄像机单元和光学监视系统

Country Status (3)

Country Link
US (2) US8878901B2 (zh)
EP (1) EP2378310B1 (zh)
CN (1) CN102253392B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104748731A (zh) * 2013-12-27 2015-07-01 株式会社万都 车用tof相机及其驱动方法
CN105282501A (zh) * 2014-07-21 2016-01-27 罗伯特·博世有限公司 具有反射装置和对应模块的监视设备以及用于设置该监视设备的方法
CN107278272A (zh) * 2015-03-27 2017-10-20 英特尔公司 时空压缩飞行时间成像技术
CN108873595A (zh) * 2018-09-12 2018-11-23 中国空气动力研究与发展中心超高速空气动力研究所 超高速飞行模型前光及阴影成像装置
CN110779681A (zh) * 2018-07-26 2020-02-11 发那科株式会社 检测光学系统异常的测距装置
CN111670336A (zh) * 2018-02-01 2020-09-15 普锐特冶金技术奥地利有限公司 用于识别冶金工业设施中的器具的设备和方法
US10795021B2 (en) * 2013-03-20 2020-10-06 Iee International Electronics & Engineering S.A. Distance determination method
CN112180397A (zh) * 2014-01-29 2021-01-05 Lg伊诺特有限公司 用于提取深度信息的装置及方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US10739460B2 (en) 2010-08-11 2020-08-11 Apple Inc. Time-of-flight detector with single-axis scan
AT511251B1 (de) * 2011-03-18 2013-01-15 A Tron3D Gmbh Vorrichtung zum aufnehmen von bildern von dreidimensionalen objekten
JP5760220B2 (ja) * 2011-04-11 2015-08-05 オプテックス株式会社 距離画像カメラおよびこれを用いた対象物の面形状認識方法
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
TWI478107B (zh) * 2011-11-29 2015-03-21 Hon Hai Prec Ind Co Ltd 票閘控制裝置及方法
JP6032587B2 (ja) * 2012-01-13 2016-11-30 パナソニックＩｐマネジメント株式会社 作業検知システム
US9696427B2 (en) * 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
CN105143820B (zh) 2013-03-15 2017-06-09 苹果公司 利用多个发射器进行深度扫描
WO2014179839A1 (en) * 2013-05-07 2014-11-13 Raedyne Systems Pty. Ltd. People and object counter method and system
US10291329B2 (en) * 2013-12-20 2019-05-14 Infineon Technologies Ag Exchanging information between time-of-flight ranging devices
DE102014201313A1 (de) 2014-01-24 2015-07-30 Myestro Interactive Gmbh Verfahren zur Erkennung einer Bewegungsbahn mindestens eines bewegten Objektes innerhalb eines Erfassungsbereiches, Verfahren zur Gestikerkennung unter Einsatz eines derartigen Erkennungsverfahrens sowie Vorrichtung zur Durchführung eines derartigen Erkennungsverfahrens
EP3204786B1 (en) * 2014-10-08 2020-01-08 Spookfish Innovations Pty Ltd. An aerial camera system
US9854226B2 (en) * 2014-12-22 2017-12-26 Google Inc. Illuminator for camera system having three dimensional time-of-flight capture with movable mirror element
US9613406B2 (en) * 2015-03-31 2017-04-04 Nokia Technologies Oy Method and apparatus for providing specular surface reconstruction
WO2016172960A1 (en) 2015-04-30 2016-11-03 SZ DJI Technology Co., Ltd. System and method for enhancing image resolution
GB201516701D0 (en) 2015-09-21 2015-11-04 Innovation & Business Dev Solutions Ltd Time of flight distance sensor
EP3505641A1 (en) 2015-12-18 2019-07-03 Paris Sciences et Lettres - Quartier Latin Optical device for measuring the position of an object
US10324171B2 (en) 2015-12-20 2019-06-18 Apple Inc. Light detection and ranging sensor
JP6699019B2 (ja) * 2016-01-28 2020-05-27 国立大学法人鳥取大学 壁面計測装置、飛行ロボットおよび壁面検査システム
WO2018128655A2 (en) 2016-09-25 2018-07-12 Okeeffe James Distributed laser range finder with fiber optics and micromirrors
US10578719B2 (en) * 2016-05-18 2020-03-03 James Thomas O'Keeffe Vehicle-integrated LIDAR system
US11340338B2 (en) 2016-08-10 2022-05-24 James Thomas O'Keeffe Distributed lidar with fiber optics and a field of view combiner
GB2570791B (en) 2016-05-18 2021-10-27 James Okeeffe A dynamically steered lidar adapted to vehicle shape
WO2018031830A1 (en) * 2016-08-10 2018-02-15 Okeeffe James Laser range finding with enhanced utilization of a remotely located mirror
US10298913B2 (en) 2016-08-18 2019-05-21 Apple Inc. Standalone depth camera
WO2018044958A1 (en) 2016-08-29 2018-03-08 Okeeffe James Laser range finder with smart safety-conscious laser intensity
WO2018126248A1 (en) 2017-01-02 2018-07-05 Okeeffe James Micromirror array for feedback-based image resolution enhancement
US10408940B2 (en) 2016-09-25 2019-09-10 James Thomas O'Keeffe Remote lidar with coherent fiber optic image bundle
WO2018064745A1 (en) 2016-10-03 2018-04-12 Sensotech Inc. Time of flight (tof) based detecting system for an automatic door
EP3682266A4 (en) * 2017-09-14 2021-06-09 Everysight Ltd. SYSTEM AND PROCEDURE FOR POSITION AND ORIENTATION TRACKING
JP7335034B2 (ja) * 2018-03-19 2023-08-29 日本電気株式会社 センサ装置、物品陳列棚及び生産管理システム
CN111144252B (zh) * 2019-12-17 2023-09-05 北京深测科技有限公司 一种用于人流分析的监控预警方法
DE102021116499A1 (de) 2021-06-25 2022-12-29 Ifm Electronic Gmbh Lichtlaufzeitkamerasystem mit hoher Lichtempfindlichkeit

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903355A (en) * 1994-03-31 1999-05-11 Erwin Sick Gmbh Optik-Elektronik Method and apparatus for checking a predetermined monitoring area
WO2005064525A1 (en) * 2003-12-30 2005-07-14 Kield Martin Kieldsen A method and apparatus for providing information relating to a body part of a person, such as for identifying the person
EP2073035A1 (en) * 2007-12-18 2009-06-24 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Recording of 3D images of a scene

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415126B2 (en) * 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
JP2000047311A (ja) * 1998-07-27 2000-02-18 Canon Inc 水中カメラ
AU1574899A (en) * 1998-12-16 2000-07-03 3Dv Systems Ltd. Self gating photosurface
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7904139B2 (en) * 1999-08-26 2011-03-08 Non-Invasive Technology Inc. Optical examination of biological tissue using non-contact irradiation and detection
US6642955B1 (en) * 2000-01-10 2003-11-04 Extreme Cctv Inc. Surveillance camera system with infrared and visible light bandpass control circuit
US20040001149A1 (en) * 2002-06-28 2004-01-01 Smith Steven Winn Dual-mode surveillance system
DE10232878B4 (de) * 2002-07-19 2012-02-23 Robert Bosch Gmbh Vorrichtung und Verfahren zur Distanzmessung
US20040179093A1 (en) * 2003-03-04 2004-09-16 Sabit Inan Remote camera system
JP4546956B2 (ja) * 2003-06-12 2010-09-22 本田技研工業株式会社 奥行き検出を用いた対象の向きの推定
DE102004044973B4 (de) * 2004-09-16 2014-12-04 Sick Ag Kontrolle eines Überwachungsbereiches
US7741961B1 (en) * 2006-09-29 2010-06-22 Canesta, Inc. Enhanced obstacle detection and tracking for three-dimensional imaging systems used in motor vehicles
WO2008048979A2 (en) * 2006-10-16 2008-04-24 Viaspace Security, Inc. Threat detection based on infra-red radiation contrast
DE102006055858A1 (de) * 2006-11-27 2008-05-29 Carl Zeiss Ag Verfahren und Anordnung zur Steuerung eines Fahrzeuges
AT505355B1 (de) * 2007-06-13 2009-04-15 Lechthaler Andreas Vorrichtung zur bestrahlung eines objektes, insbesondere der menschlichen haut, mit uv-licht
EP2018047A1 (en) * 2007-06-15 2009-01-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Method for contamination detection in a TOF range camera
EP2154650A1 (en) * 2008-08-12 2010-02-17 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. 3D time-of-flight camera system and position/orientation calibration method therefor
US20100141734A1 (en) * 2008-10-28 2010-06-10 Hitachi Maxell, Ltd. Imaging apparatus and optical axis correction method of imaging apparatus
CN102036010A (zh) * 2009-09-30 2011-04-27 鸿富锦精密工业（深圳）有限公司 影像处理系统及方法
CN102117526A (zh) * 2009-12-30 2011-07-06 鸿富锦精密工业（深圳）有限公司 监视系统、方法及具有该系统的监控装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903355A (en) * 1994-03-31 1999-05-11 Erwin Sick Gmbh Optik-Elektronik Method and apparatus for checking a predetermined monitoring area
WO2005064525A1 (en) * 2003-12-30 2005-07-14 Kield Martin Kieldsen A method and apparatus for providing information relating to a body part of a person, such as for identifying the person
EP2073035A1 (en) * 2007-12-18 2009-06-24 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Recording of 3D images of a scene

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10795021B2 (en) * 2013-03-20 2020-10-06 Iee International Electronics & Engineering S.A. Distance determination method
CN104748731A (zh) * 2013-12-27 2015-07-01 株式会社万都 车用tof相机及其驱动方法
CN112180397A (zh) * 2014-01-29 2021-01-05 Lg伊诺特有限公司 用于提取深度信息的装置及方法
CN112180397B (zh) * 2014-01-29 2023-07-25 Lg伊诺特有限公司 用于提取深度信息的装置及方法
CN105282501A (zh) * 2014-07-21 2016-01-27 罗伯特·博世有限公司 具有反射装置和对应模块的监视设备以及用于设置该监视设备的方法
CN107278272A (zh) * 2015-03-27 2017-10-20 英特尔公司 时空压缩飞行时间成像技术
CN111670336A (zh) * 2018-02-01 2020-09-15 普锐特冶金技术奥地利有限公司 用于识别冶金工业设施中的器具的设备和方法
CN110779681A (zh) * 2018-07-26 2020-02-11 发那科株式会社 检测光学系统异常的测距装置
US11525917B2 (en) 2018-07-26 2022-12-13 Fanuc Corporation Distance measuring apparatus which detects optical system abnormality
CN108873595A (zh) * 2018-09-12 2018-11-23 中国空气动力研究与发展中心超高速空气动力研究所 超高速飞行模型前光及阴影成像装置
CN108873595B (zh) * 2018-09-12 2023-10-31 中国空气动力研究与发展中心超高速空气动力研究所 超高速飞行模型前光及阴影成像装置

Also Published As

Publication number Publication date
US8878901B2 (en) 2014-11-04
EP2378310B1 (en) 2016-08-10
EP2378310A1 (en) 2011-10-19
US20110254928A1 (en) 2011-10-20
US9332246B2 (en) 2016-05-03
CN102253392B (zh) 2015-12-16
US20150042768A1 (en) 2015-02-12

Similar Documents

Publication Publication Date Title
CN102253392A (zh) 飞行时间摄像机单元和光学监视系统
US10371817B2 (en) Object detecting apparatus
US10739460B2 (en) Time-of-flight detector with single-axis scan
US11693115B2 (en) Determining positional information of an object in space
CN106030243B (zh) 距离测量装置和视差计算系统
EP2972081B1 (en) Depth scanning with multiple emitters
CN104898125B (zh) 用于汽车的低成本小型lidar
US9618622B2 (en) Optical object-detection device having a MEMS and motor vehicle having such a detection device
EP2453253B1 (en) A multi-directional active sensor system and a method for sensing electromagnetic radiation
RU2538418C2 (ru) Оптический дальномер
JP6340851B2 (ja) 物体検出装置及びセンシング装置
US20030066954A1 (en) Optoelectronic detection device
CN104142505A (zh) 具有目标感测单元用于目标跟踪和取向检测的激光跟踪仪
JP2014052366A (ja) 光計測装置、車両
EP2824418A1 (en) Surround sensing system
US9981604B2 (en) Object detector and sensing apparatus
US20200284882A1 (en) Lidar sensors and methods for the same
JP2016038211A (ja) レーザレーダ装置
CN108885260B (zh) 具有单轴扫描的渡越时间探测器
US8994943B2 (en) Selectivity by polarization
CN101930071A (zh) 侦测物体运动的装置及方法
CN109000584A (zh) 共轴收发探测装置
WO2011144458A1 (en) Imaging device for imaging a scene using time - of - flight and thermographic measurements
KR20200135131A (ko) 3차원 카메라 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: Swiss Rand Carle

Patentee after: CEDES SAFETY AND AUTOMATION AG

Address before: Swiss Rand Carle

Patentee before: Cedes Safety & Automation Ag

TR01 Transfer of patent right

Effective date of registration: 20190627

Address after: Swiss Arrau

Patentee after: Rockwell Automation Switzerland Co., Ltd.

Address before: Swiss Rand Carle

Patentee before: CEDES SAFETY AND AUTOMATION AG

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151216

Termination date: 20210413

CF01 Termination of patent right due to non-payment of annual fee