CN104919332A - 具有运动识别的光飞行时间照相机 - Google Patents

具有运动识别的光飞行时间照相机 Download PDF

Info

Publication number
CN104919332A
CN104919332A CN201380063711.7A CN201380063711A CN104919332A CN 104919332 A CN104919332 A CN 104919332A CN 201380063711 A CN201380063711 A CN 201380063711A CN 104919332 A CN104919332 A CN 104919332A
Authority
CN
China
Prior art keywords
time
flight
light
mode
light time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380063711.7A
Other languages
English (en)
Other versions
CN104919332B (zh
Inventor
罗伯特·兰格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PMDtechnologies AG
Original Assignee
PMDtechnologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PMDtechnologies AG filed Critical PMDtechnologies AG
Publication of CN104919332A publication Critical patent/CN104919332A/zh
Application granted granted Critical
Publication of CN104919332B publication Critical patent/CN104919332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种用于操作具有光飞行时间传感器(22)的光飞行时间照相机(1)的方法，该光飞行时间传感器具有包括至少两个积分节点(Ga、Gb)的光飞行时间像素的阵列，其中所述光飞行时间传感器(22)和照明装置(15)在3D模式下是利用调制信号来操作的，并且距离值(d)是由聚集在积分节点(Ga、Gb)上的电荷(q)来确定的，在节能模式下利用控制信号来操作光飞行时间传感器(22)用于识别运动，该控制信号的频率小于用于在3D模式下确定距离的调制信号的最小频率，其中根据在积分节点(Ga、Gb)上的差值(A-B)来确定物体运动。

Description

具有运动识别的光飞行时间照相机
技术领域
本发明涉及按照独立权利要求的范畴的一种具有运动识别的光飞行时间照相机和一种相应的方法。
背景技术
光飞行时间照相机尤其涉及光飞行时间照相机系统或者TOF照相机系统，所述光飞行时间照相机系统或者TOF照相机系统从发射和接收的射线的相位移获取飞行时间信息。具有光子混合探测器(PMD)的PMD照相机尤其适合于作为光飞行时间照相机或者TOF照相机，如所述PMD照相机还在申请EP1777747B1、US6587186B2和DE19704496C2中被描述并且例如可从公司“易福门电子有限公司”或者“PMD技术有限公司”作为帧接收器O3D或者作为CamCube或PMD[影像]CamBoardNano得到。PMD照相机尤其允许光源和探测器灵活布置，该光源和探测器不仅可以设置在一个壳体中而且可以分开设置。
发明内容
本发明的任务在于，在监控任务方面改善光飞行时间照相机的应用范围。
所述任务以有利的方式通过按照独立权利要求的范畴的根据本发明的光飞行时间照相机和一种相应的方法来实现。
特别有利地可设定一种用于操作具有光飞行时间传感器的光飞行时间照相机的方法，该光飞行时间传感器具有包括至少两个积分节点的光飞行时间像素的阵列，其中该光飞行时间传感器和照明装置在3D模式下是利用调制信号来操作的，并且距离值是由聚集在积分节点上的电荷来确定的，在节能模式下利用控制信号来操作光飞行时间传感器用于识别运动，该控制信号的频率小于用于在3D模式下确定距离的调制信号的最小频率，其中根据在积分节点上的差值来确定物体运动。
所述方法具有如下优点，即光飞行时间照相机可以利用同一个传感器在不同的识别模式下操作。除了纯距离测量之外，在节能模式下可以仅基于由运动的物体产生的亮度差别来识别这样的运动。
优选地设定，在节能模式下将差值与阈值进行比较并且将超出阈值识别为物体运动。
所述方法具有如下优点，即将运动识别基本上简化成评价差值并且无需额外的图像分析。
特别有利的是，一旦在节能模式下识别出物体运动，就从节能模式转换到3D模式。
节能模式在此尤其可以如此构成，使得光飞行时间照相机的照明装置未被激活并且运动识别仅依据存在的周围环境光来实施。此外也可想到，照明装置在节能模式下利用比在3D模式下更小的功率操作。此外，照明装置在节能模式下也不必强制调制，而是可以利用恒定光操作。如果照明装置在节能模式期间应当被进一步调制，则有利的是，照明装置的调制频率明显高于控制信号的频率，光飞行时间传感器利用该控制信号来操作。
优选地，在节能模式下控制信号的频率小于用于在3D模式下确定距离的调制信号的最小频率的10％。该工作方法一方面具有如下优点，即当照明装置以对应于3D模式的调制频率操作时，该照明装置不进一步干扰将亮度信号分成两个A通道和B通道。另一方面，通过控制信号的较低时钟频率得到在亮度变化时在两个积分节点之间的较大信号差。
在一种优选的设计方案中设定，在节能模式下以小于200Hz并且尤其小于50Hz的速率检测差值。如果应用允许的话，通过降低检测速率可以节约进一步的能量。在要求低的特定应用中也可想到1Hz的或者还要更长的检测速率。
同样有利的是，构造出用于实施上述方法之一的光飞行时间照相机。
附图说明
接下来根据实施例参照附图进一步阐述本发明。
其中示意性地示出：
图1示出光飞行时间照相机系统；
图2示出以光子学方式产生的载流子的调制的积分；
图3示出PMD像素的横截面；
图4示出对光飞行时间照相机系统的在时间上的驱控；
图5示出TOF传感器的一种典型操作；
图6示出根据本发明的对用于检测运动的光飞行时间传感器的在时间上的驱控；
图7示出可能的通道和差分图像的实例；
图8示出一种根据本发明的对于每个通道具有两个时钟脉冲的驱控；
图9示出一个具有唤醒模式的光飞行时间照相机的实施例。
具体实施方式
在接下来对优选实施方式的描述中，相同的附图标记标示相同或类似的部件。
图1示出利用光飞行时间照相机来光学测量距离的测量情况，该光飞行时间照相机例如由DE19704496C2已知。
光飞行时间照相机系统1包括具有照明光源12和配属于该照明光源的光束成形光学器件15的发射单元或者照明模块10以及具有接收用光学器件25和光飞行时间传感器22的接收单元、光飞行时间照相机或者TOF照相机20。光飞行时间传感器22具有光飞行时间像素的阵列并且尤其构成为PMD传感器。为了改善成像特性，接收用光学器件25典型地包括多个光学元件。发射单元10的光束成形光学器件15优选构成为反射器。不过也可以使用衍射元件或者由反射元件和衍射元件构成的组合。
该布置结构的测量原理主要基于，由发射的和接收的光的相位移出发可以确定发射的和反射的光的飞行时间。为了该目的，光源12和光飞行时间传感器22经由一个调制器30被共同加载特定的调制频率或者具有第一相位a的调制信号。光源12根据调制频率发射具有相位a的已调幅的信号。该信号或者电磁辐射在示出的情形下被物体40反射并且基于经过的路程相应地以第二相位b移过相位地入射到光飞行时间传感器22上。在光飞行时间传感器22中，调制器30的第一相位a的信号与接收到的具有取决于飞行时间的第二相位b的信号混合，其中，由合成的信号确定相位移或者说物体距离d。
为了更精确地确定第二相位b并且因此确定物体距离d，可以设定，使借以操作光飞行时间传感器22的相位a改变预定的相位移同等效果地也可以设定，使借以驱动照明装置的相位有针对性地移动。
测量相位的原理在图2中示意性示出。上面的曲线示出调制信号随时间变化的走向，在此无相位移地利用该调制信号驱控照明装置12和光飞行时间传感器22。被物体40反射的光b按照该光的光飞行时间tL移过相位地入射到光飞行时间传感器22上。光飞行时间传感器22将以光子学方式产生的电荷q在第一半调制周期期间聚集在第一积分节点Ga中并在第二半个周期中聚集在第二积分节点Gb中。电荷典型地在多个调制周期期间聚集或积分。由在第一和第二门Ga、Gb中聚集的电荷qa、qb的比例能够确定相位移并且因此确定物体的距离。
如由DE19704496C2已经已知的那样，例如通过所谓的IQ(同相位-正交)法可以确定被物体反射的光的相位移并且因此确定距离。为了确定距离，两次测量优选以调制信号的移动了90°的相位来实施、也就是例如和其中由在这些相位中确定的电荷差Δq(0°)、Δq(90°)可以经由已知的反正切关系来确定反射光的相位移。
此外为了改善精度，其它的测量可以以例如移动了180°的相位来实施。
当然也可想到具有多于四个相位及其多倍和相应调整的评价的测量。
图3示出一种光子混合探测器的像素的横截面，该光子混合探测器例如由DE19704496C2已知。调制光门Gam、G0、Gbm形成PMD像素的光敏区域。根据施加到调制门Gam、G0、Gbm上的电压，以光子学方式产生的电荷q转向一个或另一个与门或者积分节点Ga、Gb。
图3b示出电势变化曲线，其中，电荷q朝向第一积分节点Ga流下，而电势按照图3c使电荷q朝向第二积分节点Gb流动。电势按照施加的调制信号预设。按照使用情况，调制频率优选在1至100MHz的范围内。在调制频率例如为1MHz时得到一微秒的周期持续时间，从而调制电势相应地每隔500纳秒就变换。
此外，在图3a中示出读取单元400，该读取单元必要时已经可以是构成为CMOS的PMD光飞行时间传感器的组成部分。构成为电容或者二极管的积分节点Ga、Gb在多个调制周期上积分以光子学方式产生的电荷。然后施加到门Ga、Gb上的电压例如可以按已知的方式经由读取单元400高阻抗地被截取。积分时间优选可这样选择，使得为了期待的光量，光飞行时间传感器或者积分节点和/或感光区域未处于饱和。
此外已知其它的飞行时间原理，在这些原理中，感光区域例如具有遮光器(Shutter)，并且光飞行时间经由在由遮光器预定的积分时间内聚集的载流子确定。
所述TOF传感器的突出之处在于以下的共同点：1.传感器具有感光区域和不感光区域。2.传感器具有如下装置，该装置将光学生成的信号从感光区域通过电控制参数、例如电流、电压或者电荷移动到不同的存储区域(一个、两个或多个)。3.这些获得的信号必要时可以在缓存之后或者在缓存期间也已经被进一步处理。一个实例是通过在PMD传感器中的SBI电路(抑制背景照明)的差分成像。
通常，将这样的解调传感器用于ToF-3D距离测量，不过也可想到其它的应用，如荧光寿命显微术(FLIM)。但是在任何情况下，传感器用于(类似于锁定放大器)以振幅和相位来确定一定频率的光学信号。
图4示出一种通常用于TOF传感器的、并且尤其是用于按照图2的PMD传感器的典型的时间测定(Timing)。在此基于如下考虑，即电荷信号被按照积分节点Ga、Gb分成A通道和B通道。两个通道A、B的调制以180°的相位移来进行。对于在100MHz至20MHz之间的典型的调制频率，调制的周期时间在10ns至50ns之间。
图5示出TOF传感器的典型操作，其中，在TOF距离测量之间，在测量间歇中读取积分节点。上面的曲线示意性示出多个调制段，在这些调制段中，照明装置以不同的相位操作并且TOF传感器将以光子学方式产生的载流子在A通道和B通道或者相应的积分节点Ga、Gb中聚集或者解调。
按照应用情况，调制段或者距离测量的持续时间tE可以例如在200μs至10ms之间变化。在测量间歇中读取积分节点Ga、Gb，其中读取时间tR例如在500μs至1ms之间变化。
为了拍摄3D图像而需要至少两个差分相位图(A通道减去B通道)。不过典型地拍摄具有不同相位的四个相位图。
但是按照本发明设定，在不同的操作模式下驱控光飞行时间传感器，以便例如也能够节约能量并且尤其能够提供用于监控任务的准备模式。光飞行时间像素的分离特性用于拍摄场景的差分图像。这在最简单的情形下通过如下方式实现，即在图像拍摄的第一半中积分到节点A上并且在图像拍摄的第二半中积分到节点B上。该工作方法不强制局限于PMD传感器，而是原则上也可用于其它的TOF传感器。该原理同样可以在具有超过两个存储节点/获取节点的传感器中使用。
尤其有利的是，按照本发明的方法可以独立于光飞行时间照相机系统的照明装置来操作。如果周围环境足够明亮，那么对于按照本发明的运动识别而言不需要额外的光。在需要时可以将光飞行时间照相机系统的照明装置22接通。
图6示出多个这样的差分图像拍摄的上一级的时间测定、调制驱控和读取。不同于高频驱控A节点和B节点，在示出的情况下对于在检测时间tE之内的纯图像拍摄，A节点和B节点分别仅响应一次。这两个节点然后在检测时间tE之后被读取(读取/Readout R)并且被互相比较或者说形成差值A-B。
检测时间tE必要时可以按照当时的光强改变。也可以设定，检测时间tE的长度在相继的检测周期内变化。优选使用持续长于1ms的检测时间tE。也可以取决于应用在检测时段之间对间歇时段tP进行调整。例如如果希望运动检测具有20Hz的帧速率或者图像速率，那么例如可以选择10ms的检测时间tE和40ms的间歇时间tP，从而可以总体上每50ms、也就是以20Hz来检测差分图像。因此，在节能模式下，光飞行时间传感器不以常见的高频调制信号来驱控，而是以低频控制信号或者说开关信号来驱控，其中，在示出的实例中在每个门Ga、Gb的检测时段tE之内仅驱控一次。
在检测时间tE期间在第一半的检测时间tE/2内将控制信号或者电势施加在第一门Ga上并且在第二半tE/2中将控制信号施加在第二门Gb上，从而在光飞行时间传感器22的感光区域中以光子学方式产生的电荷q在检测时间的第一半中流向第一门或者积分节点Ga，而在第二半中流向第二积分节点Gb并且在那里累积。在随后的间歇tP中，在两个门Ga、Gb上累积的电荷被读取R并且电荷差Δq或者相应的电学参数ΔU、ΔI被确定。帧速率1/tF或者帧长度tF由检测时间tE和间歇时间tP之和得出。
在图7中示例性地依据运动的和不运动的手示出由差值出发的运动识别的基本构思。如果在要成像的场景内不存在运动，那么节点A和节点B的图像是相同的。在忽略所有噪音参数的情况下，差分成像趋于零。如果在拍摄图像期间存在运动，那么在像素的A节点中或者A存储器中存储有不同于在B节点或者B存储器中的图像。差分成像“A-B”得出不等于“零”的差分图像。
针对单个的光飞行时间像素，“其它的图像”是指在物体运动时物体亮度改变并且因此光流和在像素中以光子学方式产生的载流子的量改变。如果物体不运动，那么物体亮度保持不变。对称驱控的积分节点Ga、Gb因此累积同样多的载流子并且在两个积分节点Ga、Gb之间的差值是零。在物体运动时，亮度值变化，从而对称驱控的积分节点Ga、Gb累积不同的电荷量并且差值不等于零。
如在图8中示例性所示的那样，当电荷积分在检测时间之内多次在积分节点Ga、Gb之间变化时，亮度变化的识别原则上也起作用。但是随着时钟速率或者控制信号的频率的增加，结果是在两个积分节点之间的电荷差减小，从而控制信号在节能模式下的时钟频率应当优选保持小于在3D模式下的调制频率。
如果差分图像或差值超过特定应用的阈值，则这会被识别为运动。为了评价，例如可以将所有检测到的、可能作为电压值而存在的差值求和。如果超过预设的阈电压，则这可以被识别为用于运动的信号。
最终，在提出的评价中不必要的是，评价单元或者图像检测装置从累积在积分节点Ga、Gb上的载流子出发生成2D图像。仅关注光飞行时间像素的积分节点Ga、Gb的电荷差对于识别运动就足够了。
该方法能够用于整个图像传感器或者也可以用于传感器的部分区域。因此尤其可以设定，对特别重要的或者优选的区域、所谓的感兴趣区域进行监控。也可以使用子采样模式，在该子采样模式下例如仅每N行读取一行和/或每N列读取一列。也可想到，为了特别重要的监控而提高图像检测的时钟速率、例如提高到超过每秒50个图像。
所述方法可以采用激活的照明装置或者无源地使用。如果存在足够的周围环境的照明，那么无需激活的照明装置也可以识别运动。
在激活的照明装置的情况下，可以对该照明装置进行HF调制、但并非必须进行该调制。重要的是确保所述激活的照明装置在第一拍摄半部(A)期间具有与在第二拍摄半部(B)期间相同的强度。否则适于校准。
一种可能的应用是将3D照相机从节能模式或者说低功耗模式或待机模式唤醒至激活的操作模式，例如为了在移动终端设备中经由3D照相机进行应用如手势操作。这种工作方法在图9中示例性地示出。在节能模式下针对运动而监控周围环境。对此例如可以将激活的、调制的照明装置解除激活或者可以以小的功率来操作该照明装置，此外也可以设定，相比于常规操作，测量间歇以更大的时间间隔来操作。如果识别出手势，那么光飞行时间照相机切换到3D拍摄模式
此外可以设定，在不使用3D照相机时、也就是说当在预设的时间段内未识别出活动、手势、距离变化等时，那么3D照相机转换到节能模式。
除了至此描述的使用调制驱控之外，也可以将单独驱控用于A通道和B通道的读取切换(复位/保持)，以便拍摄差分图像。
附图标记列表
10      发射单元
12      照明光源
15      光束成形光学器件
20      接收单元、TOF照相机
22       光飞行时间传感器
24       光飞行时间像素
25       接收用光学器件
30       调制器
40       物体
400      读取单元
Gam、G0、Gbm  调制光子门
Ga、Gb     积分节点
q       电荷
qa、qb     在积分节点Ga、Gb上的电荷

Claims (6)

1.一种用于操作具有光飞行时间传感器(22)的光飞行时间照相机(1)的方法，该光飞行时间传感器具有包括至少两个积分节点(Ga、Gb)的光飞行时间像素的阵列，其中所述光飞行时间传感器(22)和照明装置(15)在3D模式下是利用调制信号来操作的，并且距离值(d)是由聚集在积分节点(Ga、Gb)上的电荷(q)来确定的，其特征在于，在节能模式下利用控制信号来操作光飞行时间传感器(22)用于识别运动，该控制信号的频率小于用于在3D模式下确定距离的调制信号的最小频率，其中根据在积分节点(Ga、Gb)上的差值(A-B)来确定物体运动。
2.根据权利要求1所述的方法，其特征在于，在节能模式下将差值(A-B)与阈值进行比较并且将超出阈值识别为物体运动。
3.根据上述权利要求之一所述的方法，其特征在于，一旦在节能模式下识别出物体运动，就从节能模式转换到3D模式。
4.根据上述权利要求之一所述的方法，其特征在于，在节能模式下利用相对于3D模式更小的检测速率进行差值(A-B)的检测。
5.根据上述权利要求之一所述的方法，其特征在于，在节能模式下，控制信号的频率小于用于在3D模式下确定距离的调制信号的最小频率的10％。
6.一种具有光飞行时间传感器(22)的光飞行时间照相机(1)，该光飞行时间传感器具有包括至少两个积分节点(Ga、Gb)的光飞行时间像素的阵列，其中该光飞行时间照相机被如此设置，使得在3D模式下调制器(30)提供调制信号，照明装置(15)根据该调制信号发射调制过的光并且光飞行时间传感器(22)将检测到的光解调用于确定距离值，其特征在于，所述光飞行时间照相机(1)被构造成用于实施上述的方法之一。
CN201380063711.7A 2012-12-17 2013-12-11 具有运动识别的光飞行时间照相机 Active CN104919332B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102012223451 2012-12-17
DE102012223451.9 2012-12-17
PCT/EP2013/076295 WO2014095539A1 (de) 2012-12-17 2013-12-11 Lichtlaufzeitkamera mit einer bewegungserkennung

Publications (2)

Publication Number Publication Date
CN104919332A true CN104919332A (zh) 2015-09-16
CN104919332B CN104919332B (zh) 2017-04-05

Family

ID=49999869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380063711.7A Active CN104919332B (zh) 2012-12-17 2013-12-11 具有运动识别的光飞行时间照相机

Country Status (4)

Country Link
US (1) US9625569B2 (zh)
CN (1) CN104919332B (zh)
DE (1) DE102013225676B4 (zh)
WO (1) WO2014095539A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107037445A (zh) * 2015-12-09 2017-08-11 波音公司 光检测和测距（lidar）成像系统和方法
CN107454316A (zh) * 2017-07-24 2017-12-08 艾普柯微电子（上海）有限公司 运动检测方法及装置
CN109814083A (zh) * 2018-11-14 2019-05-28 深圳市光微科技有限公司 电流辅助光子解调型像素单元、背照式图像传感器芯片、成像系统、形成方法和测算方法
CN110709722A (zh) * 2017-04-04 2020-01-17 Pmd技术股份公司 飞行时间摄像机

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2938262A4 (en) 2012-12-31 2016-08-24 Omni Medsci Inc SHORT-WAVE INFRARED SUPER CONTINUOUS LASER FOR THE EARLY RECOGNITION OF CARIES
US10660526B2 (en) 2012-12-31 2020-05-26 Omni Medsci, Inc. Near-infrared time-of-flight imaging using laser diodes with Bragg reflectors
WO2014143276A2 (en) 2012-12-31 2014-09-18 Omni Medsci, Inc. Short-wave infrared super-continuum lasers for natural gas leak detection, exploration, and other active remote sensing applications
WO2014105520A1 (en) 2012-12-31 2014-07-03 Omni Medsci, Inc. Near-infrared lasers for non-invasive monitoring of glucose, ketones, hba1c, and other blood constituents
US9392254B2 (en) * 2014-02-28 2016-07-12 John Clinton Barkley Game sizing camera
US9785824B2 (en) * 2014-04-15 2017-10-10 Infineon Technologies Ag Apparatus and a method for detecting a motion of an object in a target space
US9971023B2 (en) * 2015-05-04 2018-05-15 Infineon Technologies Ag Systems and methods for time of flight measurement using a single exposure
DE102017206672B4 (de) 2016-04-20 2023-08-24 pmdtechnologies ag Schaltung zum Betreiben einer Lichtquelle
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
DE102017206673B4 (de) 2017-04-20 2023-08-24 pmdtechnologies ag Schaltung zum Betreiben einer Lichtquelle
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
ES2974313T3 (es) * 2017-09-20 2024-06-26 Essity Hygiene & Health Ab Un dispensador para suministrar un producto higiénico y un método para operar el mismo
CN107745697A (zh) 2017-11-16 2018-03-02 北京图森未来科技有限公司 一种自动清洁系统及方法
AU2019206509A1 (en) 2018-01-09 2020-07-23 Tusimple, Inc. Real-time remote control of vehicles with high redundancy
WO2019140277A2 (en) 2018-01-11 2019-07-18 TuSimple Monitoring system for autonomous vehicle operation
CN108270970B (zh) 2018-01-24 2020-08-25 北京图森智途科技有限公司 一种图像采集控制方法及装置、图像采集系统
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US10924692B2 (en) 2018-05-08 2021-02-16 Microsoft Technology Licensing, Llc Depth and multi-spectral camera
US10996335B2 (en) 2018-05-09 2021-05-04 Microsoft Technology Licensing, Llc Phase wrapping determination for time-of-flight camera
US10607352B2 (en) 2018-05-17 2020-03-31 Microsoft Technology Licensing, Llc Reduced power operation of time-of-flight camera
US10565728B2 (en) 2018-06-01 2020-02-18 Tusimple, Inc. Smoothness constraint for camera pose estimation
DE102018131201A1 (de) * 2018-06-21 2019-12-24 pmdtechnologies ag Lichtlaufzeitkamerasystem mit einer einstellbaren optischen Ausgangsleistung
US11023742B2 (en) 2018-09-07 2021-06-01 Tusimple, Inc. Rear-facing perception system for vehicles
US11019274B2 (en) 2018-09-10 2021-05-25 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
CN112689586B (zh) 2018-09-13 2024-04-16 图森有限公司 远程安全驾驶方法和系统
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
US11245875B2 (en) 2019-01-15 2022-02-08 Microsoft Technology Licensing, Llc Monitoring activity with depth and multi-spectral camera
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
CN112213730B (zh) 2019-07-10 2024-05-07 睿镞科技(北京)有限责任公司 三维测距方法和装置
CN112415487B (zh) * 2019-08-23 2024-04-16 光宝电子(广州)有限公司 基于飞行时间测距的运算装置、感测装置及处理方法
CN111158005B (zh) * 2019-12-30 2023-04-07 福瑞泰克智能系统有限公司 一种测距方法、装置及设备
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
FR3111434B1 (fr) * 2020-06-11 2022-11-11 Continental Automotive Procédé de mise en œuvre d’un dispositif LIDAR avec descripteurs
US11108957B1 (en) 2020-06-17 2021-08-31 Microsoft Technology Licensing, Llc Low power operation of differential image sensor pixels
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
US11932238B2 (en) 2020-06-29 2024-03-19 Tusimple, Inc. Automated parking technology
EP3964862B1 (en) * 2020-09-03 2024-05-01 Infineon Technologies AG Method and apparatus for detecting motion in a scene using a time-of-flight sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1432126A (zh) * 2000-03-31 2003-07-23 奥谢尔有限公司 成象测量方法,成象测量设备和测量信息在过程控制中的使用
US20040233416A1 (en) * 2001-08-06 2004-11-25 Gunter Doemens Method and device for recording a three-dimensional distance-measuring image
CN102694998A (zh) * 2011-03-24 2012-09-26 三星电子株式会社 深度传感器、深度信息误差补偿方法及信号处理系统
CN102741702A (zh) * 2009-12-21 2012-10-17 美萨影像股份公司 飞行时间相机系统的杂散光补偿方法和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496C2 (de) 1996-09-05 2001-02-15 Rudolf Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
US6448572B1 (en) * 1999-09-29 2002-09-10 Innovative Technology Licensing, Llc Ranging three-dimensional laser imager and method
US6587186B2 (en) 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
WO2004021546A2 (de) 2002-08-09 2004-03-11 Conti Temic Microelectronic Gmbh Verkehrsmittel mit einer 3d-entfernungsbildkamera und verfahren zu dessen betrieb
DE102005045484A1 (de) * 2005-07-29 2007-02-01 Cedes Ag Sensorvorrichtung
EP1777747B1 (en) 2005-10-19 2008-03-26 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
DE102011089629B4 (de) * 2010-12-22 2022-08-04 pmdtechnologies ag Lichtlaufzeitkamera und Verfahren zum Betreiben einer solchen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1432126A (zh) * 2000-03-31 2003-07-23 奥谢尔有限公司 成象测量方法,成象测量设备和测量信息在过程控制中的使用
US20040233416A1 (en) * 2001-08-06 2004-11-25 Gunter Doemens Method and device for recording a three-dimensional distance-measuring image
CN102741702A (zh) * 2009-12-21 2012-10-17 美萨影像股份公司 飞行时间相机系统的杂散光补偿方法和系统
CN102694998A (zh) * 2011-03-24 2012-09-26 三星电子株式会社 深度传感器、深度信息误差补偿方法及信号处理系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
STEPHAN HUSSMANN ET AL.: "Real-time motion supression in TOF range images", 《INSTRUMENTATION AND MEASUREMENT TECHNOLOGY CONFERENCE(I2MTC)》 *
王凤梅 等: "光反射材料对飞行时间探测器性能的影响", 《高能物理与核物理》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107037445A (zh) * 2015-12-09 2017-08-11 波音公司 光检测和测距（lidar）成像系统和方法
CN107037445B (zh) * 2015-12-09 2022-01-14 波音公司 光检测和测距(lidar)成像系统和方法
CN110709722A (zh) * 2017-04-04 2020-01-17 Pmd技术股份公司 飞行时间摄像机
CN110709722B (zh) * 2017-04-04 2023-11-24 Pmd技术股份公司 飞行时间摄像机
CN107454316A (zh) * 2017-07-24 2017-12-08 艾普柯微电子（上海）有限公司 运动检测方法及装置
CN107454316B (zh) * 2017-07-24 2021-10-15 艾普柯微电子(江苏)有限公司 运动检测方法及装置
CN109814083A (zh) * 2018-11-14 2019-05-28 深圳市光微科技有限公司 电流辅助光子解调型像素单元、背照式图像传感器芯片、成像系统、形成方法和测算方法

Also Published As

Publication number Publication date
US20150338509A1 (en) 2015-11-26
US9625569B2 (en) 2017-04-18
WO2014095539A1 (de) 2014-06-26
DE102013225676B4 (de) 2018-06-07
CN104919332B (zh) 2017-04-05
DE102013225676A1 (de) 2014-06-18

Similar Documents

Publication Publication Date Title
CN104919332A (zh) 具有运动识别的光飞行时间照相机
EP3367661B1 (en) Method and system for using light emissions by a depth-sensing camera to capture video images under low-light conditions
US9784822B2 (en) Time of flight sensor binning
US9316735B2 (en) Proximity detection apparatus and associated methods having single photon avalanche diodes for determining a quality metric based upon the number of events
CN109791205B (zh) 用于从成像阵列中的像素单元的曝光值减除背景光的方法以及用于该方法的像素单元
EP3690475A1 (en) Histogram-based signal detection with sub-regions having adapted bin widths
CN109490903B (zh) 距离测量装置
EP2594959B1 (en) System and method for multi TOF camera operation using phase hopping
KR101753312B1 (ko) 뎁스 영상 생성 장치 및 방법
US11668826B2 (en) Photodetector
EP3379291A1 (en) Imaging device and solid-state imaging element used in same
EP2018041B1 (en) On-chip time-based digital conversion of pixel outputs
US11428786B2 (en) Dual waveforms for three-dimensional imaging systems and methods thereof
CN108139483A (zh) 用于确定到对象的距离的系统和方法
EP2017651A2 (en) Reference pixel array with varying sensitivities for TOF sensor
KR102212940B1 (ko) 차량에서 조작자의 제스처를 검출하기 위한 센서 장치
EP3370226B1 (en) Method for sensing light being incident on an electronic device
JP2008506927A (ja) 交通安全システム
CN110121659A (zh) 用于对车辆的周围环境进行特征描述的系统
KR101851732B1 (ko) Ｓｍｉ 센서 및 대응하는 센서 디바이스를 동작시키는 방법
JP6894775B2 (ja) 測距システム及びその制御方法
JP7094937B2 (ja) 飛行時間型深度画像化システムの内蔵較正
CN114252866A (zh) 激光雷达的探测方法及激光雷达
EP4016124A1 (en) Time of flight calculation with inter-bin delta estimation
CN113167901A (zh) 利用强度信息的三维成像

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Siegen, Germany

Applicant after: PMD Technology Ag

Address before: Siegen, Germany

Applicant before: Pmdtechnologies GmbH

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant