CN110456380B - 飞行时间传感相机及其深度检测方法 - Google Patents

飞行时间传感相机及其深度检测方法 Download PDF

Info

Publication number
CN110456380B
CN110456380B CN201910701281.6A CN201910701281A CN110456380B CN 110456380 B CN110456380 B CN 110456380B CN 201910701281 A CN201910701281 A CN 201910701281A CN 110456380 B CN110456380 B CN 110456380B
Authority
CN
China
Prior art keywords
detection
depth
range
target area
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910701281.6A
Other languages
English (en)
Other versions
CN110456380A (zh
Inventor
梅健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruyu Intelligent Technology Suzhou Co ltd
Original Assignee
Ruyu Intelligent Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruyu Intelligent Technology Suzhou Co ltd filed Critical Ruyu Intelligent Technology Suzhou Co ltd
Priority to CN201910701281.6A priority Critical patent/CN110456380B/zh
Publication of CN110456380A publication Critical patent/CN110456380A/zh
Application granted granted Critical
Publication of CN110456380B publication Critical patent/CN110456380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Abstract

本发明涉及一种飞行时间传感相机及其深度检测方法,所述深度检测方法包括:采用第一检测策略获取视场内各位置处的第一深度信号;根据视场内至少一个目标区域各位置处的第一深度信号,确定第二检测策略,以第二检测策略至少一次获取目标区域内各位置处的检测信号,并自至少一次获取的检测信号以及第一深度信号内选择目标区域各位置处的第二深度信号,所述第二深度信号均位于阈值范围内,以第二深度信号获取目标区域深度信息;将检测量程调整至小于目标区域所在的深度范围,获取目标区域的前景范围内的待测物体的深度信息;将检测量程调整至大于目标区域所在的深度范围,获取目标区域的背景范围内的待测物体的深度信息。上述方法能够提高检测精度。

Description

飞行时间传感相机及其深度检测方法
技术领域
本发明涉及距离传感领域,尤其涉及一种飞行时间传感相机及其深度检测方法。
背景技术
飞行时间法(Time Of Flight,TOF)通过测量仪器发出的脉冲信号从发射到接收的时间间隔或激光往返被测物体一次所产生的相位来实现对被测物体的三维结构或三维轮廓的测量。TOF测量仪器可同时获得灰度图像和距离图像,广泛应用在体感控制、行为分析、监控、自动驾驶、人工智能、机器视觉和自动3D建模等诸多领域。
飞行时间(TOF)传感器一般包括:光源模块和感光模块;所述光源模块用于发射特定波段和频率的脉冲检测光,所述检测光在被测物体的表面发生反射,反射光被所述感光模块所接收;所述感光模块根据发射光波和接收光波之间的时间差或者相位差计算出被测物体的距离信息。
飞行时间传感器获取的图像效果受到被测物体反射系数以及环境光的影响,在单次测量过程中,对视场内的各区域采用相同光强的检测光照射,容易产生部分区域物体曝光过度,而部分区域物体则会曝光不足的问题,严重影响图形质量。现有技术中可以通过调整检测光的功率,获取多张不同曝光的图片,然后再用将它们组合成一张图片,最终得到一张视场内各物体曝光都合适的图像;或者通过调整检测光的光功率,保证高反射系数物体不过曝,以及低反射物体的检测信号具有一定的信噪比,从而提高距离检测的精确度。
但是,对于现有技术中需要进行多次检测,并且对整个视场内的所有位置处深度信息进行处理,计算量大,功耗较高,且无法实现不同深度区域内的精度调整。
发明内容
本发明所要解决的技术问题是,提供一种飞行时间传感相机及其检测方法,在较低功耗的前提下,对目标区域获取较高的检测精度。
为了解决上述问题,本发明提供了一种飞行时间传感相机的深度检测方法,包括采用第一检测策略获取视场内各位置处的第一深度信号;根据所述视场内至少一个目标区域各位置处的第一深度信号,确定第二检测策略,将检测量程调整至包括所述目标区域所在的深度范围,以所述第二检测策略至少一次获取所述目标区域内各位置处的检测信号,并自所述至少一次获取的检测信号以及第一深度信号内选择所述目标区域各位置处的第二深度信号,所述各位置处的第二深度信号均位于阈值范围内,以所述第二深度信号获取所述目标区域的深度信息;将检测量程调整至小于所述目标区域所在的深度范围,获取所述目标区域的前景范围内的待测物体的深度信息;将检测量程调整至大于所述目标区域所在的深度范围,获取所述目标区域的背景范围内的待测物体的深度信息。
可选的,通过将检测光脉冲延迟,使检测光量程后移,将检测量程调整至所述目标区域所在的深度范围以及将检测量程调整至大于所述目标区域所在的深度范围。
可选的,通过两个以上检测帧获取所述目标区域的前景范围内的待测物体的深度信息;通过两个以上检测帧获取所述目标区域的背景范围内的待测物体的深度信息
可选的,所述目标区域包括多个子区域,所述第二检测策略包括与各子区域对应的多个子策略,以每个子策略所获取的对应子区域的检测信号均位于所述阈值范围内。
可选的,所述目标区域的选择方法包括:根据所述第一深度信号获取视场内各位置处的深度以及深度轮廓,以符合目标物形状的深度轮廓所在区域作为目标区域;或者根据用户的设定,选择部分像素单元所在区域对应的视场区域作为目标区域。
本发明的技术方案还提供一种飞行时间传感相机,包括:控制模块,用于以第一检测策略设置检测参数;传感模块,与所述控制模块连接,用于获取视场内各位置处与所述第一检测策略对应的第一深度信号;处理模块,与所述控制模块和所述传感模块连接,用于根据所述视场内至少一个目标区域各位置处的第一深度信号确定第二检测策略,将检测量程调整至包括所述目标区域所在的深度范围;所述控制模块还用于以所述第二检测策略设置检测参数;所述传感模块还用于至少一次获取所述目标区域内各位置处的与所述第二检测策略对应的检测信号;所述处理模块还用于自所述至少一次获取的检测信号以及第一深度信号内选择所述目标区域各位置处的第二深度信号,所述各位置处的第二深度信号均位于阈值范围内,以所述第二深度信号获取所述目标区域的深度信息;所述控制模块还用于将检测量程调整至小于所述目标区域所在的深度范围以及将检测量程调整至大于所述目标区域所在的深度范围;所述处理模块还用于分别获取所述目标区域的前景范围内的待测物体的深度信息和所述目标区域的背景范围内的待测物体的深度信息。
可选的,所述控制模块用于通过将检测光脉冲延迟,使检测光量程后移,将检测量程调整至所述目标区域所在的深度范围以及将检测量程调整至大于所述目标区域所在的深度范围。
可选的,所述处理模块用于通过两个以上检测帧获取所述目标区域的前景范围内的待测物体的深度信息以及通过两个以上检测帧获取所述目标区域的背景范围内的待测物体的深度信息。
可选的,所述目标区域包括多个子区域,所述第二检测策略包括与各子区域对应的多个子策略,以每个子策略所获取的对应子区域的检测信号均位于所述阈值范围内。
可选的,所述处理模块还用于根据所述第一深度信号获取视场内各位置处的深度以及深度轮廓,以符合目标物形状的深度轮廓所在区域作为目标区域,或者根据用户的设定选择部分像素单元所在区域对应的视场区域作为目标区域。
本发明飞行时间传感相机及其深度检测方法针对目标区域进行检测策略的调整,并根据调整后的检测策略获取至少一帧检测信号,通过数据处理,获取目标区域各位置处均位于阈值范围内的第二深度信号。由于检测策略的调整,针对目标区域,能够使得目标区域获得更高的检测精度,并且减少数据处理量,降低功耗。并且,针对目标区域、前景以及背景分别调整检测量程,从而在各个深度范围内均能获取较高的检测精度。
附图说明
图1为本发明一具体实施方式的飞行时间传感相机的深度检测方法的流程示意图;
图2为本发明一具体实施方式的与第一检测策略对应的曝光效果示意图;
图3为本发明一具体实施方式的选定目标区域的曝光效果示意图;
图4为本发明另一具体实施方式的选定目标区域的曝光效果示意图;
图5为本发明另一具体实施方式的飞行时间传感相机的结构示意图。
具体实施方式
下面结合附图对本发明提供的飞行时间传感相机及其深度检测方法的具体实施方式做详细说明。
如背景技术中所述,现有技术中针对检测过程中的局部过曝或局部信号过弱的情况需要进行多次检测,并且对整个视场内的所有位置处深度信息进行处理,计算量大,功耗较高。
并且,由于检测精度与检测光的强度等参数相关,光强越大,获得的深度信号信噪比越大,检测精度越大;而对于过曝区域则需要降低光强,现有技术需要全面平衡整个视场的曝光程度以及检测精度,使得检测光光强等参数的调整范围受到限制。而在实际的检测过程中,在某些场景下,整个视场内仅有部分区域是需要关注的区域,例如对于人员探测,如果采用现有技术,虽然能够克服视场内的高动态成像问题,但是对于关注区域却未必能够获得最佳的检测精度。
所述飞行时间传感相机包括传感模块、光源模块以及数据处理模块,所述光源模块用于发出经过调制的检测光,所述传感模块用于接收反射光,所述数据处理模块通过对传感模块接收的发射光信号进行处理,可以得到被测物体的深度信息。
请参考图1,为本发明的具体实施方式的深度检测方法的流程示意图,包括步骤S101~S106。
步骤S101:采用第一检测策略获取视场100(请参考图2)内各位置处的第一深度信号。
所述检测策略包括检测光光强、、检测光脉宽、曝光时间、检测量程中的至少一个参数。在一个具体实施方式中,可以采用脉冲检测光进行检测,所述脉冲检测光采用矩形脉冲,脉冲宽度决定了可检测的量程。在其他具体实施方式中,所述检测光也可以采用连续调制波。
所述飞行时间传感相机包括像素单元阵列,所述像素单元阵列包括多个像素单元。所述视场内每一个位置对应于一个像素单元。
所述飞行时间传感相机的检测视场大小由所述像素阵列以及透镜视角决定。检测视场内物体的反射光被所述像素阵列的像素单元接收,反射光由像素单元的感光元件接收,产生与反射光强对应的电荷量,并通过两个电容依次收集感光元件上产生的电荷,从而获取与电荷量对应的电信号,根据所述电信号可以得到该像素单元对应的视场内位置的深度信息。每个电容具有收集电荷量的阈值范围,如果产生的电荷数量超过阈值范围上限,就会产生过曝问题;如果小于阈值范围的下限,则会曝光不足;过曝或曝光不足均无法准确获取距离信息。
所述第一检测策略的具体参数可以由用户预先设定。在所述飞行时间传感器开始检测时,首先通过第一检测策略获取至少一帧的检测数据,包括各个位置处的第一深度信号。所述第一深度信号,可以是各个像素单元接收反射光后产生的电信号,或者是进一步对所述电信号进行处理后的距离信息。所谓一帧的检测数据,表示仅获取检测光的一个脉冲波形照射到被测物体上产生的反射光对应的检测数据。在以所述第一检测策略进行检测时,所述检测量程较大,尽量覆盖整个检测视场内的待测物体。
同一视场内的不同物体具有不同的表面反射率,例如白色物体的反射率较大,对应的像素单元接收反射光后产生的电荷数量较多,容易产生过曝问题;而深色物体的反射率较低,对应的像素单元接收反射光后产生的电荷数量较少,容易产生曝光不足的问题。通过第一检测策略获取至少一帧的检测数据,能够初步判断,在当前的第一检测策略下,视场内哪些位置处出现过曝问题,哪些位置处出现了曝光不足的问题。这些过曝以及曝光不足位置处检测得到的距离信息的准确性较差。图1中,通过第一检测策略获取的一帧检测数据中,初步判断视场100内存在过曝区域A1和A2,以及曝光不足区域B1和B2。
步骤S102:根据所述视场100内至少一个目标区域各位置处的第一深度信号,确定第二检测策略。
首先需要在视场内设定至少一个目标区域101。
所述飞行时间传感相机可以向用户提供一个显示视场的,取景画面。在一些具体实施方式中,所述飞行时间传感相机上可以设置有取景器,用户可以通过所述取景器预览所述取景画面,即所述飞行时间传感的检测视场画面。在另一具体实施方式中,所述飞行时间传感相机还包括显示屏,可以通过S101步骤中,第一检测策略获取的各位置处的第一深度信号而形成的具有深度轮廓的画面,并且通过所述显示屏显示,作为取景画面。在另一具体实施方式中,所述飞行时间传感相机还可以具有光学成像功能,通过光学成像方式在显示屏上显示预览图像。用户可以根据所述取景画面内容,通过手动设置,选择部分像素单元所在区域对应的视场区域作为目标区域,即划定取景画面内的某一个或多个区域作为目标区域。
在其他具体实施方式中,可以根据所述飞行时间传感相机的应用场景,自动选定目标区域。具体的可以根据步骤S101中获取的所述第一深度信号获取视场内各位置处的深度以及深度轮廓,以符合目标物形状的深度轮廓所在区域作为目标区域。例如,所述飞行时间传感相机主要用于人物距离检测,那么,可以通过S101步骤中获取的第一深度信号形成的深度轮廓图像,当出现符合人脸特征形状的深度轮廓,例如圆形(人脸形状),可以将该圆形及其以下区域均作为目标区域。当视场内出现多个目标物时,可以设定多个目标区域。
本领域技术人员,可以根据检测需求合理的设置目标区域。
在确定所述目标区域后,根据所述目标区域内各位置处的第一深度信号,确定第二检测策略。
在一个具体实施方式中,所述目标区域内各位置处的第一深度信号均未发生过曝或曝光不足的问题,那么可以继续将步骤S101中采用的第一检测策略中的光强设定作为后续检测的第二检测策略中的光强设定。所述第二检测策略还将检测量程调整至包括所述目标区域所在的深度范围。例如,通过第一深度信号可以初步判断目标区域内待测物体所在的深度范围为a~b,那么第二检测策略中,将检测量程调整至a’~b’,其中,a’≤a,b’≥b,通过调整检测量程,可以提高该目标区域所在深度范围内的检测精度。
在另一具体实施方式中,所述目标区域内各位置处的第一深度信号中,仅局部有过曝或者曝光不足问题,那么该具体实施方式中,可以在第一检测策略的各项参数基础上,适当降低检测光强度和/或降低曝光时间(即电荷累积时间),形成第二检测策略,以使得再次检测时,原本过曝的区域产生的深度信号处于阈值范围内。
所述目标区域可以包括多个子区域,所述第二检测策略包括与各子区域对应的多个子策略,每个子策略所获取的对应子区域的检测信号均位于所述阈值范围内。
请参考图3,在该具体实施方式中,所述目标区域101内包括一过曝区域A2、曝光不足区域B1,其他区域曝光程度合适。那么,该目标区域101可以被划分为三个子区域,分别为过曝区域A2、曝光不足区域B1以及其他曝光合适区域。针对所述过曝区域A2,可以在第一检测策略的各项参数基础上,适当降低检测光强度和/或减少曝光时间,形成子策略1,以使得再次检测时,过曝区域A2产生的深度信号能够下降至阈值范围内。针对曝光不足区域B1,可以在第一检测策略的各项参数基础上,适当提高检测光强度或提高曝光时间,形成子策略2,以使得再次检测时,曝光不足区域B1的深度信号能够增大至阈值范围内。而针对其他曝光合适区域,则可以继续采用第一检测从策略作为子策略3,或者适当降低曝光时间,以获得更大的信噪比,提高检测精度。
请参考图4,在该具体实施方式中,视场200的目标区域201内仅包括一个过曝区域C2,其他区域曝光程度合适。那么,该目标区域201可以被划分为两个子区域,分别为过曝区域C2以及其他曝光合适区域。针对所述过曝区域C2,可以在第一检测策略的各项参数基础上,适当降低检测光强度和/或减少曝光时间,形成子策略1,以使得再次检测时,过曝区域C2产生的深度信号能够下降至阈值范围内。而针对其他曝光合适区域,则可以继续采用第一检测从策略作为子策略2,或者适当降低曝光时间,以获得更大的信噪比,提高检测精度。
在另一具体实施方式中,如果选择的目标区域超出了第一检测策略中检测光的检测量程,那么,需要在第二检测策略中,调整检测光的脉宽,以使得目标区域内各位置处的深度范围均位于检测量程内,以获得较高的检测精度。
在一个具体实施方式中,若所述目标区域101的深度范围为m1~m2,而第一检测策略的量程范围为0~m3,m3>m2,那么,实际对于所述目标区域101检测的量程范围位于第一检测策略的量程范围内。出于节约能耗考虑,可以缩小检测光的脉冲宽度,并且通过检测光脉冲延迟,使量程发生后移。最终使得第二检测策略中,检测光对应的量程范围为m1~m2。上述方法能够在目标区域101位于检测量程内的同时,缩小脉宽,能够降低功耗并且提高该段量程范围内的检测精度。
所述第二检测策略不对所述目标区域101以外的视场内的其他区域的过曝或曝光不足问题,仅关注目标区域101。因此,第二检测策略的设置可以仅考虑目标区域101内的检测目标,最大程度的提高对于目标区域101的检测精度,无需考虑是否会对其他区域造成过曝或曝光不足的问题。同时可以减低后续信号处理的复杂性,从而降低功耗。
步骤S103:以所述第二检测策略至少一次获取所述目标区域内各位置处的检测信号。
以所述第二检测策略,设定各项检测参数,例如检测光光强、频率、脉宽以及曝光时间等,进行一次或多次的曝光检测,获取一帧或多帧的检测信号。
所述曝光次数与所述第二检测策略中的子策略数量一致。在一些具体实施方式中,也可以使得曝光次数小于第二检测策略的子策略数量,例如:第二检测策略包括子策略1和子策略2,其中子策略2与第一检测策略相同,那么可以仅利用子策略1进行检测,获取一次检测信号,以减少曝光次数,节约功耗。
在另一具体实施方式中,如果目标区域内被测物体在持续发生移动,那么可以以所述第二检测策略进行多帧检测,以不断更新被测物体的距离信息,实现动态测量。
在步骤S103中,可以仅获取所述目标区域对应的像素单元获取的检测信号,并进行处理。而无需对其他像素单元的检测信号进行获取,从而可以减少后续的数据处理量,节约功耗。
步骤S104:自所述至少一次获取的检测信号以及第一深度信号内选择所述目标区域各位置处的第二深度信号,所述各位置处的第二深度信号均位于阈值范围内。
对于目标区域,自步骤S103中获取的一次或多次检测信号、以及步骤S101中获取的第一深度信号中,分别选取目标区域内各位置处对应的位于阈值范围内的信号作为第二深度信号。
以图3为例,步骤S101中,获取第一帧的第一深度信号,得到第一帧检测信号;步骤S103中,以对应过曝区域A2的子策略1获取第二帧的检测信号,以对应曝光不足区域B1对应的子策略2获取第三帧的检测信号;在步骤S104中,针对目标区域101,选择第二帧的检测信号中对应过曝区域A2的检测信号、选择第二帧的检测信号中对应曝光不足区域B1的检测信号以及第一帧的第一深度信号中对应目标区域101中其他曝光合适区域第一深度信号,进行数据拼接,形成目标区域101各位置处的第二深度信号,以所述第二深度信号,计算目标区域101内各位置处的距离信息。
对于目标区域101以外的部分,可以仅以第一帧获取的第一深度信号计算各位置处的距离信息,从而可以减少数据计算量。
步骤S105:将检测量程调整至小于所述目标区域所在的深度范围,获取所述目标区域的前景范围内的待测物体的深度信息。
所述目标区域的深度范围为m1~m2,则在该步骤中,在对前景范围进行测量时,可以将检测量程调整为0~m1,从而仅检测目标区域之前的深度范围内的待测物体。
在本发明的具体实施方式中,可以通过一个或两个以上检测帧获取所述目标区域的前景范围内的待测物体的深度信息。例如对于前景范围内的不同区域的待测物体的反射率差异较大,或者所处的环境亮度差异较大的情况下,需要通过多次不同强度的检测光分别进行检测,以将每帧检测过程中各像素单元中符合阈值范围的深度信息进行数据拼接,形成前景范围内待测物体的实测深度信息。可以根据所述步骤101中获得的全视场范围内的第一深度信号,调整前景深度检测过程中,各检测帧的检测策略。
步骤S106:将检测量程调整至大于所述目标区域所在的深度范围,获取所述目标区域的背景范围内的待测物体的深度信息。
所述目标区域的深度范围为m1~m2,则在该步骤中,在对背景范围进行测量时,可以将检测量程调整为m2~m3,从而仅检测目标区域之后的深度范围内的待测物体。
在本发明的具体实施方式中,也可以通过一个或两个以上检测帧获取所述目标区域的背景范围内的待测物体的深度信息。与获取前景范围内的待测物体的深度信息方法相同,在此不再赘述。可以根据所述步骤101中获得的全视场范围内的第一深度信号,调整背景深度检测过程中,各检测帧的检测策略。
所述步骤S105和步骤106的顺序可以交换,也可以在步骤S102之前进行。
上述飞行时间传感相机的深度检测方法,首先针对目标区域进行检测策略的调整,并根据调整后的检测策略获取至少一帧检测信号,通过数据处理,获取目标区域各位置处均位于阈值范围内的第二深度信号。由于检测策略的调整,仅针对目标区域,能够使得目标区域获得更高的检测精度,并且减少数据处理量,降低功耗。进一步,针对目标区域的前景和背景范围进行补充测量,并针对前景和背景深度范围调整检测光量程,可以缩小检测光脉冲宽度,减小功耗,提高各检测量程内的检测精度。
本发明的具体实施方式还提供一种飞行时间传感相机。
请参考图5,为本发明一具体实施方式的飞行时间传感相机的结构示意图。
所述飞行时间传感相机包括:控制模块501,用于以第一检测策略设置检测参数;传感模块502,与所述控制模块501连接,用于获取视场内各位置处与所述第一检测策略对应的第一深度信号;处理模块503,与所述控制模块501和传感模块502连接,用于根据所述视场内至少一个目标区域各位置处的第一深度信号确定第二检测策略,将检测量程调整至包括所述目标区域所在的深度范围;所述控制模块501还用于以所述第二检测策略设置检测参数;所述传感模块502还用于至少一次获取所述检测视场内各位置处的与所述第二检测策略对应的检测信号;所述处理模块503还用于自所述至少一次获取的检测信号以及第一深度信号内选择所述目标区域各位置处的第二深度信号,所述各位置处的第二深度信号均位于阈值范围内,以所述第二深度信号获取所述目标区域的深度信息;所述控制模块还用于将检测量程调整至小于所述目标区域所在的深度范围以及将检测量程调整至大于所述目标区域所在的深度范围;所述处理模块还用于分别获取所述目标区域的前景范围内的待测物体的深度信息和所述目标区域的背景范围内的待测物体的深度信息。
所述飞行时间传感相机还包括光源模块504,所述光源模块504连接至所述控制模块501和传感模块502。
所述光源模块404用于发出检测光,所述检测光可以为具有矩形脉冲的脉冲检测光,还可以为连续调制波。
所述传感模块502包括像素单元阵列,所述像素单元阵列包括多个像素单元。检测视场内每一个位置对应于一个像素单元。
所述控制模块501用于根据设定的检测策略控制所述光源模块504、传感模块502以及处理模块503。
所述控制模块501以第一检测策略设置检测参数,所述检测策略包括检测光光强、检测光脉宽、曝光时间、检测量程中的至少一个参数。传感模块503获取视场内各位置处于所述第一检测策略对应的至少一帧的检测数据,包括各个位置处的第一深度信号。所述第一深度信号,可以是各个像素单元接收反射光后产生的电信号,或者是进一步对所述电信号进行处理后的距离信息。所谓一帧的检测数据,表示仅获取检测光的一个脉冲波形照射到被测物体上产生的反射光对应的检测数据。其中第一检测策略的具体参数可以由用户预先设定。
处理模块503,与所述控制模块501和传感模块502连接,用于根据所述视场内至少一个目标区域各位置处的第一深度信号确定第二检测策略。
在一些具体实施方式中,飞行时间传感相机可以具有取景器或者显示屏,用于提供取景画面。所述处理模块503可以根据用户根据取景画面内容进行的手动设置,选择部分像素单元所在区域对应的视场区域作为目标区域,即划定取景画面内的某一个或多个区域作为目标区域。
在其他具体实施方式中,可以根据所述飞行时间传感相机的应用场景,自动选定目标区域,具体的,所述处理模块503还可以根据所述第一深度信号获取视场内各位置处的深度以及深度轮廓,以符合目标物形状的深度轮廓所在区域作为目标区域。其他具体实施方式中,本领域技术人员,可以根据检测需求合理的设置目标区域。
在确定所述目标区域后,所述处理模块503根据所述目标区域内各位置处的第一深度信号,确定第二检测策略。在一个具体实施方式中,所述目标区域内各位置处的第一深度信号均未发生过曝或曝光不足的问题,那么可以继续将所述第一检测策略作为后续检测的第二检测策略。在另一具体实施方式中,所述目标区域内各位置处的第一深度信号中,仅局部有过曝或者曝光不足问题,那么该具体实施方式中,可以在第一检测策略的各项参数基础上,适当降低检测光强度和/或降低曝光时间(即电荷累积时间),形成第二检测策略,以使得再次检测时,原本过曝的区域产生的深度信号处于阈值范围内。
所述目标区域也可以包括多个子区域,所述第二检测策略包括与各子区域对应的多个子策略,每个子策略所获取的对应子区域的检测信号均位于所述阈值范围内。
在另一具体实施方式中,如果选择的目标区域超出了第一检测策略中检测光的检测量程,那么,需要在第二检测策略中,调整检测光的脉宽,以使得目标区域内各位置处的深度范围均位于检测量程内,以获得较高的检测精度。例如,若所述目标区域101的深度范围为m1~m2,可以缩小检测光的脉冲宽度,并且通过检测光脉冲延迟,使量程发生后移。最终使得第二检测策略中,检测光对应的检测量程为m1~m2。
第二检测策略的设置可以仅考虑目标区域内的检测目标,最大程度的提高对于目标区域的检测精度,无需考虑是否会对其他区域造成过曝或曝光不足的问题。同时可以减低后续信号处理的复杂性,从而降低功耗。
所述传感模块502还用于至少一次获取所述检测视场内各位置处的与所述第二检测策略对应的检测信号。以所述第二检测策略,设定各项检测参数,例如检测光光强、频率、脉宽以及曝光时间等,进行一次或多次的曝光检测,获取一帧或多帧的检测信号。所述曝光次数与所述第二检测策略中的子策略数量一致。在一些具体实施方式中,也可以使得曝光次数小于第二检测策略的子策略数量。在另一具体实施方式中,如果目标区域内被测物体在持续发生移动,那么可以以所述第二检测策略进行多帧检测,以不断更新被测物体的距离信息,实现动态测量。
所述处理模块503还用于自所述至少一次获取的检测信号以及第一深度信号内选择所述目标区域各位置处的第二深度信号,所述各位置处的第二深度信号均位于阈值范围内。对于目标区域,自获取与第二检测策略对应的一次或多次检测信号、以及与第一检测策略对应的第一深度信号中,分别选取目标区域内各位置处对应的位于阈值范围内的信号作为第二深度信号。所述处理模块503还用于根据所述第二深度信号获取所述目标区域各位置处的距离信息。
对于目标区域以外的部分,可以仅以第一帧获取的第一深度信号计算各位置处的距离信息,从而可以减少数据计算量。
所述控制模块501还用于将检测量程调整至小于所述目标区域所在的深度范围以及将检测量程调整至大于所述目标区域所在的深度范围;所述处理模块503还用于分别获取所述目标区域的前景范围内的待测物体的深度信息和所述目标区域的背景范围内的待测物体的深度信息。
所述目标区域的深度范围为m1~m2,所述控制模块501可以在对前景范围进行测量时,通过控制光源模块504的发出的检测光脉宽以及发光时间,将检测量程调整为0~m1,从而仅检测目标区域之前的深度范围内的待测物体。所述处理模块503可以通过一个或两个以上检测帧获取所述目标区域的前景范围内的待测物体的深度信息。例如对于前景范围内的不同区域的待测物体的反射率差异较大,或者所处的环境亮度差异较大的情况下,需要通过多次不同强度的检测光分别进行检测,以将每帧检测过程中各像素单元中符合阈值范围的深度信息进行数据拼接,形成前景范围内待测物体的实测深度信息。
所述目标区域的深度范围为m1~m2,所述控制模块501可以在对前景范围进行测量时,通过控制光源模块504的发出的检测光脉宽以及发光时间,将检测量程调整为m2~m3,从而仅检测目标区域之后的深度范围内的待测物体。
在本发明的具体实施方式中,也可以通过一个或两个以上检测帧来获取所述目标区域的背景范围内的待测物体的深度信息。
上述飞行时间传感相机能够仅针对目标区域进行检测策略的调整,并根据调整后的检测策略获取至少一帧检测信号,通过数据处理,获取目标区域各位置处均位于阈值范围内的第二深度信号。由于检测策略的调整,仅针对目标区域,能够使得目标区域获得更高的检测精度,并且减少数据处理量,降低功耗。并且针对目标区域的前景和背景范围进行补充测量,并针对前景和背景深度范围调整检测光量程,可以缩小检测光脉冲宽度,减小功耗,提高各检测量程内的检测精度。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种飞行时间传感相机的深度检测方法,其特征在于,包括:
采用第一检测策略获取视场内各位置处的第一深度信号;
根据所述视场内至少一个目标区域各位置处的第一深度信号,确定第二检测策略,将检测量程调整至包括所述目标区域所在的深度范围,以所述第二检测策略至少一次获取所述目标区域内各位置处的检测信号,并自所述至少一次获取的检测信号以及所述第一深度信号内选择所述目标区域各位置处的第二深度信号,所述各位置处的第二深度信号均位于阈值范围内,以所述第二深度信号获取所述目标区域的深度信息;
将检测量程调整至小于所述目标区域所在的深度范围,获取所述目标区域的前景范围内的待测物体的深度信息;
将检测量程调整至大于所述目标区域所在的深度范围,获取所述目标区域的背景范围内的待测物体的深度信息;
其中,根据所述视场内至少一个目标区域各位置处的第一深度信号,确定第二检测策略的方法包括:针对过曝区域、曝光不足区域,在第一检测策略的各项参数基础上,改变检测策略,以使得再次检测时,过曝区域及曝光不足区域产生的深度信号能够位于阈值范围内,针对目标区域内的其他曝光合适区域,继续采用第一检测策略作为第二检测策略进行测量;
其中,自所述至少一次获取的检测信号以及所述第一深度信号内选择所述目标区域各位置处的第二深度信号的方法包括:选择所述检测信号中对应过曝区域的检测信号、选择所述检测信号中对应曝光不足区域的检测信号以及所述第一深度信号中对应目标区域中其他曝光合适区域第一深度信号,进行数据拼接,形成目标区域各位置处的第二深度信号。
2.根据权利要求1所述的深度检测方法,其特征在于,通过将检测光脉冲延迟,使检测量程后移,将检测量程调整至所述目标区域所在的深度范围以及将检测量程调整至大于所述目标区域所在的深度范围。
3.根据权利要求1所述的深度检测方法,其特征在于,通过两个以上检测帧获取所述目标区域的前景范围内的待测物体的深度信息;通过两个以上检测帧获取所述目标区域的背景范围内的待测物体的深度信息。
4.根据权利要求1所述的深度检测方法,其特征在于,所述目标区域包括多个子区域,所述第二检测策略包括与各子区域对应的多个子策略,以每个所述子策略所获取的对应的子区域的检测信号均位于所述阈值范围内。
5.一种飞行时间传感相机,其特征在于,包括:
控制模块,用于以第一检测策略设置检测参数;
传感模块,与所述控制模块连接,用于获取视场内各位置处与所述第一检测策略对应的第一深度信号;
处理模块,与所述控制模块和所述传感模块连接,用于根据所述视场内至少一个目标区域各位置处的第一深度信号确定第二检测策略,将检测量程调整至包括所述目标区域所在的深度范围;
所述控制模块还用于以所述第二检测策略设置检测参数;
所述传感模块还用于至少一次获取所述目标区域内各位置处的与所述第二检测策略对应的检测信号;
所述处理模块还用于自所述至少一次获取的检测信号以及所述第一深度信号内选择所述目标区域各位置处的第二深度信号,所述各位置处的第二深度信号均位于阈值范围内,以所述第二深度信号获取所述目标区域的深度信息,自所述至少一次获取的检测信号以及所述第一深度信号内选择所述目标区域各位置处的第二深度信号的方法包括:选择所述检测信号中对应过曝区域的检测信号、选择所述检测信号中对应曝光不足区域的检测信号以及所述第一深度信号中对应目标区域中其他曝光合适区域第一深度信号,进行数据拼接,形成目标区域各位置处的第二深度信号;
所述控制模块还用于将检测量程调整至小于所述目标区域所在的深度范围以及将检测量程调整至大于所述目标区域所在的深度范围;所述处理模块还用于分别获取所述目标区域的前景范围内的待测物体的深度信息和所述目标区域的背景范围内的待测物体的深度信息。
6.根据权利要求5所述的飞行时间传感相机,其特征在于,所述控制模块用于通过将检测光脉冲延迟,使检测量程后移,将检测量程调整至所述目标区域所在的深度范围以及将检测量程调整至大于所述目标区域所在的深度范围。
7.根据权利要求5所述的飞行时间传感相机,其特征在于,所述处理模块用于通过两个以上检测帧获取所述目标区域的前景范围内的待测物体的深度信息以及通过两个以上检测帧获取所述目标区域的背景范围内的待测物体的深度信息。
8.根据权利要求5所述的飞行时间传感相机,其特征在于,所述目标区域包括多个子区域,所述第二检测策略包括与各子区域对应的多个子策略,以每个所述子策略所获取的对应的子区域的检测信号均位于所述阈值范围内。
CN201910701281.6A 2019-07-31 2019-07-31 飞行时间传感相机及其深度检测方法 Active CN110456380B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910701281.6A CN110456380B (zh) 2019-07-31 2019-07-31 飞行时间传感相机及其深度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910701281.6A CN110456380B (zh) 2019-07-31 2019-07-31 飞行时间传感相机及其深度检测方法

Publications (2)

Publication Number Publication Date
CN110456380A CN110456380A (zh) 2019-11-15
CN110456380B true CN110456380B (zh) 2021-12-28

Family

ID=68484241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910701281.6A Active CN110456380B (zh) 2019-07-31 2019-07-31 飞行时间传感相机及其深度检测方法

Country Status (1)

Country Link
CN (1) CN110456380B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113126111B (zh) * 2019-12-30 2024-02-09 Oppo广东移动通信有限公司 飞行时间模组和电子设备
CN111398979B (zh) * 2020-06-08 2020-10-16 深圳市汇顶科技股份有限公司 基于飞行时间的测距方法和相关测距系统
CN112738413B (zh) * 2021-04-02 2021-06-04 杭州宇泛智能科技有限公司 一种基于tof的人像区域亮度自动调节方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105242277A (zh) * 2015-01-29 2016-01-13 上海兰宝传感科技股份有限公司 一种带背景抑制的立体区域测距传感器
CN105807285A (zh) * 2016-04-21 2016-07-27 深圳市金立通信设备有限公司 多区域测距方法、测距装置及终端
CN106664353A (zh) * 2014-12-22 2017-05-10 谷歌公司 具有扫描照明器的飞行时间相机系统
CN106772431A (zh) * 2017-01-23 2017-05-31 杭州蓝芯科技有限公司 一种结合tof技术和双目视觉的深度信息获取装置及其方法
CN107027322A (zh) * 2014-12-22 2017-08-08 谷歌公司 提高弱视场信号区域的测量质量的飞行时间相机系统和方法
CN107925733A (zh) * 2015-08-04 2018-04-17 松下知识产权经营株式会社 固体摄像装置
CN108027441A (zh) * 2015-09-08 2018-05-11 微视公司 混合模式深度检测
CN108370438A (zh) * 2015-12-16 2018-08-03 欧库勒斯虚拟现实有限责任公司 范围选通的深度相机组件
CN108848320A (zh) * 2018-07-06 2018-11-20 京东方科技集团股份有限公司 深度检测系统及其曝光时间调整方法
CN108957470A (zh) * 2018-08-22 2018-12-07 上海炬佑智能科技有限公司 飞行时间测距传感器及其测距方法
CN109031332A (zh) * 2018-08-07 2018-12-18 上海炬佑智能科技有限公司 飞行时间测距传感器及其控制方法
JP2019012063A (ja) * 2017-06-30 2019-01-24 酒井重工業株式会社 建設車両の障害物検知装置
CN109425864A (zh) * 2017-09-04 2019-03-05 日立乐金光科技株式会社 3维距离测量装置
WO2019050604A1 (en) * 2017-09-08 2019-03-14 Microsoft Technology Licensing, Llc STRUCTURED LIGHT BEAM SENSOR INCREASED FLIGHT TIME
CN109696690A (zh) * 2019-01-25 2019-04-30 上海炬佑智能科技有限公司 飞行时间传感器及其发光检测方法
CN109788622A (zh) * 2019-03-18 2019-05-21 上海炬佑智能科技有限公司 光源控制装置、光源控制方法以及飞行时间传感器
CN109839646A (zh) * 2017-11-27 2019-06-04 源捷公司 具有自适应照射的闪光式激光雷达
CN110007289A (zh) * 2019-03-21 2019-07-12 杭州蓝芯科技有限公司 一种基于飞行时间深度相机的运动伪差减小方法
CN110018488A (zh) * 2017-12-05 2019-07-16 夏普株式会社 受光元件、飞行时间测量装置及光雷达装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101304489B (zh) * 2008-06-20 2010-12-08 北京中星微电子有限公司 一种自动曝光方法及装置
KR101305694B1 (ko) * 2011-10-20 2013-09-09 엘지이노텍 주식회사 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치
CN104778676A (zh) * 2014-01-09 2015-07-15 中国科学院大学 基于深度测距的运动目标检测方法及系统
US11143749B2 (en) * 2014-05-23 2021-10-12 Signify Holding B.V. Object detection system and method
US9773155B2 (en) * 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera
TWI512270B (zh) * 2015-01-13 2015-12-11 Pixart Imaging Inc 具動態曝光時間的光學測距系統
CN106231178B (zh) * 2016-07-22 2019-07-26 维沃移动通信有限公司 一种自拍方法和移动终端
CN106851123B (zh) * 2017-03-09 2020-12-22 Oppo广东移动通信有限公司 曝光控制方法、曝光控制装置及电子装置
CN108828561A (zh) * 2018-08-22 2018-11-16 上海炬佑智能科技有限公司 飞行时间测距传感器及其控制方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106664353A (zh) * 2014-12-22 2017-05-10 谷歌公司 具有扫描照明器的飞行时间相机系统
CN107027322A (zh) * 2014-12-22 2017-08-08 谷歌公司 提高弱视场信号区域的测量质量的飞行时间相机系统和方法
CN105242277A (zh) * 2015-01-29 2016-01-13 上海兰宝传感科技股份有限公司 一种带背景抑制的立体区域测距传感器
CN107925733A (zh) * 2015-08-04 2018-04-17 松下知识产权经营株式会社 固体摄像装置
CN108027441A (zh) * 2015-09-08 2018-05-11 微视公司 混合模式深度检测
CN108370438A (zh) * 2015-12-16 2018-08-03 欧库勒斯虚拟现实有限责任公司 范围选通的深度相机组件
CN105807285A (zh) * 2016-04-21 2016-07-27 深圳市金立通信设备有限公司 多区域测距方法、测距装置及终端
CN106772431A (zh) * 2017-01-23 2017-05-31 杭州蓝芯科技有限公司 一种结合tof技术和双目视觉的深度信息获取装置及其方法
JP2019012063A (ja) * 2017-06-30 2019-01-24 酒井重工業株式会社 建設車両の障害物検知装置
CN109425864A (zh) * 2017-09-04 2019-03-05 日立乐金光科技株式会社 3维距离测量装置
WO2019050604A1 (en) * 2017-09-08 2019-03-14 Microsoft Technology Licensing, Llc STRUCTURED LIGHT BEAM SENSOR INCREASED FLIGHT TIME
CN109839646A (zh) * 2017-11-27 2019-06-04 源捷公司 具有自适应照射的闪光式激光雷达
CN110018488A (zh) * 2017-12-05 2019-07-16 夏普株式会社 受光元件、飞行时间测量装置及光雷达装置
CN108848320A (zh) * 2018-07-06 2018-11-20 京东方科技集团股份有限公司 深度检测系统及其曝光时间调整方法
CN109031332A (zh) * 2018-08-07 2018-12-18 上海炬佑智能科技有限公司 飞行时间测距传感器及其控制方法
CN108957470A (zh) * 2018-08-22 2018-12-07 上海炬佑智能科技有限公司 飞行时间测距传感器及其测距方法
CN109696690A (zh) * 2019-01-25 2019-04-30 上海炬佑智能科技有限公司 飞行时间传感器及其发光检测方法
CN109788622A (zh) * 2019-03-18 2019-05-21 上海炬佑智能科技有限公司 光源控制装置、光源控制方法以及飞行时间传感器
CN110007289A (zh) * 2019-03-21 2019-07-12 杭州蓝芯科技有限公司 一种基于飞行时间深度相机的运动伪差减小方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于飞行时间法的红外相机研究综述;郭宁博;《兵器装备工程学报》;20170331;第38卷(第3期);152-159 *

Also Published As

Publication number Publication date
CN110456380A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110456380B (zh) 飞行时间传感相机及其深度检测方法
US7466359B2 (en) Image-pickup apparatus and method having distance measuring function
JP2018119942A (ja) 撮像装置及びその監視方法並びにプログラム
EP1431803A2 (en) Image pickup apparatus for performing three-dimensional shape measurement and corresponding method
US20130088620A1 (en) Method of controlling a system including an image sensor and a light source
CN109819173B (zh) 基于tof成像系统的深度融合方法和tof相机
US11418730B2 (en) Use of IR pre-flash for RGB camera's automatic algorithms
JP2010175435A (ja) 三次元情報検出装置及び三次元情報検出方法
CN112040139B (zh) 一种相机成像的补光方法
CN110231018B (zh) 一种结构光测距方法、装置及计算机可读存储介质
CN110121659A (zh) 用于对车辆的周围环境进行特征描述的系统
JP2016154285A (ja) 撮像装置、電子機器及び光量変化特性の算出方法
CN108156447A (zh) 基于光点检测的相机成像管理系统
CN113557172A (zh) 选通照相机、汽车、车辆用灯具、物体识别系统、运算处理装置、物体识别方法、图像显示系统、检查方法、摄像装置、图像处理装置
JP2012225807A (ja) 距離画像カメラおよび距離画像合成方法
CN107770519B (zh) 一种基于光点检测的相机成像管理方法
JP2008164731A (ja) 撮影装置及びその制御方法
CN108259775B (zh) 一种成像方法、成像装置及后视镜
CN110346780A (zh) 飞行时间传感相机及其局部检测精度调整方法
CN112866596B (zh) 基于cmos传感器的抗强光三维捕捉方法及系统
CN109951649B (zh) 一种局部自适应成像系统以及局部自适应成像控制方法
CN111355896B (zh) 获取全天相机的自动曝光参数的方法
JP7118737B2 (ja) 撮像装置、及びその制御方法
CN109981992B (zh) 一种在高环境光变化下提升测距准确度的控制方法及装置
WO2014073590A1 (ja) 3次元計測装置および3次元計測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant