CN106683130B - 一种深度图像获得方法及装置 - Google Patents

一种深度图像获得方法及装置 Download PDF

Info

Publication number
CN106683130B
CN106683130B CN201510766584.8A CN201510766584A CN106683130B CN 106683130 B CN106683130 B CN 106683130B CN 201510766584 A CN201510766584 A CN 201510766584A CN 106683130 B CN106683130 B CN 106683130B
Authority
CN
China
Prior art keywords
depth
depth camera
segment
integration
nth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510766584.8A
Other languages
English (en)
Other versions
CN106683130A (zh
Inventor
李�杰
毛慧
沈林杰
俞海
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201510766584.8A priority Critical patent/CN106683130B/zh
Publication of CN106683130A publication Critical patent/CN106683130A/zh
Application granted granted Critical
Publication of CN106683130B publication Critical patent/CN106683130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明实施例公开了一种深度图像获得方法及装置,涉及图像处理技术领域,应用于深度相机协同工作组中的任一深度相机DC,包括:获得根据深度相机协同工作组中所包含深度相机的数量确定的深度相机DC的第N个工作周期对应的积分段,深度相机协同工作组中各个深度相机的第N个工作周期对应的积分段不重合;在所获得的积分段内发射调制光,并接收拍摄物反射的调制光;根据发射调制光的时间信息以及接收调制光的时间信息,确定拍摄物的深度信息;根据深度信息,获得深度相机DC的第N个工作周期对应的深度图像。应用本发明实施例提供的方案,在视场范围存在重叠区域的多个深度相机协同工作时,能够使得每一深度相机准确的获得拍摄物的深度图像。

Description

一种深度图像获得方法及装置
技术领域
本发明涉及图像处理技术领域,特别涉及一种深度图像获得方法及装置。
背景技术
随着3D技术以及视频监控技术的快速发展,以TOF(Time Of Flight,飞行时间)为代表的深度相机得到了广泛的应用。这些深度相机可以用于实时获取拍摄场景中拍摄物的深度信息,可以用于协助定位跟踪室内人员,还可以用于协助进行针对拍摄物的三维建模等等。由于单台深度相机的视场范围有限,而上述各种应用中往往要求较大的视场范围,因此,现有技术中一般通过多个视场范围存在重叠区域的深度相机协同工作得到具有大视场范围的深度图像。
通过多个视场范围存在重叠区域的深度相机协同工作得到具有大视场范围的深度图像时,首先需要获得各个深度相机在每一工作周期拍摄的深度图像,然后再根据所获得深度图像进行合成等操作获得具有大视场的深度图像。
现有技术中,深度相机一般通过以下步骤获得拍摄物的深度图像:
深度相机发射调制光,并通过其自身的传感器接收拍摄物反射的调制光,然后根据发射调制光和接收调制光的信息,计算其与拍摄物之间的距离,最后根据计算得到的距离获得拍摄物的深度图像。
然而,在多个协同工作的深度相机的视场范围存在重叠区域的情况下,各个深度相机在拍摄深度图像时,由于各个深度相机的视场范围中存在重叠区域,所以,各个深度相机发射的调制光会相互干扰,进而各个深度相机接收到的调制光为由拍摄物反射的不同深度相机发射的调制光叠加得到的,因此,各个深度相机无法准确计算出其与拍摄物之间的距离,进而各个深度相机无法准确的获得拍摄物的深度图像。
发明内容
本发明实施例公开了一种深度图像获得方法及装置,以在视场范围存在重叠区域的多个深度相机协同工作的情况下,使得每一深度相机能够准确的获得拍摄物的深度图像。
为达到上述目的,本发明实施例公开了一种深度图像获得方法,应用于深度相机协同工作组中的任一深度相机DC,其中,所述深度相机协同工作组中的每一深度相机的工作周期相同,且所述深度相机协同工作组中至少两个深度相机的视场范围之间存在重叠区域;
所述方法包括:
获得根据所述深度相机协同工作组中所包含深度相机的数量确定的所述深度相机DC的第N个工作周期对应的积分段,其中,所述深度相机协同工作组中各个深度相机的第N个工作周期对应的积分段不重合,对于第N个工作周期最后一个启动的深度相机的积分段的结束时刻≤对于第N+1个工作周期第一个启动的深度相机的积分段的开始时刻,所述积分段为用于发射调制光和接收调制光的时间段;
在所获得的积分段内发射调制光,并接收拍摄物反射的调制光;
根据发射调制光的时间信息以及接收调制光的时间信息,确定所述拍摄物的深度信息;
根据所述深度信息,获得所述深度相机DC的第N个工作周期对应的深度图像。
在本发明的一种具体实现方式中,按照以下方式,根据所述深度相机协同工作组中所包含深度相机的数量确定所述深度相机DC的第N个工作周期对应的积分段:
将所述深度相机DC的第N个工作周期依次划分为第一非积分段、积分段和第二非积分段,其中,划分得到的积分段和非积分段满足以下表达式:
Figure BDA0000844277160000021
t1表示划分得到的第一非积分段的时长,t2表示划分得到的积分段的时长,t3表示划分得到的第二非积分段的时长,T表示第N个工作周期对应的时长,K表示所述深度相机协同工作中所包含深度相机的数量;
根据划分结果确定第N个工作周期对应的积分段。
在本发明的一种具体实现方式中,所述将所述深度相机DC的第N个工作周期依次划分为第一非积分段、积分段和第二非积分段,包括:
按照所述深度相机协同工作组中所包含的深度相机的预设排列顺序,根据以下表达式,确定所述深度相机DC的第N个工作周期的起始时刻,
Figure BDA0000844277160000031
其中,k表示所述深度相机DC在所述预设排列顺序中的顺序号,k=0、1……K-1,Δtk表示所述深度相机DC的第N个工作周期的启动时刻与所述预设排列顺序中顺序号为0的深度相机的第N个工作周期的启动时刻之间的差值;
根据所确定的起始时刻,将所述深度相机DC的第N个工作周期依次划分为第一非积分段、积分段和第二非积分段。
在本发明的一种具体实现方式中,所述在所获得的积分段内发射调制光,包括:
根据所获得的积分段的时长与预设时长之间的相对关系,按照预设的功率调整系数,反比例调整调制光发射功率;
以调整后的发射功率,在所获得的积分段内发射调制光。
在本发明的一种具体实现方式中,所述深度图像获得方法还包括:
接收针对深度图像的同步信号,其中,所述同步信号,用于保证所述深度相机协同工作组中的各个深度相机同步输出第N个周期对应的深度图像;
根据所述同步信号输出所获得的深度图像。
为达到上述目的,本发明实施例公开了一种深度图像获得装置,应用于深度相机协同工作组中的任一深度相机DC,其中,所述深度相机协同工作组中的每一深度相机的工作周期相同,且所述深度相机协同工作组中至少两个深度相机的视场范围之间存在重叠区域;
所述装置包括:
积分段获得模块,用于获得根据所述深度相机协同工作组中所包含深度相机的数量确定的所述深度相机DC的第N个工作周期对应的积分段,其中,所述深度相机协同工作组中各个深度相机的第N个工作周期对应的积分段不重合,对于第N个工作周期最后一个启动的深度相机的积分段的结束时刻≤对于第N+1个工作周期第一个启动的深度相机的积分段的开始时刻,所述积分段为用于发射调制光和接收调制光的时间段;
调制光发射模块,用于在所获得的积分段内发射调制光;
调制光接收模块,用于在所获得的积分段内接收拍摄物反射的调制光;
深度信息确定模块,用于根据发射调制光的时间信息以及接收调制光的时间信息,确定所述拍摄物的深度信息;
深度图像获得模块,用于根据所述深度信息,获得所述深度相机DC的第N个工作周期对应的深度图像。
在本发明的一种具体实现方式中,所述深度图像获得装置还包括:
积分段确定模块,用于根据所述深度相机协同工作组中所包含深度相机的数量确定所述深度相机DC的第N个工作周期对应的积分段;
具体的,所述积分段确定模块,包括:
工作周期划分子模块,用于将所述深度相机DC的第N个工作周期依次划分为第一非积分段、积分段和第二非积分段,其中,划分得到的积分段和非积分段满足以下表达式:
Figure BDA0000844277160000041
t1表示划分得到的第一非积分段的时长,t2表示划分得到的积分段的时长,t3表示划分得到的第二非积分段的时长,T表示第N个工作周期对应的时长,K表示所述深度相机协同工作中所包含深度相机的数量;
积分段确定子模块,用于根据划分结果确定第N个工作周期对应的积分段。
在本发明的一种具体实现方式中,所述工作周期划分子模块,包括:
起始时刻确定单元,用于按照所述深度相机协同工作组中所包含的深度相机的预设排列顺序,根据以下表达式,确定所述深度相机DC的第N个工作周期的起始时刻,
Figure BDA0000844277160000042
其中,k表示所述深度相机DC在所述预设排列顺序中的顺序号,k=0、1……K-1,Δtk表示所述深度相机DC的第N个工作周期的启动时刻与所述预设排列顺序中顺序号为0的深度相机的第N个工作周期的启动时刻之间的差值;
工作周期划分单元,用于根据所确定的起始时刻,将所述深度相机DC的第N个工作周期依次划分为第一非积分段、积分段和第二非积分段。
在本发明的一种具体实现方式中,所述调制光发射模块,包括:
发射功率调整子模块,用于根据所获得的积分段的时长与预设时长之间的相对关系,按照预设的功率调整系数,反比例调整调制光发射功率;
调制光发射子模块,用于以调整后的发射功率,在所获得的积分段内发射调制光。
在本发明的一种具体实现方式中,所述深度图像获得装置还包括:
同步信息接收模块,用于接收针对深度图像的同步信号,其中,所述同步信号,用于保证所述深度相机协同工作组中的各个深度相机同步输出第N个周期对应的深度图像;
深度图像输出模块,用于根据所述同步信号输出所获得的深度图像。
由以上可见,应用本发明实施例提供的方案获得深度图像时,深度相机协同工作组中的任一深度相机DC所获得的其第N个工作周期对应的积分段与深度相机协同工作组中其他深度相机的第N个工作周期对应的积分段不重合,且对于第N个工作周期最后一个启动的深度相机的积分段的结束时刻≤对于第N+1个工作周期第一个启动的深度相机的积分段的开始时刻,这样深度相机DC根据在上述所获得的积分段内发射的调制光和接收的拍摄物反射的调制光确定拍摄物的深度信息时,虽然深度相机协同工作组中个深度相机的视场范围存在重叠区域,但是由于每一工作周期中,各个深度相机用于发射调制光和接收调制光的积分段不重合,所以各个深度相机发射的调制光不会相互干扰,进而在视场范围存在重叠区域的多个深度相机协同工作的情况下,各个深度相机能够准确的确定拍摄物的深度信息,准确的获得拍摄物的深度图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种深度图像获得方法的流程示意图;
图2为本发明实施例提供的一种深度相机协同工作组中各个深度相机的工作结构示意图;
图3为本发明实施例提供的另一种深度相机协同工作组中各个深度相机的工作结构示意图;
图4为本发明实施例提供的一种获得工作周期对应的积分段的方法的流程示意图;
图5为本发明实施例提供的一种深度相机的工作时序图;
图6为本发明实施例提供的另一种深度相机的工作时序图;
图7为本发明实施例提供的一种深度图像获得系统的结构示意图;
图8为本发明实施例提供的一种深度图像获得装置的结构示意图;
图9为本发明实施例提供的一种获得工作周期对应的积分段的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种深度图像获得方法的流程示意图,该方法应用于深度相机协同工作组中的任一深度相机DC,其中,上述深度相机协同工作组中的每一深度相机的工作周期相同,且该深度相机协同工作组中至少两个深度相机的视场范围之间存在重叠区域。
具体的,上述深度相机协同工作组中的每一深度相机的工作周期可以理解为各个相机采集并输出一帧深度图像的时间长度,该时间长度即为一个工作周期的时长,另外,一个工作周期的时长受深度相机自身的电路设计结构的影响。
上述深度图像获得方法包括:
S101:获得根据深度相机协同工作组中所包含深度相机的数量确定的深度相机DC的第N个工作周期对应的积分段。
其中,深度相机协同工作组中各个深度相机的第N个工作周期对应的积分段不重合,对于第N个工作周期最后一个启动的深度相机的积分段的结束时刻≤对于第N+1个工作周期第一个启动的深度相机的积分段的开始时刻,上述积分段为用于发射调制光和接收调制光的时间段。
本步骤中所获得的深度相机DC的第N个工作周期对应的积分段,可以包括以下信息:积分段的时长、积分段在第N个工作周期中的起始时刻、积分段在第N个工作周期中的结束时刻等等。
可以理解的,为保证深度相机协同工作组中的各个相机协同工作,需通过时钟信号对该协同工作组中的深度相机进行时序同步控制,其中,上述的时钟信号可以是深度相机协同工作组中的任一个相机生成的,也可以是该深度相机协同工作组之外的其他设备生成的,本申请并不对此进行限定。
具体的,参见图2,提供了一种深度相机协同工作组中各个深度相机的工作结构示意图,该图中所示的深度相机协同工作组由四个TOF深度相机组成,其中,TOF深度相机1为参照相机,其生成时钟信号供上述深度相机协同工作组内部使用,TOF深度相机1生成时钟信号后,采用分频器对所生成的时钟信号进行处理,并将分频器处理后的时钟信号发送给TOF深度相机2;TOF深度相机2接收到时钟信号后,采用分频器对所接收的时钟信号进行处理,并将分频器处理后的时钟信号发送给TOF深度相机3;TOF深度相机3接收到时钟信号后,采用分频器对所接收的时钟信号进行处理,并将分频器处理后的时钟信号发送给TOF深度相机4,通过上述步骤实现对四个TOF深度相机的时序同步控制。
参见图3,提供了另一种深度相机协同工作组中各个深度相机的工作结构示意图,该图中所示的深度相机协同工作组与图2所示的深度相机协同工作组类似,也是由四个TOF深度相机组成,但是该图中用于对四个TOF深度相机进行时序同步控制的时钟信号是由深度协同工作组之外的设备提供的,该深度相机协同工作组之外的设备生成时钟信号后,通过分频器对所生成的时钟信息进行多路处理,然后再将经多路处理后的时钟信号分别提供给四个TOF深度相机。
其中,图2和图3中的NVR表示网络硬盘录像机。
综合图2和图3所示的情况可知,本步骤中涉及的深度相机DC的工作周期可以是根据其自身生成的时钟信号确定的,可以是根据深度相机协同工作组中其他深度相机生成的时钟信号确定的,还可以是根据深度相机协同工作组之外的设备生成的时钟信号确定的,本申请并不对此进行限定。
在确定上述深度相机DC的第N个工作周期之后,再在此基础上根据深度相机协同工作组中所包含深度相机的数量,获得深度相机DC在该工作周期内用于发送调制光和接收调制光的时间段,即深度相机DC的第N个工作周期对应的积分段。
具体的,获得深度相机DC的第N个工作周期对应的积分段时,只需保证所获得的积分段与深度相机协同工作组中其他深度相机的第N个工作周期对应的积分段不重合,且第N个工作周期最后一个启动的深度相机的积分段的结束时刻≤第N+1个工作周期第一个启动的深度相机的积分段的开始时刻即可。
S102:在所获得的积分段内发射调制光,并接收拍摄物反射的调制光。
由于深度相机的每一工作周期对应的积分段的时长越长,深度相机在一个工作周期内获得的拍摄物的深度图像的质量越好。另外,拍摄物的深度图像的质量除了与一个工作周期对应的积分段的时长相关外,还与深度相机发射调制光的发射功率相关。具体的,在深度相机一个工作周期对应的积分段的时长较短的情况下,为保证能够获得较高质量的深度图像,可以适当增大深度相机发射调制光的发射功率,以保证深度相机能够在短时间内接收到足够的用于确定拍摄物深度信息的调制光;相反,在深度相机一个工作周期对应的积分段的时长较长的情况下,为保证能够获得较高质量的深度图像,可以适当降低深度相机发射调制光的发射功率,以防止出现由于调制光的发射功率过大而引起的曝光过度的现象,进而影响深度图像的质量。
基于以上因素,本发明的一种较佳实现方式中,在所获得的积分段内发射调制光时,可以先根据所获得的积分段的时长与预设时长之间的相对关系,按照预设的功率调整系数,反比例调整调制光发射功率,然后再以调整后的发射功率,在所获得的积分段内发射调制光。
简单的可以理解为:在所获得的积分段的时长小于等于预设时长时,可以认为所获得的积分段的时长较短,为保证深度相机所获得的深度图像的质量,可以按照预设的功率调整系数增大调制光发射功率;
在所获得的积分段的时长大于预设时长时,可以认为所获得的积分段的时长较长,为保证深度相机所获得深度图像的质量,可以按照预设的功率调整系数减小调制光发射功率。
S103:根据发射调制光的时间信息以及接收调制光的时间信息,确定拍摄物的深度信息。
通常情况下,深度图像的深度信息可以理解为与拍摄物上的各个点到深度相机的距离相关的信息。例如,TOF深度相机所拍摄的深度图像中各个像素点的深度信息为拍摄物上的点与TOF深度相机之间的绝对距离。
深度相机在所获得的积分段内发射调制光和接收拍摄物反射的调制光时,可以记录发射调制光的时间信息,例如,发射调制光的起始时刻、结束时刻等等,以及接收调制光的时间信息,例如,接收调制光的起始时刻、结束时刻等等,通过发射调制光的时间信息和接收调制光的时间信息可以计算得到调制光的飞行时长,而调制光的光速属于已知量,所以根据公式:距离=调制光飞行时间x调制光光速,能够得到与拍摄物上的点到深度相机的距离相关的信息,进而能够确定拍摄物的深度信息。
S104:根据深度信息,获得深度相机DC的第N个工作周期对应的深度图像。
实际应用中,通过深度相机协同工作组中的各个深度相机所拍摄的深度图像合成大视场的深度图像时,为保证合成得到的具有大视场的深度图像的各个部分与实际拍摄物协调一致,用于合成大视场的深度图像的各个深度图像的拍摄时刻之间的时间差需在一定的范围内,对于处于运动状态的拍摄物这一要求的必要性更高。
鉴于上述情况,在本发明的一种可选实现方式中,上述深度图像获得方法还可以包括:
接收针对深度图像的同步信号,并根据该同步信号输出所获得的深度图像。
其中,上述同步信号,用于保证深度相机协同工作组中的各个深度相机同步输出第N个周期对应的深度图像。
需要说明的是,S101中获得深度相机DC的第N个工作周期对应的积分段可以是深度相机协同工作组中的一个或者各个深度相机作为执行主体获得的,还可以是深度相机协同工作组之外的其他设备作为执行主体获得的,本申请并不对此进行限定。
具体的,参见图4,提供了一种获得工作周期对应的积分段的方法的流程示意图,该获得工作周期对应的积分段的方法用于根据深度相机协同工作组中所包含深度相机的数量确定深度相机DC的第N个工作周期对应的积分段,包括:
S401:将深度相机DC的第N个工作周期依次划分为第一非积分段、积分段和第二非积分段。
其中,划分得到的积分段和非积分段满足以下表达式:
Figure BDA0000844277160000101
t1表示划分得到的第一非积分段的时长,t2表示划分得到的积分段的时长,t3表示划分得到的第二非积分段的时长,T表示第N个工作周期对应的时长,K表示深度相机协同工作中所包含深度相机的数量。
深度相机在一个工作周期中需要进行的工作包括以下几个方面:
对深度相机的特定标记位进行复位以及初始化等操作;
发射调制光以及接收拍摄物反射的调制光;
接收到调制光后,根据接收调制光的时间信息以及发射调制光的时间信息,进行数据处理,确定拍摄物的深度信息。
据此,可以将深度相机的一个工作周期划分为三段,其中,用于发射调制光以及接收拍摄物反射的调制光的时间段称之为积分段,即上述时长为t2的积分段,用于对深度相机的特定标记位进行复位以及初始化等操作的时间段以及进行数据处理并确定拍摄物的深度信息的时间段称之为非积分段,即上述时长为t1和时长为t3的非积分段。
具体的,在对工作周期进行划分时,虽然需要保证深度相机协同工作组中的各个深度相机在同一周期中的积分段不重合,但是本申请并不限定各个深度相机的同一工作周期的起始时刻。
在本申请的一种较佳实现方式中,深度相机协同工作组中的各个深度相机的同一工作周期的起始时刻不同,且按照一定的相机排列顺序,相邻两个深度相机的同一工作周期的起始时刻之间的时间间隔相同。
在本发明的一种较佳实现方式中,将深度相机DC的第N个工作周期依次划分为第一非积分段、积分段和第二非积分段时可以按照以下步骤进行:
按照深度相机协同工作组中所包含的深度相机的预设排列顺序,根据以下表达式,确定深度相机DC的第N个工作周期的起始时刻,
Figure BDA0000844277160000111
之后,根据所确定的起始时刻,将所述深度相机DC的第N个工作周期依次划分为第一非积分段、积分段和第二非积分段,
其中,k表示深度相机DC在预设排列顺序中的顺序号,k=0、1……K-1,Δtk表示深度相机DC的第N个工作周期的启动时刻与预设排列顺序中顺序号为0的深度相机的第N个工作周期的启动时刻之间的差值。
由以上表达式可以直观的看出,深度相机协同工作组中的各个深度相机的第N个工作周期的起始时刻不相同,且按照预设的排列顺序相邻两个深度相机的第N个工作周期的启动时刻之间的时间间隔相同,均为Δt。
另外,从以上表达式中还可以看出,对深度相机协同工作组中每一深度相机的每一工作周期进行划分时,得到的划分结果可以是相同的,也可以是不相同的,但是不管划分结果相同还是不相同,划分得到的两个非积分段的时长与积分段的时长之和均为工作周期的时长,又由于深度相机协同工作组中的每一深度相机的工作周期相同,所以,针对每一划分结果而言,划分得到的两个非积分段的时长与积分段的时长之和均是相等的。
较佳的,对深度相机协同工作组中每一深度相机的每一工作周期进行划分时,得到的划分结果是相同的,即对于每一深度相机的每一工作周期而言,划分得到得到两个非积分段的时长分别对应相等,积分段的时长相等。
S402:根据划分结果确定第N个工作周期对应的积分段。
下面对照图5和图6提供的两个具体图例详细说明上述实现方式中涉及到的各个表达式的一种推导过程。
假设,深度相机协同工作组中每一深度相机的每一工作周期的划分结果均为:划分为时长为t1的非积分段、时长为t2的积分段和时长为t3的非积分段,每一工作周期的时长为T。
图5为本发明实施例提供的一种深度相机的工作时序图,该时序图中包括两个协同工作的深度相机的时序,相机1和相机2,参照该时序图各个相机的各个工作周期对应的积分段的时长t2、相机2在第N-1个工作周期的启动时刻与相机1在第N-1个工作周期的启动时刻之间的时间间隔Δt需满足以下条件:
1、当前工作周期内积分段的时长应不大于前一个工作周期内积分段的结束时刻到当前工作周期内积分段的开始时刻的时间间隔,即:t2≤t1+t3
2、相机2第N-1个工作周期内积分段的开始时刻不小于相机1第N-1个工作周期内积分段的结束时刻,即:Δt+t1≥t1+t2
3、相机2第N-1个工作周期内积分段的结束时刻不大于相机1第N个工作周期内积分段的开始时刻,即:Δt+t1+t2≤2*t1+t2+t3
由以上公式可进一步推导得到:
t2≤Δt≤t1+t3,t2≤t1+t3
由前面的描述可以得知,t1+t2+t3=T,则当积分段的时长t2≤0.5T时,非积分段的时长t1+t3≥0.5T。
图6为本发明实施例提供的另一种深度相机的工作时序图,该时序图中包括K个协同工作的深度相机的时序,相机1、相机2……相机K,假设,按照预设的深度相机排列顺序,各个深度相机的同一工作周期的启动时刻与第一个深度相机的该工作周期的启动时刻之间的时间间隔分别为:Δt1=Δt、Δt2=2*Δt…Δtk=k*Δt…ΔtK-1=(K-1)*Δt,其中,k表示深度相机在预设的深度相机排列顺序中的序号,该序号的取值范围为[0,K-1]。
参照图5所示实例中给出的推导情况,K个协同工作的深度相机在每一工作周期内发射的调制光、接收的调制光互不干扰的情况下,Δt和积分段时长t2应满足以下条件:
(K-1)t2≤t1+t3
Δtk-1+t1≥t1+t2
Δtk-1+t1+t2≤2*t1+t2+t3
由以上公式可进一步推导得到:
Figure BDA0000844277160000131
对于K=2和K>2的情况,
若K=2,一种具体实现方式中,
Figure BDA0000844277160000132
若K>2,一种具体实现方式中,
Figure BDA0000844277160000133
K>2时,较佳的,
Figure BDA0000844277160000134
下面通过一个具体实例对上述的获得深度图像的方法进行说明。
参见图7,提供了一种深度图像获得系统的结构示意图,该系统中包括由K个TOF深度相机组成的深度相机协同工作组和外部设备。
其中,上述的外部设备可以根据图4所示实施例提供的方案确定协同工作组中的每一TOF深度相机的每一工作周期的划分结果,得到每一工作周期的积分段,确定各个TOF深度相机的调制光发射功率的调整系数,生成各个TOF深度相机的时序同步控制信号等等。
深度相机协同工作组中的各个TOF深度相机根据上述的外部设备确定的积工作周期划分结果,获得每一工作周期对应的拍摄物的深度图像,调整发射调制光的功率,同步输出TOF深度相机每一工作周期对应的拍摄物的深度图像。
由以上可见,应用上述各个实施例提供的方案获得深度图像时,深度相机协同工作组中的任一深度相机DC所获得的其第N个工作周期对应的积分段与深度相机协同工作组中其他深度相机的第N个工作周期对应的积分段不重合,且对于第N个工作周期最后一个启动的深度相机的积分段的结束时刻≤对于第N+1个工作周期第一个启动的深度相机的积分段的开始时刻,这样深度相机DC根据在上述所获得的积分段内发射的调制光和接收的拍摄物反射的调制光确定拍摄物的深度信息时,虽然深度相机协同工作组中个深度相机的视场范围存在重叠区域,但是由于每一工作周期中,各个深度相机用于发射调制光和接收调制光的积分段不重合,所以各个深度相机发射的调制光不会相互干扰,进而在视场范围存在重叠区域的多个深度相机协同工作的情况下,各个深度相机能够准确的确定拍摄物的深度信息,准确的获得拍摄物的深度图像。
与上述的深度图像获得方法相对应,本发明实施例还提供了一种深度图像获得装置。
图8为本发明实施例提供的一种深度图像获得装置的结构示意图,该装置应用于深度相机协同工作组中的任一深度相机DC,其中,所述深度相机协同工作组中的每一深度相机的工作周期相同,且所述深度相机协同工作组中至少两个深度相机的视场范围之间存在重叠区域;
所述装置包括:
积分段获得模块801,用于获得根据所述深度相机协同工作组中所包含深度相机的数量确定的所述深度相机DC的第N个工作周期对应的积分段,其中,所述深度相机协同工作组中各个深度相机的第N个工作周期对应的积分段不重合,对于第N个工作周期最后一个启动的深度相机的积分段的结束时刻≤对于第N+1个工作周期第一个启动的深度相机的积分段的开始时刻,所述积分段为用于发射调制光和接收调制光的时间段;
调制光发射模块802,用于在所获得的积分段内发射调制光;
调制光接收模块803,用于在所获得的积分段内接收拍摄物反射的调制光;
深度信息确定模块804,用于根据发射调制光的时间信息以及接收调制光的时间信息,确定所述拍摄物的深度信息;
深度图像获得模块805,用于根据所述深度信息,获得所述深度相机DC的第N个工作周期对应的深度图像。
具体的,所述调制光发射模块802可以包括:
发射功率调整子模块,用于根据所获得的积分段的时长与预设时长之间的相对关系,按照预设的功率调整系数,反比例调整调制光发射功率;
调制光发射子模块,用于以调整后的发射功率,在所获得的积分段内发射调制光。
在本发明的一种较佳实现方式中,所述装置还可以包括:
同步信息接收模块,用于接收针对深度图像的同步信号,其中,所述同步信号,用于保证所述深度相机协同工作组中的各个深度相机同步输出第N个周期对应的深度图像;
深度图像输出模块,用于根据所述同步信号输出所获得的深度图像。
在本发明的一种具体实现方式中,上述的深度图像获得装置还可以包括积分段确定模块,用于确定所述深度相机DC的第N个工作周期对应的积分段。
具体的,参见图9,提供了一种获得工作周期对应的积分段的装置的结构示意图,该装置包括:
积分段确定模块901,用于根据所述深度相机协同工作组中所包含深度相机的数量确定所述深度相机DC的第N个工作周期对应的积分段;
具体的,所述积分段确定模块901,包括:
工作周期划分子模块9011,用于将所述深度相机DC的第N个工作周期依次划分为第一非积分段、积分段和第二非积分段,其中,划分得到的积分段和非积分段满足以下表达式:
Figure BDA0000844277160000151
t1表示划分得到的第一非积分段的时长,t2表示划分得到的积分段的时长,t3表示划分得到的第二非积分段的时长,T表示第N个工作周期对应的时长,K表示所述深度相机协同工作中所包含深度相机的数量;
积分段确定子模块9012,用于根据划分结果确定第N个工作周期对应的积分段。
具体的,所述工作周期划分子模块9011,包括:
起始时刻确定单元,用于按照所述深度相机协同工作组中所包含的深度相机的预设排列顺序,根据以下表达式,确定所述深度相机DC的第N个工作周期的起始时刻,
Figure BDA0000844277160000161
其中,k表示所述深度相机DC在所述预设排列顺序中的顺序号,k=0、1……K-1,Δtk表示所述深度相机DC的第N个工作周期的启动时刻与所述预设排列顺序中顺序号为0的深度相机的第N个工作周期的启动时刻之间的差值;
工作周期划分单元,用于根据所确定的起始时刻,将所述深度相机DC的第N个工作周期依次划分为第一非积分段、积分段和第二非积分段。
由以上可见,应用上述各个实施例提供的方案获得深度图像时,深度相机协同工作组中的任一深度相机DC所获得的其第N个工作周期对应的积分段与深度相机协同工作组中其他深度相机的第N个工作周期对应的积分段不重合,且对于第N个工作周期最后一个启动的深度相机的积分段的结束时刻≤对于第N+1个工作周期第一个启动的深度相机的积分段的开始时刻,这样深度相机DC根据在上述所获得的积分段内发射的调制光和接收的拍摄物反射的调制光确定拍摄物的深度信息时,虽然深度相机协同工作组中个深度相机的视场范围存在重叠区域,但是由于每一工作周期中,各个深度相机用于发射调制光和接收调制光的积分段不重合,所以各个深度相机发射的调制光不会相互干扰,进而在视场范围存在重叠区域的多个深度相机协同工作的情况下,各个深度相机能够准确的确定拍摄物的深度信息,准确的获得拍摄物的深度图像。
对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种深度图像获得方法,其特征在于,应用于深度相机协同工作组中的任一深度相机DC,其中,所述深度相机协同工作组中的每一深度相机的工作周期相同,且所述深度相机协同工作组中至少两个深度相机的视场范围之间存在重叠区域;所述方法包括:
获得根据所述深度相机协同工作组中所包含深度相机的数量确定的所述深度相机DC的第N个工作周期对应的积分段,其中,所述深度相机协同工作组中各个深度相机的第N个工作周期对应的积分段不重合,对于第N个工作周期最后一个启动的深度相机的积分段的结束时刻≤对于第N+1个工作周期第一个启动的深度相机的积分段的开始时刻,所述积分段为用于发射调制光和接收拍摄物反射的调制光的时间段;
在所获得的积分段内发射调制光,并接收拍摄物反射的调制光;
根据发射调制光的时间信息以及接收调制光的时间信息,确定所述拍摄物的深度信息;
根据所述深度信息,获得所述深度相机DC的第N个工作周期对应的深度图像;
其中,所述工作周期包括:所述积分段和非积分段,所述非积分段包括:用于对深度相机的特定标记位进行复位以及初始化操作的时间段、用于进行数据处理并确定拍摄物的深度信息的时间段。
2.根据权利要求1所述的方法,其特征在于,按照以下方式,根据所述深度相机协同工作组中所包含深度相机的数量确定所述深度相机DC的第N个工作周期对应的积分段:
将所述深度相机DC的第N个工作周期依次划分为第一非积分段、积分段和第二非积分段,其中,划分得到的积分段和非积分段满足以下表达式:
t1+t2+t3=T,
Figure FDA0002359864670000011
t1表示划分得到的第一非积分段的时长,t2表示划分得到的积分段的时长,t3表示划分得到的第二非积分段的时长,T表示第N个工作周期对应的时长,K表示所述深度相机协同工作中所包含深度相机的数量;
根据划分结果确定第N个工作周期对应的积分段。
3.根据权利要求2所述的方法,其特征在于,所述将所述深度相机DC的第N个工作周期依次划分为第一非积分段、积分段和第二非积分段,包括:
按照所述深度相机协同工作组中所包含的深度相机的预设排列顺序,根据以下表达式,确定所述深度相机DC的第N个工作周期的起始时刻,
Δtk=k*Δt,
Figure FDA0002359864670000021
其中,k表示所述深度相机DC在所述预设排列顺序中的顺序号,k=0、1……K-1,Δtk表示所述深度相机DC的第N个工作周期的启动时刻与所述预设排列顺序中顺序号为0的深度相机的第N个工作周期的启动时刻之间的差值;
根据所确定的起始时刻,将所述深度相机DC的第N个工作周期依次划分为第一非积分段、积分段和第二非积分段。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述在所获得的积分段内发射调制光,包括:
根据所获得的积分段的时长与预设时长之间的相对关系,按照预设的功率调整系数,反比例调整调制光发射功率;
以调整后的发射功率,在所获得的积分段内发射调制光。
5.根据权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:
接收针对深度图像的同步信号,其中,所述同步信号,用于保证所述深度相机协同工作组中的各个深度相机同步输出第N个周期对应的深度图像;
根据所述同步信号输出所获得的深度图像。
6.一种深度图像获得装置,其特征在于,应用于深度相机协同工作组中的任一深度相机DC,其中,所述深度相机协同工作组中的每一深度相机的工作周期相同,且所述深度相机协同工作组中至少两个深度相机的视场范围之间存在重叠区域;
所述装置包括:
积分段获得模块,用于获得根据所述深度相机协同工作组中所包含深度相机的数量确定的所述深度相机DC的第N个工作周期对应的积分段,其中,所述深度相机协同工作组中各个深度相机的第N个工作周期对应的积分段不重合,对于第N个工作周期最后一个启动的深度相机的积分段的结束时刻≤对于第N+1个工作周期第一个启动的深度相机的积分段的开始时刻,所述积分段为用于发射调制光和接收拍摄物反射的调制光的时间段;
调制光发射模块,用于在所获得的积分段内发射调制光;
调制光接收模块,用于在所获得的积分段内接收拍摄物反射的调制光;
深度信息确定模块,用于根据发射调制光的时间信息以及接收调制光的时间信息,确定所述拍摄物的深度信息;
深度图像获得模块,用于根据所述深度信息,获得所述深度相机DC的第N个工作周期对应的深度图像;
其中,所述工作周期包括:所述积分段和非积分段,所述非积分段包括:用于对深度相机的特定标记位进行复位以及初始化操作的时间段、用于进行数据处理并确定拍摄物的深度信息的时间段。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
积分段确定模块,用于根据所述深度相机协同工作组中所包含深度相机的数量确定所述深度相机DC的第N个工作周期对应的积分段;
具体的,所述积分段确定模块,包括:
工作周期划分子模块,用于将所述深度相机DC的第N个工作周期依次划分为第一非积分段、积分段和第二非积分段,其中,划分得到的积分段和非积分段满足以下表达式:
t1+t2+t3=T,
Figure FDA0002359864670000031
t1表示划分得到的第一非积分段的时长,t2表示划分得到的积分段的时长,t3表示划分得到的第二非积分段的时长,T表示第N个工作周期对应的时长,K表示所述深度相机协同工作中所包含深度相机的数量;
积分段确定子模块,用于根据划分结果确定第N个工作周期对应的积分段。
8.根据权利要求7所述的装置,其特征在于,所述工作周期划分子模块,包括:
起始时刻确定单元,用于按照所述深度相机协同工作组中所包含的深度相机的预设排列顺序,根据以下表达式,确定所述深度相机DC的第N个工作周期的起始时刻,
Δtk=k*Δt,
Figure FDA0002359864670000041
其中,k表示所述深度相机DC在所述预设排列顺序中的顺序号,k=0、1……K-1,Δtk表示所述深度相机DC的第N个工作周期的启动时刻与所述预设排列顺序中顺序号为0的深度相机的第N个工作周期的启动时刻之间的差值;
工作周期划分单元,用于根据所确定的起始时刻,将所述深度相机DC的第N个工作周期依次划分为第一非积分段、积分段和第二非积分段。
9.根据权利要求6-8中任一项所述的装置,其特征在于,所述调制光发射模块,包括:
发射功率调整子模块,用于根据所获得的积分段的时长与预设时长之间的相对关系,按照预设的功率调整系数,反比例调整调制光发射功率;
调制光发射子模块,用于以调整后的发射功率,在所获得的积分段内发射调制光。
10.根据权利要求6-8中任一项所述的装置,其特征在于,所述装置还包括:
同步信息接收模块,用于接收针对深度图像的同步信号,其中,所述同步信号,用于保证所述深度相机协同工作组中的各个深度相机同步输出第N个周期对应的深度图像;
深度图像输出模块,用于根据所述同步信号输出所获得的深度图像。
CN201510766584.8A 2015-11-11 2015-11-11 一种深度图像获得方法及装置 Active CN106683130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510766584.8A CN106683130B (zh) 2015-11-11 2015-11-11 一种深度图像获得方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510766584.8A CN106683130B (zh) 2015-11-11 2015-11-11 一种深度图像获得方法及装置

Publications (2)

Publication Number Publication Date
CN106683130A CN106683130A (zh) 2017-05-17
CN106683130B true CN106683130B (zh) 2020-04-10

Family

ID=58865261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510766584.8A Active CN106683130B (zh) 2015-11-11 2015-11-11 一种深度图像获得方法及装置

Country Status (1)

Country Link
CN (1) CN106683130B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107580208B (zh) * 2017-08-24 2020-06-23 上海视智电子科技有限公司 一种多深度测量设备的协同工作系统和方法
CN108205130B (zh) * 2017-12-22 2021-11-30 重庆物奇科技有限公司 深度传感器、探测系统及传感器的发射功率的控制方法
CN108955641B (zh) * 2018-04-23 2020-11-17 维沃移动通信有限公司 一种深度摄像方法、深度摄像设备及移动终端
CN109459738A (zh) * 2018-06-06 2019-03-12 杭州艾芯智能科技有限公司 一种多台tof相机相互避免干扰的方法及系统
CN109308718B (zh) * 2018-08-09 2022-09-23 上海青识智能科技有限公司 一种基于多深度相机的空间人员定位装置及方法
CN111750850B (zh) * 2019-03-27 2021-12-14 杭州海康威视数字技术股份有限公司 角度信息获取方法、装置和系统
CN110072044B (zh) * 2019-05-30 2021-04-16 Oppo广东移动通信有限公司 深度相机的控制方法及控制装置、终端及可读存储介质
CN111556226A (zh) * 2020-07-13 2020-08-18 深圳市智绘科技有限公司 一种相机系统
CN113296114B (zh) * 2021-05-21 2024-05-14 Oppo广东移动通信有限公司 dTOF深度图像的采集方法、装置、电子设备及介质
CN114095713A (zh) * 2021-11-23 2022-02-25 京东方科技集团股份有限公司 成像模组及其处理方法、系统、装置、介质
CN114643580B (zh) * 2022-03-29 2023-10-27 杭州海康机器人股份有限公司 一种机器人控制方法、装置及设备
CN116681746B (zh) * 2022-12-29 2024-02-09 广东美的白色家电技术创新中心有限公司 深度图像的确定方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201118501A (en) * 2009-11-19 2011-06-01 Hon Hai Prec Ind Co Ltd Camera array
CN102638692A (zh) * 2011-01-31 2012-08-15 微软公司 降低多个红外深度相机之间的干扰
CN104641633A (zh) * 2012-10-15 2015-05-20 英特尔公司 用于组合来自多个深度相机的数据的系统和方法
CN104838284A (zh) * 2012-11-08 2015-08-12 蓝泰科尼克有限公司 用于至少两个ToF相机的拍摄方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9857469B2 (en) * 2010-10-22 2018-01-02 Heptagon Micro Optics Pte. Ltd. System and method for multi TOF camera operation using phase hopping
KR101975971B1 (ko) * 2012-03-19 2019-05-08 삼성전자주식회사 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201118501A (en) * 2009-11-19 2011-06-01 Hon Hai Prec Ind Co Ltd Camera array
CN102638692A (zh) * 2011-01-31 2012-08-15 微软公司 降低多个红外深度相机之间的干扰
CN104641633A (zh) * 2012-10-15 2015-05-20 英特尔公司 用于组合来自多个深度相机的数据的系统和方法
CN104838284A (zh) * 2012-11-08 2015-08-12 蓝泰科尼克有限公司 用于至少两个ToF相机的拍摄方法

Also Published As

Publication number Publication date
CN106683130A (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
CN106683130B (zh) 一种深度图像获得方法及装置
JP7139452B2 (ja) 画像処理方法、コンピュータ可読記憶媒体、および電子機器
JP5138031B2 (ja) 深度関連情報を処理する方法、装置及びシステム
KR101221449B1 (ko) 카메라간 영상 보정 장치 및 방법
US11514606B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
CN108989606B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20180115683A1 (en) Multiview camera synchronization system and method
WO2016141627A1 (zh) 图像获取方法、图像获取装置和终端
JP2018036366A (ja) 像ブレ補正装置、撮像装置および制御方法
WO2018228352A1 (zh) 一种同步曝光方法、装置及终端设备
US20170078649A1 (en) Method and system for unsynchronized structured lighting
JP7070417B2 (ja) 画像処理装置および方法
US20190149702A1 (en) Imaging apparatus
CN110956657B (zh) 深度图像获取方法及装置、电子设备及可读存储介质
CN107071347B (zh) 一种无线定位设备的调整方法以及前端设备
US20180241941A1 (en) Image processing apparatus, image processing method, and image pickup apparatus
JP2017134177A (ja) 像振れ検出装置及び方法、及び撮像装置
JP2017050731A (ja) 動画像フレーム補間装置、動画像フレーム補間方法及び動画像フレーム補間プログラム
CN104575006A (zh) 图像拍摄时刻确定方法及系统、车辆速度检测方法及系统
JP2020021421A (ja) データ分割装置、データ分割方法およびプログラム
CN105068360A (zh) 连续拍照方法和系统
CN112513670B (zh) 测距仪、测距系统、测距方法及程序
KR102238794B1 (ko) 영상 촬영 장치의 촬영 속도 증가 방법
WO2021131788A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
KR101993468B1 (ko) 다채널 영상 안정화 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant