CN117499612A - 一种深度相机、深度成像方法、电子设备及存储介质 - Google Patents
一种深度相机、深度成像方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117499612A CN117499612A CN202311232173.1A CN202311232173A CN117499612A CN 117499612 A CN117499612 A CN 117499612A CN 202311232173 A CN202311232173 A CN 202311232173A CN 117499612 A CN117499612 A CN 117499612A
- Authority
- CN
- China
- Prior art keywords
- depth
- speckle
- target
- image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 26
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000003331 infrared imaging Methods 0.000 claims abstract description 33
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000000059 patterning Methods 0.000 claims abstract description 9
- 238000009826 distribution Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 16
- 230000000875 corresponding effect Effects 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000004927 fusion Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供了一种深度相机、深度成像方法、电子设备及存储介质,深度相机包括激光发射模组、红外成像模组及深度计算芯片;激光发射模组,用于在每个周期内依次向目标投射多个不同的散斑图案化光束,每次投射时激光发射模组中的部分点光源点亮;红外成像模组,用于在每个周期内依次采集经目标反射回的多个散斑图案化光束,并分别生成相应的多帧散斑图像;深度计算芯片,用于融合多帧散斑图像,得到目标散斑图像,并根据目标散斑图像计算目标深度图像;或,分别根据多帧散斑图像计算对应的多帧初始深度图像,融合多帧初始深度图像得到目标深度图像。本申请可有效地提升深度相机所得到的深度信息的准确性。
Description
【技术领域】
本申请涉及深度成像的技术领域,尤其涉及一种深度相机、深度成像方法、电子设备及存储介质。
【背景技术】
深度相机通常包括激光发射模组、红外成像模组及深度计算芯片,激光发射模组可在单个工作脉冲内向目标投射图案化光束,所投射的图案化光束会被目标的三维表面所调制,调制后的图案化光束会经过反射和/或漫反射,最终由红外成像模组在单帧曝光时间内一次性捕获,随后红外成像模组即可利用所捕获的图案化光束生成相应的特征图像,以便深度计算芯片根据此特征图像进行计算,从而得出目标体的深度信息。
相关技术中,激光发射模组的供电往往是局限的,比如深度相机应用至门锁上时采用干电池或者锂电池为激光发射模组供电、应用在机器人上时采用USB(UniversalSerial Bus,通用串行总线)为激光发射模组供电等,这会限制激光发射模组的功耗,同时又由于激光发射模组通常工作在脉冲模式下,故而图案化光束的峰值功耗也会被局限;随着测量距离(即目标体与深度相机之间的距离)的增大,经目标体反射而进入红外成像模组的图案化光束的光强度急剧降低,其与测量距离的平方成反比;在户外等高照度场景下,环境光中往往存在着显著的干扰光,虽然红外成像模组可通过添加近红外窄带滤光片的方式,将大部分环境光隔离,但仍然会有很大一部分环境光进入红外成像模组。
以上所提及的供电限制、测量距离远及户外环境光干扰等因素,均会致使红外成像模组生成的特征图像的信噪比下降,最终很大可能会导致深度计算芯片的深度计算出现偏差。
【发明内容】
本申请提供了一种高信噪比的深度成像方法及相关设备、存储介质,旨在解决相关技术中深度相机的红外成像模组生成的特征图像信噪比低的问题。
为了解决相关技术中所存在的上述技术问题,本申请实施例第一方面提供了一种深度相机,包括激光发射模组、红外成像模组及深度计算芯片;激光发射模组,用于在每个周期内依次向目标投射多个不同的散斑图案化光束,每次投射时激光发射模组中的部分点光源点亮;红外成像模组,用于在每个周期内依次采集经目标反射回的多个散斑图案化光束,并分别生成相应的多帧散斑图像;深度计算芯片,用于融合多帧散斑图像,得到目标散斑图像,并根据目标散斑图像计算目标深度图像;或,分别根据多帧散斑图像计算对应的多帧初始深度图像,融合多帧初始深度图像得到目标深度图像。
本申请实施例第二方面提供了一种深度成像方法,包括:在每个周期内依次向目标投射多个不同的散斑图案化光束;在每个周期内依次采集经目标反射回的多个散斑图案化光束,分别生成多帧散斑图像;融合多帧散斑图像,得到目标散斑图像,根据目标散斑图像计算目标深度图像;或,分别根据多帧散斑图像计算对应的多帧初始深度图像,融合多帧初始深度图像,得到目标深度图像。
本申请实施例第三方面提供了一种电子设备,其包括本申请实施例第一方面所提及的深度相机。
本申请实施例第四方面提供了一种计算机可读存储介质,该计算机可读存储介质上存储有至少一端计算机指令,该至少一段计算机指令用于被处理器调用以实现本申请实施例第二方面所提及的深度成像方法。
本申请的深度相机、深度成像方法、电子设备及存储介质,在一个周期内激光发射模组依次点亮其中部分点光源,进而依次向目标投射不同的散斑图案化光束,红外成像模组同步依次采集目标反射回的散斑图案化光束生成散斑图像,相较于一次点亮其中部分点光源而言,单次投射其中部分散斑图案化光束的能量更高,从而使得散斑图像具有更高的信噪比,在先融合后计算的方式下,融合而成的目标散斑图像同样具有更高的信噪比,深度计算芯片依据目标散斑图像计算得到的目标的深度图像,质量更高;在先计算后融合的方式下,基于各个散斑图像计算各个初始深度图像的质量更高,进而融合的深度图像的质量更高。
【附图说明】
为了更清楚地说明相关技术或本申请实施例中的技术方案,下面将对相关技术或本申请实施例的描述中所需使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,而并非是全部实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的深度相机的结构示意图;
图2为本申请实施例提供的激光发射模组的激光光源的结构示意图;
图3为本申请实施例提供的深度相机的工作原理示意图;
图4为本申请实施例提供的深度成像方法的流程示意图;
图5为本申请实施例提供的电子设备的结构示意图;
图6为本申请实施例提供的计算机可读存储介质的模块框图。
【具体实施方式】
为了使本申请的目的、技术方案及优点更加的明显、易懂,下面将结合本申请实施例以及相应的附图,对本申请进行清楚、完整地描述,其中,自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。应当理解的是,下面所描述的本申请的各个实施例仅用以解释本申请,并不用于限定本申请,即基于本申请的各个实施例,本领域的普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,下面所描述的本申请的各个实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
图1示出了一些实施例中的深度相机的结构示意图,深度相机110包括激光发射模组111、红外成像模组112和深度计算芯片113,深度计算芯片113与激光发射模组111及红外成像模组112连接,以传输控制信号至激光发射模组111与红外成像模组112、及接收红外成像模组112采集的图像数据。激光发射模组111用于在每个周期内依次向目标投射多个不同的散斑图案化光束,多个不同的散斑图案化光束可分布在目标上的不同位置,每次投射时激光发射模组111中的部分点光源点亮;红外成像模组112用于在每个周期内依次采集经目标反射回的多个散斑图案化光束,分别生成多帧散斑图像,多帧散斑图像中散斑点的分布位置不同;深度计算芯片113用于接收多帧散斑图像,并基于多帧散斑图像计算目标深度图像。在一个实施例中,深度计算芯片113用于融合多帧散斑图像,得到目标散斑图像,并根据目标散斑图像计算目标深度图像,此方式为“先融合再计算深度”;在另一个实施例中,深度计算芯片113用于分别根据多帧散斑图像计算对应的多帧初始深度图像,融合多帧初始深度图像得到目标深度图像,此方式为“先计算深度再融合”。
两种方式得到的目标深度图像的质量基本无差异,且两种方式的信噪比是一致的,但两者对深度计算芯片113的算力要求不同,“先计算深度再融合”方式由于需要分别对多幅散斑图像进行深度计算,深度计算芯片113需要频繁地进行深度计算,深度计算芯片需要具有较高的算力,对深度计算芯片的要求更高,而“先融合再进行深度计算”的方式仅需对目标散斑图像进行一次深度计算,深度计算芯片可无需较高的算力,对深度计算芯片的要求更低。
图1给出了深度相机110为单目结构光深度相机的示例,其包括单个红外成像模组112,深度计算芯片113计算深度图像时,将散斑图像(或目标散斑图像)与预设的参考散斑图像(或目标参考散斑图像)相匹配,从而得出对应的深度图像。如果深度相机110为双目结构光深度相机,则深度相机110包括两个红外成像模组112,深度计算芯片113可基于两个红外成像模组112获取的散斑图像(或目标散斑图像)进行深度匹配,从而得到对应的深度图像。
作为其中的一种实施例,激光发射模组111包括激光光源和调制光学元件,激光光源可用于依次产生多个不同的散斑图案化光束,调制光学元件设于激光光源的发光路径中,用于调制激光光源产生的散斑图案化光束,并将调制后的散斑图案化光束投射至目标。调制光学元件对散斑图案化光束的调制可以包括但不限于准直、衍射等,甚至可以是这些调制中多种的组合。调制光学元件可以包括一片或多片透镜、微透镜阵列、衍射光学元件(DOE)、扩散片(diffuser)和波浪片等中的一种或多种的组合;还可以根据调制光学元件所进行的不同调制作用将其拆分为多个光学元件,比如将调制光学元件设定为依次排列的准直透镜及衍射光学元件,此种情况下,准直透镜可以对激光光源发射的散斑图案化光束进行准直,衍射光学元件可以对准直后的散斑图案化光束进行复制,并将复制后的散斑图案化光束投射至目标。
在本实施例的一些实现方式中,激光光源包括多个独立控制的点阵光源,不同的点阵光源所形成的散斑图案化光束不同,多个点阵光源在每个周期内可依次开启,以依次向目标投射多个不同的散斑图案化光束,即激光发射模组111发射散斑图案化光束时,只有一个点阵光源开启,如此,相较于所有点阵光源全部同时开启的方式而言,单独开启其中一个点阵光源,该点阵光源的平均供电电流较高,激光光源可具有较高的发光功率,进而投射至目标上所形成的散斑亮度更高,有利于提高散斑图像的信噪比。每个点阵光源均包括多个点光源,多个点阵光源可分别设置在多个区域,或者,多个点阵光源中的点光源相互交错设置。其中,多个点阵光源内的点光源的数量及分布密度相同,当然,多个点阵光源内的点光源的数量及分布密度也可以不相同,具体可根据应用场景合理设置。
深度计算芯片113可分别发送多个控制信号(如PWM信号)至多个点阵光源,进而控制多个点阵光源在一个周期内交错开启,多个点阵光源的频率和占空比可相同,多帧点阵光源的工作脉冲相互错开。对应的,深度计算芯片113也可发送相应的控制信号至红外成像模组112,以在各个点阵光源开启时同步曝光采集目标反射回的散斑图案化光束,生成对应的散斑图像。
图2示出了两种激光光源的分布示意图,图2中星点表示第一点阵光源中的点光源,圆点表示第二点阵光源中的点光源,圆环点表示第三点阵光源中的点光源。其中,星点、圆点和圆环点只是示意,仅用于区分第一点阵光源、第二点阵光源、第三点阵光源,实际第一点阵光源、第二点阵光源和第三点阵光源中的点光源的形状和类型可相同。
如图2(1)所示,第一点阵光源和第二点阵光源分区域设置,第一点阵光源设置在左侧区域,第二点阵光源设置在右侧区域;当第一点阵光源开启且第二点阵光源关闭时,投射至目标上的散斑图案化光束可仅包括如图2(1)中的星点,当第二点阵光源开启且第一点阵光源关闭时,投射至目标上的散斑图案化光束可仅包括图2(2)中的圆点。
如图(2)所示,激光光源包括第一点阵光源、第二点阵光源及第三点阵光源,第一点阵光源、第二点阵光源及第三点阵光源中的点光源相互交错设置,但互不重叠以避免相互干扰,且所有的点光源满足随机性要求,以避免将多帧散斑图像融合成目标散斑图像后出现散斑点重叠,以及避免深度匹配时无法准确定位散斑点的现象。当第一点阵光源开启、第二点阵光源及第三点阵光源关闭时,激光发射模组111投射出的散斑图案可仅包括图2(2)中的星点;当第二点阵光源开启,第一点阵光源及第三点阵光源关闭时,激光发射模组111投射出的散斑图案可仅包括图2(2)中的圆点;当第三点阵光源开启,第一点阵光源及第二点阵光源关闭时,激光发射模组111投射出的散斑图案可仅包括图2(2)中的圆环点。
以两个点阵光源为例说明实际的深度成像过程,每个周期具有两个曝光时间,在每个周期的第一帧曝光时间内激光光源中的第一点阵光源发光,激光发射模组111向目标投射第一散斑图案化光束,红外成像模组112同步采集反射回的第一散斑图案化光束生成第一散斑图像;在每个周期的第二帧曝光时间内激光光源中的第二点阵光源发光,激光发射模组111向目标投射第二散斑图案化光束,红外成像模组112采集反射回的第二散斑图案化光束生成第二散斑图像;深度计算芯片113融合第一散斑图像与第二散斑图像得到目标散斑图像,并根据目标散斑图像计算目标的目标深度图像。
需要说明的是,对于多个点阵光源在激光光源中分区设置和交错设置,它们在本质上并无任何区别,都遵循着“点亮某个点阵光源其所包括的各点光源均点亮”的规则,相互交错的设置形式在制作工艺上更加复杂,其制作的难度要比分区设置大。其中,点阵光源可以包括但不限于发光二极管(LED)、边发射激光器(EEL)及垂直腔面发射激光器(VCSEL)。
为了便于说明,本申请以激光光源包括两个独立控制的点阵光源(图2(1)对应的实施例)、及“先融合再计算深度”的方式为例进行说明。两个点阵光源分别为第一点阵光源和第二点阵光源,可以理解的是,点阵光源的数量并不限于两个,还可以是3个、4个、5个或更多个,具体内容相类似,“先计算深度在融合”的方式比较类似,区别在于融合的对象不同,在此不做赘述。
在一个实施例中,图3(1)示出了深度相机的部分工作时序,图3(1)中的A1、B1、A2、B2均为红外成像模组112的单帧曝光时间,A1与B1在同一个周期内,A2与B2在同一个周期内,在第一帧曝光时间A1内激光光源只开启第一点阵光源,红外成像模组112同步曝光获得如图3(2)所示的第一散斑图像;在第二帧曝光时间B1内激光光源只开启第二点阵光源,红外成像模组112同步曝光获得如图3(3)所示的第二散斑图像;以此类推,在第一帧曝光时间A2内红外成像模组112也获得了如图3(2)所示的第一散斑图像,在第二帧曝光时间B2内红外成像模组112也获得了如图3(3)所示的第二散斑图像;深度计算芯片113融合第一散斑图像及第二散斑图像,得到了如图3(4)所示的目标散斑图像,并根据目标散斑图像计算深度,得到目标的目标深度图像。其中,图3(2)至图3(4)中各图像的背景(灰色)可以理解为环境光引入的低噪。
相关技术中的深度相机,其激光光源内的所有的点光源同一控制,同开同关,其在深度成像时,在一个周期内所有的点光源均开启,例如,其激光光源亦如图2(1)所示,图2(1)中的所有点光源(包括星点和圆点)均开启,假设投射至目标的散斑图案化光束中总共包括n个散斑点,对应的平均噪声水平是Gnoise,激光光源发射激光的信号水平是Gsignal,那么对应单个散斑点的信号水平就是Gsignal/n,该方式下得到的散斑图像的信噪比为Gsignal/(n*Gnoise)。
对于本申请,在一个周期内的第一帧曝光时间内激光光源只开启第一点阵光源,在第二帧曝光时间内激光光源只开启第二点阵光源,假设第一点阵光源和第二点阵光源所包括的点光源数量相等,且点数量之和为与前述相关技术中的点光源数量相同,即如图2(1)所示的激光光源中星点与圆点的数量相等,则第一点阵光源和第二点阵光源开启时,投射至目标的散斑点数量均为n/2;假设在第一帧时间内激光光源投射出的第一散斑图案为图2(1)中的星点,红外成像模组112采集到的第一散斑图像如图3(2)所示,该第一散斑图像中总共包括n/2个散斑点,对应的平均噪声水平也是Gnoise,激光光源发射激光的信号水平同为Gsignal,那么对应单个散斑点的信号水平就是2*Gsignal/n,即激光光源发射的激光的所有能量都集中到了图2(1)中的星点,每个散斑点分配到的能量增高了一倍,第一散斑图像的信噪比为2*Gsignal/(n*Gnoise);同理,在第二帧时间内激光光源投射出的第二散斑图案为图2(1)中的圆点,红外成像模组112采集得到如图3(3)所示的第二散斑图像,第二散斑图像的信噪比也为2*Gsignal/(n*Gnoise);当第一散斑图像与第二散斑图像融合后,所得到的目标散斑图像的信噪比仍是2*Gsignal/(n*Gnoise),很明显其比上述相关技术中的深度相机的信噪比提高了一倍。需要说明的是,图3(2)、图3(3)及图3(4)仅是示意,并未考虑目标对散斑图案化光束的调制作用,实际上由于目标的调制散斑图像中的散斑点会发生变形。
由此可见,本申请的深度相机与相关技术中的深度相机相比,在激光光源的供电、深度相机110的测量距离以及户外环境光干扰等相同的条件下,本申请的深度相机的信噪比得到明显提升,从而深度图像的质量也得到了明显提升。例如,当激光光源包括两个点阵光源时,散斑图像的信噪比可提升一倍,以此类推,当激光光源包括三个点阵光源时,散斑图像的信噪比可提升两倍,激光光源包括四个点阵光源时,散斑图像的信噪比可提升三倍;即,目标散斑图像的信噪比的提升倍数与点阵光源的数量正相关。
虽然本申请将目标的多帧散斑图像融合成一帧目标散斑图像,但是对深度相机110的帧率影响较低。在一些实施例中,融合多帧散斑图像时,为连续多帧散斑图像,避免产生运动伪影,而进一步提升了深度图像的质量,可适用于运动场景下的深度探测,被融合的连续多帧散斑图像可位于同一个周期内或相邻的两个周期内。仍然以图3对应的实施例进行说明,深度计算芯片113将曝光时间A1和B1内分别获得的第一散斑图像和第二散斑图像融合成目标散斑图像C1,将曝光时间B1和A2内分别获得的第二散斑图像和第一散斑图像融合成目标散斑图像C2,将曝光时间A2和B2内获得的第一散斑图像和第二散斑图像融合成目标散斑图像C3;以此类推,n帧连续的散斑图像可融合成n-1帧目标散斑图像,相比只减少了一帧,因此,对于帧率的影响可忽略不计,而针对n-1帧目标散斑图像,可根据其中一帧目标散斑图像计算出对应的目标深度图像,也可以根据每帧目标散斑图像算出相应的每帧目标深度图像,可根据应用场景合理选择。在一些实施例中,也可以将非连续的多帧不同散斑图像进行融合,例如以图3为例,可以融合时间A1和B2内获得的第一散斑图像和第二散斑图像,适用于静态场景,非连续的多帧不同散斑图像应避免时间相隔较远的,以避免产生伪影而影响精度。其中,融合多帧散斑图像可采用常规的图像融合算法,在此不做限制。
以上实施例仅作为本申请的优选实现,它们并非是对深度相机110相关内容的唯一限定;对此,本领域技术人员可以在以上实施例的基础上,根据实际应用场景进行灵活设定。
本申请还提供了一种深度成像方法,深度成像方法可应用于上述深度相机,图4示出了一些实施例中深度成像方法的流程示意图,如图4(1)所示,深度成像方法包括以下步骤S401、S402及S403,或如图4(2)所示,深度成像方法包括以下步骤S401、S402及S404。
S401、在每个周期内依次向目标投射多个不同的散斑图案化光束。
S402、在每个周期内依次采集目标反射回的多个散斑图案化光束,分别生成多帧散斑图像。
S403、融合多帧散斑图像得到目标散斑图像,并根据目标散斑图像计算目标深度图像。
S404、分别根据多帧散斑图像计算对应的多帧初始深度图像,融合多帧初始深度图像,得到目标深度图像。
步骤S401和步骤S402可同步进行,例如,每投射一个散斑图案化光束时,对应同步采集目标反射回的对应散斑图案化光束,分别生成对应帧散斑图像。需要说明的是,深度成像方法中的具体内容可参照上述深度相机的相关说明,以及对于深度成像方法描述中的未尽之处,也可参见前文对深度相机的相关说明,本申请在此不再展开赘述。
本申请的深度相机和深度成像方法,在一个周期内依次点亮激光发射模组中的部分点光源,进而依次向目标投射不同的散斑图案化光束,红外成像模组同步依次采集目标反射回的散斑图案化光束生成散斑图像,相较于一次点亮所有的点光源而言,单次投射其中部分散斑图案化光束的能量更高,从而使得散斑图像具有更高的信噪比,在先融合后计算的方式下,融合而成的目标散斑图像同样具有更高的信噪比,深度计算芯片113依据目标散斑图像计算得到的目标的深度图像,质量更高;在先计算后融合的方式下,基于各个散斑图像计算各个初始深度图像的质量更高,进而融合的深度图像的质量更高。
本申请还提供了一种电子设备,电子设备包括上述实施例所述的深度相机。图5示出了一些实施例中电子设备的模块框图,电子设备500包括深度相机510、处理器520及存储器530,存储器530通讯连接于处理器520,处理器520通讯连接深度相机510,处理器520可控制深度相机510,存储器530可存储有一些算法对应的计算机程序,具体可根据电子设备500的类型决定。例如,当电子设备500为智能门锁时,则存储器530内可存储有人脸识别程序。例如,当电子设备500为机器人时,则存储器530内可存储有避障程序、导航程序等。需要说明的是,电子设备500除了包括上述已列举出的结构以外,还可包括本领域内常见的其它结构,比如用于实现存储器530、深度相机510及处理器520之间通讯连接的总线等,本申请在此不再一一列举。
作为其中的一种实施例,处理器520由集成电路所组成,其可以由单个封装的集成电路所组成,也可以由多个相同功能或者不同功能封装的集成电路所组成,其包括中央处理器(CPU)、微处理器、神经网络芯片、数字处理芯片、图形处理器及各种控制芯片中的任意一种或多种的组合。可以理解的是,处理器520是电子设备500的控制核心,其利用各种接口和线路连接整个电子设备500的各个部件,并通过运行或执行计算机指令或模块以及调用数据,来实现电子设备500的各种功能和数据处理,比如实现对深度相机510的控制功能,以及基于深度图像的应用功能。
作为其中的一种实施例,存储器530至少包括一种类型的计算机可读存储介质,该计算机可读存储介质可以包括但不限于闪存、移动硬盘、多媒体卡、卡型存储器(如SD存储器、DX存储器等)、磁性存储器、磁盘以及光盘。在本实施例中,存储器530可以是电子设备500的内部存储单元(比如电子设备500的移动硬盘),也可以是电子设备500的外部存储设备,比如电子设备500上配备的插接式移动硬盘、智能存储卡(SMC)、安全数字(SD)卡及闪存卡等,或者,存储器530同时是电子设备500的内部存储单元和外部存储设备;进一步地,存储器530不仅可以用于存储安装于电子设备500的应用软件、各类数据及计算机指令(比如实现对深度相机510的控制功能、基于深度相机510的深度成像功能等的代码),还可以用于暂时地存储已经输出或者将要输出的数据;在实际的应用中,处理器520可调取并运行存储器530中存储的计算机指令,从而实现对深度相机510的控制功能、应用功能。
以上实施例仅作为本申请的优选实现,它们并非是对电子设备500相关内容的唯一限定;对此,本领域技术人员可以在以上实施例的基础上,根据实际应用场景进行灵活设定。下面,将对电子设备500中所配置的深度相机510及其深度成像过程进行详尽地阐述。
此外,深度相机510内的存储器或电子设备500内的存储器至少包括一种类型的计算机可读存储介质,故而本申请实施例在此提供一种计算机可读存储介质,请参阅图6所示出的计算机可读存储介质的模块框图,在一些实施例中,该计算机可读存储介质600上存储有至少一段计算机指令610,当该至少一段计算机指令610被深度计算芯片或处理器520调用时可实现前文所给出的深度成像方法。
结合本文中所公开的实施例所描述的方法或算法的步骤,其可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(如同轴电缆、光纤、数字用户线)或无线(如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(如软盘、硬盘、磁带)、光介质(如DVD)、或者半导体介质(如固态硬盘Solid State Disk)等。
需要说明的是,本申请内容中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于产品类实施例而言,由于其与方法类实施例相似,所以描述的比较简单,相关之处参见方法类实施例的部分说明即可。
还需要说明的是,在本申请内容中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请内容。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本申请内容中所定义的一般原理可以在不脱离本申请内容的精神或范围的情况下,在其它实施例中实现。因此,本申请内容将不会被限制于本申请内容所示的这些实施例,而是要符合与本申请内容所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种深度相机,其特征在于,包括:
激光发射模组,用于在每个周期内依次向目标投射多个不同的散斑图案化光束,每次投射时所述激光发射模组中的部分点光源点亮;
红外成像模组,用于在每个周期内依次采集经所述目标反射回的多个所述散斑图案化光束,并分别生成相应的多帧散斑图像;
深度计算芯片,用于融合多帧所述散斑图像,得到目标散斑图像,并根据所述目标散斑图像计算目标深度图像;或,分别根据多帧所述散斑图像计算对应的多帧初始深度图像,融合所述多帧初始深度图像得到目标深度图像。
2.根据权利要求1所述的深度相机,其特征在于,所述激光发射模组包括多个独立控制的点阵光源,不同的所述点阵光源所形成的散斑图案化光束不同。
3.根据权利要求2所述的深度相机,其特征在于,所述激光发射模组投射散斑图案化光束时,多个所述点阵光源中的其中一个开启。
4.根据权利要求2所述的深度相机,其特征在于,多个所述点阵光源均包括多个点光源,多个所述点阵光源分别被设置在多个区域,或,多个所述点阵光源中的点光源相互交错设置。
5.根据权利要求4所述的深度相机,其特征在于,多个所述点阵光源内的点光源的数量及分布密度相同。
6.根据权利要求1所述的深度相机,其特征在于,所述多帧所述散斑图像为连续的多帧散斑图像,所述连续的多帧散斑图像在同一个周期内或相邻两个周期内。
7.一种深度成像方法,其特征在于,包括:
在每个周期内依次向目标投射多个不同的散斑图案化光束;
在每个周期内依次采集经所述目标反射回的多个所述散斑图案化光束,分别生成多帧散斑图像;
融合多帧所述散斑图像,得到目标散斑图像,根据所述目标散斑图像计算目标深度图像;或,分别根据多帧所述散斑图像计算对应的多帧初始深度图像,融合所述多帧初始深度图像,得到目标深度图像。
8.根据权利要求7所述的深度成像方法,其特征在于,所述多帧所述散斑图像为连续的多帧散斑图像,所述连续的多帧散斑图像在同一个周期内或相邻两个周期内。
9.一种电子设备,其特征在于,包括权利要求1至6中任意一项所述的深度相机。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令被处理器调用时,实现权利要求7或8所述的深度成像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311232173.1A CN117499612A (zh) | 2023-09-21 | 2023-09-21 | 一种深度相机、深度成像方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311232173.1A CN117499612A (zh) | 2023-09-21 | 2023-09-21 | 一种深度相机、深度成像方法、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117499612A true CN117499612A (zh) | 2024-02-02 |
Family
ID=89683668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311232173.1A Pending CN117499612A (zh) | 2023-09-21 | 2023-09-21 | 一种深度相机、深度成像方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117499612A (zh) |
-
2023
- 2023-09-21 CN CN202311232173.1A patent/CN117499612A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10931935B2 (en) | Structured light projection module based on VCSEL array light source | |
US11828954B2 (en) | Structured light projection module, depth camera, and method for manufacturing structured light projection module | |
CN108957911A (zh) | 散斑结构光投影模组及3d深度相机 | |
CN110333501A (zh) | 深度测量装置及距离测量方法 | |
CN110471080A (zh) | 基于tof图像传感器的深度测量装置 | |
US20110175983A1 (en) | Apparatus and method for obtaining three-dimensional (3d) image | |
JP2019533134A (ja) | 三次元イメージングシステム及び電子デバイス | |
KR20210027461A (ko) | 이미지 처리 방법 및 장치 및 이미지 처리 디바이스 | |
CN109212773B (zh) | 紧凑式散斑投影模组及深度相机 | |
CN108388071B (zh) | 深度相机及其投影模组 | |
WO2021169531A1 (zh) | 一种ToF深度测量装置、控制ToF深度测量装置的方法及电子设备 | |
US20200225350A1 (en) | Depth information acquisition system and method, camera module, and electronic device | |
CN207133564U (zh) | 多密度图案投影仪 | |
CN113936050B (zh) | 散斑图像生成方法、电子设备及存储介质 | |
US20200045297A1 (en) | Depth map generator | |
KR20150087612A (ko) | 구조광 생성 장치 및 방법 | |
CN111323787A (zh) | 探测装置及方法 | |
CN117499612A (zh) | 一种深度相机、深度成像方法、电子设备及存储介质 | |
CN211786409U (zh) | 结构光投射器及三维成像装置 | |
CN214252775U (zh) | 一种结构光发射器、深度相机和深度识别终端 | |
US20230216273A1 (en) | Diffuse illumination and multimode illumination devices | |
CN209690703U (zh) | 投影装置及其光源和设备 | |
CN112752088B (zh) | 深度图像生成方法及装置、参考图像生成方法、电子设备 | |
CN114332341A (zh) | 一种点云重建方法、装置及系统 | |
US10971900B2 (en) | Vertical-cavity surface-emitting laser, structured light module and method for light projection and terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |