CN112750157A

CN112750157A - 一种深度图像生成方法及装置

Info

Publication number: CN112750157A
Application number: CN202010798964.0A
Authority: CN
Inventors: 洪哲鸣; 王军; 王少鸣; 郭润增
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2020-08-11
Filing date: 2020-08-11
Publication date: 2021-05-04
Anticipated expiration: 2040-08-11
Also published as: CN112750157B

Abstract

本申请涉及图像处理领域，尤其涉及一种深度图像生成方法及装置，向目标对象发射结构光，获得各帧的结构光图像；从所述各帧的结构光图像中确定出各关键帧，并分别根据各关键帧的结构光图像，获得各关键帧的深度图像；根据当前待处理帧的结构光图像和对应的关键帧的结构光图像，获得所述当前待处理帧的差分结构光图像；根据预设的参考结构光图像，将所述当前待处理帧的差分结构光图像转换为差分深度图像；根据所述当前待处理帧的差分深度图像和对应的关键帧的深度图像，获得所述当前待处理帧的深度图像，降低深度图像生成的计算量和功耗。

Description

一种深度图像生成方法及装置

技术领域

本申请涉及图像处理领域，尤其涉及一种深度图像生成方法及装置。

背景技术

随着计算机技术的发展，深度图像(Depth map)作为一种普遍的三维场景信息表达方式得到了广泛的应用。但是相关技术中，是对每帧获取到结构光图像直接转换为深度图像，深度图像的计算功耗比较大，也降低了深度摄像头的寿命。

发明内容

本申请实施例提供一种深度图像生成方法及装置，以降低深度图像生成的计算量和功耗。

本申请实施例提供的具体技术方案如下：

本申请一个实施例提供了一种深度图像生成方法，包括：

向目标对象发射结构光，获得各帧的结构光图像；

从所述各帧的结构光图像中确定出各关键帧，并分别根据各关键帧的结构光图像，获得各关键帧的深度图像；

根据当前待处理帧的结构光图像和对应的关键帧的结构光图像，获得所述当前待处理帧的差分结构光图像；

根据预设的参考结构光图像，将所述当前待处理帧的差分结构光图像转换为差分深度图像；

根据所述当前待处理帧的差分深度图像和对应的关键帧的深度图像，获得所述当前待处理帧的深度图像。

本申请另一个实施例提供了一种深度图像生成装置，包括：

获得模块，用于向目标对象发射结构光，获得各帧的结构光图像；

第一处理模块，用于从所述各帧的结构光图像中确定出各关键帧，并分别根据各关键帧的结构光图像，获得各关键帧的深度图像；

差分计算模块，用于根据当前待处理帧的结构光图像和对应的关键帧的结构光图像，获得所述当前待处理帧的差分结构光图像；

转换模块，用于根据预设的参考结构光图像，将所述当前待处理帧的差分结构光图像转换为差分深度图像；

差分合并模块，用于根据所述当前待处理帧的差分深度图像和对应的关键帧的深度图像，获得所述当前待处理帧的深度图像。

可选的，从所述各帧的结构光图像中确定出各关键帧时，第一处理模块具体用于：分别将每隔预设帧数的帧确定为关键帧，其中，所述当前待处理帧对应的关键帧为与所述当前待处理帧最接近的前一个关键帧。

可选的，分别根据各关键帧的结构光图像，获得各关键帧的深度图像时，第一处理模块具体用于：

分别对所述各关键帧的结构光图像中的目标像素在参考结构光图像中进行匹配；

根据匹配到的像素在所述参考结构光图像的位置确定所述目标像素的视差；

根据所述目标像素的视差，获得所述目标像素对应的深度值；

分别根据所述各关键帧的结构光图像中各目标像素对应的深度值，生成所述各关键帧的深度图像。

可选的，根据预设的参考结构光图像，将所述当前待处理帧的差分结构光图像转换为差分深度图像时，转换模块具体用于：

对所述当前待处理帧的差分结构光图像中的目标像素在参考结构光图像中进行匹配；

根据所述当前待处理帧的差分结构光图像中各目标像素对应的深度值，生成所述当前待处理帧的差分深度图像。

可选的，分别对所述各关键帧的结构光图像中的目标像素在参考结构光图像中进行匹配之前，第一处理模块进一步用于：

分别对所述各关键帧的结构光图像，以及所述参考结构光图像进行二值化处理；

对所述当前待处理帧的差分结构光图像中的目标像素在参考结构光图像中进行匹配之前，转换模块进一步用于：分别对所述当前待处理帧的差分结构光图像，以及所述参考结构光图像进行二值化处理。

可选的，根据所述当前待处理帧的差分深度图像和对应的关键帧的深度图像，获得所述当前待处理帧的深度图像时，差分合并模块具体用于：

分别检测所述当前待处理帧的差分深度图像和对应的关键帧的深度图像中的特征点，并根据块匹配方法，进行特征点匹配；

根据匹配到的特征点，将所述当前待处理帧的差分深度图像和对应的关键帧的深度图像进行对齐；

将对齐后的所述当前待处理帧的差分深度图像和对应的关键帧的深度图像的相应位置上的像素进行合成，获得所述当前待处理帧的深度图像。

可选的，将对齐后的所述当前待处理帧的差分深度图像和对应的关键帧的深度图像的相应位置上的像素进行合成，获得所述当前待处理帧的深度图像时，差分合并模块具体用于：

若确定对齐后的所述当前待处理帧的差分深度图像和对应的关键帧的深度图像的相应位置上的像素之间的像素差值大于阈值，则将较大的像素值，作为合成后的像素值；

若确定对齐后的所述当前待处理帧的差分深度图像和对应的关键帧的深度图像的相应位置上的像素之间的像素差值小于等于阈值，则将所述相应位置上的像素之间的平均像素值，作为合成后的像素值；

基于各个合成后的像素值，获得所述当前待处理帧的深度图像。

本申请另一个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一种深度图像生成方法的步骤。

本申请另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种深度图像生成方法的步骤。

本申请另一个实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的任一种深度图像生成方法。

本申请实施例中，向目标对象发射结构光，获得各帧的结构光图像；针对关键帧，根据各关键帧的结构光图像，获得各关键帧的深度图像，并根据当前待处理帧的结构光图像和对应的关键帧的结构光图像，获得当前待处理帧的差分结构光图像，并转换获得差分深度图像，进而根据当前待处理帧的差分深度图像和对应的关键帧的深度图像，获得当前待处理帧的深度图像，这样，仅针对关键帧进行完整的深度计算，其它帧只需对差分结构光图像进行深度计算，差分图像相对于原始图像，所含的数据量较少，从而降低了深度计算的计算量，降低了深度图像生成的计算量和功耗。

附图说明

图1为本申请实施例中的深度图像生成系统结构示意图；

图2为本申请实施例中一种深度图像生成方法流程图；

图3为本申请实施例中块匹配时区域块划分示意图；

图4为本申请实施例中差分结构光图像转换为差分深度图像的方法流程图；

图5为本申请实施例中块匹配原理示意图；

图6为本申请实施例中的计算深度值的原理示意图；

图7为本申请实施例中另一种深度图像生成方法流程图；

图8为本申请实施例中深度图像生成装置结构示意图；

图9为本申请实施例中电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为便于对本申请实施例的理解，下面先对几个概念进行简单介绍：

深度图像(Depth map)：在3D计算机图形和计算机视觉中，深度图像是一种图像或图像通道，其中包含被拍摄对象的表面到图像采集设备之间的距离信息，其中，图像采集设备例如为深度相机，深度图的每个像素点的灰度值表示深度相机平面与被拍摄对象平面之间的垂直距离，常用16位表示，单位毫米。

结构光：由激光器或投影仪向环境中投射的光束；结构光光束投射到物体表面后，由图像采集设备采集，可以根据物体造成的光信号的变化确定物体位置或深度。

结构光图像：也可以称为结构光红外图像，由结构光投射器发射结构光，结构光为具有一定结构特征的光线，结构光投射器例如为近红外激光器，红外传感器(SENSOR)采集得到的带有结构光信息的红外图，例如，本申请实施例中，关键帧的结构光图像可以和参考结构光图像匹配进行深度计算，得到关键帧的深度图像。

差分图像：表示目标场景在连续时间点图像相减所构成的图像，通常差分法计算有两种方式：(1)当前图像与固定背景图像的差分；(2)连续两幅图像之间的差分，例如，本申请实施例中主要包括差分结构光图像和差分深度图像，计算原理类似于该第一种方式，基于关键帧的结构光图像和其它待处理帧的结构光图像，进行差分计算获得其它待处理帧的差分结构光图像；其它待处理帧的差分深度图像和关键帧的深度图像，可以合成其它待处理帧的深度图像。

计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。本申请实施例中主要针对计算机视觉领域中深度图像，提供了一种计算量和功耗更小的深度图像生成方法，可以应用于深度相机，用于刷脸支付的深度相机中等。

相关技术中，深度图像的计算功耗通常较大，主要对每帧获取到的结构光图像直接转换为深度图像，即每帧都完整计算，计算功耗较大，从而导致对上位机的供电要求高，对整机散热要求高，也会影响摄像头寿命。

因此，针对上述问题，本申请实施例中提供了一种深度图像生成方法，获得各帧的结构光图像后，确定出各关键帧，并分别根据各关键帧的结构光图像，获得各关键帧的深度图像，根据当前待处理帧的结构光图像和对应的关键帧的结构光图像，获得当前待处理帧的差分结构光图像，并将当前待处理帧的差分结构光图像转换为差分深度图像，从而根据当前待处理帧的差分深度图像和对应的关键帧的深度图像，获得当前待处理帧的深度图像，这样，仅针对关键帧进行完整的深度图像计算，其它大部分帧，获得差分结构光图像，只需对差分结构光图像进行深度计算，降低了深度计算的计算量，从而达到降低深度摄像头功耗的效果。

本申请实施例提供了一种示例性的应用场景，参阅图1所示，为本申请实施例中的深度图像生成系统结构示意图，主要包括结构光投射模块101、图像传感器102以及处理模块103，可以拍摄目标对象，获得目标对象的深度图像，也可以获得包含各帧深度图像的视频流，具体地，通过结构光投射模块101向目标对象发射结构光，并通过单个或多个图像传感器102拍摄目标对象即得到结构光图像，最后可以通过处理模块103将结构光图像转换为深度图像。其中，目标对象可以为人脸或者其他即待成像的对象，本申请实施例中并不进行限制。

其中，结构光投射模块101可以包括光源以及光学组件。其中，光源可为激光二极管或者半导体激光器等，还可以为边发射激光器、垂直腔面激光发射器或者相应的阵列激光器等；光源的出射光的波长可以是红外或者紫外等。光学组件用于将光源发出的光束进行调制后向外发射出结构光；光学组件可以是折射型光学元件、衍射型光学元件或者两者的组合等。本示例实施方式中，结构光光束可以是散斑、斑点、条纹或者二维图案等编码形式的结构光光束。

图像传感器102可以为电荷藕合器件图像传感器(Charge Coupled Device，CCD)或互补金属氧化物半导体(Complementary Metal-0xide-Semiconductor，CMOS)图像传感器等。此外，为了便于采集入射光，在图像传感器102的入射光光路上，还可以设置如滤光片、微透镜阵列(Micro Lens Array，MLA)等光学组件。

结构光投射模块101与图像传感器102之间的连线被称为基线，比如基线方向可以为图1中所示的x轴方向。结构光投射模块101与图像传感器102的光轴可以平行也可以形成一定的夹角。例如，图1中以结构光投射模块101与图像传感器102的光轴为平行设置为例，通过这种设置，可以简化后续生成深度图像时的计算复杂度。

处理模块103可以包含一个或多个处理器，可以用于对结构光投射模块101与图像传感器102进行控制，以及接收相关的数据并进行处理。处理模块103所执行的控制、数据处理指令可以通过软件、固件等形式保存在存储器(存储器在图1中未示出)中并在需要时被处理器调用，也可以直接将指令固化到电路中形成专用电路(或专用处理器)以执行相应的指令，也可以通过软件以及专用电路组合的形式来实现。处理模块103还可以包含输入/输出接口，和/或支持网络通信的网络接口。例如，可以通过接口将处理后的数据传输至其他设备或者系统中的其他模块，比如显示模块或者外部终端设备等。

需要说明的是，本申请实施例中，结构光投射模块101、图像传感器102以及处理模块103可以独立分散设置，也可以部分或者全部集成在一个电子设备之中，例如，集成在深度相机中，当然可以集成在智能手机、刷脸整机等智能设备中，并不进行限制。

例如，深度图像生成方法可以应用于深度相机中，即该深度图像生成系统集成于深度相机中，深度相机通过结构光投射模块101向目标对象发射结构光，并通过图像传感器102获得各帧的结构光图像，进而处理模块103可以基于本申请实施例中的深度图像生成方法，对各帧的结构光图像进行相应处理，获得各帧的深度图像。

又例如，本申请实施例中的深度图像生成方法，还可以应用于人脸支付场景，深度相机可以外接或内置于电子支付终端，电子支付终端在确定启动支付操作后，可以在显示界面中提示开始人脸支付，用户可以调整自身位置，使得用户的人脸可以处于深度相机的拍摄环境中，深度相机进行拍摄并生成包含人脸的深度图像，进而电子支付终端的其它计算模块可以基于该包含人脸的深度图像进行人脸识别，从而实现人脸支付。

值得说明的是，本申请实施例中的系统结构图是为了更加清楚地说明本申请实施例中的技术方案，并不构成对本申请实施例提供的技术方案的限制，对于其它的系统结构和业务应用，本申请实施例提供的技术方案对于类似的问题，同样适用，本申请各个实施例中，以深度图像生成方法应用于图1所示的系统结构为例进行示意性说明。

基于上述实施例，参阅图2所示，为本申请实施例中一种深度图像生成方法流程图，具体该方法包括：

步骤200：向目标对象发射结构光，获得各帧的结构光图像。

例如，在人脸支付场景，可能由于用户人脸位置不对等原因，不会一帧人脸图像就识别成功，而需要连续拍摄多帧人脸图像，直至识别成功，深度相机通过结构光投射模块，例如激光器向目标对象发射结构光，获得各帧的结构光图像，进而进行后续的深度图像转换。

又例如，深度相机针对目标对象，可以拍摄视频，从而通过激光器发射结构光，也可以获得各帧的结构光图像。

步骤210：从各帧的结构光图像中确定出各关键帧，并分别根据各关键帧的结构光图像，获得各关键帧的深度图像。

执行步骤210时，具体包括：

S1、从各帧的结构光图像中确定出各关键帧。

具体地：分别将每隔预设帧数的帧确定为关键帧，其中，当前待处理帧对应的关键帧为与当前待处理帧最接近的前一个关键帧。

本申请实施例中，可以根据具体场景和需求来设置关键帧，其中，预设帧数并不进行限制，例如每隔10帧的帧确定为关键帧，则每10帧中的第一帧为关键帧，其它第二至第十帧为其它帧，例如称为非关键帧。

例如，一共有20帧，每隔预设帧数为10帧，则第一帧为关键帧，第十一帧为关键帧，第二帧至第十帧，以及第十二帧至第二十帧为非关键帧，并且可知，第二帧至第十帧的非关键帧对应的关键帧为第一帧，第十二帧至第二十帧的非关键帧对应的关键帧为第十一帧。

S2、分别根据各关键帧的结构光图像，获得各关键帧的深度图像。

本申请实施例中，只需对关键帧完整计算从结构光图像转换为深度图像，对于除关键帧的其它帧则是进行差分计算来获得深度图像，从而降低计算量和功耗。

具体地，获得各关键帧的深度图像，本申请实施例中提供了一种可能的实施方式：

S2.1、分别对各关键帧的结构光图像中的目标像素在参考结构光图像中进行匹配。

进一步地，分别对各关键帧的结构光图像中的目标像素在参考结构光图像中进行匹配之前，还可以先进行二值化处理，即分别对各关键帧的结构光图像，以及参考结构光图像进行二值化处理，这样便于匹配和后续计算。

S2.2、根据匹配到的像素在参考结构光图像的位置确定目标像素的视差。

S2.3、根据目标像素的视差，获得目标像素对应的深度值。

S2.4、分别根据各关键帧的结构光图像中各目标像素对应的深度值，生成各关键帧的深度图像。

步骤220：根据当前待处理帧的结构光图像和对应的关键帧的结构光图像，获得当前待处理帧的差分结构光图像。

具体地，对当前待处理帧的结构光图像和对应的关键帧的结构光图像，进行差分计算，获得当前待处理帧的差分结构光图像。

其中，当前待处理帧为除关键帧之外的其它帧，本申请实施例中并不进行限制。

步骤230：根据预设的参考结构光图像，将当前待处理帧的差分结构光图像转换为差分深度图像。

其中，参考结构光图像是预先标定获得的，具体本申请实施例中提供了一种可能的实施方式，深度相机通过激光器向拍摄环境投射结构光光束；深度相机获取广角相机对拍摄环境中的参考平面进行拍摄得到结构光图像；深度相机根据广角相机与深度相机之间的图像映射矩阵，将广角相机拍摄的结构光图像转换为与深度相机匹配的参考结构光图像，其中，广角相机的视场角大于深度相机的视场角。

需要说明的是，广角相机与深度相机之间的图像映射矩阵实质上是由于广角相机与深度相机拍摄图像时处于不同的位置导致的。

本申请实施例可以根据下列方式确定广角相机与深度相机之间的图像映射矩阵：深度相机对目标参照物进行拍摄得到包含目标参照物的第一平面图像，以及获取广角相机对目标参照物进行拍摄得的包含目标参照物的第二平面图像；深度相机根据目标参照物的多个特征点在第一平面图像中的像素坐标以及在第二平面图像中的像素坐标，确定广角相机与深度相机之间的图像映射矩阵。

进而在计算深度图像时，可以根据参考结构光图像，将差分结构光图像转换为差分深度图像。

步骤240：根据当前待处理帧的差分深度图像和对应的关键帧的深度图像，获得当前待处理帧的深度图像。

本申请实施例中，在计算当前待处理帧的深度图像时需要先将当前待处理帧的差分深度图像和对应的关键帧的深度图像对齐后再合成，基于特征的图像对齐，基本原理是在一个图像中检测到一组特征点，并与另一张图像中的特征点相匹配，然后根据这些匹配的特征点计算出一个转换规则，从而将一个图像映射到另一个图像上。

执行步骤240时，具体包括：

S1、分别检测当前待处理帧的差分深度图像和对应的关键帧的深度图像中的特征点，并根据块匹配方法，进行特征点匹配。

其中，特征点表示具有一定稳定性的点，具有旋转不变性、缩放不变性及仿射不变性、光变不敏感等特性的点，可以采用特征点检测方法，例如ORB(Oriented FAST andRotated BRIEF)方法，检测ORB特征点，然后进行特征点匹配，就可以获知两张图像的映射关系，从而进行对齐。

在进行特征点匹配时，可以采用块匹配方法，参阅图3所示，为本申请实施例中块匹配原理示意图，可以预先划分小块，例如，使用16×16大小的区域作为一个宏块，也可以划分成8×8大小的宏块，本申请实施例中并不进行限制，从而进行匹配查找，通常当前待处理帧的差分深度图像和关键帧的深度图像一般在边缘会有特征点重叠，这样，可以确定出两张图像重叠即匹配上的特征点，并且这时是采用当前待处理帧的差分深度图像进行匹配查找，差分深度图像相较于直接采用结构光图像转换，特征点较少，只需要对少量的特征点进行块匹配查找即可，计算量比较少。

S2、根据匹配到的特征点，将当前待处理帧的差分深度图像和对应的关键帧的深度图像进行对齐。

S3、将对齐后的当前待处理帧的差分深度图像和对应的关键帧的深度图像的相应位置上的像素进行合成，获得当前待处理帧的深度图像。

在合成时，具体包括：1)确定合成后的图像的像素值，可以分为以下两种情况：

第一种情况：若确定对齐后的当前待处理帧的差分深度图像和对应的关键帧的深度图像的相应位置上的像素之间的像素差值大于阈值，则将较大的像素值，作为合成后的像素值。

第二种情况：若确定对齐后的当前待处理帧的差分深度图像和对应的关键帧的深度图像的相应位置上的像素之间的像素差值小于等于阈值，则将相应位置上的像素之间的平均像素值，作为合成后的像素值。

也就是说，本申请实施例中，在进行合成时，若两张图像上相应同一位置像素之间的像素差值相差较大，大于阈值，说明可能有一个图像上该位置包含信息量较大，有一个图像上该位置信息量较少，甚至无信息，这时，可以将两者中较大的像素值作为合成后的像素值，以防止信息丢失。同理，若同一位置像素之间的像素差值较小时，说明两张图像上该位置的信息含量差不多，这时为保证准确性，可以采用两者之间的均值，即平均像素值作为合成后的像素值，从而这样可以获得各个合成后的图像的像素值，即获得当前待处理帧的深度图像。

2)基于各个合成后的像素值，获得当前待处理帧的深度图像。

本申请实施例中，向目标对象发射结构光，获得各帧的结构光图像，确定出关键帧，并分别根据各关键帧的结构光图像，获得各关键帧的深度图像，进而针对当前待处理帧的结构光图像，根据当前待处理帧的结构光图像和对应的关键帧的结构光图像，获得当前待处理帧的差分结构光图像，根据预设的参考结构光图像，将当前待处理帧的差分结构光图像转换为差分深度图像，根据当前待处理帧的差分深度图像和对应的关键帧的深度图像，获得当前待处理帧的深度图像，这样，只需对关键帧完整进行深度计算，其它更多的帧，均采用差分计算，确定差分结构光图像，并根据差分结构光图像转换为差分深度图像，进而获得当前待处理帧的深度图像，由于差分图像所含信息量较少，在进行深度计算时所需的计算量更少，因此，可以降低深度图像生成的计算量和功耗。

下面对本申请实施例中，上述步骤230的根据预设的参考结构光图像，将当前待处理帧的差分结构光图像转换为差分深度图像的实施方式，进行具体说明，需要说明的是，当前待处理帧的差分结构光图像转换为差分深度图像的方式，和关键帧的结构光图像转换为深度图像的方法相同，这里以差分结构光图像转换为差分深度图像为例，对该转换过程进行具体说明。参阅图4所示，为本申请实施例中，差分结构光图像转换为差分深度图像的方法流程图，该方法包括：

步骤400：分别对当前待处理帧的差分结构光图像，以及参考结构光图像进行二值化处理。

其中，二值化处理是通过选取合理的阈值，将图像中像素点的灰度值设置为0或1，例如，可以通过全局阈值方法、局部阈值方法、动态阈值方法、Niblack算法、P-分位数方法、迭代方法、熵方法、最大类间方差算法等技术手段，对差分结构光图像和参考结构光图像进行二值化处理，使得图像中各像素的取值为0或者1。

例如，以全局阈值为例，可以取整幅图像区域中各像素的亮度平均值为阈值，并将大于阈值的像素取值为1，小于阈值的像素取值为0，全局阈值在深度图算法领域内，一般室内效果较好，室外效果较差。

又例如，采用以局部阈值方法，例如对于1920×800的差分结构光图像，可以取1920×800中(0、0、100、100)的区域求亮度平均值，在该区域内，大于阈值的像素点标记为1，小于阈值的像素点标记为0，再顺序对下一个(0、100、100、100)区域做二值化，直到对整幅图像完成二值化处理。局部阈值在深度图算法领域内，室外效果较好，局部阈值算法相对全局阈值计算较复杂。

步骤401：对当前待处理帧的差分结构光图像中的目标像素在参考结构光图像中进行匹配。

步骤402：根据匹配到的像素在参考结构光图像的位置确定目标像素的视差。

具体地，可以采用块匹配算法，确定差分结构光图像和参考结构光图像的视差，参考图5所示，为本申请实施例中块匹配原理示意图，块匹配基本原理是在一张图像中，以一个像素为中心，选取一个固定大小的窗口，在另一张图像中寻找最相似的窗口，从而得到该像素在另一张图像中的对应像素，进而匹配到像素后，可以计算像素相对于参考结构光图像的偏移量即为视差，如图5所示，对于差分结构光图像中的目标像素P_ij，可以提取以目标像素P_ij为中心，大小为m×n的像素块B_ij作为搜索像素块；然后在参考结构光图像中，以目标像素P_ij所对应的位置为中心，大小为W×H的搜索窗口V_ij内，按照预先配置的搜索策略和相似度评价指标来寻找与搜索像素块B_ij相对应的匹配像素块。例如，如果搜索窗口V_ij内，像素块B^′ _kl与搜索像素块B_ij的相似度评价指标w(B_ij,B^′ _kl)相比于其他像素块最大，则确定像素块B^′ _kl为与搜索像素块B_ij匹配的像素块，进而可以确定目标像素P_ij在参考结构光图像中对应的匹配像素为P_k ^′ _l，其中，i、k均为正整数，表示像素所在行；j、l均为正整数，表示像素所在列；m、n、W、H均为正整数，且W>m、H>n。

此外，根据需求也可以采用如半全局块匹配(Semi-Global Block Matching，SGBM)等其他方法实现像素匹配，本申请实施例中并不进行限制。

步骤403：根据目标像素的视差，获得目标像素对应的深度值。

参阅图6所示，为本申请实施例中的计算深度值的原理示意图，匹配到像素后，可以根据三角测距法，计算出像素点的深度值。如图6所示，d1表示匹配到的像素的视差，TX与RX之间的基线距离d3为结构光投射模块和图像传感器之间的距离，R为参考平面和基线之间的距离，可以理解为参考结构光图像的深度信息，可以为广角相机拍摄结构光图像时与参考平面之间的预设距离，f为深度相机的焦距，d3、R和f均为固定常量，H为深度值，即目标对象中像素与深度相机之间的实际距离。

则可以根据三角形相似原理：

d2/d1＝R/f；

d2/d3＝(H-R)/H；

根据上述公式，可以求解出H。

步骤404：根据当前待处理帧的差分结构光图像中各目标像素对应的深度值，生成当前待处理帧的差分深度图像。

本申请实施例在确定出二值化后的差分结构光图像中各个像素对应的深度值后，即可将深度信息转换为深度图像，获得当前待处理帧的差分深度图像。

需要说明的是，本申请实施例中上述步骤400仅是一个可选的步骤，可以进一步降低计算量，本申请实施例中并不进行限制。

这样，通过相似像素匹配计算视差，并根据视差计算深度值，从而将差分结构光图像转换为差分深度图像，采用差分图像计算，计算量更小，从而降低计算功耗。

基于上述实施例，下面采用一个具体应用场景对本申请实施例中深度图像生成方法进行具体说明，以针对一个关键帧和该关键帧对应的一个当前待处理帧为例进行说明。参阅图7所示，为本申请实施例中另一种深度图像生成方法流程图，具体该方法包括：

步骤700：保存关键帧的结构光图像和关键帧的深度图像。

步骤701：获得当前待处理帧的结构光图像。

步骤702：根据当前待处理帧的结构光图像和关键帧的结构光图像，获得当前待处理帧的差分结构光图像。

步骤703：将当前待处理帧的差分结构光图像转换为差分深度图像。

步骤704：根据当前待处理帧的差分深度图像和关键帧的深度图像，获得当前待处理帧的深度图像。

其中，这里的关键帧为当前待处理帧所对应的关键帧。

这样，本申请实施例中，针对当前待处理帧通过差分结构光图像进行深度计算，从而转换为深度图像，降低深度计算的计算量，可以应用于深度相机中，可以降低深度相机的功耗，从而降低深度相机对上位机的供电要求，降低对整机的散热要求，可以提高深度相机的使用寿命，另外还可以应用于刷脸支付的刷脸整机中，可以降低刷脸整机的供电要求和散热要求，从而可以有效降低刷脸整机的成本和体积，当然也可以应用于其它设备或场景，本申请实施例中并不进行限制。

基于同一发明构思，本申请实施例中还提供了一种深度图像生成装置，该深度图像生成装置例如可以是前述实施例中的深度相机，该深度图像生成装置可以是硬件结构、软件模块、或硬件结构加软件模块。基于上述实施例，参阅图8所示，本申请实施例中深度图像生成装置，具体包括：

获得模块80，用于向目标对象发射结构光，获得各帧的结构光图像；

第一处理模块81，用于从所述各帧的结构光图像中确定出各关键帧，并分别根据各关键帧的结构光图像，获得各关键帧的深度图像；

差分计算模块82，用于根据当前待处理帧的结构光图像和对应的关键帧的结构光图像，获得所述当前待处理帧的差分结构光图像；

转换模块83，用于根据预设的参考结构光图像，将所述当前待处理帧的差分结构光图像转换为差分深度图像；

差分合并模块84，用于根据所述当前待处理帧的差分深度图像和对应的关键帧的深度图像，获得所述当前待处理帧的深度图像。

可选的，从所述各帧的结构光图像中确定出各关键帧时，第一处理模块81具体用于：分别将每隔预设帧数的帧确定为关键帧，其中，所述当前待处理帧对应的关键帧为与所述当前待处理帧最接近的前一个关键帧。

可选的，分别根据各关键帧的结构光图像，获得各关键帧的深度图像时，第一处理模块81具体用于：

可选的，根据预设的参考结构光图像，将所述当前待处理帧的差分结构光图像转换为差分深度图像时，转换模块83具体用于：

可选的，分别对所述各关键帧的结构光图像中的目标像素在参考结构光图像中进行匹配之前，第一处理模块81进一步用于：

对所述当前待处理帧的差分结构光图像中的目标像素在参考结构光图像中进行匹配之前，转换模块83进一步用于：

分别对所述当前待处理帧的差分结构光图像，以及所述参考结构光图像进行二值化处理。

可选的，根据所述当前待处理帧的差分深度图像和对应的关键帧的深度图像，获得所述当前待处理帧的深度图像时，差分合并模块84具体用于：

可选的，将对齐后的所述当前待处理帧的差分深度图像和对应的关键帧的深度图像的相应位置上的像素进行合成，获得所述当前待处理帧的深度图像时，差分合并模块84具体用于：

基于上述实施例，参阅图9所示为本申请实施例中电子设备的结构示意图。

本申请实施例提供了一种电子设备，该电子设备可以包括处理器910(CenterProcessing Unit，CPU)、存储器920、输入设备930和输出设备940等。

存储器920可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器910提供存储器920中存储的程序指令和数据。在本申请实施例中，存储器920可以用于存储本申请实施例中任一种深度图像生成方法的程序。

处理器910通过调用存储器920存储的程序指令，处理器910用于按照获得的程序指令执行本申请实施例中任一种深度图像生成方法。

基于上述实施例，本申请实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意方法实施例中的深度图像生成方法。

基于上述实施例，本申请实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任意方法实施例中的深度图像生成方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种深度图像生成方法，其特征在于，包括：

向目标对象发射结构光，获得各帧的结构光图像；

2.如权利要求1所述的方法，其特征在于，从所述各帧的结构光图像中确定出各关键帧，具体包括：

分别将每隔预设帧数的帧确定为关键帧，其中，所述当前待处理帧对应的关键帧为与所述当前待处理帧最接近的前一个关键帧。

3.如权利要求1所述的方法，其特征在于，分别根据各关键帧的结构光图像，获得各关键帧的深度图像，具体包括：

4.如权利要求1所述的方法，其特征在于，根据预设的参考结构光图像，将所述当前待处理帧的差分结构光图像转换为差分深度图像，具体包括：

5.如权利要求3或4所述的方法，其特征在于，分别对所述各关键帧的结构光图像中的目标像素在参考结构光图像中进行匹配之前，进一步包括：

对所述当前待处理帧的差分结构光图像中的目标像素在参考结构光图像中进行匹配之前，进一步包括：

6.如权利要求1-4任一项所述的方法，其特征在于，根据所述当前待处理帧的差分深度图像和对应的关键帧的深度图像，获得所述当前待处理帧的深度图像，具体包括：

7.如权利要求6所述的方法，其特征在于，将对齐后的所述当前待处理帧的差分深度图像和对应的关键帧的深度图像的相应位置上的像素进行合成，获得所述当前待处理帧的深度图像，具体包括：

8.一种深度图像生成装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。