CN115457099B - 深度补全方法、装置、设备、介质及产品 - Google Patents

Abstract

本公开提供一种深度补全方法、装置、设备、介质及产品，其中方法包括获取彩色图像及其对应的深度图像，其中，所述深度图像存在深度缺失；将所述彩色图像的灰度值映射至预设的灰度区间得到第一灰度图，将所述深度图像的灰度值映射至预设的灰度区间得到第二灰度图，并将所述第一灰度图和所述第二灰度图结合为第一图像；根据所述第一图像和所述第一灰度图，对所述第二灰度图进行着色处理，得到着色后的第二灰度图，并将着色后的第二灰度图转化为深度图，得到深度补全后的深度图像。本公开通过对所述第二灰度图进行着色处理，可使得存在深度缺失的深度图进行深度补全，获得深度完整的深度图。

Description

深度补全方法、装置、设备、介质及产品

技术领域

本公开涉及人工智能领域，尤其涉及一种深度补全方法、装置、设备、介质及产品。

背景技术

随着人工智能技术的发展，其应用领域越来越广，很大一部分的人工智能是通过分析通过物体的图像从而辨别物体的位置，并对物体做出相应的操作。

实际应用中，以智能分拣模型为例，需要分析物体的深度图进行物体的精准抓取，但是由于物体存在遮挡、反光等原因可能造成物体深度图中深度的缺失，导致智能分拣模型在抓取物体的过程中存在障碍。因此，对存在深度缺失的深度图进行深度补全成为亟待解决的问题。

发明内容

本公开提供一种深度补全方法、装置、设备、介质及产品，用来对存在缺失的深度图进行补全。

一方面，本公开提供一种深度补全方法，包括：

获取彩色图像及其对应的深度图像，其中，所述深度图像存在深度缺失；

将所述彩色图像的灰度值映射至预设的灰度区间得到第一灰度图，将所述深度图像的灰度值映射至预设的灰度区间得到第二灰度图，并将所述第一灰度图和所述第二灰度图结合为第一图像；

根据所述第一图像和所述第一灰度图，对所述第二灰度图进行着色处理，得到着色后的第二灰度图，并将着色后的第二灰度图转化为深度图，得到深度补全后的深度图像。

在一种实施例中，所述将所述深度图像的灰度值映射至预设的灰度区间得到第二灰度图，包括：

针对所述深度图像的每个像素，将所述像素的深度值归一化映射至预设的灰度值范围，获得所述第二灰度图。

在一种实施例中，所述第一图像为YUV图像，所述将所述第一灰度图和所述第二灰度图结合为第一图像，包括：

将所述第一灰度图输入所述YUV空间的Y通道，将所述第二灰度图输入所述YUV空间的U通道，将YUV空间的V通道填充为0，以获得YUV空间下的所述第一图像。

在一种实施例中，所述根据所述第一图像和所述第一灰度图，对所述第二灰度图进行着色处理，得到着色后的第二灰度图，包括：

根据所述第一图像和所述第一灰度图，对所述U通道下的所述第二灰度图进行着色处理，得到着色后的第二灰度图。

在一种实施例中，所述方法还包括：

识别所述彩色图像中物体的第一外轮廓，并映射至所述深度图像中，获得所述深度图像中物体的第二外轮廓；

所述根据所述第一图像和所述第一灰度图，对所述第二灰度图进行着色处理，得到着色后的第二灰度图，包括：

根据所述第一图像和所述第一灰度图，对所述第二灰度图中对应所述第二外轮廓内的至少部分区域进行着色处理，得到着色后的第二灰度图。

在一种实施例中，所述根据所述第一图像和所述第一灰度图，对所述第二灰度图中对应所述第二外轮廓内的至少部分区域进行着色处理，得到着色后的第二灰度图之前，还包括：

根据所述第二外轮廓，得到所述第二外轮廓内的多个子区域；

从多个所述子区域中确定深度缺失的子区域；

所述根据所述第一图像和所述第一灰度图对所述第二灰度图中对应所述第二外轮廓内的至少部分区域进行着色处理，得到着色后的第二灰度图，包括：

根据所述第一图像和所述第一灰度图，对所述深度缺失的子区域进行着色处理，得到着色后的第二灰度图。

在一种实施例中，所述根据所述第二外轮廓，得到所述第二外轮廓内的多个子区域，包括：

通过在所述第二外轮廓内移动滑动窗口，得到所述多个子区域；或者，

将所述第二外轮廓划分为所述多个子区域。

在一种实施例中，所述从多个所述子区域中确定深度缺失的子区域，包括：

确定所述子区域内的像素，并根据所述像素的索引，获得所述像素的深度值；

若所述子区域中存在至少一个像素的深度值为0，则判定所述子区域存在深度缺失。

在一种实施例中，所述识别所述彩色图像中物体的第一外轮廓，包括：

基于关键点掩膜技术，将所述彩色图像中物体所在区域作为目标区域，将所述目标区域特征映射以生成关键点掩码，从所述彩色图像中识别出物体的第一外轮廓。

另一方面，本公开提供一种深度补全装置，包括：

获取模块，用于获取彩色图像及其对应的深度图像，其中，所述深度图像存在深度缺失；

转化模块，用于将将所述彩色图像的灰度值映射至预设的灰度区间得到第一灰度图，将所述深度图像的灰度值映射至预设的灰度区间得到第二灰度图，并将所述第一灰度图和所述第二灰度图结合为第一图像；

处理模块，用于根据所述第一图像和所述第一灰度图，对所述第二灰度图进行着色处理，得到着色后的第二灰度图，并将着色后的第二灰度图转化为深度图，得到深度补全后的深度图像。

又一方面，本公开提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如前任一项所述的深度补全方法。

又一方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如前任一项所述的深度补全方法。

又一方面，本公开提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如前任一项所述的深度补全方法。

本公开提供的深度补全方法、装置、设备、介质及产品中，获取彩色图像并将所述彩色图像的灰度值映射至预设的灰度区间得到第一灰度图，获取所述彩色图像对应的深度图像，所述深度图像存在深度缺失，并将所述深度图像灰度值映射至预设的灰度区间得到第二灰度图。并将所述第一灰度图和所述第二灰度图结合为第一图像后，基于所述第一图像与所述第一灰度图，对所述第二灰度图进行着色处理得到着色后的第二灰度图，然后将所述第二灰度图转化为深度图，得到经过深度补全后的深度图像。本公开对存在深度缺失的深度图像对应的第二灰度图进行着色处理，通过颜色补全的处理方法补全所述深度图像中的深度缺失，再将经过着色处理后的第二灰度图转化为深度图，可得到经过深度补全后的深度完整的深度图。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1为本公开示例的应用场景示意图；

图2为本公开实施例一提供的一种深度补全方法的流程示意图；

图3为颜色补全算法进行深度补全的流程示意图；

图4为本公开实施例一提供的另一种深度补全方法的流程示意图；

图5为示例的物体在所述第二灰度图中的第二外轮廓；

图6为本公开实施例一提供的另一种深度补全方法的流程示意图；

图7为所示的子区域获得方法；

图8为所示的子区域另一种获得方法；

图9为本公开实施例一提供的另一种深度补全方法的流程示意图；

图10为本公开实施例二提供的一种深度补全装置的结构示意图；

图11为本公开实施例中提供的一种电子设备的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

目前，人工智能通常需要通过物体的深度图像判断物体的位置，从而实现对物体的智能操作。比如以智能分拣的场景举例，需要分析物体的深度图进行物体的精准抓取，但是由于物体存在遮挡等原因造成物体深度图中深度的缺失，未经过训练的机器针对深度缺失的深度图判断不出物体的准确位置与形状，存在抓取障碍。

图1为本公开示例的应用场景示意图，以智能分拣模型的抓手为例，智能分拣模型的抓手想要抓取某一物体，智能分拣模型需要判断出物体的实际位置与大小，物体的实际位置与大小可通过智能分拣模型分析物体的深度图得出。但是往往当许多物体堆叠在一块的时候，物体之间存在遮挡，就导致物体的深度图存在深度缺失，从而影响智能分拣模型对物体位置与大小的判断，这就需要对存在深度缺失的深度图进行深度补全，从而得到物体完整的深度图。

需要说明的是，本公开中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本公开的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

下面以具体的实施例对本公开的技术方案以及本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。在本公开的描述中，除非另有明确的规定和限定，各术语应在本领域内做广义理解。下面将结合附图，对本公开的实施例进行描述。

实施例一

图2为本公开实施例一提供的一种深度补全方法的流程示意图，如图1所示，所述方法包括：

步骤101、获取彩色图像及其对应的深度图像，其中，所述深度图像存在深度缺失；

步骤102、将所述彩色图像的灰度值映射至预设的灰度区间得到第一灰度图，将所述深度图像的灰度值映射至预设的灰度区间得到第二灰度图，并将所述第一灰度图和所述第二灰度图结合为第一图像；

步骤103、根据所述第一图像和所述第一灰度图，对所述第二灰度图进行着色处理，得到着色后的第二灰度图，并将着色后的第二灰度图转化为深度图，得到深度补全后的深度图像。

本实施例的执行主体为深度补全装置，该深度补全装置可以通过计算机程序实现，例如，应用软件等；或者，也可以实现为存储有相关计算机程序的介质，例如，U盘、云盘等；再或者，还可以通过集成或安装有相关计算机程序的实体装置实现，例如，芯片等。

结合场景示例，若某一物体对应的深度图存在深度缺失，为了实现对深度缺失的深度图的补全，可对所述物体深度图采用比较成熟的颜色补全的方法实现对深度图的深度补全，从而得到所述物体对应的完整的深度图。所述颜色补全的方法原本是采用颜色补全算法用于颜色复原，通过数学优化的方式，补全像素的缺失颜色，所以可采用颜色补全的算法对存在深度缺失的深度图像进行颜色补全从而达到对所述深度图像的深度补全。想要将所述颜色补全算法应用于对物体的深度补全中，需要首先获取所述物体的彩色图像与所述物体对应的深度图像，其中所述深度图像是存在深度缺失的。具体的，可将所述彩色图像转变成第一灰度图，再将所述深度图像映射到预设的灰度值范围得到第二灰度图，由于所述深度图像在部分区域存在深度缺失，所以所述深度图像对应的所以第二灰度图的相应区域不存在灰度值。将所述第一灰度图与所述第二灰度图结合成第一图像，基于所述第一图像与所述彩色图像对应的第一灰度图，对所述第二灰度图采用所述颜色补全算法进行着色处理，所述着色处理即针对所述第二灰度图中不存在灰度值的区域对其进行补全，得到灰度值完整的第二灰度图。将所述灰度值完整的第二灰度图进行灰度的逆映射，由于不存灰度值完整的第二灰度图在灰度值的区域的灰度已经被补全，所以所述灰度值完整的第二灰度图逆映射得到的深度图像是经过深度补全的深度图像。

可选的，所述将所述深度图像的灰度值映射至预设的灰度区间得到第二灰度图，包括：

针对所述深度图像的每个像素，将所述像素的深度值归一化映射至预设的灰度值范围，获得所述第二灰度图。

结合场景示例，物体的深度图中的每个像素表征的是拍摄所述物体的相机到所述物体之间的距离，所以所述物体的深度图中的像素构成一个深度值的范围，其中一个像素可表征1000mm。为了减少所述深度图像中像素之间的差距，可以将所述深度图像中每个像素本身的灰度值归一化映射到某个灰度值区间。将所述物体对应的深度图像转化为所述第二灰度图就是将所述深度图中的每个像素映射到一个预设的灰度值区间，所述预设的灰度值区间可选择为灰度值为0-255的范围。所述物体对应的深度图像中存在深度缺失的区域在对应的第二灰度中，相应的区域不存在灰度值，将所述深度图像中的每个像素映射到一个预设的灰度值区间得到所述第二灰度图，可方便对存在灰度缺失的区域进行补全。

可选的，所述第一图像为YUV图像，所述将所述第一灰度图和所述第二灰度图结合为第一图像，包括：

将所述第一灰度图输入所述YUV空间的Y通道，将所述第二灰度图输入所述YUV空间的U通道，将YUV空间的V通道填充为0，以获得YUV空间下的所述第一图像。

结合场景示例，本实施例的执行主体完成所述物体深度图的补全操作需要在YUV空间中执行，所述YUV空间有三个通道，分别为Y通道，U通道与V通道，所述Y通道调节图像的亮度，所述U通道与所述V通道调节图像的色度。将所述第一灰度图放置在所述Y通道中，将所述第二灰度图放置在所述U通道中，并将所述V通道填充成0。基于上述的设置，在所述YUV空间中，将合成所述第一图像，所以基于所述第一灰度图与所述第二灰度图得到的第一图像是一张YUV空间图像。

可选的，所述根据所述第一图像和所述第一灰度图，对所述第二灰度图进行着色处理，得到着色后的第二灰度图，包括：

根据所述第一图像和所述第一灰度图，对所述U通道下的所述第二灰度图进行着色处理，得到着色后的第二灰度图。

结合场景示例，得到所述第一图像后，在所述YUV空间中，基于所述第一灰度图与所述第一图像的图像特征对处于所述U通道下的所述第二灰度图进行上色处理，得到着色后的第二灰度图，所述上色处理指的是基于颜色补全算法对所述第二灰度图中存在灰度缺失的部分进行补全处理，所述着色后的第二灰度图即灰度值完整的第二灰度图。

图3为颜色补全算法进行深度补全的流程示意图，基于获得的第一灰度图与存在灰度缺失的第二灰度图，并将所述第一灰度图放置在所述Y通道中，将所述存在灰度值缺失的第二灰度图放置在所述U通道中合成得到所述第一图像，基于所述第一图像与所述一灰度图对处于所述U通道中的存在灰度值缺失的第二灰度图进行着色处理从而得到灰度值完整的第二灰度图。再将所述灰度值完整的第二灰度图进行逆映射得到深度图像，此时得到的深度图像是经过深度补全的深度图像。

可选的，图4为本公开实施例一提供的另一种深度补全方法的流程示意图，在步骤103之前还包括：

步骤301、识别所述彩色图像中物体的第一外轮廓，并映射至所述深度图像中，获得所述深度图像中物体的第二外轮廓；

步骤103中，所述根据所述第一图像和所述第一灰度图，对所述第二灰度图进行着色处理，得到着色后的第二灰度图，包括：

步骤302、根据所述第一图像和所述第一灰度图，对所述第二灰度图中对应所述第二外轮廓内的至少部分区域进行着色处理，得到着色后的第二灰度图。

结合场景示例，在物体的彩色图像中，所述物体的实际位置可能只占整张所述彩色图像的其中一部分区域，这也就说明在所述物体的深度图像中，属于所述物体的深度位置也只占所述深度图像的一部份区域，所以在对所述物体的深度图像进行深度补全之前需要首先定位出所述物体的深度位置位于所述深度图像中的区域。具体的，可以根据物体在所述彩色图像中的位置确定出所述物体在所述彩色图像中第一外外轮廓，然后根据所述彩色图像与所述深度图像的对应关系，将所述第一外轮廓映射到所述深度图像中得到所述物体在所述深度图像中的第二外轮廓，所述第二外轮廓的区域即在所述深度图像中所述物体的深度位置。

当确定出在所述深度图像中所述物体的深度位置后，所述第二灰度图是所述物体的深度图像映射得到的，所以在对所述第二灰度图进行着色处理时，对所述第二灰度图中对应的第二外轮廓进行着色处理即可，图5为示例的物体在所述第二灰度图中的第二外轮廓。如图5所示，根据所述第一图像与所述第一灰度图对所述第二灰度图中对应的第二外轮廓内部的区域进行着色处理，得到着色后的灰度图，即灰度值完整的灰度图。

可选的，图6为本公开实施例一提供的另一种深度补全方法的流程示意图，在步骤301之后，步骤103之前还包括：

步骤401、根据所述第二外轮廓，得到所述第二外轮廓内的多个子区域；

步骤402、从多个所述子区域中确定深度缺失的子区域；

步骤103中，所述根据所述第一图像和所述第一灰度图对所述第二灰度图中对应所述第二外轮廓内的至少部分区域进行着色处理，得到着色后的第二灰度图，包括：

步骤403、根据所述第一图像和所述第一灰度图，对所述深度缺失的子区域进行着色处理，得到着色后的第二灰度图。

根据场景示例，在所述第二灰度图中，第二外轮廓所在区域是所述物体的整个外轮廓所占的区域，但是往往存在深度缺失的可能仅仅是所述物体的某一部分区域，也就是说在所述第二灰度图中，可能仅仅是所述第二外轮廓所在区域的某一部分区域存在灰度值的缺失，对所述第二外轮廓进行着色处理，只需要对所述灰度值缺失的部分区域进行着色处理即可。

为了实现只针对第二外轮廓内存在灰度值缺失的部分区域进行着色处理，可以将所述第二外轮廓划分为多个子区域，然后从所述第二外轮廓包含的所有子区域中判定出存在灰度值缺失的子区域，即深度值缺失的子区域，然后仅仅针对所述灰度值缺失的子区域进行着色处理得到着色后的第二灰度图。

可选的，所述根据所述第二外轮廓，得到所述第二外轮廓内的多个子区域，包括：

通过在所述第二外轮廓内移动滑动窗口，得到所述多个子区域；或者，

将所述第二外轮廓划分为所述多个子区域。

根据场景示例，图7为所示的子区域获得方法，如图7所示，在所述物体的深度图像中，在所述第二外轮廓的区域内得到多个子区域的方法，可以选择在所述第二外轮廓的区域内，通过移动滑动窗口得到多个子区域，直到所述第二外轮廓要覆盖所有子区域的最大总范围。或者，图8为所示的子区域另一种获得方法，如图8所示，另一种可选择的方法可以首先确定出所述第二外轮廓的实际大小，比如长和宽，然后在确定出需要子区域大约的数量，所述第二外轮廓要覆盖所述子区域的最大总范围，根据所述第二外轮廓的实际大小与需要所述子区域大约的数量对所述第二外轮廓进行划分，得到多个子区域。

可选的，图9为本公开实施例一提供的另一种深度补全方法的流程示意图，步骤402包括：

步骤501、确定所述子区域内的像素，并根据所述像素的索引，获得所述像素的深度值；

步骤502、若所述子区域中存在至少一个像素的深度值为0，则判定所述子区域存在深度缺失。

根据场景示例，在所述物体的深度图像中，在所述第二外轮廓内包含的所有子区域中确定出存在深度缺失的子区域，可以通过所述子区域中的像素信息判断出当前像素的深度值。具体的，将所述物体的深度图像中的像素与像素应该对应的深度值建立索引，然后通过像素与深度值之间的索引，依次判断某一个子区域中每个像素对应的深度值，若在当前子区域中存在至少一个像素对应的深度值为0，则判定当前的子区域为存在深度缺失的子区域，然后通过上述所说的方法依次判断所有的子区域是否存在深度缺失。

可选的，所述识别所述彩色图像中物体的第一外轮廓，包括：

基于关键点掩膜技术，将所述彩色图像中物体所在区域作为目标区域，将所述目标区域特征映射以生成关键点掩码，从所述彩色图像中识别出物体的第一外轮廓。

根据场景示例，为了确定出所述物体的彩色图像中的第一外轮廓，可以根据所述物体所在区域与所述区域之外的彩色像素的色差，将所述物体所在区域作为目标区域，然后将所述目标区域中的图像特征利用关键点掩膜技术生成对应的关键点掩码，然后基于生成的关键点掩码确定出所述第一外轮廓。

本实施例通过将所述物体的彩色图像转化成第一灰度图，将所述物体对应的存在深度缺失的深度图映射到预设的灰度区间得到存在灰度值缺失的第二灰度图，然后将所述第一灰度图与所述第二灰度图结合成第一图像，基于所述第一图像与所述第一灰度图对所述第二灰度图进行着色补全处理，得到灰度值补全的第二灰度图，然后再将所述灰度值补全的第二灰度图进行逆映射得到深度补全的深度图，本实施例利用上述的方法实现了对存在深度缺失的深度图的深度补全，为存在深度缺失的深度图提供了深度补全的解决方案，可使得存在深度缺失的深度图进行深度补全，获得深度完整的深度图。

实施例二

图10为本公开实施例二提供的一种深度补全装置的结构示意图，所述装置包括：

获取模块61，用于获取彩色图像及其对应的深度图像，其中，所述深度图像存在深度缺失；

转化模块62，用于将将所述彩色图像的灰度值映射至预设的灰度区间得到第一灰度图，将所述深度图像的灰度值映射至预设的灰度区间得到第二灰度图，并将所述第一灰度图和所述第二灰度图结合为第一图像；

处理模块63，用于根据所述第一图像和所述第一灰度图，对所述第二灰度图进行着色处理，得到着色后的第二灰度图，并将着色后的第二灰度图转化为深度图，得到深度补全后的深度图像。

结合场景示例，想要将所述颜色补全算法应用于对物体的深度补全中，获取模块61需要首先获取所述物体的彩色图像与所述物体对应的深度图像，其中所述深度图像是存在深度缺失的。具体的，转化模块62可将所述彩色图像转变成第一灰度图，再将所述深度图像映射到预设的灰度值范围得到第二灰度图，由于所述深度图像在部分区域存在深度缺失，所以所述深度图像对应的所以第二灰度图的相应区域不存在灰度值。将所述第一灰度图与所述第二灰度图结合成第一图像，基于所述第一图像与所述彩色图像对应的第一灰度图，处理模块63对所述第二灰度图采用所述颜色补全算法进行着色处理，所述着色处理即针对所述第二灰度图中不存在灰度值的区域对其进行补全，得到灰度值完整的第二灰度图。将所述灰度值完整的第二灰度图进行灰度的逆映射，由于不存灰度值完整的第二灰度图在灰度值的区域的灰度已经被补全，所以所述灰度值完整的第二灰度图逆映射得到的深度图像是经过深度补全的深度图像。

可选的，处理模块63，具体用于针对所述深度图像的每个像素，将所述像素的深度值归一化映射至预设的灰度值范围，获得所述第二灰度图。

结合场景示例，物体的深度图中的每个像素表征的是拍摄所述物体的相机到所述物体之间的距离，所以所述物体的深度图中的像素构成一个深度值的范围，其中一个像素可表征1000mm。为了减少所述深度图像中像素之间的差距，处理模块63可以将所述深度图像中每个像素本身的灰度值归一化映射到某个灰度值区间。将所述物体对应的深度图像转化为所述第二灰度图就是将所述深度图中的每个像素映射到一个预设的灰度值区间，所述预设的灰度值区间可选择为灰度值为0-255的范围。所述物体对应的深度图像中存在深度缺失的区域在对应的第二灰度中，相应的区域不存在灰度值，将所述深度图像中的每个像素映射到一个预设的灰度值区间得到所述第二灰度图，可方便对存在灰度缺失的区域进行补全。

可选的，转化模块62，具体用于将所述第一灰度图输入所述YUV空间的Y通道，将所述第二灰度图输入所述YUV空间的U通道，将YUV空间的V通道填充为0，以获得YUV空间下的所述第一图像。

结合场景示例，处理模块63完成所述物体深度图的补全操作需要在YUV空间中执行，所述YUV空间有三个通道，分别为Y通道，U通道与V通道，所述Y通道调节图像的亮度，所述U通道与所述V通道调节图片的色度。将所述第一灰度图放置在所述Y通道中，将所述第二灰度图放置在所述U通道中，并将所述V通道填充成0。基于上述的设置，在所述YUV空间中，将合成所述第一图像，所以基于所述第一灰度图与所述第二灰度图得到的第一图像是一张YUV空间图像。

可选的，转化模块62，具体还用于根据所述第一图像和所述第一灰度图，对所述U通道下的所述第二灰度图进行着色处理，得到着色后的第二灰度图。

结合场景示例，得到所述第一图像后，在所述YUV空间中，处理模块63基于所述第一灰度图与所述第一图像的图像特征对处于所述U通道下的所述第二灰度图进行上色处理，得到着色后的第二灰度图，所述上色处理指的是基于颜色补全算法对所述第二灰度图中存在灰度缺失的部分进行补全处理，所述着色后的第二灰度图即灰度值完整的第二灰度图，再将所述灰度值完整的第二灰度图进行逆映射得到深度图像，此时得到的深度图像是经过深度补全的深度图像。

可选的，处理模块63，具体还用于识别所述彩色图像中物体的第一外轮廓，并映射至所述深度图像中，获得所述深度图像中物体的第二外轮廓；

处理模块63，具体还用于根据所述第一图像和所述第一灰度图，对所述第二灰度图中对应所述第二外轮廓内的至少部分区域进行着色处理，得到着色后的第二灰度图。

结合场景示例，在物体的彩色图像中，所述物体的实际位置可能只占整张所述彩色图像的其中一部分区域，这也就说明在所述物体的深度图像中，属于所述物体的深度位置也只占所述深度图像的一部份区域，所以在对所述物体的深度图像进行深度补全之前需要首先定位出所述物体的深度位置位于所述深度图像中的区域。具体的，处理模块63可以根据物体在所述彩色图像中的位置确定出所述物体在所述彩色图像中第一外外轮廓，然后根据所述彩色图像与所述深度图像的对应关系，将所述第一外轮廓映射到所述深度图像中得到所述物体在所述深度图像中的第二外轮廓，所述第二外轮廓的区域即在所述深度图像中所述物体的深度位置。

当确定出在所述深度图像中所述物体的深度位置后，所述第二灰度图是所述物体的深度图像映射得到的，所以在对所述第二灰度图进行着色处理时，对所述第二灰度图中对应的第二外轮廓进行着色处理即可。处理模块63根据所述第一图像与所述第一灰度图对所述第二灰度图中对应的第二外轮廓内部的区域进行着色处理，得到着色后的灰度图，即灰度值完整的灰度图。

可选的，处理模块63，具体还用于根据所述第二外轮廓，得到所述第二外轮廓内的多个子区域；

处理模块63，具体还用于从多个所述子区域中确定深度缺失的子区域；

处理模块63，具体还用于根据所述第一图像和所述第一灰度图，对所述深度缺失的子区域进行着色处理，得到着色后的第二灰度图。

根据场景示例，在所述第二灰度图中，第二外轮廓所在区域是所述物体的整个外轮廓所占的区域，但是往往存在深度缺失的可能仅仅是所述物体的某一部分区域，也就是说在所述第二灰度图中，可能仅仅是所述第二外轮廓所在区域的某一部分区域存在灰度值的缺失，处理模块63对所述第二外轮廓进行着色处理，只需要对所述灰度值缺失的部分区域进行着色处理即可。

为了实现只针对第二外轮廓内存在灰度值缺失的部分区域进行着色处理，处理模块63可以将所述第二外轮廓划分为多个子区域，然后从所述第二外轮廓包含的所有子区域中判定出存在灰度值缺失的子区域，即深度值缺失的子区域，然后仅仅针对所述灰度值缺失的子区域进行着色处理得到着色后的第二灰度图。

可选的，处理模块63，具体还用于通过在所述第二外轮廓内移动滑动窗口，得到所述多个子区域；

处理模块63，具体还用于将所述第二外轮廓划分为所述多个子区域。

根据场景示例，在所述物体的深度图像中，在所述第二外轮廓的区域内得到多个子区域的方法，处理模块63可以选择在所述第二外轮廓的区域内，通过移动滑动窗口得到多个子区域，直到所述第二外轮廓要覆盖所有子区域的最大总范围。或者，另一种可选择的方法可以首先确定出所述第二外轮廓的实际大小，比如长和宽，然后在确定出需要子区域大约的数量，所述第二外轮廓要覆盖所述子区域的最大总范围，根据所述第二外轮廓的实际大小与需要所述子区域大约的数量对所述第二外轮廓进行划分，得到多个子区域。

可选的，处理模块63，具体还用于确定所述子区域内的像素，并根据所述像素的索引，获得所述像素的深度值；

处理模块63，具体还用于若所述子区域中存在至少一个像素的深度值为0，则判定所述子区域存在深度缺失。

根据场景示例，在所述物体的深度图像中，在所述第二外轮廓内包含的所有子区域中确定出存在深度缺失的子区域，处理模块63可以通过所述子区域中的像素信息判断出当前像素的深度值。具体的，将所述物体的深度图像中的像素与像素应该对应的深度值建立索引，然后通过像素与深度值之间的索引，依次判断某一个子区域中每个像素对应的深度值，若在当前子区域中存在至少一个像素对应的深度值为0，则判定当前的子区域为存在深度缺失的子区域，然后通过上述所说的方法依次判断所有的子区域是否存在深度缺失。

可选的，处理模块63，具体还用于基于关键点掩膜技术，将所述彩色图像中物体所在区域作为目标区域，将所述目标区域特征映射以生成关键点掩码，从所述彩色图像中识别出物体的第一外轮廓。

根据场景示例，处理模块63为了确定出所述物体的彩色图像中的第一外轮廓，可以根据所述物体所在区域与所述区域之外的彩色像素的色差，将所述物体所在区域作为目标区域，然后将所述目标区域中的图像特征利用关键点掩膜技术生成对应的关键点掩码，然后基于生成的关键点掩码确定出所述第一外轮廓。

本实施例通过获取模块获得物体的彩色图像与深度图像，转化模块将所述物体的彩色图像转化成第一灰度图，将所述物体对应的存在深度缺失的深度图映射到预设的灰度区间得到存在灰度值缺失的第二灰度图，然后将所述第一灰度图与所述第二灰度图结合成第一图像，处理模块基于所述第一图像与所述第一灰度图对所述第二灰度图进行着色补全处理，得到灰度值补全的第二灰度图，然后再将所述灰度值补全的第二灰度图进行逆映射得到深度补全的深度图，本实施例利用上述的方法实现了对存在深度缺失的深度图的深度补全，为存在深度缺失的深度图提供了深度补全的解决方案，可使得存在深度缺失的深度图进行深度补全，获得深度完整的深度图。

实施例三

图11为本公开实施例中提供的一种电子设备的结构示意图，如图11所示，该电子设备包括：

处理器(processor)291，电子设备还包括了存储器(memory)292；还可以包括通信接口(Communication Interface)293和总线294。其中，处理器291、存储器292、通信接口293、可以通过总线294完成相互间的通信。通信接口293可以用于信息传输。处理器291可以调用存储器292中的逻辑指令，以执行上述实施例的方法。

此外，上述的存储器292中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器292作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器291通过运行存储在存储器292中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器292可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器292可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例提供一种非临时性计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如前述实施例所述的方法。

实施例四

本公开实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述本公开实施例中任意实施例提供的专网数据采集方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种深度补全方法，其特征在于，包括：

获取彩色图像及其对应的深度图像，其中，所述深度图像存在深度缺失；

将所述彩色图像的灰度值映射至预设的灰度区间得到第一灰度图，将所述深度图像的灰度值映射至预设的灰度区间得到第二灰度图，并将所述第一灰度图和所述第二灰度图结合为第一图像；

根据所述第一图像和所述第一灰度图，对所述第二灰度图进行着色处理，得到着色后的第二灰度图，并将着色后的第二灰度图转化为深度图，得到深度补全后的深度图像；

所述第一图像为YUV图像，所述将所述第一灰度图和所述第二灰度图结合为第一图像，包括：

将所述第一灰度图输入所述YUV空间的Y通道，将所述第二灰度图输入所述YUV空间的U通道，将YUV空间的V通道填充为0，以获得YUV空间下的所述第一图像；

所述根据所述第一图像和所述第一灰度图，对所述第二灰度图进行着色处理，得到着色后的第二灰度图，包括：

根据所述第一图像的图像特征和所述第一灰度图，对所述U通道下的所述第二灰度图进行着色处理，得到着色后的第二灰度图；其中，所述着色处理是基于颜色补全算法对所述第二灰度图像中存在灰度缺失的部分进行补全处理，所述着色后的第二灰度图像即灰度值完整的第二灰度图像。

2.根据权利要求1所述的方法，其特征在于，所述将所述深度图像的灰度值映射至预设的灰度区间得到第二灰度图，包括：

针对所述深度图像的每个像素，将所述像素的深度值归一化映射至预设的灰度值范围，获得所述第二灰度图。

3.根据权利要求1-2任一项所述的方法，其特征在于，所述方法还包括：

识别所述彩色图像中物体的第一外轮廓，并映射至所述深度图像中，获得所述深度图像中物体的第二外轮廓；

所述根据所述第一图像和所述第一灰度图，对所述第二灰度图进行着色处理，得到着色后的第二灰度图，包括：

根据所述第一图像和所述第一灰度图，对所述第二灰度图中对应所述第二外轮廓内的至少部分区域进行着色处理，得到着色后的第二灰度图。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像和所述第一灰度图，对所述第二灰度图中对应所述第二外轮廓内的至少部分区域进行着色处理，得到着色后的第二灰度图之前，还包括：

根据所述第二外轮廓，得到所述第二外轮廓内的多个子区域；

从多个所述子区域中确定深度缺失的子区域；

所述根据所述第一图像和所述第一灰度图对所述第二灰度图中对应所述第二外轮廓内的至少部分区域进行着色处理，得到着色后的第二灰度图，包括：

根据所述第一图像和所述第一灰度图，对所述深度缺失的子区域进行着色处理，得到着色后的第二灰度图。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第二外轮廓，得到所述第二外轮廓内的多个子区域，包括：

通过在所述第二外轮廓内移动滑动窗口，得到所述多个子区域；或者，

将所述第二外轮廓划分为所述多个子区域。

6.根据权利要求4所述的方法，其特征在于，所述从多个所述子区域中确定深度缺失的子区域，包括：

确定所述子区域内的像素，并根据所述像素的索引，获得所述像素的深度值；

若所述子区域中存在至少一个像素的深度值为0，则判定所述子区域存在深度缺失。

7.根据权利要求3所述的方法，其特征在于，所述识别所述彩色图像中物体的第一外轮廓，包括：

基于关键点掩膜技术，将所述彩色图像中物体所在区域作为目标区域，将所述目标区域特征映射以生成关键点掩码，从所述彩色图像中识别出物体的第一外轮廓。

8.一种深度补全装置，其特征在于，包括：

获取模块，用于获取彩色图像及其对应的深度图像，其中，所述深度图像存在深度缺失；

转化模块，用于将将所述彩色图像的灰度值映射至预设的灰度区间得到第一灰度图，将所述深度图像的灰度值映射至预设的灰度区间得到第二灰度图，并将所述第一灰度图和所述第二灰度图结合为第一图像；

处理模块，用于根据所述第一图像和所述第一灰度图，对所述第二灰度图进行着色处理，得到着色后的第二灰度图，并将着色后的第二灰度图转化为深度图，得到深度补全后的深度图像；

所述转化模块，具体用于将所述第一灰度图输入YUV空间的Y通道，将所述第二灰度图输入所述YUV空间的U通道，将YUV空间的V通道填充为0，以获得YUV空间下的所述第一图像；

所述转化模块，具体还用于根据所述第一图像的图像特征和所述第一灰度图，对所述U通道下的所述第二灰度图进行着色处理，得到着色后的第二灰度图；其中，所述着色处理是基于颜色补全算法对所述第二灰度图像中存在灰度缺失的部分进行补全处理，所述着色后的第二灰度图像即灰度值完整的第二灰度图像。

9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-7中任一项所述的深度补全方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的深度补全方法。

Images