CN111179195A - 深度图像空洞填充方法、装置、电子设备及其存储介质 - Google Patents

Abstract

本发明公开了一种深度图像空洞填充方法、装置、电子设备及其存储介质，深度图像空洞填充方法包括：获取深度图像和灰度图像；获取所述深度图像中的空洞点；获取所述深度图像中的非空洞点；利用所述灰度图像计算所述深度图像中空洞点和非空洞点的相似度权重；根据所述相似度权重和所述深度图像中非空洞点的深度值对所述空洞点进行估计得到所述空洞点填充后的深度值，以实现深度图像的空洞填充。本发明提供的深度图像空洞填充方法，利用灰度图像计算深度图像中空洞点和非空洞点的相似度权重，通过该相似度权利和深度图像中非空洞点的深度值对空洞点进行填充，以改善物体边缘及较大区域空洞填充的效果，而且效果明显。

Description

深度图像空洞填充方法、装置、电子设备及其存储介质

技术领域

本发明属于图像处理技术领域，具体涉及一种深度图像空洞填充方法、装置、电子设备及其存储介质。

背景技术

随着多媒体技术的快速发展，用2D描述的真实世界已不能满足人们日益增长的视觉需求。在3D视频中，深度是核心关键信息。目前，深度图像可以通过深度相机和深度估计方法从多视点视频数据中获取。

由于受遮挡、测量范围限制等因素影响，深度相机例如Kinect相机所获取的深度图像存在空洞，为了有效抑制其对后续图像处理质量的影响，需要对所获取的深度图像进行空洞修复，以改善和提高所获取深度图像的质量。目前基于深度相机的深度图像空洞填充方法主要可以分为两类，一类是基于联合双边滤波方法的深度图像空洞填充方法，该类方法能够在保持原有边缘的同时填充较小的空洞；另一类是基于非空洞区域深度值扩散的深度图像空洞区域填充方法，比如基于中值滤波或高斯滤波的深度图像空洞填充方法，该类方法对于较小空洞的填充效果比较好。

但是，上述深度图像空洞填充方法对于较大空洞填充时均会产生模糊现象，尤其对于物体边缘的空洞填充，效果更差，导致边缘更加模糊。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种深度图像空洞填充方法、装置、电子设备及其存储介质。

本发明实施例提供了一种深度图像空洞填充方法，该方法包括：

获取深度图像和灰度图像；

获取所述深度图像中的空洞点；

根据所述深度图像中的空洞点获取所述深度图像中的非空洞点；

利用所述灰度图像计算所述深度图像中空洞点和非空洞点的相似度权重；

根据所述相似度权重和所述深度图像中非空洞点的深度值对所述空洞点进行估计得到所述空洞点填充后的深度值，以实现深度图像的空洞填充。

在本发明的一个实施例中，获取所述深度图像中的空洞点之前，还包括：

根据预设配准方法对所述深度图像进行配准得到配准后的深度图像，从所述配准后的深度图像中获取所述空洞点。

在本发明的一个实施例中，根据所述深度图像中的空洞点获取所述深度图像中的非空洞点，包括：

以所述深度图像中的空洞点为中心，获取大小为(2p+1)×(2p+1)的第一方形邻域，p为大于14的整数；

从所述第一方形邻域中获取所述深度图像中的非空洞点。

在本发明的一个实施例中，利用所述灰度图像计算所述深度图像中空洞点和非空洞点的相似度权重，包括：

获取所述灰度图像中的空洞点和非空洞点；

计算所述灰度图像中空洞点和非空洞点的灰度值相似度权重；

计算所述深度图像中空洞点和非空洞点的距离权重；

根据所述灰度值相似度权重、所述距离权重得到述深度图像中空洞点和非空洞点的相似度权重。

在本发明的一个实施例中，计算所述灰度图像中空洞点和非空洞点的灰度值相似度权重，包括：

获取所述灰度图像中空洞点的第二方形邻域；

获取所述灰度图像中非空洞点的第三方形邻域；

计算所述灰度图像中空洞点在所述第二方形邻域中的灰度值得到第一灰度值；

计算所述灰度图像中非空洞点在所述第三方形邻域中的灰度值得到第二灰度值；

根据所述第一灰度值和所述第二灰度值计算所述灰度图像中空洞点和非空洞点的灰度值相似度权重。

在本发明的一个实施例中，获取所述灰度图像中空洞点的第二方形邻域，包括：

获取所述灰度图像中的空洞点；

以所述灰度图像中的空洞点为中心，获取大小为(2q+1)×(2q+1)的第二方形邻域，q为大于0的整数且q＜p。

在本发明的一个实施例中，获取所述灰度图像中非空洞点的第三方形邻域，包括：

获取所述灰度图像中的非空洞点；

以所述灰度图像中的非空洞点为中心，获取大小为(2q+1)×(2q+1)的第三方形邻域。

本发明的另一个实施例提供了一种深度图像空洞填充装置，该装置包括：

第一数据获取模块，用于获取深度图像和灰度图像；

第二数据获取模块，用于获取所述深度图像中的空洞点；

第三数据获取模块，用于根据所述深度图像中的空洞点获取所述深度图像中的非空洞点；

数据处理模块，用于利用所述灰度图像计算所述深度图像中空洞点和非空洞点的相似度权重；

数据确定模块，用于根据所述相似度权重和所述深度图像中非空洞点的深度值对所述空洞点进行估计得到所述空洞点填充后的深度值，以实现深度图像的空洞填充。

本发明的再一个实施例提供了一种深度图像空洞填充电子设备，该电子设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上存放的所述计算机程序时，实现上述任一所述的深度图像空洞填充方法。

本发明的又一个实施例提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的深度图像空洞填充方法。

与现有技术相比，本发明的有益效果：

本发明提供的深度图像空洞填充方法，利用灰度图像计算深度图像中空洞点和非空洞点的相似度权重，通过该相似度权利和深度图像中非空洞点的深度值对空洞点进行填充，以改善物体边缘及较大区域空洞填充的效果，而且效果明显。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种深度图像空洞填充方法的流程示意图；

图2a～2d是本发明实施例提供的一种深度图像在中值滤波空洞填充方法、本申请空洞填充方法的对比结果示意图；

图3a～3d是本发明实施例提供的另一种深度图像在中值滤波空洞填充方法、本申请空洞填充方法的对比结果示意图；

图4是本发明实施例提供的一种深度图像空洞填充装置的结构示意图；

图5是本发明实施例提供的一种深度图像空洞填充电子设备的结构示意图；

图6是本发明实施例提供的一种计算机可读存储介质的结构示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1，图1是本发明实施例提供的一种深度图像空洞填充方法的流程示意图，本发明实施例提供了一种深度图像空洞填充方法，该深度图像空洞填充方法包括以下步骤：

步骤1、获取深度图像和灰度图像；

步骤2、获取深度图像中的空洞点；

步骤3、根据深度图像中的空洞点获取深度图像中的非空洞点；

步骤4、利用灰度图像计算深度图像中空洞点和非空洞点的相似度权重；

步骤5、根据相似度权重和深度图像中非空洞点的深度值对空洞点进行估计得到空洞点填充后的深度值，以实现深度图像的空洞填充。

具体而言，由上述可知，现有的深度图像空洞填充方法存在较大空洞填充有模糊现象的问题，尤其对于物体边缘的空洞填充效果更差，导致边缘更模糊。基于上述存在的问题，本实施例提出了一种深度图像填充方法，获取深度图像中的空洞点和非空洞点后，利用灰度图像首先计算深度图像中空洞点和非空洞点的相似度权重，再计算深度图像中非空洞点的深度值，通过深度值和相似度权重对空洞点进行估计得到填充后的深度值，以实现深度图像的空洞填充。

本实施例提供的深度图像空洞填充方法，利用灰度图像计算深度图像中空洞点和非空洞点的相似度权重，通过该相似度权利和深度图像中非空洞点的深度值对空洞点进行填充，以改善物体边缘及较大区域空洞填充的效果，而且效果明显。

进一步地，本实施例获取深度图像中的空洞点之前，还包括：

根据预设配准方法对深度图像进行配准得到配准后的深度图像，从配准后的深度图像中获取深度图像中的空洞点。

具体而言，对于获取的深度图像、灰度图像，由于获取方式的不同，深度图像、灰度图像之间像素信息可能存在不对应的问题，这样会影响到后续利用灰度图像实现对深度图像的填充效果，因此，本实施例在进行填充之前，若深度图像、灰度图像之间需要配准的时候，首先根据预设配准方法首先以灰度图像为基准，对深度图像进行配准得到配准后的深度图像，然后从配准后的深度图像中获取空洞点，进而获取非空洞点，继续进行后续填充工作，具体填充实现为步骤2～步骤5。其中，预设配准方法包括基于灰度的异源图像配准方法、基于特征的异源图像配准方法。

进一步地，本实施例步骤1获取深度图像和灰度图像。

具体而言，本实施例步骤1不局限深度图像、灰度图像的获取方式，可以通过某设备比如Kinect深度相机，同时获得同一场景的深度图像和灰度图像，此时深度图像和灰度图像的像素信息是一一对应的，不需要进行配准，直接通过步骤2～步骤5进行深度图像填充，也可以通过不同设备分别获取深度图像、灰度图像，此时深度图像和灰度图像的像素信息可能存在不对应的情况，此时需要利用上述配准方法先进行配准，然后通过步骤2～步骤5进行深度图像填充。其中，深度图像中每个像素点由该点的深度值表示，灰度图像中每个像素点由该点的灰度值表示。

进一步地，本实施例步骤2获取深度图像中的空洞点。

具体而言，本实施例从步骤1获取的深度图像中获取空洞点x，对于需要配准的深度图像，是从配准后的深度图像中获取空洞点x。其中，深度图像中某点深度值为0，则认为该点为空洞点。

进一步地，本实施例步骤3根据深度图像中的空洞点获取深度图像中的非空洞点。

具体而言，本实施例通过步骤2获取的空洞点来获取其对应的非空洞点，具体地，以步骤1获取的空洞点x为中心，获取大小为(2p+1)×(2p+1)的第一方形邻域I(x)，p为大于14的整数，优选地15≤p≤27，其中，(2p+1)×(2p+1)具体表示(2p+1)像素×(2p+1)像素；然后从第一方形邻域I(x)中获取深度图像中的非空洞点y，即y∈I(x)。考虑到第一方形邻域I(x)内的空洞点没有深度值，难以利用这些空洞点的信息对空洞点x进行填充，因此，本实施例在第一方形邻域I(x)内仅选取非空洞点y∈I(x)，第一方形邻域I(x)内的非空洞点y数目由实际深度图像决定。

进一步地，本实施例步骤4利用灰度图像计算深度图像中空洞点和非空洞点的相似度权重。

具体而言，本实施例通过上述步骤1和步骤2确定出深度图像中的空洞点x和非空洞点y后，将利用灰度图像计算深度图像中空洞点x和非空洞点y的相似度权重，具体地，步骤4包括步骤4.1、步骤4.2、步骤4.3、步骤4.4：

步骤4.1、获取灰度图像中的空洞点和非空洞点。

具体而言，由于获取或配准后的深度图像、灰度图像的像素点位置是一一对应的，则在深度图像中的空洞点x对应在灰度图像中亦为空洞点，在深度图像中的非空洞点y在灰度图像中亦为非空洞点，从而完成灰度图像中的空洞点x和非空洞点y的获取。

步骤4.2、计算灰度图像中空洞点和非空洞点的灰度值相似度权重。

具体而言，本实施例通过步骤4.1确定了灰度图像中的空洞点x和非空洞点y后，计算灰度图像中空洞点x和非空洞点y的灰度值相似度权重，具体地，步骤4.2包括步骤4.2.1、步骤4.2.2、步骤4.2.3、步骤4.2.4、步骤4.2.5：

步骤4.2.1、获取灰度图像中空洞点的第二方形邻域。

具体而言，在灰度图像中，本实施例通过步骤4.1获取了灰度图像中的空洞点x，以灰度图像中的空洞点x为中心，获取大小为(2q+1)×(2q+1)的第二方形邻域N(x)，q为大于0的整数且q＜p，优选地2≤q≤4，其中，(2q+1)×(2q+1)具体表示(2q+1)像素×(2q+1)像素。

步骤4.2.2、获取灰度图像中非空洞点的第三方形邻域。

具体而言，同步骤4.2.1，在灰度图像中，本实施例通过步骤4.1获取了灰度图像中的非空洞点y，以灰度图像中的非空洞点y为中心，获取大小为(2q+1)×(2q+1)的第三方形邻域N(y)，q为大于0的整数且q＜p。

步骤4.2.3、计算灰度图像中空洞点在第二方形邻域中的灰度值得到第一灰度值。

具体而言，本实施例计算步骤4.2.1获取的第二方形邻域N(x)内所有像素点的灰度值，记为空洞点的灰度值向量v[N(x)]。

步骤4.2.4、计算灰度图像中非空洞点在第三方形邻域中的灰度值得到第二灰度值。

具体而言，本实施例计算步骤4.2.2获取的第三方形邻域N(y)内所有像素点的灰度值，记为非空洞点的灰度值向量为v[N(y)]。

步骤4.2.5、根据第一灰度值和第二灰度值计算灰度图像中空洞点和非空洞点的灰度值相似度权重。

具体而言，本实施例步骤4.2.4得到了空洞点的灰度值向量v[N(x)]，步骤4.2.5得到了非空洞点的灰度值向量为v[N(y)]，然后利用高斯加权的欧氏距离d(x,y)来计算灰度值向量v[N(x)]和v[N(y)]的相似性，本实施例欧氏距离d(x,y)表示为：

其中，||v[N(x)]-v[N(y)]||为灰度值向量v[N(x)]和v[N(y)]的欧氏距离，α为高斯核标准差且α＞0。

由于灰度值向量v[N(x)]和v[N(y)]越相似，则其对应的灰度值相似度权重越大，本实施例灰度值相似度权重m(x,y)表示为：

其中，h为指数函数衰减速度的控制参数。

步骤4.3、计算深度图像中空洞点和非空洞点的距离权重。

具体而言，考虑到深度图像中相邻像素点的深度值较为接近，因此，非空洞点y与空洞点x的距离越近，则该非空洞点y对空洞点x的深度值影响大，本实施例灰度图像中非空洞点y与空洞点x的距离权重

表示为：

其中，σ为高斯核标准差，优选取值为2～5。

步骤4.4、根据灰度值相似度权重、距离权重得到述深度图像中空洞点和非空洞点的相似度权重。

具体而言，本实施例深度图像中非空洞点y与空洞点x的相似度权重ω(x,y)综合考虑了非空洞点y与空洞点x之间的灰度值相似性m(x,y)、距离权重

具体相似度权重ω(x,y)表示为：

其中，

为归一化常数。

进一步地，本实施例步骤5根据相似度权重和深度图像中非空洞点的深度值对空洞点进行估计得到空洞点填充后的深度值，以实现深度图像的空洞填充。

具体而言，本实施例首先获取第一方形区域I(x)中非空洞点y∈I(x)的深度值u(y)，以及通过步骤4得到了空洞点x的相似度权重ω(x,y)，根据加权平均法对深度图像中空洞点x的深度值进行估计得到空洞点填充后的深度值，以实现深度图像填充。空洞点x填充后的深度值估计表示为：

进一步地，对深度图像中所有空洞点均进行上述步骤4和步骤5的空洞填充处理后，即获得了填充后的深度图像

为了说明本实施例的填充效果，请参见图2a～2d、图3a～3d，图2a～2d是本发明实施例提供的一种深度图像在中值滤波空洞填充方法、本申请空洞填充方法的对比结果示意图，图3a～3d是本发明实施例提供的另一种深度图像在中值滤波空洞填充方法、本申请空洞填充方法的对比结果示意图，具体地，图2a为一种深度图像，图2b为图2a深度图像对应的灰度图像，图2c为中值滤波空洞填充方法的填充结果，图2d为本申请空洞填充方法的填充结果，图3a为另一种深度图像，图3b为图3a深度图像对应的灰度图像，图3c为中值滤波空洞填充方法的填充结果，图3d为本申请空洞填充方法的填充结果，本实施例基于上述图2a、图3a两种深度图像上进行测试，其中，测试过程中，p取值为25，即第一方形邻域为51×51的固定大小，q取值为3，即第二方形邻域为7×7的固定大小，第三方形邻域为7×7的固定大小，图2c和3c为基于中值滤波空洞填充方法填充后的深度图像，图2d和3d为基于本申请空洞填充方法填充后的深度图像，两种方法的结构相似性指数(Structural similarity index，简称SSIM)，请参见表1，其中，SSIM用于评价图像结构保持特性，该值越大越好。

表1不同深度图像空洞填充方法的结构相似性指数(SSIM)比较

可见，相比于传统中值滤波空洞填充方法，利用本申请提出的深度图像空洞填充方法填充后的深度图像更清晰，尤其边缘填充效果更佳明显。

综上所述，本实施例提供的深度图像空洞填充方法，获取深度图像和灰度图像后，基于深度图像和灰度图像的结构相似性，对深度图像进行空洞填充，即对于深度图像中待填充空洞点，选取其邻域范围内的非空洞点，根据对应灰度图像中该空洞点及所选取非空洞点之间的灰度信息和距离信息，计算空洞点与各非空洞点的相似度权重，再与各非空洞点的深度值进行加权平均从而估计空洞点的深度值，完成对空洞点的填充。本实施例提供的深度图像空洞填充方法改善了物体边缘及较大区域空洞的填充效果，而且效果明显。

实施例二

在上述实施例一的基础上，请参见图4，图4为本发明实施例提供的一种深度图像空洞填充装置的结构示意图。本实施例提供了一种深度图像空洞填充装置，该装置包括：

第一数据获取模块，用于获取深度图像和灰度图像。

第二数据获取模块，用于获取深度图像中的空洞点。

具体而言，本实施例第二数据获取模块中获取深度图像中的空洞点之前，还包括：

根据预设配准方法对深度图像进行配准得到配准后的深度图像，从配准后的深度图像中获取空洞点。

第三数据获取模块，用于根据深度图像中的空洞点获取深度图像中的非空洞点。

具体而言，本实施例第三数据获取模块中根据深度图像中的空洞点获取深度图像中的非空洞点，包括：

以深度图像中的空洞点为中心，获取大小为(2p+1)×(2p+1)的第一方形邻域，p为大于14的整数；

从第一方形邻域中获取深度图像中的非空洞点。

数据处理模块，用于利用灰度图像计算深度图像中空洞点和非空洞点的相似度权重。

具体而言，本实施例第一数据处理模块中利用灰度图像计算深度图像中空洞点和非空洞点的相似度权重包括：

获取灰度图像中的空洞点和非空洞点；

计算灰度图像中空洞点和非空洞点的灰度值相似度权重；

计算深度图像中空洞点和非空洞点的距离权重；

根据灰度值相似度权重、距离权重得到述深度图像中空洞点和非空洞点的相似度权重。

进一步地，计算灰度图像中空洞点和非空洞点的灰度值相似度权重，包括：

获取灰度图像中空洞点的第二方形邻域；

获取灰度图像中非空洞点的第三方形邻域；

计算灰度图像中空洞点在第二方形邻域中的灰度值得到第一灰度值；

计算灰度图像中非空洞点在第三方形邻域中的灰度值得到第二灰度值；

根据第一灰度值和第二灰度值计算灰度图像中空洞点和非空洞点的灰度值相似度权重。

进一步地，获取灰度图像中空洞点的第二方形邻域，包括：

获取灰度图像中的空洞点；

以灰度图像中的空洞点为中心，获取大小为(2q+1)×(2q+1)的第二方形邻域，q为大于0的整数。

进一步地，获取灰度图像中非空洞点的第三方形邻域，包括：

获取灰度图像中的非空洞点；

以灰度图像中的非空洞点为中心，获取大小为(2q+1)×(2q+1)的第三方形邻域。

数据确定模块，用于根据相似度权重和深度图像中非空洞点的深度值对空洞点进行估计得到空洞点填充后的深度值，以实现深度图像的空洞填充。

本实施例提供的一种深度图像空洞填充装置，可以执行上述深度图像空洞填充方法实施例，其实现原理和技术效果类似，在此不再赘述。

实施例三

在上述实施例二的基础上，请参见图5，图5为本发明实施例提供的一种深度图像空洞填充电子设备结构示意图。本实施例提供了一种深度图像空洞填充电子设备，该电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的计算机程序时，该计算机程序被处理器执行时实现以下步骤：

步骤1、获取深度图像和灰度图像。

步骤2、获取深度图像中的空洞点。

具体而言，本实施例中获取深度图像中的空洞点之前，还包括：

根据预设配准方法对深度图像进行配准得到配准后的深度图像，从配准后的深度图像中获取空洞点。

步骤3、根据深度图像中的空洞点获取深度图像中的非空洞点。

具体而言，本实施例中根据深度图像中的空洞点获取深度图像中的非空洞点，包括：

以深度图像中的空洞点为中心，获取大小为(2p+1)×(2p+1)的第一方形邻域，p为大于14的整数；

从第一方形邻域中获取深度图像中的非空洞点。

步骤4、利用灰度图像计算深度图像中空洞点和非空洞点的相似度权重。

具体而言，本实施例中利用灰度图像计算深度图像中空洞点和非空洞点的相似度权重包括：

获取灰度图像中的空洞点和非空洞点；

计算灰度图像中空洞点和非空洞点的灰度值相似度权重；

计算深度图像中空洞点和非空洞点的距离权重；

根据灰度值相似度权重、距离权重得到述深度图像中空洞点和非空洞点的相似度权重。

进一步地，计算灰度图像中空洞点和非空洞点的灰度值相似度权重，包括：

获取灰度图像中空洞点的第二方形邻域；

获取灰度图像中非空洞点的第三方形邻域；

计算灰度图像中空洞点在第二方形邻域中的灰度值得到第一灰度值；

计算灰度图像中非空洞点在第三方形邻域中的灰度值得到第二灰度值；

根据第一灰度值和第二灰度值计算灰度图像中空洞点和非空洞点的灰度值相似度权重。

进一步地，获取灰度图像中空洞点的第二方形邻域，包括：

获取灰度图像中的空洞点；

以灰度图像中的空洞点为中心，获取大小为(2q+1)×(2q+1)的第二方形邻域，q为大于0的整数。

进一步地，获取灰度图像中非空洞点的第三方形邻域，包括：

获取灰度图像中的非空洞点；

以灰度图像中的非空洞点为中心，获取大小为(2q+1)×(2q+1)的第三方形邻域。

步骤5、根据相似度权重和深度图像中非空洞点的深度值对空洞点进行估计得到空洞点填充后的深度值，以实现深度图像的空洞填充。

本实施例提供的一种深度图像空洞填充电子设备，可以执行上述深度图像空洞填充方法实施例和上述深度图像空洞填充装置实施例，其实现原理和技术效果类似，在此不再赘述。

实施例四

在上述实施例三的基础上，请参见图6，图6为本发明实施例提供的一种计算机可读存储介质的结构示意图。本实施例提供的一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现以下步骤：

步骤1、获取深度图像和灰度图像。

步骤2、获取深度图像中的空洞点。

具体而言，本实施例中获取深度图像中的空洞点之前，还包括：

根据预设配准方法对深度图像进行配准得到配准后的深度图像，从配准后的深度图像中获取空洞点。

步骤3、根据深度图像中的空洞点获取深度图像中的非空洞点。

具体而言，本实施例中根据深度图像中的空洞点获取深度图像中的非空洞点，包括：

以深度图像中的空洞点为中心，获取大小为(2p+1)×(2p+1)的第一方形邻域，p为大于14的整数；

从第一方形邻域中获取深度图像中的非空洞点。

步骤4、利用灰度图像计算深度图像中空洞点和非空洞点的相似度权重。

具体而言，本实施例中利用灰度图像计算深度图像中空洞点和非空洞点的相似度权重包括：

获取灰度图像中的空洞点和非空洞点；

计算灰度图像中空洞点和非空洞点的灰度值相似度权重；

计算深度图像中空洞点和非空洞点的距离权重；

根据灰度值相似度权重、距离权重得到述深度图像中空洞点和非空洞点的相似度权重。

进一步地，计算灰度图像中空洞点和非空洞点的灰度值相似度权重，包括：

获取灰度图像中空洞点的第二方形邻域；

获取灰度图像中非空洞点的第三方形邻域；

计算灰度图像中空洞点在第二方形邻域中的灰度值得到第一灰度值；

计算灰度图像中非空洞点在第三方形邻域中的灰度值得到第二灰度值；

根据第一灰度值和第二灰度值计算灰度图像中空洞点和非空洞点的灰度值相似度权重。

进一步地，获取灰度图像中空洞点的第二方形邻域，包括：

获取灰度图像中的空洞点；

以灰度图像中的空洞点为中心，获取大小为(2q+1)×(2q+1)的第二方形邻域，q为大于0的整数。

进一步地，获取灰度图像中非空洞点的第三方形邻域，包括：

获取灰度图像中的非空洞点；

以灰度图像中的非空洞点为中心，获取大小为(2q+1)×(2q+1)的第三方形邻域。

步骤5、根据相似度权重和深度图像中非空洞点的深度值对空洞点进行估计得到空洞点填充后的深度值，以实现深度图像的空洞填充。

本实施例提供的一种计算机可读存储介质，可以执行上述深度图像空洞填充方法实施例、上述深度图像空洞填充装置实施例和上述深度图像空洞填充电子设备实施例，其实现原理和技术效果类似，在此不再赘述。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种深度图像空洞填充方法，其特征在于，包括：

获取深度图像和灰度图像；

获取所述深度图像中的空洞点；

根据所述深度图像中的空洞点获取所述深度图像中的非空洞点；

利用所述灰度图像计算所述深度图像中空洞点和非空洞点的相似度权重；

根据所述相似度权重和所述深度图像中非空洞点的深度值对所述空洞点进行估计得到所述空洞点填充后的深度值，以实现深度图像的空洞填充。

2.根据权利要求1所述的深度图像空洞填充方法，其特征在于，获取所述深度图像中的空洞点之前，还包括：

根据预设配准方法对所述深度图像进行配准得到配准后的深度图像，从所述配准后的深度图像中获取所述空洞点。

3.根据权利要求1或2所述的深度图像空洞填充方法，其特征在于，根据所述深度图像中的空洞点获取所述深度图像中的非空洞点，包括：

以所述深度图像中的空洞点为中心，获取大小为(2p+1)×(2p+1)的第一方形邻域，p为大于14的整数；

从所述第一方形邻域中获取所述深度图像中的非空洞点。

4.根据权利要求3所述的深度图像空洞填充方法，其特征在于，利用所述灰度图像计算所述深度图像中空洞点和非空洞点的相似度权重，包括：

获取所述灰度图像中的空洞点和非空洞点；

计算所述灰度图像中空洞点和非空洞点的灰度值相似度权重；

计算所述深度图像中空洞点和非空洞点的距离权重；

根据所述灰度值相似度权重、所述距离权重得到述深度图像中空洞点和非空洞点的相似度权重。

5.根据权利要求4所述的深度图像空洞填充方法，其特征在于，计算所述灰度图像中空洞点和非空洞点的灰度值相似度权重，包括：

获取所述灰度图像中空洞点的第二方形邻域；

获取所述灰度图像中非空洞点的第三方形邻域；

计算所述灰度图像中空洞点在所述第二方形邻域中的灰度值得到第一灰度值；

计算所述灰度图像中非空洞点在所述第三方形邻域中的灰度值得到第二灰度值；

根据所述第一灰度值和所述第二灰度值计算所述灰度图像中空洞点和非空洞点的灰度值相似度权重。

6.根据权利要求5所述的深度图像空洞填充方法，其特征在于，获取所述灰度图像中空洞点的第二方形邻域，包括：

获取所述灰度图像中的空洞点；

以所述灰度图像中的空洞点为中心，获取大小为(2q+1)×(2q+1)的第二方形邻域，q为大于0的整数且q＜p。

7.根据权利要求6所述的深度图像空洞填充方法，其特征在于，获取所述灰度图像中非空洞点的第三方形邻域，包括：

获取所述灰度图像中的非空洞点；

以所述灰度图像中的非空洞点为中心，获取大小为(2q+1)×(2q+1)的第三方形邻域。

8.一种深度图像空洞填充装置，其特征在于，所述装置包括：

第一数据获取模块，用于获取深度图像和灰度图像；

第二数据获取模块，用于获取所述深度图像中的空洞点；

第三数据获取模块，用于根据所述深度图像中的空洞点获取所述深度图像中的非空洞点；

数据处理模块，用于利用所述灰度图像计算所述深度图像中空洞点和非空洞点的相似度权重；

数据确定模块，用于根据所述相似度权重和所述深度图像中非空洞点的深度值对所述空洞点进行估计得到所述空洞点填充后的深度值，以实现深度图像的空洞填充。

9.一种深度图像空洞填充的电子设备，其特征在于，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上存放的所述计算机程序时，实现权利要求1～7任一所述的深度图像空洞填充方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1～7任一所述的深度图像空洞填充方法。

Images