CN112102199A - 深度图像的空洞区域填充方法、装置和系统 - Google Patents

Abstract

本发明实施例公开了一种深度图像的空洞区域填充方法、装置、系统、电子设备和存储介质。该深度图像的空洞区域填充方法包括：获取对目标场景进行拍摄得到的目标彩色图像和目标深度图像；响应于目标深度图像中存在空洞区域，基于目标彩色图像，确定空洞区域中的像素的像素值；基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像。本发明实施例基于目标场景的目标彩色图像对目标场景的目标深度图像的空洞区域进行填充，从而丰富了深度图像的空洞区域的填充方式，可以提高对深度图像的空洞区域进行填充的准确度，有助于生成包含更丰富的深度信息的彩色全景图像。

Description

深度图像的空洞区域填充方法、装置和系统

技术领域

本发明涉及图像处理技术，尤其是一种深度图像的空洞区域填充方法、装置、系统、电子设备和存储介质。

背景技术

现有技术中，深度图像的空洞区域填充的方法主要可分为以下两类：

第一类方法，利用时间域信息进行深度图像实时空洞填充。例如，利用深度视频中的连续几帧图像，获得物体的运动信息以及深度图像中每一像素位置的像素值变化，将深度图像中待填充空洞的像素值设置为连续几帧的、与待填充空洞在深度图像中位置相同的所有像素值的中值。

第二类方法，利用空间信息进行深度图像空洞填充。该方法利用深度图像的邻域像素进行空洞填充。该方法通过利用获取深度图像空洞像素与其邻域像素的深度值相关性，对深度图像中的空洞进行填充。

现有技术中，通常对深度图像的空洞区域进行填充的准确度较低。

发明内容

本发明实施例提供一种深度图像的空洞区域填充方法、装置、系统、电子设备和存储介质，以丰富深度图像的空洞区域的填充方式，提高对深度图像的空洞区域进行填充的准确度。

根据本发明实施例的一个方面，提供的一种深度图像的空洞区域填充方法，包括：

获取对目标场景进行拍摄得到的目标彩色图像和目标深度图像；

响应于所述目标深度图像中存在空洞区域，基于所述目标彩色图像，确定所述空洞区域中的像素的像素值；

基于所述空洞区域中的像素的像素值，对所述空洞区域进行填充，得到填充后深度图像。

可选地，在本发明任一实施例的方法中，所述基于所述目标彩色图像，确定所述空洞区域中的像素的像素值，包括：

基于所述目标彩色图像中的像素的像素值，确定所述空洞区域中的像素的像素值。

可选地，在本发明任一实施例的方法中，所述基于所述目标彩色图像中的像素的像素值，确定所述空洞区域中的像素的像素值，包括：

针对所述空洞区域中的像素，基于所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的第一邻域范围内的像素的像素值，确定该像素的像素值。

可选地，在本发明任一实施例的方法中，所述基于所述目标彩色图像，确定所述空洞区域中的像素的像素值，包括：

针对所述空洞区域中的像素，基于所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的第二邻域范围的图像的平滑程度，确定该像素的像素值。

可选地，在本发明任一实施例的方法中，所述空洞区域中的像素的像素值之间的差异程度与以下至少一项呈负相关：

所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的像素值之间的相似程度，所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的平滑程度。

可选地，在本发明任一实施例的方法中，所述空洞区域与所述目标彩色图像中的弱纹理区域和重复纹理区域中的至少一项相对应。

根据本发明实施例的第二个方面，提供的一种深度图像的空洞区域填充装置，包括：

获取单元，被配置成获取对目标场景进行拍摄得到的目标彩色图像和目标深度图像；

第一确定单元，被配置成响应于所述目标深度图像中存在空洞区域，基于所述目标彩色图像，确定所述空洞区域中的像素的像素值；

填充单元，被配置成基于所述空洞区域中的像素的像素值，对所述空洞区域进行填充，得到填充后深度图像。

可选地，在本发明任一实施例的装置中，所述第一确定单元包括：

第一确定子单元，被配置成基于所述目标彩色图像中的像素的像素值，确定所述空洞区域中的像素的像素值。

可选地，在本发明任一实施例的装置中，所述第一确定子单元包括：

确定模块，被配置成针对所述空洞区域中的像素，基于所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的第一邻域范围内的像素的像素值，确定该像素的像素值。

可选地，在本发明任一实施例的装置中，所述第一确定单元包括：

第二确定子单元，被配置成针对所述空洞区域中的像素，基于所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的第二邻域范围的图像的平滑程度，确定该像素的像素值。

可选地，在本发明任一实施例的装置中，所述空洞区域中的像素的像素值之间的差异程度与以下至少一项呈负相关：

所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的像素值之间的相似程度，所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的平滑程度。

可选地，在本发明任一实施例的装置中，所述空洞区域与所述目标彩色图像中的弱纹理区域和重复纹理区域中的至少一项相对应。

根据本发明实施例的第三个方面，提供的一种深度图像的空洞区域填充系统，包括图像处理单元、与所述图像处理单元通信连接的彩色图像拍摄装置和深度图像拍摄装置，其中：

所述彩色图像拍摄装置，被配置成：对目标场景进行拍摄，得到目标彩色图像；

所述深度图像拍摄装置，被配置成：对所述目标场景进行拍摄，得到目标深度图像；

所述图像处理单元，被配置成：获取所述目标彩色图像和所述目标深度图像；响应于所述目标深度图像中存在空洞区域，基于所述目标彩色图像，确定所述空洞区域中的像素的像素值；基于所述空洞区域中的像素的像素值，对所述空洞区域进行填充，得到填充后深度图像。

可选地，在本发明任一实施例的系统中，所述空洞区域中的像素的像素值之间的差异程度与以下至少一项呈负相关：

所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的像素值之间的相似程度，所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的平滑程度。

可选地，在本发明任一实施例的系统中，所述空洞区域与所述目标彩色图像中的弱纹理区域和重复纹理区域中的至少一项相对应。

根据本发明实施例的第四个方面，提供的一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的方法。

根据本发明实施例的第五个方面，提供的一种计算机可读介质，该计算机程序被处理器执行时，实现如上述第一方面的深度图像的空洞区域填充方法中任一实施例的方法。

基于本发明上述实施例提供的深度图像的空洞区域填充方法、装置、系统、电子设备和存储介质，可以获取对目标场景进行拍摄得到的目标彩色图像和目标深度图像，然后，在目标深度图像中存在空洞区域的情况下，基于目标彩色图像，确定空洞区域中的像素的像素值，最后，基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像。本公开实施例中，可以基于目标场景的目标彩色图像对该目标场景的目标深度图像的空洞区域进行填充，从而丰富了深度图像的空洞区域的填充方式，可以提高对深度图像的空洞区域进行填充的准确度，有助于生成包含更丰富的深度信息的彩色全景图像。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1为本发明深度图像的空洞区域填充方法一个实施例的流程图。

图2为本发明深度图像的空洞区域填充方法的另一个实施例的流程图。

图3为本发明深度图像的空洞区域填充方法的又一个实施例的流程图。

图4为本发明深度图像的空洞区域填充装置一个实施例的结构示意图。

图5为本发明深度图像的空洞区域填充系统一个实施例的结构示意图。

图6是本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明实施例可以应用于终端设备、计算机系统和服务器中的至少一种电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统和服务器中的至少一种电子设备一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统和服务器中的至少一种电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

请参考图1，示出了根据本公开的深度图像的空洞区域填充方法的一个实施例的流程100。该深度图像的空洞区域填充方法，包括以下步骤：

步骤101，获取对目标场景进行拍摄得到的目标彩色图像和目标深度图像。

在本实施例中，深度图像的空洞区域填充方法的执行主体(例如服务器、终端设备、具有图像处理功能的图像处理单元等)可以通过有线连接方式或者无线连接方式从其他电子设备或者本地，获取对目标场景进行拍摄得到的目标彩色图像和目标深度图像。

在本实施例中，上述执行主体可以先获取目标彩色图像再获取目标深度图像，也可以先获取目标深度图像再获取目标彩色图像，还可以同时获取先获取目标彩色图像再获取目标深度图像，本申请实施例对目标彩色图像和目标深度图像的获取顺序不作限定。

其中，上述目标场景可以是任意待对其进行拍摄的场景。例如，目标场景可以是房屋的室内场景，也可以是房屋的室外场景。上述目标彩色图像可以是对上述目标场景进行拍摄而得到的至少一张彩色图像。上述目标深度图像可以是对上述目标场景进行拍摄而得到的至少一张深度图像。目标深度图像中的像素的像素值表征目标深度图像的拍摄位置与目标场景中该像素对应的被拍摄位置之间的距离。

实践中，上述目标彩色图像可以经由彩色图像拍摄装置拍摄得到。例如，上述彩色图像拍摄装置可以是彩色相机。上述目标深度图像可以经由深度图像拍摄装置拍摄得到。例如，上述深度图像拍摄装置可以是结构光(Structured-light)相机、双目视觉(Stereo)相机、光飞行时间法(Time of flight，TOF)相机等等。

在这里，通常目标彩色图像和目标深度图像的拍摄角度、拍摄位置(例如彩色图像拍摄装置所在的位置或深度图像拍摄装置所在的位置)中的至少一项往往存在差异，因而，目标彩色图像中可以存在与目标深度图像中的各个像素均不相对应的像素，换言之，目标彩色图像中的目标场景的画面，可以与目标深度图像中的目标场景的画面不完全相同(即部分相同，另一部分不同)。

可以理解，彩色图像拍摄装置和深度图像拍摄装置之间的相对位置可以是在拍摄过程中随机确定的，也可以是预先确定且固定不变的。

步骤102，响应于目标深度图像中存在空洞区域，基于目标彩色图像，确定空洞区域中的像素的像素值。

在本实施例中，在目标深度图像中存在空洞区域的情况下，上述执行主体可以基于目标彩色图像，确定空洞区域中的像素的像素值。

可以理解，拍摄得到的深度图像(包括上述目标深度图像)中往往可能存在空洞区域。例如，在采用结构光相机拍摄得到的深度图像的过程中，当场景中存在弱纹理和/或重复纹理时，其所拍摄得到的深度图像中通常存在与上述弱纹理和/或重复纹理相对应的空洞区域。

实践中，可以通过检测目标深度图像中是否存在像素值小于或等于预设数值(例如0)或者像素值为空的像素，来判断目标深度图像中是否存在空洞区域，以及确定空洞区域在目标深度图像中的位置。可选的，也可以将目标彩色图像中弱纹理图像区域和/或重复纹理图像区域对应的目标深度图像的图像区域，确定为空洞区域，由此，可以通过确定目标彩色图像中是否存在弱纹理图像区域和/或重复纹理图像区域，来判断目标深度图像中是否存在空洞区域，以及确定空洞区域在目标深度图像中的位置。

在本实施例的一些可选的实现方式中，上述执行主体可以采用如下步骤基于目标彩色图像，确定空洞区域中的像素的像素值：

基于目标彩色图像中的像素的像素值，确定空洞区域中的像素的像素值。

可以理解，基于目标彩色图像中的像素的像素值，来确定空洞区域中的像素的像素值，可以根据色彩信息(例如色彩差异)对空洞区域进行填充，从而可以提高对深度图像的空洞区域进行填充的准确度。

在上述可选的实现方式中，上述执行主体可以采用如下步骤基于目标彩色图像中的像素的像素值，确定空洞区域中的像素的像素值：

针对空洞区域中的像素(即待填充像素)，基于目标彩色图像中与空洞区域中的该像素相对应的像素的第一邻域范围内的像素的像素值，确定该像素的像素值。这里，目标彩色图像中与空洞区域中的该像素相对应的像素，可以与上述空洞区域中的该像素指示目标场景中的相同位置。

其中，上述第一邻域范围可以是目标彩色图像中包含有空洞区域中的该像素的图像区域，也可以是目标彩色图像中与空洞区域中的该像素相邻的图像区域。作为示例，上述第一邻域范围可以是以空洞区域中的该像素为中心的预设数量(例如25、49等)个像素组成的图像区域。

在这里，该像素(即待填充像素)的像素值可以是第一邻域范围内的像素的像素值的平均值或者加权求和的结果与第一预设系数的乘积。其中，上述第一预设系数可以表征目标彩色图像中的特定像素的像素值与目标深度图像中与上述特定像素相对应的像素的像素值之间的关系(例如倍数关系)。

可以理解，通常第一邻域范围内的像素距离该像素(即待填充像素)较近，因此，采用第一邻域范围内的像素的像素值，确定该像素的像素值，可以进一步提高对深度图像的空洞区域进行填充的准确度。

在本实施例的一些可选的实现方式中，上述执行主体也可以采用如下步骤基于目标彩色图像中的像素的像素值，确定空洞区域中的像素的像素值：

针对空洞区域中的像素(即待填充像素)，从目标彩色图像中选取与该像素相对应的像素的第一邻域范围内的至少一个像素，从上述至少一个像素中随机选取一个像素，将所选取的像素值与第一预设系数的乘积作为该像素(即待填充像素)的像素值。可选的，该像素(即待填充像素)的像素值也可以是上述至少一个像素中的各个像素的像素值的平均值或者加权求和的结果与第一预设系数的乘积。其中，上述第一预设系数可以表征目标彩色图像中的特定像素的像素值与目标深度图像中与上述特定像素相对应的像素的像素值之间的关系(例如倍数关系)。

在本实施例的一些可选的实现方式中，上述执行主体也可以采用如下步骤基于目标彩色图像，确定空洞区域中的像素的像素值：

针对空洞区域中的像素(即待填充像素)，基于目标彩色图像中与空洞区域中的该像素相对应的像素(即待填充像素)的第二邻域范围的图像的平滑程度，确定该像素(即待填充像素)的像素值。

其中，图像(包括目标彩色图像)的平滑程度值可以采用图像的梯度等表征。该像素(即待填充像素)的像素值可以是第二邻域范围的图像的像素的平滑程度值的平均值与第二预设系数的乘积，或者，该像素(即待填充像素)的像素值也可以是第二邻域范围的图像的像素的平滑程度值的加权求和的结果与第二预设系数的乘积。第二邻域范围可以是目标彩色图像中包含有空洞区域中的该像素的图像区域，也可以是目标彩色图像中与空洞区域中的该像素相邻的图像区域。作为示例，上述第二邻域范围可以是以空洞区域中的该像素为中心的预设数量(例如25、49等)个像素组成的图像区域。上述第而预设系数可以表征目标彩色图像中的特定像素的平滑程度与目标深度图像中与上述特定像素相对应的像素的像素值之间的关系(例如倍数关系)。

可以理解，采用第二邻域范围内的图像的平滑程度，确定该像素的像素值，可以提高对深度图像的空洞区域进行填充的准确度。

在本实施例的一些可选的实现方式中，上述步骤102中的空洞区域中的像素的像素值之间的差异程度与以下至少一项呈负相关：目标彩色图像中与空洞区域中的该像素相对应的像素的像素值之间的相似程度，目标彩色图像中与空洞区域中的该像素相对应的像素的平滑程度。

其中，像素的像素值之间的相似程度可以采用差值等进行表征。例如，可以采用像素的R(red)值、G(green)值、B(blue)值、H(hue)值、S(saturation)值、V(value)值中的至少一项间的差值表征。

实践中，一般情况下，彩色图像(包含目标彩色图像)中与待填充像素相对应的像素的邻近像素的像素值越相似、越平滑，那么，待填充像素与邻近待填充像素的深度也往往差异较小。由此，上述可选的实现方式可以根据色彩和纹理差异来对空洞区域进行填充，从而进一步提高对深度图像的空洞区域进行填充的准确度。

在本实施例的一些可选的实现方式中，上述步骤102中的空洞区域与目标彩色图像中的弱纹理区域和重复纹理区域中的至少一项相对应。

可以理解，目标彩色图像中的弱纹理区域的特征点较少，重复纹理区域的特征点重叠，均可能使得获取的目标深度图像存在空洞区域。由此，上述可选的实现方式可以通过目标彩色图像中的弱纹理区域和重复纹理区域，来确定目标深度图像中的空洞区域的位置，从而提高了空洞区域的定位准确度，进而提高对深度图像的空洞区域进行填充的准确度。

步骤103，基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像。

在本实施例中，上述执行主体可以基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像。

可以理解，由于深度图像中的像素的像素值表征深度图像的拍摄位置与目标场景中该像素对应的被拍摄位置之间的距离。因而，可以基于空洞区域中的像素的像素值，对空洞区域进行填充，从而得到填充后深度图像。

本发明的上述实施例提供的深度图像的空洞区域填充方法，可以获取对目标场景进行拍摄得到的目标彩色图像和目标深度图像，然后，在目标深度图像中存在空洞区域的情况下，基于目标彩色图像，确定空洞区域中的像素的像素值，最后，基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像。本公开实施例中，可以基于目标场景的目标彩色图像对该目标场景的目标深度图像的空洞区域进行填充，从而丰富了深度图像的空洞区域的填充方式，可以提高对深度图像的空洞区域进行填充的准确度，有助于生成包含更丰富的深度信息的彩色全景图像。

进一步参考图2，图2是本发明的深度图像的空洞区域填充又一个实施例的流程图。该深度图像的空洞区域填充流程200，包括以下步骤：

步骤201，获取经由预设数量个彩色图像拍摄装置对目标场景进行拍摄得到的目标彩色图像，以及经由预设数量个深度图像拍摄装置对目标场景进行拍摄得到的目标深度图像。

在本实施例中，深度图像的空洞区域填充方法的执行主体(例如服务器、终端设备、具有图像处理功能的图像处理单元等)可以通过有线连接方式或者无线连接方式从其他电子设备或者本地，获取经由预设数量个彩色图像拍摄装置对目标场景进行拍摄得到的目标彩色图像，以及获取经由预设数量个深度图像拍摄装置对目标场景进行拍摄得到的目标深度图像。其中，预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置之间的相对位置预先确定。

在本实施例中，上述执行主体可以先获取目标彩色图像再获取目标深度图像，也可以先获取目标深度图像再获取目标彩色图像，还可以同时获取目标彩色图像和目标深度图像，本申请实施例对上述目标彩色图像和目标深度图像的获取顺序不作限定。

示例性的，上述彩色图像拍摄装置可以是彩色相机。上述深度图像拍摄装置可以是结构光相机、双目视觉相机、光飞行时间法相机等等。这里，每个彩色图像拍摄装置可以拍摄得到一张或多张彩色图像，每个深度图像拍摄装置可以拍摄得到一张或多张深度图像。彩色图像拍摄装置和深度图像拍摄装置可以设置于上述执行主体上，也可以独立于上述执行主体而设置。彩色图像拍摄装置和深度图像拍摄装置可以直接或间接地与上述执行主体进行通信连接。

在本实施例的一些可选的实现方式中，在拍摄过程中，预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置均以目标旋转轴为轴进行旋转；以及

目标彩色图像和目标深度图像经由如下步骤拍摄得到：

首先，在预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置的旋转角度为预设角度的情况下，预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置可以分别对目标场景中该旋转角度对应的场景区域进行拍摄，得到彩色图像和深度图像。

应该理解，在拍摄过程中，预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置均以目标旋转轴为轴进行旋转，每当预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置旋转了预设角度，则预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置可以分别对目标场景中该旋转角度对应的场景区域进行拍摄。

其中，预设角度可以是一个角度，也可以是多个角度。

例如，当预设角度为一个角度时，可以表征：预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置每旋转一次该预设角度，则预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置可以分别对目标场景中该旋转角度对应的场景区域进行一次拍摄。例如，预设角度可以是90度，表征每当预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置旋转了90度，则预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置可以分别对目标场景中该旋转角度对应的场景区域进行一次拍摄。也即，预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置可以分别在旋转了1个90度、2个90度(即180度)、3个90度(即270度)、4个90度(即360度)时，分别对目标场景进行拍摄。

再例如，当预设角度包括多个角度时，可以表征：每当预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置旋转了该预设角度中的任意一个角度，则预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置可以分别对目标场景中该旋转角度对应的场景区域进行一次拍摄。例如，预设角度可以包括90度、180度、270度、360度，表征每当预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置旋转了90度、180度、270度、360度时，对目标场景中上述各个旋转角度对应的场景区域进行一次拍摄。

这里，预设数量个彩色图像拍摄装置拍摄得到的彩色图像的数量与预设数量个深度图像拍摄装置拍摄得到的深度图像的数量通常相等。

然后，在拍摄得到的彩色图像和深度图像的数量分别达到预设数值的情况下，将拍摄得到的预设数值张彩色图像作为目标彩色图像，以及将拍摄得到的预设数值张深度图像作为目标深度图像。

在这里，以预设数量为2，旋转角度为120度、240度、360度，预设数值为6为例，对上述可选的实现方式进行举例说明。其中，两个彩色图像拍摄装置所在的直线可以与地面相垂直，两个深度图像拍摄装置所在的直线可以与地面相垂直。

在拍摄过程中，2个彩色图像拍摄装置和2个深度图像拍摄装置均以目标旋转轴为轴进行旋转。每旋转120度，2个彩色图像拍摄装置和2个深度图像拍摄装置可以分别进行一次拍摄，由此，当旋转120度时，2个彩色图像拍摄装置和2个深度图像拍摄装置可以拍摄得到2张彩色图像和2张深度图像。之后，当再次旋转120度(即相对于初始姿态旋转了240度)时，2个彩色图像拍摄装置和2个深度图像拍摄装置可以再次拍摄得到2张彩色图像和2张深度图像。而后，当又一次旋转120度(即相对于初始姿态旋转了360度)时，2个彩色图像拍摄装置和2个深度图像拍摄装置可以又一次拍摄得到2张彩色图像和2张深度图像。到此为止，总计获得6张彩色图像和6张深度图像，拍摄得到的彩色图像和深度图像的数量分别达到预设数值。由此，可以将拍摄得到的6张彩色图像作为目标彩色图像，以及将拍摄得到的6张深度图像作为目标深度图像。

可以理解，上述可选的实现方式中，预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置可以以目标旋转轴为轴进行旋转，从而拍摄得到拍摄位置较近、其间的位姿关系预先确定的多张彩色图像和深度图像。由此，有助于更快速、准确地确定出空洞区域的相关信息(例如空洞区域在各个深度图像中的位置，与空洞区域相对应的彩色图像中的图像区域等)，进而实现对空洞区域更快速、准确的填充。

可选的，目标彩色图像和目标深度图像也可以经由预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置对目标场景进行多个角度和/或多个方向的拍摄得到。其中，上述多个角度、多个方向可以是随机确定的，也可以是预先设置的。

步骤202，响应于目标深度图像中存在空洞区域，基于目标彩色图像，确定空洞区域中的像素的像素值。

在本实施例中，步骤202与图1对应实施例中的步骤102基本一致，这里不再赘述。

步骤203，基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像。

在本实施例中，步骤203与图1对应实施例中的步骤103基本一致，这里不再赘述。

需要说明的是，除上面所记载的内容外，本申请实施例还可以包括与图1对应的实施例相同或类似的特征、效果，在此不再赘述。

从图2中可以看出，本实施例中的深度图像的空洞区域填充方法的流程200可以获取经由预设数量个彩色图像拍摄装置对目标场景进行拍摄得到的目标彩色图像，以及经由预设数量个深度图像拍摄装置对目标场景进行拍摄得到的目标深度图像，其中，预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置之间的相对位置预先确定，然后，在目标深度图像中存在空洞区域的情况下，基于目标彩色图像，确定空洞区域中的像素的像素值，最后，基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像。预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置之间的相对位置可以预先确定，由此，可以预先确定各个彩色图像拍摄装置和各个深度图像拍摄装置的相对位置关系，进而得到各个彩色图像拍摄装置和各个深度图像拍摄装置拍摄得到的各个彩色图像和各个深度图像之间的相对位姿关系，这样通过后续步骤，可以更快速的确定出空洞区域中的像素的像素值，进而提高了对空洞区域进行填充的速度。

在本实施例的一些可选的实现方式中，预设数值为360度与预设角度的商。

可以理解，上述可选的实现方式可以拍摄得到拍摄位置较近、其间的位姿关系预先确定的多张彩色图像和深度图像，并且，各张彩色图像、各张深度图像可以反映出上述目标场景360度的景象信息(包括彩色信息和深度信息)，由此实现了更全面的目标场景的景象信息的获取。

在本实施例的一些可选的实现方式中，上述执行主体还可以基于预设数量张深度图像中的各个深度图像之间的位姿关系，将预设数量张深度图像合成为深度全景图像。

在这里，上述位姿关系可以采用矩阵等形式进行表征，该位姿关系可以基于彩色图像拍摄装置和深度图像拍摄装置的位置、拍摄视角、旋转角度等确定。在此不再赘述。

具体而言，针对每个深度图像中的每个像素，可以将该像素的图像坐标系投影到相机坐标系下的三维空间中，得到由[x,y,z]组成的点云。然后根据每个深度图像的姿态关系，便可以把不同的相机坐标系中的点云，转换到同一个坐标系下，得到一个完整的点云，进而将预设数量张深度图像合成为深度全景图像。

可以理解，上述可选的实现方式可以实现深度全景图像的合成，从而获得不包括空洞区域的深度全景图像。

在本实施例的一些可选的实现方式中，上述执行主体还可以执行如下步骤：

步骤一，针对深度全景图像中的像素，确定拍摄得到的彩色图像中与该像素相对应的像素的色彩信息。

步骤二，基于所得到的色彩信息和深度全景图像中的像素的像素值，生成包含深度信息的彩色全景图像。

示例性的，对于拍摄得到的各个彩色图像中的每一个彩色图像可以重复执行如下步骤，从而生成包含深度信息的彩色全景图像：

基于深度全景图像，遍历该深度全景图像的每个像素(例如首先是第一个像素[x0,y0])，把每个像素转换为三维坐标点p[x,y,z]，基于该彩色图像和深度全景图像之间的外参矩阵(可以表征彩色图像中的像素与深度全景图像中的像素之间的对应关系)，可以将上述三维坐标点p投影到彩色图像的相机坐标系中。然后，可以将上述三维坐标点p投影到彩色图像中，并把该彩色像素值赋予到该像素位置(例如上述第一个像素[x0,y0])，遍历完所有像素，便可以得到该彩色图像在全景图像的局部图像(即待生成的、包含深度信息的彩色全景图像中与该彩色图像相对应的图像区域)。

可以理解，现有技术中的全景图一般是通过全景相机进行拍摄的，往往只包含场景的二维图像信息。而上述可选的实现方式则可以生成包含深度信息的彩色全景图像。

请继续参考图3，图3是本发明的深度图像的空洞区域填充又一个实施例的流程图。该深度图像的空洞区域填充流程300，包括以下步骤：

步骤301，获取对目标场景进行拍摄得到的目标彩色图像和目标深度图像。

在本实施例中，步骤301与图1对应实施例中的步骤101基本一致，这里不再赘述。

步骤302，响应于目标深度图像中存在空洞区域，针对空洞区域中的像素，基于目标彩色图像中与空洞区域中的该像素相对应的像素的像素值之间的相似程度，以及目标彩色图像中与空洞区域中的该像素相对应的像素的平滑程度，确定该像素的像素值。

在本实施例中，在目标深度图像中存在空洞区域的情况下，针对空洞区域中的像素，深度图像的空洞区域填充方法的执行主体(例如服务器、终端设备、具有图像处理功能的图像处理单元等)可以基于目标彩色图像中与空洞区域中的该像素相对应的像素的像素值之间的相似程度，以及目标彩色图像中与空洞区域中的该像素相对应的像素的平滑程度，确定该像素的像素值。

示例性的，空洞区域中的每个像素的像素值可以是：目标空洞图像中，包含该像素的图像区域(例如以该像素为中心的预设数量(25、49等)个像素组成的图像区域)中的各个像素的像素值(表征深度)的结果。其中，每个像素的像素值的权重可以与以下至少一项呈负相关:目标彩色图像中与空洞区域中的该像素相对应的像素的像素值(表征色彩信息)之间的相似程度，目标彩色图像中与空洞区域中的该像素相对应的像素(表征色彩信息)的平滑程度。其中，目标彩色图像中与空洞区域中的该像素相对应的像素，与上述空洞区域中的该像素相对应的像素指示目标场景中的相同位置。

可选的，在计算空洞区域中的每个像素的像素值时，如果目标空洞图像包含该像素的图像区域中，除该像素之外还存在位于空洞区域的像素，则该位于空洞区域内的除该像素之外的像素的权重可以设置为0。

步骤303，基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像。

在本实施例中，步骤303与图1对应实施例中的步骤103基本一致，这里不再赘述。

需要说明的是，除上面所记载的内容外，本申请实施例还可以包括与图1对应的实施例相同或类似的特征、效果，在此不再赘述。

从图3中可以看出，本实施例中的深度图像的空洞区域填充方法的流程300中，首先，获取对目标场景进行拍摄得到的目标彩色图像和目标深度图像，然后，在目标深度图像中存在空洞区域的情况下，针对空洞区域中的像素，基于目标彩色图像中与空洞区域中的该像素相对应的像素的第一邻域范围内的像素的像素值和第二邻域范围的图像的平滑程度，确定该像素的像素值，最后，基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像。由于邻近待填充像素的像素的像素值越相似、越平滑，那么，待填充像素与邻近待填充像素的深度也往往差异较小。由此，上述可选的实现方式可以根据色彩和纹理差异来对空洞区域进行填充，从而进一步提高对深度图像的空洞区域进行填充的准确度。

进一步参考图4，作为对上述各图所示方法的实现，本公开提供了一种深度图像的空洞区域填充装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，除下面所记载的特征外，该装置实施例还可以包括与图1所示的方法实施例相同或相应的特征，以及产生与图1所示的方法实施例相同或相应的效果。该装置具体可以应用于各种电子设备中。

如图4所示，本实施例的深度图像的空洞区域填充装置400包括：获取单元401、第一确定单元402和填充单元403。其中，获取单元401，被配置成获取对目标场景进行拍摄得到的目标彩色图像和目标深度图像；第一确定单元402，被配置成响应于目标深度图像中存在空洞区域，基于目标彩色图像，确定空洞区域中的像素的像素值；填充单元403，被配置成基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像。

在本实施例中，深度图像的空洞区域填充装置400的获取单元401可以获取对目标场景进行拍摄得到的目标彩色图像和目标深度图像。

在本实施例中，在目标深度图像中存在空洞区域的情况下，上述第一确定单元402可以基于目标彩色图像，确定空洞区域中的像素的像素值。

在本实施例中，上述填充单元403可以基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像。

在本实施例的一些可选的实现方式中，获取单元401包括：

获取子单元(图中未示出)，被配置成获取经由预设数量个彩色图像拍摄装置对目标场景进行拍摄得到的目标彩色图像，以及经由预设数量个深度图像拍摄装置对目标场景进行拍摄得到的目标深度图像，其中，预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置之间的相对位置预先确定。

在本实施例的一些可选的实现方式中，在拍摄过程中，预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置均以目标旋转轴为轴进行旋转；以及

目标彩色图像和目标深度图像经由如下步骤拍摄得到：

响应于预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置的旋转角度为预设角度，对目标场景中该旋转角度对应的场景区域进行拍摄，得到彩色图像和深度图像；

响应于拍摄得到的彩色图像和深度图像的数量分别达到预设数值，将拍摄得到的预设数值张彩色图像作为目标彩色图像，以及将拍摄得到的预设数值张深度图像作为目标深度图像。

在本实施例的一些可选的实现方式中，预设数值为360度与预设角度的商。

在本实施例的一些可选的实现方式中，该装置400还包括：

合成单元(图中未示出)，被配置成基于预设数量张深度图像中的各个深度图像之间的位姿关系，将预设数量张深度图像合成为深度全景图像。

在本实施例的一些可选的实现方式中，该装置400还包括：

第二确定单元(图中未示出)，被配置成针对深度全景图像中的像素，确定拍摄得到的彩色图像中与该像素相对应的像素的色彩信息；

生成单元(图中未示出)，被配置成基于所得到的色彩信息和深度全景图像中的像素的像素值，生成包含深度信息的彩色全景图像。

在本实施例的一些可选的实现方式中，第一确定单元402包括：

第一确定子单元(图中未示出)，被配置成基于目标彩色图像中的像素的像素值，确定空洞区域中的像素的像素值。

在本实施例的一些可选的实现方式中，第一确定子单元包括：

确定模块(图中未示出)，被配置成针对空洞区域中的像素，基于目标彩色图像中空洞区域中的该像素的第一邻域范围内的像素的像素值，确定该像素的像素值。

在本实施例的一些可选的实现方式中，第一确定单元402包括：

第二确定子单元(图中未示出)，被配置成针对空洞区域中的像素，基于目标彩色图像中空洞区域中该像素的第二邻域范围的图像的平滑程度，确定该像素的像素值。

在本实施例的一些可选的实现方式中，填充后深度图像中的像素的像素值与目标彩色图像中与空洞区域中的该像素相对应的像素的第一邻域范围内的像素的像素值呈正相关，填充后深度图像中的像素的像素值与目标彩色图像中与空洞区域中的该像素相对应的像素的第二邻域范围的图像的平滑程度以下至少一项呈负相关。

在本实施例的一些可选的实现方式中，空洞区域与目标彩色图像中的弱纹理区域和重复纹理区域中的至少一项相对应。

本公开的上述实施例提供的深度图像的空洞区域填充装置中，获取单元401获取对目标场景进行拍摄得到的目标彩色图像和目标深度图像，然后，在目标深度图像中存在空洞区域的情况下，第一确定单元402基于目标彩色图像，确定空洞区域中的像素的像素值，最后，填充单元403基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像，由此，可以基于目标场景的目标彩色图像对该目标场景的目标深度图像的空洞区域进行填充，从而丰富了深度图像的空洞区域的填充方式，可以提高对深度图像的空洞区域进行填充的准确度，有助于生成包含更丰富的深度信息的彩色全景图像。

下面请参考图5，图5为本发明深度图像的空洞区域填充系统一个实施例的结构示意图。该深度图像的空洞区域填充系统包括图像处理单元、与图像处理单元通信连接的彩色图像拍摄装置和深度图像拍摄装置。其中：彩色图像拍摄装置，被配置成：对目标场景进行拍摄，得到目标彩色图像；深度图像拍摄装置，被配置成：对目标场景进行拍摄，得到目标深度图像；图像处理单元，被配置成：获取目标彩色图像和目标深度图像；响应于目标深度图像中存在空洞区域，基于目标彩色图像，确定空洞区域中的像素的像素值；基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像。

如图5所示，在步骤501中，彩色图像拍摄装置对目标场景进行拍摄，得到目标彩色图像。

在本实施例中，彩色图像拍摄装置可以对目标场景进行拍摄，得到目标彩色图像。

在步骤502中，深度图像拍摄装置对目标场景进行拍摄，得到目标深度图像。

在本实施例中，深度图像拍摄装置可以对目标场景进行拍摄，得到目标深度图像。

在步骤503中，彩色图像拍摄装置将目标彩色图像发送至图像处理单元。

在本实施例中，彩色图像拍摄装置可以将目标彩色图像发送至图像处理单元。

在步骤504中，深度拍摄装置将目标深度发送至图像处理单元。

在本实施例中，深度拍摄装置可以将目标深度发送至图像处理单元。

在步骤505中，响应于目标深度图像中存在空洞区域，图像处理单元基于目标彩色图像，确定空洞区域中的像素的像素值。

在本实施例中，在目标深度图像中存在空洞区域的情况下，图像处理单元可以基于目标彩色图像，确定空洞区域中的像素的像素值。

在步骤506中，图像处理单元基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像。

在本实施例中，图像处理单元可以基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像。

在本实施例的一些可选的实现方式中，彩色图像拍摄装置的数量和深度图像拍摄装置的数量均为预设数量，预设数量个彩色图像拍摄装置和预设数量个深度图像拍摄装置之间的相对位置预先确定。

在本实施例的一些可选的实现方式中，该系统还包括旋转轴，彩色图像拍摄装置和深度图像拍摄装置分别与旋转轴相连接，在拍摄过程中，彩色图像拍摄装置和深度图像拍摄装置均以旋转轴为轴进行旋转；以及

彩色图像拍摄装置每旋转预设角度，拍摄得到一张彩色图像，将拍摄得到的多张彩色图像作为目标彩色图像；

深度图像拍摄装置每旋转预设角度，拍摄得到一张深度图像，将拍摄得到的多张深度图像作为目标深度图像；

其中，拍摄得到的彩色图像的数量和目标深度图像的数量均为360度与预设角度的商。

在本实施例的一些可选的实现方式中，图像处理单元，进一步被配置成：

基于拍摄得到的多张深度图像中的各张深度图像之间的位姿关系，将多张深度图像合成为深度全景图像。

在本实施例的一些可选的实现方式中，图像处理单元，进一步被配置成：

针对深度全景图像中的像素，确定拍摄得到的多张彩色图像中与该像素相对应的像素的色彩信息；

基于所得到的色彩信息和深度全景图像中的像素的像素值，生成包含深度信息的彩色全景图像。

在本实施例的一些可选的实现方式中，填充后深度图像中的像素的像素值与目标彩色图像中与空洞区域中的该像素相对应的像素的第一邻域范围内的像素的像素值呈正相关，填充后深度图像中的像素的像素值与目标彩色图像中与空洞区域中的该像素相对应的像素的第二邻域范围的图像的平滑程度以下至少一项呈负相关。

在本实施例的一些可选的实现方式中，空洞区域与目标彩色图像中的弱纹理区域和重复纹理区域中的至少一项相对应。

需要说明的是，除上面所记载的内容外，本申请实施例还可以包括与图1对应的实施例相同或类似的特征、效果。例如，上述本发明深度图像的空洞区域填充系统中的图像处理单元还可以被配置成执行图1对应的实施例众所描述的各个步骤。再例如，上述本发明深度图像的空洞区域填充系统中的彩色图像拍摄装置(或深度图像拍摄装置)可以包括与图1对应的实施例中的彩色图像拍摄装置(或深度图像拍摄装置)相同或类似的特征。此外，图1对应的实施例中的彩色图像拍摄装置(或深度图像拍摄装置)也可以包括与上述本发明深度图像的空洞区域填充系统中的彩色图像拍摄装置(或深度图像拍摄装置)相同或类似的特征。在此不再赘述。

本公开的上述实施例提供的深度图像的空洞区域填充系统包括图像处理单元、与图像处理单元通信连接的彩色图像拍摄装置和深度图像拍摄装置，其中：彩色图像拍摄装置，被配置成：对目标场景进行拍摄，得到目标彩色图像；深度图像拍摄装置，被配置成：对目标场景进行拍摄，得到目标深度图像；图像处理单元，被配置成：获取目标彩色图像和目标深度图像；响应于目标深度图像中存在空洞区域，基于目标彩色图像，确定空洞区域中的像素的像素值；基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像。由此，可以基于目标场景的目标彩色图像对该目标场景的目标深度图像的空洞区域进行填充，从而丰富了深度图像的空洞区域的填充方式，可以提高对深度图像的空洞区域进行填充的准确度，有助于生成包含更丰富的深度信息的彩色全景图像。

下面，参考图6来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图6图示了根据本公开实施例的电子设备的框图。

如图6所示，电子设备6包括一个或多个处理器601和存储器602。

处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器602可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器601可以运行所述程序指令，以实现上文所述的本公开的各个实施例的深度图像的空洞区域填充方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备还可以包括：输入装置603和输出装置604，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备或第二设备时，该输入装置603可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置603可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。

此外，该输入装置603还可以包括例如键盘、鼠标等等。该输出装置604可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置604可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图6中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的深度图像的空洞区域填充方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的深度图像的空洞区域填充方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种深度图像的空洞区域填充方法，其特征在于，包括：

获取对目标场景进行拍摄得到的目标彩色图像和目标深度图像；

响应于所述目标深度图像中存在空洞区域，基于所述目标彩色图像，确定所述空洞区域中的像素的像素值；

基于所述空洞区域中的像素的像素值，对所述空洞区域进行填充，得到填充后深度图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标彩色图像，确定所述空洞区域中的像素的像素值，包括：

基于所述目标彩色图像中的像素的像素值，确定所述空洞区域中的像素的像素值。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标彩色图像中的像素的像素值，确定所述空洞区域中的像素的像素值，包括：

针对所述空洞区域中的像素，基于所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的第一邻域范围内的像素的像素值，确定该像素的像素值。

4.根据权利要求1-3之一所述的方法，其特征在于，所述基于所述目标彩色图像，确定所述空洞区域中的像素的像素值，包括：

针对所述空洞区域中的像素，基于所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的第二邻域范围的图像的平滑程度，确定该像素的像素值。

5.根据权利要求1-4之一所述的方法，其特征在于，所述空洞区域中的像素的像素值之间的差异程度与以下至少一项呈负相关：

所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的像素值之间的相似程度；

所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的平滑程度。

6.根据权利要求1-5之一所述的方法，其特征在于，所述空洞区域与所述目标彩色图像中的弱纹理区域和重复纹理区域中的至少一项相对应。

7.一种深度图像的空洞区域填充装置，其特征在于，包括：

获取单元，被配置成获取对目标场景进行拍摄得到的目标彩色图像和目标深度图像；

第一确定单元，被配置成响应于所述目标深度图像中存在空洞区域，基于所述目标彩色图像，确定所述空洞区域中的像素的像素值；

填充单元，被配置成基于所述空洞区域中的像素的像素值，对所述空洞区域进行填充，得到填充后深度图像。

8.根据权利要求7所述的装置，其特征在于，所述第一确定单元包括：

第一确定子单元，被配置成基于所述目标彩色图像中的像素的像素值，确定所述空洞区域中的像素的像素值。

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-6任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-6任一所述的方法。

Images