CN108550167A - 深度图像生成方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供一种深度图像生成方法、装置及电子设备，该方法包括：获取包含相同景物的第一颜色图像与第一深度图像。根据第一颜色图像中多个第一预设区域各自包含的参考像素点与非参考像素点之间的相似度，对多个第一预设区域各自包含的像素点进行分类。再根据在同一第一预设区域且属于同一类别的像素点确定多个第一预设区域各自包含的参考像素点在第一深度图像中对应的目标像素点。将目标像素点的深度值确定为第二深度图像中待生成像素点的深度系数，结合深度系数生成第二深度图像。本方法可以根据像素点类别准确确定出目标像素点，进而准确计算出待生成像素点的深度值，提高生成的深度图像的精准度，改善虚拟视点图像中出现的物体失真现象。

Description

深度图像生成方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种深度图像生成方法、装置及电子设备。

背景技术

在不同的领域中通常会存在一些特殊的工作场景或工作环境，例如医疗领域中的计算机辅助手术或者工业领域中容易对人体造成危害的工作环境等等。在上述情况下，人们通常需要借助机器人来完成预设工作。机器人能够成功完成预设工作是建立在全方位了解工作环境的基础上的，而机器人上配置的有限个摄像设备并不能实现对工作环境的全方位了解，从而降低了预设任务的完成的成功率。

为了克服此缺陷，在实际应用中，通常会采用虚拟视点合成算法根据机器人上配置的有限个真实摄像设备拍得的图像合成出一个在虚拟摄像设备视点上所拍摄到的图像即虚拟视点图像，从而根据真实摄像设备拍得的图像以及虚拟视点图像实现对工作环境的全方位了解，从而成功地完成预设任务，其中，真实摄像设备拍得的图像包括颜色图像和深度图像。

虚拟视点图像一般是利用真实摄像设备拍得的颜色图像和深度图像合成的。因此，深度图像分辨率的高低会直接影响到合成的虚拟视点图像的质量。在现有技术中，通常使用基于差值的图像超分辨率算法来重新生成一张高分辨率的深度图像，以满足虚拟视点图像的质量需求。但利用上述算法得到的高分辨率深度图像的精准度通常较低，并不能准确地表示出物体之间的位置关系，进而导致使用深度图像生成的虚拟视点图像出现物体失真的现象。

发明内容

有鉴于此，本发明实施例提供一种深度图像生成方法、装置及电子设备，用以提高深度图像的精准度，进而改善虚拟视点图像中出现的物体失真现象。

本发明实施例提供一种深度图像生成方法，包括：

获取包含相同景物的第一颜色图像与第一深度图像，其中，所述第一颜色图像的分辨率高于所述第一深度图像的分辨率；

根据所述第一颜色图像中至少一个第一预设区域各自包含的参考像素点以及非参考像素点之间的相似度，对所述至少一个第一预设区域各自包含的参考像素点以及非参考像素点进行分类，其中，位于第一预设区域中心的像素点为参考像素点，剩余像素点为非参考像素点；

根据在同一第一预设区域内且属于同一类别的参考像素点与非参考像素点确定所述至少一个第一预设区域各自包含的参考像素点在所述第一深度图像中对应的目标像素点，其中，任一第一预设区域包含的参考像素点以及非参考像素点在所述第一深度图像中均存在具有预设对应关系的像素点；

将所述目标像素点的深度值确定为第二深度图像中待生成像素点的深度系数，结合所述深度系数生成第二深度图像，其中，所述待生成像素点在所述第二深度图像中的位置与所述参考像素点在第一颜色图像中的位置相同，且所述第二深度图像与所述第一颜色图像具有相同的分辨率。

可选地，在所述将所述目标像素点的深度值确定为第二深度图像中待生成像素点的深度系数，结合所述深度系数生成第二深度图像之后，所述方法还包括：

计算所述第二深度图像中第二预设区域包含的像素点深度值的方差；

若所述方差小于预设阈值，则根据所述第二预设区域的参考深度值调整所述第二预设区域内各个像素点的深度值。

可选地，所述根据所述第一颜色图像中至少一个第一预设区域各自包含的参考像素点以及非参考像素点之间的相似度，对所述至少一个第一预设区域各自包含的参考像素点以及非参考像素点进行分类，包括：

针对任一第一预设区域，计算所述任一第一预设区域内参考像素点与非参考像素点之间颜色的相似度值，以分别将最大相似度值对应的非参考像素点以及最小相似度值对应的非参考像素点划分为第一类像素点以及第二类像素点；

分别计算剩余相似度值与所述最大相似度值以及所述最小相似度值之间的相似度差值，以得到第一差值以及第二差值；

根据所述第一差值以及所述第二差值的大小关系对所述剩余相似度值对应的非参考像素点进行分类；

根据所述非参考像素点的类别确定所述参考像素点的类别。

可选地，所述根据所述第一差值以及所述第二差值的大小关系对所述剩余相似度值对应的非参考像素点进行分类，包括：

若第一差值小于第二差值，则将剩余相似度值对应的非参考像素点划分为第一类像素点；

若第一差值大于第二差值，则将剩余相似度值对应的非参考像素点划分为第二类像素点。

可选地，所述根据所述非参考像素点的类别确定所述参考像素点的类别，包括：

分别计算属于同一类别的非参考像素点的平均颜色值；

计算所述参考像素点的颜色值与所述平均颜色值之间的相似度值；

将所述参考像素点与具有最高相似度值的平均颜色值对应的非参考像素点划分为同一类别。

可选地，所述将所述目标像素点的深度值确定为第二深度图像中待生成像素点的深度系数，结合所述深度系数生成第二深度图像，包括：

根据所述深度系数对所述第二深度图像中所述待生成像素点进行双边滤波处理，以将获得所述待生成像素点的深度值；

根据所述待生成像素点的深度值生成第二深度图像。

可选地，在所述获取第一颜色图像与第一深度图像之前，所述方法还包括：

获取RGB颜色空间下的原始颜色图像；

调整所述原始颜色图像的分辨率至与所述第二深度图像的分辨率相同；

根据所述RGB颜色空间与CIELAB颜色空间之间的预设转换关系，将调整后的原始颜色图像转换为在CIELAB颜色空间下的所述第一颜色图像。

本发明实施例提供一种深度图像生成装置，包括：

第一获取模块，用于获取包含相同景物的第一颜色图像与第一深度图像，其中，所述第一颜色图像的分辨率高于所述第一深度图像的分辨率；

分类模块，用于根据所述第一颜色图像中至少一个第一预设区域各自包含的参考像素点以及非参考像素点之间的相似度，对所述至少一个第一预设区域各自包含的参考像素点以及非参考像素点进行分类，其中，位于第一预设区域中心的像素点为参考像素点，剩余像素点为非参考像素点；

像素点确定模块，用于根据在同一第一预设区域内且属于同一类别的参考像素点与非参考像素点确定所述至少一个第一预设区域各自包含的参考像素点在所述第一深度图像中对应的目标像素点，其中，任一第一预设区域包含的参考像素点以及非参考像素点在所述第一深度图像中均存在具有预设对应关系的像素点；

生成模块，用于将所述目标像素点的深度值确定为第二深度图像中待生成像素点的深度系数，结合所述深度系数生成第二深度图像，其中，所述待生成像素点在所述第二深度图像中的位置与所述参考像素点在第一颜色图像中的位置相同，且所述第二深度图像与所述第一颜色图像具有相同的分辨率。

可选地，所述装置还包括：

计算模块，用于计算所述第二深度图像中第二预设区域包含的像素点深度值的方差；

深度值调整模块，用于若所述方差小于预设阈值，则根据所述第二预设区域的参考深度值调整所述第二预设区域内各个像素点的深度值。

本发明实施例提供一种电子设备，包括：存储器，以及与所述存储器连接的处理器；

所述存储器，用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理器调用执行；

所述处理器，用于执行所述一条或多条计算机指令以实现上述深度图像生成方法中的任意一种方法。

本发明实施例提供的深度图像生成方法、装置及电子设备，图像处理设备首先获取包含相同景物的第一颜色图像和第一深度图像，其中，第一颜色图像的分辨率高于第一深度图像，并且第一颜色图像中含有至少一个第一预设区域。对于任一第一预设区域来说，位于区域中心的为参考像素点，区域内的剩余像素点为非参考像素点。然后，图像处理设备计算每个第一预设区域包含的参考像素点与非参考像素点之间的相似度，并根据计算出的结果对每个第一预设区域中的像素点进行分类。在像素点分类完毕后，图像处理设备再根据在同一第一预设区域内且属于同一类别的参考像素点以及非参考像素点确定至少一个第一预设区域中各自包含的参考像素点在第一深度图像中对应的目标像素点，其中，每个第一预设区域包含的参考像素点与非参考像素点在第一深度图像中都存在一个对应的像素点。最终，图像处理设备将目标像素点的深度值确定为第二深度图像中待生成像素点的深度系数，此待生成像素点在第二深度图像中的位置与参考像素点在第一颜色图像中的位置相同，图像处理设备再结合此深度系数生成第二深度图像，且此第二深度图像的分辨率与第一颜色图像相等、高于第一深度图像。

通过上述描述可知，在生成第二深度图像的过程中关键的步骤是目标像素点的确定。现有技术中仅根据单参数即第一颜色图像中像素点与第一深度图像中像素点之间的预设对应关系确定出目标像素点。与此相比，本发明提供的方法是利用多参数即像素点的类别以及预设对应关系确定出目标像素点，这样可以大大提高确定出的目标像素点的准确性，图像处理设备便可以根据准确的目标像素点进一步准确地计算出高分辨率的第二深度图像中待生成像素点的深度值，使生成的第二深度图像具有更高的精准度。此高分辨率的第二深度图像可以更加准确的表示出物体之间的位置关系，进而也就改善根据高分辨率深度图像生成的虚拟视点图像中出现的物体失真现象。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的深度图像生成方法实施例一的流程图；

图2为多物体重叠摆放时产生不连续边的示意图；

图3为本发明实施例提供的深度图像生成方法实施例二的流程图；

图4为本发明实施例提供的深度图像生成装置实施例一的结构示意图；

图5为本发明实施例提供的深度图像生成装置实施例二的结构示意图；

图6为本发明实施例提供的电子设备实施例一的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

图1为本发明实施例提供的深度图像生成方法实施例一的流程图，本实施例提供的该深度图像生成方法的执行主体可以为图像处理设备，如图1所示，该方法包括如下步骤：

S101，获取包含相同景物的第一颜色图像与第一深度图像。

在一场景中放置有图像数据采集设备，图像数据采集设备可以拍得包含有场景中相同景物的第一颜色图像以及第一深度图像。可选地，图像数据采集设备可以是一组相机，此一组相机内包括一台色彩相机和一台深度相机，两相机用以分别拍摄第一颜色图像以及第一深度图像。可选地，图像数据采集设备可以将拍得的图像发送至图像处理设备，以使图像处理设备获取到第一颜色图像与第一深度图像，且第一颜色图像的分辨率高于第一深度图像。可选地，第一颜色图像的分辨率可以是第一深度图像分辨率的整数倍。可选地，在通常情况下，图像数据采集设备拍得的第一颜色图像是一张在RGB颜色空间中的颜色图像。

S102，根据第一颜色图像中至少一个第一预设区域各自包含的参考像素点以及非参考像素点之间的相似度，对至少一个第一预设区域各自包含的参考像素点以及非参考像素点进行分类。

图像处理设备获取到的第一颜色图像包括至少一个第一预设区域，其中，对于任一第一预设区域来说，位于区域中心的为参考像素点，区域中的剩余像素点为非参考像素点，也即是每个第一预设区域内都包括一个参考像素点以及多个非参考像素点。在此需要说明的是，第一颜色图像中的每个像素点都可以是参考像素点，也即是第一颜色图像中的每个像素点都存在一个对应的第一预设区域。可选地，第一预设区域的形状可以是圆形、四边形等等。

在实际应用中，通常由参考像素点以及与此参考像素点相邻的8个像素点也即是8个非参考像素点构成一个四边形的第一预设区域。由此9个像素点构成的第一预设区域实际上是一个具有最小像素点数量的第一预设区域。当然，第一预设区域中包含的像素点的数量还可以进一步增多。可选地，可以在相邻的8个像素点的基础上进一步向外扩展像素点，以得到包含更多像素点的第一预设区域。

通过大量实验发现，第一预设区域中包含像素点的数量越多，最终生成的深度图像越准确，且生成深度图像过程中的计算量也会相应增大。因此，实际应用中，应该同时考虑第一预设区域中包含像素点的数量以及计算量的大小来设置第一预设区域的尺寸。

在上述描述的基础上，图像处理设备可以计算每个第一预设区域包含的像素点以及非参考像素点之间的相似度，并根据计算出的相似度对每个第一预设区域中包含的参考像素点以及非参考像素点进行分类。并且图像处理设备对每个第一预设区域中包含的像素点进行分类处理的过程都是相同的。

可选地，图像处理设备可以按照以下方式对至少一个第一预设区域中任一第一预设区域包含的像素点进行分类：

第一，计算任一第一预设区域内参考像素点与非参考像素点之间颜色值的相似度值，以分别将最大相似度值对应的非参考像素点以及最小相似度值对应的非参考像素点划分为第一类像素点以及第二类像素点。

第二，分别计算剩余相似度值与最大相似度值以及最小相似度值之间的相似度差值，以得到第一差值以及第二差值。

第三，根据第一差值以及第二差值的大小关系对剩余相似度值对应的非参考像素点进行分类。

第四，根据具有最大相似度值对应的非参考像素点的类别确定参考像素点的类别。

具体地，为了清楚地描述的第一预设区域内全部像素点的分类过程，下面以一具体的第一预设区域A为例进行说明。

图像处理设备在获取到第一颜色图像的同时也即是获取了第一颜色图像中各个像素点在第一颜色图像中的颜色值，一种可选地方式，图像处理设备可以将两像素点之间颜色值的欧式距离确定为参考像素点与非参考像素点之间的相似度值。

具体地，第一预设区域A内的参考像素点以及某一非参考像素点M的颜色值表示为(x_r,y_g,z_b)，(x'_r,y'_g,z'_b)，其中，x_r，x'_r分别表示参考像素点以及非参考像素点M在红颜色通道下的颜色值，y_g，y'_g分别表示参考像素点以及非参考像素点M在绿颜色通道下的颜色值，z_b，z'_b分别表示参考像素点以及非参考像素点M在蓝颜色通道下的颜色值。可选地，参考像素点与任一非参考像素点M之间颜色值的欧式距离D可以表示为：可选地，两像素点之间的相似度值还可以用马氏距离、余弦距离或其他能够表示相似度的参量来表示。

图像处理设备可以按照上述方式依次计算出第一预设区域A内的参考像素点与每个非参考像素点之间的相似度值，并且每个相似度值都对应于一个非参考像素点。图像处理设备可以将最大相似度值对应的非参考像素点划分为第一类像素点，再将最小相似度值对应的非参考像素点划分为第二类像素点。

接着，图像处理设备再继续对剩余相似度值对应的非参考像素点进行分类，其中，剩余相似度值为除最大相似度值以及最小相似度值以外的其他相似度值。一种可选地方式，针对任意一个剩余相似度值，图像处理设备分别可以计算此剩余相似度值与最大相似度值以及最小相似度值之间的相似度差值，从而得到第一差值和第二差值。对于此第一差值和第二差值，很容易想到的，会出现以下两种情况：

一种情况，第一差值小于第二差值，此时，图像处理设备会将此剩余相似度值对应的非参考像素点划分为第一类像素点。

另一种情况，第一差值大于第二差值，此时，图像处理设备会将此剩余相似度值对应的非参考像素点划分为第二类像素点。

在对第一预设区域A内的所有非参考像素点分类完毕后，图像处理设备还会继续对第一预设区域A内的参考像素点进行分类。一种可选地方式，图像处理设备可以将最大相似度值对应的非参考像素点所属的类别直接确定为参考像素点的类别。通过上述过程，图像处理设备也即是完成了对第一预设区域A内的全部像素点的分类。

S103，根据在同一第一预设区域内且属于同一类别的参考像素点与非参考像素点确定至少一个第一预设区域各自包含的参考像素点在第一深度图像中对应的目标像素点。

由于步骤S101的描述中提到：“第一颜色图像的分辨率可以是第一深度图像分辨率的整数倍，同时第一颜色图像与第一深度图像包含相同的景物”，因此，第一颜色图像中的像素点与第一深度图像的像素点实际上是存在预设对应关系的，也即是第一预设区域A内的所有像素点在第一深度图像中均存在一个对应的像素点，并且第一深度图中的一个像素点对应于第一颜色图像中的多个像素点。

下面举例说明第一颜色图像的像素点与第一深度图像的像素点之间的预设对应关系：

当第一颜色图像的分辨率为第一深度图像分辨率的2倍时，第一颜色图像中像素坐标为(1，1)、(1，2)、(2，1)、(2，2)的像素点对应于第一深度图像中像素坐标为(1，1)的像素点。第一颜色图像中像素坐标为(3，1)、(3，2)、(4，1)、(4，2)的像素点对应于第一深度图像中像素坐标为(2，1)的像素点。

当第一颜色图像的分辨率为第一深度图像分辨率的3倍时，第一颜色图像中像素坐标为(1，1)、(1，2)、(1，3)、(2，1)、(2，2)、(2，3)、(3，1)、(3，2)、(3，3)的像素点对应于第一深度图像中像素坐标为(1，1)的像素点。

其中，第一颜色图像与第一深度图像处于相同的坐标系下，并且此坐标系是以图像的左上角为原点建立起的以像素点为单位的图像坐标系，像素点的横坐标与纵坐标分别表示像素点在图像中所在的行数与所在的列数。

针对于第一预设区域A中属于同一类别的参考像素点以及非参考像素点，图像处理设备可以根据前述的预设对应关系在第一深度图像中分别找到对应的一个像素点。若在属于同一类别的参考像素点以及非参考像素点中有M个像素点对应于深度图像中的像素点P₁，有N个像素点对应于深度图像中的像素点P₂，且M＞N，则图像处理设备会直接将M个像素点对应的像素点P₁确定为第一预设区域A内的参考像素点在第一深度图像中对应的目标像素点。

S104，将目标像素点的深度值确定为第二深度图像中待生成像素点的深度系数，结合深度系数生成第二深度图像。

图像处理设备可以根据第一深度图像获得此确定出的目标像素点的深度值，并将目标像素点的深度值确定为待生成像素点的深度系数。其中，待生成像素点在第二深度图像中的位置与参考像素点在第一颜色图像中的位置相同，并且生成的第二深度图像的分辨率是预先设置好的，第二深度图像与第一颜色图像具有相同的分辨率。在得到待生成像素点的深度系数后，图像处理设备可以结合确定出的深度系数以及前面计算出的相似度值以及像素点的空间距离得到待生成像素点的深度值。

当图像处理设备执行了上述描述的过程后，也即是确定出了第二深度图像中一个待生成像素点的深度值，并且此待生成像素点在第二深度图像中的位置与第一预设区域A的参考像素点在第一颜色图像中的位置相同。由于第二深度图像与第一颜色图像具有相同的分辨率，因此第二深度图像中待生成像素点的个数与第一颜色图像中像素点的个数相同。图像处理设备重复上述过程便可以确定出第二深度图像中各个像素点的深度值，并最终由像素点的深度值生成第二深度图像。

本实施例中，图像处理设备首先获取包含相同景物的第一颜色图像和第一深度图像，其中，第一颜色图像的分辨率高于第一深度图像，并且第一颜色图像中含有至少一个第一预设区域。对于任一第一预设区域来说，位于区域中心的为参考像素点，区域内的剩余像素点为非参考像素点。然后，图像处理设备计算每个第一预设区域包含的参考像素点与非参考像素点之间的相似度，并根据计算出的结果对每个第一预设区域中的像素点进行分类。在像素点分类完毕后，图像处理设备再根据在同一第一预设区域内且属于同一类别的参考像素点以及非参考像素点确定至少一个第一预设区域中各自包含的参考像素点在第一深度图像中对应的目标像素点，其中，每个第一预设区域包含的参考像素点与非参考像素点在第一深度图像中都存在一个对应的像素点。最终，图像处理设备将目标像素点的深度值确定为第二深度图像中待生成像素点的深度系数，此待生成像素点在第二深度图像中的位置与参考像素点在第一颜色图像中的位置相同，图像处理设备再结合此深度系数生成第二深度图像，且此第二深度图像的分辨率与第一颜色图像相等、高于第一深度图像。通过上述描述可知，在生成第二深度图像的过程中关键的步骤是目标像素点的确定。现有技术中仅根据单参数即第一颜色图像中像素点与第一深度图像中像素点之间的预设对应关系确定出目标像素点。与此相比，本发明提供的方法是利用多参数即像素点的类别以及预设对应关系确定出目标像素点，这样可以大大提高确定出的目标像素点的准确性，图像处理设备便可以根据准确的目标像素点进一步准确地计算出高分辨率的第二深度图像中待生成像素点的深度值，使生成的第二深度图像具有更高的准确度。此高分辨率的第二深度图像可以更加准确的表示出物体之间的位置关系，进而也就改善根据高分辨率深度图像生成的虚拟视点图像中出现的物体失真现象。

另外，在实际应用中，当空间中摆放多个物体时，很容易出现如图2所示的情况，两个物体I、II一前一后部分重叠地被摆放在一起。此时在后物体II的一部分就会被在前的物体I的边缘遮挡住，图2中斜线部分即为在后物体II被遮挡住的部分，在前物体I中被加粗处理的边缘s就被称为不连续边。

当物体重叠摆放时，图像处理设备根据差值算法生成的针对于此种摆放形式的深度图像中往往就会出现不连续边模糊的现象，这样的深度图像具有较低的准确性。其中，此不连续边模糊现象的产生是由于对不连续边附近的区域，图像处理设备将在后物体II的一部分错误地识别为在前物体I或者将在前物体I的一部分错误地识别为在后物体II。然后，图像处理设备再根据此存在不连续边模糊现象的、低准确度的深度图像生成虚拟视点图像。此时生成的虚拟视点图像中物体会出现严重程度更高的失真。

而图像处理设备利用实施例一以及下述各实施例的方法，通过对参考像素点以及非参考像素点进行分类的方式来提高确定出的各参考像素点对应的目标像素点的准确性，并进一步提高生成的高分辨率深度图像的准确性，改善高分辨率深度图像中出现的不连续边模糊现象，从而避免虚拟视点图像中出现严重的物体失真现象。

上述实施例一中拍摄设备拍摄到的第一颜色图像是适应于RGB颜色空间的，RGB颜色空间虽然是最常使用的一种颜色空间，但其并不是最符合人眼视觉特征的颜色空间。为了使利用深度图像合成的虚拟视点图像更加符合人眼的视觉感受，图3为本发明实施例提供的深度图像生成方法实施例二的流程图，如图3所示，该方法包括如下步骤：

S201，获取RGB颜色空间下的原始颜色图像。

S202，调整原始颜色图像的分辨率至与第二深度图像的分辨率相同。

S203，根据RGB颜色空间与CIELAB颜色空间之间的预设转换关系，将调整后的原始颜色图像转换为在CIELAB颜色空间下的第一颜色图像。

图像处理设备可以从图像数据采集设备处获取到在RGB颜色空间下的原始颜色图像，此原始颜色图像的分辨率通常与待生成的第二深度图像的分辨率是不相同的。根据实施例一中的相关描述可知，在生成第二深度图像的过程中所使用的颜色图像的分辨率需要是与第二深度图像相同的。因此，图像处理设备需要调整原始颜色图像的分辨率至与第二深度图像的分辨率相同。调整图像分辨率可以采用现有技术中的任意一种方式，由于图像分辨率的调整并不是本发明的重点，因此，分辨率的调整过程不在此进行详细描述。

在对原始颜色图像的分辨率调整完毕后，需要根据RGB颜色空间与CIELAB颜色空间之间的预设转换关系，将调整后的原始颜色图像转换为适应于CIELAB颜色空间的第一颜色图像。RGB颜色空间与CIELAB颜色空间都是国际照明委员会(CommissionInternationale de l′Eclairage，CIE)公布的两种颜色空间。与RGB颜色空间类似，在CIELAB颜色空间下，第一颜色图像中的任一像素点的颜色值也可以以坐标的形式表示即(L^*,a^*,b^*)，其中，L^*表示像素点的亮度，a^*表示像素点红绿色的偏向程度，a^*为正数表示像素点偏向于红色，a^*为负数表示偏向于绿色；b^*表示像素点的蓝黄色的偏向程度，b^*为正数表示像素点偏向于黄色，负数表示偏向于蓝色b^*。

S204，获取包含相同景物的第一颜色图像与第一深度图像。

上述步骤S204执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。

S205，根据第一颜色图像中至少一个第一预设区域各自包含的参考像素点以及非参考像素点之间的相似度，对至少一个第一预设区域各自包含的参考像素点以及非参考像素点进行分类。

对于任一第一预设区域包含的参考像素点以及非参考像素点之间相似度的计算方式同样可以参考实施例一中的相关描述。承接实施例一中的相关描述，仍以第一预设区域A为例进行说明。当图像处理设备将第一预设区域A内的参考像素点与非参考像素点M之间颜色值的欧氏距离作为两像素点之间的相似度值时，此时，欧式距离的计算公式需要相应修改为：

其中，第一预设区域A内的参考像素点以及非参考像素点的颜色值可以表示为分别表示参考像素点以及非参考像素点M的亮度值，分别表示参考像素点以及非参考像素点M的红绿色的偏向程度，分别表示参考像素点以及非参考像素点M的蓝黄色的偏向程度。

图像处理设备可以根据计算得到的欧式距离对第一预设区域A内的非参考像素点进行分类，具体的分类过程可以参见实施例一中步骤S102的相关描述在此不再赘述。在对第一预设区域A内的全部非参考像素点分类完毕后，可选地，图像处理设备还可以根据以下方式对第一预设区域A的参考像素点进行分类。

首先，分别计算属于同一类别的非参考像素点的平均颜色值。

然后，计算参考像素点的颜色值与平均颜色值之间的相似度值。

最后，将参考像素点与具有最高相似度值的平均颜色值对应的非参考像素点划分为同一类别。

具体来说，图像处理设备需要分别计算属于同一类别的非参考像素点的平均颜色值。当非参考像素点被分为2类时，第一类非参考像素点的平均颜色值可以表示为第二类非参考像素点的平均颜色值可以表示为其中，分别为属于第一类和第二类的非参考像素点颜色值中亮度值的平均值，分别为属于第一类和第二类的非参考像素点颜色值中红绿色的偏向程度的平均值，分别为属于第一类和第二类的非参考像素点颜色值中蓝黄色的偏向程度的平均值。

然后，图像处理设备再计算参考像素点的颜色值与平均颜色值之间的相似度值，从而确定出参考像素点的颜色值与哪个平均颜色值最接近。考像素点的颜色值与平均颜色值之间的相似度值的计算方式与参考像素点与非参考像素点之间的相似度值的计算方式相同，在此不再赘述。图像处理设备可以将参考像素点与具有最高相似度值的平均颜色值对应的非参考像素点划分为同一类别。

S206，根据在同一第一预设区域内且属于同一类别的参考像素点与非参考像素点确定至少一个第一预设区域各自包含的参考像素点在第一深度图像中对应的目标像素点。

上述步骤S206执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。

S207，将目标像素点的深度值确定为第二深度图像中待生成像素点的深度系数，结合深度系数生成第二深度图像。

在确定出第一预设区域A内的参考像素点在第一深度图像中对应的目标像素点后，一种可选地方式，图像处理设备可以采用以下方式生成第二深度图像。

第一，根据深度系数对第二深度图像中待生成像素点进行双边滤波处理，以将获得待生成像素点的深度值。

第二，根据待生成像素点的深度值生成第二深度图像。

具体地，图像处理设备可以根据以下公式对待生成像素点进行双边滤波处理，从而计算出待生成像素点的深度值：

其中，D为待生成像素点的深度值，k为归一化系数，c为深度系数，g(I_p-I_q||)为相似度矩阵，p为第一预设区域A的参考像素点，q为第一预设区域A的非参考像素点，此相似度矩阵中的元素分别为第一预设区域A内所有像素点与参考像素点之间颜色值的欧式距离。根据上述描述可知，第一预设区域A内所有像素点都与第一深度图像中的某个像素点存在预设对应关系，因此，第一预设区域A在深度图像中也存在一个对应的深度预设区域Ω，p'为参考像素点p在深度预设区域Ω中对应的像素点，q'为非参考像素点q在深度预设区域Ω中对应的像素点。f(I_p'-I_q'||)为空间距离矩阵，此空间矩阵中的元素分别为深度预设区域Ω内像素点p'和像素点q'的空间距离。举例来说，当像素点p'在像素点q'的正上方或者正下方或者其他类似的位置关系时，二者的空间距离为1；当像素点p'在像素点q'的右上方或者左下方或者其他类似的位置关系时，二者的空间距离为

当图像处理设备计算出所有待生成像素点的深度值后，也即是生成了第二深度图像。

可选地，为了进一步提高确定出的深度值的准确性，在生成第二深度图像之后，图像处理设备还可以对第二深度图像中各个像素点的深度值进行校准，因此，该深度图像生成方法还包括以下步骤：计算第二深度图像中第二预设区域包含的像素点深度值的方差，以根据计算出的方差值调整第二深度图像中各个像素点的深度值。

与第一颜色图像相类似，第二深度图像也被预先划分为至少一个第二预设区域，第二预设区域包含的像素点的数量可以与第一预设区域包含的像素点的数量相同或者不同。图像处理设备对于每个第二预设区域中像素点深度值的校准过程都是相同的，因此，以至少一个第二预设区域中的第二预设区域B为例对校准过程进行说明。

具体地，图像处理设备可以根据第二预设区域B内各像素的深度值计算此第二预设区域B的方差。第二深度图像中的每个像素点都有对应的第二预设区域。

若计算出的方差小于预设阈值，则表明第二预设区域B中的像素点对应于同一物体，此时，图像处理设备可以根据第二预设区域B的参考深度值调整第二预设区域B内各个像素点的深度值。

一种可选地调整方式，可以将第二预设区域B内全部像素点的深度值的平均值或者全部像素点的深度值的中位值作为此第二预设区域B参考深度值，并将第二预设区域B内全部像素点的深度值调整为此参考深度值。

若计算出的方差大于预设阈值，则表明第二预设区域中的像素点对应于不同物体，此时，图像处理设备不对第二预设区域内像素点的深度值进行调整。

经过上述调整操作后，图像处理设备最终生成一张调整后第二深度图像。

另外，在实际应用中，若图像处理设备生成的调整后第二深度图像的分辨率并不满足用户的需求，此时，可以使图像处理设备多次执行上述实施例一或实施例二的方法，以最终生成高分辨率的深度图像。

下面举例说明重复执行上述深度图像生成方法的过程。

假设图像处理设备得到的原始颜色图像的分辨率为第一深度图像分辨率的8倍，且符合用户需求的深度图像的分辨率也为第一深度图像分辨率的8倍，则图像处理设备可以在根据第一深度图像以及第一颜色图像第一次执行上述方法之后，生成一个2倍分辨率的第一深度图像即第二深度图像。当然在生成2倍分辨率的深度图像之前，图像处理设备还需要将原始颜色图像的分辨率调整成与2倍分辨率的第一深度图像相同的分辨率。

接着，图像处理设备可以继续根据2倍分辨率的深度图像以及颜色图像第二次执行上述方法，以生成4倍分辨率的深度图像。与上述类似的，在生成2倍分辨率的深度图像之前，图像处理设备还需要将原始颜色图像的分辨率调整成与4倍分辨率的深度图像相同的分辨率。

以此类推，最终，图像处理设备通过第三次执行上述方法即可最终得到8倍分辨率的第一深度图像。

本实施例中，图像处理设备在获取到原始颜色图像后，会对原始颜色图像的分辨率进行调整，以使调整后的颜色图像的分辨率与待生成的第二深度图像的分辨率相同，这样可以保证后续第二深度图像的正常生成。同时，图像处理设备还会将调整后的原始颜色图像所在的颜色空间进行调整，以得到第一颜色图像。由于图像处理设备后续会根据生成的第二深度图像进一步合成虚拟视点图像，因此，图像处理设备对颜色图像所在的颜色空间的调整可以提高合成的虚拟视点图像的质量，使合成的虚拟视点图像更加符合人的视觉感受。另外，图像处理设备在生成第二深度图像后，还需要对第二深度图像中各个像素点的深度值进行调整。经过调整后可以使处于不连续边的像素点的深度值与其他像素点的深度值具有更大的差异性，进一步提高生成的高分辨率深度图像的准确性。此高分辨率、高准确性的第二深度图像可以更加准确的表示出物体之间的位置关系，进而也就改善根据高分辨率深度图像生成的虚拟视点图像中出现的物体失真现象。

图4为本发明实施例提供的深度图像生成装置实施例一的结构示意图，如图4所示，该深度图像生成装置包括：第一获取模块11、分类模块12、像素点确定模块13以及生成模块14。

第一获取模块11，用于获取包含相同景物的第一颜色图像与第一深度图像，其中，第一颜色图像的分辨率高于第一深度图像的分辨率。

分类模块12，用于根据第一颜色图像中至少一个第一预设区域各自包含的参考像素点以及非参考像素点之间的相似度，对至少一个第一预设区域各自包含的参考像素点以及非参考像素点进行分类，其中，位于第一预设区域中心的像素点为参考像素点，剩余像素点为非参考像素点。

像素点确定模块13，用于根据在同一第一预设区域内且属于同一类别的参考像素点与非参考像素点确定至少一个第一预设区域各自包含的参考像素点在第一深度图像中对应的目标像素点，其中，任一第一预设区域包含的参考像素点以及非参考像素点在第一深度图像中均存在具有预设对应关系的像素点。

生成模块14，用于将目标像素点的深度值确定为第二深度图像中待生成像素点的深度系数，结合深度系数生成第二深度图像，其中，待生成像素点在第二深度图像中的位置与参考像素点在第一颜色图像中的位置相同，且第二深度图像与第一颜色图像具有相同的分辨率。

可选地，该深度图像生成装置中的分类模块12具体包括：计算单元121和分类单元122。

计算单元121，用于针对任一第一预设区域，计算任一第一预设区域内参考像素点与非参考像素点之间颜色值的相似度值，以分别将最大相似度值对应的非参考像素点以及最小相似度值对应的非参考像素点划分为第一类像素点以及第二类像素点，

以及，分别计算剩余相似度值与最大相似度值以及最小相似度值之间的相似度差值，以得到第一差值以及第二差值。

分类单元122，用于根据第一差值以及第二差值的大小关系对剩余相似度值对应的非参考像素点进行分类，以及根据非参考像素点的类别确定参考像素点的类别。

可选地，该深度图像生成装置中的分类单元122具体用于：

若第一差值小于第二差值，则将剩余相似度值对应的非参考像素点划分为第一类像素点；若第一差值大于第二差值，则将剩余相似度值对应的非参考像素点划分为第二类像素点。

图4所示装置可以执行图1所示实施例的方法，本实施例未详细描述的部分，可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1所示实施例中的描述，在此不再赘述。

图5为本发明实施例提供的深度图像生成装置实施例二的结构示意图，如

图5所示，在图4所示实施例基础上，该深度图像生成装置还包括：第二获取模块21，分辨率调整模块22和转换模块23。

第二获取模块21，用于获取RGB颜色空间下的原始颜色图像。

分辨率调整模块22，用于调整原始颜色图像的分辨率至与第二深度图像的分辨率相同。

转换模块23，用于根据RGB颜色空间与CIELAB颜色空间之间的预设转换关系，将调整后的原始颜色图像转换为在CIELAB颜色空间下的第一颜色图像。

可选地，该深度图像生成装置中的分类单元122具体用于：

分别计算属于同一类别的非参考像素点的平均颜色值，以及计算参考像素点的颜色值与平均颜色值之间的相似度值，以及将参考像素点与具有最高相似度值的平均颜色值对应的非参考像素点划分为同一类别。

可选地，该深度图像生成装置中的生成模块14包括：滤波单元141和生成单元142。

滤波单元141，用于根据深度系数对第二深度图像中待生成像素点进行双边滤波处理，以将获得待生成像素点的深度值。

生成单元142，用于根据待生成像素点的深度值生成第二深度图像。

可选地，该深度图像生成装置中还包括：计算模块24和深度值调整模块25。

计算模块24，用于计算第二深度图像中第二预设区域包含的像素点深度值的方差。

深度值调整模块25，用于若方差小于预设阈值，则根据第二预设区域的参考深度值调整第二预设区域内各个像素点的深度值。

图5所示装置可以执行图3所示实施例的方法，本实施例未详细描述的部分，可参考对图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图3所示实施例中的描述，在此不再赘述。

以上描述了深度图像生成装置的内部功能和结构，在一个可能的设计中，深度图像生成装置的结构可实现为一电子设备，根据应用场景的不同，此电子设备可以是不同的形态，例如机器人、终端设备等。图6为本发明实施例提供的电子设备实施例一的结构示意图，如图6所示，该电子设备包括：存储器31，以及与存储器连接的处理器32，存储器31用于存储电子设备执行上述任一实施例中提供的深度图像生成方法的程序，处理器32被配置为用于执行存储器31中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器32执行时能够实现如下步骤：

获取包含相同景物的第一颜色图像与第一深度图像，其中，第一颜色图像的分辨率高于第一深度图像的分辨率；

根据第一颜色图像中至少一个第一预设区域各自包含的参考像素点以及非参考像素点之间的相似度，对至少一个第一预设区域各自包含的参考像素点以及非参考像素点进行分类，其中，位于第一预设区域中心的像素点为参考像素点，剩余像素点为非参考像素点；

根据在同一第一预设区域内且属于同一类别的参考像素点与非参考像素点确定至少一个第一预设区域各自包含的参考像素点在第一深度图像中对应的目标像素点，其中，任一第一预设区域包含的参考像素点以及非参考像素点在第一深度图像中均存在具有预设对应关系的像素点；

将目标像素点的深度值确定为第二深度图像中待生成像素点的深度系数，结合深度系数生成第二深度图像，其中，待生成像素点在第二深度图像中的位置与参考像素点在第一颜色图像中的位置相同，且第二深度图像与第一颜色图像具有相同的分辨率。

可选地，处理器32还用于执行前述各方法步骤中的全部或部分步骤。

其中，电子设备的结构中还可以包括通信接口33，用于电子设备与其他设备或通信网络通信。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以产品的形式体现出来，该计算机产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种深度图像生成方法，其特征在于，包括：

获取包含相同景物的第一颜色图像与第一深度图像，其中，所述第一颜色图像的分辨率高于所述第一深度图像的分辨率；

根据所述第一颜色图像中至少一个第一预设区域各自包含的参考像素点以及非参考像素点之间的相似度，对所述至少一个第一预设区域各自包含的参考像素点以及非参考像素点进行分类，其中，位于第一预设区域中心的像素点为参考像素点，剩余像素点为非参考像素点；

根据在同一第一预设区域内且属于同一类别的参考像素点与非参考像素点确定所述至少一个第一预设区域各自包含的参考像素点在所述第一深度图像中对应的目标像素点，其中，任一第一预设区域包含的参考像素点以及非参考像素点在所述第一深度图像中均存在具有预设对应关系的像素点；

将所述目标像素点的深度值确定为第二深度图像中待生成像素点的深度系数，结合所述深度系数生成第二深度图像，其中，所述待生成像素点在所述第二深度图像中的位置与所述参考像素点在第一颜色图像中的位置相同，且所述第二深度图像与所述第一颜色图像具有相同的分辨率。

2.根据权利要求1所述的方法，其特征在于，在所述将所述目标像素点的深度值确定为第二深度图像中待生成像素点的深度系数，结合所述深度系数生成第二深度图像之后，所述方法还包括：

计算所述第二深度图像中第二预设区域包含的像素点深度值的方差；

若所述方差小于预设阈值，则根据所述第二预设区域的参考深度值调整所述第二预设区域内各个像素点的深度值。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一颜色图像中至少一个第一预设区域各自包含的参考像素点以及非参考像素点之间的相似度，对所述至少一个第一预设区域各自包含的参考像素点以及非参考像素点进行分类，包括：

针对任一第一预设区域，计算所述任一第一预设区域内参考像素点与非参考像素点之间颜色的相似度值，以分别将最大相似度值对应的非参考像素点以及最小相似度值对应的非参考像素点划分为第一类像素点以及第二类像素点；

分别计算剩余相似度值与所述最大相似度值以及所述最小相似度值之间的相似度差值，以得到第一差值以及第二差值；

根据所述第一差值以及所述第二差值的大小关系对所述剩余相似度值对应的非参考像素点进行分类；

根据所述非参考像素点的类别确定所述参考像素点的类别。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一差值以及所述第二差值的大小关系对所述剩余相似度值对应的非参考像素点进行分类，包括：

若第一差值小于第二差值，则将剩余相似度值对应的非参考像素点划分为第一类像素点；

若第一差值大于第二差值，则将剩余相似度值对应的非参考像素点划分为第二类像素点。

5.根据权利要求4所述的方法，其特征在于，所述根据所述非参考像素点的类别确定所述参考像素点的类别，包括：

分别计算属于同一类别的非参考像素点的平均颜色值；

计算所述参考像素点的颜色值与所述平均颜色值之间的相似度值；

将所述参考像素点与具有最高相似度值的平均颜色值对应的非参考像素点划分为同一类别。

6.根据权利要求1所述的方法，其特征在于，所述将所述目标像素点的深度值确定为第二深度图像中待生成像素点的深度系数，结合所述深度系数生成第二深度图像，包括：

根据所述深度系数对所述第二深度图像中所述待生成像素点进行双边滤波处理，以将获得所述待生成像素点的深度值；

根据所述待生成像素点的深度值生成第二深度图像。

7.根据权利要求1所述的方法，其特征在于，在所述获取第一颜色图像与第一深度图像之前，所述方法还包括：

获取RGB颜色空间下的原始颜色图像；

调整所述原始颜色图像的分辨率至与所述第二深度图像的分辨率相同；

根据所述RGB颜色空间与CIELAB颜色空间之间的预设转换关系，将调整后的原始颜色图像转换为在CIELAB颜色空间下的所述第一颜色图像。

8.一种深度图像生成装置，其特征在于，包括：

第一获取模块，用于获取包含相同景物的第一颜色图像与第一深度图像，其中，所述第一颜色图像的分辨率高于所述第一深度图像的分辨率；

分类模块，用于根据所述第一颜色图像中至少一个第一预设区域各自包含的参考像素点以及非参考像素点之间的相似度，对所述至少一个第一预设区域各自包含的参考像素点以及非参考像素点进行分类，其中，位于第一预设区域中心的像素点为参考像素点，剩余像素点为非参考像素点；

像素点确定模块，用于根据在同一第一预设区域内且属于同一类别的参考像素点与非参考像素点确定所述至少一个第一预设区域各自包含的参考像素点在所述第一深度图像中对应的目标像素点，其中，任一第一预设区域包含的参考像素点以及非参考像素点在所述第一深度图像中均存在具有预设对应关系的像素点；

生成模块，用于将所述目标像素点的深度值确定为第二深度图像中待生成像素点的深度系数，结合所述深度系数生成第二深度图像，其中，所述待生成像素点在所述第二深度图像中的位置与所述参考像素点在第一颜色图像中的位置相同，且所述第二深度图像与所述第一颜色图像具有相同的分辨率。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

计算模块，用于计算所述第二深度图像中第二预设区域包含的像素点深度值的方差；

深度值调整模块，用于若所述方差小于预设阈值，则根据所述第二预设区域的参考深度值调整所述第二预设区域内各个像素点的深度值。

10.一种电子设备，其特征在于，包括：存储器，以及与所述存储器连接的处理器；

所述存储器，用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理器调用执行；

所述处理器，用于执行所述一条或多条计算机指令以实现权利要求1至7中任一项所述的方法。