CN108986156B - 深度图处理方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种深度图处理方法及装置，该深度图处理方法及装置应用于终端，该方法包括获取原始深度图，进而获取所述原始深度图中主体的主体轮廓，根据所述主体轮廓对所述原始深度图进行处理得到第一深度图，将所述第一深度图与原始深度图进行匹配，得到匹配结果，并根据所述匹配结果对所述第一深度图进行处理。通过本方案的处理方法使得最后得到的深度图像在保证边界清楚的情况下，内部平滑，使得深度图具有更好的展示效果。

Description

深度图处理方法及装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种深度图处理方法及装置。

背景技术

在图像增强过程中，通常利用各类图像平滑算法消除噪声，图像的常见噪声主要有加性噪声、乘性噪声和量化噪声等。一般来说，图像的能量主要集中在其低频部分，噪声所在的频段主要在高频段，同时图像边缘信息也主要集中在其高频部分。这将导致原始图像在平滑处理之后，图像边缘和图像轮廓模糊的情况出现。为了减少这类不利效果的影响，就需要利用图像锐化技术，使图像的边缘变得清晰。图像锐化的处理方法通常包括：梯度法、拉普拉斯算法、Robert算法，采用微分运算求信号变化率，加强高频分量，使图象轮廓清晰。现有技术中，锐化的依据是图像本身的梯度信息，基本与图像内容无关，因此不能分清锐化部分是否是图像中主体的边界，不能保持主体边界的锐利同时主体内部比较平滑。

发明内容

本发明的目的在于提供一种深度图处理方法，以实现对深度图处理后，使得主体轮廓边界清晰，同时深度图内部纹理平滑。

本发明的另一目的在于提供一种深度图处理装置，以实现对深度图处理后，使得主体轮廓边界清晰，同时深度图内部纹理平滑。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种深度图处理方法，应用于终端，所述方法包括：获取原始深度图；获取所述原始深度图中主体的主体轮廓；根据所述主体轮廓对所述原始深度图进行处理得到第一深度图；将所述第一深度图与所述原始深度图进行匹配，得到匹配结果，并根据匹配结果对所述第一深度图进行处理。

第二方面，本发明实施例还提供了一种深度图处理装置，应用于终端，所述装置包括：第一获取模块，用于获取原始深度图；第二获取模块，用于获取所述原始深度图中主体的主体轮廓；处理模块，用于根据所述主体轮廓对所述原始深度图进行处理得到第一深度图；匹配模块，用于将所述第一深度图与所述原始深度图进行匹配，得到匹配结果，并根据所述匹配结果对所述第一深度图进行处理。

本发明实施例提供的一种深度图处理方法及装置，该深度图处理方法及装置应用于终端，该方法包括获取原始深度图，进而获取所述原始深度图中主体的主体轮廓，根据所述主体轮廓对所述原始深度图进行处理得到第一深度图，将所述第一深度图与原始深度图进行匹配，得到匹配结果，并根据所述匹配结果对所述第一深度图进行处理。通过本方案的处理方法使得最后得到的深度图像在保证边界清楚的情况下，内部平滑，使得深度图具有更好的展示效果。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的一种深度图处理方法的流程示意图。

图2示出了本发明实施例提供的一种原始深度图的示意图。

图3示出了本发明实施例提供的一种深度图处理方法的子步骤的流程示意图。

图4示出了本发明实施例提供的一种二值图像的示意图。

图5示出了本发明实施例提供的一种深度图处理方法的另一子步骤的流程示意图。

图6示出了本发明实施例提供的第一深度图中主体轮廓部分的示意图。

图7示出了本发明实施例提供的一种深度图处理方法的另一子步骤的流程示意图。

图8示出了本发明实施例提供的一种深度图处理装置的功能模块示意图。

图示：100-深度图处理装置；110-第一获取模块；120-第二获取模块；130-处理模块；140-匹配模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在图像处理技术领域，通常需要对图像进行处理。如图像可能包括多种噪声，该噪声可能是加性噪声、乘性噪声和量化噪声，该多种噪声所在的频段主要在高频段，同时图像边缘信息也主要集中在其高频部分，若直接使用平滑算法对图像进行处理后，虽然去除了图像中的噪声，但也导致图像的边缘或轮廓变得模糊。若进一步利用图像锐化技术，使得图像的边缘或轮廓变得清楚，却由于图像锐化技术不能区分图像的边缘或轮廓，使得对图像锐化时，可能导致图像的内部也变得锐利，不再平滑。因此，在现有技术中，图像处理技术不能很好地保证图像内部平滑的同时，图像的轮廓或边缘也清楚，基于此，本发明实施例提供一种深度图处理方法，以实现对深度图处理后，保证深度图边缘被锐化的同时，不影响深度图内部的纹理，即保证深度图内部的平滑，以提高深度图的处理效果。

请参照图1，是本发明实施例提供的一种深度图处理方法的流程示意图，该深度图处理方法应用于终端，该终端可以是，但不限于，平板电脑、台式电脑等智能电子设备，该方法包括：

步骤S110，获取原始深度图。

该原始深度图为包括主体及主体所在背景的深度图，其中，主体可以为，但不限于，人像或物体。请参照图2，是本发明实施例提供的一种原始深度图的示意图，该原始深度图中包含了人像及其人像所在的背景。

步骤S120，获取所述原始深度图中主体的主体轮廓。

即获取原始深度图中人像或物体的轮廓，请参照图3，是本发明实施例提供的一种深度图处理方法的步骤S120的子步骤的流程示意图，该步骤S120包括：

步骤S121，在所述原始深度图中识别主体区域，并对所述主体区域进行裁剪得到主体区域图像。

本发明实施例中，以原始深度图中包含的主体为人像为例进行说明。采用深度学习的方式对所述原始深度图进行人脸识别，得到人像，并对人像所在的区域进行裁剪得到人像区域图像。

步骤S122，对所述主体区域图像进行二值化处理得到二值图像。

采用深度学习模型的卷积神经网络为判断核对人像区域图像进行二值化处理得到二值图像，具体地，该二值图像为黑白图像，其中，表征白色的像素的深度值为1，表征黑色的像素的深度值为0，且白色表示该人像区域图像的人像部分，黑色表示该人像区域图像的背景部分。如图4所示，是本发明实施例提供的一种二值图像的示意图。

步骤S123，将所述二值图像还原成所述原始深度图中对应的主体大小，得到主体轮廓。

由于二值图像是由采集的人像区域图像处理后得到，该人像区域图像为从原始深度图中截取获得，其在处理为二值图像的过程中尺寸并不与最初截取时相同，而是有所放大。因此，将二值图像还原成与原始深度图中人像区域图像一致的大小，该缩小后的二值图像即为主体轮廓。

步骤S130，根据所述主体轮廓对所述原始深度图进行处理得到第一深度图。

请参照图5，是本发明实施例提供的一种深度图处理方法的步骤S130的子步骤的流程示意图，该步骤S130包括：

步骤S131，统计所述原始深度图中与所述主体轮廓中第一深度值对应位置的像素的第一深度值均值。

首先，统计原始深度图中与所述主体轮廓中第一深度值对应位置的所有像素的深度值，该主体轮廓中的第一深度值为主体轮廓中人像轮廓对应的深度值，即白色部分，此时，第一深度值为1；即首先统计原始深度图中与所述主体轮廓的人像轮廓对应位置的所有像素的深度值，并根据所有像素的深度值计算深度值均值。

步骤S132，对所述原始深度图进行滤波后得到第二深度图。

即以主体轮廓为结构特征图(引导图像)，对原始深度图进行结构传递滤波，得到第二深度图。第二深度图相对于原始深度图边缘更加清晰。

步骤S133，统计所述第二深度图中与所述主体轮廓中第一深度值对应位置的像素的第二深度值均值。

首先，统计第二深度图中对应于主体轮廓的人像轮廓部分的所有像素的深度值，其中，所述主体轮廓的第一深度值为主体轮廓中人像轮廓对应的像素的深度值，即是第一深度值为1。然后，根据所有像素的深度值得到深度值均值，即第二深度值均值。

步骤S134，根据所述第一深度均值和第二深度均值对所述第二深度图进行处理后得到第一深度图。

将第二深度图中对应于主体轮廓的位置的每个像素的深度值减去第二深度均值后加上第一深度值均值，得到第一深度图，如图6所示，是本发明实施例提供的第一深度图中主体轮廓部分的示意图。通过对第二深度图采用这种方式处理后，使得得到的第一深度图与原始深度图的差异更小。

步骤S140，将所述第一深度图与所述原始深度图进行匹配，得到匹配结果，并根据所述匹配结果对所述第一深度图进行处理。

之前的处理均是对原始深度图中主体轮廓的人像轮廓(白色部分)进行处理，使得人像轮廓更加清晰，但是对于原始深度图中其他像素点(表征背景的像素点)还未处理，或表征人像轮廓的像素点还有错误的情况，因此，为了保证第一深度图中的人像轮廓更加清晰，需对第一深度图进行进一步处理。请参照图7，是本发明实施例提供的一种深度图处理方法的步骤S140的子步骤的流程示意图，该步骤S140包括：

步骤S141，统计所述第一深度图中每一个像素的深度值与所述原始深度图中对应像素的深度值的深度值绝对差。

具体通过算法δ_ij＝|D_ij-D'_ij|实现，其中，δ_ij为第i行、第j个像素的深度值绝对差，D_ij为原始深度图中第i行、第j个像素的深度值，D'_ij为第一深度图中第i行、第j个像素的深度值。

步骤S142，根据所述深度值绝对差调整所述第一深度图中的像素的深度值。

若其中某个像素的深度值绝对差大于预设阈值且该像素对应的主体轮廓的上的像素的深度值为第二值，该第二值为0，即表征黑色，表明该像素是属于背景的像素，该像素不应该经过处理被改变深度值，则将第一深度图中该像素的深度值调整为原始深度图中的对应像素的深度值。通过该方式对第一深度图中每一个像素进行核查，以更好地区分第一深度图中的像素属于背景还是属于人像轮廓，从而保证第一深度图中主体轮廓清晰，不会和背景混淆，以至于模糊不清。需要说明的是，该预设阈值根据主体轮廓中人像区域的深度值和背景的深度值之间的深度差值进行设置，其深度差值越大，则该预设阈值越大。

请参照图8，是本发明实施例提供的一种深度图处理装置100的功能模块示意图，该深度图处理装置100应用于终端，该深度图处理装置100包括第一获取模块110、第二获取模块120、处理模块130以及匹配模块140，其中，

第一获取模块110，用于获取原始深度图。

在本发明实施例中，步骤S110可以由第一获取模块110执行。

第二获取模块120，用于获取所述原始深度图中主体的主体轮廓。

在本发明实施例中，步骤S120～S123可以由第二获取模块120执行。

处理模块130，用于根据所述主体轮廓对所述原始深度图进行处理得到第一深度图。

在本发明实施例中，步骤S130～S134可以由处理模块130执行。

匹配模块140，用于将所述第一深度图与所述原始深度图进行匹配，得到匹配结果，并根据所述匹配结果对所述第一深度图进行处理。

在本发明实施例中，步骤S140～S142可以由匹配模块140执行。

由于在深度图处理方法部分已经详细描述，在此不再赘述。

综上所述，本发明实施例提供的一种深度图处理方法及装置，该深度图处理方法及装置应用于终端，该方法包括获取原始深度图，进而获取所述原始深度图中主体的主体轮廓，根据所述主体轮廓对所述原始深度图进行处理得到第一深度图，将所述第一深度图与原始深度图进行匹配，得到匹配结果，并根据所述匹配结果对所述第一深度图进行处理。通过本方案的处理方法使得最后得到的深度图像在保证边界清楚的情况下，内部平滑，使得深度图具有更好的展示效果。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (4)

1.一种深度图处理方法，应用于终端，其特征在于，所述方法包括：

获取原始深度图；

获取所述原始深度图中主体的主体轮廓，所述主体轮廓包括轮廓所围成的区域；

统计所述原始深度图中与所述主体轮廓中第一深度值对应位置的像素的第一深度值均值；

对所述原始深度图进行滤波后得到第二深度图；

统计所述第二深度图中与所述主体轮廓中第一深度值对应位置的像素的第二深度值均值；

根据所述第一深度值均值和第二深度值均值对所述第二深度图进行处理后得到第一深度图；

将所述第一深度图与所述原始深度图进行匹配，得到匹配结果，并根据匹配结果对所述第一深度图进行处理；

所述根据所述第一深度均值和第二深度均值对所述第二深度图进行处理后得到第一深度图的步骤包括：

将所述第二深度图中对应于所述主体轮廓的位置的每个像素的深度值减去第二深度均值后再加上第一深度均值，得到第一深度图；

所述将所述第一深度图与所述原始深度图进行匹配，得到匹配结果，并根据匹配结果对所述第一深度图进行处理的步骤包括：

统计所述第一深度图中每一个像素的深度值与所述原始深度图中对应像素的深度值的深度值绝对差；

若存在所述深度值绝对差大于预设阈值的像素且所述深度值绝对差大于预设阈值的像素对应的所述主体轮廓的像素的深度值为第二值，则将所述第一深度图中所述深度值绝对差大于预设阈值的像素的深度值调整为所述原始深度图的对应像素的深度值。

2.如权利要求1所述的深度图处理方法，其特征在于，所述对所述原始深度图进行滤波后得到第二深度图的步骤包括：

以所述主体轮廓为结构特征图，并根据所述主体轮廓对所述原始深度图进行结构传递滤波，得到第二深度图。

3.如权利要求1所述的深度图处理方法，其特征在于，所述获取所述原始深度图中主体的主体轮廓的步骤包括：

在所述原始深度图中识别主体区域，并对所述主体区域进行裁剪得到主体区域图像；

对所述主体区域图像进行二值化处理得到二值图像；

将所述二值图像还原成所述原始深度图中对应的主体大小，得到主体轮廓。

4.一种深度图处理装置，应用于终端，其特征在于，所述装置包括：第一获取模块，用于获取原始深度图；

第二获取模块，用于获取所述原始深度图中主体的主体轮廓，所述主体轮廓包括轮廓所围成的区域；

处理模块，用于统计所述原始深度图中与所述主体轮廓中第一深度值对应位置的像素的第一深度值均值；对所述原始深度图进行滤波后得到第二深度图；统计所述第二深度图中与所述主体轮廓中第一深度值对应位置的像素的第二深度值均值；根据所述第一深度值均值和第二深度值均值对所述第二深度图进行处理后得到第一深度图；

所述处理模块执行根据所述第一深度值均值和第二深度值均值对所述第二深度图进行处理后得到第一深度图的方式，包括：

将所述第二深度图中对应于所述主体轮廓的位置的每个像素的深度值减去第二深度均值后再加上第一深度均值，得到第一深度图；

匹配模块，用于将所述第一深度图与所述原始深度图进行匹配，得到匹配结果，并根据所述匹配结果对所述第一深度图进行处理；

所述匹配模块还用于：

统计所述第一深度图中每一个像素的深度值与所述原始深度图中对应像素的深度值的深度值绝对差；

若存在所述深度值绝对差大于预设阈值的像素且所述深度值绝对差大于预设阈值的像素对应的所述主体轮廓的像素的深度值为第二值，则将所述第一深度图中所述深度值绝对差大于预设阈值的像素的深度值调整为所述原始深度图的对应像素的深度值。

Images