CN106341676A - 基于超像素的深度图像预处理和深度空洞填充方法 - Google Patents

Abstract

本发明公开了基于超像素的深度图像预处理和深度空洞填充方法，包括以下步骤：步骤一：待处理的深度图像的超像素分割：对于该待处理的深度图像对应的彩色图像进行超像素分割，然后利用彩色图像的分割结果对该待处理的深度图像进行分割；步骤二：基于超像素的深度图像预处理；步骤三：虚拟视点深度图像超像素分割：利用待处理的深度图像对应的彩色图像和预处理后的深度图像进行三维变换，生成虚拟视点初始彩色图像和虚拟视点初始深度图像，对虚拟视点初始深度图像进行超像素分割；步骤四：虚拟视点深度图像填充。本发明采用基于超像素的深度图像预处理和基于超像素的深度空洞处理，空洞填充准确性较高，计算量较小，有利于视点合成的实时实现。

Description

基于超像素的深度图像预处理和深度空洞填充方法

技术领域

本发明涉及图像处理技术领域，具体涉及基于超像素的深度图像预处理和深度空洞填充方法。

背景技术

随着多媒体技术的快速发展，立体图像和立体视频系统的研究引起越来越多研究者的关注。与传统的二维图像和二维视频相比，立体图像和立体视频为使用者带来更加身临其境的感觉。立体视频系统的核心问题是为使用者左眼和右眼提供存在一定视差的立体图像对。例如，作为两种最常见的立体视频系统，立体电视(Three DimensionalTelevision,3DTV)和自由视点电视(Free-Viewpoint Television,FTV)的播放端通常需要播放若干特定视点或者任意视点的立体视频对。但是由于视频采集成本和传输成本的限制，立体视频系统不可能采集过多视点的视频。因此，立体视频系统中的一个关键问题就是如何利用已有的真实视点视频合成虚拟视点视频。当前立体视频系统中通常将参考视点的彩色视频和其对应的深度图像传输至视频播放端，然后采用基于深度图像渲染(DepthImage-Based Rendering,DIBR)的视点合成方法生成虚拟视点图像。

基于深度图像的虚拟视点合成中，深度图像通常利用深度采集设备直接获取或者利用立体匹配算法计算得到，而利用这些方法得到的立体视频图像中通常存在部分像素深度信息缺失的现象，因此，视点合成中首先需要对深度图像进行预处理。利用彩色图像和预处理后的深度图像进行三维变换，生成虚拟视点的彩色图像和深度图像，但是由于前景物体的遮挡问题，在虚拟视点的彩色图像和深度图像前景物体边缘部分通常会存在空洞区域，在视点合成中需要对虚拟视点深度图像中的空洞区域进行填充，然后再利用处理好的虚拟视点深度图像对虚拟视点彩色图像中的空洞区域进行处理。

由此可见，在基于深度信息的虚拟视点合成中深度图像预处理和深度空洞填充具有重要的作用，直接影响视点合成彩色图像的视觉质量。当前的视点合成算法中，通常采用基于滤波器的方法首先对深度图像进行处理，而这种处理方式通常会在一定程度上造成物体边缘深度信息失真；另外，虽然当前的研究提出了多种深度图像空洞填充方法，但在空洞填充准确性方面仍存在一定问题，并且当前的深度填充方法计算复杂度较大，不利于视点合成的实时实现。

发明内容

为解决现有技术存在的不足，本发明公开了基于超像素的深度图像预处理和深度空洞填充方法，本发明的目的是利用基于超像素的深度图像预处理和基于超像素的深度空洞处理技术实现彩色图像的填充。

为实现上述目的，本发明的具体方案如下：

基于超像素的深度图像预处理和深度空洞填充方法，包括以下步骤：

步骤一：待处理的深度图像的超像素分割：对于该待处理的深度图像对应的彩色图像进行超像素分割，然后利用彩色图像的分割结果对该待处理的深度图像进行分割；

步骤二：基于超像素的深度图像预处理：将步骤一中分割后的深度图像找出所有包含深度信息缺失像素的超像素并恢复缺失的深度信息；

步骤三：虚拟视点深度图像超像素分割：利用待处理的深度图像对应的彩色图像和预处理后的深度图像进行三维变换，生成虚拟视点初始彩色图像和虚拟视点初始深度图像，对虚拟视点初始深度图像进行超像素分割；

步骤四：虚拟视点深度图像填充：找出步骤三中虚拟视点初始深度图像中所有包含空洞区域的超像素并对空洞区域进行填充。

进一步的，在利用彩色图像的分割结果对该待处理的深度图像进行分割时，首先对彩色图像进行超像素分割，得到彩色图像中每个超像素的超像素标签；

利用到彩色图像中每个超像素的超像素标签，对深度图像进行超像素分割，将深度图像分割为和彩色图像超像素相同的超像素。

进一步的，基于超像素的深度图像预处理时，具体包括：

统计深度图像的超像素中有效像素集合；

根据深度图像的超像素中有效像素集合对深度图像的超像素进行分类；

根据深度图像的超像素类别恢复深度缺失像素的深度值。

进一步的，统计深度图像的超像素中有效像素集合时，假设S_d是目标深度图像的超像素，S_c是其对应的彩色图像的超像素，M是S_d中深度缺失像素的集合，即无效像素的集合，那么S_d中有效像素的集合为V＝S_d-M，定义|S_d|表示S_d中像素的个数，|V|表示S_d中有效像素的个数。

进一步的，根据深度图像的超像素中有效像素集合对深度图像的超像素进行分类，具体如下：

如果|V|＝|S_d|，则表示S_d内像素全部为有效像素，那么该超像素无需预处理；

如果0＜|V|＜|S_d|，则表示S_d内部分像素为无效像素，需要通过预处理方法恢复M中像素的深度值；

如果|V|＝0，则表示S_d内所有像素均为无效像素，需要通过预处理方法恢复S_d内所有像素的深度值。

进一步的，根据深度图像的超像素类别恢复深度缺失像素的深度值时，S_d内部分像素为无效像素时，恢复M中像素的深度值的方法为：

计算有效像素集合V中所有像素深度值的方差σ_V；

若σ_V＜t，t为经验阈值，则判定V中所有像素属于同一深度层次，即这些像素位于同一物体，将M中所有无效像素的深度值赋值为V中出现频率最高的深度值；

若σ_V＜t，则判定V中像素属于不同的深度层次，那么利用k-means聚类将V中像素按照深度值的大小分为两类：V₁和V₂；

假设V₁中像素的平均深度值小于V₂中像素的平均深度值，将M中所有无效像素的深度值赋值为V₁中出现频率最高的深度值。

进一步的，根据深度图像的超像素类别恢复深度缺失像素的深度值时，S_d内所有像素均为无效像素，恢复S_d内所有像素的深度值的方法为：

统计所有与S_d相邻且全部像素为有效像素的超像素，定义这些像素组成的集合为为中深度超像素对应的彩色超像素；

利用基于LAB颜色空间的超像素相似度计算方法从中找出与S_c相似度最高的超像素R_c，R_d为R_c对应的深度超像素；

计算R_d中所有像素深度值的方差σ_R；若σ_R＜t，t为经验阈值，则判定R_d中所有像素属于同一深度层次，将M中所有无效像素的深度值赋值为R_d中出现频率最高的深度值；

若σ_R＞＝t，t为经验阈值，则判定R_d中像素属于不同的深度层次，那么利用k-means聚类将R_d中像素按照深度值的大小分为两类：R_d1和R_d2；假设R_d1中像素的平均深度值小于R_d2中像素的平均深度值，将M中无效像素的深度值赋值为R_d1中出现频率最高的深度值。

进一步的，对虚拟视点初始深度图像进行超像素分割时，利用SLIC算法对虚拟视点初始深度图像进行超像素分割，得到虚拟视点初始深度图像的深度超像素。

进一步的，虚拟视点深度图像填充时，具体包括：

统计虚拟视点初始深度图像超像素中有效像素集合；

根据有效像素集合对虚拟视点初始深度图像的超像素进行分类；

根据虚拟视点初始深度图像中超像素的分类，进行空洞的填充。

进一步的，虚拟视点深度图像填充时，以超像素为单位对虚拟视点初始深度图像进行空洞区域填充，假设D是包含空洞区域的超像素，D中非空洞部分为

若D中只有部分像素点属于空洞区域，则D中的空洞区域采用中出现概率最高的深度值进行填充；

若D中的像素全部都属于空洞区域，假设为与D相邻的不含空洞区域的超像素的集合，则利用集合中平均深度值最小的超像素D_min中出现频率最高的深度值对D中的空洞区域进行填充。

本发明的有益效果：

本发明采用基于超像素的深度图像预处理和基于超像素的深度空洞处理，空洞填充准确性较高，计算量较小，有利于视点合成的实时实现。

本发明以超像素为基本单位进行深度图像预处理和深度空洞处理。首先，充分利用了同一超像素内部像素点属于同一物体这一特性，解决了传统的以像素为单位的深度图像预处理方法和深度空洞填充方法造成的深度不一致问题，图像预处理和空洞填充更加准确；其次，传统的以像素为单位的深度图像预处理方法和深度空洞填充方法，在周围一个较大的区域中选取深度候选值，而本发明方法中将候选值的区域限制在一个超像素内，更加准确；另外，本发明采用的超像素分割算法、k-means聚类算法、超像素相似度计算方法，以及本发明提出的方法中的深度超像素分类、深度值选取、深度填充和恢复计算量均比较小；最后，本发明的内容是视点合成算法中的两个重要步骤，可以用在任何基于深度图像的视点合成算法中，和任何基于深度图像的视点合成算法相结合。

附图说明

图1：本发明的深度图像预处理和深度空洞填充方法的视点合成总体框图

图2(a)：彩色图像超像素分割；

图2(b)：深度图像超像素分割；

图3(a)：预处理前的深度图像；

图3(b)预处理后的深度图像；

图4(a)：虚拟视点初始彩色图像；

图4(b)虚拟视点初始深度图像；

图5(a)：部分像素为空洞区域的超像素；

图5(b)部分像素为空洞区域的超像素填充效果；

图5(c)全部像素为空洞区域的超像素；

图5(d)全部像素为空洞区域的超像素填充效果。

具体实施方式：

下面结合附图对本发明进行详细说明：

本发明提出了一种虚拟视点合成中基于超像素的深度图像预处理和深度空洞填充方法。利用超像素算法对需要预处理的深度图像对应的彩色图像进行分割，将彩色图像分割成超像素；根据彩色图像中的超像素对深度图像进行分割，将深度图像分割成深度超像素，并对深度超像素进行分类；然后，利用深度信息和彩色信息对深度信息缺失的像素点进行处理；对彩色图像和深度图像进行三维变换，得到存在空洞区域的虚拟视点初始彩色图像和虚拟视点初始深度图像；最后，将虚拟视点初始深度图像进行超像素分割，利用分割得到的超像素块进行空洞区域的填充。如图1为视点合成总体框图，虚线框图内部分即为本发明内容，即基于超像素的深度图像预处理和基于超像素的深度空洞填充过程。

图1中是结合虚拟视点合成算法展示本发明提出的深度图像预处理方法和深度空洞填充方法。图中所示的左右视点图像只是视点合成方法中的一种，也可以在基于单视点的视点合成中采用本发明的方法。图1中左右视点图像处理是同时进行的；三维变换后两个视点的图像分别生成包含空洞区域的虚拟视点图像；这两个虚拟视点的图像叠加的方法是虚拟视点合成现有技术(如果相同像素点位置两个虚拟视点图像都有像素值，则取平均；如果相同像素点位置只有一个虚拟视点图像具有像素值，则取该像素值；如果都没有像素值，则该像素点叠加后为空洞像素点，利用本发明方法进行空洞填充)，当然现有虚拟视点合成算法中叠加方式有多种；左视点深度图像是左视点彩色图像对应的深度图，即左视点深度图中每个像素的值代表了左视点彩色图像中相同像素位置彩色像素的深度信息。

一种虚拟视点合成中基于超像素的深度图像预处理和深度空洞填充方法，具体步骤如下：

(1)基于彩色信息的深度图像超像素分割。利用简单线性迭代聚类(SimpleLinear Iterative Clustering,SLIC)(注：SLIC为现有常用的超像素分割算法)算法对彩色图像进行超像素分割，如图2(a)所示；根据超像素分割结果得到彩色图像中每个像素的超像素标签，利用每个像素的超像素标签对彩色图像对应的深度图像进行图像分割，将深度图像分割成和彩色图像完全相同的超像素如图2(b)所示。

(2)基于超像素的深度图像预处理。以超像素为基本处理单位，对深度图像进行预处理，找出深度图像中所有包含深度信息缺失像素的超像素，对这些超像素进行分类，分别采用不同的方法进行处理，恢复缺失的深度信息。

具体的：假设S_d是目标深度图像超像素，S_c是其对应的彩色图像超像素，M是S_d中深度缺失像素的集合，即无效像素的集合，那么S_d中有效像素的集合为V＝S_d-M。定义|S_d|表示S_d中像素的个数，|V|表示S_d中有效像素的个数。

如果|V|＝|S_d|，则表示S_d内像素全部为有效像素，那么该超像素无需预处理。

如果0＜|V|＜|S_d|，则表示S_d内部分像素为无效像素，需要通过预处理方法恢复M中像素的深度值：首先，计算有效像素集合V中所有像素深度值的方差σ_V；若σ_V＜t(t为经验阈值，取t＝10)，则判定V中所有像素属于同一深度层次，即这些像素位于同一物体，那么我们将M中所有无效像素的深度值赋值为V中出现频率最高的深度值；若σ_V＞＝t(t为经验阈值，取t＝10)，则判定V中像素属于不同的深度层次，那么利用k-means聚类(k＝2)将V中像素按照深度值的大小分为两类：V₁和V₂；假设V₁中像素的平均深度值小于V₂中像素的平均深度值，那么我们将M中所有无效像素的深度值赋值为V₁中出现频率最高的深度值。

如果|V|＝0，则表示S_d内所有像素均为无效像素，需要通过预处理方法恢复S_d内所有像素的深度值：首先，统计所有与S_d相邻且全部像素为有效像素的超像素，定义这些像素组成的集合为为中深度超像素对应的彩色超像素；然后，利用基于LAB颜色空间的超像素相似度计算方法(注：该超像素相似度计算方法为现有方法)从中找出与S_c相似度最高的超像素R_c，R_d为R_c对应的深度超像素；计算R_d中所有像素深度值的方差σ_R；若σ_R＜t(t为经验阈值，取t＝10)，则判定R_d中所有像素属于同一深度层次，那么我们将M中所有无效像素的深度值赋值为R_d中出现频率最高的深度值；若σ_R＞＝t(t为经验阈值，取t＝10)，则判定R_d中像素属于不同的深度层次，那么利用k-means聚类(k＝2)将R_d中像素按照深度值的大小分为两类：R_d1和R_d2；假设R_d1中像素的平均深度值小于R_d2中像素的平均深度值，那么我们将M中无效像素的深度值赋值为R_d1中出现频率最高的深度值。

图3(a)和图3(b)分别为预处理前和预处理后的深度图像。

(3)虚拟视点深度图像超像素分割。利用彩色图像和预处理后的深度图像进行三维变换(注：三维变换为现有技术)，得到虚拟视点初始彩色图像和虚拟视点初始深度图像，由于遮挡原因，虚拟视点初始彩色图像和虚拟视点初始深度图像存在相同的空洞区域，如图4(a)和图4(b)所示；利用简单线性迭代聚类(Simple Linear Iterative Clustering,SLIC)算法将虚拟视点初始深度图像分割成超像素。

(4)虚拟视点深度图像填充。找出虚拟视点深度图像中所有包含空洞区域的超像素，并对这些超像素进行分类，分别采用不同的方法对空洞区域进行填充。

以超像素为单位对虚拟视点初始深度图像进行空洞区域填充，假设D是包含空洞区域的超像素，D中非空洞部分为若D中只有部分像素点属于空洞区域，如图5(a)所示，则D中的空洞区域采用中出现概率最高的深度值进行填充；若D中的像素全部都属于空洞区域，如图5(c)所示，假设为与D相邻的不含空洞区域的超像素的集合，则我们利用集合中平均深度值最小的超像素D_min中出现频率最高的深度值对D中的空洞区域进行填充。图5(a)和5(c)中空洞区域的填充效果分别如图5(b)和5(d)所示。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.基于超像素的深度图像预处理和深度空洞填充方法，其特征是，包括以下步骤：

步骤一：待处理的深度图像的超像素分割：对于该待处理的深度图像对应的彩色图像进行超像素分割，然后利用彩色图像的分割结果对该待处理的深度图像进行分割；

步骤二：基于超像素的深度图像预处理：将步骤一中分割后的深度图像找出所有包含深度信息缺失像素的超像素并恢复缺失的深度信息；

步骤三：虚拟视点深度图像超像素分割：利用待处理的深度图像对应的彩色图像和预处理后的深度图像进行三维变换，生成虚拟视点初始彩色图像和虚拟视点初始深度图像，对虚拟视点初始深度图像进行超像素分割；

步骤四：虚拟视点深度图像填充：找出步骤三中虚拟视点初始深度图像中所有包含空洞区域的超像素并对空洞区域进行填充。

2.如权利要求1所述的基于超像素的深度图像预处理和深度空洞填充方法，其特征是，在利用彩色图像的分割结果对该待处理的深度图像进行分割时，首先对彩色图像进行超像素分割，得到彩色图像中每个超像素的超像素标签；

利用到彩色图像中每个超像素的超像素标签，对深度图像进行超像素分割，将深度图像分割为和彩色图像超像素相同的超像素。

3.如权利要求1所述的基于超像素的深度图像预处理和深度空洞填充方法，其特征是，

基于超像素的深度图像预处理时，具体包括：

统计深度图像的超像素中有效像素集合；

根据深度图像的超像素中有效像素集合对深度图像的超像素进行分类；

根据深度图像的超像素类别恢复深度缺失像素的深度值。

4.如权利要求3所述的基于超像素的深度图像预处理和深度空洞填充方法，其特征是，统计深度图像的超像素中有效像素集合时，假设S_d是目标深度图像的超像素，S_c是其对应的彩色图像的超像素，M是S_d中深度缺失像素的集合，即无效像素的集合，那么S_d中有效像素的集合为V＝S_d-M，定义|S_d|表示S_d中像素的个数，|V|表示S_d中有效像素的个数。

5.如权利要求4所述的基于超像素的深度图像预处理和深度空洞填充方法，其特征是，根据深度图像的超像素中有效像素集合对深度图像的超像素进行分类，具体如下：

如果|V|＝|S_d|，则表示S_d内像素全部为有效像素，那么该超像素无需预处理；

如果0＜|V|＜|S_d|，则表示S_d内部分像素为无效像素，需要通过预处理方法恢复M中像素的深度值；

如果|V|＝0，则表示S_d内所有像素均为无效像素，需要通过预处理方法恢复S_d内所有像素的深度值。

6.如权利要求5所述的基于超像素的深度图像预处理和深度空洞填充方法，其特征是，根据深度图像的超像素类别恢复深度缺失像素的深度值时，S_d内部分像素为无效像素时，恢复M中像素的深度值的方法为：

计算有效像素集合V中所有像素深度值的方差σ_V；

若σ_V＜t，t为经验阈值，则判定V中所有像素属于同一深度层次，即这些像素位于同一物体，将M中所有无效像素的深度值赋值为V中出现频率最高的深度值；

若σ_V＞＝t，则判定V中像素属于不同的深度层次，那么利用k-means聚类将V中像素按照深度值的大小分为两类：V₁和V₂；

假设V₁中像素的平均深度值小于V₂中像素的平均深度值，将M中所有无效像素的深度值赋值为V₁中出现频率最高的深度值。

7.如权利要求3所述的基于超像素的深度图像预处理和深度空洞填充方法，其特征是，根据深度图像的超像素类别恢复深度缺失像素的深度值时，S_d内所有像素均为无效像素，恢复S_d内所有像素的深度值的方法为：

统计所有与S_d相邻且全部像素为有效像素的超像素，定义这些像素组成的集合为为中深度超像素对应的彩色超像素；

利用基于LAB颜色空间的超像素相似度计算方法从中找出与S_c相似度最高的超像素R_c，R_d为R_c对应的深度超像素；

计算R_d中所有像素深度值的方差σ_R；若σ_R＜t，t为经验阈值，则判定R_d中所有像素属于同一深度层次，将M中所有无效像素的深度值赋值为R_d中出现频率最高的深度值；

若σ_R＞＝t，t为经验阈值，则判定R_d中像素属于不同的深度层次，那么利用k-means聚类将R_d中像素按照深度值的大小分为两类：R_d1和R_d2；假设R_d1中像素的平均深度值小于R_d2中像素的平均深度值，将M中无效像素的深度值赋值为R_d1中出现频率最高的深度值。

8.如权利要求1所述的基于超像素的深度图像预处理和深度空洞填充方法，其特征是，对虚拟视点初始深度图像进行超像素分割时，利用SLIC算法对虚拟视点初始深度图像进行超像素分割，得到虚拟视点初始深度图像的深度超像素。

9.如权利要求1所述的基于超像素的深度图像预处理和深度空洞填充方法，其特征是，虚拟视点深度图像填充时，具体包括：

统计虚拟视点初始深度图像超像素中有效像素集合；

根据有效像素集合对虚拟视点初始深度图像的超像素进行分类；

根据虚拟视点初始深度图像中超像素的分类，进行空洞的填充。

10.如权利要求9所述的基于超像素的深度图像预处理和深度空洞填充方法，其特征是，虚拟视点深度图像填充时，以超像素为单位对虚拟视点初始深度图像进行空洞区域填充，假设D是包含空洞区域的超像素，D中非空洞部分为

若D中只有部分像素点属于空洞区域，则D中的空洞区域采用中出现概率最高的深度值进行填充；

若D中的像素全部都属于空洞区域，假设为与D相邻的不含空洞区域的超像素的集合，则利用集合中平均深度值最小的超像素D_min中出现频率最高的深度值对D中的空洞区域进行填充。