CN108596919B - 一种基于深度图的自动图像分割方法 - Google Patents

Abstract

本发明请求保护一种基于深度图的自动图像分割方法。针对GrabCut在图像中存在前背景颜色相近、阴影或低对比度区域时，不能有效分割图片，提出一种改进的GrabCut图像分割算法。本发明在用显著性实现GrabCut自动分割的基础上，融合了深度信息，提高了算法的分割准确度。首先，通过深度信息指导显著信息来初始化GrabCut算法，其次，将深度信息融入算法的能量公式中，最后，用改进的能量公式和超像素构建网络流图，进行最大流/最小割。相对于传统的图割方法，本发明将深度信息有效地结合到了GrabCut自动分割框架中，提高了分割算法的准确性。

Description

一种基于深度图的自动图像分割方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于深度图的自动图像分割方法。

背景技术

图像分割的目的是通过自动或用户交互的方式将图像分成几部分的过程，是图像处理、人机交互等领域的基本问题之一，被广泛的应用于许多领域，来简化后续操作，如对象数据集构建、图像编辑和图像检索等。在众多图像分割方法中，基于图论的分割由于考虑了全局信息、能很好的融合颜色和区域信息、只需要少量的用户交互等优势而倍受关注。传统的图割是指采用用户交互方式手动将某些像素注释为前景对象和背景，并使用Graph-cut来完成对所有像素的标记。GrabCut是这种方法的一种高级版本，它使用矩形边界框通过用户交互来表示前景对象，并采用三维高斯混合模型(GMM)来表示颜色统计的分布。虽然GrabCut通过颜色GMMs将图割延伸到了彩色图像分割领域，并提高了分割的精度，但是在前背景差别不大时，GrabCut总是不能很好的分割，因为物体不仅有颜色、纹理等底层特征，在立体上也有特征定义，比如深度信息：能很好的表示出物体距离拍摄源的远近，这能很好的处理不同物体之间颜色相似、对比度低的情况。近年来，随着强大的测距传感器的出现，RGB-D图像逐渐受到人们的关注。对深度图的研究也逐渐增多，而传统的基于深度的GrabCut分割方法一般将深度信息作为GMM输入的第四通道，或者通过重新定义深度惩罚项来改进能量公式，但这样的方法不能充分利用深度信息，且在一定程度上增加了算法的复杂度。

发明内容

本发明针对现有算法交互效率不高以及不能有效融合深度信息的问题，在GrabCut自动图像分割的基础上，通过深度信息指导显著信息来初始化GrabCut，并将深度信息通过动态加权的方式分别融合到能量公式的数据项和平滑项中。不仅减少了用户的交互时间，还提高了算法的分割精度。

本发明的技术方案如下：

一种基于深度图的自动图像分割方法，其包括以下步骤：

步骤一：获取原图及深度图，并对原图进行SLIC简单线性迭代聚类超像素分割；

步骤二：根据分割的超像素图构建单层图，利用流行排序算法来得到超像素的显著值，进而得到显著图；

步骤三：对深度图进行对应原图的SLIC超像素分割，并将处理过的深度信息与显著信息融合来初始化GrabCut算法；

步骤四：用超像素图构建GrabCut的网络流图，并在步骤三的基础上进行初始化，其中，将框外定为背景T_B，框内定为未知区域T_U，而此时前景为空；

步骤五：估计GMM参数：包括第h个高斯模型的均值μ(α,h)、协方差Σ(α,h)和权重π(α,h)；

步骤六：将估计好的参数代入改进的能量公式中，利用改进的能量公式来计算网络流图的边的权值，进行最大流最小割，所述改进的能量公式的改进点在于：将融合深度信息的显著信息通过自适应权重结合到GrabCut算法的颜色模型中，分别用前背景GMMs的相对熵以及像素之间的相似性改进GrabCut算法能量公式中的数据项及平滑项；

步骤七：计算能量函数，判断能量函数是否收敛，若不收敛，则返回步骤五；若收敛，输出图像。

进一步的，所述步骤一中SLIC算法具体步骤如下：

1)对于一幅有N个像素点的图像，通过设定的超像素数K，来初始化聚类中心C_k，聚类中心之间的距离

2)将聚类中心移动到3×3空间邻域上的最小梯度的像素点上，以防止聚类中心被分到边缘上；

3)对于每个聚类中心C_k，计算其2S×2S范围内，与像素点i之间的距离，并把距离最小的聚类中心赋给i的标签；

4)新的聚类中心产生后，通过这个超像素内的像素信息，重新确定聚类中心；

5)重复3)和4)，直到聚类中心的误差小于某一设定阈值。

进一步的，所述步骤二中，流行排序以超像素代替像素，分别以上、下、左、右边缘的超像素为基础来生成显著图，再以该显著图为基础生成最终的显著图，先构造单层图G＝(V，E)，其中V为节点，E为无向边，定义两个节点之间的权重为：

其中c_i和c_j表示两个节点的颜色值，σ为权重系数，以边界上的节点为依据，并用一个排序函数来对整张图的超像素进行排序，排序公式为：

f^*＝(D-βW)^-1q

其中f即表示排序函数，f^*表示超像素的排序矩阵，每个超像素块对应一个排序值f_i；q是一个指示向量，q_i＝1表示第i个超像素为基础，q_i＝0表示第i个超像素为待排序状态；W对应超像素之间的权值矩阵；β为矩阵W的系数；D是图G的度量矩阵，D＝diag{d₁₁,...,d_nn}，其中

w_ij表示节点i和j之间的权重。

进一步的，所述步骤二中，以图像上侧超像素为依据，通过对其他超像素排序来得到显著图S_t：

表示超像素的排序矩阵f^*(i)的归一化向量，同理，用该公式分别计算以下、左、右边界超像素为基础的显著图S_b、S_l、S_r，整合四个显著图来得到第一步的显著图；

S_bq(i)＝S_t(i)×S_b(i)×S_l(i)×S_r(i)

以第一步的显著图的平均显著值为阈值，通过阈值分割将其分为二值图，并以此为图像中心为依据，用同样的方法求出最终的显著图：

进一步的，所述步骤三对深度图的处理如下：

其中，d(i)是第i个超像素的深度值均值，在对深度图进行处理后，用归一化的深度信息指导的显著性来进行下一步的计算：

S_sd＝S(i)*D(i)

其中S_sd(i)为第i个超像素结合深度和显著性后的信息，在得到S_sd信息后，通过阈值分割来初始化GrabCut算法，具体阈值为：

其中，Num为超像素的实际数目，S_sd大于T的为前景，重置为1，而小于T的为背景，重置为0。

进一步的，所述步骤四中，在得到S_sd信息阈值分割的二值图后，从上至下依次扫描像素点，通过标记第一个非0像素点来得到GrabCut的初始矩形框，将框外定为背景T_B，框内定为未知区域T_U,而此时前景为空。

进一步的，所述步骤五的GMMs参中，第h个高斯模型的均值μ(α,h)和协方差Σ(α,h)可通过计算其模型中包含的超像素值的均值和协方差得到，权重π(α,h)就是第h个高斯模型的大小与总体的比值。

进一步的，所述步骤六中，改进的能量公式如下：

其中，α表示每个超像素的不透明度，h表示超像素对应第h个高斯模型，θ表示高斯模型的参数,z表示超像素的颜色信息，d表示超像素对应的融合深度信息的显著信息，V(α,z)表示原算法的平滑项，V(α,d)表示需要融合的平滑项，ρ表示改进平滑项的自适应参数，深度数据项为：

其中，n表示第n个超像素，μ表示该超像素对应高斯模型的均值，α_n表示第n个超像素的不透明质，d_n为第n个超像素对应的融合深度信息的显著信息，其他参数与原算法相同，深度数据项对应的参数为：

其中，

表示颜色信息对应的前景高斯混合模型，

表示颜色信息对应的背景高斯混合模型，

表示融合深度的显著信息对应的前景高斯混合模型，

表示融合深度的显著信息对应的背景高斯混合模型，

前景高斯混合模型中的第h个高斯模型，

表示背景高斯混合模型中的第i个高斯模型，

和

表示前景高斯混合模型中第h个高斯模型的均值和协方差，

和

表示背景高斯混合模型中第i个高斯模型的均值和协方差；

深度平滑项为：

而深度平滑项对应的参数为：

进一步的，所述步骤七在计算完能量公式后，若能量没有收敛，则计算GMMs的参数，根据参数重新构建网路流图，进行最大流最小割；若能量函数收敛，则完成分割，输出图像。

本发明的优点及有益效果如下：

本发明提出了一种基于深度图的自动图像分割方法。本发明在显著性提取GrabCut矩形框的基础上，融合了深度信息。通过超像素处理来减少后续的计算，在此基础上生成显著图，并通过深度信息引导显著图来实现GrabCut的自动初始化，之后将融合的深度和显著性信息设计为动态约束项加入到能量公式中，最后进行GrabCut分割，有效地提高了算法的分割精度。

附图说明

图1是本发明提供优选实施例的具体实施流程图；

图2是原始输入图像；

图3是输入图像对应的深度图；

图4是显著图；

图5是深度图的SLIC分割图；

图6是深度信息指导的显著图；

图7是用于初始化GrabCut算法的二值图及矩形框；

图8是本发明的分割效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明的执行流程图如图1所示，其具体技术方案如下：

1、获取原图及深度图，如图2和图3所示，并对原图进行SLIC超像素分割。SLIC分割按如下步骤完成：

1)通过设定的超像素数K，来初始化聚类中心C_k，聚类中心之间的距离

2)将聚类中心移动到3×3空间邻域上的最小梯度的像素点上，以防止聚类中心被分到边缘上。

3)对于每个聚类中心C_k，计算其2S×2S范围内，与像素点i之间的距离，并把距离最小的聚类中心赋给i的标签。

4)新的聚类中心产生后，通过这个超像素内的像素信息，重新确定聚类中心。

5)重复3)和4)，直到聚类中心的误差小于某一阈值。

2、用SLIC生成的超像素构建单层图，利用流行排序算法来得到超像素的显著值，如图4所示。其中，该流行排序以超像素代替像素，分别以上、下、左、右边缘的超像素为线索来生成显著图，再以该显著图为线索生成最终的显著图。先构造单层图G＝(V，E)，其中V为节点，E为无向边，定义两个节点之间的权重为：

其中c_i和c_j表示两个节点的颜色值，σ为权重系数。以边界上的节点为依据，并用一个排序函数来对整张图的超像素进行排序。排序公式为：

f^*＝(D-βW)^-1q

其中f即表示排序函数，每个超像素块对应一个排序值f_i；q是一个指示向量，q_i＝1表示第i个超像素为依据，q_i＝0表示第i个超像素为待排序状态；W对应超像素之间的权值矩阵；β为矩阵W的系数；D是图G的度量矩阵，D＝diag{d₁₁,...,d_nn}，其中

以图像上侧超像素为依据，通过对其他超像素排序来得到显著图S_t：

式中后一项为归一化向量。同理，用该公式计算以下、左、右边界为基础的显著图S_b、S_l、S_r。整合四个显著图来得到第一步的显著图。

S_bq(i)＝S_t(i)×S_b(i)×S_l(i)×S_r(i)

以第一步的显著图的平均显著值为阈值，通过阈值分割将其分为二值图，并以此为图像中心为依据，用同样的方法求出最终的显著图：

3、对深度图进行对应原图的超像素分割，如图5所示，并用处理过的深度信息指导显著信息来初始化GrabCut算法。其中，对深度图的处理如下：

其中，d(i)是第i个超像素的深度值均值，这个公式大致适合后验分布，仅仅在较近的距离上有一个小的偏差。

在对深度图进行处理后，用归一化的深度信息指导的显著性来进行下一步的计算：

S_sd＝S(i)*D(i)

其中S_sd(i)为第i个超像素结合深度和显著性后的信息，如图6为深度指导的显著图。在得到S_sd信息后，通过阈值分割来初始化GrabCut算法，具体阈值为：

其中，Num为超像素的实际数目。则S_sd大于T的为前景，重置为1，而小于T的为背景，重置为0。图7为用于初始化GrabCut算法的二值图及矩形框。

4、用超像素图构建GrabCut的网络流图，并在步骤三的基础上进行初始化。在得到S_sd信息阈值分割的二值图后，从上至下依次扫描像素点，通过标记第一个非0像素点来得到GrabCut的初始矩形框。将框外定为背景T_B，框内定为未知区域T_U,而此时前景为空。

5、估计GMM参数：其中第h个高斯模型的均值μ(α,h)和协方差Σ(α,h)可通过计算其模型中包含的超像素值的均值和协方差得到，权重π(α,h)就是第h个高斯模型的大小与总体的比值。

6、利用改进的公式来计算网络流图的边的权值，进行最大流最小割。改进的能量公式如下：

其中，深度数据项为：

其中，d_n为超像素对应的深度信息，其他参数与原算法相同，深度数据项对应的参数为：

深度平滑项为：

而深度平滑项对应的参数为：

7、计算上一步的能量函数，判断能量函数是否收敛，若不收敛，则返回第5步，重新计算GMMs的参数，根据参数重新构建网路流图，进行最大流最小割；若能量函数收敛，则完成分割，输出图像。图8即为最终输出图像

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.一种基于深度图的自动图像分割方法，其特征在于，包括以下步骤：

步骤一：获取原图及深度图，并对原图进行SLIC简单线性迭代聚类超像素分割；

步骤二：根据分割的超像素图构建单层图，利用流行排序算法来得到超像素的显著值，进而得到显著图；

步骤三：对深度图进行对应原图的SLIC超像素分割，并将处理过的深度信息与显著信息融合来初始化GrabCut算法；

步骤四：用超像素图构建GrabCut的网络流图，并在步骤三的基础上进行初始化，其中，将框外定为背景T_B，框内定为未知区域T_U，而此时前景为空；

步骤五：估计GMM参数：包括第h个高斯模型的均值μ(α,h)、协方差Σ(α,h)和权重π(α,h)；

步骤六：将估计好的参数代入改进的能量公式中，利用改进的能量公式来计算网络流图的边的权值，进行最大流最小割，所述改进的能量公式的改进点在于：将融合深度信息的显著信息通过自适应权重结合到GrabCut算法的颜色模型中，分别用前背景GMMs的相对熵以及像素之间的相似性改进GrabCut算法能量公式中的数据项及平滑项；

步骤七：计算能量函数，判断能量函数是否收敛，若不收敛，则返回步骤五；若收敛，输出图像。

2.根据权利要求1所述的一种基于深度图的自动图像分割方法，其特征在于，所述步骤一中SLIC算法具体步骤如下：

1)对于一幅有N个像素点的图像，通过设定的超像素数K，来初始化聚类中心C_k，聚类中心之间的距离

2)将聚类中心移动到3×3空间邻域上的最小梯度的像素点上，以防止聚类中心被分到边缘上；

3)对于每个聚类中心C_k，计算其2S×2S范围内，与像素点i之间的距离，并把距离最小的聚类中心赋给i的标签；

4)新的聚类中心产生后，通过这个超像素内的像素信息，重新确定聚类中心；

5)重复3)和4)，直到聚类中心的误差小于某一设定阈值。

3.根据权利要求1所述的一种基于深度图的自动图像分割方法，其特征在于，所述步骤二中，流行排序以超像素代替像素，分别以上、下、左、右边缘的超像素为基础来生成显著图，再以该显著图为基础生成最终的显著图，先构造单层图G＝(V，E)，其中V为节点，E为无向边，定义两个节点之间的权重为：

其中c_i和c_j表示两个节点的颜色值，σ为权重系数，以边界上的节点为依据，并用一个排序函数来对整张图的超像素进行排序，排序公式为：

f^*＝(D-βW)^-1q

其中f即表示排序函数，f^*表示超像素的排序矩阵，每个超像素块对应一个排序值f_i；q是一个指示向量，q_i＝1表示第i个超像素为基础，q_i＝0表示第i个超像素为待排序状态；W对应超像素之间的权值矩阵；β为矩阵W的系数；D是图G的度量矩阵，D＝diag{d₁₁,...,d_nn}，其中

w_ij表示节点i和j之间的权重。

4.根据权利要求3所述的一种基于深度图的自动图像分割方法，其特征在于，所述步骤二中，以图像上侧超像素为依据，通过对其他超像素排序来得到显著图S_t：

表示超像素的排序矩阵f^*(i)的归一化向量，同理，用该公式分别计算以下、左、右边界超像素为基础的显著图S_b、S_l、S_r，整合四个显著图来得到第一步的显著图；

S_bq(i)＝S_t(i)×S_b(i)×S_l(i)×S_r(i)

以第一步的显著图的平均显著值为阈值，通过阈值分割将其分为二值图，并以此为图像中心为依据，用同样的方法求出最终的显著图：

5.根据权利要求1所述的一种基于深度图的自动图像分割方法，其特征在于，所述步骤三对深度图的处理如下：

其中，d(i)是第i个超像素的深度值均值，在对深度图进行处理后，用归一化的深度信息指导的显著性来进行下一步的计算：

S_sd＝S(i)*D(i)

其中S_sd(i)为第i个超像素结合深度和显著性后的信息，在得到S_sd信息后，通过阈值分割来初始化GrabCut算法，具体阈值为：

其中，Num为超像素的实际数目，S_sd大于T的为前景，重置为1，而小于T的为背景，重置为0。

6.根据权利要求5所述的一种基于深度图的自动图像分割方法，其特征在于，所述步骤四中，在得到S_sd信息阈值分割的二值图后，从上至下依次扫描像素点，通过标记第一个非0像素点来得到GrabCut的初始矩形框，将框外定为背景T_B，框内定为未知区域T_U,而此时前景为空。

7.根据权利要求5所述的一种基于深度图的自动图像分割方法，其特征在于，所述步骤五的GMMs参中，第h个高斯模型的均值μ(α,h)和协方差Σ(α,h)可通过计算其模型中包含的超像素值的均值和协方差得到，权重π(α,h)就是第h个高斯模型的大小与总体的比值。

8.根据权利要求5所述的一种基于深度图的自动图像分割方法，其特征在于，所述步骤六中，改进的能量公式如下：

其中，α表示每个超像素的不透明度，h表示超像素对应第h个高斯模型，θ表示高斯模型的参数,z表示超像素的颜色信息，d表示超像素对应的融合深度信息的显著信息，V(α,z)表示原算法的平滑项，V(α,d)表示需要融合的平滑项，ρ表示改进平滑项的自适应参数，深度数据项为：

其中，n表示第n个超像素，μ表示该超像素对应高斯模型的均值，α_n表示第n个超像素的不透明质，d_n为第n个超像素对应的融合深度信息的显著信息，其他参数与原算法相同，深度数据项对应的参数为：

其中，

表示颜色信息对应的前景高斯混合模型，

表示颜色信息对应的背景高斯混合模型，

表示融合深度的显著信息对应的前景高斯混合模型，

表示融合深度的显著信息对应的背景高斯混合模型，

前景高斯混合模型中的第h个高斯模型，

表示背景高斯混合模型中的第i个高斯模型，

和

表示前景高斯混合模型中第h个高斯模型的均值和协方差，

和

表示背景高斯混合模型中第i个高斯模型的均值和协方差；

深度平滑项为：

而深度平滑项对应的参数为：

9.根据权利要求8所述的一种基于深度图的自动图像分割方法，其特征在于，所述步骤七在计算完能量公式后，若能量没有收敛，则计算GMMs的参数，根据参数重新构建网路流图，进行最大流最小割；若能量函数收敛，则完成分割，输出图像。

Images