CN110853070A - 基于显著性与Grabcut的水下海参图像分割方法 - Google Patents

Abstract

发明公开了一种基于显著性与Grabcut的水下海参图像分割方法，涉及到数字图像分析和处理技术领域。其特征在于，包括步骤如下：利用Retinex算法对采集到的图像去雾，增加图像对比度；利用SLIC算法生成超像素图，提高目标分割的精度；利用流形排序显著性算法对超像素图做目标检测，通过多尺度的流形排序得到目标的多尺度显著性图，加权融合得到目标的最终显著性图像；利用GrabCut算法与显著性图像结合实现对海参目标的免交互式分割，得到最终的海参分割图像。通过上述方法解决了GrabCut算法依赖人工参与的问题，减少了分割算法时间，提高了GrabCut分割的效率，实现GrabCut水下海参分割的自动化。

Description

基于显著性与Grabcut的水下海参图像分割方法

技术领域

本发明涉及图像处理领域中的图像分割方法，具体涉及一种基于显著性与Grabcut的水下海参图像分割方法。

背景技术

海参生长在海底，水下浑浊且地形复杂，主要靠人工捕捞。人员需携带特殊装备潜到海底作业，效率低，长期对身体有害。为提高海参捕捞效率，实现自动化捕捞，首先需实现自然水域下海参图像分割。

近年来，国内外科研人员对水下图像分割方法进行了深入的研究。Chen等通过双阈值Otsu法进行边缘特征提取，然后采用霍夫变换法分割出目标边缘。Lee等提出基于点和区域特征的水下目标检测方法，用于水下机器人的自动导航。Kumar等使用CLAHE增强算法和阈值分割进行了水下图像分割。自然水域下环境复杂，海参多栖息于岩礁、乱石或沙泥底之中，同时还有其他的水草和纤维袋等干扰物体，利用上述传统的分割算法对海参图像分割效果差且需要人工交互。

目前主流的深度学习分割方法有，Girshick等人提出了R-CNN方法，用于图像目标检测和语义分割；Liu等人提出了MPA算法，采用滑动窗口对图像进行卷积，将多尺度特征图映射到相同尺度进行分割任务；还有艾利克斯网络(AlexNet)、谷歌网络(GoogleNet)、卷积神经网络(mask regions-based convolution neural network，Mask RCNN)。由于深度学习分割算法对图像的标注要求极高，需要大量的数据样本，产生高昂的费用成本，模型正确性验证复杂。同时由于模型复杂度的增加，网络在进行目标检测时会耗费大量的时间，上述方法不适用于水下目标的检测分割。

发明内容

本发明的目的是提供一种基于显著性与Grabcut的水下海参图像分割方法，利用改进的流形排序显著性检测与Grabcut算法相结合，解决了GrabCut算法依赖人工参与的问题，减少了分割算法时间，提高了水下目标检测的准确性，增加了水下海参分割的效率。

本发明采用以下的技术方案：

一种基于显著性与Grabcut的水下海参图像分割方法，包括以下步骤：

步骤一：获取图像，利用Retinex算法对采集到的图像去雾，增加图像对比度；

步骤二：利用SLIC算法生成超像素图，提高目标分割的精度；

步骤三：利用流形排序显著性算法对超像素图做目标检测；

步骤四：利用GrabCut算法与显著性图像结合实现对海参目标的免交互式分割。

进一步，所述步骤一具体为：

用源图像S表示人眼看到的图像，环境入射光照分量用函数L表示，物体的反射分量用R表示，三者关系如公式(1)所示；通过源图像S来计算图像本身含有的反射分量R；利用高斯模糊滤波器F与S卷积运算求得环境入射光照分量L，利用对数运算得到R，公式(1)-(4)如下：

S(x，y)＝L(x，y)×R(x，y) (1)

L＝F*S (3)

log(R)＝log(S)-log(L) (4)。

进一步，所述步骤二具体为：

将原彩色图像映射CIELAB颜色空间与XY坐标下的特征向量；然后构造距离度量标准，在特征向量空间图像像素局部聚类生成超像素，SLIC算法能生成区域内的超像素图，超像素可映射为网络图中的节点，进而构建成精简的网络图；

定义超像素总数为k，对于有N个像素的图像，在一个规则的像素间隔S上采样k个初始聚类中心c_i＝[l_i，a_i，b_i，x_i，y_i]^T，i∈[1，k]，其中每个超像素宽度S＝(N/K)^1/2，在CIELAB颜色空间中，超像素的相似度度量方法为：

式中，d_c表示第i个聚类中心与第j个像素点的颜色距离；d_s表示第i个聚类中心与第j个像素点的空间距离；参数m用于调节颜色相似性与空间距离间关系，当m增加时，空间距离影响变大，超像素变紧凑；反之，区域内相似颜色的像素更易聚集；d表示超像素图像。

更进一步，所述SLIC算法具体流程如下：

1)初始化聚类中心点c_i＝[l_I，a_I，b_I，x_I，y_i]^T，根据设定的超像素数k，在图像中均匀分配种子；

2)将聚类中心点移动到n*n邻域中的最低梯度位置；

3)迭代①～③步，直到残差e小于阈值；

④对于每个种子点c_i，在2S*2S邻域内的像素点分配标签，每个像素被多个种子点搜索，匹配相似度度量标准为公式(1)，度量最小值对应该像素的聚类中心；

⑤计算新的聚类中心点；

⑥计算新的聚类中心位置与以前的中心位置之间的残差e；

4)增强连通性。

进一步，所述步骤三具体为：

通过多尺度的流形排序得到目标的多尺度显著性图，加权融合得到目标的最终显著性图像；对图节点建立一个无向加权图G＝(V，E)，V由给定的数据集X＝{x₁，x₂，x₃，…x_n}构成，包含已标记的查询数据和未标记的待排序数据，边缘权重E由关联矩阵W＝[w_ij]_n×n表示，G对应的度矩阵为D＝diag{d₁₁，d₂₂，d₃₃…d_nn}，定义向量Y＝[y₁，y₂，y₃，…y_n]^T表示数据x标注的情况，当y_i＝1，表示已标记的查询数据；当y_j＝0，表示未标记的待排序数据x_j；定义排序函数F：X→f＝[y₁，y₂，y₃，…y_n]^T，将已查询的数据x_i显著性计算得到f_i，并进行得分排序；通过对图像进行三个尺度的超像素分割，得到多个显著图，之后进行加权融合处理。

进一步，所述步骤四具体为：

将显著性检测得到的目标矩形框与Grabcut分割算法结合，设定向量h＝(h₁，...，h_n，...，h_N)，N表示为超像素图像内的超像素个数，h_n表示第n个超像素点对应的高斯分量，设定向量z＝(z₁，...，z_n，...，z_N，)，zn表示第n个超像素点的像素值；设定向量α＝(α₁，...，α_n，...，α_N)，α表示每个超像素对应的不透明度，α_n∈[0，1]，0表示超像素图像的背景区域，1表示前景目标；Grabcut分割算法的能量函数E定义为：

E(α，h，θ，z)＝U(α，h，θ，z)+V(α，z) (13)

V(α，z)为相邻超像素点间的相似性，数据项U的定义式为：

U(α，h，θ，z)＝∑_n D(α_n，h_n，θ，z_n) (14)

数据项U表示超像素点z_n分配到前景或背景间的概率，θ描述前景与背景间的灰度直图：

D(α_n，h_n，θ，z_n)＝-logp(z_n|α_n，h_n，θ)-logπ(α_n，h_n) (15)

式中p(·)为高斯概率分布，此时高斯参数模型θ为：

θ＝{π(α，h)，μ(α，h)，∑(α，h)，α＝0，1，h＝1…H} (16)

式中各个变量对应第h个高斯模型的权值p、均值m以及协方差S；最小割分割法实现图像分割：

本发明具有的有益效果是：

本发明公开了一种基于显著性与Grabcut的水下海参图像分割方法，设计了一种多尺度的显著性目标检测，目标检测的结果代替人工交互操作，改进了Grabcut不能自动分割目标的缺陷。利用Retinex算法对采集到的图像去雾，增加图像对比度；利用SLIC算法生成超像素图，提高目标分割的精度；利用流形排序显著性算法对超像素图做目标检测，通过多尺度的流形排序得到目标的多尺度显著性图，加权融合得到目标的最终显著性图像；利用GrabCut算法与显著性图像结合实现对海参目标的免交互式分割，得到最终的海参分割图像。通过上述方法解决了GrabCut算法依赖人工参与的问题，减少了分割算法时间，提高了GrabCut分割的效率，实现GrabCut水下海参分割的自动化。同时本发明不需要昂贵的图像采集设备以及大量输入图像，很好地降低了成本和操作复杂度，实用性较高。

附图说明

图1为本发明优选实施例的流程图；

图2为本发明优选实施例中Normal视频图像海参分割结果；

图3为本发明优选实施例中Fuzzy视频图像海参分割结果；

图4为本发明优选实施例中Background视频图像海参分割结果；

图5为本发明优选实施例中Illumination图像数据上的海参分割结果。

具体实施方式

下面结合附图对本发明进行具体的说明：

本发明主要选取了四种不同背景的数据集。四种数据样本分别表示为Normal，Fuzzy，Background，Illumination，数据集具有不同的背景环境，分别是简单背景、复杂背景、海参与背景颜色接近和光照不均等情况。

结合图1至图5，一种基于显著性与Grabcut的水下海参图像分割方法，包括以下步骤：

步骤1：利用Retinex算法对采集到的图像去雾，增加图像对比度；用源图像S表示人眼看到的图像，环境入射光照分量用函数L表示，物体的反射分量用函数R表示，三者关系如公式(1)所示。入射图像是受光照影响之后的图像，而反射图像能够反映图像最本质的信息。通过源图像S来计算出图像本身含有的反射分量R，来达到图像增强的目的。利用高斯模糊滤波器F与S卷积运算求得环境光照分量L，利用对数运算得到反射分量R，即可实现水下图像增强。如公式(1)-(4)所示。

S(x，y)＝L(x，y)×R(x，y) (1)

L＝F*S (3)

log(R)＝log(S)-log(L) (4)

步骤2：利用SLIC算法生成超像素图，提高目标分割的精度；将原彩色图像映射CIELAB颜色空间与XY坐标下的特征向量；然后构造距离度量标准，在特征向量空间图像像素局部聚类生成超像素。SLIC算法能生成区域内紧凑、均匀的超像素图，超像素可映射为网络图中的节点，进而构建成精简的网络图。SLIC算法在运算速度、物体轮廓保持、超像素形状方面较符合人的视觉分割效果。

定义超像素总数为k，对于有N个像素的图像，在一个规则的像素间隔S上采样k个初始聚类中心c_i＝[l_i，a_i，b_i，x_i，y_i]^T，i∈[1，k]，其中每个超像素宽度S＝(N/K)^1/2。在CIELAB颜色空间中，超像素的相似度度量方法为：

式中，d_c表示第i个聚类中心与第j个像素点的颜色距离；d_s表示第i个聚类中心与第j个像素点的空间距离；参数m用于调节颜色相似性与空间距离间关系。当m增加时，空间距离影响变大，超像素变紧凑；反之，区域内相似颜色的像素更易聚集；d表示超像素图像。

SLIC算法具体流程如下：

1)初始化聚类中心点(种子点)c_i＝[l_I，a_I，b_I，x_I，y_i]^T。根据设定的超像素数k，在图像中均匀分配种子；

2)为避免初始像素点落在图像的边缘区域影响后续聚类效果，将聚类中心(种子点)移动到n*n(n实验中取3)邻域中的最低梯度位置；

3)迭代①～③步，直到残差e小于阈值(不断迭代直到误差收敛)；

⑦对于每个种子点c_i，在2S*2S邻域内的像素点分配标签(属于哪个种子)，即寻找最佳像素匹配点。每个像素被多个种子点搜索，匹配相似度度量标准为公式(1)，度量最小值对应该像素的聚类中心；

⑧计算新的聚类中心点；

⑨计算新的聚类中心位置与以前的中心位置之间的残差e。

4)增强连通性。迭代过程中可能出现不连续或尺寸小的超像素等，通过连通性解决此类问题。

步骤3：利用流形排序显著性算法对超像素图做目标检测，

通过多尺度的流形排序得到目标的多尺度显著性图，加权融合得到目标的最终显著性图像；对图节点建立一个无向加权图G＝(V，E)，V由给定的数据集X＝{x₁，x₂，x₃，…x_n}构成，包含已标记的查询数据和未标记的待排序数据，边缘权重E由关联矩阵W＝[w_ij]_n×n表示，G对应的度矩阵为D＝diag{d₁₁，d₂₂，d₃₃…d_nn}，定义向量Y＝[y₁，y₂，y₃，…y_n]^T表示数据x标注的情况。当y_i＝1，表示已标记的查询数据；当y_j＝0，表示未标记的待排序数据x_j。定义排序函数F：X→f＝[y₁，y₂，y₃，…y_n]^T，将已查询的数据x_i显著性计算得到f_i，并进行得分排序。本发明提出了融合多尺度的流形排序显著性检测，单一的超像素尺度会受到背景环境影响，通过对图像进行三个尺度(300、500、700)的超像素分割，得到多个显著图，之后进行加权融合处理，得到的显著图的效果更好。

本发明中流形排序算法主要步骤为：

1)对原始图像进行三个不同尺度的超像素分割，定义每个超像素图的模型为G＝(V，E)，V为超像素块的点集，E表示边集。计算模型G的关联矩阵W和度矩阵d。

2)流形排序值f的最优解f^*可表示为：

f^*＝(D-αW)^-1Y (8)

3)计算单层的背景显著性得分，由公式(9)计算显著性得分，得到图像四个边界的显著得分S_u(i)，S_d(i)，S_l(i)，S_r(i)，由公式(10)计算图像的显著值，得到第一阶段的基于背景的显著图。

S_bg(i)＝S_u(i)×S_d(i)×S_l(i)×S_r(i) (10)

4)对第一阶段的显著图做阈值分割，二值化得到的前景种子点，由公式(11)对第二阶段的种子点计算排序向量f^*，得到最终的显著图S_fg(i)；

其中i表示图中超像素节点的索引。

5)在单层流形排序的基础上建立不同尺度的显著图，由(1)-(4)步对另外两个不同尺度的超像素图做显著性计算，得到显著图。

6)对三个不同尺度的显著图线性加权融合，由公式(12)得到最终的显著图

S(i)＝aS_l1(i)+bS_l2(i)+cS_l3(i) (12)

其中S_l1(i)，S_l2(i)，S_l3(i)是三种不同尺度的显著图；a，b，c表示三种尺度的统计结果，由归一化运算得到，使得a+b+c＝1。利用公式(8)得到本文最终显著图。

步骤4：利用GrabCut算法与显著性图像结合实现对海参目标的免交互式分割，得到最终的海参分割图像。将显著性检测得到的目标矩形框与Grabcut分割算法结合，设定向量h＝(h₁，...，h_n，...，h_N)，N表示为超像素图像内的超像素个数，h_n表示第n个超像素点对应的高斯分量。设定向量z＝(z₁，...，z_n，...，z_N，)，zn表示第n个超像素点的像素值。设定向量α＝(α₁，...，α_n，...，α_N)，α表示每个超像素对应的不透明度，α_n∈[0，1]，0表示超像素图像的背景区域，1表示前景目标。Grabcut分割算法的能量函数E定义为：

E(α，h，θ，z)＝U(α，h，θ，z)+V(α，z) (13)

V(α，z)为相邻超像素点间的相似性，数据项U的定义式为：

U(α，h，θ，z)＝∑_n D(α_n，h_n，θ，z_n) (14)

数据项U表示超像素点z_n分配到前景或背景间的概率，θ描述前景与背景间的灰度直图：

D(α_n，h_n，θ，z_n)＝-logp(z_n|α_n，h_n，θ)-logπ(α_n，h_n) (15)

式中p(·)为高斯概率分布，此时高斯参数模型θ为：

θ＝{π(α，h)，μ(α，h)，∑(α，h)，α＝0，1，h＝1…H} (16)

式中各个变量对应第h个高斯模型的权值p、均值m以及协方差S。最小割分割法实现图像分割：

本发明中结合显著性的Grabcut分割算法步骤如下：

1)将显著性检测得到的矩形框区域进行超像素算法处理。

2)由超像素图构建单层图。矩形框外区域为背景T_B，框内表示初始目标区域T_U，当超像素n∈T_B，α_n＝0，当超像素n∈T_U时，α_n＝1。

3)由初始背景和目标像素估计高斯混合模型个数及参数。

4)迭代估计高斯混合模型参数，重复步骤①～③步，直到迭代过程收敛：

①高斯混合模型标号；

②学习高斯混合模型参数；

③由超像素分块之间邻近关系构建网络图，进行最小割分割。

输出分割图像。

图2至图5中，从左至右依次为海参原图---增强后的图像---SLIC超像素算法处理后得到图----分割结果图；

图2是Normal图像数据上截图的海参分割结果，从左至右依次为海参原图，经过彩色方图均衡化增强后的图像，SLIC超像素算法处理后得到图，在此基础上标注Grabcut算法目标区域，最后得到海参的分割结果图，Normal图像数据中水下背景环境简单，分割算法结果较理想。

图3是海洋牧场中水下机器人拍摄的视频截图，海参下部由于与背景区域颜色非常相似。背景较复杂，存在岩石、水草等因素干扰。经图像增强和超像素算法处理后，海参分割结果比较理想。

图4中海参目标颜色与背景环境相似，海参下部的海参刺与背景颜色接近。且水下图像比较模糊。经过彩色直方图均衡化和超像素处理后，较完整的分割出海参目标。

图5中视频图像受到人工光源的影响，造成光照不均，均衡化增强方法效果不理想，但由于周围环境对海参影响较小，超像素算法处理后，实现了对海参的分割。

上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (6)

1.一种基于显著性与Grabcut的水下海参图像分割方法，其特征在于，包括以下步骤：

步骤一：获取图像，利用Retinex算法对采集到的图像去雾，增加图像对比度；

步骤二：利用SLIC算法生成超像素图，提高目标分割的精度；

步骤三：利用流形排序显著性算法对超像素图做目标检测；

步骤四：利用GrabCut算法与显著性图像结合实现对海参目标的免交互式分割。

2.根据权利要求1所述的基于显著性与Grabcut的水下海参图像分割方法，其特征在于，所述步骤一具体为：

用源图像S表示人眼看到的图像，环境入射光照分量用函数L表示，物体的反射分量用R表示，三者关系如公式(1)所示；通过源图像S来计算图像本身含有的反射分量R；利用高斯模糊滤波器F与S卷积运算求得环境入射光照分量L，利用对数运算得到R，公式(1)-(4)如下：

S(x，y)＝L(x，y)×R(x，y) (1)

L＝F*S (3)

log(R)＝log(S)-log(L) (4)

3.根据权利要求1所述的基于显著性与Grabcut的水下海参图像分割方法，其特征在于，所述步骤二具体为：

将原彩色图像映射CIELAB颜色空间与XY坐标下的特征向量；然后构造距离度量标准，在特征向量空间图像像素局部聚类生成超像素，SLIC算法能生成区域内的超像素图，超像素可映射为网络图中的节点，进而构建成精简的网络图；

定义超像素总数为k，对于有N个像素的图像，在一个规则的像素间隔S上采样k个初始聚类中心c_i＝[l_i，a_i，b_i，x_i，y_i]^T，i∈[1，k]，其中每个超像素宽度S＝(N/K)^1/2，在CIELAB颜色空间中，超像素的相似度度量方法为：

式中，d_c表示第i个聚类中心与第j个像素点的颜色距离；d_s表示第i个聚类中心与第j个像素点的空间距离；参数m用于调节颜色相似性与空间距离间关系，当m增加时，空间距离影响变大，超像素变紧凑；反之，区域内相似颜色的像素更易聚集；d表示超像素图像。

4.根据权利要求3所述的基于显著性与Grabcut的水下海参图像分割方法，其特征在于，所述SLIC算法具体流程如下：

1)初始化聚类中心点c_i＝[l_I，a_I，b_I，x_I，y_i]^T，根据设定的超像素数k，在图像中均匀分配种子；

2)将聚类中心点移动到n*n邻域中的最低梯度位置；

3)迭代①～③步，直到残差e小于阈值；

①对于每个种子点c_i，在2S*2S邻域内的像素点分配标签，每个像素被多个种子点搜索，匹配相似度度量标准为公式(1)，度量最小值对应该像素的聚类中心；

②计算新的聚类中心点；

③计算新的聚类中心位置与以前的中心位置之间的残差e；

4)增强连通性。

5.根据权利要求1所述的基于显著性与Grabcut的水下海参图像分割方法，其特征在于，所述步骤三具体为：

通过多尺度的流形排序得到目标的多尺度显著性图，加权融合得到目标的最终显著性图像；对图节点建立一个无向加权图G＝(V，E)，V由给定的数据集X＝{x₁，x₂，x₃，…x_n}构成，包含已标记的查询数据和未标记的待排序数据，边缘权重E由关联矩阵W＝[w_ij]_n×n表示，G对应的度矩阵为D＝diag{d₁₁，d₂₂，d₃₃…d_nn}，定义向量Y＝[y₁，y₂，y₃，…y_n]^T表示数据x标注的情况，当y_i＝1，表示已标记的查询数据；当y_j＝0，表示未标记的待排序数据x_j；定义排序函数F：X→f＝[y₁，y₂，y₃，…y_n]^T，将已查询的数据x_i显著性计算得到f_i，并进行得分排序；通过对图像进行三个尺度的超像素分割，得到多个显著图，之后进行加权融合处理。

6.根据权利要求1所述的基于显著性与Grabcut的水下海参图像分割方法，其特征在于，所述步骤四具体为：

将显著性检测得到的目标矩形框与Grabcut分割算法结合，设定向量h＝(h₁，...，h_n，...，h_N)，N表示为超像素图像内的超像素个数，h_n表示第n个超像素点对应的高斯分量，设定向量z＝(z₁，...，z_n，...，z_N，)，z_n表示第n个超像素点的像素值；设定向量α＝(α₁，...，α_n，...，α_N)，α表示每个超像素对应的不透明度，α_n∈[0，1]，0表示超像素图像的背景区域，1表示前景目标；Grabcut分割算法的能量函数E定义为：

E(α，h，θ，z)＝U(α，h，θ，z)+V(α，z) (13)

V(α，z)为相邻超像素点间的相似性，数据项U的定义式为：

U(α，h，θ，z)＝∑_nD(α_n，h_n，θ，z_n) (14)

数据项U表示超像素点z_n分配到前景或背景间的概率，θ描述前景与背景间的灰度直图：

D(α_n，h_n，θ，z_n)＝-logp(z_n|α_n，h_n，θ)-logπ(α_n，h_n) (15)

式中p(·)为高斯概率分布，此时高斯参数模型θ为：

θ＝{π(α，h)，μ(α，h)，∑(α，h)，α＝0，1，h＝1…H} (16)

式中各个变量对应第h个高斯模型的权值p、均值m以及协方差S；最小割分割法实现图像分割：

Images