CN113763404A - 基于优化标记和边缘约束分水岭算法的泡沫图像分割方法 - Google Patents

Abstract

一种基于优化标记和边缘约束分水岭算法的泡沫图像分割，首先对泡沫图像使用多尺度Retinex算法进行图像对比度增强，然后将增强后的图像进行双边滤波，去除掉泡沫图像上的纹理噪声；其次使用形态学处理去除亮边和白点噪声，使用模糊C均值算法、形态学重构法和自适应阈值法提取处理后的泡沫图像的前景标记，然后对三种算法提取出来的前景标记进行组合优化，得到组合前景标记；再使用高斯拉普拉斯算子和形态学算法提取预处理泡沫图像的边缘，并将两种算法提取的边缘进行融合，采用阈值法提取边缘二值图像；最后为梯度图设置种子点和边界约束，并在前景标记的基础上使用分水岭算法，实现泡沫图像的精确分割。本发明利用了优化标记和边缘约束来改进分水岭算法，提高了泡沫图像分割的准确度。

Description

基于优化标记和边缘约束分水岭算法的泡沫图像分割方法

技术领域

本发明属于泡沫图像分割技术领域，具体涉及基于优化标记和边缘约束分水岭算法的泡沫图像分割方法。

背景技术

伴随着工业4.0时代的到来，机器视觉技术对于浮选过程的自动化具有广阔的应用前景和重要的研究意义。将机器视觉引入矿物浮选过程监测中，让机器代替人眼，自动分析泡沫的形状、大小、颜色、速度、稳定度等表面视觉特征，这些特征与关键浮选工艺参数如浮选药剂用量、矿浆酸碱度、曝气率等密切相关，能够实现对浮选生产工况的客观判断，进而制定不同的浮选生产操作策略。而在泡沫表面视觉特征中，泡沫的形状和气泡粒径分布是最易观测到的泡沫形态特征，其对泡沫浮选的性能和工况有很大关系，因此精确分割浮选泡沫图像对于浮选过程至关重要。

针对泡沫图像的特点，分水岭算法是有效测量气泡尺寸大小的解决办法，分水岭算法包括分层分水岭分割、基于合并的分水岭分割和基于标记的分水岭分割算法，而基于标记的分水岭算法因为分割速度快和准确率高成为了分水岭算法中的主流算法。在所有基于标记分水岭算法的方法中，虽然有通过单一算法或者组合算法提取泡沫前景标记，但是对于复杂工业流程下的泡沫图像并不能完全将所有的泡沫图像分割出来，分割线因为亮边出现双分割线或者偏移，最后导致泡沫图像分割效果不理想。

发明内容

为了克服现有技术存在的缺点，本发明提供了一种基于优化标记和边缘约束分水岭算法的泡沫图像分割方法，先通过多尺度Retinex 算法和双边滤波对原始泡沫图像进行预处理，增强图像的同时去除纹理噪声的干扰，然后一方面对预处理图像进行形态学处理去除白点噪声，再通过模糊C均值算法、形态学重构法和自适应阈值法提取前景标记，并按照组合策略形成组合前景标记；另一方面对预处理图像使用高斯拉普拉斯算子和形态学算子提取泡沫边缘，随后组合边缘提取边缘二值图像，在梯度图上使用组合标记和边缘二值图设置种子区域和边缘约束，最后使用分水岭算法完成对泡沫图像的精确分割。

为了达到上述目的，本发明采取的技术方案为：

一种基于优化标记和边缘约束分水岭算法的泡沫图像分割方法，包括以下步骤：

1)对摄像机拍摄的浮选泡沫视频进行等间隔地截取一帧图像构成原始样本集f＝(f₁,f₂,...,f₅₀)，样本集中包含50张具有大、中、小三种不同尺寸泡沫的泡沫图像，每幅图像的大小为692像素值×518 像素值。

2)从步骤1)得到的数据集中选取待分割图像G_w进行预处理，在预处理过程中，首先使用多尺度Retinex算法对待分割图像G_w进行图像对比度增强，得到图像增强后的泡沫图像f_ie，然后使用双边滤波对泡沫图像f_ie进行滤波操作，减少泡沫图像f_ie中的纹理噪声，得到滤波后的泡沫图像f_df；

3)新建一幅与预处理后图像大小一致的图像作为复制图像f_d′_f，将预处理后的图像f_df进行形态学处理，首先，使用尺度为3的圆形结构元素对图像f_df进行膨胀和腐蚀操作，其次，对图像f_df进行顶帽和底帽操作得到顶帽操作结果f_top和底帽操作结果f_bot，再使用图像f_df加上顶帽操作结果f_top并减去底帽操作结果f_bot得到变换后的图像f_o，最后，使用形态学操作来平滑图像f_o，具体为：首先，使用开操作得到模板g_o，再使用f_o图像作为标记图像进行重建操作得到f_oc，最后使用闭操作得到模板g_oc进行重建操作得到最后处理的图像f_ocr；

4)对形态学处理后的图像f_ocr进行前景标记的提取，使用模糊C 均值算法、形态学重构法和自适应阈值法分别对图像f_ocr提取前景标记，在模糊C均值算法中，设置聚类数量C为3，在3类聚类中选择面积最小的聚类区域作为前景标记提取结果，并将前景标记提取结果作为第一标记区域S1_init，然后使用形态学重构法对图像f_ocr提取前景标记作为第二标记区域S2_init，采用最大类间方差法实现两种尺度的阈值，并将第二标记区域分为两个区域S2_Sinit和S2_Minit，分别对应低深度和高深度阈值提取的前景标记区域，S2_Sinit用来提取大部分大泡沫中心亮点，其中含有粘连泡沫亮点，S2_Minit用来提取大部分泡沫中心亮点，包含较少的粘连泡沫，最后使用最大类间方差法直接对图像f_ocr进行提取，得到第三标记区域S3_init；

5)将步骤4)中三种不同方法提取的前景标记区域进行组合优化，首先将第一标记区域S1_init和第二标记低深度区域S2_Sinit进行合并，然后与第三标记区域S3_init求交集，得到小泡沫区域组合标记S_small， S_small计算公式如下：

S_small＝(S1_init∪S2_Sinit)∩S3_init (1)

再将第三标记区域S3_init中面积大于面积阈值S_thre的部分提取出来与第二标记高深度区域S2_Minit求交集，得到大泡沫组合标记S_big， S_big计算公式如下：

最后将小泡沫组合标记和大泡沫组合标记进行合并，得到最终的组合前景标记S_opt。

6)对步骤3)中复制的图像f′_df使用高斯拉普拉斯算子和形态学算子进行边缘提取，在高斯拉普拉斯算子提取边缘得到图像f′_lap后，使用尺寸为3的圆形形态学算子对泡沫图像f′_df进行边缘提取得到图像f′_shape，将两种边缘图像进行融合得到合并边缘图像f′_tog，然后使用自适应阈值法将图像f′_tog转换为边缘二值图像f′_out；

7)将预处理后的图像f_df取反得到梯度图f_grad，并在梯度图f_grad上将步骤5)中提取的组合前景标记S_opt设置为最低梯度区域，即为分水岭算法的种子点，同时将步骤6)中提取的边缘二值图像f′_out设置为最高梯度值，即为边缘约束，最后得到变换后的梯度图f′_grad。

8)对变换后的梯度图f′_grad使用分水岭算法进行分割，得到最终的分割图像f_last，为了验证本发明通过组合标记和边缘约束解决分水岭算法分割数量错误和分割线偏移问题的可行性，从数据集中选取包含大、中、小3种不同尺寸的泡沫图片，并与另外两种最新的改进分水岭算法进行对比，通过比较三者在相同图片上分割的定性评价和定量评价来判别本发明提出方法的有效性。

本发明的有益效果为：

本发明提出了新的基于优化标记和边缘约束分水岭算法的泡沫图像分割方法，通过多尺度Retinex算法和双边滤波对原始泡沫图像进行预处理，然后通过模糊C均值算法、形态学重构法和自适应阈值法提取并融合形成组合前景标记，减少了亮边和白点噪声对泡沫图像的影响，增加了泡沫中心亮点提取的准确率，其次使用高斯拉普拉斯算子和形态学算子提取泡沫边缘，随后组合边缘提取边缘二值图像，并在梯度图上设置边缘约束，减少了分割线的偏移，最后使用分水岭算法提高了泡沫图像的分割精确率。

附图说明

图1为本发明方法的流程图。

图2(a)、(b)分别为泡沫原始图像和多尺度Retinex算法增强结果图。

图3(a)、(b)分别为增强后的图像和双边滤波结果图。

图4为形态学处理流程示意图。

图5(a)、(b)、(c)、(d)分别为预处理后的图像、形态学处理结果图、模糊C均值算法聚类结果图和阈值提取示意图。

图6(a)、(b)、(c)、(d)分别为高斯拉普拉斯算子滤波图、形态学算子滤波图、边缘合并图和边缘二值图像。

图7(A_i＝1,2,3)、(B_i＝1,2,3)、(B_i＝1,2,3)、(D_i＝1,2,3)、(E_i＝1,2,3)为三种不同尺寸类型的泡沫原始图像、第一种分割算法的分割结果、第二种分割算法的分割结果、本发明所提出方法的分割结果、人工分割结果。

图8(a)、(b)、(c)分别为中等泡沫上三种分割算法的分割结果，其中(c)为本发明提出的方法的分割结果。

图9(a)、(b)、(c)分别为小泡沫上三种分割算法的分割结果，其中(c)为本发明提出的方法的分割结果。

图10为兰德系数比较图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

参照图1，基于优化标记和边缘约束分水岭算法的泡沫图像分割方法，包括以下步骤：

1)对摄像机拍摄的浮选泡沫视频进行等间隔地截取一帧图像构成原始样本集f＝(f₁,f₂,...,f₅₀)，样本集中包含50张具有大、中、小三种不同尺寸泡沫的泡沫图像，每幅图像的大小为692像素值×518 像素值。

2)从步骤1)得到的数据集中选取待分割图像G_w进行预处理，在预处理过程中，首先使用多尺度Retinex算法对待分割图像G_w进行图像对比度增强，得到图像增强后的泡沫图像f_ie，待分割图像G_w和图像增强后的泡沫图像f_ie的对比图如图2所示，多尺度Retinex算法将输入图像S(x,y)分为了反射图像R(x,y)和入射图像L(x,y)，并假设入射图像L(x,y)为空间平滑图像，通过计算式(1)得到输出图像r(x,y)：

其中F(x,y)是高斯平滑核，由式(2)表示为：

其中σ为正态分布的标准偏差，设置σ为53.38，1458和13944.5；

再使用双边滤波对泡沫图像f_ie进行滤波操作，减少泡沫图像f_ie中的纹理噪声，得到滤波后的泡沫图像f_df。双边滤波的计算公式如下所示：

其中，

是空间域核，

是像素域核，p和q代表两个像素点的坐标，I(·)函数代表取某一坐标的灰度值。空间域核和像素域核计算方法如下式所示：

σ_S与σ_r是全局方差和局部方差，设置为3和0.1，(i,j)代表窗口中心值，(m,n)代表滑动窗口中的某个值，泡沫图像f_ie和滤波后的泡沫图像f_df的对比图如图3所示；

3)新建一幅与预处理后图像大小一致的图像作为复制图像f_d′_f，将预处理后的图像f_df进行形态学处理，首先，使用尺度为3的圆形结构元素对图像f_df进行膨胀和腐蚀操作，其次，对图像f_df进行顶帽和底帽操作得到顶帽操作结果f_top和底帽操作结果f_bot，再使用图像f_df加上顶帽操作结果f_top并减去底帽操作结果f_bot得到变换后的图像f_o，最后，使用形态学操作来平滑图像f_o，具体为：首先使用开操作得到模板g_o，再使用f_o图像作为标记图像进行重建操作得到f_oc，最后使用闭操作得到模板g_oc进行重建操作得到最终图像f_ocr，形态学处理流程如图4所示；

4)对形态学处理后的图像f_ocr进行前景标记的提取，使用模糊C 均值算法、形态学重构法和自适应阈值法分别对图像f_ocr提取前景标记，模糊C均值算法通过迭代最小化式(7)中的优化目标函数得到图片f_ocr中每个像素点对所有类中心的隶属度，实现对图像进行模糊聚类；

其中x_i是输入图像f_ocr＝{x₁,x₂,...,x_N}中的第i个像素点，每张图片在输入时需要平铺成一行数据，需要聚类的簇的数量为C，c_j是第j类簇的中心，

表示像素点x_i属于j类簇的隶属度，其值介于0到 1之间，一张输入图像的隶属度的总和为1，m是模糊加权指数，用于控制隶属程度的发生率，||*||可以是任意表示距离的度量，一般使用欧几里得距离，在模糊C均值算法中，设置聚类数量C为3，在3类聚类中选择面积最小的聚类区域作为前景标记提取结果，如图5所示，并将前景标记提取结果作为第一标记区域S1_init；

再使用形态学重构法对图像f_ocr提取前景标记作为第二标记区域 S2_init，在形态学重构法中需要设置阈值h，深度大于h的像素点都将被置于1，其他的置于0，本发明采用最大类间方差法实现两种尺度的阈值，并将第二标记区域分为两个区域S2_Sinit和S2_Minit，分别对应低深度和高深度阈值提取的前景标记区域，S2_Sinit用来提取大部分大泡沫中心亮点，其中可能含有粘连泡沫亮点，S2_Minit用来提取大部分泡沫中心亮点，包含较少的粘连泡沫，阈值设置如下：

h_thre＝λ*h_ostu (8)

其中，λ是本发明设置的比例系数，当选择不同的比例系数时，前景标记也会因此改变，S2_Sinit和S2_Minit的比例系数分别为1和0.4；

最后使用最大类间方差法直接对图像f_ocr进行提取，得到第三标记区域S3_init；

5)将步骤4)中三种不同方法提取的前景标记区域进行组合优化，首先将第一标记区域S1_init和第二标记低深度区域S2_Sinit进行合并，然后与第三标记区域S3_init求交集，得到小泡沫区域组合标记S_small， S_small计算公式如下：

S_small＝(S1_init∪S2_Sinit)∩S3_init (9)

再将第三标记区域S3_init中面积大于面积阈值S_thre的部分提取出来与第二标记高深度区域S2_Minit求交集，得到大泡沫组合标记S_big， S_big计算公式如下：

最后将小泡沫组合标记和大泡沫组合标记进行合并，得到最后的组合前景标记S_opt；

6)对步骤3)中复制的图像f′_df使用高斯拉普拉斯算子和形态学算子进行边缘提取，高斯拉普拉斯算子是由高斯模糊和拉普拉斯算子结合得出的一个各向异性滤波器，对噪声具有很强的抗干扰性，高斯拉普拉斯算子的计算公式如式(11)所示：

其中，σ为正态分布的标准偏差，设置σ为0.4。

在高斯拉普拉斯算子提取边缘得到图像f′_lap后，使用尺寸为3的圆形形态学算子对泡沫图像f′_df进行边缘提取得到图像f′_shape，将两种边缘图像进行融合得到合并边缘图像f′_tog，然后使用自适应阈值法将图像f′_tog转换为边缘二值图像f′_out，边缘提取对比图像如图6所示；

7)将预处理后的图像f_df取反得到梯度图f_grad，并在梯度图f_grad上将步骤5)中提取的组合前景标记S_opt设置为最低梯度区域，即为分水岭算法的种子点，同时将步骤6)中提取的边缘二值图像f′_out设置为最高梯度值，即为边缘约束，最后得到变换后的梯度图f′_grad。

8)对变换后的梯度图f′_grad使用分水岭算法进行分割，得到最终的分割图像f_last，为了验证本发明通过组合标记和边缘约束解决分水岭算法分割数量错误和分割线偏移问题的可行性，从数据集中选取3 张包含大、中、小3种不同尺寸的泡沫图片，并与另外两种最新的改进分水岭算法进行对比，通过比较三者在相同图片上分割的定性评价和定量评价来判别本发明提出方法的有效性。在定性评价中，可以从图7中初略的看到本发明使用的方法在分割上要比另外两种方法要准确一些，通过细致对比，首先可以从图8中看到3种方法在中等泡沫图像中的分割效果，第二种分割方法使用单一算法在图中白色圆圈处分割泡沫边界时出现了双线，而本发明提出的方法使用组合前景标记去抑制了非泡沫中心亮点的前景标记，因此分割线能准确的分割出泡沫边界，进一步验证了使用组合前景标记的优势，其次可以从图9 中看到3种方法在小泡沫图像上的分割效果，在白色圆圈处，另外两种方法的分割线都出现了偏移，而本发明所提出的方法利用边缘线在梯度图上为分割线设置边缘约束，减少了分割线的偏移，说明了本发明提出边缘约束的有效性。在定量评价中，从数据集中随机抽取14 张泡沫图像来对三种方法的分割效果进行评估，使用兰德系数计算得到的分割效果如图10所示，从图中看到本发明实现的方法在总体上的分割效果要高于其他两种方法，分割结果更接近人工分割效果，分割准确率在平均上达到了92.88％，验证了本发明所提出方法的有效性。

Claims (1)

1.一种基于优化标记和边缘约束分水岭算法的泡沫图像分割方法，其特征在于，包括以下步骤：

1)对摄像机拍摄的浮选泡沫视频进行等间隔地截取一帧图像构成原始样本集f＝(f₁,f₂,...,f₅₀)，样本集中包含50张具有大、中、小三种不同尺寸泡沫的泡沫图像，每幅图像的大小为692像素值×518像素值；

2)从步骤1)得到的数据集中选取待分割图像G_w进行预处理，在预处理过程中，首先使用多尺度Retinex算法对待分割图像G_w进行图像对比度增强，得到图像增强后的泡沫图像f_ie，然后使用双边滤波对泡沫图像f_ie进行滤波操作，减少泡沫图像f_ie中的纹理噪声，得到滤波后的泡沫图像f_df；

3)新建一幅与预处理后图像大小一致的图像作为复制图像f′_df，将预处理后的图像f_df进行形态学处理，首先，使用尺度为3的圆形结构元素对图像f_df进行膨胀和腐蚀操作，其次，对图像f_df进行顶帽和底帽操作得到顶帽操作结果f_top和底帽操作结果f_bot，再使用图像f_df加上顶帽操作结果f_top并减去底帽操作结果f_bot得到变换后的图像f_o，最后，使用形态学操作来平滑图像f_o，具体为：首先，采用开操作得到模板g_o，再使用f_o图像作为标记图像进行重建操作得到f_oc，最后使用闭操作得到模板g_oc进行重建操作得到图像f_ocr；

4)对形态学处理后的图像f_ocr进行前景标记的提取，使用模糊C均值算法、形态学重构法和自适应阈值法分别对图像f_ocr提取前景标记，在模糊C均值算法中，设置聚类数量C为3，在3类聚类中选择面积最小的聚类区域作为前景标记提取结果，并将前景标记提取结果作为第一标记区域S1_init，然后使用形态学重构法对图像f_ocr提取前景标记作为第二标记区域S2_init，采用最大类间方差法实现两种尺度的阈值，并将第二标记区域分为两个区域S2_Sinit和S2_Minit，分别对应低深度和高深度阈值提取的前景标记区域，S2_Sinit用来提取大部分大泡沫中心亮点，其中含有粘连泡沫亮点，S2_Minit用来提取大部分泡沫中心亮点，包含较少的粘连泡沫，最后使用最大类间方差法直接对图像f_ocr进行提取，得到第三标记区域S3_init；

5)将步骤4)中三种不同方法提取的前景标记区域进行组合优化，首先将第一标记区域S1_init和第二标记低深度区域S2_Sinit进行合并，然后与第三标记区域S3_init求交集，得到小泡沫区域组合标记S_small，S_small计算公式如下：

S_small＝(S1_init∪S2_Sinit)∩S3_init (1)

再将第三标记区域S3_init中面积大于面积阈值S_thre的部分提取出来与第二标记高深度区域S2_Minit求交集，得到大泡沫组合标记S_big，S_big计算公式如下：

最后将小泡沫组合标记和大泡沫组合标记进行合并，得到最终的组合前景标记S_opt；

6)对步骤3)中复制的图像f′_df使用高斯拉普拉斯算子和形态学算子进行边缘提取，在高斯拉普拉斯算子提取边缘得到图像f′_lap后，使用尺寸为3的圆形形态学算子对泡沫图像f′_df进行边缘提取得到图像f′_shape，将两种边缘图像进行融合得到合并边缘图像f′_tog，然后使用自适应阈值法将图像f′_tog转换为边缘二值图像f′_out；

7)将预处理后的图像f_df取反得到梯度图f_grad，并在梯度图f_grad上将步骤5)中提取的组合前景标记S_opt设置为最低梯度区域，即为分水岭算法的种子点，同时将步骤6)中提取的边缘二值图像f′_out设置为最高梯度值，即为边缘约束，最后得到变换后的梯度图f′_grad；

8)对变换后的梯度图f′_grad使用分水岭算法进行分割，得到最终的分割图像f_last，为了验证本发明通过组合标记和边缘约束解决分水岭算法分割数量错误和分割线偏移问题的可行性，从数据集中选取包含大、中、小3种不同尺寸的泡沫图片，并与另外两种最新的改进分水岭算法进行对比，通过比较三者在相同图片上分割的定性评价和定量评价来判别本发明提出方法的有效性。

Images