CN115861359A - 一种水面漂浮垃圾图像自适应分割提取方法 - Google Patents

Abstract

本发明提供了一种水面漂浮垃圾图像自适应分割提取方法，属于环境治理技术领域，它解决了现有空间小目标水面漂浮垃圾目标提取准确率偏低、算法鲁棒性不强和图像背景复杂干扰多等问题。本水面漂浮垃圾图像自适应分割提取方法，包括以下步骤：将获取到的图像数据集进行处理；输入图像进行离散小波变换，将图像分为高频和低频分量，低频分量用结合侧抑制网络的低通高斯滤波，去噪的同时增强低频分量的边缘特征，最后通过小波逆变换对图像进行复原去噪；将去噪后的图像输入改进的PD‑FCMSPCNN模型；利用多尺度的形态学滤波对分割结果进行处理，完成整个分割流程。本发明具有对于不同类型的水面漂浮垃圾小目标图像可有效简化计算，提高分割精度的优点。

Description

一种水面漂浮垃圾图像自适应分割提取方法

技术领域

本发明属于环境治理技术领域，涉及一种图像分割提取方法，特别是一种水面漂浮垃圾图像自适应分割提取方法。

背景技术

随着国内外沿河、沿湖、沿海地区人口大量增长和经济社会的飞速发展，水漂垃圾已成危害人类生存环境、生态环境的主要污染物之一。水漂垃圾是指在河湖海水域环境中漂浮的、持性的人造固体废弃物或自然漂浮物等。传统垃圾监测方式主要为人工巡检方式，无法高效监测水面漂浮垃圾，因而，利用图像视觉和机器学习技术更加智能、更加高效地对水漂垃圾监测治理已成为近几年的研究热点。然而，图像视觉监测技术中的图像分割却鲜有研究，尤其是针对水面复杂背景下小尺寸漂浮垃圾目标的图像分割更是水漂垃圾图像视觉监测的难点。因此，针对水面漂浮垃圾监测背景复杂、目标形态多元、尺寸过小等问题，进行小目标图像分割方法的研究具有一定的科研、经济和环保价值。

近年来随着大数据的兴起，神经网络逐渐代替传统方法用于图像处理，较于传统算法，神经网络模仿动物神经网络行为特征，具有信息分布式并行处理、非线性处理的优点，在图像处理领域展现出了一定优势，但此类方法需要大量数据用于算法模型的学习训练。尤其是基于深度学习的方法所具有的超强特征抽象及表示能力，可形成更强的学习能力，能够有效应对水面上复杂多变的检测场景，减少光线和图片背景影响。因此，利用深度学习方法进行水面漂浮物的监测研究也越来越多。

发明内容

本发明的目的是针对现有的技术存在上述问题，提出了一种水面漂浮垃圾图像自适应分割提取方法，该发明要解决的技术问题是：如何在水面漂浮垃圾图像在检测过程中，实现在复杂背景干扰的图像中提高小尺寸目标分割精度。

本发明的目的可通过下列技术方案来实现：

一种水面漂浮垃圾图像自适应分割提取方法，包括以下步骤：

(1)将获取到的图像数据集进行处理，将图片统一大小像素515*290，作为数据集；

(2)输入图像进行离散小波变换，将图像分为高频和低频分量，低频分量用结合侧抑制网络的低通高斯滤波，去噪的同时增强低频分量的边缘特征，最后通过小波逆变换对图像进行复原去噪；

(3)将去噪后的图像输入改进的PD-FCMSPCNN模型，计算出衰减因子α、辅助参数P和幅度参数V，对阈值动态微调，生成具有正态分布特性的突触权重矩阵W_ijkl，对输入图像进行分割；

(4)利用多尺度的形态学滤波对分割结果进行处理，计算不同尺度的结构元素SE，连接分割断点，平滑分割结果，完成整个分割流程。

优选的，所述步骤(2)中的离散小波函数构建为下式：

其中ψ(t)为基本小波，j表示缩放的大小，k表示平移尺度，j,k∈X，X代表输入图像集合，ψ_j,k(t)表示

则离散小波变换构建为下式：

优选的，所述步骤(2)中高斯滤波构建为下式：

其中σ²为方差，u,v为输入像素点坐标，u,v∈X，定义高斯核大小为(2n+1)×(2n+1)，当取n＝2时，高斯核函数构建为：

经过计算，高斯核设置为：

优选的，所述步骤(2)中侧抑制网络构建如下式：

e_i,j为某点像素的输入；r_i,j为该点的输出；l为抑制野的大小；k_mm为侧抑制系数矩阵，该矩阵将两个感受器a(i,j)b(m,n)之间的欧式距离

为侧抑制系数的计算方式，使其具有正态分布的特点，经过计算并归一化处理，本发明的参数设置为：

为了使高斯滤波能够更好地处理低频分量图像，实现目标边缘增强的效果，将侧抑制融入高斯核，表示为：

H＝f(u,v)^TK_mm

经过计算，高斯核设置为：

优选的，所述步骤(3)中，PD-FCMSPCNN模型设置为：

E_ij[n]＝e^-αE_ij[n-1]+P+VY_ij[n]

较于传统的FC-MSPCNN模型，衰减因子α的计算公式进行改进，将αF、αL和αE三个衰减常数统一定义为α参数，为了简化运算，去除U_ij内部活动项中的参数链接强度β，为减少参数设置的复杂性，对动态门限E_ij引入辅助参数P和幅度参数V，实现阈值的动态微调，计算出具有正态分布特性的突触权重矩阵W_ijkl，其中S′为归一化的OTSU算法分割阈值，

突触权重矩阵W_ijkl在设置该参数时突出权重矩阵具有正态分布的特点，其标准差为1，通过计算，权重矩阵W_ijkl为：

动态阈值中的幅度参数V和辅助参数P的表达式被定义为：

V＝e^-α+e^-2α

辅助参数P的作用是对动态阈值的变化值进行微调，该参数增加了PD-FCMSPCNN模型的调节范围，其表达式被定义为：

P＝e^-3α+e^-4α

优选的，所述步骤(4)中，对于分割后的图像f(x,y)，形态学滤波的灰度膨胀公式为：

其中，SE为结构元素，D_SE是结构元素SE的定义域，选择正方形的矩阵作为结构元素，形态学滤波的灰度闭运算定义为：

即闭运算在膨胀操作的基础上进行，闭运算可以去除比结构元素更小的暗色细节，在使用过程中，将膨胀、腐蚀、开运算和闭运算混合搭配，实现更好的滤波效果，为了达到更好的去噪效果，根据侧抑制离散小波变换的侧抑制系数和图像的八领域关联特性，将结构元素SE尺度设置为3*3和5*5，并将其归一化，如下式：

改进后的多尺度形态学滤波为：

与现有技术相比，本水面漂浮垃圾图像自适应分割提取方法具有以下优点：

本文提出了一种基于Li-DWT和PD-FCMSPCNN的水面漂浮垃圾小目标图像分割方法，对于不同类型的水面漂浮垃圾小目标图像可有效简化计算，提高分割精度；该方法先将侧抑制网络Li与DWT离散小波变换融合，可有效降低图像的复杂背景干扰，增强目标轮廓的边缘特征；再去除FCMSPCNN网络的参数β，引入幅度参数V和辅助参数P，微调动态门限，构建了新的PD-FCMSPCNN网络，进一步简化网络计算、提高分割精度；最后通过优化多尺度形态学滤波的结构元素SE对分割结果分别进行膨胀和闭运算操作，连接边缘轮廓断点，平滑分割结果。

附图说明

图1为本发明的算法流程图。

图2为侧抑制离散小波变换去噪结果图，

其中，(a)原图；(b)两次小波变换后的低频分量；(c)两次小波变换后的高频分量；(d)两次小波变换后的小波重构。

图3为PD-FCMSPCNN结构图。

图4为PD-FCMSPCNN分割结果图，

其中，(a)预处理结果；(b)分割结果。

图5为多尺度形态学滤波结果图，

其中，(a)分割结果；(b)形态学滤波。

图6为数据示例图，

其中，(a)背景1单个小目标垃圾；(b)背景2单个小目标垃圾；(c)背景3多个小目标垃圾。

图7为数据集情况图。

图8为消融实验结果图，

其中，(a)原图；(b)(1)组实验结果；(c)(2)组实验结果；(d)(3)组实验结果。

图9为消融实验评价结果图。

图10为对比实验结果图，

其中，(a)原始图像；(b)Pspnet；(c)deeplabv3+；(d)HRnet；(e)transunet；(f)ours；(g)手动标记。

图11为对比实验评价结果图。

图12为评价结果柱状图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

如图1-图12所示，本实施例提供了一种水面漂浮垃圾图像自适应分割提取方法，包括以下步骤：

(1)将获取到的图像数据集进行处理，将图片统一大小像素515*290，作为数据集；

(2)输入图像进行离散小波变换，将图像分为高频和低频分量，低频分量用结合侧抑制网络的低通高斯滤波，去噪的同时增强低频分量的边缘特征，最后通过小波逆变换对图像进行复原去噪；

(3)将去噪后的图像输入改进的PD-FCMSPCNN模型，计算出衰减因子α、辅助参数P和幅度参数V，对阈值动态微调，生成具有正态分布特性的突触权重矩阵W_ijkl，对输入图像进行分割；

(4)利用多尺度的形态学滤波对分割结果进行处理，计算不同尺度的结构元素SE，连接分割断点，平滑分割结果，完成整个分割流程。

优选的，步骤(2)中的离散小波函数构建为下式：

其中ψ(t)为基本小波，j表示缩放的大小，k表示平移尺度，j,k∈X，X代表输入图像集合，ψ_j,k(t)表示

则离散小波变换构建为下式：

优选的，本发明在小波变换的基础上，对小波变换生成的低频分量，加入侧抑制的高斯滤波对其进一步处理，步骤(2)中高斯滤波构建为下式：

其中σ²为方差，u,v为输入像素点坐标，u,v∈X，定义高斯核大小为(2n+1)×(2n+1)，当取n＝2时，高斯核函数构建为：

经过计算，高斯核设置为：

优选的，步骤(2)中侧抑制网络构建如下式：

e_i,j为某点像素的输入；r_i,j为该点的输出；l为抑制野的大小；k_mm为侧抑制系数矩阵，该矩阵将两个感受器a(i,j)b(m,n)之间的欧式距离

为侧抑制系数的计算方式，使其具有正态分布的特点，经过计算并归一化处理，本发明的参数设置为：

为了使高斯滤波能够更好地处理低频分量图像，实现目标边缘增强的效果，将侧抑制融入高斯核，表示为：

H＝f(u,v)^TK_mm

经过计算，高斯核设置为：

侧抑制小波变换去噪结果如图2所示。

优选的，FC-MSPCNN模型较于PCNN有：

E_ij[n]＝e^-αE_ij[n-1]+VR_nY_ij[n]

其中对一些参数进行计算和设置：

本文在FC-MSPCNN模型的基础上对模型参数和计算过程进一步简化，提出了一种自适应参数设置的PD-FCMSPCNN模型，结构如图3所示。步骤(3)中，PD-FCMSPCNN模型设置为：

E_ij[n]＝e^-αE_ij[n-1]+P+VY_ij[n]

较于传统的FC-MSPCNN模型，衰减因子α的计算公式进行改进，将αF、αL和αE三个衰减常数统一定义为α参数，为了简化运算，去除U_ij内部活动项中的参数链接强度β，为减少参数设置的复杂性，对动态门限E_ij引入辅助参数P和幅度参数V，实现阈值的动态微调，计算出具有正态分布特性的突触权重矩阵W_ijkl，其中S′为归一化的OTSU算法分割阈值，

突触权重矩阵W_ijkl在设置该参数时突出权重矩阵具有正态分布的特点，其标准差为1，通过计算，权重矩阵W_ijkl为：

动态阈值中的幅度参数V和辅助参数P的表达式被定义为：

V＝e^-α+e^-2α

辅助参数P的作用是对动态阈值的变化值进行微调，该参数增加了PD-FCMSPCNN模型的调节范围，其表达式被定义为：

P＝e^-3α+e^-4α

分割结果如图4所示。

优选的，步骤(4)中，对于分割后的图像f(x,y)，形态学滤波的灰度膨胀公式为：

其中，SE为结构元素，D_SE是结构元素SE的定义域，选择正方形的矩阵作为结构元素，形态学滤波的灰度闭运算定义为：

即闭运算在膨胀操作的基础上进行，闭运算可以去除比结构元素更小的暗色细节，在使用过程中，将膨胀、腐蚀、开运算和闭运算混合搭配，实现更好的滤波效果，但在滤波过程中常存在多尺度的噪声干扰，如果采用单一的结构元素进行滤波，不能有效去除不同尺度的噪声。为了达到更好的去噪效果，为了达到更好的去噪效果，本文根据侧抑制离散小波变换的侧抑制系数和图像的八领域关联特性，将结构元素SE尺度设置为3*3和5*5，并将其归一化，如下式：

改进后的多尺度形态学滤波为：

多尺度滤波结果如图5所示。

本发明以黄河兰州段为例，本实验所用数据集是在兰州市城关区雁白黄河大桥(纬度36.07484583，经度103.8843389)进行拍摄采集。黄河作为具有代表性的内陆河，它具有流速快，能见度低，河岸环境复杂，受波浪光照等的特点；同时，由于河岸环境复杂多样、河面与河岸落差较大，其水面上漂浮的垃圾在监测图像里常常以小目标的形式呈现，且与水面颜色特征差距较小，因此，该采集环境具有本论文所要解决问题的典型特征，适合于本实验。将采集的视频数据按照帧提取为jpg图像，筛选出了三种不同拍摄背景的数据集，如图6所示；分为数据集1、2和3，其中数据集3为水面漂浮垃圾多目标数据集，如图7所示。

进一步地，为了更直观地观察分割提取结果，选取感知哈希相似度(phash)、错误率(VOE)、目标面积间差异(RVD)、平均绝对误差(MAE)、霍夫曼距离(HF)和灵敏度(SEN)作为分割算法的评价指标。

对手动分割和算法分割的图像，phash(感知哈希相似度)表示两个图像的相似度。

其中，H₁表示算法输出的分割图像，H₂表示理想状态下的分割图像。k＝φ₂(x,y)/φ₁(x,y)，x,y表示对应的像素点，用欧几里得距离的平均值作为相似度的判断，越接近1，效果越好。

VOE(错误率)，错误率越低，表示算法更加可靠。

RVD(目标面积间差异)，算法分割目标面积与理想分割目标的面积差异，越接近于0，效果越好。

MAE(平均绝对误差)，反应算法分割结果与理想分割结果差，MAE值越小，则两个输入越相似。

HF(霍夫曼距离)，描述两组点集之间的相似程度，值越小越接近。

H(A,B)＝max(h(A,B),h(B,A))

SEN(灵敏度)，灵敏度表示算法分割相对于理想分割结果的比例，目标的区域正确地判断为目标。

进一步地，将发明所提方法组合进行比较，以验证方法的有效性。

方法(1)：PD-FCMSPCNN+多尺度形态学滤波进行分割提取；

方法(2)：侧抑制离散小波变换+PD-FCMSPCNN进行分割提取；

方法(3)：侧抑制离散小波变换+PD-FCMSPCNN+多尺度形态学滤波(本发明)。

如图8、9，(3)(1)组对比，侧抑制离散小波去噪的预处理方法对分割结果能产生较大的提升，phash从57.81％提升到了95.32％、VOE从1.8923减少到了0.0322、RVD从35.1342降低至0.0323、MAE从0.422减少到了0.0017、HD从144降低至7.37和SEN从0.0271提升到了0.9432；(3)(2)组对比，多尺度形态学滤波的后处理方法对分割效果也有一定提高，phash从89.97％提升到了95.32％、VOE从0.1389减少到了0.0322、RVD从0.1679降低至0.0323、MAE从0.1492减少到了0.0017、HD从13.03降低至7.37和SEN从0.8382提升到了0.9432。通过消融实验表明本文提出的侧抑制离散小波变换预处理方法可以有效地滤除光照、水波、复杂背景等干扰；多尺度形态学滤波的后处理方法可以有效连接PD-FCMSPCNN分割断点，平滑目标边缘轮廓，使得分割结果更加符合人眼视觉特性，对分割效果有一定的提升。

进一步地，将发明所提方法与其他流行的分割方法对比，以验证方法的有效性。

方法(1)：利用Pspnet对图像数据进行分割提取；

方法(2)：利用deeplabv3+对图像数据进行分割提取；

方法(3)：利用HRnet对图像数据进行分割提取；

方法(4)：利用transunet对图像数据进行分割提取；

方法(5)：利用本发明的方法(ours)对图像数据进行分割提取。

如图10，将所提方法与transunet、轻量化deeplabv3+、HRnet和轻量化PSPnet进行对比，(a)、(b)、(c)、(d)、(e)、(f)和(g)分别为原始图像、Pspnet、deeplabv3+、HRnet、transunet、本文方法和手动标记的分割结果图。

图12利用柱状图表达了不同算法同一指标的差异性，图11通过量化的指标数据，表达了不同算法间不同指标的差异性，本文根据图11对各对比算法进行评价分析。

图11数据集1中，本文所提方法的phash为95.32％，表明分割结果与手动分割结果更加相似；VOE为0.0322，表明分割错误率较低，具有更好的目标边缘像素分割能力；RVD为0.0323，本文所提方法的目标分割面积与手动目标分割面积最接近，目标边缘区分具有更好的优势；MAE为0.0017，本文所提方法的分割结果与手动分割结果平均绝对误差最小，分割出的图像质量最优；SEN为0.9432，表明本文所提方法的目标分割结果和手动目标分割结果的交集比最小，边界敏感，边缘分割效果最优。对比算法HRnet的HD为6.71，尽管略优于所提方法的实验值，但所提方法的其他指标均优于其他对比算法。因此，我们的算法较其他对比算法具有更好的性能。

图11数据集2中，本文所提算法的VOE、RVD、MAE和SEN分别为0.0466、0.0476、0.0015和0.9224，均优于其他对比算法；尽管phash为92.83％，HD为7.57，稍劣于其他对比算法，但总体上表明所提算法具有更大的优势，在数据集2中对目标区域边缘分割更准确，分割出的目标区域面积更接近手动分割面积，错误率最低。

图11数据集3中，多目标的数据在一定程度上会造成误差的累计，所以本文算法在数据集3上的表现低于数据集1和数据集2。本文所提算法的phash、VOE、RVD和SEN分别为92.31％、0.0615、0.0648和0.9168，均优于其他对比算法；而MAE为0.0028，HD为8.24，介于其他对比算法之间，但总体上表明所提算法具有更好的分割效果，分割结果更接近于手动分割结果。

总体而言，本文提出方法在三类数据集上具有良好的评价结果，其中VOE、RVD和SEN在三个数据集上最优，其他指标也具有一定的优势，通过与流行的分割算法对比，能克服复杂背景和光照条件下的干扰，对水漂垃圾的分割具有边缘分割准确、误差较小和分割目标面积准确的优点。

本发明针对水面漂浮垃圾图像检测过程中，小尺寸目标分割提取效果不佳的问题，提出了一种基于Li-DWT和PD-FCMSPCNN的水面漂浮垃圾小目标图像分割方法，对于不同类型的水面漂浮垃圾小目标图像可有效简化计算，提高分割精度。该方法先将侧抑制网络Li与DWT离散小波变换融合，可有效降低图像的复杂背景干扰，增强目标轮廓的边缘特征；再去除FCMSPCNN网络的参数β，引入幅度参数V和辅助参数P，微调动态门限，构建了新的PD-FCMSPCNN网络，进一步简化网络计算、提高分割精度；最后通过优化多尺度形态学滤波的结构元素SE对分割结果分别进行膨胀和闭运算操作，连接边缘轮廓断点，平滑分割结果。将所提方法与其他先进算法进行比较，并通过黄河兰州段三类水面漂浮垃圾视频数据集进行实验表明，phash为95.32％、92.83％和93.75％，IoU分别为89.78％、86.89％和84.68％，VOE为0.0322、0.0466和0.0820，RVD分别为0.0323、0.0476和0.0878，MAE为0.0017、0.0015和0.0025，HD为7.37、7.57和7.86，SEN为0.9432、0.9224和0.8893，所提方法具有一定的优越性，获得了较为理想的分割效果。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种水面漂浮垃圾图像自适应分割提取方法，其特征在于，包括以下步骤：

(1)将获取到的图像数据集进行处理，将图片统一大小像素515*290，作为数据集；

(2)输入图像进行离散小波变换，将图像分为高频和低频分量，低频分量用结合侧抑制网络的低通高斯滤波，去噪的同时增强低频分量的边缘特征，最后通过小波逆变换对图像进行复原去噪；

(3)将去噪后的图像输入改进的PD-FCMSPCNN模型，计算出衰减因子α、辅助参数P和幅度参数V，对阈值动态微调，生成具有正态分布特性的突触权重矩阵W_ijkl，对输入图像进行分割；

(4)利用多尺度的形态学滤波对分割结果进行处理，计算不同尺度的结构元素SE，连接分割断点，平滑分割结果，完成整个分割流程。

2.根据权利要求1所述的一种水面漂浮垃圾图像自适应分割提取方法，其特征在于，所述步骤(2)中的离散小波函数构建为下式：

其中ψ(t)为基本小波，j表示缩放的大小，k表示平移尺度，j,k∈X，X代表输入图像集合，ψ_j,k(t)表示

则离散小波变换构建为下式：

3.根据权利要求2所述的一种水面漂浮垃圾图像自适应分割提取方法，其特征在于，所述步骤(2)中高斯滤波构建为下式：

其中σ²为方差，u,v为输入像素点坐标，u,v∈X，定义高斯核大小为(2n+1)×(2n+1)，当取n＝2时，高斯核函数构建为：

经过计算，高斯核设置为：

4.根据权利要求3所述的一种水面漂浮垃圾图像自适应分割提取方法，其特征在于，所述步骤(2)中侧抑制网络构建如下式：

e_i,j为某点像素的输入；r_i,j为该点的输出；l为抑制野的大小；k_mm为侧抑制系数矩阵，该矩阵将两个感受器a(i,j)b(m,n)之间的欧式距离

为侧抑制系数的计算方式，使其具有正态分布的特点，经过计算并归一化处理，本发明的参数设置为：

为了使高斯滤波能够更好地处理低频分量图像，实现目标边缘增强的效果，将侧抑制融入高斯核，表示为：

H＝f(u,v)^TK_mm

经过计算，高斯核设置为：

5.根据权利要求1所述的一种水面漂浮垃圾图像自适应分割提取方法，其特征在于，所述步骤(3)中，PD-FCMSPCNN模型设置为：

E_ij[n]＝e^-αE_ij[n-1]+P+VY_ij[n]

较于传统的FC-MSPCNN模型，衰减因子α的计算公式进行改进，将αF、αL和αE三个衰减常数统一定义为α参数，为了简化运算，去除U_ij内部活动项中的参数链接强度β，为减少参数设置的复杂性，对动态门限E_ij引入辅助参数P和幅度参数V，实现阈值的动态微调，计算出具有正态分布特性的突触权重矩阵W_ijkl，其中S′为归一化的OTSU算法分割阈值，

突触权重矩阵W_ijkl在设置该参数时突出权重矩阵具有正态分布的特点，其标准差为1，通过计算，权重矩阵W_ijkl为：

动态阈值中的幅度参数V和辅助参数P的表达式被定义为：

V＝e^-α+e^-2α

辅助参数P的作用是对动态阈值的变化值进行微调，该参数增加了PD-FCMSPCNN模型的调节范围，其表达式被定义为：

P＝e^-3α+e^-4α

6.根据权利要求1所述的一种水面漂浮垃圾图像自适应分割提取方法，其特征在于，所述步骤(4)中，对于分割后的图像f(x,y)，形态学滤波的灰度膨胀公式为：

其中，SE为结构元素，D_SE是结构元素SE的定义域，选择正方形的矩阵作为结构元素，形态学滤波的灰度闭运算定义为：

即闭运算在膨胀操作的基础上进行，闭运算可以去除比结构元素更小的暗色细节，在使用过程中，将膨胀、腐蚀、开运算和闭运算混合搭配，实现更好的滤波效果，为了达到更好的去噪效果，根据侧抑制离散小波变换的侧抑制系数和图像的八领域关联特性，将结构元素SE尺度设置为3*3和5*5，并将其归一化，如下式：

改进后的多尺度形态学滤波为：

Images