CN115497015A - 一种基于卷积神经网络的河流漂浮污染物识别方法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的河流漂浮污染物识别方法，包括：将清洗后的原始河流图像进行切割预处理；将每一个处理好的数据人工识别出污染情况，将其作为该条记录的标签；将处理好的图像和标签作为输入训练卷积神经网络分类模型。本发明使用了残差神经网络，解决了由于网络较深带来的退化现象，使得设计的网络模型能达到足够的深度。通过使用空间和通道注意力机制的融合，对局部和全局的特征进行提取，能够获得更加完善有效的特征信息。本发明不仅可以弥补传统方法在数据特征处理方面的缺陷，提高了识别的效率，另一方面引入的空间和通道两种注意力机制的融合，提高了训练速度以及模型的准确率，通过相关实验验证了方法的有效性。

Description

一种基于卷积神经网络的河流漂浮污染物识别方法

技术领域

本发明涉及深度学习在图像分类领域的应用，具体说是一种基于卷积神经网络的河流漂浮污染物识别方法。

背景技术

图像分类根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法是计算机视觉的实际应用种最重要的一个领域。

传统的河流漂浮污染物的识别主要是通过人工实地或监控观察的方法，这种方式效率不高且需要的人力巨大，加上我国的河流资源丰富，且目前环境监测技术应用较为薄弱、人数不足、监测任务繁重。单一的传统方法不能有效的解决河流的污染漂浮物识别问题。

深度学习技术的发展，使借助视觉技术识别水体污染具有了现实的可能性。通过摄像头拍摄水体图片，利用卷积神经网络检测出水体污染现象，发给报警器信号提示污染物的出现，可以降低人工成本和效率。因此，河流漂浮污染物图像识别的研究，具有理论意义和应用价值。

发明内容

为了提高漂浮污染物的识别效率，满足河流资源有效管理的需求，本发明提供了一种基于卷积神经网络的河流漂浮污染物识别方法，其能有效的对河流漂浮污染物进行识别，提高现有技术的识别速率和准确率。

本发明为实现上述目的所采用的技术方案是：

一种基于卷积神经网络的河流漂浮污染物识别方法，包括以下步骤：

步骤1：摄像头采集原始河流日常的监控图像；对原始图像进行清洗预处理、分割预处理，定位目标河流区域；存储图像信息形成样本集；

步骤2：对样本集图像进行标注获取目标河流区域图像的标签信息，并存储为数据集，再随机分成训练、测试样本集用于训练模型和检测；

步骤3：建立用于河流漂浮污染物识别的神经网络结构；将标注的训练集中的图像数据输入神经网络提取目标特征，获得训练样本集对应的特征向量并进行类别分类，对神经网络模型的网络参数进行迭代训练，获得优化的河流漂浮污染物识别模型；

步骤4：用测试集中的图像进行测试，当识别准确率高于预设时确定当前模型为最终识别模型；

步骤5：通过现场摄像头实时采集现场河流图像，使用模型对待检测图片进行河流漂浮污染物识别，识别出是否包含漂浮污染物的结果并勾画漂浮污染物轮廓、显示地理坐标用于提示报警。

所述清洗预处理为删除由于干扰物遮挡、恶劣天气因素导致的异常图像；

所述分割预处理为根据目标河流在摄像头视角下出现的大致区域对原始图像进行切割划分。

所述图像信息包括：目标河流区域图像、地理位置信息和采集时间。

所述标签信息为用于表征当前目标河流区域是否包含漂浮污染物；

所述训练集train、测试集test包含图像数量的比例为4:1。

所述用于河流漂浮污染物识别的神经网络结构包括：卷积层->第一池化层->多个残差块->注意力机制块->第二池化层->全连接层。

所述类别分类采用二分类方法。

所述的对神经网络模型的网络参数进行迭代训练，包括以下步骤：

步骤1：将网络进行权值的初始化并将预处理后的图片对应的GRBS三通道的二维向量作为输入传入网络中；

步骤2：输入数据经过用于河流漂浮污染物识别的神经网络结构的向前传播得到表征类别分类的输出值；

步骤3：求出网络的输出值与目标值之间的误差；

步骤4：当误差大于期望值时，将误差传回网络中依次求得各层误差，当误差等于或小于期望值时网络收敛，结束训练；

步骤5：根据求得误差进行权值更新，返回步骤2。

所述残差神经网络的残差块结构为二层：

y＝W₂σ_R(W₁x)+W_sx

其中，x是输入，σ_R代表非线性函数ReLU，W₁、W₂和W_s是卷积操作。

所述注意力机制块的结构为：

首先，将第二池化层的输出划分为两个分量X_k1、X_k2，按照步骤1)、2)分别计算，然后再带入按照步骤3)获得注意力机制相似度X′_k；

1)：使用全局平均池GAP来嵌入全局信息，生成信道统计信息

表示一个C/2G×1×1大小的向量空间，通过空间维度H×W收缩X_k1来计算：

通过sigmoid函数激活得到通道注意力机制的输出X′_k1：

X′_k1＝σ(W_cs+b_c)·X_k1

其中，

都是C/2G×1×1大小的系数，σ是sigmoid函数。

步骤2)：对X_k2使用Group Norm获得空间信息，在通过

增强，计算簇总体相似度X′_k2为：

X′_k2＝σ(W_s·GN(X_k2)+b_s)·X_k2

其中，

都是C/2G×1×1大小的系数，GN是归一化方法。

步骤3)：将两个分支连接起来得到X′_k：

一种存储介质，存储介质存储有程序，当程序被加载时执行如上所述的一种基于卷积神经网络的河流漂浮污染物识别方法的步骤，实现实时河流漂浮污染物识别。

一种基于卷积神经网络的河流漂浮污染物识别装置，包括摄像头、处理器、存储器；所述摄像头用于拍摄原始图像；所述存储器存储有程序；所述处理器加载程序执行如上所述的一种基于卷积神经网络的河流漂浮污染物识别方法的步骤，实现实时河流漂浮污染物识别。

本发明的有益效果及优点为：

本发明使用了残差神经网络，解决了由于网络较深带来的退化现象，使得设计的网络模型能达到足够的深度。通过使用空间和通道注意力机制的融合，对局部和全局的特征进行提取，能够获得更加完善有效的特征信息。本发明不仅可以弥补传统方法在数据特征处理方面的缺陷，提高了识别的效率，另一方面引入的空间和通道两种注意力机制的融合，提高了训练速度以及模型的准确率，通过相关实验验证了方法的有效性。

附图说明

图1是一种基于卷积神经网络的河流漂浮污染物识别方法的流程示意图；

图2是残差神经网络构建块示意图；

图3是网络中的注意力机制流程示意图；

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合实例对本发明的技术方案进行进一步说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

如图1所示，一种基于卷积神经网络的河流漂浮污染物识别方法，包括以下步骤：

步骤1：数据采集与预处理。从数据库中获取样本数据，并保存到本地。数据预处理具体过程：人为删除由于设备、恶劣天气等因素导致的异常图像(设备因素异常图像指代由于出现遮挡物导致待检测目标河流未被拍摄到，恶劣天气指代大风、沙尘暴等天气导致目标河流未被拍摄到的模糊图像)，切割保留河流的主要部分，去除其他干扰部分(由于摄像头安装角度位置固定及目标河流在摄像头视角下出现在大致区域内，可以依据经验将实时采集的现场河流图像进行区域切割划分)。处理完成的图片数据作为样本集。同时数据还应该保留每张图片对应的位置信息和采集时间。

步骤2：对样本集中的图像进行标注处理获取目标河流图像的标签信息(标签信息为0表示当前河流图像不包含漂浮污染物，为1表示当前河流图像包含漂浮污染物)，并存储为数据集，随机分成训练、测试样本集用于训练模型和检测；

步骤3：将标注的训练集中的图像输入神经网络提取目标特征(这里的目标特征是向量，要是指的是视觉特征，包括颜色、边缘、轮廓、区域纹理、形状等)，获得训练样本集对应的特征向量(特征向量是整个神经网络最后的结果，即在全连接层后输出结果)并进行类别分类(采用二分类方法)，对整个神经网络模型的网络参数进行微调，获得用于河流漂浮污染物识别的优化模型；

步骤3.1：卷积神经网络的训练过程：

步骤3.1.1：将网络进行权值的初始化并将预处理后的图片对应的RGB三个通道的二维向量(像素位置及灰度信息)作为输入传入网络中；

步骤3.1.2：输入数据经过卷积层->第一池化层->多个残差块->注意力机制块->第二个池化层->全连接层的向前传播得到输出值；(其中残差块也是通过卷积来实现的，也是一种卷积层)。

卷积层作用是局部感知得到全局信息。卷积层的输入是图像的RGB三通道向量，输出进入第一池化。

第一池化层作用主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。输入是上一个卷积层的输出。输出进入残差块。

残差神经网络块，如图2所示。

步骤3.1.2.1：残差神经网络的残差块结构：

1)：它有二层，如下表达式，其中σ_R代表非线性函数ReLU：

其中的x是输入，即第一个池化层的输出，W₁和W₂是卷积操作。

2)：然后通过一个捷径shortcut，和第2个ReLU，获得输出y：

其中，的x是输入，

指的是步骤1)，最后的输出y就是步骤1)的结果加上x。

3)：当需要对输入和输出维数进行变化时(如改变通道数目)，可以在shortcut时对x做一个变换W_s：

其中，

为W₂σ_R(W₁x)，Ws也是卷积操作。

上式可变形为y＝W₂σ_R(W₁x)+W_sx。

如图3所示网络中的注意力机制流程示意图。

步骤3.1.2.2：所述使用的注意力机制：

首先，将残差神经网络构最后的输出y划分为两个分量X_k1、X_k2，按照步骤1)、2)分别计算，然后再带入按照步骤3)计算向量X′_k；

1)：对于通道注意力机制：

通过简单地使用全局平均池(GAP)来嵌入全局信息，生成信道统计信息，如

表示一个C/2G×1×1大小的向量空间，它可以通过空间维度H×W收缩X_k1来计算：

是函数；

通过sigmoid函数激活得到通道注意力机制的输出：

其中，

都是C/2G×1×1大小的系数，函数

σ是sigmoid函数。

步骤2)：对于空间注意力机制：对X_k2使用Group Norm(GN)获得空间信息，在通过

增强：簇总体相似度表达式为：

X′_k2＝σ(W_s·GN(X_k2)+b_s)·X_k2

其中，

都是C/2G×1×1大小的系数，GN是归一化方法。

步骤3)：将两个分支连接起来得到X′_k：

第二池化层作用主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。输入是注意力机制模块的输出。输出进入全连接层。

全连接层做分类器，输入是第二池化层的输出，输出一个二维向量，表征当前图像是否包含漂浮污染物的。

步骤3.1.3：求出网络的输出值与预设目标值(可以设置误差区间范围)之间的误差；

步骤3.1.4：当误差大于期望值时，将误差传回网络中，依次求得全连接层，下采样层，卷积层的误差。各层的误差可以理解为对于网络的总误差，网络应承担多少；当误差等于或小于我们的期望值时表示网络收敛，结束训练。

步骤3.1.5：根据求得误差进行权值更新。然后在进入到第二步。

步骤4:用测试集中的图像进行验证和测试，当识别准确率高于预设阈值时确定当前模型为最终识别模型；

步骤5：通过现场摄像头实时采集现场河流图像，使用模型对待检测图片进行河流漂浮污染物识别，识别出是否包含漂浮污染物的结果并勾画漂浮污染物轮廓显示地理坐标，上传数据库。

步骤6：读取数据库识别结果：如果识别结果是当前河流中存在漂浮污染物，服务器发出消息(或通过界面显示报警文字或通过蜂鸣器进行声音提示)通知工作人员到图片指定的流域进行清理。如果识别结果是没有河流漂浮污染物，则不做处理。

上述具体实施方式用来解释说明本发明，仅为本发明的优选实施例，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改、等同替换、改进等，都落入本发明的保护范围。

Claims (10)

1.一种基于卷积神经网络的河流漂浮污染物识别方法，其特征在于，包括以下步骤：

步骤1：控制摄像头采集原始河流日常的监控图像；对原始图像进行清洗预处理、分割预处理，定位目标河流区域；存储图像信息形成样本集；

步骤2：对样本集图像进行标注获取目标河流区域图像的标签信息，并存储为数据集，再随机分成训练、测试样本集用于训练模型和检测；

步骤3：建立用于河流漂浮污染物识别的神经网络结构；将标注的训练集中的图像数据输入神经网络提取目标特征，获得训练样本集对应的特征向量并进行类别分类，对神经网络模型的网络参数进行迭代训练，获得优化的河流漂浮污染物识别模型；

步骤4：用测试集中的图像进行测试，当识别准确率高于预设时确定当前模型为最终识别模型；

步骤5：通过现场摄像头实时采集现场河流图像，使用模型对待检测图片进行河流漂浮污染物识别，识别出是否包含漂浮污染物的结果并勾画漂浮污染物轮廓、显示地理坐标用于提示报警。

2.根据权利要求1所述的一种基于卷积神经网络的河流漂浮污染物识别方法，其特征在于，

所述清洗预处理为删除由于干扰物遮挡、恶劣天气因素导致的异常图像；

所述分割预处理为根据目标河流在摄像头视角下出现的大致区域对原始图像进行切割划分。

3.根据权利要求1所述的一种基于卷积神经网络的河流漂浮污染物识别方法，其特征在于，

所述图像信息包括目标河流区域图像、地理位置信息和采集时间；

所述标签信息为用于表征当前目标河流区域是否包含漂浮污染物；

所述训练集train、测试集test包含图像数量的比例为4:1。

4.根据权利要求1所述的一种基于卷积神经网络的河流漂浮污染物识别方法，其特征在于，所述用于河流漂浮污染物识别的神经网络结构包括：卷积层->第一池化层->多个残差块->注意力机制块->第二池化层->全连接层。

5.根据权利要求4所述的一种基于卷积神经网络的河流漂浮污染物识别方法，其特征在于，所述类别分类采用二分类方法。

6.根据权利要求4所述的一种基于卷积神经网络的河流漂浮污染物识别方法，其特征在于，所述的对神经网络模型的网络参数进行迭代训练，包括以下步骤：

步骤1：将网络进行权值的初始化并将预处理后的图片对应的GRBS三通道的二维向量作为输入传入网络中；

步骤2：输入数据经过用于河流漂浮污染物识别的神经网络结构的向前传播得到表征类别分类的输出值；

步骤3：求出网络的输出值与目标值之间的误差；

步骤4：当误差大于期望值时，将误差传回网络中依次求得各层误差，当误差等于或小于期望值时网络收敛，结束训练；

步骤5：根据求得误差进行权值更新，返回步骤2。

7.根据权利要求6所述的一种基于卷积神经网络的河流漂浮污染物识别方法，其特征在于，所述残差神经网络的残差块结构为二层：

y＝W₂σ_R(W_lX)+W_sx

其中，x是输入，σ_R代表非线性函数ReLU，W₁、W₂和W_s是卷积操作。

8.根据权利要求4所述的一种基于卷积神经网络的河流漂浮污染物识别方法，其特征在于，所述注意力机制块的结构为：

首先，将第二池化层的输出划分为两个分量X_k1、X_k2，按照步骤1)、2)分别计算，然后再带入按照步骤3)获得注意力机制相似度X′_k；

1)：使用全局平均池GAP来嵌入全局信息，生成信道统计信息

表示一个C/2G×1×1大小的向量空间，通过空间维度H×W收缩X_k1来计算：

通过sigmoid函数激活得到通道注意力机制的输出X′_k1：

X′_k1＝σ(W_cs+b_c)·X_k1

其中，

都是C/2G×1×1大小的系数，σ是sigmoid函数。

步骤2)：对X_k2使用Group Norm获得空间信息，在通过

增强，计算簇总体相似度X′_k2为：

X′_k2＝σ(W_s·GN(X_k2)+b_s)·X_k2

其中，

都是C/2G×1×1大小的系数，GN是归一化方法。

步骤3)：将两个分支连接起来得到X′_k：

9.一种存储介质，其特征在于，存储介质存储有程序，当程序被加载时执行如权利要求1-8任意一项所述的一种基于卷积神经网络的河流漂浮污染物识别方法的步骤，实现实时河流漂浮污染物识别。

10.一种基于卷积神经网络的河流漂浮污染物识别装置，其特征在于，包括摄像头、处理器、存储器；所述摄像头用于拍摄原始图像；所述存储器存储有程序；所述处理器加载程序执行如权利要求1-8任意一项所述的一种基于卷积神经网络的河流漂浮污染物识别方法的步骤，实现实时河流漂浮污染物识别。

Images