CN115272895A - 一种基于改进yolov5算法的无人机河道污染物巡检方法及系统 - Google Patents

Abstract

本发明提供了一种基于改进YOLOV5算法的无人机河道污染物巡检方法及系统，属于图像识别的技术领域，实现了对河道污染物的高效精准检测。该方法包括：获取河道污染物图像，并生成训练集，利用训练集对神经网络进行训练，获得检测模型；使用目标检测算法YOLOV5基于检测模型对巡检视频进行识别检测，得到初步检测结果；对初步检测结果进行剔除冗余，再次进行识别检测，获得最终检测结果；记录最终检测结果中各类河道污染物的时间及坐标，读取上报异常情况，并统计当前河道各类污染发生的次数。

Description

一种基于改进YOLOV5算法的无人机河道污染物巡检方法及 系统

技术领域

本发明涉及图像识别技术领域，尤其是涉及一种基于改进YOLOV5算法的无人机河道污染物巡检方法及系统。

背景技术

河道是水资源的载体，是关系人类生存和生活的一种最基本自然资源，也是生态环境的组成部分。水资源的开发、利用、管理、保护离不开河道这一重要载体。河道是行洪的唯一通道，其防洪安全、行洪畅通，对抗御洪涝灾害具有重要作用。因此，河道的巡检工作是极其重要的。

目前，河道巡检一般是由工作人员徒步或者乘坐巡逻车利用设备进行沿河道巡检，采集信息，更新数据库。在河道的巡检与治理的过程中，需要实时把握河流的动态变化情况，尤其是河道中污染物堵塞情况，主要包括生活垃圾、固体废弃物、污水及工业废水等。当前，河道巡检费时费力，且无法做到精准有效的排查治理污染物，使巡查人员身心疲惫。

发明内容

本发明的目的在于提供一种基于改进YOLOV5算法的无人机河道污染物巡检方法及系统，实现了对河道污染物的高效精准检测。

第一方面，本发明提供一种基于改进YOLOV5算法的无人机河道污染物巡检方法，包括：

获取河道污染物图像，并生成训练集，利用训练集对神经网络进行训练，获得检测模型；

使用目标检测算法YOLOV5基于检测模型对巡检视频进行识别检测，得到初步检测结果；

对初步检测结果进行剔除冗余，再次进行识别检测，获得最终检测结果；

记录最终检测结果中各类河道污染物的时间及坐标，读取上报异常情况，并统计当前河道各类污染发生的次数。

进一步的，获取河道污染物图像的步骤之前，还包括：

根据河道巡检需求，装载无人机载荷；

部署作业无人机，设定巡飞路线，无人机自动执行河流巡检任务；

巡检视频实时传回后台，通过大屏实时查看河道整体情况并并保存巡查数据。

进一步的，获取河道污染物图像，并生成训练集，利用训练集对神经网络进行训练，获得检测模型的步骤，包括：

基于无人机采集的巡查数据，筛选出其中的河道污染物的图像作为原始数据集，并使用LabelImg工具进行标注，形成河道污染物图像；

随机选择一部分河道污染物图像作为训练集，其余的作为测试集；

采用训练集对神经网络进行特征污染物训练，建立特征污染物数据集的yaml文件，yaml文件包含训练集、验证集图片存放的文件夹的路径、类别数、类别名字，在训练集中找到特征物数据包，建立视觉分析样本库，得到特征物数据集预训练权重；

在Pytorch中构建CNN神经网络，继承nn.Module模块class Net(nn.Module)，改写forward方法def forward(self,x)，其中包括两个(卷积+激活+池化)的模块，接两层全连接层x＝self.pool(F.relu(self.conv1(x)))，然后输出参数x；

定义损失函数及优化器，损失函数采用交叉熵损失函数，优化器采用SGD优化器，训练迭代2000次，在每个epoch的循环中遍历所有训练集的数据；

采集10Hz图像数据，进而对其进行降采样，并删除模糊图像，从而得到最终的河道污染物特征识别专用数据集。

进一步的，损失函数采用交叉熵损失函数，表达式为

其中y_i表示样本i的label，正类为1，负类为0；p_i表示样本i预测为正类的概率。

进一步的，优化器采用SGD优化器，0.001的学习率。

进一步的，使用目标检测算法YOLOV5基于检测模型对巡检视频进行识别检测，得到初步检测结果的步骤，包括：

将视频流接入目标检测网络，YOLOV5神经网络将输入数据集划分成7*7*30的特征图，经过神经网络卷积计算得到输出矩阵；

神经网络分析矩阵计算出边框中心坐标、边框长度、边框宽度及物体置信度；

YOLOV5神经网络执行结束后，依据上述坐标，框选出河道污染物，得到初步检测结果。

进一步的，对初步检测结果进行剔除冗余，再次进行识别检测，获得最终检测结果的步骤，包括：

采用改进算法对初步检测结果进行剔除冗余；

采用改进算法对初步检测结果进行剔除重叠框，将把模型输出的框，按照置信度从大到小进行排序，把排序的结果放置在一个列表中；

从列表中取出排序第一的框，用它与其他框计算交并比，一旦列表中存在其他框与它的交并比大于阈值，那么这些框将会被删除，将这个排序第一的框从这个排序列表中取出出来，放到候选框列表中；

直到排序列表为空，保留剩余框选中的特征物即可达到剔除冗余的目的；

使用上述改进的YOLOV5算法对初步检测结果再次进行识别筛选，获得最终检测结果。

进一步的，该方法还包括：

将异常情况分发至各应急子系统并进行实时告警。

第二方面，本发明还提供一种基于改进YOLOV5算法的无人机河道污染物巡检系统，包括：

训练模块，用于获取河道污染物图像，并生成训练集，利用训练集对神经网络进行训练，获得检测模型；

初步检测模块，用于使用目标检测算法YOLOV5基于检测模型对巡检视频进行识别检测，得到初步检测结果；

修正模块，用于对初步检测结果进行剔除冗余，再次进行识别检测，获得最终检测结果；

最终检测模块，用于记录最终检测结果中各类河道污染物的时间及坐标，读取上报异常情况，并统计当前河道各类污染发生的次数。

本发明提供的基于改进YOLOV5算法的无人机河道污染物巡检方法，是专用于精准识别河道污染物的改进的YOLOV5算法，应用于无人机河道污染物巡检，从而实时有效地监测整条河道，不仅大大的提升了工作的效率，也为当前的河道巡检治理提供了更为创新的方案，实现了对河道污染物的高效精准检测。

相应地，本发明实施例提供的基于改进YOLOV5算法的无人机河道污染物巡检系统，也同样具有上述技术效果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于改进YOLOV5算法的无人机河道污染物巡检方法的流程图；

图2为本发明实施例中步骤S5、S6的详细流程图；

图3为本发明实施例中卷积输出矩阵的示意图；

图4为本发明实施例中交并比的示意图；

图5为本发明实施例提供的基于改进YOLOV5算法的无人机河道污染物巡检系统的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

YOLOV5是一种基于计算机视觉的目标检测算法，其核心思想是利用整张图像作为网络的输入，直接在输出层回归出目标框的位置和目标所属的类别，可以在检测性能上实现端对端的直接优化。YOLOV5的基本实现方法如下：

(1)将一幅图像分成S×S个网格，如果某个目标的中心落在这个网格中，则这个网格就负责预测该目标；

(2)在每个网格中预测B个目标框及目标框的可信度，目标框包含5个参数:(x，y，w，h)及可信度(Confidence)，其中(x，y)表示目标框的中心点坐标，(w，h)表示目标框的宽度和高度；

(3)在每个网格中预测C个目标类别可能性；

(4)在测试阶段将目标类别可能性和可信度相乘，计算出每个目标框的特定类别的可能性。

通过上述过程，YOLOV5从整个训练图像中学习目标对象的特征，在测试阶段利用训练模型进行目标检测。

YOLOV5算法是当前目标检测领域常用的识别精度高的算法，但是该算法对生活垃圾、固体废弃物、污水及工业废水等河道污染物特征识别能力有限，且目前市面上并没有河道污染物特征识别专用的数据集。

近年来，工业无人机得到广泛应用，通过在无人机上装载高清变焦相机、红外热成像云台相机、多光谱分析仪、水质分析仪等设备，可以对区域的河道进行数据抓取，并上传至云端数据处理平台进行AI识别分析。但由于AI识别常规采用的YOLOV5算法对生活垃圾、固体废弃物、污水及工业废水等河道污染物特征识别能力有限，因此，本发明提供了一种专用于精准识别河道污染物的改进的YOLOV5算法应用于无人机河道污染物巡检，从而实时有效地监测整条河道，不仅大大的提升了工作的效率，也为当前的河道巡检治理提供了更为创新的方案。

本发明实施例提供一种基于改进YOLOV5算法的无人机河道污染物巡检方法，包括：

获取河道污染物图像，并生成训练集，利用训练集对神经网络进行训练，获得检测模型。

使用目标检测算法YOLOV5基于检测模型对巡检视频进行识别检测，得到初步检测结果。

对初步检测结果进行剔除冗余，再次进行识别检测，获得最终检测结果。

记录最终检测结果中各类河道污染物的时间及坐标，读取上报异常情况，并统计当前河道各类污染发生的次数。

本发明实施例是专用于精准识别河道污染物的改进的YOLOV5算法，应用于无人机河道污染物巡检，从而实时有效地监测整条河道，不仅大大的提升了工作的效率，也为当前的河道巡检治理提供了更为创新的方案，实现了对河道污染物的高效精准检测。

如图1所示，本发明实施例提供的基于改进YOLOV5算法的无人机河道污染物巡检方法具体实施方式如下：

步骤S1：根据河道巡检需求，装载无人机载荷。

根据河道巡检实际业务需求，选择装载无人机载荷，包括高清变焦相机、红外热成像云台相机、多光谱分析仪、水质分析仪等设备。

步骤S2：部署作业无人机，设定巡飞路线，无人机自动执行河流巡检任务。

将无人机部署在河道沿岸作业场景中，设定好巡飞路线，无人机系统即可自动完成无人机自动起降、图像采集、更换电池等作业。基于地图与自主航线规划功能，无人机可以自动执行河流巡检任务。

步骤S3：巡检视频实时传回后台，通过大屏实时查看河道整体情况并并保存巡查数据。

智能无人机巡检系统在自动执行飞行巡检任务中，无人机系统可以记录高清可见光或者红外巡检图像，无人机将巡检视频(1080p高清)实时传回后台大屏幕，通过大屏幕可实时查看河道整体情况，并保存巡查数据。

步骤S4：获取河道污染物图像，并生成训练集，利用训练集对神经网络进行训练，获得检测模型。

基于步骤S3无人机巡查数据采集到的大量图像，筛选出其中生活垃圾、固体废弃物、污水及工业废水等河道污染物较多的图像作为原始数据集，并使用LabelImg工具进行标注。其中原始数据集图像数量为1200张以上，污染物特征标记目标2000个以上，且小目标(Area<32*32)占标记的一半以上。随机选择1000张图像作为训练集，其余的作为测试集。采用自制训练集对特征污染物(包括生活垃圾、固体废弃物、污水及工业废水等)进行训练，得到特征物数据集预训练权重，之后使用测试集测试推理功能。采集10Hz图像数据，进而对其进行降采样，并删除模糊图像，从而得到最终的河道污染物特征识别专用数据集。具体步骤如下：

步骤S4-1：基于无人机采集的巡查数据，筛选出其中的河道污染物的图像作为原始数据集，并使用LabelImg工具进行标注，形成河道污染物图像。

基于步骤S3无人机巡查数据采集到的大量图像，筛选出其中生活垃圾、固体废弃物、污水及工业废水等河道污染物较多的图像作为原始数据集，并使用LabelImg工具进行标注。LabelImg是图形图像注释工具，支持YOLO格式，用它打开图片后可以创建标注区域，将生活垃圾、固体废弃物、污水及工业废水设定为标签进行标注，然后重复操作直到标注完所有图片。所有图片完成标注后可以在保存的目录看到每张图片对应的.xml文件，xml文件中的关键信息包括图片的名称和每个目标的标定框坐标(xmin，ymin，xmax，ymax)。

步骤S4-2：随机选择一部分河道污染物图像作为训练集，其余的作为测试集。

校验步骤S4-1原始数据集图像数量应为1200张以上，污染物特征标记目标应为2000个以上，且小目标(Area<32*32)占标记的一半以上。在其中随机选择1000张图像作为训练集，其余的作为测试集。

采用自制训练集对特征污染物进行训练，该方法训练的是生活垃圾、固体废弃物、污水及工业废水三类目标的数据集，建立特征污染物数据集的yaml文件，内容包含训练集、验证集图片存放的文件夹的路径、类别数、类别名字。在训练数据集中找到特征物数据包，建立视觉分析样本库，得到特征物数据集预训练权重。

步骤S4-3：在Pytorch中构建CNN神经网络，继承nn.Module模块class Net(nn.Module)，改写forward方法def forward(self,x)，其中包括两个(卷积+激活+池化)的模块，接两层全连接层x＝self.pool(F.relu(self.conv1(x)))，然后输出参数x。

步骤S4-4：定义损失函数及优化器，损失函数采用交叉熵损失函数，优化器采用SGD优化器，训练迭代2000次，在每个epoch的循环中遍历所有训练集的数据。

定义损失函数及优化器，由于模型最后需要预测的结果只有是与否两种情况，对于每个类别我们的预测得到的概率为P和1-P，故损失函数采用交叉熵损失函数，表达式为

其中y_i表示样本i的label，正类为1，负类为0；p_i表示样本i预测为正类的概率。

优化器采用SGD优化器，0.001的学习率。训练迭代2000次，在每个epoch的循环中会遍历所有训练集的数据，随着每2000个batch的学习，模型的损失值(loss)在稳步下降，证明训练状况良好。

步骤S4-5：采集10Hz图像数据，进而对其进行降采样，并删除模糊图像，从而得到最终的河道污染物特征识别专用数据集。

步骤S5：使用目标检测算法YOLOV5基于检测模型对巡检视频进行识别检测，得到初步检测结果。

如图2所示，步骤S5、S6具体包括如下步骤：

步骤S5-1：将视频流接入目标检测网络，YOLOV5神经网络将输入数据集划分成7*7*30的特征图，经过神经网络卷积计算得到输出矩阵，如图3所示。

步骤S5-2：神经网络分析矩阵计算出边框中心坐标、边框长度、边框宽度及物体置信度。

步骤S5-3：YOLOV5神经网络执行结束后，依据上述坐标，框选出河道污染物，得到初步检测结果。

步骤S6：对初步检测结果进行剔除冗余，再次进行识别检测，获得最终检测结果。

由于河道环境复杂多变、垃圾种类繁多且形状不固定，直接采用常规目标检测算法YOLOV5目标检测边框为水平矩形框，最终模型输出上会回归出大量重叠的框，对生活垃圾、固体废弃物、污水及工业废水等河道污染物特征识别产生冗余，精准度有限，因此需要对应用于无人机河道污染物巡检的YOLOV5算法进行优化。

步骤S6-1：采用改进算法对初步检测结果进行剔除冗余。

在计算机视觉目标检测的任务中，anchor based的模型总是会依据一些先验知识对物体的大小进行一些假设，之后，再在图片上把这些假设的框“铺设”出来，进行回归任务。而yolo v3之后到yolo v5则会在金字塔特征提取后的至少3个feature map上，每个feature point上至少“铺设”3个anchor。这样一来，在最终的模型输出上，就会回归出大量的、重叠的框。因此需要采用改进算法剔除冗余。

步骤S6-2：采用改进算法剔除重叠框，首先，把模型输出的框，按照置信度从大到小进行排序，把排序的结果放置在一个列表中。

步骤S6-3：从步骤S6-2排序的列表中，拿出排序第一的框，用它与其他框计算交并比(如图4所示)，一旦列表中存在其他框与它的交并比大于阈值(这里设置阈值为0.5)，那么这些框将会被删除。之后，将这个排序第一的框从这个排序列表中拿出来，放到了一个候选框列表中。

步骤S6-4：重复步骤S6-3，继续拿出当前排序第一的框，放到候选框列表中，然后删除排序列表中与它交并比大于阈值的其他框。直到排序列表为空，保留剩余框选中的特征物即可达到剔除冗余的目的。

步骤S6-5：使用上述改进的YOLOV5算法对步骤S5-3得到的河道污染物检测结果再次进行识别筛选，可以更为精准识别出的生活垃圾、固体废弃物、污水及工业废水等河道污染物。使用上述改进的YOLOV5算法对初步检测结果再次进行识别筛选，获得最终检测结果。

步骤S7：记录最终检测结果中各类河道污染物的时间及坐标，读取上报异常情况，并统计当前河道各类污染发生的次数。

根据AI识别分析结果，记录发现各类河道污染物的时间及坐标，自动读取上报异常情况，并统计当前河道各类污染发生的次数。

步骤S8：将异常情况分发至各应急子系统并进行实时告警。

将步骤S7上报的异常情况分发至各应急子系统并进行实时告警，河道巡检人员可根据实时告警情况，采取针对性的污染物处理措施，通过数字化管理，协助指挥河道巡检治理工作。

如图5所示，本发明实施例还提供一种基于改进YOLOV5算法的无人机河道污染物巡检系统，包括：

训练模块，用于获取河道污染物图像，并生成训练集，利用训练集对神经网络进行训练，获得检测模型；

初步检测模块，用于使用目标检测算法YOLOV5基于检测模型对巡检视频进行识别检测，得到初步检测结果；

修正模块，用于对初步检测结果进行剔除冗余，再次进行识别检测，获得最终检测结果；

最终检测模块，用于记录最终检测结果中各类河道污染物的时间及坐标，读取上报异常情况，并统计当前河道各类污染发生的次数。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于改进YOLOV5算法的无人机河道污染物巡检方法，其特征在于，包括：

获取河道污染物图像，并生成训练集，利用训练集对神经网络进行训练，获得检测模型；

使用目标检测算法YOLOV5基于检测模型对巡检视频进行识别检测，得到初步检测结果；

对初步检测结果进行剔除冗余，再次进行识别检测，获得最终检测结果；

记录最终检测结果中各类河道污染物的时间及坐标，读取上报异常情况，并统计当前河道各类污染发生的次数。

2.根据权利要求1所述的方法，其特征在于，获取河道污染物图像的步骤之前，还包括：

根据河道巡检需求，装载无人机载荷；

部署作业无人机，设定巡飞路线，无人机自动执行河流巡检任务；

巡检视频实时传回后台，通过大屏实时查看河道整体情况并并保存巡查数据。

3.根据权利要求1所述的方法，其特征在于，获取河道污染物图像，并生成训练集，利用训练集对神经网络进行训练，获得检测模型的步骤，包括：

基于无人机采集的巡查数据，筛选出其中的河道污染物的图像作为原始数据集，并使用LabelImg工具进行标注，形成河道污染物图像；

随机选择一部分河道污染物图像作为训练集，其余的作为测试集；

采用训练集对神经网络进行特征污染物训练，建立特征污染物数据集的yaml文件，yaml文件包含训练集、验证集图片存放的文件夹的路径、类别数、类别名字，在训练集中找到特征物数据包，建立视觉分析样本库，得到特征物数据集预训练权重；

在Pytorch中构建CNN神经网络，继承nn.Module模块class Net(nn.Module)，改写forward方法def forward(self,x)，其中包括两个(卷积+激活+池化)的模块，接两层全连接层x＝self.pool(F.relu(self.conv1(x)))，然后输出参数x；

定义损失函数及优化器，损失函数采用交叉熵损失函数，优化器采用SGD优化器，训练迭代2000次，在每个epoch的循环中遍历所有训练集的数据；

采集10Hz图像数据，进而对其进行降采样，并删除模糊图像，从而得到最终的河道污染物特征识别专用数据集。

4.根据权利要求3所述的方法，其特征在于，损失函数采用交叉熵损失函数，表达式为

其中y_i表示样本i的label，正类为1，负类为0；p_i表示样本i预测为正类的概率。

5.根据权利要求3所述的方法，其特征在于，优化器采用SGD优化器，0.001的学习率。

6.根据权利要求1所述的方法，其特征在于，使用目标检测算法YOLOV5基于检测模型对巡检视频进行识别检测，得到初步检测结果的步骤，包括：

将视频流接入目标检测网络，YOLOV5神经网络将输入数据集划分成7*7*30的特征图，经过神经网络卷积计算得到输出矩阵；

神经网络分析矩阵计算出边框中心坐标、边框长度、边框宽度及物体置信度；

YOLOV5神经网络执行结束后，依据上述坐标，框选出河道污染物，得到初步检测结果。

7.根据权利要求6所述的方法，其特征在于，对初步检测结果进行剔除冗余，再次进行识别检测，获得最终检测结果的步骤，包括：

采用改进算法对初步检测结果进行剔除冗余；

采用改进算法对初步检测结果进行剔除重叠框，将把模型输出的框，按照置信度从大到小进行排序，把排序的结果放置在一个列表中；

从列表中取出排序第一的框，用它与其他框计算交并比，一旦列表中存在其他框与它的交并比大于阈值，那么这些框将会被删除，将这个排序第一的框从这个排序列表中取出出来，放到候选框列表中；

直到排序列表为空，保留剩余框选中的特征物即可达到剔除冗余的目的；

使用上述改进的YOLOV5算法对初步检测结果再次进行识别筛选，获得最终检测结果。

8.根据权利要求6所述的方法，其特征在于，还包括：

将异常情况分发至各应急子系统并进行实时告警。

9.一种基于改进YOLOV5算法的无人机河道污染物巡检系统，其特征在于，包括：

训练模块，用于获取河道污染物图像，并生成训练集，利用训练集对神经网络进行训练，获得检测模型；

初步检测模块，用于使用目标检测算法YOLOV5基于检测模型对巡检视频进行识别检测，得到初步检测结果；

修正模块，用于对初步检测结果进行剔除冗余，再次进行识别检测，获得最终检测结果；

最终检测模块，用于记录最终检测结果中各类河道污染物的时间及坐标，读取上报异常情况，并统计当前河道各类污染发生的次数。

Images