CN115439765A - 基于机器学习无人机视角下海洋塑料垃圾旋转检测方法 - Google Patents

Abstract

本发明提供了一种基于机器学习无人机视角下海洋塑料垃圾旋转检测方法，技术方案包括以下步骤：步骤1）收集海洋塑料垃圾数据并划分数据集，步骤2）对原始YOLOv5模型进行网络结构初始化改进，步骤3）对改进后的YOLOv5模型进行训练，步骤4）利用最终改进后的YOLOv5目标检测模型进行检测：本发明通过改进YOLOv5目标检测算法对无人机视角下海洋垃圾实现精准识别，识别率高，对塑料垃圾的检测精度高，并且改进后的算法检测速度快，能够满足无人机实时检测要求。

Description

基于机器学习无人机视角下海洋塑料垃圾旋转检测方法

技术领域

本发明涉及图像处理及海洋塑料垃圾检测技术领域，具体涉及到一种基于机器学习无人机视角下海洋塑料垃圾旋转检测方法。

背景技术

近年来，由于塑料的持久性和普遍性，塑料垃圾正在破坏、威胁着海洋环境，更为严重的是海洋塑料垃圾已经逐渐进入食物链，危害到海洋生态系统的健康和可持续发展。现在，在海洋中已难以找到未被塑料污染的净土，没有一个海域可以避免这个问题。海洋垃圾的处理逐渐被人们重视，作为传统环卫机制由陆地向近海海域的延伸，“海上环卫”制度是有效治理近海海洋垃圾的重要顶层设计，是推进生态文明建设的重要抓手。

目前大部分的海洋垃圾是通过相关人员定期进行人工打捞，效率低下，基于无人机的目标检测作为一个计算机视觉技术可以帮助“海上环卫”提高处理海上垃圾的效率，但目前该技术还存在以下缺陷：①YOLOv5对密集小目标的检测效果没有双阶段的方式好，这使得在无人机场景下的海洋塑料垃圾检测较为困难；②基于双阶段的旋转目标检测的速度不足以支持无人机进行实时海洋垃圾检测。

发明内容

针对现有技术中的问题，本发明提供了一种基于机器学习无人机视角下海洋塑料垃圾旋转检测方法，通过改进YOLOv5目标检测算法对无人机视角下海洋垃圾实现精准识别，并且改进后的算法能够满足无人机实时检测的速度。

为实现上述目的，本发明是通过以下技术方案实现的：

基于机器学习无人机视角下海洋塑料垃圾旋转检测方法，包括以下步骤：

步骤1）收集海洋塑料垃圾数据并划分数据集：

采集海洋塑料垃圾数据，对海洋塑料垃圾数据进行分类旋转框的标注，并将处理好的数据集划分为训练集、验证集以及测试集；

步骤2）对原始YOLOv5模型进行网络结构初始化改进：

通过在原始YOLOv5基础上优化网络结构，得到改进后的YOLOv5模型；在所述改进后的YOLOv5模型中，采用包括DownSampleFirst结构、DownSample结构、resblock结构替换原始YOLOv5的骨干网络，其中DownSample层在原始YOLOv5原C3基础上增加了两层卷积，且将原始YOLOv5颈部网络中的C3结构替换为多层卷积，并在下采样之前增加一层卷积；

步骤3）对改进后的YOLOv5模型进行训练：

步骤3.1）将步骤1中的训练集输入上述步骤2中得到的改进后的YOLOv5模型，其中特征金字塔网络特征提取模块把训练集中特征图的低分辨率、高语义信息的高层特征信息和高分辨率、低语义信息的低层特征信息进行自上而下的侧边连接，使得所有尺度下特征图的特征信息都有丰富的语义信息；

步骤3.2）设置训练参数：学习率设置为0.001，输入图片大小调整为960*960；

步骤3.3）将步骤3.1中提取的特征图进一步输入到改进后YOLOv5模型的颈部网络，使用SPP模块实现局部特征和全局特征的特征图融合，丰富最终特征图的表达能力，采用两个上采样和两个下采样，输出加强后的海洋塑料垃圾特征图；

步骤3.4）将步骤3.3输出的加强特征图输入到改进后YOLOv5模型的头部网络，进行不同尺度的检测，并且在每一层都设置大小不同的anchor；

步骤3.5）将步骤3.4所获得的对训练集的初步检测结果代入损失函数中，各类损失共同促进网络权重参数的更新，各类损失计算迭代结束后，利用步骤1的验证集验证模型效果，而后得到最终改进后的YOLOv5目标检测模型；

步骤4）利用最终改进后的YOLOv5目标检测模型进行检测：

将步骤1的测试集输入到步骤3.5得到的最终改进后的YOLOv5目标检测模型进行检测，得到海洋塑料垃圾数据检出结果。

进一步的，步骤1中的海洋塑料垃圾数据由无人机进行拍摄采集，标注框由人工进行旋转框标注处理。

进一步的，步骤1中对于旋转框的定义方式采用180°范围内的五参数法，该定义法包含五个参数（x，y，w，h，θ）。其中，x和y为旋转坐标系的中心坐标，θ为旋转框长边h与x轴所成的夹角，此时角度范围为(−90° , 90°]。

进一步的，对于步骤1中标注好的数据集进行数据增强操作，例如，给图片增加噪点等。

进一步的，在步骤2中，将训练集的特征图先送入DownSampleFirst结构，DownSampleFirst结构包括卷积层和mish激活函数，将分支卷积后的特征图再通过concat操作进行多尺度的特征融合，DownSample结构包括卷积层、残差模块和mish激活函数，再通过concat操作进行多尺度的特征融合。

进一步的，在步骤3.4中，头部网络对特征图进行三个不同尺度的检测，所述的三个不同尺度包括：19*19、38*38、76*76 。

进一步的，在步骤3.5中所述的损失函数描述为：

(1)

其中，回归部分的损失函数描述为：

(2)

式中，

，

式中：

为交并比的平均值，

为定位

权重，默认设置为1，N表示锚框数量，

表示预测的框，

表示真实的框，

表示预测框的角度，

表示真实框的角度，

表示预测框的坐标，

表示真实框的坐标。

本发明与现有技术相比，其有益之处在于：

（1）与现有的旋转目标检测方法相比，识别率高，对塑料垃圾的检测精度有很大的提高，在无人机检测阶段取得了较好的检测效果；

（2）与现有的旋转目标检测方法相比，检测速度快，检测速度最高可达到63fps，能够满足无人机实时检测要求。

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明做详细地描述。

附图说明

图1为数据集构建的流程图。

图2为本发明的流程图。

图3为数据分类标注的旋转框定义方法示意图。

图4为YOLOv5修改替换后的部分骨干网络结构图（包含DownSampleFirst结构）。

图5为YOLOv5修改替换后的部分骨干网络结构图（包含DownSample结构和resblock结构）。

图6为YOLOv5修改替换后的特征融合结构图。

图7为图6中的SPP模块结构图。

图8为本发明检测方法与已有网络结构的检测性能结果对比。

具体实施方式

本发明提供一种基于机器学习无人机视角下海洋塑料垃圾旋转检测方法，整体流程如图2所示，具体按照以下步骤进行。

步骤1）收集海洋塑料垃圾数据并划分数据集：

利用无人机进行海上拍摄，采集海洋塑料垃圾数据（包括塑料瓶、塑料杯以及塑料袋等）。然后对无人机所拍摄的海洋塑料垃圾进行人工分类旋转框的标注，数据集构建流程如图1所示。对于旋转框的定义方式采用180°范围内的五参数法，该定义法包含五个参数（x，y，w，h，θ）。其中，x和y为旋转坐标系的中心坐标，θ为旋转框长边h与x轴所成的夹角，此时角度范围为(−90° , 90°]，如图3所示。

具体的，数据集采用PASALVOC标注格式，利用rolabelImg标注工具对获得的海洋塑料垃圾图片中的目标进行人工标注，标注文件包括真实目标的矩阵坐标系数。标注后的数据存放在xml格式的标签文件中，先将xml标签文件转换为YOLOv5所需要的txt文件，转换后的格式为（x，y，w，h，θ，c），其中，x，y表示方框中心点坐标；w，h分别表示标注框的短边和长边；θ表示旋转框长边h与x轴所成的夹角，且θ在(−90° , 90°]范围内；c表示类别。

进一步的，对于标注好的数据集进行数据增强操作，例如，给图片增加噪点等。

将处理好的数据集按照8：2：2的比例划分为训练集、验证集以及测试集。

步骤2）对原始YOLOv5模型进行网络结构初始化改进：

在原始YOLOv5基础上进行网络结构的优化，得到改进后的YOLOv5模型。

在所述改进后的YOLOv5模型中，采用图4和图5所示的包括DownSampleFirst结构、DownSample结构、resblock结构替换原始YOLOv5的骨干网络，参见图4、图5所示，其中DownSample层在原始YOLOv5原C3基础上增加了两层卷积，且将原始YOLOv5颈部网络中的C3结构替换为多层卷积，并在下采样之前增加一层卷积，如图6所示。

如图4、图5所示，改进的YOLOv5模型中骨干网络（backbone）用来提取图像中的特征表示，其主要包括DownSampleFirst结构、DownSample结构、resblock结构。将训练集的特征图先送入DownSampleFirst结构，DownSampleFirst结构包括卷积层（Conv）和mish激活函数，将分支卷积后的特征图再通过concat操作进行多尺度的特征融合。DownSample结构以DownSample（64,128,2）层为例进行图例说明，如图5所示，其包括卷积层（Conv）、残差模块（resblock）和mish激活函数，再通过concat操作进行多尺度的特征融合，其中使用残差结构后，为模型增加了一个shortcut，这种shortcut可以动态地调整模型的复杂度，可以避免梯度消失的问题。

步骤3）利用步骤1中准备好的数据集对步骤2中改进后的YOLOv5模型进行训练，获得最终改进后的YOLOv5目标检测模型，作为海洋塑料垃圾旋转目标检测模型。

步骤3.1）将步骤1中的训练集输入上述步骤2中得到的改进后的YOLOv5模型，其中特征金字塔网络特征提取模块把训练集中特征图的低分辨率、高语义信息的高层特征信息和高分辨率、低语义信息的低层特征信息进行自上而下的侧边连接，使得所有尺度下特征图的特征信息都有丰富的语义信息。

步骤3.2）设置训练参数：学习率设置为0.001，输入图片大小调整为960*960 。

步骤3.3）将步骤3.1中提取的特征图进一步输入到改进后YOLOv5模型的颈部网络（neck），如图6所示，使用SPP模块实现局部特征和全局特征的特征图融合，丰富最终特征图的表达能力，接着采用了两个上采样和两个下采样，使低层信息中的特征信息完整地传递到高层中，减少了信息传递过程中的损失，提高了低层信息的利用率，增加了海洋塑料垃圾旋转目标检测的精度。此步骤输出加强后的海洋塑料垃圾特征图。

步骤3.4）将步骤3.3中从颈部网络输出的加强特征图输入到改进后YOLOv5模型的头部网络，进行三个不同尺度的检测，三个不同尺度包括：19*19、38*38、76*76 ，并且在每一层都设置大小不同的anchor。由于无人机拍摄物体变化尺度较大，采用多尺度的anchor检测能够有效提高模型的检测精度。

步骤3.5）将步骤3.4所获得的对训练集的初步检测结果代入损失函数中，各类损失共同促进网络权重参数的更新，各类损失计算迭代结束后，利用步骤1的验证集验证模型效果，而后得到最终改进后的YOLOv5目标检测模型。

上述步骤中，对于目标检测损失函数的计算采用Smooth_l1与CIOU相结合的方式进行计算，损失函数描述为：

(1)

其中，回归部分的损失函数描述为：

(2)

式中，

，

式中：

为交并比的平均值，

为定位

权重，默认设置为1，N表示锚框数量，

表示预测的框，

表示真实的框，

表示预测框的角度，

表示真实框的角度，

表示预测框的坐标，

表示真实框的坐标。

步骤4）利用最终改进后的YOLOv5目标检测模型进行检测：

将步骤1的测试集输入到步骤3.5得到的最终改进后的YOLOv5目标检测模型进行检测，得到海洋塑料垃圾数据检出结果，最后实验结果呈现如图8所示。

对所述模型的检测效果进行评价，按照以下方式进行计算：mAP为精度检测值，m为取平均数，Precision为正确率，Recall为召回率，AP为在0至1范围内正确率指标对召回率指标的积分。

图8展示了已有的旋转网络结构（R3Det网络结构）与本发明提供的网络结构对比检测结果，在经过参数对比实验之后，本发明的网络结构检测结果整体平均精度可达到90.31%，相对于原始网络结构提升了五个百分点左右，其中塑料瓶的检测精度可以达到81.64%，塑料杯的检测精度可以达到93.86%，塑料袋的检测精度可以达到95.43%，证明了本发明提供的网络结构的有效性，实验结果表明本发明提供的网络结构检测效果最佳。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (7)

1.基于机器学习无人机视角下海洋塑料垃圾旋转检测方法，包括以下步骤：

步骤1）收集海洋塑料垃圾数据并划分数据集：

采集海洋塑料垃圾数据，对海洋塑料垃圾数据进行分类旋转框的标注，并将处理好的数据集划分为训练集、验证集以及测试集；

步骤2）对原始YOLOv5模型进行网络结构初始化改进：

通过在原始YOLOv5基础上优化网络结构，得到改进后的YOLOv5模型；在所述改进后的YOLOv5模型中，采用包括DownSampleFirst结构、DownSample结构、resblock结构替换原始YOLOv5的骨干网络，其中DownSample层在原始YOLOv5原C3基础上增加了两层卷积，且将原始YOLOv5颈部网络中的C3结构替换为多层卷积，并在下采样之前增加一层卷积；

步骤3）对改进后的YOLOv5模型进行训练：

步骤3.1）将步骤1中的训练集输入上述步骤2中得到的改进后的YOLOv5模型，其中特征金字塔网络特征提取模块把训练集中特征图的低分辨率、高语义信息的高层特征信息和高分辨率、低语义信息的低层特征信息进行自上而下的侧边连接，使得所有尺度下的特征图都有丰富的语义信息；

步骤3.2）设置训练参数：学习率设置为0.001，输入图片大小调整为960*960；

步骤3.3）将步骤3.1中提取的特征图输入到改进后YOLOv5模型的颈部网络，使用SPP模块实现局部特征和全局特征的特征图融合，丰富最终特征图的表达能力，采用两个上采样和两个下采样，输出加强后的海洋塑料垃圾特征图；

步骤3.4）将步骤3.3输出的加强特征图输入到改进后YOLOv5模型的头部网络，进行不同尺度的检测，并且在每一层都设置大小不同的anchor；

步骤3.5）将步骤3.4所获得的对训练集的初步检测结果代入损失函数中，各类损失共同促进网络权重参数的更新，各类损失计算迭代结束后，利用步骤1的验证集验证模型效果，而后得到最终改进后的YOLOv5目标检测模型；

步骤4）利用最终改进后的YOLOv5目标检测模型进行检测：

将步骤1的测试集输入到步骤3.5得到的最终改进后的YOLOv5目标检测模型进行检测，得到海洋塑料垃圾数据检出结果。

2.如权利要求1所述的基于机器学习无人机视角下海洋塑料垃圾旋转检测方法，其特征在于：步骤1中的海洋塑料垃圾数据由无人机进行拍摄采集，标注框由人工进行旋转框标注处理。

3.如权利要求2所述的基于机器学习无人机视角下海洋塑料垃圾旋转检测方法，其特征在于：步骤1中对于旋转框的定义方式采用180°范围内的五参数法，该定义法包含五个参数（x，y，w，h，θ），其中，x和y为旋转坐标系的中心坐标，θ为旋转框长边h与x轴所成的夹角，此时角度范围为(−90° , 90°]。

4.如权利要求1所述的基于机器学习无人机视角下海洋塑料垃圾旋转检测方法，其特征在于：对于步骤1中标注好的数据集进行数据增强操作。

5.如权利要求1所述的基于机器学习无人机视角下海洋塑料垃圾旋转检测方法，其特征在于：在步骤2中，将训练集的特征图先送入DownSampleFirst结构，DownSampleFirst结构包括卷积层和mish激活函数，将分支卷积后的特征图再通过concat操作进行多尺度的特征融合，DownSample结构包括卷积层、残差模块和mish激活函数，再通过concat操作进行多尺度的特征融合。

6.如权利要求1所述的基于机器学习无人机视角下海洋塑料垃圾旋转检测方法，其特征在于：在步骤3.4中，头部网络对特征图进行三个不同尺度的检测，所述的三个不同尺度包括：19*19、38*38、76*76 。

7.如权利要求1所述的基于机器学习无人机视角下海洋塑料垃圾旋转检测方法，其特征在于：在步骤3.5中所述的损失函数描述为：

(1)

其中，回归部分的损失函数描述为：

(2)

式中，

，

式中：

为交并比的平均值，

为定位

权重，默认设置为1，N表示锚框数量，

表示预测的框，

表示真实的框，

表示预测框的角度，

表示真实框的角度，

表示预测框的坐标，

表示真实框的坐标。

Images