CN114781514A - 一种融合注意力机制的漂浮物目标检测方法及系统 - Google Patents

Abstract

本发明属于机器视觉技术领域，提供了一种融合注意力机制的漂浮物目标检测方法及系统，本发明在YOLOv4‑tiny模型中，以CSPDarknet53‑tiny作为特征提取网络，在特征金字塔结构中嵌入卷积注意力模块，提高了网络对通道域和空间域的关注，增强了待检目标特征，抑制了背景特征，实现了漂浮物目标检测模型实时性和检测精度的要求；同时，在K均值聚类算法中，采用聚类中心的边界框与周围目标边界框面积的交并比作为准则函数，基于改进的K均值聚类算法聚类分析漂浮物尺寸信息，重新生成更为精准的先验框对目标进行定位，提升了检测精度。

Description

一种融合注意力机制的漂浮物目标检测方法及系统

技术领域

本发明属于机器视觉技术领域，尤其涉及一种融合注意力机制的漂浮物目标检测方法及系统。

背景技术

水利工程普遍存在漂浮物问题，漂浮物的聚集妨碍水利工程的正常运营；漂浮物的腐烂造成覆盖水体氮磷水平和污染物浓度明显提高，严重影响水质。目前普遍应用的清漂手段依旧是依赖于人工识别，这种识别方式不仅耗费大量的人力物力，而且存在识别范围小、识别滞后等诸多局限。因此，能够快速准确的识别出水利工程中的漂浮物，及时提供漂浮物的位置信息成为了提高治漂能力的必要条件。

发明人发现，随着深度学习在目标检测领域的深入应用，以YOLO、SSD为代表的单阶段目标检测算法在实时目标检测任务中应用广泛，但由于单阶段目标检测算法将目标检测问题转化为回归问题，略去候选区域生成，不能够很好的将目标区域和背景区域分开，容易造成漏检和误检问题；复杂度更高的网络结构在各种应用中可以带来明显的精度提升，但同时也带来了极大的参数和计算开销，不能适用于水流较快环境中漂浮物的检测。

发明内容

本发明为了解决上述问题，实现复杂背景下水面漂浮物的高精度实时检测，提出了一种融合注意力机制的漂浮物目标检测方法及系统，本发明中提出了一种融合注意力机制的漂浮物目标检测算法CBAM-YOLOv4-tiny，能够在满足实时性的基础上，提供更高的检测精度，可为实现水利工程中快速清漂排漂，提高治漂能力提供参考。

为了实现上述目的，本发明是通过如下的技术方案来实现：

第一方面，本发明提供了一种融合注意力机制的漂浮物目标检测方法，包括：

获取水流环境的图像信息；

依据所述图像信息，以及预设的漂浮物目标检测模型，得到漂浮物检测结果；

其中，所述漂浮物目标检测模型由YOLOv4-tiny模型训练得到，所述YOLOv4-tiny模型中，以CSPDarknet53-tiny作为特征提取网络，在特征金字塔结构中嵌入卷积注意力模块；同时，使用K均值聚类算法聚类分析漂浮物尺寸信息，所述K均值聚类算法中，以面积交并比作为准则函数。

进一步的，训练所述漂浮物目标检测模型时，获取训练用样本图像信息后，对样本图像信息进行标注，通过空间变换和色域变换对标注后的样本图像进行数据增广。

进一步的，所述YOLOv4-tiny模型包括骨架网络、颈部结构和预测端。

进一步的，所述卷积注意力模块包括通道注意力模块和空间注意力模块，所述卷积注意力模块沿着通道和空间两个独立的维度依次推断注意力图，将注意力图和输入特征图相乘实现自适应地特征优化。

进一步的，所述通道注意力模块通过探索输入特征的通道关系突出关键通道，抑制其余通道；对于输入特征，所述通道注意力模块分别进行全局最大池化和全局平均池化，池化结果输入共享权值的多层感知机进行处理，处理结果相加后取归一化获得每个通道的通道注意力权重。

进一步的，所述空间注意力模块利用特征的空间关系生成空间注意图，突出包含重要信息的像素点；对于经过所述通道注意力处理过的输入特征，在每个特征点的通道上取最大值和平均值后进行堆叠，然后利用卷积操作调整通道数，最后取归一化获得每个特征点的空间注意力权重。

进一步的，K均值聚类算法中，采用聚类中心的边界框与周围目标边界框面积的交并比作为准则函数。

第二方面，本发明还提供了一种融合注意力机制的漂浮物目标检测系统，包括：

数据采集模块，被配置为：获取水流环境的图像信息；

检测模块，被配置为：依据所述图像信息，以及预设的漂浮物目标检测模型，得到漂浮物检测结果；

其中，所述漂浮物目标检测模型由YOLOv4-tiny模型训练得到，所述YOLOv4-tiny模型中，以CSPDarknet53-tiny作为特征提取网络，在特征金字塔结构中嵌入卷积注意力模块；同时，使用K均值聚类算法聚类分析漂浮物尺寸信息，所述K均值聚类算法中，以面积交并比作为准则函数。

第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的融合注意力机制的漂浮物目标检测方法的步骤。

第四方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的融合注意力机制的漂浮物目标检测方法的步骤。

与现有技术相比，本发明的有益效果为：

1、本发明在YOLOv4-tiny模型中，以CSPDarknet53-tiny作为特征提取网络，在特征金字塔(FPN)结构中嵌入卷积注意力模块(Convolutional Block Attention Module，CBAM)，提高了网络对通道域和空间域的关注，增强了待检目标特征，抑制了背景特征，实现了漂浮物目标检测模型实时性和检测精度的要求；同时，在K均值聚类算法中，采用聚类中心的边界框与周围目标边界框面积的交并比作为准则函数，基于改进的K-means算法聚类分析漂浮物尺寸信息，重新生成更为精准的先验框对目标进行定位，提升了检测精度；

2、本发明改进后的目标检测网络所占内存仅为24.3MB，便于部署在边缘设备为水利工程中清漂工作提供技术支持。

附图说明

构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。

图1为本发明实施例1的融合注意力机制的轻量级目标检测算法CBAM-YOLOv4-tiny的流程图；

图2为本发明实施例1的卷积注意力模块示意图；

图3为本发明实施例1的通道注意力模块；

图4为本发明实施例1的空间注意力示意图；

图5为本发明实施例1的改进的k-means聚类算法聚类结果示意图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

实施例1：

本实施例提供了一种融合注意力机制的漂浮物目标检测方法，包括：

获取水流环境的图像信息；可以理解的，获取的图像信息可以是水流表面的静态图像信息或动态图像新型；此处的动态图像信息指的是不断切换的图像，或者经视频信息提取的连续的图像，可以理解的为采集的同一采集区域内不同时刻的水流，或者水流流经不同区域的多个连续/非连续图像；

依据所述图像信息，以及预设的漂浮物目标检测模型，得到漂浮物检测结果；可以理解的，所述检测结果以及训练漂浮物目标检测模型时的输出结果，可以是漂浮物在图像中的位置、对漂浮物的判断和/对漂浮物的分类等。

其中，所述漂浮物目标检测模型由YOLOv4-tiny模型训练得到，所述YOLOv4-tiny模型中，以CSPDarknet53-tiny作为特征提取网络，在特征金字塔结构中嵌入卷积注意力模块；同时，使用K均值聚类算法聚类分析漂浮物尺寸信息，所述K均值聚类算法中，以面积交并比作为准则函数。

本实施例的主要步骤包括：

S1、采集真实场景下水面漂浮物样本，对样本图像进行数据增广操作，并采用标注软件labelimg对漂浮物进行数据标注，构建漂浮物数据集并根据比例划分为训练集、验证集和测试集；

S2、构建融合注意力机制的目标检测网络结构(CBAM-YOLOv4-tiny)；

S3、基于改进的K-means算法聚类分析漂浮物尺寸信息，重新生成更为精准的先验框对目标进行定位；

S4、基于迁移学习策略引入大型数据集预训练权重，使用步骤S1构建的水面漂浮物数据集对步骤S2中构建的CBAM-YOLOv4-tiny目标检测网络进行训练；

S5、使用步骤S4训练好CBAM-YOLOv4-tiny目标检测网络在步骤S1中划分的漂浮物测试集上进行性能检测。

步骤S1中，对采集漂浮物样本图像进行数据标注和预处理后，划分为训练集、验证集和测试集；具体包括：

S1.1、基于水利工程附近布设的前端设备对真实场景下的漂浮物样本进行采集，对采集的样本进行筛选，通过调节色相、对比度、饱和度和亮度对样本色域变换，通过随机缩放、平移、翻转、随即拼接等对样本图像进行空间变换；前端设备可以是摄像机或硬盘录像机等；

S1.2、采用标注工具labelimg对样本图像进行人工标注，标注文件保存为xml格式，构建PASCAL VOC2007的数据集，XML文件内包含对应图像的路径、标注名称以及边框坐标等信息；可以根据8：1：1的比例划分为训练集、验证集和测试集；

S1.3、对标注待检测目标样本图像进行数据增广预处理，具体包括：图像平移、图像翻转、图像裁剪拼接、Mix和Mosaic数据增强等空间变换，调整色相、对比度、饱和度和亮度等色域变换。

步骤S2构建的融合注意力机制的目标检测网络结构(CBAM-YOLOv4-tiny)具体包括如下步骤：

S2.1、构建的CBAM-YOLOv4-tiny网络结构主要包括三部分：骨架网络(backbone)、颈部结构(stem)和预测端(head)；

S2.2、将YOLOv4-tiny算法原有的以CSPDarknet53-tiny作为特征提取网络，在特征金字塔(FPN)结构中嵌入卷积注意力模块(Convolutional Block Attention Module，CBAM)，提高网络对通道域和空间域的关注，增强待检目标特征抑制背景特征；

S2.3、基于改进的K-means算法聚类分析漂浮物尺寸信息，重新生成更为精准的先验框对目标进行定位。

步骤S3中利用已构建的CBAM-YOLOv4-tiny目标检测模型对上述漂浮物训练集进行迭代训练，从训练得到的一系列目标检测模型中挑选出精度最高的模型作为最优目标检测模型；具体包括如下：

S3.1、基于迁移学习策略对步骤S2中构建的融合注意力机制的目标检测网络(CBAM-YOLOv4-tiny)进行预训练，导入大型数据集(如ImageNet数据集、COCO数据集)下训练过的CSP-DarkNet53-tiny权重作为初始权重；

S3.2、采用步骤S1中构建的漂浮物训练集对预训练模型进行训练，通过微调对轻量化模型进行参数优化，得到微调后的CBAM-YOLOv4-tiny目标检测模型；

S3.3、基于随机梯度下降法，利用漂浮物训练集对微调后的模型进行冻结迭代训练和解冻迭代训练，得到训练过后的目标检测模型，从上述训练得到的一系列目标检测模型中选择精度最高的检测模型作为最优目标检测模型。

S4.3、将测试集中待检图像输入到所述最优目标检测模型，得到该图像的目标检测结果，利用深度学习框架对最优CBAM-YOLOv4-tiny目标检测模型进行初始化。

本实施例提出了一种融合注意力机制的轻量级目标检测算法CBAM-YOLOv4-tiny，用于对复杂背景下水面漂浮物的目标检测；在YOLOv4-tiny目标检测网络基础上，嵌入卷积注意模块；基于改进的K-means算法聚类分析漂浮物尺寸信息，重新生成更为精准的先验框对目标进行定位，提升检测精度；改进后的目标检测网络所占内存仅为24.3MB，便于部署在边缘设备为水利工程中清漂工作提供技术支持。

实施例2：

为了进一步对实施例1进行说明，本实施例提供了一种融合注意力机制的漂浮物目标检测方法，如图1所示，本实施例提出了一种融合注意力机制的轻量级目标检测算法CBAM-YOLOv4-tiny，具体而言：

算法遍历整张输入样本图像，通过构建的CBAM-YOLOv4-tiny模型提取样本图像的特征信息，回归出样本目标的类别和边界框；

构建的CBAM-YOLOv4-tiny网络主要包括骨架网络(backbone)、颈部结构(stem)和预测端(head)三部分，其中，所述骨架网络(backbone)为CSP-DarkNet53-tiny结构，所述颈部结构(stem)为嵌入CBAM模块的FPN结构，所述预测端(head)为YOLO-Head。

本实施例中引入的卷积注意力模块CBAM如图2所示，具体而言：

本实施例中的CBAM是一种结合通道注意力模块(Channel Attention Module，CAM)和空间注意力模块(Spatial Attention Module，SAM)的混合注意力模块；如图2所示，给定一个特征图，CBAM会沿着通道和空间两个独立的维度依次推断注意力图，将注意力图和输入特征图相乘实现自适应地特征优化。

图3所示，为实施例中涉及的通道注意力模块和空间注意力示意图，具体而言：

所述标通道注意力模块(CAM)通过探索输入特征的通道关系突出关键通道，抑制其余通道；对于输入特征，所述通道注意力模块分别进行全局最大池化(Max-Pooling)和全局平均池化(Average-Pooling)，池化结果输入共享权值的多层感知机(Shared Muti-Layer Perception，MLP)进行处理，处理结果相加后取Sigmoid归一化获得每个通道的通道注意力权重；

如图4所示，所述空间注意力模块(SAM)利用特征的空间关系生成空间注意图，突出包含重要信息的像素点；对于经过通道注意力处理过的输入特征，在每个特征点的通道上取最大值和平均值后进行堆叠，然后利用卷积操作调整通道数，最后取Sigmoid归一化获得每个特征点的空间注意力权重。

如图5所示，为本发明改进的k-means聚类算法聚类结果示意图，经典的K-means聚类算法以欧氏距离作为准则函数，但是在目标检测任务中更适合采用聚类中心的边界框与周围目标边界框面积的交并比(Intersection over Union，IoU)作为准则函数，改进后的K-means聚类算法定义如下：

d(box，center)＝1-IoU(box，center)

式中，box表示数据集中每个周围目标边界框；center为初始聚类中心；IoU(box，center)为两者之间的面积交并比。

CBAM-YOLOv4-tiny目标检测算法包含两个不同尺度(13×13、26×26)的检测头，每个检测头中输入3种初始锚框，初始锚框的聚类结果如图4所示，选择锚框尺寸分别为(17×18)、(36×31)、(44×48)、(76×51)、(99×90)和(239×165)。

本实施例提出的一种融合注意力机制的轻量级目标检测算法CBAM-YOLOv4-tiny的流程图，具体包括如下几个步骤：

S1、采集监控画面下水面漂浮物样本，采用空间变换和色域变换对样本图像进行数据增广操作，并采用标注软件labelimg对漂浮物进行数据标注，构建漂浮物数据集并根据比例划分为训练集、验证集和测试集；

S2、构建融合注意力机制的目标检测网络结构(CBAM-YOLOv4-tiny)；

S3、基于改进的K-means算法聚类分析漂浮物尺寸信息，重新生成更为精准的先验框对目标进行定位；

S4、基于迁移学习策略对步骤S2中构建的融合注意力机制的目标检测网络(CBAM-YOLOv4-tiny)进行预训练，导入大型数据集(如ImageNet数据集、COCO数据集)下训练过的CSP-DarkNet53-tiny权重作为初始权重；

采用构建的漂浮物训练集对预训练模型进行训练，通过微调对CBAM-YOLOv4-tiny模型进行参数优化，得到微调后的CBAM-YOLOv4-tiny目标检测模型；

为了提升时间与资源的有效利用，采取冻结训练的方式，其中freeze-epoch为50。参数优化过程基于随机梯度下降法进行，初始学习率设置为0.01，最终学习率设置为0.0005，动量参数为0.937。基于StepLR优化器等间隔有序调整学习率，其中调整间隔step_size为1，调整倍数gamma为0.94。基于单NVIDIA Quadro P2200显卡的Batch size在冻结阶段调整为8，解冻阶段调整为4。

S5、使用步骤S4训练好的网络模型对步骤S1中划分的漂浮物测试集进行性能检测。本文引入平均精度均值(mean average precision，MAP)以及每秒传输帧数(FramesPer Second，FPS)对改进算法性能进行评价，其中通常采用准确率P(precision)、召回率R(recall)、F1-Score(准确率与召回率的调和平均)、平均精度均值作为模型精度评价指标，通常情况下MAP数值越高目标识别越好。

为了验证改进后的算法在真实场景中的检测效果，将训练好的模型应用于测试集，对不同成像环境下的水面漂浮物样本进行检测，结果如表1所示。

表1不同成像环境下漂浮物检测效果

结果表明：该研究提出算法的平均精度均值(MAP)为87.8％，比原始算法提高了4.6％；在NVIDIA Quadro P2200显卡下处理帧速FPS为92FPS/s，高于YOLOv4-tiny算法的83FPS，可以同时满足复杂背景下水面漂浮物目标检测任务中精度和速度要求。

本实施例对YOLOv4-tiny算法进行改进，提出了一种融合注意力机制的漂浮物目标检测算法CBAM-YOLOv4-tiny；该算法以CSPDarknet53-tiny作为特征提取网络，在原始特征金字塔结构中嵌入卷积注意力模块，提高网络对通道域和空间域的关注，增强待检目标特征抑制背景特征；基于改进的K-means算法聚类分析漂浮物尺寸信息，重新生成更为精准的先验框对目标进行定位；本实施例提出算法的平均精度均值(MAP)为87.8％，比原始算法提高了4.6％；在NVIDIA Quadro P2200显卡下处理帧速(FPS)为92FPS/s，高于YOLOv4-tiny算法的83FPS，可以同时满足复杂背景下水面漂浮物目标检测任务中精度和速度要求。

实施例3：

本实施例提供了一种融合注意力机制的漂浮物目标检测系统，包括：

数据采集模块，被配置为：获取水流环境的图像信息；

检测模块，被配置为：依据所述图像信息，以及预设的漂浮物目标检测模型，得到漂浮物检测结果；

其中，所述漂浮物目标检测模型由YOLOv4-tiny模型训练得到，所述YOLOv4-tiny模型中，以CSPDarknet53-tiny作为特征提取网络，在特征金字塔结构中嵌入卷积注意力模块；同时，使用K均值聚类算法聚类分析漂浮物尺寸信息，所述K均值聚类算法中，以面积交并比作为准则函数。

所述系统的工作方法与实施例1的融合注意力机制的漂浮物目标检测方法相同，这里不再赘述。

实施例4：

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了实施例1所述的融合注意力机制的漂浮物目标检测方法的步骤。

实施例5：

本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了实施例1所述的融合注意力机制的漂浮物目标检测方法的步骤。

以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。

Claims (10)

1.融合注意力机制的漂浮物目标检测方法，其特征在于，包括：

获取水流环境的图像信息；

依据所述图像信息，以及预设的漂浮物目标检测模型，得到漂浮物检测结果；

其中，所述漂浮物目标检测模型由YOLOv4-tiny模型训练得到，所述YOLOv4-tiny模型中，以CSPDarknet53-tiny作为特征提取网络，在特征金字塔结构中嵌入卷积注意力模块；同时，使用K均值聚类算法聚类分析漂浮物尺寸信息，所述K均值聚类算法中，以面积交并比作为准则函数。

2.如权利要求1所述的融合注意力机制的漂浮物目标检测方法，其特征在于，训练所述漂浮物目标检测模型时，获取训练用样本图像信息后，对样本图像信息进行标注，通过空间变换和色域变换对标注后的样本图像进行数据增广。

3.如权利要求1所述的融合注意力机制的漂浮物目标检测方法，其特征在于，所述YOLOv4-tiny模型包括骨架网络、颈部结构和预测端。

4.如权利要求1所述的融合注意力机制的漂浮物目标检测方法，其特征在于，所述卷积注意力模块包括通道注意力模块和空间注意力模块，所述卷积注意力模块沿着通道和空间两个独立的维度依次推断注意力图，将注意力图和输入特征图相乘实现自适应地特征优化。

5.如权利要求4所述的融合注意力机制的漂浮物目标检测方法，其特征在于，所述通道注意力模块通过探索输入特征的通道关系突出关键通道，抑制其余通道；对于输入特征，所述通道注意力模块分别进行全局最大池化和全局平均池化，池化结果输入共享权值的多层感知机进行处理，处理结果相加后取归一化获得每个通道的通道注意力权重。

6.如权利要求4所述的融合注意力机制的漂浮物目标检测方法，其特征在于，所述空间注意力模块利用特征的空间关系生成空间注意图，突出包含重要信息的像素点；对于经过所述通道注意力处理过的输入特征，在每个特征点的通道上取最大值和平均值后进行堆叠，然后利用卷积操作调整通道数，最后取归一化获得每个特征点的空间注意力权重。

7.如权利要求4所述的融合注意力机制的漂浮物目标检测方法，其特征在于，K均值聚类算法中，采用聚类中心的边界框与周围目标边界框面积的交并比作为准则函数。

8.融合注意力机制的漂浮物目标检测系统，其特征在于，包括：

数据采集模块，被配置为：获取水流环境的图像信息；

检测模块，被配置为：依据所述图像信息，以及预设的漂浮物目标检测模型，得到漂浮物检测结果；

其中，所述漂浮物目标检测模型由YOLOv4-tiny模型训练得到，所述YOLOv4-tiny模型中，以CSPDarknet53-tiny作为特征提取网络，在特征金字塔结构中嵌入卷积注意力模块；同时，使用K均值聚类算法聚类分析漂浮物尺寸信息，所述K均值聚类算法中，以面积交并比作为准则函数。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现了如权利要求1-7任一项所述的融合注意力机制的漂浮物目标检测方法的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现了如权利要求1-7任一项所述的融合注意力机制的漂浮物目标检测方法的步骤。

Images