CN115862073B - 一种基于机器视觉的变电站危害鸟种目标检测和识别方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的变电站危害鸟种目标检测和识别方法，首先针对变电站附近拍摄的鸟种图像和视频，利用视频图像转换技术提取视频内的图像，并采用改进的SRGAN算法对鸟种图像进行超分辨率重建，构建变电站危害鸟种图像样本库；引入双注意力机制ECANet和CBAM对YOLOv7目标检测模型进行改进，使用多种训练方法对改进YOLOv7鸟种目标检测模型训练和参数设置，并将鸟种图像输入至训练后的改进YOLOv7鸟种目标检测模型中进行测试。本发明可为变电站危害鸟种识别研究和差异化防治提供参考。

Description

一种基于机器视觉的变电站危害鸟种目标检测和识别方法

技术领域

本发明属于变电站监测图像数据处理技术领域，具体涉及一种基于机器视觉的变电站危害鸟种目标检测和识别方法。

背景技术

随着我国生态环境的改善和环保意识的增强，鸟类的数量逐渐增多，活动范围也在扩大，导致鸟类对电网输变电设备安全运行的威胁也越来越大。变电站特殊的地理位置、良好的生态环境和错落有致的构架，都为鸟类的筑巢和活动提供了得天独厚的条件，吸引了大量的鸟类驻足。但是鸟类的筑巢、泄粪和飞行等活动都可能引起相间短路事故，造成设备损坏、停运，同时也给运维人员带来了繁重的鸟巢、鸟粪清理工作。现有的防鸟装置如防鸟挡板、防鸟刺等在实际的应用中具有一定的盲目性，并未能够实现变电站危害鸟种的差异化防治。由于变电站运维人员一般缺乏足够鸟类学知识，巡检过程中难以快速且正确识别出相关鸟种。因此，亟需快速且正确的识鸟工具助力变电站运维人员识鸟。

随着机器视觉和深度学习的快速发展，一阶目标检测算法凭借先验框机制与边界框回归思想，直接提高了模型的检测速度，被广泛应用于工业界。目标检测算法中的卷积神经网络大幅提高了计算机的智能处理与分析水平，使得目标检测算法能够快速且准确识别目标物体。因此，需将目前主流的目标检测算法应用于变电站危害鸟种的检测中，然后部署至相关的边缘设备上进行智能巡检，即保证了运维人员的安全且又降低了人力物力的消耗，也可为变电站运维人员提供识鸟工具。

发明内容

鉴于此，本发明的目的在于提供一种基于机器视觉的变电站危害鸟种目标检测和识别方法，用于准确识别出危害变电站安全的鸟种，为变电站运维人员提供识鸟种工具。

为实现上述目的，本发明提供如下技术方案：一种基于机器视觉的变电站危害鸟种目标检测和识别方法，包括如下步骤：

S1、搭建变电站危害鸟种图像样本库；

S2、建立改进YOLOv7鸟种目标检测模型，包括特征提取网络、特征融合网络和头部预测网络3个部分；

所述特征提取网络依次由5个部分组成：第1个部分由3个CBS模块堆叠组成；第2个部分由CBS模块和MCB模块堆叠组成；第3~5个部分均由TB模块和MCB模块堆叠组成，且每个MCB模块后添加ECANet注意力机制模块；选取特征提取网络第3个部分、第4个部分、第5个部分的输出作为特征融合网络的输入，三个输入特征分别命名为Feat1、Feat2、Feat3；

所述特征融合网络使浅层特征和深层特征充分融合加强特征提取：输入特征Feat1经过CBS模块获得提取特征P1，输入特征Feat2经过CBS模块获得提取特征P2，输入特征Feat3经过SPPCSPC模块和CBS模块获得提取特征P3；提取特征P3经过CBAM注意力机制模块和上采样模块后与提取特征P2进行堆叠融合，再经过MCB模块获得提取特征P4；提取特征P4经过卷积层、上采样模块和CBAM注意力机制模块后与提取特征P1进行堆叠融合，再经过MCB模块获得提取特征P5；提取特征P5经过TB模块和CBAM注意力机制模块后与提取特征P4进行堆叠融合，再经过MCB模块获得提取特征P6；提取特征P6经过TB模块和CBAM注意力机制模块后与提取特征P3进行堆叠融合，再经过MCB模块获得提取特征P7；

S3、设置改进YOLOv7鸟种目标检测模型参数并进行训练；

S4、将待检测鸟种图像输入至训练后的改进YOLOv7鸟种目标检测模型中进行检测。

进一步优选，步骤S1中，针对变电站附近拍摄的鸟种图像和视频，利用视频图像转换技术提取视频内的图像，并采用改进的SRGAN算法对鸟种图像进行超分辨率重建，构建包含N种鸟类的变电站危害鸟种图像样本库，再利用标签制作工具MRLabeler将鸟种图像样本库标注为Pascal VOC数据集格式，最后将标注后的图像样本库划分为训练验证集和测试集，训练验证集再划分为训练集和验证集。

进一步优选，步骤S1中，通过视频图像转换技术提取视频内的图像：利用OpenCV对鸟种图像视频进行处理，每隔20帧提取一次图像，提取出的鸟种图像基于去噪卷积神经网络进行去噪，获得去噪后的鸟种图像。

进一步优选，步骤S1中，改进的SRGAN算法由生成网络和判别网络两部分组成，生成网络共有20层，第1层由卷积核大小为9×9的卷积层和PReLU激活函数组成，第2~17层为叠加的八个残差块，并在每一个残差块后添加SENet注意力机制，第18~19层均由卷积核大小为3×3卷积层、PReLU激活函数和像素重组层组成，第20层由一个卷积核大小为9×9的卷积层构成；判别网络共有11层，第1层由3×3的卷积层和Leaky_ReLU激活函数组成，第2~8层均为CBL模块，并在每一个CBL模块后添加SENet注意力机制，第9层由全局平均池化层构成，第10层由Leaky_ReLU激活函数和1×1的卷积层组成，第11层由1×1的卷积层和Sigmoid函数构成。

进一步优选，每个残差块依次由卷积核大小为3×3卷积层、批归一化层、PReLU激活函数、3×3卷积层、批归一化层组成，其中残差块的残差连接采用点对点相加进行融合。

进一步优选，选取特征提取网络第3部分、第4部分、第5部分的输出作为特征融合网络的输入，使浅层特征和深层特征充分融合加强特征提取，输入特征分别命名为Feat1、Feat2、Feat3。

进一步优选，所述TB模块由2个分支组成，1个分支由最大池化层和CBS模块构成，另1个分支由两个CBS模块构成，2个分支的输出结果进行堆叠。

进一步优选，MCB模块分为4个分支，第1个分支由CBS₁模块组成，第2个分支由CBS₂模块组成，第3个分支由CBS₂、CBS₃、CBS₄模块堆叠组成，第4个分支由CBS₂、CBS₃、CBS₄、CBS₅、CBS₆模块堆叠组成，4个分支进行堆叠输出，并由CBS₇模块进行特征整合，CBS模块由卷积层、批归一化层和SiLU激活函数组成。

进一步优选，SPPCSPC模块依次由CBS模块、池化核为1×1、5×5、9×9和13×13的最大池化层MaxPool、2个CBS模块、残差连接上的CBS模块和堆叠后进行整合的CBS模块。

进一步优选，将融合后的提取特征P5、提取特征P6、提取特征P7分别经过RepConv模块后输出作为头部预测网络的输入，实现对小、中、大目标检测。

进一步优选，训练时，所述RepConv模块结构由3个分支组成，第1个分支由1×1卷积层和批归一化层组成、第2个分支由3×3卷积层和批归一化层组成、第3个分支由1个批归一化层构成，输出为3个分支进行堆叠融合；测试时，RepConv模块由卷积层和批归一化层组成。

进一步优选，步骤S3中，采用大规模数据集对改进YOLOv7鸟种目标检测模型进行预训练，并利用变电站危害鸟种图像样本库对改进YOLOv7鸟种目标检测模型进行重新训练，匹配至变电站危害鸟种识别任务，训练过程中使用Mosaic和Mixup数据增强、Adam优化器、标签平滑训练方法对改进YOLOv7鸟种目标检测模型进行训练，并在训练过程中添加验证评估，增强模型的泛化能力和鲁棒性。

进一步优选，步骤S4中，读取训练过后获得的最优训练权重，将鸟种图像输入至改进YOLOv7鸟种目标检测模型中进行测试，预测结果中剔除重合度高于设定值和置信度得分低于设定值的预测框，实现变电站危害鸟种检测。

与现有技术相比，本发明有益效果：首先，通过视频图像转换技术、SRGAN图像超分辨率重建、图像去噪对变电站危害鸟种图像样本库进行预处理，旨在增加图像样本数量和提高样本质量；然后，并引入双注意力机制ECANet和CBAM对YOLOv7目标检测模型进行改进，增强模型的识别能力；最后，使用训练后的改进YOLOv7鸟种目标检测模型对鸟种图像进行检测，能够实现变电站危害鸟种的智能识别。本发明提出的技术方案在保持较高准确率的同时保证了检测速度，可部署至相关的边缘设备上进行变电站危害鸟种智能检测，为变电站危害鸟种识别研究和差异化防治提供参考。

附图说明

图1为本发明的方法流程图。

图2为改进的SRGAN算法生成网络示意图。

图3为改进的SRGAN算法判别网络示意图。

图4为改进YOLOv7鸟种目标检测模型示意图。

图5为TB模块示意图。

图6为MCB模块示意图。

图7为SPPCSPC模块示意图。

图8为 RepConv模块示意图。

具体实施方式

下面结合实施例对本发明做进一步的描述，有必要在此指出的是以下实施例只是用于对本发明进行进一步的说明，不能理解为对本发明保护范围的限制，该领域的技术熟练人员根据上述发明内容所做出的一些非本质的改进和调整，仍属于本发明保护范围。

一种基于机器视觉的变电站危害鸟种目标检测和识别方法，其流程图如图1所示，包括以下步骤：

S1、搭建变电站危害鸟种图像样本库：针对变电站附近拍摄的鸟种图像和视频，利用视频图像转换技术提取视频内的图像，并采用改进的SRGAN算法对鸟种图像进行超分辨率重建，构建包含N种鸟类的变电站危害鸟种图像样本库，再利用标签制作工具MRLabeler将鸟种图像样本库标注为Pascal VOC数据集格式，最后将标注后的图像样本库划分为训练验证集和测试集，训练验证集再划分为训练集和验证集；

本实施例中，选取了白鹭、八哥、黑鹳、池鹭、红隼、东方白鹳、大鸨、丝光椋鸟、戴胜、黑领椋鸟、10种鸟类作为识别对象，收集每种鸟类视频和图像资源，每种鸟类的图像150幅，利用OpenCV对鸟种图像视频进行处理，每隔20帧提取一次图像，提取出的鸟种图像基于去噪卷积神经网络DnCNN进行去噪，每种鸟类获得去噪后的150幅图像，每种鸟类共计300幅图像，共计3000张图像样本。采用改进的SRGAN算法对3000张图像样本进行超分辨率重建，构建包含10种鸟类的变电站危害鸟种图像样本库。利用标签制作工具MRLabeler将鸟种图像样本库标注为Pascal VOC数据集格式，最后将标注后的图像样本库划分为训练验证集和测试集，训练验证集再划分为训练集和验证集，其中训练验证集和测试集的比例为9：1，训练集和验证集的比列为9：1。

构建改进的SRGAN算法，改进的SRGAN算法由生成网络和判别网络两部分组成，本实施例构建的生成网络和判别网络分别如图2和图3所示；生成网络共有20层，第1层由卷积核大小为9×9的卷积层（Conv）和PReLU激活函数组成，第2~17层为叠加的八个残差块（Residul_blocks_1~Residul_blocks_8），并在每一个残差块后添加SENet注意力机制，第18~19层均由卷积核大小为3×3卷积层（Conv）、PReLU激活函数和像素重组层（PixelShuffler）组成，第20层由一个卷积核大小为9×9的卷积层（Conv）构成，每个残差块依次由卷积核大小为3×3卷积层（Conv）、批归一化层（BN）、PReLU激活函数、3×3卷积层（Conv）、批归一化层（BN）组成，其中残差块的残差连接采用点对点相加（Element-wiseSum）进行融合；判别网络共有11层，第1层由3×3的卷积层（Conv）和Leaky_ReLU激活函数组成，第2~8层均为CBL模块，并在每一个CBL模块后添加SENet注意力机制，第9层由全局平均池化层构成，第10层由Leaky_ReLU激活函数和1×1的卷积层（Conv）组成，第11层由1×1的卷积层（Conv）和Sigmoid函数构成，CBL模块均由1×1的卷积层（Conv）、批归一化层（BN）和Leaky_ReLU激活函数组成。采用MIRFLICKR-25K公开数据集训练搭建的生成网络和判别网络，训练过程中对图像进行4倍的分辨率扩大，训练200轮，批量大小为4。

S2、建立改进YOLOv7鸟种目标检测模型：构建特征提取网络、特征融合网络和头部预测网络3个部分，本实施例构建改进YOLOv7鸟种目标检测模型，如图4所示；特征提取网络依次由5个部分组成：第1个部分由3个CBS模块堆叠组成；第2个部分由CBS模块和MCB模块堆叠组成；第3~5个部分均由TB模块和MCB模块堆叠组成，且每个MCB模块后添加ECANet注意力机制模块，增强模型的识别能力；如图5所示，其中TB模块由2个分支组成，1个分支由最大池化层（MaxPool）和CBS模块构成，另1个分支由两个CBS模块构成，2个分支的输出结果进行堆叠。如图6所示，MCB模块由7个CBS模块（CBS _i (iÎ1, 2, 3…, 7)模块）组成，分为4个分支，第1个分支由CBS₁模块组成，第2个分支由CBS₂模块组成，第3个分支由CBS₂、CBS₃、CBS₄模块堆叠组成，第4个分支由CBS₂、CBS₃、CBS₄、CBS₅、CBS₆模块堆叠组成，4个分支进行堆叠输出，并由CBS₇模块进行特征整合，CBS模块由卷积层（Conv）、批归一化层（BN）和SiLU激活函数组成；选取特征提取网络第3个部分、第4个部分、第5个部分的输出作为特征融合网络的输入，使浅层特征和深层特征充分融合加强特征提取，三个输入特征分别命名为Feat1、Feat2、Feat3。

特征融合网络使浅层特征和深层特征充分融合加强特征提取：输入特征Feat1经过CBS模块获得提取特征P1，输入特征Feat2经过CBS模块获得提取特征P2，输入特征Feat3经过SPPCSPC模块和CBS模块获得提取特征P3；提取特征P3经过CBAM注意力机制模块和上采样模块后与提取特征P2进行堆叠融合，再经过MCB模块获得提取特征P4；提取特征P4经过卷积层、上采样模块和CBAM注意力机制模块后与提取特征P1进行堆叠融合，再经过MCB模块获得提取特征P5；提取特征P5经过TB模块和CBAM注意力机制模块后与提取特征P4进行堆叠融合，再经过MCB模块获得提取特征P6；提取特征P6经过TB模块和CBAM注意力机制模块后与提取特征P3进行堆叠融合，再经过MCB模块获得提取特征P7，其中，如图7所示，SPPCSPC模块依次由CBS模块、池化核为1×1、5×5、9×9和13×13的最大池化层、2个CBS模块、残差连接上的CBS模块和堆叠后进行整合的CBS模块。

充分融合后加强特征提取的特征输入至头部预测网络中进行识别：将融合后的提取特征P5、提取特征P6、提取特征P7分别经过RepConv模块后输出作为头部预测网络（Yolohead）的输入，实现对小、中、大目标检测，其中模型训练时，如图8所示，RepConv模块结构由3个分支组成，第1个分支由1×1卷积层和批归一化层组成、第2个分支由3×3卷积层和批归一化层组成、第3个分支由1个批归一化层构成，输出为3个分支进行堆叠融合；模型测试时，RepConv模块由卷积层Conv和批归一化层BN组成。

S3、设置改进YOLOv7鸟种目标检测模型参数并进行训练：本实施例采用大规模数据集COCO对改进YOLOv7模型进行预训练，获得预训练权重；基于迁移学习思想，以预训练权重作为基础，利用变电站危害鸟种图像样本库对改进YOLOv7鸟种目标检测模型进行重新训练，训练中使用Mosaic和Mixup数据增强，设置每个批次使用Mosaic的概率为50%，并设置在Mosaic后使用Mixup数据增强的概率为50%；采用Adam优化器加快梯度下降速度，其中动量值设置为0.937；利用标签平滑对分类标签进行平滑处，避免过拟合，标签平滑值设置为0.01；训练过程中设置训练轮数为200轮，批量大小为8，最大学习率为0.01.最小学习率设置为0.0001，并添加验证评估，每隔10轮进行一次验证评估，增强模型的泛化能力和鲁棒性。

S4、将待检测鸟种图像输入至训练后的改进YOLOv7鸟种目标检测模型中进行检测。

本实施例中加载训练过后获得的最优训练权重，将鸟种图像输入至改进YOLOv7鸟种目标检测模型中进行测试，其中采用非极大值抑制剔除预测结果中重合度高于设定值和置信度得分低于设定值的预测框，重合度设定值为0.3，置信度设定值为0.5，最终获得最佳预测框，实现变电站危害鸟种目标检测与识别。引用目标检测领域常用评价指标平均精度均值(mean average precision，mAP)和每秒帧率(frame per second，FPS)来评价改进的改进YOLOv7鸟种目标检测模型。采用的实验平台是在Nvidia GeForce GTX 2060、cuda10、cudnn7.4.1.5、python以及Visual Studio Code软硬件配置下展开。实验结果显示，300张测试集的平均精度均值达96.20%，每秒帧率可达76.87，验证了基于机器视觉的变电站危害鸟种目标检测和识别方法的可行性，可为变电站运维人员提供识鸟工具和为变电站危害鸟种识别研究和差异化防治提供参考。

以上所述仅表达了本发明的优选实施方式，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的内容加以更改或改型为等同变化的等效实施例。但是，凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (6)

1.一种基于机器视觉的变电站危害鸟种目标检测和识别方法，其特征是，包括如下步骤：

S1、搭建变电站危害鸟种图像样本库；

S2、建立改进YOLOv7鸟种目标检测模型，包括特征提取网络、特征融合网络和头部预测网络3个部分；

所述特征提取网络依次由5个部分组成：第1个部分由3个CBS模块堆叠组成；第2个部分由CBS模块和MCB模块堆叠组成；第3~5个部分均由TB模块和MCB模块堆叠组成，且每个MCB模块后添加ECANet注意力机制模块；选取特征提取网络第3个部分、第4个部分、第5个部分的输出作为特征融合网络的输入，三个输入特征分别命名为Feat1、Feat2、Feat3；

所述特征融合网络使浅层特征和深层特征充分融合加强特征提取：输入特征Feat1经过CBS模块获得提取特征P1，输入特征Feat2经过CBS模块获得提取特征P2，输入特征Feat3经过SPPCSPC模块和CBS模块获得提取特征P3；提取特征P3经过CBAM注意力机制模块和上采样模块后与提取特征P2进行堆叠融合，再经过MCB模块获得提取特征P4；提取特征P4经过卷积层、上采样模块和CBAM注意力机制模块后与提取特征P1进行堆叠融合，再经过MCB模块获得提取特征P5；提取特征P5经过TB模块和CBAM注意力机制模块后与提取特征P4进行堆叠融合，再经过MCB模块获得提取特征P6；提取特征P6经过TB模块和CBAM注意力机制模块后与提取特征P3进行堆叠融合，再经过MCB模块获得提取特征P7；所述TB模块由2个分支组成，1个分支由最大池化层和CBS模块构成，另1个分支由两个CBS模块构成，2个分支的输出结果进行堆叠；MCB模块分为4个分支，第1个分支由CBS₁模块组成，第2个分支由CBS₂模块组成，第3个分支由CBS₂、CBS₃、CBS₄模块堆叠组成，第4个分支由CBS₂、CBS₃、CBS₄、CBS₅、CBS₆模块堆叠组成，4个分支进行堆叠输出，并由CBS₇模块进行特征整合，CBS模块由卷积层、批归一化层和SiLU激活函数组成；

S3、设置改进YOLOv7鸟种目标检测模型参数并进行训练；

S4、将待检测鸟种图像输入至训练后的改进YOLOv7鸟种目标检测模型中进行检测。

2.根据权利要求1所述的基于机器视觉的变电站危害鸟种目标检测和识别方法，其特征是，步骤S1中，针对变电站附近拍摄的鸟种图像和视频，利用视频图像转换技术提取视频内的图像，并采用改进的SRGAN算法对鸟种图像进行超分辨率重建，构建包含N种鸟类的变电站危害鸟种图像样本库，再利用标签制作工具MRLabeler将鸟种图像样本库标注为Pascal VOC数据集格式，最后将标注后的图像样本库划分为训练验证集和测试集，训练验证集再划分为训练集和验证集；

改进的SRGAN算法由生成网络和判别网络两部分组成，生成网络共有20层，第1层由卷积核大小为9×9的卷积层和PReLU激活函数组成，第2~17层为叠加的八个残差块，并在每一个残差块后添加SENet注意力机制，第18~19层均由卷积核大小为3×3卷积层、PReLU激活函数和像素重组层组成，第20层由一个卷积核大小为9×9的卷积层构成；判别网络共有11层，第1层由3×3的卷积层和Leaky_ReLU激活函数组成，第2~8层均为CBL模块，并在每一个CBL模块后添加SENet注意力机制，第9层由全局平均池化层构成，第10层由Leaky_ReLU激活函数和1×1的卷积层组成，第11层由1×1的卷积层和Sigmoid函数构成。

3.根据权利要求1所述的基于机器视觉的变电站危害鸟种目标检测和识别方法，其特征是，步骤S1中，通过视频图像转换技术提取视频内的图像：利用OpenCV对鸟种图像视频进行处理，提取出的鸟种图像基于去噪卷积神经网络进行去噪，获得去噪后的鸟种图像。

4.根据权利要求1所述的基于机器视觉的变电站危害鸟种目标检测和识别方法，其特征是，将融合后的提取特征P5、提取特征P6、提取特征P7分别经过RepConv模块后输出作为头部预测网络的输入，实现对小、中、大目标检测；训练时，所述RepConv模块结构由3个分支组成，第1个分支由1×1卷积层和批归一化层组成、第2个分支由3×3卷积层和批归一化层组成、第3个分支由1个批归一化层构成，输出为3个分支进行堆叠融合；测试时，RepConv模块由卷积层和批归一化层组成。

5.根据权利要求1所述的基于机器视觉的变电站危害鸟种目标检测和识别方法，其特征是，步骤S3中，采用大规模数据集对改进YOLOv7鸟种目标检测模型进行预训练，并利用变电站危害鸟种图像样本库对改进YOLOv7鸟种目标检测模型进行重新训练，匹配至变电站危害鸟种识别任务，训练过程中使用Mosaic和Mixup数据增强、Adam优化器、标签平滑训练方法对改进YOLOv7鸟种目标检测模型进行训练，并在训练过程中添加验证评估。

6.根据权利要求1所述的基于机器视觉的变电站危害鸟种目标检测和识别方法，其特征是，步骤S4中，读取训练过后获得的最优训练权重，将鸟种图像输入至改进YOLOv7鸟种目标检测模型中进行测试，预测结果中剔除重合度高于设定值和置信度得分低于设定值的预测框，实现变电站危害鸟种检测。

Images