CN114842208B - 一种基于深度学习的电网危害鸟种目标检测方法 - Google Patents
一种基于深度学习的电网危害鸟种目标检测方法 Download PDFInfo
- Publication number
- CN114842208B CN114842208B CN202210638361.3A CN202210638361A CN114842208B CN 114842208 B CN114842208 B CN 114842208B CN 202210638361 A CN202210638361 A CN 202210638361A CN 114842208 B CN114842208 B CN 114842208B
- Authority
- CN
- China
- Prior art keywords
- layer
- bird species
- dsc
- bird
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 9
- 238000007689 inspection Methods 0.000 claims abstract description 8
- 238000012795 verification Methods 0.000 claims abstract description 6
- 238000007621 cluster analysis Methods 0.000 claims abstract description 4
- 230000008014 freezing Effects 0.000 claims description 28
- 238000007710 freezing Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 8
- 238000000137 annealing Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000002203 pretreatment Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000000630 rising effect Effects 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 abstract 1
- 241000894007 species Species 0.000 description 58
- 241000271566 Aves Species 0.000 description 11
- 238000010200 validation analysis Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 4
- 230000002349 favourable effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 241000287181 Sturnus vulgaris Species 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241001505701 Geranium himalayense Species 0.000 description 1
- 241001166194 Geranium wilfordii Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000238413 Octopus Species 0.000 description 1
- 240000003705 Senecio vulgaris Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Abstract
本发明公开了一种基于深度学习的电网危害鸟种目标检测方法，首先利用Avibase世界鸟类数据库与收集的输电线路巡检图像，构建威胁电网安全的相关鸟种图像数据集，并基于改进的DnCNN去噪网络模型对鸟种图像数据集进行预处理，对预处理后的图像进行标签制作，获得图像中鸟种的真实边界框位置和框内类别信息；然后采用聚类算法对真实边界框的高和宽进行聚类分析，得到最优先验框，并将鸟种图像数据集划分为训练集、验证集与测试集；构建并训练改进的YOLOv4鸟种目标检测模型；最后利用训练后的改进YOLOv4鸟种目标检测模型对测试集图像进行检测。本发明可为电网涉鸟故障差异化防治提供参考。
Description
技术领域
本发明属于输电线路监测图像数据处理技术领域，具体涉及一种基于深度学习的电网危害鸟种目标检测方法。
背景技术
随着国家对环保的重视和治理投入的增加，绿化状况的改善和提升给人类和动植物的生存、繁衍创造了有利条件，而鸟类就是最大受益者之一。因此，随着电网的不断延伸，架空输电线路遍布山野、河流、村庄和城镇各种复杂地理环境，鸟类在架空线路旁活动的机会日益增多，导致鸟类活动而引起的输电线路故障次数明显上升。电网的安全运行是人类安全和稳定用电的前提，精准且有效的防鸟成为迫切需要。不同鸟类导致的输电线路故障往往不同，而电网巡检人员由于缺乏识鸟工具难以实现电网涉鸟故障的差异化防治。如何快速辅助电网巡检人员定位并识别危害鸟种，对于开展电网涉鸟故障的差异化防治具有重要意义。
由于输电线路涉鸟故障具有瞬时性和突发性的特点，需要在最短的时间内检测出目标鸟种的位置和种类，必须缩短检测的时间，才能够及时得到反馈进行相应的操作，有效避免意外事故发生。随着深度学习的发展，许多研究学者开展了鸟类图像识别的研究，但大部分鸟类图像研究仅仅停留在生态学领域，关注输电线路涉鸟故障相关鸟种研究较少。因此，威胁输电线路安全的相关鸟种目标检测的研究对于电网的安全运行是非常必要的。
发明内容
鉴于此，本发明的目的在于提供一种基于深度学习的电网危害鸟种目标检测方法，用于准确识别出危害电网安全的危害鸟种，为涉鸟故障的差异化防治提供参考。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习的电网危害鸟种目标检测方法，包括如下步骤：
S1、构建威胁电网安全的相关鸟种图像数据集与基于改进的DnCNN去噪网络模型预处理方法：利用Avibase世界鸟类数据库与收集的输电线路巡检图像，建立包含N种鸟类的图像数据集；搭建包含12层的改进DnCNN去噪网络模型对鸟种图像数据集进行预处理，将预处理后的鸟种图像数据集按一定比例划分为训练集、验证集和测试集；并对预处理后的鸟种图像进行标注，获得真实目标边界框位置和框内类别信息，再通过K-means算法将真实目标边界框的高和宽作为参数进行聚类，得到最优先验框；
S2、构建改进的YOLOv4鸟种目标检测模型：利用改进的GhostNet替换YOLOv4中的CSPDarkNet53特征提取网，并利用深度可分离卷积DSC替换YOLOv4中SPP+PANet的3×3普通卷积块，且将PANet中的连续五次普通卷积块替换为三次深度可分离卷积DSC，形成新的金字塔池化网络SPP-DSC+PANet-DSC；在改进的GhostNet中选取的特征信息输入SPP-DSC+PANet-DSC之前引入CBAM注意力机制，并将YOLO_head预测网络中的3×3普通卷积块替换为深度可分离卷积DSC；
S3、训练改进的YOLOv4鸟种目标检测模型：通过对输入的训练集鸟种图像增加灰条进行Resize操作，并将在MS COCO图像数据集上训练获得的预训练权重，进行包括冻结和非冻结两个阶段的迁移学习，在冻结阶段中，冻结具有权重参数的层，使用较大学习率对非冻结层进行参数调整，在非冻结阶段，较小学习率微调网络所有层的参数；采用Mosaic数据增强方式，每次随机选取四幅鸟种图像进行翻转、缩放、色域变换的操作，再将操作后的图像按照上下左右四个方向进行拼凑成一幅鸟种图像加入训练集进行随机增强，Mosaic数据增强设置在训练结束前的N个epoch；学习率调整采用线性上升和模拟cos函数下降的余弦退火衰减策略；
S4、采用改进的YOLOv4鸟种目标检测模型对鸟种图像进行检测：将测试集鸟种图像输入至改进的YOLOv4鸟种目标检测模型中进行检测，并采用非极大值抑制筛选冗余预测边界框，获得最终保留的边界框，实现鸟种目标的检测。
进一步地，步骤S1中，所述搭建包含12层的改进DnCNN去噪网络模型，第1层由普通卷积Conv和激活函数Mish组成，其中采用64个3×3的卷积核进行特征提取，步长为1，并且在第1层和最后1层添加一个残差连接形成残差块；第2～11层由普通卷积Conv、BN层、激活函数Mish组成，其中采用64个3×3的卷积核进行特征提取，步长为1，并且在第2层和第11层、第3层和第10层、第4层和第9层、第5层和第8层、第6层和第7层分别添加一个残差连接形成5个残差块；最后1层由普通卷积Conv组成，其中32个3×3的卷积核进行还原输出，步长为1；训练过程中，采用采用动量随机梯度下降SGDM算法对改进的DnCNN去噪网络模型参数进行优化；
针对于一幅R、G、B三通道的鸟种彩色图像，将训练后的去噪网络模型分别对三个颜色通道进行单独去噪，再将单独去噪后的三幅单通道图像进行合并，生成去噪后的RGB鸟类图像。
进一步地，步骤S1中，所述将预处理后的鸟种图像按一定比例划分为训练集、验证集和测试集：训练集与验证集的比例为9:1，训练验证集(训练集+验证集)与测试集的比例为9:1。采用K-means算法将真实边界框的高h＝ymax-ymin和宽w＝xmax-xmin作为参数进行聚类分析，最终K-means聚类算法得到(67,107)；(78,192)；(104,134)；(122,206)；(147,269)；(158,153)；(190,209)；(205,303)；(268,246)9个最优先验框。
进一步地，步骤S2中，所述改进的YOLOv4鸟种目标检测模型结构由三部分组成，第一部分为特征提取网络GhostNet-Focus，第二部分为空间金字塔池化网络SPP-DSC+PANet-DSC，第三部分是预测网络YOLO_head；
首先，搭建由1个CBR层和16个G-bneck层(G-bneck-1～G-bneck-16)组成的轻量级卷积神经网络GhostNet，在GhostNet网络中的CBR层前加入Focus层，获得新的主干特征提取网络GhostNet-Focus；其中CBR层由普通卷积Conv、BN层、激活函数ReLU组成，G-bneck包含步长为1和步长为2的两个类别，当G-bneck步长为1时，G-bneck层依次包括GhostNetModule、BN层、激活函数ReLU、GhostNet Module、BN层，且G-bneck输入和输出之间加入残差学习策略，当G-bneck步长为2时，G-bneck层依次包括GhostNet Module、BN层、激活函数ReLU、2×2的深度可分离卷积DSC、BN层、GhostNet Module、BN层，在残差部分依次添加2×2的深度可分离卷积DSC和1×1普通卷积Conv，当G-bneck-i中i的值为2、4、6和12时步长为2，反则步长为1，GhostNetModule由1×1普通卷积Conv和深度可分离卷积DSC组成，深度可分离卷积DSC由3×3深度卷积与1×1逐点卷积组成；
然后，选取GhostNet-Focus中的G-bneck-5、G-bneck-11、G-bneck-16三个不同特征层的特征信息作为SPP-DSC+PANet-DSC的输入，进行最大池化操作和由深到浅与由浅到深的特征融合，最终输出F1、F2和F3三个融合特征；三个融合特征经过深度可分离卷积DSC与普通卷积Conv之后分别对应YOLO_head预测网络中13×13×45、26×26×45、52×52×45三种不同尺寸的预测结果，实现对大、中、小鸟种目标的检测。
进一步地，步骤S3中，所述的训练改进的YOLOv4鸟种目标检测模型：冻结和非冻结阶段各进行50轮，共100轮，在冻结阶段的batchsize和学习率分别为16、1×10-3，在非冻结阶段的batchsize和学习率分别为8、1×10-4；余弦退火学习率衰减中设置最大学习率learning_rate_base为1×10-3、最小学习率learning_rate_min为1×10-6和预热学习率warmup_rate为1×10-5。
进一步地，步骤S4中，所述非极大值抑制筛选冗余预测边界框：设定置信度分数阈值score_threshold，剔除置信度分数小于score_threshold的预测框；将保留下的预测框集合P按照置信度分数由大到小排列，并将第一个预测框作为抑制预测框纳入保留框集合K中；计算预测框集合P中剩下的预测框与抑制预测框的并交比IOU，删除IOU大于给定阈值nms_iou的预测框，直到集合P中预测框数量为0，最终得到保留框集合K，实现鸟种类别和定位检测。非极大值抑制筛选冗余预测边界框的置信度分数阈值score_threshold设置为0.5，给定阈值nms_iou设置为0.3，最终获得保留框集合K显示在预测结果中，实现鸟种类别和定位检测。
与现有技术相比，本发明有益效果：
本发明构建威胁电网安全的相关鸟种数据集，基于改进的DnCNN去噪网络模型对鸟种图像数据集进行预处理，搭建改进的YOLOv4鸟种目标检测模型结合多种训练技巧对测试集图像进行检测，能够精准定位和识别威胁电网安全的相关鸟种。本发明提出的技术方案具有较好的准确度和检测速度，且模型体积较轻能够有利于实际的部署，可为电网涉鸟故障的差异化防治提供参考，有助于电网巡检人员准确识别鸟类，预防输电线路涉鸟故障。
附图说明
图1为本发明的方法流程图；
图2为本发明的方法实施流程图；
图3为本发明构建的改进YOLOv4的鸟种目标检测模型。
具体实施方式
下面结合实施例对本发明做进一步的描述，有必要在此指出的是以下实施例只是用于对本发明进行进一步的说明，不能理解为对本发明保护范围的限制，该领域的技术熟练人员根据上述发明内容所做出的一些非本质的改进和调整，仍属于本发明保护范围。
一种基于深度学习的电网危害鸟种目标检测方法，其流程图如图1和图2所示，包括以下步骤：
S1、构建威胁电网安全的相关鸟种图像数据集与基于改进的DnCNN去噪网络模型预处理方法：利用Avibase世界鸟类数据库与收集的输电线路巡检图像，建立包含N种鸟类的图像数据集；搭建包含12层的改进DnCNN去噪网络模型对鸟种图像数据集进行预处理，将预处理后的鸟种图像数据集按一定比例划分为训练集、验证集和测试集；并对预处理后的鸟种图像进行标注，获得真实目标边界框位置和框内类别信息，再通过K-means算法将真实目标边界框的高和宽作为参数进行聚类，得到最优先验框；
本实施例中，从Avibase世界鸟类数据库与收集的输电线路巡检图像中选取了黑鹳、东方白鹳、大鸨、白鹭、戴胜、池鹭、红隼、黑领椋鸟、丝光椋鸟、八哥10种鸟类作为研究对象，构建威胁电网安全的相关鸟种图像数据集，其中每种鸟种图像数量为300幅，共计3000幅图像样本。搭建包含12层的改进DnCNN去噪网络模型，第1层由普通卷积Conv和激活函数Mish组成，其中采用64个3×3的卷积核进行特征提取，步长为1，并且在第1层和最后1层添加一个残差连接形成残差块；第2～11层由普通卷积Conv、BN层、激活函数Mish组成，其中采用64个3×3的卷积核进行特征提取，步长为1，并且在第2层和第11层、第3层和第10层、第4层和第9层、第5层和第8层、第6层和第7层分别添加一个残差连接形成5个残差块；最后1层由普通卷积Conv组成，其中32个3×3的卷积核进行还原输出，步长为1；训练过程中，采用采用动量随机梯度下降SGDM算法对改进的DnCNN去噪网络模型参数进行优化；针对于一幅R、G、B三通道的鸟种彩色图像，将训练后的去噪网络模型分别对三个颜色通道进行单独去噪，再将单独去噪后的三幅单通道图像进行合并，生成去噪后的RGB鸟类图像；
将预处理后的图像按一定比例划分为训练集、验证集和测试集：训练集与验证集的比例为9:1，训练验证集(训练集+验证集)与测试集Test Set的比例为9:1。因此，训练集包含2430个样本，验证集包含270个样本，测试集包含300个样本。使用标注工具Labelimg对预处理后图像进行标注，获得真实边界框的左下顶点坐标(xmin，ymin)、右上顶点坐标(xmax，ymax)和框内目标所属类别，生成.xml文件；采用K-means算法对真实边界框的高h＝ymax-ymin和宽w＝xmax-xmin作聚类分析，在聚类选择中随机选取9个初始先验框尺寸作为聚类中心，判定第i个真实边界框与第j个初始先验框的距离dij＝1-IOUtinriutitahl达到最小值时，其中IOUtinriutitahl是真实边界框和初始先验框的交并比，则第i个真实边界框属于j个初始先验框；所有真实边界框归类完成后，利用取h和w均值更新各个先验框的尺寸，再次进行归类迭代直至先验框的尺寸不再变化，得到(67,107)；(78,192)；(104,134)；(122,206)；(147,269)；(158,153)；(190,209)；(205,303)；(268,246)9个最优先验框。
S2、构建改进的YOLOv4鸟种目标检测模型：利用改进的GhostNet替换YOLOv4中的CSPDarkNet53特征提取网络，并利用深度可分离卷积DSC替换YOLOv4中SPP+PANet的3×3普通卷积块，且将PANet中的连续五次普通卷积块替换为三次深度可分离卷积DSC，形成新的金字塔池化网络SPP-DSC+PANet-DSC；在改进的GhostNet中选取的特征信息输入SPP-DSC+PANet-DSC之前引入CBAM注意力机制，并将YOLO_head预测网络中的3×3普通卷积块替换为深度可分离卷积DSC；
本实施例构建的改进的YOLOv4鸟种目标检测模型如图3所示，改进的YOLOv4鸟种目标检测模型结构由三部分组成，第一部分为特征提取网络GhostNet-Focus，第二部分为空间金字塔池化网络SPP-DSC+PANet-DSC，第三部分是预测网络YOLO_head；
首先，搭建由1个CBR层和16个G-bneck层(G-bneck-1～G-bneck-16)组成的轻量级卷积神经网络GhostNet，在GhostNet网络中的CBR层前加入Focus层，获得新的主干特征提取网络GhostNet-Focus；其中CBR层由普通卷积Conv、BN层、激活函数ReLU组成，G-bneck包含步长为1和步长为2的两个类别，当G-bneck步长为1时，G-bneck层依次包括GhostNetModule、BN层、激活函数ReLU、GhostNet Module、BN层，且G-bneck输入和输出之间加入残差学习策略，当G-bneck步长为2时，G-bneck层依次包括GhostNet Module、BN层、激活函数ReLU、2×2的深度可分离卷积DSC、BN层、GhostNet Module、BN层，在残差部分依次添加2×2的深度可分离卷积DSC和1×1普通卷积Conv，当G-bneck-i中i的值为2、4、6和12时步长为2，反则步长为1，GhostNetModule由1×1普通卷积Conv和深度可分离卷积DSC组成，深度可分离卷积DSC由3×3深度卷积与1×1逐点卷积组成；
然后，选取GhostNet-Focus中的G-bneck-5、G-bneck-11、G-bneck-16三个不同特征层的特征信息作为SPP-DSC+PANet-DSC的输入，进行最大池化操作和由深到浅与由浅到深的特征融合，最终输出F1、F2和F3三个融合特征；三个融合特征经过深度可分离卷积DSC与普通卷积Conv层之后分别对应YOLO_head预测网络中13×13×45、26×26×45、52×52×45三种不同尺寸的预测结果，实现对大、中、小鸟种目标的检测。
S3、训练改进的YOLOv4鸟种目标检测模型：通过对输入的训练集鸟种图像增加灰条进行Resize操作，并将在MS COCO图像数据集上训练获得的预训练权重，进行包括冻结和非冻结两个阶段的迁移学习，在冻结阶段中，冻结具有权重参数的层，使用较大学习率对非冻结层进行参数调整，在非冻结阶段，较小学习率微调网络所有层的参数；采用Mosaic数据增强方式，每次随机选取四幅鸟种图像进行翻转、缩放、色域变换的操作，再将操作后的图像按照上下左右四个方向进行拼凑成一幅鸟种图像加入训练集进行随机增强，Mosaic数据增强设置在训练结束前的N个epoch；学习率调整采用线性上升和模拟cos函数下降的余弦退火衰减策略；
本实施例中，改进的YOLOv4鸟种目标检测模型训练：步骤S3中，所述的训练改进的YOLOv4鸟种目标检测模型：冻结和非冻结阶段各进行50轮，共100轮，在冻结阶段的batchsize和学习率分别为16、1×10-3，在非冻结阶段的batchsize和学习率分别为8、1×10-4；余弦退火学习率衰减中设置最大学习率learning_rate_base为1×10-3、最小学习率learning_rate_min为1×10-6和预热学习率warmup_rate为1×10-5。
S4、改进的YOLOv4鸟种目标检测模型对鸟种图像进行检测：将测试集鸟种图像输入至改进的YOLOv4鸟种目标检测模型中进行检测，并采用非极大值抑制筛选冗余预测边界框，获得最终保留的边界框，实现鸟种目标的检测。
本实施例中，设定置信度分数阈值score_threshold，剔除置信度分数小于score_threshold的预测框；将保留下的预测框集合P按照置信度分数由大到小排列，并将第一个预测框作为抑制预测框纳入保留框集合K中；计算预测框集合P中剩下的预测框与抑制预测框的并交比IOU，删除IOU大于给定阈值nms_iou的预测框，直到集合P中预测框数量为0，最终得到保留框集合K，实现鸟种类别和定位检测。非极大值抑制筛选冗余预测边界框的置信度分数阈值score_threshold设置为0.5，给定阈值nms_iou设置为0.3，最终获得保留框集合K显示在预测结果中，实现鸟种类别和定位检测。利用威胁电网安全的相关鸟种测试集对模型进行测试并与原始YOLOv4进行对比，检测结果如表1所示。
表1 模型对比结果模型
根据表1数据可知，本发明提出改进的YOLOv4鸟种目标检测模型在威胁电网安全的相关鸟种检测的mAP和FPS分别为97.55％、43。相比于YOLOv4精确度下降0.25％，但是检测速度约为YOLOv4的2.52倍；并且改进YOLOv4的参数量和训练出的权重大小缩小约为YOLOv4的0.15倍，在保证精度的同时提升了检测速度，更有利于实际模型的部署，有助于电网巡检人员准确识别鸟类。
以上所述仅表达了本发明的优选实施方式，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的内容加以更改或改型为等同变化的等效实施例。但是，凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (3)
1.一种基于深度学习的电网危害鸟种目标检测方法，其特征在于，包括如下步骤：
S1、构建威胁电网安全的相关鸟种图像数据集与基于改进的DnCNN去噪网络模型预处理方法：利用Avibase世界鸟类数据库与收集的输电线路巡检图像，建立包含N种鸟类的图像数据集；搭建包含12层的改进DnCNN去噪网络模型对鸟种图像数据集进行预处理，将预处理后的鸟种图像数据集按一定比例划分为训练集、验证集和测试集；并对预处理后的鸟种图像进行标注，获得真实目标边界框位置和框内类别信息，再通过K-means算法将真实目标边界框的高和宽作为参数进行聚类，得到最优先验框；
S2、构建改进的YOLOv4鸟种目标检测模型：利用改进的GhostNet替换YOLOv4中的CSPDarkNet53特征提取网，并利用深度可分离卷积DSC替换YOLOv4中SPP+PANet的3×3普通卷积块，且将PANet中的连续五次普通卷积块替换为三次深度可分离卷积DSC，形成新的金字塔池化网络SPP-DSC+PANet-DSC；在改进的GhostNet中选取的特征信息输入SPP-DSC+PANet-DSC之前引入CBAM注意力机制，并将YOLO_head预测网络中的3×3普通卷积块替换为深度可分离卷积DSC；
S3、训练改进的YOLOv4鸟种目标检测模型：通过对输入的训练集鸟种图像增加灰条进行Resize操作，并将在MS COCO图像数据集上训练获得的预训练权重，进行包括冻结和非冻结两个阶段的迁移学习，在冻结阶段中，冻结具有权重参数的层，对非冻结层进行参数调整，在非冻结阶段，微调网络所有层的参数；采用Mosaic数据增强方式，每次随机选取四幅鸟种图像进行翻转、缩放、色域变换的操作，再将操作后的图像按照上下左右四个方向进行拼凑成一幅鸟种图像加入训练集进行随机增强，Mosaic数据增强设置在训练结束前的N个epoch；学习率调整采用线性上升和模拟cos函数下降的余弦退火衰减策略；
S4、采用改进的YOLOv4鸟种目标检测模型对鸟种图像进行检测：将测试集鸟种图像输入至改进的YOLOv4鸟种目标检测模型中进行检测，并采用非极大值抑制筛选冗余预测边界框，获得最终保留的边界框，实现鸟种目标的检测；
步骤S1中，所述搭建包含12层的改进DnCNN去噪网络模型，第1层由普通卷积Conv和激活函数Mish组成，其中采用64个3×3的卷积核进行特征提取，步长为1，并且在第1层和最后1层添加一个残差连接形成残差块；第2~11层由普通卷积Conv、BN层、激活函数Mish组成，其中采用64个3×3的卷积核进行特征提取，步长为1，并且在第2层和第11层、第3层和第10层、第4层和第9层、第5层和第8层、第6层和第7层分别添加一个残差连接形成5个残差块；最后1层由普通卷积Conv组成，其中32个3×3的卷积核进行还原输出，步长为1；在训练过程中，采用动量随机梯度下降SGDM算法对改进的DnCNN去噪网络模型参数进行优化；
针对于一幅R、G、B三通道的鸟种彩色图像，将训练后的去噪网络模型分别对三个颜色通道进行单独去噪，再将单独去噪后的三幅单通道图像进行合并，生成去噪后的RGB鸟类图像；
步骤S2中，所述改进的YOLOv4鸟种目标检测模型结构由三部分组成，第一部分为特征提取网络GhostNet-Focus，第二部分为空间金字塔池化网络SPP-DSC+PANet-DSC，第三部分是预测网络YOLO_head；
搭建由1个CBR层和16个G-bneck层即G-bneck-1~G-bneck-16组成的轻量级卷积神经网络GhostNet，在GhostNet网络中的CBR层前加入Focus层，获得新的主干特征提取网络GhostNet-Focus；其中CBR层由普通卷积Conv、BN层、激活函数ReLU组成，G-bneck包含步长为1和步长为2的两个类别，当G-bneck步长为1时，G-bneck层依次包括GhostNet Module、BN层、激活函数ReLU、GhostNet Module、BN层，且G-bneck输入和输出之间加入残差学习策略，当G-bneck步长为2时，G-bneck层依次包括GhostNet Module、BN层、激活函数ReLU、2×2的深度可分离卷积DSC、BN层、GhostNet Module、BN层，在残差部分依次添加2×2的深度可分离卷积DSC和1×1普通卷积Conv，当G-bneck-i中i的值为2、4、6和12时步长为2，反之则步长为1，GhostNet Module由1×1普通卷积Conv和深度可分离卷积DSC组成，深度可分离卷积DSC由3×3深度卷积与1×1逐点卷积组成；
选取GhostNet-Focus中的G-bneck-5、G-bneck-11、G-bneck-16三个不同特征层的特征信息作为SPP-DSC+PANet-DSC的输入，进行最大池化操作和由深到浅与由浅到深的特征融合，最终输出F1、F2和F3三个融合特征；三个融合特征经过深度可分离卷积DSC与普通卷积Conv之后分别对应YOLO_head预测网络中13×13×45、26×26×45、52×52×45三种不同尺寸的预测结果，实现对大、中、小鸟种目标的检测。
2.根据权利要求1所述的一种基于深度学习的电网危害鸟种目标检测方法，其特征在于，步骤S1中，使用标注工具Labelimg对预处理后图像进行标注，获得真实边界框的左下顶点坐标（x min，y min）、右上顶点坐标（x max，y max）和框内目标所属类别，生成.xml文件；采用K-means算法对真实边界框的高h=y max-y min和宽w=x max-x min作聚类分析，在聚类选择中随机选取9个初始先验框尺寸作为聚类中心，判定第i个真实边界框与第j个初始先验框的距离d ij =1-IOUtruth initial达到最小值时，则第i个真实边界框属于j个初始先验框，其中IOUtruth initial是真实边界框和初始先验框的交并比；所有真实边界框归类完成后，利用取h和w均值更新各个先验框的尺寸，再次进行归类迭代直至先验框的尺寸不再变化，最终得到9个最优先验框。
3.根据权利要求1所述的一种基于深度学习的电网危害鸟种目标检测方法，其特征在于，步骤S3中，所述的训练改进的YOLOv4鸟种目标检测模型：冻结和非冻结阶段各进行50轮，共100轮，在冻结阶段的batchsize和学习率分别为16、1×10-3，在非冻结阶段的batchsize和学习率分别为8、1×10-4；余弦退火学习率衰减中设置最大学习率learning_rate_base为1×10-3、最小学习率learning_rate_min为1×10-6和预热学习率warmup_rate为1×10-5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210638361.3A CN114842208B (zh) | 2022-06-08 | 2022-06-08 | 一种基于深度学习的电网危害鸟种目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210638361.3A CN114842208B (zh) | 2022-06-08 | 2022-06-08 | 一种基于深度学习的电网危害鸟种目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114842208A CN114842208A (zh) | 2022-08-02 |
| CN114842208B true CN114842208B (zh) | 2024-05-03 |
Family
ID=82574922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210638361.3A Active CN114842208B (zh) | 2022-06-08 | 2022-06-08 | 一种基于深度学习的电网危害鸟种目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114842208B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115620107A (zh) * | 2022-11-07 | 2023-01-17 | 国网江西省电力有限公司电力科学研究院 | 一种基于深度学习的变电站涉鸟故障相关鸟种识别方法 |
| CN115512717A (zh) * | 2022-11-21 | 2022-12-23 | 东北石油大学三亚海洋油气研究院 | 一种基于集成学习的二阶段单传感器管道泄漏定位方法 |
| CN115862073B (zh) * | 2023-02-27 | 2023-07-04 | 国网江西省电力有限公司电力科学研究院 | 一种基于机器视觉的变电站危害鸟种目标检测和识别方法 |
| CN117392545B (zh) * | 2023-10-26 | 2024-02-09 | 南昌航空大学 | 一种基于深度学习的sar图像目标检测方法 |
| CN117315453B (zh) * | 2023-11-21 | 2024-02-20 | 南开大学 | 一种基于水下声纳图像的水下小目标检测方法 |
| CN117392551B (zh) * | 2023-12-12 | 2024-04-02 | 国网江西省电力有限公司电力科学研究院 | 一种基于鸟粪图像特征的电网鸟害识别方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113255661A (zh) * | 2021-04-15 | 2021-08-13 | 南昌大学 | 一种输电线路涉鸟故障相关鸟种图像识别方法 |
| CN113255691A (zh) * | 2021-04-15 | 2021-08-13 | 南昌大学 | 一种输电线路涉鸟故障危害鸟种目标检测与识别方法 |
| WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
| CN114067368A (zh) * | 2022-01-17 | 2022-02-18 | 国网江西省电力有限公司电力科学研究院 | 基于深度卷积特征的电网危害鸟种分类识别方法 |
-
2022
- 2022-06-08 CN CN202210638361.3A patent/CN114842208B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
| CN113255661A (zh) * | 2021-04-15 | 2021-08-13 | 南昌大学 | 一种输电线路涉鸟故障相关鸟种图像识别方法 |
| CN113255691A (zh) * | 2021-04-15 | 2021-08-13 | 南昌大学 | 一种输电线路涉鸟故障危害鸟种目标检测与识别方法 |
| CN114067368A (zh) * | 2022-01-17 | 2022-02-18 | 国网江西省电力有限公司电力科学研究院 | 基于深度卷积特征的电网危害鸟种分类识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于RetinaNet模型的鸟巢智能检测;时磊;杨恒;周振峰;杨刘贵;张辉;杜浩;;电力大数据;20200221(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114842208A (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114842208B (zh) | 一种基于深度学习的电网危害鸟种目标检测方法 | |
| CN105740894B (zh) | 一种高光谱遥感图像的语义标注方法 | |
| CN111325323B (zh) | 一种融合全局信息和局部信息的输变电场景描述自动生成方法 | |
| CN110717481B (zh) | 一种利用级联卷积神经网络实现人脸检测的方法 | |
| CN109829399A (zh) | 一种基于深度学习的车载道路场景点云自动分类方法 | |
| CN110163187A (zh) | 基于f-rcnn的远距离交通标志检测识别方法 | |
| CN114092832B (zh) | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 | |
| CN107392901A (zh) | 一种用于输电线路部件智能自动识别的方法 | |
| CN108596329A (zh) | 基于端到端深度集成学习网络的三维模型分类方法 | |
| CN109508360A (zh) | 一种基于元胞自动机的地理多元流数据时空自相关分析方法 | |
| CN110245709A (zh) | 基于深度学习和自注意力的3d点云数据语义分割方法 | |
| CN108960330A (zh) | 基于快速区域卷积神经网络的遥感图像语义生成方法 | |
| CN106127204A (zh) | 一种全卷积神经网络的多方向水表读数区域检测算法 | |
| CN106991666B (zh) | 一种适用于多尺寸图片信息的病害图像识别方法 | |
| CN107016357A (zh) | 一种基于时间域卷积神经网络的视频行人检测方法 | |
| CN109784288B (zh) | 一种基于判别感知融合的行人再识别方法 | |
| CN110321862B (zh) | 一种基于紧致三元损失的行人再识别方法 | |
| CN112364719A (zh) | 一种遥感图像目标快速检测方法 | |
| CN114067368B (zh) | 基于深度卷积特征的电网危害鸟种分类识别方法 | |
| CN108629288A (zh) | 一种手势识别模型训练方法、手势识别方法及系统 | |
| CN113887517B (zh) | 基于并行注意力机制的农作物遥感图像语义分割方法 | |
| CN110599502B (zh) | 一种基于深度学习的皮肤病变分割方法 | |
| CN110287882A (zh) | 一种基于深度学习的大菊品种图像识别方法 | |
| CN110245754A (zh) | 一种基于位置敏感图的知识蒸馏方法 | |
| CN111738044A (zh) | 一种基于深度学习行为识别的校园暴力评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |