CN116994162A - 一种基于改进Yolo算法的无人机航拍绝缘子目标检测方法 - Google Patents
一种基于改进Yolo算法的无人机航拍绝缘子目标检测方法 Download PDFInfo
- Publication number
- CN116994162A CN116994162A CN202310983509.1A CN202310983509A CN116994162A CN 116994162 A CN116994162 A CN 116994162A CN 202310983509 A CN202310983509 A CN 202310983509A CN 116994162 A CN116994162 A CN 116994162A
- Authority
- CN
- China
- Prior art keywords
- model
- batch
- aerial vehicle
- unmanned aerial
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 239000012212 insulator Substances 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 230000002708 enhancing effect Effects 0.000 claims abstract description 9
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 238000012795 verification Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 101000618139 Homo sapiens Sperm-associated antigen 6 Proteins 0.000 claims description 4
- 102100030148 Integrator complex subunit 8 Human genes 0.000 claims description 4
- 101710092891 Integrator complex subunit 8 Proteins 0.000 claims description 4
- 102100021909 Sperm-associated antigen 6 Human genes 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000016273 neuron death Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
一种基于改进Yolo算法的无人机航拍绝缘子目标检测方法包括：(1)对需要应用的绝缘子场景进行无人机航拍，并将航拍视频抽帧为图像数据；(2)对图像数据进行标注，并将采集并标注好的数据按照比例划分为训练集和验证集；(3)对训练集数据通过Mosaic+Mixup方法混合增强；(4)使用Ghostnetv2网络替换Yolov7版本主干特征提取网络；(5)使用自制数据集对网络进行训练；(6)将训练好的模型文件以ONNX文件导出，并使用TensorRT部署生成Engine模型；(7)使用Engine模型部署并进行无人机检测。本发明基于YoloV7模型构建目标检测模型，该模型对于分辨率较高图像且目标面积较小的绝缘子以及被遮挡的绝缘子有更加优异的识别效果，识别准确率更高，识别位置更精确。
Description
技术领域
本发明涉及输电线路无人机航拍巡检技术领域，具体是一种基于改进Yolo算法的无人机航拍绝缘子目标检测方法。
背景技术
绝缘子在输电线路中，起到支撑导线和防止电流回地两大重要作用。绝缘子一般工作在户外，长期暴露大自然环境中，受强紫外线照射、雨水侵蚀、空气污染、气候变化等因素影响，存在断串、内部击穿等故障风险，对线路安全运行造成重大威胁。因此，输电线路绝缘子检测是电网巡检的重点。近年来，随着无人机飞控、计算机视觉、北斗导航等技术的快速发展，基于无人机图像的绝缘子检测技术成为电网巡检的研究热点。但由于航拍输电线路图像中具有较多目标信息，导致图像背景复杂多样、绝缘子目标信息不够突出，进而严重影响了绝缘子目标检测的鲁棒性和准确性。
传统的航拍图像使用的目标检测算法，主要采用阶段性设计的方法对图像进行区域窗口提取、特征提取和窗口分类。然而对于具有多样性表征的目标，基于滑动窗口的区域选择策略存在缺乏针对性、计算复杂度高、存在窗口冗余、鲁棒性较差等问题。在无人机航拍图像中，除了受到小尺度目标和尺度变化大等影响之外，目标对象还会受到亮度、遮挡、背景复杂多变等因素的干扰。传统的目标检测算法易于受干扰因素的影响，造成误检和漏检的情况。近些年，随着一大批深度学习算法的涌现，在目标检测、实例分割等技术上取得了突破性进步。通过深度卷积神经网络，突破了以往目标检测算法只能提取浅层特征的瓶颈。同时，显著提高了图像对于深层特征的提取能力，从而提高了复杂背景下的目标检测性能。
现有的航拍图像处理算法，大都采用卷积神经网络(CNN，Convolutional neuralnetwork)进行检测。CNN通过收集语义子特征的层次结构来生成复杂对象的特征表示。这些子特征通常可以分组形式分布在每层的特征向量，代表各种语义实体。但是，这些子特征的激活通常在空间上受到相似模式和嘈杂背景的影响，从而导致错误的定位和识别。
由于航拍静态目标的尺度变化差异大、目标遮挡等诸多极具挑战性的问题，还未找到普遍合适的解决方案，因此还需要进一步深入研究。
发明内容
为了解决上述现有技术中存在的缺陷，本发明提供了一种基于改进Yolo算法的无人机航拍绝缘子目标检测方法，能够解决对于目标面积较小的绝缘子以及被遮挡的绝缘子识别精度低的问题。
本发明采用的技术方案：一种基于改进Yolo算法的无人机航拍绝缘子目标检测方法，包括以下步骤：
(1)对需要应用的绝缘子场景进行无人机航拍，并将航拍视频抽帧为图像数据；
(2)对图像数据进行标注，并将采集并标注好的数据按照比例划分为训练集和验证集；
(3)对训练集数据通过Mosaic+Mixup方法混合增强；
(4)使用Ghostnetv2网路替换改进Yolo主干特征提取网络；
(5)使用改进yolo网络模型训练，配置得到TensorRT的数据、模型即环境
(6)将训练好的模型文件以ONNX文件导出，使用TensorRT部署生成Engine模型；
(7)使用Engine模型部署并进行无人机检测。
优选的，所述的Mosaic+Mixup混合增强方法分别为：
其中所述Mosaic方法为：在训练集中随机选择n张图片，n∈4×N，N为正整数，取其部分拼入训练图片中；
其中所述Mixup方法为：分别从两个批次不同的训练集中，随机选择两张图像，并以λ为参数生成新的图像。
优选的，步骤(3)中所述的Mosaic+Mixup方法混合数据增强公式为：
mixed_batchx＝λ×batchx1+(1-λ)×batchx2
mixed_batchy＝λ×batchy1+(1-λ)×batchy2
其中，所述batchx1为一个批次样本，batchy1为该批次样本对应的标签；batchx2为另一个批次的样本，batchy2为该批次对应的标签。其中所述λ为参数α、β的贝塔分布计算出的混合系数，其公式为：
λ＝Beta(α,β)
其中所述Beta为贝塔分布，α、β为可调参数，本发明中使用α＝β＝0.5，可发挥该方法的最佳性能。
优选的，步骤(4)中使用Ghostnetv2网路替换改进Yolo主干特征提取网络，其中Ghostnetv2网络为：
Ghostnetv2使用DFC注意力机制，将普通的注意力聚合过程分成两个全连接层，分别沿水平和竖直方向聚合特征，其表达式为：
其中，FH和FW是权重，输入是原始特征，FHW×H×W是可学习权重，A＝{a11,a12,…,aHW}是得到的注意力图。
优选的，步骤(4)中所述的使用DFC注意力机制构建Ghostnetv2网络具体为：
对于输入特征 为实数，它被送到2个分支里面，一个是Ghost分支，得到输出特征Y，一个是DFC分支,得到注意力矩阵A，再使用1×1的点卷积将模块中的输入X转化为DFC的输入Z，模块的最终输入/>为两个分支输出的element-wise乘法，其公式为：
其中为输入特征，A为DFC生成的注意力矩阵图，O为ghost模块最终输出，⊙为element-wise乘法，Sigmoid为sigmoid函数，其公式为：
优选的，步骤(4)所述的改进Yolo算法采用的LeakyReLu激活函数，其表达式为：
其中，x为函数输入，α为负斜率(negative_slope)，本发明中取值为0.01。
优选的，步骤(6)中将训练好的模型文件以ONNX文件导出，使用TensorRT部署生成Engine模型，其特征在于：
将训练好的pytorch绝缘子检测模型，通过pytorch的ONNX处理接口，将对应的模型文件转换为ONNX格式，并将所生成的ONNX模型导入到TenosrRT中，通过不同的设定分别生成FP32、PF16、INT8计算模型TenosrRT的Engine文件。
优选的，步骤(7)中所述使用TenosrRT生成的Engine模型部署并进行无人机检测，其特征在于：
将无人机航拍收集到的绝缘子目标图像通过TenosrRT生成的Engine模型进行推理计算，生成绝缘子目标的检测向量框。
本发明的有益效果：本发明基于改进Yolo模型构建目标检测模型，该模型对于目标绝缘子识别速度更快以及识别准确率更高，识别位置更精确。
附图说明
图1是本发明的方法流程图；
图2是本发明实施例中改进的Yolov7模型结构图；
图3是本发明使用TensorRT部署模型的流程图；
图4是本发明使用的Mosaic+Mixup混合数据增强结果示意图；
图5是本发明测试结果的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本实施例中，公开一种基于改进Yolo算法的无人机航拍绝缘子目标检测方法，本实施例中采用Yolo算法版本号为v7，包括以下步骤：
(1)对需要应用的绝缘子场景进行无人机航拍，并将航拍视频抽帧为图像数据；
(2)对图像数据进行标注，并将标注好的图像数据按照比例划分为训练集和验证集；
(3)对训练集数据进行增强；
(4)使用Ghostnetv2网路替换改进Yolov7主干特征提取网络；
(5)使用改进yolo网络模型训练，配置得到TensorRT的数据、模型即环境；
(6)将训练好的模型文件导出，使用TensorRT部署生成Engine模型；
(7)使用Engine模型部署并进行无人机检测。
本实施例中，步骤(3)中对训练集数据进行增强的方法采用的是Mosaic+Mixup方法混合增强。
所述的Mosaic+Mixup混合增强方法分别为：
其中所述Mosaic方法为：在训练集中随机选择n张图片，n∈4×N，N为正整数，取其部分拼入训练图片中；
其中所述Mixup方法为：分别从两个批次不同的训练集中，随机选择两张图像，并以λ为参数生成新的图像。
Mosaic+Mixup混合增强方法，其原理公式为：
mixed_batchx＝λ×batchx1+(1-λ)×batchx2
mixed_batchy＝λ×batchy1+(1-λ)×batchy2
其中，所述batchx1为一个批次样本，batchy1为该批次样本对应的标签；batchx2为另一个批次的样本，batchy2为该批次对应的标签，其中所述λ为参数α、β的贝塔分布计算出的混合系数，其公式为：
λ＝Beta(α,β)
其中所述Beta为贝塔分布，α、β为可调参数。
步骤(4)中改进Yolov7版本网络，使用Ghostnetv2网路替换改进Yolov7主干特征提取网络，选取LeakyReLu函数为激活函数；
这里LeakyReLu函数为：
其中，x为函数输入，α为负斜率(negative slope)。
使用Ghostnetv2替换yolov7主干提取网络，其中，输入图片尺寸为640*640，Ghostnetv2中三个有效特征层分别为：80*80*40、40*40*112、20*20*160，将三个有效特征层提取值传入yolov7网络进行特征加强。
步骤(5)中使用TensorRT部署生成Engine模型，具体包括：
以步骤(4)中所述的改进Yolov7网络模型在步骤(3)所述增强训练数据集上训练得到pytorch网络模型，将pytorch网络模型作为绝缘子检测模型。
步骤(6)中将训练好的模型文件以ONNX文件导出，使用TensorRT部署生成Engine模型，具体包括：
将训练好的pytorch绝缘子检测模型，通过pytorch的ONNX处理接口，将对应的模型文件转换为ONNX格式，并将所生成的ONNX模型导入到TenosrRT中，通过不同的设定分别生成FP32、PF16、INT8计算模型TenosrRT的Engine文件。
步骤(7)中所述使用TenosrRT生成的Engine模型部署并进行无人机检测，其特征在于：
将无人机航拍收集到的绝缘子目标图像通过TenosrRT生成的Engine模型进行推理计算，生成绝缘子目标的检测向量框
下面结合附图和实施例对本发明的技术方案进行说明。
参照图1，为本发明的第一个实施例，该实施例提供了一种基于改进Yolov7的无人机航拍绝缘子目标检测方法，包括：
基于改进Yolov7模型构建目标检测模型，并修改目标检测模型的网络结构。
参照图2，利用Ghostnetv2网络作为目标检测模型的主干特征提取网络，网络的输入图片尺寸为640*640，Ghostnetv2中三个有效特征层分别为：80*80*40、40*40*112、20*20*160；
进一步的，目标检测模型的网络结构为：基于Ghostnetv2网络改进的Yolov7网络作为目标检测模型的主干特征提取网络DFC注意力机制来实现在不破坏原有梯度路径的情况下不断增强网络学习能力的能力，并减少计算复杂度，进而在实际应用过程中提高推理速度，加快绝缘子检测。选取Leaky Elu函数作为激活函数，保证了每一点的平滑，能够很好的解决Rely中值小于0的神经元“死亡”问题，从而改善了梯度下降效果，其表达式如下式：
其中，x为函数输入，α为负斜率，本发明中取值为0.01.
参照图3，利用Tensors部署生成Engine模型，进而加速模型的推理速度。以改进Yolov7网络模型在增强训练数据集上训练得到pytorch网络模型，将pytorch网络模型作为绝缘子检测模型，并将训练好的模型文件以ONNX文件导出，使用TensorRT部署生成Engine模型。
再进一步的，将训练好的pytorch绝缘子检测模型，通过pytorch的ONNX处理接口，将对应的模型文件转换为ONNX格式，并将所生成的ONNX模型导入到TenosrRT中，通过不同的设定分别生成FP32、PF16、INT8计算模型TenosrRT的Engine文件。在以DFC注意力机制为主的Ghostnetv2网络中，将普通的注意力聚合过程分成两个全连接层，分别沿水平和竖直方向聚合特征，这种策略在ONNX及TensorRT等工具上有着良好的支持，可以方便在移动设备上进行快速推理。
再进一步的，将无人机航拍收集到的绝缘子目标图像通过TenosrRT生成的Engine模型进行推理计算，生成绝缘子目标的检测向量框。
参照图4，使用Mosaic+Mixup混合增强方法，在无人机航拍的数据集中，除了分辨率较高和待检测目标较小的问题以外，训练集中的有效信息过少也是一种问题，往往一张航拍图像中的绝缘子信息只占有图像中的有一小部分，绝大部分都是无用的背景信息，本发明使用一种新的数据集增强方式，使得在训练集中，每张待训练图片中包含更多的目标信息，以增强模型对于绝缘子的检测能力。
其原理公式为：
mixed_batchx＝λ×batchx1+(1-λ)×batchx2
mixed_batchy＝λ×batchy1+(1-λ)×batchy2
其中，所述batchx1为一个批次样本，batxhy1为该批次样本对应的标签；batchx2为另一个批次的样本，batchy2为该批次对应的标签。其中所述λ为参数α、β的贝塔分布计算出的混合系数，其公式为：
λ＝Beta(α,β)
其中所述Beta为贝塔分布，α、β为可调参数。
特别需要说明的是，尽管本发明实施例中以Yolov7为例进行示例，但是不代表本算法只能应用于Yolov7版本，本领域技术人员可以依据本发明公开的算法、方法、思想在不付出创造性劳动的情况下将本发明的技术方案应用于其他版本的Yolo算法以实现改进。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于改进Yolo算法的无人机航拍绝缘子目标检测方法，其特征在于包括以下步骤：
(1)对需要应用的绝缘子场景进行无人机航拍，并将航拍视频抽帧为图像数据；
(2)对图像数据进行标注，并将标注好的图像数据按照比例划分为训练集和验证集；
(3)对训练集数据进行增强；
(4)使用Ghostnetv2网路替换改进Yolov主干特征提取网络；
(5)使用改进yolov网络模型训练，配置得到TensorRT的数据、模型即环境；
(6)将训练好的模型文件导出，使用TensorRT部署生成Engine模型；
(7)使用Engine模型部署并进行无人机检测。
2.根据权利要求1所述的基于改进Yolo算法的无人机航拍绝缘子目标检测方法，其特征在于：步骤(3)中对训练集数据进行增强的方法采用的是Mosaic+Mixup方法混合增强。
3.根据权利要求1所述的基于改进Yolo算法的无人机航拍绝缘子目标检测方法，其特征在于：所述的Mosaic+Mixup混合增强方法分别为：
其中所述Mosaic方法为：在训练集中随机选择n张图片，n∈4×N，N为正整数，取其部分拼入训练图片中；
其中所述Mixup方法为：分别从两个批次不同的训练集中，随机选择两张图像，并以λ为参数生成新的图像。
4.根据权利要求3所述的Mosaic+Mixup混合增强方法，其原理公式为：
mixed_batchx＝λ×batchx1+(1-λ)×batchx2
mixed_batchy＝λ×batchy1+(1-λ)×batchy2
其中，所述batchx1为一个批次样本，batxhy1为该批次样本对应的标签；batchx2为另一个批次的样本，batchy2为该批次对应的标签，其中所述λ为参数α、β的贝塔分布计算出的混合系数，其公式为：
λ＝Beta(α,β)
其中所述Beta为贝塔分布，α、β为可调参数。
5.根据权利要求1所述的基于改进Yolo算法的无人机航拍绝缘子目标检测方法，步骤(4)中所述的改进Yolo版本网络，其特征在于：
使用Ghostnetv2网路替换改进Yolo主干特征提取网络，选取LeakyReLu函数为激活函数。
6.根据权利要求5所述的基于改进Yolo算法的无人机航拍绝缘子目标检测方法，其特征在于：所述LeakyReLu函数为：
其中，x为函数输入，α为负斜率(negative slope)。
7.根据权利要求5所述的基于改进Yolo算法的无人机航拍绝缘子目标检测方法，其特征在于：包括以下步骤：
使用Ghostnetv2替换yolo主干提取网络，其中，输入图片尺寸为640*640，Ghostnetv2中三个有效特征层分别为：80*80*40、40*40*112、20*20*160，将三个有效特征层提取值传入yolo网络进行特征加强。
8.根据权利要求1所述的基于改进Yolo算法的无人机航拍绝缘子目标检测方法，其特征在于：步骤(5)中使用TensorRT部署生成Engine模型，具体包括：
以步骤(4)所述的改进Yolo网络模型在步骤(3)所述增强训练数据集上训练得到pytorch网络模型，将pytorch网络模型作为绝缘子检测模型。
9.根据权利要求1所述的基于改进Yolo算法的无人机航拍绝缘子目标检测方法，其特征在于：步骤(6)中将训练好的模型文件以ONNX文件导出，使用TensorRT部署生成Engine模型，具体包括：
将训练好的pytorch绝缘子检测模型，通过pytorch的ONNX处理接口，将对应的模型文件转换为ONNX格式，并将所生成的ONNX模型导入到TenosrRT中，通过不同的设定分别生成FP32、PF16、INT8计算模型TenosrRT的Engine文件。
10.根据权利要求1所述的基于改进Yolo算法的无人机航拍绝缘子目标检测方法，步骤(7)中所述使用TenosrRT生成的Engine模型部署并进行无人机检测，其特征在于：
将无人机航拍收集到的绝缘子目标图像通过TenosrRT生成的Engine模型进行推理计算，生成绝缘子目标的检测向量框。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310560548.0A CN116563736A (zh) | 2023-05-17 | 2023-05-17 | 一种基于改进Yolov算法的无人机航拍绝缘子目标检测方法 |
| CN2023105605480 | 2023-05-17 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116994162A true CN116994162A (zh) | 2023-11-03 |
Family
ID=87487681
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310560548.0A Withdrawn CN116563736A (zh) | 2023-05-17 | 2023-05-17 | 一种基于改进Yolov算法的无人机航拍绝缘子目标检测方法 |
| CN202310983509.1A Pending CN116994162A (zh) | 2023-05-17 | 2023-08-04 | 一种基于改进Yolo算法的无人机航拍绝缘子目标检测方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310560548.0A Withdrawn CN116563736A (zh) | 2023-05-17 | 2023-05-17 | 一种基于改进Yolov算法的无人机航拍绝缘子目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN116563736A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117557787B (zh) * | 2024-01-11 | 2024-04-05 | 安徽农业大学 | 一种基于改进yolov8的轻量化多环境番茄检测方法 |
-
2023
- 2023-05-17 CN CN202310560548.0A patent/CN116563736A/zh not_active Withdrawn
- 2023-08-04 CN CN202310983509.1A patent/CN116994162A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN116563736A (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111461110B (zh) | 一种基于多尺度图像和加权融合损失的小目标检测方法 | |
| CN108985181B (zh) | 一种基于检测分割的端对端人脸标注方法 | |
| CN112115783A (zh) | 基于深度知识迁移的人脸特征点检测方法、装置及设备 | |
| Fa et al. | Development of an all-sky imaging system for cloud cover assessment | |
| CN116994162A (zh) | 一种基于改进Yolo算法的无人机航拍绝缘子目标检测方法 | |
| CN114998757A (zh) | 用于无人机航摄图像分析的目标检测方法 | |
| CN114373009B (zh) | 基于高分辨率遥感影像的建筑物阴影测高智能化计算方法 | |
| CN116188402A (zh) | 一种基于改进ssd算法的绝缘子缺陷识别方法 | |
| CN116758130A (zh) | 一种基于多路径特征提取和多尺度特征融合的单目深度预测方法 | |
| CN113205502A (zh) | 一种基于深度学习的绝缘子缺陷检测方法及其系统 | |
| Wu et al. | Research on insulator defect detection algorithm of transmission line based on CenterNet | |
| CN115294483A (zh) | 输电线路复杂场景的小目标识别方法及系统 | |
| CN115082798A (zh) | 一种基于动态感受野的输电线路销钉缺陷检测方法 | |
| Liu et al. | TransCloudSeg: Ground-based cloud image segmentation with transformer | |
| CN107622476B (zh) | 基于概率生成模型的图像超分辨处理方法 | |
| CN114359167A (zh) | 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法 | |
| Ma et al. | Image-based pm2. 5 estimation and its application on depth estimation | |
| CN113378672A (zh) | 基于改进YOLOv3的输电线缺陷多目标检测方法 | |
| CN116778386A (zh) | 一种六氟化硫的泄露检测方法、装置、设备及存储介质 | |
| CN111339950A (zh) | 一种遥感图像目标检测方法 | |
| Gao et al. | Motion deblurring algorithm for wind power inspection images based on Ghostnet and SE attention mechanism | |
| Pei et al. | Research on 3D reconstruction technology of large‐scale substation equipment based on NeRF | |
| CN105956606A (zh) | 一种基于不对称变换的行人再标识方法 | |
| Wang et al. | Real-time recognition of transmission line insulators under complex backgrounds: a Yolov5s approach | |
| CN111539922B (zh) | 基于多任务网络的单目深度估计与表面法向量估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |