CN117274723B - 一种用于输电巡检的目标识别方法、系统、介质及设备 - Google Patents
一种用于输电巡检的目标识别方法、系统、介质及设备 Download PDFInfo
- Publication number
- CN117274723B CN117274723B CN202311557590.3A CN202311557590A CN117274723B CN 117274723 B CN117274723 B CN 117274723B CN 202311557590 A CN202311557590 A CN 202311557590A CN 117274723 B CN117274723 B CN 117274723B
- Authority
- CN
- China
- Prior art keywords
- image
- foreground
- model
- power transmission
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000005540 biological transmission Effects 0.000 title claims abstract description 61
- 238000007689 inspection Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000013145 classification model Methods 0.000 claims abstract description 25
- 230000007547 defect Effects 0.000 claims abstract description 20
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 238000011176 pooling Methods 0.000 claims description 32
- 238000013526 transfer learning Methods 0.000 claims description 19
- 230000000903 blocking effect Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 7
- 238000013139 quantization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000013508 migration Methods 0.000 abstract description 5
- 230000005012 migration Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 238000013140 knowledge distillation Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 26
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000012216 screening Methods 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- UEEJHVSXFDXPFK-UHFFFAOYSA-N N-dimethylaminoethanol Chemical compound CN(C)CCO UEEJHVSXFDXPFK-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，本发明公开了一种用于输电巡检的目标识别方法、系统、介质及设备，包括：获取巡检图像，通过业务模型，得到输电设备缺陷；其中，业务模型的获取步骤包括：基于分块后的掩膜图中的前景区域的外接矩形，将分块后的虚拟可视化图像划分为前景图和背景图，基于所述前景图和背景图，训练得到前景背景分类模型；采用所述前景背景分类模型，对无标签数据集中的巡检图像分类，得到前景图和背景图；基于分类得到的前景图和背景图，运用掩码自编码器模型架构对教师模型进行预训练，并通过知识蒸馏，得到学生模型后，使用标签数据集对学生模型进行迁移学习，得到业务模型。提高了输电设备缺陷的识别精度。
Description
技术领域
本发明涉及图像处理技术领域，具体的说，是涉及一种用于输电巡检的目标识别方法、系统、介质及设备。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
当前输电线路缺陷识别算法在一些类别的识别上已比较准确，但整体上还存在多数缺陷发现率达不到真正实用化的水平，以及整体上误检过高的问题。现阶段输电巡检目标检测方法大多基于感知视觉技术的目标检测方法，如RCNN（Rich feature hierarchiesfor accurate object detection and semantic segmentation，用于精确物体定位和语义分割的丰富特征层次结构）、Faster RCNN（Towards Real-Time Object Detection withRegion Proposal Networks，用于实时目标检测的区域建议网络）、YOLO（You Only LookOnce，一种基于深度神经网络的对象识别和定位算法）、SSD（Single Shot MultiBoxDetector，采用单个深度神经网络模型实现目标检测和识别的方法）等深度学习算法。但是，传统深度学习方法在小样本问题处理上效果不好，实际现场缺陷的发生存在不确定性，缺陷种类间的长尾数据现象普遍。并且传统深度学习方法，小目标定位分类困难，导致误检、漏检等问题。针对以上问题：公开号为CN114663352A的专利提出一种输电线路缺陷高精度检测方法，在获取原始巡检图像数据后，通过变换域和空间域对巡检图像自适应去噪，获得性能良好的去噪图像数据，然后采用两阶段目标检测神经网络算法对输电线路缺陷识别训练，为输电线路目标检测算法高精度研判提供高质量巡检图像数据，以提升缺陷检测精度。公开号为CN115937086A的专利提出一种基于无人机图像识别技术的特高压输电线路缺陷检测方法，通过无人机巡航进行图像采集和图像预处理，对预处理完成后的图像进行输电线路缺陷检测，融合大场景的通道背景，从而提高缺陷巡检效率。
随着人工智能技术的发展，传统深度学习目标检测算法，在现阶段发挥了重要作用，但仍存在以下问题：
1、现有模型结构的精度局限：随着神经网络结构设计技术，逐渐成熟并趋于收敛，想要通过优化神经网络结构从而打破精度局限非常困难；现有数据量较充足的类别中其检测效果达到瓶颈，增加数据量已经没法提升模型的识别精度；
2、模型感知能力弱：针对较高分辨率的图像，传统深度学习算法所获取的图像特征精细度不够；且传统深度学习预训练模型使用非行业数据进行预训练，网络提取的特征不具备针对性，导致目标分类准确率低；
3、预训练大模型低效数据问题：在大模型预训练前期，需要对高分辨率数据进行裁剪，裁剪后的数据包括一半以上的背景，导致模型在训练中耗时更长，并一定程度降低了模型对输电线路设备的敏感性。
发明内容
本发明为了解决上述问题，本发明提供一种用于输电巡检的目标识别方法、系统、介质及设备，创新性提出在教师模型预训练阶段加入前景背景分类模型，压缩了运用掩码自编码器模型架构对教师模型进行预训练的时间，且更有效的引导教师模型对输电设备的特征学习，提高特征提取的鲁棒性，进而提高输电设备缺陷的识别精度。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种用于输电巡检的目标识别方法，其包括：
获取巡检图像；
基于所述巡检图像，通过业务模型，得到输电设备缺陷；
其中，业务模型的获取步骤包括：获取虚拟可视化巡检图像，并进行图像分块后，划分为前景图和背景图，基于所述前景图和背景图，训练得到前景背景分类模型；采用所述前景背景分类模型，对无标签数据集中的巡检图像分类，得到前景图和背景图；基于分类得到的前景图和背景图，运用掩码自编码器模型架构对教师模型进行预训练，并通过知识蒸馏，得到学生模型后，使用标签数据集对学生模型进行迁移学习，得到业务模型。
进一步地，所述虚拟可视化巡检图像通过建模搭配随机背景的方式生成。
进一步地，所述图像分块采用滑动窗口，且滑动窗口的尺寸通过宽、高和滑窗重叠比限定。
进一步地，所述划分为前景图和背景图的方法为：对虚拟可视化巡检图像对应的掩膜图进行所述图像分块，提取分块后的掩膜图中的前景区域的外接矩形，比较所述前景区域的外接矩形的宽与所述滑动窗口的宽，将比较结果符合要求的外接矩形对应的虚拟可视化图像块，作为前景图。
进一步地，所述划分为前景图和背景图的方法为：对虚拟可视化巡检图像对应的掩膜图进行所述图像分块，提取分块后的掩膜图中的前景区域的外接矩形，比较所述前景区域的外接矩形的高与所述滑动窗口的高，将比较结果符合要求的外接矩形对应的虚拟可视化图像块，作为前景图。
进一步地，所述迁移学习中的池化操作采用感兴趣区域池化，使用双线性插值的方法获得坐标为浮点数的像素点上的图像数值。
进一步地，所述教师模型编码器包括若干结构块，且结构块之间通过残差连接，每个结构块包括：多头自注意力、多层感知机和层归一化
本发明的第二个方面提供一种用于输电巡检的目标识别系统，其包括：
模型训练模块，其被配置为：获取虚拟可视化巡检图像，并进行图像分块后，划分为前景图和背景图，基于所述前景图和背景图，训练得到前景背景分类模型；采用所述前景背景分类模型，对无标签数据集中的巡检图像分类，得到前景图和背景图；基于分类得到的前景图和背景图，运用掩码自编码器模型架构对教师模型进行预训练，并通过知识蒸馏，得到学生模型后，使用标签数据集对学生模型进行迁移学习，得到业务模型；
数据获取模块，其被配置为：获取巡检图像；
目标识别模块，其被配置为：基于所述巡检图像，通过业务模型，得到输电设备缺陷。
进一步地，所述虚拟可视化巡检图像通过建模搭配随机背景的方式生成。
进一步地，所述图像分块采用滑动窗口，且滑动窗口的尺寸通过宽、高和滑窗重叠比限定。
进一步地，所述划分为前景图和背景图的方法为：对虚拟可视化巡检图像对应的掩膜图进行所述图像分块，提取分块后的掩膜图中的前景区域的外接矩形，比较所述前景区域的外接矩形的宽与所述滑动窗口的宽，将比较结果符合要求的外接矩形对应的虚拟可视化图像块，作为前景图。
进一步地，所述划分为前景图和背景图的方法为：对虚拟可视化巡检图像对应的掩膜图进行所述图像分块，提取分块后的掩膜图中的前景区域的外接矩形，比较所述前景区域的外接矩形的高与所述滑动窗口的高，将比较结果符合要求的外接矩形对应的虚拟可视化图像块，作为前景图。
进一步地，所述迁移学习中的池化操作采用感兴趣区域池化，使用双线性插值的方法获得坐标为浮点数的像素点上的图像数值。
进一步地，所述教师模型编码器包括若干结构块，且结构块之间通过残差连接，每个结构块包括：多头自注意力、多层感知机和层归一化。
本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，该程序被处理器执行时实现如上述所述的一种用于输电巡检的目标识别方法中的步骤。
本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种用于输电巡检的目标识别方法中的步骤。
与现有技术相比，本发明的有益效果为：
本发明提供了一种用于输电巡检的目标识别方法，其创新性提出在教师模型预训练阶段加入前景背景分类模型，压缩了运用掩码自编码器模型架构对教师模型进行预训练的时间，且更有效的引导教师模型对输电设备的特征学习，提高特征提取的鲁棒性，进而提高输电设备缺陷的识别精度。
本发明提供了一种用于输电巡检的目标识别方法，其创新性提出使用仿真虚拟数据进行数据集准备，实现了自动标签数据的生成，大大降低了传统人工标定数据的工作量，实现了模型的快速研发。
本发明提供了一种用于输电巡检的目标识别方法，其创新性提出在迁移学习中进行检测网络的ROI池化（Region of interest pooling，感兴趣区域池化）改进，取消量化操作，使用双线性插值的方法获得坐标为浮点数的像素点上的图像数值，从而将整个特征聚集过程转化为一个连续的操作，从而解决传统ROI池化导致的实际物体目标框微小偏移的问题，提升目标检测精度。
附图说明
构成本发明的一部分说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的限定。
图1为实施例一所述的前景图和背景图的划分流程图；
图2为实施例一所述的分类模型训练流程图；
图3为实施例一所述的分类模型应用流程图；
图4为实施例一所述的MAE（Masked Autoencoders，掩码自编码器）预训练网络结构图；
图5为实施例一所述的Transformer（变换器）编码器结构块示意图；
图6为实施例一所述的迁移学习模型的整体模型结构图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合下面结合附图与实施例对本发明作进一步说明。
实施例一
本实施例一的目的是提供一种用于输电巡检的目标识别方法。
本实施例提供的一种用于输电巡检的目标识别方法，使用大模型预训练算法，设计复杂、高参数量网络架构，行业大数据训练网络，实现模型感知能力提高，更加精细的捕捉行业数据特征，提升后期应用模型的识别精度。预训练阶段对海量数据的自监督学习，积累了大量的背景知识，使得模型在处理小样本时能够从图像空间上下文信息中推断出更丰富的语义信息，有效提升模型在小样本上的学习能力和泛化能力。设计前景背景筛选模型，在大模型训练数据输入前通过筛选模型进行数据过滤，保留设备图像，实现预训练速度、效率的优化。迁移学习环节设计ROI池化层，提高小目标检测的定位准确性，从而提高分类准确率。
本实施例提供的一种用于输电巡检的目标识别方法，包括如下步骤：
步骤1、获取巡检图像；
步骤2、将巡检图像输入业务模型，检测得到输电设备缺陷。其中的业务模型运用大模型训练技术生成。
其中，业务模型的生成步骤包括：
步骤（1）、进行预训练大模型数据预处理：设计前景背景筛选模型，在大模型训练数据输入前通过前景背景筛选模型进行数据过滤，保留设备图像，实现预训练速度、效率的优化。
选取无人机巡检电力图片生成样本，此类样本使用3D（三维）建模搭配随机背景的方式生产虚拟可视化巡检图像，并且每张图包括一张设备前景掩膜图（掩膜图像在3D建模软件中即可生成，掩膜是电力设备的掩膜：背景为0，前景设备为1）。前景背景筛选模型的训练数据通过虚拟可视化巡检图像和设备前景掩膜图切分获取。切分图像块的前景、背景分类通过切分的掩膜图像块计算获得。使用切分并分类后的前景图和背景图进行分类模型训练，分类模型可以选型SSD系列、YOLO系列、ResNet（Deep residual network，深度残差网络）系列等。
掩膜图像和虚拟可视化图像进行滑动窗口图像分块，设滑窗尺寸：宽w、高h、滑窗重叠比c。如图1所示，掩膜图像和虚拟可视化图像切分后，对切分后的掩膜图像块进行前景像素设备区域划分，假设设备划分区域有n个，对掩膜设备划分的分割区域进行外接矩形换算，计算得出前景矩形，前景矩形用[r1(w1,h1),…,rn(wn,hn)]表示，其中，rn表示第n个前景区域的外接矩形，wn表示第n个前景区域的外接矩形的宽，hn表示第n个前景区域的外接矩形的高；如果存在前景矩形wn≥w×0.05%或存在前景矩形hn≥h×0.05%，则对应切分掩膜图的虚拟可视化图（即虚拟可视化图像块）为前景图，否则为背景图。如图2所示，选取全部前景图数量Ma，选取背景图数量Na，且Na≤Ma，进行图像前景背景分类模型训练，生成前景背景分类模型。
本发明使用仿真虚拟数据进行数据集准备，实现了自动标签数据的生成，大大降低了传统人工标定数据的工作量，实现了分类模型的快速研发。
步骤（2）、运用MAE（掩码自编码器，Masked AutoEncoder）模型架构实现无人机输电巡检行业大模型训练。
在训练前端数据预处理中加入步骤1生成的前景背景分类模型。如图3所示，具体操作：采集真实巡检图像（无标签数据集中的巡检图像），训练阶段实现在线图像数据切分，使用前景背景分类模型进行图像块的分类，分类数据中前景数据的数据量Mb，背景数据量Nb，Nb=Mb×1%。
大模型预训练过程选择Transformer编码器作为预训练网络编码器，使用24个编码器结构块；解码器使用8个编码器结构块组成。如图4所示，在预训练期间，随机输入真实巡检图切分后分类得到的前景、背景图像，大比例的随机背景图像块子集（如75%）被屏蔽掉；网络编码器仅仅用于可见图像块子集，在编码器之后引入掩码标记，并且完整的编码块和掩码标记集由一个小型网络解码器处理，该解码器以像素为单位重建原始图像。编码器结构，如图5所示，主要是由多头自注意力、多层感知机、残差连接以及层归一化组成的。
最核心的自注意力机制表示为V。其中，Q是查询矩阵，K是键矩阵，V是值矩阵，/>是V的维度，Attention表示注意力机制，Softmax表示归一化指数函数。Q/>计算出不同输入矩阵间的注意力分数，缩放因子/>主要用来提高稳定性，然后Softmax函数将注意力分数转化为概率。最后，再乘上V获得权重矩阵。为增强自注意力的特征提取能力，将多个自注意力拼接成多头注意力，具体可以写为：
，
，
其中，W表示权重矩阵，多头的数量默认设置为6，Wi表示第i头注意力的权重，Concat表示拼接，MSA表示多头注意力机制。
本发明在大模型预训练阶段加入了前景背景分类模型，极大的减少了预训练中背景数据，压缩了大模型预训练时间，数据的偏向性更有效的引导大模型对输电设备的特征学习，提高特征提取的鲁棒性，进一步提高下游业务模型的检测鲁棒性。
步骤（3）、进行预训练大模型蒸馏，知识蒸馏旨在通过从较大模型（也称为教师模型）中提取信息来训练较小的模型（也称为学生模型）。运用DMAE(Masked AutoencodersEnable Efficient Knowledge Distillers，掩码自编码器支持高效的知识蒸馏器)框架对教师模型和学生模型的中间特征图进行蒸馏操作，训练出更强大的学生模型。使小模型能够接近大模型的性能，从而减少计算需求并提高效率。
步骤（4）、使用标签数据集对学生模型进行迁移学习，得到业务模型。
目前，迁移学习中，存在大量不可替代的低质量样本数据，导致模型的定位识别精度不高。迁移学习定位精度欠缺，在目标检测和分割等任务中，准确地定位目标是至关重要的，高分辨率图像中的目标通常具有更小的尺寸和更复杂的形状，传统深度学习算法在小目标位置回归中存在较高的偏移，最终也会导致目标分类的错误。
在本实施例中，迁移学习环节中设计ROI（感兴趣区域）池化层，设计非量化型感兴趣区域池化层实现最终池化操作。取消原感兴趣区域池化层的量化操作，使用双线性插值的方法获得坐标为浮点数的像素点上的图像数值，从而将整个特征聚集过程转化为一个连续的操作。具体操作：
①遍历每一个候选区域，保持浮点数边界不做量化；
②将候选区域分割成k×k个单元，每个单元的边界也不做量化，k为设定值；
③在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作。
迁移学习模型的整体模型结构如图6所示。
本发明的迁移学习中进行检测网络的ROI池化改进，取消量化操作，使用双线性插值的方法获得坐标为浮点数的像素点上的图像数值，从而将整个特征聚集过程转化为一个连续的操作，从而解决传统ROI池化导致的实际物体目标框微小偏移的问题，提升目标检测精度。
本实施例提供的一种用于输电巡检的目标识别方法，引入了大模型在无人机输电巡检领域的预训练方法，设计预训练大模型前景背景筛选模型快速生成方式，使用3D建模搭配随机背景的方式生产巡检图像，实现自动前景背景数据筛选，快速训练前景背景分类模型，在大模型训练数据输入前通过筛选模型进行数据过滤，实现训练效率的大幅提升。在迁移学习环节改进ROI池化层，取消量化操作，使用双线性插值的方法获得坐标为浮点数的像素点上的图像数值，实现目标定位的精细化程度提升，进一步提高定位、识别精准度。
本实施例提供的一种用于输电巡检的目标识别方法，使用大模型预训练算法，实现输电行业大模型预训练，设计前景背景筛选模型，对预训练数据进行有效筛选，高效提升预训练精度和速度。迁移学习环节设计ROI池化层，取消量化操作，使用双线性插值的方法获得坐标为浮点数的像素点上的图像数值，更好的实现目标的定位，为下一步的分类提供更全面的特征信息。目标定位分类的优化实现了小目标检测的分类准确率提升。迁移学习环节使用大模型生成的预训练模型训练，从而实现下游检测模型在小样本上的学习能力和泛化能力提升。
实施例二
本实施例二的目的是提供一种用于输电巡检的目标识别系统；
一种用于输电巡检的目标识别系统，包括：
模型训练模块，其被配置为：获取虚拟可视化巡检图像和掩膜图，并分别进行图像分块，基于分块后的掩膜图中的前景区域的外接矩形，将分块后的虚拟可视化图像划分为前景图和背景图，基于所述前景图和背景图，训练得到前景背景分类模型；采用所述前景背景分类模型，对无标签数据集中的巡检图像分类，得到前景图和背景图；基于分类得到的前景图和背景图，运用掩码自编码器模型架构对教师模型进行预训练，并通过知识蒸馏，得到学生模型后，使用标签数据集对学生模型进行迁移学习，得到业务模型；
数据获取模块，其被配置为：获取巡检图像；
目标识别模块，其被配置为：基于所述巡检图像，通过业务模型，得到输电设备缺陷。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，该程序被处理器执行时实现如上述实施例一所述的一种用于输电巡检的目标识别方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种用于输电巡检的目标识别方法中的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (16)
1.一种用于输电巡检的目标识别方法，其特征在于，包括：
获取巡检图像；
基于所述巡检图像，通过业务模型，得到输电设备缺陷；
其中，业务模型的获取步骤包括：获取虚拟可视化巡检图像，并进行图像分块后，划分为前景图和背景图，基于所述前景图和背景图，训练得到前景背景分类模型；采用所述前景背景分类模型，对无标签数据集中的巡检图像分类，得到前景图和背景图；基于分类得到的前景图和背景图，运用掩码自编码器模型架构对教师模型进行预训练，并通过知识蒸馏，得到学生模型后，使用标签数据集对学生模型进行迁移学习，得到业务模型；
迁移学习环节中设计感兴趣区域池化层，设计非量化型感兴趣区域池化层实现最终池化操作，取消原感兴趣区域池化层的量化操作，使用双线性插值的方法获得坐标为浮点数的像素点上的图像数值，从而将整个特征聚集过程转化为一个连续的操作，具体操作：
①遍历每一个候选区域，保持浮点数边界不做量化；
②将候选区域分割成k×k个单元，每个单元的边界也不做量化，k为设定值；
③在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作。
2.如权利要求1所述的一种用于输电巡检的目标识别方法，其特征在于，所述虚拟可视化巡检图像通过建模搭配随机背景的方式生成。
3.如权利要求1所述的一种用于输电巡检的目标识别方法，其特征在于，所述图像分块采用滑动窗口，且滑动窗口的尺寸通过宽、高和滑窗重叠比限定。
4.如权利要求3所述的一种用于输电巡检的目标识别方法，其特征在于，所述划分为前景图和背景图的方法为：对虚拟可视化巡检图像对应的掩膜图进行所述图像分块，提取分块后的掩膜图中的前景区域的外接矩形，比较所述前景区域的外接矩形的宽与所述滑动窗口的宽，将比较结果符合要求的外接矩形对应的虚拟可视化图像块，作为前景图。
5.如权利要求3所述的一种用于输电巡检的目标识别方法，其特征在于，所述划分为前景图和背景图的方法为：对虚拟可视化巡检图像对应的掩膜图进行所述图像分块，提取分块后的掩膜图中的前景区域的外接矩形，比较所述前景区域的外接矩形的高与所述滑动窗口的高，将比较结果符合要求的外接矩形对应的虚拟可视化图像块，作为前景图。
6.如权利要求1所述的一种用于输电巡检的目标识别方法，其特征在于，所述迁移学习中的池化操作采用感兴趣区域池化，使用双线性插值的方法获得坐标为浮点数的像素点上的图像数值。
7.如权利要求1所述的一种用于输电巡检的目标识别方法，其特征在于，所述教师模型编码器包括若干结构块，且结构块之间通过残差连接，每个结构块包括：多头自注意力、多层感知机和层归一化。
8.一种用于输电巡检的目标识别系统，其特征在于，包括：
模型训练模块，其被配置为：获取虚拟可视化巡检图像，并进行图像分块后，划分为前景图和背景图，基于所述前景图和背景图，训练得到前景背景分类模型；采用所述前景背景分类模型，对无标签数据集中的巡检图像分类，得到前景图和背景图；基于分类得到的前景图和背景图，运用掩码自编码器模型架构对教师模型进行预训练，并通过知识蒸馏，得到学生模型后，使用标签数据集对学生模型进行迁移学习，得到业务模型；
数据获取模块，其被配置为：获取巡检图像；
目标识别模块，其被配置为：基于所述巡检图像，通过业务模型，得到输电设备缺陷；
迁移学习环节中设计感兴趣区域池化层，设计非量化型感兴趣区域池化层实现最终池化操作，取消原感兴趣区域池化层的量化操作，使用双线性插值的方法获得坐标为浮点数的像素点上的图像数值，从而将整个特征聚集过程转化为一个连续的操作，具体操作：
①遍历每一个候选区域，保持浮点数边界不做量化；
②将候选区域分割成k×k个单元，每个单元的边界也不做量化，k为设定值；
③在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作。
9.如权利要求8所述的一种用于输电巡检的目标识别系统，其特征在于，所述虚拟可视化巡检图像通过建模搭配随机背景的方式生成。
10.如权利要求8所述的一种用于输电巡检的目标识别系统，其特征在于，所述图像分块采用滑动窗口，且滑动窗口的尺寸通过宽、高和滑窗重叠比限定。
11.如权利要求10所述的一种用于输电巡检的目标识别系统，其特征在于，所述划分为前景图和背景图的方法为：对虚拟可视化巡检图像对应的掩膜图进行所述图像分块，提取分块后的掩膜图中的前景区域的外接矩形，比较所述前景区域的外接矩形的宽与所述滑动窗口的宽，将比较结果符合要求的外接矩形对应的虚拟可视化图像块，作为前景图。
12.如权利要求10所述的一种用于输电巡检的目标识别系统，其特征在于，所述划分为前景图和背景图的方法为：对虚拟可视化巡检图像对应的掩膜图进行所述图像分块，提取分块后的掩膜图中的前景区域的外接矩形，比较所述前景区域的外接矩形的高与所述滑动窗口的高，将比较结果符合要求的外接矩形对应的虚拟可视化图像块，作为前景图。
13.如权利要求8所述的一种用于输电巡检的目标识别系统，其特征在于，所述迁移学习中的池化操作采用感兴趣区域池化，使用双线性插值的方法获得坐标为浮点数的像素点上的图像数值。
14.如权利要求8所述的一种用于输电巡检的目标识别系统，其特征在于，所述教师模型编码器包括若干结构块，且结构块之间通过残差连接，每个结构块包括：多头自注意力、多层感知机和层归一化。
15.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种用于输电巡检的目标识别方法中的步骤。
16.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种用于输电巡检的目标识别方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311557590.3A CN117274723B (zh) | 2023-11-22 | 2023-11-22 | 一种用于输电巡检的目标识别方法、系统、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311557590.3A CN117274723B (zh) | 2023-11-22 | 2023-11-22 | 一种用于输电巡检的目标识别方法、系统、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117274723A CN117274723A (zh) | 2023-12-22 |
| CN117274723B true CN117274723B (zh) | 2024-03-26 |
Family
ID=89218151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311557590.3A Active CN117274723B (zh) | 2023-11-22 | 2023-11-22 | 一种用于输电巡检的目标识别方法、系统、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274723B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977790A (zh) * | 2019-03-04 | 2019-07-05 | 浙江工业大学 | 一种基于迁移学习的视频烟雾检测与识别方法 |
| CN110910341A (zh) * | 2019-09-02 | 2020-03-24 | 海南电网有限责任公司海口供电局 | 一种输电线路锈蚀区缺陷检测方法及装置 |
| CN113361467A (zh) * | 2021-06-30 | 2021-09-07 | 电子科技大学 | 基于领域适应的车牌识别方法 |
| CN114330548A (zh) * | 2021-12-28 | 2022-04-12 | 广东电网有限责任公司 | 基于背景分类与迁移学习的绝缘子检测方法 |
| CN114821152A (zh) * | 2022-03-23 | 2022-07-29 | 湖南大学 | 基于前景-类别感知对齐的域自适应目标检测方法及系统 |
| CN115131747A (zh) * | 2022-08-25 | 2022-09-30 | 合肥中科类脑智能技术有限公司 | 基于知识蒸馏的输电通道工程车辆目标检测方法及系统 |
| CN115205256A (zh) * | 2022-07-14 | 2022-10-18 | 华北电力大学（保定） | 一种融合迁移学习的输电线路绝缘子缺陷检测方法及系统 |
| CN115223049A (zh) * | 2022-09-20 | 2022-10-21 | 山东大学 | 面向电力场景边缘计算大模型压缩的知识蒸馏与量化技术 |
| CN115631154A (zh) * | 2022-10-14 | 2023-01-20 | 国网河南省电力公司电力科学研究院 | 一种电力设备状态监控分析方法与系统 |
| CN115931895A (zh) * | 2022-12-06 | 2023-04-07 | 广东电网有限责任公司 | 一种输电线路缺陷的校验方法和装置 |
| CN116993681A (zh) * | 2023-07-06 | 2023-11-03 | 国网青海省电力公司海北供电公司 | 一种变电站巡检缺陷检测方法及系统 |
| CN117011563A (zh) * | 2023-08-04 | 2023-11-07 | 山东建筑大学 | 基于半监督联邦学习的道路损害巡检跨域检测方法及系统 |
| CN117095311A (zh) * | 2023-01-09 | 2023-11-21 | 西安科技大学 | 智能光伏热斑故障检测方法、系统、介质、设备及终端 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259809B (zh) * | 2020-01-17 | 2021-08-17 | 五邑大学 | 基于DANet的无人机海岸线漂浮垃圾巡检系统 |
| US20220092407A1 (en) * | 2020-09-23 | 2022-03-24 | International Business Machines Corporation | Transfer learning with machine learning systems |
-
2023
- 2023-11-22 CN CN202311557590.3A patent/CN117274723B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977790A (zh) * | 2019-03-04 | 2019-07-05 | 浙江工业大学 | 一种基于迁移学习的视频烟雾检测与识别方法 |
| CN110910341A (zh) * | 2019-09-02 | 2020-03-24 | 海南电网有限责任公司海口供电局 | 一种输电线路锈蚀区缺陷检测方法及装置 |
| CN113361467A (zh) * | 2021-06-30 | 2021-09-07 | 电子科技大学 | 基于领域适应的车牌识别方法 |
| CN114330548A (zh) * | 2021-12-28 | 2022-04-12 | 广东电网有限责任公司 | 基于背景分类与迁移学习的绝缘子检测方法 |
| CN114821152A (zh) * | 2022-03-23 | 2022-07-29 | 湖南大学 | 基于前景-类别感知对齐的域自适应目标检测方法及系统 |
| CN115205256A (zh) * | 2022-07-14 | 2022-10-18 | 华北电力大学（保定） | 一种融合迁移学习的输电线路绝缘子缺陷检测方法及系统 |
| CN115131747A (zh) * | 2022-08-25 | 2022-09-30 | 合肥中科类脑智能技术有限公司 | 基于知识蒸馏的输电通道工程车辆目标检测方法及系统 |
| CN115223049A (zh) * | 2022-09-20 | 2022-10-21 | 山东大学 | 面向电力场景边缘计算大模型压缩的知识蒸馏与量化技术 |
| CN115631154A (zh) * | 2022-10-14 | 2023-01-20 | 国网河南省电力公司电力科学研究院 | 一种电力设备状态监控分析方法与系统 |
| CN115931895A (zh) * | 2022-12-06 | 2023-04-07 | 广东电网有限责任公司 | 一种输电线路缺陷的校验方法和装置 |
| CN117095311A (zh) * | 2023-01-09 | 2023-11-21 | 西安科技大学 | 智能光伏热斑故障检测方法、系统、介质、设备及终端 |
| CN116993681A (zh) * | 2023-07-06 | 2023-11-03 | 国网青海省电力公司海北供电公司 | 一种变电站巡检缺陷检测方法及系统 |
| CN117011563A (zh) * | 2023-08-04 | 2023-11-07 | 山东建筑大学 | 基于半监督联邦学习的道路损害巡检跨域检测方法及系统 |
Non-Patent Citations (7)
| Title |
|---|
| 基于改进Faster-RCNN的输电线巡检图像多目标检测及定位;林刚;王波;彭辉;王晓阳;陈思远;张黎明;;电力自动化设备(第05期);全文 * |
| 基于深度学习的铁路图像场景分类优化研究;赵冰;李平;代明睿;马小宁;;计算机系统应用(第06期);全文 * |
| 林刚 ; 王波 ; 彭辉 ; 王晓阳 ; 陈思远 ; 张黎明 ; .基于改进Faster-RCNN的输电线巡检图像多目标检测及定位.电力自动化设备.2019,(第05期),全文. * |
| 深度学习在电力设备锈蚀检测中的应用;范海兵;胡锡幸;刘明一;肖俊;;广东电力(第09期);全文 * |
| 范海兵 ; 胡锡幸 ; 刘明一 ; 肖俊 ; .深度学习在电力设备锈蚀检测中的应用.广东电力.2020,(第09期),全文. * |
| 赵冰 ; 李平 ; 代明睿 ; 马小宁 ; .基于深度学习的铁路图像场景分类优化研究.计算机系统应用.2019,(第06期),全文. * |
| 面向无人机小样本目标识别的元学习方法研究;李宏男;吴立珍;牛轶峰;王菖;;无人系统技术;20191115(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117274723A (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
| CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN112308860B (zh) | 基于自监督学习的对地观测图像语义分割方法 | |
| CN110929577A (zh) | 一种基于YOLOv3的轻量级框架改进的目标识别方法 | |
| CN109886159B (zh) | 一种非限定条件下的人脸检测方法 | |
| CN114266977B (zh) | 基于超分辨可选择网络的多auv的水下目标识别方法 | |
| CN110717493B (zh) | 一种基于深度学习的含堆叠字符的车牌识别方法 | |
| CN110032952B (zh) | 一种基于深度学习的道路边界点检测方法 | |
| CN111241970A (zh) | 基于yolov3算法与滑动窗口策略的SAR影像海面舰船检测方法 | |
| CN111160407A (zh) | 一种深度学习目标检测方法及系统 | |
| CN112949633A (zh) | 一种基于改进YOLOv3的红外目标检测方法 | |
| CN112712052A (zh) | 一种机场全景视频中微弱目标的检测识别方法 | |
| CN112700476A (zh) | 一种基于卷积神经网络的红外船视频跟踪方法 | |
| CN111540203B (zh) | 基于Faster-RCNN调节绿灯通行时间的方法 | |
| CN111259733A (zh) | 一种基于点云图像的船舶识别方法及装置 | |
| CN110991374B (zh) | 一种基于rcnn的指纹奇异点检测方法 | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| CN114943888A (zh) | 基于多尺度信息融合的海面小目标检测方法、电子设备及计算机可读介质 | |
| CN113436198A (zh) | 一种协同图像超分辨率重建的遥感图像语义分割方法 | |
| CN111950476A (zh) | 基于深度学习的复杂环境下河道船舶自动识别方法 | |
| CN116721206A (zh) | 一种实时的室内场景视觉同步定位与建图方法 | |
| CN117274723B (zh) | 一种用于输电巡检的目标识别方法、系统、介质及设备 | |
| CN114067359B (zh) | 融合人体关键点与可见部位注意力特征的行人检测方法 | |
| CN113192018B (zh) | 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |