CN116883391B - 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法 - Google Patents

一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法 Download PDF

Info

Publication number
CN116883391B
CN116883391B CN202311132205.0A CN202311132205A CN116883391B CN 116883391 B CN116883391 B CN 116883391B CN 202311132205 A CN202311132205 A CN 202311132205A CN 116883391 B CN116883391 B CN 116883391B
Authority
CN
China
Prior art keywords
classification
sliding window
detection
loss
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311132205.0A
Other languages
English (en)
Other versions
CN116883391A (zh
Inventor
梁益郝
宋艳枝
杨周旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202311132205.0A priority Critical patent/CN116883391B/zh
Publication of CN116883391A publication Critical patent/CN116883391A/zh
Application granted granted Critical
Publication of CN116883391B publication Critical patent/CN116883391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及配电线路缺陷检测技术领域，解决了现有技术针对配电线路缺陷检测效果不理想且难以准确识别的技术问题，尤其涉及一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法，该方法包括以下步骤：S1、通过无人机以多角度拍摄不同配电线路、不同杆塔的若干张图像，并对若干张图像所存在的缺陷的部位或主体进行标注以形成初始数据集；S2、根据初始数据集构建基于多尺度滑动窗口的目标检测训练集。本发明通过结合主体检测和分类的两阶段缺陷检测方法，先使用目标检测模型识别出图像中可能发生缺陷的主体部位，再裁切下来使用分类模型来判断该主体部件是否存在缺陷，实现更加高效且通用的配电线路缺陷检测。

Description

一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法
技术领域
本发明涉及配电线路缺陷检测技术领域，尤其涉及一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法。
背景技术
随着智能化的发展，无人机巡检逐渐代替低效的人工巡检成为一种新型的配电线路检测方法。无人机巡检利用高分辨率图像记录电线杆塔等结构的状态，进而进行检测和分析。然而，当前针对无人机拍摄的大量高分辨率图像的处理和分析主要依靠人工识别，这导致了处理速度慢且准确性不高的问题。因此，需要高效、准确地分析和处理这些数据，快速、精准地识别和定位配电线路缺陷隐患，以提高配电线路巡检智能化、数字化水平。
目前已有的缺陷检测任务通常使用目标检测方法来实现。为了降低网络的计算量，通常网络的输入图片尺寸被设置得相对较小，而无人机拍摄的高分辨率图像在经过缩放后会导致信息的丢失，这对本身信息较少的小目标影响更为显著，使得网络在小目标检测方面存在困难。同时在实际场景中缺陷数量呈现长尾分布，尾部样本数量相比头部样本数量相差巨大，不同缺陷数量分布不平衡，而网络在训练和推理时容易偏向于样本数量多的类别，而导致尾部数据检测效果不够理想。
发明内容
针对现有技术的不足，本发明提供了一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法，解决了现有技术针对配电线路缺陷检测效果不理想且难以准确识别的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法，该方法包括以下步骤：
S1、通过无人机以多角度拍摄不同配电线路、不同杆塔的若干张图像，并对若干张图像所存在的缺陷的部位或主体进行标注以形成初始数据集；
S2、根据初始数据集构建基于多尺度滑动窗口的目标检测训练集；
S3、根据初始数据集的标注信息构建分类训练集；
S4、采用目标检测训练集对目标检测网络进行训练得到目标检测模型；
S5、采用分类训练集对分类网络进行训练得到分类模型；
S6、通过以目标检测模型和分类模型相结合对待检测图像进行两阶段缺陷检测并输出检测结果。
进一步地，在步骤S2中，具体过程包括以下步骤：
S21、设定多个滑动窗口尺寸的宽和高分别为、/>，在/>和/>方向的滑动步长分别为/>、/>；
S22、根据多个滑动窗口尺寸和滑动步长计算得到当前图像裁切在方向和/>方向上的裁切次数/>和/>；
S23、对当前图像内的标注框进行坐标映射得到检测框，并判断映射后的检测框是否完全在滑动窗口内；
如果检测框被边界截断，则在当前滑动窗口内删除该检测框；
如果当前滑动窗口内不存在任何检测框，则删除当前滑动窗口。
进一步地，在步骤S22中，和/>的计算公式分别为：
;
;
其中、/>分别是当前图像的宽和高，/>、/>、/>和/>四个变量表示每个滑动窗口的宽和高，以及在/>和/>方向上的滑动步长。
进一步地，在步骤S23中，用表示第/>行第/>列的滑动窗口，则滑动窗口/>的坐标范围/>为：
;
;
;
标注框在滑动窗口内的/>坐标和/>坐标的映射关系为：
;
;
上式中，、/>、/>和/>四个变量表示每个滑动窗口的宽和高，以及在/>和/>方向上的滑动步长，/>、/>分别表示第/>行第/>列的滑动窗口，/>、/>表示当前滑动窗口/>和/>方向的坐标。
进一步地，在步骤S3中，具体包括：从图像中根据标注信息将单个缺陷或主体裁切后保存到对应缺陷类别名的文件夹中，并通过色相变化、随机噪声、随机马赛克的方法进行图像增强，扩充缺陷类别数量少的图像。
进一步地，在步骤S3中，标注信息包括图像中缺陷所对应的指定缺陷类别以及相对应的位置信息。
进一步地，在步骤S4中，具体过程包括以下步骤：
S41、将目标检测训练集输入到目标检测网络得到其预测的回归结果和分类结果；
S42、对分类结果进行分类边界校准，分类边界校准公式为：
；
；
其中，表示将输入/>输入到目标检测网络的分类分支中，计算得到的/>是目标检测网络预测的分类结果，/>为边界校准后的目标检测网络预测的分类结果，/>和/>是目标检测网络可学习的参数，/>是对线性分类检测头权重归一化的结果；
S43、计算目标检测网络的回归损失、置信度损失/>和分类损失/>；
S44、根据回归损失、置信度损失/>和分类损失/>更新目标检测网络的模型参数；
S45、重复步骤S41-S44，直到损失收敛到最小值且不再下降时，完成目标检测网络的训练得到目标检测模型。
进一步地，在步骤S43中，回归损失使用的是IoU损失，计算公式为：
；
其中是目标检测网络预测的检测框，/>是真实标注的检测框；
置信度损失使用的是BCE交叉熵损失，计算公式为：
；
其中，是目标检测网络预测的分类结果，/>是真实标注的分类结果。
进一步地，在步骤S6中，具体过程包括以下步骤：
S61、将待检测的图像使用多尺度滑动窗口进行预处理后，输入到目标检测模型中得到当前滑动窗口内预测输出结果的输出框，其中，分别为输出框的左上角坐标/>、输出框的宽和高、输出框的置信度和输出框内对应物体的类别；
S62、将目标检测网络输出的输出框中包含需要二次分类的框筛选出来，并从对应的滑动窗口中根据输出框的位置信息将图片裁切下来送入分类模型中，得到进一步的分类结果，更新输出框中的类别信息；
S63、将所有滑动窗口内的输出结果映射回原始的待检测图像，并使用NMS非极大值抑制对冗余输出框过滤，得到最终检测结果。
进一步地，在步骤S63中，输出框映射回原始的待检测图像的公式为：
；
；
；
；
其中和/>为当前滑动窗口的宽和高，/>和/>为原始图像的宽和高，/>和/>分别为网络计算得到的输出框坐标，/>和/>分别为网络的输出框映射回原始图像的坐标，/>和/>分别为滑动窗口与原始图像宽、高的比值。
借由上述技术方案，本发明提供了一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法，至少具备以下有益效果：
1、本发明通过结合主体检测和分类的两阶段缺陷检测方法，先使用目标检测模型识别出图像中可能发生缺陷的主体部位，再裁切下来使用分类模型来判断该主体部件是否存在缺陷，实现更加高效且通用的配电线路缺陷检测。
2、本发明所训练得到的目标检测模型，具有提高样本数量少的缺陷检测能力，通过在目标检测网络中引入了回归损失、置信度损失/>和分类损失/>，以及对分类结果进行分类边界校准，能够避免目标检测模型过多关注于样本数量多的目标，提高了样本数量少的目标的检测效果。
3、本发明采用多尺度滑动窗口的数据处理方法，引入多个不同尺寸的滑动窗口，保证覆盖所有尺寸大小的缺陷目标，在不影响大目标的检测效果的同时大幅提高小目标检测能力，具有更好的小目标检测能力。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明两阶段配电线路缺陷检测方法的流程图；
图2为本发明中目标检测网络的架构图；
图3为本发明对待检测图像进行两阶段缺陷检测的架构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图 和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
目前已有的缺陷检测任务通常使用目标检测方法来实现。为了降低网络的计算量，通常网络的输入图片尺寸被设置得相对较小，而无人机拍摄的高分辨率图像在经过缩放后会导致信息的丢失，这对本身信息较少的小目标影响更为显著，使得网络在小目标检测方面存在困难。同时在实际场景中缺陷数量呈现长尾分布，尾部样本数量相比头部样本数量相差巨大，不同缺陷数量分布不平衡，而网络在训练和推理时容易偏向于样本数量多的类别，而导致尾部数据检测效果不够理想。
在配电线路缺陷检测任务中还存在缺陷特征不够明显、部分缺陷之间可能存在高度相似等问题，使用单一目标检测网络很难对所有缺陷进行准确识别。采用多个目标检测网络进行集成学习的方法能一定程度上解决这个问题，但集成学习的方法会导致算法的通用性和适应性较差，难以应对复杂线路中各种形态各异的缺陷，多个模型集成还会占用大量资源并降低识别效率，不利于实际应用。
因此，根据上述内容可知，现有技术主要缺陷在于：
1.目前无人机巡检中的大量高分辨率图像处理和分析主要依靠人工识别，导致处理速度慢且准确性不高，存在漏检和误检问题。
2.现有目标检测算法通常设置较小的网络输入，导致无人机拍摄的高分辨率图像经过缩放后信息丢失，严重影响对小目标的识别效果。
3.缺陷数据呈现长尾分布，不同类别缺陷数量相差过大，数据量少的尾部数据识别效果不佳。
4.仅使用单一目标检测算法难以准确识别全部缺陷，尤其是特征不明显、存在相似特征的缺陷。
5.使用多个目标检测网络进行集成学习可能导致算法通用性和适应性较差，多个模型集成还会占用大量计算资源，并降低识别效率。
为解决上述现有技术所存在的技术问题，请参照图1-图3，示出了本实施例的一种具体实施方式，本实施例通过结合主体检测和分类的两阶段缺陷检测方法，先使用目标检测模型识别出图像中可能发生缺陷的主体部位，再裁切下来使用分类模型来判断该主体部件是否存在缺陷，实现更加高效且通用的配电线路缺陷检测。
请参照图1，本实施例提出了一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法，该方法包括以下步骤：
S1、通过无人机以多角度拍摄不同配电线路、不同杆塔的若干张图像，并对若干张图像所存在的缺陷的部位或主体进行标注以形成初始数据集；具体的，对于初始数据集的建立需要先获取不同配电线路、不同杆塔的多角度无人机所拍摄图像，然后使用LabelImg标注软件对图像中存在的缺陷的部位或者主体进行标注，形成初始数据集。
针对易于识别的缺陷可以直接标注缺陷部位，使用目标检测网络直接检测出缺陷；针对识别相对困难的缺陷类别标注出其所在位置的主体部分，并添加“正常”和“异常”的二级标注，主体部分的标注信息用于目标检测网络训练，主体部分的标注信息主要为根据图像中缺陷所对应的缺陷类别以及相对应的位置信息，二级标注用于分类网络训练。对于图像中所存在的缺陷采用LabelImg标注软件进行标注得到标注框，同时标注框的位置信息以进行存储。
S2、根据初始数据集构建基于多尺度滑动窗口的目标检测训练集；在步骤S2中，具体过程包括以下步骤：
S21、设定多个滑动窗口尺寸的宽和高分别为、/>，在/>和/>方向的滑动步长分别为/>、/>；
S22、根据多个滑动窗口尺寸和滑动步长计算得到当前图像裁切在方向和/>方向上的裁切次数/>和/>，其中/>和/>的计算公式分别为：
；
；
其中、/>分别是当前图像的宽和高，/>、/>、/>和四个变量表示每个滑动窗口的宽和高，以及在/>和/>方向上的滑动步长。
S23、对当前图像内的标注框进行坐标映射得到检测框，并判断映射后的检测框是否完全在滑动窗口内；
如果检测框被边界截断，则在当前滑动窗口内删除该检测框；
如果当前滑动窗口内不存在任何检测框，则删除当前滑动窗口。
具体的，用表示第/>行第/>列的滑动窗口，则滑动窗口/>的坐标范围为：
；
；
；
；
标注框在滑动窗口内的/>坐标和/>坐标的映射关系为：
；
；
上式中，、/>、/>和/>四个变量表示每个滑动窗口的宽和高，以及在/>和/>方向上的滑动步长，/>、/>分别表示第/>行第/>列的滑动窗口，/>、/>表示当前滑动窗口/>和/>方向的坐标。
该部分提出了一种多尺度滑动窗口的数据处理方法，利用尺寸相对较小的滑动窗口将高分辨率图像裁切后再进行检测，解决了由于图像缩放导致小目标信息大量丢失的问题，同时考虑到实际场景中还存在缺陷尺寸差异较大的情况，单一尺寸的小滑动窗口无法覆盖大目标从而导致大目标无法检测的问题，进一步优化滑动窗口设计，引入多个不同尺寸的滑动窗口，保证覆盖所有尺寸大小的缺陷目标。
本实施例采用多尺度滑动窗口的数据处理方法，引入多个不同尺寸的滑动窗口，保证覆盖所有尺寸大小的缺陷目标，在不影响大目标的检测效果的同时大幅提高小目标检测能力，具有更好的小目标检测能力。
S3、根据初始数据集的标注信息构建分类训练集；在步骤S3中，具体包括：从图像中根据标注信息将单个缺陷或主体裁切后保存到对应缺陷类别名的文件夹中，并通过色相变化、随机噪声、随机马赛克的方法进行图像增强，扩充缺陷类别数量少的图像。
标注信息包括图像中缺陷所对应的指定缺陷类别以及相对应的位置信息。
在该步骤中，通过获取初始数据集中图像的标注信息可以得到指定缺陷类别所标注的位置信息，从图像中根据位置信息将单个缺陷或主体裁切后保存到对应缺陷类别名的文件夹中。并通过色相变化、随机噪声、随机马赛克的方法进行图像增强，扩充数量较少的缺陷类别的图像。
其中，指定缺陷类别例如配电线路的危急缺陷、严重缺陷和一般缺陷，因此对应缺陷类别的文件夹以缺陷的种类进行命名，而对于主体裁切是指采用上述步骤S22所阐述的方法对图像进行裁切。并且在该步骤中，对于图像的增强处理仅仅给出常规的增强处理方法，但是在本实施例中并不做任何限定，因此可以采用其他能够扩充图像数量的其他现有技术手段，作为本领域的常规技术手段，在此不再详细赘述。
危急缺陷主要为：单一金属导线断股或截面损伤超过总截面的25%；钢芯铝线的铝线断股或损伤超过铝截面50%；受张力的直线接头有抽笺或滑动现象；裸导线上挂有导电物质且能构成相间短路现象；接头烧伤严重、明显变色、有温升现象。
严重缺陷主要为：单一金属导线断股或截面损伤超过总截面的17%；钢芯铝线的铝线断股或损伤截面超过铝截面的25%；裸导线上悬挂杂物；交叉跨越处导线间距离小于规定值50%；绝缘导线绝缘外护层烧损严重，失去绝缘保护，造成净空距离不够。
一般缺陷主要为：单—金属导线断股或截面损伤为总截面的17%；钢芯铝线的铝线断股或损伤为总截面的25%以下；导线有松股；不同金属、不同规格、不同结构的导线在一个耐张段内；导线接头接点有轻微烧伤并有发展可能；导线接头长度小于规定值；导线在耐张线夹或茶台处有抽笺现象；固定绑线有损伤、松动、断股；导线间及导线对各部距离不足；导线弛度不合格、不平衡；异金属导线过引接续无过渡措施；铝线或钢芯铝线在立瓶、耐张线夹处无铝包带；引下线、母线、跳接引线松弛；绝缘线老化破皮；绝缘导线上悬挂杂物。
S4、采用目标检测训练集对目标检测网络进行训练得到目标检测模型；在步骤S4中，具体过程包括以下步骤：
S41、将目标检测训练集输入到目标检测网络得到其预测的回归结果和分类结果；
S42、对分类结果进行分类边界校准，分类边界校准公式为：
；
；
其中，表示将输入/>输入到目标检测网络的分类分支中，计算得到的/>是目标检测网络预测的分类结果，/>为边界校准后的目标检测网络预测的分类结果，/>和/>是目标检测网络可学习的参数，/>是对线性分类检测头权重归一化的结果；
S43、计算目标检测网络的回归损失、置信度损失/>和分类损失/>。
其中，回归损失使用的是IoU损失，计算公式为：
；
其中，是目标检测网络预测的检测框，/>是真实标注的检测框；
其中，IoU损失的计算公式为：
；
；
其中，和/>分别表示预测检测框和真实检测框，/>和/>分别表示检测框/>和检测框/>交集的面积和并集的面积，/>为检测框/>和检测框/>的交并比；
置信度损失使用的是BCE交叉熵损失，计算公式为：
；
其中，是目标检测网络预测结果的置信度，/>是真实标注的置信度；
其中，BCE损失的计算公式为：
；
其中，和/>分别表示预测结果和真实结果；
分类损失使用的是EQL损失，计算公式为：
；
其中，是目标检测网络预测的分类结果，/>是真实标注的分类结果；
其中，EQL损失的计算公式为：
；
；
；
；
其中，和/>分别表示预测分类结果和真实分类结果，/>为EQL权重；表示类别/>在目标检测训练集中出现的频率，/>为预先设定的类别频率阈值，/>表示类别/>是否为出现频率小于设定阈值的类别（1表示是，0表示否）；/>为一种常用的分类损失，/>为可调节的权重因子；
S44、根据回归损失、置信度损失/>和分类损失/>更新目标检测网络的模型参数；
S45、重复步骤S41-S44，直到损失收敛到最小值且不再下降时，完成目标检测网络的训练得到目标检测模型。
请参照图2，为目标检测网络的架构图，通过在分类器部分加入了回归损失、置信度损失/>和分类损失/>，以及分类器的边界校准，减少目标检测网络对样本数量多的头部数据的偏向，提高目标检测网络对样本数量少的尾部数据的关注度，提高了尾部数据的检测效果。
本实施例所训练得到的目标检测模型，具有提高样本数量少的缺陷检测能力，通过在目标检测网络中引入了回归损失、置信度损失/>和分类损失/>，以及对分类结果进行分类边界校准，能够避免目标检测模型过多关注于样本数量多的目标，提高了样本数量少的目标的检测效果。
S5、采用分类训练集对分类网络进行训练得到分类模型；
S51、将分类训练集输入到分类网络得到其预测的分类结果；
S52、计算分类网络的分类损失，使用的是FocalLoss损失，计算公式为：
；
其中，和/>分别表示分类网络预测分类结果和真实标签的分类结果；
S53、根据分类损失更新分类网络的模型参数；
S54、重复步骤S51-S53，直到损失收敛到最小值且不再下降时，完成分类网络的训练得到分类模型。
S6、通过以目标检测模型和分类模型相结合对待检测图像进行两阶段缺陷检测并输出检测结果；请参照图3，将待检测的图像进行两阶段缺陷检测的具体操作过程如下：在步骤S6中，具体过程包括以下步骤：
S61、将待检测的图像使用多尺度滑动窗口进行预处理后，输入到目标检测模型中得到当前滑动窗口内预测输出结果的输出框，其中，分别为输出框的左上角坐标/>、输出框的宽和高、输出框的置信度和输出框内对应物体的类别；
S62、将目标检测网络输出的输出框中包含需要二次分类的框筛选出来，并从对应的滑动窗口中根据输出框的位置信息将图片裁切下来送入分类模型中，得到进一步的分类结果（即判断该目标是否为缺陷），更新输出框中的类别信息；
S63、将所有滑动窗口内的输出结果映射回原始的待检测图像，并使用NMS非极大值抑制对冗余输出框过滤，得到最终检测结果。
其中输出框映射回原始的待检测图像的公式为：
；
；
；
；
其中和/>为当前滑动窗口的宽和高，/>和/>为原始图像的宽和高，/>和/>分别为网络计算得到的输出框坐标，/>和/>分别为网络的输出框映射回原始图像的坐标，/>和/>分别为滑动窗口与原始图像宽、高的比值。
该方法提供了一种结合主体检测和分类的两阶段缺陷检测方法，缺陷所测网络识别出图片中可能发生缺陷的主体部位，再裁切下来使用分类网络来判断该主体部件是否存在缺陷。由于线路中的主体部件数量相比于缺陷类型更加有限且相对较少，因此提出的两阶段缺陷检测方法，相较于单一检测网络具有更高的检测精度，同时相比于多模型集成方法通用性、适应性更好，资源占用更少，具有更高的识别效率。
本实施例通过结合主体检测和分类的两阶段缺陷检测方法，先使用目标检测模型识别出图像中可能发生缺陷的主体部位，再裁切下来使用分类模型来判断该主体部件是否存在缺陷，实现更加高效且通用的配电线路缺陷检测。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法，其特征在于，该方法包括以下步骤：
S1、通过无人机以多角度拍摄不同配电线路、不同杆塔的若干张图像，并对若干张图像所存在的缺陷的部位或主体进行标注以形成初始数据集；
S2、根据初始数据集构建基于多尺度滑动窗口的目标检测训练集；
S3、根据初始数据集的标注信息构建分类训练集；
S4、采用目标检测训练集对目标检测网络进行训练得到目标检测模型；
S5、采用分类训练集对分类网络进行训练得到分类模型；
S6、通过以目标检测模型和分类模型相结合对待检测图像进行两阶段缺陷检测并输出检测结果；在步骤S6中，具体过程包括以下步骤：
S61、将待检测的图像使用多尺度滑动窗口进行预处理后，输入到目标检测模型中得到当前滑动窗口内预测输出结果的输出框，其中，分别为输出框的左上角坐标/>、输出框的宽和高、输出框的置信度和输出框内对应物体的类别；
S62、将目标检测网络输出的输出框中包含需要二次分类的框筛选出来，并从对应的滑动窗口中根据输出框的位置信息将图片裁切下来送入分类模型中，得到进一步的分类结果，更新输出框中的类别信息；
S63、将所有滑动窗口内的输出结果映射回原始的待检测图像，并使用NMS非极大值抑制对冗余输出框过滤，得到最终检测结果。
2.根据权利要求1所述的两阶段配电线路缺陷检测方法，其特征在于，在步骤S2中，具体过程包括以下步骤：
S21、设定多个滑动窗口尺寸的宽和高分别为，在/>和/>方向的滑动步长分别为/>；
S22、根据多个滑动窗口尺寸和滑动步长计算得到当前图像裁切在方向和/>方向上的裁切次数/>和/>；
S23、对当前图像内的标注框进行坐标映射得到检测框，并判断映射后的检测框是否完全在滑动窗口内；
如果检测框被边界截断，则在当前滑动窗口内删除该检测框；
如果当前滑动窗口内不存在任何检测框，则删除当前滑动窗口。
3.根据权利要求2所述的两阶段配电线路缺陷检测方法，其特征在于，在步骤S22中，和/>的计算公式分别为：
；
其中分别是当前图像的宽和高，/>和/>四个变量表示每个滑动窗口的宽和高，以及在/>和/>方向上的滑动步长。
4.根据权利要求2所述的两阶段配电线路缺陷检测方法，其特征在于，在步骤S23中，用表示第/>行第/>列的滑动窗口，则滑动窗口/>的坐标范围/>为：
；
标注框在滑动窗口内的/>坐标和/>坐标的映射关系为：
；
上式中，和/>四个变量表示每个滑动窗口的宽和高，以及在和/>方向上的滑动步长，/>分别表示第/>行第/>列的滑动窗口，/>、/>表示当前滑动窗口/>和/>方向的坐标。
5.根据权利要求1所述的两阶段配电线路缺陷检测方法，其特征在于，在步骤S3中，具体包括：从图像中根据标注信息将单个缺陷或主体裁切后保存到对应缺陷类别名的文件夹中，并通过色相变化、随机噪声、随机马赛克的方法进行图像增强，扩充缺陷类别数量少的图像；
标注信息包括图像中缺陷所对应的指定缺陷类别以及相对应的位置信息。
6.根据权利要求1所述的阶段配电线路缺陷检测方法，其特征在于，在步骤S4中，具体过程包括以下步骤：
S41、将目标检测训练集输入到目标检测网络得到其预测的回归结果和分类结果；
S42、对分类结果进行分类边界校准，分类边界校准公式为：
；
其中，表示将输入/>输入到目标检测网络的分类分支中，计算得到的/>是目标检测网络预测的分类结果，/>为边界校准后的目标检测网络预测的分类结果，/>和/>是目标检测网络可学习的参数，/>是对线性分类检测头权重归一化的结果；
S43、计算目标检测网络的回归损失、置信度损失/>和分类损失/>；
S44、根据回归损失、置信度损失/>和分类损失/>更新目标检测网络的模型参数；
S45、重复步骤S41-S44，直到损失收敛到最小值且不再下降时，完成目标检测网络的训练得到目标检测模型。
7.根据权利要求6所述的两阶段配电线路缺陷检测方法，其特征在于，在步骤S43中，回归损失使用的是IoU损失，计算公式为：
；
其中是目标检测网络预测的检测框，/>是真实标注的检测框；
置信度损失使用的是BCE交叉熵损失，计算公式为：
；
其中，是目标检测网络预测结果的置信度，/>是真实标注的置信度；
分类损失使用的是EQL损失，计算公式为：
；
其中，是目标检测网络预测的分类结果，/>是真实标注的分类结果。
8.根据权利要求1所述的两阶段配电线路缺陷检测方法，其特征在于，在步骤S5中，具体过程包括以下步骤：
S51、将分类训练集输入到分类网络得到其预测的分类结果；
S52、计算分类网络的分类损失，分类损失/>使用的是FocalLoss损失，计算公式为：
；
其中，和/>分别表示分类网络预测分类结果和真实标签的分类结果；
S53、根据分类损失更新分类网络的模型参数；
S54、重复步骤S51-S53，直到损失收敛到最小值且不再下降时，完成分类网络的训练得到分类模型。
9.根据权利要求1所述的两阶段配电线路缺陷检测方法，其特征在于，在步骤S63中，输出框映射回原始的待检测图像的公式为：
；
其中和/>为当前滑动窗口的宽和高，/>和/>为原始图像的宽和高，/>和分别为网络计算得到的输出框坐标，/>和/>分别为网络的输出框映射回原始图像的坐标，/>和/>分别为滑动窗口与原始图像宽、高的比值。
CN202311132205.0A 2023-09-05 2023-09-05 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法 Active CN116883391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311132205.0A CN116883391B (zh) 2023-09-05 2023-09-05 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311132205.0A CN116883391B (zh) 2023-09-05 2023-09-05 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法

Publications (2)

Publication Number Publication Date
CN116883391A CN116883391A (zh) 2023-10-13
CN116883391B true CN116883391B (zh) 2023-12-19

Family

ID=88257151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311132205.0A Active CN116883391B (zh) 2023-09-05 2023-09-05 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116883391B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118052878B (zh) * 2024-02-23 2024-08-16 云南民族大学 一种无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593670A (zh) * 2013-10-14 2014-02-19 浙江工业大学 一种基于在线序列极限学习机的铜板带表面缺陷检测方法
CN111650204A (zh) * 2020-05-11 2020-09-11 安徽继远软件有限公司 基于级联目标检测的输电线路金具缺陷检测方法及系统
WO2021135372A1 (zh) * 2019-12-30 2021-07-08 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
WO2021135302A1 (zh) * 2019-12-30 2021-07-08 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN114332659A (zh) * 2022-03-09 2022-04-12 南方电网数字电网研究院有限公司 基于轻量化模型下发的输电线路缺陷巡检方法和装置
WO2022077605A1 (zh) * 2020-10-15 2022-04-21 青岛理工大学 一种风力机叶片图像损伤检测和定位方法
CN114600154A (zh) * 2019-10-31 2022-06-07 科磊股份有限公司 用于sem图像的bbp辅助缺陷检测流程
WO2022120665A1 (zh) * 2020-12-09 2022-06-16 电子科技大学 一种基于深度学习的电容缺陷智能检测方法
CN114663352A (zh) * 2022-02-24 2022-06-24 国网通用航空有限公司 一种输电线路缺陷高精度检测方法、系统及存储介质
WO2022160170A1 (zh) * 2021-01-28 2022-08-04 东莞职业技术学院 一种金属表面缺陷检测方法及装置
CN114898153A (zh) * 2022-05-16 2022-08-12 重庆大学 一种结合分类和检测的两阶段表面缺陷识别方法
CN114972225A (zh) * 2022-05-16 2022-08-30 上海可明科技有限公司 一种基于深度学习的两阶段光伏板缺陷检测方法
CN115661072A (zh) * 2022-10-25 2023-01-31 山东省计算中心（国家超级计算济南中心） 一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法
CN115984238A (zh) * 2023-01-16 2023-04-18 国网江苏省电力有限公司泰州供电分公司 一种基于深度神经网络的电网绝缘子缺陷检测方法及系统
CN116245844A (zh) * 2023-03-08 2023-06-09 国网山西省电力公司吕梁供电公司 基于视觉多模态融合的配电线路缺陷智能识别方法及系统
CN116579992A (zh) * 2023-04-23 2023-08-11 武汉珈楚智能信息技术有限公司 一种用于无人机巡检的小目标螺栓缺陷检测方法
CN116596895A (zh) * 2023-05-22 2023-08-15 华雁智科(杭州)信息技术有限公司 一种变电设备图像缺陷识别方法及系统
CN116612120A (zh) * 2023-07-20 2023-08-18 山东高速工程检测有限公司 一种针对数据不平衡的两阶段式道路缺陷检测方法
WO2023155069A1 (zh) * 2022-02-16 2023-08-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的手机电池表面缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581782B (zh) * 2022-05-06 2022-08-16 南京航空航天大学 一种基于由粗到精检测策略的细微缺陷检测方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593670A (zh) * 2013-10-14 2014-02-19 浙江工业大学 一种基于在线序列极限学习机的铜板带表面缺陷检测方法
CN114600154A (zh) * 2019-10-31 2022-06-07 科磊股份有限公司 用于sem图像的bbp辅助缺陷检测流程
WO2021135372A1 (zh) * 2019-12-30 2021-07-08 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
WO2021135302A1 (zh) * 2019-12-30 2021-07-08 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111650204A (zh) * 2020-05-11 2020-09-11 安徽继远软件有限公司 基于级联目标检测的输电线路金具缺陷检测方法及系统
WO2022077605A1 (zh) * 2020-10-15 2022-04-21 青岛理工大学 一种风力机叶片图像损伤检测和定位方法
WO2022120665A1 (zh) * 2020-12-09 2022-06-16 电子科技大学 一种基于深度学习的电容缺陷智能检测方法
WO2022160170A1 (zh) * 2021-01-28 2022-08-04 东莞职业技术学院 一种金属表面缺陷检测方法及装置
WO2023155069A1 (zh) * 2022-02-16 2023-08-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的手机电池表面缺陷检测方法
CN114663352A (zh) * 2022-02-24 2022-06-24 国网通用航空有限公司 一种输电线路缺陷高精度检测方法、系统及存储介质
CN114332659A (zh) * 2022-03-09 2022-04-12 南方电网数字电网研究院有限公司 基于轻量化模型下发的输电线路缺陷巡检方法和装置
CN114972225A (zh) * 2022-05-16 2022-08-30 上海可明科技有限公司 一种基于深度学习的两阶段光伏板缺陷检测方法
CN114898153A (zh) * 2022-05-16 2022-08-12 重庆大学 一种结合分类和检测的两阶段表面缺陷识别方法
CN115661072A (zh) * 2022-10-25 2023-01-31 山东省计算中心（国家超级计算济南中心） 一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法
CN115984238A (zh) * 2023-01-16 2023-04-18 国网江苏省电力有限公司泰州供电分公司 一种基于深度神经网络的电网绝缘子缺陷检测方法及系统
CN116245844A (zh) * 2023-03-08 2023-06-09 国网山西省电力公司吕梁供电公司 基于视觉多模态融合的配电线路缺陷智能识别方法及系统
CN116579992A (zh) * 2023-04-23 2023-08-11 武汉珈楚智能信息技术有限公司 一种用于无人机巡检的小目标螺栓缺陷检测方法
CN116596895A (zh) * 2023-05-22 2023-08-15 华雁智科(杭州)信息技术有限公司 一种变电设备图像缺陷识别方法及系统
CN116612120A (zh) * 2023-07-20 2023-08-18 山东高速工程检测有限公司 一种针对数据不平衡的两阶段式道路缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于深度学习的输电线路绝缘子缺陷检测研究;丘灵华;朱铮涛;;计算机应用研究(S1);全文 *
网格曲面特征的稀疏性优化检测算法;王伟明等;《计算机辅助设计与图形学学报》;第25卷(第08期);全文 *
风力发电机叶片缺陷智能图像识别技术研究;张艳峰;《硕士电子期刊》(第06期);全文 *

Also Published As

Publication number Publication date
CN116883391A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN108009591B (zh) 一种基于深度学习的接触网关键部件识别方法
CN116883391B (zh) 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法
US11836967B2 (en) Method and device for small sample defect classification and computing equipment
CN110232687B (zh) 一种电力巡检图像中带销螺栓缺陷的检测方法
CN109727229B (zh) 虚焊检测方法及装置
CN112101138B (zh) 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法
CN111046950B (zh) 一种图像处理方法、装置、存储介质和电子装置
CN107179479B (zh) 基于可见光图像的输电导线散股缺陷检测方法
CN109523543B (zh) 一种基于边缘距离的导线断股检测方法
CN113378969B (zh) 一种目标检测结果的融合方法、装置、设备及介质
CN111539924A (zh) 一种悬垂线夹的缺陷检测方法、装置、设备及存储介质
CN117078661B (zh) 一种高空作业车结构件生产质量智能检测方法
CN114549407A (zh) 基于x射线图像的耐张线夹压接缺陷程度判断方法
CN113947563A (zh) 一种基于深度学习的电缆工艺质量动态缺陷检测方法
CN113506290A (zh) 一种线路绝缘子缺陷检测方法及装置
CN114299533A (zh) 基于人工智能的电网接线图元件和线路识别系统及方法
CN115239646A (zh) 输电线路的缺陷检测方法、装置、电子设备及存储介质
CN114418968A (zh) 一种基于深度学习的输电线路小目标缺陷检测方法
CN111310899B (zh) 基于共生关系和小样本学习的电力缺陷识别方法
CN112164025A (zh) 螺纹连接件的缺陷检测方法及装置、电子设备和存储介质
CN116664916A (zh) 基于图像的管焊焊接缺陷检测方法
JP4796535B2 (ja) 画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラム
CN115908999B (zh) 配电杆塔顶部金具锈蚀检测方法、介质和边缘终端设备
CN115760792A (zh) 高压电缆附件安装关键环节的质量缺陷检验方法及装置
WO2022247684A1 (zh) 基站馈线检测方法、系统及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant