CN113538412A - 一种航拍图像的绝缘子缺陷检测方法及装置 - Google Patents

一种航拍图像的绝缘子缺陷检测方法及装置 Download PDF

Info

Publication number
CN113538412A
CN113538412A CN202110901495.5A CN202110901495A CN113538412A CN 113538412 A CN113538412 A CN 113538412A CN 202110901495 A CN202110901495 A CN 202110901495A CN 113538412 A CN113538412 A CN 113538412A
Authority
CN
China
Prior art keywords
insulator
defect
network
region
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110901495.5A
Other languages
English (en)
Other versions
CN113538412B (zh
Inventor
谢少章
梁柱
李丰
谭子毅
黄德华
赵中研
曾海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202110901495.5A priority Critical patent/CN113538412B/zh
Publication of CN113538412A publication Critical patent/CN113538412A/zh
Application granted granted Critical
Publication of CN113538412B publication Critical patent/CN113538412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种航拍图像的绝缘子缺陷检测方法及装置，包括：获取包含绝缘子的待测航拍图像；将待测航拍图像输入至训练好的绝缘子定位网络中，获取绝缘子RPN候选框及相应的置信度，绝缘子定位网络为FasterR‑CNN模型构成；将置信度大于第一预设阈值的候选框进行裁剪，得到绝缘子区域图像；将绝缘子区域图像输入至训练好的缺陷检测网络中，获取缺陷区域RPN候选框，缺陷区域的缺陷类型以及相应的置信度，缺陷检测网络为FasterR‑CNN模型构成。本申请能够快速获取绝缘子区域及缺陷区域，并对常见的缺陷进行快速精确的检测。

Description

一种航拍图像的绝缘子缺陷检测方法及装置
技术领域
本申请涉及图像检测技术领域，尤其涉及一种航拍图像的绝缘子缺陷检测方法及装置。
背景技术
目前大多数的研究都聚集在对绝缘子等输电线路关键部件的图像定位检测上，从各个方面对检测的精度、速度进行改进，但是没有对这些输电线路部件的存在状态进行检测。另一些对部件状态的研究也局限于特定的场景下(如单一缺陷，单一种类绝缘子，图像背景单一等)，鲁棒性不强，缺乏一定的实际应用能力。
对于缺陷检测，通常可以有两种方式：分类和目标定位。把绝缘子分为有缺陷和无缺陷两种，进行一个二分类，从相关研究可以看出，这种做法虽然能够检测到缺陷，同时误检率较高，并且不能详细区分各种缺陷类别，对于进一步的实际应用有所限制。
发明内容
本申请实施例提供了一种航拍图像的绝缘子缺陷检测方法及装置，使得能够快速获取绝缘子区域及缺陷区域，并对常见的缺陷进行快速精确的检测。
有鉴于此，本申请第一方面提供了一种航拍图像的绝缘子缺陷检测方法，所述方法包括：
获取包含绝缘子的待测航拍图像；
将所述待测航拍图像输入至训练好的绝缘子定位网络中，获取绝缘子RPN候选框及相应的置信度，所述绝缘子定位网络为Faster R-CNN模型构成；
将置信度大于第一预设阈值的候选框进行裁剪，得到绝缘子区域图像；
将所述绝缘子区域图像输入至训练好的缺陷检测网络中，获取缺陷区域RPN候选框，所述缺陷区域的缺陷类型以及相应的置信度，所述缺陷检测网络为Faster R-CNN模型构成。
可选的，在将所述绝缘子区域图像输入至训练好的缺陷检测网络中，获取缺陷区域RPN候选框及相应的置信度，所述缺陷检测网络为Faster R-CNN模型构成，之后还包括：
输出包含所述绝缘子RPN候选框及相应的置信度、缺陷区域RPN候选框、所述缺陷区域的缺陷类型以及相应的置信度的待测航拍图像。
可选的，在所述将所述待测航拍图像输入至训练好的绝缘子定位网络中，获取绝缘子RPN候选框及相应的置信度，所述绝缘子定位网络为Faster R-CNN模型构成，之前还包括：
获取多张包含绝缘子的图像的数据集，所述数据集中的绝缘子种类包括陶瓷、玻璃、复合绝缘子；
对所述数据集中的绝缘子进行标注；
将所述数据集划分为训练集、验证集和测试集；
迭代训练所述绝缘子定位网络，得到训练好的所述绝缘子定位网络。
可选的，在所述将所述绝缘子区域图像输入至训练好的缺陷检测网络中，获取缺陷区域RPN候选框，之前还包括：
将所述绝缘子定位网络输出的绝缘子RPN候选框的图像中的绝缘子进行裁剪，构成所述缺陷检测网络的训练数据集；
将训练数据集中的缺陷位置进行标注；
对所述缺陷检测网络进行训练，得到训练好的所述缺陷检测网络。
可选的，采用Adam算法对绝缘子定位网络或绝缘子缺陷检测网络进行优化计算。
本申请第二方面提供一种航拍图像的绝缘子缺陷检测装置，所述装置包括：
第一获取单元，用于获取包含绝缘子的待测航拍图像；
定位单元，用于将所述待测航拍图像输入至训练好的绝缘子定位网络中，获取绝缘子RPN候选框及相应的置信度，所述绝缘子定位网络为Faster R-CNN模型构成；
裁剪单元，用于将置信度大于第一预设阈值的候选框进行裁剪，得到绝缘子区域图像；
缺陷检测单元，用于将所述绝缘子区域图像输入至训练好的缺陷检测网络中，获取缺陷区域RPN候选框，所述缺陷区域的缺陷类型以及相应的置信度，所述缺陷检测网络为Faster R-CNN模型构成。
可选的，还包括：
图像输出单元，用于输出包含所述绝缘子RPN候选框及相应的置信度、缺陷区域RPN候选框、所述缺陷区域的缺陷类型以及相应的置信度的待测航拍图像。
可选的，还包括：
第二获取单元，用于获取多张包含绝缘子的图像的数据集，所述数据集中的绝缘子种类包括陶瓷、玻璃、复合绝缘子；
第一标注单元，用于对所述数据集中的绝缘子进行标注；
划分单元，用于将所述数据集划分为训练集、验证集和测试集；
第一训练单元，用于迭代训练所述绝缘子定位网络，得到训练好的所述绝缘子定位网络。
可选的，还包括：
裁剪单元，用于将所述绝缘子定位网络输出的绝缘子RPN候选框的图像中的绝缘子进行裁剪，构成所述缺陷检测网络的训练数据集；
第二标注单元，用于将训练数据集中的缺陷位置进行标注；
第二训练单元，用于对所述缺陷检测网络进行训练，得到训练好的所述缺陷检测网络。
可选的，包括：
优化单元，用于采用Adam算法对绝缘子定位网络或绝缘子缺陷检测网络进行优化计算。
从以上技术方案可以看出，本申请具有以下优点：
本申请中，提供了一种航拍图像的绝缘子缺陷检测方法，包括：获取包含绝缘子的待测航拍图像；将待测航拍图像输入至训练好的绝缘子定位网络中，获取绝缘子RPN候选框及相应的置信度，绝缘子定位网络为Faster R-CNN模型构成；将置信度大于第一预设阈值的候选框进行裁剪，得到绝缘子区域图像；将绝缘子区域图像输入至训练好的缺陷检测网络中，获取缺陷区域RPN候选框，缺陷区域的缺陷类型以及相应的置信度，缺陷检测网络为Faster R-CNN模型构成。
本申请包括采用FasterR-CNN模型的绝缘子定位网络和绝缘子缺陷检测网络，在检测到图像中的绝缘子之后进行缺陷状态的检测。绝缘子定位网络负责检测图像中的绝缘子，输出包含绝缘子位置信息的RPN候选框和置信度信息，接着按照置信度要求裁剪出符合要求的绝缘子，然后将裁剪后的绝缘子图像送入绝缘子缺陷检测网络进行缺陷状态的检测，用于缺陷的识别检测，输出绝缘子、绝缘子缺陷位置信息及置信度状态信息，并在图像上展示，实现了对绝缘子区域及缺陷区域的快速获取，以及对常见的缺陷进行快速精确的检测。
附图说明
图1为本申请一种航拍图像的绝缘子缺陷检测方法的一个实施例的方法流程图；
图2为本申请一种航拍图像的绝缘子缺陷检测装置的一个实施例中的装置结构图；
图3为本申请一种航拍图像的绝缘子缺陷检测方法的一个实施例中检测出绝缘子区域及其置信度的第一个示意图；
图4为本申请一种航拍图像的绝缘子缺陷检测方法的一个实施例中检测出绝缘子区域及其置信度的第二个示意图；
图5为本申请一种航拍图像的绝缘子缺陷检测方法的一个实施例中检测出绝缘子区域及其置信度的第三个示意图；
图6为本申请一种航拍图像的绝缘子缺陷检测方法的一个实施例中检测出绝缘子区域及其置信度的第四个示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1为本申请一种航拍图像航拍图像的绝缘子缺陷检测方法的一个实施例的方法流程图，如图1所示，图1中包括：
101、获取包含绝缘子的待测航拍图像；
需要说明的是，本申请首先获取包含绝缘子的待测航拍图像。例如，可以通过无人机获取高处的认为难以获取的电力传输线的航拍图像。
102、将待测航拍图像输入至训练好的绝缘子定位网络中，获取绝缘子RPN候选框及相应的置信度，绝缘子定位网络为Faster R-CNN模型构成；
需要说明的是，将待测航拍图像输入至训练好的绝缘子定位网络中，本申请采用Faster R-CNN作为绝缘子定位网络，通过RPN候选框获取绝缘子区域的候选框，并获得该RPN候选框的置信度。由于航拍的角度以及距离不同，可能会导致绝缘子在采集的绝缘子图像中的比例较小，而一般的目标检测模型通常对小目标提取特征不足，因此，本申请采用基于Faster R-CNN的级联检测结构，使得可以得到较高的绝缘子检测性能。
103、将置信度大于第一预设阈值的候选框进行裁剪，得到绝缘子区域图像；
需要说明的是，根据置信度的大小裁剪出符合要求的待测绝缘子区域候选框，具体的，当获取的RPN候选框的置信度大于预设的候选框阈值时裁剪出候选框，具体的，候选框阈值可以设置为0.6，即对包含有绝缘子的置信度大于或者等于0.6的矩形框进行裁剪，当然也可以根据实际需要进行设置。
相比于未裁剪之前的包含绝缘子的待测航拍图像图像，其缺陷部分占比极小，而本申请选用的RPN候选框获取的绝缘子区域相当于增大了缺陷的面积，能够在一定程度上避免了缺陷部分太小导致的噪声干扰大的问题，从而能够有效进行缺陷信息的提取，提升后续缺陷检测的精度，从而有利于模型进行检测。
104、将绝缘子区域图像输入至训练好的缺陷检测网络中，获取缺陷区域RPN候选框，缺陷区域的缺陷类型以及相应的置信度，缺陷检测网络为Faster R-CNN模型构成。
需要说明的是，本申请可以由缺陷检测网络进行特征提取，有效利用缺陷特征信息。本申请绝缘子定位网络能有效提取绝缘子信息并获取绝缘子候选区域，缺陷检测网络可以有效识别缺陷区域并检测出缺陷类型。最后整个分级网络输出绝缘子及其缺陷的位置、类别、置信度信息。
具体的，本申请在识别出绝缘子后，可以将包含绝缘子的待测绝缘子图像中显示绝缘子区域、绝缘子区域的置信度、绝缘子的缺陷区域、缺陷类型以及所属的缺陷类型的置信度。如图3至图6为识别绝缘子缺陷后的输出图像的示意图，图中包括定位的绝缘子矩形框、定位出包含绝缘子矩形框区域的置信度、识别出的缺陷区域以及该区域所属缺陷的类型及置信度。
在一种具体的实施方式中，本申请还包括：
输出包含绝缘子RPN候选框及相应的置信度、缺陷区域RPN候选框、缺陷区域的缺陷类型以及相应的置信度的待测航拍图像。
在一种具体的实施方式中，本申请还包括：
获取多张包含绝缘子的图像的数据集，数据集中的绝缘子种类包括陶瓷、玻璃、复合绝缘子；
对数据集中的绝缘子进行标注；
将数据集划分为训练集、验证集和测试集；
迭代训练绝缘子定位网络，得到训练好的绝缘子定位网络。
在一种具体的实施方式中，本申请还包括：
将绝缘子定位网络输出的绝缘子RPN候选框的图像中的绝缘子进行裁剪，构成缺陷检测网络的训练数据集；
将训练数据集中的缺陷位置进行标注；
对缺陷检测网络进行训练，得到训练好的缺陷检测网络。
需要说明的是，本申请可以选择包括多种缺陷的绝缘子图像作为数据集，数据集中绝缘子主要有陶瓷、玻璃、复合绝缘子三大种类。再对数据集进行图像标注，标注出图中的绝缘子区域，按照8:1:1的比例划分为与训练集、验证集、和测试集，用于对绝缘子定位网络进行训练，绝缘子定位网络训练完成后，将图像中的绝缘子区域进行裁剪，将裁剪后的图像作为缺陷检测网络的训练集，标对裁剪后的图像中的缺陷部分进行标注，用于对缺陷检测网络进行训练。
本实施例中，FasterR-CNN的训练采用交替训练的过程，训练过程简述如下：
本申请本申请可以采用Adam算法对绝缘子定位网络或绝缘子缺陷检测网络进行优化计算。训练迭代为80个epoch(即将所有的数据集样本训练80遍)，分阶段进行参数设置。权值衰减正则化系数为0.005，冲量0.9，以FasterR-CNN模型训练为例(模型参数详细设置见表1)，前40个epoch的样本批量batch_size为2(即每次将2张图像输入网络同时进行训练)，初始学习率(learning rate)为0.0001，学习率衰减系数为0.92(即每经过一个epoch，学习率减小0.92倍)；后40个epoch的batch_size为2，初始学习率为0.00001，学习率衰减系数为0.92，在这阶段主要对模型参数进行微调。训练采用交叉迭代的方式，每经过一个epoch训练集进行一个epoch验证集的验证，以便于及时调整模型的参数，然后保存每个epoch的模型状态，包含每个epoch的训练和验证损失值等。
表1模型训练参数设置
Figure BDA0003199958570000071
在模型训练过程中，本申请采用迁移学习的思想，利用PASCAL VOC2007数据集上预先训练好的模型进行网络的参数初始化，迁移学习能够提升模型的检测精度，加快网络的收敛，降低模型的参数优化难度。
训练过程的参数设置如表1所示。随着训练的进行，训练集和验证集的损失都在缓慢下降，并最终趋于收敛，前期的loss值快速的下降，后期缓慢下降并有效的收敛。图1表示Faster R-CNN训练过程中的一个epoch状态。
首先训练区域建议网络RPN，使用预训练模型进行初始化fine tune模型参数。再单独训练绝缘子定位网络。绝缘子定位网络也就是后端Fast R-CNN网络输出RPN候选框后，根据RPN生成的候选框，并由预训练模型进行参数的初始化。再固定共享的卷积层，对训练区域建议网络RPN，由已经训练好的绝缘子定位网络进行初始化，从而不断对区域建议网络RPN进行微调。再一次固定共享卷积层，训练Fast R-CNN绝缘子定位网络。由已经训练好的区域建议网络RPN对绝缘子检测网络的全连接层进行进行微调，并进行参数优化，得到训练好的Fast R-CNN网络模型。
本申请包括采用FasterR-CNN模型的绝缘子定位网络和绝缘子缺陷检测网络，在检测到图像中的绝缘子之后进行缺陷状态的检测。绝缘子定位网络负责检测图像中的绝缘子，输出包含绝缘子位置信息的RPN候选框和置信度信息，接着按照置信度要求裁剪出符合要求的绝缘子，然后将裁剪后的绝缘子图像送入绝缘子缺陷检测网络进行缺陷状态的检测，用于缺陷的识别检测，输出绝缘子、绝缘子缺陷位置信息及置信度状态信息，并在图像上展示，实现了对绝缘子区域及缺陷区域的快速获取，以及对常见的缺陷进行快速精确的检测。
在一种具体的应用例中，本申请可以首先将某地高压输电线路航拍绝缘子图像作为本申请的实验数据构建训练数据集。随机选取110kv、200kv、500kv高压线路各2000张图片，共计6000张图片，命名为“normal_insulator”。将图像按照“名称_序号”格式进行命名，详细信息见下表2。
表2数据集信息
Figure BDA0003199958570000081
在输电线路中，中高电压用引脚、应变、悬吊绝缘子，低压用卸扣、拉索绝缘子，高压线路绝缘子呈细长状，而低压线路绝缘子形态各异，例如柱式、棒状、覆盆式等，数据集中绝缘子主要有陶瓷、玻璃、复合绝缘子三大种类。按照8:1:1的比例划分为与训练集、验证集、和测试集。本申请中模型训练所用数据集采用PASCALVOC2007数据集格式，主要包括图像文件、标注文件和索引文件。采用LabelImg开源数据标注软件进行图像标注。
接下来在配置了图像处理单元GPU的服务器上进行的模型训练。根据迁移学习的思想，直接用已经在PASCALVOC 2007数据集上预先训练好的模型进行网络的参数初始化，将制作好的数据集输入网络模型，按照表1中给出的训练参数和FasterR-CNN的训练步骤进行训练，得到最终网络模型。
对于训练好的检测模型，本申请主要采用precision、recall、AP、F值进行量化分析(检测的类别数为1时，AP和mAP在数值上相等)，对应数值越高，表明模型的检测性能越好，检测准确度越高。本发明在验证实验中设置的IoU(交并比)阈值为0.5(交并比设置的越高对网络检测性能准确度的要求越高)。从表2以及图3-图6的效果可以看出，FasterR-CNN模型均具有良好的绝缘子目标识别性能，识别出的目标就基本都是属于目标绝缘子，并且几乎识别出所有绝缘子。
表3模型训练结果
Figure BDA0003199958570000091
模型在各类绝缘子，各种背景下的直观检测效果如图3-图6所示，可以看出，Faster R-CNN模型对复杂背景干扰，光照等条件的敏感度较低，可以在复杂背景环境中精准检测到绝缘子。
本申请还提供了一种航拍图像的绝缘子缺陷检测装置的实施例，如图2所示，图2中包括：
第一获取单元201，用于获取包含绝缘子的待测航拍图像；
定位单元202，用于将待测航拍图像输入至训练好的绝缘子定位网络中，获取绝缘子RPN候选框及相应的置信度，绝缘子定位网络为Faster R-CNN模型构成；
裁剪单元203，用于将置信度大于第一预设阈值的候选框进行裁剪，得到绝缘子区域图像；
缺陷检测单元204，用于将绝缘子区域图像输入至训练好的缺陷检测网络中，获取缺陷区域RPN候选框，缺陷区域的缺陷类型以及相应的置信度，所述缺陷检测网络为FasterR-CNN模型构成。
在一种具体的实施方式中，还包括：
图像输出单元，用于输出包含绝缘子RPN候选框及相应的置信度、缺陷区域RPN候选框、缺陷区域的缺陷类型以及相应的置信度的待测航拍图像。
在一种具体的实施方式中，还包括：
第二获取单元，用于获取多张包含绝缘子的图像的数据集，数据集中的绝缘子种类包括陶瓷、玻璃、复合绝缘子；
第一标注单元，用于对数据集中的绝缘子进行标注；
划分单元，用于将数据集划分为训练集、验证集和测试集；
第一训练单元，用于迭代训练绝缘子定位网络，得到训练好的绝缘子定位网络。
在一种具体的实施方式中，还包括：
裁剪单元，用于将绝缘子定位网络输出的绝缘子RPN候选框的图像中的绝缘子进行裁剪，构成缺陷检测网络的训练数据集；
第二标注单元，用于将训练数据集中的缺陷位置进行标注；
第二训练单元，用于对缺陷检测网络进行训练，得到训练好的缺陷检测网络。
在一种具体的实施方式中，还包括：
优化单元，用于采用Adam算法对绝缘子定位网络或绝缘子缺陷检测网络进行优化计算。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种航拍图像的绝缘子缺陷检测方法，其特征在于，包括：
获取包含绝缘子的待测航拍图像；
将所述待测航拍图像输入至训练好的绝缘子定位网络中，获取绝缘子RPN候选框及相应的置信度，所述绝缘子定位网络为Faster R-CNN模型构成；
将置信度大于第一预设阈值的候选框进行裁剪，得到绝缘子区域图像；
将所述绝缘子区域图像输入至训练好的缺陷检测网络中，获取缺陷区域RPN候选框，所述缺陷区域的缺陷类型以及相应的置信度，所述缺陷检测网络为Faster R-CNN模型构成。
2.根据权利要求1所述的航拍图像的绝缘子缺陷检测方法，其特征在于，在将所述绝缘子区域图像输入至训练好的缺陷检测网络中，获取缺陷区域RPN候选框及相应的置信度，所述缺陷检测网络为Faster R-CNN模型构成，之后还包括：
输出包含所述绝缘子RPN候选框及相应的置信度、缺陷区域RPN候选框、所述缺陷区域的缺陷类型以及相应的置信度的待测航拍图像。
3.根据权利要求1所述的航拍图像的绝缘子缺陷检测方法，其特征在于，在所述将所述待测航拍图像输入至训练好的绝缘子定位网络中，获取绝缘子RPN候选框及相应的置信度，所述绝缘子定位网络为Faster R-CNN模型构成，之前还包括：
获取多张包含绝缘子的图像的数据集，所述数据集中的绝缘子种类包括陶瓷、玻璃、复合绝缘子；
对所述数据集中的绝缘子进行标注；
将所述数据集划分为训练集、验证集和测试集；
迭代训练所述绝缘子定位网络，得到训练好的所述绝缘子定位网络。
4.根据权利要求3所述的航拍图像的绝缘子缺陷检测方法，其特征在于，在所述将所述绝缘子区域图像输入至训练好的缺陷检测网络中，获取缺陷区域RPN候选框，之前还包括：
将所述绝缘子定位网络输出的绝缘子RPN候选框的图像中的绝缘子进行裁剪，构成所述缺陷检测网络的训练数据集；
将训练数据集中的缺陷位置进行标注；
对所述缺陷检测网络进行训练，得到训练好的所述缺陷检测网络。
5.根据权利要求1所述的航拍图像的绝缘子缺陷检测方法，其特征在于，采用Adam算法对绝缘子定位网络或绝缘子缺陷检测网络进行优化计算。
6.一种航拍图像的绝缘子缺陷检测装置，其特征在于，包括：
第一获取单元，用于获取包含绝缘子的待测航拍图像；
定位单元，用于将所述待测航拍图像输入至训练好的绝缘子定位网络中，获取绝缘子RPN候选框及相应的置信度，所述绝缘子定位网络为Faster R-CNN模型构成；
裁剪单元，用于将置信度大于第一预设阈值的候选框进行裁剪，得到绝缘子区域图像；
缺陷检测单元，用于将所述绝缘子区域图像输入至训练好的缺陷检测网络中，获取缺陷区域RPN候选框，所述缺陷区域的缺陷类型以及相应的置信度，所述缺陷检测网络为Faster R-CNN模型构成。
7.根据权利要求6所述的航拍图像的绝缘子缺陷检测装置，其特征在于，还包括：
图像输出单元，用于输出包含所述绝缘子RPN候选框及相应的置信度、缺陷区域RPN候选框、所述缺陷区域的缺陷类型以及相应的置信度的待测航拍图像。
8.根据权利要求6所述的航拍图像的绝缘子缺陷检测装置，其特征在于，还包括：
第二获取单元，用于获取多张包含绝缘子的图像的数据集，所述数据集中的绝缘子种类包括陶瓷、玻璃、复合绝缘子；
第一标注单元，用于对所述数据集中的绝缘子进行标注；
划分单元，用于将所述数据集划分为训练集、验证集和测试集；
第一训练单元，用于迭代训练所述绝缘子定位网络，得到训练好的所述绝缘子定位网络。
9.根据权利要求8所述的航拍图像的绝缘子缺陷检测装置，其特征在于，还包括：
裁剪单元，用于将所述绝缘子定位网络输出的绝缘子RPN候选框的图像中的绝缘子进行裁剪，构成所述缺陷检测网络的训练数据集；
第二标注单元，用于将训练数据集中的缺陷位置进行标注；
第二训练单元，用于对所述缺陷检测网络进行训练，得到训练好的所述缺陷检测网络。
10.根据权利要求6所述的航拍图像的绝缘子缺陷检测装置，其特征在于，还包括：
优化单元，用于采用Adam算法对绝缘子定位网络或绝缘子缺陷检测网络进行优化计算。
CN202110901495.5A 2021-08-06 2021-08-06 一种航拍图像的绝缘子缺陷检测方法及装置 Active CN113538412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110901495.5A CN113538412B (zh) 2021-08-06 2021-08-06 一种航拍图像的绝缘子缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110901495.5A CN113538412B (zh) 2021-08-06 2021-08-06 一种航拍图像的绝缘子缺陷检测方法及装置

Publications (2)

Publication Number Publication Date
CN113538412A true CN113538412A (zh) 2021-10-22
CN113538412B CN113538412B (zh) 2024-08-02

Family

ID=78090634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110901495.5A Active CN113538412B (zh) 2021-08-06 2021-08-06 一种航拍图像的绝缘子缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN113538412B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742791A (zh) * 2022-04-02 2022-07-12 深圳市国电科技通信有限公司 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备
CN115512252A (zh) * 2022-11-18 2022-12-23 东北电力大学 基于无人机的电网巡检自动化方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106877237A (zh) * 2017-03-16 2017-06-20 天津大学 一种基于航拍图像的检测输电线路中绝缘子缺失的方法
US20170206431A1 (en) * 2016-01-20 2017-07-20 Microsoft Technology Licensing, Llc Object detection and classification in images
CN108280855A (zh) * 2018-01-13 2018-07-13 福州大学 一种基于Fast R-CNN的绝缘子故障检测方法
CN108648169A (zh) * 2018-03-20 2018-10-12 中国科学院自动化研究所 高压输电塔绝缘子缺陷自动识别的方法及装置
CN111652835A (zh) * 2020-02-12 2020-09-11 天津大学 基于深度学习与聚类的输电线路绝缘子缺失的检测方法
CN111784633A (zh) * 2020-05-26 2020-10-16 西安理工大学 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN112634254A (zh) * 2020-12-29 2021-04-09 北京市商汤科技开发有限公司 绝缘子缺陷检测方法及相关装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206431A1 (en) * 2016-01-20 2017-07-20 Microsoft Technology Licensing, Llc Object detection and classification in images
CN106877237A (zh) * 2017-03-16 2017-06-20 天津大学 一种基于航拍图像的检测输电线路中绝缘子缺失的方法
CN108280855A (zh) * 2018-01-13 2018-07-13 福州大学 一种基于Fast R-CNN的绝缘子故障检测方法
CN108648169A (zh) * 2018-03-20 2018-10-12 中国科学院自动化研究所 高压输电塔绝缘子缺陷自动识别的方法及装置
CN111652835A (zh) * 2020-02-12 2020-09-11 天津大学 基于深度学习与聚类的输电线路绝缘子缺失的检测方法
CN111784633A (zh) * 2020-05-26 2020-10-16 西安理工大学 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN112634254A (zh) * 2020-12-29 2021-04-09 北京市商汤科技开发有限公司 绝缘子缺陷检测方法及相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742791A (zh) * 2022-04-02 2022-07-12 深圳市国电科技通信有限公司 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备
CN115512252A (zh) * 2022-11-18 2022-12-23 东北电力大学 基于无人机的电网巡检自动化方法及系统

Also Published As

Publication number Publication date
CN113538412B (zh) 2024-08-02

Similar Documents

Publication Publication Date Title
CN108846835B (zh) 基于深度可分离卷积网络的图像变化检测方法
CN107665492B (zh) 基于深度网络的结直肠全景数字病理图像组织分割方法
CN108182433B (zh) 一种表计读数识别方法及系统
JP2024079743A (ja) 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
CN108596046A (zh) 一种基于深度学习的细胞检测计数方法及系统
CN110378232B (zh) 改进的ssd双网络的考场考生位置快速检测方法
CN107563999A (zh) 一种基于卷积神经网络的芯片缺陷识别方法
CN112926405A (zh) 一种安全帽佩戴检测方法、系统、设备及存储介质
CN111488921A (zh) 一种全景数字病理图像智能分析系统及方法
CN110796661B (zh) 基于卷积神经网络的真菌显微图像分割检测方法及系统
CN109903282B (zh) 一种细胞计数方法、系统、装置和存储介质
CN108764134A (zh) 一种适用于巡检机器人的多类型仪表自动定位与识别方法
CN109583357A (zh) 一种改进lbp和轻量卷积神经网络级联的人脸识别方法
CN110263790A (zh) 一种基于卷积神经网络的电厂电表字符定位和识别方法
CN108305253A (zh) 一种基于多倍率深度学习的病理全切片诊断方法
CN109948429A (zh) 图像分析方法、装置、电子设备及计算机可读介质
CN113538412A (zh) 一种航拍图像的绝缘子缺陷检测方法及装置
CN110348494A (zh) 一种基于双通道残差神经网络的人体动作识别方法
CN105466921A (zh) 一种多样品同时检测的方法
CN110807754B (zh) 基于深度语义分割的真菌显微图像分割检测方法及系统
CN114066848A (zh) 一种fpca外观缺陷视觉检测系统
CN113538411B (zh) 一种绝缘子缺陷检测方法及装置
CN114494185A (zh) 一种基于rgb-t多尺度特征融合的电气设备故障检测方法
CN109934297A (zh) 一种基于深度学习卷积神经网络的水稻考种方法
CN115937492B (zh) 一种基于特征识别的变电设备红外图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant