CN115272169A - 基于智能机器人的绝缘子检测方法和系统 - Google Patents

基于智能机器人的绝缘子检测方法和系统 Download PDF

Info

Publication number
CN115272169A
CN115272169A CN202210586025.9A CN202210586025A CN115272169A CN 115272169 A CN115272169 A CN 115272169A CN 202210586025 A CN202210586025 A CN 202210586025A CN 115272169 A CN115272169 A CN 115272169A
Authority
CN
China
Prior art keywords
insulator
image
detection
model
intelligent robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210586025.9A
Other languages
English (en)
Other versions
CN115272169B (zh
Inventor
段家振
史如新
陆政
刘洪涛
树玉琴
任显铭
程伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jiangsu Electric Power Co ltd Innovation And Innovation Center
State Grid Corp of China SGCC
Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Jiangsu Electric Power Co ltd Innovation And Innovation Center
State Grid Corp of China SGCC
Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Jiangsu Electric Power Co ltd Innovation And Innovation Center, State Grid Corp of China SGCC, Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Jiangsu Electric Power Co ltd Innovation And Innovation Center
Priority to CN202210586025.9A priority Critical patent/CN115272169B/zh
Publication of CN115272169A publication Critical patent/CN115272169A/zh
Application granted granted Critical
Publication of CN115272169B publication Critical patent/CN115272169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于智能机器人的绝缘子检测方法和系统，该方法包括：获取相应的目标检测图像；根据改进的YOLOv5检测模型对目标检测图像进行图像识别，以获取绝缘子检测图像；根据ESPNet语义分割模型对绝缘子检测图像进行语义分割处理，获取对应的前景掩模图像；采用改进的GAN模型对绝缘子检测图像进行区域重构，以获取第一重构图像；根据第一重构图像、绝缘子检测图像和前景掩模图像判断绝缘子是否存在绝缘子瑕疵，以及在绝缘子存在绝缘子瑕疵时，对绝缘子瑕疵进行定位。根据本发明的绝缘子检测方法，整合并改进YOLOv5检测模型、ESPNet语义分割模型和GAN模型构成联合检测系统以对绝缘子以及绝缘子的瑕疵进行定位和检测，大大提高了检测的准确性和效率。

Description

基于智能机器人的绝缘子检测方法和系统
技术领域
本发明涉及瑕疵检测技术领域，具体涉及一种绝缘子检测方法和一种绝缘子检测系统。
背景技术
电力系统的稳定运行是国家能源战略的重要保障，其中绝缘子在输电线路中起着电气设备绝缘和机械固定的作用，成为输电线路不可或缺的部分。
绝缘子检测技术可应用于智能机器人的避碰。智能拆换线机器人是一种用于重要跨越线路拆换线施工的自动化装备，有效地解决了重要输电跨越段拆换线施工协调难度大、周期长、效率低、成本高、安全风险高的难题。智能拆换线机器人作业过程中人工遥控和计程方式都无法准确地确定机器人与架空线末端的距离，以提前减速避免机器人的剧烈碰撞，易造成机器人的损坏。通过检测绝缘子，机器人可以识别是否接近架空线末端，从而实现避碰功能。
绝缘子检测技术也可应用于线路巡检。由陶瓷和玻璃制成的绝缘子由于长期暴露在野外自然环境，容易受到恶劣环境的影响，产生裂纹、污染、损坏等表面缺陷，直接威胁到输电线路的稳定与安全，缩短线路的使用寿命。因此，需要定期对输电线路的绝缘子进行检查，防止因绝缘子损坏导致的后续事故。
相关技术中，对绝缘子以及绝缘子检测的准确性和效率较低。
发明内容
本发明为解决上述技术问题，提供了一种基于智能机器人的绝缘子检测方法，整合并改进YOLOv5检测模型、ESPNet语义分割模型和GAN模型构成联合检测系统以对绝缘子以及绝缘子的瑕疵进行定位和检测，大大提高了检测的准确性和效率。
本发明采用的技术方案如下：
一种基于智能机器人的绝缘子检测方法，所述智能机器人悬挂在架空线上，所述智能机器人上设置有摄像单元，所述绝缘子检测方法包括以下步骤：通过所述摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像；根据改进的YOLOv5检测模型对所述目标检测图像进行图像识别，以获取绝缘子检测图像；根据ESPNet语义分割模型对所述绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像；采用改进的GAN模型对所述绝缘子检测图像进行区域重构，以获取第一重构图像；根据所述第一重构图像、所述绝缘子检测图像和所述前景掩模图像判断所述绝缘子是否存在绝缘子瑕疵，以及在所述绝缘子存在所述绝缘子瑕疵时，对所述绝缘子瑕疵进行定位。
绝缘子检测方法还包括：根据定位到的绝缘子瑕疵区域从所述改进的YOLOv5检测模型中提取所所述绝缘子瑕疵相关的第一视觉特征；根据所述第一视觉特征对所述绝缘子瑕疵进行细分。
所述改进的YOLOv5检测模型包括：骨架网络、特征增强网络、采样网络、加权卷积网络和输出网络；所述根据改进的YOLOv5检测模型对所述目标检测图像进行图像识别，以获取绝缘子检测图像，包括以下步骤：通过所述骨架网络从所述目标检测图像中提取出第二视觉特征；通过所述特征增强网络对所述第二视觉特征进行深层加工；通过采样网络采用上采样和下采样的方式对加工后的第二视觉特征继续进行采样，以获取不同特征尺度的特征信息；通过加权卷积网络对所述不同特征尺度的特征信息进行加权信息整合以获取单特征尺度的特征信息；通过所述输出网络根据所述单特征尺度的特征信息获取所述绝缘子检测图像。
所述改进的GAN模型包括：生成器、鉴别器和二次编码器；其中，在所述采用改进的GAN模型对所述前景掩模图像和所述绝缘子检测图像进行区域重构之前，还包括：通过训练获取所述CAN模型，其中，所述通过训练获取所述CAN模型包括以下步骤：获取所述绝缘子的待训练样本图像；通过所述生成器中的编码器对所述待训练样本图像进行编码以获取相应的第一隐变量；通过所述生成器中的解码器根据所述第一隐变量生成相应的第二重构图像；通过所述二次编码器对所述第二重构图像进行编码以获取相应的编码结果；根据所述编码结果对所述第一隐变量进行优化，以获取第二隐变量；通过所述编码器根据所述第二隐变量生成相应的第三重构图像；通过所述鉴别器根据所述第三重构图像和所述待训练样本图像进行真伪判断，并根据判断结果调整所述CAN模型的损失函数。
所述根据所述第一重构图像、所述缘子检测图像和所述前景掩模图像判断所述绝缘子是否存在绝缘子瑕疵，包括以下步骤：将所述绝缘子检测图像和所述第一重构图像做差，并利用所述前景掩模图像进行约束，以获取相应的差分图像；将所述差分图像中的前景像素数目与预设阈值进行比较，以判断所述绝缘子是否存在绝缘子瑕疵。
一种基于智能机器人的绝缘子检测系统，所述智能机器人悬挂在架空线上，所述智能机器人上设置有摄像单元，所述绝缘子检测系统包括：第一获取模块，所述第一获取模块用于通过所述摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像；第二获取模块，所述第二获取模块用于根据改进的YOLOv5检测模型对所述目标检测图像进行图像识别，以获取绝缘子检测图像；第三获取模块，所述第三获取模块用于根据ESPNet语义分割模型对所述绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像；第四获取模块，所述第四获取模块用于采用改进的GAN模型对所述绝缘子检测图像进行区域重构，以获取第一重构图像；瑕疵检测模块，所述瑕疵检测模块用于根据所述第一重构图像、所述绝缘子检测图像和所述前景掩模图像判断所述绝缘子是否存在绝缘子瑕疵，以及在所述绝缘子存在所述绝缘子瑕疵时，对所述绝缘子瑕疵进行定位。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于智能机器人的绝缘子检测方法。
一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于智能机器人的绝缘子检测方法。
本发明的有益效果：
本发明整合并改进YOLOv5检测模型、ESPNet语义分割模型和GAN模型构成联合检测系统以对绝缘子以及绝缘子的瑕疵进行定位和检测，大大提高了检测的准确性和效率。
附图说明
图1为本发明实施例的基于智能机器人的绝缘子检测方法的流程图；
图2为本发明一个实施例的改进的YOLOv5检测模型的结构示意图；
图3为本发明一个实施例的改进的GAN模型的结构示意图；
图4为本发明实施例的基于智能机器人的绝缘子检测系统的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明实施例的基于智能机器人的绝缘子检测方法的流程图。
其中，智能机器人悬挂在架空线上，智能机器人上设置有摄像单元。
如图1所示，本发明实施例的基于智能机器人的绝缘子检测方法可包括以下步骤：
S1，通过摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像。
当绝缘子在其工作场景中工作时，可通过智能机器人上的摄像单元(例如，工业相机)对绝缘子以及其工作场景进行拍摄，以获取相应的目标检测图像。
S2，根据改进的YOLOv5检测模型对目标检测图像进行图像识别，以获取绝缘子检测图像。
根据本发明的一个实施例，如图2所示，改进的YOLOv5检测模型包括：骨架网络、特征增强网络、采样网络、加权卷积网络和输出网络。对应的，根据改进的YOLOv5检测模型对目标检测图像进行图像识别，以获取绝缘子检测图像，可包括以下步骤：首先，可通过骨架网络从目标检测图像中提取出第二视觉特征，并通过特征增强网络对第二视觉特征进行深层加工，使得视觉特征对尺度变化具有鲁棒性，其中，可借鉴金字塔结构对第二视觉特征进行深度加工，由此，在将目标检测图像输入骨架网络和特征增强网络后，可得到相应的深度加工后的第二视觉特征，即从低级特征尺度1/2x到高级特征尺度1/16x的多尺度特征信息。其次，可通过采样网络采用上采样和下采样的方式对加工后的第二视觉特征继续进行采样，以获取不同特征尺度的特征信息，并将该不同特征尺度的特征信息传输至加权卷积网络。此时，可通过加权卷积网络对不同特征尺度的特征信息进行加权信息整合以获取单特征尺度的特征信息，例如，将不同特征尺度的特征信息全都整合为特征尺度为1/8x的特征信息。最后，通过输出网络将单特征尺度的特征信息输入YOLOv5检测头以实现绝缘子检测，从而获取绝缘子检测图像。
需要说明的是，在输出网络还可采用mobilenet卷积算子替代标准卷积以提高特征融合速度。
其中，输出网络的输出过程可通过以下公式表示：
y＝Head(MB(x′,WB)，WH)，
其中，x′表示单特征尺度的特征信息，MB()表示mobilenet卷积算子，Head()表示YOLOv5检测头，WB表示mobilenet卷积算子对应的可学习参数，WH表示YOLOv5检测头对应的可学习参数。
由此，对传统的YOLOv5检测模型进行改进，通过聚合不同尺度的特征图，相比对传统的YOLOv5检测模型将三种不同尺度的特征图输入检测头中同时检测图像中不同尺度的目标，检测能力更高，效果更好。
S3，根据ESPNet语义分割模型对绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像。
具体而言，ESPNet语义分割模型是一种基于高效空间金字塔模块的轻量级语义分割模型，语义分割可以实现对目标的像素级理解，获得比目标检测结果更为紧凑的目标区域，输入图像首先经过卷积批处理激活CBR进行批处理规范化和激活，将规范化后的特征图经过多次下采样操作以扩大图像的感受野，引入跨连接保存下采样信息，利用SoftMax激活函数输出语义分割结果，就可以获得绝缘子的前景掩模图像，抑制无关背景信息的干扰。
S4，采用改进的GAN模型对绝缘子检测图像进行区域重构，以获取第一重构图像。
具体而言，如图3所示，改进的GAN模型可包括：生成器、鉴别器和二次编码器。在采用改进的GAN模型对绝缘子检测图像进行区域重构之前，可进行训练以获取该CAN模型。下面结合具体实施例来详细说明如何通过训练获取CAN模型。
在本发明得意一个实施例中，如图3所示，通过训练获取CAN模型包括以下步骤：首先，可获取绝缘子的带训练样本图像，并将待训练样本图像输入生成器。此时，可通过生成器G中的编码器GE对待训练样本图像r进行编码以获取相应的第一隐变量z1，然后将第一隐变量送入生成器G中的解码器GD，并通过生成器G中的解码器GD根据第一隐变量z1生成相应的第二重构图像
Figure BDA0003663466710000071
其中，可通过以下公式表示：
Figure BDA0003663466710000072
其中，WGD、WGE分别表示编码器GE和解码器GD的可学习权重。
进一步而言，可通过二次编码器E对第二重构图像
Figure BDA0003663466710000073
进行编码以获取相应的编码结果
Figure BDA0003663466710000074
(二次隐变量)，并根据编码结果
Figure BDA0003663466710000075
对第一隐变量z1进行优化，以获取第二隐变量z2，以及通过编码器GE根据第二隐变量z2生成相应的第三重构图像
Figure BDA0003663466710000076
具体地，为了改善生成器G的样本生成能力，本发明引用二次编码器E对第二重构图像
Figure BDA0003663466710000077
进行编码，得到相应的编码结果
Figure BDA0003663466710000078
并另编码结果
Figure BDA0003663466710000079
逼近第一隐变量z1，以对第一隐变量z1进行优化，以获取第二隐变量z2，其中，可通过以下公式表示：
Figure BDA00036634667100000710
其中，WE表示解码器E的可学习参数。
然后，通过编码器GE再根据第二隐变量z2生成相应的第三重构图像
Figure BDA00036634667100000711
具体生成第三重构图像的方法可参照上述实施例，为避免冗余，在此不再详述。
进一步而言，通过鉴别器D根据第三重构图像
Figure BDA00036634667100000712
和待训练样本图像r进行真伪判断，并根据判断结果调整CAN模型的损失函数。具体地，鉴别器D采用三层卷积神经网络实现，分别接受真实图像(即待训练样本图像r)和第三重构图像
Figure BDA00036634667100000713
并进行真伪判断，如下所示：
Figure BDA00036634667100000714
其中，l表示鉴别器D的输出结果，WD表示其可学习参数。
可根据真伪判断结果l调整CAN模型的损失函数。为了训练生成对抗网络，本发明设计三个损失函数，并通过加权方式构造联合损失函数，即改进的CAN模型的损失函数。
具体地，(1)对抗损失函数Ladv可表征生成器G与鉴别器D在博弈过程中产生的损失，可采用L2损失函数计算，即
Ladv＝||f(r)-f(G(r))||2；
(2)内容损失函数Lcon可反映第三重构图像
Figure BDA0003663466710000081
与待训练样本图像r之间的差异，可采用L1损失函数计算，即
Lcon＝||r-G(r)||1；
(3)编码损失函数Lenc可用于降低输入图像特征向量与重构图像特征向量之间的差距，可采用L2损失函数计算，即
Lenc＝||GE(x)-E(G(x))||2。
最后，可通过加权方式生成联合损失函数(改进的CAN模型的损失函数)，即，
L＝wadvLadv+wconLcon+wencLenc，
其中，wadv、wcon和wenc是加权参数，用于调整单个损失函数对联合损失函数的影响。
由此，在对GAN模型进行训练时，引入二次编码器对重构图像进行再次编码，并根据编码结果对生成器G中的编码器GE对应的隐变量进行调优，从而大大提高了生成器的样本生成能力，提高了系统的可靠性。
在通过上述方式获取改进的GAN模型后，可直接将绝缘子检测图像输入该改进的GAN模型，此时，可通过生成器对绝缘子检测图像进行区域重构，以获取第一重构图像。
S5，根据第一重构图像、绝缘子检测图像和前景掩模图像判断绝缘子是否存在绝缘子瑕疵，以及在绝缘子存在绝缘子瑕疵时，对绝缘子瑕疵进行定位。
具体而言，根据第一重构图像、缘子检测图像和前景掩模图像判断绝缘子是否存在绝缘子瑕疵，包括以下步骤：首先，可将绝缘子检测图像和第一重构图像做差，并利用前景掩模图像进行约束，以获取相应的差分图像，然后，将差分图像中的前景像素数目与预设阈值进行比较，以判断绝缘子是否存在绝缘子瑕疵。
同时，通过对瑕疵图像的连通域分析，并使用最小外接矩形框住瑕疵区域对应的连通域，可以实现对绝缘子瑕疵的定位。
根据本发明的一个实施例，基于智能机器人的绝缘子检测方法还包括：根据定位到的绝缘子瑕疵区域从改进的YOLOv5检测模型中提取所绝缘子瑕疵相关的第一视觉特征；根据第一视觉特征对绝缘子瑕疵进行细分。
具体而言，由于绝缘子瑕疵区域往往较小，使用卷积神经网络较难有效提取瑕疵区域视觉特征，进而无法准确分类，因此，可将绝缘子瑕疵定位结果作为约束，从改进的YOLOv5检测模型获取到的第二视觉特征中提取绝缘子瑕疵相关的第一视觉特征。其中，Softmax分类器是用损失函数来评估，并对分类的正确与否进行调整。Softmax分类器能够扩大分数的差距，即使得分函数的分数结果差别都不大，通过Softmax分类器，就能够使得分数的差距进一步拉大，使得分类效果更加明显，因此，在完成提取绝缘子瑕疵相关的第一视觉特征后，可将第一视觉特征送入Softmax分类器，检测绝缘子瑕疵。进一步地，在得到绝缘子瑕疵的检测结果后，若绝缘子存在瑕疵的情况，同时考虑到瑕疵种类的多样性，将基于改进GAN的绝缘子瑕疵区域定位步骤中得到的瑕疵区域按照宽高等比例放大2倍得到绝缘子瑕疵掩模M，绝缘子瑕疵掩模M中包含了瑕疵区域及其空间上下文信息，接着，利用绝缘子瑕疵掩模M从改进YOLOv5中Mobile convolution模块输出的特征图中提取细分瑕疵特征，从而实现对绝缘子瑕疵的细分。
由此，本发明通过聚合不同尺度的特征图，相比对传统的YOLOv5检测模型将三种不同尺度的特征图输入检测头中同时检测图像中不同尺度的目标，检测能力更高，效果更好，并且，本发明引入轻量级的ESPNet计算绝缘子的前景掩模，能够抑制无关背景噪声的干扰，同时，本发明结合绝缘子瑕疵区域定位及YOLOv5学得的视觉特征，提取绝缘子瑕疵相关特征，能够实现瑕疵的细分，另外，本发明适用于绝缘子瑕疵的自动检测，能够大大提高瑕疵检测的准确性与效率，也为拆换线智能机器人提供绝缘子信息。
综上所述，根据本发明实施例的基于智能机器人的绝缘子检测方法，通过摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像，并根据改进的YOLOv5检测模型对目标检测图像进行图像识别，以获取绝缘子检测图像，以及根据ESPNet语义分割模型对绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像，并采用改进的GAN模型对绝缘子检测图像进行区域重构，以获取第一重构图像，以及根据第一重构图像、绝缘子检测图像和前景掩模图像判断绝缘子是否存在绝缘子瑕疵，并在绝缘子存在绝缘子瑕疵时，对绝缘子瑕疵进行定位。由此，根据第一重构图像、绝缘子检测图像和前景掩模图像判断绝缘子是否存在绝缘子瑕疵，以及在绝缘子存在绝缘子瑕疵时，对绝缘子瑕疵进行定位。
对应上述实施例的绝缘子检测方法，本发明还提出一种基于智能机器人的绝缘子检测系统。
其中，智能机器人悬挂在架空线上，智能机器人上设置有摄像单元。
如图4所示，本发明实施例的基于智能机器人的绝缘子检测系统可包括：第一获取模块100、第二获取模块200、第三获取模块300、第四获取模块400和瑕疵检测模块500。
其中，第一获取模块100用于通过摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像；第二获取模块200用于根据改进的YOLOv5检测模型对目标检测图像进行图像识别，以获取绝缘子检测图像；第三获取模块300用于根据ESPNet语义分割模型对绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像；第四获取模块400用于采用改进的GAN模型对绝缘子检测图像进行区域重构，以获取第一重构图像；瑕疵检测模块500用于根据第一重构图像、绝缘子检测图像和前景掩模图像判断绝缘子是否存在绝缘子瑕疵，以及在绝缘子存在绝缘子瑕疵时，对绝缘子瑕疵进行定位。
根据本发明的一个实施例，瑕疵检测模块500具体还用于：根据定位到的绝缘子瑕疵区域从改进的YOLOv5检测模型中提取所绝缘子瑕疵相关的第一视觉特征；根据第一视觉特征对绝缘子瑕疵进行细分。
根据本发明的一个实施例，改进的YOLOv5检测模型包括：骨架网络、特征增强网络、采样网络、加权卷积网络和输出网络；第二获取模块200具体用于：通过骨架网络从目标检测图像中提取出第二视觉特征；通过特征增强网络对第二视觉特征进行深层加工；通过采样网络采用上采样和下采样的方式对加工后的第二视觉特征继续进行采样，以获取不同特征尺度的特征信息；通过加权卷积网络对不同特征尺度的特征信息进行加权信息整合以获取单特征尺度的特征信息；通过输出网络根据单特征尺度的特征信息获取绝缘子检测图像。
根据本发明的一个实施例，改进的GAN模型包括：生成器、鉴别器和二次编码器；第四获取模块400在采用改进的GAN模型对前景掩模图像和绝缘子检测图像进行区域重构之前，还用于：获取绝缘子的待训练样本图像；通过生成器中的编码器对待训练样本图像进行编码以获取相应的第一隐变量；通过生成器中的解码器根据第一隐变量生成相应的第二重构图像；通过二次编码器对第二重构图像进行编码以获取相应的编码结果；根据编码结果对第一隐变量进行优化，以获取第二隐变量；通过编码器根据第二隐变量生成相应的第三重构图像；通过鉴别器根据第三重构图像和待训练样本图像进行真伪判断，并根据判断结果调整CAN模型的损失函数。
根据本发明的一个实施例，瑕疵检测模块500具体用于：将绝缘子检测图像和第一重构图像做差，并利用前景掩模图像进行约束，以获取相应的差分图像；将差分图像中的前景像素数目与预设阈值进行比较，以判断绝缘子是否存在绝缘子瑕疵。
需要说明的是，本发明实施例的基于智能机器人的绝缘子检测系统更具体的实施方式可参照上述基于智能机器人的绝缘子检测方法的实施例，在此不再赘述。
根据本发明实施例的基于智能机器人的绝缘子检测系统，通过第一获取模块采用摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像，以及通过第二获取模块根据改进的YOLOv5检测模型对目标检测图像进行图像识别，以获取绝缘子检测图像，并通过第三获取模块根据ESPNet语义分割模型对绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像，以及通过第四获取模块采用改进的GAN模型对绝缘子检测图像进行区域重构，以获取第一重构图像，并通过瑕疵检测模块用于根据第一重构图像、绝缘子检测图像和前景掩模图像判断绝缘子是否存在绝缘子瑕疵，以及在绝缘子存在绝缘子瑕疵时，对绝缘子瑕疵进行定位。由此，根据第一重构图像、绝缘子检测图像和前景掩模图像判断绝缘子是否存在绝缘子瑕疵，以及在绝缘子存在绝缘子瑕疵时，对绝缘子瑕疵进行定位。
对应上述实施例，本发明还提出一种计算机设备。
本发明实施例的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于智能机器人的绝缘子检测方法。
根据本发明实施例的计算机设备，整合并改进YOLOv5检测模型、ESPNet语义分割模型和GAN模型构成联合检测系统以对绝缘子以及绝缘子的瑕疵进行定位和检测，大大提高了检测的准确性和效率。
对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的基于智能机器人的绝缘子检测方法。
根据本发明实施例的非临时性计算机可读存储介质，整合并改进YOLOv5检测模型、ESPNet语义分割模型和GAN模型构成联合检测系统以对绝缘子以及绝缘子的瑕疵进行定位和检测，大大提高了检测的准确性和效率。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于智能机器人的绝缘子检测方法，其特征在于，所述智能机器人悬挂在架空线上，所述智能机器人上设置有摄像单元，所述绝缘子检测方法包括以下步骤：
通过所述摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像；
根据改进的YOLOv5检测模型对所述目标检测图像进行图像识别，以获取绝缘子检测图像；
根据ESPNet语义分割模型对所述绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像；
采用改进的GAN模型对所述绝缘子检测图像进行区域重构，以获取第一重构图像；
根据所述第一重构图像、所述绝缘子检测图像和所述前景掩模图像判断所述绝缘子是否存在绝缘子瑕疵，以及在所述绝缘子存在所述绝缘子瑕疵时，对所述绝缘子瑕疵进行定位。
2.根据权利要求1所述的基于智能机器人的绝缘子检测方法，其特征在于，还包括：
根据定位到的绝缘子瑕疵区域从所述改进的YOLOv5检测模型中提取所所述绝缘子瑕疵相关的第一视觉特征；
根据所述第一视觉特征对所述绝缘子瑕疵进行细分。
3.根据权利要求1所述的基于智能机器人的绝缘子检测方法，其特征在于，所述改进的YOLOv5检测模型包括：骨架网络、特征增强网络、采样网络、加权卷积网络和输出网络；所述根据改进的YOLOv5检测模型对所述目标检测图像进行图像识别，以获取绝缘子检测图像，包括以下步骤：
通过所述骨架网络从所述目标检测图像中提取出第二视觉特征；
通过所述特征增强网络对所述第二视觉特征进行深层加工；
通过采样网络采用上采样和下采样的方式对加工后的第二视觉特征继续进行采样，以获取不同特征尺度的特征信息；
通过加权卷积网络对所述不同特征尺度的特征信息进行加权信息整合以获取单特征尺度的特征信息；
通过所述输出网络根据所述单特征尺度的特征信息获取所述绝缘子检测图像。
4.根据权利要求1所述的基于智能机器人的绝缘子检测方法，其特征在于，所述改进的GAN模型包括：生成器、鉴别器和二次编码器；其中，在所述采用改进的GAN模型对所述前景掩模图像和所述绝缘子检测图像进行区域重构之前，还包括：通过训练获取所述CAN模型，其中，所述通过训练获取所述CAN模型包括以下步骤：
获取所述绝缘子的待训练样本图像；
通过所述生成器中的编码器对所述待训练样本图像进行编码以获取相应的第一隐变量；
通过所述生成器中的解码器根据所述第一隐变量生成相应的第二重构图像；
通过所述二次编码器对所述第二重构图像进行编码以获取相应的编码结果；
根据所述编码结果对所述第一隐变量进行优化，以获取第二隐变量；
通过所述编码器根据所述第二隐变量生成相应的第三重构图像；
通过所述鉴别器根据所述第三重构图像和所述待训练样本图像进行真伪判断，并根据判断结果调整所述CAN模型的损失函数。
5.根据权利要求4所述的基于智能机器人的绝缘子检测方法，其特征在于，所述根据所述第一重构图像、所述缘子检测图像和所述前景掩模图像判断所述绝缘子是否存在绝缘子瑕疵，包括以下步骤：
将所述绝缘子检测图像和所述第一重构图像做差，并利用所述前景掩模图像进行约束，以获取相应的差分图像；
将所述差分图像中的前景像素数目与预设阈值进行比较，以判断所述绝缘子是否存在绝缘子瑕疵。
6.一种基于智能机器人的绝缘子检测系统，其特征在于，所述智能机器人悬挂在架空线上，所述智能机器人上设置有摄像单元，所述绝缘子检测系统包括：
第一获取模块，所述第一获取模块用于通过所述摄像单元对待检测绝缘子进行拍摄以获取相应的目标检测图像；
第二获取模块，所述第二获取模块用于根据改进的YOLOv5检测模型对所述目标检测图像进行图像识别，以获取绝缘子检测图像；
第三获取模块，所述第三获取模块用于根据ESPNet语义分割模型对所述绝缘子检测图像进行语义分割处理，以获取对应的前景掩模图像；
第四获取模块，所述第四获取模块用于采用改进的GAN模型对所述绝缘子检测图像进行区域重构，以获取第一重构图像；
瑕疵检测模块，所述瑕疵检测模块用于根据所述第一重构图像、所述绝缘子检测图像和所述前景掩模图像判断所述绝缘子是否存在绝缘子瑕疵，以及在所述绝缘子存在所述绝缘子瑕疵时，对所述绝缘子瑕疵进行定位。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1-5中任一项所述的基于智能机器人的绝缘子检测方法。
8.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求1-5中任一项所述的基于智能机器人的绝缘子检测方法。
CN202210586025.9A 2022-05-26 2022-05-26 基于智能机器人的绝缘子检测方法和系统 Active CN115272169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210586025.9A CN115272169B (zh) 2022-05-26 2022-05-26 基于智能机器人的绝缘子检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210586025.9A CN115272169B (zh) 2022-05-26 2022-05-26 基于智能机器人的绝缘子检测方法和系统

Publications (2)

Publication Number Publication Date
CN115272169A true CN115272169A (zh) 2022-11-01
CN115272169B CN115272169B (zh) 2023-08-11

Family

ID=83759928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210586025.9A Active CN115272169B (zh) 2022-05-26 2022-05-26 基于智能机器人的绝缘子检测方法和系统

Country Status (1)

Country Link
CN (1) CN115272169B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107179323A (zh) * 2017-07-25 2017-09-19 常州工程职业技术学院 一种盘形悬式瓷绝缘子视觉检测方法
CN110135269A (zh) * 2019-04-18 2019-08-16 杭州电子科技大学 一种基于混合颜色模型与神经网络的火灾图像检测方法
CN111257348A (zh) * 2020-03-27 2020-06-09 河海大学常州校区 一种基于机器视觉的led导光板缺陷检测方法
CN111638224A (zh) * 2020-06-12 2020-09-08 常州工程职业技术学院 一种基于智能传感和机器视觉的车辆漆面瑕疵检测装置
CN112308854A (zh) * 2020-11-26 2021-02-02 武汉工程大学 一种芯片表面瑕疵的自动检测方法、系统及电子设备
US20210264557A1 (en) * 2020-02-26 2021-08-26 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for real-time, simultaneous object detection and semantic segmentation
CN114005029A (zh) * 2021-10-20 2022-02-01 华南农业大学 基于改进yolov5网络的广佛手病虫害识别方法及系统
EP3963516A1 (en) * 2019-09-20 2022-03-09 Samsung Electronics Co., Ltd. Teaching gan (generative adversarial networks) to generate per-pixel annotation
CN115808890A (zh) * 2022-09-30 2023-03-17 国网江苏省电力有限公司常州供电分公司 车载便携式锯树机器人的控制方法、控制装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107179323A (zh) * 2017-07-25 2017-09-19 常州工程职业技术学院 一种盘形悬式瓷绝缘子视觉检测方法
CN110135269A (zh) * 2019-04-18 2019-08-16 杭州电子科技大学 一种基于混合颜色模型与神经网络的火灾图像检测方法
EP3963516A1 (en) * 2019-09-20 2022-03-09 Samsung Electronics Co., Ltd. Teaching gan (generative adversarial networks) to generate per-pixel annotation
US20210264557A1 (en) * 2020-02-26 2021-08-26 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for real-time, simultaneous object detection and semantic segmentation
CN111257348A (zh) * 2020-03-27 2020-06-09 河海大学常州校区 一种基于机器视觉的led导光板缺陷检测方法
CN111638224A (zh) * 2020-06-12 2020-09-08 常州工程职业技术学院 一种基于智能传感和机器视觉的车辆漆面瑕疵检测装置
CN112308854A (zh) * 2020-11-26 2021-02-02 武汉工程大学 一种芯片表面瑕疵的自动检测方法、系统及电子设备
CN114005029A (zh) * 2021-10-20 2022-02-01 华南农业大学 基于改进yolov5网络的广佛手病虫害识别方法及系统
CN115808890A (zh) * 2022-09-30 2023-03-17 国网江苏省电力有限公司常州供电分公司 车载便携式锯树机器人的控制方法、控制装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DONGKAI ZHANG ET AL.: "DefGAN: Defect Detection GANs With Latent Space Pitting for High-Speed Railway Insulator", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》, vol. 70, pages 1 - 10, XP011827203, DOI: 10.1109/TIM.2020.3038008 *
RUI WANG ET AL.: "Study on Detection of Insulator Defects in Time Domain Terahertz Wave", 《2018 IEEE CONFERENCE ON ELECTRICAL INSULATION AND DIELECTRIC PHENOMENA (CEIDP)》, pages 297 - 300 *
王迎霞等: "电网器件不到1 毫米的加工偏差被3D立体扫描技术找出来了", 《科技日报》, pages 1 *
郭培林等: "轮胎X光图像瑕疵检测FasterR-CNN算法改进研究", 《自动化博览》, vol. 37, no. 08, pages 94 - 98 *
黄勃等: "拆线机器人的轮式爬线机构及顶升装置设计", 《计算机测量与控制》, pages 1 - 9 *

Also Published As

Publication number Publication date
CN115272169B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN106877237B (zh) 一种基于航拍图像的检测输电线路中绝缘子缺失的方法
CN108596886A (zh) 基于深度学习的航拍图像绝缘子掉片故障快速检测方法
CN106886216B (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN103279765B (zh) 基于图像匹配的钢丝绳表面损伤检测方法
CN109344753A (zh) 一种基于深度学习的航拍图像输电线路细小金具识别方法
CN109615611A (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN109712127B (zh) 一种用于机巡视频流的输电线路故障检测方法
CN101986348A (zh) 一种视觉目标识别与跟踪方法
CN109886939A (zh) 基于张量投票的桥梁裂缝检测方法
CN111127448B (zh) 一种基于孤立森林检测空气弹簧故障的方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
CN113221688B (zh) 一种刀闸状态识别方法、装置和存储介质
CN111862013A (zh) 基于深度卷积神经网络的绝缘子检测方法、装置及设备
CN110009622A (zh) 一种显示面板外观缺陷检测网络及其缺陷检测方法
CN109916912A (zh) 一种铁轨扣件病害检测方法及系统
Li et al. Cracked insulator detection based on R-FCN
CN111145222A (zh) 一种结合烟雾运动趋势和纹理特征的火灾检测方法
CN116563262A (zh) 基于多模态的建筑裂缝检测算法
CN116152697A (zh) 一种混凝土结构裂缝的三维模型测量方法及相关装置
CN113159046B (zh) 无砟道床异物检测方法及装置
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
Zhang et al. Surface defect detection of wind turbine based on lightweight YOLOv5s model
CN113012107B (zh) 电网缺陷检测方法及系统
CN113902792A (zh) 基于改进RetinaNet网络的建筑物高度检测方法、系统和电子设备
CN115272169A (zh) 基于智能机器人的绝缘子检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant