CN114596433A - 一种绝缘子识别方法 - Google Patents

一种绝缘子识别方法 Download PDF

Info

Publication number
CN114596433A
CN114596433A CN202210238969.7A CN202210238969A CN114596433A CN 114596433 A CN114596433 A CN 114596433A CN 202210238969 A CN202210238969 A CN 202210238969A CN 114596433 A CN114596433 A CN 114596433A
Authority
CN
China
Prior art keywords
insulator
network
module
suggestion
residual error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210238969.7A
Other languages
English (en)
Inventor
王建军
姜黛琳
吴奕锴
梅云初
武凯丽
王诗婷
许鹏程
李晓莉
彭勇
李天骄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Shanghai Electric Power Co Ltd
Original Assignee
State Grid Shanghai Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Shanghai Electric Power Co Ltd filed Critical State Grid Shanghai Electric Power Co Ltd
Priority to CN202210238969.7A priority Critical patent/CN114596433A/zh
Publication of CN114596433A publication Critical patent/CN114596433A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种绝缘子识别方法，包括：采集若干张绝缘子的样本图像，以获取训练集；根据所述训练集和改进的Mask‑RCNN网络构建绝缘子识别模型；以及获取待识别图像，并采用所述绝缘子识别模型对所述待识别图像中的绝缘子进行识别。本发明中改进的Mask‑RCNN网络作为实例分割算法，可以对待识别图像中单个绝缘子个体进行精准识别和分割，从而实现对绝缘子的精准监测，进而提高配网带电作业机器人作业效率及成功率。此外，改进的Mask‑RCNN网络的主干网络包括深度残差网络和SE模块，且添加在深度残差网络中的SE模块通过特征加权的方式学习特征通道的重要程度，可以提升对绝缘子分割有效特征的权重，抑制其它不重要的特征，从而增强绝缘子识别模型的特征提取能力。

Description

一种绝缘子识别方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于实例分割算法的绝缘子识别方法。
背景技术
绝缘子作为输电线路中的重要元件，兼顾绝缘与机械支撑作用；当绝缘子由于环境和电负荷条件发生变化导致的各种机电应力而失效时，会严重损害整条线路的使用和运行寿命，因此需要对绝缘子进行定期巡检，以保证绝缘子的可靠性。配网带电作业机器人作为智能机器人领域的一个重要分支，不仅能够代替人工进行带电作业，还能够对电网设备(例如绝缘子)进行监测作业，从而降低作业风险，保障人身安全。
配网带电作业机器人进行实际作业时，首先需要对作业环境以及目标物体的精准识别定位，这也是进行后续其他操作的重要前提；可以说目标物体识别的精准度严重影响着配网带电作业机器人作业的效率及成功率。在传统的目标识别分割算法中，主要包含区域分割和边界分割两种，由于传统的图像分割方法采用的是手工提取特征，会导致识别分割效果不理想。近几年随着神经网络的兴起及其在图像识别分割算法中的应用，图像分割的准确率有了极大的提高；基于神经网络的图像识别分割主要分为语义分割和实例分割；其中，图像语义分割的任务是对图像中每一个像素点进行类别预测，能够识别出图像中存在的不同类别内容以及位置，但对同一类的物体并不区分彼此，统一标记为同一类；与语义分割相比，实例分割只对感兴趣目标进行分割，不仅同样能做到像素级的类别预测，也可以将属于同一类别的不同个体进行区分，分割结果更符合人类的视觉感知。因此，如何基于实例分割对电网设备(例如绝缘子)进行精准识别和分割，已成为提高配网带电作业机器人作业效率及成功率的关键问题。
发明内容
本发明的目的在于提供一种绝缘子识别方法，基于改进的Mask-RCNN网络对待识别图像中单个绝缘子个体进行精准识别和分割，从而实现对绝缘子的精准监测，进而提高配网带电作业机器人作业效率及成功率。
为了达到上述目的，本发明通过以下技术方案实现：
一种绝缘子识别方法，包括：
采集若干张绝缘子的样本图像，以获取训练集；
根据所述训练集和改进的Mask-RCNN网络构建绝缘子识别模型；以及
获取待识别图像，并采用所述绝缘子识别模型对所述待识别图像中的绝缘子进行识别。
优选地，所述获取所述训练集的步骤包括：对每一所述样本图像中绝缘子的边框进行手动标注，以得到对应的标记数据；且所有所述样本图像及对应的标记数据构成所述训练集。
优选地，执行所述根据所述训练集和改进的Mask-RCNN网络构建绝缘子识别模型步骤之前还包括：搭建所述改进的Mask-RCNN网络；且所述改进的Mask-RCNN网络包括：
主干网络，用于对输入的图像进行特征提取，以生成特征图；
区域建议网络，与所述主干网络连接，用于根据所述特征图生成若干个初始建议框以及每一所述初始建议框的类别置信度；
筛选网络，与所述区域建议网络连接；且所述筛选网络采用Adaptive NMS算法对所有所述初始建议框进行筛选，以得到最终建议框；以及
兴趣区域匹配网络，分别与所述主干网络和所述筛选网络连接，用于将所述最终建议框映射至所述特征图上，以得到绝缘子的识别结果。
优选地，所述绝缘子的识别结果包括绝缘子的类别、框坐标和掩码。
优选地，所述主干网络包括：深度残差网络和SE模块；所述深度残差网络包括残差模块和Addition模块；
所述残差模块与所述SE模块连接，用于从输入的图像中提取特征数据并输出至所述SE模块；
所述SE模块分别与所述残差模块和所述Addition模块连接，用于对所述残差模块输出的特征数据进行权重重标定；
所述Addition模块分别与所述SE模块和所述区域建议网络连接，用于根据输入的图像和权重重标定后的特征数据生成所述特征图并输出至所述区域建议网络。
优选地，所述SE模块包括：
压缩单元，与所述残差模块连接，用于对所述残差模块输出的特征数据进行全局池化；
激发单元，与所述压缩单元连接，用于获取全局池化后的特征数据中特征通道的权重；以及
加权单元，分别与所述残差模块、所述激发单元和所述Addition模块连接，用于将获取的特征通道的权重加权到所述残差模块输出的特征数据上，以对所述残差模块输出的特征数据进行权重重标定。
优选地，所述压缩单元采用如下公式对所述残差模块输出的特征数据进行全局池化：
Figure BDA0003543505600000031
其中，zc表示全局池化后的第c个特征数据；uc表示对所述残差模块输出的第c个特征数据；H和W分别表示所述残差模块输出的第c个特征数据的高和宽；i和j分别表示所述残差模块输出的第c个特征数据的行像素点坐标和列像素点坐标；
所述激发单元采用如下公式获取全局池化后的特征数据中特征通道的权重：
sc＝σ(D2δ(D1zc))
其中，sc表示全局池化后的第c个特征数据中特征通道的权重；D1表示第一学习参数；δ表示ReLU激活函数；D2表示第二学习参数；σ表示Sigmoid激活函数；
所述加权单元采用如下公式将获取的特征通道的权重加权到所述残差模块输出的特征数据上：
Figure BDA0003543505600000032
其中，
Figure BDA0003543505600000033
表示权重重标定后的第c个特征数据。
优选地，所述筛选网络采用Adaptive NMS算法对所有所述初始建议框进行筛选的步骤包括：
步骤S210、将所有所述初始建议框构成初始建议框集合；
步骤S220、对初始建议框集合中所有所述初始建议框按照类别置信度从大到小进行排序；
步骤S230、计算筛选阈值；
步骤S240、从初始建议框集合中选取类别置信度最高的初始建议框作为最终建议框并移入到最终建议框集合中；
步骤S250、计算初始建议框集合中类别置信度最高的初始建议框和其他初始建议框之间的交并比，并根据所述筛选阈值更新其他初始建议框的类别置信度；
步骤S260、对初始建议框集合中更新后类别置信度高于预设置信度的初始建议框进行保留；
步骤S270、循环执行步骤S220至步骤S260，直到初始建议框集合中没有初始建议框。
优选地，筛选阈值通过以下公式进行计算：
NM＝max(Nt,pM)
其中，NM表示筛选阈值；Nt表示初始阈值；PM表示初始建议框集合中类别置信度最大的初始建议框M的稠密程度；
稠密程度通过以下公式进行计算：
Figure BDA0003543505600000041
其中，G表示绝缘子目标真值框的集合；qd表示集合G第d个真值框坐标向量；qe表示集合G第e个真值框坐标向量；iou表示交并比；
其他初始建议框的类别置信度通过以下公式进行更新：
Figure BDA0003543505600000042
其中，Sk′表示初始建议框集合中除类别置信度最大的初始建议框M外的第k个初始建议框hk更新后的类别置信度；Sk表示表示初始建议框hk的类别置信度；f表示衰减函数。
优选地，所述根据所述训练集和改进的Mask-RCNN网络构建绝缘子识别模型的步骤包括：
将所述样本图像输入所述改进的Mask-RCNN网络，以得到所述样本图像中所述绝缘子的识别结果；
根据所述样本图像中所述绝缘子的识别结果和所述样本图像对应的标记数据计算损失函数值；且所述损失函数值满足预设要求时对应的模型为所述绝缘子识别模型。
本发明与现有技术相比至少具有以下优点之一：
本发明提供一种绝缘子识别方法，通过改进的Mask-RCNN网络和由若干张绝缘子的样本图像获取的训练集构建绝缘子识别模型，从而实现对待识别图像中的绝缘子进行识别。改进的Mask-RCNN网络作为实例分割算法，可以对待识别图像中单个绝缘子个体进行精准识别和分割，从而实现对绝缘子的精准监测，进而提高配网带电作业机器人作业效率及成功率。
本发明中改进的Mask-RCNN网络的主干网络包括深度残差网络和SE模块；深度残差网络使用跨层连接，能够训练更加深层的网络，使得训练更加容易；在深度残差网络中增加SE模块，则可以对深度残差网络增加相当数量的深度并有效提高训练效果。同时，SE模块通过特征加权的方式学习特征通道的重要程度，可以提升对绝缘子分割有效特征的权重，抑制其它不重要的特征，从而增强绝缘子识别模型的特征提取能力。
本发明中筛选网络采用Adaptive NMS算法对初始建议框进行筛选，相较于传统的NMS算法而言，能够消除类别置信度较低的冗余初始建议框，从而更加精准地识别所述绝缘子的位置，有利于后续的图像分割，进而缓解绝缘子所处遮挡导致的实例对象重叠和漏检问题，提高图像实例分割的精度。
本发明可以推广到后续以电网巡检设施为代表的户外设施信息感知和分析中，在一定程度上实现电网户外作业设施的精准监测，促进电网作业的智能化和精准化发展。
附图说明
图1是本发明一实施例提供的一种绝缘子识别方法的流程图；
图2是本发明一实施例提供的一种绝缘子识别方法中改进的Mask-RCNN网络的结构示意图；
图3是本发明一实施例提供的一种绝缘子识别方法中主干网络的结构示意图。
具体实施方式
以下结合附图和具体实施方式对本发明提出的一种绝缘子识别方法作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合附图1～3所示，本实施例提供一种绝缘子识别方法，包括：步骤S110、采集若干张绝缘子的样本图像，以获取训练集；步骤S120、根据所述训练集和改进的Mask-RCNN网络构建绝缘子识别模型；以及步骤S130、获取待识别图像，并采用所述绝缘子识别模型对所述待识别图像中的绝缘子进行识别。
请继续参考图1，所述步骤S110包括：对每一所述样本图像中绝缘子的边框进行手动标注，以得到对应的标记数据；且所有所述样本图像及对应的标记数据构成所述训练集。
具体的，所述步骤S110中，可以采用相同设备拍摄任意角度和距离的绝缘子图片作为所述样本图像；然后使用Labelme工具对每一所述样本图像中绝缘子的边框进行手动标注，标注完成后即可得到json配置文件，且json配置文件中记录有每一所述样本图像对应的标记数据；随后还需要将json配置文件转化为coco类型数据集，且此时coco类型数据集即为所述训练集。优选地，可以选取300张不同角度且处于室外环境的绝缘子图片作为所述样本图像；每一所述样本图像对应的标记数据包括绝缘子目标的类别、真值框和掩码真值，但本发明不以此为限。
请同时参考图1、图2和图3，执行所述步骤S120之前还包括：搭建所述改进的Mask-RCNN网络；且所述改进的Mask-RCNN网络包括：主干网络，用于对输入的图像进行特征提取，以生成特征图；区域建议网络，与所述主干网络连接，用于根据所述特征图生成若干个初始建议框以及每一所述初始建议框的类别置信度；筛选网络，与所述区域建议网络连接；且所述筛选网络采用Adaptive NMS算法对所有所述初始建议框进行筛选，以得到最终建议框；以及兴趣区域匹配网络，分别与所述主干网络和所述筛选网络连接，用于将所述最终建议框映射至所述特征图上，以得到绝缘子的识别结果；且所述绝缘子的识别结果包括绝缘子的类别、框坐标和掩码。
可以理解的是，在一些其他的实施例中，所述主干网络包括：深度残差网络和SE模块；所述深度残差网络包括残差模块和Addition模块；所述残差模块与所述SE模块连接，用于从输入的图像中提取特征数据并输出至所述SE模块；所述SE模块分别与所述残差模块和所述Addition模块连接，用于对所述残差模块输出的特征数据进行权重重标定；所述Addition模块分别与所述SE模块和所述区域建议网络连接，用于根据输入的图像和权重重标定后的特征数据生成所述特征图并输出至所述区域建议网络。
在一些实施例中，所述SE模块包括：压缩单元，与所述残差模块连接，用于对所述残差模块输出的特征数据进行全局池化；激发单元，与所述压缩单元连接，用于获取全局池化后的特征数据中特征通道的权重；以及加权单元，分别与所述残差模块、所述激发单元和所述Addition模块连接，用于将获取的特征通道的权重加权到所述残差模块输出的特征数据上，以对所述残差模块输出的特征数据进行权重重标定。
具体的，所述主干网络中的深度残差网络ResNet使用了跨层连接，能够训练更加深层的网络，使得训练更加容易；在深度残差网络ResNet中增加SE模块，则可以对深度残差网络ResNet进行改进并真正有效地增加网络层数，即无论原网络层数有多深，通过添加SE模块都能增加相当数量的深度并有效提高训练效果。此外，所述SE模块通过特征加权的方式学习特征通道的重要程度，可以提升对绝缘子分割有效特征的权重，抑制其它不重要的特征，从而增强所述绝缘子识别模型的特征提取能力。更具体的，所述SE模块在网络进行训练时学习得到不同特征通道的重要程度，再根据不同的重要程度进行特征通道权重的设置；对后续任务有促进效果的特征通道设置的权重大，而对后续任务无用或者效果不好的特征通道设置较小的权重，从而使有效的特征得到加强，使那些作用有限的特征得到抑制，但本发明不以此为限。
在本实施例中，所述样本图像或所述待识别图像输入至所述主干网络后，首先会经过所述深度残差网络ResNet的所述残差模块(Residual模块)，以完成对输入的图像有效特征的提取并得到特征数据；所述残差模块提取到特征数据后则分别输出至所述SE模块的所述压缩单元和所述加权单元。所述压缩单元包括全局平均池化层，且所述全局平均池化层可以对所述残差模块输出的特征数据进行全局池化(global average pooling)即顺着空间维度进行压缩(Squeeze)，以将所述残差模块输出的特征数据转换成一个低维向量来获取全局感受野的信息。所述激发单元包括依次连接的第一全连接层、ReLU激活函数层、第二全连接层和Sigmiod激活函数层；所述第一全连接层还与所述全局平均池化层连接，用于对所述全局平均池化层输出的特征数据即全局池化后的特征数据的特征通道按照预设比例进行压缩；所述ReLU激活函数层则对所述第一全连接层输出的特征数据进行激活；所述第二全连接层可以将所述ReLU激活函数层输出的特征数据的特征通道恢复到原来数量，即所述第二全连接层输出的特征数据的特征通道数量与所述全局平均池化层输出的特征数据的特征通道数量相同；所述Sigmiod激活函数层则可以将所述第二全连接层输出的特征数据的特征通道权重归一化为0到1之间的概率值，以代表经过特征选择后每个特征通道的重要性。所述加权单元可以分别与所述残差模块和所述Sigmiod激活函数层连接，以将特征通道的权重按通道点乘叠加到原始特征数据即所述残差模块输出的特征数据上，从而在所述Addition模块前完成对所述残差模块输出的特征数据进行权重重标定，进而使得所述Addition模块生成的所述特征图上的有效特征被加强。此外，所述SE模块中使用两个全连接层即所述第一全连接层和所述第二全连接层可以进行多次非线性映射，以更好地表达各特征通道的相关性和依赖性，同时还可以减少网络模型计算量。
请继续参考图3，所述压缩单元采用如下公式对所述残差模块输出的特征数据进行全局池化：
Figure BDA0003543505600000091
其中，zc表示全局池化后的第c个特征数据；uc表示对所述残差模块输出的第c个特征数据；H和W分别表示所述残差模块输出的第c个特征数据的高和宽；i和j分别表示所述残差模块输出的第c个特征数据的行像素点坐标和列像素点坐标；且uc为图像素数据二维矩阵。
所述激发单元采用如下公式获取全局池化后的特征数据中特征通道的权重：
sc＝σ(D2δ(D1zc)) (2)
其中，sc表示全局池化后的第c个特征数据中特征通道的权重；D1表示第一学习参数，且D1的维度是C/r×C，r为缩放参数，默认值为16，其目的是为了减少通道个数从而降低计算量；δ表示ReLU激活函数；D2表示第二学习参数，且D1的维度是C×C/r；σ表示Sigmoid激活函数；C为特征通道数量；
所述加权单元采用如下公式将获取的特征通道的权重加权到所述残差模块输出的特征数据上：
Figure BDA0003543505600000092
其中，
Figure BDA0003543505600000093
表示权重重标定后的第c个特征数据。
具体的，在本实施例中，通过公式(1)可以将H×W×C的输入特征数据压缩为1×1×C的输出；通过缩放参数r可以减少特征通道个数，从而降低计算量；D1zc作为第一全连接层输出的第c个特征数据，其维度是1×1×C/r；D2δ(D1zc)作为第二全连接层输出的第c个特征数据，其维度是1×1×C。从公式(2)可以看出，所述激发单元获取全局池化后的特征数据中特征通道权重的操作，采用类似循环神经网络中门的机制；通过学习参数D1和D2来为每个特征通道生成权重，即学习参数D1和D2被用来学习特征通道间的相关性。
请继续参考图2，在本实施例中，所述主干网络生成的所述特征图输入至所述区域建议网络RPN后，所述区域建议网络RPN可以通过卷积网络对所述特征图进行滑动卷积，生成无类别的初始建议框(即有编号有坐标的bbox)；同时所述区域建议网络RPN还可以对每一所述初始建议框进行前景和背景的分类打分，以得到每一所述初始建议框的类别置信度。更具体的，由于所述区域建议网络RPN生成的所述初始建议框的数量较多，且所述初始建议框之间可能会有重叠，若将所述初始建议框全部输入到后续的网络层中会造成同一个目标被多次检测，产生不必要的时间和计算量损耗，因此需要所述筛选网络对所述初始建议框进行进一步的筛选，并得到满足条件的所述最终建议框。相较于传统的NMS算法而言，所述筛选网络采用Adaptive NMS算法对所述初始建议框进行筛选，能够消除类别置信度较低的冗余初始建议框，从而更加精准地识别所述绝缘子的位置，有利于后续的图像分割，进而缓解绝缘子所处遮挡导致的实例对象重叠和漏检问题，提高图像实例分割的精度，但本发明不以此为限。
请继续参考图2，所述筛选网络采用Adaptive NMS算法对所有所述初始建议框进行筛选的步骤包括：步骤S210、将所有所述初始建议框构成初始建议框集合B；步骤S220、对初始建议框集合中所有所述初始建议框按照类别置信度从大到小进行排序；步骤S230、根据每个标注绝缘子目标真值框的稠密程度及初始阈值计算筛选阈值；步骤S240、从初始建议框集合中选取类别置信度最高的初始建议框作为最终建议框并移入到最终建议框集合中；步骤S250、计算初始建议框集合B中类别置信度最高的初始建议框和其他初始建议框之间的交并比，并根据所述筛选阈值更新其他初始建议框的类别置信度；步骤S260、对初始建议框集合B中更新后类别置信度高于预设置信度的初始建议框进行保留；步骤S270、循环执行步骤S220至步骤S260，直到初始建议框集合B中没有初始建议框，此时最终建议框集合T中则包含若干个最终建议框。
可以理解的是，在一些其他的实施例中，筛选阈值通过以下公式进行计算：
NM＝max(Nt,pM) (4)
其中，NM表示筛选阈值；Nt为初始阈值，一般取值为0.5；PM表示初始建议框集合中类别置信度最大的初始建议框M的稠密程度；
稠密程度通过以下公式进行计算：
Figure BDA0003543505600000111
其中，G表示标注绝缘子目标真值框的集合；qd表示集合G第d个真值框坐标向量；qe表示集合G第e个真值框坐标向量；iou表示交并比；
其他初始建议框的类别置信度通过以下公式进行更新：
Figure BDA0003543505600000112
其中，Sk′表示初始建议框集合中除类别置信度最大的初始建议框M外的第k个初始建议框hk更新后的类别置信度；Sk表示表示初始建议框hk的类别置信度；f表示衰减函数。
请继续参考图2，所述筛选网络得到的所述最终建议框输入至所述兴趣区域匹配网络(RoI Align，Region of Interest Align)后，所述兴趣区域匹配网络可以将每一所述最终建议框映射至所述特征图上，以得到对应的兴趣区域ROI；同时所述兴趣区域匹配网络可以为每个兴趣区域ROI生成三个分支，即分类分支、回归分支和掩码分支；其中所述分类分支用于输出ROI中绝缘子的类别(即是绝缘子或不是绝缘子)，所述回归分支用于输出ROI中绝缘子的框坐标，所述掩码分支用于输出ROI中所述绝缘子的掩码，且三个分支的输出整合后即为绝缘子的识别结果。优选地，所述分类分支、所述回归分支和所述掩码分支皆为卷积网络。所述掩码分支取ROI分类器选择的正区域(即对比掩码真值数据后，预测结果等于真值的区域)为输入，并生成它们的掩码；所述掩码是低分辨率的且由浮点数表示的软掩码，相对于二进制掩码有更多的细节，有助于保持掩码分支的轻量性，但本发明不以此为限。
在本实施例中，所述兴趣区域匹配网络RoI Align是一种区域特征聚集方式,很好地解决了ROI Pooling操作中两次量化造成的区域不匹配(mis-alignment)的问题；所述兴趣区域匹配网络RoI Align使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值,从而将整个特征聚集过程转化为一个连续的操作。
请继续参考图1，所述步骤S120包括：将所述样本图像输入所述改进的Mask-RCNN网络，以得到所述样本图像中所述绝缘子的识别结果；根据所述样本图像中所述绝缘子的识别结果和所述样本图像对应的标记数据计算损失函数值；且所述损失函数值满足预设要求时对应的模型为所述绝缘子识别模型。
具体的，在本实施例中，在根据所述训练集和所述改进的Mask-RCNN网络构建所述绝缘子识别模型时，可以进行多次训练，以寻找模型的最优损失函数点(通常来说训练过程中损失值降至0.01以下且损失函数曲线较平滑的收敛时的损失最低点即为最优损失函数点)，且最优损失函数点对应的模型即作为所述绝缘子识别模型。
损失函数值采用如下公式进行计算：
L＝Lcls+Lbox+Lmask (7)
其中，L表示训练模型的损失函数值；Lcls和Lbox分别表示训练模型的分类损失和回归框损失，且这两个损失与传统的Faster-RCNN模型一致，对比预测结果与标定真值结果的差值量；Lmask为掩码的回归损失，对于每一个像素使用二值的sigmoid交叉熵损失。
Lcls采用如下公式进行计算：
Figure BDA0003543505600000121
其中，pn为训练模型预测目标框的概率，p* n为标注预测目标框的概率。
Lbox采用如下公式进行计算：
Figure BDA0003543505600000122
其中，λ为预设的学习率(取值为0.01～0.001)；Nbox为预测框位置数量；p* n为标注预测目标框的概率，在此处表示二分类是否有物体，有为1，无为0；t* n为四点向量，表示标定真值框的坐标；tn表示预测框的坐标向量。
Lmask采用如下公式进行计算：
Figure BDA0003543505600000131
其中，m2表示掩码可能出现的位置总的像素面积，yab表示对第a行、第b列像素的mask真值，y* ab表示对第a行、第b列像素的mask预测值。
优选地，构建所述绝缘子识别模型过程中，可以将标注数据中真实的掩码缩小来计算损失函数值，同时保存所有训练参数和过程。
具体的，在本实施例中，所述步骤S130中，在采用所述绝缘子识别模型对所述待识别图像中的绝缘子进行识别时，则可以将预测的掩码放大为ROI边框的尺寸以给出最终的掩码结果。在一些实施例中，还可以对生成的掩码赋予颜色，以便在所述目标识别结果上将掩码可视化。优选地，所述待识别图像可以由配网带电作业机器人拍摄，但本发明不以此为限。
综上所述，本实施例提供一种绝缘子识别方法，通过若干张绝缘子的样本图像可以获取训练集，基于训练集和改进的Mask-RCNN网络可以构建绝缘子识别模型，利用绝缘子模型可以对待识别图像中的绝缘子进行识别。其中，改进的Mask-RCNN网络作为实例分割算法，可以对待识别图像中单个绝缘子个体进行精准识别和分割，从而实现对绝缘子的精准监测，进而提高配网带电作业机器人作业效率及成功率。本实施例中改进的Mask-RCNN网络的主干网络包括深度残差网络和SE模块；深度残差网络使用跨层连接，能够训练更加深层的网络，使得训练更加容易；在深度残差网络中增加SE模块，则可以对深度残差网络增加相当数量的深度并有效提高训练效果。同时，SE模块通过特征加权的方式学习特征通道的重要程度，可以提升对绝缘子分割有效特征的权重，抑制其它不重要的特征，从而增强绝缘子识别模型的特征提取能力。筛选网络采用Adaptive NMS算法对初始建议框进行筛选，相较于传统的NMS算法而言，能够消除类别置信度较低的冗余初始建议框，从而更加精准地识别所述绝缘子的位置，有利于后续的图像分割，进而缓解绝缘子所处遮挡导致的实例对象重叠和漏检问题，提高图像实例分割的精度。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (10)

1.一种绝缘子识别方法，其特征在于，包括：
采集若干张绝缘子的样本图像，以获取训练集；
根据所述训练集和改进的Mask-RCNN网络构建绝缘子识别模型；以及
获取待识别图像，并采用所述绝缘子识别模型对所述待识别图像中的绝缘子进行识别。
2.如权利要求1所述的绝缘子识别方法，其特征在于，所述获取所述训练集的步骤包括：对每一所述样本图像中绝缘子的边框进行手动标注，以得到对应的标记数据；且所有所述样本图像及对应的标记数据构成所述训练集。
3.如权利要求1所述的绝缘子识别方法，其特征在于，执行所述根据所述训练集和改进的Mask-RCNN网络构建绝缘子识别模型步骤之前还包括：搭建所述改进的Mask-RCNN网络；且所述改进的Mask-RCNN网络包括：
主干网络，用于对输入的图像进行特征提取，以生成特征图；
区域建议网络，与所述主干网络连接，用于根据所述特征图生成若干个初始建议框以及每一所述初始建议框的类别置信度；
筛选网络，与所述区域建议网络连接；且所述筛选网络采用Adaptive NMS算法对所有所述初始建议框进行筛选，以得到最终建议框；以及
兴趣区域匹配网络，分别与所述主干网络和所述筛选网络连接，用于将所述最终建议框映射至所述特征图上，以得到绝缘子的识别结果。
4.如权利要求3所述的绝缘子识别方法，其特征在于，所述绝缘子的识别结果包括绝缘子的类别、框坐标和掩码。
5.如权利要求3所述的绝缘子识别方法，其特征在于，所述主干网络包括：深度残差网络和SE模块；所述深度残差网络包括残差模块和Addition模块；
所述残差模块与所述SE模块连接，用于从输入的图像中提取特征数据并输出至所述SE模块；
所述SE模块分别与所述残差模块和所述Addition模块连接，用于对所述残差模块输出的特征数据进行权重重标定；
所述Addition模块分别与所述SE模块和所述区域建议网络连接，用于根据输入的图像和权重重标定后的特征数据生成所述特征图并输出至所述区域建议网络。
6.如权利要求5所述的绝缘子识别方法，其特征在于，所述SE模块包括：
压缩单元，与所述残差模块连接，用于对所述残差模块输出的特征数据进行全局池化；
激发单元，与所述压缩单元连接，用于获取全局池化后的特征数据中特征通道的权重；以及
加权单元，分别与所述残差模块、所述激发单元和所述Addition模块连接，用于将获取的特征通道的权重加权到所述残差模块输出的特征数据上，以对所述残差模块输出的特征数据进行权重重标定。
7.如权利要求6所述的绝缘子识别方法，其特征在于，
所述压缩单元采用如下公式对所述残差模块输出的特征数据进行全局池化：
Figure FDA0003543505590000021
其中，zc表示全局池化后的第c个特征数据；uc表示对所述残差模块输出的第c个特征数据；H和W分别表示所述残差模块输出的第c个特征数据的高和宽；i和j分别表示所述残差模块输出的第c个特征数据的行像素点坐标和列像素点坐标；
所述激发单元采用如下公式获取全局池化后的特征数据中特征通道的权重：
sc＝σ(D2δ(D1zc))
其中，sc表示全局池化后的第c个特征数据中特征通道的权重；D1表示第一学习参数；δ表示ReLU激活函数；D2表示第二学习参数；σ表示Sigmoid激活函数；
所述加权单元采用如下公式将获取的特征通道的权重加权到所述残差模块输出的特征数据上：
Figure FDA0003543505590000031
其中，
Figure FDA0003543505590000032
表示权重重标定后的第c个特征数据。
8.如权利要求3所述的绝缘子识别方法，其特征在于，所述筛选网络采用Adaptive NMS算法对所有所述初始建议框进行筛选的步骤包括：
步骤S210、将所有所述初始建议框构成初始建议框集合；
步骤S220、对初始建议框集合中所有所述初始建议框按照类别置信度从大到小进行排序；
步骤S230、计算筛选阈值；
步骤S240、从初始建议框集合中选取类别置信度最高的初始建议框作为最终建议框并移入到最终建议框集合中；
步骤S250、计算初始建议框集合中类别置信度最高的初始建议框和其他初始建议框之间的交并比，并根据所述筛选阈值更新其他初始建议框的类别置信度；
步骤S260、对初始建议框集合中更新后类别置信度高于预设置信度的初始建议框进行保留；
步骤S270、循环执行步骤S220至步骤S260，直到初始建议框集合中没有初始建议框。
9.如权利要求8所述的绝缘子识别方法，其特征在于，
筛选阈值通过以下公式进行计算：
NM＝max(Nt,pM)
其中，NM表示筛选阈值；Nt表示初始阈值；PM表示初始建议框集合中类别置信度最大的初始建议框M的稠密程度；
稠密程度通过以下公式进行计算：
Figure FDA0003543505590000033
其中，G表示绝缘子目标真值框的集合；qd表示集合G第d个真值框坐标向量；qe表示集合G第e个真值框坐标向量；iou表示交并比；
其他初始建议框的类别置信度通过以下公式进行更新：
Figure FDA0003543505590000041
其中，Sk′表示初始建议框集合中除类别置信度最大的初始建议框M外的第k个初始建议框hk更新后的类别置信度；Sk表示表示初始建议框hk的类别置信度；f表示衰减函数。
10.如权利要求2所述的绝缘子识别方法，其特征在于，所述根据所述训练集和改进的Mask-RCNN网络构建绝缘子识别模型的步骤包括：
将所述样本图像输入所述改进的Mask-RCNN网络，以得到所述样本图像中所述绝缘子的识别结果；
根据所述样本图像中所述绝缘子的识别结果和所述样本图像对应的标记数据计算损失函数值；且所述损失函数值满足预设要求时对应的模型为所述绝缘子识别模型。
CN202210238969.7A 2022-03-11 2022-03-11 一种绝缘子识别方法 Pending CN114596433A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210238969.7A CN114596433A (zh) 2022-03-11 2022-03-11 一种绝缘子识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210238969.7A CN114596433A (zh) 2022-03-11 2022-03-11 一种绝缘子识别方法

Publications (1)

Publication Number Publication Date
CN114596433A true CN114596433A (zh) 2022-06-07

Family

ID=81809448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210238969.7A Pending CN114596433A (zh) 2022-03-11 2022-03-11 一种绝缘子识别方法

Country Status (1)

Country Link
CN (1) CN114596433A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187881A (zh) * 2022-09-08 2022-10-14 国网江西省电力有限公司电力科学研究院 电力设备铭牌识别及台区合规性自动校核系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187881A (zh) * 2022-09-08 2022-10-14 国网江西省电力有限公司电力科学研究院 电力设备铭牌识别及台区合规性自动校核系统及方法

Similar Documents

Publication Publication Date Title
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN110287960B (zh) 自然场景图像中曲线文字的检测识别方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN107766894B (zh) 基于注意力机制和深度学习的遥感图像自然语言生成方法
CN111709909B (zh) 基于深度学习的通用印刷缺陷检测方法及其模型
CN109215034B (zh) 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法
CN112966691A (zh) 基于语义分割的多尺度文本检测方法、装置及电子设备
CN112861970B (zh) 一种基于特征融合的细粒度图像分类方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN113378792B (zh) 融合全局和局部信息的弱监督宫颈细胞图像分析方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN116612098B (zh) 一种基于图像处理的绝缘子rtv喷涂质量评价方法和装置
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN113378812A (zh) 一种基于Mask R-CNN和CRNN的数字表盘识别方法
CN115457327A (zh) 基于视觉的烤后烟烟叶部位分类方法、装置及电子设备
CN116030361A (zh) 一种基于cim-t架构的高分辨率影像变化检测方法
CN114596433A (zh) 一种绝缘子识别方法
CN114494786A (zh) 一种基于多层协调卷积神经网络的细粒度图像分类方法
CN117522891A (zh) 一种3d医学图像分割系统及方法
CN111967526A (zh) 基于边缘映射和深度学习的遥感图像变化检测方法及系统
CN116519710A (zh) 一种用于复合绝缘子表面污秽状态的检测方法及系统
CN116543338A (zh) 一种基于注视目标估计的学生课堂行为检测方法
CN115830302A (zh) 一种多尺度特征提取融合配电网设备定位识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination