CN112396582A - 一种基于Mask RCNN的均压环歪斜检测方法 - Google Patents

一种基于Mask RCNN的均压环歪斜检测方法 Download PDF

Info

Publication number
CN112396582A
CN112396582A CN202011281653.3A CN202011281653A CN112396582A CN 112396582 A CN112396582 A CN 112396582A CN 202011281653 A CN202011281653 A CN 202011281653A CN 112396582 A CN112396582 A CN 112396582A
Authority
CN
China
Prior art keywords
convolution
layer
network
convolutional
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011281653.3A
Other languages
English (en)
Other versions
CN112396582B (zh
Inventor
焦良葆
浦东
陈乐�
陈瑞
孔小红
曹雪虹
刘国峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Glens Sciences And Technology Co ltd
Nanjing Institute of Technology
Original Assignee
Jiangsu Glens Sciences And Technology Co ltd
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Glens Sciences And Technology Co ltd, Nanjing Institute of Technology filed Critical Jiangsu Glens Sciences And Technology Co ltd
Priority to CN202011281653.3A priority Critical patent/CN112396582B/zh
Publication of CN112396582A publication Critical patent/CN112396582A/zh
Application granted granted Critical
Publication of CN112396582B publication Critical patent/CN112396582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Mask RCNN的均压环歪斜检测方法，包括如下步骤：建立并训练改进的Mask RCNN检测网络；将原始图像输入训练好的网络中，输出均压环与绝缘子串的掩膜，并对原始图像进行裁剪得到局部图像；采用霍夫变换方法对局部图像进行矫正；在矫正后的图像中找出均压环两侧点；计算均压环两侧的点的斜率与水平面斜率之间的关系，通过两个斜率之间的差值判断均压环的状态。本发明通过改进Mask RCNN网络，提高了检测识别的速度，同时对检测出的绝缘子串与均压环设计一种歪斜判断算法，分析均压环的状态，为其他电力部件的巡检提供借鉴。

Description

一种基于Mask RCNN的均压环歪斜检测方法
技术领域
本发明属于计算机视觉技术领域，特别涉及一种基于Mask RCNN的均压环歪斜检测方法。
背景技术
复合绝缘子均压环虽然结构简单，但有极其重要的作用，必须严格重视均压环的设置、安装、运行维护问题。在实际施工中，均压环经常出现装反、安装歪斜、螺栓紧固不够、罩入距不够等问题；同时在施工中，由于圆环型铝制均压环较为柔软，容易发生变形，加之安装时野蛮施工导致均压环歪斜严重，甚至变形损坏，这些情况极大地影响均压环中复合绝缘子的电场分布，使均压环不能发挥应有的作用。而均压环作为输电线路的重要组成部件，保证其安装正确是保障电力系统安全运行的重要举措。
目前我国的均压环巡检以人工方式为主，无人机航拍图像分析为辅。采用传统的数字图像处理进行均压环边缘检测和局部形状轮廓匹配时，需要人工设计特征，针对环境设定算法参数，导致检测准确率低、算法适用性不强且无法实现对均压环的定位。随着深度学习理论的日益成熟，卷积神经网络具有较强的特征学习能力和复杂场景处理能力，在目标检测领域得到了广泛应用，通过特征提取网络，它拥有更强的特征提取能力，通过对大量数据的学习，得到泛化性的网络模型，相比传统网络，识别准确率将大幅提升。通过深度学习的方法实现对均压环的检测将有效推动输电线巡检智能化，为其他电力部件的巡检提供借鉴。
发明内容
发明目的：针对现有技术中对均压环部件进行特征提取没有泛化性的问题，本发明公开了一种基于Mask RCNN的均压环歪斜检测方法，通过改进Mask RCNN网络的特征提取网络，在训练测试图片时，保证精度基本不变的情况，速度有一定的提升，同时对检测出的绝缘子串与均压环设计一种歪斜判断算法，分析均压环的状态。
技术方案：本发明采用如下技术方案：
一种基于Mask RCNN的均压环歪斜检测方法，其特征在于，包括如下步骤：
S1、建立并训练改进的Mask RCNN检测网络，用于对输入图像中的均压环和绝缘子串进行检测和实例分割；
S2、将原始图像输入训练好的Mask RCNN检测网络中，输出均压环与绝缘子串的掩膜，并对原始图像中具有掩膜部分的图像进行裁剪，得到至少一个均压环与绝缘子串的局部图像；
S3、采用霍夫变换方法对局部图像进行矫正得到矫正图像，使得矫正图像中绝缘子串的位置是竖直的；
S4、在矫正图像中找出均压环两侧的点；
S5、分别计算均压环两侧的点的斜率，若该斜率与水平面斜率之间的差值小于预设值，则均压环位置正常；若该斜率与水平面斜率之间的差值大于或等于预设值，则均压环位置歪斜。
优选地，步骤S1中，通过改进特征提取网络Resnet50得到改进的Mask RCNN检测网络，改进后的特征提取网络包括依次连接的5层卷积网络，其中：
第一层卷积网络包括依次相连的2个卷积层和1个激活函数层，卷积核的个数为64，每个卷积核的大小为7×7，卷积时的步长为2，第二个卷积层的输出连接到激活函数层；
第二层卷积网络包括依次连接的1层最大值池化层和3个卷积块，每个卷积块中包括1层卷积层和分别设于卷积层前后的2层网络层，其中，最大值池化层中，池化核的大小为3×3，步长为2；卷积层中，卷积核的个数为64，每个卷积核的大小为3×3；设于卷积层前的网络层中，卷积核的个数为64，每个卷积核的大小为1×1；设于卷积层后的网络层中，卷积核的个数为256，每个卷积核的大小为1×1；
第三层卷积网络包括依次连接的3个卷积块，每个卷积块中包括1层卷积层和分别设于卷积层前后的2层网络层，其中，卷积层中，卷积核的个数为128，每个卷积核的大小为3×3；设于卷积层前的网络层中，卷积核的个数为128，每个卷积核的大小为1×1；设于卷积层后的网络层中，卷积核的个数为512，每个卷积核的大小为1×1；
第四层卷积网络包括依次连接的3个卷积块，每个卷积块中包括1层卷积层和分别设于卷积层前后的2层网络层，其中，卷积层中，卷积核的个数为256，每个卷积核的大小为3×3；设于卷积层前的网络层中，卷积核的个数为256，每个卷积核的大小为1×1；设于卷积层后的网络层中，卷积核的个数为1024，每个卷积核的大小为1×1；
第五层卷积网络包括依次连接的3个卷积块、全局平均池化层、全连接层、Dropout层和Sigmoid函数，每个卷积块中包括1层卷积层和分别设于卷积层前后的2层网络层，其中，卷积层中，卷积核的个数为512，每个卷积核的大小为3×3；设于卷积层前的网络层中，卷积核的个数为512，每个卷积核的大小为1×1；设于卷积层后的网络层中，卷积核的个数为2048，每个卷积核的大小为1×1。
优选地，步骤S4中，将矫正图像二值化，用RGB为0表示背景，RGB为1表示前景，此时将矫正图像看作是一个元素只有0和1的二维矩阵；
在矫正图像中截取均压环部分的图像，在均压环部分的图像中分别将每一列元素相加，找出所有非零的像素列；
找出最靠近左右边缘的两个像素列，在每个像素列上，若只存在1个元素为1的点，即将该点作为目标点；若存在1个以上元素为1的点，即将这些元素为1的点的坐标取平均值得到目标点的坐标，在两个像素列上分别得到一个目标点，即为均压环两侧的点。
优选地，步骤S5中，假设均压环两侧的点的斜率为k1，水平面的斜率为0，则
Figure BDA0002781007090000031
优选地，步骤S1中，Mask RCNN检测网络训练过程如下：
S11、获取数据集：将不同的输电线路照片作为自制数据集，并按比例将自制数据集分为训练集、验证集和测试集；
S12、制作数据集：将自制数据集进行统一重命名、标注和转化为统一格式，生成属于该自制数据集的图片集和标签集，其中，在自制数据集的每个图片样本中标注包括均压环与绝缘子串；
S13、建立模型：建立改进的Mask RCNN检测网络，输出图片样本中均压环与绝缘子串的类别、位置框和对应的掩膜；
S14、训练模型：将属于训练集和验证集的图片集和标签集输入到Mask RCNN检测网络中，对Mask RCNN检测网络进行训练；
S15、测试模型：将属于测试集的图片集输入到训练好的Mask RCNN检测网络中，输出分割好的均压环与绝缘子串的类别、位置框和掩膜。
优选地，步骤S11中，将自制数据集按照7：1的比例分成训练集和测试集，并随机从测试集中抽取50％的样本作为验证集。
优选地，步骤S12包括：
统一重命名：对自制数据集中的图片样本按照顺序排号，在图片样本顺序号前面补0至预设位数；
标注：使用图像标注工具Labelme对自制数据集的图片样本进行标注，标注均压环与绝缘子串，文件后缀名为“json”；
转化为统一格式：利用bat脚本文件对json文件进行解析，生成属于该自制数据集的图片集和标签集。
有益效果：本发明具有如下有益效果：
本发明通过改进Mask RCNN网络的特征提取网络，针对绝缘子串与均压环设计了一种轻量化的特征提取网络，能够减少原网络冗余的参数，减少计算量，在训练和测试图片样本时，保证精度基本不变的情况，速度有一定的提升；同时对检测出的绝缘子串与均压环设计一种歪斜判断算法，通过判断均压环相对于绝缘子的位置，分析均压环的状态，为其他电力部件的巡检提供借鉴。
附图说明
图1为本发明所述特征提取网络改进前后对比结构图；
图2为本发明所述Mask RCNN检测网络的结构图；
图3为本发明所述Labelme软件标注图；
图4为本发明所述Mask RCNN检测网络的检测结果；
图5为本发明所述的判断均压环状态的流程图；
图6为本发明所述图像像素判断器；
图7为本发明所述图像处理表；
图8为本发明所述网络与原网络速度精度前后对比。
具体实施方式
下面结合附图对本发明作更进一步的说明。
本发明公开了一种基于Mask RCNN的均压环歪斜检测方法，包括如下步骤：
步骤一、获取数据集：对自制数据集进行分类，将其分为训练集、验证集和测试集。
1.1、本发明通过无人机拍摄获取来自于不同地区的输电线路照片，由于无人机飞行状态不同，因此照片基本覆盖了输电线路的不同角度的全貌，将这些输电线路照片作为自制数据集；
1.2、本发明将自制数据集按照7：1的比例分成训练集和测试集两部分，并随机从测试集中抽取50％的样本作为验证集，抽出的验证集仍然为测试集的一部分。
步骤二、制作数据集：将数据集进行统一重命名，用图像标注工具Labelme进行标注后转化为统一格式。
2.1、首先对自制数据集进行统一命名：通过程序对自制数据集中的图片样本按照顺序排号，名字命名规则为六位数字，在图片样本顺序号前面补0，例如第一张图片样本的名字为000001，第201张图片样本的名字为000201；
2.2、如图3所示，使用图像标注工具Labelme对自制数据集的图片样本进行标注：标注均压环与绝缘子串，用gridcell表示，文件后缀名为“json”；
利用bat脚本文件对json文件进行解析，生成图片集和标签集。
步骤三、建立模型：建立Mask RCNN检测网络，通过对原有的特征提取网络进行改进，针对原网络对80类对象的提取，简化Mask RCNN检测网络结构，本发明仅在均压环绝缘子串上进行训练测试，最终将分割出绝缘子串与均压环。
3.1、以Mask RCNN检测网络为基础，通过改进的Mask RCNN检测网络的特征提取网络Resnet50，简化了网络结构，对均压环绝缘子串进行检测。
本发明设置了如图1所示的改进的特征提取网络。具体地，若输入图像的大小为454×454，采用包括如下依次连接的5层卷积网络的特征提取网络Tiny Resnet50。
在第一层卷积网络中包括依次相连的2个卷积层，卷积核的个数为64，每个卷积核的大小为7×7，卷积时的步长为2。第一层卷积网络中第二个卷积层的输出连接到一个激活函数层，本文采用ReLU激活函数。第一层卷积网络输出大小为112×112的特征图C1。
在第二层卷积网络中包括依次连接的1层最大值池化层和3个卷积块。最大值池化层中，每个池化核的大小为3×3，步长为2。卷积块中包括1层卷积层和分别设于卷积层前后的2层网络层，卷积层中，卷积核的个数为64，每个卷积核的大小为3×3；设于卷积层前的网络层中,卷积核的个数为64，每个卷积核的大小为1×1；设于卷积层后的网络层中，卷积核的个数为256，每个卷积核的大小为1×1。第二层卷积网络输出大小为56×56的特征图C2。
在第三层卷积网络中包括依次连接的3个卷积块，卷积块中包括1层卷积层和分别设于卷积层前后的2层网络层。卷积层中，卷积核的个数相对于第二层卷积网络翻一倍，即卷积核的个数为128，每个卷积核的大小为3×3；设于卷积层前的网络层中，卷积核的个数为128，每个卷积核的大小为1×1；设于卷积层后的网络层中，卷积核的个数为512，每个卷积核的大小为1×1。第三层卷积网络输出大小为28×28的特征图C3。
在第四层卷积网络中包括依次连接的3个卷积块，卷积块中包括1层卷积层和分别设于卷积层前后的2层网络层。卷积层中，卷积核的个数相对于第三层卷积网络翻一倍，即卷积核的个数为256，每个卷积核的大小为3×3；设于卷积层前的网络层中，卷积核的个数为256，每个卷积核的大小为1×1；设于卷积层后的网络层中，卷积核的个数为1024，每个卷积核的大小为1×1。在第四层卷积网络输出大小为14×14的特征图C4。
在第五层卷积网络中分为两层，第一层的输出作为第二层的输入，其中第一层包括依次连接的3个卷积块，卷积块中包括1层卷积层和分别设于卷积层前后的2层网络层：卷积层中，卷积核的个数相对于第四层卷积网络翻一倍，即卷积核的个数为512，每个卷积核的大小为3×3；设于卷积层前的网络层中，卷积核的个数为512，每个卷积核的大小为1×1；设于卷积层后的网络层中，卷积核的个数为2048，每个卷积核的大小为1×1，第一层的输出为大小为7×7的特征图C5。第二层包括依次连接的全局平均池化层、全连接层和Dropout层，Dropout层中的激活函数仍然是ReLU函数，在Dropout层后还连接上一个Sigmoid函数，用于分类任务。
3.2、将特征提取网络提取的特征输入给特征图像金字塔网络(FPN)，如图2所示，将每一层高低特征进行融合，即图中P2、P3、P4、P5和P6，它们用于区域生成网络(RPN)提取信息。RPN为每个锚框(anchor)生成两个输出：1、前景或者背景；2、边框精调。从中挑选出包含目标的anchor并对位置尺寸进行精调产生区域提案(region proposal)，采用极大值抑制的方法，获取目标区域ROI。由于目标区域ROI大小不一，需要采用ROI Align进行池化来将其调整为固定尺寸。
其中，特征图C5通过1×1卷积得到特征图P5，特征图P5通过上采样得到特征图P6；
特征图P5通过上采样后的特征图与特征图C4通过1×1卷积后的特征图相加后得到特征图P4；
特征图P4通过上采样后的特征图与特征图C4通过1×1卷积后的特征图相加后得到特征图P3；
特征图P3通过上采样后的特征图与特征图C3通过1×1卷积后的特征图相加后得到特征图P2。
特征图P2、特征图P3、特征图P4、特征图P5分别通过3×3卷积后，与特征图P6一起输入RPN网络，分别输出绝缘子串与均压环的目标区域。
3.3、输出包括两部分Classifier分支和Mask分支，Classifier分支包括了分类(classes)和目标边界框(bounding boxes)，该部分利用了之前检测到的目标区域ROI进行分类和回归(分别对每一个目标区域ROI进行)。Mask部分进行语义分割，因为每个目标区域ROI只对应一个物体，进行语义分割，相当于实现了实例分割，即先分类再分割，最终输出的便是分割好的绝缘子串与均压环实例了，检测结果如图4所示。
步骤四、训练模型：将训练集和验证集的数据，包括图片样本及其对应的标签，输入到Mask RCNN检测网络中，对Mask RCNN检测网络进行训练，迭代过程约为2000次。
步骤五、测试模型：将测试集的数据输入到训练好的Mask RCNN检测网络中，输出检测结果。
5.1、将测试集的图片样本输入已经训练好的Mask RCNN检测网络，进行检测；
5.2、Mask RCNN检测网络检测完成后，分割出均压环与绝缘子串。
如图8所示，将本发明中改进的Mask RCNN网络与原有的Mask RCNN对比，原有的Mask RCNN网络精度为94.32％，平均运行时间为4.26fps(每秒传输帧数)，改进的MaskRCNN网络精度为94.303％，平均运行时间为6.5fps，可以得到，在精度基本不变的情况，本发明中改进的Mask RCNN网络速度有一定的提升。
步骤六、图像处理：将Mask RCNN检测网络输出的结果进行图像处理，对均压环与绝缘子串进行状态判断，具体过程如图5所示。
6.1、输入原始图像，Mask RCNN检测网络对均压环和绝缘子串进行检测和实例分割后，对具有均压环和绝缘子串掩膜部分的图像进行裁剪，得到局部图像；
6.2、在航拍图像中由于无人机拍摄角度以及绝缘子串与均压环安装位置的不同，绝缘子串的位置不是总是竖直的，因此需要采用图像矫正方法对局部图像进行矫正，得到矫正图像。本发明采用霍夫变换的方法进行矫正。
6.3、将矫正图像二值化，分别用RGB为0和1表示背景和前景，此时可以将矫正图像看作是一个二维矩阵，矩阵中的元素只有0和1。设计一个判断器，判断器的原理如图6所示：
在矫正图像中截取均压环部分的图像，首先对图像中每一列元素相加，找出所有非零的像素列；
找出最靠近左右边缘的两个像素列，在每个像素列上，若只存在1个元素为1的点，即将该点作为目标点；若存在1个以上元素为1的点，即将这些元素为1的点的坐标取平均值得到目标点的坐标，由此可以在两个像素列上得到两个目标点，即为均压环两侧的点，其坐标分别标记为(x1,y1)和(x2,y2)。
6.4、计算均压环两侧的点的斜率，分析这两个点的斜率k1和绝缘子串薄片，即水平面是否近似平行，如果斜率相差太大那么说明均压环歪斜，需要进行检修。
步骤6.3中通过霍夫变换将绝缘子串垂直放置，因为在安装过程中大部分的绝缘子串相对于地面是垂直放置的，即每一个绝缘子薄片相对于地面是水平放置的(同一个绝缘子薄片边缘的两点组成的连线相对于地面来说是平行的)，因此可以通过霍夫变换后，将绝缘子薄片两端点的斜率看作是水平直线，如果安装正常的话，均压环的边缘两点间的斜率也应该为零，因此可以将均压环相对于水平地面的斜率看作是均压环相对于绝缘子薄片的斜率。在施工安装的过程中，要求绝缘子与均压环相对于地面的角度不超过7.5°，因此设定一个判别公式，若均压环两侧的点的斜率k1和水平面斜率为零的差值在该范围内，那么说明均压环位置正常，超出则说明均压环位置歪斜，判别式如下所示：
Figure BDA0002781007090000081
Figure BDA0002781007090000082
图7为按照本发明所述方法对均压环状态进行检测的处理表，从图中可以看出，本发明能够很好的对均压环状态正常或者歪斜进行判别。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于Mask RCNN的均压环歪斜检测方法，其特征在于，包括如下步骤：
S1、建立并训练改进的Mask RCNN检测网络，用于对输入图像中的均压环和绝缘子串进行检测和实例分割；
S2、将原始图像输入训练好的Mask RCNN检测网络中，输出均压环与绝缘子串的掩膜，并对原始图像中具有掩膜部分的图像进行裁剪，得到至少一个均压环与绝缘子串的局部图像；
S3、采用霍夫变换方法对局部图像进行矫正得到矫正图像，使得矫正图像中绝缘子串的位置是竖直的；
S4、在矫正图像中找出均压环两侧的点；
S5、分别计算均压环两侧的点的斜率，若该斜率与水平面斜率之间的差值小于预设值，则均压环位置正常；若该斜率与水平面斜率之间的差值大于或等于预设值，则均压环位置歪斜。
2.根据权利要求1所述的一种基于Mask RCNN的均压环歪斜检测方法，其特征在于，步骤S1中，通过改进特征提取网络Resnet50得到改进的Mask RCNN检测网络，改进后的特征提取网络包括依次连接的5层卷积网络，其中：
第一层卷积网络包括依次相连的2个卷积层和1个激活函数层，卷积核的个数为64，每个卷积核的大小为7×7，卷积时的步长为2，第二个卷积层的输出连接到激活函数层；
第二层卷积网络包括依次连接的1层最大值池化层和3个卷积块，每个卷积块中包括1层卷积层和分别设于卷积层前后的2层网络层，其中，最大值池化层中，池化核的大小为3×3，步长为2；卷积层中，卷积核的个数为64，每个卷积核的大小为3×3；设于卷积层前的网络层中，卷积核的个数为64，每个卷积核的大小为1×1；设于卷积层后的网络层中，卷积核的个数为256，每个卷积核的大小为1×1；
第三层卷积网络包括依次连接的3个卷积块，每个卷积块中包括1层卷积层和分别设于卷积层前后的2层网络层，其中，卷积层中，卷积核的个数为128，每个卷积核的大小为3×3；设于卷积层前的网络层中，卷积核的个数为128，每个卷积核的大小为1×1；设于卷积层后的网络层中，卷积核的个数为512，每个卷积核的大小为1×1；
第四层卷积网络包括依次连接的3个卷积块，每个卷积块中包括1层卷积层和分别设于卷积层前后的2层网络层，其中，卷积层中，卷积核的个数为256，每个卷积核的大小为3×3；设于卷积层前的网络层中，卷积核的个数为256，每个卷积核的大小为1×1；设于卷积层后的网络层中，卷积核的个数为1024，每个卷积核的大小为1×1；
第五层卷积网络包括依次连接的3个卷积块、全局平均池化层、全连接层、Dropout层和Sigmoid函数，每个卷积块中包括1层卷积层和分别设于卷积层前后的2层网络层，其中，卷积层中，卷积核的个数为512，每个卷积核的大小为3×3；设于卷积层前的网络层中，卷积核的个数为512，每个卷积核的大小为1×1；设于卷积层后的网络层中，卷积核的个数为2048，每个卷积核的大小为1×1。
3.根据权利要求1所述的一种基于Mask RCNN的均压环歪斜检测方法，其特征在于，步骤S4中，将矫正图像二值化，用RGB为0表示背景，RGB为1表示前景，此时将矫正图像看作是一个元素只有0和1的二维矩阵；
在矫正图像中截取均压环部分的图像，在均压环部分的图像中分别将每一列元素相加，找出所有非零的像素列；
找出最靠近左右边缘的两个像素列，在每个像素列上，若只存在1个元素为1的点，即将该点作为目标点；若存在1个以上元素为1的点，即将这些元素为1的点的坐标取平均值得到目标点的坐标，在两个像素列上分别得到一个目标点，即为均压环两侧的点。
4.根据权利要求1所述的一种基于Mask RCNN的均压环歪斜检测方法，其特征在于，步骤S5中，假设均压环两侧的点的斜率为k1，水平面的斜率为0，则
Figure FDA0002781007080000021
5.根据权利要求1所述的一种基于Mask RCNN的均压环歪斜检测方法，其特征在于，步骤S1中，Mask RCNN检测网络训练过程如下：
S11、获取数据集：将不同的输电线路照片作为自制数据集，并按比例将自制数据集分为训练集、验证集和测试集；
S12、制作数据集：将自制数据集进行统一重命名、标注和转化为统一格式，生成属于该自制数据集的图片集和标签集，其中，在自制数据集的每个图片样本中标注包括均压环与绝缘子串；
S13、建立模型：建立改进的Mask RCNN检测网络，输出图片样本中均压环与绝缘子串的类别、位置框和对应的掩膜；
S14、训练模型：将属于训练集和验证集的图片集和标签集输入到Mask RCNN检测网络中，对Mask RCNN检测网络进行训练；
S15、测试模型：将属于测试集的图片集输入到训练好的Mask RCNN检测网络中，输出分割好的均压环与绝缘子串的类别、位置框和掩膜。
6.根据权利要求5所述的一种基于Mask RCNN的均压环歪斜检测方法，其特征在于，步骤S11中，将自制数据集按照7：1的比例分成训练集和测试集，并随机从测试集中抽取50％的样本作为验证集。
7.根据权利要求5所述的一种基于Mask RCNN的均压环歪斜检测方法，其特征在于，步骤S12包括：
统一重命名：对自制数据集中的图片样本按照顺序排号，在图片样本顺序号前面补0至预设位数；
标注：使用图像标注工具Labelme对自制数据集的图片样本进行标注，标注均压环与绝缘子串，文件后缀名为“json”；
转化为统一格式：利用bat脚本文件对json文件进行解析，生成属于该自制数据集的图片集和标签集。
CN202011281653.3A 2020-11-16 2020-11-16 一种基于Mask RCNN的均压环歪斜检测方法 Active CN112396582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011281653.3A CN112396582B (zh) 2020-11-16 2020-11-16 一种基于Mask RCNN的均压环歪斜检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011281653.3A CN112396582B (zh) 2020-11-16 2020-11-16 一种基于Mask RCNN的均压环歪斜检测方法

Publications (2)

Publication Number Publication Date
CN112396582A true CN112396582A (zh) 2021-02-23
CN112396582B CN112396582B (zh) 2024-04-26

Family

ID=74599564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011281653.3A Active CN112396582B (zh) 2020-11-16 2020-11-16 一种基于Mask RCNN的均压环歪斜检测方法

Country Status (1)

Country Link
CN (1) CN112396582B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034501A (zh) * 2021-05-25 2021-06-25 众芯汉创（北京）科技有限公司 一种基于关键点检测的均压环倾斜故障识别方法及装置
CN113347330A (zh) * 2021-04-29 2021-09-03 华设设计集团股份有限公司 一种便携式钢桥螺栓脱落损伤识别设备及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680090A (zh) * 2017-10-11 2018-02-09 电子科技大学 基于改进全卷积神经网络的输电线路绝缘子状态识别方法
CN109145769A (zh) * 2018-08-01 2019-01-04 辽宁工业大学 融合图像分割特征的目标检测网络设计方法
CN109284669A (zh) * 2018-08-01 2019-01-29 辽宁工业大学 基于Mask RCNN的行人检测方法
CN111126359A (zh) * 2019-11-15 2020-05-08 西安电子科技大学 基于自编码器与yolo算法的高清图像小目标检测方法
US20200167601A1 (en) * 2017-12-11 2020-05-28 Zhuhai Da Hengqin Technology Development Co., Ltd. Ship detection method and system based on multidimensional scene features
CN111582072A (zh) * 2020-04-23 2020-08-25 浙江大学 结合ResNet50+FPN+DCN的变电站图片鸟巢检测方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680090A (zh) * 2017-10-11 2018-02-09 电子科技大学 基于改进全卷积神经网络的输电线路绝缘子状态识别方法
US20200167601A1 (en) * 2017-12-11 2020-05-28 Zhuhai Da Hengqin Technology Development Co., Ltd. Ship detection method and system based on multidimensional scene features
CN109145769A (zh) * 2018-08-01 2019-01-04 辽宁工业大学 融合图像分割特征的目标检测网络设计方法
CN109284669A (zh) * 2018-08-01 2019-01-29 辽宁工业大学 基于Mask RCNN的行人检测方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN111126359A (zh) * 2019-11-15 2020-05-08 西安电子科技大学 基于自编码器与yolo算法的高清图像小目标检测方法
CN111582072A (zh) * 2020-04-23 2020-08-25 浙江大学 结合ResNet50+FPN+DCN的变电站图片鸟巢检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
MAGIC_II: "目标检测系列—Mask R-CNN详解", Retrieved from the Internet <URL:《CSDN博客》> *
SHAOJIAN SONG等: "Integrate MSRCR and Mask R-CNN to Recognize Underwater Creatures on Small Sample Datasets", 《IEEE ACCESS》, vol. 08, 21 September 2020 (2020-09-21), pages 2169 - 3536 *
朱有产等: "基于改进Mask R-CNN的绝缘子目标识别方法", 《微电子学与计算机》, vol. 37, no. 02, 5 February 2020 (2020-02-05), pages 69 - 74 *
程海燕等: "基于Faster R-CNN的航拍图像中绝缘子识别", 《现代电子技术》, vol. 42, no. 02, 15 January 2019 (2019-01-15), pages 98 - 102 *
聂振钢等: "Mask RCNN在雾化背景下的船舶流量检测", 《北京理工大学学报》, vol. 40, no. 11, 15 November 2020 (2020-11-15), pages 1223 - 1229 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113347330A (zh) * 2021-04-29 2021-09-03 华设设计集团股份有限公司 一种便携式钢桥螺栓脱落损伤识别设备及方法
CN113034501A (zh) * 2021-05-25 2021-06-25 众芯汉创（北京）科技有限公司 一种基于关键点检测的均压环倾斜故障识别方法及装置

Also Published As

Publication number Publication date
CN112396582B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN109784333B (zh) 基于点云带权通道特征的三维目标检测方法及系统
CN108108746B (zh) 基于Caffe深度学习框架的车牌字符识别方法
CN111814686A (zh) 一种基于视觉的输电线路识别及异物入侵在线检测方法
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN111914720B (zh) 一种输电线路绝缘子爆裂识别方法及装置
CN109190625B (zh) 一种大角度透视变形的集装箱箱号识别方法
CN112396582A (zh) 一种基于Mask RCNN的均压环歪斜检测方法
CN113947570B (zh) 一种基于机器学习算法和计算机视觉的裂纹辨识方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN115937517A (zh) 一种基于多光谱融合的光伏故障自动检测方法
CN112884715A (zh) 一种基于深度学习的复合绝缘子均压环倾斜故障检测方法
CN112884795A (zh) 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法
CN114445442A (zh) 基于非对称交叉融合的多光谱图像语义分割方法
CN114187247A (zh) 一种基于图像配准的安瓿瓶印刷字缺陷检测方法
CN111428752B (zh) 一种基于红外图像的能见度检测方法
CN117541652A (zh) 一种基于深度lk光流法与d-prosac采样策略的动态slam方法
CN115797314A (zh) 零件表面缺陷检测方法、系统、设备及存储介质
CN112070048B (zh) 基于RDSNet的车辆属性识别方法
CN114926456A (zh) 一种半自动标注和改进深度学习的铁轨异物检测方法
CN109359513B (zh) 一种基于边缘检测和颜色匹配的异常检测方法
CN114240795A (zh) 一种融合偏色校正的图像去沙尘暴方法
CN113763261A (zh) 一种海雾气象条件下的远小目标实时检测方法
CN110826564A (zh) 一种复杂场景图像中的小目标语义分割方法及系统
CN112396572A (zh) 基于特征增强和高斯金字塔的复合绝缘子双光融合方法
CN111523583A (zh) 一种利用无人机对设备铭牌照片自动识别分类的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant