CN109118479A - 基于胶囊网络的绝缘子缺陷识别定位装置及方法 - Google Patents

基于胶囊网络的绝缘子缺陷识别定位装置及方法 Download PDF

Info

Publication number
CN109118479A
CN109118479A CN201810831640.5A CN201810831640A CN109118479A CN 109118479 A CN109118479 A CN 109118479A CN 201810831640 A CN201810831640 A CN 201810831640A CN 109118479 A CN109118479 A CN 109118479A
Authority
CN
China
Prior art keywords
insulator
image
capsule network
capsule
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810831640.5A
Other languages
English (en)
Other versions
CN109118479B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongrui Energy (beijing) Co Ltd
Original Assignee
Zhongrui Energy (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongrui Energy (beijing) Co Ltd filed Critical Zhongrui Energy (beijing) Co Ltd
Priority to CN201810831640.5A priority Critical patent/CN109118479B/zh
Publication of CN109118479A publication Critical patent/CN109118479A/zh
Application granted granted Critical
Publication of CN109118479B publication Critical patent/CN109118479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Abstract

基于胶囊网络的绝缘子缺陷识别定位装置及方法，建立深度学习模型，采用基于胶囊网络结构的目标检测，初始化配置胶囊网络卷积层、胶囊层和决策层的参数，通过训练集机巡图像训练检测绝缘子的存在和姿态，并对决策层的参数进行预测；将需要判别的原始机巡图像，通过胶囊网络输出绝缘子的具体位置，并将图像分割提取出来备用，对分割后的图像调用绝缘子特征提取模块；将提取出的绝缘子特征串分上下两部分，并逐行扫描阈值分割后得到的绝缘子特征图，统计每行像素点，确定绝缘子所在的最大连通区域，计算绝缘子主轴方向，旋转绝缘子至水平方向，得到绝缘子的异常位置。本发明大大提高绝缘子缺陷识别的效率，为电网维修部门提供可靠的技术支持。

Description

基于胶囊网络的绝缘子缺陷识别定位装置及方法
技术领域
本发明涉及智能电网中的输电线路维修技术领域，具体涉及一种基于胶囊网络的绝缘子缺陷识别定位装置及方法。
背景技术
胶囊网络是一种新的热门的神经网络架构，对深度学习带来深远的影响，特别是对计算机视觉领域。一个胶囊网络是由胶囊而不是由神经元构成。一个胶囊是一小群神经元，它们可以学习在一个图片的一定区域内检查一个特定的对象(比如，一个矩形)。它的输出是一个向量(例如，一个8维的向量)。每个向量的长度代表了物体是否存在的估计概率，它的方向(例如在8维空间里)记录了物体的姿态参数(比如，精确的位置、旋转等)。如果物体有稍微的变化(比如，移动、旋转、尺寸变化等)，胶囊将也会输出一个长度相同但是方向稍微变化的向量，胶囊是等变的。和常规神经网络很类似，胶囊网络也是由多层构成，处于最底层的胶囊被称为向量胶囊：它们每个都只用图片的一小部分区域作为输入(称为感知域)，然后试图去探测某个特殊的模式(例如，一个矩形)是否存在，以及姿态如何。
胶囊网络是一种先进的神经网络体系结构，对卷积神经网络的很多缺陷进行了弥补，并且数据准备以及多样性等都得到了提升。与其他神经网络相比，胶囊网络具有以下优势：
(1)反脆弱性：在不同视角下对同一个物品的相同感知(标签)，这使得胶囊网络在相同性能的基础上，可以使用比CNN少得多的训练数据；
(2)可解释性强：利用冗余来对抗复杂，让模型模仿人类大脑用冗余带动生产的能力，来对抗复杂的问题；
(3)可扩展性：胶囊网络在整个网络中保留详细的姿态信息(如精确的对象位置，旋转，厚度，歪斜，大小等等)，这些信息可以为缺陷识别工作提供有利的支持。
对输电线路进行定期巡视和检查，及时了解输电线路运行情况，鉴别并排除输电线路的各类缺陷和隐患，是供电企业一项必要而繁重的工作。传统的人工巡检方式耗费大量人力，并且效率低下。而无人机巡检具有工作效率高、不受地域影响、巡检质量高、安全性能高等优点，因此，在电力巡线作业中得到了广泛的应用，与此同时，对海量无人机巡检图像的目标识别和信息挖掘的需求也越来越强烈。
绝缘子是安装在不同电位的导体或导体与接地构件之间的能够耐受电压和机械应力作用的器件，作为一种特殊的绝缘控件，对于架空输电线路的使用和运行寿命有着重要的作用，绝缘子的完好无损直接影响着电力系统的安全运行。现有大多缺陷识别算法都是直接对机巡图像(无人机巡检图像)进行一系列图像处理，但是，由于真实环境的多样性和复杂性，巡检图像通常具有小部件与背景对比度低、存在大量噪声干扰等问题。因此，直接对巡检图像进行缺陷检测难以达到较高的准确率。
发明内容
本发明的目的在于提供一种基于胶囊网络的绝缘子缺陷识别定位装置及方法，能够解决现有基于机巡图像对绝缘子进行缺陷识别算法在多样地域环境带来的复杂背景干扰下鲁棒性较差问题，能够大大提高绝缘子缺陷识别的效率，为电网维修部门提供可靠的技术支持。
为实现上述目的，本发明的技术方案为：基于胶囊网络的绝缘子缺陷识别定位装置，所述识别定位装置包括：
机巡图像解析模块，用于对待检测的机巡图像进行属性信息解析；
机巡图像存储模块，用于对解析后的机巡图像进行分类存储管理；
绝缘子标注模块，用于对收集的原始机巡图像中的绝缘子进行标注；
样本扩充模块，用于对收集的原始机巡图像进行样本数量扩充；
数据集创建模块，用于为每个样本机巡图像建立标签文件，并将机巡图像按比例分配训练集和验证集；
胶囊网络初始模块，用于初始化配置胶囊网络卷积层、胶囊层和决策层的参数；
胶囊网络训练模块，用于通过训练集机巡图像训练检测绝缘子的存在和姿态，并对决策层的参数进行预测；
绝缘子特征提取模块，用于对分割后的图像通过灰度转换、滤波增强、颜色滤波及形态学操作对绝缘子特征串进行提取；
绝缘子缺陷定位模块，用于将提取出的绝缘子特征串分上下两部分，并逐行扫描阈值分割后得到的绝缘子特征图，统计每行像素点，计算累加垂直直方图，定位绝缘子的异常位置。
如上所述的基于胶囊网络的绝缘子缺陷识别定位装置，所述机巡图像解析模块解析的属性信息包括图片ID；像素高度、宽度与深度；图片所处地理位置；无人机拍摄参数；绝缘子所在区域的矩形边界坐标。
如上所述的基于胶囊网络的绝缘子缺陷识别定位装置，所述绝缘子特征提取模块的形态学操作中，确定绝缘子所在的最大连通区域，计算绝缘子主轴方向，旋转绝缘子至水平方向。
本发明还提供一种基于胶囊网络的绝缘子缺陷识别定位方法，所述识别定位方法包括以下步骤：
步骤一：利用无人机对真实环境下的输电线路进行巡线拍摄，调用机巡图像解析模块对待检测的机巡图像进行属性信息解析，同时调用机巡图像存储模块对解析后的机巡图像进行分类存储管理；
步骤二：调用数据集创建模块为每个样本机巡图像建立标签文件，并将机巡图像按比例分配训练集和验证集，收集包含绝缘子的原始图像，调用绝缘子标注模块对收集的原始机巡图像中的绝缘子进行标注，调用样本扩充模块对收集的原始机巡图像进行样本数量扩充；
步骤三：建立深度学习模型，采用基于胶囊网络结构的目标检测，调用胶囊网络初始模块初始化配置胶囊网络卷积层、胶囊层和决策层的参数，调用胶囊网络训练模块通过训练集机巡图像训练检测绝缘子的存在和姿态，并对决策层的参数进行预测；
步骤四：将需要判别的原始机巡图像，通过胶囊网络输出绝缘子的具体位置，并将图像分割提取出来备用，对分割后的图像调用绝缘子特征提取模块，通过灰度转换、滤波增强、颜色滤波及形态学操作对绝缘子特征串进行提取；
步骤五：调用绝缘子缺陷定位模块将提取出的绝缘子特征串分上下两部分，并逐行扫描阈值分割后得到的绝缘子特征图，统计每行像素点，确定绝缘子所在的最大连通区域，计算绝缘子主轴方向，旋转绝缘子至水平方向，得到绝缘子的异常位置。
如上所述的基于胶囊网络的绝缘子缺陷识别定位方法，所述步骤一中，机巡图像解析模块解析的属性信息包括图片ID；像素高度、宽度与深度；图片所处地理位置；无人机拍摄参数；绝缘子所在区域的矩形边界坐标；所述矩形边界坐标绝缘子所在区域的矩形边界的坐标(x1，y1，x2，y2)，其中(x1，y1)为矩形边界下顶点，(x2，y2)为矩形边界上顶点。
如上所述的基于胶囊网络的绝缘子缺陷识别定位方法，所述步骤三中胶囊网络训练模块的训练胶囊网络方法包括：
(1)输入训练集图片并进行卷积操作，调整成适合于向量神经元层的格式，接收卷积层检测到的基本特征，并生成特征的组合；
(2)数据由主胶囊层进入数据胶囊层，通过动态路由算法，使用上一层的输出向量对下一层决策层的参数进行预测；
(3)将正确预测的类别的向量投入到重构网络，通过三个全连接的网络解码器，构建一个完整的图像；
(4)确定网络模型后，通过输入验证集验证预测模型的召回率和精确率，若召回率和精确率低，为训练集加入训练图片后重复训练模型步骤；
(5)输入待测图像，通过训练后的胶囊网络得到绝缘子的具体位置，并将绝缘子分割出来用于缺陷识别定位检测。
如上所述的基于胶囊网络的绝缘子缺陷识别定位方法，所述步骤(2)中，使用上一层的输出向量对下一层决策层的参数进行预测的方法为：
a、对于除了第一层之外的所有胶囊网络层，输入向量sj由以下公式(1)得到：
其中，Wij是每个输出要乘的权值，ui是上一层胶囊网络的输出，表示预测向量，耦合系数cij由下式(2)得到：
其中bij是第i层的第j个胶囊的耦合系统所需的计算参量，由步骤b可计算具体数值；
b、通过计算bij，得到耦合系数cij，如下公式(3)：
在采用前向传播计算sj时，bij初始化为0，Wij为随机值；
c、采用矢量的非线性激活函数Squashing，得到输出向量vj，
d、利用得到的和vj，采用公式(3)更新bij，并开始下一次迭代，通过胶囊的输出和输出的点积来检测输入和输出的相似性；
e、通过损失函数公式(5)更新整个胶囊网络中的卷积参数和权值：
Lk＝Tkmax(0,m+-||vk||2+λ(1-Tk)max(0,||vk||-m-)2 (5)
其中Lk是损失函数，Tk是类别存在值(当检测到绝缘子时为1，否则为0)，λ是下加权值(取值0.5)，m是被处理图像的得分，+表示正样本，-表示负样本。
如上所述的基于胶囊网络的绝缘子缺陷识别定位方法，所述步骤(4)中，
如上所述的基于胶囊网络的绝缘子缺陷识别定位方法，所述步骤五中具体包括，
遍历二值图像f，获取满足面积阈值条件的同标号的连通区域Si中每个像素点的坐标值，通过Si的几何矩计算绝缘子的质心和主轴偏转角，
Si的几何矩ma,b(Si)和中心矩分别为：
式中，a和b为非负数，x和y对应Si中某点的横、纵坐标值，f(x,y)为像素点(x，y)处的像素值；
连通区域Si的质心为：
主轴偏转角θ为：
分析主轴偏转角大小，旋转绝缘子到水平方向。
本发明具有如下优点：本发明可以实现海量机巡图像的自动管理和分类存储、绝缘子自动识别、绝缘子缺陷自动定位功能，为电力巡线和检修工作带来有力的技术支持；
本发明采用先进的胶囊网络不断训练和学习绝缘子特征，相比于传统CNN网络，胶囊网络可以得到更好的结果，不仅可以使用少得多的训练数据，还可以在整个网络中保留详细的属性信息(如精确的对象位置，旋转，厚度，歪斜，大小等等)；
本发明首先通过深度学习算法提取出了绝缘子，去除了复杂背景的干扰，再采用阈值分割、形态学操作、连通区域分析、直方图统计等图像处理操作，可以精确定位到绝缘子缺陷位置，同时，通过解析有缺陷图片的属性信息，可以定位到具体拍摄时间及地点的线路位置，方便相关部门及时采取维修措施。
附图说明
图1为实施例中基于胶囊网络的绝缘子缺陷识别定位装置结构示意图；
图2为实施例中基于胶囊网络的绝缘子缺陷识别定位装置功能架构图；
图3为实施例中机巡图像属性信息解析示意图；
图4为实施例中胶囊网络架构示意图；
图5为实施例中基于胶囊网络的绝缘子标注示意图；
图6为实施例中基于胶囊网络的绝缘子提取示意图；
图7为实施例中绝缘子阈值分割效果图；
图8为实施例中绝缘子形态学操作效果图；
图9为实施例中连通区域的几何矩计算示意图；
图10为实施例中垂直直方图统计示意图；
图11为实施例中绝缘子缺陷检测结果示意图；
图12为实施例中基于胶囊网络的绝缘子缺陷识别定位方法示意图。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
参见图1、图2、图3、图4、图5、图6、图7、图8、图9、图10和图11，基于胶囊网络的绝缘子缺陷识别定位装置，所述识别定位装置包括：
机巡图像解析模块1，用于对待检测的机巡图像进行属性信息解析；
机巡图像存储模块2，用于对解析后的机巡图像进行分类存储管理；
绝缘子标注模块3，用于对收集的原始机巡图像中的绝缘子进行标注；
样本扩充模块4，用于对收集的原始机巡图像进行样本数量扩充；
数据集创建模块5，用于为每个样本机巡图像建立标签文件，并将机巡图像按比例分配训练集和验证集；
胶囊网络初始模块6，用于初始化配置胶囊网络卷积层、胶囊层和决策层的参数；
胶囊网络训练模块7，用于通过训练集机巡图像训练检测绝缘子的存在和姿态，并对决策层的参数进行预测；
绝缘子特征提取模块8，用于对分割后的图像通过灰度转换、滤波增强、颜色滤波及形态学操作对绝缘子特征串进行提取；
绝缘子缺陷定位模块9，用于将提取出的绝缘子特征串分上下两部分，并逐行扫描阈值分割后得到的绝缘子特征图，统计每行像素点，计算累加垂直直方图，定位绝缘子的异常位置。
基于胶囊网络的绝缘子缺陷识别定位装置的一个实施例中，所述机巡图像解析模块1解析的属性信息包括图片ID；像素高度、宽度与深度；图片所处地理位置；无人机拍摄参数；绝缘子所在区域的矩形边界坐标。收集包含绝缘子的原始图像，通过旋转、调整对比度等方法，扩充样本数量，并对绝缘子进行标注。图片的ID，像素高度、宽度与深度，图片所处地理位置分类(山野、平原、沙漠等)，无人机拍摄参数(时间、经纬度、高度)，绝缘子所在区域的矩形边界的坐标(x1，y1，x2，y2)，其中(x1，y1)为矩形边界下顶点，(x2，y2)为矩形边界上顶点。之后将可用样本按一定比例分为训练集和验证集，分别用于训练胶囊网络和验证检测的准确性。
基于胶囊网络的绝缘子缺陷识别定位装置的一个实施例中，所述绝缘子特征提取模块8的形态学操作中，确定绝缘子所在的最大连通区域，计算绝缘子主轴方向，旋转绝缘子至水平方向。
参见图3、图4、图5、图6、图7、图8、图9、图10、图11和图12，本发明还提供一种基于胶囊网络的绝缘子缺陷识别定位方法，所述识别定位方法包括以下步骤：
S1：利用无人机对真实环境下的输电线路进行巡线拍摄，调用机巡图像解析模块1对待检测的机巡图像进行属性信息解析，同时调用机巡图像存储模块2对解析后的机巡图像进行分类存储管理；
S2：调用数据集创建模块5为每个样本机巡图像建立标签文件，并将机巡图像按比例分配训练集和验证集，收集包含绝缘子的原始图像，调用绝缘子标注模块3对收集的原始机巡图像中的绝缘子进行标注，调用样本扩充模块4对收集的原始机巡图像进行样本数量扩充；
S3：建立深度学习模型，采用基于胶囊网络结构的目标检测，调用胶囊网络初始模块6初始化配置胶囊网络卷积层、胶囊层和决策层的参数，调用胶囊网络训练模块7通过训练集机巡图像训练检测绝缘子的存在和姿态，并对决策层的参数进行预测；
S4：将需要判别的原始机巡图像，通过胶囊网络输出绝缘子的具体位置，并将图像分割提取出来备用，对分割后的图像调用绝缘子特征提取模块8，通过灰度转换、滤波增强、颜色滤波及形态学操作对绝缘子特征串进行提取；
S5：调用绝缘子缺陷定位模块9将提取出的绝缘子特征串分上下两部分，并逐行扫描阈值分割后得到的绝缘子特征图，统计每行像素点，确定绝缘子所在的最大连通区域，计算绝缘子主轴方向，旋转绝缘子至水平方向，得到绝缘子的异常位置。
基于胶囊网络的绝缘子缺陷识别定位方法的一个实施例中，所述S1中，机巡图像解析模块1解析的属性信息包括图片ID；像素高度、宽度与深度；图片所处地理位置；无人机拍摄参数；绝缘子所在区域的矩形边界坐标；所述矩形边界坐标绝缘子所在区域的矩形边界的坐标(x1，y1，x2，y2)，其中(x1，y1)为矩形边界下顶点，(x2，y2)为矩形边界上顶点。
基于胶囊网络的绝缘子缺陷识别定位方法的一个实施例中，所述S3中胶囊网络训练模块7的训练胶囊网络方法包括：
(1)输入训练集图片并进行卷积操作，调整成适合于向量神经元层的格式，接收卷积层检测到的基本特征，并生成特征的组合；通过输入训练集图片，对其进行常规的卷积操作，调整成适合于向量神经元层(主胶囊层)的格式，该主胶囊层包含32个主胶囊(8个输出神经元组合在一起构成一个胶囊)，可接受卷积层检测到的基本特征，并生成特征的组合；
(2)数据由主胶囊层进入数据胶囊层，通过动态路由算法，使用上一层的输出向量对下一层决策层的参数进行预测；
(3)将正确预测的类别的向量投入到重构网络，通过三个全连接的网络解码器，构建一个完整的图像；
(4)确定网络模型后，通过输入验证集验证预测模型的召回率和精确率，若召回率和精确率低，为训练集加入训练图片后重复训练模型步骤；
(5)输入待测图像，通过训练后的胶囊网络得到绝缘子的具体位置，并将绝缘子分割出来用于缺陷识别定位检测。
基于胶囊网络的绝缘子缺陷识别定位方法的一个实施例中，所述步骤(2)中，使用上一层的输出向量对下一层决策层的参数进行预测的方法为：
a、对于除了第一层之外的所有胶囊网络层，输入向量sj由以下公式(1)得到：
其中，Wij是每个输出要乘的权值，ui是上一层胶囊网络的输出，表示预测向量，耦合系数cij由下式(2)得到：
其中bij是第i层的第j个胶囊的耦合系统所需的计算参量，由步骤b可计算具体数值；
b、通过计算bij，得到耦合系数cij，如下公式(3)：
在采用前向传播计算sj时，bij初始化为0，Wij为随机值；
c、采用矢量的非线性激活函数Squashing，得到输出向量vj，
d、利用得到的和vj，采用公式(3)更新bij，并开始下一次迭代，通过胶囊的输出和输出的点积来检测输入和输出的相似性；
e、通过损失函数公式(5)更新整个胶囊网络中的卷积参数和权值：
Lk＝Tkmax(0,m+-||vk||)2+λ(1-Tk)max(0,||vk||-m-)2 (5)
其中Lk是损失函数，Tk是类别存在值(当检测到绝缘子时为1，否则为0)，λ是下加权值，λ优选取值为0.5，m是被处理图像的得分，+表示正样本，-表示负样本。
基于胶囊网络的绝缘子缺陷识别定位方法的一个实施例中，所述步骤(4)中，
若召回率和精确率较低，为训练集加入更多训练图片后重复训练模型步骤。本技术方案绝缘子识别的召回率达：99.5％，精确率达97.8％；绝缘子缺陷识别的召回率达99.9％，精确率达98％。
基于胶囊网络的绝缘子缺陷识别定位方法的一个实施例中，对分割后的图像进行灰度转换、滤波增强，以增强绝缘子与背景的对比度，为接下来的颜色滤波、阈值分割奠定良好基础，效果如图7所示；然后进行形态学操作，尽可能连接绝缘子特征，消除其他噪声干扰，效果如图8。最后确定绝缘子所在的最大连通区域，分析其几何矩特征，计算其主轴方向，具体步骤如下：
遍历二值图像f，获取满足面积阈值条件的同标号的连通区域Si中每个像素点的坐标值，通过Si的几何矩计算绝缘子的质心和主轴偏转角，
Si的几何矩ma,b(Si)和中心矩分别为：
式中，a和b为非负数，x和y对应Si中某点的横、纵坐标值，f(x,y)为像素点(x，y)处的像素值；
连通区域Si的质心为：
主轴偏转角θ为：
分析主轴偏转角大小，旋转绝缘子到水平方向。如图10所示，由于绝缘子特征串的分布具有周期性，由此，可以得到绝缘子的异常位置，结果如图11。
本发明可以实现海量机巡图像的自动管理和分类存储、绝缘子自动识别、绝缘子缺陷自动定位功能，为电力巡线和检修工作带来有力的技术支持；采用先进的胶囊网络不断训练和学习绝缘子特征，相比于传统CNN网络，胶囊网络可以得到更好的结果，不仅可以使用少得多的训练数据，还可以在整个网络中保留详细的属性信息(如精确的对象位置，旋转，厚度，歪斜，大小等等)；首先通过深度学习算法提取出了绝缘子，去除了复杂背景的干扰，再采用阈值分割、形态学操作、连通区域分析、直方图统计等图像处理操作，可以精确定位到绝缘子缺陷位置，同时，通过解析有缺陷图片的属性信息，可以定位到具体拍摄时间及地点的线路位置，方便相关部门及时采取维修措施。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (9)

1.基于胶囊网络的绝缘子缺陷识别定位装置，其特征在于：所述识别定位装置包括：
机巡图像解析模块，用于对待检测的机巡图像进行属性信息解析；
机巡图像存储模块，用于对解析后的机巡图像进行分类存储管理；
绝缘子标注模块，用于对收集的原始机巡图像中的绝缘子进行标注；
样本扩充模块，用于对收集的原始机巡图像进行样本数量扩充；
数据集创建模块，用于为每个样本机巡图像建立标签文件，并将机巡图像按比例分配训练集和验证集；
胶囊网络初始模块，用于初始化配置胶囊网络卷积层、胶囊层和决策层的参数；
胶囊网络训练模块，用于通过训练集机巡图像训练检测绝缘子的存在和姿态，并对决策层的参数进行预测；
绝缘子特征提取模块，用于对分割后的图像通过灰度转换、滤波增强、颜色滤波及形态学操作对绝缘子特征串进行提取；
绝缘子缺陷定位模块，用于将提取出的绝缘子特征串分上下两部分，并逐行扫描阈值分割后得到的绝缘子特征图，统计每行像素点，计算累加垂直直方图，定位绝缘子的异常位置。
2.根据权利要求1所述的基于胶囊网络的绝缘子缺陷识别定位装置，其特征在于：所述机巡图像解析模块解析的属性信息包括图片ID；像素高度、宽度与深度；图片所处地理位置；无人机拍摄参数；绝缘子所在区域的矩形边界坐标。
3.根据权利要求1所述的基于胶囊网络的绝缘子缺陷识别定位装置，其特征在于：所述绝缘子特征提取模块的形态学操作中，确定绝缘子所在的最大连通区域，计算绝缘子主轴方向，旋转绝缘子至水平方向。
4.基于胶囊网络的绝缘子缺陷识别定位方法，其特征在于：所述识别定位方法包括以下步骤：
步骤一：利用无人机对真实环境下的输电线路进行巡线拍摄，调用机巡图像解析模块对待检测的机巡图像进行属性信息解析，同时调用机巡图像存储模块对解析后的机巡图像进行分类存储管理；
步骤二：调用数据集创建模块为每个样本机巡图像建立标签文件，并将机巡图像按比例分配训练集和验证集，收集包含绝缘子的原始图像，调用绝缘子标注模块对收集的原始机巡图像中的绝缘子进行标注，调用样本扩充模块对收集的原始机巡图像进行样本数量扩充；
步骤三：建立深度学习模型，采用基于胶囊网络结构的目标检测，调用胶囊网络初始模块初始化配置胶囊网络卷积层、胶囊层和决策层的参数，调用胶囊网络训练模块通过训练集机巡图像训练检测绝缘子的存在和姿态，并对决策层的参数进行预测；
步骤四：将需要判别的原始机巡图像，通过胶囊网络输出绝缘子的具体位置，并将图像分割提取出来备用，对分割后的图像调用绝缘子特征提取模块，通过灰度转换、滤波增强、颜色滤波及形态学操作对绝缘子特征串进行提取；
步骤五：调用绝缘子缺陷定位模块将提取出的绝缘子特征串分上下两部分，并逐行扫描阈值分割后得到的绝缘子特征图，统计每行像素点，确定绝缘子所在的最大连通区域，计算绝缘子主轴方向，旋转绝缘子至水平方向，得到绝缘子的异常位置。
5.根据权利要求4所述的基于胶囊网络的绝缘子缺陷识别定位方法，其特征在于：所述步骤一中，机巡图像解析模块解析的属性信息包括图片ID；像素高度、宽度与深度；图片所处地理位置；无人机拍摄参数；绝缘子所在区域的矩形边界坐标；所述矩形边界坐标绝缘子所在区域的矩形边界的坐标(x1，y1，x2，y2)，其中(x1，y1)为矩形边界下顶点，(x2，y2)为矩形边界上顶点。
6.根据权利要求4所述的基于胶囊网络的绝缘子缺陷识别定位方法，其特征在于：所述步骤三中胶囊网络训练模块的训练胶囊网络方法包括：
(1)输入训练集图片并进行卷积操作，调整成适合于向量神经元层的格式，接收卷积层检测到的基本特征，并生成特征的组合；
(2)数据由主胶囊层进入数据胶囊层，通过动态路由算法，使用上一层的输出向量对下一层决策层的参数进行预测；
(3)将正确预测的类别的向量投入到重构网络，通过三个全连接的网络解码器，构建一个完整的图像；
(4)确定网络模型后，通过输入验证集验证预测模型的召回率和精确率，若召回率和精确率低，为训练集加入训练图片后重复训练模型步骤；
(5)输入待测图像，通过训练后的胶囊网络得到绝缘子的具体位置，并将绝缘子分割出来用于缺陷识别定位检测。
7.根据权利要求6所述的基于胶囊网络的绝缘子缺陷识别定位方法，其特征在于：所述步骤(2)中，使用上一层的输出向量对下一层决策层的参数进行预测的方法为：
a、对于除了第一层之外的所有胶囊网络层，输入向量sj由以下公式(1)得到：
其中，Wij是每个输出要乘的权值，ui是上一层胶囊网络的输出，表示预测向量，耦合系数cij由下式(2)得到：
其中bij是第i层的第j个胶囊的耦合系统所需的计算参量，由下述步骤b计算具体数值；
b、通过计算bij，得到耦合系数cij，如下公式(3)：
在采用前向传播计算sj时，bij初始化为0，Wij为随机值；
c、采用矢量的非线性激活函数Squashing，得到输出向量vj，
d、利用得到的和vj，采用公式(3)更新bij，并开始下一次迭代，通过胶囊的输出和输出的点积来检测输入和输出的相似性；
e、通过损失函数公式(5)更新整个胶囊网络中的卷积参数和权值：
Lk＝Tkmax(0，m+-||vk||)2+λ(1-Tk)max(0，||vk||-m-)2 (5)
其中Lk是损失函数，Tk是类别存在值，当检测到绝缘子时为1，否则为0，λ是下加权值，m是被处理图像的得分，+表示正样本，-表示负样本。
8.根据权利要求6所述的基于胶囊网络的绝缘子缺陷识别定位方法，其特征在于：所述步骤(4)中，
9.根据权利要求4所述的基于胶囊网络的绝缘子缺陷识别定位方法，其特征在于：所述步骤五中具体包括，
遍历二值图像f，获取满足面积阈值条件的同标号的连通区域Si中每个像素点的坐标值，通过Si的几何矩计算绝缘子的质心和主轴偏转角，
Si的几何矩ma，b(Si)和中心矩分别为：
式中，a和b为非负数，x和y对应Si中某点的横、纵坐标值，f(x，y)为像素点(x，y)处的像素值；
连通区域Si的质心为：
主轴偏转角θ为：
分析主轴偏转角大小，旋转绝缘子到水平方向。
CN201810831640.5A 2018-07-26 2018-07-26 基于胶囊网络的绝缘子缺陷识别定位装置及方法 Active CN109118479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810831640.5A CN109118479B (zh) 2018-07-26 2018-07-26 基于胶囊网络的绝缘子缺陷识别定位装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810831640.5A CN109118479B (zh) 2018-07-26 2018-07-26 基于胶囊网络的绝缘子缺陷识别定位装置及方法

Publications (2)

Publication Number Publication Date
CN109118479A true CN109118479A (zh) 2019-01-01
CN109118479B CN109118479B (zh) 2022-07-19

Family

ID=64863700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810831640.5A Active CN109118479B (zh) 2018-07-26 2018-07-26 基于胶囊网络的绝缘子缺陷识别定位装置及方法

Country Status (1)

Country Link
CN (1) CN109118479B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800817A (zh) * 2019-01-25 2019-05-24 西安电子科技大学 基于融合语义神经网络的图像分类方法
CN110264448A (zh) * 2019-06-06 2019-09-20 中南大学 一种基于机器视觉的绝缘子故障检测方法
CN110288555A (zh) * 2019-07-02 2019-09-27 桂林电子科技大学 一种基于改进的胶囊网络的低照度增强方法
CN110633646A (zh) * 2019-08-21 2019-12-31 数字广东网络建设有限公司 图像敏感信息检测的方法、装置、计算机设备和存储介质
CN110647919A (zh) * 2019-08-27 2020-01-03 华东师范大学 一种基于k-均值聚类和胶囊网络的文本聚类方法及系统
CN110689531A (zh) * 2019-09-23 2020-01-14 云南电网有限责任公司电力科学研究院 一种基于yolo的输电线路机巡图像缺陷自动识别方法
CN110751619A (zh) * 2019-08-28 2020-02-04 中国南方电网有限责任公司超高压输电公司广州局 一种绝缘子缺陷检测方法
CN110765890A (zh) * 2019-09-30 2020-02-07 河海大学常州校区 基于胶囊网络深度学习架构的车道及车道标识检测方法
CN111766513A (zh) * 2020-06-18 2020-10-13 电子科技大学 一种基于胶囊网络的三相感应电机变工况多故障诊断方法
CN111784692A (zh) * 2020-08-11 2020-10-16 国网内蒙古东部电力有限公司 一种电力系统中绝缘子缺陷的检测方法、装置及电子设备
CN111812096A (zh) * 2020-06-02 2020-10-23 国网浙江嘉善县供电有限公司 一种绝缘子电弧烧伤的快速定位智能图像检测方法
CN111948213A (zh) * 2020-07-09 2020-11-17 黄鹏 一种基于注意力胶囊网络的口红缺陷检测装置及其检测方法
CN112115998A (zh) * 2020-09-11 2020-12-22 昆明理工大学 一种基于对抗增量聚类动态路由网络克服灾难性遗忘的方法
WO2021017168A1 (zh) * 2019-08-01 2021-02-04 深圳先进技术研究院 图像分割方法、装置、设备及存储介质
CN112348038A (zh) * 2020-11-30 2021-02-09 江苏海洋大学 一种基于胶囊网络的视觉定位方法
CN112906620A (zh) * 2021-03-09 2021-06-04 唐山职业技术学院 无人机辅助的绝缘子故障检测方法、装置和电子设备
CN113592822A (zh) * 2021-08-02 2021-11-02 郑州大学 一种电力巡检图像的绝缘子缺陷定位方法
CN113743576A (zh) * 2020-05-29 2021-12-03 精工爱普生株式会社 数据获取方法和装置、相似度计算方法和装置及存储介质
CN114296005A (zh) * 2021-12-09 2022-04-08 黄冈师范学院 一种模块化多电平换流器子模块复合故障诊断方法
CN117437188A (zh) * 2023-10-17 2024-01-23 广东电力交易中心有限责任公司 一种用于智慧电网的绝缘子缺陷检测系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978580A (zh) * 2015-06-15 2015-10-14 国网山东省电力公司电力科学研究院 一种用于无人机巡检输电线路的绝缘子识别方法
CN105528595A (zh) * 2016-02-01 2016-04-27 成都通甲优博科技有限责任公司 在无人机航拍图像中对输电线路绝缘子的识别定位方法
US20160117845A1 (en) * 2014-10-27 2016-04-28 King Fahd University Petroleum and Minerals Contamination level estimation method for high voltage insulators
CN106290388A (zh) * 2016-08-03 2017-01-04 国网山东省电力公司电力科学研究院 一种绝缘子故障自动检测方法
CN107103600A (zh) * 2017-04-13 2017-08-29 北京海风智能科技有限责任公司 一种基于机器学习的绝缘子缺陷自动检测方法
CN107507194A (zh) * 2017-08-07 2017-12-22 广东电网有限责任公司珠海供电局 一种基于红外图像温度分布规律和bp神经网络的绝缘子串故障检测方法
CN107680090A (zh) * 2017-10-11 2018-02-09 电子科技大学 基于改进全卷积神经网络的输电线路绝缘子状态识别方法
CN108010030A (zh) * 2018-01-24 2018-05-08 福州大学 一种基于深度学习的航拍图像绝缘子实时检测方法
CN108154072A (zh) * 2016-12-02 2018-06-12 天津工业大学 基于深度卷积神经网络的航拍绝缘子故障自动检测

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160117845A1 (en) * 2014-10-27 2016-04-28 King Fahd University Petroleum and Minerals Contamination level estimation method for high voltage insulators
CN104978580A (zh) * 2015-06-15 2015-10-14 国网山东省电力公司电力科学研究院 一种用于无人机巡检输电线路的绝缘子识别方法
CN105528595A (zh) * 2016-02-01 2016-04-27 成都通甲优博科技有限责任公司 在无人机航拍图像中对输电线路绝缘子的识别定位方法
CN106290388A (zh) * 2016-08-03 2017-01-04 国网山东省电力公司电力科学研究院 一种绝缘子故障自动检测方法
CN108154072A (zh) * 2016-12-02 2018-06-12 天津工业大学 基于深度卷积神经网络的航拍绝缘子故障自动检测
CN107103600A (zh) * 2017-04-13 2017-08-29 北京海风智能科技有限责任公司 一种基于机器学习的绝缘子缺陷自动检测方法
CN107507194A (zh) * 2017-08-07 2017-12-22 广东电网有限责任公司珠海供电局 一种基于红外图像温度分布规律和bp神经网络的绝缘子串故障检测方法
CN107680090A (zh) * 2017-10-11 2018-02-09 电子科技大学 基于改进全卷积神经网络的输电线路绝缘子状态识别方法
CN108010030A (zh) * 2018-01-24 2018-05-08 福州大学 一种基于深度学习的航拍图像绝缘子实时检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAO, YU 等: ""Self-healing isotropical conductive adhesives filled with Ag nanowires"", 《MATERIALS CHEMISTRY AND PHYSICS》 *
郭勤: ""基于深度强化学习的视频游戏决策模型研究与应用"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800817A (zh) * 2019-01-25 2019-05-24 西安电子科技大学 基于融合语义神经网络的图像分类方法
CN109800817B (zh) * 2019-01-25 2023-03-24 西安电子科技大学 基于融合语义神经网络的图像分类方法
CN110264448A (zh) * 2019-06-06 2019-09-20 中南大学 一种基于机器视觉的绝缘子故障检测方法
CN110288555B (zh) * 2019-07-02 2022-08-02 桂林电子科技大学 一种基于改进的胶囊网络的低照度增强方法
CN110288555A (zh) * 2019-07-02 2019-09-27 桂林电子科技大学 一种基于改进的胶囊网络的低照度增强方法
WO2021017168A1 (zh) * 2019-08-01 2021-02-04 深圳先进技术研究院 图像分割方法、装置、设备及存储介质
CN110633646A (zh) * 2019-08-21 2019-12-31 数字广东网络建设有限公司 图像敏感信息检测的方法、装置、计算机设备和存储介质
CN110633646B (zh) * 2019-08-21 2022-05-10 数字广东网络建设有限公司 图像敏感信息检测的方法、装置、计算机设备和存储介质
CN110647919A (zh) * 2019-08-27 2020-01-03 华东师范大学 一种基于k-均值聚类和胶囊网络的文本聚类方法及系统
CN110751619A (zh) * 2019-08-28 2020-02-04 中国南方电网有限责任公司超高压输电公司广州局 一种绝缘子缺陷检测方法
CN110689531A (zh) * 2019-09-23 2020-01-14 云南电网有限责任公司电力科学研究院 一种基于yolo的输电线路机巡图像缺陷自动识别方法
CN110765890B (zh) * 2019-09-30 2022-09-02 河海大学常州校区 基于胶囊网络深度学习架构的车道及车道标识检测方法
CN110765890A (zh) * 2019-09-30 2020-02-07 河海大学常州校区 基于胶囊网络深度学习架构的车道及车道标识检测方法
CN113743576A (zh) * 2020-05-29 2021-12-03 精工爱普生株式会社 数据获取方法和装置、相似度计算方法和装置及存储介质
CN111812096A (zh) * 2020-06-02 2020-10-23 国网浙江嘉善县供电有限公司 一种绝缘子电弧烧伤的快速定位智能图像检测方法
CN111766513A (zh) * 2020-06-18 2020-10-13 电子科技大学 一种基于胶囊网络的三相感应电机变工况多故障诊断方法
CN111766513B (zh) * 2020-06-18 2021-08-20 电子科技大学 一种基于胶囊网络的三相感应电机变工况多故障诊断方法
CN111948213A (zh) * 2020-07-09 2020-11-17 黄鹏 一种基于注意力胶囊网络的口红缺陷检测装置及其检测方法
CN111784692A (zh) * 2020-08-11 2020-10-16 国网内蒙古东部电力有限公司 一种电力系统中绝缘子缺陷的检测方法、装置及电子设备
CN112115998B (zh) * 2020-09-11 2022-11-25 昆明理工大学 一种基于对抗增量聚类动态路由网络克服灾难性遗忘的方法
CN112115998A (zh) * 2020-09-11 2020-12-22 昆明理工大学 一种基于对抗增量聚类动态路由网络克服灾难性遗忘的方法
CN112348038A (zh) * 2020-11-30 2021-02-09 江苏海洋大学 一种基于胶囊网络的视觉定位方法
CN112906620A (zh) * 2021-03-09 2021-06-04 唐山职业技术学院 无人机辅助的绝缘子故障检测方法、装置和电子设备
CN113592822A (zh) * 2021-08-02 2021-11-02 郑州大学 一种电力巡检图像的绝缘子缺陷定位方法
CN113592822B (zh) * 2021-08-02 2024-02-09 郑州大学 一种电力巡检图像的绝缘子缺陷定位方法
CN114296005A (zh) * 2021-12-09 2022-04-08 黄冈师范学院 一种模块化多电平换流器子模块复合故障诊断方法
CN117437188A (zh) * 2023-10-17 2024-01-23 广东电力交易中心有限责任公司 一种用于智慧电网的绝缘子缺陷检测系统

Also Published As

Publication number Publication date
CN109118479B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN109118479A (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN103839065B (zh) 人群动态聚集特征提取方法
CN109376605B (zh) 一种电力巡检图像防鸟刺故障检测方法
CN109977921B (zh) 一种输电线路隐患检测方法
CN106097346B (zh) 一种自学习的视频火灾探测方法
WO2018028103A1 (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN101430195B (zh) 一种利用视频图像处理技术计算输电线路覆冰厚度的方法
CN110175576A (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN110070530A (zh) 一种基于深度神经网络的输电线路覆冰检测方法
CN108765404A (zh) 一种基于深度学习图像分类的道路破损检测方法及装置
CN105869178A (zh) 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN106127148A (zh) 一种基于机器视觉的手扶电梯乘客异常行为检测算法
CN108898085A (zh) 一种基于手机视频的道路病害智能检测方法
CN109190508A (zh) 一种基于空间坐标系的多摄像头数据融合方法
CN108009591A (zh) 一种基于深度学习的接触网关键部件识别方法
CN108680833B (zh) 基于无人机的复合绝缘子缺陷检测系统
CN103164858A (zh) 基于超像素和图模型的粘连人群分割与跟踪方法
CN106339657B (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN107633511A (zh) 一种基于自编码神经网络的风机视觉检测系统
CN108648169A (zh) 高压输电塔绝缘子缺陷自动识别的方法及装置
CN103164711A (zh) 基于像素和支持向量机的区域人流密度估计的方法
CN109034035A (zh) 基于显著性检测和特征融合的行人重识别方法
CN102073846A (zh) 基于航拍图像的交通信息获取方法
CN108229587A (zh) 一种基于飞行器悬停状态的输电杆塔自主扫描方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant