CN114187295B - 基于机器学习的绝缘子缺陷检测方法 - Google Patents

基于机器学习的绝缘子缺陷检测方法 Download PDF

Info

Publication number
CN114187295B
CN114187295B CN202210139752.0A CN202210139752A CN114187295B CN 114187295 B CN114187295 B CN 114187295B CN 202210139752 A CN202210139752 A CN 202210139752A CN 114187295 B CN114187295 B CN 114187295B
Authority
CN
China
Prior art keywords
neural network
module
recurrent neural
signal
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210139752.0A
Other languages
English (en)
Other versions
CN114187295A (zh
Inventor
缪弼东
齐佳风
朱海燕
宋东海
李曌宇
霍文婷
刘浩
夏志远
郄燚明
胡佳宾
马进军
高峰
黎锋
张斌
饶洪伟
刘建丁
侯瑞
李超
胡记绪
张峰
刘亚光
焦伟峰
闫亚楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway Electrification Survey Design and Research Institute Co Ltd
Third Engineering Co Ltd of China Railway Electrification Engineering Group Co Ltd
Original Assignee
China Railway Electrification Survey Design and Research Institute Co Ltd
Third Engineering Co Ltd of China Railway Electrification Engineering Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway Electrification Survey Design and Research Institute Co Ltd, Third Engineering Co Ltd of China Railway Electrification Engineering Group Co Ltd filed Critical China Railway Electrification Survey Design and Research Institute Co Ltd
Priority to CN202210139752.0A priority Critical patent/CN114187295B/zh
Publication of CN114187295A publication Critical patent/CN114187295A/zh
Application granted granted Critical
Publication of CN114187295B publication Critical patent/CN114187295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器学习的绝缘子缺陷检测方法，包括：将绝缘子图片转化为多个信号值，将绝缘子轴向方向作为图片的行方向，将与行方向垂直的方向作为列方向，图片的行方向为信号时间方向，图片列方向的灰度值为信号强度值；设置辨识模型；将信号值输入辨识模型，由辨识模型输出辨识结果。本发明公开的基于机器学习的绝缘子缺陷检测方法，辨识率高，尤其针对绝缘子破损、闪络、裂纹以及绝缘子污染，辨识效果更佳。

Description

基于机器学习的绝缘子缺陷检测方法
技术领域
本发明涉及一种绝缘子缺陷检测方法，具体涉及一种基于机器学习的绝缘子缺陷检测方法，属于铁路检测技术领域。
背景技术
绝缘子是铁路输电线路的重要组成部分，其状态是否良好直接决定了高铁的稳定性。
随着绝缘子的使用时限的增长，势必会有部分绝缘子出现损坏，因此，需要对绝缘子进行检测，以及时发现问题并解决。
传统的检测方法为人为观察，这种方法工作量大、准确率低，并且检测速度慢，耗费巨大。
现有技术中具有采用高清摄像头拍摄绝缘子照片再针对照片进行判定的方法，但是由于绝缘子表面具有陶瓷或类似的高反光材料，严重影响照片质量，导致通过传统的图像识别绝缘子缺陷时识别率较低。
现有技术中还具有对绝缘子图线先进行处理再进行识别的方式，例如专利号为“CN 109753929”的发明专利“一种图库联合的高铁绝缘子巡检图像识别方法”，此种方法虽然能在一定程度上提高识别率，但是仍然无法彻底解决反光引起的光线干扰的问题。
此外，还有基于图片中绝缘子轮廓识别的方法，如专利号为“CN 103247044”的专利“基于高铁接触网绝缘子曲线状和点状奇异性特征的不良状态检测方法”，此种方法主要针对绝缘子外形进行检测，无法发现绝缘子裂纹情况，此外其对照片要求较高，必须夜晚拍摄以减少光线干扰，适应性较弱，且其识别准确率仍然不高。
因此，有必要研究一种能够绝缘子缺陷识别率的方法，以提高缺陷检测效率及检测准确度，提高检测方法的适应性。
发明内容
为了克服上述问题，本发明人进行了深入研究，提供了一种基于机器学习的绝缘子缺陷检测方法，包括：
将绝缘子图片转化为多个信号值，将绝缘子轴向方向作为图片的行方向，将与行方向垂直的方向作为列方向，图片的行方向为信号时间方向，图片列方向的灰度值为信号强度值；
设置辨识模型；
将信号值输入辨识模型，由辨识模型输出辨识结果。
优选地，提取图片中绝缘子对应位置像素的灰度值，形成灰度值矩阵，灰度值矩阵中，将行方向作为时序方向，则每一行都为一个一维信号。
优选地，所述辨识模型包括一个滑动模块、多个循环神经网络模块和多个关联模块、一个比对模块；
所述滑动模块用于将信号值拆分为多组信号集，每组信号集中含有多个一维信号，每组信号集中一维信号的开始时间和结束时间均相同；
所述循环神经网络模块为能够对时间序列数据进行处理，输出下一时刻预测数据的神经网络，
所述关联模块用于将多个循环神经网络模块的输出结果关联起来，通过其它循环神经网络模块的输出数据对对应循环神经网络模块的输出值进行修正，输出修正后的预测值，
所述比对模块，将多个关联模块输出的预测值与信号实际值进行比对，输出辨识结果，
所述辨识结果包括绝缘子是否存在缺陷。
优选地，所述循环神经网络模块的输入为一段时间的信号，输出为下一时刻的信号预测值，输入不同循环神经网络模块的信号不同，多个循环神经网络模块输入信号的开始时间和结束时间相同。
优选地，所述关联模块的个数与循环神经网络模块的个数相同且与所述循环神经网络模块一一对应，每个关联模块与对应循环神经网络模块、以及该循环神经网络模块相邻的多个循环神经网络模块的输出层相连。
优选地，所述关联模块与对应循环神经网络模块相邻的3~5个循环神经网络模块相连。
优选地，所述比对模块包括差异率子模块和结果子模块，其中，差异率子模块用于比对预测值与实际值，获得差异率数列；
所述结果子模块用于根据具有时序关系的差异率数列组辨识出最终结果，其输入为差异率数列组，输出为最终的辨识结果。
本发明还提供了一种绝缘子缺陷检测装置，包括图像转换模块和辨识模型，
所述图像转换模块用于提取图片中绝缘子对应位置像素的灰度值，形成灰度值矩阵，灰度值矩阵的每一行都为一个一维信号；
所述辨识模型包括一个滑动模块、多个循环神经网络模块、多个关联模块和一个比对模块，
所述滑动模块用于将信号值拆分为多组信号集，每组信号集中含有多个一维信号，每组信号集中一维信号的开始时间和结束时间均相同；
所述循环神经网络模块为能够对时间序列数据进行处理，输出下一时刻预测数据的神经网络，
所述关联模块用于将多个循环神经网络模块的输出结果关联起来，通过其它循环神经网络模块的输出数据对对应循环神经网络模块的输出值进行修正，输出修正后的预测值，
所述比对模块，将多个关联模块输出的预测值与信号实际值进行比对，输出辨识结果。
本发明还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法中任一项所述的方法。
本发明还提供了一种存储有计算机指令的计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述方法中任一项所述的方法。
本发明所具有的有益效果包括：
（1）辨识率高，尤其针对绝缘子破损、闪络、裂纹以及绝缘子污染，辨识率可达99%；
（2）对训练样本要求较低，在缺陷图片样本较少的情况下仍然能够训练出辨识率较高的辨识模型。
附图说明
图1示出一种绝缘子图片；
图2示出一种绝缘子图片；
图3示出根据本发明一种优选实施方式的基于机器学习的绝缘子缺陷检测方法流程示意图；
图4示出根据本发明一种优选实施方式的基于机器学习的绝缘子缺陷检测方法中滑动模块拆分信号集过程示意图；
图5示出根据本发明一种优选实施方式的基于机器学习的绝缘子缺陷检测方法中辨识模型结果示意图。
具体实施方式
下面通过附图和实施例对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
一方面，本发明提出了一种基于机器学习的绝缘子缺陷检测方法，针对绝缘子的特点，提取图片中的绝缘子的亮度值，将亮度值转化为信号值，以信号值为神经网络的输入，获得绝缘子缺陷的检测结果。
发明人发现，由于绝缘子表面瓷片具有高反光特性，绝缘子照片会出现高亮度区域，导致传统的图片识别方法难以正确的识别绝缘子缺陷，而传统的绝缘子缺陷检测方法，大都基于图片识别方法建立的，虽然通过各种手段降低反光的高亮区域对图片的影响，然而仍然会出现较高的错误率。
此外，由于绝缘子损坏的部分差异较大，导致缺陷样本种类多、缺陷样本数量少，难以形成大量可供神经网络学习的样本，进一步降低了神经网络对绝缘子缺陷的识别率。
经过大量研究，发明人发现，由于绝缘子包括多个串联的环形瓷片，同型号的绝缘子瓷片的数量与间距完全相同，而环形瓷片在阳光、闪光灯、车灯等的照射下，常常会在特定角度的边缘出现高反光，其余位置为低反光，如图1所示，如此形成间隔的高反光、低反光区域，图像对应位置的灰度值也会形成周期性变化。
当绝缘子表面出现瓷片破损或瓷片间杂物等缺陷时，上述周期性变化会被破坏，因此，可以将绝缘子图片转化为多个一维信号值，将图片的行方向作为时间轴，将图片列方向的灰度值作为信号值，通过神经网络获得信号的预测值，将预测值与实际值比对，判断绝缘子有无破损或被杂物附着。
具体地，本发明公开的基于机器学习的绝缘子缺陷检测方法包括以下步骤，如图3所示：
S1、将绝缘子图片转化为多个信号值，其中图片的行方向为时间方向，图片列方向的灰度值为信号强度值；
S2、设置辨识模型；
S3、将信号值输入辨识模型，由辨识模型输出辨识结果。
在本发明中，步骤S1、S2的顺序可交换。
在S1中，将绝缘子轴向方向作为图片的行方向，将与行方向垂直的方向作为列方向，如图2所示，
提取图片中绝缘子对应位置像素的灰度值，形成灰度值矩阵。
灰度值矩阵中，将行方向作为时序方向，则每一行都为一个一维信号，灰度值即为信号的强度值；
进一步地，同一列数据对应的时序相同，列数据的个数即为一维信号的个数。
在本发明中，将第n个一维信号的m时刻表示为
Figure 879237DEST_PATH_IMAGE001
，n、m的初始值均为1。
优选地，为降低数据处理量，可以对灰度值矩阵的列数据进行降维使得列中数据的总量降低，在本发明中，对所述降维的具体方法不做特别限定，可以是任意一种已知的方法，例如将连续5个像素灰度的均值作为新的特征值以替代原来的5个数据值，使得列中数据的总量降低至原数据量的1/5。
在一个优选的实施方式中，将连续的多列数据作为同一个时刻使得灰度值矩阵列的总量降低，以降低输入数据量，优选地，将连续列中同一行的像素灰度平均后作为新的特征值，替代连续列中的原有数据值，使得列的总量降低。
在一个优选的实施方式中，在提取绝缘子对应位置像素的灰度值之前，对图片进行缩放，或
在提取绝缘子对应位置像素的灰度值后，对灰度值矩阵进行缩放，使得不同图片的灰度值矩阵的大小相同。
在一个优选的实施方式中，在提取图片中绝缘子像素之前，还具有步骤S0、通过图片识别神经网络判断图片中绝缘子的位置，以去除图片中除绝缘子外其它背景。
所述图片识别神经网络优选为CNN神经网络，由于无需图片识别神经网络寻找绝缘子是否存在缺陷，因此，传统的图片识别神经网络均能够快速准确的判断图片中绝缘子的位置，在本发明中，对所述图片识别神经网络不做特别限定，本领域技术人员可任意选择已知的神经网络模型实现。
在一个优选的实施方式中，在拍摄绝缘子图像时，使用光线以一定角度对绝缘子进行照射，使得照片中绝缘子表面具有明显的反光，从而使得获得的信号的周期性更加明显，提高辨识成功率。
在S2中，所述辨识模型包括一个滑动模块、多个循环神经网络模块、多个关联模块和一个比对模块，其结构如图5所示，
所述滑动模块用于将信号值拆分为多组信号集，每组信号集中含有多个一维信号，每组信号集中一维信号的开始时间和结束时间均相同；第一组信号集的开始时间为m=1，第二组信号集的开始时间为m=2，依次类推，其中，信号集的最后一个信号值传递至比对模块，其余信号值传递至循环神经网络模块，如图4所示。
所述循环神经网络模块为能够对时间序列数据进行处理，输出下一时刻预测数据的神经网络，如经典的RNN神经网络。
所述关联模块的个数与循环神经网络模块的个数相同且与所述循环神经网络模块一一对应，每个关联模块与对应循环神经网络模块、以及该循环神经网络模块相邻的多个循环神经网络模块的输出层相连，用于将多个循环神经网络模块的输出结果关联起来，通过其它循环神经网络模块的输出数据对对应循环神经网络模块的输出值进行修正，输出修正后的预测值。
所述比对模块，将多个关联模块输出的预测值与信号实际值进行比对，输出辨识结果；
所述辨识结果包括绝缘子是否存在缺陷，优选地，所述辨识结果还包括缺陷中心位置对应图片上的行列坐标。
根据本发明，所述循环神经网络模块的输入为一段时间的信号表示为
Figure 549252DEST_PATH_IMAGE002
，其中k为开始时刻，m为结束时刻，输出为下一时刻的信号预测值
Figure 165304DEST_PATH_IMAGE003
；多个循环神经网络模块输入的信号的开始时间和结束时间相同，按图片列数据顺序，将多个一维信号值依次输入不同的循环神经网络模块中，由循环神经网络模块输出对应的预测值
Figure 680599DEST_PATH_IMAGE004
。
在本发明中，将图片数据转变为具有时域的信号值数据后通过循环神经网络进行预测，相比于直接将图像通过CNN神经网络处理，极大降低了神经网路对缺陷样本数量的依赖性，使得神经网络在遇到未知缺陷时，也具有一定的识别率。
在一个优选的实施方式中，所述关联模块与对应循环神经网络模块相邻的3~5个循环神经网络模块相连。根据本发明，在多个一维信号中，单个时刻的信号值可能具有一定的误差，通过相邻的信号对其进行修正，能够极大降低误差值，提高辨识精度，但当两个一维信号的距离较远时，二者不但没有相互修正的作用，还会相互影响，导致预测准确率降低。
优选地，所述关联模块为：
Figure 197031DEST_PATH_IMAGE005
其中，
Figure 37948DEST_PATH_IMAGE006
表示第
Figure 639830DEST_PATH_IMAGE007
个关联模块的输出，
Figure 21133DEST_PATH_IMAGE008
表示第
Figure 392072DEST_PATH_IMAGE009
个循环神经网络模块的输出，h为循环神经网络到关联模块的传递函数矩阵，
Figure 902425DEST_PATH_IMAGE010
为关联层的偏置，
Figure 726025DEST_PATH_IMAGE011
表示激活函数，
Figure 114281DEST_PATH_IMAGE012
表示第
Figure 74146DEST_PATH_IMAGE013
个循环神经网络模块输出对第
Figure 256866DEST_PATH_IMAGE007
个循环神经网络模块输出的影响，关联模块与对应循环神经网络模块相邻的
Figure 833341DEST_PATH_IMAGE014
个循环神经网络模块相连。
进一步地，
Figure 759709DEST_PATH_IMAGE015
的取值预先设定，在训练辨识模型的过程中不变，具体取值本领域技术人员可通过多次实验获得，在本发明中不做特别约束。
完好的绝缘子对应的信号曲线，其每个行维度均具有周期性变化，其列维度之间具有相似性，通过循环神经网络对行维度的周期性进行预测，通过关联模块将列维度之间的相似性进行关联，能够极大程度上提高绝缘子缺陷的检出率。
所述比对模块包括差异率子模块和结果子模块，其中，差异率子模块用于比对预测值与实际值，获得差异率数列；
所述差异率子模块的输入为多个循环神经网络模块输入信号值下一时刻的信号值
Figure 839660DEST_PATH_IMAGE016
，将下一时刻（m+1时刻）的信号值与循环神经网络模块的预测值比较，获得该时刻的差异率数列
Figure 757063DEST_PATH_IMAGE017
。
在一个优选的实施方式中，所述差异率数列为（预测值-实际值）/实际值。
通过对不同时刻进行预测和比对，获得具有时序关系的差异率数列组；
所述结果子模块用于根据具有时序关系的差异率数列组辨识出最终结果，其输入为差异率数列组，输出为最终的辨识结果，优选地，所述结果子模块为GRU神经网络。
GRU神经网络是论文[Cho, K., van Merrienboer, B., Gulcehre, C.,Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). “LearningPhrase Representations using RNN Encoder-Decoder for Statistical MachineTranslation”, arXiv preprint arXiv:1406.1078, 2014.]中提出的一种门控神经网络，能够在较少参数下较为准确的实现时序关系数据的辨识。
优选地，所述GRU神经网络中隐含层的数量为3个，每个隐含层中神经元的个数是64个。
在S3中，将信号输入辨识模型，滑动模块将信号拆分成多组信号集，第一组信号集经过多个循环神经网络模块、关联模块和差异率子模块后获得第一组差异率数列，第二组信号集经过多个循环神经网络模块、关联模块和差异率子模块后获得第二组差异率数列……；
获得的多组差异率数列依次输入至结果子模块，由结果子模块输出最终的辨识结果。
根据本发明提供的绝缘子缺陷检测方法，能够对绝缘子破损、闪络、裂纹以及绝缘子污染等具有极高的识别率，实际测试其成功识别率超过99%，极大提高了绝缘子缺陷检出率。
本发明还提供了一种绝缘子缺陷检测装置，包括图像转换模块和辨识模型，
所述图像转换模块用于提取图片中绝缘子对应位置像素的灰度值，形成灰度值矩阵，灰度值矩阵的每一行都为一个一维信号。
所述辨识模型包括一个滑动模块、多个循环神经网络模块、多个关联模块和一个比对模块，
所述滑动模块用于将信号值拆分为多组信号集，每组信号集中含有多个一维信号，每组信号集中一维信号的开始时间和结束时间均相同；
所述循环神经网络模块为能够对时间序列数据进行处理，输出下一时刻预测数据的神经网络，优选为RNN神经网络。
所述关联模块用于将多个循环神经网络模块的输出结果关联起来，通过其它循环神经网络模块的输出数据对对应循环神经网络模块的输出值进行修正，输出修正后的预测值；
进一步地，所述关联模块的个数与循环神经网络模块的个数相同且与所述循环神经网络模块一一对应，每个关联模块与对应循环神经网络模块、以及该循环神经网络模块相邻的多个循环神经网络模块的输出层相连。
所述比对模块，将多个关联模块输出的预测值与信号实际值进行比对，输出辨识结果。
根据本发明，所述循环神经网络模块的输入为一段时间的信号，输入不同循环神经网络模块的信号不同，多个循环神经网络模块输入信号的开始时间和结束时间相同。
所述关联模块与对应循环神经网络模块相邻的3~5个循环神经网络模块相连。
所述关联模块为：
Figure 555255DEST_PATH_IMAGE018
其中，
Figure 19734DEST_PATH_IMAGE019
表示第
Figure 219771DEST_PATH_IMAGE020
个关联模块的输出，
Figure 9873DEST_PATH_IMAGE021
表示第
Figure 29781DEST_PATH_IMAGE022
个循环神经网络模块的输出，h为循环神经网络到关联模块的传递函数矩阵，
Figure 297951DEST_PATH_IMAGE023
为关联层的偏置，
Figure 851030DEST_PATH_IMAGE011
表示激活函数，
Figure 546454DEST_PATH_IMAGE024
表示第
Figure 319238DEST_PATH_IMAGE025
个循环神经网络模块输出对第
Figure 391099DEST_PATH_IMAGE026
个循环神经网络模块输出的影响，关联模块与对应循环神经网络模块相邻的
Figure 96887DEST_PATH_IMAGE027
个循环神经网络模块相连。
优选地，所述比对模块包括差异率子模块和结果子模块，其中，差异率子模块用于比对预测值与实际值，获得差异率数列；
所述差异率子模块的输入为多个循环神经网络模块输入信号值下一时刻的信号值，将下一时刻的信号值与循环神经网络模块的预测值比较，获得该时刻的差异率数列；
所述结果子模块用于根据具有时序关系的差异率数列组辨识出最终结果，其输入为差异率数列组，输出为最终的辨识结果。
优选地，所述结果子模块为GRU神经网络。
本发明中以上描述的方法的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的方法和装置，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的方法和装置实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与V P S服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
以上结合具体实施方式和范例性实例对本发明进行了详细说明，不过这些说明并不能理解为对本发明的限制。本领域技术人员理解，在不偏离本发明精神和范围的情况下，可以对本发明技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本发明的范围内。

Claims (9)

1.一种基于机器学习的绝缘子缺陷检测方法，其特征在于，包括：
将绝缘子图片转化为多个信号值，将绝缘子轴向方向作为图片的行方向，将与行方向垂直的方向作为列方向，图片的行方向为信号时间方向，图片列方向的灰度值为信号强度值；
设置辨识模型；
将信号值输入辨识模型，由辨识模型输出辨识结果；
所述辨识模型包括一个滑动模块、多个循环神经网络模块、多个关联模块和一个比对模块；
所述滑动模块用于将信号值拆分为多组信号集，每组信号集中含有多个一维信号，每组信号集中一维信号的开始时间和结束时间均相同，信号集的最后一个信号值传递至比对模块，其余信号值传递至循环神经网络模块；
所述循环神经网络模块为能够对时间序列数据进行处理，输出下一时刻预测数据的神经网络，
所述关联模块用于将多个循环神经网络模块的输出结果关联起来，通过其它循环神经网络模块的输出数据对对应循环神经网络模块的输出值进行修正，输出修正后的预测值，
所述比对模块，将多个关联模块输出的预测值与信号实际值进行比对，输出辨识结果，
所述辨识结果包括绝缘子是否存在缺陷；
所述关联模块为：
Figure DEST_PATH_IMAGE001
其中，
Figure 515168DEST_PATH_IMAGE002
表示第
Figure 647072DEST_PATH_IMAGE003
个关联模块的输出，
Figure 782519DEST_PATH_IMAGE004
表示第
Figure DEST_PATH_IMAGE005
个循环神经网络模块的输出，h为循环神经网络到关联模块的传递函数矩阵，
Figure 313863DEST_PATH_IMAGE006
为关联层的偏置，
Figure DEST_PATH_IMAGE007
表示激活函数，
Figure 391934DEST_PATH_IMAGE008
表示第
Figure 835685DEST_PATH_IMAGE005
个循环神经网络模块输出对第
Figure 317482DEST_PATH_IMAGE003
个循环神经网络模块输出的影响，关联模块与对应循环神经网络模块相邻的
Figure DEST_PATH_IMAGE009
个循环神经网络模块相连。
2.根据权利要求1所述的基于机器学习的绝缘子缺陷检测方法，其特征在于，
提取图片中绝缘子对应位置像素的灰度值，形成灰度值矩阵，灰度值矩阵中，将行方向作为时序方向，则每一行都为一个一维信号。
3.根据权利要求1所述的基于机器学习的绝缘子缺陷检测方法，其特征在于，
所述循环神经网络模块的输入为一段时间的信号，输出为下一时刻的信号预测值，输入不同循环神经网络模块的信号不同，多个循环神经网络模块输入信号的开始时间和结束时间相同。
4.根据权利要求1所述的基于机器学习的绝缘子缺陷检测方法，其特征在于，
所述关联模块的个数与循环神经网络模块的个数相同且与所述循环神经网络模块一一对应，每个关联模块与对应循环神经网络模块、以及该循环神经网络模块相邻的多个循环神经网络模块的输出层相连。
5.根据权利要求1所述的基于机器学习的绝缘子缺陷检测方法，其特征在于，
所述关联模块与对应循环神经网络模块相邻的3~5个循环神经网络模块相连。
6.根据权利要求1所述的基于机器学习的绝缘子缺陷检测方法，其特征在于，
所述比对模块包括差异率子模块和结果子模块，其中，差异率子模块用于比对预测值与实际值，获得差异率数列，差异率子模块的输入为多个循环神经网络模块输入信号值下一时刻的信号值，将下一时刻的信号值与循环神经网络模块的预测值比较，获得该时刻的差异率数列，所述差异率数列为（预测值- 实际值）/实际值，通过对不同时刻进行预测和比对，获得具有时序关系的差异率数列组；
所述结果子模块用于根据具有时序关系的差异率数列组辨识出最终结果，其输入为差异率数列组，输出为最终的辨识结果。
7.一种绝缘子缺陷检测装置，包括图像转换模块和辨识模型，其特征在于，
所述图像转换模块用于提取图片中绝缘子对应位置像素的灰度值，形成灰度值矩阵，灰度值矩阵的每一行都为一个一维信号；
所述辨识模型包括一个滑动模块、多个循环神经网络模块、多个关联模块和一个比对模块，
所述滑动模块用于将信号值拆分为多组信号集，每组信号集中含有多个一维信号，每组信号集中一维信号的开始时间和结束时间均相同，信号集的最后一个信号值传递至比对模块，其余信号值传递至循环神经网络模块；
所述循环神经网络模块为能够对时间序列数据进行处理，输出下一时刻预测数据的神经网络，
所述关联模块用于将多个循环神经网络模块的输出结果关联起来，通过其它循环神经网络模块的输出数据对对应循环神经网络模块的输出值进行修正，输出修正后的预测值，
所述比对模块，将多个关联模块输出的预测值与信号实际值进行比对，输出辨识结果；
所述关联模块为：
Figure 652517DEST_PATH_IMAGE001
其中，
Figure 536159DEST_PATH_IMAGE002
表示第
Figure 476495DEST_PATH_IMAGE003
个关联模块的输出，
Figure 196320DEST_PATH_IMAGE004
表示第
Figure 521997DEST_PATH_IMAGE005
个循环神经网络模块的输出，h为循环神经网络到关联模块的传递函数矩阵，
Figure 791305DEST_PATH_IMAGE006
为关联层的偏置，
Figure 452224DEST_PATH_IMAGE007
表示激活函数，
Figure 285444DEST_PATH_IMAGE008
表示第
Figure 306490DEST_PATH_IMAGE005
个循环神经网络模块输出对第
Figure 649878DEST_PATH_IMAGE003
个循环神经网络模块输出的影响，关联模块与对应循环神经网络模块相邻的
Figure 104868DEST_PATH_IMAGE009
个循环神经网络模块相连。
8.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
9.一种存储有计算机指令的计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
CN202210139752.0A 2022-02-16 2022-02-16 基于机器学习的绝缘子缺陷检测方法 Active CN114187295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210139752.0A CN114187295B (zh) 2022-02-16 2022-02-16 基于机器学习的绝缘子缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210139752.0A CN114187295B (zh) 2022-02-16 2022-02-16 基于机器学习的绝缘子缺陷检测方法

Publications (2)

Publication Number Publication Date
CN114187295A CN114187295A (zh) 2022-03-15
CN114187295B true CN114187295B (zh) 2022-05-13

Family

ID=80546045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210139752.0A Active CN114187295B (zh) 2022-02-16 2022-02-16 基于机器学习的绝缘子缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114187295B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103076338B (zh) * 2012-05-31 2014-11-05 西南交通大学 高铁接触网棒式绝缘子不良状态检测的快速模糊匹配方法
US9384560B2 (en) * 2014-10-27 2016-07-05 King Fahd University Of Petroleum And Minerals Contamination level estimation method for high voltage insulators
CN104764748B (zh) * 2015-05-04 2017-08-11 成都唐源电气有限责任公司 定位绝缘子的方法、系统以及故障检测的方法和系统
CN110728698B (zh) * 2019-09-30 2023-05-16 天津大学 一种基于复合循环神经网络系统的多目标跟踪系统

Also Published As

Publication number Publication date
CN114187295A (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
WO2022052181A1 (zh) 一种基于零样本学习的绝缘子缺陷检测方法及系统
CN110942074B (zh) 字符切分识别方法、装置、电子设备、存储介质
CN111652857B (zh) 一种绝缘子缺陷红外检测方法
CN108764138B (zh) 一种基于多维多粒度级联森林的高原地区云雪分类方法
CN114092742B (zh) 一种基于多角度的小样本图像分类装置和方法
CN112085651B (zh) 一种基于图像自适应阈值与特征提取的激波自动检测跟踪算法
CN113344826B (zh) 图像处理方法、装置、电子设备及存储介质
JPH1125127A (ja) 文書分類方法及び文書分類装置
CN112270658A (zh) 一种基于机器视觉的电梯钢丝绳检测方法
JP2019153293A (ja) 人工ニューラルネットワークを用いたｏｃｒシステムのための、線認識最大−最小プーリングを用いたテキスト画像の処理
CN115471487A (zh) 绝缘子缺陷检测模型构建及绝缘子缺陷检测方法、装置
CN114998337A (zh) 一种划痕检测方法、装置、设备及存储介质
CN114187295B (zh) 基于机器学习的绝缘子缺陷检测方法
CN115937091A (zh) 基于可变换patch的变电站设备缺陷图像检测方法
CN109657682B (zh) 一种基于深度神经网络和多阈值软切分的电能表示数识别方法
CN113160209A (zh) 用于建筑外立面损伤检测的目标标注方法及目标识别方法
CN110598674A (zh) 一种基于模式识别的转辙机故障识别方法
CN104484869A (zh) 面向排序测度特征的图像匹配方法及系统
CN111402223B (zh) 一种利用变电站视频图像的变电站缺陷问题检测方法
CN111242053B (zh) 一种输电线路火焰检测方法及系统
CN114550197A (zh) 一种端子排图像检测信息匹配方法
Zhi et al. A Hybrid Framework for Text Recognition Used in Commodity Futures Document Verification
CN114708484B (zh) 适用于识别缺陷的图形分析方法
CN117576513B (zh) 端到端航天器组件检测方法、装置及介质
Ma Detection Method of Insulator String Pin Based on YOLOv5-nS Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant