CN111310761B - 基于重构和分类卷积自编码网络的接触网绝缘子检测方法 - Google Patents

基于重构和分类卷积自编码网络的接触网绝缘子检测方法 Download PDF

Info

Publication number
CN111310761B
CN111310761B CN202010149743.0A CN202010149743A CN111310761B CN 111310761 B CN111310761 B CN 111310761B CN 202010149743 A CN202010149743 A CN 202010149743A CN 111310761 B CN111310761 B CN 111310761B
Authority
CN
China
Prior art keywords
insulator
network
image
threshold
fault
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010149743.0A
Other languages
English (en)
Other versions
CN111310761A (zh
Inventor
刘志刚
刘文强
王惠
李昱阳
杨成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202010149743.0A priority Critical patent/CN111310761B/zh
Publication of CN111310761A publication Critical patent/CN111310761A/zh
Application granted granted Critical
Publication of CN111310761B publication Critical patent/CN111310761B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于重构和分类卷积自编码网络的接触网绝缘子检测方法，具体为：1、对高速铁路接触网支撑及悬挂装置进行成像；2、建立绝缘子的样本数据集，进行绝缘子目标检测与分割；3、利用坐标变换将绝缘子调整为水平，利用离群值检测去除噪声，对绝缘子进行边缘检测后进行二次函数拟合，对采集到的绝缘子图像进行逐片裁剪，最终建立绝缘子片数据集；4、搭建重构和分类卷积自动编码网络，判断是否存绝缘子误分类，并提取绝缘子故障区域；5、对分离出的前景图像进行聚类，根据聚类结果，建立故障判断准则；通过设置阈值判断绝缘子是否故障，并进一步评估故障的级别。本发明检测结果客观、真实、精确，克服了传统检测方法的缺陷。

Description

基于重构和分类卷积自编码网络的接触网绝缘子检测方法
技术领域
本发明属于高速铁路图像智能检测技术领域，具体涉及一种基于重构和分类卷积自编码网络的接触网绝缘子检测方法。
背景技术
接触网是高速铁路系统中关键的组成之一，对铁路的稳定和安全运营起着至关重要的作用。但是，由于复杂而恶劣的操作环境，接触网的组件很容易损坏，这时可能会导致火车运行中断，危及乘客的安全。在电气化铁道供电系统中,腕臂支持装置主要包括斜腕臂、水平腕臂(拉杆)、棒式绝缘子及相关零部件。棒式绝缘子用以悬挂支持斜腕臂和水平腕臂并保持接触线对接地体保持电气绝缘。斜腕臂和水平腕臂组成稳定三角形结构，为承力索提供支持力并连接定位装置。由于需要承受斜腕臂和水平腕臂的重力负荷和面对严峻的环境条件，在运行时难免会产生绝缘子片残缺或者污垢等不正常运营状态，给动车组的安全运行带来隐患，因此接触网检查系统将定期对接触网系统进行监视和检查，并采取措施排除隐患。此外，随着电力铁路的飞速发展，传统的手动一对一故障排除方法已无法满足高速铁路的维护需求。因此，提出了许多基于可视化的接触网缺陷检测方法，并在该领域中得到了应用。据统计，零件的缺陷类型主要是物理和机械故障。
目前，国内外基于图像处理的接触网组件故障状态检测已有一些研究。韩烨提出了一种悬链线裂纹检测的检测方法。首先根据悬链线的纹理结构特征，为接触网的子图像建立区域可缩放的拟合，以提取边缘图，然后计算提取区域的小波熵以检测裂纹。刘志刚等提出了一种等电位线散线检测方法。首先利用马尔可夫随机场模型分割等电线轮廓，通过分析独立连接区域的数量和像素的标准偏差来评估故障状态。陈隽文提出了一种级联了三网络的接触网紧固件缺失检测方法，第一级网络用于定位大型连接件，第二级网络在连接件区域上定位小型紧固件，第三级网络判断紧固件的缺陷状态。刘志刚等提出了一种基于生成对抗网络(GAN)的棒绝缘子缺陷检测方法，绝缘子区域由Faster R-CNN定位，并且将整个绝缘子区域放入GAN中以判断绝缘子状态。康高强等提出了一种基于AE(自编码器)网络的棒形绝缘子缺陷检测方法，首先利用Faster R-CNN定位绝缘子，然后将绝缘子分为许多小块，并将这些小块放入多任务神经网络，用于判断绝缘子状态。上述方法各有弊端，如GAN只能判断是否有故障，而不能判断故障的分布，且易受到背景干扰影响，AE网络存在功能冗余等。由于现场采集的接触网支撑及悬挂装置图像普遍较复杂，且采用的图像处理技术相对复杂，因此急需一种简单迅速的图像检测算法对绝缘子的故障状态进行快速定位与检测。
发明内容
为了实现绝缘子污垢等不良状态的检测、快速定位和故障级别评估(正常，轻微和严重)。本发明提供了一种基于重构和分类卷积自编码网络的接触网绝缘子检测方法。
本发明的基于重构和分类卷积自编码网络的接触网绝缘子检测方法，包括以下步骤：
步骤1：采用专用综合列检车对高速铁路接触网支撑及悬挂装置进行成像。
步骤2：建立绝缘子的样本数据集，采用ResNet101-FPN作为骨干网的Mask-RCNN卷积神经网络进行绝缘子目标检测与分割，从而定位出接触网支撑及悬挂装置图像中绝缘子的位置并分割。
步骤3：根据步骤2的定位结果计算绝缘子最小外接矩，根据矩形坐标计算外接矩的倾斜角度，利用坐标变换将绝缘子调整为水平，最终得到水平绝缘子图像；利用离群值检测去除噪声，对绝缘子进行边缘检测后进行二次函数拟合，对采集到的绝缘子图像进行逐片裁剪，最终建立绝缘子片数据集。
步骤4：搭建重构和分类卷积自动编码网络，对步骤3建立的绝缘子片进行背景图像(复原的绝缘体块)和前景图像(输入和复原的绝缘体块的差值图像)分离，判断是否存绝缘子误分类(背景图像)，并提取绝缘子故障区域(前景图像)。
步骤5：通过具有噪声的基于密度的聚类方法(DBSCAN：Density-based spatialclustering of applications with noise)对分离出的前景图像进行聚类，根据聚类结果，建立故障判断准则；通过设置阈值判断绝缘子是否故障，并进一步评估故障的级别。
进一步的，步骤2的具体过程如下：
2.1首先对输入图像进行卷积操作，得到特征图。
2.2由区域建议网络(RPN，Region Proposal Network)提取感兴趣区域集(RoIs，Region of Interests)。
2.3对每个感兴趣区域RoI进行分类、定位、分割生成掩码。
进一步的，步骤3的具体过程如下：
3.1通过Graham-Scan算法搜索凸包，对绝缘子掩码区域计算最小外接矩形，这样可以最大限度的去除背景干扰，同时保证算法的时效性；根据矩形坐标计算外接矩的倾斜角度，利用坐标变换将绝缘子调整至水平，得到水平绝缘子图像。
3.2为了突出绝缘子片的边缘信息，对绝缘子图像进行二值化处理，通过对绝缘子图像的分析，可以发现绝缘子片表面的亮度最大，因此二值化的阈值被设置为0.8。
3.3为了避免噪声的干扰，与简单的基于图像形态学的腐蚀去噪操作相比，因离群值检测方法考虑了点集的空间关系并且可以平滑图像边缘，基于K最近邻(KNN，K NearestNeighbor)的离群值检测更适于去除噪声。通过对二值化后的绝缘子图像进行分析，可以知道影响计算的最大噪声长度约为9个像素。因此将搜索样本的数量k设置为80，并将过滤器阈值设置为4。
3.4为了检测绝缘子片的边缘，利用曲线拟合检测绝缘子片边缘，通过对绝缘子片的结构分析，可以知道绝缘子片的中心边缘轮廓近似于二次曲线，因此在每个绝缘子片的边缘采样四个点以拟合边缘。但是由于四个采样点是在去噪绝缘子图像上，因此边缘点向左校正了4个像素，使用校正后的边缘线的垂向切线切割获得每个绝缘子片。
进一步的，步骤4的具体为：
融合卷积神经网络和自编码网络的特性，建立重构和分类卷积自动编码网络，对步骤3建立的绝缘子片数据集进行背景图像(复原的绝缘体块)和前景图像(输入和复原的绝缘体块的差值图像)分离，实现对绝缘子故障区域提取，通过对分离的背景图像进行检测，判断是否存在绝缘子误分类。
进一步的，步骤5的具体过程如下：
5.1首先利用DBSCAN算法对步骤4提取的绝缘子片的缺陷图进行聚类；
5.2根据聚类结果，针对绝缘子状态，包括正常、严重缺陷和轻微缺陷分别设置缺陷阈值Thresholdsevere和Thresholdslghit。
5.3当聚类中某类样本超过阈值Thresholdsevere时，给出故障标签：严重缺陷，则此检测将中断，否则继续。
5.4继续判断是否超过阈值Thresholdslghit，如果是，则缺陷状态先标记为轻微缺陷。
5.5当遍历所有聚类结果后，轻微缺陷的数量超过阈值Threshold_Cslightv，则缺陷状态标记为：严重缺陷；否则缺陷状态标记为：轻微缺陷。
5.6如果未发现严重缺陷和轻微缺陷，则缺陷状态标标记为：正常。
与现有技术相比，本发明的有益效果是：
1.本发明实现对高铁接触网绝缘子残缺和污垢不良状态的检测，不受光照强度，拍摄角度、距离的影响，给出客观、真实、精确的检测分析结果，克服了传统人工检测方法的缺陷。
2.本发明方法根据绝缘子片的结构特征，提出的绝缘子分割方法可以解决接触网设备的背景干扰和精确切割绝缘子的问题。
3.本发明方法建立的具备重构和分类功能的自编码网络能够将绝缘子的前景和背景分离，准确地提取绝缘子的缺陷区域。另外该网络可以识别分类分绝缘片，避免了由于某些特殊或不可预料的条件而无法准确地对绝缘片进行分割的问题，提高了网络的健壮性与鲁棒性。
4.本发明方法提出的绝缘子缺陷评估方法能够有效地评估绝缘子的缺陷等级，为现场维修人员的维护提供更好的决策参考。
附图说明
图1为本发明方法处理过程框图。
图2为本发明步骤3的处理过程框图。
图3为自动编码网络示意图。
图4为自动编码网络卷积单元示意图。
图5为自动编码网络整流线性单位示意图。
图6为自动编码网络残余网络块单元示意图。
图7为自动编码网络池化单元示意图。
图8为自动编码网络上采样单元示意图。
图9为自动编码网络Sigmoid函数。
图10为自动编码网络Dropout单元示意图。
图11为完整的网络结构示意图。
图12为本发明步骤5诊断方法流程。
图13为本发明现场采集的高速铁路接触网支撑及悬挂装置图像。
图14为Mask-RCNN卷积神经网络定位到的绝缘子区域。
图15为利用坐标变换对绝缘子进行变换旋转后得到的水平绝缘子图。
图16为利用离群值检测去除含有噪声的绝缘子图像对比图。
图17为利用边缘检测对绝缘子片进行二次函数拟合切割图。
图18为截取的单个绝缘子图像。
图19为经过重建和分类卷积自动编码网络(RCCAEN)处理的绝缘子故障状态对比图(图中从上到下依次为：正常、轻微、严重)。
图20为截取的绝缘子故障状态前景对比图(图中从上到下依次为：正常、轻微、严重)。
具体实施方式
下面结合附图和具体实例对本发明做进一步详细说明。
本发明的基于重构和分类卷积自编码网络的接触网绝缘子检测方法，处理过程框图如图1所示；包括以下步骤：
步骤1：采用专用综合列检车对高速铁路接触网支撑及悬挂装置进行成像。
步骤2：建立绝缘子的样本数据集，采用ResNet101-FPN作为骨干网的Mask-RCNN卷积神经网络进行绝缘子目标检测与分割，从而定位出接触网支撑及悬挂装置图像中绝缘子的位置并分割。
步骤3：根据步骤2的定位结果计算绝缘子最小外接矩，根据矩形坐标计算外接矩的倾斜角度，利用坐标变换将绝缘子调整为水平，最终得到水平绝缘子图像；利用离群值检测去除噪声，对绝缘子进行边缘检测后进行二次函数拟合，对采集到的绝缘子图像进行逐片裁剪，最终建立绝缘子片数据集。
步骤4：搭建重构和分类卷积自动编码网络，对步骤3建立的绝缘子片进行背景图像(复原的绝缘体块)和前景图像(输入和复原的绝缘体块的差值图像)分离，判断是否存绝缘子误分类(背景图像)，并提取绝缘子故障区域(前景图像)。
步骤5：通过具有噪声的基于密度的聚类方法(DBSCAN：Density-based spatialclustering of applications with noise)对分离出的前景图像进行聚类，根据聚类结果，建立故障判断准则；通过设置阈值判断绝缘子是否故障，并进一步评估故障的级别。
进一步的，步骤2的具体过程如下：
2.1首先对输入图像进行卷积操作，得到特征图。
2.2由区域建议网络(RPN，Region Proposal Network)提取感兴趣区域集(RoIs，Region of Interests)。
2.3对每个感兴趣区域RoI进行分类、定位、分割生成掩码。
进一步的，步骤3如图2所示，具体过程如下：
3.1通过Graham-Scan算法搜索凸包，对绝缘子掩码区域计算最小外接矩形，这样可以最大限度的去除背景干扰，同时保证算法的时效性；根据矩形坐标计算外接矩的倾斜角度，利用坐标变换将绝缘子调整至水平，得到水平绝缘子图像。
3.2为了突出绝缘子片的边缘信息，对绝缘子图像进行二值化处理，通过对绝缘子图像的分析，可以发现绝缘子片表面的亮度最大，因此二值化的阈值被设置为0.8。
3.3为了避免噪声的干扰，与简单的基于图像形态学的腐蚀去噪操作相比，因离群值检测方法考虑了点集的空间关系并且可以平滑图像边缘，基于K最近邻(KNN，K NearestNeighbor)的离群值检测更适于去除噪声。通过对二值化后的绝缘子图像进行分析，可以知道影响计算的最大噪声长度约为9个像素。因此将搜索样本的数量k设置为80，并将过滤器阈值设置为4。
3.4为了检测绝缘子片的边缘，利用曲线拟合检测绝缘子片边缘，通过对绝缘子片的结构分析，可以知道绝缘子片的中心边缘轮廓近似于二次曲线，因此在每个绝缘子片的边缘采样四个点以拟合边缘。但是由于四个采样点是在去噪绝缘子图像上，因此边缘点向左校正了4个像素，使用校正后的边缘线的垂向切线切割获得每个绝缘子片。
进一步的，步骤4的具体为：
融合卷积神经网络和自编码网络的特性，建立重构和分类卷积自动编码网络，对步骤3建立的绝缘子片数据集进行背景图像(复原的绝缘体块)和前景图像(输入和复原的绝缘体块的差值图像)分离，实现对绝缘子故障区域提取，通过对分离的背景图像进行检测，判断是否存在绝缘子误分类。
自动编码网络通常由三部分组成：输入层x，隐藏层h和输出层y，以及两个编码阶段：编码器和解码器。首先编码器将输入向量转换为更抽象的特征向量，然后解码器从特征向量重构输入。自动编码器可以用公式描述如下：
编码器处理：
z＝f(Wex+be)
解码器处理：
y＝f(Wdz+bd)
通过减少重建误差进行训练：
Figure BDA0002402008890000061
上式中f表示激活函数，如逻辑sigmoid，tanh，ReLU等；We和be表示编码器权重矩阵和偏置矢量；Wd和bd表示解码器权重矩阵和偏差。自动编码网络如图3所示。
与完全连接的神经网络相比，卷积神经网络具有保留结构信息，共享权值并减少耗时的优势。为此建立了卷积自编码网络以改进标准自编码网络，以用于分类和提取缺陷表面区域。所建立的重构、分类卷积自编码网络主要由以下单元组成。
1).卷积单元(Conv)如图4。卷积单元用于替换完全连接的单元以计算神经网络，使用@kc×kc大小的内核卷积单元来响应图像的局部区域，这使系统具有局部感知能力，通过权重分配，网络参数规模变小，网络速度提高。
2).批量归一化单位(BN)。批量归一化单位用于抑制梯度弥散，当训练网络更新前面层网络参数时，后续网络各层的输入数据分布已更改。如果数据处于梯度较小的区域中，则学习速度将很慢，甚至长时间保持不变。但是当减去均值并除以方差时，数据将移动到中心区域，该区域具有最大的梯度或大多数激活函数的梯度，可以成功解决梯度弥散问题。处理过程介绍如下：
输入：xl，γ,β。xl表示批次大小，迷你批次的大小为m，学习的参数为γ,β。
输出：
Figure BDA0002402008890000071
Figure BDA0002402008890000072
Figure BDA0002402008890000073
Figure BDA0002402008890000074
Figure BDA0002402008890000075
3).整流线性单位(ReLU)如图5所示。作为中值激活函数的整流线性单位，用于避免梯度爆炸。ReLU函数在正半轴原值输出，而在负半轴归零。且ReLU不使用指数函数，因此网络收敛更快。此外它不会在正半轴上饱和，可以抵抗梯度的消失，在负半轴上为零，这将使神经单元无效，从而增强网络稀疏性。
4).残余网络块单元(ResBlock)如图6所示。残余网络块单元由于抑制网络加深而导致的性能下降[14]。将身份函数(由于和的层深度不相同，因此添加了具有内核dl-1@1×1@dl的Conv层以增加尺寸)网络以保持上一层的输出并避免性能下降。
5).池化单元如图7所示。池化单元用于减少网络参数和缩小特征图的比例。选择最大池化作为池化单位，通过设置池化大小和滤波器的步幅，抽象出隐藏特征。
6).上采样单元(US)如图8所示。上采样单元(US)用于逐层放大神经网络大小，并最终输出与输入图像大小相同的图像。选择最近邻插值方法作为上采样单位，通过设置采样大小和滤波器的步幅，可以生成图像。
7).Sigmoid单元。Sigmoid单元作为最后一层网络的激活函数用以输出归一化图像。由于输入图像的像素值在放入网络之前已对其进行了归一化处理，因此也必须对输出图像数据进行归一化以计算损失。Sigmoid函数如图9所示。
Sigmoid函数表示为：
Sigmoid(x)＝1(1+e-x)
8).Dropout单元如图10所示。使用Dropout单元来增强网络的鲁棒性和泛化性，Dropout方法广泛用
于CNN结构的中间层，可以一定概率将一些单位随机设置为零来防止网络过度拟合。在输入图像之后引入了Dropout单元，以提高网络的鲁棒性，并抑制网络的过拟合。
完整的网络结构如图11所示。
重构和分类卷积自编码网络处理过程如下：
1)根据绝缘子块的统计尺寸，将输入的绝缘子块图像调整为256×64，并将像素值归一化为0到1。
2)功能单元在骨干网中反复连接以实现编码器和解码器。
a)编码器阶段：通过多个ResBlock，MP和Conv单元处理输入数据以获得抽象特征向量。
b)解码器阶段：用重复的US，ResBlock，BN，ReLU和Sigmoid单元处理抽象特征向量，以恢复绝缘体块。
3)通过从输入数据中减去重建的输出数据来获取重建误差。在训练阶段通过最小化重构误差来更新网络参数；在测试阶段，重建误差等效于绝缘子的缺陷图。
4)抽象特征向量通过重复的Conv，BN，ReLU和Sigmoid单元对绝缘子进行分类。
5)Dropout单元被添加到输入图像的后面。在训练阶段，将概率设置为0.5以增强鲁棒性并防止网络过度拟合，而在测试阶段，将概率设置为1.0，这意味着它不再起作用。
进一步的，步骤5具体过程如下：
步骤a：首先利用DBSCAN算法对输出的绝缘子的缺陷图进行聚类。DBSCAN是最常见的聚类算法之一，广泛应用于各个领域。它是用于低维数据的基于密度的聚类算法。给定一些空间中的一组点，它将把紧密堆积的点组合在一起。DBSCAN具有以下特征：
1)不需要预先确认集群类的数量；2)可以找到任意形状的簇；3)可以识别噪声点；4)对样品顺序不敏感。
DBSCAN算法处理步骤描述如下：
1)对于给定的邻域距离e和邻域最小样本个数MinPts：
2)遍历所有样本，找出所有满足邻域距离e的核心对象的集合；
3)任意选择一个核心对象，找出其所有密度可达的样本并生成聚类簇；
4)从剩余的核心对象中移除2中找到的密度可达的样本；
5)从更新后的核心对象集合重复执行2-3步直到核心对象都被遍历或移除。
步骤b：根据聚类结果，针对绝缘子状态，包括正常、严重缺陷和轻微缺陷分别设置缺陷阈值Thresholdsevere和Thresholdslghit，诊断方法流程如图12所示。
1)当聚类中某类样本超过阈值Thresholdsevere时，将给出故障标签。如果检测到“严重缺陷”故障，则此检测将中断。
2)如果未发现“严重缺陷”故障，则继续判断是否超过阈值Thresholdslghit，如果是，则缺陷状态先标记为“轻微缺陷”。
3)当遍历所有聚类结果后，“轻微缺陷”故障的数量超过阈值Threshold_Cslightv，则缺陷状态标记为“严重缺陷”。
4)如果“轻微缺陷”故障的数量未超过阈值Threshold_Cslightv，则缺陷状态标记为“轻微缺陷”。
5)如果未发现“严重缺陷”和“轻微缺陷”故障，则缺陷状态标标记为“正常”。
实施例
以采集到的图13的图像为例，详细如下：
1、定位分割。如图14所示，利用Mask-RCNN卷积神经网络可以精准定位到的绝缘子区域并从背景中分割提取出来。
2、旋转图像。如图15所示，通过Graham-Scan算法搜索凸包，对绝缘子掩码区域计算最小外接矩形，最大限度去除背景干扰。根据矩形坐标计算外接矩的倾斜角度，利用坐标变换将绝缘子调整为水平，得到水平绝缘子图像。
3、离群值检测。如图16所示，为了避免噪声的干扰，使用基于K最近邻(KNN，kNearest Neighbor)的离群值检测去除噪声。
4、边缘检测并分割绝缘子片。如图17所示，为了检测绝缘片的边缘，利用曲线拟合来计算边缘。通过绝缘子片的结构分析，可以知道绝缘子片的中心边缘轮廓近似于二次曲线，使用校正边缘的垂直切线切割每个绝缘子片，切割完成的绝缘子片如图18所示。
5、提取故障。使用重建和分类卷积自动编码网络，对步骤C采集的绝缘子片数据集进行背景图像(恢复的绝缘体块)和前景图像(输入和恢复的绝缘体块的差异图像)的分离。处理后绝缘子故障状态(正常、轻微、严重)对比图如图19所示。
6、绝缘子故障状态评估。首先提取绝缘子的缺陷图，提取的绝缘子缺陷图如图20所示，利用DBSCAN算法对输出的绝缘子的缺陷图进行聚类。选择了200个覆盖不同故障程度的绝缘子片(120个普通绝缘子片，40个轻微缺陷绝缘子片和40个严重缺陷绝缘子片)，并预先标记了故障等级。将Thresholdsevere设置为200像素，将Thresholdslight设置为100像素，将Threshold_Cslight设置为2。评估结果如表1所示。
表1评估结果
Figure BDA0002402008890000101
从表中可以看出，所有绝缘子的状态均已正确验证。

Claims (4)

1.基于重构和分类卷积自编码网络的接触网绝缘子检测方法，其特征在于，包括以下步骤：
步骤1：采用专用综合列检车对高速铁路接触网支撑及悬挂装置进行成像；
步骤2：建立绝缘子的样本数据集，采用ResNet101-FPN作为骨干网的Mask-RCNN卷积神经网络进行绝缘子目标检测与分割，从而定位出接触网支撑及悬挂装置图像中绝缘子的位置并分割；
步骤3：根据步骤2的定位结果计算绝缘子最小外接矩，根据矩形坐标计算外接矩的倾斜角度，利用坐标变换将绝缘子调整为水平，最终得到水平绝缘子图像；利用离群值检测去除噪声，对绝缘子进行边缘检测后进行二次函数拟合，对采集到的绝缘子图像进行逐片裁剪，最终建立绝缘子片数据集；
步骤4：搭建重构和分类卷积自动编码网络，对步骤3建立的绝缘子片进行背景图像和前景图像分离，判断是否存在绝缘子误分类，并提取绝缘子故障区域；
步骤5：通过具有噪声的基于密度的聚类方法DBSCAN对分离出的前景图像进行聚类，根据聚类结果，建立故障判断准则；通过设置阈值判断绝缘子是否故障，并进一步评估故障的级别；
5.1首先利用DBSCAN算法对步骤4提取的绝缘子片的缺陷图进行聚类；
5.2根据聚类结果，针对绝缘子状态，包括正常、严重缺陷和轻微缺陷分别设置缺陷阈值Threshold severe和Threshold slghit；
5.3当聚类中某类样本超过阈值Threshold severe时，给出故障标签：严重缺陷，则此检测将中断，否则继续；
5.4继续判断是否超过阈值Threshold slghit，如果是，则缺陷状态先标记为轻微缺陷；
5.5当遍历所有聚类结果后，轻微缺陷的数量超过阈值Threshold_C slightv，则缺陷状态标记为：严重缺陷；否则缺陷状态标记为：轻微缺陷；
5.6如果未发现严重缺陷和轻微缺陷，则缺陷状态标标记为：正常。
2.根据权利要求1所述的基于重构和分类卷积自编码网络的接触网绝缘子检测方法，其特征在于，所述步骤2的具体过程如下：
2.1首先对输入图像进行卷积操作，得到特征图；
2.2由区域建议网络RPN提取感兴趣区域集RoIs；
2.3对每个感兴趣区域RoI进行分类、定位、分割生成掩码。
3.根据权利要求1所述的基于重构和分类卷积自编码网络的接触网绝缘子检测方法，其特征在于，所述步骤3的具体过程如下：
3.1通过Graham-Scan算法搜索凸包，对绝缘子掩码区域计算最小外接矩形；根据矩形坐标计算外接矩的倾斜角度，利用坐标变换将绝缘子调整至水平，得到水平绝缘子图像；
3.2为了突出绝缘子片的边缘信息，对绝缘子图像进行二值化处理，二值化的阈值被设置为0.8；
3.3为了避免噪声的干扰，利用基于K最近邻的离群值检测去除噪声，将搜索样本的数量k设置为80，并将过滤器阈值设置为4；
3.4利用曲线拟合检测绝缘子片边缘，在每个绝缘子片的边缘采样四个点以拟合边缘；边缘点向左校正了4个像素，使用校正后的边缘线的垂向切线切割获得每个绝缘子片。
4.根据权利要求1所述的基于重构和分类卷积自编码网络的接触网绝缘子检测方法，其特征在于，所述步骤4的具体为：
融合卷积神经网络和自编码网络的特性，建立重构和分类卷积自动编码网络，对步骤3建立的绝缘子片数据集进行背景图像和前景图像分离，实现对绝缘子故障区域提取，通过对分离的背景图像进行检测，判断是否存在绝缘子误分类。
CN202010149743.0A 2020-03-06 2020-03-06 基于重构和分类卷积自编码网络的接触网绝缘子检测方法 Expired - Fee Related CN111310761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010149743.0A CN111310761B (zh) 2020-03-06 2020-03-06 基于重构和分类卷积自编码网络的接触网绝缘子检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010149743.0A CN111310761B (zh) 2020-03-06 2020-03-06 基于重构和分类卷积自编码网络的接触网绝缘子检测方法

Publications (2)

Publication Number Publication Date
CN111310761A CN111310761A (zh) 2020-06-19
CN111310761B true CN111310761B (zh) 2022-04-29

Family

ID=71149605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010149743.0A Expired - Fee Related CN111310761B (zh) 2020-03-06 2020-03-06 基于重构和分类卷积自编码网络的接触网绝缘子检测方法

Country Status (1)

Country Link
CN (1) CN111310761B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784656A (zh) * 2020-06-28 2020-10-16 京东数字科技控股有限公司 一种铁路接触网故障检测方法、装置、电子设备及存储介质
CN111915580A (zh) * 2020-07-27 2020-11-10 深圳市识农智能科技有限公司 烟叶分级方法、系统、终端设备及存储介质
CN112528827B (zh) * 2020-12-03 2023-04-07 和远智能科技股份有限公司 一种高铁接触网供电设备裂损自动检测方法
CN112614094B (zh) * 2020-12-15 2023-04-18 郑州金惠计算机系统工程有限公司 基于序列状态编码的绝缘子串异常定位识别方法
CN112526513B (zh) * 2021-02-10 2021-05-25 北方工业大学 基于聚类算法的毫米波雷达环境地图构建方法及装置
CN113570563B (zh) * 2021-07-19 2024-03-01 江苏新绿能科技有限公司 一种高速铁路接触网绝缘端子健康状态评估方法
CN113673576A (zh) * 2021-07-26 2021-11-19 浙江大华技术股份有限公司 图像检测方法、终端及其计算机可读存储介质
CN115424082B (zh) * 2022-10-31 2023-03-21 杭州三坛医疗科技有限公司 一种图像处理方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106290388A (zh) * 2016-08-03 2017-01-04 国网山东省电力公司电力科学研究院 一种绝缘子故障自动检测方法
CN106340019A (zh) * 2016-08-31 2017-01-18 西南交通大学 一种高铁接触网斜拉线固定钩不良状态检测方法
CN106919978A (zh) * 2017-01-18 2017-07-04 西南交通大学 一种高铁接触网支撑装置零部件识别检测方法
KR101949525B1 (ko) * 2017-11-16 2019-03-18 주식회사 아이오티봇 무인탐지장치를 이용한 현장 안전관리 시스템
CN110148136A (zh) * 2019-04-10 2019-08-20 南方电网科学研究院有限责任公司 一种绝缘子图像分割方法、装置与计算机可读存储介质
CN110738164A (zh) * 2019-10-12 2020-01-31 北京猎户星空科技有限公司 零件异常检测方法、模型训练方法及装置
CN111402215A (zh) * 2020-03-07 2020-07-10 西南交通大学 一种基于鲁棒主成分分析法的接触网绝缘子状态检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106290388A (zh) * 2016-08-03 2017-01-04 国网山东省电力公司电力科学研究院 一种绝缘子故障自动检测方法
CN106340019A (zh) * 2016-08-31 2017-01-18 西南交通大学 一种高铁接触网斜拉线固定钩不良状态检测方法
CN106919978A (zh) * 2017-01-18 2017-07-04 西南交通大学 一种高铁接触网支撑装置零部件识别检测方法
KR101949525B1 (ko) * 2017-11-16 2019-03-18 주식회사 아이오티봇 무인탐지장치를 이용한 현장 안전관리 시스템
CN110148136A (zh) * 2019-04-10 2019-08-20 南方电网科学研究院有限责任公司 一种绝缘子图像分割方法、装置与计算机可读存储介质
CN110738164A (zh) * 2019-10-12 2020-01-31 北京猎户星空科技有限公司 零件异常检测方法、模型训练方法及装置
CN111402215A (zh) * 2020-03-07 2020-07-10 西南交通大学 一种基于鲁棒主成分分析法的接触网绝缘子状态检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
An Automated Defect Detection Approach for Catenary Rod-Insulator Textured Surfaces Using Unsupervised Learning;Wenqiang Liu等;《IEEE Transactions on Instrumentation and Measurement》;20200413;1-13 *
Insulator identification and self-shattering detection based on mask region with convolutional neural network;Yanli Yang等;《Journal of Electronic Imaging》;20190928;第28卷(第5期);1-6 *
基于深度学习的电力绝缘子故障检测方法研究;周鑫;《中国优秀硕士学位论文全文数据库_工程科技Ⅱ辑》;20190915;C042-95 *
基于级联Faster R-CNN的高铁接触网支撑装置等电位线故障检测;李长江等;《铁道学报》;20190615;第41卷(第06期);第68-73页 *
航拍图像中绝缘子的检测与定位方法研究;廉启旺;《中国优秀硕士学位论文全文数据库_工程科技Ⅱ辑》;20200115;C042-335 *

Also Published As

Publication number Publication date
CN111310761A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN111310761B (zh) 基于重构和分类卷积自编码网络的接触网绝缘子检测方法
CN110264448B (zh) 一种基于机器视觉的绝缘子故障检测方法
CN108765373B (zh) 一种基于集成分类器在线学习的绝缘子异常自动检测方法
CN106290388B (zh) 一种绝缘子故障自动检测方法
Tan et al. Catenary insulator defect detection based on contour features and gray similarity matching
CN111260629A (zh) 基于图像处理的受电弓结构异常检测算法
CN106407928B (zh) 基于雨滴识别的变压器复合绝缘子套管监测方法及系统
Aydin et al. A robust anomaly detection in pantograph-catenary system based on mean-shift tracking and foreground detection
CN111402215B (zh) 一种基于鲁棒主成分分析法的接触网绝缘子状态检测方法
CN107679495B (zh) 一种输电线路周边活动工程车辆的检测方法
CN111814686A (zh) 一种基于视觉的输电线路识别及异物入侵在线检测方法
CN110288571B (zh) 一种基于图像处理的高铁接触网绝缘子异常检测方法
Han et al. High-speed railway rod-insulator detection using segment clustering and deformable part models
Liu et al. Location and fault detection of catenary support components based on deep learning
CN114581692B (zh) 一种基于智能图形识别的防振锤故障检测方法及系统
CN110276747B (zh) 一种基于图像分析的绝缘子故障检测和故障评级方法
Jin et al. A survey of surface defect detection of industrial products based on a small number of labeled data
CN113888462A (zh) 一种裂纹识别方法、系统、可读介质及存储介质
CN111127381B (zh) 一种受电弓滑板不平行检测方法
Wang et al. Effective segmentation approach for solar photovoltaic panels in uneven illuminated color infrared images
CN116309407A (zh) 一种铁路接触网螺栓异常状态的检测方法
Zhang et al. Research on multiple features extraction technology of insulator images
Di et al. Image Defect Recognition Method Based on Deep Learning Network.
Tang et al. Visual abnormality detection framework for train-mounted pantograph headline surveillance
Hu et al. Defect recognition of insulators on catenary via multi-oriented detection and deep metric learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220429

CF01 Termination of patent right due to non-payment of annual fee