CN111563896B - 一种用于接触网异常检测的图像处理方法 - Google Patents

一种用于接触网异常检测的图像处理方法 Download PDF

Info

Publication number
CN111563896B
CN111563896B CN202010695528.0A CN202010695528A CN111563896B CN 111563896 B CN111563896 B CN 111563896B CN 202010695528 A CN202010695528 A CN 202010695528A CN 111563896 B CN111563896 B CN 111563896B
Authority
CN
China
Prior art keywords
image
contact network
real
network
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010695528.0A
Other languages
English (en)
Other versions
CN111563896A (zh
Inventor
廖峪
林仁辉
苏茂才
唐泰可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Zhonggui Track Equipment Co ltd
Original Assignee
Chengdu Zhonggui Track Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Zhonggui Track Equipment Co ltd filed Critical Chengdu Zhonggui Track Equipment Co ltd
Priority to CN202010695528.0A priority Critical patent/CN111563896B/zh
Publication of CN111563896A publication Critical patent/CN111563896A/zh
Application granted granted Critical
Publication of CN111563896B publication Critical patent/CN111563896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于接触网异常检测的图像处理方法，属于图像处理技术领域，用于接触网异常的检测，将真实场景下获取的接触网图像以理想状态下的接触网图像为参考，先将两个图像进行图像维度的统一化，使两个图像在图像内容上能够直接对标，并在真实接触网图像中标注出接触网实际工作中常常会出现异常或故障的位置，有针对性的对真实接触网图像进行异常检测，进而避免了真实接触网图像中大范围接触网异常检测的不准确，本发明提供的图像处理方法大大提高了接触网异常检测的准确性和工作效率。

Description

一种用于接触网异常检测的图像处理方法
技术领域
本发明属于图像处理技术领域，具体涉及一种用于接触网异常检测的图像处理方法及装置。
背景技术
由于计算机图形和图像处理技术的迅速发展，图像处理技术已经广泛应用于各种生产和生活领域，例如工业尺寸测量、目标识别、异常检测、遥感数据特征提取、图像修复和智能系统控制等等。在工业异常检测中，需要采集图像并对图像进行处理以实现对图像中目标主体的识别和检测。
随着高铁时速的增加及全国高铁网络的快速覆盖，为了保证高速列车的安全运营，接触网需要经常巡检，目前对350Km/h的高速客运专线接触网设备进行在线巡视的设备已经初步成型。需要对接触网的各种安全隐患进行有效检测，巡检设备记录大量视频数据，然而面对海量的巡检视频数据，若仅靠人工判读，工作量大，效率低、可靠性难以保证。我国铁路线路上、分布广、环境多样，因此存在安全隐患问题的接触网的位置很分散，如何准确高效地对巡检图像进行智能分析，降低巡检人员劳动强度、提高工作效率、保证铁路安全成为一个亟待解决的问题。
发明内容
针对现有技术中的上述不足，本发明提供的用于接触网异常检测图像处理方法的解决了现有通过图像处理方法或人工进行接触网异常检测准确率不足和效率低下的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种用于接触网异常检测的图像处理方法，包括以下步骤：
S1、实时获取真实接触网图像，并将其与标准接触网图像进行位置对齐，进而获取当前真实接触网图像的位置坐标；
S2、基于真实接触网图像的位置坐标，对真实接触网图像中的待检测点进行定位；
S3、将定位得到的待检测点与标准接触网图像中的对应位置进行对比，并依次判断真实接触网图像中的各待检测点是否出现异常；
若是，则进入步骤S5；
若否，则进入步骤S4；
S4、判定当前真实接触网图像对应的接触网范围内无异常，返回步骤S1；
S5、将判定为异常的待检测点在当前真实接触网图像中进行标记，并在图中标记该待检测点的实际位置坐标，完成接触网图像处理。
进一步地，所述步骤S1具体为：
S11、实时获取真实接触网图像，并对获取的真实接触网图像进行降噪处理，获得与标准接触网图像相同像素质量的真实接触网图像；
S12、使用SIFT算法分别对降噪处理后的真实接触网图像和标准接触网图像进行接触网边缘的特征点提取，获得对应的两组特征点；
S13、通过SURF算法对两组特征点进行匹配，获得若干组特征点对，将其构建为特征点对集合；
S14、通过Ransac算法对构建的特征点对集合中的特征点进行筛选，并更新特征点对集合；
S15、基于更新后的特征点对集合中特征点的匹配关系，获得真实接触网图像中到标准接触网图像的透视变换矩阵；
S16、将真实接触网图像的四个顶点坐标与透视变换矩阵相乘，获得真实接触网图像四个顶点的坐标，即真实接触网图像的位置坐标。
进一步地，所述步骤S11中，所述真实接触网图像为实时获取的且受环境因素影响的接触网图像，标准接触网图像为不受环境因素影响且无接触网异常的接触网图像，真实接触网图像和标准接触网图像为同一接触网范围内的图像；
所述步骤S16中，当标准接触网图像的一个顶点坐标为
Figure 75873DEST_PATH_IMAGE001
时，真实接触网图像中的对应的顶点坐标
Figure 297907DEST_PATH_IMAGE002
为：
Figure 323150DEST_PATH_IMAGE003
式中，T为透视变换矩阵，
Figure 288832DEST_PATH_IMAGE004
为透视变换矩阵中第
Figure 408098DEST_PATH_IMAGE005
行第
Figure 269874DEST_PATH_IMAGE006
列的值，且
Figure 904118DEST_PATH_IMAGE007
。
进一步地，所述步骤S2具体为：
S21、构建用于进行待检测点定位的目标检测网络，并利用标注有待检测点的标准接触网图像对其进行训练；
S22、基于真实接触网图像的位置坐标，对其进行修正，使其与标准接触网图像具有相同的图像维度；
S23、将修正好后的真实接触网图像输入到训练好的目标检测网络中，输出包含有待检测点的目标检测框，实现待检测点的定位。
进一步地，所述步骤S21中的目标检测网络为改进的Light-YOLO v3网络；
所述改进的Light-YOLO v3网络包括依次连接的输入层、第一卷积单元、第一残差块、第二残差块、第三残差块、第三残差块、第四残差块、第五残差块、第二卷积单元、第三卷积单元、第四卷积单元和输出层；所述第三卷积单元的输出端还依次通过一个
Figure 611174DEST_PATH_IMAGE008
的BN层和一个上采样层与所述第五残差块的输入端连接；
所述输入层输入的图像尺寸为
Figure 647263DEST_PATH_IMAGE009
，所述第一卷积单元的尺寸为
Figure 942591DEST_PATH_IMAGE010
，所述第一残差块的尺寸为
Figure 267393DEST_PATH_IMAGE011
，所述第二残差块的尺寸为
Figure 309298DEST_PATH_IMAGE012
，所述第三残差块的尺寸为
Figure 137577DEST_PATH_IMAGE013
，所述第四残差块的尺寸为
Figure 872315DEST_PATH_IMAGE014
，所述第五残差块的尺寸为
Figure 418834DEST_PATH_IMAGE015
，所述第二卷积单元的尺寸为
Figure 530009DEST_PATH_IMAGE016
，所述第三卷积单元的尺寸为
Figure 478374DEST_PATH_IMAGE017
，所述第四卷积单元的尺寸为
Figure 398661DEST_PATH_IMAGE018
，所述BN层的尺寸为
Figure 432476DEST_PATH_IMAGE019
，所述上采样层的尺寸为
Figure 753867DEST_PATH_IMAGE020
；
所述第一残差块、第二残差块、第三残差块、第三残差块、第四残差块和第五残差块均包括依次连接的步长为2的卷积结构和两个残差单元；所述第一卷积单元、第二卷积单元、第三卷积单元和第四卷积单元均包括一个BN层、Leaky RELU激活函数层和卷积层，其卷积核依次为
Figure 556738DEST_PATH_IMAGE021
、
Figure 961175DEST_PATH_IMAGE022
和
Figure 154390DEST_PATH_IMAGE023
。
进一步地，所述步骤S21中，对目标检测网络进行训练的方法具体为：
A1、将标注有待检测点的标准接触网图像输入到目标检测网络中；
A2、对目标检测网络输出的待检测点候选框进行聚类，并将待检测点候选框与对应标准接触网图像中待检测点的标记框的IOU值作为聚类评价标准；
A3、将最小IOU值对应待检测点候选框的大小和个数作为目标检测网络的参数；
A4、重复步骤A2-A3，使用若干张标注有待检测点的标准接触网图像对目标检测网络进行训练，当训练误差小于设定阈值时，保存当前目标检测网络的参数，进而完成目标检测网络的训练。
进一步地，所述步骤S3具体为：
将同一真实接触网图像中包含有待检测点的目标检测框和标准接触网图像中对应位置的图像区域进行图像融合，计算其对应的图像相似度指标，并判断其是否大于设定阈值；
若是，则当前待检测点出现异常，进入步骤S5；
若否，则当前待检测点无异常，进入步骤S4。
进一步地，所述图像相似度指标包括结构相似度SSIM、峰值信噪比PSNR、均方差MSE和平均绝对误差MAE；
所述结构相似度SSIM的表达式为：
Figure 341789DEST_PATH_IMAGE024
式中，
Figure 261816DEST_PATH_IMAGE025
为真实接触网图像和标准接触网图像相同位置图像区域的结构相似度，x为真实接触网图像的一个待检测点的图像区域，y为标准接触网图像中与待检测点位置对应的图像区域，
Figure 509257DEST_PATH_IMAGE026
表示两个图像区域的亮度差异，
Figure 517665DEST_PATH_IMAGE027
为两个图像的对比度差异，
Figure 243175DEST_PATH_IMAGE028
为两个图像区域的结构因子差异，
Figure 20638DEST_PATH_IMAGE029
为亮度差异的权重系数，
Figure 235719DEST_PATH_IMAGE030
为对比度差异的权重系数，y为结构因子差异的权重系数；
所述峰值信噪比PSNR的表达式为：
Figure 465843DEST_PATH_IMAGE031
式中，L为峰值信号，MSE为均方差；
所述均方差MSE的表达式为：
Figure 260624DEST_PATH_IMAGE032
式中，
Figure 895523DEST_PATH_IMAGE033
和
Figure 484768DEST_PATH_IMAGE034
分别为真实接触网图像和标准接触网图像相同位置图像区域灰度值，
Figure 467767DEST_PATH_IMAGE035
为图像区域对应的数据矩阵的大小；
所述平均绝对误差MAE为：
Figure 535080DEST_PATH_IMAGE036
。
进一步地，所述步骤S3中，真实接触网图像的待检测点和标准接触网图像对应位置的两个图像区域的结构相似度SSIM、峰值信噪比PSNR、均方差MSE和平均绝对误差MAE中的任意两个或两个以上的图像相似度指标大于设定阈值时，则真实接触网图像的当前待检测点出现异常。
本发明的有益效果为：
（1）本发明中的用于接触网异常检测的图像处理方法主要针对于接触网异常的检测，通过将真实场景下的接触网图像和理想状态下的标准接触网图像进行对标，能够快速确地当前场景下接触网图像中是否存在异常；
（2）本发明通过建立透视变换矩阵，将真实场景的接触网图像和标准接触网图像进行对标，使得在确定真实接触网图像存在异常时，能够快速获取异常位置的坐标，避免了获取真实接触网图像时受拍摄环境和拍摄角度的影响，难以从真实接触网图像中获取准确的异常位置信息；
（3）本发明在进行异常检测时，首先基于先验知识确定实际接触网运行过程中经常出现故障或异常的位置，在真实接触网图像中对这些位置进行自动识别定位，然后在有针对性的对这些位置进行异常检测，使得工作人员能够获取准确的标准有异常位置的图像，本发明提供的图像处理方法大大提高了接触网异常检测的准确性和工作效率。
附图说明
图1为本发明提供的用于接触网异常检测的图像处理方法流程图。
图2为本发明提供的目标检测网络结构图。
图3为本发明提供的目标检测网络结构的部分组成模块结构图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例：
如图1所示，一种用于接触网异常检测的图像处理方法，包括以下步骤：
S1、实时获取真实接触网图像，并将其与标准接触网图像进行位置对齐，进而获取当前真实接触网图像的位置坐标；
S2、基于真实接触网图像的位置坐标，对真实接触网图像中的待检测点进行定位；
S3、将定位得到的待检测点与标准接触网图像中的对应位置进行对比，并依次判断真实接触网图像中的各待检测点是否出现异常；
若是，则进入步骤S5；
若否，则进入步骤S4；
S4、判定当前真实接触网图像对应的接触网范围内无异常，返回步骤S1；
S5、将判定为异常的待检测点在当前真实接触网图像中进行标记，并在图中标记该待检测点的实际位置坐标，完成接触网图像处理。
本发明提供的用于接触网异常检测的图像处理方法，尤其用于接触网异常的检测，目前通过人工对接触网进行检测的方法非常依赖于人工经验且检测过程耗时耗力；随着计算机视觉技术的发展，通过拍摄接触网图像逐渐成为主流方法，但是多为采集大面积的接触网图像，然后再利用人工经验或与历史图像数据对比对采集的接触网图像进行判断，该方法一定程度上的提高了效率，但是接触网图像范围过大难以准确的对接触网异常位置进行定位；本实施例提供的用于接触网异常检测的图像处理方法，将真实场景下获取的接触网图像以理想状态下的接触网图像为参考，先将两个图像进行图像维度的统一化，使两个图像在图像内容上能够直接对标，并在真实接触网图像中标注出接触网实际工作中常常会出现异常或故障的位置，有针对性的对真实接触网图像进行异常检测，进而避免了真实接触网图像中大范围接触网异常检测的不准确，能够准确筛选出出现异常的接触网位置并准确定位。
本实施例中的真实接触网图像为实时获取的且受环境因素影响的接触网图像，标准接触网图像为不受环境因素影响且无接触网异常的理想接触网图像，真实接触网图像和标准接触网图像为同一接触网范围内的图像；本实施例中可以将标准接触网图像理解为接触网投入使用初期，完全不存在异常且能完全记录一段接触网中所有需要进行异常检测的接触网范围，而在获取真实接触网图像时，虽然高清相机拍摄接触网的范围相同，由于环境因素影响或拍摄角度的变化，真实接触网图像可能与标准接触网图像存在角度、整体内容范围的差距（如在进行身份证自动识别时，我们仅仅是需要身份证大小范围内的内容，但通过身份证图像进行身份证识别时，由于实际场景下身份证图像获取时的角度光线的不同，获取的身份证图像并不是标准的身份证尺寸大小），因此，我们需要对识别真实接触网图像时，为了能够准确获得各异常位置的信息，我们需要将真实接触网信息和标准接触网信息对标，使得即使真实接触网图像不够理想也能实时的进行接触网异常检测，因此，上述本实施例的步骤S1具体为：
S11、实时获取真实接触网图像，并对获取的真实接触网图像进行降噪处理，获得与标准接触网图像相同像素质量的真实接触网图像；
S12、使用SIFT算法分别对降噪处理后的真实接触网图像和标准接触网图像进行接触网边缘的特征点提取，获得对应的两组特征点；
S13、通过SURF算法对两组特征点进行匹配，获得若干组特征点对，将其构建为特征点对集合；
S14、通过Ransac算法对构建的特征点对集合中的特征点进行筛选，并更新特征点对集合；
S15、基于更新后的特征点对集合中特征点的匹配关系，获得真实接触网图像中到标准接触网图像的透视变换矩阵；
S16、将真实接触网图像的四个顶点坐标与透视变换矩阵相乘，获得真实接触网图像四个顶点的坐标，即真实接触网图像的位置坐标。
在上述步骤S11-S15中，考虑到接触网存在固定的边缘特征，我们使用SIFT算法真实接触网图像和标准接触网图像中接触网边缘作为特征点，并利用SURF算法对两组特征点进行匹配，然后使用Ransac（Random Sample Consensus）方法对提取出来的特征点进行匹配，并过滤掉错误的特征点；SIFT(Scale-invariant feature transform)尺度不变特征转换是一种电脑视觉的算法，用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。SIFT特征是图像的局部位置的特征描述，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；SIFT算法的实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向，SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。
在上述步骤S16中，当标准接触网图像的一个顶点坐标为
Figure 287136DEST_PATH_IMAGE037
时，真实接触网图像中的对应的顶点坐标
Figure 47281DEST_PATH_IMAGE038
为：
Figure 251998DEST_PATH_IMAGE039
式中，T为透视变换矩阵，
Figure 388581DEST_PATH_IMAGE040
为透视变换矩阵中第
Figure 398738DEST_PATH_IMAGE041
行第
Figure 595364DEST_PATH_IMAGE042
列的值，且
Figure 287376DEST_PATH_IMAGE043
。
通过将真实接触网图像和标准接触网图像建立位置坐标转换关系，使得真实接触网图像中的任意位置点，在标准接触网图像中均有对应的坐标与，这样的标准接触网图像与实际投入使用时的接触网图像进行对比时，能够更准确的凸显出真实接触网图像是否出现接触网异常，并进行异常位置的准确定位。
本实施例的步骤S2具体为：
S21、构建用于进行待检测点定位的目标检测网络，并利用标注有待检测点的标准接触网图像对其进行训练；
S22、基于真实接触网图像的位置坐标，对其进行修正，使其与标准接触网图像具有相同的图像维度；
S23、将修正好后的真实接触网图像输入到训练好的目标检测网络中，输出包含有待检测点的目标检测框，实现待检测点的定位。
如图2所示，上述步骤S21中的目标检测网络为改进的Light-YOLO v3网络；改进的Light-YOLO v3网络包括依次连接的输入层、第一卷积单元、第一残差块、第二残差块、第三残差块、第三残差块、第四残差块、第五残差块、第二卷积单元、第三卷积单元、第四卷积单元和输出层；第三卷积单元的输出端还依次通过一个
Figure 962071DEST_PATH_IMAGE044
的BN层和一个上采样层与第五残差块的输入端连接；其中，输入层输入的图像尺寸为
Figure 423140DEST_PATH_IMAGE045
，第一卷积单元的尺寸为
Figure 525088DEST_PATH_IMAGE046
，第一残差块的尺寸为
Figure 704396DEST_PATH_IMAGE047
，第二残差块的尺寸为
Figure 908414DEST_PATH_IMAGE048
，第三残差块的尺寸为
Figure 286306DEST_PATH_IMAGE049
，第四残差块的尺寸为
Figure 559155DEST_PATH_IMAGE050
，第五残差块的尺寸为
Figure 225760DEST_PATH_IMAGE051
，第二卷积单元的尺寸为
Figure 976678DEST_PATH_IMAGE052
，第三卷积单元的尺寸为
Figure 412339DEST_PATH_IMAGE053
，第四卷积单元的尺寸为
Figure 856089DEST_PATH_IMAGE018
，BN层的尺寸为
Figure 9990DEST_PATH_IMAGE054
，上采样层的尺寸为
Figure 827249DEST_PATH_IMAGE055
；
如图3所示，第一残差块、第二残差块、第三残差块、第三残差块、第四残差块和第五残差块（图3（a））均包括依次连接的步长为2的卷积结构和两个残差单元（图3（b））；当预激活结构采用BN+激活层+卷积层的排列顺序时，包含该预激活结果的残差单元的神经网络具有更好的收敛性、精度和泛化能力，因此本发明的网络结构也采用BN层+激活层+卷积层的排列顺序；其中，第一卷积单元、第二卷积单元、第三卷积单元和第四卷积单元（图3（c））均包括一个BN层、Leaky RELU激活函数层和卷积层，其卷积核依次为
Figure 789520DEST_PATH_IMAGE056
、
Figure 669751DEST_PATH_IMAGE057
和
Figure 45369DEST_PATH_IMAGE058
。
上述步骤S21中，对目标检测网络进行训练的方法具体为：
A1、将标注有待检测点的标准接触网图像输入到目标检测网络中；
A2、对目标检测网络输出的待检测点候选框进行聚类，并将待检测点候选框与对应标准接触网图像中待检测点的标记框的IOU值作为聚类评价标准；
A3、将最小IOU值对应待检测点候选框的大小和个数作为目标检测网络的参数；
A4、重复步骤A2-A3，使用若干张标注有待检测点的标准接触网图像对目标检测网络进行训练，当训练误差小于设定阈值时，保存当前目标检测网络的参数，进而完成目标检测网络的训练。
在上述训练过程中，考虑到检测目标为接触网上的固定位置，此类目标边界框的长宽不易发生改变，因此我们对目标检测网络使用K-means方法进行聚类，并采用目标检测往来输出的待检测点候选框和输入的真实接触网图像中的对应标记框的IOU值作为聚类评价指标，其中，确定IOU值的公式为：
Figure 403669DEST_PATH_IMAGE059
式中，centrd表示簇中心；
Figure 548343DEST_PATH_IMAGE060
表示样本；
Figure 333896DEST_PATH_IMAGE061
表示簇中心框和聚类框的交并比。
本实施例的步骤S3具体为：
将同一真实接触网图像中包含有待检测点的目标检测框和标准接触网图像中对应位置的图像区域进行图像融合，计算其对应的图像相似度指标，并判断其是否大于设定阈值；
若是，则当前待检测点出现异常，进入步骤S5；
若否，则当前待检测点无异常，进入步骤S4；
具体地，当真实接触网图像的待检测点和标准接触网图像对应位置的两个图像区域的结构相似度SSIM、峰值信噪PSNR、均方差MSE和平均绝对误差MAE中的任意两个或两个以上的图像相似度指标大于设定阈值时，则真实接触网图像的当前待检测点出现异常。
上述图像相似度指标包括结构相似度SSIM、峰值信噪比PSNR、均方差MSE和平均绝对误差MAE；
结构相似度SSIM的表达式为：
Figure 199740DEST_PATH_IMAGE062
式中，
Figure 158468DEST_PATH_IMAGE063
为真实接触网图像和标准接触网图像相同位置图像区域的结构相似度，x为真实接触网图像的一个待检测点的图像区域，y为标准接触网图像中与待检测点位置对应的图像区域，
Figure 423227DEST_PATH_IMAGE064
表示两个图像区域的亮度差异，
Figure 645261DEST_PATH_IMAGE065
为两个图像的对比度差异，
Figure 995471DEST_PATH_IMAGE066
为两个图像区域的结构因子差异，
Figure 695574DEST_PATH_IMAGE067
为亮度差异的权重系数，
Figure 814840DEST_PATH_IMAGE068
为对比度差异的权重系数，y为结构因子差异的权重系数；其中，亮度差异、对比度差异和结构因子差异依次为：
Figure 207775DEST_PATH_IMAGE069
式中，
Figure 42351DEST_PATH_IMAGE070
分别为真实接触网图像与标准接触网图像中像素灰度均值，表征图像的亮度；
Figure 280566DEST_PATH_IMAGE071
分别为实接触网图像与标准接触网图像中像素灰度的标准差，表征图像的对比度；
Figure 254338DEST_PATH_IMAGE072
为是实接触网图像与标准接触网图像对应块的相关系数，表征结构信息的相似性；
Figure 818174DEST_PATH_IMAGE073
是避免分母为零或接近零的很小的正数；
峰值信噪比是指到达噪声比率的顶点信号，在工程中一般用于衡量最大值信号和背景噪声之间关系。峰值信噪比PSNR的表达式为：
Figure 815080DEST_PATH_IMAGE074
式中，L为峰值信号，MSE为均方差；
均方差MSE的表达式为：
Figure DEST_PATH_IMAGE075
式中，
Figure DEST_PATH_IMAGE076
分别为真实接触网图像和标准接触网图像相同位置图像区域灰度值，
Figure DEST_PATH_IMAGE077
为图像区域对应的数据矩阵的大小；
平均绝对误差MAE为：
Figure 419104DEST_PATH_IMAGE036
。
本发明的有益效果为：
（1）本发明中的用于接触网异常检测的图像处理方法主要针对于接触网异常的检测，通过将真实场景下的接触网图像和理想状态下的标准接触网图像进行对标，能够快速确地当前场景下接触网图像中是否存在异常；
（2）本发明通过建立透视变换矩阵，将真实场景的接触网图像和标准接触网图像进行对标，使得在确定真实接触网图像存在异常时，能够快速获取异常位置的坐标，避免了获取真实接触网图像时受拍摄环境和拍摄角度的影响，难以从真实接触网图像中获取准确的异常位置信息；
（3）本发明在进行异常检测时，首先基于先验知识确定实际接触网运行过程中经常出现故障或异常的位置，在真实接触网图像中对这些位置进行自动识别定位，然后在有针对性的对这些位置进行异常检测，使得工作人员能够获取准确的标准有异常位置的图像，本发明提供的图像处理方法大大提高了接触网异常检测的准确性和工作效率。

Claims (5)

1.一种用于接触网异常检测的图像处理方法，其特征在于，包括以下步骤：
S1、实时获取真实接触网图像，并将其与标准接触网图像进行位置对齐，进而获取当前真实接触网图像的位置坐标；
S2、基于真实接触网图像的位置坐标，对真实接触网图像中的待检测点进行定位；
S3、将定位得到的待检测点与标准接触网图像中的对应位置进行对比，并依次判断真实接触网图像中的各待检测点是否出现异常；
若是，则进入步骤S5；
若否，则进入步骤S4；
S4、判定当前真实接触网图像对应的接触网范围内无异常，返回步骤S1；
S5、将判定为异常的待检测点在当前真实接触网图像中进行标记，并在图中标记该待检测点的实际位置坐标，完成接触网图像处理；
所述步骤S1具体为：
S11、实时获取真实接触网图像，并对获取的真实接触网图像进行降噪处理，获得与标准接触网图像相同像素质量的真实接触网图像；
S12、使用SIFT算法分别对降噪处理后的真实接触网图像和标准接触网图像进行接触网边缘的特征点提取，获得对应的两组特征点；
S13、通过SURF算法对两组特征点进行匹配，获得若干组特征点对，将其构建为特征点对集合；
S14、通过Ransac算法对构建的特征点对集合中的特征点进行筛选，并更新特征点对集合；
S15、基于更新后的特征点对集合中特征点的匹配关系，获得真实接触网图像中到标准接触网图像的透视变换矩阵；
S16、将真实接触网图像的四个顶点坐标与透视变换矩阵相乘，获得真实接触网图像四个顶点的坐标，即真实接触网图像的位置坐标；
所述步骤S11中，所述真实接触网图像为实时获取的且受环境因素影响的接触网图像，标准接触网图像为不受环境因素影响且无接触网异常的接触网图像，真实接触网图像和标准接触网图像为同一接触网范围内的图像；
所述步骤S2具体为：
S21、构建用于进行待检测点定位的目标检测网络，并利用标注有待检测点的标准接触网图像对其进行训练；
S22、基于真实接触网图像的位置坐标，对其进行修正，使其与标准接触网图像具有相同的图像维度；
S23、将修正好后的真实接触网图像输入到训练好的目标检测网络中，输出包含有待检测点的目标检测框，实现待检测点的定位；
所述步骤S16中，当标准接触网图像的一个顶点坐标为（p,q）时，真实接触网图像中的对应的顶点坐标（P,Q,R）为：
Figure QLYQS_1
式中，T为透视变换矩阵，
Figure QLYQS_2
为透视变换矩阵中第i行第j列的值，且
Figure QLYQS_3
；
所述步骤S3具体为：
将同一真实接触网图像中包含有待检测点的目标检测框和标准接触网图像中对应位置的图像区域进行图像融合，计算其对应的图像相似度指标，并判断其是否大于设定阈值；
若是，则当前待检测点出现异常，进入步骤S5；
若否，则当前待检测点无异常，进入步骤S4。
2.根据权利要求1所述的用于接触网异常检测的图像处理方法，其特征在于，所述步骤S21中的目标检测网络为改进的Light-YOLO v3网络；
所述改进的Light-YOLO v3网络包括依次连接的输入层、第一卷积单元、第一残差块、第二残差块、第三残差块、第四残差块、第五残差块、第二卷积单元、第三卷积单元、第四卷积单元和输出层；所述第三卷积单元的输出端还依次通过一个
Figure QLYQS_4
的BN层和一个上采样层与所述第五残差块的输入端连接；
所述输入层输入的图像尺寸为
Figure QLYQS_7
，所述第一卷积单元的尺寸为
Figure QLYQS_9
，所述第一残差块的尺寸为
Figure QLYQS_12
，所述第二残差块的尺寸为
Figure QLYQS_6
，所述第三残差块的尺寸为
Figure QLYQS_11
，所述第四残差块的尺寸为
Figure QLYQS_13
，所述第五残差块的尺寸为
Figure QLYQS_15
，所述第二卷积单元的尺寸为
Figure QLYQS_5
，所述第三卷积单元的尺寸为
Figure QLYQS_10
，所述第四卷积单元的尺寸为
Figure QLYQS_14
，所述BN层的尺寸为
Figure QLYQS_16
，所述上采样层的尺寸为
Figure QLYQS_8
；
所述第一残差块、第二残差块、第三残差块、第四残差块和第五残差块均包括依次连接的步长为2的卷积结构和两个残差单元；所述第一卷积单元、第二卷积单元、第三卷积单元和第四卷积单元均包括一个BN层、Leaky RELU激活函数层和卷积层，其卷积核依次为
Figure QLYQS_17
、
Figure QLYQS_18
和
Figure QLYQS_19
。
3.根据权利要求1所述的用于接触网异常检测的图像处理方法，其特征在于，所述步骤S21中，对目标检测网络进行训练的方法具体为：
A1、将标注有待检测点的标准接触网图像输入到目标检测网络中；
A2、对目标检测网络输出的待检测点候选框进行聚类，并将待检测点候选框与对应标准接触网图像中待检测点的标记框的IOU值作为聚类评价标准；
A3、将最小IOU值对应待检测点候选框的大小和个数作为目标检测网络的参数；
A4、重复步骤A2-A3，使用若干张标注有待检测点的标准接触网图像对目标检测网络进行训练，当训练误差小于设定阈值时，保存当前目标检测网络的参数，进而完成目标检测网络的训练。
4.根据权利要求1所述的用于接触网异常检测的图像处理方法，其特征在于，所述图像相似度指标包括结构相似度SSIM、峰值信噪比PSNR、均方差MSE和平均绝对误差MAE；
所述结构相似度SSIM的表达式为：
Figure QLYQS_20
式中，
Figure QLYQS_21
为真实接触网图像和标准接触网图像相同位置图像区域的结构相似度，x为真实接触网图像的一个待检测点的图像区域，y为标准接触网图像中与待检测点位置对应的图像区域，
Figure QLYQS_22
表示两个图像区域的亮度差异，
Figure QLYQS_23
为两个图像的对比度差异，
Figure QLYQS_24
为两个图像区域的结构因子差异，
Figure QLYQS_25
为亮度差异的权重系数，
Figure QLYQS_26
为对比度差异的权重系数，y为结构因子差异的权重系数；
所述峰值信噪比PSNR的表达式为：
Figure QLYQS_27
式中，L为峰值信号，MSE为均方差；
所述均方差MSE的表达式为：
Figure QLYQS_28
式中，
Figure QLYQS_29
和
Figure QLYQS_30
分别为真实接触网图像和标准接触网图像相同位置图像区域灰度值，
Figure QLYQS_31
为图像区域对应的数据矩阵的大小；
所述平均绝对误差MAE为：
Figure QLYQS_32
。
5.根据权利要求4所述的用于接触网异常检测的图像处理方法，其特征在于，所述步骤S3中，真实接触网图像的待检测点和标准接触网图像对应位置的两个图像区域的结构相似度SSIM、峰值信噪比PSNR、均方差MSE和平均绝对误差MAE中的任意两个或两个以上的图像相似度指标大于设定阈值时，则真实接触网图像的当前待检测点出现异常。
CN202010695528.0A 2020-07-20 2020-07-20 一种用于接触网异常检测的图像处理方法 Active CN111563896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010695528.0A CN111563896B (zh) 2020-07-20 2020-07-20 一种用于接触网异常检测的图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010695528.0A CN111563896B (zh) 2020-07-20 2020-07-20 一种用于接触网异常检测的图像处理方法

Publications (2)

Publication Number Publication Date
CN111563896A CN111563896A (zh) 2020-08-21
CN111563896B true CN111563896B (zh) 2023-06-02

Family

ID=72072862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010695528.0A Active CN111563896B (zh) 2020-07-20 2020-07-20 一种用于接触网异常检测的图像处理方法

Country Status (1)

Country Link
CN (1) CN111563896B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183342B (zh) * 2020-09-28 2022-07-12 国网安徽省电力有限公司检修分公司 一种带有模板的综合型换流站缺陷识别方法
CN112819889B (zh) * 2020-12-30 2024-05-10 浙江大华技术股份有限公司 位置信息的确定方法及装置、存储介质、电子装置
CN113504545A (zh) * 2021-09-09 2021-10-15 成都中轨轨道设备有限公司 一种基于激光雷达的接触网数据检测方法
CN115311261A (zh) * 2022-10-08 2022-11-08 石家庄铁道大学 高速铁路接触网悬挂装置开口销异常检测方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102980896A (zh) * 2012-11-28 2013-03-20 西南交通大学 高铁接触网悬挂装置耳片断裂检测方法
CN109840904A (zh) * 2019-01-24 2019-06-04 西南交通大学 一种高铁接触网大尺度差异零部件检测方法
CN110766011A (zh) * 2019-12-26 2020-02-07 南京智莲森信息技术有限公司 一种基于深度多级优化的接触网螺母异常识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881861A (zh) * 2015-03-11 2015-09-02 西南交通大学 一种基于图元分类的高铁接触网悬挂装置故障状态检测方法
CN106504238A (zh) * 2016-10-31 2017-03-15 成都交大光芒科技股份有限公司 基于图像处理和卷积神经网络的铁路接触网缺陷检测方法
CN108445083A (zh) * 2018-02-11 2018-08-24 天津大学 一种基于频域压缩感知的相控阵超声图像重构优化方法
CN108764312B (zh) * 2018-05-17 2019-04-05 河海大学 基于ds优化多指标大坝缺陷图像检测方法
CN109035260A (zh) * 2018-07-27 2018-12-18 京东方科技集团股份有限公司 一种天空区域分割方法、装置和卷积神经网络
CN110610527B (zh) * 2019-08-15 2023-09-22 苏州瑞派宁科技有限公司 计算suv的方法、装置、设备、系统及计算机存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102980896A (zh) * 2012-11-28 2013-03-20 西南交通大学 高铁接触网悬挂装置耳片断裂检测方法
CN109840904A (zh) * 2019-01-24 2019-06-04 西南交通大学 一种高铁接触网大尺度差异零部件检测方法
CN110766011A (zh) * 2019-12-26 2020-02-07 南京智莲森信息技术有限公司 一种基于深度多级优化的接触网螺母异常识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A new methodology for multiple incipient fault diagnosis in transmission lines using QTA and Naïve Bayes classifier;Paula Renatha Nunes da Silva 等;《International Journal of Electrical Power & Energy Systems》;第103卷;326-346 *

Also Published As

Publication number Publication date
CN111563896A (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
CN111563896B (zh) 一种用于接触网异常检测的图像处理方法
CN109870461B (zh) 一种电子元器件质量检测系统
CN108009515B (zh) 一种基于fcn的无人机航拍图像的输电线定位识别方法
CN109635806B (zh) 基于残差网络的电表数值识别方法
CN111383209A (zh) 一种基于全卷积自编码器网络的无监督瑕疵检测方法
CN111008961B (zh) 一种输电线路设备缺陷检测方法及其系统、设备、介质
CN113920097B (zh) 一种基于多源图像的电力设备状态检测方法及系统
CN110634137A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN108154498A (zh) 一种裂缝缺陷检测系统及其实现方法
CN112419298A (zh) 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质
CN116721107B (zh) 一种电缆生产质量智能监控系统
CN107610119B (zh) 基于直方图分解的带钢表面缺陷精准检测方法
CN110222661A (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN112288682A (zh) 基于图像配准的电力设备缺陷定位方法
CN115100068A (zh) 一种红外图像校正方法
CN117314986A (zh) 基于语义分割的无人机跨模态配电设备巡检图像配准方法
CN117351499A (zh) 一种分合指示状态识别方法、系统、计算机设备和介质
CN116110006B (zh) 一种用于智慧旅游系统的景区游客异常行为识别方法
CN109784257B (zh) 一种变压器温度表检测与识别方法
CN112634179A (zh) 一种防摄像头抖动的变电设备图像变化检测方法和系统
Singh et al. Vidaq: A framework for monitoring human machine interfaces
CN113591705B (zh) 巡检机器人仪表识别系统及方法、存储介质
CN111652055B (zh) 一种基于两阶段定位的开关仪表智能识别方法
CN114677428A (zh) 基于无人机图像处理的输电线覆冰厚度检测方法
CN111696070A (zh) 基于深度学习的多光谱图像融合电力物联网故障点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant