CN113112483B - 一种基于相似度度量的刚性接触网缺陷检测方法及系统 - Google Patents

一种基于相似度度量的刚性接触网缺陷检测方法及系统 Download PDF

Info

Publication number
CN113112483B
CN113112483B CN202110411610.0A CN202110411610A CN113112483B CN 113112483 B CN113112483 B CN 113112483B CN 202110411610 A CN202110411610 A CN 202110411610A CN 113112483 B CN113112483 B CN 113112483B
Authority
CN
China
Prior art keywords
image
similarity
sub
defect
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110411610.0A
Other languages
English (en)
Other versions
CN113112483A (zh
Inventor
李林
刘明亮
吴道平
章海兵
汪中原
郑斌
高剑锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Rail Transit Group Co ltd
Hefei Technological University Intelligent Robot Technology Co ltd
Original Assignee
Hefei Rail Transit Group Co ltd
Hefei Technological University Intelligent Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Rail Transit Group Co ltd, Hefei Technological University Intelligent Robot Technology Co ltd filed Critical Hefei Rail Transit Group Co ltd
Priority to CN202110411610.0A priority Critical patent/CN113112483B/zh
Publication of CN113112483A publication Critical patent/CN113112483A/zh
Application granted granted Critical
Publication of CN113112483B publication Critical patent/CN113112483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于相似度度量的刚性接触网缺陷检测方法及系统，属于缺陷识别技术领域，包括：采用定点拍摄方式采集待测设备同一部位的待测图像与模板图像；使用滑动窗格分别提取待测图像与模板图像对应位置的子图像，得到子图像对；将子图像对作为预先训练好的孪生网络的输入，得到相似度图；对相似度图进行图像处理，得到缺陷区域。本发明采用定点拍摄方式采集样本，简化了识别难点，仅需要采集少量的图片即可完成小样本学习，大大降低了样本需求量，加快算法速度；另外基于图片相似度的算法，通过定义相似与不相似，不仅适用于已训练类别缺陷，亦可识别未训练类别缺陷，泛化能力强。

Description

一种基于相似度度量的刚性接触网缺陷检测方法及系统
技术领域
本发明涉及缺陷识别技术领域，特别涉及一种基于相似度度量的刚性接触网缺陷检测方法及系统。
背景技术
当前，地铁轨道交通在越来越多的城市里面应用，而刚性接触网是轨道电力牵引系统的重要组成部分，刚性接触网在运行过程中，由于锈蚀、脏污等造成接触网部件损坏，对轨道交通工具的正常运行带来隐患。因此，对这些可能包含缺陷的部件进行检测识别有助于发现缺陷，消除隐患，对轨道交通的安全具有重要的意义。
以前的巡检依赖于人工晚间巡检，但轨道系统带电且存在安全隐患，开发自动缺陷检测方法十分有必要。目前，缺陷自动识别方法有基于传统图像识别与基于深度学习的方式，其中：
基于传统图像识别，采用的帧间差分法，这种算法的主要思想是：首先对相对不变的背景环境采集一幅或多幅作为背景模板，当需要检测在此环境中是否有异物时，再实时采集一幅图像与背景模板进行逐一像素或区域的差异计算，当差异的结果充满一定的图像面积时，则认为采集图像与模板不一致，疑似缺陷或异物出现在采集图像中。其存在的缺陷在于：受光照变化影响大，受视角变化影响大，不能学习，容易误检。
基于深度学习的方法，使用当前流行的目标检测模型，基于大量缺陷样本数据训练，识别出缺陷，其识别准确度高，针对各种复杂纹理的缺陷均能识别，但缺点在于：其一，需要大量样本学习，训练需要最少几千乃至几万的数据量，成本较高，而且由于缺陷场景的稀缺性，收集这么多异物样本并不容易。其二，目标检测对类别要求很高，模型训练了哪些类别，则识别的时候就识别这些类别，具有局限性。
发明内容
本发明的目的在于克服现有技术存在的缺陷，采用少量样本实现缺陷识别。
为实现以上目的，一方面，本发明采用一种基于相似度度量的刚性接触网缺陷检测方法，包括：
采用定点拍摄方式采集待测设备同一部位的待测图像与模板图像；
使用滑动窗格分别提取待测图像与模板图像对应位置的子图像，得到子图像对；
将子图像对作为预先训练好的孪生网络的输入，得到相似度图；
对相似度图进行图像处理，得到缺陷区域。
进一步地，在所述采用定点拍摄方式采集待测设备同一部位的待测图像与模板图像之后，还包括：
对所述同一部位的待测图像与模板图像进行配准操作，得到配准后的待测图像与模板图像。
进一步地，所述使用滑动窗格分别提取待测图像与模板图像对应位置的子图像，得到子图像对，包括：
使用滑动窗格以步长s在分别在所述待测图像与模板图像中从左向右、从上到下滑动直至整张图像遍历完，每滑动一个窗格，提取该窗格内的图像为子图像；
将所述待测图像和模板图像相同位置的子图像作为一组子图像对。
进一步地，所述孪生网络包括特征提取网络和相似度度量网络，其中，特征提取网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层和第三卷积层，相似度度量网络包括依次连接的第一全连接层和第二全全连接层，第一卷积层的输入为所述子图像对，第三卷积层的输出为特征向量，第三卷积层的输出与第一全连接层的输入连接，第二全连接层的输出为相似度度量结果。
进一步地，所述对相似度图进行识别处理，得到缺陷区域，包括：
对所述相似度图像进行归一化处理，得到归一化后的相似度图像；
对归一化后的相似度图像进行阈值二值化，得到疑似包含异物的图像区域；
将疑似包含异物的图像区域进行连通区域标注提取，将提取的连通区域作为缺陷候选区域；
利用面积最小阈值对缺陷候选区域进行过滤，得到最终的缺陷区域。
进一步地，还包括：
在接触网环境中，在不同采样点分别采用定点拍摄方式采集设备各部位的正常图像和缺陷图像；
使用滑动窗格分别提取正常图像与缺陷图像对应位置的子图像，得到样本子图像对；
对样本子图像对定义标签，并利用定义标签后的样本子图像对对所述孪生网络进行训练，得到所述预先训练好的孪生网络。
进一步地，所述孪生网络的对比损失函数为：
Figure BDA0003024386500000031
其中，
Figure BDA0003024386500000032
W表示参数，Y表示样本一和样本二是否匹配的标签，Y＝1代表两样本相似，Y＝0代表两个样本不相似，X1,X2分别表示用于对比的样本一和样本二，P表示样本的特征位数，m表示设定的阈值常数，N表示样本个数，DW表示两个样本的欧式距离。
进一步地，所述对样本子图像对定义标签，包括：
将所述样本图像中包含缺陷部分比例大于或等于阈值t的样本图像记为缺陷组的样本，以及将包含缺陷部分比例小于阈值t的样本图像记为正常组的样本；
将缺陷组内的样本图像标签设置为-1，将正常组内的样本图像标签设置为1。
另一方面，采用一种基于相似度度量的刚性接触网缺陷检测系统，包括图像采集模块、子图像对提取模块、处理模块和识别模块，其中：
图像采集模块用于采用定点拍摄方式采集待测设备同一部位的待测图像与模板图像；
子图像对提取模块用于使用滑动窗格分别提取待测图像与模板图像对应位置的子图像，得到子图像对；
处理模块用于将子图像对作为预先训练好的孪生网络的输入，得到相似度图；
识别模块用于对相似度图进行识别处理，得到缺陷区域。
进一步地，所述孪生网络包括特征提取网络和相似度度量网络，其中，特征提取网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层和第三卷积层，相似度度量网络包括依次连接的第一全连接层和第二全全连接层，第一卷积层的输入为所述子图像对，第三卷积层的输出为特征向量，第三卷积层的输出与第一全连接层的输入连接，第二全连接层的输出为相似度度量结果。
与现有技术相比，本发明存在以下技术效果：本发明采用定点拍摄方式采集样本，简化了识别难点，适应于基于相似度对比的识别方法，仅需要采集少量的图片即可完成小样本学习，大大降低了样本需求量，加快算法速度；另外基于图片相似度的算法，通过定义相似与不相似，不仅适用于已训练类别缺陷，亦可识别未训练类别缺陷，泛化能力强。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1是一种基于相似度度量的刚性接触网缺陷检测方法的流程图；
图2是孪生网络的结构图；
图3是刚性接触网缺陷识别流程图；
图4是正常图与缺陷图，图4(a)为正常图，4(b)为缺陷图；
图5是滑动窗格提取子图像示意图，图5(a)为正常图，5(b)为缺陷图；
图6是连通域合并示意图；
图7是一种基于相似度度量的刚性接触网缺陷检测系统的结构图。
具体实施方式
为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
如图1所示，本实施例公开了一种基于相似度度量的刚性接触网缺陷检测方法，包括如下步骤S1至S4：
S1、采用定点拍摄方式采集待测设备同一部位的待测图像与模板图像；
需要说明的是，本实施例通过在刚性接触网环境中设置采样点，在每个采样点定点拍摄两张图片，在拍摄两张图片过程中设置了同样的云台距离、角度、变倍系数，拍摄得到的图片具有较一致的分辨率及视野，如图4所示。
S2、使用滑动窗格分别提取待测图像与模板图像对应位置的子图像，得到子图像对；
S3、将子图像对作为预先训练好的孪生网络的输入，得到相似度图；
S4、对相似度图进行图像处理，得到缺陷区域。
本实施例利用定点拍摄法实现图片拍摄视角的一致，简化了识别难点；通过滑窗法分别提取待测图像与模板图像对应位置的子图像，确定异物大致位置，然后利用孪生网络比较图片块相似性，通过待测图像与不包含缺陷的模板图像的对比来判定是否存在缺陷以及缺陷的具体部位，通过定义相似与不相似，不仅仅适用于已训练类别缺陷，亦可识别未训练类别缺陷，泛化能力更强。与传统的目标检测模型相比，本方法无需大量缺陷样本训练，每类缺陷仅需数张图片训练，与基于传统配准差分对比的方法相比，本方法在识别精确度和抗干扰性能方面均有大幅提升。
作为进一步优选的技术方案，在上述步骤S1：采用定点拍摄方式采集待测设备同一部位的待测图像与模板图像之后，还包括：
对所述同一部位的待测图像与模板图像进行配准操作，得到配准后的待测图像与模板图像。
需要说明的是，本实施例中通过对待测图像和模板图像进行图像配准操作，消除了像素偏移过大造成的影响。
作为进一步优选的技术方案，在图像配准操作之后，还包括：
将配准后的待测图像和模板图像转换成灰度图像，由三通道转单通道；
对待测图像和模板图像进行中值滤波处理。
需要说明的是，灰度处理作用是剔除颜色，光照影响，更有效获取梯度信息。中值滤波能有效过滤噪点，避免误检测。
作为进一步优选的技术方案，上述步骤S2：使用滑动窗格分别提取待测图像与模板图像对应位置的子图像，得到子图像对，包括如下细分步骤：
使用滑动窗格分别提取待测图像和模板图像上的子图像，滑窗尺寸为p×p像素(小于图像尺寸)，并以步长s在取待测图像和模板图像中从左向右滑动，每滑动一个窗格，提取该窗格内的图像为子图像；在当前行图像提取完之后，回到图像最左侧向下滑动s像素，进行下一行子图像提取，滑窗从左到右、从上到下滑动直至整张图像遍历完；然后将同一采样点采集的待测图像和模板图像上相同位置额子图像作为子图像对。
需要说明的是，p一般在32～128之间，根据原图像大小及异物可能大小合理选择，步长s一般在p/2～p之间选择。
作为进一步优选的技术方案，如图2所示，所述孪生网络包括特征提取网络和相似度度量网络，其中，特征提取网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层和第三卷积层，相似度度量网络包括依次连接的第一全连接层和第二全全连接层，第一卷积层的输入为所述子图像对，第三卷积层的输出为特征向量，第三卷积层的输出与第一全连接层的输入连接，第二全连接层的输出为相似度度量结果。
其中，特征提取网络包含多层卷积层、激活、池化层，用于提取图像特征向量；相似度度量网络采取两层全卷积网络，用于计算图像相似度度量结果。两张子图像进入相同结构、相同参数的网络，提取各自的特征向量，两张图像提取出的特征向量进入相似度度量网络，从一个图像中提取很多子图像，比如水平方向提取12个，竖直方向提取10个，则组成12*10的不相似度矩阵。
作为进一步优选的技术方案，如图3所示，上述步骤S4：对相似度图进行识别处理，得到缺陷区域，包括如下细分步骤：
对所述相似度图像进行归一化处理，得到归一化后的相似度图像；
将归一化后的相似度图像利用设定的阈值进行二值化处理，得到疑似包含异物的图像区域；
需要说明的是，本实施例通过对相似度图像设定阈值，高于此阈值，认为该点所对应的图像区域不相似度高，即疑似包含异物，低于此阈值，则认为该区域无异物。如标签设置为-1(不相似)，到1(相似)，则以0为阈值，小于0为不相似，大于0为相似。
将疑似包含异物的图像区域进行连通区域标注提取，将提取的连通区域作为缺陷候选区域；
利用面积最小阈值对缺陷候选区域进行过滤，得到最终的缺陷区域。
需要说明的是，本实施例通过设定面积最小阈值，缺陷候选区域面积小于该值的缺陷区域认为是误检，对其进行过滤，得到最终的缺陷区域。面积最小阈值可以设置为200，用于过滤伪异物及噪点影响。
作为进一步优选的技术方案，本实施例在进行设备的缺陷检测之前还需对孪生网络进行训练，具体为：
在接触网环境中，在不同采样点分别采用定点拍摄方式采集设备各部位的正常图像和缺陷图像；
其中，采集设备各部位完好不包含缺陷的图像用于对比训练以及作为测试时的模板图像。同时，采集设备不同部位缺陷图片，诸如脏污、锈蚀图片用于对比训练。
使用滑动窗格分别提取正常图像与缺陷图像对应位置的子图像，得到样本子图像对；
对样本子图像对定义标签，并利用定义标签后的样本子图像对对所述孪生网络进行训练，得到所述预先训练好的孪生网络。
其中，对样本子图像对定义标签过程为：
将所述样本图像中包含缺陷部分比例(子图像所包含的缺陷区域的面积占子图像块的面积)大于或等于阈值t(t一般设置0.05-0.1，如果该图像块所占缺陷面积过小，则认为是噪音，进行剔除)的样本图像记为缺陷组的样本，以及将包含缺陷部分比例小于阈值t的样本图像记为正常组的样本；将缺陷组内的样本图像标签设置为-1，将正常组内的样本图像标签设置为1。
作为进一步优选的技术方案，所述孪生网络的对比损失函数为：
Figure BDA0003024386500000081
其中，
Figure BDA0003024386500000082
W表示参数，Y表示样本一和样本二是否匹配的标签，Y＝1代表两样本相似，Y＝0代表两个样本不相似，X1,X2分别表示用于对比的样本一和样本二，P表示样本的特征位数，m表示设定的阈值常数，如1.5，N表示样本个数，DW表示两个样本的欧式距离。
以下通过一具体实施例对本实施例的缺陷检测方法进行具体说明如下：
1)定点拍摄设备同一部位的两张图片，拍摄过程中采用同样的云台距离，角度，变倍系数，拍摄的图片具有较一致的分辨率及视野，如图4所示。
2)进行图像配准，使得两幅图的对应位置的像素点进一步对齐。
3)子图像提取，使用的滑动窗格提取图像上的子图像，滑窗尺寸为128×128像素(小于图像尺寸)，并以步长64在图像中从左向右滑动，每滑动一个窗格，提取一次子图像。该行图像提取完之后，回到图像最左侧向下滑动64像素，进行下一行子图像提取，滑窗从左到右、从上到下滑动直至整张图像遍历完，滑动窗格如图5所示。
4)配对完的子图像对成对送入孪生网络中训练，标签设置为-1与1，1对应相似，-1对应不相似，训练得到该场景下适应性模型。
5)对待测图像的识别，采取滑窗提取子图像块，送入孪生网络得到不相似度矩阵；图像中的每个区域的多个滑窗取均值处理，得到最终相似度图。
6)对相似度进行归一化到0与1之间，并设定阈值0.5进行二值化。
7)对二值化后的图像进行连通域合并，得到候选缺陷区域，如图6所示。
8)对候选缺陷区域，设定经验值200，面积小于200个像素点的缺陷区域进行过滤，得到最终的缺陷区域。
如图7所示，本实施例公开了一种基于相似度度量的刚性接触网缺陷检测系统，包括：图像采集模块10、子图像对提取模块20、处理模块30和识别模块40，其中：
图像采集模块10用于采用定点拍摄方式采集待测设备同一部位的待测图像与模板图像；
子图像对提取模块20用于使用滑动窗格分别提取待测图像与模板图像对应位置的子图像，得到子图像对；
处理模块30用于将子图像对作为预先训练好的孪生网络的输入，得到相似度图；
识别模块40用于对相似度图进行识别处理，得到缺陷区域。
作为进一步优选的技术方案，所述孪生网络包括特征提取网络和相似度度量网络，其中，特征提取网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层和第三卷积层，相似度度量网络包括依次连接的第一全连接层和第二全全连接层，第一卷积层的输入为所述子图像对，第三卷积层的输出为特征向量，第三卷积层的输出与第一全连接层的输入连接，第二全连接层的输出为相似度度量结果。
作为进一步优选的技术方案，所述识别模块40包括归一化单元、阈值二值化单元、合并单元和过滤单元，其中：
归一化单元用于对所述相似度图像进行归一化处理，得到归一化后的相似度图像；
阈值二值化单元用于对归一化后的相似度图像进行阈值二值化，得到疑似包含异物的图像区域；
合并单元用于将疑似包含异物的图像区域进行连通区域标注提取，将提取的连通区域作为缺陷候选区域；
过滤单元用于利用面积最小阈值对缺陷候选区域进行过滤，得到最终的缺陷区域。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于相似度度量的刚性接触网缺陷检测方法，其特征在于，包括：
采用定点拍摄方式采集待测设备同一部位的待测图像与模板图像；
使用滑动窗格分别提取待测图像与模板图像对应位置的子图像，得到子图像对；
将子图像对作为预先训练好的孪生网络的输入，得到相似度图；
对相似度图进行图像处理，得到缺陷区域；
所述使用滑动窗格分别提取待测图像与模板图像对应位置的子图像，得到子图像对，包括：
使用滑动窗格以步长s在分别在所述待测图像与模板图像中从左向右、从上到下滑动直至整张图像遍历完，每滑动一个窗格，提取该窗格内的图像为子图像；
将所述待测图像和模板图像相同位置的子图像作为一组子图像对；
所述孪生网络包括特征提取网络和相似度度量网络，其中，特征提取网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层和第三卷积层，相似度度量网络包括依次连接的第一全连接层和第二全全连接层，第一卷积层的输入为所述子图像对，第三卷积层的输出为特征向量，第三卷积层的输出与第一全连接层的输入连接，第二全连接层的输出为相似度度量结果；
其中，特征提取网络包含多层卷积层、激活、池化层，用于提取图像特征向量；相似度度量网络采取两层全卷积网络，用于计算图像相似度度量结果；两张子图像进入相同结构、相同参数的网络，提取各自的特征向量，两张图像提取出的特征向量进入相似度度量网络，从一个图像中提取很多子图像。
2.如权利要求1所述的基于相似度度量的刚性接触网缺陷检测方法，其特征在于，在所述采用定点拍摄方式采集待测设备同一部位的待测图像与模板图像之后，还包括：
对所述同一部位的待测图像与模板图像进行配准操作，得到配准后的待测图像与模板图像。
3.如权利要求1所述的基于相似度度量的刚性接触网缺陷检测方法，其特征在于，所述对相似度图进行识别处理，得到缺陷区域，包括：
对所述相似度图像进行归一化处理，得到归一化后的相似度图像；
对归一化后的相似度图像进行阈值二值化，得到疑似包含异物的图像区域；
将疑似包含异物的图像区域进行连通区域标注提取，将提取的连通区域作为缺陷候选区域；
利用面积最小阈值对缺陷候选区域进行过滤，得到最终的缺陷区域。
4.如权利要求1所述的基于相似度度量的刚性接触网缺陷检测方法，其特征在于，还包括：
在接触网环境中，在不同采样点分别采用定点拍摄方式采集设备各部位的正常图像和缺陷图像；
使用滑动窗格分别提取正常图像与缺陷图像对应位置的子图像，得到样本子图像对；
对样本子图像对定义标签，并利用定义标签后的样本子图像对对所述孪生网络进行训练，得到所述预先训练好的孪生网络。
5.如权利要求4所述的基于相似度度量的刚性接触网缺陷检测方法，其特征在于，所述孪生网络的对比损失函数为：
其中，W表示参数，Y表示样本一和样本二是否匹配的标签，Y＝1代表两样本相似，Y＝0代表两个样本不相似，X1,X2分别表示用于对比的样本一和样本二，P表示样本的特征位数，m表示设定的阈值常数，N表示样本个数，DW表示两个样本的欧式距离。
6.如权利要求5所述的基于相似度度量的刚性接触网缺陷检测方法，其特征在于，所述对样本子图像对定义标签，包括：
将样本图像中包含缺陷部分比例大于或等于阈值t的样本图像记为缺陷组的样本，以及将包含缺陷部分比例小于阈值t的样本图像记为正常组的样本；
将缺陷组内的样本图像标签设置为-1，将正常组内的样本图像标签设置为1。
7.一种基于相似度度量的刚性接触网缺陷检测系统，其特征在于，包括图像采集模块、子图像对提取模块、处理模块和识别模块，其中：
图像采集模块用于采用定点拍摄方式采集待测设备同一部位的待测图像与模板图像；
子图像对提取模块用于使用滑动窗格分别提取待测图像与模板图像对应位置的子图像，得到子图像对；
处理模块用于将子图像对作为预先训练好的孪生网络的输入，得到相似度图；
识别模块用于对相似度图进行识别处理，得到缺陷区域；
所述孪生网络包括特征提取网络和相似度度量网络，其中，特征提取网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层和第三卷积层，相似度度量网络包括依次连接的第一全连接层和第二全全连接层，第一卷积层的输入为所述子图像对，第三卷积层的输出为特征向量，第三卷积层的输出与第一全连接层的输入连接，第二全连接层的输出为相似度度量结果。
CN202110411610.0A 2021-04-16 2021-04-16 一种基于相似度度量的刚性接触网缺陷检测方法及系统 Active CN113112483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110411610.0A CN113112483B (zh) 2021-04-16 2021-04-16 一种基于相似度度量的刚性接触网缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110411610.0A CN113112483B (zh) 2021-04-16 2021-04-16 一种基于相似度度量的刚性接触网缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN113112483A CN113112483A (zh) 2021-07-13
CN113112483B true CN113112483B (zh) 2023-04-18

Family

ID=76717749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110411610.0A Active CN113112483B (zh) 2021-04-16 2021-04-16 一种基于相似度度量的刚性接触网缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN113112483B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757900B (zh) * 2022-03-31 2023-04-07 绍兴柯桥奇诺家纺用品有限公司 基于人工智能的纺织品缺陷类型识别方法
CN115100462A (zh) * 2022-06-20 2022-09-23 浙江方圆检测集团股份有限公司 一种基于回归预测的插座分类方法
CN116152244A (zh) * 2023-04-19 2023-05-23 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种smt缺陷检测方法、系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010084287A2 (fr) * 2009-01-26 2010-07-29 Alstom Transport Procédé de détection préventive de défauts de contact et de diagnostic de leur origine entre une ligne d'alimentation électrique et un organe conducteur mobile le long de cette ligne
CN111179251A (zh) * 2019-12-30 2020-05-19 上海交通大学 基于孪生神经网络利用模板比对的缺陷检测系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222792A (zh) * 2019-06-20 2019-09-10 杭州电子科技大学 一种基于孪生网络的标签缺陷检测算法
CN110992329B (zh) * 2019-11-28 2023-06-30 上海微创卜算子医疗科技有限公司 一种产品表面缺陷检测方法、电子设备及可读存储介质
CN111445459B (zh) * 2020-03-27 2023-07-28 广东工业大学 一种基于深度孪生网络的图像缺陷检测方法及系统
CN112308148A (zh) * 2020-11-02 2021-02-02 创新奇智(青岛)科技有限公司 缺陷类别识别、孪生神经网络训练方法、装置及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010084287A2 (fr) * 2009-01-26 2010-07-29 Alstom Transport Procédé de détection préventive de défauts de contact et de diagnostic de leur origine entre une ligne d'alimentation électrique et un organe conducteur mobile le long de cette ligne
CN111179251A (zh) * 2019-12-30 2020-05-19 上海交通大学 基于孪生神经网络利用模板比对的缺陷检测系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yongguang L.等.Defects Detection of Catenary Suspension Device Based on Image Processing and CNN.《2019 IEEE Symposium Series on Computational Intelligence (SSCI)》.2020,全文. *

Also Published As

Publication number Publication date
CN113112483A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN113112483B (zh) 一种基于相似度度量的刚性接触网缺陷检测方法及系统
CN110348445B (zh) 一种融合空洞卷积和边缘信息的实例分割方法
CN108492319B (zh) 基于深度全卷积神经网络的运动目标检测方法
CN113436169B (zh) 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统
CN115717894B (zh) 一种基于gps和普通导航地图的车辆高精度定位方法
CN111079734B (zh) 铁路货车三角孔异物检测方法
CN110334760B (zh) 一种基于resUnet的光学元器件损伤检测方法及系统
CN110751630A (zh) 基于深度学习的输电线路异物检测方法、装置及介质
CN113313031B (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
CN117593304B (zh) 基于交叉局部全局特征的半监督工业品表面缺陷检测方法
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
Yamazaki et al. Vehicle extraction and speed detection from digital aerial images
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及系统
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
Kamenetsky et al. Aerial car detection and urban understanding
CN114937269B (zh) 一种基于英文和汉字联合的船舶号牌识别方法及系统
CN115984186A (zh) 基于多分辨率知识提取的精细产品图像异常检测方法
CN115424128A (zh) 一种货车转向架下拉杆故障图像检测方法及系统
CN115100175A (zh) 一种基于小样本目标检测的轨道交通检测方法
CN112580569B (zh) 一种基于多维特征的车辆重识别方法及装置
CN114743257A (zh) 图像目标行为的检测识别方法
CN114187550A (zh) 一种基于改进yolo v3网络的弓网核心零部件识别方法
CN105574874A (zh) 一种序列图像变化检测的伪变化目标去除方法
CN113269195A (zh) 读数表图像字符识别方法和装置以及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant