CN111582332A - 一种高速铁路接触网吊弦部件的图片识别方法 - Google Patents

一种高速铁路接触网吊弦部件的图片识别方法 Download PDF

Info

Publication number
CN111582332A
CN111582332A CN202010326598.9A CN202010326598A CN111582332A CN 111582332 A CN111582332 A CN 111582332A CN 202010326598 A CN202010326598 A CN 202010326598A CN 111582332 A CN111582332 A CN 111582332A
Authority
CN
China
Prior art keywords
dropper
speed railway
network
picture
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010326598.9A
Other languages
English (en)
Other versions
CN111582332B (zh
Inventor
齐冬莲
钱佳莹
闫云凤
郑伊
吴越
李真鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yuanjian Information Technology Co ltd
Zhejiang University ZJU
Original Assignee
Hangzhou Yuanjian Information Technology Co ltd
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yuanjian Information Technology Co ltd, Zhejiang University ZJU filed Critical Hangzhou Yuanjian Information Technology Co ltd
Priority to CN202010326598.9A priority Critical patent/CN111582332B/zh
Publication of CN111582332A publication Critical patent/CN111582332A/zh
Application granted granted Critical
Publication of CN111582332B publication Critical patent/CN111582332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种高速铁路接触网吊弦部件的图片识别方法。采集高速铁路接触网图像中包含吊弦部件的样本图片；遍历采集的样本图片并统一缩放，并标注构成训练集；将训练集的样本图片输入构建的训练网络进行训练，获得高速铁路接触网吊弦部件检测模型；利用高速铁路接触网吊弦部件检测模型对待测高速铁路接触网图片进行吊弦部件定位结果预测。本发明能够实现高速铁路接触网部件的识别，具有较高的准确率，并且具有稳定性好、抗干扰能力强、通用性高等优点，具有良好的鲁棒性。

Description

一种高速铁路接触网吊弦部件的图片识别方法
技术领域
本发明涉及了一种识别高速铁路接触网图像处理方法，尤其是涉及了一种高速铁路接触网吊弦部件的图像识别方法。
背景技术
高速铁路接触网巡检系统通过对吊弦部件的针对性拍摄虽然可通过获取大量吊弦图片，但仍需要人工翻阅所有吊弦图片，来判断吊弦的状态。这样的操作模式耗费大量的时间和人工成本，且容易受到工作人员知识、经验等自身条件因素的影响。因此，如果能够在高速铁路接触网巡检系统中实现高速铁路接触网重要部件的定位和识别，对于高速铁路接触网巡检具有重要意义。借助于图像处理技术对高速铁路巡检系统拍摄的吊弦部件图片进行识别是实现吊弦部件状态自动识别的关键一步，也是亟需解决的难题之一。
发明内容
为了解决背景技术中的问题，本发明提出了一种高速铁路接触网吊弦部件的图像识别方法，能高效定位吊弦部件的位置并具有良好的稳定性。
本发明的技术方案包括以下步骤：
本发明主要包括利用训练集图片训练得到高速铁路接触网吊弦部件检测模型、以及利用该模型对训练集中不包含的高速铁路接触网图片进行吊弦部件定位结果预测这两个过程。
方法包括以下步骤：
1)采集高速铁路接触网图像中包含吊弦部件的样本图片，样本图片包含完整的高速铁路接触网吊弦部件，吊弦部件具体分为不同产品型号的多种类别，具体可以例如为“德系吊弦”和“日系吊弦”两种类型；
具体地所述样本图片中的吊弦部件完整地包括上部连接、中部绞线和下部连接的三个部分。其中“德系吊弦”、“日系吊弦”按比例1：1进行采集。
2)遍历采集的样本图片并统一缩放，以0.4的缩放比例对样本图片的长宽进行调整，缩放后的样本图片利用标注工具对样本图片中存在的不同产品型号的多种类别的吊弦部件进行真实定位框标注，具体实施即对“德系吊弦”、“日系吊弦”两种类型进行标注，得到吊弦部件的类别和其在样本图片上的真实定位框，从而构成训练集，训练集内的样本图片均为同一固定大小；
3)训练网络的结构描述：将训练集的样本图片输入设计构建的训练网络进行训练，获得高速铁路接触网吊弦部件检测模型；
4)利用高速铁路接触网吊弦部件检测模型对待测高速铁路接触网图片进行吊弦部件定位结果预测。
所述的高速铁路接触网图像中包含吊弦部件的样本图片是指在铁路巡检车车厢上部安装摄像头，以高速铁路接触网吊弦部件作为目标物，正对目标物进行定点触发拍摄采集获得的图片。
所述的训练网络包含特征提取模块、粗略调整模块、传输连接模块和精细调整模块，其中粗略调整模块和精细调整模块各自引出粗略调整损失函数和精细调整损失函数通过反向传播对训练网络的网络参数进行监督学习，具体包括有：
3.1)采用VGG16基础网络的特征提取部分作为特征提取模块，特征提取模块并利用VGG16基础网络的初始权重对输入网络的训练集图片依次进行5次固定大小的卷积操作和固定步长的下采样处理，输出得到四幅不同尺度的特征图；
3.2)然后在四幅特征图上进行先验框设置，利用粗略调整模块对先验框进行前景、背景概率预测获得前景、背景分类概率值，保留并调整前景分类概率值大于0.5的先验框，得到四幅特征图上的粗略调整定位框；
3.3)对于四幅特征图依次进行高低层特征图信息融合，传输连接模块通过权重卷积操作完成前景、后景特征信息与吊弦部件特征信息之间的信息转换(粗略调整模块里利用的信息是框里的是前景还是背景的信息，精细调整模块利用的信息是框里的是不是吊弦、是哪类吊弦的信息，因此进行转换)，获得精细调整模块所需要的四幅吊弦部件特征信息图；
3.4)在四幅吊弦部件特征信息图上映射步骤3.2)中获得的粗略调整定位框，由精细调整模块进行权重卷积操作得到对粗略调整定位框的类别预测概率值，选择类别预测概率值最大对应的类别作为该粗略调整定位框的预测类别，并在粗略调整定位框的基础上进行精细调整，获得精细调整框；
3.5)损失函数+监督学习：将步骤3.2)获得的前景、背景分类概率值和粗略调整定位框以及步骤3.4)获得的精细调整定位框分别带入各自的损失函数进行损失函数值的计算，并根据粗略调整损失函数的反向传播来更新特征提取模块的网络参数、粗略调整模块的网络参数；根据精细调整损失函数的反向传播来更新传输连接模块的网络参数、精细调整模块的网络参数；
3.6)重复上述步骤对训练集的样本图片按照固定学习率、固定训练次数，完成训练网络的网络参数更新，保留训练网络的结构和网络参数，最终训练获得高速铁路接触网吊弦部件检测模型。
关于特征图的描述所述步骤3.1)中，VGG16基础网络对输入的图片I进行连续5次的由卷积和下采样依次连接构成的组合操作，以第2次卷积操作及其下采样处理后获得的特征提取图作为粗略调整模块输出的第1幅特征图；按顺序将第3、4、5次卷积操作及其各自下采样处理后获得的特征提取图作为粗略调整模块输出的第2、3、4幅特征图。
假设输入图片I的像素大小为M*N，第1幅特征图经过2次下采样处理(卷积操作不改变特征图大小)，其大小为M/4像素*N/4像素；第2幅特征图经过3次下采样处理，其大小为M/8像素*N/8像素；同理，第3、4幅特征图大小依次为M/16像素*N/16像素和M/32像素*N/32像素。由此可知，4幅不同尺度的特征图分辨率分别为输入图片的1/4、1/8、1/16、1/32。
所述步骤3.2)中，在四幅特征图上进行先验框设置采用以下方式生成：
3.2.1)以固定矩形作为长宽比为1：1的基础框，将该基础框按照另外两种不同长宽比进行变形，分别得到另外两种的基础框；
具体地，例如以长为16像素、宽为16像素的矩形作为长宽比为1：1的基础框；将该基础框按照长宽比为3：1进行变形，得到长为27像素、宽为9像素的基础框；同理，按照长宽比为5：1进行变形，得到长为35像素、宽为7像素的基础框；
3.2.2)将3.2.1)中获得的三种不同长宽比的基础框以框矩形的中心点为准进行重叠组合，重叠组合是指这三个基础框叠在一起中心点重合，完成重叠组合后对特征提取模块输出的第1幅特征图上的每个像素点进行遍历，遍历时将中心点与该像素点重合，每个基础框获得一个先验框，则在第1幅特征图上得到M/4*N/4*3个先验框，依次对第2、3、4幅特征图的像素点进行遍历，四幅特征图总共可以得到(M/4*N/4+M/8*N/8+M/16*N/16+M/32*N/32)*3个先验框，M、N分别表示输入的样本图片横纵坐标方向宽度和高度上的像素点数量；
3.2.3)同一长宽比的先验框在不同的特征图下映射回原始的样本图片(输入图片)，映射回原始样本图片的大小不同而实现多尺度检测。
以长宽比为1：1的先验框为例，其第1幅特征图上占有16像素*16像素的面积，由于第1幅特征图分辨率为输入图片1/4，因此该先验框映射回原始的样本图片的面积为64像素*64像素；同理，由于第2、3、4幅特征图分辨率为输入图片1/8、1/16、1/32，因此该先验框由第2、3、4幅特征图映射回输入图片的面积为128像素*128像素、256像素*256像素、512像素*512像素。
在实际网络训练过程中，在对特征图边缘像素点遍历时预先设置的先验框在映射回输入图片时，存在先验框超出输入图片的长、宽范围。对此类先验框不送入粗略调整模块的训练。
所述步骤3.2)中，粗略调整模块是用依次进行的利用自身权重进行卷积操作、sigmoid函数映射对所有在原始的样本图片长、宽范围内的先验框进行数值在0-1之间的前景、背景分类概率预测，以及获得一组基于先验框坐标(x,y)、长宽(w,h)的粗略调整偏移量(Δx,Δy,Δw,Δh)，Δx,Δy,Δw,Δh分别表示先验框的中心点坐标、长宽的粗略调整偏移值；
粗略调整模块首先剔除前景、背景分类概率值在阈值0.5以下的先验框，该类先验框被认为“仅包含背景、无检测目标”不进行坐标的粗略调整且不送入精细调整模块；再将阈值在0.5及以上的先验框依照粗略调整模块同步给出的粗略调整偏移量(Δx,Δy,Δw,Δh)，依据粗略调整偏移量对先验框坐标(x,y)、长宽(w,h)进行粗略调整，获得粗略调整定位框，使得粗略调整定位框相比先验框包含更多的前景。
所述步骤3.3)中，传输连接模块是：首先将四幅特征图的每幅特征图经过依次进行的卷积操作、线性整流函数、再卷积后完成对特征图的重新提取，获得每幅特征图的下一层特征图，四幅下一层特征图具有不同的图像分辨率，图像分辨率越大越低级，按照图像分辨率对下一层特征图进行排序；再将四幅下一层特征图均依次进行反卷积后将图像分辨率排序后每相邻的两幅进行相加获得三幅融合特征图，三幅融合特征图和最大图像分辨率的下一层特征图反卷积后的结果一起构成了四幅融合后的特征图，完成高低层特征图的信息融合，通过这样借助高层特征图中的信息来帮助低层特征图提升对输入图片的信息理解；将融合后的特征图经过依次进行的线性整流函数、卷积、线性整流函数后完成前景、后景特征信息与吊弦部件特征信息之间的信息转换，获得精细调整模块所需要的四幅吊弦部件特征信息图。
所述步骤3.4)中，精细调整模块对各个粗略调整定位框进行K+1种类别的概率预测，得到K+1个类别预测值，K为吊弦部件的类别总数，K+1个类别为吊弦部件的所有类别加上背景类别，例如三种类别分别对应“背景类”、“德系吊弦类”、“日系吊弦类”，其中对于非背景类别的其他类别获得该类别对应的坐标精细调整值；将类别预测值大于等于阈值0.7的类别作为粗略调整定位框的预测类别，若出现2类或以上的类别预测值均大于等于0.7则选类别预测值最大的类别作为粗略调整定位框的预测类别，并按照类别所对应的坐标精细调整值对粗略调整定位框进行精细调整得到精细调整定位框，调整方式和粗略调整模块中的一致，使精细调整定位框更准确地定位到吊弦部件。
所述的步骤3.5)中，在训练网络的训练过程中进行监督学习，训练网络的总体损失函数包括粗略调整损失函数和精细调整损失函数，粗略调整损失函数包含对先验框前景、背景错误预测的惩罚和对前景先验框(实际中是前景的先验框，而不是概率预测出来值在0.5以上的)不正确的坐标调整惩罚，精细调整损失函数包含对粗略调整结果中错误分类的惩罚和不正确的坐标调整的惩罚，具体如下：
Figure BDA0002463438700000051
式中，L表示粗略调整模块和精细调整模块整体的损失函数数值，pi和xi代表第i个先验框在粗略调整模块中前景、背景的分类概率值和粗略调整的坐标调整偏移值；ci和ti代表第i个先验框在精细调整模块中多分类概率值和精细调整的坐标调整偏移值；Narm代表样本图片中所有先验框中与该样本图片中所有真实定位框之间交叠面积在70％及以上的先验框数量；Nodm代表样本图片中所有的先验框与该样本图片中同类别的真实定位框交叠面积在70％及以上的先验框数量之和；li *表示先验框与标注的真实定位框交叠面积是否在70％及以上，
Figure BDA0002463438700000052
表示若先验框与标注的真实定位框交叠面积在70％以上则为1，否则为0；gi *表示标注的真实定位框其中心点坐标及长宽大小；
Lb为在粗略调整模块中先验框前景、背景分类概率的二分类交叉熵损失函数，由于
Figure BDA0002463438700000053
的存在，该损失函数Lb只对与真实定位框交叠面积在70％及以上的先验框进行二分类交叉熵损失计算；Lr为在粗略调整模块/精细调整模块中的坐标调整偏移损失函数，仅对满足交叠面积在70％及以上的先验框进行坐标调整损失计算；Lm为精细调整模块中的多分类损失函数，是对粗略调整定位框最终的错误分类的惩罚；
通过计算以上损失函数数值L来对粗略调整模块以及精细调整模块中出现的误判情况进行惩罚，在粗略调整损失函数反向传播过程中调整特征提取模块和粗略调整模块的网络参数大小，在精细调整函数反向传播过程中调整传输连接模块和精细调整模块的网络参数大小，完成各个模块网络参数数值的更新和训练，获得最优的模型作为高速铁路接触网吊弦部件检测模型。
具体实施中，训练网络经多次优化更新后得到高速铁路接触网吊弦部件检测模型，利用该模型可对训练集中不包含的其他高速铁路接触网图片进行吊弦部件定位结果预测。预测过程中将不再进行粗略调整损失函数以及精细调整损失函数的计算以及相关的反向传播运算，将精细调整模块得到的分类以及定位结果采用非极大值抑制的方法进行筛选，得到最终简洁的定位、分类预测结果。
本发明首先利用卷积神经网络对高速铁路接触网图像进行特征提取，并在特征图上生成密集分布的先验框；其次利用对先验框进行位置、尺寸的第一次粗略调整，获取先验框中可能存在正样本的粗调候选框；最后对粗调候选框的位置、尺寸进行第二次的精细调整，并根据分类分数值确定高速铁路接触网部件的类别。
本发明具有的有益的效果是：
相比于以往的高速铁路接触网吊弦部件识别方法，本发明方法准确率高，鲁棒性好，且对高速铁路接触网其他部件具有通用性；
根据高速铁路接触网吊弦部件的特点，本发明选择了具有特定长宽比的先验框的属性，符合吊弦部件在实际图片中的拍摄比例；
由于RefineDet算法是基于粗调候选框的精调结果，具有二次位置、尺寸级联修正的优点，而在高速铁路接触网部件的检测过程中图像背景中常常包括结构与吊弦类似的部件，并且容易受到拍摄条件及拍摄背景的影响，比如拍摄不全、背景复杂等，将RefineDet算法应用到高速铁路接触网吊弦部件的定位检测中能够在一定程度上减少其他部件对吊弦部件的干扰，提高对吊弦部件的特征提取能力，进而提高队吊弦部件的定位的准确率。
本发明方法完全不受图片中存在的其他部件的影响，且在吊弦部件有部分未拍摄到的情况下也能够准确地检测与定位出待检测图片中的吊弦部件，具有较强的抗干扰能力。
综合上述，本发明能够实现高速铁路接触网部件的自动识别，具有较高的准确率，并且具有稳定性好，抗干扰能力强，通用性高等优点，具有良好的鲁棒性，能够应用于高速铁路接触网巡检监控系统。
附图说明
图1为实施例训练样本图片。
图2为实施例本方法高速铁路接触网吊弦部件的检测与定位结果图。
图3为实施例本方法在存在类似其他部件的吊弦部件检测与定位结果图。
图4为实施例本方法对于垂直拍摄角度下的吊弦部件检测与定位结果图。
图5为实施例本方法对于水平拍摄角度下的吊弦部件检测与定位结果图。
图6为实施例本方法在隧道内部光照条件下的吊弦部件检测与定位结果图。
图7为实施例本方法在拍摄不全情况下的吊弦部件检测与定位结果图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
按照本发明发明内容方法完整实施的实施例及其实施过程如下：
采集的样本图片共有3300张：训练集图片3000张，包含有“德系吊弦”结构的图片为2000张，包含有“日系吊弦”结构的图片为1000张；测试集图片300张，包含有“德系吊弦”结构的图片为200张，包含有“日系吊弦”结构的图片为100张。样本图片中若包含任一吊弦部件，则该样本图片为正样本图片；若样本图片中不包含任意吊弦部件，则该样本图片为负样本图片。如图1所示，第一行图片为负样本图片，第二行图片为正样本图片。样本图片经过归一化操作，为相同尺寸，即将其送入网络时的输入图片大小均为2504×1940像素。
采用高速铁路接触网吊弦部件检测模型对测试集图片进行测试，得到的测试结果如表1所示：
表1高速铁路接触网吊弦部件检测模型检测结果
Figure BDA0002463438700000071
从表1中可以看出，高速铁路接触网吊弦部件检测模型在测试集上的表现，在包含有“德系吊弦”结构的200张图片、共340个德系吊弦中，检测正确的个数达到324个，“德系吊弦”定位准确率为95.3％、误检率为0.05％；在包含有“日系吊弦”结构的100张图片、共100个日系吊弦中，检测正确的个数达到99个，“日系吊弦”定位准确率为99％、误检率为0％。因此，高速铁路接触网吊弦部件检测模型可以完成高速铁路网吊弦图片的吊弦定位及吊弦分类。
图2为拍摄背景露天且较为简单的情况下，本发明方法的定位和分类结果示意。
本发明实施例同时对多种不同拍摄情况进行测试：
①当拍摄背景露天、但拍摄画面中在存在类似其他部件时，高速铁路接触网吊弦部件检测模型可以准确排除类似部件对吊弦分类的干扰，完成针对吊弦的定位和分类，具体的实施例结果如图3所示；
②当拍摄背景露天、拍摄角度存在差异的情况下，高速铁路接触网吊弦部件检测模型可以对画面中处于垂直状态和水平状态的吊弦完成定位和分类，画面中吊弦处于垂直状态的实施例结果如图4所示、处于水平状态的实施例结果如图5所示；
③当拍摄背景在复杂环境即隧道内部的情况下，高速铁路接触网吊弦部件检测模型可以排除隧背景信息杂乱对吊弦定位的干扰，完成对吊弦的定位和分类，具体的实施例结果如图6所示；
④当拍摄由于其他原因造成吊弦结构不齐全的情况下，高速铁路接触网吊弦部件检测模型可以利用图片中仅有的吊弦特征信息完成对“半根”吊弦的定位和分类(吊弦不是齐全的，只有一半，可以直接叫“半根吊弦”)，具体的实施例结果如图7所示。
垂直和水平拍摄角度是目前巡检车辆固定的两种拍摄角度。图4、图5表示在两种拍摄角度下吊弦部件的定位和分类效果。从实验结果来看，本方法完全不受图片中两种角度的影响，能够准确地定位出待检测图片中的吊弦部件，并完成分类。本方法具有较强的适应能力，能满足不同拍摄角度下的定位及分类要求。
从图7中可以看到，在吊弦拍摄不全的情况下，本发明方法也能够准确地定位到图像中部分的吊弦部件，并根据部分吊弦部件的信息给出吊弦的分类结果。这在一定程度上弥补了巡检车在快速行驶情况下的拍摄不及时的缺点，可以有效地降低巡检系统对硬件触发的高依赖。
由此可见，本发明能够实现高速铁路接触网吊弦部件的自动定位及分类，具有较高的准确率，并且具有稳定性好，抗干扰能力强，通用性高等优点，对不同环境下的吊弦检测具有鲁棒性，能够应用于隧道巡检系统或者是高速铁路巡检车辆系统。
上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (7)

1.一种高速铁路接触网吊弦部件的图片识别方法，其特征在于：
方法包括以下步骤：
1)采集高速铁路接触网图像中包含吊弦部件的样本图片，样本图片包含完整的高速铁路接触网吊弦部件，吊弦部件具体分为不同产品型号的多种类别；
2)遍历采集的样本图片并统一缩放，缩放后的样本图片利用标注工具对样本图片中存在的不同产品型号的多种类别的吊弦部件进行真实定位框标注，得到吊弦部件的类别和其在样本图片上的真实定位框，从而构成训练集，训练集内的样本图片均为同一固定大小；
3)将训练集的样本图片输入设计构建的训练网络进行训练，获得高速铁路接触网吊弦部件检测模型；
4)利用高速铁路接触网吊弦部件检测模型对待测高速铁路接触网图片进行吊弦部件定位结果预测。
2.根据权利要求1所述的一种高速铁路接触网吊弦部件的图片识别方法，其特征在于：所述的高速铁路接触网图像中包含吊弦部件的样本图片是指在铁路巡检车车厢上部安装摄像头，以高速铁路接触网吊弦部件作为目标物，正对目标物进行定点触发拍摄采集获得的图片。
3.根据权利要求1所述的一种高速铁路接触网吊弦部件的图片识别方法，其特征在于：所述的训练网络包含特征提取模块、粗略调整模块、传输连接模块和精细调整模块，其中粗略调整模块和精细调整模块各自引出粗略调整损失函数和精细调整损失函数通过反向传播对训练网络的网络参数进行监督学习，具体包括有：
3.1)采用VGG16基础网络的特征提取部分作为特征提取模块，特征提取模块并利用VGG16基础网络的初始权重对输入网络的训练集图片依次进行5次固定大小的卷积操作和固定步长的下采样处理，输出得到四幅不同尺度的特征图；
3.2)然后在四幅特征图上进行先验框设置，利用粗略调整模块对先验框进行前景、背景概率预测获得前景、背景分类概率值，保留并调整前景分类概率值大于0.5的先验框，得到四幅特征图上的粗略调整定位框；
3.3)对于四幅特征图依次进行高低层特征图信息融合，传输连接模块通过权重卷积操作完成前景、后景特征信息与吊弦部件特征信息之间的信息转换，获得精细调整模块所需要的四幅吊弦部件特征信息图；
3.4)在四幅吊弦部件特征信息图上映射步骤3.2)中获得的粗略调整定位框，由精细调整模块进行权重卷积操作得到对粗略调整定位框的类别预测概率值，选择类别预测概率值最大对应的类别作为该粗略调整定位框的预测类别，并在粗略调整定位框的基础上进行精细调整，获得精细调整框；
3.5)将步骤3.2)获得的前景、背景分类概率值和粗略调整定位框以及步骤3.4)获得的精细调整定位框分别带入损失函数进行损失函数值的计算，并根据粗略调整损失函数的反向传播来更新特征提取模块的网络参数、粗略调整模块的网络参数；根据精细调整损失函数的反向传播来更新传输连接模块的网络参数、精细调整模块的网络参数；
3.6)重复上述步骤对训练集的样本图片按照固定学习率、固定训练次数，完成训练网络的网络参数更新，保留训练网络的结构和网络参数，最终训练获得高速铁路接触网吊弦部件检测模型。
4.根据权利要求3所述的一种高速铁路接触网吊弦部件的图片识别方法，其特征在于：所述步骤3.1)中，VGG16基础网络对输入的图片I进行连续5次的由卷积和下采样依次连接构成的组合操作，以第2次卷积操作及其下采样处理后获得的特征提取图作为粗略调整模块输出的第1幅特征图；按顺序将第3、4、5次卷积操作及其各自下采样处理后获得的特征提取图作为粗略调整模块输出的第2、3、4幅特征图。
5.根据权利要求3所述的一种高速铁路接触网吊弦部件的图片识别方法，其特征在于：所述步骤3.2)中，在四幅特征图上进行先验框设置采用以下方式生成：
3.2.1)以固定矩形作为长宽比为1：1的基础框，将该基础框按照另外两种不同长宽比进行变形，分别得到另外两种的基础框；
3.2.2)将3.2.1)中获得的三种不同长宽比的基础框以框矩形的中心点为准进行重叠组合，重叠组合是指这三个基础框叠在一起中心点重合，完成重叠组合后对特征提取模块输出的第1幅特征图上的每个像素点进行遍历，遍历时将中心点与该像素点重合，每个基础框获得一个先验框，则在第1幅特征图上得到M/4*N/4*3个先验框，依次对第2、3、4幅特征图的像素点进行遍历，四幅特征图总共可以得到(M/4*N/4+M/8*N/8+M/16*N/16+M/32*N/32)*3个先验框，M、N分别表示输入的样本图片横纵坐标方向宽度和高度上的像素点数量；
3.2.3)同一长宽比的先验框在不同的特征图下映射回原始的样本图片，映射回原始样本图片的大小不同而实现多尺度检测。
6.根据权利要求3所述的一种高速铁路接触网吊弦部件的图片识别方法，其特征在于：
所述步骤3.2)中，粗略调整模块是用依次进行的利用自身权重进行卷积操作、sigmoid函数映射对所有在原始的样本图片长、宽范围内的先验框进行数值在0-1之间的前景、背景分类概率预测，以及获得一组基于先验框坐标(x,y)、长宽(w,h)的粗略调整偏移量(Δx,Δy,Δw,Δh)，Δx,Δy,Δw,Δh分别表示先验框的中心点坐标、长宽的粗略调整偏移值；粗略调整模块首先剔除前景、背景分类概率值在阈值0.5以下的先验框，再将阈值在0.5及以上的先验框依照粗略调整模块同步给出的粗略调整偏移量(Δx,Δy,Δw,Δh)，依据粗略调整偏移量对先验框坐标(x,y)、长宽(w,h)进行粗略调整，获得粗略调整定位框；
所述步骤3.3)中，传输连接模块是：首先将四幅特征图的每幅特征图经过依次进行的卷积操作、线性整流函数、再卷积后完成对特征图的重新提取，获得每幅特征图的下一层特征图，四幅下一层特征图具有不同的图像分辨率，按照图像分辨率对下一层特征图进行排序；再将四幅下一层特征图均依次进行反卷积后将图像分辨率排序后每相邻的两幅进行相加获得三幅融合特征图，三幅融合特征图和最大图像分辨率的下一层特征图反卷积后的结果一起构成了四幅融合后的特征图，完成高低层特征图的信息融合；将融合后的特征图经过依次进行的线性整流函数、卷积、线性整流函数后完成前景、后景特征信息与吊弦部件特征信息之间的信息转换，获得精细调整模块所需要的四幅吊弦部件特征信息图；
所述步骤3.4)中，精细调整模块对各个粗略调整定位框进行K+1种类别的概率预测，得到K+1个类别预测值，K为吊弦部件的类别总数，其中对于非背景类别的其他类别获得该类别对应的坐标精细调整值；将类别预测值大于等于阈值0.7的类别作为粗略调整定位框的预测类别，若出现2类或以上的类别预测值均大于等于0.7则选类别预测值最大的类别作为粗略调整定位框的预测类别，并按照类别所对应的坐标精细调整值对粗略调整定位框进行精细调整得到精细调整定位框，使精细调整定位框更准确地定位到吊弦部件；
所述的步骤3.5)中，在训练网络的训练过程中进行监督学习，训练网络的总体损失函数包括粗略调整损失函数和精细调整损失函数，粗略调整损失函数包含对先验框前景、背景错误预测的惩罚和对前景先验框不正确的坐标调整惩罚，精细调整损失函数包含对粗略调整结果中错误分类的惩罚和不正确的坐标调整的惩罚，具体如下：
Figure RE-FDA0002579372310000031
式中，L表示粗略调整模块和精细调整模块整体的损失函数数值，pi和xi代表第i个先验框在粗略调整模块中前景、背景的分类概率值和粗略调整的坐标调整偏移值；ci和ti代表第i个先验框在精细调整模块中多分类概率值和精细调整的坐标调整偏移值；Narm代表样本图片中所有先验框中与该样本图片中所有真实定位框之间交叠面积在70％及以上的先验框数量；Nodm代表样本图片中所有的先验框与该样本图片中同类别的真实定位框交叠面积在70％及以上的先验框数量之和；li *表示先验框与标注的真实定位框交叠面积是否在70％及以上，
Figure RE-FDA0002579372310000041
表示若先验框与标注的真实定位框交叠面积在70％以上则为1，否则为0；gi *表示标注的真实定位框其中心点坐标及长宽大小；Lb为在粗略调整模块中先验框前景、背景分类概率的二分类交叉熵损失函数；Lr为在粗略调整模块/精细调整模块中的坐标调整偏移损失函数；Lm为精细调整模块中的多分类损失函数；
通过计算以上损失函数数值L来对粗略调整模块以及精细调整模块中出现的误判情况进行惩罚，在粗略调整损失函数反向传播过程中调整特征提取模块和粗略调整模块的网络参数大小，在精细调整函数反向传播过程中调整传输连接模块和精细调整模块的网络参数大小，完成各个模块网络参数数值的更新和训练，获得最优的模型作为高速铁路接触网吊弦部件检测模型。
7.根据权利要求3所述的一种高速铁路接触网吊弦部件的图片识别方法，其特征在于：
所述样本图片中的吊弦部件完整地包括上部连接、中部绞线和下部连接的三个部分。
CN202010326598.9A 2020-04-23 2020-04-23 一种高速铁路接触网吊弦部件的图片识别方法 Active CN111582332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010326598.9A CN111582332B (zh) 2020-04-23 2020-04-23 一种高速铁路接触网吊弦部件的图片识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010326598.9A CN111582332B (zh) 2020-04-23 2020-04-23 一种高速铁路接触网吊弦部件的图片识别方法

Publications (2)

Publication Number Publication Date
CN111582332A true CN111582332A (zh) 2020-08-25
CN111582332B CN111582332B (zh) 2022-05-24

Family

ID=72122672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010326598.9A Active CN111582332B (zh) 2020-04-23 2020-04-23 一种高速铁路接触网吊弦部件的图片识别方法

Country Status (1)

Country Link
CN (1) CN111582332B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537196A (zh) * 2021-07-21 2021-10-22 拉扎斯网络科技（上海）有限公司 图片识别方法、装置、计算机设备及计算机可读存储介质
US20220148189A1 (en) * 2020-11-10 2022-05-12 Nec Laboratories America, Inc. Multi-domain semantic segmentation with label shifts

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256483A (zh) * 2018-01-18 2018-07-06 湖南华宏铁路高新科技开发有限公司 一种基于图像处理的电气化铁路接触网吊弦检测方法
CN208216535U (zh) * 2018-01-30 2018-12-11 大连维德轨道装备有限公司 电气化铁路接触网吊弦检测系统
CN110310261A (zh) * 2019-06-19 2019-10-08 河南辉煌科技股份有限公司 一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256483A (zh) * 2018-01-18 2018-07-06 湖南华宏铁路高新科技开发有限公司 一种基于图像处理的电气化铁路接触网吊弦检测方法
CN208216535U (zh) * 2018-01-30 2018-12-11 大连维德轨道装备有限公司 电气化铁路接触网吊弦检测系统
CN110310261A (zh) * 2019-06-19 2019-10-08 河南辉煌科技股份有限公司 一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHIWANG LIU 等: "An Efficient Method for High-Speed Railway Dropper Fault Detection Based on Depthwise Separable Convolution", 《IEEE ACCESS》 *
徐钥斌: "图像处理在接触网吊弦缺陷检测中的应用", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
王健等: "基于图像识别的高铁接触网紧固件开口销故障分类方法", 《电气化铁道》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220148189A1 (en) * 2020-11-10 2022-05-12 Nec Laboratories America, Inc. Multi-domain semantic segmentation with label shifts
CN113537196A (zh) * 2021-07-21 2021-10-22 拉扎斯网络科技（上海）有限公司 图片识别方法、装置、计算机设备及计算机可读存储介质
CN113537196B (zh) * 2021-07-21 2023-04-07 拉扎斯网络科技（上海）有限公司 图片识别方法、装置、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111582332B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN110321923B (zh) 不同尺度感受野特征层融合的目标检测方法、系统及介质
CN112380952B (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN108009515B (zh) 一种基于fcn的无人机航拍图像的输电线定位识别方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN108830285B (zh) 一种基于Faster-RCNN的加强学习的目标检测方法
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN108010025B (zh) 基于rcnn的屏柜的开关与指示灯定位和状态识别方法
CN108711148B (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN112053318A (zh) 基于深度学习的二维pcb缺陷实时自动检测与分类装置
CN113724231A (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN111582332B (zh) 一种高速铁路接触网吊弦部件的图片识别方法
CN113344852A (zh) 一种电力场景通用物品的目标检测方法、装置及存储介质
CN113168687A (zh) 图像评价装置和方法
CN112633149A (zh) 一种域自适应雾天图像目标检测方法和装置
CN111242899A (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN115841488B (zh) 一种基于计算机视觉的pcb板的检孔方法
CN111401188A (zh) 一种基于人体关键点特征的交警手势识别方法
CN115937659A (zh) 基于Mask-RCNN的室内复杂环境下多目标检测方法
CN113591973B (zh) 一种轨道板外观状态变化智能比对方法
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN110826364B (zh) 一种库位识别方法及装置
CN116740652B (zh) 一种基于神经网络模型的锈斑面积扩大的监测方法与系统
CN111476314B (zh) 一种融合光流算法与深度学习的模糊视频检测方法
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及系统
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Yan Yunfeng

Inventor after: Qian Jiaying

Inventor after: Qi Donglian

Inventor after: Zheng Yi

Inventor after: Wu Yue

Inventor after: Li Zhenming

Inventor before: Qi Donglian

Inventor before: Qian Jiaying

Inventor before: Yan Yunfeng

Inventor before: Zheng Yi

Inventor before: Wu Yue

Inventor before: Li Zhenming