CN110399816B - 一种基于Faster R-CNN的高速列车车底异物检测方法 - Google Patents
一种基于Faster R-CNN的高速列车车底异物检测方法 Download PDFInfo
- Publication number
- CN110399816B CN110399816B CN201910633675.2A CN201910633675A CN110399816B CN 110399816 B CN110399816 B CN 110399816B CN 201910633675 A CN201910633675 A CN 201910633675A CN 110399816 B CN110399816 B CN 110399816B
- Authority
- CN
- China
- Prior art keywords
- vehicle bottom
- region
- candidate
- foreign matter
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于Faster R‑CNN的高速列车车底异物检测方法,包括以下步骤:拍摄高速列车车底异物图片,将车底异物图片存储在图像库中;在图像库中对采集的车底异物图片进行筛选,获取车底样本图像用于建立关于高速列车车底异物图像样本库;对车底样本图像进行预处理、构建改进的Faster R‑CNN的检测模型,通过四步交替法和随机梯度下降法对检测模型进行训练得到车底异物检测模型,将待检测车底图像输入检测模型进行检测和识别,并输出识别结果。本发明对高速列车车底异物进行高效、准确的检测,实用性强,发展前景良好,能够克服传统人工检测的缺陷,大幅提高检测效率,极大的减少检测成本。
Description
技术领域
本发明属于高速列车车底异物与图像处理技术领域,尤其涉及一种基于FasterR-CNN的高速列车车底异物检测方法。
背景技术
动车组在高速运行状态下,容易将轨旁塑料袋等异物卷入车底转向架、电缆线和设备缝隙中,经过摩擦容易引起烟雾并散发异味,甚至可能引起设备短路导致火灾。因此,及时发现附着在车底的异物并进行相应处理,对铁路运行安全具有重要的意义;
长期以来,针对动车车底异物的检测主要依靠人工检修模式,即检修工人钻入动车车底,使用手电筒等简单的工具对车底进行检查,筛选异物。这种检修方式十分落后,效率低,且无法保证检查的准确率和检修工人的人身安全。随着动车开行密度的加大,检修任务越来越重,检修工人的劳动强度也随之骤增,更加容易导致误检、漏检等情况,这将给列车安全运行带来严重隐患。传统的检修模式已难以适应现代铁路发展的需要,为此,中国铁路总公司推动以“5T”系统为代表的铁路机车车辆运行安全监测技术的研究,其中针对动车组的检测需求研发了动车组运行故障图像检测系统(Trouble of moving EMU DetectionSystem,TEDS)。TEDS集成图像采集、图像实时处理、图像识别、准确定位和网络控制等技术,可对动车组外部进行动态可视化检测,并且能够对突发故障,安全隐患在线检测,从而保障列车运行安全。TEDS系统采用的图像识别技术,首先对采集的图像进行自动分析,对异常的部件进行预警提示,然后再由工作人员进行核查和确认,但当前TEDS系统对车底异物的识别存在自动报警率过高、准确率低的缺陷,需要大量的人力资源进行二次复核。因此,如何提高检测的效率,减少资源的消耗,成为目前迫切需要解决的问题。
发明内容
本发明的目的在于:针对上述存在的问题,提供一种基于Faster R-CNN的高速列车车底异物检测方法,本发明能对高速列车车底异物进行高效、准确的检测,实用性强,发展前景良好。为了实现上述目的,本发明采用以下技术方案:
本发明提供了一种基于Faster R-CNN的高速列车车底异物检测方法,其特征在于:所述检测方法包括以下步骤:
步骤1:拍摄高速列车车底异物图片,将车底异物图片存储在图像库中;在图像库中对采集的车底异物图片进行筛选,获取车底样本图像用于建立关于高速列车车底异物图像样本库;
步骤2:对车底样本图像进行预处理,包括对车底样本图像的异物进行图像标注,然后按照特定协议格式将标注的车底样本图像的异物信息存储到XML格式文件中;
步骤3:构建改进的Faster R-CNN的检测模型,所述改进的Faster R-CNN的检测模型由特征提取VGG网络、区域建议RPN网络和Fast R-CNN网络组成,作用分别是生成车底异物特征图、利用特征图对异物进行特征提取并产生候选建议区域、利用特征图和候选建议区域对车底异物进行检测和识别;
步骤4:训练检测模型,通过四步交替法和随机梯度下降法对检测模型进行训练得到车底异物检测模型;
步骤5:将待检测车底图像输入检测模型进行检测和识别,并输出识别结果。
上述方案进一步优选的,步骤2中,对车底样本图像进行预处理的步骤为:对车底样本图进行格式化命名,采用目标检测标注工具LabelImg进行标注车底样本图像中的异物,标注时将异物整体框入,并记录真实目标包围框坐标,同时设置异物的类别标签,然后按照特定协议格式将标注的样本图像的异物信息存储到XML格式文件中,XML文件中的信息除了标注信息外还包括异物标注框左下角以及右上角的坐标信息和图片的宽度和高度。
上述方案进一步优选的,所述特征提取VGG网络用于生成车底异物特征图,所述区域建议RPN网络用于在异物特征图上进行异物的特征提取以及生成候选建议区域,Fast R-CNN网络则是基于异物特征图和候选建议区域对异物进行检测和识别;对车底样本图像的异物检测的步骤包括:通过特征提取VGG网络对车底样本图像的异物生成车底异物特征图,区域建议RPN网络从车底异物特征图上提取异物特征并生成候选建议区域,然后将车底异物特征图和候选建议区域输入Fast R-CNN网络进行检测识别。
上述方案进一步优选的,所述特征提取VGG网络由17个卷积层、3个全连接层和5个池化层组成,从车底异物特征图上提取异物特征并生成候选建议区域的流程为:
步骤41,在特征提取VGG网络的第十六卷积层conv4_3和第二全连接层fc7后添加4个具有衰减空间分辨率的卷积层,其深度均为512,并使用L2范数对第十六卷积层conv4_3进行规则化,则L2范数的定义为:
x为特征图上的特征向量;
步骤42,将车底异物特征图输入区域建议RPN网络,输入车底异物特征图后用一个3×3的窗口在特征图上滑动,在其中心对应的每一个像素点上映射几种不同尺寸和长宽比的基准边框,称作Anchor;
步骤43,对车底异物特征图进行特征提取并生成候选建议区域,其中,区域建议RPN网络本身由卷积网络组成,对区域建议RPN网络进行改进以适应车底异物的需要,具体改进的方法为:在区域建议RPN网络设置一组尺寸为{64、128、256},比例为{1:1、1:2、2:1}的Anchor。
上述方案进一步优选的,生成候选建议区域包括以下步骤:
步骤51:利用LabelImg标注工具构建包含标注的图库作为训练集和测试集,将预处理后的训练集输入至特征提取VGG网络,对车底样本图像做卷积和池化操,并获得特征图;
步骤52:将特征图输送至区域建议RPN网络,用一个3×3的窗口在特征图上滑动,窗口的中心点对应特征图上的一个像素点,在像素点上按预先设置好的比例尺寸生成候选建议区域;
步骤53:通过采用非极大值抑制算法筛选候选建议区域,然后输出两个支路,支路1输出是异物或者非异物的概率,支路2输出候选建议回归框中心坐标x、y与长宽值w、h;然后分别通过设置4个坐标参数用于衡量候选建议回归框的准确度,具体衡量公式如下:
tx=(x-xa)/wa,
ty=(y-ya)/ha,
tw=log(w/wa),
th=log(h/ha),
其中,x,y,w,h分别表示预测包围框的中心坐标(x,y)和包围框的宽w和高h,变量x,xa,x*分别指预测包围框、Anchor以及真实区域的x坐标,同理,y,ya,y*,为预测包围框、Anchor以及真实区域的y坐标,t为预测包围框坐标相对Anchor的坐标偏移量,t*为预测包围框坐标相对真实区域坐标的偏移量。6.根据权利要求5所述的一种基于Faster R-CNN的高速列车车底异物检测方法,其特征在于:采用非极大值抑制算法筛选候选建议区域计算的具体过程:依据概率值,由高到低依次选取500个包含异物的候选建议区域;筛选后将候选建议区域与特征图一同传输至Fast R-CNN检测模型进行分类与识别训练;其中,筛选候选建议区的过程为:从500个候选区域中选出128个候选区域用于训练,当候选建议区域与实际真实区域的交并比值大于0.5,按大小挑选前32个;当候选建议区域与实际真实区域的交并比值小于0.1,按大小选择96个作为负样本。
上述方案进一步优选的,对检测模型进行训练得到所述车底异物检测模型的训练方法步骤为:
第一步,训练区域建议RPN网络,使用ImageNet预训练模型对RPN网路进行初始化,并对所产生的Anchor的形状和位置进行端到端的微调,从而生成候选建议区;
第二步,将第一步生成的候选建议区域输送至Fast R-CNN网络进行训练,此时两个网络相互独立,没有共享卷积层;
第三步,用第二步训练的Fast R-CNN网络对区域建议RPN网络进行初始化并进行训练,此时固定共享卷积层,并且只微调区域建议RPN网络的独有层;
第四步,用第三步训练的区域建议RPN网络初始化Fast R-CNN网络并进行训练,保持共享卷积层固定,微调Fast R-CNN网络的分类层,此时,两个网络共享相同的卷积层,构成一个统一的网络;
第五步,重复第一步至第四步的上述操作直至损失不再变化为止;其中,
第一步至第四步训练过程中每一步的损失函数公式满足:
其中,i指的是第i个Anchor的检索下标;Pi为第i个Anchor是目标物的预测概率,如果检测到Anchor中含有异物,则值为1,否则为0,ti表示预测的回归框的坐标向量,而是与Anchor所对应的真实值边框的坐标向量,为鲁棒损失函数,Lcls为分类误差损失函数,Lreg为回归误差损失函数,Ncls表示每幅图像随机采样的默认框数量,Nreg表示默认框中心点数量,λ为平衡权重。
综上所述,由于本发明采用了上述技术方案,本发明具有以下有益技术效果是:本发明利用深度学习的相关理论对高速列车车底异物进行高效、准确的检测,实用性强,发展前景良好,能够克服传统人工检测的缺陷,大幅提高检测效率,极大的减少检测成本。
附图说明
图1是本发明的Faster R-CNN网络模型的框架图;
图2是本发明的车底异物检测模型工作流程图;
图3是本发明的第一异物检测结果的图示意图;
图4是本发明的第二异检测结果的图示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下参照附图并举出优选实施例,对本发明进一步详细说明。然而,需要说明的是,说明书中列出的许多细节仅仅是为了使读者对发明的一个或多个方面有一个透彻的理解,即便没有这些特定的细节也可以实现本发明的这些方面。
如图1所示,根据本发明的一种基于Faster R-CNN的高速列车车底异物检测方法,所述检测方法包括以下步骤:
步骤1:拍摄高速列车车底异物图片,主要通过动车组车辆故障动态图像检测系统(TEDS)探测设备站拍摄高速列车车底异物图片,并将车底异物图片存储在图像库中;在图像库中对采集的车底异物图片进行筛选,获取车底样本图像用于建立关于高速列车车底异物图像样本库;
步骤2:对车底样本图像进行预处理,包括对车底样本图像的异物进行图像标注,然后按照特定协议格式将标注的车底样本图像的异物信息存储到XML格式文件中;在本发明中,对车底样本图像进行预处理的步骤为:对车底样本图进行格式化命名,采用目标检测标注工具LabelImg进行标注车底样本图像中的异物,标注时将异物整体框入,并记录真实目标包围框坐标,同时设置异物的类别标签,然后按照特定协议格式将标注的样本图像的异物信息存储到XML格式文件中,XML文件中的信息除了标注信息外还包括异物标注框左下角以及右上角的坐标信息和图片的宽度和高度。对车底样本图进行格式化命名后,再进行标注分离车底异物和背景,具体过程如下:准备LabelImg图像标注软件;使用LabelImg软件对车底异物图像进行标注,标注时划出异物的位置同时设置异物名称,这里将异物的标签设置为blockage,标注文件的格式为xml;将生成的xml文件解析成专用的PASCAL VOC2007格式,分别设置成三个文件夹,名称分别为Annotations、ImageSets和JPEGImages,Annotations文件夹存放xml文件,ImageSet存放三个txt格式文件,三个txt文件分别指明样本文件中哪些为数据集,测试集和验证集,JPEGImage存放车底异物图片,以便采用TensorFlow深度学习框架构建基于Faster R-CNN的车底异物检测模型。
步骤3:构建改进的Faster R-CNN的检测模型,通过改进的Faster R-CNN的检测模型先生成特征图,然后生成候选建议区域,最终利用特征图和候选区域对异物进行检测;所述改进的Faster R-CNN的检测模型由特征提取网络VGG、区域建议RPN网络和Fast R-CNN网络组成,作用分别是生成车底异物特征图、利用特征图对异物进行特征提取并产生候选建议区域、利用特征图和候选建议区域对车底异物进行检测和识别;
步骤4:训练检测模型,通过四步交替法和随机梯度下降法(Stochasticgradientdescent,SGD)对检测模型进行训练得到车底异物检测模型;
在本发明中,结合图1和图2所示,对检测模型进行训练得到所述车底异物检测模型的训练方法步骤为:
第一步,训练区域建议RPN网络,使用ImageNet预训练模型对RPN网路进行初始化,并对所产生的Anchor的形状和位置进行端到端的微调,通过Anchor的形状和位置进行微调,从而生成候选建议区;
第二步,将第一步生成的候选建议区域输送至Fast R-CNN网络进行训练,此时两个网络相互独立,没有共享卷积层;
第三步,用第二步训练的Fast R-CNN网络对区域建议RPN网络进行初始化并进行训练,此时固定共享卷积层,并且只微调区域建议RPN网络的独有层;
第四步,用第三步训练的区域建议RPN网络初始化Fast R-CNN网络并进行训练,保持共享卷积层固定,微调Fast R-CNN网络的分类层,此时,两个网络共享相同的卷积层,构成一个统一的网络;
第五步,重复第一步至第四步的上述操作直至损失不再变化为止;分别对两幅异物图进行检测结果如图3和图4所示,异物被包围框包围,包围盒上方显示异物的类型和置信度;异物被包围从而了找出车底图像中的异物,检测完成后检测模型会对异物进行标记,然后标记异物的概率;
第一步至第四步训练过程中每一步的损失函数公式满足:
其中,i指的是第i个Anchor的检索下标;Pi为第i个Anchor是目标物的预测概率,如果检测到Anchor中含有异物,则值为1,否则为0,ti表示预测的回归框的坐标向量,而是与Anchor所对应的真实值边框的坐标向量,为鲁棒损失函数,以1划分区域可以让函数更平滑;Lcls为分类误差损失函数,Lreg为回归误差损失函数,Ncls表示每幅图像随机采样的默认框数量,Nreg表示默认框中心点数量,λ为平衡权重,损失函数由Ncls、Nreg以及λ归一化计算得到。
步骤5:将待检测车底图像输入检测模型进行检测和识别,并输出识别结果。
在本发明中,所述特征提取VGG网络用于生成车底异物特征图,所述区域建议RPN网络用于在异物特征图上进行异物的特征提取以及生成候选建议区域,Fast R-CNN网络则是基于异物特征图和候选建议区域对异物进行检测和识别;对车底样本图像的异物检测的步骤包括:通过特征提取VGG网络对车底样本图像的异物生成车底异物特征图,区域建议RPN网络从车底异物特征图上提取异物特征并生成候选建议区域,然后将车底异物特征图和候选建议区域输入Fast R-CNN网络进行检测识别。在本发明中,结合图1,所述特征提取VGG网络由17个卷积层、3个全连接层和5个池化层组成,从车底异物特征图上提取异物特征并生成候选建议区域的流程为:
步骤41,在特征提取VGG网络的第十六卷积层conv4_3和第二全连接层fc7后添加4个具有衰减空间分辨率的卷积层,其深度均为512,并使用L2范数对第十六卷积层conv4_3进行规则化,则L2范数的定义为:
x为特征图上的特征向量;
所述特征提取VGG网络将不同的卷积层分成卷积组,covn4_3代表第四个卷积组中的第三个卷积层(为第十六卷积层),17个卷积层是指所有卷积组中层数之和,三个全连接层分别是fc6、fc7和fc8,
步骤42,将车底异物特征图输入区域建议RPN网络,输入车底异物特征图后用一个3×3的窗口在特征图上滑动,在其中心对应的每一个像素点上映射几种不同尺寸和长宽比的基准边框,称作Anchor;
步骤43,对车底异物特征图进行特征提取并生成候选建议区域,其中,区域建议RPN网络本身由卷积网络组成,对区域建议RPN网络进行改进以适应车底异物的需要,具体改进的方法为:在区域建议RPN网络设置一组尺寸为{64、128、256},比例为{1:1、1:2、2:1}的Anchor;生成候选建议区域包括以下步骤:
步骤51:利用LabelImg标注工具构建包含标注的图库作为训练集和测试集,将预处理后的训练集输入至特征提取VGG网络,对车底样本图像做卷积和池化操,并获得特征图,通过对整张图片进行卷积和池化操作,获取车底样本图像的特征图,Fast R-CNN模型接收特征提取VGG网络产生的特征图和区域建议RPN网络产生的候选建议区域,其中候选建议区域输入至FastR-CNN模型的ROI池化层;
步骤52:将特征图输送至区域建议RPN网络,用一个3×3的窗口在特征图上滑动,窗口的中心点对应特征图上的一个像素点,在像素点上按预先设置好的比例尺寸生成候选建议区域;
步骤53:通过采用非极大值抑制算法(Stochastic gradient descent,SGD)筛选候选建议区域,然后输出两个支路,支路1输出是异物或者非异物的概率,支路2输出候选建议回归框中心坐标x、y与长宽值w、h;然后分别通过设置4个坐标参数用于衡量候选建议回归框的准确度,具体衡量公式如下:
tx=(x-xa)/wa,
ty=(y-ya)/ha,
tw=log(w/wa),
th=log(h/ha),
其中,x,y,w,h分别表示预测包围框的中心坐标(x,y)和包围框的宽w和高h,变量x,xa,x*分别指预测包围框、Anchor以及真实区域的x坐标,对车底样本图像进行预处理过程中对异物的标注就是真实信息,真实信息包括坐标和类别;同理,y,ya,y*,为预测包围框、Anchor以及真实区域的y坐标t为预测包围框坐标相对Anchor的坐标偏移量,t*为预测包围框坐标相对真实区域坐标的偏移量,通过不断的训练让t趋近于t*,从而调整预测包围框的准确度。
在本发明中,采用非极大值抑制算法筛选候选建议区域计算的具体过程:依据概率值,由高到低依次选取500个包含异物的候选建议区域;筛选后将候选建议区域与特征图一同传输至Fast R-CNN检测模型进行分类与识别训练;其中,筛选候选建议区的过程为:从500个候选区域中选出128个候选区域用于训练,当候选建议区域与实际真实区域的交并比值大于0.5,按大小挑选前32个;当候选建议区域与实际真实区域的交并比值小于0.1,按大小选择96个作为负样本。
在本发明中,通过基于Faster R-CNN的高速列车车底异物检测方法,从而可以实现对高速列车车底异物进行智能检测,提高检测效率,车底异物检测模型工作流程图2所示;具体检测实施过程中,分别通过三个检测网:特征提取VGG网络、RPN网络、Fast R-CNN网络进行检测,通过改进的共享卷积神经网络生成车底异物特征图作为RPN和Fast R-CNN的输入:其中生成车底异物特征图的具体过程为:
步骤110:将预处理得到的车底异物图像尺寸缩放为固定大小M×N(M表示图像的长度,N表示图像的宽度),然后将固定大小的车底异物图像输至改进的VGG网络;在VGG网络中,对车底异物图像反复进行卷积和池化操作得到车底异物特征图。其中,所有卷积均对车底异物图像进行扩边处理,使车底异物图像大小变为(M+2)×(N+2),输出时再进行3×3的卷积运算,最终输出M×N大小的特征图,使输入和输出图像矩阵的大小不变;对于所有的卷积层参数:kernel_size=3,pad=1,stride=2。对于所有的池化层参数:kernel_size=3,pad=0,stride=2。
步骤111:通过区域建议网络RPN提取车底异物特征并生成候选建议区域,其中将上一步得到的车底异物特征图作为输入:用一个3×3的卷积窗口,在输入的车底异物特征图上滑动,在其中心对应的每一个像素点,按尺寸为{64、128、256},比例为{1:1、1:2、2:1}生成9种基准边框,通过计算后输出两个支路,支路1输出是异物或者非异物的概率,支路2输出候选建议回归框中心坐标x、y与长宽值w、h;最后采用非极大值抑制算法对2.2.1产生的候选建议区域进行筛选,依据概率值,由高到低依次选取500个包含异物的候选建议区域。至此完成车底异物候选建议区域的生成过程。
步骤113:通过Fast R-CNN对车底异物进行目标识别和定位,具体过程是:将步骤110得到的车底异物特征图和步骤111得到的候选建议区域输至Fast R-CNN网络,按如下策略在500个候选区域中挑选出128个候选区域:
先候选建议区域与实际真实区域的交并比值大于0.5,按大小挑选前32个;再候选建议区域与实际真实区域的交并比值小于0.1,按大小选择96个作为负样本,最后对候选区域进行池化操作,输出固定大小的特征向量,然后将特征向量输至用于分类的全连接层和用于计算回归边框的全连接层。在用于分类的全连接层中,对特征向量进行计算后确定车底异物的类别并输出概率,在用于计算回归边框的全连接层中,经过计算输出车底异物边框信息(包括坐标和长宽),并不断对候选区域边框进行修正。至此,车底异物的目标识别和定位任务结束。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种基于Faster R-CNN的高速列车车底异物检测方法,其特征在于:所述检测方法包括以下步骤:
步骤1:拍摄高速列车车底异物图片,将车底异物图片存储在图像库中;在图像库中对采集的车底异物图片进行筛选,获取车底样本图像用于建立关于高速列车车底异物图像样本库;
步骤2:对车底样本图像进行预处理,包括对车底样本图像的异物进行图像标注,然后按照特定协议格式将标注的车底样本图像的异物信息存储到XML格式文件中;
步骤3:构建改进的Faster R-CNN的检测模型,所述改进的Faster R-CNN的检测模型由特征提取VGG网络、区域建议RPN网络和Fast R-CNN网络组成,作用分别是生成车底异物特征图、利用特征图对异物进行特征提取并产生候选建议区域、利用特征图和候选建议区域对车底异物进行检测和识别;
步骤4:训练检测模型,通过四步交替法和随机梯度下降法对检测模型进行训练得到车底异物检测模型;
步骤5:将待检测车底图像输入检测模型进行检测和识别,并输出识别结果;
所述特征提取VGG网络用于生成车底异物特征图,所述区域建议RPN网络用于在异物特征图上进行异物的特征提取以及生成候选建议区域,Fast R-CNN网络则是基于异物特征图和候选建议区域对异物进行检测和识别;对车底样本图像的异物检测的步骤包括:通过特征提取VGG网络对车底样本图像的异物生成车底异物特征图,区域建议RPN网络从车底异物特征图上提取异物特征并生成候选建议区域,然后将车底异物特征图和候选建议区域输入Fast R-CNN网络进行检测识别;所述特征提取VGG网络由17个卷积层、3个全连接层和5个池化层组成,从车底异物特征图上提取异物特征并生成候选建议区域的流程为:
步骤41,在特征提取VGG网络的第十六卷积层conv4_3和第二全连接层fc7后添加4个具有衰减空间分辨率的卷积层,其深度均为512,并使用L2范数对第十六卷积层conv4_3进行规则化,则L2范数的定义为:
x为特征图上的特征向量;
步骤42,将车底异物特征图输入区域建议RPN网络,输入车底异物特征图后用一个3×3的窗口在特征图上滑动,在其中心对应的每一个像素点上映射几种不同尺寸和长宽比的基准边框,称作Anchor;
步骤43,对车底异物特征图进行特征提取并生成候选建议区域,其中,区域建议RPN网络本身由卷积网络组成,对区域建议RPN网络进行改进以适应车底异物的需要,具体改进的方法为:在区域建议RPN网络设置一组尺寸为{64、128、256},比例为{1:1、1:2、2:1}的Anchor。
2.根据权利要求1所述的一种基于Faster R-CNN的高速列车车底异物检测方法,其特征在于:步骤2中,对车底样本图像进行预处理的步骤为:对车底样本图进行格式化命名,采用目标检测标注工具LabelImg进行标注车底样本图像中的异物,标注时将异物整体框入,并记录真实目标包围框坐标,同时设置异物的类别标签,然后按照特定协议格式将标注的样本图像的异物信息存储到XML格式文件中,XML文件中的信息除了标注信息外还包括异物标注框左下角以及右上角的坐标信息和图片的宽度和高度。
3.根据权利要求1所述的一种基于Faster R-CNN的高速列车车底异物检测方法,其特征在于:生成候选建议区域包括以下步骤:
步骤51:利用LabelImg标注工具构建包含标注的图库作为训练集和测试集,将预处理后的训练集输入至特征提取VGG网络,对车底样本图像做卷积和池化操,并获得特征图;
步骤52:将特征图输送至区域建议RPN网络,用一个3×3的窗口在特征图上滑动,窗口的中心点对应特征图上的一个像素点,在像素点上按预先设置好的比例尺寸生成候选建议区域;
步骤53:通过采用非极大值抑制算法筛选候选建议区域,然后输出两个支路,支路1输出是异物或者非异物的概率,支路2输出候选建议回归框中心坐标x、y与长宽值w、h;然后分别通过设置4个坐标参数用于衡量候选建议回归框的准确度,具体衡量公式如下:
tx=(x-xa)/wa,
ty=(y-ya)/ha,
tw=log(w/wa),
th=log(h/ha),
其中,x,y,w,h分别表示预测包围框的中心坐标(x,y)和包围框的宽w和高h,变量x,xa,x*分别指预测包围框、Anchor以及真实区域的x坐标,同理,y,ya,y*,为预测包围框、Anchor以及真实区域的y坐标,t为预测包围框坐标相对Anchor的坐标偏移量,t*为预测包围框坐标相对真实区域坐标的偏移量。
4.根据权利要求3所述的一种基于Faster R-CNN的高速列车车底异物检测方法,其特征在于:采用非极大值抑制算法筛选候选建议区域计算的具体过程:依据概率值,由高到低依次选取500个包含异物的候选建议区域;筛选后将候选建议区域与特征图一同传输至Fast R-CNN检测模型进行分类与识别训练;其中,筛选候选建议区的过程为:从500个候选区域中选出128个候选区域用于训练,当候选建议区域与实际真实区域的交并比值大于0.5,按大小挑选前32个;当候选建议区域与实际真实区域的交并比值小于0.1,按大小选择96个作为负样本。
5.根据权利要求1所述的一种基于Faster R-CNN的高速列车车底异物检测方法,其特征在于:对检测模型进行训练得到所述车底异物检测模型的训练方法步骤为:
第一步,训练区域建议RPN网络,使用ImageNet预训练模型对RPN网路进行初始化,并对所产生的Anchor的形状和位置进行端到端的微调,从而生成候选建议区;
第二步,将第一步生成的候选建议区域输送至Fast R-CNN网络进行训练,此时两个网络相互独立,没有共享卷积层;
第三步,用第二步训练的Fast R-CNN网络对区域建议RPN网络进行初始化并进行训练,此时固定共享卷积层,并且只微调区域建议RPN网络的独有层;
第四步,用第三步训练的区域建议RPN网络初始化Fast R-CNN网络并进行训练,保持共享卷积层固定,微调Fast R-CNN网络的分类层,此时,两个网络共享相同的卷积层,构成一个统一的网络;
第五步,重复第一步至第四步的上述操作直至损失不再变化为止;
第一步至第四步训练过程中每一步的损失函数公式满足:
其中,i指的是第i个Anchor的检索下标;Pi为第i个Anchor是目标物的预测概率,如果检测到Anchor中含有异物,则值为1,否则为0,ti表示预测的回归框的坐标向量,而是与Anchor所对应的真实值边框的坐标向量,为鲁棒损失函数,Lcls为分类误差损失函数,Lreg为回归误差损失函数,Ncls表示每幅图像随机采样的默认框数量,Nreg表示默认框中心点数量,λ为平衡权重。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910633675.2A CN110399816B (zh) | 2019-07-15 | 2019-07-15 | 一种基于Faster R-CNN的高速列车车底异物检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910633675.2A CN110399816B (zh) | 2019-07-15 | 2019-07-15 | 一种基于Faster R-CNN的高速列车车底异物检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110399816A CN110399816A (zh) | 2019-11-01 |
CN110399816B true CN110399816B (zh) | 2023-04-07 |
Family
ID=68325493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910633675.2A Active CN110399816B (zh) | 2019-07-15 | 2019-07-15 | 一种基于Faster R-CNN的高速列车车底异物检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110399816B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110826476A (zh) * | 2019-11-02 | 2020-02-21 | 国网浙江省电力有限公司杭州供电公司 | 识别目标物体的图像检测方法、装置、电子设备和存储介质 |
CN111402211B (zh) * | 2020-03-04 | 2022-11-11 | 广西大学 | 一种基于深度学习的高速列车车底异物识别方法 |
CN111353451A (zh) * | 2020-03-06 | 2020-06-30 | 深圳市赛为智能股份有限公司 | 电瓶车检测方法、装置、计算机设备及存储介质 |
CN111640116B (zh) * | 2020-05-29 | 2023-04-18 | 广西大学 | 基于深层卷积残差网络的航拍图建筑物分割方法及装置 |
CN111768436B (zh) * | 2020-06-17 | 2022-10-18 | 哈尔滨理工大学 | 一种基于Faster-RCNN改进的图像特征块配准方法 |
CN112098997B (zh) * | 2020-09-18 | 2021-10-15 | 欧必翼太赫兹科技(北京)有限公司 | 三维全息成像安检雷达图像异物检测方法 |
CN112330646A (zh) * | 2020-11-12 | 2021-02-05 | 南京优视智能科技有限公司 | 一种基于二维图像的动车车底异常检测方法 |
CN112488049B (zh) * | 2020-12-16 | 2021-08-24 | 哈尔滨市科佳通用机电股份有限公司 | 一种动车组牵引电机及轴间夹挂异物的故障识别方法 |
CN112232334B (zh) * | 2020-12-21 | 2021-03-02 | 德明通讯(上海)股份有限公司 | 一种智能售货商品识别检测方法 |
CN112651337A (zh) * | 2020-12-25 | 2021-04-13 | 国网黑龙江省电力有限公司电力科学研究院 | 应用于训练线路异物目标检测模型的样本集构建方法 |
CN113033427A (zh) * | 2021-03-30 | 2021-06-25 | 济南神博信息技术有限公司 | 一种基于dl的车底异物自动识别方法 |
CN112906669A (zh) * | 2021-04-08 | 2021-06-04 | 济南博观智能科技有限公司 | 一种交通目标检测方法、装置、设备及可读存储介质 |
CN113159179B (zh) * | 2021-04-22 | 2023-04-18 | 中车株洲电力机车有限公司 | 地铁及地铁转向架运行状态识别方法、系统 |
CN113033720B (zh) * | 2021-05-28 | 2021-08-13 | 南京索安电子有限公司 | 基于滑动窗口的车底图片异物识别方法、装置及存储介质 |
CN113534276B (zh) * | 2021-07-12 | 2022-06-07 | 西安电子科技大学 | 基于Faster R-CNN的铁路入侵行为检测方法 |
CN113705387B (zh) * | 2021-08-13 | 2023-11-17 | 国网江苏省电力有限公司电力科学研究院 | 一种用于激光清除架空线路异物的干扰物检测和跟踪方法 |
CN115170809B (zh) * | 2022-09-06 | 2023-01-03 | 浙江大华技术股份有限公司 | 图像分割模型训练、图像分割方法、装置、设备及介质 |
CN116229388B (zh) * | 2023-03-27 | 2023-09-12 | 哈尔滨市科佳通用机电股份有限公司 | 基于目标检测网络的动车异物检测方法、系统及设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
CN107239731A (zh) * | 2017-04-17 | 2017-10-10 | 浙江工业大学 | 一种基于Faster R‑CNN的手势检测和识别方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107358596B (zh) * | 2017-04-11 | 2020-09-18 | 阿里巴巴集团控股有限公司 | 一种基于图像的车辆定损方法、装置、电子设备及系统 |
CN109064495B (zh) * | 2018-09-19 | 2021-09-28 | 东南大学 | 一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法 |
CN109614985B (zh) * | 2018-11-06 | 2023-06-20 | 华南理工大学 | 一种基于密集连接特征金字塔网络的目标检测方法 |
CN109767427A (zh) * | 2018-12-25 | 2019-05-17 | 北京交通大学 | 列车轨道扣件缺陷的检测方法 |
-
2019
- 2019-07-15 CN CN201910633675.2A patent/CN110399816B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
CN107239731A (zh) * | 2017-04-17 | 2017-10-10 | 浙江工业大学 | 一种基于Faster R‑CNN的手势检测和识别方法 |
Non-Patent Citations (1)
Title |
---|
毕松 等.《交通场景物体检测模型研究》.《计算机仿真》.2018,(第10期),第203-207页. * |
Also Published As
Publication number | Publication date |
---|---|
CN110399816A (zh) | 2019-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110399816B (zh) | 一种基于Faster R-CNN的高速列车车底异物检测方法 | |
CN110018524B (zh) | 一种基于视觉-属性的x射线安检违禁品识别方法 | |
WO2020253308A1 (zh) | 矿井下皮带运输人员人机交互行为安全监控与预警方法 | |
KR102239377B1 (ko) | 촬영영상 및 설명가능 인공지능 기반의 교량시설물 안전점검 시스템 및 그 방법 | |
CN102332089B (zh) | 一种基于人工神经网络的铁路货车闸瓦钎窜出故障识别方法 | |
KR102346676B1 (ko) | 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법 | |
CN108710913A (zh) | 一种基于深度学习的开关柜图像开关状态自动识别方法 | |
CN111458721B (zh) | 一种暴露垃圾的识别定位方法、装置及系统 | |
CN110717464B (zh) | 一种基于雷达数据的铁路路基病害智能识别方法 | |
CN114399672A (zh) | 一种基于深度学习的铁路货车闸瓦故障检测方法 | |
CN109935080A (zh) | 一种交通线路上的车流量实时计算的监测系统及方法 | |
CN112149512A (zh) | 一种基于两阶段深度学习的安全帽佩戴识别方法 | |
CN112528979B (zh) | 变电站巡检机器人障碍物判别方法及系统 | |
CN116863274A (zh) | 一种基于半监督学习的钢板表面缺陷检测方法及系统 | |
CN113284144B (zh) | 一种基于无人机的隧道检测方法及装置 | |
CN112668375B (zh) | 景区内游客分布分析系统及方法 | |
CN115239632A (zh) | 一种融合巡检图像和超声波图像的钢轨表面伤损检测方法 | |
Rentao et al. | Indoor smoking behavior detection based on yolov3-tiny | |
CN111964763B (zh) | 一种动态平板秤称重区域汽车断续行驶行为检测方法 | |
CN115731545A (zh) | 一种基于融合感知的电缆隧道巡检方法及装置 | |
CN112884753A (zh) | 一种基于卷积神经网络的轨道扣件检测及分类方法 | |
CN112508911A (zh) | 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测系统及其检测方法 | |
CN116129135A (zh) | 基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法 | |
CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 | |
CN112734732B (zh) | 基于改进ssd算法的铁路隧道漏缆卡具检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |