CN111652228B - 铁路货车枕梁孔异物检测方法 - Google Patents

铁路货车枕梁孔异物检测方法 Download PDF

Info

Publication number
CN111652228B
CN111652228B CN202010437739.4A CN202010437739A CN111652228B CN 111652228 B CN111652228 B CN 111652228B CN 202010437739 A CN202010437739 A CN 202010437739A CN 111652228 B CN111652228 B CN 111652228B
Authority
CN
China
Prior art keywords
image
sleeper beam
foreign matter
beam hole
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010437739.4A
Other languages
English (en)
Other versions
CN111652228A (zh
Inventor
燕天娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202010437739.4A priority Critical patent/CN111652228B/zh
Publication of CN111652228A publication Critical patent/CN111652228A/zh
Application granted granted Critical
Publication of CN111652228B publication Critical patent/CN111652228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61K—AUXILIARY EQUIPMENT SPECIALLY ADAPTED FOR RAILWAYS, NOT OTHERWISE PROVIDED FOR
    • B61K9/00—Railway vehicle profile gauges; Detecting or indicating overheating of components; Apparatus on locomotives or cars to indicate bad track sections; General design of track recording vehicles
    • B61K9/08—Measuring installations for surveying permanent way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

铁路货车枕梁孔异物检测方法，属于铁路货车检测技术领域。本发明是为了解决人工检测的方法存在的稳定性差和精度低的问题，以及利用现有的深度学习方法存在的误报率高的问题。本发明首先获取枕梁孔位置图像，记为图像D；然后使用训练好的分割模型网络对图像D进行预测；若图像中无异物则进行下一张图片的处理；否则，进行腐蚀膨胀操作，将异物预测二值图记为B；针对于图像D进行枕梁孔部位的定位，得到定位后的二值图像，即图像A；最后将异物预测二值图B与定位二值图像A的像素值点乘后相加得到值c；进行判断，若c不大于异物判定阈值m，则证明枕梁孔区域无异物，否则证明枕梁孔区域现在异物。主要用于铁路货车枕梁孔的异物检测。

Description

铁路货车枕梁孔异物检测方法
技术领域
本发明属于铁路货车检测技术领域，具体涉及一种铁路货车枕梁孔异物检测方法。
背景技术
铁路货车的检测关系到铁路货车的运行安全，所以针对于铁路货车的部件需要定期进行检查。在铁路货车的使用过程中，可能存在货车车体部分零件落入枕梁孔中的情况发生，或者人工检查或维修铁路货车时，也可能存在部分维修工具落入枕梁孔中的情况。所以也需要对铁路货车的枕梁孔进行异物检测，长期以来，基本都是采用检车人员人工检查(即通过查看过车图像的方式)的方式对枕梁孔区域是否搭载异物进行判断，检查工作是十分重要的，但大量的图像筛查使得检车人员在工作过程中极易出现疲劳，还容易发生漏检、错检的情况，难以保障检测的准确率和高效率。因此，目前亟需一种针对于货车故障进行自动检测的方法。
在深度学习在技术上不断成熟和完善的今天，深度学习技术可以实现一些任务的检测识别，而且能够极大地改善传统图像处理技术带来的鲁棒性不足的的问题，从而提高检测效率和准确率。但是由于深度学习的本质决定了其还存在一些问题，例如，伊恩.古德费洛等人编写的经典教材(赵申剑等人翻译)《DEEP LEARNING深度学习》中机器学习基础部分就记载了“在某种意义上，没有一个机器学习算法总是比其他的要好”。也就是说并不能直接将某种深度学习直接适用在某个领域中，极有可能是取得不了较好的效果的，一般都是需要对解决问题的对象(如图像处理中的对象)进行分析、研究，以及经过大量的实验才能改进或确定具体的深度学习模型，尤其是在进行图像处理的过程中，一定要结合图像所反映的具体对象特点进行处理才能够取得较为理想的效果。
而针对于铁路货车枕梁孔检测而言，在实际使用中，并没有针对其进行故障检测的方案，也是由于此原因，如果直接利用现有的经神经网络算法预测枕梁孔区域，得到的结果不能完全保证一定位于枕梁孔部位，存在误报的几率；更为重要的是，由于枕梁孔部位位置特点(其下部的固定位置有一条车箱与转向架连接的黑色缝隙)，会导致图像中存在一个黑色缝隙，如果直接采用现有的神经网络算法进行处理，对于图像内容的识别会造成影响，从而导致误报率较高，给铁路货车枕梁孔检测带来了极大的困难。
发明内容
本发明是为了解决人工检测的方法存在的稳定性差和精度低的问题，以及利用现有的深度学习方法存在的误报率高的问题。
铁路货车枕梁孔异物检测方法，包括以下步骤：
步骤1：获取枕梁孔位置图像，记为图像D；
步骤2：使用训练好的分割模型网络对图像D进行预测；若图像中无异物则重复步骤2进行下一张图片的处理；否则，进行腐蚀膨胀操作，将异物预测二值图记为B，并执行步骤3；
步骤3：针对于图像D进行枕梁孔部位的定位，得到定位后的二值图像，即图像A；定位过程如下：
1)输入图像D；
2)将图像进行自适应直方图均衡化(增强对图像亮暗的鲁棒性)；
3)对图像进行二值化处理(图像二值化常规是有阈值选择的，人工选择后会将灰的部位二值化为白色)；
4)计算图像列平均值归一化：所有列中，将行坐标相同的像素进行加和之后除以图像的行宽；
5)获得最小列平均值归一化a对应的行位置h，行位置h为从上到下方向上的对应的行坐标，如图5所示；
6)根据最小列平均值归一化a和高度判定阈值th进行判断：当a<th时，h值不变；否则h应为图像的高度。由于图像中存在一条黑线，此处的理想列平均值归一化值应为0，高度判定阈值th合理设定即可，
7)根据枕梁孔的水平位置信息和h值确定图像D中枕梁孔左右两侧及其底部的坐标值；
8)生成二值图像，记为图像A；其中覆盖枕梁孔区域的矩形部位的像素值为1(为了可视化，图4中矩形部位显示为白色)，其余部位像素值为0。
步骤4：将异物预测二值图B与定位二值图像A的像素值点乘后相加得到值c；进行判断，若c不大于异物判定阈值m，则证明枕梁孔区域无异物，则重复步骤2进行下一张图片的处理；否则证明枕梁孔区域现在异物，进行报警，重复步骤2进行下一张图片的处理。
进一步地，步骤2所述的分割模型网络采用基于编码器-解码器的分割模型网络结构；基于编码器-解码器的分割模型网络结构如下：
编码器：
编码单元1：3*3卷积层→3*3卷积层；输出分成两路处理输入编码单元2；
编码单元2：编码单元1的输出分成两路，一路处理为1*1卷积层，另一路处理：3*3卷积层→3*3卷积层→1*1卷积层，然后进行add处理(3*3卷积层→3*3卷积层→1*1卷积层+1*1卷积层)；输出分成两路处理输入编码单元3；
编码单元3：编码单元2的输出分成两路，一路处理为1*1卷积层，另一路处理：3*3卷积层→3*3卷积层→1*1卷积层，然后进行add处理(3*3卷积层→3*3卷积层→1*1卷积层+1*1卷积层)；输出分成两路处理输入编码单元4；
编码单元4：编码单元3的输出分成两路，一路处理为1*1卷积层，另一路处理：3*3卷积层→3*3卷积层→1*1卷积层，然后进行add处理(3*3卷积层→3*3卷积层→1*1卷积层+1*1卷积层)；输出作为编码单元5的输入，同时作为解码单元3的一个输入；
编码单元5：编码单元4的输出分成两路，一路处理为1*1卷积层，另一路处理：3*3卷积层→3*3卷积层→1*1卷积层，然后进行add处理(3*3卷积层→3*3卷积层→1*1卷积层+1*1卷积层)；输出作为编码单元6的输入，同时作为解码单元2的一个输入；
编码单元6：3*3卷积层→3*3卷积层→1*1卷积层；输出作为解码单元1的输入；
解码器：
解码单元1：2*2卷积层→1*1卷积层→3*3卷积层；
解码单元2：解码单元1的输出与编码单元5的输出进行concatenate→2*2卷积层→1*1卷积层→3*3卷积层；
解码单元3：解码单元2的输出与编码单元4的输出进行concatenate→2*2卷积层→1*1卷积层→3*3卷积层；
解码单元4：2*2卷积层→1*1卷积层→3*3卷积层；
解码单元5：2*2卷积层→1*1卷积层→3*3卷积层；
解码单元6：1*1卷积层→1*1卷积层。
进一步地，基于编码器-解码器的分割模型网络结构中的每一个卷积层都加入了卷积函数、批标准化函数和Relu激活函数。
进一步地，所述的分割模型网络的训练过程需要构建样本数据集，具体包括以下步骤：
W1、获取高清的灰度全车图像；从全车图像的定位框架获取枕梁孔位置图像，构建最初样本数据集，最初样本数据集包括灰度图像集与标签数据集；
灰度图像集为待识别部件区域图像集合，其包含带有故障的图片和不带故障的图片；
W2、进行数据扩增操作：
(1)以最初的故障图像为基础，提取最初故障的形态；
(2)进行人工PS处理，从异物的颜色、形状、位置、数量、背景方面进行对故障形态的模拟；
(3)采用图像处理的方式进行对图片的扩增，图像处理的方式包括翻转、放大缩小、移动裁剪、增添对比度；
(4)采用边识别边扩充数据集的方法继续进行数据扩增：
将现有的经人工PS和图像处理算法扩增后的初步图像数据集放入到神经网络算法中，完成的初步识别；以循环的形式对现有的大量数据进行识别，得到将疑似结果；进行疑似结果筛选，分为真实故障和非故障的对抗样本，扩增数据集；
W3、获得最终的样本数据集，样本数据集包括两部分：灰度图像集与二值标签分割图像集，灰度图像集与二值图像集之间为一一对应关系。
进一步地，所述构建样本数据集的过程中需要对样本数据集进行标注：
只标注真实故障和经人工PS处理的异物处，经由标注后再进行基于图像处理的方式进行图片扩增。
进一步地，最终的样本数据集中带有故障图片数量在整体数据集的比例不低于50％。
有益效果：
1、本发明利用自动识别图像的方式代替人工检测，作业标准统一，能够极大地提高效率；而且本发明不再受人员素质和责任心影响，有效提高作业质量提高检测的稳定性及精度。同时能够极大地节省人力投入，降低工作强度和人力成本。
2、本发明将深度学习算法应用到检测铁路货车枕梁孔搭载异物故障自动识别中，提高整体算法的稳定性及精度，同时比传统的手工标准特征提取的机器视觉检测方法具有高的灵活性、准确性和鲁棒性。更为重要的是，如果直接利用现有的现有的深度学习方法进行检测时，由于黑色缝隙的存在，导致误报率较高；但是本发明却将导致误报的因素作为一个特征，并利用这个特征进行图像处理，不仅能够极大的降低误报率，而且还能够减少计算量、降低时间消耗，从而保证自动检测的实时性要求。
3、数据集数据的全面对于深度学习方法的准确性是有极大影响的，本发明全面扩增数据集的方式来查找模拟真实故障几乎可能出现的所有状况，能够极大地减少漏检和误检的可能性。
附图说明
图1为故障识别流程图；
图2为数据扩增流程图；
图3为深度学习网络模型结构图；
图4为枕梁孔部位定位流程图；
图5为最小列平均值归一化及位置确定示意图。
具体实施方式
具体实施方式一：结合图1说明本实施方式，
本实施方式所述的铁路货车枕梁孔异物检测方法，包括以下步骤：
一、训练阶段：
1、采集图像：
在货车轨道周围固定设备搭载照相机或摄像机，对行驶的货车进行拍摄，货车通过设备后，获取高清的灰度全车图像。
图像质量主要受两方面的影响：一是自然条件的影响：雨雪、泥渍、光照等；一是人为条件的影响：油渍、黑漆、设备的安装差异等。因此，截取的枕梁孔部位的图像之间存在差异。为了增强识别算法的鲁棒性，在收集图像数据的过程中，尽力地覆盖各种不同条件下的图像。
2、粗定位：
根据硬件的轴距信息和部件的位置等先验知识获取待识别部件区域，以此减少计算量并提高识别的速度。
3、构建样本数据集：
样本数据集包括灰度图像集与标签数据集。
灰度图像集为待识别部件区域图像集合。其包含带有故障(异物)的图片和不带故障的图片(正常图片)，由于包含故障图片的数量占全部图片数量的比例过低会使得训练过程中梯度消失或准确度难以提高的问题，经过反复试验，其中带有故障图片数量在整体数据集的比例不低于50％。
深度学习方法中真实故障的形态变化占可能出现的所有故障形态的比例越高，识别的可信度越高，所以应尽可能的概括所有的真实故障。但是由于实际情况中的真实故障图像数量有限，并且在长年累月的大量数据中零散分布，所以本发明采用样本数据集的数据扩增操作，如图2所示，来扩充数据增加可信的故障形态。数据扩增操作包括以下步骤：
(1)以最初的十几张甚至是几张的故障图像为基础，提取最初故障的形态。枕梁孔部位已经出现的异物有野草、细小树枝、袋子、瓶子等。
(2)合理地进行人工PS处理，从异物的颜色、形状、位置、数量、背景这5个方面进行对故障形态的模拟，以有效的增大识别的范围。
颜色：合理的增添异物的颜色种类，若已出现黑色塑料袋子作为异物，则人工PS其他颜色塑料袋；
形状：在图像中，改变异物大小，旋转异物角度，裁掉异物部分区域等；
位置：在图像中，在识别范围内，合理地移动异物的位置；
背景：在不同的火车转向架中模拟该故障；
数量：将相同或不同的异物人工PS组合。
同时需要注意的是，经过该步骤扩充时需要对图像进行标注。
(3)采用图像处理的方式进行对图片的扩增，此方法与人工PS处理模拟不同，调整时即是对整张图片的调整。图像处理的方式包括翻转、放大缩小、移动裁剪、增添对比度等，可以有效模拟目标图像在拍摄中真实存在的位置移动、大小变化、亮暗变化以及成像质量的些许改动情况。
(4)采用边识别边扩充数据集的方法进行数据扩增：
将现有的经人工PS和图像处理算法扩增后的初步图像数据集放入到神经网络算法中，完成的初步识别；以循环的形式对现有的大量数据进行识别，得到将疑似结果；进行疑似结果筛选，分为真实故障和非故障的对抗样本，扩增数据集。
如图2所示，对于异物类故障的识别，非常全面地扩增图像数据集可以有效降低检测过程中出现漏报的概率，同时不断将长年累月从车站收集的大量数据输入算法检测，得到非故障进一步作为对抗样本加入到训练集中的措施，可以有效降低检测过程中出现误报的概率。
构建样本数据集的过程中需要对样本数据集进行标注：
A、本发明只标注真实故障和经人工PS的异物处，经由标注后再进行基于图像处理的方式进行图片扩增；
B、非故障的对抗样本数据的标签数据集为像素值是零的黑图。
最终，样本数据集包括两部分：灰度图像集与二值标签分割图像集(Ground Truth图像)。灰度图像集为待识别部件区域图像集合，二值图像集为大小相同的异物故障二值分割图像(枕梁孔部位值为255，其余背景区值为0)。灰度图像集与二值图像集之间为一一对应关系。
4、构建并训练神经网络算法：
步骤一、搭建神经网络结构：
在保证算法准确度的基础上，还需要保证以下两点要求：
a、在货车故障自动识别过程中对实时性要求较高。对于枕梁孔部位的异物检测而言，根据实际要求需至少达到检测每秒30张图片。
b、在货车故障自动识别过程中，希望算法变为可执行文件后在静态存储存储量和动态运行下所需内存占比越小越好。
本发明基于编码器-解码器构建如图3所示的分割模型网络结构，图3中的k x kconv(deconv,upsampling),n,/(*)s代表使用的卷积函数(反卷积函数，上采样函数)中的卷积核大小设定为k x k，卷积核数目设定为n，卷积和移动步长为s；add代表使用add函数；concat代表使用的concatenate函数；每个卷积层后都加入了批标准化层(BatchNormalization)和Relu激活函数。
基于编码器-解码器的分割模型网络结构如下：
编码器：
编码单元1：3*3卷积层→3*3卷积层；输出分成两路处理输入编码单元2；
编码单元2：编码单元1的输出分成两路，一路处理为1*1卷积层，另一路处理：3*3卷积层→3*3卷积层→1*1卷积层，然后进行add处理(3*3卷积层→3*3卷积层→1*1卷积层+1*1卷积层)；输出分成两路处理输入编码单元3；
编码单元3：编码单元2的输出分成两路，一路处理为1*1卷积层，另一路处理：3*3卷积层→3*3卷积层→1*1卷积层，然后进行add处理(3*3卷积层→3*3卷积层→1*1卷积层+1*1卷积层)；输出分成两路处理输入编码单元4；
编码单元4：编码单元3的输出分成两路，一路处理为1*1卷积层，另一路处理：3*3卷积层→3*3卷积层→1*1卷积层，然后进行add处理(3*3卷积层→3*3卷积层→1*1卷积层+1*1卷积层)；输出作为编码单元5的输入，同时作为解码单元3的一个输入；
编码单元5：编码单元4的输出分成两路，一路处理为1*1卷积层，另一路处理：3*3卷积层→3*3卷积层→1*1卷积层，然后进行add处理(3*3卷积层→3*3卷积层→1*1卷积层+1*1卷积层)；输出作为编码单元6的输入，同时作为解码单元2的一个输入；
编码单元6：3*3卷积层→3*3卷积层→1*1卷积层；输出作为解码单元1的输入；
解码器：
解码单元1：2*2卷积层→1*1卷积层→3*3卷积层；
解码单元2：解码单元1的输出与编码单元5的输出进行concatenate→2*2卷积层→1*1卷积层→3*3卷积层；
解码单元3：解码单元2的输出与编码单元4的输出进行concatenate→2*2卷积层→1*1卷积层→3*3卷积层；
解码单元4：2*2卷积层→1*1卷积层→3*3卷积层；
解码单元5：2*2卷积层→1*1卷积层→3*3卷积层；
解码单元6：1*1卷积层→1*1卷积层。
图3所示的分割模型网络结构，有以下几个特点：
(a)每一个卷积层都加入了卷积函数、批标准化函数(BatchNormalization)和Relu激活函数，以加快训练时学习收敛速度；
(b)许多卷积核采用1x1的卷积层，以减少模型参数；
(c)编码器中采用了add函数逐层叠加图像的特征信息；
(d)模型中采用了concatenate函数融合图像的高层特征信息；
(e)解码器中采用了反卷积函数而非上采样或上池化函数进行图像特征尺寸的恢复，可对较少像素点的目标特征进行有效提取。
步骤二、优化器与损失函数的选择：
图像数据对分割网络输出的预测(predict)图像和原始标记的真值(GT)图像计算交叉熵损失函数损失函数(categorical_crossentropy)损失值，选择能够自适应学习率的函数作为优化器进行权重的优化，逐渐降低损失值使分割网络模型不断总结真实数据特征。自适应学习率的优化器具有能快速收敛的优点，其中Adagrad,Adadelta,Adam在训练时收敛速度接近。
步骤三、模型的训练：
通过损失函数和优化器，通过训练，以不参与训练的图像的分割网络输出的预测图像和原始标记的真值图像计算得到的交叉熵损失函数损失函数的损失值降低为标准，将权重系数进行更新迭代，直到找到最优的权重系数。
异物故障判别：
枕梁孔部位整体故障识别流程中，为了提高算法识别的速度，在能够确定图像内不存在异物的第一时间即转向下一张图片的处理。枕梁孔部位整体故障识别流程如图1所示，主要分为一下几步：
步骤1：获取高清的灰度全车图像；从全车图像的定位框架获取枕梁孔位置图像，记为图像D；
步骤2：使用训练好的分割模型网络对图像D进行预测；若图像中无异物则重复步骤2进行下一张图片的处理；否则，进行腐蚀膨胀操作，以去除预测图中的噪点；将异物预测二值图记为B，并执行步骤3；
步骤3：针对于图像D进行枕梁孔部位的定位，得到定位后的二值图像，即图像A；定位过程如下：
枕梁孔形状经拍摄后为半圆形或半椭圆形，由于不同车型，拍摄角度等的细微差别导致获取的枕梁孔部位子图中的枕梁孔位置有如下变化：在垂直方向上有剧烈的浮动，上至子图中枕梁孔只显现一点点，下到如图4中输入图像所示；在水平方向上有小范围移动，为了降低故障的漏检风险而进行合理的图像扩增操作中包含图像移动和剪切等操作，为了保证枕梁孔部位的完整，需要如图4中输入图像所示留有一些可操作的像素。但是截取的子图经神经网络算法预测得到的结果不能保证一定位于枕梁孔部位，存在误报的几率，此时根据枕梁孔部位位置特性进行枕梁孔部位的定位。枕梁孔部位位置特点为其下部的固定位置有一条车箱与转向架连接的黑色缝隙。根据黑色缝隙的位置可准确排除来自非枕梁孔部位的误报。
根据故障的位置特征通过算法确定枕梁孔部位位置，算法流程如图4所示。
1)输入图像D；
2)将图像进行自适应直方图均衡化(增强对图像亮暗的鲁棒性)；
3)对图像进行二值化处理(图像二值化常规是有阈值选择的，人工选择后会将灰的部位二值化为白色)；
4)计算图像列平均值归一化：所有列中，将行坐标相同的像素进行加和之后除以图像的行宽；
例如：假设图像的宽度为5，高度为4，二值化图像的像素记为：
0,0,1,1,0
1,1,1,1,0
1,0,0,0,0
0,1,1,1,0
那么列平均值归一化如下：
第一行：(0+0+1+1+0)/5＝2/5，其中5为图像的宽度；
第二行：(1+1+1+1+0)/5＝4/5，
第三行：(1+0+0+0+0)/5＝1/5，
第四行：(0+1+1+1+0)/5＝3/5。
5)获得最小列平均值归一化a对应的行位置h，行位置h为从上到下方向上的对应的行坐标，如图5所示；
6)根据最小列平均值归一化a和高度判定阈值th进行判断：当a<th时，h值不变；否则h应为图像的高度。由于图像中存在一条黑线，此处的理想列平均值归一化值应为0，高度判定阈值th合理设定即可，
7)根据枕梁孔的水平位置信息和h值确定图像D中枕梁孔左右两侧及其底部的坐标值；
8)生成二值图像，记为图像A；其中覆盖枕梁孔区域的矩形部位的像素值为1(为了可视化，图4中矩形部位显示为白色)，其余部位像素值为0。
步骤4：将异物预测二值图B与定位二值图像A的像素值点乘后相加得到值c；进行判断，若c不大于异物判定阈值m，则证明枕梁孔区域无异物，则重复步骤2进行下一张图片的处理；否则证明枕梁孔区域现在异物，进行报警，重复步骤2进行下一张图片的处理。
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims (7)

1.铁路货车枕梁孔异物检测方法，其特征在于，包括以下步骤：
步骤1：获取枕梁孔位置图像，记为图像D；
步骤2：使用训练好的分割模型网络对图像D进行预测；若图像中无异物则重复步骤2进行下一张图片的处理；否则，进行腐蚀膨胀操作，将异物预测二值图记为B，并执行步骤3；
步骤3：针对于图像D进行枕梁孔部位的定位，得到定位后的二值图像，即图像A；定位过程如下：
1)输入图像D；
2)将图像进行自适应直方图均衡化；
3)对图像进行二值化处理；
4)计算图像列平均值归一化：所有列中，将行坐标相同的像素进行加和之后除以图像的行宽；
5)获得最小列平均值归一化a对应的行位置h，行位置h为从上到下方向上的对应的行坐标，如图5所示；
6)根据最小列平均值归一化a和高度判定阈值th进行判断：当a<th时，h值不变；否则h应为图像的高度；由于图像中存在一条黑线，此处的理想列平均值归一化值应为0，高度判定阈值th合理设定即可，
7)根据枕梁孔的水平位置信息和h值确定图像D中枕梁孔左右两侧及其底部的坐标值；
8)生成二值图像，记为图像A；其中覆盖枕梁孔区域的矩形部位的像素值为1，其余部位像素值为0；
步骤4：将异物预测二值图B与定位二值图像A的像素值点乘后相加得到值c；进行判断，若c不大于异物判定阈值m，则证明枕梁孔区域无异物，则重复步骤2进行下一张图片的处理；否则证明枕梁孔区域现在异物，进行报警，重复步骤2进行下一张图片的处理。
2.根据权利要求1所述的铁路货车枕梁孔异物检测方法，其特征在于，步骤2所述的分割模型网络采用基于编码器-解码器的分割模型网络结构。
3.根据权利要求2所述的铁路货车枕梁孔异物检测方法，其特征在于，基于编码器-解码器的分割模型网络结构如下：
编码器：
编码单元1：3*3卷积层→3*3卷积层；输出分成两路处理输入编码单元2；
编码单元2：编码单元1的输出分成两路，一路处理为1*1卷积层，另一路处理：3*3卷积层→3*3卷积层→1*1卷积层，然后进行add处理；输出分成两路处理输入编码单元3；
编码单元3：编码单元2的输出分成两路，一路处理为1*1卷积层，另一路处理：3*3卷积层→3*3卷积层→1*1卷积层，然后进行add处理；输出分成两路处理输入编码单元4；
编码单元4：编码单元3的输出分成两路，一路处理为1*1卷积层，另一路处理：3*3卷积层→3*3卷积层→1*1卷积层，然后进行add处理；输出作为编码单元5的输入，同时作为解码单元3的一个输入；
编码单元5：编码单元4的输出分成两路，一路处理为1*1卷积层，另一路处理：3*3卷积层→3*3卷积层→1*1卷积层，然后进行add处理；输出作为编码单元6的输入，同时作为解码单元2的一个输入；
编码单元6：3*3卷积层→3*3卷积层→1*1卷积层；输出作为解码单元1的输入；
解码器：
解码单元1：2*2卷积层→1*1卷积层→3*3卷积层；
解码单元2：解码单元1的输出与编码单元5的输出进行concatenate→2*2卷积层→1*1卷积层→3*3卷积层；
解码单元3：解码单元2的输出与编码单元4的输出进行concatenate→2*2卷积层→1*1卷积层→3*3卷积层；
解码单元4：2*2卷积层→1*1卷积层→3*3卷积层；
解码单元5：2*2卷积层→1*1卷积层→3*3卷积层；
解码单元6：1*1卷积层→1*1卷积层。
4.根据权利要求3所述的铁路货车枕梁孔异物检测方法，其特征在于，基于编码器-解码器的分割模型网络结构中的每一个卷积层都加入了卷积函数、批标准化函数和Relu激活函数。
5.根据权利要求1、2、3或4所述的铁路货车枕梁孔异物检测方法，其特征在于，所述的分割模型网络的训练过程需要构建样本数据集，具体包括以下步骤：
W1、获取高清的灰度全车图像；从全车图像的定位框架获取枕梁孔位置图像，构建最初样本数据集，最初样本数据集包括灰度图像集与标签数据集；
灰度图像集为待识别部件区域图像集合，其包含带有故障的图片和不带故障的图片；
W2、进行数据扩增操作：
(1)以最初的故障图像为基础，提取最初故障的形态；
(2)进行人工PS处理，从异物的颜色、形状、位置、数量、背景方面进行对故障形态的模拟；
(3)采用图像处理的方式进行对图片的扩增，图像处理的方式包括翻转、放大缩小、移动裁剪、增添对比度；
(4)采用边识别边扩充数据集的方法继续进行数据扩增：
将现有的经人工PS和图像处理算法扩增后的初步图像数据集放入到神经网络算法中，完成的初步识别；以循环的形式对现有的大量数据进行识别，得到将疑似结果；进行疑似结果筛选，分为真实故障和非故障的对抗样本，扩增数据集；
W3、获得最终的样本数据集，样本数据集包括两部分：灰度图像集与二值标签分割图像集，灰度图像集与二值图像集之间为一一对应关系。
6.根据权利要求5所述的铁路货车枕梁孔异物检测方法，其特征在于，所述构建样本数据集的过程中需要对样本数据集进行标注：
只标注真实故障和经人工PS处理的异物处，经由标注后再进行基于图像处理的方式进行图片扩增。
7.根据权利要求6所述的铁路货车枕梁孔异物检测方法，其特征在于，最终的样本数据集中带有故障图片数量在整体数据集的比例不低于50％。
CN202010437739.4A 2020-05-21 2020-05-21 铁路货车枕梁孔异物检测方法 Active CN111652228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010437739.4A CN111652228B (zh) 2020-05-21 2020-05-21 铁路货车枕梁孔异物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010437739.4A CN111652228B (zh) 2020-05-21 2020-05-21 铁路货车枕梁孔异物检测方法

Publications (2)

Publication Number Publication Date
CN111652228A CN111652228A (zh) 2020-09-11
CN111652228B true CN111652228B (zh) 2020-12-04

Family

ID=72346690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010437739.4A Active CN111652228B (zh) 2020-05-21 2020-05-21 铁路货车枕梁孔异物检测方法

Country Status (1)

Country Link
CN (1) CN111652228B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102293B (zh) * 2020-09-16 2021-03-02 哈尔滨市科佳通用机电股份有限公司 铁路货车三角孔异物快速检测方法
CN113033720B (zh) * 2021-05-28 2021-08-13 南京索安电子有限公司 基于滑动窗口的车底图片异物识别方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559301A (zh) * 2018-11-20 2019-04-02 江苏第二师范学院（江苏省教育科学研究院） 一种端到端的动车组入所缺陷检测的孪生网络方法
CN111080602A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 铁路货车漏水孔异物检测方法
CN210533729U (zh) * 2019-10-12 2020-05-15 广州运达智能科技有限公司 一种列车动力学状态采集系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200842733A (en) * 2007-04-17 2008-11-01 Univ Nat Chiao Tung Object image detection method
CN111079734B (zh) * 2019-12-12 2020-07-31 哈尔滨市科佳通用机电股份有限公司 铁路货车三角孔异物检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559301A (zh) * 2018-11-20 2019-04-02 江苏第二师范学院（江苏省教育科学研究院） 一种端到端的动车组入所缺陷检测的孪生网络方法
CN210533729U (zh) * 2019-10-12 2020-05-15 广州运达智能科技有限公司 一种列车动力学状态采集系统
CN111080602A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 铁路货车漏水孔异物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于超声层析成像技术的车体枕梁损伤检测方法研究;刘金强;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20190115;全文 *

Also Published As

Publication number Publication date
CN111652228A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111652227B (zh) 铁路货车底部地板破损故障检测方法
CN111091558B (zh) 一种铁路货车摇枕弹簧窜出故障图像识别方法
CN112434695B (zh) 一种基于深度学习的上拉杆故障检测方法
CN111080650B (zh) 铁路货车小部件轴承挡键螺母松动和丢失故障检测方法
CN111080620A (zh) 一种基于深度学习的道路病害检测方法
CN111079746B (zh) 铁路货车轴箱弹簧故障图像识别方法
CN111079734B (zh) 铁路货车三角孔异物检测方法
CN111079817B (zh) 一种铁路货车横跨梁故障图像识别方法
CN111080611A (zh) 一种铁路货车摇枕弹簧折断故障图像识别方法
CN111080617B (zh) 一种铁路货车制动梁支柱圆销丢失故障识别方法
CN111080602B (zh) 铁路货车漏水孔异物检测方法
CN111626170B (zh) 一种铁路边坡落石侵限检测的图像识别方法
CN111652228B (zh) 铁路货车枕梁孔异物检测方法
CN111080621B (zh) 一种铁路货车地板破损故障图像识别方法
CN111080600A (zh) 一种铁路货车弹簧托板上开口销的故障识别方法
US20200034626A1 (en) Method for recognizing an object of a mobile unit
CN108648210B (zh) 一种静态复杂场景下快速多目标检测方法及装置
CN115527170A (zh) 货车脱轨自动制动装置塞门手把关闭故障识别方法及系统
CN112329858B (zh) 一种铁路动车防松铁丝折断故障图像识别方法
CN112085723B (zh) 一种货车摇枕弹簧窜出故障自动检测方法
CN116486129A (zh) 基于深度学习的铁路货车盖板故障识别方法及装置
CN112132824B (zh) 一种货车轴箱弹簧故障自动检测方法
CN111091549B (zh) 铁路货车底部部件交叉杆体折断故障检测方法
KR102585146B1 (ko) 딥러닝 기반의 도로손상 탐지 장치 및 방법
CN112102293B (zh) 铁路货车三角孔异物快速检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant