CN113221839A - 一种货车图像自动识别方法及识别系统 - Google Patents

一种货车图像自动识别方法及识别系统 Download PDF

Info

Publication number
CN113221839A
CN113221839A CN202110614695.2A CN202110614695A CN113221839A CN 113221839 A CN113221839 A CN 113221839A CN 202110614695 A CN202110614695 A CN 202110614695A CN 113221839 A CN113221839 A CN 113221839A
Authority
CN
China
Prior art keywords
convolution
feature map
image
fault
convolution block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110614695.2A
Other languages
English (en)
Other versions
CN113221839B (zh
Inventor
高恩颖
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202110614695.2A priority Critical patent/CN113221839B/zh
Publication of CN113221839A publication Critical patent/CN113221839A/zh
Application granted granted Critical
Publication of CN113221839B publication Critical patent/CN113221839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种货车图像自动识别方法及识别系统，本发明涉及货车图像自动识别方法及识别系统。本发明的目的是为解决现有现有的自动识别方法存在部件的定位和识别准确率低，以及硬件成本高的问题。一、获取线阵图像，对线阵图像中相同工位进行拼接，获得每种工位的拼接图像；将所有工位的拼接图像进行拼接，恢复成连续图像；将连续图像按固定宽度，切分为多个小图像；二、得到训练好的定位网络模型；三、将待测货车图像输入训练好的定位网络模型，输出待测图像中各部件的类别、位置和各部件的分割结果，得到待测图像中各部件的子图；四、对待测图像中各部件的子图进行货车故障识别，获得识别结果。本发明属于故障图像识别领域。

Description

一种货车图像自动识别方法及识别系统
技术领域
本发明属于故障图像识别领域，具体涉及基于货车图像自动识别方法及识别系统。
背景技术
传统的人工检车方式，是按工位通过人工检查图像的方式进行故障检测。随着铁路货车运量的不断增加，为保证列检时间，需要大量检车人员，劳动强度极高。并且检车人员每天需要面对海量图像，容易产生疲劳漏检，误检，危及行车安全。
而现有的自动识别方法存在以下两个问题：首先，大部分都是通过轴距信息和先验知识，将图像先分割成子图，再进行识别；亦或是参照人工检车方式，对于不同工位分别进行定位、识别。这两种方式均需要依赖于轴距信息，当轴距信息不准确时，工位划分和子图均有可能发生偏移，从而影响部件的定位和识别，导致部件的定位和识别准确率低。其次，识别的总耗时会随着需要识别的部件数量、工位数量的增加而线性增长，当超出一定范围时，如果仍需保证列检时间要求，只能增加硬件成本，导致硬件成本高。
发明内容
本发明的目的是为解决现有现有的自动识别方法存在部件的定位和识别准确率低，以及硬件成本高的问题，而提出一种货车图像自动识别方法及识别系统。
本发明为解决上述技术问题所采取的技术方案是：
一种货车图像自动识别方法包括以下步骤：
步骤一、在货车轨道周围搭建成像设备，对运行的货车进行拍摄，获取线阵图像，对线阵图像中相同工位进行拼接，获得每种工位的拼接图像；
将所有工位的拼接图像进行拼接，恢复成连续图像；
将连续图像按固定宽度，切分为多个小图像，相邻小图像之间留有重叠区域；
步骤二、将拆分后的小图像输入预先建立的定位网络模型U-Mask-RCNN进行训练，得到训练好的定位网络模型U-Mask-RCNN；
步骤三、将待测货车图像输入训练好的定位网络模型U-Mask-RCNN，对待测图像中各部件进行定位，输出待测图像中各部件的类别Class、位置Box和各部件的分割结果Mask，得到待测图像中各部件的子图；
步骤四、对骤三得到的待测图像中各部件的子图进行货车故障识别，获得识别结果。
可选的，步骤一中将所有工位的拼接图像进行拼接，恢复成连续图像；具体过程为：
如果所有工位的拼接图像的边界值信息都存在，则根据边界值信息，将所有工位的拼接图像进行拼接，恢复成连续图像；
若所有工位的拼接图像中有大于等于一种工位的拼接图像的边界值信息不存在，则采用图像处理算法处理边界值信息不存在的工位的拼接图像，使所有工位的拼接图像的边界值信息都存在，进而得到拼接后的连续图像。
可选的，图像处理算法具体过程为：
通过检测并提取边界图像的特征和关键点，使用RANSAC算法匹配特征向量，估计单应矩阵，确定不存在边界值信息的工位的拼接图像的边界信息。
可选的，步骤二中的定位网络模型U-Mask-RCNN包括卷积块C1、卷积块C2、卷积块C3、卷积块C4、卷积块C5、RPN、ROI Align；
卷积块C1的输出连接卷积块C2的输入，卷积块C2的输出连接卷积块C3的输入，卷积块C3的输出连接卷积块C4的输入，卷积块C4的输出连接卷积块C5的输入，卷积块C5的输出连接RPN，RPN连接ROI Align。
可选的，卷积块C1的卷积核大小为7×7，通道数为64，步长为2，输出图像大小为112×112；
卷积块C2依次由3×3的最大池化层和3个卷积单元组成，每个卷积单元依次由卷积核大小为1×1，通道数为64，卷积核大小为3×3，通道数为64，卷积核大小为1×1，通道数为256的卷积组成；卷积块C2输出图像大小为56×56；
卷积块C3包括4个卷积单元，每个卷积单元依次由卷积核大小为1×1，通道数为128，卷积核大小为3×3，通道数为128，卷积核大小为1×1，通道数为512的卷积组成；卷积块C3输出图像大小为28×28；
卷积块C4包括6个卷积单元，每个卷积单元依次由卷积核大小为1×1，通道数为256，卷积核大小为3×3，通道数为256，卷积核大小为1×1，通道数为1024的卷积组成；卷积块C4输出图像大小为14×14；
卷积块C5包括3个卷积单元，每个卷积单元依次由卷积核大小为1×1，通道数为512，卷积核大小为3×3，通道数为512，卷积核大小为1×1，通道数为2048的卷积组成；卷积块C5输出图像大小为7×7。
可选的，步骤二中将拆分后的小图像输入预先建立的定位网络模型U-Mask-RCNN进行训练，得到训练好的定位网络模型U-Mask-RCNN；具体过程为：
拆分后的小图像输入定位网络模型U-Mask-RCNN中的卷积块C1，经过卷积块C1处理完成特征图的下采样，卷积块C1输出特征图输入卷积块C2，经过卷积块C2处理完成特征图的下采样，卷积块C2输出特征图输入卷积块C3，经过卷积块C3处理完成特征图的下采样，卷积块C3输出特征图输入卷积块C4，经过卷积块C4处理完成特征图的下采样，卷积块C4输出特征图输入卷积块C5，经过卷积块C5处理完成特征图的下采样，卷积块C5输出特征图；
对卷积块C2输出特征图进行1×1的卷积得到特征图P0,0；
对特征图P0,0进行1×1的卷积得到特征图P0,1；
对特征图P0,0进行1×1的卷积得到A，对特征图P0,1进行1×1的卷积得到B，将A和B融合得到特征图P0,2；
对特征图P0,0进行1×1的卷积得到A，对特征图P0,1进行1×1的卷积得到B，对特征图P0,2进行1×1的卷积得到C；
对卷积块C3输出特征图进行1×1的卷积得到特征图P1,0；
对特征图P1,0进行1×1的卷积得到特征图P1,1；
对特征图P1,0进行1×1的卷积得到D，对特征图P1,1进行1×1的卷积得到E；
对卷积块C4输出特征图进行1×1的卷积得到特征图P2,0；
对特征图P2,0进行1×1的卷积得到特征图F；
对卷积块C5输出特征图进行1×1的卷积得到特征图P3,0；
对特征图P3,0进行反卷积操作得到特征图的上采样结果G，将G与F融合得到特征图P2,1；
对特征图P2,1进行反卷积操作得到特征图的上采样结果H，将D、E和H融合得到特征图P1,2；
对特征图P1,2进行反卷积操作得到特征图的上采样结果I，将A、B、C和I融合得到特征图P0,3；
将特征图P0,3输入RPN层，将RPN层输出输入ROI Align，得到特征图J；
将特征图P1,2输入RPN层，将RPN层输出输入ROI Align，得到特征图K；
将特征图P2,1输入RPN层，将RPN层输出输入ROI Align，得到特征图L；
将特征图P3,0输入RPN层，将RPN层输出输入ROI Align，得到特征图M；
将特征图J、特征图K、特征图L和特征图M进行特征融合，输出图像中目标的类别Class、位置Box和目标的分割结果Mask；
利用输出的类别Class、位置Box和分割结果Mas调整定位网络模型U-Mask-RCNN的参数，直至收敛，得到训练好的定位网络模型U-Mask-RCNN。
可选的，步骤四中的故障包括以下至少一项：丢失类故障、不正位类故障、折断类故障、破损类故障、甩油类故障以及异物类故障；以及
当步骤四中的故障包括丢失类故障时，步骤四包括：统计步骤四得到的待测图像中各部件的个数，若各部件的个数不满足要求，则为丢失类故障；若各部件的个数满足要求，则不为丢失类故障；
当步骤四中的故障包括不正位类故障时，步骤四包括：计算各部件的倾斜角度，部件间的距离信息；
若各部件的倾斜角度或部件间的距离不满足要求，则为不正位类故障；若各部件的倾斜角度，部件间的距离都满足要求，则不为不正位类故障；
当步骤四中的故障包括折断类故障时，步骤四包括：将步骤四得到的待测图像中各部件的子图统一输入到折断检测网络，判断折断检测网络输出结果中是否包含折断类别，如果包含，则为折断类故障，记录故障框折断类别和位置；如不包含则不为折断类故障；
当步骤四中的故障包括破损类故障、甩油类故障和/或异物类故障时，步骤四包括：将步骤四得到的待测图像中各部件的子图输入异常检测网络进行检测，获得检测结果，其中，检测结果包括以下至少一项：第一结果、第二结果、第三结果，其中，第一结果、第二结果、第三结果分别用于指示部件是否包含破损故障、甩油故障、异物类故障以及故障框的位置。
可选的，在步骤四之后，方法还包括：
响应于获得用于指示故障位置的故障框，对相同部件的故障框进行合框，上传报警信息。
可选的，丢失类故障包括以下至少一项：挡键丢失、弹簧丢失、轴承前盖丢失故障；
不正位类故障包括以下至少一项：承载鞍错位、脱轨装置拉环脱落故障；
折断类故障包括以下至少一项：交叉杆体折断、制动梁折断故障；
破损类故障包括以下至少一项：钢地板破损、轴承前盖破损；
甩油类故障包括滚动轴承甩油；
异物类故障包括三角孔异物故障。
一种货车图像自动识别系统用于执行一种货车图像自动识别方法。
本发明的有益效果是：
本发明是基于货车的原图进行故障识别，可用于单辆车的故障识别。首先采用U-Mask-RCNN网络进行全部部件的定位，即识别不再依赖于轴距信息，同现有方法相比，具有一定的容错率；其次将故障分为丢失类、不正位类、折断类、破损类、甩油类以及异物类等，按照故障类型选择对应的网络进行识别。即相同类别的故障由于具有相似的故障形态，采用同一个网络进行识别，既增加了训练样本的多样性和丰富性，又增强模型的鲁棒性。此方式模型个数只和故障种类有关，识别时间可控。这样就可以在保证安全的基础上减少检车成本，提高动态检车质量和工作效率，确保车辆运行安全。
1.利用深度学习的方式代替人工检测，提高检测效率、准确率。
2.本发明是基于货车的原图进行故障的定位与识别，具有一定的容错率，且灵活性高，不再依赖轴距信息和工位信息，可基于单辆车图像进行识别。
3.定位网络采用U-Mask-RCNN网络，相比于传统的Mask-RCNN，U-Mask-RCNN增加了一个U形的特征图级联操作，U形结构将特征图的长连接与短连接结合，使网络能够充分的利用到不同尺度，不同粗细程度的特征，有效的提高了后续故障识别网络的性能。使网络能够充分的利用到不同尺度，不同粗细程度的特征，有效的提高了后续故障识别网络的性能。
4.将故障分为丢失类、不正位类、折断类、破损类、甩油类以及异物类等，按照故障类型选择对应的网络进行识别。与一个部件一个模型，亦或是一个工位一个模型的方式相比，既节省了计算时间，且相似故障形态的合并，也增加了训练集的多样性，提升了模型的鲁棒性。
附图说明
图1为本发明流程图；
图2为本发明定位网络结构图。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。
具体实施方式一：结合图1说明本实施方式，本实施方式一种货车图像自动识别方法包括以下步骤：
步骤一、在货车轨道周围搭建成像设备，对运行的货车进行拍摄，获取线阵图像，对线阵图像中相同工位进行拼接，获得每种工位的拼接图像；(通过命名规则，分别按照侧架、制动梁、中间部侧部、中间部、互钩差、车体侧面进行拼接，获得以上工位的拼接图像。)
将所有工位的拼接图像进行拼接，恢复成连续图像；
将连续图像按固定宽度，切分为多个小图像，相邻小图像之间留有重叠区域，确保各小部件的完整性；
原始图像是按工位进行保存的，先对每个工位进行拼接；将不同工位的合成连续图像；将连续图像再拆分成小图像，再送入网络进行部件定位。拼接拆分都是为了保证每个部件的完整性；
步骤二、将拆分后的小图像输入预先建立的定位网络模型U-Mask-RCNN进行训练，得到训练好的定位网络模型U-Mask-RCNN；
步骤三、将待测货车图像输入训练好的定位网络模型U-Mask-RCNN，对待测图像中各部件进行定位，输出待测图像中各部件的类别Class、位置Box和各部件的分割结果Mask，得到待测图像中各部件的子图；
步骤四、对骤三得到的待测图像中各部件的子图进行货车故障识别，获得识别结果。
具体实施方式二：本实施方式与具体实施方式一不同的是，步骤一中将所有工位的拼接图像进行拼接，恢复成连续图像；具体过程为：
如果所有工位的拼接图像的边界值信息都存在，则根据边界值信息，将所有工位的拼接图像进行拼接，恢复成连续图像；
若所有工位的拼接图像中有大于等于一种工位的拼接图像的边界值信息不存在，则采用图像处理算法处理边界值信息不存在的工位的拼接图像，使所有工位的拼接图像的边界值信息都存在，进而得到拼接后的连续图像。
拼接分两种情况，一种边界值信息存在，即知道重叠区域，直接去掉重叠区域进行拼接；一种边界值信息不存在，即不知道重叠区域，采用图像处理算法获得重叠区域，去掉重叠区域进行拼接。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，图像处理算法具体过程为：
通过检测并提取边界图像的特征和关键点，使用RANSAC算法匹配特征向量，估计单应矩阵，确定不存在边界值信息的工位的拼接图像的边界信息。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，步骤二中的定位网络模型U-Mask-RCNN包括卷积块C1、卷积块C2、卷积块C3、卷积块C4、卷积块C5、RPN、ROI Align；
卷积块C1的输出连接卷积块C2的输入，卷积块C2的输出连接卷积块C3的输入，卷积块C3的输出连接卷积块C4的输入，卷积块C4的输出连接卷积块C5的输入，卷积块C5的输出连接RPN，RPN连接ROI Align。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，卷积块C1的卷积核大小为7×7，通道数为64，步长为2，输出图像大小为112×112；
卷积块C2依次由3×3的最大池化层(步长为2)和3个卷积单元组成，每个卷积单元依次由卷积核大小为1×1，通道数为64，卷积核大小为3×3，通道数为64，卷积核大小为1×1，通道数为256的卷积组成；卷积块C2输出图像大小为56×56；
卷积块C3包括4个卷积单元，每个卷积单元依次由卷积核大小为1×1，通道数为128，卷积核大小为3×3，通道数为128，卷积核大小为1×1，通道数为512的卷积组成；卷积块C3输出图像大小为28×28；
卷积块C4包括6个卷积单元，每个卷积单元依次由卷积核大小为1×1，通道数为256，卷积核大小为3×3，通道数为256，卷积核大小为1×1，通道数为1024的卷积组成；卷积块C4输出图像大小为14×14；
卷积块C5包括3个卷积单元，每个卷积单元依次由卷积核大小为1×1，通道数为512，卷积核大小为3×3，通道数为512，卷积核大小为1×1，通道数为2048的卷积组成；卷积块C5输出图像大小为7×7。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，步骤二中将拆分后的小图像输入预先建立的定位网络模型U-Mask-RCNN进行训练，得到训练好的定位网络模型U-Mask-RCNN；具体过程为：
拆分后的小图像输入定位网络模型U-Mask-RCNN中的卷积块C1，经过卷积块C1处理完成特征图的下采样，卷积块C1输出特征图输入卷积块C2，经过卷积块C2处理完成特征图的下采样，卷积块C2输出特征图输入卷积块C3，经过卷积块C3处理完成特征图的下采样，卷积块C3输出特征图输入卷积块C4，经过卷积块C4处理完成特征图的下采样，卷积块C4输出特征图输入卷积块C5，经过卷积块C5处理完成特征图的下采样，卷积块C5输出特征图；
对卷积块C2输出特征图进行1×1的卷积得到特征图P0,0；
对特征图P0,0进行1×1的卷积得到特征图P0,1；
对特征图P0,0进行1×1的卷积得到A，对特征图P0,1进行1×1的卷积得到B，将A和B融合得到特征图P0,2；
对特征图P0,0进行1×1的卷积得到A，对特征图P0,1进行1×1的卷积得到B，对特征图P0,2进行1×1的卷积得到C；
对卷积块C3输出特征图进行1×1的卷积得到特征图P1,0；
对特征图P1,0进行1×1的卷积得到特征图P1,1；
对特征图P1,0进行1×1的卷积得到D，对特征图P1,1进行1×1的卷积得到E；
对卷积块C4输出特征图进行1×1的卷积得到特征图P2,0；
对特征图P2,0进行1×1的卷积得到特征图F；
对卷积块C5输出特征图进行1×1的卷积得到特征图P3,0；
对特征图P3,0进行反卷积操作得到特征图的上采样结果G，将G与F融合得到特征图P2,1；
对特征图P2,1进行反卷积操作得到特征图的上采样结果H，将D、E和H融合得到特征图P1,2；
对特征图P1,2进行反卷积操作得到特征图的上采样结果I，将A、B、C和I融合得到特征图P0,3；
将特征图P0,3输入RPN层，将RPN层输出输入ROI Align，得到特征图J；
将特征图P1,2输入RPN层，将RPN层输出输入ROI Align，得到特征图K；
将特征图P2,1输入RPN层，将RPN层输出输入ROI Align，得到特征图L；
将特征图P3,0输入RPN层，将RPN层输出输入ROI Align，得到特征图M；
将特征图J、特征图K、特征图L和特征图M进行特征融合，输出图像中目标的类别Class、位置Box和目标的分割结果Mask；
利用输出的类别Class、位置Box和分割结果Mas调整定位网络模型U-Mask-RCNN的参数，直至收敛，得到训练好的定位网络模型U-Mask-RCNN。
采用定位网络对全部部件进行定位。通过定位信息可作为丢失类和不正位类的故障的识别依据，也可为其他类故障综合判定提供辅助信息。
定位网络采用U-Mask-RCNN网络，相比于传统的Mask-RCNN，U-Mask-RCNN增加了一个U形的特征图级联操作，U形结构将特征图的长连接与短连接结合，使网络能够充分的利用到不同尺度，不同粗细程度的特征，有效的提高了后续故障识别网络的性能。使网络能够充分的利用到不同尺度，不同粗细程度的特征，有效的提高了后续故障识别网络的性能。
U-Mask-RCNN网络的输入为待检测的图像，输出为图像中目标的类别Class、位置Box和目标的分割结果Mask。
如图2所示，网络采用Resnet50作为特征提取的骨干网络，其中C1到C5表示resnet50中的卷积块，一个卷积块中包含了多个卷积层，具体构成如表1所示。
将resnet50中不同尺度的特征图C2到C5进行U形结构的连接，如图2中梯形的虚线框所示，其中向下的箭头表示卷积操作，完成了特征图的下采样，向上的箭头表示反卷积操作，完成了特征图的上采样，横向的箭头表示跳跃连接操作，将输入的特征图级联起来。网络中进行横向的连接时，不直接将输入的特征图级联，而是首先进行1×1的卷积，然后再进行特征图的级联，保证了网络的稳定性，使网络更容易训练。
如resnet50的C2到C5卷积块的输出特征图分别进行1×1的卷积得到得到P0,0、P1 ,0、P2,0、P3,0，在进行跳跃连接时如P0,2，将P0,0与P0,1分别进行1×1的卷积操作，然后进行特征图的级联操作，而不直接将P0,0与P0,1级联。
表1卷积层具体构成
Figure BDA0003096916210000101
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，步骤四中的故障包括以下至少一项：丢失类故障、不正位类故障、折断类故障、破损类故障、甩油类故障以及异物类故障；以及
当步骤四中的故障包括丢失类故障时，步骤四包括：统计步骤四得到的待测图像中各部件的个数，若各部件的个数不满足要求，则为丢失类故障；若各部件的个数满足要求，则不为丢失类故障；
当步骤四中的故障包括不正位类故障时，步骤四包括：计算各部件的倾斜角度，部件间的距离信息；
若各部件的倾斜角度或部件间的距离不满足要求，则为不正位类故障；若各部件的倾斜角度，部件间的距离都满足要求，则不为不正位类故障；
当步骤四中的故障包括折断类故障时，步骤四包括：将步骤四得到的待测图像中各部件的子图统一输入到折断检测网络(检测类的模型均可，比如Faster-RCNN,Yolo等)，判断折断检测网络输出结果中是否包含折断类别，如果包含，则为折断类故障，记录故障框折断类别和位置；如不包含则不为折断类故障；
当步骤四中的故障包括破损类故障、甩油类故障和/或异物类故障时，步骤四包括：将步骤四得到的待测图像中各部件的子图输入异常检测网络(检测网络为目标检测、异常检测网络，看具体的故障，有的故障是两个网络的结果与，有的故障是两个网络的结果或，对召回率要求高的故障是或的关系；对准确率要求高的故障是与的关系)进行检测，获得检测结果，其中，检测结果包括以下至少一项：第一结果、第二结果、第三结果，其中，第一结果、第二结果、第三结果分别用于指示部件是否包含破损故障、甩油故障、异物类故障以及故障框的位置。
异常检测是无监督的识别方法。由于破损类、甩油类以及异物类的故障具有位置不确定和形态多样性的特点，相反与之相对应的正常样本是有限的。因此，我们可以通过海量的、正常的、不需要标注的数据，来训练一个模型，去学习正常数据的分布，并用这个学习到的分布，去检测出无法被拟合的异常区域。(无监督的异常检测模型，比如MNAD。)
所以，同时使用目标检测和异常检测模型，相当于对该类故障增加双保险，来确保不会漏报。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，在步骤四之后，方法还包括：
响应于获得用于指示故障位置的故障框，对相同部件的故障框进行合框，上传报警信息。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，丢失类故障包括以下至少一项：挡键丢失、弹簧丢失、轴承前盖丢失故障；
不正位类故障包括以下至少一项：承载鞍错位、脱轨装置拉环脱落故障；
折断类故障包括以下至少一项：交叉杆体折断、制动梁折断故障；
破损类故障包括以下至少一项：钢地板破损、轴承前盖破损；
甩油类故障包括滚动轴承甩油；
异物类故障包括三角孔异物故障。
其它步骤及参数与具体实施方式一至八之一相同。
具体实施方式十：本实施方式一种货车图像自动识别系统，该系统用于执行具体实施方式一至具体实施方式九的一种货车图像自动识别方法。
本申请可以在货车轨道周围搭建高清成像设备，对高速运行的货车进行拍摄，获取高清的线阵图像。对于货车的每辆车的图像，采用深度学习算法对需要识别的各部件进行定位后，再根据故障类别分别输入对应的网络进行识别，并将识别出的故障自动上传报警信息，以保证列车的安全运行。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (10)

1.一种货车图像自动识别方法，其特征在于，该方法包括以下步骤：
步骤一、在货车轨道周围搭建成像设备，对运行的货车进行拍摄，获取线阵图像，对线阵图像中相同工位进行拼接，获得每种工位的拼接图像；
将所有工位的拼接图像进行拼接，恢复成连续图像；
将连续图像按固定宽度，切分为多个小图像，相邻小图像之间留有重叠区域；
步骤二、将拆分后的小图像输入预先建立的定位网络模型U-Mask-RCNN进行训练，得到训练好的定位网络模型U-Mask-RCNN；
步骤三、将待测货车图像输入训练好的定位网络模型U-Mask-RCNN，对待测图像中各部件进行定位，输出待测图像中各部件的类别Class、位置Box和各部件的分割结果Mask，得到待测图像中各部件的子图；
步骤四、对骤三得到的待测图像中各部件的子图进行货车故障识别，获得识别结果。
2.根据权利要求1所述一种货车图像自动识别方法，其特征在于：所述步骤一中将所有工位的拼接图像进行拼接，恢复成连续图像；具体过程为：
如果所有工位的拼接图像的边界值信息都存在，则根据边界值信息，将所有工位的拼接图像进行拼接，恢复成连续图像；
若所有工位的拼接图像中有大于等于一种工位的拼接图像的边界值信息不存在，则采用图像处理算法处理边界值信息不存在的工位的拼接图像，使所有工位的拼接图像的边界值信息都存在，进而得到拼接后的连续图像。
3.根据权利要求2所述一种货车图像自动识别方法，其特征在于：所述图像处理算法具体过程为：
通过检测并提取边界图像的特征和关键点，使用RANSAC算法匹配特征向量，估计单应矩阵，确定不存在边界值信息的工位的拼接图像的边界信息。
4.根据权利要求3所述一种货车图像自动识别方法，其特征在于：所述步骤二中的定位网络模型U-Mask-RCNN包括卷积块C1、卷积块C2、卷积块C3、卷积块C4、卷积块C5、RPN、ROIAlign；
卷积块C1的输出连接卷积块C2的输入，卷积块C2的输出连接卷积块C3的输入，卷积块C3的输出连接卷积块C4的输入，卷积块C4的输出连接卷积块C5的输入，卷积块C5的输出连接RPN，RPN连接ROIAlign。
5.根据权利要求4所述一种货车图像自动识别方法，其特征在于：所述卷积块C1的卷积核大小为7×7，通道数为64，步长为2，输出图像大小为112×112；
卷积块C2依次由3×3的最大池化层和3个卷积单元组成，每个卷积单元依次由卷积核大小为1×1，通道数为64，卷积核大小为3×3，通道数为64，卷积核大小为1×1，通道数为256的卷积组成；卷积块C2输出图像大小为56×56；
卷积块C3包括4个卷积单元，每个卷积单元依次由卷积核大小为1×1，通道数为128，卷积核大小为3×3，通道数为128，卷积核大小为1×1，通道数为512的卷积组成；卷积块C3输出图像大小为28×28；
卷积块C4包括6个卷积单元，每个卷积单元依次由卷积核大小为1×1，通道数为256，卷积核大小为3×3，通道数为256，卷积核大小为1×1，通道数为1024的卷积组成；卷积块C4输出图像大小为14×14；
卷积块C5包括3个卷积单元，每个卷积单元依次由卷积核大小为1×1，通道数为512，卷积核大小为3×3，通道数为512，卷积核大小为1×1，通道数为2048的卷积组成；卷积块C5输出图像大小为7×7。
6.根据权利要求5所述一种货车图像自动识别方法，其特征在于：所述步骤二中将拆分后的小图像输入预先建立的定位网络模型U-Mask-RCNN进行训练，得到训练好的定位网络模型U-Mask-RCNN；具体过程为：
拆分后的小图像输入定位网络模型U-Mask-RCNN中的卷积块C1，经过卷积块C1处理完成特征图的下采样，卷积块C1输出特征图输入卷积块C2，经过卷积块C2处理完成特征图的下采样，卷积块C2输出特征图输入卷积块C3，经过卷积块C3处理完成特征图的下采样，卷积块C3输出特征图输入卷积块C4，经过卷积块C4处理完成特征图的下采样，卷积块C4输出特征图输入卷积块C5，经过卷积块C5处理完成特征图的下采样，卷积块C5输出特征图；
对卷积块C2输出特征图进行1×1的卷积得到特征图P0,0；
对特征图P0,0进行1×1的卷积得到特征图P0,1；
对特征图P0,0进行1×1的卷积得到A，对特征图P0,1进行1×1的卷积得到B，将A和B融合得到特征图P0,2；
对特征图P0,0进行1×1的卷积得到A，对特征图P0,1进行1×1的卷积得到B，对特征图P0,2进行1×1的卷积得到C；
对卷积块C3输出特征图进行1×1的卷积得到特征图P1,0；
对特征图P1,0进行1×1的卷积得到特征图P1,1；
对特征图P1,0进行1×1的卷积得到D，对特征图P1,1进行1×1的卷积得到E；
对卷积块C4输出特征图进行1×1的卷积得到特征图P2,0；
对特征图P2,0进行1×1的卷积得到特征图F；
对卷积块C5输出特征图进行1×1的卷积得到特征图P3,0；
对特征图P3,0进行反卷积操作得到特征图的上采样结果G，将G与F融合得到特征图P2,1；
对特征图P2,1进行反卷积操作得到特征图的上采样结果H，将D、E和H融合得到特征图P1 ,2；
对特征图P1,2进行反卷积操作得到特征图的上采样结果I，将A、B、C和I融合得到特征图P0,3；
将特征图P0,3输入RPN层，将RPN层输出输入ROI Align，得到特征图J；
将特征图P1,2输入RPN层，将RPN层输出输入ROI Align，得到特征图K；
将特征图P2,1输入RPN层，将RPN层输出输入ROI Align，得到特征图L；
将特征图P3,0输入RPN层，将RPN层输出输入ROI Align，得到特征图M；
将特征图J、特征图K、特征图L和特征图M进行特征融合，输出图像中目标的类别Class、位置Box和目标的分割结果Mask；
利用输出的类别Class、位置Box和分割结果Mas调整定位网络模型U-Mask-RCNN的参数，直至收敛，得到训练好的定位网络模型U-Mask-RCNN。
7.根据权利要求6所述一种货车图像自动识别方法，其特征在于：所述步骤四中的故障包括以下至少一项：丢失类故障、不正位类故障、折断类故障、破损类故障、甩油类故障以及异物类故障；以及
当所述步骤四中的故障包括丢失类故障时，所述步骤四包括：统计步骤四得到的待测图像中各部件的个数，若各部件的个数不满足要求，则为丢失类故障；若各部件的个数满足要求，则不为丢失类故障；
当所述步骤四中的故障包括不正位类故障时，所述步骤四包括：计算各部件的倾斜角度，部件间的距离信息；
若各部件的倾斜角度或部件间的距离不满足要求，则为不正位类故障；若各部件的倾斜角度，部件间的距离都满足要求，则不为不正位类故障；
当所述步骤四中的故障包括折断类故障时，所述步骤四包括：将步骤四得到的待测图像中各部件的子图统一输入到折断检测网络，判断折断检测网络输出结果中是否包含折断类别，如果包含，则为折断类故障，记录故障框折断类别和位置；如不包含则不为折断类故障；
当所述步骤四中的故障包括破损类故障、甩油类故障和/或异物类故障时，所述步骤四包括：将步骤四得到的待测图像中各部件的子图输入异常检测网络进行检测，获得检测结果，其中，检测结果包括以下至少一项：第一结果、第二结果、第三结果，其中，第一结果、第二结果、第三结果分别用于指示部件是否包含破损故障、甩油故障、异物类故障以及故障框的位置。
8.根据权利要求7所述一种货车图像自动识别方法，其特征在于：在步骤四之后，所述方法还包括：
响应于获得用于指示故障位置的故障框，对相同部件的故障框进行合框，上传报警信息。
9.根据权利要求8所述一种货车图像自动识别方法，其特征在于：所述丢失类故障包括以下至少一项：挡键丢失、弹簧丢失、轴承前盖丢失故障；
不正位类故障包括以下至少一项：承载鞍错位、脱轨装置拉环脱落故障；
折断类故障包括以下至少一项：交叉杆体折断、制动梁折断故障；
破损类故障包括以下至少一项：钢地板破损、轴承前盖破损；
甩油类故障包括滚动轴承甩油；
异物类故障包括三角孔异物故障。
10.一种货车图像自动识别系统，其特征在于：所述该系统用于执行权利要求1至权利要求9的一种货车图像自动识别方法。
CN202110614695.2A 2021-06-02 2021-06-02 一种货车图像自动识别方法及识别系统 Active CN113221839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110614695.2A CN113221839B (zh) 2021-06-02 2021-06-02 一种货车图像自动识别方法及识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110614695.2A CN113221839B (zh) 2021-06-02 2021-06-02 一种货车图像自动识别方法及识别系统

Publications (2)

Publication Number Publication Date
CN113221839A true CN113221839A (zh) 2021-08-06
CN113221839B CN113221839B (zh) 2022-02-01

Family

ID=77082326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110614695.2A Active CN113221839B (zh) 2021-06-02 2021-06-02 一种货车图像自动识别方法及识别系统

Country Status (1)

Country Link
CN (1) CN113221839B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792744A (zh) * 2021-09-14 2021-12-14 东北农业大学 一种低功耗广域网内农作物生长数据传输系统及方法
CN114399472A (zh) * 2021-12-28 2022-04-26 国能铁路装备有限责任公司 承载鞍故障检测方法、装置、计算机设备和存储介质
CN116580245A (zh) * 2023-05-29 2023-08-11 哈尔滨市科佳通用机电股份有限公司 一种铁路货车承载鞍错位故障识别方法
CN118155028A (zh) * 2024-05-13 2024-06-07 中车工业研究院(青岛)有限公司 缓解阀拉杆脱落故障检测方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555838A (zh) * 2019-09-06 2019-12-10 北京百度网讯科技有限公司 基于图像的零件故障检测方法及装置
CN111079817A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车横跨梁故障图像识别方法
CN111079627A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁梁体折断故障图像识别方法
US20210135625A1 (en) * 2018-05-09 2021-05-06 Beijing Institute Of Technology Photovoltaic array fault diagnosis method based on composite information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210135625A1 (en) * 2018-05-09 2021-05-06 Beijing Institute Of Technology Photovoltaic array fault diagnosis method based on composite information
CN110555838A (zh) * 2019-09-06 2019-12-10 北京百度网讯科技有限公司 基于图像的零件故障检测方法及装置
CN111079817A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车横跨梁故障图像识别方法
CN111079627A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁梁体折断故障图像识别方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792744A (zh) * 2021-09-14 2021-12-14 东北农业大学 一种低功耗广域网内农作物生长数据传输系统及方法
CN113792744B (zh) * 2021-09-14 2023-09-05 东北农业大学 一种低功耗广域网内农作物生长数据传输系统及方法
CN114399472A (zh) * 2021-12-28 2022-04-26 国能铁路装备有限责任公司 承载鞍故障检测方法、装置、计算机设备和存储介质
CN116580245A (zh) * 2023-05-29 2023-08-11 哈尔滨市科佳通用机电股份有限公司 一种铁路货车承载鞍错位故障识别方法
CN116580245B (zh) * 2023-05-29 2023-12-26 哈尔滨市科佳通用机电股份有限公司 一种铁路货车承载鞍错位故障识别方法
CN118155028A (zh) * 2024-05-13 2024-06-07 中车工业研究院(青岛)有限公司 缓解阀拉杆脱落故障检测方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN113221839B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN113221839B (zh) 一种货车图像自动识别方法及识别系统
CN111091555B (zh) 闸瓦折断目标检测方法
CN111652227B (zh) 铁路货车底部地板破损故障检测方法
CN111079819B (zh) 基于图像识别与深度学习的铁路货车钩舌销的状态判断方法
CN111080608A (zh) 铁路货车脱轨自动制动阀塞门手把关闭故障图像识别方法
CN111079746B (zh) 铁路货车轴箱弹簧故障图像识别方法
CN111080603B (zh) 一种铁路货车轴端螺栓折断故障检测方法
CN111080609B (zh) 一种基于深度学习的闸瓦插销丢失检测方法
CN112233096B (zh) 一种车辆裙板故障检测方法
CN111489339A (zh) 高速铁路定位器螺栓备母缺陷的检测方法
CN111080600A (zh) 一种铁路货车弹簧托板上开口销的故障识别方法
CN111311567A (zh) 对轨道线路图像进行扣件和钢轨病害识别的方法
CN111080607B (zh) 一种基于图像识别的滚动轴承甩油故障检测方法
CN111080614A (zh) 铁路货车轮轮辋及踏面的破损识别方法
CN111079822A (zh) 轴箱橡胶垫中间橡胶与上、下层板错位故障图像识别方法
CN110991447B (zh) 基于深度学习的列车车号精确定位与识别方法
CN111091551A (zh) 一种铁路货车制动梁支柱开口销丢失故障检测方法
CN114511568B (zh) 基于无人机的高速公路桥梁检修方法
CN112464846A (zh) 一种车站货运列车车厢异常故障的自动识别方法
CN113111875A (zh) 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN111080621A (zh) 一种铁路货车地板破损故障图像识别方法
CN115527170A (zh) 货车脱轨自动制动装置塞门手把关闭故障识别方法及系统
CN112489031A (zh) 基于mask-rcnn的抗蛇形减震器漏油检测方法
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN114842315B (zh) 轻量化高铁轮毂垫片防松识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant