CN115482534B - 铁路货车手轮倾斜检测方法及系统 - Google Patents

铁路货车手轮倾斜检测方法及系统 Download PDF

Info

Publication number
CN115482534B
CN115482534B CN202211200473.7A CN202211200473A CN115482534B CN 115482534 B CN115482534 B CN 115482534B CN 202211200473 A CN202211200473 A CN 202211200473A CN 115482534 B CN115482534 B CN 115482534B
Authority
CN
China
Prior art keywords
hand wheel
image
feature
convolution
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211200473.7A
Other languages
English (en)
Other versions
CN115482534A (zh
Inventor
何鑫淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202211200473.7A priority Critical patent/CN115482534B/zh
Publication of CN115482534A publication Critical patent/CN115482534A/zh
Application granted granted Critical
Publication of CN115482534B publication Critical patent/CN115482534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的一种铁路货车手轮倾斜检测方法及系统涉及一种图像检测方法及系统，目的是为了克服由于现有铁路货车手轮倾斜检测均采用人工检测，容易造成观测误差的问题，其中方法具体步骤如下：步骤一、采集并裁剪得到货车侧面图像；步骤二、进行目标检测，得到手轮位置信息图像；进行语义分割，得到手轮轮廓信息图像；步骤三、通过手轮轮廓信息图像中的手轮轮廓，得到手轮轮廓的中心线；铁路货车手轮倾斜检测方法手轮轮廓的中心线为手轮轮廓的最高点和最低点之间的连线；步骤四、计算中心线与竖直线之间夹角的角度，如果铁路货车手轮倾斜检测方法角度超过角度阈值，则判断货车侧面图像中的手轮倾斜。

Description

铁路货车手轮倾斜检测方法及系统
技术领域
本发明涉及一种图像检测方法及系统，具体涉及利用特征检测网络和语义分割网络得到进行图像特征提取的方法和系统。
背景技术
人力制动机是指装在车辆制动装置上以人力作为产生制动力原动力的部分。它是用人力转动手轮或手把，以代替压缩空气作用于制动缸活塞的推力带动基础制动装置动作，使闸瓦压紧车轮，产生制动作用的一种装置。在调车作业时使用人力制动机调整车速或停车，保证作业安全；当列车或车辆停放在有坡度的线路上时，用手制动机制动，防止列车或车辆溜走；在车站和专用线上施行手制动作用可防止车辆意外移动。
而铁路货车手轮倾斜表明制动可能失效或人力制动机内部零件发生故障，进而导致溜车等严重事故。现有铁路货车手轮倾斜检测均采用人工检测，车辆安检效率低，人力成本高，人眼等因素容易造成观测误差，人为因素对于检测结果的影响大。
发明内容
本发明的目的是为了克服由于现有铁路货车手轮倾斜检测均采用人工检测，容易造成观测误差的问题，提供了一种铁路货车手轮倾斜检测方法及系统。
本发明提供一种铁路货车手轮倾斜检测方法，具体步骤如下：
步骤一、采集并裁剪得到货车侧面图像；铁路货车手轮倾斜检测方法货车侧面图像为包含手轮部位的图像；
步骤二、将货车侧面图像输入到目标位置检测网络进行目标检测，得到手轮位置信息图像；将货车侧面图像和手轮位置信息图像输入到语义分割网络进行语义分割，得到手轮轮廓信息图像；
步骤三、通过手轮轮廓信息图像中的手轮轮廓，得到手轮轮廓的中心线；
铁路货车手轮倾斜检测方法手轮轮廓的中心线为手轮轮廓的最高点和最低点之间的连线；
步骤四、计算中心线与竖直线之间夹角的角度，如果铁路货车手轮倾斜检测方法角度超过角度阈值，则判断货车侧面图像中的手轮倾斜。
其中，步骤二中目标位置检测网络为改进Faster-RCNN网络，且进行目标检测的具体步骤为：
步骤二一、对货车侧面图像进行空洞卷积，得到空洞卷积后的特征图；
步骤二二、将空洞卷积后的特征图像输入到图像特征金字塔，图像特征金字塔的每个卷积层均对空洞卷积后的侧面图像进行卷积操作，不同卷积层的输出不同尺寸的特征图；从最小尺寸的特征图起进行1x1的卷积操作和最邻近上采样操作，使最小尺寸的特征图与相邻上层的特征图尺寸一致，并将最小尺寸的特征图与相邻上层的特征图进行特征融合得到第一融合特征图；迭代上述操作直到一个融合特征图的尺寸与侧面图像相同；
步骤二三、将经过最邻近上采样操作后的特征图分别进行1x1卷积、3x3且膨胀率为6的空洞卷积、3x3且膨胀率为12的空洞卷积和3x3且膨胀率为18的空洞卷积后，将得到的4个空间尺寸相同的特征图在通道维度上进行特征融合得到第二融合特征图，再使用一个1x1卷积提取第二融合特征图的深度信息最后与空洞卷积得到的特征图进行特征融合，得到结合尺寸和深度信息的特征图；
步骤二四、对结合尺寸和深度信息的特征图输入进行池化，得到手轮位置信息图像作为目标检测结果。
其中，Faster-RCNN中的损失函数为FocalLoss损失函数。
其中，步骤三的具体步骤为：
步骤三一、得到初始最高点和初始最低点，分别在初始最高点和初始最低点所在高度截取高度为5像素的邻域图像，在邻域图像内寻找手轮轮廓的中心点作为新得到的最高点和最低点；
步骤三二、将新得到的最高点和最低点连线，得到手轮轮廓的中心线。
其中，步骤四中，角度阈值为10°
本发明还提供一种铁路货车手轮倾斜检测系统，包括：
图像采集模块，用于采集并裁剪得到货车侧面图像；货车侧面图像为包含手轮部位的图像；并发送至轮廓提取模块；
轮廓提取模块，用于将货车侧面图像输入到目标位置检测网络进行目标检测，得到手轮位置信息图像；将货车侧面图像和手轮位置信息图像输入到语义分割网络进行语义分割，得到手轮轮廓信息图像；并发送至中心线获取模块；
中心线获取模块，用于通过手轮轮廓信息图像中的手轮轮廓，得到手轮轮廓的中心线；
铁路货车手轮倾斜检测方法手轮轮廓的中心线为手轮轮廓的最高点和最低点之间的连线；并发送至倾斜判断模块；
倾斜判断模块，用于计算中心线与竖直线之间夹角的角度，如果铁路货车手轮倾斜检测方法角度超过角度阈值，则判断货车侧面图像中的手轮倾斜。
其中，轮廓提取模块中目标位置检测网络为改进Faster-RCNN网络，且改进Faster-RCNN网络包括：
空洞卷积层，用于对货车侧面图像进行空洞卷积，得到空洞卷积后的特征图；并发送至图像特征金字塔；
图像特征金字塔，用于将空洞卷积后的特征图像输入到图像特征金字塔，图像特征金字塔的每个卷积层均对空洞卷积后的侧面图像进行卷积操作，不同卷积层的输出不同尺寸的特征图；从最小尺寸的特征图起进行1x1的卷积操作和最邻近上采样操作，使最小尺寸的特征图与相邻上层的特征图尺寸一致，并将最小尺寸的特征图与相邻上层的特征图进行特征融合得到第一融合特征图；迭代上述操作直到一个融合特征图的尺寸与侧面图像相同；并将最邻近上采样操作后的特征图均发送至递归金字塔；
递归金字塔，用于将经过最邻近上采样操作后的特征图分别进行1x1卷积、3x3且膨胀率为6的空洞卷积、3x3且膨胀率为12的空洞卷积和3x3且膨胀率为18的空洞卷积后，将得到的4个空间尺寸相同的特征图在通道维度上进行特征融合得到第二融合特征图，再使用一个1x1卷积提取第二融合特征图的深度信息最后与空洞卷积得到的特征图进行特征融合，得到结合尺寸和深度信息的特征图；并发送至池化层；
池化层，用于对结合尺寸和深度信息的特征图输入进行池化，得到手轮位置信息图像作为目标检测结果。
其中，Faster-RCNN中的损失函数为FocalLoss损失函数。
其中，中心线获取模块包括：
点查找模块，用于得到的初始最高点和初始最低点，分别在初始最高点和初始最低点所在高度截取高度为5像素的邻域图像，在邻域图像内寻找手轮轮廓的中心点作为新得到的最高点和最低点；并发送至连线模块；
连线模块，用于将新得到最高点和最低点连线，得到手轮轮廓的中心线。
其中，倾斜判断模块中，角度阈值为10°
本发明的有益效果是：
用基于目标检测与语义分割的铁路货车异常检测方法代替人工车辆安全检测，能够提高车辆安检效率，降低人力成本，消除人为因素对于检测结果的影响。使用高精度的目标检测方法与语义分割方法，实现了定量的分析人力制动机手轮倾斜的角度，并由先验知识确定预设阈值，有效的避免了由于人眼等因素造成的观测误差，从而减少人工检测工作量并提高异常检测准确率。
1、利用深度学习方法，减小铁路货车检测的人工工作量。
2、通过神经网络对车体侧部图像进行编码，得到编码向量。检测并定位人力制动机手轮位置时，将编码的向量输入进神经网络的区域候选子网络和全连接层，得到编码向量中人力制动机手轮的位置信息和置信度信息，将置信度大于阈值的向量部分作为检测结果。目标检测过程使用改进的faster-rcnn网络，使检测结果更准确。
3、将编码后的图像输入神经网络进行语义分割。语义分割使用HTC网络，逐像素级别的确定手轮的位置和形态，再计算手轮角度以实现定量的检测手轮是否倾斜。
附图说明
图1为本发明中改进Faster-RCNN网络的结构示意图；其中深度特征提取模块为递归金字塔；
图2为改进Faster-RCNN网络中深度特征提取模块的原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一
本实施方式中，铁路货车手轮倾斜检测方法，具体步骤如下：
步骤一、采集并裁剪得到货车侧面图像；货车侧面图像为包含手轮部位的图像；
步骤二、将货车侧面图像输入到目标位置检测网络进行目标检测，得到手轮位置信息图像；将货车侧面图像和手轮位置信息图像输入到语义分割网络进行语义分割，得到手轮轮廓信息图像；
步骤三、通过手轮轮廓信息图像中的手轮轮廓，得到手轮轮廓的中心线；
手轮轮廓的中心线为手轮轮廓的最高点和最低点之间的连线；
步骤四、计算中心线与竖直线之间夹角的角度，如果角度超过角度阈值，则判断货车侧面图像中的手轮倾斜。
具体实施方式二
本实施方式是对具体实施方式一的进一步说明，本实施方式中，步骤二中目标位置检测网络为改进Faster-RCNN网络，且进行目标检测的具体步骤为：
步骤二一、对货车侧面图像进行空洞卷积，得到空洞卷积后的特征图；
步骤二二、将空洞卷积后的特征图像输入到图像特征金字塔，图像特征金字塔的每个卷积层均对空洞卷积后的侧面图像进行卷积操作，不同卷积层的输出不同尺寸的特征图；从最小尺寸的特征图起进行1x1的卷积操作和最邻近上采样操作，使最小尺寸的特征图与相邻上层的特征图尺寸一致，并将最小尺寸的特征图与相邻上层的特征图进行特征融合得到第一融合特征图；迭代上述操作直到一个融合特征图的尺寸与侧面图像相同；
步骤二三、将经过最邻近上采样操作后的特征图分别进行1x1卷积、3x3且膨胀率为6的空洞卷积、3x3且膨胀率为12的空洞卷积和3x3且膨胀率为18的空洞卷积后，将得到的4个空间尺寸相同的特征图在通道维度上进行特征融合得到第二融合特征图，再使用一个1x1卷积提取第二融合特征图的深度信息最后与空洞卷积得到的特征图进行特征融合，得到结合尺寸和深度信息的特征图；
步骤二四、对结合尺寸和深度信息的特征图输入进行池化，得到手轮位置信息图像作为目标检测结果。
本实施方式的其他过程与具体实施方式一相同。
具体实施方式三
本实施方式是对具体实施方式二的进一步说明，本实施方式中，Faster-RCNN中的损失函数为FocalLoss损失函数。
本实施方式的其他过程与具体实施方式二相同。
具体实施方式四
本实施方式是对具体实施方式三的进一步说明，本实施方式中，步骤三的具体步骤为：
步骤三一、得到初始最高点和初始最低点，分别在初始最高点和初始最低点所在高度截取高度为5像素的邻域图像，在邻域图像内寻找手轮轮廓的中心点作为新得到的最高点和最低点；
步骤三二、将新得到的最高点和最低点连线，得到手轮轮廓的中心线。
本实施方式的其他过程与具体实施方式三相同。
具体实施方式五
本实施方式是对具体实施方式四的进一步说明，本实施方式的步骤四中，角度阈值为10°
本实施方式的其他过程与具体实施方式四相同。
具体实施方式六
本实施方式中，铁路货车手轮倾斜检测系统，包括：
图像采集模块，用于采集并裁剪得到货车侧面图像；货车侧面图像为包含手轮部位的图像；并发送至轮廓提取模块；
轮廓提取模块，用于将货车侧面图像输入到目标位置检测网络进行目标检测，得到手轮位置信息图像；将货车侧面图像和手轮位置信息图像输入到语义分割网络进行语义分割，得到手轮轮廓信息图像；并发送至中心线获取模块；
中心线获取模块，用于通过手轮轮廓信息图像中的手轮轮廓，得到手轮轮廓的中心线；
手轮轮廓的中心线为手轮轮廓的最高点和最低点之间的连线；并发送至倾斜判断模块；
倾斜判断模块，用于计算中心线与竖直线之间夹角的角度，如果角度超过角度阈值，则判断货车侧面图像中的手轮倾斜。
具体实施方式七
本实施方式是对具体实施方式六的进一步说明，本实施方式中，轮廓提取模块中目标位置检测网络为改进Faster-RCNN网络，且改进Faster-RCNN网络包括：
空洞卷积层，用于对货车侧面图像进行空洞卷积，得到空洞卷积后的特征图；并发送至图像特征金字塔；
图像特征金字塔，用于将空洞卷积后的特征图像输入到图像特征金字塔，图像特征金字塔的每个卷积层均对空洞卷积后的侧面图像进行卷积操作，不同卷积层的输出不同尺寸的特征图；从最小尺寸的特征图起进行1x1的卷积操作和最邻近上采样操作，使最小尺寸的特征图与相邻上层的特征图尺寸一致，并将最小尺寸的特征图与相邻上层的特征图进行特征融合得到第一融合特征图；迭代上述操作直到一个融合特征图的尺寸与侧面图像相同；并将最邻近上采样操作后的特征图均发送至递归金字塔；
递归金字塔，用于将经过最邻近上采样操作后的特征图分别进行1x1卷积、3x3且膨胀率为6的空洞卷积、3x3且膨胀率为12的空洞卷积和3x3且膨胀率为18的空洞卷积后，将得到的4个空间尺寸相同的特征图在通道维度上进行特征融合得到第二融合特征图，再使用一个1x1卷积提取第二融合特征图的深度信息最后与空洞卷积得到的特征图进行特征融合，得到结合尺寸和深度信息的特征图；并发送至池化层；
池化层，用于对结合尺寸和深度信息的特征图输入进行池化，得到手轮位置信息图像作为目标检测结果。
本实施方式的其他过程与具体实施方式六相同。
具体实施方式八
本实施方式是对具体实施方式七的进一步说明，本实施方式中，Faster-RCNN中的损失函数为FocalLoss损失函数。
本实施方式的其他过程与具体实施方式七相同。
具体实施方式九
本实施方式是对具体实施方式八的进一步说明，本实施方式中，中心线获取模块包括：
点查找模块，用于得到的始最高点和初始最低点，分别在初始最高点和初始最低点所在高度截取高度为5像素的邻域图像，在邻域图像内寻找手轮轮廓的中心点作为新得到的最高点和最低点；并发送至连线模块；
连线模块，用于将新得到的最高点和最低点连线，得到手轮轮廓的中心线。
本实施方式的其他过程与具体实施方式八相同。
具体实施方式十
本实施方式是对具体实施方式八的进一步说明，本实施方式的倾斜判断模块中，角度阈值为10°。
本实施方式的其他过程与具体实施方式九相同。
实施例：
(1)图像的采集
用线阵相机采集车体侧面图像。
(2)目标检测
首先对输入图像进行处理得到特征向量，取车体侧部图像，根据车体边缘位置的先验信息将车体侧部图像进行裁剪，保留车体两侧的图像，并将图像缩放成指定尺寸，图片高为512，图片宽为384。使用faster-rcnn的卷积层和池化层部分逐层的对输入图像进行卷积操作和池化操作，卷积操作用以提取图像中的关键信息，池化操作用以对输入的特征图进行降维处理，过滤掉不重要的像素位置，降低特征向量的空间维度以提高处理效率。再将得到的特征向量输入到faster-rcnn的区域候选网络得到目标区域的候选位置信息，并将候选区域内的特征图输入到faster-rcnn的全连接层对候选区域内的特征进行分类。最后选择分类置信度大于0.5的候选区域作为目标检测结果。
(3)faster-rcnn网络的改进
①使用FocalLoss损失函数来代替交叉熵损失函数，增强了网络对于复杂样本的学习能力；
②使用空洞卷积函数来替换faster-rcnn中的原始卷积函数，在保证网络模型的感受野的前提下减少了模型的参数量，提高模型的训练和推理速度；
③在网络模型中增加图像特征金字塔结构，即首先对原始图像进行卷积操作，分别取不同卷积层的输出结果作为不同尺寸的特征图，再对尺寸最小的特征图进行1x1的卷积操作和最临近上采样操作至与上层特征图尺寸一致，并将两特征图进行特征融合。迭代上述操作直到结果特征图尺寸与第初始特征图相同。此改进主要解决的是物体检测中的多尺度问题，通过简单的网络连接改变，将网络中不同尺度的特征信息进行融合，大幅度提升了网络小物体检测的性能。
④在网络模型中增加递归图像特征金字塔结构，即首先加入③中图像金字塔结构，将其经过最邻近上采样操作后的不同尺寸的特征图经过1x1卷积、3x3且膨胀率为6的空洞卷积、3x3且膨胀率为12的空洞卷积和3x3且膨胀率为18的空洞卷积后，将得到的4个空间尺寸相同的特征图在通道维度上进行特征融合，再使用一个1x1卷积提取特征的深度信息最后与原始卷积层通过卷积操作得到的特征图进行特征融合。经过递归图像特征金字塔操作后的特征图在不同维度上即包含了原始特征图，也包含了经过不同感受野的卷积核提取得到的高纬度特征信息，进一步提高网络对物体的检测能力。
(4)faster-rcnn网络训练
通过线阵相机采集大量车体侧部图像，根据上述方法对图像进行剪裁，取得车体两侧边缘图像信息。标注人力制动机手轮、手轮底座以及其他可能遮挡物体的位置。使用翻转、亮度增强、对比度增强三种方法进行数据增强。用标注的数据训练faster-rcnn网络。用pytorch搭建和训练网络，优化器选择SGD，学习率0.01。训练后的网络可以检测出图像中的人力制动机手轮、手轮底座以及可能遮挡物体的位置信息。
(5)语义分割
取车体侧部图像，根据车体边缘位置的先验信息将车体侧部图像进行裁剪，保留车体两侧的图像，将图像缩放成指定尺寸，图片高为512，图片宽为384。使用HTC网络得到每个像素的类别信息，选择置信度大于0.5的像素区域作为人力制动机手轮的语义分割结果。
(6)HTC网络训练
通过线阵相机采集大量车体侧部图像，根据上述方法对图像进行剪裁，。标注人力制动机手轮的轮廓信息。使用翻转、亮度增强、对比度增强三种方法进行数据增强。用标注的数据训练HTC网络，用pytorch搭建和训练网络，优化器选择SGD，学习率0.01。训练后的网络可以检测出人力制动机手轮的位置信息和轮廓信息。
(7)检测人力制动机手轮是否倾斜
根据上述语义分割过程得到的人力制动机手轮的轮廓信息，选择轮廓信息的最高点和最低点，分别在最高点和最低点所在高度截取高度为5像素的邻域图像，在邻域图像内寻找手轮轮廓的中心点作为新得到的最高点和最低点，以此消除手轮周围噪点对确定两端点位置所产生的印象。
最高点和最低点之间的连线记作手轮所在位置的中心线，通过计算中心线和竖直线之间的夹角度数可以定量的分析出人力制动机手轮的倾斜程度。如果夹角大于10度则认为手轮出现倾斜并报警。通过大量数据训练后，网络可以准确检测出每张图像的手轮位置信息和轮廓信息。
由于每张图像由于车型、拍摄角度、车辆状况等因素，手轮结构、位置、亮度等特征会出现一定程度上的差异，而我们的方法在未加入这些情况的数据集训练网络的基础上也可以正确的对手轮倾斜状态进行识别和报警，说明方法对噪声干扰有一定的鲁棒性。该方法通过确定的计算像素点的位置，可以实现千分之一精度的角度预测，极有效的弥补了人工检车对于倾斜角度判断的不确定性。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中铁路货车手轮倾斜检测方法的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他铁路货车手轮倾斜检测方法实施例中。

Claims (8)

1.一种铁路货车手轮倾斜检测方法，其特征在于，具体步骤如下：
步骤一、采集并裁剪得到货车侧面图像；所述货车侧面图像为包含手轮部位的图像；
步骤二、将货车侧面图像输入到目标位置检测网络进行目标检测，得到手轮位置信息图像；将货车侧面图像和手轮位置信息图像输入到语义分割网络进行语义分割，得到手轮轮廓信息图像；具体为，
步骤二一、对货车侧面图像进行空洞卷积，得到空洞卷积后的特征图；
步骤二二、将空洞卷积后的特征图像输入到图像特征金字塔，图像特征金字塔的每个卷积层均对空洞卷积后的侧面图像进行卷积操作，不同卷积层的输出不同尺寸的特征图；从最小尺寸的特征图起进行1x1的卷积操作和最邻近上采样操作，使最小尺寸的特征图与相邻上层的特征图尺寸一致，并将最小尺寸的特征图与相邻上层的特征图进行特征融合得到第一融合特征图；迭代上述操作直到一个融合特征图的尺寸与侧面图像相同；
步骤二三、将经过最邻近上采样操作后的特征图分别进行1x1卷积、3x3且膨胀率为6的空洞卷积、3x3且膨胀率为12的空洞卷积和3x3且膨胀率为18的空洞卷积后，将得到的4个空间尺寸相同的特征图在通道维度上进行特征融合得到第二融合特征图，再使用一个1x1卷积提取第二融合特征图的深度信息最后与空洞卷积得到的特征图进行特征融合，得到结合尺寸和深度信息的特征图；
步骤二四、对结合尺寸和深度信息的特征图输入进行池化，得到手轮位置信息图像作为目标检测结果；
步骤三、通过手轮轮廓信息图像中的手轮轮廓，得到手轮轮廓的中心线；
所述手轮轮廓的中心线为手轮轮廓的最高点和最低点之间的连线；
步骤四、计算中心线与竖直线之间夹角的角度，如果所述角度超过角度阈值，则判断货车侧面图像中的手轮倾斜。
2.根据权利要求1所述的一种铁路货车手轮倾斜检测方法，其特征在于，Faster-RCNN中的损失函数为FocalLoss损失函数。
3.根据权利要求2所述的一种铁路货车手轮倾斜检测方法，其特征在于，步骤三的具体步骤为：
步骤三一、得到初始最高点和初始最低点，分别在初始最高点和初始最低点所在高度截取高度为5像素的邻域图像，在邻域图像内寻找手轮轮廓的中心点作为新得到的最高点和最低点；
步骤三二、将新得到的最高点和最低点连线，得到手轮轮廓的中心线。
4.根据权利要求3所述的一种铁路货车手轮倾斜检测方法，其特征在于，步骤四中，角度阈值为10°。
5.一种铁路货车手轮倾斜检测系统，其特征在于，包括：
图像采集模块，用于采集并裁剪得到货车侧面图像；所述货车侧面图像为包含手轮部位的图像；并发送至轮廓提取模块；
轮廓提取模块，用于将货车侧面图像输入到目标位置检测网络进行目标检测，得到手轮位置信息图像；将货车侧面图像和手轮位置信息图像输入到语义分割网络进行语义分割，得到手轮轮廓信息图像；并发送至中心线获取模块；
轮廓提取模块中目标位置检测网络包括：
空洞卷积层，用于对货车侧面图像进行空洞卷积，得到空洞卷积后的特征图；并发送至图像特征金字塔；
图像特征金字塔，用于将空洞卷积后的特征图像输入到图像特征金字塔，图像特征金字塔的每个卷积层均对空洞卷积后的侧面图像进行卷积操作，不同卷积层的输出不同尺寸的特征图；从最小尺寸的特征图起进行1x1的卷积操作和最邻近上采样操作，使最小尺寸的特征图与相邻上层的特征图尺寸一致，并将最小尺寸的特征图与相邻上层的特征图进行特征融合得到第一融合特征图；迭代上述操作直到一个融合特征图的尺寸与侧面图像相同；并将最邻近上采样操作后的特征图均发送至递归金字塔；
递归金字塔，用于将经过最邻近上采样操作后的特征图分别进行1x1卷积、3x3且膨胀率为6的空洞卷积、3x3且膨胀率为12的空洞卷积和3x3且膨胀率为18的空洞卷积后，将得到的4个空间尺寸相同的特征图在通道维度上进行特征融合得到第二融合特征图，再使用一个1x1卷积提取第二融合特征图的深度信息最后与空洞卷积得到的特征图进行特征融合，得到结合尺寸和深度信息的特征图；并发送至池化层；
池化层，用于对结合尺寸和深度信息的特征图输入进行池化，得到手轮位置信息图像作为目标检测结果；
中心线获取模块，用于通过手轮轮廓信息图像中的手轮轮廓，得到手轮轮廓的中心线；
所述手轮轮廓的中心线为手轮轮廓的最高点和最低点之间的连线；并发送至倾斜判断模块；
倾斜判断模块，用于计算中心线与竖直线之间夹角的角度，如果所述角度超过角度阈值，则判断货车侧面图像中的手轮倾斜。
6.根据权利要求5所述的一种铁路货车手轮倾斜检测系统，其特征在于，Faster-RCNN中的损失函数为FocalLoss损失函数。
7.根据权利要求6所述的一种铁路货车手轮倾斜检测系统，其特征在于，中心线获取模块包括：
点查找模块，用于得到初始最高点和初始最低点，分别在初始最高点和初始最低点所在高度截取高度为5像素的邻域图像，在邻域图像内寻找手轮轮廓的中心点作为新得到的最高点和最低点；并发送至连线模块；
连线模块，用于将新得到的最高点和最低点连线，得到手轮轮廓的中心线。
8.根据权利要求7所述的一种铁路货车手轮倾斜检测系统，其特征在于，倾斜判断模块中，角度阈值为10°。
CN202211200473.7A 2022-09-29 2022-09-29 铁路货车手轮倾斜检测方法及系统 Active CN115482534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211200473.7A CN115482534B (zh) 2022-09-29 2022-09-29 铁路货车手轮倾斜检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211200473.7A CN115482534B (zh) 2022-09-29 2022-09-29 铁路货车手轮倾斜检测方法及系统

Publications (2)

Publication Number Publication Date
CN115482534A CN115482534A (zh) 2022-12-16
CN115482534B true CN115482534B (zh) 2023-06-02

Family

ID=84393515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211200473.7A Active CN115482534B (zh) 2022-09-29 2022-09-29 铁路货车手轮倾斜检测方法及系统

Country Status (1)

Country Link
CN (1) CN115482534B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160220A (zh) * 2021-05-13 2021-07-23 聚时科技(上海)有限公司 一种基于深度学习的检测门把手归位和弯曲的方法
CN114882599A (zh) * 2022-06-02 2022-08-09 重庆傲雄在线信息技术有限公司 基于双分支神经网络的离线手写签名分割系统和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2007128750A (ru) * 2007-07-26 2009-02-10 Общероссийска общественна организаци "Российска инженерна академи " (RU) Транспортный комплекс города, мегаполиса и способ регулирования и разгрузки транспортных потоков города, мегаполиса
CN109079732A (zh) * 2018-09-26 2018-12-25 宁波聚创云图创业服务有限公司 一种可调角度的多轮廓型材放置架
CN110287932B (zh) * 2019-07-02 2021-04-13 中国科学院空天信息创新研究院 基于深度学习图像语义分割的道路阻断信息提取方法
CN110329806B (zh) * 2019-07-10 2021-02-09 山东科技大学 一种货车装车位姿调整装置及其调整方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160220A (zh) * 2021-05-13 2021-07-23 聚时科技(上海)有限公司 一种基于深度学习的检测门把手归位和弯曲的方法
CN114882599A (zh) * 2022-06-02 2022-08-09 重庆傲雄在线信息技术有限公司 基于双分支神经网络的离线手写签名分割系统和方法

Also Published As

Publication number Publication date
CN115482534A (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN109658387B (zh) 电力列车的受电弓碳滑板缺陷的检测方法
CN109101924B (zh) 一种基于机器学习的路面交通标志识别方法
CN109559324B (zh) 一种线阵图像中的目标轮廓检测方法
CN110047070B (zh) 一种轨道磨损程度的识别方法及系统
CN103324920A (zh) 基于车辆正面图像与模板匹配的车型自动识别方法
CN111080609B (zh) 一种基于深度学习的闸瓦插销丢失检测方法
CN111079734B (zh) 铁路货车三角孔异物检测方法
CN103473570A (zh) 自适应视频场景的行人检测方法
CN109934135B (zh) 一种基于低秩矩阵分解的铁轨异物检测方法
CN113313031B (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
CN113436157A (zh) 一种用于受电弓故障的车载图像识别方法
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN112733747A (zh) 一种缓解阀拉杆脱落故障的识别方法、系统及装置
CN112288717A (zh) 一种动车组列车侧部异物检测方法
CN109543498B (zh) 一种基于多任务网络的车道线检测方法
CN115457277A (zh) 一种智能化路面病害识别检测方法及系统
CN102214290A (zh) 车牌定位方法及车牌定位模板训练方法
CN104063682A (zh) 一种基于边缘分级和centrist特征的行人检测方法
Wu et al. Research on crack detection algorithm of asphalt pavement
CN115482534B (zh) 铁路货车手轮倾斜检测方法及系统
CN112258483A (zh) 一种钩尾销插托错位和螺母丢失故障检测方法
CN111091553A (zh) 一种挡键丢失检测方法
CN113066041A (zh) 一种基于栈稀疏自编码深度学习的路面裂缝检测方法
CN116416234A (zh) 一种轨道机车表面缺陷检测方法及系统
KR102585146B1 (ko) 딥러닝 기반의 도로손상 탐지 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant