CN113830136A - 一种铁路货车折角塞门手把不正位故障的识别方法 - Google Patents

一种铁路货车折角塞门手把不正位故障的识别方法 Download PDF

Info

Publication number
CN113830136A
CN113830136A CN202111221181.7A CN202111221181A CN113830136A CN 113830136 A CN113830136 A CN 113830136A CN 202111221181 A CN202111221181 A CN 202111221181A CN 113830136 A CN113830136 A CN 113830136A
Authority
CN
China
Prior art keywords
image
point
corner
handle
angle cock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111221181.7A
Other languages
English (en)
Other versions
CN113830136B (zh
Inventor
杨宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202111221181.7A priority Critical patent/CN113830136B/zh
Publication of CN113830136A publication Critical patent/CN113830136A/zh
Application granted granted Critical
Publication of CN113830136B publication Critical patent/CN113830136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0081—On-board diagnosis or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

一种铁路货车折角塞门手把不正位故障的识别方法，它属于折角塞门手把不正位识别领域。本发明解决了现有方法对折角塞门手把不正位故障进行检测的准确率低的问题。本发明采用的技术方案为：步骤一、从获取的铁路货车侧部图像中截取出互钩差工位区域图像；步骤二、利用YOLOX网络预测折角塞门部件包围框的像素坐标信息，从互钩差工位区域图像中裁剪出折角塞门区域图像；步骤三、提取折角塞门部件区域图像角点特征，生成角点定位二值图像；步骤四、将折角塞门部件区域图像与角点定位二值图像进行通道合并，利用关键点检测网络检测合并后图像中关键点坐标；步骤五、根据关键点坐标检测结果进行故障识别。本发明可以应用于折角塞门手把不正位故障检测。

Description

一种铁路货车折角塞门手把不正位故障的识别方法
技术领域
本发明属于铁路货车折角塞门手把不正位识别技术领域，具体涉及一种铁路货车折角塞门手把不正位故障的识别方法。
背景技术
铁路货车折角塞门手把不正位故障是一种严重危及行车安全的故障，在折角塞门手把不正位故障检测中，采用人工检查图像的方式进行故障检测是一种比较常用的方式。但是由于检车人员在工作过程中极易出现疲劳、遗漏等情况，造成漏检、错检的出现，影响行车安全。采用图像自动识别的方式可提高检测效率和稳定性，近几年，深度学习与人工智能不断发展，在技术上不断成熟，虽然现有基于深度学习与人工智能的方法在折角塞门手把不正位故障检测中取得了一定的效果，但是现有方法对折角塞门手把不正位故障检测的准确率仍然较低。因而，对折角塞门手把不正位的故障检测进行进一步研究，以提高故障检测的准确率是十分必要的。
发明内容
本发明的目的是为解决现有方法对折角塞门手把不正位故障进行检测的准确率低的问题，而提出一种铁路货车折角塞门手把不正位故障的识别方法。
本发明为解决上述技术问题所采取的技术方案是：一种铁路货车折角塞门手把不正位故障的识别方法，该方法包括以下步骤：
步骤一、获取铁路货车侧部图像，并从获取的图像中截取出互钩差工位区域图像；
步骤二、将步骤一中截取出的互钩差工位区域图像输入YOLOX目标检测网络，利用YOLOX目标检测网络来预测互钩差工位区域图像中折角塞门部件包围框的像素坐标信息，再利用预测出的像素坐标信息，从输入的互钩差工位区域图像中裁剪出折角塞门部件区域图像；
步骤三、提取步骤二中获得的折角塞门部件区域图像的角点特征，基于提取出的角点特征生成角点定位二值图像；
步骤四、将折角塞门部件区域图像与角点定位二值图像进行通道合并，获得通道合并后的图像；
再将通道合并后的图像输入关键点检测网络中，得到折角塞门部件的关键点定位信息；
步骤五、根据关键点定位信息进行相对位置关系运算，得到手把姿态；根据手把姿态判断是否发生折角塞门手把不正位故障。
进一步地，步骤三的具体过程为：
步骤三一、分别使用不同尺度的参数构建高斯滤波核，再基于高斯滤波核和裁剪出的折角塞门部件区域图像建立多尺度空间图像；
步骤三二、对于每个尺度的空间图像，均利用Harris角点检测算法寻找图像的角点，将各尺度空间图像的角点组成的集合记为初始候选角点集P；
步骤三三、对于每个尺度的空间图像，均计算出空间图像在各像素点的归一化LoG特征值；
步骤三四、分别对各尺度的空间图像进行小波变换，得到各尺度空间图像在各像素点的小波变换模的归一化特征值；
步骤三五、对于初始候选角点集P中的每个角点pi，将pi在所对应尺度的空间图像上的LoG特征值与相邻尺度的空间图像上该位置的LoG特征值进行对比，判断角点pi所对应尺度的空间图像上的LoG特征值是否为极大值点，若是，则角点pi为通过验证的角点，若不是，则将角点pi删除，得到新的候选角点集Q；
步骤三六、对于初始候选角点集P中的每个角点pj，将角点pj在所对应尺度的空间图像上的小波变换模特征值与相邻尺度的空间图像上该位置的小波变换模特征值进行对比，判断角点pj是否为极大值点，若是，则角点pj为通过验证的角点，若不是，则将角点pj删除，得到新的候选角点集S；
将集合Q和集合S中的角点融合为新的点集M；
步骤三七、将点集M中距离小于曼哈顿距离阈值a的角点进行合并，得到最终角点集合F；
基于最终角点集合F中的角点生成角点定位二值图像。
进一步地，基于最终角点集合F中的角点生成角点定位二值图像，其具体为：
对于获得的折角塞门部件区域图像中的任一像素点，若该像素点与最终角点集合F中至少一个角点的曼哈顿距离小于等于阈值b，则将该像素点的像素值设置为255，否则，将该像素点的像素值设置为0。
进一步地，将集合Q和集合S中的角点融合为新的点集M之前，分别对集合Q和集合S中的角点进行筛选，再将对集合Q的筛选结果与对集合S的筛选结果进行融合；其具体过程为：
以3×3像素域为窗口，使用非极大值抑制算法对新的候选角点集Q中的角点进行过滤，将过滤后剩余的角点组成的集合记为集合Q’；
以3×3像素域为窗口，使用非极大值抑制算法对新的候选角点集S中的角点进行过滤，将过滤后剩余的角点组成的集合记为集合S’；
再将集合Q’和集合S’中的角点融合为新的点集M。
进一步地，所述YOLOX目标检测网络的网络权重参数的获得方式为：
步骤S1、采集铁路货车侧部图像，并从采集的图像中截取出互钩差工位区域图像；
步骤S2、对步骤S1中截取出的图像进行数据增强，获得数据增强后的图像；
步骤S3、对数据增强后图像中的折角塞门部件包围框的像素进行标记，获得标记后的图像，将标记后的图像作为训练数据集；
再利用训练数据集对YOLOX目标检测网络进行训练获得训练好的网络权重参数。
进一步地，所述数据增强的方式包括图像缩放、网格畸变、图像角度旋转、图像平移以及图像翻转。
进一步地，对数据增强后图像中的折角塞门部件包围框的像素进行标记，标记是采用labelImg软件，并通过人工标记的方式进行的。
进一步地，分别使用不同尺度的参数构建高斯滤波核，其具体为：
分别使用尺度为0.6、0.72、0.86、1.02和1.2的参数构建3×3大小的高斯滤波核。
进一步地，将通道合并后的图像输入关键点检测网络中，得到折角塞门部件的关键点定位信息；其具体过程为：
关键点检测网络中包括ResNet50、BiFPN模块和Head模块；其中：
将通道合并后的图像输入ResNet50，选择C2、C3、C4、C5四个特征层的输出作为ResNet50的输出；
将BiFPN模块的任意一个输入层删除后，再将ResNet50的输出输入到BiFPN模块，，并将最后的信息融合传递过程反转，即利用反卷积与维度拼接的方式实现语义信息自上而下的融合，将特征层P1的输出作为BiFPN模块的输出；
BiFPN模块的输出输入到Head模块，Head模块输出关键点热力图和关键点量化偏移图；
根据关键点热力图和关键点量化偏移图获得关键点的定位信息。
进一步地，步骤五的具体过程为：
利用关键点定位信息计算各关键点的相对位置关系，再根据各关键点的相对位置关系得到手把姿态，所述手把姿态包括手把倾角以及手把抬升幅度；
若手把倾角小于设定阈值m或手把抬升幅度大于设定阈值n，则认为发生折角塞门手把不正位故障；
反之，若手把倾角大于等于设定阈值m且手把抬升幅度小于等于设定阈值n，则认为未发生折角塞门手把不正位故障。
本发明的有益效果是：本发明提出了一种铁路货车折角塞门手把不正位图像的识别方法，本发明设计了一种融合LoG特征与小波变换模特征的多尺度Harris角点检测方法，克服了传统Harris角点检测不具有尺度不变性的缺点，提高了角点检测的准确性，有效降低了角点检测的漏检与误检。并设计了一种新的关键点检测网络，关键点检测网络输入为角点定位二值图像与折角塞门部件区域图像的拼接图像，网络输出为关键点像素定位信息，采用本发明方法可以使获取的关键点像素点位信息更加精准，进而提高故障检测的准确率。
附图说明
图1为本发明一种铁路货车折角塞门手把不正位故障的识别方法的流程图；
图2为多尺度Harris融合角点检测算法流程图；
图3(a)为YOLOX目标网络检测到的折角塞门部件区域图像；
图3(b)为多尺度Harris融合角点检测算法检测到的特征角点的示意图；
图3(c)为角点定位二值图像；
图3(d)为关键点检测网络检测到的三个关键点的示意图；
图中，a为手把握把端点，b为塞门体处折弯点，c为手把套扣下端点；
图4(a)是原始BiFPN模块的示意图；
图4(b)是本发明采用的BiFPN模块的示意图。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。
具体实施方式一、结合图1和图2说明本实施方式。本实施方式的一种铁路货车折角塞门手把不正位故障的识别方法，该方法具体通过以下步骤实现：
步骤一、获取铁路货车侧部图像，并从获取的图像中截取出互钩差工位区域图像；
步骤二、将步骤一中截取出的互钩差工位区域图像输入YOLOX目标检测网络，利用YOLOX目标检测网络来预测互钩差工位区域图像中折角塞门部件包围框的像素坐标信息，再利用预测出的像素坐标信息，从输入的互钩差工位区域图像中裁剪出折角塞门部件区域图像；
步骤三、提取步骤二中获得的折角塞门部件区域图像的角点特征，基于提取出的角点特征生成角点定位二值图像；
步骤四、将折角塞门部件区域图像与角点定位二值图像进行通道合并，获得通道合并后的图像；
再将通道合并后的图像输入关键点检测网络中，得到折角塞门部件的关键点定位信息；
步骤五、根据关键点定位信息进行相对位置关系运算，得到手把姿态；根据手把姿态判断是否发生折角塞门手把不正位故障。
本实施方式中检测的关键点可以是折角塞门部件的手把握把端点、塞门体处折弯点和手把套扣下端点的定位信息，手把握把端点、塞门体处折弯点和手把套扣下端点的位置分别如图3(d)所示。
在本实施方式中，使用高清线阵相机获取货运列车侧方高清图像。采用YOLOX网络，对图像中的折角塞门部件区域进行精确定位。对于折角塞门部件区域图像，采用多尺度Harris角点检测算法提取图像角点特征，生成角点定位二值图像。将折角塞门部件区域图像与角点定位二值图像进行通道合并，将拼接后的图像输入关键点检测网络中，得到折角塞门关键点定位信息。以关键点定位信息为基础，测度折角塞门手把倾角等折角塞门手把姿态信息，判断其是否发生不正位故障。对发生手把不正位的折角塞门部件进行上传报警，工作人员根据识别结果进行相应的处理，保证列车安全运行。
具体实施方式二：本实施方式与具体实施方式一不同的是：步骤三的具体过程为：
步骤三一、基于高斯尺度空间理论，分别使用不同尺度的参数构建高斯滤波核(具体的尺度可以根据需要人为设定)，再基于高斯滤波核和裁剪出的折角塞门部件区域图像建立多尺度空间图像；
在进行步骤三一之前，也可以先对裁剪出的折角塞门部件区域图像进行对比度增强，然后，再基于对比度增强后的图像建立多尺度空间图像；
步骤三二、对于每个尺度的空间图像，均利用Harris角点检测算法寻找图像的角点，将各尺度空间图像的角点组成的集合记为初始候选角点集P；
步骤三三、对于每个尺度的空间图像，均计算出空间图像在各像素点的归一化LoG特征值；
步骤三四、分别对各尺度的空间图像进行小波变换，得到各尺度空间图像在各像素点的小波变换模的归一化特征值；
步骤三五、对于初始候选角点集P中的每个角点pi，将pi在所对应尺度的空间图像上的LoG特征值与相邻尺度的空间图像上该位置的LoG特征值进行对比，判断角点pi所对应尺度的空间图像上的LoG特征值是否为极大值点，若是，则角点pi为通过验证的角点，若不是，则将角点pi删除，得到新的候选角点集Q；
步骤三六、对于初始候选角点集P中的每个角点pj，将角点pj在所对应尺度的空间图像上的小波变换模特征值与相邻尺度的空间图像上该位置的小波变换模特征值进行对比，判断角点pj是否为极大值点，若是，则角点pj为通过验证的角点，若不是，则将角点pj删除，得到新的候选角点集S；
将集合Q和集合S中的角点融合为新的点集M；
步骤三七、将点集M中距离小于曼哈顿距离阈值a的角点进行合并，得到最终角点集合F；其中，曼哈顿距离阈值a是根据实际图像大小来人为设定的；
基于最终角点集合F中的角点生成角点定位二值图像。
具体实施方式三：本实施方式与具体实施方式二不同的是：基于最终角点集合F中的角点生成角点定位二值图像，其具体为：
对于获得的折角塞门部件区域图像中的任一像素点，若该像素点与最终角点集合F中至少一个角点的曼哈顿距离小于等于阈值b(阈值b的取值根据实际图像大小人为设定)，则将该像素点的像素值设置为255，否则，将该像素点的像素值设置为0。
具体实施方式四：本实施方式与具体实施方式二不同的是：所述将集合Q和集合S中的角点融合为新的点集M之前，分别对集合Q和集合S中的角点进行筛选，再将对集合Q的筛选结果与对集合S的筛选结果进行融合；其具体过程为：
以3×3像素域为窗口，使用非极大值抑制算法对新的候选角点集Q中的角点进行过滤，将过滤后剩余的角点组成的集合记为集合Q’；
以3×3像素域为窗口，使用非极大值抑制算法对新的候选角点集S中的角点进行过滤，将过滤后剩余的角点组成的集合记为集合S’；
再将集合Q’和集合S’中的角点融合为新的点集M。
具体实施方式五：本实施方式与具体实施方式一不同的是：所述YOLOX目标检测网络的网络权重参数的获得方式为：
步骤S1、采集铁路货车侧部图像，并从采集的图像中截取出互钩差工位区域图像；
步骤S2、对步骤S1中截取出的图像进行数据增强，获得数据增强后的图像；
步骤S3、对数据增强后图像中的折角塞门部件包围框的像素进行标记，获得标记后的图像，将标记后的图像作为训练数据集；
再利用训练数据集对YOLOX目标检测网络进行训练获得训练好的网络权重参数。
具体实施方式六：本实施方式与具体实施方式五不同的是：数据增强的方式包括图像缩放、网格畸变、图像角度旋转、图像平移以及图像翻转。
具体实施方式七：本实施方式与具体实施方式五不同的是：对数据增强后图像中的折角塞门部件包围框的像素进行标记，标记是采用labelImg软件，并通过人工标记的方式进行的。
具体实施方式八：本实施方式与具体实施方式二不同的是：分别使用不同尺度的参数构建高斯滤波核，其具体为：
分别使用尺度为0.6、0.72、0.86、1.02和1.2的参数构建3×3大小的高斯滤波核。
具体实施方式九：结合图4(a)和图4(b)说明本实施方式。本实施方式与具体实施方式一不同的是：将通道合并后的图像输入关键点检测网络中，得到折角塞门部件的关键点定位信息；其具体过程为：
关键点检测网络中包括ResNet50、BiFPN模块和Head模块；其中：
将通道合并后的图像输入ResNet50，选择C2、C3、C4、C5四个特征层的输出作为ResNet50的输出；
特征层C2是指ResNet50网络中下采样倍数为4的层，特征层C3是指ResNet50网络中下采样倍数为8的层，特征层C4是指ResNet50网络中下采样倍数为16的层，特征层C5是指ResNet50网络中下采样倍数为32的层；
将BiFPN模块的任意一个输入层删除后，再将ResNet50的输出输入到BiFPN模块，，并将最后的信息融合传递过程反转，即利用反卷积与维度拼接的方式实现语义信息自上而下的融合，将特征层P1的输出作为BiFPN模块的输出；
特征层P1是指在BiFPN模块中，相对于BiFPN模块输入图像分辨率下采样倍数为2的层；
BiFPN模块的输出输入到Head模块，Head模块输出关键点热力图和关键点量化偏移图；
根据关键点热力图和关键点量化偏移图获得关键点的定位信息。
具体来说，在本发明中，关键点热力图的大小为96×96×3，即通道数为3，每一通道特征图上像素点的像素值代表该通道对应类别的置信度分数，置信度分数由0到1的数值表示，设置置信度分数阈值为0.8，可通过对比计算获得对应各类别(即手把握把端点、塞门体处折弯点和手把套扣下端点3个类别)的置信度分数大于0.8且置信度分数最高的点，称得到的点为基准点。
而关键点量化偏移图的大小为96×96×6，即通道数为6，其中每两通道特征图对应1个类别，如通道1特征图上像素点的像素值代表预测的手把握把端点的横向偏移量，通道2特征图上像素点的像素值代表预测的手把握把端点的纵向偏移量。
假设存在对应手把握把端点的基准点Pa，其在关键点热力图上的像素坐标为(x，y)，则在关键点量化偏移图上可得到预测的横向偏移量px和纵向偏移量py，此时可得到手把握把端点的实际定位坐标，即(x+px，y+py)。
具体实施方式十：本实施方式与具体实施方式一不同的是：步骤五的具体过程为：
利用关键点定位信息计算各关键点的相对位置关系，再根据各关键点的相对位置关系得到手把姿态，所述手把姿态包括手把倾角以及手把抬升幅度；
若手把倾角小于设定阈值m或手把抬升幅度大于设定阈值n，则认为发生折角塞门手把不正位故障；
反之，若手把倾角大于等于设定阈值m且手把抬升幅度小于等于设定阈值n，则认为未发生折角塞门手把不正位故障。
当通道合并后图像的大小为96×96且长宽比为1：1时，若塞门体处折弯点和手把握把端点的垂直像素差大于20，或手把握把端点和手把套扣下端点的连线与水平线夹角小于25度，都可判定为故障，即手把抬升幅度大于20或手把倾角小于25度时，认为是故障情况。但是阈值m和阈值n的取值与图像缩放的大小和比例有关，当图像缩放的大小和比例变化时，上述两个判断阈值需要适应性调整。
实施例
下面结合附图进一步说明本发明方法，本发明方法的具体实现方案如下：
1、获取原始过车图像
分别在货车轨道沿途两侧搭建高速线阵成像设备，货车通过设备后，可获取货车完整高清图像，进而通过图像截取的方式获取不同车厢连接处互钩差工位区域图像，所有图像均为清晰的灰度图像。
2、YOLOX目标检测网络的训练与应用
第1)步：以上述互钩差工位原始灰度图像为基础，构建折角塞门区域标记数据集，数据集样本主要包含原始灰度图像中折角塞门包围框的像素坐标信息。数据样本采用labelImg软件，通过人工标记的方式获取。
第2)步：为了提高YOLOX目标检测网络的稳定性和泛化性，需要对折角塞门区域标记数据集中的样本数据进行必要的数据增强操作。数据增强的方式包括图像的缩放、网格畸变、小角度旋转、平移与翻转等操作，以上方法都在随机条件下进行，这样可以最大程度的保证样本的多样性和适用性。
第3)步：利用折角塞门区域标记数据集对开源的YOLOX目标检测网络进行训练，得到针对该数据集的网络权重参数文件。
第4)步：结合YOLOX网络模型与权重参数，可对互钩差工位原始灰度图像中折角塞门区域进行检测定位，获取预测的折角塞门包围框的像素坐标信息，并依此将折角塞门区域图像从原始灰度图像中裁剪出来，将裁剪出的折角塞门区域图像分辨率调整为96×96大小。
3、关键点检测网络的构建
关键点检测网络的构建分为以下几部分：
(1)主干网络(backbone)：使用ResNet50作为主干网络，选择下采样倍数分别为4×、8×、16×、32×的C2、C3、C4、C5四个特征层作为输出；
(2)Neck：主体采用了BiFPN结构，原始BiFPN的输入和输出都为5层特征图，而本网络将原始BiFPN最高分辨率输入节点和最低分辨率输出节点删除，并将最后阶段的信息融合传递过程反转，利用反卷积与维度拼接的方式实现语义信息自上而下的融合，最终获得相对于输入图像分辨率下采样倍数为2×的输出特征层P1；
(3)Head：本网络的检测头使用解耦头(Decoupled Head)的形式，输出两个特征图，分别是关键点热力图(Heatmap)和关键点量化偏移图，关键点热力图中每一通道代表一个类别，关键点量化偏移图负责预测关键点热力图中的关键点坐标距离实际关键点的像素坐标的偏移量；
(4)损失计算：首先是关于高斯热图中的关键点分类损失，本网络融合了CornerNet和CenterNet的分类损失计算方法，计算方法如公式(1)所示：
Figure BDA0003312683050000091
其中，α和β是超参数，N代表的是图像关键点个数，设定与实际关键点距离小于阈值γ的像素点均为正样本(即Yxyc＝1)，其余像素点的Yxyc值利用以实际关键点为中心的高斯核函数计算。
其次是关于关键点量化偏移图中的关键点定位损失，本网络使用了如公式(2)所示的L1 Loss损失函数：
Figure BDA0003312683050000101
其中，
Figure BDA0003312683050000102
表示预测的偏移值，p为实际关键点坐标，R为缩放尺度，本网络中R为2，
Figure BDA0003312683050000103
缩放后实际关键点的近似整数坐标。
(5)网络优化策略：优化器使用SGD+Momentum，在训练过程中采用了Warmup训练策略。
4、多尺度Harris融合角点检测算法
针对传统Harris角点检测缺乏尺度不变性的问题，设计了融合LoG特征与小波变换模特征的多尺度Harris角点检测方法，以提取折角塞门角点特征。下面对改进的多尺度Harris融合角点检测算法进行说明，其检测步骤如下：
(1)利用直方图均衡化或伽马变换等方法加强折角塞门区域图像对比度；
(2)预设一组尺度(即高斯滤波函数的方差)，建立多尺度空间图像；
(3)利用Harris角点检测算法寻找各尺度空间图像的角点，得到初始候选角点集P；
(4)对每个尺度空间的图像，计算图像归一化的LoG特征；
(5)使用三次B样条函数作为平滑函数，其一阶导数作为小波基函数，基于小波基函数对各尺度空间图像进行小波变换，计算不同尺度下归一化的小波变换模的特征值；
(6)对于初始候选角点集P中的每个点pi，将pi所对应尺度图像上的LoG特征值与相邻尺度上该位置的LoG特征值进行对比，判断其是否为极大值点，若是，则该点为通过验证的角点，若不是，则删除，得到的新候选角点集为Q；
(7)对于初始候选角点集P中的每个点pi，将pi所对应尺度图像上的小波变换模的特征值与相邻尺度上该位置的小波变换模特征值进行对比，判断其是否为极大值点，若是，则该点为通过验证的角点，若不是，则删除，得到的新候选角点集为S；
(8)以3×3像素域为窗口，使用非极大值抑制算法分别对候选角点集Q和S中的角点进行过滤，将Q和S两点集过滤后的角点融合为新的点集M；
(9)设置两角点最小曼哈顿距离，将点集M中小于最小曼哈顿距离的角点进行合并，得到最终角点集合F。
5、关键点检测网络的训练
首先是数据集的准备，使用labelme软件对折角塞门区域图像中关键点像素位置进行人工标注，得到折角塞门关键点数据集，并对数据集中样本采用如尺度缩放、小角度旋转、光学畸变、网格失真等数据增强操作以提升模型鲁棒性。
其次是对折角塞门区域图像角点特征的提取，采用上述多尺度Harris融合角点检测算法对折角塞门关键点数据集中的图像样本进行角点检测，生成与折角塞门区域图像尺度相同的角点定位二值图。注意，该二值图像中，与角点的曼哈顿距离不大于2的像素点的像素值为255，其余像素点像素值置为0。
最后是关键点检测网络的训练，采用均值为0，方差为0.01的正态分布模型对网络权重进行随机初始化，将角点定位二值图与其对应的折角塞门区域图像通过concatente操作实现通道维度的合并，将合并后的图像作为关键点检测网络的输入，通过重复迭代，直至得到网络权重的最佳值。
6、折角塞门手把不正位故障判别
故障检测步骤如下：
第1步：将互钩差工位原始灰度图像输入训练完成的YOLOX目标检测网络，获取折角塞门位置矩形包围框坐标，并裁剪得到折角塞门区域图像，得到的折角塞门部件区域图像如图3(a)所示；
第2步：使用多尺度Harris融合角点检测算法完成对该折角塞门区域图像的角点检测，角点检测结果如图3(b)所示，基于角点检测结果生成如图3(c)所示的角点定位二值图像，并实现角点定位二值图像与该折角塞门区域图像的通道合并；
第3步：使用自主设计的关键点检测网络对第2步中合并图像进行关键点检测，网络将输出手把握把端点、手把套扣下端角点和塞门体处角点关键点位置像素坐标信息，所检测到的三个关键点如图3(d)所示；
第4步：利用关键点像素坐标进行相对位置关系运算，可得到如手把倾角、手把抬升幅度等信息，进而可判断折角塞门手把是否发生不正位故障。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (10)

1.一种铁路货车折角塞门手把不正位故障的识别方法，其特征在于，所述方法具体包括以下步骤：
步骤一、获取铁路货车侧部图像，并从获取的图像中截取出互钩差工位区域图像；
步骤二、将步骤一中截取出的互钩差工位区域图像输入YOLOX目标检测网络，利用YOLOX目标检测网络来预测互钩差工位区域图像中折角塞门部件包围框的像素坐标信息，再利用预测出的像素坐标信息，从输入的互钩差工位区域图像中裁剪出折角塞门部件区域图像；
步骤三、提取步骤二中获得的折角塞门部件区域图像的角点特征，基于提取出的角点特征生成角点定位二值图像；
步骤四、将折角塞门部件区域图像与角点定位二值图像进行通道合并，获得通道合并后的图像；
再将通道合并后的图像输入关键点检测网络中，得到折角塞门部件的关键点定位信息；
步骤五、根据关键点定位信息进行相对位置关系运算，得到手把姿态；根据手把姿态判断是否发生折角塞门手把不正位故障。
2.根据权利要求1所述的一种铁路货车折角塞门手把不正位故障的识别方法，其特征在于，所述步骤三的具体过程为：
步骤三一、分别使用不同尺度的参数构建高斯滤波核，再基于高斯滤波核和裁剪出的折角塞门部件区域图像建立多尺度空间图像；
步骤三二、对于每个尺度的空间图像，均利用Harris角点检测算法寻找图像的角点，将各尺度空间图像的角点组成的集合记为初始候选角点集P；
步骤三三、对于每个尺度的空间图像，均计算出空间图像在各像素点的归一化LoG特征值；
步骤三四、分别对各尺度的空间图像进行小波变换，得到各尺度空间图像在各像素点的小波变换模的归一化特征值；
步骤三五、对于初始候选角点集P中的每个角点pi，将pi在所对应尺度的空间图像上的LoG特征值与相邻尺度的空间图像上该位置的LoG特征值进行对比，判断角点pi所对应尺度的空间图像上的LoG特征值是否为极大值点，若是，则角点pi为通过验证的角点，若不是，则将角点pi删除，得到新的候选角点集Q；
步骤三六、对于初始候选角点集P中的每个角点pj，将角点pj在所对应尺度的空间图像上的小波变换模特征值与相邻尺度的空间图像上该位置的小波变换模特征值进行对比，判断角点pj是否为极大值点，若是，则角点pj为通过验证的角点，若不是，则将角点pj删除，得到新的候选角点集S；
将集合Q和集合S中的角点融合为新的点集M；
步骤三七、将点集M中距离小于曼哈顿距离阈值a的角点进行合并，得到最终角点集合F；
基于最终角点集合F中的角点生成角点定位二值图像。
3.根据权利要求2所述的一种铁路货车折角塞门手把不正位故障的识别方法，其特征在于，所述基于最终角点集合F中的角点生成角点定位二值图像，其具体为：
对于获得的折角塞门部件区域图像中的任一像素点，若该像素点与最终角点集合F中至少一个角点的曼哈顿距离小于等于阈值b，则将该像素点的像素值设置为255，否则，将该像素点的像素值设置为0。
4.根据权利要求2所述的一种铁路货车折角塞门手把不正位故障的识别方法，其特征在于，所述将集合Q和集合S中的角点融合为新的点集M之前，分别对集合Q和集合S中的角点进行筛选，再将对集合Q的筛选结果与对集合S的筛选结果进行融合；其具体过程为：
以3×3像素域为窗口，使用非极大值抑制算法对新的候选角点集Q中的角点进行过滤，将过滤后剩余的角点组成的集合记为集合Q’；
以3×3像素域为窗口，使用非极大值抑制算法对新的候选角点集S中的角点进行过滤，将过滤后剩余的角点组成的集合记为集合S’；
再将集合Q’和集合S’中的角点融合为新的点集M。
5.根据权利要求1所述的一种铁路货车折角塞门手把不正位故障的识别方法，其特征在于，所述YOLOX目标检测网络的网络权重参数的获得方式为：
步骤S1、采集铁路货车侧部图像，并从采集的图像中截取出互钩差工位区域图像；
步骤S2、对步骤S1中截取出的图像进行数据增强，获得数据增强后的图像；
步骤S3、对数据增强后图像中的折角塞门部件包围框的像素进行标记，获得标记后的图像，将标记后的图像作为训练数据集；
再利用训练数据集对YOLOX目标检测网络进行训练获得训练好的网络权重参数。
6.根据权利要求5所述的一种铁路货车折角塞门手把不正位故障的识别方法，其特征在于，所述数据增强的方式包括图像缩放、网格畸变、图像角度旋转、图像平移以及图像翻转。
7.根据权利要求5所述的一种铁路货车折角塞门手把不正位故障的识别方法，其特征在于，所述对数据增强后图像中的折角塞门部件包围框的像素进行标记，标记是采用labelImg软件，并通过人工标记的方式进行的。
8.根据权利要求2所述的一种铁路货车折角塞门手把不正位故障的识别方法，其特征在于，所述分别使用不同尺度的参数构建高斯滤波核，其具体为：
分别使用尺度为0.6、0.72、0.86、1.02和1.2的参数构建3×3大小的高斯滤波核。
9.根据权利要求1所述的一种铁路货车折角塞门手把不正位故障的识别方法，其特征在于，所述将通道合并后的图像输入关键点检测网络中，得到折角塞门部件的关键点定位信息；其具体过程为：
关键点检测网络中包括ResNet50、BiFPN模块和Head模块；其中：
将通道合并后的图像输入ResNet50，选择C2、C3、C4、C5四个特征层的输出作为ResNet50的输出；
将BiFPN模块的任意一个输入层删除后，再将ResNet50的输出输入到BiFPN模块，，并将最后的信息融合传递过程反转，即利用反卷积与维度拼接的方式实现语义信息自上而下的融合，将特征层P1的输出作为BiFPN模块的输出；
BiFPN模块的输出输入到Head模块，Head模块输出关键点热力图和关键点量化偏移图；
根据关键点热力图和关键点量化偏移图获得关键点的定位信息。
10.根据权利要求1所述的一种铁路货车折角塞门手把不正位故障的识别方法，其特征在于，所述步骤五的具体过程为：
利用关键点定位信息计算各关键点的相对位置关系，再根据各关键点的相对位置关系得到手把姿态，所述手把姿态包括手把倾角以及手把抬升幅度；
若手把倾角小于设定阈值m或手把抬升幅度大于设定阈值n，则认为发生折角塞门手把不正位故障；
反之，若手把倾角大于等于设定阈值m且手把抬升幅度小于等于设定阈值n，则认为未发生折角塞门手把不正位故障。
CN202111221181.7A 2021-10-20 2021-10-20 一种铁路货车折角塞门手把不正位故障的识别方法 Active CN113830136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111221181.7A CN113830136B (zh) 2021-10-20 2021-10-20 一种铁路货车折角塞门手把不正位故障的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111221181.7A CN113830136B (zh) 2021-10-20 2021-10-20 一种铁路货车折角塞门手把不正位故障的识别方法

Publications (2)

Publication Number Publication Date
CN113830136A true CN113830136A (zh) 2021-12-24
CN113830136B CN113830136B (zh) 2022-04-19

Family

ID=78965447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111221181.7A Active CN113830136B (zh) 2021-10-20 2021-10-20 一种铁路货车折角塞门手把不正位故障的识别方法

Country Status (1)

Country Link
CN (1) CN113830136B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403163A (zh) * 2023-04-20 2023-07-07 慧铁科技有限公司 一种截断塞门手把开合状态的识别方法和装置
CN116580245A (zh) * 2023-05-29 2023-08-11 哈尔滨市科佳通用机电股份有限公司 一种铁路货车承载鞍错位故障识别方法
CN114494038B (zh) * 2021-12-29 2024-03-29 扬州大学 基于改进yolox-s的靶面透视失真矫正方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778833A (zh) * 2016-11-28 2017-05-31 北京航天控制仪器研究所 一种复杂背景下小目标丢失故障的自动识别方法
CN107909085A (zh) * 2017-12-01 2018-04-13 中国科学院长春光学精密机械与物理研究所 一种基于Harris算子的图像特征角点提取方法
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
CN108960320A (zh) * 2018-06-26 2018-12-07 湖北工业大学 列车折角塞门故障图像实时检测方法
CN111091552A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 铁路货车折角塞门把手关闭故障图像识别方法
CN111784555A (zh) * 2020-06-16 2020-10-16 杭州海康威视数字技术股份有限公司 图像处理方法、装置及设备
CN112257711A (zh) * 2020-10-26 2021-01-22 哈尔滨市科佳通用机电股份有限公司 一种铁路货车地板破损故障检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778833A (zh) * 2016-11-28 2017-05-31 北京航天控制仪器研究所 一种复杂背景下小目标丢失故障的自动识别方法
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
CN107909085A (zh) * 2017-12-01 2018-04-13 中国科学院长春光学精密机械与物理研究所 一种基于Harris算子的图像特征角点提取方法
CN108960320A (zh) * 2018-06-26 2018-12-07 湖北工业大学 列车折角塞门故障图像实时检测方法
CN111091552A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 铁路货车折角塞门把手关闭故障图像识别方法
CN111784555A (zh) * 2020-06-16 2020-10-16 杭州海康威视数字技术股份有限公司 图像处理方法、装置及设备
CN112257711A (zh) * 2020-10-26 2021-01-22 哈尔滨市科佳通用机电股份有限公司 一种铁路货车地板破损故障检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙国栋等: "快速特征金字塔和Soft-Cascade在折角塞门图像故障检测中的应用", 《机械科学与技术》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494038B (zh) * 2021-12-29 2024-03-29 扬州大学 基于改进yolox-s的靶面透视失真矫正方法
CN116403163A (zh) * 2023-04-20 2023-07-07 慧铁科技有限公司 一种截断塞门手把开合状态的识别方法和装置
CN116403163B (zh) * 2023-04-20 2023-10-27 慧铁科技有限公司 一种截断塞门手把开合状态的识别方法和装置
CN116580245A (zh) * 2023-05-29 2023-08-11 哈尔滨市科佳通用机电股份有限公司 一种铁路货车承载鞍错位故障识别方法
CN116580245B (zh) * 2023-05-29 2023-12-26 哈尔滨市科佳通用机电股份有限公司 一种铁路货车承载鞍错位故障识别方法

Also Published As

Publication number Publication date
CN113830136B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN113830136B (zh) 一种铁路货车折角塞门手把不正位故障的识别方法
CN107424161B (zh) 一种由粗至精的室内场景图像布局估计方法
Yoo et al. Development of a crack recognition algorithm from non-routed pavement images using artificial neural network and binary logistic regression
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN106778668A (zh) 一种联合ransac和cnn的鲁棒的车道线检测方法
CN113240623B (zh) 一种路面病害检测方法及装置
CN112926563B (zh) 一种钢卷喷印标记故障诊断系统
CN113313031B (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
CN115601355A (zh) 一种产品表面缺陷检测与分类方法、装置及存储介质
CN112308855A (zh) 钢轨伤损识别模型生成装置、伤损检测装置及系统
CN114926407A (zh) 一种基于深度学习的钢材表面缺陷检测系统
CN109446913A (zh) 一种判断车底是否改装的检测方法
CN113870202A (zh) 一种基于深度学习技术的远端芯片缺陷检测系统
CN110782470B (zh) 一种基于形状信息的腕骨区域分割方法
CN115527170A (zh) 货车脱轨自动制动装置塞门手把关闭故障识别方法及系统
CN116563262A (zh) 基于多模态的建筑裂缝检测算法
CN116434230A (zh) 一种复杂环境下的船舶水尺读数方法
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN116718599B (zh) 一种基于三维点云数据的表观裂缝长度测量方法
CN111950556A (zh) 一种基于深度学习的号牌印刷质量检测方法
CN115512230A (zh) 基于多头注意力的多尺度融合沥青路面裂缝识别方法
Ali et al. A Deep Learning-Based Multi-Model Ensemble Method for Crack Detection in Concrete Structures
KR102585146B1 (ko) 딥러닝 기반의 도로손상 탐지 장치 및 방법
CN116030076A (zh) 基于因果推理的隧道点云多目标分割集成方法及系统
CN115760058A (zh) 用于车辆底盘腐蚀评估的agv系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant