CN113743375B - 铁路货车折角塞门手把不正位识别方法 - Google Patents

铁路货车折角塞门手把不正位识别方法 Download PDF

Info

Publication number
CN113743375B
CN113743375B CN202111193370.8A CN202111193370A CN113743375B CN 113743375 B CN113743375 B CN 113743375B CN 202111193370 A CN202111193370 A CN 202111193370A CN 113743375 B CN113743375 B CN 113743375B
Authority
CN
China
Prior art keywords
handle
data set
cock
folding
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111193370.8A
Other languages
English (en)
Other versions
CN113743375A (zh
Inventor
杨宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202111193370.8A priority Critical patent/CN113743375B/zh
Publication of CN113743375A publication Critical patent/CN113743375A/zh
Application granted granted Critical
Publication of CN113743375B publication Critical patent/CN113743375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

铁路货车折角塞门手把不正位识别方法，本发明涉及铁路货车折角塞门手把不正位识别方法。本发明的目的是为了解决现有基于深度学习神经网络进行折角塞门手把不正位故障识别时，不能同时兼顾检测准确率和效率的问题。铁路货车折角塞门手把不正位识别方法过程为：一、建立样本数据集；二、构建目标检测网络，输入折角塞门标记数据集进行训练，得到训练好的目标检测网络；三、构建分割网络，输入折角塞门手把分割数据集进行训练，得到训练好的分割网络；四、利用训练好的目标检测网络和分割网络进行折角塞门手把不正位故障识别。本发明属于故障图像识别领域。

Description

铁路货车折角塞门手把不正位识别方法
技术领域
本发明涉及铁路货车折角塞门手把不正位识别方法。
背景技术
货车折角塞门手把不正位故障是一种危及行车安全的故障，在折角塞门手把不正位故障检测中，采用人工检查图像的方式进行故障检测。由于检车人员在工作过程中极易出现疲劳、遗漏等情况，造成漏检、错检的出现，影响行车安全。采用图像自动识别的方式可提高检测效率和稳定性。近几年，深度学习与人工智能不断发展，在技术上不断成熟。但是基于深度学习神经网络进行折角塞门手把不正位故障识别时，不能同时兼顾检测准确率和效率。
发明内容
本发明的目的是为了解决现有基于深度学习神经网络进行折角塞门手把不正位故障识别时，不能同时兼顾检测准确率和效率的问题，而提出铁路货车折角塞门手把不正位识别方法。
铁路货车折角塞门手把不正位识别方法具体过程为：
步骤一、建立样本数据集，样本数据集包括折角塞门标记数据集和折角塞门手把分割数据集；
步骤二、构建FasterR-CNN目标检测网络，将折角塞门标记数据集输入FasterR-CNN目标检测网络进行训练，得到训练好的FasterR-CNN目标检测网络；
步骤三、构建U-Net分割网络，将折角塞门手把分割数据集输入U-Net分割网络进行训练，得到训练好的U-Net分割网络；
步骤四、利用训练好的FasterR-CNN目标检测网络和训练好的U-Net分割网络进行折角塞门手把不正位故障识别。
优选地，步骤一中建立样本数据集，样本数据集包括折角塞门标记数据集和折角塞门手把分割数据集；具体过程包括：
构建原始灰度图像数据集：不同条件下拍摄不同车型的灰度图像，根据轴距信息和折角塞门位置先验知识，对灰度图像中的互钩差工位区域进行截取获得含有折角塞门的粗定位图像，作为原始灰度图像数据集；
构建折角塞门标记数据集：对原始灰度图像数据集中折角塞门位置矩形包围框的像素坐标进行标记，获得折角塞门标记数据集；
构建折角塞门手把分割数据集：对原始灰度图像数据集中折角塞门中手把区域的像素坐标进行标记，获得折角塞门手把分割数据集；
基于折角塞门标记数据集和折角塞门手把分割数据集构成样本数据集。
优选地，原始灰度图像数据集、折角塞门标记数据集、折角塞门手把分割数据集中样本数据一一对应。
优选地，步骤一中建立样本数据集，样本数据集包括折角塞门标记数据集和折角塞门手把分割数据集；具体过程还包括：
对样本数据集进行数据扩增，扩增形式包括图像的旋转、平移、缩放和镜像操作。
优选地，步骤二中构建FasterR-CNN目标检测网络，将折角塞门标记数据集输入FasterR-CNN目标检测网络进行训练，得到训练好的FasterR-CNN目标检测网络；具体过程为：
将步骤一构建的折角塞门标记数据集输入FasterR-CNN目标检测网络进行训练，采用正态分布对FasterR-CNN目标检测网络模型权重进行随机初始化；
FasterR-CNN目标检测网络中RPN采用BCELoss作为前景置信度的分类损失函数，采用DIoULoss作为锚框的位置回归损失函数，对每张输入图片生成建议窗口，即ROI区域；
FasterR-CNN目标检测网络中，对于ROI区域进行分类和回归的检测模块，采用FocalLoss作为分类损失函数，采用SmoothL1Loss作为锚框的位置回归损失函数；
获得训练好的FasterR-CNN目标检测网络。
优选地，步骤三中构建U-Net分割网络；具体过程为：
U-Net分割网络在编码阶段和解码阶段分别应用了三个编码器和三个解码器；
每个编码器依次包括两个特征提取模块和一个下采样模块；
其中，特征提取模块由三层网络级联形成，一是卷积层；二是批归一化层；三是分段线性激活函数ReLU构成的激活层；下采样模块则由单一卷积层组成；
每个解码器依次包括一个上采样模块，一个特征拼接模块和两个特征提取模块；
其中，上采样模块由单一反卷积层组成；特征拼接模块则是使用跳层连接的方式，将上采样后输出的特征图与编码阶段中相同尺度的下采样特征图在通道维度上进行拼接；解码器的特征提取模块的结构与编码器包括的特征提取模块的结构相同。
优选地，步骤三中构建U-Net分割网络，将折角塞门手把分割数据集输入U-Net分割网络进行训练，得到训练好的U-Net分割网络；具体过程为：
将步骤一构建的折角塞门手把分割数据集输入U-Net分割网络进行训练，U-Net采用均值为0，方差为0.01的正态分布对U-Net分割网络模型权重进行随机初始化，U-Net采用逐像素加权的交叉熵损失函数，得到训练好的U-Net分割网络。
优选地，U-Net采用逐像素加权的交叉熵损失函数如公式(1)所示：
L＝-wi[yilog(pi)+(1-yi)log(1-pi)] (1)
其中，下标i表示预测分割图中各像素点的索引；yi表示像素点i的实际标签类别，在U-Net中，若像素点i的实际标签类别为手把，则yi为1，否则为0；pi表示U-Net输出的像素点i为手把区域像素点的概率；wi为加权系数。
优选地，加权系数wi计算方法如下式(2)所示：
Figure BDA0003302079780000031
式(2)中，disti表示图像
Figure BDA0003302079780000032
中像素点i到距离像素点i最近的像素点为0的像素点的欧式距离；
distm表示图像
Figure BDA0003302079780000033
中像素点m到距离像素点m最近的像素点为0的像素点的欧式距离；
所述像素点m表示图像
Figure BDA0003302079780000034
中距像素点i位置最近的非0像素点；
所述图像
Figure BDA0003302079780000035
获取方式为：
依据训练图片对应的实际折角塞门手把区域标注信息生成折角塞门手把区域二值分割图像
Figure BDA0003302079780000036
二值分割图像
Figure BDA0003302079780000037
中1为折角塞门手把区域像素，0为非折角塞门手把区域像素。
所述图像
Figure BDA0003302079780000038
获取方式为：
使用基于中轴变换的骨架提取算法对图像
Figure BDA0003302079780000039
处理，获取手把骨架二值图像
Figure BDA00033020797800000310
优选地，步骤四中利用训练好的FasterR-CNN目标检测网络和训练好的U-Net分割网络进行折角塞门手把不正位故障识别；具体过程为：
步骤四1：将真实过车图像输入训练好的Faster R-CNN目标检测网络，获取折角塞门位置矩形包围框坐标；
步骤四2：将检测到的折角塞门位置矩形包围框内图像输入到训练好的U-Net分割网络中，预测出折角塞门手把区域二值图像，二值图像中0值为非折角塞门手把区域，1值为折角塞门手把区域；
步骤四3：对预测出的折角塞门手把区域二值图像使用腐蚀、膨胀和连通域提取算法滤除噪声点，得到二值图为A图；
步骤四4：对A图使用多边形轮廓近似算法，得到折角塞门手把区域的近似多边形轮廓，并在A图基础上将得到的折角塞门手把区域的近似多边形轮廓区域内的像素置为1，得到二值图为B图；
步骤四5：对B图使用基于中轴变换的骨架提取算法，获取手把骨架二值图像，得到二值图为C图；
步骤四6：获取B图中手把连通域的最小外接三角形，将三角形三顶点以横轴方向数值从小到大排序，选取中间值作为阈值，将C图纵向分割，可将C图中连续骨架线划分为左右两段，两段骨架线分别代表手把握把骨架和手把套扣骨架；
步骤四7：使用最小二乘法分别对左右两段骨架线进行直线拟合，计算拟合后直线倾角；直线倾角为手把握把骨架和手把套扣骨架之间的夹角；
如果直线倾角大于预先设定的阈值，则判断该折角塞门手把发生不正位故障，进而上传报警；如果直线倾角小于等于预先设定的阈值，则处理下一张过车图像。
本发明的有益效果为：
1、利用图像自动识别的方式代替人工检测，同时兼顾检测准确率和效率，使检测准确率和效率达到最优。
2、将深度学习中的检测与分割算法应用到折角塞门手把不正位故障自动识别中，提高整体算法的稳定性及精度。
3.利用基于距离变换特征的逐像素加权方式改进交叉熵损失函数，提高了U-Net网络的分割效果。
4.相较于基于手把轮廓边缘的直线检测方式，采用基于骨架提取的方法进行折角塞门手把倾斜角度检测，检测精度更高，鲁棒性更强。
附图说明
图1为本发明故障识别流程图；
图2a为Faster R-CNN检测到的折角塞门区域图像；
图2b为U-Net分割网络输出的折角塞门手把区域二值图；
图2c为经多边形轮廓近似算法平滑边缘后的折角塞门手把区域二值图；
图2d为折角塞门手把骨架二值图像；
图2e为拟合图，两线是基于骨架二值图分段拟合后的两直线，通过两直线倾角可判断该折角塞门手把处于不正位状态。
具体实施方式
需要说明的是，在不冲突的情况下，本申请公开的各个实施方式之间或实施方式包括的特征之间可以相互组合。
具体实施方式一：本实施方式基于骨架提取的铁路货车折角塞门手把不正位识别方法具体过程为：
步骤一、建立样本数据集，样本数据集包括折角塞门标记数据集和折角塞门手把分割数据集；
步骤二、构建FasterR-CNN目标检测网络，将折角塞门标记数据集输入FasterR-CNN目标检测网络进行训练，得到训练好的FasterR-CNN目标检测网络；
步骤三、构建U-Net分割网络，将折角塞门手把分割数据集输入U-Net分割网络进行训练，得到训练好的U-Net分割网络；
步骤四、利用训练好的FasterR-CNN目标检测网络和训练好的U-Net分割网络进行折角塞门手把不正位故障识别。
具体实施方式二：本实施方式与具体实施方式一不同的是，步骤一中建立样本数据集，样本数据集包括折角塞门标记数据集和折角塞门手把分割数据集；具体过程包括：
分别在货车轨道沿途两侧搭建高速线阵成像设备，货车通过设备后，获取货车高清图像，图像为清晰的灰度图像。由于货车部件可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响。并且，不同站点拍摄的图像可能存在差异。因此，折角塞门图像之间千差万别。所以，在收集折角塞门图像数据的过程中，要保证多样性，尽量将各种条件下的折角塞门图像全部收集。
构建原始灰度图像数据集：不同条件下拍摄不同车型的灰度图像，根据轴距信息和折角塞门位置等先验知识，对灰度图像中的互钩差工位区域进行截取获得含有折角塞门的粗定位图像，作为原始灰度图像数据集；
构建折角塞门标记数据集：对原始灰度图像数据集中折角塞门包围框的像素坐标进行标记，获得折角塞门标记数据集；
构建折角塞门手把分割数据集：对原始灰度图像数据集中折角塞门中手把区域的像素坐标进行标记，获得折角塞门手把分割数据集；
基于折角塞门标记数据集和折角塞门手把分割数据集构成样本数据集。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，原始灰度图像数据集、折角塞门标记数据集、折角塞门手把分割数据集中样本数据一一对应。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，步骤一中建立样本数据集，样本数据集包括折角塞门标记数据集和折角塞门手把分割数据集；具体过程还包括：
对样本数据集进行数据扩增，扩增形式包括图像的旋转、平移、缩放和镜像等操作。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，步骤二中构建FasterR-CNN目标检测网络，将折角塞门标记数据集输入FasterR-CNN目标检测网络进行训练，得到训练好的FasterR-CNN目标检测网络；具体过程为：
在本发明应用的FasterR-CNN目标检测网络与深度学习工具包torchvision中的FasterR-CNN网络架构基本一致，即主要包括主干网络ResNet-50、特征增强网络结构FPN、ROI区域提取网络层RPN、ROI区域特征聚合层ROIAlign、以及针对ROI区域进行分类和回归的检测模块；
将步骤一构建的折角塞门标记数据集输入FasterR-CNN目标检测网络进行训练，采用均值为0，方差为0.01的正态分布对FasterR-CNN目标检测网络模型权重进行随机初始化；
FasterR-CNN目标检测网络中RPN采用BCELoss作为前景置信度的分类损失函数，采用DIoULoss作为锚框的位置回归损失函数，对每张输入图片生成200个建议窗口，即ROI区域；
FasterR-CNN目标检测网络中，对于ROI区域进行分类和回归的检测模块，采用FocalLoss作为分类损失函数，采用SmoothL1Loss作为锚框的位置回归损失函数；
获得训练好的FasterR-CNN目标检测网络。
在训练中，RPN采用BCELoss作为前景置信度的分类损失函数，采用DIoULoss作为锚框的位置回归损失函数；而FasterR-CNN针对ROI的最终分类与回归，则采用FocalLoss作为分类损失函数，采用SmoothL1Loss作为锚框的位置回归损失函数。采用均值为0，方差为0.01的正态分布模型对FasterR-CNN网络模型权重进行随机初始化，并利用折角塞门标记数据集完成对FasterR-CNN目标检测网络的训练。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，步骤三中构建U-Net分割网络；具体过程为：
本发明的U-Net分割网络是基于传统的U-Net结构的改进U-Net分割网络，即基于传统的U-Net结构的编码-解码(encode-decode)的改进网络架构；本实施方式仅对改进部分进行重点说明，在编码阶段和解码阶段，分割网络分别应用了三个编码器(encoder)和三个解码器(decoder)；
每个编码器依次包括两个特征提取模块和一个降采样模块；
其中，特征提取模块由三层网络级联形成，一是大小为3×3，步长为1，padding(填充)为0的卷积核构成的卷积层；二是批归一化层(Batch Normalization)；三是分段线性激活函数ReLU构成的激活层；下采样模块则由单一卷积层组成，该卷积层由大小为3×3，步长为2的卷积核构成，实现特征图的下采样操作。
每个解码器依次包括一个上采样模块，一个特征拼接模块和两个特征提取模块；
其中，上采样模块由单一反卷积层组成，该反卷积层由大小为2×2，步长为2，padding(填充)为1的卷积核构成，实现特征图的上采样操作；特征拼接模块则是使用跳层连接(skip-connection)的方式，将上采样后输出的特征图与编码阶段中相同尺度的下采样特征图在通道维度上进行拼接；解码器的特征提取模块的结构与编码器包括的特征提取模块的结构相同。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，步骤三中构建U-Net分割网络，将折角塞门手把分割数据集输入U-Net分割网络进行训练，得到训练好的U-Net分割网络；具体过程为：
将步骤一构建的折角塞门手把分割数据集输入U-Net分割网络进行训练，U-Net采用均值为0，方差为0.01的正态分布对U-Net分割网络模型权重进行随机初始化，U-Net采用逐像素加权的交叉熵损失函数，得到训练好的U-Net分割网络。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，U-Net采用逐像素加权的交叉熵损失函数如公式(1)所示，用以计算改进U-Net输出的预测分割图中各像素的分类损失：
L＝-wi[yilog(pi)+(1-yi)log(1-pi)] (1)
其中，下标i表示预测分割图中各像素点的索引；yi表示像素点i的实际标签类别，在U-Net中，若像素点i的实际标签类别为手把，则yi为1，否则为0；pi表示U-Net输出的像素点i为手把区域像素点的概率；wi为加权系数。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，加权系数wi计算方法如下式(2)所示：
Figure BDA0003302079780000081
式(2)中，disti表示图像
Figure BDA0003302079780000082
中像素点i到距离像素点i最近的像素点为0的像素点的欧式距离；
distm表示图像
Figure BDA0003302079780000083
中像素点m到距离像素点m最近的像素点为0的像素点的欧式距离；
所述像素点m表示图像
Figure BDA0003302079780000084
中距像素点i位置最近的非0像素点；
所述图像
Figure BDA0003302079780000085
获取方式为：
依据训练图片对应的实际折角塞门手把区域标注信息生成折角塞门手把区域二值分割图像
Figure BDA0003302079780000086
二值分割图像
Figure BDA0003302079780000087
中1为折角塞门手把区域像素，0为非折角塞门手把区域像素。
所述图像
Figure BDA0003302079780000088
获取方式为：
使用基于中轴变换的骨架提取算法对图像
Figure BDA0003302079780000089
处理，获取手把骨架二值图像
Figure BDA00033020797800000810
该加权方式可强化U-Net对手把中轴区域像素的分割能力，适当弱化不规则边界对后续骨架提取的影响，加强算法的鲁棒性。
其它步骤及参数与具体实施方式一至八之一相同。
具体实施方式十：本实施方式与具体实施方式一至九之一不同的是，步骤四中利用训练好的FasterR-CNN目标检测网络和训练好的U-Net分割网络进行折角塞门手把不正位故障识别；具体过程为：
步骤四1：将真实过车图像输入训练完成的Faster R-CNN目标检测网络，获取折角塞门位置矩形包围框坐标；
步骤四2：将检测到的折角塞门矩形包围框内图像输入到训练完成的U-Net分割网络中，预测出折角塞门手把区域二值图像，二值图像中0值为非折角塞门手把区域，1值为折角塞门手把区域；
步骤四3：对预测出的折角塞门手把区域二值图像使用腐蚀、膨胀和连通域提取等算法滤除噪声点，得到二值图为A图；
步骤四4：对A图使用多边形轮廓近似算法，得到折角塞门手把区域的近似多边形轮廓，并在A图基础上将得到的折角塞门手把区域的近似多边形轮廓区域内的像素置为1，以达到平滑边缘的效果，得到二值图为B图；
步骤四5：为了更好反映手把的位姿状态，利用skimage工具包中的medial_axis()函数，对B图使用基于中轴变换的骨架提取算法，获取手把骨架二值图像，此方法提取的骨架线相较于A图不规则的轮廓边缘线更加平滑，具有更强的鲁棒性，为后续手把倾角的精确计算提供了保障；得到二值图为C图；
步骤四6：使用OpenCV内置函数minEnclosingTriangle()，获取B图中手把连通域的最小外接三角形，将三角形三顶点以x轴方向(即图像宽度方向)数值从小到大排序，例如，排序后三顶点坐标中，x1>x2>x3，则选取中间值x2作为阈值，将C图中的连续骨架线划分为左右两段(比如三角形三个顶点坐标(1，36)(12，24)(25，37)，那x＝12就是阈值，就可以把图像竖着切成两部分，左边图像中白色点就是手把握把，右边就是手把套扣)，两段骨架线实际分别代表手把握把骨架和手把套扣骨架；
步骤四7：使用最小二乘法分别对左右两段骨架线进行直线拟合，计算拟合后直线倾角；直线倾角为手把握把骨架和手把套扣骨架之间的夹角(图2e中的夹角β)；
如果直线倾角大于预先设定的阈值，则判断该折角塞门手把发生不正位故障，进而上传报警；如果直线倾角小于等于预先设定的阈值，则处理下一张过车图像。
其它步骤及参数与具体实施方式一至九之一相同。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.铁路货车折角塞门手把不正位识别方法，其特征在于，该方法包括以下步骤：
步骤一、建立样本数据集，样本数据集包括折角塞门标记数据集和折角塞门手把分割数据集；
步骤二、构建FasterR-CNN目标检测网络，将折角塞门标记数据集输入FasterR-CNN目标检测网络进行训练，得到训练好的FasterR-CNN目标检测网络；
步骤三、构建U-Net分割网络，将折角塞门手把分割数据集输入U-Net分割网络进行训练，得到训练好的U-Net分割网络；
步骤四、利用训练好的FasterR-CNN目标检测网络和训练好的U-Net分割网络进行折角塞门手把不正位故障识别；
所述步骤一中建立样本数据集，样本数据集包括折角塞门标记数据集和折角塞门手把分割数据集；具体过程包括：
构建原始灰度图像数据集：不同条件下拍摄不同车型的灰度图像，根据轴距信息和折角塞门位置先验知识，对灰度图像中的互钩差工位区域进行截取获得含有折角塞门的粗定位图像，作为原始灰度图像数据集；
构建折角塞门标记数据集：对原始灰度图像数据集中折角塞门位置矩形包围框的像素坐标进行标记，获得折角塞门标记数据集；
构建折角塞门手把分割数据集：对原始灰度图像数据集中折角塞门中手把区域的像素坐标进行标记，获得折角塞门手把分割数据集；
基于折角塞门标记数据集和折角塞门手把分割数据集构成样本数据集；
所述步骤三中构建U-Net分割网络，将折角塞门手把分割数据集输入U-Net分割网络进行训练，得到训练好的U-Net分割网络；具体过程为：
将步骤一构建的折角塞门手把分割数据集输入U-Net分割网络进行训练，U-Net采用均值为0，方差为0.01的正态分布对U-Net分割网络模型权重进行随机初始化，U-Net采用逐像素加权的交叉熵损失函数，得到训练好的U-Net分割网络；
所述U-Net采用逐像素加权的交叉熵损失函数如公式(1)所示：
L＝-wi[yilog(pi)+(1-yi)log(1-pi)] (1)
其中，下标i表示预测分割图中各像素点的索引；yi表示像素点i的实际标签类别，在U-Net中，若像素点i的实际标签类别为手把，则yi为1，否则为0；pi表示U-Net输出的像素点i为手把区域像素点的概率；wi为加权系数；
所述加权系数wi计算方法如下式(2)所示：
Figure FDA0003612068110000021
式(2)中，disti表示二值分割图像
Figure FDA0003612068110000022
中像素点i到距离像素点i最近的像素点为0的像素点的欧式距离；
distm表示二值分割图像
Figure FDA0003612068110000023
中像素点m到距离像素点m最近的像素点为0的像素点的欧式距离；
所述像素点m表示二值图像
Figure FDA0003612068110000024
中距像素点i位置最近的非0像素点；
所述二值分割图像
Figure FDA0003612068110000025
获取方式为：
依据训练图片对应的实际折角塞门手把区域标记信息生成折角塞门手把区域二值分割图像
Figure FDA0003612068110000026
二值分割图像
Figure FDA0003612068110000027
中1为折角塞门手把区域像素，0为非折角塞门手把区域像素；
所述二值图像
Figure FDA0003612068110000028
获取方式为：
使用基于中轴变换的骨架提取算法对二值分割图像
Figure FDA0003612068110000029
处理，获取手把骨架二值图像
Figure FDA00036120681100000210
所述步骤四中利用训练好的FasterR-CNN目标检测网络和训练好的U-Net分割网络进行折角塞门手把不正位故障识别；具体过程为：
步骤四1：将真实过车图像输入训练好的Faster R-CNN目标检测网络，获取折角塞门位置矩形包围框坐标；
步骤四2：将检测到的折角塞门位置矩形包围框内图像输入到训练好的U-Net分割网络中，预测出折角塞门手把区域二值图像，二值图像中0值为非折角塞门手把区域，1值为折角塞门手把区域；
步骤四3：对预测出的折角塞门手把区域二值图像使用腐蚀、膨胀和连通域提取算法滤除噪声点，得到二值图为A图；
步骤四4：对A图使用多边形轮廓近似算法，得到折角塞门手把区域的近似多边形轮廓，并在A图基础上将得到的折角塞门手把区域的近似多边形轮廓区域内的像素置为1，得到二值图为B图；
步骤四5：对B图使用基于中轴变换的骨架提取算法，获取手把骨架二值图像，得到二值图为C图；
步骤四6：获取B图中手把连通域的最小外接三角形，将三角形三顶点以横轴方向数值从小到大排序，选取中间值作为阈值，将C图纵向分割，可将C图中连续骨架线划分为左右两段，两段骨架线分别代表手把握把骨架和手把套扣骨架；
步骤四7：使用最小二乘法分别对左右两段骨架线进行直线拟合，计算拟合后直线倾角；所述直线倾角为手把握把骨架和手把套扣骨架之间的夹角；
如果直线倾角大于预先设定的阈值，则判断该折角塞门手把发生不正位故障，进而上传报警；如果直线倾角小于等于预先设定的阈值，则处理下一张过车图像。
2.根据权利要求1所述铁路货车折角塞门手把不正位识别方法，其特征在于：所述原始灰度图像数据集、折角塞门标记数据集、折角塞门手把分割数据集中样本数据一一对应。
3.根据权利要求2所述铁路货车折角塞门手把不正位识别方法，其特征在于：所述步骤一中建立样本数据集，样本数据集包括折角塞门标记数据集和折角塞门手把分割数据集；具体过程还包括：
对样本数据集进行数据扩增，扩增形式包括图像的旋转、平移、缩放和镜像操作。
4.根据权利要求3所述铁路货车折角塞门手把不正位识别方法，其特征在于：所述步骤二中构建FasterR-CNN目标检测网络，将折角塞门标记数据集输入FasterR-CNN目标检测网络进行训练，得到训练好的FasterR-CNN目标检测网络；具体过程为：
将步骤一构建的折角塞门标记数据集输入FasterR-CNN目标检测网络进行训练，采用正态分布对FasterR-CNN目标检测网络模型权重进行随机初始化；
FasterR-CNN目标检测网络中RPN采用BCELoss作为前景置信度的分类损失函数，采用DIoULoss作为锚框的位置回归损失函数，对每张输入图片生成建议窗口，即ROI区域；
FasterR-CNN目标检测网络中，对于ROI区域进行分类和回归的检测模块，采用FocalLoss作为分类损失函数，采用SmoothL1Loss作为锚框的位置回归损失函数；
获得训练好的FasterR-CNN目标检测网络。
5.根据权利要求4所述铁路货车折角塞门手把不正位识别方法，其特征在于：所述步骤三中构建U-Net分割网络；具体过程为：
U-Net分割网络在编码阶段和解码阶段分别应用了三个编码器和三个解码器；
每个编码器依次包括两个特征提取模块和一个下采样模块；
其中，特征提取模块由三层网络级联形成，一是卷积层；二是批归一化层；三是分段线性激活函数ReLU构成的激活层；下采样模块则由单一卷积层组成；
每个解码器依次包括一个上采样模块，一个特征拼接模块和两个特征提取模块；
其中，上采样模块由单一反卷积层组成；特征拼接模块则是使用跳层连接的方式，将上采样后输出的特征图与编码阶段中相同尺度的下采样特征图在通道维度上进行拼接；解码器的特征提取模块的结构与编码器包括的特征提取模块的结构相同。
CN202111193370.8A 2021-10-13 2021-10-13 铁路货车折角塞门手把不正位识别方法 Active CN113743375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111193370.8A CN113743375B (zh) 2021-10-13 2021-10-13 铁路货车折角塞门手把不正位识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111193370.8A CN113743375B (zh) 2021-10-13 2021-10-13 铁路货车折角塞门手把不正位识别方法

Publications (2)

Publication Number Publication Date
CN113743375A CN113743375A (zh) 2021-12-03
CN113743375B true CN113743375B (zh) 2022-07-01

Family

ID=78726518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111193370.8A Active CN113743375B (zh) 2021-10-13 2021-10-13 铁路货车折角塞门手把不正位识别方法

Country Status (1)

Country Link
CN (1) CN113743375B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114360127B (zh) * 2021-12-16 2023-09-22 三峡大学 一种用于安检系统的行人健康监测方法
CN115170828B (zh) * 2022-07-15 2023-03-14 哈尔滨市科佳通用机电股份有限公司 基于深度学习的折角塞门卡子丢失故障检测方法
CN116403163B (zh) * 2023-04-20 2023-10-27 慧铁科技有限公司 一种截断塞门手把开合状态的识别方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080599A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车钩提杆的故障识别方法
CN111080611A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车摇枕弹簧折断故障图像识别方法
CN111079630A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁安装位置不正确的故障识别方法
CN111754472A (zh) * 2020-06-15 2020-10-09 南京冠纬健康科技有限公司 一种肺结节检测方法与检测系统
CN112434695A (zh) * 2020-11-20 2021-03-02 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的上拉杆故障检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288507B2 (en) * 2019-09-27 2022-03-29 Sony Corporation Object detection in image based on stochastic optimization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080599A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车钩提杆的故障识别方法
CN111080611A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车摇枕弹簧折断故障图像识别方法
CN111079630A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁安装位置不正确的故障识别方法
CN111754472A (zh) * 2020-06-15 2020-10-09 南京冠纬健康科技有限公司 一种肺结节检测方法与检测系统
CN112434695A (zh) * 2020-11-20 2021-03-02 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的上拉杆故障检测方法

Also Published As

Publication number Publication date
CN113743375A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN113743375B (zh) 铁路货车折角塞门手把不正位识别方法
CN109871798B (zh) 一种基于卷积神经网络的遥感影像建筑物提取方法
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN111126359B (zh) 基于自编码器与yolo算法的高清图像小目标检测方法
CN111767801A (zh) 一种基于深度学习的遥感影像水域自动提取方法及系统
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN101901343B (zh) 基于立体约束的遥感影像道路提取方法
CN110503613B (zh) 基于级联空洞卷积神经网络的面向单幅图像去雨方法
CN112308860A (zh) 基于自监督学习的对地观测图像语义分割方法
CN110866879B (zh) 一种基于多密度雨纹感知的图像去雨方法
CN112488046B (zh) 一种基于无人机高分辨率影像的车道线提取方法
CN108765325A (zh) 一种小型无人机模糊图像复原方法
CN111079821A (zh) 一种脱轨自动制动拉环脱落故障图像识别方法
CN111652213A (zh) 一种基于深度学习的船舶水尺读数识别方法
CN111709888B (zh) 一种基于改进的生成对抗网络的航拍图像去雾方法
CN111080621B (zh) 一种铁路货车地板破损故障图像识别方法
CN114842430B (zh) 一种用于道路监测的车辆信息识别方法及系统
CN115829942A (zh) 基于非负性约束稀疏自编码器的电子电路缺陷检测方法
CN109508639B (zh) 基于多尺度带孔卷积神经网络的道路场景语义分割方法
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN116665053B (zh) 顾及阴影信息的高分辨遥感影像建筑物识别方法及系统
CN111914749A (zh) 基于神经网络的车道线识别方法及其系统
CN112258402A (zh) 一种快速去雨的密集残差生成对抗网络
CN116740572A (zh) 一种基于改进yolox的海上船舰目标检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant