CN111091548A - 基于深度学习的铁路货车承载鞍错位故障图像识别方法及系统 - Google Patents
基于深度学习的铁路货车承载鞍错位故障图像识别方法及系统 Download PDFInfo
- Publication number
- CN111091548A CN111091548A CN201911272606.XA CN201911272606A CN111091548A CN 111091548 A CN111091548 A CN 111091548A CN 201911272606 A CN201911272606 A CN 201911272606A CN 111091548 A CN111091548 A CN 111091548A
- Authority
- CN
- China
- Prior art keywords
- convolution unit
- convolution
- image
- multiplied
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
基于深度学习的铁路货车承载鞍错位故障图像识别方法及系统，属于货运列车检测技术领域。本发明是为了解决目前依靠人工查看图像的检测方式存在低效率等问题，以及现有的图像自动处理技术进行检测存在准确率低的问题。本发明针对待检测图像，使用U型深度学习网络进行预测，预测出承载鞍轮廓区域，得到预测后的二值图像；根据二值图像确定承载鞍轮廓区域上边缘直线，通过上边缘直线的角度变化判断其是否为发生故障：如果上边缘直线角度偏移大于预先设定的阈值，则对此部分承载鞍进行故障报警；若上边缘直线角度偏移小于等于设定的阈值，则处理下一张承载鞍图像。本发明主要用于承载鞍错位故障图像识别。
Description
技术领域
本发明涉及一种铁路货车承载鞍错位故障图像识别方法。属于货运列车检测技术领域。
背景技术
货车承载鞍错位故障是一种危及行车安全的故障，在承载鞍故障检测中，现有的方法 是采用人工检查图像的方式进行故障检测。由于检车人员在工作过程中极易出现疲劳、遗 漏等情况，从而造成漏检、错检的现象的出现，严重影响着行车安全。
现有的货车承载鞍错位故障检测均为人工完成，从理论上也可以采用图像自动识别的 方式进行检测的，从而可以避免漏检、错检，理论上也可以可提高检测效率和稳定性。但 是目前现有的深度学习模型都是为了能够实现尽可能多的类型和领域的图像处理(如Imagenet图像识别大赛中模型，都是经过很多领域巨量图片处理训练的)，最好是能够使用和处理任何一个领域。但是由于目前的深度学习模型的特点，其处理常规领域具有明显的优势，但是针对于货车设备检测领域，由于其图像具有非常高的复杂性，以及图片非常小的特定，利用现有的深度学习模型进行处理，其准确率并不高。
发明内容
本发明是为了解决目前依靠人工查看图像的检测方式存在低效率等问题，以及现有的 图像自动处理技术进行检测存在准确率低的问题。
基于深度学习的铁路货车承载鞍错位故障图像识别方法，包括以下步骤：
s1、针对待检测图像，使用U型深度学习网络进行预测，预测出承载鞍轮廓区域，得到预测后的二值图像，二值图像中0值为非承载鞍区域，1值为承载鞍区域；
s2、根据二值图像确定承载鞍轮廓区域上边缘直线，通过上边缘直线的角度变化判断 其是否为发生故障：如果上边缘直线角度偏移大于预先设定的阈值，则对此部分承载鞍进 行故障报警；若上边缘直线角度偏移小于等于设定的阈值，则处理下一张承载鞍图像。
进一步地，所述U型深度学习网络如下：
第一卷积单元为32通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次； 第一卷积单元的输出分为两条支路，一条支路与第九卷积单元的输出相加后作为第十卷积 单元的输入，另一条支路经过池化作为第二卷积单元的输入；
第二卷积单元为64通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次； 第二卷积单元的输出分为两条支路，一条支路与第八卷积单元的输出相加后作为第九卷积 单元的输入，另一条支路经过池化作为第三卷积单元的输入；
第三卷积单元为128通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次； 第三卷积单元的输出分为两条支路，一条支路与第七卷积单元的输出相加后作为第八卷积 单元的输入，另一条支路经过池化作为第四卷积单元的输入；
第四卷积单元为256通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次； 第四卷积单元的输出分为两条支路，一条支路与第六卷积单元的输出相加后作为第七卷积 单元的输入，另一条支路经过池化作为第五卷积单元的输入；
第五卷积单元为512通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次； 第五卷积单元的输出作为第六卷积单元的输入；
第六卷积单元为256通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；
第七卷积单元为128通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；
第八卷积单元为64通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；
第九卷积单元为32通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；
第十卷积单元为2通道的1×1大小的卷积核后接ReLU激活函数，此过程作用两次；第十卷积单元的输出为最终输出。
进一步地，所述的U型深度学习网络模型的损失函数如下：
其中，y表示真实标记的分布，
则为预测分布。
进一步地，所述U型深度学习网络模型的参数通过训练过程确定。
进一步地，所述U型深度学习网络模型的训练过程中获取训练样本的过程包括以下步 骤：
w1、采集图像建立样本数据集；
样本数据集包括：灰度图像集与标记图像集；
灰度图像集为采集的灰度图像的数据集；标记图像集为承载鞍部件的分割图像的数据 集，标记图像集中的承载鞍部件的上边缘标记为直线；标记图像集中的图像为二值图像， 通过人工标记的方式获取；灰度图像集与标记图像数据集之间是一一对应的；
w2、对样本数据集进行数据扩增：
扩增形式包括图像的旋转、平移、缩放、镜像操作的一种或多种。
基于深度学习的铁路货车承载鞍错位故障图像识别系统，包括一个U型深度学习网络 模型；
所述U型深度学习网络模型如下：
第一卷积单元为32通道的3×3大小的卷积核后接ReLU激活函数；第一卷积单元的输出分为两条支路，一条支路与第九卷积单元的输出相加后作为第十卷积单元的输入，另一条支路经过池化作为第二卷积单元的输入；
第二卷积单元为64通道的3×3大小的卷积核后接ReLU激活函数；第二卷积单元的输出分为两条支路，一条支路与第八卷积单元的输出相加后作为第九卷积单元的输入，另一条支路经过池化作为第三卷积单元的输入；
第三卷积单元为128通道的3×3大小的卷积核后接ReLU激活函数；第三卷积单元的 输出分为两条支路，一条支路与第七卷积单元的输出相加后作为第八卷积单元的输入，另 一条支路经过池化作为第四卷积单元的输入；
第四卷积单元为256通道的3×3大小的卷积核后接ReLU激活函数；第四卷积单元的 输出分为两条支路，一条支路与第六卷积单元的输出相加后作为第七卷积单元的输入，另 一条支路经过池化作为第五卷积单元的输入；
第五卷积单元为512通道的3×3大小的卷积核后接ReLU激活函数；第五卷积单元的 输出作为第六卷积单元的输入；
第六卷积单元为256通道的3×3大小的卷积核后接ReLU激活函数；
第七卷积单元为128通道的3×3大小的卷积核后接ReLU激活函数；
第八卷积单元为64通道的3×3大小的卷积核后接ReLU激活函数；
第九卷积单元为32通道的3×3大小的卷积核后接ReLU激活函数；
第十卷积单元为2通道的1×1大小的卷积核后接ReLU激活函数；第十卷积单元的输 出为最终输出。
进一步地，所述的基于深度学习的铁路货车承载鞍错位故障图像识别系统，还包括一 个错位故障识别模块
所述错位故障识别模块，根据二值图像确定承载鞍轮廓区域上边缘直线，通过上边缘 直线的角度变化判断其是否为发生故障：如果上边缘直线角度偏移大于预先设定的阈值， 则对此部分承载鞍进行故障报警；若上边缘直线角度偏移小于等于设定的阈值，则处理下 一张承载鞍图像。
进一步地，所述的基于深度学习的铁路货车承载鞍错位故障图像识别系统，还包括图 像获取模块，用于获取货车图像。
有益效果：
1、使用图像自动识别的方式代替人工检测，方法或系统能够自动识别车辆故障并报警， 作业标准统一，不再受人员素质和责任心影响，不仅能够解决高成本的问题；并且由于无 需人工逐张浏览图片，人工只需对报警图片进行故障确认即可完成检车作业，可节省大量 的动态检车人员，提高作业效率。相比现有的人工检测，检测效率至少提高数十倍，并且 图像数量的增加，效率还会进一步提高；而且利用本发明还能够有效提高作业质量。
2、基于深度学习的故障检测方法比传统的手工标准特征提取的机器视觉检测方法具有 高的灵活性、准确性和鲁棒性。本发明的方法不仅几乎不受到雨水、泥渍、油渍、黑漆等 自然条件或者人为条件的影响，而且避免了承载鞍上下边界不清楚导致的漏检，能够极大 地提高检测准确率，利用本发明进行铁路货车承载鞍错位故障图像识别，检测的漏检率几 乎为0。
附图说明
图1为具体实施方式一的流程图；
图2为训练U型深度学习网络的流程图；
图3为U型深度学习网络的处理流程图；
图4(a)、图4(b)为K2转向架的承载鞍部分图像对应的实际承载鞍轮廓和标记承载鞍轮廓(上边缘为直线)；
图5(a)、图5(b)为K4转向架的承载鞍部分图像对应的实际承载鞍轮廓和标记承载鞍轮廓(上边缘为直线)；
图6(a)、图6(b)为K6转向架的承载鞍部分图像对应的实际承载鞍轮廓和标记承载鞍轮廓(上边缘为直线)；
图7(a)、图7(b)为K6转向架的承载鞍部分图像对应的实际承载鞍轮廓和标记承载鞍轮廓(上边缘为直线)。
具体实施方式
具体实施方式一：结合图1说明本实施方式，
本实施方式为基于深度学习的铁路货车承载鞍错位故障图像识别方法。
在进行铁路货车承载鞍错位故障图像识别前，需要建立深度学习网络模型，包括以下 步骤：
一、建立样本数据集
分别在货车轨道周围搭建高清图像采集设备，货车通过设备后，获取高清图像。图像 为清晰的灰度图像。由于货车部件可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响，以及不同站点拍摄的图像可能存在差异。因此，承载鞍图像之间千差万别。 所以，在收集承载鞍图像数据的过程中，要保证多样性，尽量将各种条件下的承载鞍图像 全部收集。
获取数据集图像，数据集图像通过真实过车轴距信息，依据承载鞍部件位置的先验知 识，在真实过车图像中进行截取，截取的待检测图像须变换至相同大小。
在不同类型的转向架中，承载鞍部件的形态会不同。由于不同类型间出现的频率差别 较大，某些较不常见转向架类型的承载鞍部件收集较为困难，所以本实施方式中将全部类 型的承载鞍部件统称为一类，全部按照一类来建立样本数据集。
图4(a)、图4(b)至图7(a)、图7(b)展示了四种常见转向架类型的承载鞍轮廓； 其中，图4(a)、图4(b)为K2转向架的承载鞍部分图像对应的实际承载鞍轮廓和标记承 载鞍轮廓(上边缘为直线)；图5(a)、图5(b)为K4转向架的承载鞍部分图像对应的实 际承载鞍轮廓和标记承载鞍轮廓(上边缘为直线)；图6(a)、图6(b)为K6转向架的承 载鞍部分图像对应的实际承载鞍轮廓和标记承载鞍轮廓(上边缘为直线)；图7(a)、图7 (b)为K6转向架的承载鞍部分图像对应的实际承载鞍轮廓和标记承载鞍轮廓(上边缘为 直线)。
如图4(a)至图7(a)所示，四种常见转向架类型的承载鞍轮廓的上边缘均非完全直线形状，导致处理相对复杂，而且同时由于实际的图像中承载鞍上边和下边不是非常清晰，所以导致处理效果也不是非常理想(这也是现有的深度学习网络进行处理的准确率不高的一方面原因)。在本实施方式的标记过程中，采用如图所示的直线连接，不仅可以使用U 形神经网络，提取准确的轮廓，而且在判断其是否为错位故障时，能够通过直线的角度变 化更加快速准确判断其是否为故障。
样本数据集包括：灰度图像集与标记图像集。灰度图像集为设备拍摄的高清灰度图像 的数据集，标记图像集为承载鞍部件的分割图像的数据集，此部分图像为二值图像，通过 人工标记的方式获取。灰度图像数据集与标记图像数据集之间是一一对应的，即每个灰度 图像对应一个标记图像。
样本数据集的建立虽然包括各种条件下的图像，但为提高算法的稳定性，仍需要对样 本数据集进行数据扩增。扩增形式包括图像的旋转、平移、缩放、镜像等操作，每种操作 都是在随机条件下进行的，这样可以最大程度的保证样本的多样性和适用性。
二、训练U型深度学习网络模型，如图2所示，
首先，初始化权重系数(U型深度学习网络的参数)，采用随机方式进行初始化。
其次，将样本数据进行灰度归一化处理，即将其灰度值归一化至0到1的范围内。将归一化后的数据作为输入数据，输入到U型深度学习网络中。
U型深度学习网络主要包括卷积(convolution)、池化(Pooling)和激活函数(ReLU) 作用等操作。
卷积是一个二维的滤波器矩阵(卷积核)与一个待处理的二维图像进行逐个元素相乘 再求和的操作。池化是将输入图像进行降维，减少像素信息，只保留重要信息。最大池化 (max-pooling)保留了每块内的最大值。激活函数(The Rectified Linear Unit，修正线性单 元)是分段线性函数，所有的负值都是0，正值不变，这种操作被称为单侧抑。激活函数 如公式(1)：
相比于其他激活函数，对于线性函数而言，ReLU的表达能力更强，尤其体现在深度网 络中；而对于非线性函数而言，ReLU由于非负区间的梯度为常数，因此不存在梯度消失问 题，使得模型的收敛速度维持在一个稳定状态。
U型深度学习网络具体结构如下：
第一卷积单元为32通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次； 第一卷积单元的输出分为两条支路，一条支路与第九卷积单元的输出相加后作为第十卷积 单元的输入，另一条支路经过池化作为第二卷积单元的输入；
第二卷积单元为64通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次； 第二卷积单元的输出分为两条支路，一条支路与第八卷积单元的输出相加后作为第九卷积 单元的输入，另一条支路经过池化作为第三卷积单元的输入；
第三卷积单元为128通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次； 第三卷积单元的输出分为两条支路，一条支路与第七卷积单元的输出相加后作为第八卷积 单元的输入，另一条支路经过池化作为第四卷积单元的输入；
第四卷积单元为256通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次； 第四卷积单元的输出分为两条支路，一条支路与第六卷积单元的输出相加后作为第七卷积 单元的输入，另一条支路经过池化作为第五卷积单元的输入；
第五卷积单元为512通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次； 第五卷积单元的输出作为第六卷积单元的输入；
第六卷积单元为256通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；
第七卷积单元为128通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；
第八卷积单元为64通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；
第九卷积单元为32通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；
第十卷积单元为2通道的1×1大小的卷积核后接ReLU激活函数，此过程作用两次；第十卷积单元的输出为最终输出；
如图3所示，U型深度学习网络的处理步骤可以简单表示为：
第1步：使用32通道的3×3大小的卷积核进行卷积，后接ReLU激活函数，并进行 池化；
第2步：使用64通道的3×3大小的卷积核进行卷积，后接ReLU激活函数，并进行 池化；
第3步：使用128通道的3×3大小的卷积核进行卷积，后接ReLU激活函数，并进行池化；
第4步：使用256通道的3×3大小的卷积核进行卷积，后接ReLU激活函数，并进行池化；
第5步：使用512通道的3×3大小的卷积核进行卷积，后接ReLU激活函数；
第6步：上卷积，使用256通道的3×3大小的卷积核进行卷积，后接ReLU激活函数；
第7步：上卷积，使用128通道的3×3大小的卷积核进行卷积，后接ReLU激活函数；
第8步：上卷积，使用64通道的3×3大小的卷积核进行卷积，后接ReLU激活函数；
第9步：上卷积，使用32通道的3×3大小的卷积核进行卷积，后接ReLU激活函数；
第10步：使用2通道的1×1大小的卷积核进行卷积，后接ReLU激活函数；
输出变换后的数据。
通过初始化权重与变换数据作用，得到预测图像，将预测图像与真实标签图像进行差 分对比，并通过交叉熵损失函数损失函数(categorical_crossentropy)，即公式(2)：
其中，y表示真实标记的分布，
则为预测分布。
通过损失函数计算损失值，通过优化器Adam进行优化权重。Adam优化器具有高效、占用内存小、适合大规模数据等优点。
如下公式(3)所示：
W为权重，Wi为上一次的权重或者初始权重，η为学习率，学习率设定为0.0002，高学习率意味着在权重更新中采取更大的步骤，因此模型可能花费较少的时间来收敛于最优权重集合。但是，如果学习率过高，可能导致跳跃过大，不够精确，无法达到最佳点。
经过损失函数和优化器后，计算出新的权重系数，将权重系数进行更新，完成一次训 练迭代。
重复上述过程，将全部图像完成固定次数的迭代，但是并不是每次迭代都要更新权重， 只有损失函数更低的权重才会被更新，直到找到最优的权重系数，即得到训练好的U型深 度学习网络模型。
三、承载鞍错位故障判别
以上过程为训练U型深度学习网络模型的过程。当训练好U型深度学习网络模型后， 即可以进行承载鞍错位故障判别；过程包括以下步骤：
获取待检测图像，待检测图像通过真实过车轴距信息，依据承载鞍部件位置的先验知 识，在真实过车图像中进行截取，截取的待检测图像须变换至相同大小，与训练过程的样 本数据集一致；
针对待检测图像，使用训练好的U型深度学习网络进行预测，预测出承载鞍轮廓区域， 得到预测后的二值图像，二值图像中0值为非承载鞍区域，1值为承载鞍区域。
根据二值图像确定承载鞍轮廓区域上边缘直线，通过上边缘直线的角度变化判断其是 否为故障，正常承载鞍为水平放置，角度为0。如果发生故障会发生角度偏移，在二值承 载鞍图像中，使用图像处理方式计算出承载鞍放置的角度，如果上边缘直线角度偏移大于 预先设定的阈值，则对此部分承载鞍进行故障报警。若上边缘直线角度偏移小于等于设定 的阈值，则处理下一张承载鞍图像。
Claims (8)
1.基于深度学习的铁路货车承载鞍错位故障图像识别方法，其特征在于，包括以下步骤：
s1、针对待检测图像，使用U型深度学习网络进行预测，预测出承载鞍轮廓区域，得到预测后的二值图像，二值图像中0值为非承载鞍区域，1值为承载鞍区域；
s2、根据二值图像确定承载鞍轮廓区域上边缘直线，通过上边缘直线的角度变化判断其是否为发生故障：如果上边缘直线角度偏移大于预先设定的阈值，则对此部分承载鞍进行故障报警；若上边缘直线角度偏移小于等于设定的阈值，则处理下一张承载鞍图像。
2.根据权利要求1所述的基于深度学习的铁路货车承载鞍错位故障图像识别方法，其特征在于，所述U型深度学习网络如下：
第一卷积单元为32通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；第一卷积单元的输出分为两条支路，一条支路与第九卷积单元的输出相加后作为第十卷积单元的输入，另一条支路经过池化作为第二卷积单元的输入；
第二卷积单元为64通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；第二卷积单元的输出分为两条支路，一条支路与第八卷积单元的输出相加后作为第九卷积单元的输入，另一条支路经过池化作为第三卷积单元的输入；
第三卷积单元为128通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；第三卷积单元的输出分为两条支路，一条支路与第七卷积单元的输出相加后作为第八卷积单元的输入，另一条支路经过池化作为第四卷积单元的输入；
第四卷积单元为256通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；第四卷积单元的输出分为两条支路，一条支路与第六卷积单元的输出相加后作为第七卷积单元的输入，另一条支路经过池化作为第五卷积单元的输入；
第五卷积单元为512通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；第五卷积单元的输出作为第六卷积单元的输入；
第六卷积单元为256通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；
第七卷积单元为128通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；
第八卷积单元为64通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；
第九卷积单元为32通道的3×3大小的卷积核后接ReLU激活函数，此过程作用两次；
第十卷积单元为2通道的1×1大小的卷积核后接ReLU激活函数，此过程作用两次；第十卷积单元的输出为最终输出。
3.根据权利要求2所述的基于深度学习的铁路货车承载鞍错位故障图像识别方法，其特征在于，所述的U型深度学习网络模型的损失函数如下：
其中，y表示真实标记的分布，
则为预测分布。
4.根据权利要求2所述的基于深度学习的铁路货车承载鞍错位故障图像识别方法，其特征在于，所述U型深度学习网络模型的参数通过训练过程确定。
5.根据权利要求1、2、3或4所述的基于深度学习的铁路货车承载鞍错位故障图像识别方法，其特征在于，所述U型深度学习网络模型的训练过程中获取训练样本的过程包括以下步骤：
w1、采集图像建立样本数据集；
样本数据集包括：灰度图像集与标记图像集；
灰度图像集为采集的灰度图像的数据集；标记图像集为承载鞍部件的分割图像的数据集，标记图像集中的承载鞍部件的上边缘标记为直线；标记图像集中的图像为二值图像，通过人工标记的方式获取；灰度图像集与标记图像数据集之间是一一对应的；
w2、对样本数据集进行数据扩增：
扩增形式包括图像的旋转、平移、缩放、镜像操作的一种或多种。
6.基于深度学习的铁路货车承载鞍错位故障图像识别系统，其特征在于，包括一个U型深度学习网络模型；
所述U型深度学习网络模型如下：
第一卷积单元为32通道的3×3大小的卷积核后接ReLU激活函数；第一卷积单元的输出分为两条支路，一条支路与第九卷积单元的输出相加后作为第十卷积单元的输入，另一条支路经过池化作为第二卷积单元的输入；
第二卷积单元为64通道的3×3大小的卷积核后接ReLU激活函数；第二卷积单元的输出分为两条支路，一条支路与第八卷积单元的输出相加后作为第九卷积单元的输入，另一条支路经过池化作为第三卷积单元的输入；
第三卷积单元为128通道的3×3大小的卷积核后接ReLU激活函数；第三卷积单元的输出分为两条支路，一条支路与第七卷积单元的输出相加后作为第八卷积单元的输入，另一条支路经过池化作为第四卷积单元的输入；
第四卷积单元为256通道的3×3大小的卷积核后接ReLU激活函数；第四卷积单元的输出分为两条支路，一条支路与第六卷积单元的输出相加后作为第七卷积单元的输入，另一条支路经过池化作为第五卷积单元的输入；
第五卷积单元为512通道的3×3大小的卷积核后接ReLU激活函数；第五卷积单元的输出作为第六卷积单元的输入；
第六卷积单元为256通道的3×3大小的卷积核后接ReLU激活函数；
第七卷积单元为128通道的3×3大小的卷积核后接ReLU激活函数；
第八卷积单元为64通道的3×3大小的卷积核后接ReLU激活函数；
第九卷积单元为32通道的3×3大小的卷积核后接ReLU激活函数；
第十卷积单元为2通道的1×1大小的卷积核后接ReLU激活函数；第十卷积单元的输出为最终输出。
7.根据权利要求6所述的基于深度学习的铁路货车承载鞍错位故障图像识别系统，其特征在于，还包括一个错位故障识别模块
所述错位故障识别模块，根据二值图像确定承载鞍轮廓区域上边缘直线，通过上边缘直线的角度变化判断其是否为发生故障：如果上边缘直线角度偏移大于预先设定的阈值，则对此部分承载鞍进行故障报警；若上边缘直线角度偏移小于等于设定的阈值，则处理下一张承载鞍图像。
8.根据权利要求7所述的基于深度学习的铁路货车承载鞍错位故障图像识别系统，其特征在于，还包括图像获取模块，用于获取货车图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911272606.XA CN111091548B (zh) | 2019-12-12 | 2019-12-12 | 基于深度学习的铁路货车承载鞍错位故障图像识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911272606.XA CN111091548B (zh) | 2019-12-12 | 2019-12-12 | 基于深度学习的铁路货车承载鞍错位故障图像识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111091548A true CN111091548A (zh) | 2020-05-01 |
| CN111091548B CN111091548B (zh) | 2020-08-21 |
Family
ID=70395450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911272606.XA Active CN111091548B (zh) | 2019-12-12 | 2019-12-12 | 基于深度学习的铁路货车承载鞍错位故障图像识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111091548B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085723A (zh) * | 2020-09-09 | 2020-12-15 | 哈尔滨市科佳通用机电股份有限公司 | 一种货车摇枕弹簧窜出故障自动检测方法 |
| CN112258483A (zh) * | 2020-10-23 | 2021-01-22 | 哈尔滨市科佳通用机电股份有限公司 | 一种钩尾销插托错位和螺母丢失故障检测方法 |
| CN112651343A (zh) * | 2020-12-28 | 2021-04-13 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于图像处理的铁路货车制动梁折断故障识别方法 |
| CN114399472A (zh) * | 2021-12-28 | 2022-04-26 | 国能铁路装备有限责任公司 | 承载鞍故障检测方法、装置、计算机设备和存储介质 |
| CN116580245A (zh) * | 2023-05-29 | 2023-08-11 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货车承载鞍错位故障识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108109137A (zh) * | 2017-12-13 | 2018-06-01 | 重庆越畅汽车科技有限公司 | 车辆部件的机器视觉检测系统及方法 |
| CN109285129A (zh) * | 2018-09-06 | 2019-01-29 | 哈尔滨工业大学 | 基于卷积神经网络的图像真实噪声去除系统 |
| CN110210351A (zh) * | 2019-05-22 | 2019-09-06 | 上海银江智慧智能化技术有限公司 | 一种基于深度神经网络的车辆特征提取方法 |
| CN110309810A (zh) * | 2019-07-10 | 2019-10-08 | 华中科技大学 | 一种基于批次中心相似度的行人重识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201607713D0 (en) * | 2016-05-03 | 2016-06-15 | Imagination Tech Ltd | Convolutional neural network |
| CN110349087B (zh) * | 2019-07-08 | 2021-02-12 | 华南理工大学 | 基于适应性卷积的rgb-d图像高质量网格生成方法 |
-
2019
- 2019-12-12 CN CN201911272606.XA patent/CN111091548B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108109137A (zh) * | 2017-12-13 | 2018-06-01 | 重庆越畅汽车科技有限公司 | 车辆部件的机器视觉检测系统及方法 |
| CN109285129A (zh) * | 2018-09-06 | 2019-01-29 | 哈尔滨工业大学 | 基于卷积神经网络的图像真实噪声去除系统 |
| CN110210351A (zh) * | 2019-05-22 | 2019-09-06 | 上海银江智慧智能化技术有限公司 | 一种基于深度神经网络的车辆特征提取方法 |
| CN110309810A (zh) * | 2019-07-10 | 2019-10-08 | 华中科技大学 | 一种基于批次中心相似度的行人重识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| JIHO PARK: "Reconstruction of seismic field data with convolutional U-Net considering the optimal training input data", 《SEG TECHNICAL PROGRAM EXPANDED ABSTRACTS 2019 》 * |
| 吉彬: "改进U-Net及其在喉白斑病灶分割中的应用", 《计算机工程》 * |
| 王元章: "基于BP 神经网络的光伏组件在线故障诊断", 《电网技术》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085723A (zh) * | 2020-09-09 | 2020-12-15 | 哈尔滨市科佳通用机电股份有限公司 | 一种货车摇枕弹簧窜出故障自动检测方法 |
| CN112258483A (zh) * | 2020-10-23 | 2021-01-22 | 哈尔滨市科佳通用机电股份有限公司 | 一种钩尾销插托错位和螺母丢失故障检测方法 |
| CN112258483B (zh) * | 2020-10-23 | 2021-07-06 | 哈尔滨市科佳通用机电股份有限公司 | 一种钩尾销插托错位和螺母丢失故障检测方法 |
| CN112651343A (zh) * | 2020-12-28 | 2021-04-13 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于图像处理的铁路货车制动梁折断故障识别方法 |
| CN114399472A (zh) * | 2021-12-28 | 2022-04-26 | 国能铁路装备有限责任公司 | 承载鞍故障检测方法、装置、计算机设备和存储介质 |
| CN116580245A (zh) * | 2023-05-29 | 2023-08-11 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货车承载鞍错位故障识别方法 |
| CN116580245B (zh) * | 2023-05-29 | 2023-12-26 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货车承载鞍错位故障识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111091548B (zh) | 2020-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111091548B (zh) | 基于深度学习的铁路货车承载鞍错位故障图像识别方法及系统 | |
| CN111079747B (zh) | 铁路货车转向架侧架断裂故障图像识别方法 | |
| CN111091541B (zh) | 一种铁路货车横跨梁组装螺母丢失故障识别方法 | |
| CN110264459A (zh) | 一种土壤裂缝特征信息提取方法 | |
| CN111274843B (zh) | 基于监控视频的货车超载监测方法及系统 | |
| CN111079817B (zh) | 一种铁路货车横跨梁故障图像识别方法 | |
| CN111652295B (zh) | 一种铁路货车钩尾销托梁脱落故障识别方法 | |
| CN111080600A (zh) | 一种铁路货车弹簧托板上开口销的故障识别方法 | |
| CN111079734B (zh) | 铁路货车三角孔异物检测方法 | |
| CN111079631A (zh) | 一种铁路货车钩提杆脱落故障识别方法及系统 | |
| CN112733742B (zh) | 一种基于深度学习的铁路货车下拉杆圆销故障检测方法 | |
| CN111079821A (zh) | 一种脱轨自动制动拉环脱落故障图像识别方法 | |
| CN111079630B (zh) | 一种铁路货车制动梁安装位置不正确的故障识别方法 | |
| CN104463165A (zh) | 一种融合Canny算子与Vibe算法的目标检测方法 | |
| CN111080607B (zh) | 一种基于图像识别的滚动轴承甩油故障检测方法 | |
| CN111079822A (zh) | 轴箱橡胶垫中间橡胶与上、下层板错位故障图像识别方法 | |
| CN112419298A (zh) | 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质 | |
| CN111091554B (zh) | 铁路货车摇枕断裂故障图像识别方法 | |
| CN112329858B (zh) | 一种铁路动车防松铁丝折断故障图像识别方法 | |
| CN111652228B (zh) | 铁路货车枕梁孔异物检测方法 | |
| CN115953678A (zh) | 一种基于局部灰度极值点和特征融合的路面破损检测方法 | |
| CN112508908B (zh) | 基于图像处理动车组撒砂管接头断开故障检测方法 | |
| CN118096728B (zh) | 基于机器视觉的零部件喷涂质量检测方法 | |
| CN115439737B (zh) | 一种基于图像修复的铁路棚车车窗故障图像识别方法 | |
| CN104573692B (zh) | 一种基于模糊退化模型的车牌二值化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |