CN115439691B - Tvds故障自动识别系统 - Google Patents

Tvds故障自动识别系统 Download PDF

Info

Publication number
CN115439691B
CN115439691B CN202211080628.8A CN202211080628A CN115439691B CN 115439691 B CN115439691 B CN 115439691B CN 202211080628 A CN202211080628 A CN 202211080628A CN 115439691 B CN115439691 B CN 115439691B
Authority
CN
China
Prior art keywords
module
fault
image
type
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211080628.8A
Other languages
English (en)
Other versions
CN115439691A (zh
Inventor
马元通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202211080628.8A priority Critical patent/CN115439691B/zh
Publication of CN115439691A publication Critical patent/CN115439691A/zh
Application granted granted Critical
Publication of CN115439691B publication Critical patent/CN115439691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

TVDS故障自动识别系统，属于铁路列车检测技术领域。为了解决现有的人工检测效率低，准确率低的问题，以及自动故障识别系统庞大对硬件要求高的问题。本发明包括根据车辆图像进行车型、转向架类型、车钩类型的识别，并对待检测工位图像进行增强处理的图像预处理模块，以及根据铁路客车车型、转向架类型、车钩类型信息对增强后的待检测工位图像进行故障识别的故障自动识别模块；其中车型分析是根据不同铁路客车车型对应的部件形态、位置确定铁路客车车型的；将待检测工位图像进行增强处理是采用自适应光照水平调节策略进行的，转向架类型识别、车钩类型识别，以及故障自动识别模块是基于深度学习的方式实现的。本发明用于TVDS故障自动识别。

Description

TVDS故障自动识别系统
技术领域
本发明属于铁路列车检测技术领域，具体涉及一种TVDS故障自动识别系统。
背景技术
TVDS是我国客车运行重要的安全保障设备，目前全路共建设TVDS设备400多套，依旧采用人工逐张看图的方式进行检车作业，工作强度大，效率低，人员培训成本高，同时由于作业量大，人员紧张，易受人员素质和劳动强度等因素影响，存在漏检隐患，因此搭建进行故障的自动识别的需求已经日益凸显。近几年，随着人工智能技术不断发展，深度学习、图像处理和传统机器学习算法在图像识别领域得到了广泛的应用。将智能检测技术应用到铁路客车故障检测中，可提高故障检测精度和检测效率，保障列车安全运行。
随着深度学习技术的发展，也可以利用深度学习技术对铁路列车进行检测，深度学习技术可以直接根据部件的信息进行检测，也可以实现对不同车型的检测。这样的优点是方便快捷，但是由于不同的部件的不同特点导致的图像数据的空间分布不一致，通过某个深度学习技术对不同部件的检测时，不能针对所有部件都取得良好的效果，因此针对于TVDS故障自动识别系统来说，需要不同神经网络模型来参与识别，从而导致系统十分庞大，对于检测要求较高。
发明内容
本发明的目的是为了解决现有的人工检测效率低，准确率低的问题，以及自动故障识别系统庞大对硬件要求高的问题。
TVDS故障自动识别系统，包括图像预处理模块和故障自动识别模块；
图像预处理模块根据车辆图像进行车型、转向架类型、车钩类型的识别，并对待检测工位图像进行增强处理；其包括车型分析子模块、转向架类型识别子模块、车钩类型识别子模块、图像增强子模块；其中，
车型分析子模块：根据不同铁路客车车型对应的部件形态、位置确定铁路客车车型；
转向架类型识别子模块：利用转向架类型识别网络模型识别转向架类型；
车钩类型识别子模块：利用车钩类型识别模型识别车钩类型；
图像增强子模块：将待检测工位图像进行增强处理，然后送入故障自动识别模块进一步处理；
故障自动识别模块根据铁路客车车型、转向架类型、车钩类型信息对增强后的待检测工位图像进行故障识别；包括丢失类子模块、折损类子模块、不正位类子模块；其中，
丢失类子模块：利用深度学习目标检测模型检测部件是否存在；
折损类子模块：首先使用目标检测网络对折损类故障的位置进行检测；然后针对检测出的故障，利用分类网络对图像是否存在噪声干扰进行分类，如果判断为存在干扰，判断为误报图像；
不正位类子模块：采用深度学习模型进行目标分割，将分割出的目标与原有目标做比较，如果发生位置上的不正位则判定为故障。
进一步地，TVDS故障自动识别系统，还包括待检测工位图像确定模块，待检测工位图像确定模块针对待检测任务中的待检测部件，根据客车的轴距信息、转向架类型和车型对不同工位图像进行拼接，得到待检测工位图像。
进一步地，TVDS故障自动识别系统，还包括图像信息采集模块，用于采集车辆的图像。
进一步地，根据权利要求3TVDS故障自动识别系统，还包括故障信息处理模块，用于将故障自动识别模块中的全部预警信息整合在一起。
进一步地，转向架类型识别网络模型为改进的VGG模型，改进的VGG模型包括：第一max pooling-dropout层、第二卷积单元、第二max pooling-dropout层、第三个卷积单元、第三max pooling-dropout层、第一全连接层、第一BN-dropout层、第二全连接层、第二BN-dropout层和一个softmax层；
第一卷积单元包括两个卷积层，第二卷积单元包括两个卷积层，第三个卷积单元包括三个卷积层，max pooling-dropout层包括一个池化操作和一个dropout操作；BN-dropout层包括一个BN操作和一个dropout操作。
进一步地，丢失类子模块采用的深度学习目标检测模型通过以下方式确定：
丢失类故障是指原有部件发生丢失后不可见，设置这类故障的数据集包含两部分：部件正常存在时的图像数据，以及丢失部件后的图像数据；
通过将不同待识别部件标记成不同类别，将不同部件的数据集合并为一个大数据集，通过深度学习训练得到深度学习目标检测模型的权值，从而得到深度学习目标检测模型。
进一步地，折损类子模块使用的目标检测网络和分类网络通过以下方式进行确定：
首先，准备两个训练集，一个目标检测训练集，另一个是分类训练集；
目标检测训练集中包含所有待检测故障所有样本，即折断故障和破损故障图像；利用目标检测训练集训练得到目标检测网络；
分类训练集中包含两种：一种是真实的折断和破损的图像；另一种是由于干扰导致的误报图像；利用分类训练集训练得到分类网络。
进一步地，不正位类子模块采用的深度学习模型通过以下方式确定：
不正位类故障是原有部件发生相对于固有位置的偏移，即不在固有位置上；
不正位类子模块采用的深度学习模型的训练集包含待识别部件正常位置图像，以及模拟各种形式的不正位故障图像，对训练集进行扩充，利用扩充后的训练集训练得到不正位类子模块对应的深度学习模型。
进一步地，图像增强子模块进行增强处理时采用自适应光照水平调节策略，自适应光照水平调节策略如下：
I(x,y)＝0.5×I1(x,y)+0.8×I2(x,y)+1.2×v(x,y)
其中，I(x,y)为增强后的像素值，I1(x,y)为对数变换后的像素值，I2(x,y)为非线性变换后的像素值，v(x,y)为原图像素值。
进一步地，非线性变换后的像素值的计算过程如下：
Figure BDA0003833007230000031
Figure BDA0003833007230000032
Figure BDA0003833007230000033
其中，v表示当前点的灰度值，I2表示变换后的灰度值，
Figure BDA0003833007230000034
表示原图的平均灰度值，a为调整系数；m和k(v)为中间变量。
本发明的有益效果：
针对不同站点相机、光照条件的不同的情况，本发明的一种光照自适应调节策略，用以减少不同站点间图像的差异，提高检测精度，从而提升了整体的检测准确率。
本发明先通过图像预处理模块的处理，然后根据故障形态，将故障识别模块分为三大类，对每类故障的图像数据集进行合并训练，并设计一套对应的识别流程。提高了模型训练的效率，并提升了每类故障的检测准确率和稳定性。更为重要的是，这种方式可以避免不同神经网络模型的大规模块使用，从而极大地缩小了系统，并提高了运行效率。
采用改进后的VGG模型进行转向架类型分类，提高了分类效果及运行效率。基于本发明的处理逻辑，可以用非常小的计算开销实现对多种故障的检测，并保证准确率。
附图说明
图1为TVDS故障自动识别系统处理流程示意图；
图2为图像预处理流程图；
图3为故障自动识别流程图；
图4为改进的VGG示意图。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。
具体实施方式一：
本实施方式为一种TVDS故障自动识别系统，包括图像预处理模块和故障自动识别模块；
图像预处理模块根据车辆图像进行车型、转向架类型、车钩类型的识别，并对待检测工位图像进行增强处理；其包括车型分析子模块、转向架类型识别子模块、车钩类型识别子模块、图像增强子模块；其中，
车型分析子模块：根据不同铁路客车车型对应的部件形态、位置确定铁路客车车型；
转向架类型识别子模块：利用转向架类型识别网络模型识别转向架类型；
车钩类型识别子模块：利用车钩类型识别模型识别车钩类型；
图像增强子模块：将待检测工位图像进行增强处理，然后送入故障自动识别模块进一步处理；
故障自动识别模块根据铁路客车车型、转向架类型、车钩类型信息对增强后的待检测工位图像进行故障识别；包括丢失类子模块、折损类子模块、不正位类子模块；其中，
丢失类子模块：利用深度学习目标检测模型检测部件是否存在；
折损类子模块：首先使用目标检测网络对折损类故障的位置进行检测；然后针对检测出的故障，利用分类网络对图像是否存在噪声干扰进行分类，如果判断为存在干扰，判断为误报图像；
不正位类子模块：采用深度学习模型进行目标分割，将分割出的目标与原有目标做比较，如果发生位置上的不正位则判定为故障。
具体实施方式二：
本实施方式为一种TVDS故障自动识别系统，其还包括待检测工位图像确定模块，待检测工位图像确定模块针对待检测任务中的待检测部件，根据客车的轴距信息、转向架类型和车型对不同工位图像进行拼接，得到待检测工位图像。
其他模块和参数与具体实施方式一相同。
具体实施方式三：
本实施方式为一种TVDS故障自动识别系统，其还包括图像信息采集模块，用于采集车辆的图像。
其他模块和参数与具体实施方式一或二相同。
具体实施方式四：
本实施方式为一种TVDS故障自动识别系统，其还包括故障信息处理模块，用于将故障自动识别模块中的全部预警信息整合在一起。
其他模块和参数与具体实施方式一至三之一相同。
具体实施方式五：
本实施方式为一种TVDS故障自动识别系统，转向架类型识别网络模型为改进的VGG模型，改进的VGG模型包括：第一max pooling-dropout层、第二卷积单元、第二maxpooling-dropout层、第三个卷积单元、第三max pooling-dropout层、第一全连接层、第一BN-dropout层、第二全连接层、第二BN-dropout层和一个softmax层；
第一卷积单元包括两个卷积层，第二卷积单元包括两个卷积层，第三个卷积单元包括三个卷积层，max pooling-dropout层包括一个池化操作和一个dropout操作；BN-dropout层包括一个BN操作和一个dropout操作。
其他模块和参数与具体实施方式一至四之一相同。
具体实施方式六：
本实施方式为一种TVDS故障自动识别系统，丢失类子模块采用的深度学习目标检测模型通过以下方式确定：
丢失类故障是指原有部件发生丢失后不可见，设置这类故障的数据集包含两部分：部件正常存在时的图像数据，以及丢失部件后的图像数据；
通过将不同待识别部件标记成不同类别，将不同部件的数据集合并为一个大数据集，通过深度学习训练得到深度学习目标检测模型的权值，从而得到深度学习目标检测模型。
其他模块和参数与具体实施方式一至五之一相同。
具体实施方式七：
本实施方式为一种TVDS故障自动识别系统，折损类子模块使用的目标检测网络和分类网络通过以下方式进行确定：
首先，准备两个训练集，一个目标检测训练集，另一个是分类训练集；
目标检测训练集中包含所有待检测故障所有样本，即折断故障和破损故障图像；利用目标检测训练集训练得到目标检测网络；
分类训练集中包含两种：一种是真实的折断和破损的图像；另一种是由于干扰导致的误报图像；利用分类训练集训练得到分类网络。
其他模块和参数与具体实施方式一至六之一相同。
具体实施方式八：
本实施方式为一种TVDS故障自动识别系统，不正位类子模块采用的深度学习模型通过以下方式确定：
不正位类故障是原有部件发生相对于固有位置的偏移，即不在固有位置上；
不正位类子模块采用的深度学习模型的训练集包含待识别部件正常位置图像，以及模拟各种形式的不正位故障图像，对训练集进行扩充，利用扩充后的训练集训练得到不正位类子模块对应的深度学习模型。
其他模块和参数与具体实施方式一至七之一相同。
具体实施方式九：
本实施方式为一种TVDS故障自动识别系统，图像增强子模块进行增强处理时采用自适应光照水平调节策略，自适应光照水平调节策略如下：
I(x,y)＝0.5×I1(x,y)+0.8×I2(x,y)+1.2×v(x,y)
其中，I(x,y)为增强后的像素值，I1(x,y)为对数变换后的像素值，I2(x,y)为非线性变换后的像素值，v(x,y)为原图像素值。
其他模块和参数与具体实施方式一至八之一相同。
具体实施方式十：
本实施方式为一种TVDS故障自动识别系统，非线性变换后的像素值的计算过程如下：
Figure BDA0003833007230000061
Figure BDA0003833007230000062
Figure BDA0003833007230000063
其中，v表示当前点的灰度值，I2表示变换后的灰度值，
Figure BDA0003833007230000064
表示原图的平均灰度值，a为调整系数；m和k(v)为中间变量。
其他模块和参数与具体实施方式九相同。
实施例
如图1所示，TVDS故障自动识别系统，包括：
图像信息采集模块：用于采集车辆的图像。在铁路客车底部和侧部分别架设高清高分辨率相机，对高速通过的列车进行拍摄，获取车辆的高清图像。采用线扫描，可实现图像无缝拼接，生成视野大、精度高的二维图像。
图像预处理模块根据车辆的图像进行车型、转向架类型、车钩类型的识别，并对待检测工位图像进行增强处理，如图2所示，其包括车型分析子模块、转向架类型识别子模块、车钩类型识别子模块、图像增强子模块。
车型分析子模块：根据不同铁路客车车型对应的部件形态、位置不同确定铁路客车车型。
客车车型包括：25G型、25T型、25K型、25B型、18型、25型等等。
转向架类型识别子模块：利用转向架类型识别网络模型识别转向架类型；
转向架类型识别网络模型为改进的VGG模型，本发明对Visual Geometry GroupNetwork(VGG-16)算法进行了改进，对图像中包含转向架类别进行判定。
VGG模型：VGG是在卷积神经网络的基础上开发的一个更为完善的深度网络模型，改模型的一个特点是固定卷积核的大小为3*3和2*2大小的池化层构建了一个16层的深度卷积网络模型。相比之前的网络结构，VGG的识别准确率大幅提高，而且具有很好的数据迁移性，在图像处理及目标识别上取得了很大的成功，所以本发明选择在VGG模型的基础上进行改进，用来进行转向架类型分类工作。
改进后的VGG模型：本发明对VGG模型进行了优化，在模型的多个卷积单元后添加max pooling和dropout操作，使得数据特征系数，保留主要特征，同时加速模型收敛。在每个全连接层后添加dropout以及BN操作，进一步加速模型收敛，同时提升分类效果。使用数据增强和迁移学习方法增加了模型的泛化能力和模型训练收敛速度。改进后VGG模型结构如图4所示，具体层次信息如下：
输入层：将输入图像转化为一个向量作为卷积层的输入。本模型加载转向架图像，将图像自动缩放为224*224大小，以适应模型的卷积层。
卷积单元：每个卷积单元包括多个卷积层，即其由一组特征图组成，同一组特征图共享一个3*3大小的卷积核。一个学习的卷积核与前一层的特征图做卷积，将对应元素累加后再加一个偏置，传递给非线性激活函数ReLU，得到特征图。
该模型共有7个卷积层，卷积核大小都为3*3大小，前两个卷积层含有32个特征图，紧跟一个池化操作，池化窗口大小为4*4，步长为2，池化方法为max pooling，池化操作后加入一个dropout操作，参数为0.2。中间的2个卷积层含有128个特征图且紧跟的池化层窗口大小为4*4，步长为2，池化方法为max pooling，，池化操作后加入一个dropout操作，参数为0.2。最后三个卷积层含有512个特征图，紧跟的池化窗口大小为7*7，步长为2，dropout操作参数为0.5。
全连接层：该模型最后两层为全连接层，每个全连接层含有特征图2048个，并且每个全连接层后紧跟BN操作和一个dropout，参数为0.5。
转向架类型识别网络模型的训练过程：首先，收集各类转向架的侧部图像作为训练集。为了提高分类的准确率，训练集中每种转向架类型的图像分布尽量平均，并要包含各站点的图像以及各类天气状况下的转向架图像。然后，利用包含转向架的图像数据集对修改后的VGG-16网络进行训练，直至交叉熵损失逐渐收敛。
转向架是铁路客车中关键部件，转向架类型的正确识别可提高故障自动识别的准确性。客车转向架类型包括：209P型转向架、209T型转向架、CW-200K型转向架、206P型转向架、PW-220K型转向架、CW-2型转向架、SW-160型转向架、SW-220K型转向架、206G型转向架、209HS型转向架等等。
车钩类型识别子模块：利用车钩类型识别模型识别车钩类型，车钩类型的识别的方式与转向架类型的识别方式相同。
车钩在铁路客车中占据着重要位置，因此车钩的正确识别对部件故障检测起着关键作用。车钩类型包括：15型、15C型、15CX型、CA3型和密接车钩等。
图像增强子模块：对待检测工位图像进行增强处理。
为提高模型的稳定性，需要对图像数据进行增强处理。扩增形式包括图像的旋转、平移、缩放、镜像等操作，每种操作都是在随机条件下进行的，这样可以最大程度地保证样本的多样性和适用性。
为减少不同站点间图像以及图像内部光照条件的差异，本发明使用一种自适应光照水平调节策略。常用的灰度变换方法包括：线性变换、对数变换、幂次变换。其中对数变换的效果最好，最接近人类视觉系统和摄像机对光线的感知能力。对数变换使得暗区信息得到很大增强，但同时也会使原图中亮的区域也进一步加强。由于列车底部情况和相机角度等因素，图像中可能既有很暗的区域也有很亮的区域。对数变换虽能提高暗区的亮度，但也会使得亮区加强过度，使得图像失真。为提高图像增强效果，提出了一种结合对数变换、非线性变换和原图信息的自适应光照水平调节策略。其中非线性变换对高光区域进行抑制，同时进一步增强暗区，函数定义为：
Figure BDA0003833007230000081
Figure BDA0003833007230000082
Figure BDA0003833007230000091
其中，v表示当前点的灰度值，I2表示变换后的灰度值，
Figure BDA0003833007230000092
表示原图的平均灰度值，a为调整系数。a越小，灰度值小的像素点经过非线性变换后灰度值越大，但同时也容易失去纹理细节信息；a越大，虽然保留了纹理信息，但灰度值小的像素增强不够。因此可以选择一个适中的a值，a＝1时，既增强了暗区像素，有很好的保留了纹理信息。m和k(v)为中间变量。
将对数变换图像、非线性变换图像和原图进行综合，得到自适应光照水平调节策略：
I(x,y)＝0.5×I1(x,y)+0.8×I2(x,y)+1.2×v(x,y)
Figure BDA0003833007230000093
其中，I(x,y)为增强后的像素值，I1(x,y)为对数变换后的像素值，I2(x,y)为非线性变换后的像素值，v(x,y)为原图像素值，b为对数变换调节参数。
待检测工位图像确定模块：针对待检测任务中的待检测部件，根据客车的轴距信息、转向架类型和车型对不同工位图像进行拼接，得到待检测工位图像；然后将待检测工位图像发送给图像增强子模块进行图像增强。
本发明并没有基于车辆的图像根据先验信息进行截取，而是基于图像采集设备采集的铁路客车底部和侧部图像信息，根据先验信息有选择的进行拼接，从而得到待检测工位图像；通过在不同工位上做故障识别，可有效减少部件定位所需时间，提升识别准确率。
故障自动识别模块：根据铁路客车车型、转向架类型、车钩类型信息进行故障识别；将所有待识别故障，按照故障形态分成三类：丢失类故障、折损类故障和不正位类故障。根据这三类故障可将自动识别模块分成丢失类子模块、折损类子模块和不正位类子模块。
针对于相同的部件，在不同车型、转向架类型和车钩下，部件的位置和种类可能不同，所以需要图像预处理模块提供先验知识，以便后续更准确的识别。如图3所示，故障自动识别模块包括：
丢失类子模块：利用深度学习目标检测算法检测部件是否存在，若不存在则进行故障报警。
丢失类故障是指原有部件发生丢失后不可见，例如：弹簧托板螺栓丢失故障。这类故障的数据集包含两部分：部件正常存在时的图像数据，以及丢失部件后的图像数据。通过将不同待识别部件标记成不同类别，可将不同部件的数据集合并为一个大数据集，通过深度学习模型训练得到一套权值。利用深度学习目标检测算法，检测部件是否存在，若不存在则进行故障报警。通过丢失类子模块即可解决全部丢失类故障的识别。
折损类子模块：首先使用目标检测网络对折损类故障的位置进行检测；然后针对检测出的故障，利用分类网络对图像是否存在噪声干扰进行分类，如果判断为存在干扰，判断为误报图像；
折损类故障主要包含折断故障和破损故障，例如：制动梁折断故障、车体底板破损故障。该子模块通常将目标检测模型与分类模型结合使用。
首先，准备两个训练集，一个目标检测训练集，另一个是分类训练集。目标检测训练集中包含所有待检测故障所有样本，即折断故障和破损故障图像。分类训练集中包含两种：一种是真实的折断和破损的图像；另一种是由于干扰导致的误报图像，例如雨水、泥渍等噪声。
其次，分别利用两个训练集进行训练，分别得到目标检测网络的权值和分类网络的权值。
最后，在折损类子模块中，先使用目标检测网络对折损类故障的位置进行检测；然后针对检测出的故障，利用分类网络对图像是否存在噪声干扰进行分类，如果判断为存在干扰，判断为误报图像，滤除这项报警。
通过折损类子模块即可解决全部折损类故障的识别。
不正位类子模块：
不正位类故障是原有部件发生相对于固有位置的偏移，即不在固有位置上，故称为“不正位”，例如：摇枕吊销窜出故障、钩提杆脱落故障等。不正位类子模块采用深度学习模型进行目标分割，将分割出的目标与原有目标做比较，如果发生位置上的不正位则判定为故障。该子模块的训练集包含待识别部件正常位置图像，以及模拟各种形式的不正位故障图像，作为数据集的扩充，以此来保证模型的稳定性。通过不正位类子模块即可解决全部不正位类故障的识别。
故障信息处理模块：将故障自动识别模块中的全部预警信息整合在一起。预警信息包括：故障坐标信息、故障名称信息、车型信息、转向架信息、车钩信息。故障信息处理模块根据检车平台所需内容，在全部预警信息中进行相关信息提取，最终将故障信息上传至检车平台，供检车工人查看。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (9)

1.TVDS故障自动识别系统，其特征在于，包括图像预处理模块和故障自动识别模块；
所述图像预处理模块根据车辆图像进行车型、转向架类型、车钩类型的识别，并对待检测工位图像进行增强处理；其包括车型分析子模块、转向架类型识别子模块、车钩类型识别子模块、图像增强子模块；其中，
车型分析子模块：根据不同铁路客车车型对应的部件形态、位置确定铁路客车车型；
转向架类型识别子模块：利用转向架类型识别网络模型识别转向架类型；所述转向架类型识别网络模型为改进的VGG模型，改进的VGG模型包括：第一卷积单元、第一maxpooling-dropout层、第二卷积单元、第二max pooling-dropout层、第三个卷积单元、第三max pooling-dropout层、第一全连接层、第一BN-dropout层、第二全连接层、第二BN-dropout层和一个softmax层；
第一卷积单元包括两个卷积层，第二卷积单元包括两个卷积层，第三个卷积单元包括三个卷积层，max pooling-dropout层包括一个池化操作和一个dropout操作；BN-dropout层包括一个BN操作和一个dropout操作；
模型共有7个卷积层，卷积核大小都为3*3大小，前两个卷积层含有32个特征图，紧跟一个池化操作，池化窗口大小为4*4，步长为2，池化方法为max pooling，池化操作后加入一个dropout操作，参数为0.2；中间的2个卷积层含有128个特征图且紧跟的池化层窗口大小为4*4，步长为2，池化方法为max pooling，池化操作后加入一个dropout操作，参数为0.2；最后三个卷积层含有512个特征图，紧跟的池化窗口大小为7*7，步长为2，dropout操作参数为0.5；
车钩类型识别子模块：利用车钩类型识别模型识别车钩类型；
图像增强子模块：将待检测工位图像进行增强处理，然后送入故障自动识别模块进一步处理；
所述故障自动识别模块根据铁路客车车型、转向架类型、车钩类型信息对增强后的待检测工位图像进行故障识别；包括丢失类子模块、折损类子模块、不正位类子模块；其中，
丢失类子模块：利用深度学习目标检测模型检测部件是否存在；
折损类子模块：首先使用目标检测网络对折损类故障的位置进行检测；然后针对检测出的故障，利用分类网络对图像是否存在噪声干扰进行分类，如果判断为存在干扰，判断为误报图像；
不正位类子模块：采用深度学习模型进行目标分割，将分割出的目标与原有目标做比较，如果发生位置上的不正位则判定为故障。
2.根据权利要求1所述的TVDS故障自动识别系统，其特征在于，其还包括待检测工位图像确定模块，所述待检测工位图像确定模块针对待检测任务中的待检测部件，根据客车的轴距信息、转向架类型和车型对不同工位图像进行拼接，得到待检测工位图像。
3.根据权利要求2所述的TVDS故障自动识别系统，其特征在于，其还包括图像信息采集模块，用于采集车辆的图像。
4.根据权利要求3所述的TVDS故障自动识别系统，其特征在于，其还包括故障信息处理模块，用于将故障自动识别模块中的全部预警信息整合在一起。
5.根据权利要求4所述的TVDS故障自动识别系统，其特征在于，丢失类子模块采用的深度学习目标检测模型通过以下方式确定：
丢失类故障是指原有部件发生丢失后不可见，设置这类故障的数据集包含两部分：部件正常存在时的图像数据，以及丢失部件后的图像数据；
通过将不同待识别部件标记成不同类别，将不同部件的数据集合并为一个大数据集，通过深度学习训练得到深度学习目标检测模型的权值，从而得到深度学习目标检测模型。
6.根据权利要求5所述的TVDS故障自动识别系统，其特征在于，折损类子模块使用的目标检测网络和分类网络通过以下方式进行确定：
首先，准备两个训练集，一个目标检测训练集，另一个是分类训练集；
目标检测训练集中包含所有待检测故障所有样本，即折断故障和破损故障图像；利用目标检测训练集训练得到目标检测网络；
分类训练集中包含两种：一种是真实的折断和破损的图像；另一种是由于干扰导致的误报图像；利用分类训练集训练得到分类网络。
7.根据权利要求6所述的TVDS故障自动识别系统，其特征在于，不正位类子模块采用的深度学习模型通过以下方式确定：
不正位类故障是原有部件发生相对于固有位置的偏移，即不在固有位置上；
不正位类子模块采用的深度学习模型的训练集包含待识别部件正常位置图像，以及模拟各种形式的不正位故障图像，对训练集进行扩充，利用扩充后的训练集训练得到不正位类子模块对应的深度学习模型。
8.根据权利要求7所述的TVDS故障自动识别系统，其特征在于，所述图像增强子模块进行增强处理时采用自适应光照水平调节策略，所述自适应光照水平调节策略如下：
I(x,y)＝0.5×I1(x,y)+0.8×I2(x,y)+1.2×v(x,y)
其中，I(x,y)为增强后的像素值，I1(x,y)为对数变换后的像素值，I2(x,y)为非线性变换后的像素值，v(x,y)为原图像素值。
9.根据权利要求8所述的TVDS故障自动识别系统，其特征在于，非线性变换后的像素值的计算过程如下：
Figure FDA0004129286560000031
Figure FDA0004129286560000032
Figure FDA0004129286560000033
其中，v表示当前点的灰度值，I2表示变换后的灰度值，
Figure FDA0004129286560000034
表示原图的平均灰度值，a为调整系数；m和k(v)为中间变量。
CN202211080628.8A 2022-09-05 2022-09-05 Tvds故障自动识别系统 Active CN115439691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211080628.8A CN115439691B (zh) 2022-09-05 2022-09-05 Tvds故障自动识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211080628.8A CN115439691B (zh) 2022-09-05 2022-09-05 Tvds故障自动识别系统

Publications (2)

Publication Number Publication Date
CN115439691A CN115439691A (zh) 2022-12-06
CN115439691B true CN115439691B (zh) 2023-04-21

Family

ID=84247328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211080628.8A Active CN115439691B (zh) 2022-09-05 2022-09-05 Tvds故障自动识别系统

Country Status (1)

Country Link
CN (1) CN115439691B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022300A (zh) * 2016-06-02 2016-10-12 中国科学院信息工程研究所 基于级联深度学习的交通标志识别方法和系统
CN108122001A (zh) * 2017-12-13 2018-06-05 北京小米移动软件有限公司 图像识别方法及装置
CN110674730A (zh) * 2019-09-20 2020-01-10 华南理工大学 一种基于单目的人脸静默活体检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491765B (zh) * 2018-03-05 2020-12-15 中国农业大学 一种蔬菜图像的分类识别方法及系统
CN112434695B (zh) * 2020-11-20 2021-07-16 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的上拉杆故障检测方法
CN113516629A (zh) * 2021-05-14 2021-10-19 中国铁路沈阳局集团有限公司苏家屯车辆段 Tfds通过作业智能检测系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022300A (zh) * 2016-06-02 2016-10-12 中国科学院信息工程研究所 基于级联深度学习的交通标志识别方法和系统
CN108122001A (zh) * 2017-12-13 2018-06-05 北京小米移动软件有限公司 图像识别方法及装置
CN110674730A (zh) * 2019-09-20 2020-01-10 华南理工大学 一种基于单目的人脸静默活体检测方法

Also Published As

Publication number Publication date
CN115439691A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN110261436B (zh) 基于红外热成像和计算机视觉的轨道故障检测方法及系统
CN111652227B (zh) 铁路货车底部地板破损故障检测方法
CN112434695B (zh) 一种基于深度学习的上拉杆故障检测方法
CN111080650B (zh) 铁路货车小部件轴承挡键螺母松动和丢失故障检测方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
CN111862029A (zh) 一种铁路动车组垂向减震器螺栓部件故障检测方法
CN102346844B (zh) 一种货车下心盘螺栓丢失故障识别装置及其识别方法
CN111080600A (zh) 一种铁路货车弹簧托板上开口销的故障识别方法
CN110298300A (zh) 一种检测车辆违章压线的方法
CN113788051A (zh) 列车在站运行状态监测分析系统
CN113516629A (zh) Tfds通过作业智能检测系统
CN111598855B (zh) 一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法
CN116486287A (zh) 基于环境自适应机器人视觉系统的目标检测方法及系统
CN114511519A (zh) 一种基于图像处理的列车车底螺栓丢失检测方法
CN115527170A (zh) 货车脱轨自动制动装置塞门手把关闭故障识别方法及系统
CN115424128A (zh) 一种货车转向架下拉杆故障图像检测方法及系统
CN115272850A (zh) 一种铁路货车bab型闸调器拉杆头折断故障识别方法
CN112329858B (zh) 一种铁路动车防松铁丝折断故障图像识别方法
CN111091552A (zh) 铁路货车折角塞门把手关闭故障图像识别方法
CN115439691B (zh) Tvds故障自动识别系统
CN115359306B (zh) 一种铁路货检高清图像智能识别方法和系统
CN117351298A (zh) 一种基于深度学习的矿山作业车辆检测方法及系统
CN117274967A (zh) 一种基于卷积神经网络多模态融合车牌识别算法
CN115170923B (zh) 铁路货车托板螺母丢失的故障识别方法
CN114926456A (zh) 一种半自动标注和改进深度学习的铁轨异物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant