CN106778740A - 一种基于深度学习的tfds非故障图像检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的TFDS非故障图像检测方法，该方法基于深度学习理论，结合深度学习图像分类与目标检测技术，搭建一个能够同步检测多区域多类别的网络模型，该模型对铁路TFDS图像中的非故障关键部位的区域进行定位检测，未被检测出的图像判为疑似故障图像，这些少量疑似故障图像再由室内列检人员人眼观察检测。本发明提供的TFDS非故障图像检测方法借助深度学习技术，滤除大量非故障图像，仅将少量的疑似故障图像由人眼观察图像判别，该方法能够大大减轻室内列检人员的工作量，降低列检人员的工作强度。

Description

一种基于深度学习的TFDS非故障图像检测方法

技术领域

本发明涉及铁路检测领域，特别涉及一种基于深度学习的TFDS非故障图像检测方法。

背景技术

我国铁路发展迅速，成为人们出行、货物运输的重要交通工具，在给人们带来便利的同时，人们对铁路安全性能的要求也越来越高，任何细小的故障即可引发重大的事故。目前货车铁路的故障检测基于TFDS系统(货车运行故障图像动态检测系统)由监控室内的列检人员通过图像复示终端软件观察所采集图像，依赖人眼观察图像来完成，每天大量运行的列车需要大量的室内列检人员来观察图像，同时对每个室内列检人员来说是个巨大的工作量。

尽管目前一些研究人员针对某些特定的故障研究了一些故障自动识别算法，例如张益等在专利号为201110166974.3的发明专利“一种货车下心盘螺栓丢失故障识别装置及其识别方法”中提出了一种心盘螺栓丢失的故障识别方法。王敏在硕士论文“货车底部手把和拉杆的故障识别算法研究”中提出了基于模板匹配和基于目标结构特征的两种潜在故障区域的定位算法，定位后再对截断塞门手把关闭和缓解阀拉杆丢失两类故障进行判定。这些方法对故障出现的场景和故障的形态有很高的要求，而往往故障的种类多样化，且某个区域可能出现的故障形式也表现为多样化，因此这些自动故障识别算法效率不高，容易出现漏检，实用性不高，在现场依靠这些方法对列车进行故障自动识别会存在很大的风险。

从上述分析可以看出，目前现场的铁路货车故障检测还是需要大量的列检工作人员，然而，在实际铁路货车运行中，TFDS采集的图像中故障图像所占的比率是非常低的，而非故障图像占了大多数，因此，若能够有效检出大量非故障图像，只将少量疑似故障图像留给列检人员检测，将可以大大提高工作效率。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于深度学习的TFDS非故障图像检测方法，基于深度学习图像识别和目标检测技术，使用一个统一的网络模型同步检测多类关键区域，通过有效的训练使得该模型只检测出不包含故障的关键部位区域，从而滤除这些非故障图像，只将少数关键部位未检测出的图像作为疑似故障图像，由室内列检人员人眼观察检测。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于深度学习的TFDS非故障图像检测方法，包括以下步骤：

步骤11、收集TFDS图像，建立非故障图像训练样本图库和包含故障及非故障图像的测试样本图库；

步骤12、采用基于机器学习算法的半自动标注方法标注步骤11的非故障图像训练样本图库，得到标注信息，同时由非故障图像训练样本图库和标注信息建立关键区域图库；

步骤13、根据步骤11的非故障图像训练样本图库和步骤12的标注信息建立多区域多类别同步关键区域检测的网络模型，所述网络模型包括图像特征提取模块和目标区域检测模块，图像特征提取模块用于获取图像特征表达，目标区域检测模块用于对关键区域进行定位检测；

步骤14、使用步骤12的关键区域图库预训练步骤13的图像特征提取模块，获得步骤13的网络模型中图像特征提取模块网络层的预训练参数；

步骤15、根据步骤14的预训练参数初始化网络模型中的参数，结合步骤11包含故障及非故障图像的测试样本图库采用多次测试进一步微调的网络训练策略训练步骤12的网络模型，得到一个只检测非故障图像的网络模型；

步骤16、使用步骤15训练好的网络模型检测现场TFDS图像，检测时，先由步骤13的图像特征提取模块获得图像的特征表达，再由步骤13的目标区域检测模块定位关键区域，能够准确检测出该图像中关键区域的图像判为非故障图像，反之判为疑似故障图像，排除非故障图像，而疑似故障图像将由室内列检人员人眼去观察判别。

步骤11所述的非故障图像训练样本图库是只将包含待检测关键区域的非故障图像列入训练样本图库中，且保证包含每类关键区域的样本数基本均衡，避免样本倾斜；所述包含故障及非故障图像的测试样本图库则将包含待检测关键区域的故障及非故障图像均列入测试样本图库中，其中的故障图像尽可能包含该关键区域一些常见表现形式的故障图像。

步骤12所述的标注非故障图像训练样本图库是对步骤11中建立的非故障图像训练样本图库采用半自动标注的方法，即人工标注部分图像，并用这些带有人工标注的非故障图像训练样本图库训练一个基于机器学习算法构建的分类器，结合该分类器的检测辅助人工标注；建立关键区域图库是根据标注信息将非故障图像训练样本图库中的关键区域裁剪并按照关键区域的类别分类。

步骤13所述的建立多区域多类别同步关键区域检测的网络模型，即建立一个基于深度学习多类别的关键区域检测的网络模型，用于检测TFDS图像中的一些关键区域，检测的类别与待检测的关键区域类别数相一致；关键区域检测的网络模型基于卷积神经网络理论，包括图像特征提取模块和目标区域检测模块，具体包括以下步骤：

(1)基于原图像建立多层卷积层提取图像特征得到最后一层卷积特征图，该卷积特征图用于目标区域检测模块中目标区域的特征表达；(2)根据原图像提取候选区域，这些候选区域映射至最后一层卷积特征图得到相应的特征表达，再经过全连接层等至网络的输出层，网络的输出包括目标区域框的回归和目标区域框的分类。

其中由(1)得到图像特征提取模块，用于建立原图像的特征表达，从而便于获取(2)中候选区域的特征表达，由(2)得到目标区域检测模块，根据网络的输出即可得到网络模型检测到的目标区域及该目标区域所属的类别。

步骤14所述的关键区域图库预训练网络模型，仅预训练步骤13网络模型中的图像特征提取模块，即从图像输入到最后一层卷积特征图之间的权值参数；通过训练一个关键区域图库的分类网络，得到图像特征提取模块中网络层的预训练参数，该预训练参数能够给步骤13的网络模型提供一个较好的初始化参数。

步骤15中使用步骤14预训练得到的权值参数初始化步骤13网络模型的图像特征提取模块中的网络层参数，而其它参数随机初始化。

步骤15中，为了防止关键区域检测的网络模型将包含故障的关键区域检测出来，采用多次测试进一步微调网络的策略，即训练好的网络模型测试步骤11的测试样本图库，将检测错的关键区域作为负样本加入训练样本图库中继续训练，经过多次的测试与训练，获得最佳模型参数，用训练好的具有最佳模型参数的网络模型检测现场TFDS图像，能够准确检测出关键区域的图像判为非故障图像，反之判为疑似故障图像。

步骤15中训练得到的网络模型用于现场检测时，能够根据现场的检测结果不断优化，优化方法为：定期检查检测结果，将现场中检错的关键区域作为负样本加入至训练样本图库中继续训练，得到更优的模型参数。

本发明与现有技术相比的优点在于：本发明提供的一种基于深度学习的TFDS非故障图像检测方法，是一种铁路故障辅助检测方法，旨在于通过检测图像中非故障的关键区域来滤除大量正常图像，只将少量疑似故障的图像由室内列检人员人眼观察来检测，这种辅助检测方法能够大大减少室内列检人员的工作量，降低列检人员的工作强度，在现场有很强的实用性。不同于现有技术，该方法只将正常非故障图像检测出来，对故障表现的不同形态不予考虑，尤其对于表现形式多样化的故障，这种辅助检测方法能够有效避免漏检。同时，基于深度学习技术的关键区域检测算法不需要针对不同类别区域分别设计算法，直接交给网络去学习，大大减轻了以往人为设计特征提取器的复杂过程，能够实现同时对多个类别的关键区域进行检测。

附图说明

图1为本发明基于深度学习的TFDS非故障检测方法的总体实现流程图；

图2为半自动标注方法的流程示意图；

图3为侧架部位和部分中间部TFDS图像及关键区域标注。

具体实施方式

以下结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本发明基于深度学习的TFDS非故障检测方法的总体实现流程图，如图1所示，本发明的故障辅助检测方法包括以下步骤：

步骤11：收集TFDS图像，建立非故障图像训练样本图库和包含故障及非故障图像的测试样本图库。收集现场采集的不同车次的TFDS图像，挑选出非故障的图像建立训练样本图库，训练样本图库中包含需要检测的所有关键区域，且包含不同关键区域的图像样本数要基本均衡，避免样本倾斜。

将故障和非故障的图像建立测试样本图库，准备多组测试样本图库，每组的图像需要包含关键区域非故障和故障图像，其中故障图像包含关键区域中常见高发故障的各种表现形式。

步骤12、采用基于机器学习算法的半自动标注方法标注训练样本图库，得到标注信息，同时由训练样本图库和标注信息建立关键区域图库。标注是要针对每幅图像每个关键区域进行标注的，其中标注信息包括关键区域的左上角、右下角的像素坐标、以及关键区域的类别，建立与训练样本库一一对应的标注文件。

在基于深度学习有监督的网络模型中，带标注的样本是训练一个好模型的关键所在，且训练的样本数越多得到的模型越好，然而训练样本标注需要耗费大量的时间，传统的机器学习算法虽然效果远不如深度学习算法，但传统机器学习算法的训练需要的训练样本要少很多，因此借助传统机器学习算法采用半自动标注的方法，即人工标注部分图像(约占非故障图像训练样本图库的20％-30％)，并将该带标注样本训练一个基于机器学习算法构建的分类器，结合分类器的检测辅助人工标注。

如图2所示，半自动标注方法主要包括以下步骤：

a、人工标注部分图像样本，并将该带标注样本训练一个基于机器学习算法构建的分类器(例如Adaboost目标检测分类器)。

b、将未标注的样本进行分组，每组图像数与训练样本数相等。

c、将一组未标注样本输入a中训练好的分类器中，挑出分类器输出结果符合要求的样本，直接使用分类器输出数据制作该样本的标注，同时将这些制作好标注的样本加入原人工标注样本中作为新的更大的训练样本集，再一次训练该分类器。

d、取一组未标注样本输入新训练好的分类器中，同样挑出分类器输出结果符合要求的样本，使用分类器输出数据制作该样本的标注，再将这些带标注的样本加入上一次训练样本中重新训练。随着训练样本的增加，三次的训练能够大大提高分类器的性能，当然更多次的训练会让分类器更加强大，使网络的输出结果准确率进一步提高。

e、将剩余未标注样本以及前两次标注不符合要求的样本输入经过三次训练好的分类器中，对于分类器输出结果符合要求的样本，直接使用输出数据制作该样本的标注；对于分类器输出结果错误的样本，采用人工标注修正。这种机器标注和人工标注结合的标注模式，将大大减少人工标注工作量，降低纯人工标注错误率。

建立关键区域图库是将标注好的训练样本图库中的关键区域裁剪并按照区域的类别分类。

步骤13、建立多区域多类别同步关键区域检测的网络模型，模型包括图像特征提取模块和目标区域检测模块。关键区域检测包括两大步：图像特征提取和目标区域检测，图像特征提取采用一个多层的卷积神经网络模型提取图像特征，输入原图像，经过多层卷积池化等层的作用得到最后一层卷积特征图，该卷积特征图为目标区域检测过程提供特征表达。目标区域检测可以基于区域预测的检测方法，在文章“Faster R-CNN:Towards real-time object detection with region proposal networks[C],Advances in neuralinformation processing systems.2015,Montreal,Canada”中有相关描述，也可以基于回归的检测方法，在文章“You Only Look Once:Unified,Real-Time Object Detection[J].Computer Science,2016”中有相关描述。

建立的多区域多类别同步关键区域检测的网络模型，用于检测TFDS图像中的一些关键区域，其中检测的类别与关键区域类别数相一致。

步骤14、使用关键区域图库预训练网络模型，获得网络模型中图像特征提取网络层的预训练参数。使用步骤12建立的关键区域图库对网络模型预训练，仅预训练网络模型中图像特征提取层的参数，即从图像输入到最后一层卷积特征图之间的权值参数。通过训练一个关键区域图库的分类网络，得到预训练的权值参数。

步骤15、初始化网络模型中的参数，采用多次测试进一步微调的网络训练策略，得到一个只检测非故障图像的网络模型。使用步骤14预训练得到的权值参数初始化步骤13网络模型的图像特征提取网络层参数，其它参数随机初始化。用训练样本图库训练网络模型，调整网络超参数，其中包括：基础学习速率、冲量、衰减量、学习速衰减策略、最大迭代次数、各层参数学习速率倍率等。

为了防止该关键区域检测的网络模型也将包含故障区域的图像检测出来，采用多次测试进一步微调网络的策略。即将训练好的网络模型测试步骤11的测试样本图库，每次选取一组测试样本图库，将错检的关键区域图像作为负样本加入训练样本图库中重新训练，重复多组的微调训练直到该网络模型能够有效的检测出非故障的关键区域，且不把有故障的关键区域检测出来。

步骤16、检测现场TFDS图像，通过训练好的网络模型排除大量非故障图像，少量疑似故障图像由室内列检人员人眼去观察判别。通过步骤15中训练好的网络模型排除大量非故障图像，训练好的网络模型首先对现场TFDS图像进行检测，能够准确检测出该图像中关键区域的图像判为非故障图像，反之判为疑似故障图像，疑似故障图像再由室内列检人员人眼观察检测。

为了说明本发明的TFDS非故障图像检测方法，以一具体检测实例进行说明：

图3所示为侧架部位和部分中间部的TFDS图像，其中包括的关键区域如图3标记所示，其中关键区域1容易发生轴端螺栓丢失、脱落，轴承前盖丢失、裂损，挡键丢失等的故障；区域2容易发生交叉杆端部紧固螺栓丢失，锁紧板移位、丢失等故障；区域3容易发生摇枕弹簧窜出、丢失、折断等故障；区域4容易发生截断塞门把手关闭的故障；区域5、6容易发生人力制动机拉杆链折断、人力制动机拉杆圆销丢失等故障。这些关键区域的故障在铁路货车中均属于高发故障。

按图1所述步骤对上述的6类区域进行检测，过程为：

收集TFDS侧架部位(包括前台侧架和后台侧架)、中间部的图像，随机选取非故障图像建立包含4500幅图像的训练样本图库，再选出600幅图像建立测试样本图库，该测试样本图库随机分成3组，每组200幅图像，该测试样本图库中包括各关键区域非故障和故障图像，其中故障表现形式包括这6类区域下易发生的故障类型，如前面所述。

将训练样本图库随机分组，采用步骤12所述的半自动标注的方法标注训练样本图库。同时，标注后将所有标注的区域裁剪并按照区域类别归类，建立关键区域图库。

根据论文“Faster R-CNN:Towards real-time object detection with regionproposal networks[C],Advances in neural information processing systems.2015,Montreal,Canada”建立一个基于Faster RCNN的关键区域检测模型，检测图3所标记了6类关键区域。

使用关键区域图库对网络模型预训练，预训练网络模型中卷积层的参数，即从图像输入到最后一层卷积特征图之间的权值参数。通过训练基于Faster RCNN的图像分类网络，即训练分类关键区域图库的网络，得到预训练的权值参数。

用预训练的参数初始化网络模型，其余参数随机初始化，设定网络超参数，训练网络直至收敛。用一组测试图像测试该网络，将错检的图像，即包含故障的关键区域也被检测出来的图像，该错检的关键区域作为负样本，加入训练样本图库中继续训练。训练好的模型测试第二组测试图像，同样将错检的关键区域作为负样本，加入训练样本图库中继续训练。最后得到的模型再测试第三组测试图像。

该方法能够将90％以上的非故障关键区域检测出来，对于有故障的图像均不检测，因此，该方法能够过滤大量非故障图像，这样在现场时可以只将少量疑似故障图像由室内列检人员人眼观察检测，大大减轻了室内列检人员的工作量，提高了效率。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (8)

1.一种基于深度学习的TFDS非故障图像检测方法，其特征在于包括以下步骤：

步骤11、收集TFDS图像，建立非故障图像训练样本图库和包含故障及非故障图像的测试样本图库；

步骤12、采用基于机器学习算法的半自动标注方法标注步骤11的非故障图像训练样本图库，得到标注信息，同时由非故障图像训练样本图库和标注信息建立关键区域图库；

步骤13、根据步骤11的非故障图像训练样本图库和步骤12的标注信息建立多区域多类别同步关键区域检测的网络模型，所述网络模型包括图像特征提取模块和目标区域检测模块，图像特征提取模块用于获取图像特征表达，目标区域检测模块用于对关键区域进行定位检测；

步骤14、使用步骤12的关键区域图库预训练步骤13的图像特征提取模块，获得步骤13的网络模型中图像特征提取模块网络层的预训练参数；

步骤15、根据步骤14的预训练参数初始化网络模型中的参数，结合步骤11包含故障及非故障图像的测试样本图库采用多次测试进一步微调的网络训练策略训练步骤13的网络模型，得到一个只检测非故障图像的网络模型；

步骤16、使用步骤15训练好的网络模型检测现场TFDS图像，检测时，先由步骤13的图像特征提取模块获得图像的特征表达，再由步骤13的目标区域检测模块定位关键区域，能够准确检测出该图像中关键区域的图像判为非故障图像，反之判为疑似故障图像，排除非故障图像，而疑似故障图像将由室内列检人员人眼去观察判别。

2.根据权利要求1所述的方法，其特征在于：步骤11所述的非故障图像训练样本图库是只将包含待检测关键区域的非故障图像列入训练样本图库中，且保证包含每类关键区域的样本数基本均衡，避免样本倾斜；所述包含故障及非故障图像的测试样本图库则将包含待检测关键区域的故障及非故障图像均列入测试样本图库中，其中的故障图像尽可能包含该关键区域一些常见表现形式的故障图像。

3.根据权利要求1所述的方法，其特征在于：步骤12所述的标注非故障图像训练样本图库是对步骤11中建立的非故障图像训练样本图库采用半自动标注的方法，即人工标注部分图像，并用这些带有人工标注的非故障图像训练样本图库训练一个基于机器学习算法构建的分类器，结合该分类器的检测辅助人工标注；建立关键区域图库是根据标注信息将非故障图像训练样本图库中的关键区域裁剪并按照关键区域的类别分类。

4.根据权利要求1所述的方法，其特征在于：步骤13所述的建立多区域多类别同步关键区域检测的网络模型，即建立一个基于深度学习多类别的关键区域检测的网络模型，用于检测TFDS图像中的一些关键区域，检测的类别与待检测的关键区域类别数相一致；关键区域检测的网络模型基于卷积神经网络理论，包括图像特征提取模块和目标区域检测模块，具体包括以下步骤：

(1)基于原图像建立多层卷积层提取图像特征得到最后一层卷积特征图，该卷积特征图用于目标区域检测模块中目标区域的特征表达；(2)根据原图像提取候选区域，这些候选区域映射至最后一层卷积特征图得到相应的特征表达，再经过全连接层等至网络的输出层，网络的输出包括目标区域框的回归和目标区域框的分类。

其中由(1)得到图像特征提取模块，用于建立原图像的特征表达，从而便于获取(2)中候选区域的特征表达，由(2)得到目标区域检测模块，根据网络的输出即可得到网络模型检测到的目标区域及该目标区域所属的类别。

5.根据权利要求1所述的方法，其特征在于：步骤14所述的关键区域图库预训练网络模型，仅预训练步骤13网络模型中的图像特征提取模块，即从图像输入到最后一层卷积特征图之间的权值参数；通过训练一个关键区域图库的分类网络，得到图像特征提取模块中网络层的预训练参数，该预训练参数能够给步骤13的网络模型提供一个较好的初始化参数。

6.根据权利要求1所述的方法，其特征在于：步骤15中使用步骤14预训练得到的权值参数初始化步骤13网络模型的图像特征提取模块中的网络层参数，而其它参数随机初始化。

7.根据权利要求1所述的方法，其特征在于：步骤15中，为了防止关键区域检测的网络模型将包含故障的关键区域检测出来，采用多次测试进一步微调网络的策略，即训练好的网络模型测试步骤11的测试样本图库，将检测错的关键区域作为负样本加入训练样本图库中继续训练，经过多次的测试与训练，获得最佳模型参数，用训练好的具有最佳模型参数的网络模型检测现场TFDS图像，能够准确检测出关键区域的图像判为非故障图像，反之判为疑似故障图像。

8.根据权利要求7所述的方法，其特征在于：步骤15中训练得到的网络模型用于现场检测时，能够根据现场的检测结果不断优化，优化方法为：定期检查检测结果，将现场中检错的关键区域作为负样本加入至训练样本图库中继续训练，得到更优的模型参数。