CN111652212A - 基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法 - Google Patents

Abstract

基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法，涉及货运列车检测技术领域，针对现有技术中交叉杆端部紧固螺栓丢失故障检测效率低，人力成本和时间成本高的问题，本发明的有益效果是：1、采用深度学习模型对交叉杆端部紧固螺栓丢失故障进行检测，能够提高故障检测效率，降低人力成本和时间成本，特别是铁路货车图像都是在复杂环境下拍摄的，使用传统图像算法对图像要求高，存在一定的局限性，深度学习检测方式则能更好的适应复杂图像的故障检测。2、采用TensorRT加速优化深度学习模型结构，设计并行检测图像算法，使故障检测速度大大提高，能够满足铁路实时过车实时故障检测报警。

Description

基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法

技术领域

本发明涉及货运列车检测技术领域，具体为一种基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法。

背景技术

货车故障轨边图像检测系统(TFDS)作为全路5T系统的重要组成部分，在防范货车车辆故障方面发挥着重要作用，TFDS的应用使得大量的铁路货车运用故障得到及时发现和处理，但是漏检、误判现象也时有发生，因此抓住多发故障、典型故障的特征，提高检车故障的效率急需解决。

交叉杆端部紧固螺栓是固定底部转向架交叉杆的重要锁紧装置，由于货车运行过程中，交叉杆随着震动的产生，交叉杆端部螺栓会逐渐松动，导致锁紧板位置会发生偏转，严重者会出现锁紧板脱落丢失，交叉杆端部紧固螺栓丢失等危机行车安全的故障。因此为了避免发生故障，采用近年来日趋成熟的深度学习方式，现有技术中交叉杆端部紧固螺栓丢失故障检测效率低，人力成本和时间成本高。

发明内容

本发明的目的是：针对现有技术中交叉杆端部紧固螺栓丢失故障检测效率低，人力成本和时间成本高的问题，提出一种基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法。

本发明为了解决上述技术问题采取的技术方案是：

基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法，包括：

步骤一：获取交叉杆端部紧固螺栓的高清线阵图像，并建立样本数据集；

步骤二：对样本数据集进行数据扩增；

步骤三：对数据集中的图像进行标记；

步骤四：建立TensorFlow Object Detection API深度学习目标检测模型，并将原始图像和标记数据生成数据集，用于模型训练；

步骤五：读取TFDS货车图像检测系统服务器上的过车图像，粗定位出紧固螺栓部件区域子图像，通过调用子图像，将子图像输入到训练好的模型中，进行实时的故障检测，模型对子图像检测出属于正常螺栓的概率为a，属于螺栓丢失的概率为b，a和b的概率范围用0到1的数值表示，并且检测到的正常类或者丢失类的概率互相之间是不相关的个体；

步骤六：首先将螺栓正常阈值设定为0.97，丢失阈值设定为0.9，疑似丢失阈值设定为0.5，然后根据模型输出的阈值进行判断：

若检测到丢失类的概率b，并且b>0.9，则认为存在紧固螺栓丢失情况，直接报警给TFDS检测平台；若0.5<b<0.9，则判定属于疑似丢失情况，并继续判断是否可以检测到正常类的概率a，若检测到正常类的概率a，则判定正常类的概率a是否大于0.97，若a>0.97，则不报警，若a<0.97，则报警给TFDS检测平台；

若检测到正常类的概率a<0.1，且丢失类的概率b<0.1，则认定子图像可能存在异常，未检测到有用信息，直接报警给TFDS检测平台；

若以上情况均不存在，则认为该车紧固螺栓图像正常，继续进行下一辆车的紧固螺栓部件检测。

进一步的，所述步骤三中采用LabelImg工具对数据集中的图像进行标记。

进一步的，所述数据集格式为pascal voc。

进一步的，所述步骤四中建立TensorFlow Object Detection API深度学习目标检测模型的具体步骤为：

步骤四一：安装TensorFlow环境和object detection api，并配置好相关环境变量；

步骤四二：选择用于迁移学习的目标检测预训练模型faster_rcnn_inception_v2_coco；

步骤四三：将标记好的数据集首先通过程序自动生成训练集和验证集，并将数据集转换成tfrecord格式文件train.record和val.record，供给后续模型调用；

步骤四四：依据预训练模型准备相关配置文件，所述相关配置文件包括：

类标签文件：pascal_label_map.pbtxt，

训练参数文件：faster_rcnn_inception_v2_coco.config,在该文件内，设定类别个数，模型训练子图像大小，训练模型的结构参数，训练迭代次数以及训练模型数据集路径参数；

步骤四五：训练深度学习模型，生成的模型文件为model.ckpt，然后设定迭代次数，多次训练后选择最优模型作为最终测试模型文件；

步骤四六：使用export_inference_graph.py导出模型，将模型文件model.ckpt转换成.pb格式的新模型，即export_inference_graph.pb。

进一步的，所述方法还包括模型测试步骤，所述模型测试步骤为：

选择交叉杆端部紧固螺栓子图像数据进行模型测试，若测试识别结果满足设定的识别率和准确率标准，则模型训练结束，利用TensorRT加速引擎对模型进行加速，若测试识别结果不满足设定的识别率和准确率标准，则重新选择交叉杆端部紧固螺栓子图像数据进行模型测试，并测试识别结果是否满足设定的识别率和准确率标准，

所述利用TensorRT加速引擎对模型进行加速的具体步骤为：

1、将网络中无用的输出层消除；

2、将网络中的conv、BN、Relu三个层融合为一个层，对网络结构进行垂直整合；

3、将输入为相同的张量和执行相同操作的层融合在一起，对网络结构进行水平整合；

4、将concat层的输入直接进行下面的操作，不单独进行concat后的输入计算。

本发明的有益效果是：

1、采用深度学习模型对交叉杆端部紧固螺栓丢失故障进行检测，能够提高故障检测效率，降低人力成本和时间成本，特别是铁路货车图像都是在复杂环境下拍摄的，使用传统图像算法对图像要求高，存在一定的局限性，深度学习检测方式则能更好的适应复杂图像的故障检测。

2、采用TensorRT加速优化深度学习模型结构，设计并行检测图像算法，使故障检测速度大大提高，能够满足铁路实时过车实时故障检测报警。

附图说明

图1为本发明Inception structure in GoogleNet模型结构图；

图2为本发明TensorRT对网络结构垂直整合图；

图3为本发明TensorRT对网络结构垂直整合图；

图4为本发明故障识别流程图。

具体实施方式

具体实施方式一：参照图1和图4具体说明本实施方式，本实施方式所述的基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法，包括：

步骤一：获取交叉杆端部紧固螺栓的高清线阵图像，并建立样本数据集；

步骤二：对样本数据集进行数据扩增；

步骤三：对数据集中的图像进行标记；

步骤四：建立TensorFlow Object Detection API深度学习目标检测模型，并将原始图像和标记数据生成数据集，用于模型训练；

步骤五：读取TFDS货车图像检测系统服务器上的过车图像，粗定位出紧固螺栓部件区域子图像，通过调用子图像，将子图像输入到训练好的模型中，进行实时的故障检测，模型对子图像检测出属于正常螺栓的概率为a，属于螺栓丢失的概率为b，a和b的概率范围用0到1的数值表示，并且检测到的正常类或者丢失类的概率互相之间是不相关的个体；

步骤六：首先将螺栓正常阈值设定为0.97，丢失阈值设定为0.9，疑似丢失阈值设定为0.5，然后根据模型输出的阈值进行判断：

若检测到丢失类的概率b，并且b>0.9，则认为存在紧固螺栓丢失情况，直接报警给TFDS检测平台；若0.5<b<0.9，则判定属于疑似丢失情况，并继续判断是否可以检测到正常类的概率a，若检测到正常类的概率a，则判定正常类的概率a是否大于0.97，若a>0.97，则不报警，若a<0.97，则报警给TFDS检测平台；

若检测到正常类的概率a<0.1，且丢失类的概率b<0.1，则认定子图像可能存在异常，未检测到有用信息，直接报警给TFDS检测平台；

若以上情况均不存在，则认为该车紧固螺栓图像正常，继续进行下一辆车的紧固螺栓部件检测。

本发明首先通过读取终端服务器上的侧部转向架图像，提取交叉杆端部紧固螺栓子图像，通过PS模拟紧固螺栓丢失故障图像，建立并标记深度学习模型训练样本集，

采用TensorFlow Object Detection API进行目标检测，选择faster_rcnn_inception_v2_coco深度学习预训练模型训练数据集，得到交叉杆端部紧固螺栓训练模型，采用TensorRT对训练模型的网络结构进行重构和优化，并设计了算法实现并行检测交叉杆端部紧固螺栓图像，大大提高了深度学习模型故障检测速度，最终将检测到的交叉杆端部紧固螺栓丢失故障相关过车信息实时上传到TFDS货车故障检测平台。

本发明主要分以下几个步骤：

1、交叉杆端部紧固螺栓数据集收集和标记

尽可能多的选择多样化的数据样本，收集在复杂环境下交叉杆端部紧固螺栓子图像，使数据丰富多样，满足实时过车中拍摄到的各种复杂图像都能出现在训练样本集中，同时采用图像处理方式对样本数据进行数据扩增，进一步丰富样本；螺栓丢失时，最明显的特征就是螺栓安装处出现黑洞，看不到螺母或交叉杆端部端头轮廓，根据此特征通过人工PS的方式模拟出不同条件的交叉杆端部紧固螺栓丢失故障图像，组成样本集，采用LabelImg工具对数据集样本进行标记，数据集格式为pascal voc,标记为端部紧固螺栓正常和端部紧固螺栓丢失两类，完成后将jpg样本图像及对应的xml文件放入指定文件夹供深度学习模型训练，这样训练的模型更具鲁棒性和稳定性。

2、建立TensorFlow Object Detection API深度学习目标检测模型

TensorFlow Object Detection API是一种快速地构建和部署强大的图像识别的系统

第一步：安装TensorFlow环境，下载并安装object detection api，配置好相关环境变量；

第二步：选择用于迁移学习的目标检测预训练模型faster_rcnn_inception_v2_coco；

第三步：数据集格式转换，将标记好的数据集首先通过程序自动生成训练集和验证集，并将数据集转换成tfrecord格式文件train.record和val.record，供给后续模型调用；

第四步：依据预训练模型准备相关配置文件

类标签文件：pascal_label_map.pbtxt(正常与丢失两类)

训练参数文件：faster_rcnn_inception_v2_coco.config,在该文件内，需要设定好类别个数，模型训练子图像大小，训练模型的结构参数，训练迭代次数以及训练模型数据集路径等参数；

第五步：模型训练

深度学习环境及模型训练配置文件准备完成后，开始训练深度学习模型，生成的模型文件为model.ckpt，根据经验设定迭代次数，多次训练后选择最优模型作为最终测试模型文件；

第六步：导出模型

使用export_inference_graph.py导出模型，将模型文件model.ckpt转换成.pb格式的新模型，即export_inference_graph.pb；

第七步：模型测试

选择交叉杆端部紧固螺栓子图像数据进行模型测试，验证模型的优劣，如果测试识别结果满足设定的识别率和准确率标准，认为模型训练结束，可以进行下一步操作；

第八步：模型的TensorRT的加速及图像的并行处理

由于货车故障检测需要实时性，对于故障检测速度及故障上传到平台的速度要求非常高，所以传统的深度学习模型及服务器设备不能满足多个深度学习模块同时运行，导致时间运行过长，影响检车速度。本发明为解决传统的深度学习模型检测速度慢的特点，采用了TensorRT加速引擎，并根据实际情况编写了并行处理图像的算法，实现了对深度模型网络结构的重构和优化，在保证检测精度的前提下，减少了模型计算量，大大提高了深度学习模型的故障检测速度。

TensorRT是基于CUDA和cudnn的神经网络推断加速引擎，相比于一般的深度学习框架，在CPU或者GPU模式下其可提供10倍乃至100倍的加速，通过在减少计算量和保持精度之间达到一个理想的平衡，达到加速推断的目的，极大的提高了深度学习模型在边缘设备上的推断速度。

TensorRT对于网络结构进行的重构和优化主要体现在以下几个方面：

1、TensorRT通过解析网络模型将网络中无用的输出层消除，以降低计算量；

2、将神经网络的conv、BN、Relu三个层融合为一个层，对网络结构进行垂直整合，如图2所示；

3、将输入为相同的张量和执行相同操作的层融合在一起，对网络结构进行水平整合，如图3所示；

4、将concat层的输入直接送入下面的操作，不用单独进行concat后的输入计算，相当于减少了一次传输吞吐。

以上几方面对于Inception结构的神经网络(如图1所示)加速效果最为明显，所以本发明选择了faster_rcnn_inception_v2_coco预训练模型，能够得到更好的加速网络推断，在基础网络中采用Inception模型，充分发挥tensorRT的优势。

利用TensorRT加载并运行模型export_inference_graph.pb，同时设计并行检测子图像算法，使加速模型得到充分的利用。由于货车的一辆车能定位出的交叉杆端部紧固螺栓子图像为8张(左右两侧相机拍摄)，此时需要先将左右两侧相机拍摄到的图像同时读取，将Batchsize设定为8，八张子图像同时进行深度学习模型检测处理，最后将处理的结果还原，将每张图像故障检测结果解析出来，如有故障则立即上传到TFDS故障报警平台。

本发明在检测端部紧固螺栓丢失模块按照一列车(65辆520处紧固螺栓部件)计算，传统的Faster_Rcnn目标检测模型耗时32s左右，而按照本发明方法进行目标检测时间降低为18s,大大缩短了实车检测耗费时间，同时也保证了检测精度不变。

3、交叉杆端部紧固螺栓丢失故障判别方式

读取TFDS货车图像检测系统服务器上的过车图像，粗定位出紧固螺栓部件区域子图像，通过调用子图像，进行实时的故障检测，根据设定丢失阈值，超过阈值的认为存在紧固螺栓丢失情况，直接报警给TFDS检测平台；若低于丢失阈值，则继续判断是否检测到正常紧固螺栓，若也未检测到正常紧固螺栓，则说明两类都未检测到，为避免因图像问题造成的异常，此时直接报警异常；若以上两种情况均未出现，则认为该车紧固螺栓图像正常，继续进行下一辆车的紧固螺栓部件检测，其具体如下：

读取TFDS货车图像检测系统服务器上的过车图像，粗定位出紧固螺栓部件区域子图像，通过调用子图像，将子图像输入到上文搭建的深度学习检测模型中，进行实时的故障检测，深度学习模型会针对子图像检测出属于正常螺栓的概率是a，属于螺栓丢失的概率是b，各个概率范围都是用0到1的数值表示，并且检测到的正常类或者丢失类的概率互相之间是不相关的个体；

本发明设定的螺栓正常阈值为0.97，丢失阈值为0.9，疑似丢失阈值为0.5。根据以上设定的阈值判断；

1)假设检测到丢失类b并且b>0.9，则认为存在紧固螺栓丢失情况，直接报警给TFDS检测平台；

2)若0.5<b<0.9，说明模型检测到的丢失类概率值相对较低，属于疑似丢失情况，此时继续判断是否检测到正常类a>0.97，若a>0.97，则说明正常类概率高，则不报警，若a<0.97，说明正常类概率不高，同时存在疑似丢失类，此时报警给TFDS检测平台；

3)若正常类a<0.1且丢失类b<0.1，说明子图像可能存在异常，未检测到有用信息，此时直接报警异常；

4)若以上情况均不存在，则认为该车紧固螺栓图像正常，继续进行下一辆车的紧固螺栓部件检测。

需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims (5)

1.基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法，其特征在于包括：

步骤一：获取交叉杆端部紧固螺栓的高清线阵图像，并建立样本数据集；

步骤二：对样本数据集进行数据扩增；

步骤三：对数据集中的图像进行标记；

步骤四：建立TensorFlow Object Detection API深度学习目标检测模型，并将原始图像和标记数据生成数据集，用于模型训练；

步骤五：读取TFDS货车图像检测系统服务器上的过车图像，粗定位出紧固螺栓部件区域子图像，通过调用子图像，将子图像输入到训练好的模型中，进行实时的故障检测，模型对子图像检测出属于正常螺栓的概率为a，属于螺栓丢失的概率为b，a和b的概率范围用0到1的数值表示，并且检测到的正常类或者丢失类的概率互相之间是不相关的个体；

步骤六：首先将螺栓正常阈值设定为0.97，丢失阈值设定为0.9，疑似丢失阈值设定为0.5，然后根据模型输出的阈值进行判断：

若检测到丢失类的概率b，并且b>0.9，则认为存在紧固螺栓丢失情况，直接报警给TFDS检测平台；若0.5<b<0.9，则判定属于疑似丢失情况，并继续判断是否可以检测到正常类的概率a，若检测到正常类的概率a，则判定正常类的概率a是否大于0.97，若a>0.97，则不报警，若a<0.97，则报警给TFDS检测平台；

若检测到正常类的概率a<0.1，且丢失类的概率b<0.1，则认定子图像可能存在异常，未检测到有用信息，直接报警给TFDS检测平台；

若以上情况均不存在，则认为该车紧固螺栓图像正常，继续进行下一辆车的紧固螺栓部件检测。

2.根据权利要求1所述的基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法，其特征在于所述步骤三中采用LabelImg工具对数据集中的图像进行标记。

3.根据权利要求2所述的基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法，其特征在于所述数据集格式为pascal voc。

4.根据权利要求1所述的基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法，其特征在于所述步骤四中建立TensorFlow Object Detection API深度学习目标检测模型的具体步骤为：

步骤四一：安装TensorFlow环境和object detection api，并配置好相关环境变量；

步骤四二：选择用于迁移学习的目标检测预训练模型faster_rcnn_inception_v2_coco；

步骤四三：将标记好的数据集首先通过程序自动生成训练集和验证集，并将数据集转换成tfrecord格式文件train.record和val.record，供给后续模型调用；

步骤四四：依据预训练模型准备相关配置文件，所述相关配置文件包括：

类标签文件：pascal_label_map.pbtxt，

训练参数文件：faster_rcnn_inception_v2_coco.config,在该文件内，设定类别个数，模型训练子图像大小，训练模型的结构参数，训练迭代次数以及训练模型数据集路径参数；

步骤四五：训练深度学习模型，生成的模型文件为model.ckpt，然后设定迭代次数，多次训练后选择最优模型作为最终测试模型文件；

步骤四六：使用export_inference_graph.py导出模型，将模型文件model.ckpt转换成.pb格式的新模型，即export_inference_graph.pb。

5.根据权利要求4所述的基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法，其特征在于，所述方法还包括模型测试步骤，所述模型测试步骤为：

选择交叉杆端部紧固螺栓子图像数据进行模型测试，若测试识别结果满足设定的识别率和准确率标准，则模型训练结束，利用TensorRT加速引擎对模型进行加速，若测试识别结果不满足设定的识别率和准确率标准，则重新选择交叉杆端部紧固螺栓子图像数据进行模型测试，并测试识别结果是否满足设定的识别率和准确率标准，

所述利用TensorRT加速引擎对模型进行加速的具体步骤为：

1、将网络中无用的输出层消除；

2、将网络中的conv、BN、Relu三个层融合为一个层，对网络结构进行垂直整合；

3、将输入为相同的张量和执行相同操作的层融合在一起，对网络结构进行水平整合；

4、将concat层的输入直接进行下面的操作，不单独进行concat后的输入计算。

Images