CN110490166A - 基于深度学习技术的高铁接触网管帽自动检测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习技术的高铁接触网管帽自动检测方法，包括以下步骤：a、采集高铁接触网图像，对图像中的管帽位置进行标注，建立管帽各个状态的样本库；b、以标注的图像构建训练集，以未标注的图像构建测试集；c、在TensorFlow框架下，利用基于VGG16的Faster R‑CNN算法进行训练，建立基于深度学习技术的接触网管帽定位与检测模型；d、将测试集导入所述模型进行测试验证。本发明对小目标物体识别定位的精确率很高，解决了传统图像处理技术在精确度和运行速度不能同时兼顾的问题，实现了接触网管帽的高精度定位功能。

Description

基于深度学习技术的高铁接触网管帽自动检测方法

技术领域

本发明涉及高铁接触网管帽检测技术领域，具体地说是一种基于深度学习技术的高铁接触网管帽自动检测方法。

背景技术

高铁接触网悬挂系统关键设备的故障会对列车的稳定运行造成巨大影响，因此，及时发现故障零部件显得尤为重要。基于此，中国铁路总公司构建了《高速铁路供电安全检测监测系统（6C系统）》，其中，接触网悬挂状态检测监测装置即4C装置技术规范，包含对接触网悬挂部件状态实施高精度成像检测，涉及接触网几何参数及悬挂装置中零部件的故障检测。

高速铁路供电安全检测监测系统（6C系统）的全路大规模推广运用，基本改变了过去人工步行测量的低效检测模式。基于图像处理技术的非接触式接触网检测技术可实现不干扰行车安全的接触网参数和故障的自动识别，具有众多优势。

目前国内外基于图像处理的接触网关键设备故障状态检测已有一些研究。白瑞敏利用海森矩阵和霍夫曼直线检测，通过阈值分割的方法，实现对接触网吊弦的定位；钟俊平等采用Hough直线检测和SIFT算法准确定位出接触网斜腕臂和非斜腕臂处的开口销；张毅通过多任务学习的算法求得定位器的局部区域，再利用Canny边缘提取和Hough直线检测的方法在局部区域内检测定位器直线，定位出定位器；Xiaotong Yao等提出了基于双目视觉和SURF特征的目标识别与定位方法，实现对绝缘子的精确定位。上述研究方法都是运用传统的图像处理技术来提取高铁接触网零部件的相关特征来进行定位和检测，主要是人工设计特征，进行特征提取、模板匹配，这对研究人员的专业知识有很高的要求，而且耗费大量的时间，虽然在一定程度上可以提高人工检测的效率，但是特征提取方法的好坏依赖工作人员的经验和一定程度的运气成分，过于依靠人工调参，所以在特征的设计过程中无法设计过多的参数，对于现有的大数据不能充分利用，对不同的实际工况适应性差，因此算法的准确率和速率仍不能够很好的满足实际应用的需求。

与传统算法相比，近年来越来越受到关注的深度学习理论是一种数据驱动的方法，就是让算法在少量人为先验经验的情况下，能够通过大量数据的学习，使机器自动从数据中抽取合适的特征，完成原本需要通过特征工程才能得到的结果，而且其效果往往比人工设计的特征更加准确有效。

尽管深度学习已在许多领域得到应用，但对接触网管帽缺失方面的研究微乎其微。在高速铁路接触网支持悬挂装置中，腕臂和定位管处的管帽用来封堵管口，是保证腕臂和定位管能够正常工作的重要零件，图1标识了接触网支持装置腕臂和定位管上的主要管帽分布。在动车组长期运行过程中的震动和冲击影响或存在施工缺陷的情况下，会出现管帽缺失的现象。由于腕臂和定位管是空心钢管，管帽的缺失可能会使灰尘、雨水、积雪甚至杂物等落入钢管中，从而对腕臂和定位管甚至整个支持悬挂装置造成安全隐患。因此很有必要对管帽的缺失进行检测并指导隐患的消缺，而管帽的精确定位是其状态检测的基础，因此研究和建立一种基于深度学习技术的接触网管帽定位与检测模型具有重要意义。

发明内容

本发明的目的就是提供一种基于深度学习技术的高铁接触网管帽自动检测方法，以解决现有管帽定位检测方法效率和准确度低以及过于依赖工作人员的经验的问题。

本发明是这样实现的：一种基于深度学习技术的高铁接触网管帽自动检测方法，包括以下步骤：

a、采集高铁接触网图像，对图像中的管帽位置进行标注，建立管帽各个状态的样本库；

b、以标注的图像构建训练集，以未标注的图像构建测试集；

c、在TensorFlow框架下，利用基于VGG16的Faster R-CNN算法进行训练，建立基于深度学习技术的接触网管帽定位与检测模型；

d、将测试集导入所述模型进行测试验证，即完成一次Faster R-CNN的在线学习过程，当需要进行接触网管帽检测时，将待检测图像导入所述模型，即可得到检测结果，同时使Faster R-CNN继续学习，保持接触网管帽定位与检测模型的高准确度。

步骤a中，所述管帽的各个状态包括管帽完好、管帽缺失和管帽损坏。

步骤a中，采用labelImg图像标注工具对需要识别的目标物体进行手动标注。

步骤b中，训练集和测试集的图像数量比值为3∶1。

步骤c中，对Faster R-CNN算法中的各项参数进行设置，包括初始学习率、步长、最大迭代次数、动量值、批尺寸和每保存一次模型所需迭代次数的设置以及动量算法的选择。在合理的经验值下进行多次实验，对Faster R-CNN算法中的各项参数设置一个合理范围。针对本发明，设置初始学习率为0.01，步长为50000，在50000步后，学习率降至为0.001，最大迭代次数设置为70000，采用随机梯度下降的动量算法训练，将动量值设置为0.9，批尺寸设置为256，每迭代5000次保存一次模型，可以取得良好的效果。

步骤d中，具体测试过程为：

（1）输入测试图像，进行特征提取，得到特征图；

（2）将卷积特征输入到区域推荐网络，并生成建议窗口，得到候选框的特征信息；

（3）把建议窗口映射到CNN的最后一层卷积特征图上；

（4）通过RoI池化层使每个RoI生成固定尺寸的特征图；

（5）对候选框中提取的特征，使用分类器判别是否属于一个特定类，对于属于某一类别的候选框，用回归器精细修正候选框位置。

本发明是要解决现有接触网管帽检测技术被忽视的问题，同时采用深度学习的方法进行管帽定位识别。传统的图像处理识别技术对手工设计的特征要求高，要想获得较高的目标的定位检测精度，相应的运算速度就慢。

为解决上述问题，本发明在TensorFlow框架下，构建基于Faster R-CNN模型的管帽快速定位识别方法。与传统图像处理识别技术相比，其是在大数据里自动学习特征，而非采用手工设计的特征模型。更快区域卷积网络 Faster R-CNN 采用了区域推荐网络(Region Proposal Network, RPN )，可以与检测网络共享整幅图像的卷积特征，从而产生几乎无代价的区域推荐。不仅可以有效减少运行时间，且对小目标物体识别定位的精确率很高。这就解决了传统图像处理技术在精确度和运行速度不能同时兼顾的问题，实现了接触网管帽的高精度定位功能。

附图说明

图1为接触网支持悬挂装置腕臂和定位管上的管帽分布图。

图2为本发明的接触网管帽定位与识别算法Faster R-CNN的模型示意图。

图3为本发明采用的Faster R-CNN网络中的区域推荐网络（RPN）的模型结构图。

图4为本发明中Faster R-CNN的预训练模型VGG16的网络结构图。

图5~图8为应用本发明模型识别管帽、吊弦（图中识别的为定位管吊弦）的部分测试结果。

具体实施方式

以下结合附图对本发明作进一步详细描述，本领域技术人员可由本说明书所揭露的内容实现本发明。

本发明利用高速铁路供电安全检测监测系统（6C系统）提供的图像构建训练集和测试集。4C装置拍摄的高清图像数据是海量的，多为夜间拍摄，背景多为黑色，因此较为单一，易于检测。且接触网悬挂装置上的管帽数目是固定的，为3个，且其位置也是固定的，均在腕臂和定位管的末端。

选择合适的深度学习工具是保证接触网管帽定位与检测模型实际应用效果的重要条件。将TensorFlow、PyTorch、Keras、Caffe、CNTK、MXNet、Theano等开源框架进行对比（具体见表1），可以看出TensorFlow在star、fork和contributor这三个数据上的数量远超其他框架。

表1：

TensorFlow是Google基于DistBelief进行研发的第二代人工智能学习系统，其特点如下：

（1）高度的灵活性。TensorFlow不是一个严格的“神经网络”库，只要能将计算表示为一个数据流图，就可以使用TensorFlow。

（2）较强可移植性。TensorFlow可以在CPU和GPU上运行，也可以将模型在云端服务器或Docker容器里运行。

（3）自动求微分。TensorFlow具有自动求微分的能力，只需要定义预测模型的结构，将结构和目标函数结合，并添加数据，TensorFlow就能自动计算相关的微分导数。

（4）多语言支持。TensorFlow支持C++、Python、Go、Java、Lua和JavaScript等语言。

另外，TensorFlow支持Python， Python在科学计算和数据挖掘领域表现极其出众。Python拥有十分完善的数据库，包括Web开发、数据可视化、数据预处理、数据库连接、爬虫等等，而且仅在数据挖掘工具链上，Python就拥有NumPy、SciPy、Pandas、Scikit-learn、XGBoost等组件，因此进行数据采集和预处理都非常方便，并且之后的模型训练阶段可以和TensorFlow框架完美衔接。因此，本发明以TensorFlow作为深度学习框架，并以Python作为编程语言。

本发明采用卷积神经网络区域模型中的Faster R-CNN模型，并用VGG16（VGG16的模型结构如图4，包含13个卷积层，核大小均为3×3,5个最大池化层和3个全连接层，共有16个权值层）预训练网络模型作为Faster R-CNN的基本网络及接触网管帽定位的算法。实现接触网管帽识别定位的方法步骤包括训练获得接触网管帽识别定位模型和测试接触网管帽识别定位模型两个阶段。具体步骤如下：

第一阶段：训练阶段。

首先对图像进行标注，建立管帽各个状态的样本库。采用labelImg图像标注工具对需要识别的目标物体进行标注，生成符合Pascal VOC格式的XML文件，即在4C图像中对接触网管帽位置进行标注，名为pipecap，另外对接触网悬挂装置的吊弦进行了标注，名为dropper，作为对照。

通过判别anchor boxes与任意一个真实边框交并比（IOU）都高于0.7 来决定正样本，一个非正的anchor box与所有真实边框的IOU低于0.3为负样本，从而运用上述数据建立管帽和吊弦的训练样本库，其中训练集和测试集的图像数量比值为3∶1。

接下来在TensorFlow框架下，利用基于VGG16的Faster R-CNN算法训练自己的数据和模型，经过ImageNet预训练的VGG16网络模型起到加快训练过程的作用。在执行训练命令前，首先需要修改训练文件中的数据名称和图像类别等内容，将其修改为本发明中需要识别的目标，图像类别设置为pipecap、dropper等；此外，对学习率（learning rate）、步长（stepsize）、动量值（momentum）、最大迭代次数（max iteration）、批尺寸（batchsize）、NMS阈值（NMS thresh）等超参数进行重新设置，本发明中，设置初始学习率为learning_rate=0.001，将步长设置为stepsize=50000，在50000步后，学习率降至为learning_ rate=0.001，最大迭代次数设置为max_iters=70000，采用随机梯度下降的动量算法训练，将动量值设置为momentum=0.9，批尺寸设置为batch_size=256、每迭代5000次保存一次模型，故设置snapshot_iters=5000等；最后运行train.py进行自己模型的训练，最终得到接触网管帽定位与检测模型。

第二阶段：测试阶段。

用生成的模型识别测试集的图像进行测试验证。同样，需要更改测试集demo中的图像，将其更改为将4C数据中心采集的需要识别的接触网图像，同时，将demo.py代码中的图像类别classes更改为pipecap和dropper等接触网中的支持悬挂装置目标；随后就可以运行demo.py直接识别demo文件夹中所包含的图片。至此完成了一次Faster R-CNN的在线学习过程。

当再有新数据需要学习时，再次执行第二阶段即可使Faster R-CNN继续学习，从而使得分类器始终保持分类的高准确度。

Faster R-CNN结构如图2所示，其整体框架大致为：（1）把整张图片输入CNN，进行特征提取，得到特征图；（2）将卷积特征输入到区域推荐网络( Region Proposal Network,RPN )，用RPN生成建议窗口（proposals），得到候选框的特征信息，每张图片生成300个建议窗口；（3）把建议窗口映射到CNN的最后一层卷积特征图上；（4）通过RoI池化层使每个RoI生成固定尺寸的特征图；（5）利用Softmax Loss和Smooth L1 Loss对分类概率和边框回归（Boundig Box regression）进行联合训练，即对候选框中提取的特征，使用分类器判别是否属于一个特定类，对于属于某一类别的候选框，用回归器进一步调整其位置。

Faster R-CNN可以看做是 RPN和Fast R-CNN两个模块组合而成，用RPN代替FastR-CNN中的Selective Search方法是Faster R-CNN的核心思想。为了在RPN和Fast R-CNN之间共享卷积特征，本发明采用了一种实用的交替优化训练算法，步骤如下：（1）用ImageNet预训练一个模型（如VGG16）去初始化RPN，并对RPN进行端到端的区域推荐任务微调；（2）用ImageNet预训练一个模型（如 VGG16）去初始化Fast R-CNN，并利用第一步的RPN对这个检测网络进行独立训练，此时RPN和Fast R-CNN还没有共享卷积特征；（3）采用Fast R-CNN检测网络初始化RPN训练，但是固定共享卷积层，只微调RPN的独有层，此时这两个网络才开始共享卷积层；（4）保持共享卷积层不变，只微调Fast R-CNN的独有层。

在Faster R-CNN常用的数据集Pascal VOC 2007下，训练到10次时，Faster R-CNN网络的全部损失为0.3780，RPN网络的分类损失为0.3743，RPN网络的回归损失为0.0036，检测网络的分类损失和回归损失都为0，此时的学习率为0.001。在训练到70000次时结束，保存结果，此时Faster R-CNN网络总的损失为0.0112，RPN网络的分类损失为0.0073，RPN网络的回归损失为0.0039，检测网络的分类损失和回归损失都为0，此时的学习率为0.0001。Faster R-CNN的总平均准确率mAP=68.11%，其中汽车类别的平均准确率AP=0.7971，狗类别的平均准确率AP=0.8027。将R-CNN、Fast R-CNN和Faster R-CNN三种算法进行比较，如表2为R-CNN、Fast R-CNN和Faster R-CNN三种算法在Pascal VOC数据集下的对比。

表2：

在本发明的数据集下，管帽的平均准确率AP高达99%以上，管帽基本未出现误识别的情况，且漏检率极低，因此本发明对于管帽具有良好的适用性。

以上具体实施方式仅用以说明本发明的技术方案而非限制，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者同等替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于深度学习技术的高铁接触网管帽自动检测方法，其特征是，包括以下步骤：

a、采集高铁接触网图像，对图像中的管帽位置进行标注，建立管帽各个状态的样本库；

b、以标注的图像构建训练集，以未标注的图像构建测试集；

c、在TensorFlow框架下，利用基于VGG16的Faster R-CNN算法进行训练，建立基于深度学习技术的接触网管帽定位与检测模型；

d、将测试集导入所述模型进行测试验证，即完成一次Faster R-CNN的在线学习过程，当需要进行接触网管帽检测时，将待检测图像导入所述模型，即可得到检测结果，同时使Faster R-CNN继续学习，保持接触网管帽定位与检测模型的高准确度。

2.根据权利要求1所述的基于深度学习技术的高铁接触网管帽自动检测方法，其特征是，步骤a中，所述管帽的各个状态包括管帽完好、管帽缺失和管帽损坏。

3.根据权利要求1所述的基于深度学习技术的高铁接触网管帽自动检测方法，其特征是，步骤a中，采用labelImg图像标注工具对需要识别的目标物体进行标注。

4.根据权利要求1所述的基于深度学习技术的高铁接触网管帽自动检测方法，其特征是，步骤b中，训练集和测试集的图像数量比值为3∶1。

5.根据权利要求1所述的基于深度学习技术的高铁接触网管帽自动检测方法，其特征是，步骤c中，对Faster R-CNN算法中的各项参数进行设置，包括初始学习率、步长、最大迭代次数、动量值、批尺寸和每保存一次模型所需迭代次数的设置以及动量算法的选择。

6.根据权利要求1所述的基于深度学习技术的高铁接触网管帽自动检测方法，其特征是，步骤d中，具体测试过程为：

（1）输入测试图像，进行特征提取，得到特征图；

（2）将卷积特征输入到区域推荐网络，并生成建议窗口，得到候选框的特征信息；

（3）把建议窗口映射到CNN的最后一层卷积特征图上；

（4）通过RoI池化层使每个RoI生成固定尺寸的特征图；

（5）对候选框中提取的特征，使用分类器判别是否属于一个特定类，对于属于某一类别的候选框，用回归器精细修正候选框位置。