CN109658387B - 电力列车的受电弓碳滑板缺陷的检测方法 - Google Patents

Abstract

本发明提供一种电力列车的受电弓碳滑板缺陷的检测方法。该方法包括：构建改进的RCNN网络模型，利用训练集数据对改进的RCNN网络模型进行训练。通过安装在列车轨道旁的工业线阵相机采集电力列车的受电弓图片，将受电弓图片输入到训练好的改进的RCNN网络模型，改进的RCNN网络模型利用卷积运算提取所述受电弓图片中的受电弓碳滑板区域，利用损失函数对受电弓碳滑板区域进行缺陷类别检测。本发明的方法通过区域生成网络和快速区域卷积神经网络的结合，对训练图片的自主学习与特征提取，从而能对采集系统拍摄的图片中受电弓碳滑板的有效区域及缺陷类别进行分析，能够对受电弓碳滑板的状态进行实时监测，保障城市轨道列车安全运行，具有较大的应用前景。

Description

电力列车的受电弓碳滑板缺陷的检测方法

技术领域

本发明涉及电力列车故障诊断技术领域，具体而言，涉及一种电力列车的受电弓碳滑板缺陷的检测方法。

背景技术

弓网系统是电气化铁路供电系统中的关键组成部分，担负着将牵引网电能输送给电力列车使用的重要任务，而受电弓则是弓网系统中及其重要的组成部分。在列车高速运动过程中，受电弓与接触网一直保持接触高速摩擦状态，任何异常或者病害如果没有及时发现并进行处理，都有可能导致严重的后果。因此，对受电弓缺陷进行及时且精准的检测，保持列车弓网系统处于正常运行状态具有重要的意义。

目前国内外对于受电弓碳滑板缺陷的检测，主要采取三种方式。第一种是人工检测，虽然较为灵活，但是效率很低，并且干扰行车。第二种是接触式检测，主要采用各种传感器，测量精度较高，但对系统的运行会产生一定程度的干扰。第三种是非接触式检测方式，该方法早期采用非接触式传感器，如激光传感器、超声波传感器等等，然而利用激光的检测往往具有很高的精度，但是功能较为单一，超声波检测具有更广泛的功能，但是检测精度较为不足。

近年来，随着图像处理技术的发展以及计算机运行能力的提升，基于图像的受电弓碳滑板缺陷检测得到了越来越广泛的应用。基于图像的受电弓碳滑板缺陷检测方法，不仅能同时对多种形式的缺陷同时进行检测，并且设备灵活，功能全面，因而得到了越来越广泛的应用。

图像非接触式检测的核心是图像处理及检测算法，因而近年来对于弓网系统图像检测算法的研究得到了越来越多的关注。传统的图像检测算法流程较长，步骤复杂，需要考虑较多的技术细节，并且鲁棒性较差，检测算法应对环境变化的适用性较差。近年来，随着计算机计算能力的提升，DCNN(Deep Convolutional Neural Network，深度卷积神经网络)由于其优秀的图像分类识别能力、广泛的适用性，得到了越来越多的关注与应用。

对于受电弓碳滑板缺陷的检测重点主要集中于受电弓碳滑板上，传统的深度学习算法将采集到的有标签图片数据先进行一定的预处理，再输入卷积神经网络中进行训练，利用训练好的模型对未知状态的受电弓图片数据进行检测，以实现对受电弓碳滑板缺陷的自动检测。然而传统的卷积神经网络在处理高清受电弓图片时存在两个问题：

第一，由于性能的限制，对输入的图片需要调整大小，经典卷积神经网络如AlexNet、VGG16等的网络输入图片大小均为224×224。而通过高清相机采集到的受电弓图片像素最小也能达到4904×3280，缩放至达到CNN要求的尺寸会造成大量的信息丢失，不利于对关键特征的提取；

第二，受电弓碳滑板缺陷的检测重点是受电弓碳滑板，但由于轨道限界的要求，采集系统只能设置在轨旁隧道内，在对受电弓碳滑板图像进行采集的过程中不可避免的会包含许多背景影响，如果直接输入CNN中进行训练，网络学习到的特征也包含大量背景特征，会对碳滑板的特征提取产生较大影响。

发明内容

本发明实施例的目的在于提供一种电力列车的受电弓碳滑板缺陷的检测方法，以克服现有技术的问题。

为了实现上述目的，本发明实施例采取的技术方案如下。

一种电力列车的受电弓碳滑板缺陷的检测方法，构建改进的RCNN网络模型，该改进的RCNN网络模型包括区域生成网络RPN和快速区域卷积神经网络Fast-RCNN，利用训练集数据对所述改进的RCNN网络模型进行训练，所述方法包括：

通过安装在列车轨道旁的工业线阵相机采集电力列车的受电弓图片；

将所述受电弓图片输入到训练好的改进的RCNN网络模型，所述改进的RCNN网络模型利用卷积运算提取所述受电弓图片中的受电弓碳滑板区域，利用损失函数对所述受电弓碳滑板区域进行缺陷类别检测。

进一步地，所述的构建改进的RCNN网络模型，该改进的RCNN网络模型包括区域生成网络RPN和快速区域卷积神经网络Fast-RCNN，包括：

采用RPN网络和Fast-RCNN网络构成改进的RCNN网络模型，所述RPN网络和Fast-RCNN网络都包含了相同的基础特征提取网络VGG16网络，所述VGG16网络采用连续卷积核的方式进行特征图的提取，所述VGG16网络包括：卷积层和池化层，所述RPN网络是全卷积网络，利用VGG16网络生成的特征图作为输入进行一次卷积操作，提取出候选区域，所述Fast-RCNN网络对候选区域进行分类，输出每个类别的预测概率，以及每个类别的预测位置。

进一步地，所述的利用训练集数据对所述改进的RCNN网络模型进行训练，包括：

从车辆段采集分别具有各种状态类型的原始受电弓图片，从车辆段采集的原始受电弓图片的角度、距离和在列车轨道隧道内采集的待检测受电弓图片的角度、距离一致，所述各种状态类型包括正常、过度磨耗、异常磨耗和灼烧；

对所有原始受电弓图片进行水平翻转，得到翻转后的受电弓图片，对原始受电弓图片和翻转后的受电弓图片添加均值为0、方差为0.01的高斯噪声，所有添加了高斯噪声的受电弓图片构成数据集，从所述数据集中抽取25％的图片数据作为验证集，将剩余的75％的图片数据作为训练集，利用训练集数据对所述改进的RCNN网络模型进行训练，在训练结束后使用验证集的数据来验证所述改进的RCNN网络模型的训练结果。

进一步地，所述的将所述受电弓图片输入到训练好的改进的RCNN网络模型，所述改进的RCNN网络模型利用卷积运算提取所述受电弓图片中的受电弓碳滑板区域，包括：

将待检测受电弓图片输入到训练好的改进的RCNN网络模型，VGG16网络中的卷积层利用n×n的卷积核在每个通道的受电弓图片上进行卷积运算，得到特征图，该特征图的尺寸和受电弓图片的尺寸的关系为：

其中，Input.size和Output.size分别代表输入的受电弓图片和输出的特征图的尺寸，pad代表边缘扩充，kernel.size代表卷积核尺寸，stride代表进行卷积运算时的滑动步长；

VGG16网络中的池化层通过卷积运算降低所述特征图的维度，RPN网络利用所述VGG16网络生成的特征图作为输入进行一次卷积操作，以每个滑动窗口中心点作为锚点，根据受电弓碳滑板所占的范围大小定义一个基础尺寸，以及三个尺度和三个长宽比，以锚点为中心产生了9个候选框，将生成的候选框作为候选区域，采用改进的非极大值抑制算法去除掉包含目标信息不完整的候选区域。

进一步地，所述的采用改进的非极大值抑制算法去除掉包含目标信息不完整的候选区域，包括：

假设有区域A和区域B，则区域A和区域B之间的重叠度IoU的计算公式为：

IoU＝(A∩B)/(A∪B)

当某个候选框与真实区域之间的IoU值高于给定正阈值时，则给所述某个候选框分配一个正标签，正标签表示是物体；

当某个候选框与真实区域之间的IoU值低于给定负阈值时，则给所述某个候选框分配负标签，负标签表示不是物体；

遍历所有剩余的候选框，选择其中IoU值最高的候选框，采用线性加权或者高斯加权两种方式降低所述IoU值最高的候选框的置信度，提取所有置信度达到给定阈值的剩余候选框，当某个剩余候选框与真实区域之间的IoU值高于给定正阈值时，则给所述某个剩余候选框分配一个正标签，正标签表示是物体；当某个剩余候选框与真实区域之间的IoU值低于给定负阈值时，则给所述某个剩余候选框分配负标签，负标签表示不是物体。

进一步地，所述的利用损失函数对所述受电弓碳滑板区域进行缺陷类别检测，包括：

在Fast-RCNN网络中输入经过VGG16网络训练的特征图和RPN网络输出的候选区域，将候选区域等分成n×n个区域，在每一个区域内进行相同的池化操作，将池化后的候选区域连接全连接层之后再与分类层和回归层连接，利用损失函数对候选区域进行分类，输出每个状态类别的预测概率，以及每个类别的预测位置(x，y，w，h)；

所述损失函数的定义如下：

L(p，u，t^u，v)＝L_cls(p，u)+λ[u≥1]L_loc(t^u，v)

其中，L_cls(p，u)＝-log p_u,为某一状态类别u的log损失，p_u为状态类别u的预测概率，λ[u≥1]代表当u不为0时才有值，u＝0时代表背景，t^u代表预测位置回归损失函数采用的是smooth L₁损失函数，v代表真实区域，具体定义如下：

其中

由上述本发明的实施例提供的技术方案可以看出，本发明实施例提出的基于改进的Faster-RCNN受电弓碳滑板自动检测技术通过区域生成网络和快速区域卷积神经网络的结合，对训练图片的自主学习与特征提取，从而能对采集系统拍摄的图片中受电弓碳滑板的有效区域及缺陷类别进行分析，能够对受电弓碳滑板的状态进行实时监测，保障城市轨道列车安全运行，具有较大的应用前景。

为使本发明的上述目的、特征和优点更能明显易懂，下文特举较佳实施例，并配合所附附图，做详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种受电弓碳滑板缺陷的自动检测方法的处理流程图；

图2为本发明实施例提供的一种Faster-RCNN的基本结构图；

图3为本发明实施例提供的一种区域生成网络(RPN)的基本结构图；

图4为本发明实施例提供的一种候选区域(chors)示意图；

图5为本发明实施例提供的一种Faster-RCNN的网络详细结构图；

图6为本发明实施例提供的一种总损失函数数值随迭代次数的变化趋势示意图；

图7为本发明实施例提供的一种正常测试结果示意图；

图8为本发明实施例提供的一种过度磨耗测试结果示意图；

图9为本发明实施例提供的一种异常磨耗测试结果示意图；

图10为本发明实施例提供的一种灼烧图片测试结果示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明针对现有技术的问题，采用Faster-RCNN(改进的RCNN网络模型)实现受电弓碳滑板区域的提取加识别。首先利用区域生成网络(RPN)实现对碳滑板有效区域的提取，进一步利用有效的基础网络对有效区域的特征进行提取和检测。两步融合在一个深度学习网络中，具有更强的鲁棒性及更高的自动化和智能化程度。

图1是本发明实施例提供的一种电力列车的受电弓碳滑板缺陷的检测方法的处理流程图，包括以下步骤：

步骤S110、原始图像的采集及数据集制作。

受电弓图片来源主要有两个部分。主要由安装在隧道内的工业线阵相机采集，通过感应系统，在列车即将到达采集位置时对受电弓图片进行采集。由于轨道限界的要求，采集设备距离受电弓有一定距离，采集图片时也有一定的角度。

由于运行列车上的受电弓大部分均处于较好的状态，为了更好地提取出受电弓的碳滑板缺陷特征，因此从车辆段采集具有缺陷的受电弓图片，从角度和距离方面尽量和隧道内采集的受电弓图片保持形态上的一致，将从车辆段采集的具有缺陷的受电弓图片构成数据集。

步骤S120、构建改进的RCNN网络模型，对改进的RCNN网络模型进行训练。

采用RPN网络和Fast-RCNN网络构成改进的RCNN网络模型，所述RPN网络和Fast-RCNN网络都包含了相同的基础特征提取网络VGG16网络，所述VGG16网络采用连续卷积核的方式进行特征图的提取，所述VGG16网络包括：卷积层和池化层，所述RPN网络是全卷积网络，利用VGG16网络生成的特征图作为输入进行一次卷积操作，提取出候选区域，所述Fast-RCNN网络对候选区域进行分类，输出每个类别的预测概率，以及每个类别的预测位置。

(1)数据集的制作

为了能让网络更好地提取出受电弓碳滑板部分的特征，首先需要在原始图片中选出受电弓碳滑板部分的区域。Faster-RCNN的优点之一是不需要对原始图片进行灰度化、归一化、压缩等操作，最大程度地保留原始信息。

·数据分类

根据对受电弓碳滑板碳滑板缺陷的定义，将收集到的数据分为四类：正常、过度磨耗、异常磨耗及灼烧。正常代表受电弓碳滑板处于能完全正常使用的状态；过度磨耗代表碳滑板磨耗量已经达到了一定程度，需要更换或者维护保养后再继续使用；异常磨耗代表碳滑板磨耗深度可能并未达到指定的标准，但是表面磨耗不均匀，如偏磨或者拉槽等，可能会造成两边压力不均、刮弓等事故，所以也需要进行更换；灼烧代表碳滑板表面存在金属残留物，常在弓网拉弧后出现，会对弓网间的受流产生一定的影响，所以也需要进行更换。

·数据增强

初步采集到的原始图像数据经过整理后总共有257张，数据量较小，为了达到更好的网络效果，对数据集进行扩充，使用的数据增强技术为水平翻转及添加高斯噪声，先对所有图像进行水平翻转，在对原始图像和翻转后的图像添加均值为0、方差为0.01的高斯噪声。图片命名格式为“type_number.jpg”，其中type和number均为3位数，如正常类别的第一张图片命名为为“000001.jpg”，依次类推。其中，抽取25％的图片数据作为测试集，在训练结束后用来验证网络训练结果的鲁棒性及适用性，在剩余75％的数据中，再抽取25％的数据作为验证集，在训练过程中用来测试训练结果。具体的数据构成如表1所示。

表1

·数据标记

利用labelImg工具，在原始图像中使用一个矩形框，尽可能地保留碳滑板信息的同时去除背景信息，并对矩形框所选区域的碳滑板信息进行标注，图像的位置及标注信息保存在*.xml文件中，其典型格式下所示。数据存放格式参考VOCdevkit2007数据格式。

由上可见，在Annotations中的*.xml文件中包含了图片的名称、尺寸(包括通道数)、碳滑板区域、碳滑板类型等信息，其中最重要的是碳滑板区域信息及类型信息。

步骤S130、将受电弓图片输入到训练好的改进的RCNN网络模型，改进的RCNN网络模型利用卷积运算提取所述受电弓图片中的受电弓碳滑板区域，利用损失函数对所述受电弓碳滑板区域进行缺陷类别检测。

本发明实施例中的改进的RCNN网络模型是一个将目标检测和分类问题融合在一起进行解决的综合网络，主要包含了两个部分，区域生成网络(Region ProposalNetworks,RPN)以及快速区域卷积神经网络(Fast-Region Convolutional NeuralNetworks,Fast-RCNN)，这两个网络中同时也都包含了相同的基础特征提取网络(VGG16)。两部分网络功能都有所不同，相互融合构成了改进的RCNN网络模型，其基本结构如图2所示。

基础特征提取网络(VGG16)

作为基础特征提取网络，VGG16采用了一种小规模连续卷积核的方式来进行特征图(feature map)的提取，在保证训练效果不变的情况下，大大减少了网络参数，并提高了网络训练的效果。

这里使用的VGG16基础提取网络中主要包含了两个部分：卷积层和池化层。卷积层利用n×n的卷积核在每个通道的原始图片上进行卷积运算，得到新的特征图，新的特征图的尺寸和原始尺寸的关系为：

其中Input.size和Output.size分别代表输入和输出特征图的尺寸，pad代表边缘扩充，kernel.size代表卷积核尺寸，stride代表进行卷积运算时的滑动步长。

对于池化层来说，其本质上也是一种卷积运算，其特殊性在于:

kernel.size＝stride

这样就可以降低特征图的维度，能够提取更加高维的抽象特征。

区域生成网络(RPN)

区域生成网络(RPN)的作用是生成一系列候选区域，并提供给后面的Fast-RCNN网络。RPN是全卷积网络，利用基础网络生成的特征图作为输入进行一次卷积操作，将滑动窗口与一个低维向量进行连接，再与分类层(cls layer)和回归层(reg layer)连接。分类层用来判断判断候选区域是属于目标或者背景的概率，有两个参数，回归层则预测每个锚框(anchor)可能对应的目标区域的信息(x，y，w，h)，分别代表目标区域中心点横坐标、纵坐标、区域宽度和区域高度。具体结构如图3所示。

候选区域(anchors)

对于目标检测问题来说，候选区域的提取一直是一个比较难以解决的问题，传统的方法是根据不同的尺度在特征图上遍历，这样的方法会产生大量无用的候选区域，同时耗费大量资源。在RPN中，在通过基础网络训练得到的特征图上进行计算时，以每个滑动窗口中心点作为锚点，定义一个基础尺寸(base_size)，以及三个尺度(scale)和三个长宽比(aspect ratios)，这样就以锚点为中心产生了9个候选框，将生成的候选框作为候选区域，进行后面的目标检测，应对不同尺寸的目标的检测要求。

为了更好地适应受电弓碳滑板的尺寸，根据输入图片的分辨率以及一般情况下碳滑板所占的范围大小，这里定义基础尺寸为base_size＝160pixel，三个尺度为{1280²，2560²，5120²}，三个长宽比为{1∶1，1∶2，2∶1}，图4本发明实施例提供的一种候选区域(chors)示意图。

·IoU(Intersection-over-Union)

IoU定义了两个候选框的重叠度，假设有A和B两个候选框，则其IoU计算公式为：

IoU＝(A∩B)/(A∪B)

IoU的计算结果能够定量描述两个候选框的相似程度，以真实范围为参考的话可以筛选用处不大的候选框。

·损失函数(Loss Function)

在得到候选框之后，为每个候选框分配一个二值类别标签(是物体或者不是)，当一个候选框与真实区域之间的IoU值高于给定正阈值时，则给其分配一个正标签，正标签表示是目标物体；当低于给定负阈值时，给其分配负标签，负标签表示不是目标物体(即背景)。其他的候选框则不会有助于训练目标函数，选择丢弃。这样的目的是截取图像中想要检测的物体的部分，有的候选区域只包含了一小部分的目标物体，包含信息不完整，所以也将其视为背景，以便找到最合适的、包含目标最完整的候选区域。

这里的损失函数为多任务损失函数，包含分类损失和回归损失两部分。每张图片的损失函数定义如下：

其中，i为候选框序号，p_i为是候选框内时某个物体的概率，代表候选框是否为正样本(正样本为1，负样本为0)，t_i代表候选框位置信息(x，y，w，h)的四维向量形式，为目标区域的位置信息向量形式。t_i和每一维的定义如下：

其中x，x_a，x^*分别代表预测区域、候选区域和真实区域的值(y，w，h同理)。

对于分类损失，其采用的是SoftMax损失函数，其定义如下：

其中z_i代表每一类的预测概率。

对于回归损失，采用的是smooth L₁损失函数，其定义如下：

其中

快速区域卷积神经网络(Fast-RCNN)

在获取到RPN提取出的候选区域后，Fast-RCNN对候选区域进行分类，输出每个类别的预测概率，以及每个类别的预测位置(x，y，w，h)。Fast-RCNN同样也用到了基础网络，输入为经过基础网络训练的特征图及兴趣区域(Region of Interest,RoI)数据，首先进行一次RoI池化，连接全连接层之后再与分类层和回归层连接。

·RoI池化

考虑到每个候选区域的尺寸大小不一，即使采用传统的池化方法，得到的特征图大小仍然不一致，为了能够能够将候选区域划分成大小统一的区域与下一层全连接相连，将候选区域等分成n×n个区域，在每一个区域内进行相同的池化操作，即RoI池化。

·损失函数

Fast-RCNN的损失函数也是一个多任务损失函数，包括分类和回归两部分。这里的分类和RPN不同，不止区分正样本和负样本，而是区分具体的类别(背景单独作为一类)，回归损失则和RPN类似。损失函数定义如下：

L(p，u，t^u，v)＝L_cls(p，u)+λ[u≥1]L_loc(t^u，v)

其中，L_cls(p，u)＝-log p_u,为某一状态类别u的log损失，p_u为状态类别u的预测概率，预测概率的数值为最后一层全连接层输出的1×5的一维向量。损失函数是针对具体状态类别u的，p_u为状态类别u的预测概率。

λ[u≥1]代表当u不为0(即不为背景)时才有值，t^u代表预测位置回归损失函数采用的是smooth L₁损失函数，v代表真实区域，具体定义如下：

其中

本发明实施例提供的一种Faster-RCNN的网络详细结构图如图5所示。

网络训练

网络训练环境基于Caffe环境，使用Tesla K40显卡，配置好Faster-RCNN训练环境后进行训练，网络训练关键参数如表2所示。

表2

训练完成后的模型保存为caffemodel文件，以便测试的时候调用。在上一部分提到了四个损失函数：区域生成函数分类损失、区域生成函数回归损失、分类损失以及位置损失，总的损失函数定义为各损失函数的加权和，总损失函数数值随迭代次数的变化趋势如图6所示。其中，曲线①代表训练集的损失数值，曲线②代表验证集的损失数值。可以看到，网络损失收敛较快，在约500步的时候已经趋于稳定，不过仍然有较小波动。在5000步以后波动已经很小，网络明显收敛。

网络测试

得到初步的训练模型后，在测试集中验证网络训练结果。测试集中总共有271张图片，依次输入每张图片，输出每张图片的候选区域及其预测类别。在区域生成网络中，对每张图片均会生成许多候选框，为了能够找到最适合目标的候选框，采用了非极大值抑制(non maximum suppression,nms)算法，去除掉包含目标信息不完整的候选区域。非极大值抑制算法的步骤如下：

1)遍历所有剩余的候选框，选择其中得分最高的候选框；

2)遍历剩余的候选框，如果与得分最高的候选框的IoU值达到某个阈值，则将其去除；

3)判断是否处理完所有的候选框，如果没有，返回第一步，否则结束。

采用非极大值抑制的算法可以很好地去除包含部分目标信息但是不完整地候选区域，但是这个算法存在以下的问题：

1)图片中包含多目标时并存在重叠时，容易误删另一个目标的候选区域，造成检测丢失；

2)很难获得一个较好的阈值，设定较低会误删有用的目标，设定较高则会增加误检测的几率。

针对以上的问题，提出了一种改进的弹性非极大值抑制算法(soft-nms)，针对与目标候选框IoU值较高的候选框，降低其置信度，而不是直接删除。其主要步骤如下：

1)遍历所有剩余的候选框，选择其中得分最高的候选框

2)遍历剩余的候选框，如果与得分最高的候选框的IoU值达到某个阈值，则降低其置信度(包含线性加权和高斯加权两种方式)

3)判断是否处理完所有候选框，如果没有，返回第一步，否则进行下一步

4)提取所有置信度达到给定阈值的候选框

对于线性加权方式，计算置信度公式为：

对于高斯加权方式，计算置信度公式为：

其中b_i为某个候选框，s_i为这个候选框的置信度，M为参考的候选框，N_t为判断两个候选框IoU的阈值。利用这一算法对测试集中的图片分别进行检测。对于二分类问题，测试集的真实类别和检测出来的类别组合有以下几种情况：真正例(true positive,TP)，假正例(false positive,FP)，真反例(true negative,TN)，假反例(false negative,FN)四种情况。对于目标检测的结果，最重要的衡量指标有两个：查准率(precision,P)和查全率(recall,R)，查准率代表检测出的某一类别中有多少是真实属于这一类别的，查全率代表某一类别中所有的样本有多少被检测出来，其公式定义分别为：

根据以上定义，最后得到的检测混淆矩阵(confusion matrix)如表3所示。

表3

从混淆矩阵中可以看出，只有一张灼烧的图片误检成了过度磨耗，其他的检测结果均为正确结果。对每个样本的预测分数进行排序，并以此为顺序依次进行预测，每次计算出当前的查全率和查准率，以查全率为横坐标，查准率为纵坐标，得到查准率-查全率曲线，这个曲线下的面积即为平均精度(Average Precision,AP)，对每一类的平均精度取均值，就得到了均值平均精度(mAP)，结果如表4所示。

表4

从测试集中每一类分别挑选一张测试图片，对其进行目标检测及类别预测，结果如图7、8、9、10所示。

从以上测试结果可见，Fster-RCNN图片结合弹性非极大值抑制(soft-nms)算法能够对受电弓碳滑板区域进行较好的提取，同时对不同类型的碳滑板缺陷能够以较高的准确率进行检测和识别，给受电弓碳滑板检修工作带来极大的便利。

综上所述，本发明实施例的本发明提出了基于改进的Faster-RCNN受电弓碳滑板自动检测技术，通过区域生成网络和快速区域卷积神经网络的结合，对训练图片的自主学习与特征提取，从而能对采集系统拍摄的图片中受电弓碳滑板的有效区域及缺陷类别进行分析，避免了传统图像处理方法的一系列复杂流程，智能化程度更高，实现效率更高，检测及识别精度更高，模型泛用性也更好。最终得到的结果可为受电弓维修保养提供支持，未来可嵌入综合弓网在线检测系统，能够对受电弓碳滑板的状态进行实时监测，保障城市轨道列车安全运行，具有较大的应用前景。

应用本发明实施例的方法，可为车辆维修部门提供运维保障的决策支持，同时也可为未来弓网自动监测系统的构建提供技术支撑。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (3)

1.一种电力列车的受电弓碳滑板缺陷的检测方法，其特征在于，构建改进的RCNN网络模型，该改进的RCNN网络模型包括区域生成网络RPN和快速区域卷积神经网络Fast-RCNN，利用训练集数据对所述改进的RCNN网络模型进行训练，所述方法包括：

通过安装在列车轨道旁的工业线阵相机采集电力列车的受电弓图片；

将所述受电弓图片输入到训练好的改进的RCNN网络模型，所述改进的RCNN网络模型利用卷积运算提取所述受电弓图片中的受电弓碳滑板区域，利用损失函数对所述受电弓碳滑板区域进行缺陷类别检测；

所述的将所述受电弓图片输入到训练好的改进的RCNN网络模型，所述改进的RCNN网络模型利用卷积运算提取所述受电弓图片中的受电弓碳滑板区域，包括：

将待检测受电弓图片输入到训练好的改进的RCNN网络模型，VGG16网络中的卷积层利用n×n的卷积核在每个通道的受电弓图片上进行卷积运算，得到特征图，该特征图的尺寸和受电弓图片的尺寸的关系为：

其中，Input.size和Output.size分别代表输入的受电弓图片和输出的特征图的尺寸，pad代表边缘扩充，kernel.size代表卷积核尺寸，stride代表进行卷积运算时的滑动步长；

VGG16网络中的池化层通过卷积运算降低所述特征图的维度，RPN网络利用所述VGG16网络生成的特征图作为输入进行一次卷积操作，以每个滑动窗口中心点作为锚点，根据受电弓碳滑板所占的范围大小定义一个基础尺寸，以及三个尺度和三个长宽比，以锚点为中心产生了9个候选框，将生成的候选框作为候选区域，采用改进的非极大值抑制算法去除掉包含目标信息不完整的候选区域；

所述的采用改进的非极大值抑制算法去除掉包含目标信息不完整的候选区域，包括：

假设有区域A和区域B，则区域A和区域B之间的重叠度IoU的计算公式为：

IoU＝(A∩B)/(A∪B)

当某个候选框与真实区域之间的IoU值高于给定正阈值时，则给所述某个候选框分配一个正标签，正标签表示是物体；

当某个候选框与真实区域之间的IoU值低于给定负阈值时，则给所述某个候选框分配负标签，负标签表示不是物体；

遍历所有剩余的候选框，选择其中IoU值最高的候选框，采用线性加权或者高斯加权两种方式降低所述IoU值最高的候选框的置信度，提取所有置信度达到给定阈值的剩余候选框，当某个剩余候选框与真实区域之间的IoU值高于给定正阈值时，则给所述某个剩余候选框分配一个正标签，正标签表示是物体；当某个剩余候选框与真实区域之间的IoU值低于给定负阈值时，则给所述某个剩余候选框分配负标签，负标签表示不是物体；

对于线性加权方式，计算置信度公式为：

对于高斯加权方式，计算置信度公式为：

其中b_i为某个候选框，s_i为这个候选框的置信度，M为参考的候选框，N_t为判断两个候选框IoU的阈值；

所述的利用损失函数对所述受电弓碳滑板区域进行缺陷类别检测，包括：

在Fast-RCNN网络中输入经过VGG16网络训练的特征图和RPN网络输出的候选区域，将候选区域等分成n×n个区域，在每一个区域内进行相同的池化操作，将池化后的候选区域连接全连接层之后再与分类层和回归层连接，利用损失函数对候选区域进行分类，输出每个状态类别的预测概率，以及每个类别的预测位置(x,y,w,h)；

所述损失函数的定义如下：

L(p,u,t^u,v)＝L_cls(p,u)+λ[u≥1]L_loc(t^u,v)

其中，L_cls(p,u)＝-log p_u,为某一状态类别u的log损失，p_u为状态类别u的预测概率，λ[u≥1]代表当u不为0时才有值，u＝0时代表背景，t^u代表预测位置回归损失函数采用的是smooth L₁损失函数，v代表真实区域，具体定义如下：

其中

2.根据权利要求1所述的方法，所述的构建改进的RCNN网络模型，该改进的RCNN网络模型包括区域生成网络RPN和快速区域卷积神经网络Fast-RCNN，包括：

采用RPN网络和Fast-RCNN网络构成改进的RCNN网络模型，所述RPN网络和Fast-RCNN网络都包含了相同的基础特征提取网络VGG16网络，所述VGG16网络采用连续卷积核的方式进行特征图的提取，所述VGG16网络包括：卷积层和池化层，所述RPN网络是全卷积网络，利用VGG16网络生成的特征图作为输入进行一次卷积操作，提取出候选区域，所述Fast-RCNN网络对候选区域进行分类，输出每个类别的预测概率，以及每个类别的预测位置。

3.根据权利要求2所述的方法，所述的利用训练集数据对所述改进的RCNN网络模型进行训练，包括：

从车辆段采集分别具有各种状态类型的原始受电弓图片，从车辆段采集的原始受电弓图片的角度、距离和在列车轨道隧道内采集的待检测受电弓图片的角度、距离一致，所述各种状态类型包括正常、过度磨耗、异常磨耗和灼烧；

对所有原始受电弓图片进行水平翻转，得到翻转后的受电弓图片，对原始受电弓图片和翻转后的受电弓图片添加均值为0、方差为0.01的高斯噪声，所有添加了高斯噪声的受电弓图片构成数据集，从所述数据集中抽取25％的图片数据作为验证集，将剩余的75％的图片数据作为训练集，利用训练集数据对所述改进的RCNN网络模型进行训练，在训练结束后使用验证集的数据来验证所述改进的RCNN网络模型的训练结果。