CN110378869A

CN110378869A - 一种样本自动标注的钢轨扣件异常检测方法

Info

Publication number: CN110378869A
Application number: CN201910488359.0A
Authority: CN
Inventors: 刘俊博; 黄雅平; 王胜春; 戴鹏; 杜馨瑜
Original assignee: Beijing Jiaotong University
Current assignee: Beijing Jiaotong University
Priority date: 2019-06-05
Filing date: 2019-06-05
Publication date: 2019-10-25
Anticipated expiration: 2039-06-05
Also published as: CN110378869B

Abstract

本发明涉及一种样本自动标注的钢轨扣件异常检测方法。本发明能够在扣件区域定位阶段自动的收集扣件样本构建训练数据集，无需手工采集和标注训练样本。提出了一种融合基于离线学习获得的知识库和在线学习分类器的多分类识别模型，解决了扣件分类时对新线路数据的适应能力。本发明利用在线学习的思想动态的更新模板库，使扣件区域定位模块可以自适应不同铁路线路或不同区段的轨道图像。本发明还设计了一个深度卷积神经网络模型，使用多层次的卷积层来提取图像特征，对图像特征的表达能力更强，可有效提升图像分类的精度。针对不同类别扣件样本数量不平衡的问题，本发明提出了随机排序的策略减小样本数量失衡对网络性能的影响。

Description

一种样本自动标注的钢轨扣件异常检测方法

技术领域

本发明涉及轨道交通安全技术领域，具体说是一种样本自动标注的钢轨扣件异常检测方法。

背景技术

扣件是轨道上用以联结钢轨和轨枕的零件，其作用是将钢轨固定在轨枕上，保持轨距和阻止钢轨相对于轨枕的纵横向移动。根据轨道板型不同，扣件的安装间距在550mm-650mm，由此换算每公里钢轨的扣件数量在3400对左右，再与我国高铁干线的总里程数对应，线路上的扣件数量是巨大的。钢轨每天受列车运行的横向作用力冲击，会造成扣件固定装配结构变化，从而造成扣压失效导致钢轨移位，并进一步引起列车脱轨等重大安全事故。美国联邦铁路管理局(FAR)铁路事故数据库近十年的铁路事故数据统计显示，44％的铁路事故是由于钢轨和扣件结构存在缺陷造成。因此在轨道设备的安全维护检查中，扣件结构的状态检查是线路安全维护工作的重点。

从20世纪90年代末期，德国、澳大利亚、意大利、美国、荷兰、日本等一些发达国家已开始逐步采用视觉检测系统对轨道设备的外观状态进行检查。我国2009年首次以70万欧元从意大利mermec公司引进了轨道视觉检测系统，用于在青藏高原代替人工对青藏线铁路设备的外观状态进行检查，一定程度上解决了高原巡道的问题。但经调研发现，该系统存在对扣件缺陷的总体检出率偏低，对扣件弹条折断、弹条移位等局部微小变化的缺陷模式检出能力差，不能用于我国现有高速无砟线路的检测任务。我国在轨道视觉检测技术的研究起步较晚，中国铁道科学铁科院基础设施检测研究所在2010-2016年期间研制了轨道视觉检测系统，并基本完成了轨道图像采集系统的产品化。

钢轨扣件缺损检测系统主要包含扣件区域定位和扣件缺损识别两个模块。对于扣件区域定位，现有的方法是利用钢轨和枕木的位置关系或扣件和枕木的边缘特征来定位扣件区域。对于扣件缺损识别，现有的方法可以分为有监督式和无监督式两类。有监督式方法使用WT(Wavelet,WT)、ICA(Independent Component Analysis,ICA)等来描述扣件特征，利用LDA(Latent Dirichlet Allocation,LDA)、MLP(Multi-Layer Perceptron,MLP)、SVM(Support Vector Machine,SVM)、AdaBoosting以及Viola-Jones等分类方法来识别扣件缺损。无监督式方法使用方向场或HOG(Histogram of Oriented Gradient,HOG)来描述扣件特征，再使用基于模板匹配的方法进行扣件缺损识别。

扣件图像是由车载设备在开放环境下动态获取的自然图像，其背景为轨道，扣件区域在图像中呈连续对称分布形态。如前所述，由于我国高铁线路长、跨度大，获取图像的设备源多，因此现有图像采集系统获取的扣件图像数以亿计；再者由于不同线路的扣件类型不同，会造成图像上的扣件存在视觉形态差异；当扣件发生折断、脱落等故障时，异常模式无法预知，难以穷尽枚举，因此扣件图像数据集具有海量、非结构化、模式复杂的特征。这对扣件图像的场景识别、扣件目标检测、扣件特征模式表示等问题提出了挑战。

现在应用的扣件图像数据的机器识别模型大多是基于人工特征+分类器的方式构建，且在特征构建的过程中多借鉴或改进CV领域经典算子(如HOG、LBP)或其组合，而该类模型在处理扣件图像数据时存在三方面的问题：

(1)扣件区域定位是针对特定几何结构的铁路轨道或扣件类型所设计，没有充分考虑铁路轨道环境的复杂性，自适应能力较差。例如：有砟道床中，枕木经常被道砟覆盖；不同铁路线路或不同区段线路使用了不同几何结构的扣件。

(2)监督式的扣件缺损识别方法在检测新的铁路线路时，需要重新采集和标注大量的训练样本来训练分类器，训练过程非常费时、费力。无监督式的扣件缺损识别方法虽然不需要进行训练，但是，方法的可靠性低于监督式方法。

(3)基于人工特征的建模方法对扣件图像的特征表示能力不足，这既包括同类扣件的类内相似性，又包括正常、异常扣件样本之间的类间差异性。在系统应用层所表现的现象就是建模完成后所产生的缺陷模式识别能力较差，会产生一定的问题“漏报”，遗留安全隐患。

为了解决以上问题，本发明在已有工作的基础上，利用在线学习策略动态地更新模板库，该策略不仅可以提高扣件区域定位模块的可靠性和自适应能力，而且可以用来自动的采集和标注一些扣件区域图像构建训练数据集。在扣件缺损识别模块，本发明使用自动采集的训练数据集预训练深度卷积神经网络，再使用待检测线路的扣件样本对网络进行微调，提升了扣件缺损识别的可靠性和自适应能力。

发明内容

现有的监督式铁路扣件缺损检测方法对新的铁路线路检测时，需要重新采集和标注大量样本进行训练，存在推广能力差的问题。本发明提出了一种样本自动标注的钢轨扣件异常检测方法，该方法能够在扣件区域定位阶段自动的收集扣件样本构建训练数据集，无需手工采集和标注训练样本。该训练数据集用于预训练一个深度卷积神经网络，实际应用时，只需使用少量待检测线路的样本对预训练模型进行微调，即可达到较好的性能。本发明在一定程度上提升了钢轨扣件缺损检测的可靠性和自适应能力，具有较好的实用价值。

为达到以上目的，本发明采取的技术方案是：

一种样本自动标注的钢轨扣件异常检测方法，包括以下步骤：

步骤1，采集轨道图像；

步骤2，建立模板库，所述模板库包括固定部分和动态部分；首先将已有扣件区域模板和背景区域模板添加到模板库中的固定部分；对于一条待检测的铁路线路，用户需要手动定位第一帧轨道图像中的扣件区域，并将其存储到模板库中的固定部分；

将所述扣件区域模板的按照类别进行分类，分为正常扣件模板-N和缺陷扣件模板，所述缺陷扣件模板按照类别进行分类，分为损坏扣件模板-D和丢失扣件模板-M；

使用扣件区域定位模块得到每一帧轨道图像中准确的扣件区域的位置，并根据更新规则来更新模板库中的正常扣件模板队列和背景区域模板队列，将其作为模板库的动态部分；

步骤3，利用模板库中的正常扣件模板、损坏扣件模板和丢失扣件模板对定位得到的扣件区域进行预分类，计算每个扣件区域的类别得分，并更新模板库中的损坏扣件模板队列和丢失扣件模板队列；

将分值高于预设阈值λ的扣件区域作为训练样本，形成训练数据集；

步骤4，构建深度卷积神经网络模型，用于进行扣件缺损识别；使用训练数据集对深度卷积神经网络模型进行预训练，再使用待检测线路的扣件样本对深度卷积神经网络模型进行微调，最后深度卷积神经网络模型判断扣件类别，输出最终的检测结果。

在上述技术方案的基础上，步骤2中，使用扣件区域定位模块得到每一帧轨道图像中准确的扣件区域的位置，具体为：

对每一帧轨道图像，利用基于LSD的钢轨边界定位方法，在轨道图像中进行钢轨边界的定位，得到扣件候选区域；再利用滑动窗口法从扣件候选区域中提取子窗口，提取子窗口的HOG特征与模板库中每个模板之间的相似度，按照相似度从高向低选择K个扣件区域模板，利用K近邻算法对子窗口所属类别进行打分，分值最高的子窗口被视为最优的扣件区域，再推断出其它扣件区域，并计算分值；

所述K为K近邻算法的近邻数量，是手工选取的经验值。

在上述技术方案的基础上，步骤2中，所述更新规则为：

1)分别将钢轨两侧分值最高的扣件区域添加到模板库中的正常扣件区域模板队列；

2)分别在钢轨两侧分值最高的扣件区域附近随机地抓取两个背景区域，将其添加到模板库中的背景区域模板队列；

3)如果模板库中某一队列的长度大于预设阈值L_max，删除位于该队列头部的模板；

所述L_max是预设阈值，表示模板队列的最大长度。

在上述技术方案的基础上，步骤3中，采用在线-离线相融合的方法对定位得到的扣件区域进行预分类，具体为：

a)离线学习：依据模板库中的固定部分，通过建立有监督学习框架对扣件大数据进行处理，构建模式分类器，采用多级分类结构：首先构建一个二分类模型，判断扣件属于正常或者缺陷类别；然后构建一个多类别的分类器，进一步识别扣件缺陷类别；

b)在线学习，构建在线学习分类器：通过模板匹配等方法，构建随着检测进度动态更新的模板更新机制，并应用KNN等方法对邻近样本的相似性进行比较，并通过距离度量来判断邻近样本间的相似程度；

c)多分类器决策：融合基于离线学习获得的结果和在线学习分类器的识别结果，最终判定输入扣件区域的状态。

在上述技术方案的基础上，步骤3中，计算每个扣件区域的类别得分：首先使用扣件区域的HOG特征与模板库中的扣件区域模板作相似度计算，再使用K-NN算法对扣件区域进行分类。

在上述技术方案的基础上，为了提高分类精度，设计了一个相似度的计分函数，其定义如下：

其中，x_i是扣件区域与第i个模板的相似度，通过巴氏系数计算得到；相似度越高的模板对分值的影响越大。

在上述技术方案的基础上，步骤3中，所述预设阈值λ为手工选取的经验值，一般设置为0.8。

在上述技术方案的基础上，步骤4中，所述深度卷积神经网络模型包括输入层、七层隐藏层、输出层；所述七层隐藏层为三个卷积层、池化层和三个全连接层；

所述深度卷积神经网络模型的每个隐藏层后都使用了ReLU激活函数，有助于加速网络的收敛；在第一和第二个全连接层之后使用了DropOut策略，有效的防止网络过拟合；在所述输入层对每个缺陷类别的扣件样本添加高斯噪声。

在上述技术方案的基础上，所述每个卷积层的卷积核的尺寸为7×7，步长为1；

所述池化层的方式选择Max-Pooling，窗口尺寸为2×2，步长为2；

第一个全连接层和第二个全连接层有1024个神经元，用于将卷积层提取的图像特征在高维空间进行表达；第三个全连接层有3个神经元，分别表示分类的类别，即正常扣件、损坏扣件和丢失扣件。

在上述技术方案的基础上，采用Softmax-Loss损失函数对深度卷积神经网络模型的参数进行迭代更新，其定义如下式：

其中，N代表所有训练样本的总数，M代表类别总数，Yⁱ代表第i个训练样本的标签，1(Yⁱ＝j)是一个真值表达式，当训练样本的类别与预测类别相同时，该表达式等于1，反之，则等于0，X表示网络的输出，W为权重参数，训练目标就是迭代的更新网络中每一层的权重参数W，使得损失函数H达到最小。

在上述技术方案的基础上，步骤4中，使用训练数据集对深度卷积神经网络模型进行预训练，在每轮训练开始之前都要执行样本随机排序策略，包括以下5个步骤：

1)根据训练样本的类别对训练数据集进行排序，例如：“正常、损坏、丢失”在训练数据集中分别以“0、1、2”来表示；

2)找到样本数量最多的类别，记录其样本数量为N；

3)为每个类别都创建一个长度为N的编号列表，对该列表进行随机的排序；

4)读取每个类别编号列表中的每个编号i，并与此类别的总数取余，得到一个索引值，根据此索引值找到对应的样本图像，添加到图像列表L中；

5)合并所有类别的图像列表L，并进行随机排序，按此图像列表进行网络训练。

本发明提出了一种自动样本标记的铁路扣件缺损检测方法，该方法能够在扣件区域定位阶段自动的收集扣件样本构建训练数据集，无需手工采集和标注训练样本。本发明提出了一种融合基于离线学习获得的知识库和在线学习分类器的多分类识别模型，解决了扣件分类时统对新线路数据的适应能力。本发明提出了一种基于在线学习策略的扣件区域定位方法，利用在线学习的思想动态的更新模板库，使扣件区域定位模块可以自适应不同铁路线路或不同区段的轨道图像。

针对扣件区域图像的特点，本发明设计了一个深度神经网络模型，使用多层次的卷积层来提取图像特征，对图像特征的表达能力更强，可有效提升图像分类的精度。针对不同类别扣件样本数量不平衡的问题，本发明提出了随机排序的策略减小样本数量失衡对网络性能的影响。

本发明所述的一种样本自动标注的钢轨扣件异常检测方法，利用在线学习策略动态的更新模板库，提高了扣件区域定位模块的可靠性和自适应能力，同时，也可以自动的收集和标注训练样本。利用深度卷积神经网络提升了扣件缺损识别模块的可靠性，并且使用微调技术提升了网络模型的自适应能力，克服了现有的监督式分类方法训练的模型无法重复利用的缺点。

附图说明

本发明有如下附图：

图1本发明的整体架构示意图；

图2融合离线学习和在线学习的多分类器设计方法示意图；

图3扣件区域定位结果示意图，(a)是轨道图像，(b)是钢轨边界，(c)是扣件候选区域，(d)是最优扣件区域，(e)是推断的扣件区域；

图4扣件区域识别模块中深度卷积神经网络模型的网络结构图；

图5实施例中七种类型扣件示意图；

图6实施例中真实检测结果图，(a)、(b)、(c)、(d)表示正确的检测，(e)、(f)、(g)、(h)表示误检或漏检。

具体实施方式

以下结合附图对本发明作进一步详细说明。

如图1所示，本发明所述的一种样本自动标注的钢轨扣件异常检测方法，包括以下步骤：

步骤1，采集轨道图像；

步骤3，利用模板库中的正常扣件模板、损坏扣件模板和丢失扣件模板对定位得到的扣件区域进行预分类，计算每个扣件区域的类别得分，并更新模块库中的损坏扣件模板队列和丢失扣件模板队列；

其中N、D、M、B分别代表扣件模板的类别，即正常(Normal)、损坏(Damaged)、丢失(Missing)和背景(Background)。本发明采用的模板库分为固定和动态两个部分，固定部分的扣件模板是手动添加的，动态部分的扣件模板是随着扣件定位模块而动态的更新。

1.在线-离线相融合的扣件图像分类学习模型

由于受图像采集环境的影响以及采集设备安装位置的偏差，不同的检测车在不同的时间段对同一线路的多次图像采集结果存在差异，造成扣件类型多变、缺陷模式形态复杂、正常/缺陷扣件模式之间形态间的微小变化。因此，每次新的线路检测任务都会引起扣件模板库的动态变化，为了维持系统的分类能力，训练样本的变化需要进行重复的训练学习。而在海量的大数据背景下，这种频繁的重复训练付出的时间代价显然是无法接受的。

在线学习是一种增量式的学习算法，它的核心思想是每当有新的样本模式时，并不需要对整个大数据样本库进行重建，而是在原有样本的基础上，增加对新样本的分类能力，这一过程更符合人类学习新知识的过程，是将机器学习理论转为实用工程技术的有力工具。因此通过将离线学习与在线学习相结合，建立多分类器系统，是解决复杂模式识别问题的可选方法，如图2所示：

(a)离线学习：依据模板库中的固定部分，通过建立有监督学习框架对扣件大数据进行处理构建模式分类器。考虑到分类问题的复杂性，采用多级分类结构。思路如下：首先构建一个二分类模型，判断扣件属于正常或者异常状态；然后构建一个多类别的分类器，进一步识别扣件缺陷的具体子类别。离线学习获得的结果将以文件形式存储，并作为在线学习部分的重要参照信息植入系统。

(b)在线学习，构建在线学习分类器，在数据处理过程中与近邻样本的相似性比较，从而增强分类系统对环境的适应能力。通过模板匹配等方法，构建随着检测进度动态更新的模板更新机制，并应用KNN(k-NearestNeighbor，K近邻算法)等方法，对邻近样本的相似性进行比较，并通过距离度量来判断邻近样本间的相似程度，为最终决策提供参考信息。

(c)多分类器决策：融合基于离线学习获得的结果和在线学习分类器的识别结果，最终判定输入扣件区域的状态。融合规则需依据多次的迭代试验和评估结果最终确定。

2.基于在线学习策略的扣件区域定位方法

2.1扣件区域定位

在图像中进行目标定位最常见的方法是滑动窗口法。然而，轨道图像的尺寸为800×1230，扣件区域尺寸为90×100，直接使用滑动窗口法进行穷举搜索将会严重影响系统效率。事实上，铁路轨道图像中包含了4个先验知识：(1)每帧轨道图像中只包含一条钢轨；(2)钢轨总是与图像的x轴垂直，并且钢轨的两条边界是平行的；(3)钢轨的宽度是固定的像素值；(4)扣件区域总是在钢轨边界的两侧，并且扣件区域的尺寸是固定的。

本发明利用基于LSD(Line Segment Detector，直线段检测算法)的钢轨边界定位方法，结合以上的先验知识，大幅减小了扣件候选区域的范围。

轨道图像中至少包含6个扣件，并且极少发生6个扣件全部丢失的情况。因此，可以采用滑动窗口法以固定大小的步长在扣件候选区域内提取子窗口，然后计算子窗口与扣件模板的相似性，找到一个与扣件模板相似度最高的区域作为最优扣件区域，其它扣件区域可以根据轨道的几何结构和左右扣件区域的对称性来推断。本发明采用相似度计算方法，使用HOG(Histogram of Oriented Gradient)特征和巴氏系数(BhattacharyyaCoefficient)度量子窗口与扣件模板的相似度。

图3展示了扣件区域定位的效果，钢轨的宽度为60像素，扣件区域的宽度为90像素，阈值选择5像素，滑动窗口步长为10像素，扣件区域的横向间隔为55-65像素，纵向间隔为275-315像素。

2.2在线学习策略

由于不同的铁路线路或不同区段的轨道成像条件和扣件类别不相同，所获取的轨道图像存在较大差异，使用固定的模板库很难完全的覆盖这些情况，容易导致误检和漏检的问题。因此，本发明提出了一种在线学习策略，用于动态的更新模板库。

首先，将现有扣件模板添加到模板库中的固定部分，其中包括扣件区域模板和背景区域模板。对于一条待检测的铁路线路，用户需要手动定位第一帧轨道图像中的扣件区域，并将其存储到模板库中的固定部分。然后，对每一帧轨道图像，先定位钢轨边界得到扣件候选区域，再利用滑动窗口法从扣件候选区域中提取子窗口，提取子窗口的HoG特征与模板库中每个模板之间的相似度，按照相似度从高向低选择K个模板，利用K-NN算法(K-Nearest Neighbor)对子窗口所属类别进行打分，分值最高的子窗口被视为最优的扣件区域，再推断出其他扣件区域，并计算分值。最后，根据更新规则来更新模板库的动态部分。模板库更新规则如下：

(1)分别将钢轨两侧分值最高的扣件区域添加到模板库中的正常扣件区域队列；

(2)分别在钢轨两侧分值最高的扣件区域附近随机的抓取两个背景区域，将其添加到模板库中的背景区域队列；

(3)如果模板库中某一队列的长度大于L_max，删除位于该队列头部的模板；所述L_max是预设阈值，表示模板队列的最大长度。

此策略是利用在线学习的思想动态的更新模板库，从而使扣件区域定位模块可以自适应不同铁路线路或不同区段的轨道图像。需要注意的是，考虑到系统运行效率，在扣件定位阶段，只使用了模板库中的正常扣件模板和背景区域模板进行相似度计算。

3.基于离线深度神经网络的扣件缺损识别

3.1网络结构设计

近年来，深度卷积神经网络已经广泛应用于图像识别等任务，并取得了巨大的突破。深度卷积神经网络使用多层次的卷积层来提取图像特征，对图像特征的表达能力更强，可以有效的提升图像分类的精度。此外，离线训练后的模型只需要使用少量的训练样本进行微调训练，就可达到较好的性能，提升了模型的自适应能力。

本发明以AlexNet的网络结构为基础，针对扣件区域图像的特点设计了一个网络模型。由于扣件区域图像的尺寸较小，图像内容相对单一，本发明删除了前两个卷积层，并降低了全连接层的神经元个数，提升网络的计算速度。为了保持图像特征的感受野大小不变，本发明增加了后三个卷积层的卷积核的尺寸。

本发明采用的网络结构如图4所示，其中Conv代表卷积层，每个卷积核的尺寸为7×7，步长为1；池化层的方式选择Max-Pooling，窗口尺寸为2×2，步长为2；FC代表全连接层，第一和第二个全连接层有1024个神经元，用于将卷积层提取的图像特征在高维空间进行表达；最后一个全连接层有3个神经元，分别表示分类的类别，即正常、损坏和丢失。最后，采用Softmax-Loss作为损失函数对整个网络的参数进行迭代更新，其定义如下式：

此外，网络的每个隐藏层后都使用了ReLU激活函数，有助于加速网络的收敛。在第一和第二个全连接层之后使用了DropOut策略，有效的防止网络过拟合。本发明的网络中没有使用LRN层，因为LRN层对网络性能的提升很小，但是却增加了额外的内存开销和计算成本。

3.2训练数据获取

深度卷积神经网络是一种监督式的机器学习模型，它的训练过程需要大量的训练样本，然而，手动收集和标注训练样本非常的耗时和费力。基于此，本发明同样采用在线学习的策略对定位出的扣件区域图像进行预分类，构建训练数据集，用于扣件区域识别网络的训练。此方法能够自动的收集大量训练样本，一定程度上解决了训练样本收集和标注的困难，减少了手工标注样本的麻烦。

不同的是，此阶段需要使用模板库中的正常扣件模板、损坏扣件模板和丢失扣件模板，不再使用背景区域模板。因此，在更新模板库时，要将被分类为损坏或丢失的扣件区域添加到模板库中相应缺陷类别的动态部分。具体来说，获得扣件区域定位模块输出的扣件区域后，依然使用扣件区域的HOG特征与模板库中的模板作相似度计算，然后再使用K-NN算法对扣件区域进行分类，最后，设置阈值来选取高可信度的扣件区域作为训练样本。

另外，K-NN算法常用的分类依据是投票法。然而，每个近邻对扣件区域类别的贡献并不一定相等。事实上，由于有缺陷的扣件数量很少，这会导致模板库中每个类别的模板数目不平衡，正常的扣件模板数量会远远大于其他类别的模板数量。因此，不能直接使用投票法对扣件区域分类。为了提高分类精度，本发明设计了一个计分函数，其定义如下：

其中，x_i是扣件区域与第i个模板的相似度，通过巴氏系数计算得到。这意味着，相似度越高的模板对分值的影响越大。

与以往的监督式学习方法相比，本发明采用无监督的方式收集和标注扣件区域样本，避免了人工操作，提升了扣件检测系统的自动化程度，更具有实用性。需要注意的是，使用此方法自动收集的扣件样本，其标签可能会出现少量错误。

3.3训练数据增强

深度卷积神经网络需要大量的训练数据来避免过拟合，且每类训练数据的数量应大致平衡。然而，对于扣件缺损检测任务，有缺损的扣件相对于正常的扣件的数量很小，这不利于深度卷积神经网络的训练。因此，本发明利用样本随机排序策略一定程度上减小样本数量失衡对网络性能的影响。

具体来说，在每轮训练开始之前都要执行样本随机排序策略，分为以下5个步骤：

(1)根据训练样本的类别对训练数据集进行排序，例如：“正常、损坏、丢失”在训练数据集中分别以“0、1、2”来表示；

(2)找到样本数量最多的类别，记录其样本数量为N；

(3)为每个类别都创建一个长度为N的编号列表，对该列表进行随机的排序；

(4)读取每个类别编号列表中的每个编号i，并与此类别的总数取余，得到一个索引值，根据此索引值找到对应的样本图像，添加到图像列表L中；

(5)合并所有类别的图像列表L，并进行随机排序，按此图像列表进行网络训练。

此方法一定程度上解决了不同类别的样本数量不平衡的问题，但由于是直接复制训练样本，会造成大量的训练样本重复，容易造成网络参数过拟合。因此，本发明对有缺陷的扣件样本使用了数据增强方法。

为了加快网络的训练过程，本发明仅是在数据输入层对每个有缺陷的扣件样本图像添加高斯噪声，高斯参数是在一个固定的范围内随机选择，从而减少训练数据的重复。这种方式需要的计算量很小，并且转换后的图像也不需要存储在硬盘上。实验中均值的取值范围是[-2,2]，标准差的取值范围是[0,1]，高斯系数的取值范围是[16,64]。

4.实施例

本发明扣件检测系统采用C++语言开发，使用了Opencv3.0、CUDA8.0、Caffe等第三方工具库，计算服务器的硬件采用2颗IntelE5-2630v4CPU和1个NVIDIA Tesla k40c GPU加速计算卡。

4.1铁路扣件数据集

由于铁路扣件检测任务没有公开的扣件数据集，本发明的铁路扣件数据集是自行采集自真实的铁路线路，并进行了人工标注。铁路扣件数据集包含两个任务的数据，第一个任务是扣件区域定位，使用的实验数据采集自4条铁路线路，共包含12286张轨道图像，73058个扣件区域。此实验数据来自我们之前的工作，只标注了扣件区域的位置，用于检测扣件区域定位模块的性能和自动的收集扣件区域识别网络的训练样本。第二个任务是扣件缺损识别，使用的实验数据采集自3条铁路线路，共包含110613个扣件区域，扣件区域类别分为3类：正常、损坏和丢失，此实验数据用于微调和测试扣件缺损识别网络的性能。需要注意的是，此部分数据是经过人工筛选的，并不是完全连续的铁路轨道数据。

本发明的铁路扣件数据集采集自多条铁路线路的多条区段，其中包含了七种扣件类型，如图5所示，七种扣件可按形状分为3类，即钩型扣件、六角螺栓扣件和α型扣件。表1和表2给出了数据集中每条铁路线路的详细信息。

表1扣件区域定位实验数据详细信息

表2扣件缺损识别实验数据详细信息

4.2扣件区域定位

在铁路扣件缺损检测系统中，扣件区域定位模块非常重要，它必须找到精确的扣件区域位置，才能保证扣件检测系统的有效性。因此，本实验设置IoU的阈值为0.9，采用检测率(detection rate,DR)作为实验的评价指标。

4.2.1实验结果分析

为了证明扣件区域定位模块对不同铁路线路的自适应能力，采用了2种实验方案进行测试。方案一是只使用模板库的固定部分(fixedtemplate library,FTL)，方案二是添加了模板库的动态部分(dynamically template library,DTL)，模板库中动态部分的每个模板队列最大长度设置为300。两种方案的模板库固定部分相同，包含20张扣件区域模板图像和20张非扣件区域模板图像，近邻数量K设置为19。各线路的测试结果如表3所示，方案一取得了94.06％的平均检测率，方案二取得了99.36％的平均检测率。

表3扣件区域定位检测结果对比

通过实验结果可以看出，方案一在前3条线路中检测率下降不大，而在#4条线路中检测率大幅度下滑，其原因可能在于#4线路的扣件类型发生了变化。方案二在4条线路中的检测率均表现良好，且变化幅度不大。实验结果证明了本发明的扣件区域定位模块达到了较高的可靠性和良好的自适应能力。

4.2.2参数选择分析

本实验主要讨论模板库的动态部分中每个模板队列的最大长度和近邻数量K对扣件区域定位结果的影响，实验数据选用#1铁路线路的2931张轨道图像，共包含17380个扣件区域。

为了测试模板库的动态部分中每个模板队列的最大长度对扣件区域定位结果的影响，在第一阶段实验中，将近邻数量K固定为19。本次实验使用检测率(DR)和帧率(FPS)作为评价指标，实验结果如表4所示。

表4不同队列长度的模板库对应的检测结果

通过实验结果可以看出，随着模板库尺寸的增加，检测率也随之增加，但是变化幅度并不大。同时，模板库尺寸的增加也导致了检测时间不断攀升，影响了系统的效率。总体来说，在本发明的扣件区域定位模块中，随着动态模板库尺寸不断增大，算法的定位性能也会更好，在实际应用时，可根据需求灵活调整。

为了测试近邻数量K的取值对扣件区域定位结果的影响，在第二阶段实验中，将模板库的动态部分中每个模板队列的最大长度固定为300。实验结果如表5所示。

表5不同K值对应的检测结果

通过实验结果可以看出，使用更大的近邻数量K会对扣件区域定位模块的性能有一定的帮助，但是并没有大幅度的改善，而且会带来系统效率上的损失。

4.3扣件缺损识别

扣件缺损识别时构建的深度卷积神经网络模型是铁路扣件缺损检测系统的关键算法，它的性能关系到整个系统的可靠性。本实验中采用精确率(Precision)、召回率(Recall)和F₁score三个指标来评价扣件缺损识别网络的可靠性。

4.3.1实验结果分析

首先，使用本发明提出的训练数据获取方法在#1、#2、#3和#4线路数据上自动收集训练样本，共收集到正常扣件区域55686张，损坏扣件区域1596个，丢失扣件区域1080个。再将此部分训练数据按照10:1的比例划分为训练集和验证集，结合本发明的训练数据增强方法对深度卷积神经网络模型进行训练。训练采用SGD算法，输入样本批量大小为128，动量设置为0.9，权重衰减值为0.0005，DropOut比例设置为0.5，训练周期为10个epoch，初始学习率设置为10^-2，随着网络的迭代逐渐下降至10^-6。

完成网络的训练之后，再分别使用#4、#5和#6号线路的数据对网络模型进行微调。为了保证实验的公平性，在使用微调技术对每条铁路线路数据训练时，使用相同数量的扣件区域样本，即正常、破损和丢失的扣件样本各2000张，剩余的扣件区域样本用于测试网络的性能。网络训练算法相同，输入样本批量大小改为100，动量为0.9，权重衰减0.0005，DropOut比例0.5，训练周期为6个epoch，初始学习率设置为10^-4，每训练2个epoch后，学习率下降10倍。实验结果如表6所示。

表6扣件缺损识别实验结果

通过实验结果可以看出，#6线路的测试结果稍优于#4和#5线路的测试结果，这是由于#6线路中只存在一种类型的扣件，而#4和#5线路中存在2种类型的扣件。深度卷积神经网络模型只使用了少量的训练样本就达到了较为可靠的性能，这表明本发明提出的深度卷积神经网络模型具有良好的自适应能力，并且还有继续提升的潜力。需要注意的是，用于测试的扣件样本数据采集自铁路线路的不同路段或不同时间，这对网络的性能也有一定的影响。总体来说，本发明的扣件区域识别网络达到了较好的可靠性和良好的自适应能力。

4.3.2方法对比

本实验选取两种已有的扣件缺损识别方法和本发明提出的扣件缺损识别网络进行对比实验。第一种方法是利用模板库的固定部分结合K-NN算法识别扣件缺损。第二种方法是前一种方法的改进，利用在线学习策略动态的更新模板库，再结合K-NN算法识别扣件缺损，此方法在本发明中用于自动的采集扣件区域样本。这两种方法是基于无监督学习的，优势在于不需要训练模型。本实验均采用#6线路数据，K-NN的近邻数量K设置为19，模板库的动态部分中每个模板队列的最大长度设置为300，模板库的固定部分添加每个类别的扣件模板图像各20张。实验结果如表7所示。

表7扣件缺损识别对比实验结果

实验结果表明，本发明的深度卷积神经网络模型的精确率稍低于第二种方法，但是召回率远远高于前者。综合来看，本发明提升了扣件缺损检测系统的可靠性。在实际应用中，精确率不足会造成虚警，增加后期人工复查的工作量，但是，召回率过低则会导致漏警，影响铁路安全。此外，使用在线学习策略动态的更新模板库的方法在性能上优于只使用固定模板库的方法，这也符合本发明的预期，该方法的精确率较高，具有一定的分类能力，并且该方法无需经过训练，非常适合用于采集和标注扣件样本。

4.4检测结果展示

本发明所述方法已成功的应用于多个铁路局的扣件检测任务，并取得了良好的效果。图6展示了本发明的真实检测结果。

图6真实检测结果图。(a)、(b)、(c)、(d)表示正确的检测，(e)、(f)、(g)、(h)表示误检或漏检。

图6中，(a)和(b)中矩形框是检测到破损的扣件，(c)和(d)中矩形框是检测到丢失的扣件，(e)中矩形框是被误检测为破损的扣件，(f)和(g)中矩形框是被误检测为丢失的扣件，(h)中虚线框是被漏检的扣件区域。从图中可以看出，本发明在正常轨道图像中的检测效果很好，可以自适应不同线路或不同区段的复杂情况，提升了铁路养护工人的工作效率。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims

1.一种样本自动标注的钢轨扣件异常检测方法，其特征在于，包括以下步骤：

步骤1，采集轨道图像；

将所述扣件区域模板按照类别进行分类，分为正常扣件模板和缺陷扣件模板；所述缺陷扣件模板按照类别进行分类，分为损坏扣件模板和丢失扣件模板；

步骤4，构建深度卷积神经网络模型，用于进行扣件缺损识别；使用训练数据集对深度卷积神经网络模型进行预训练，再使用待检测线路的扣件样本对深度卷积神经网络模型进行微调，最后通过深度卷积神经网络模型判断扣件类别，输出最终的检测结果。

2.如权利要求1所述的样本自动标注的钢轨扣件异常检测方法，其特征在于，步骤2中，使用扣件区域定位模块得到每一帧轨道图像中准确的扣件区域的位置，具体为：

对每一帧轨道图像，利用基于LSD的钢轨边界定位方法，在轨道图像中进行钢轨边界的定位，得到扣件候选区域；再利用滑动窗口法从扣件候选区域中提取子窗口，计算子窗口的HOG特征与模板库中每个模板之间的相似度，按照相似度从高向低选择K个扣件区域模板，利用K近邻算法对子窗口所属类别进行打分，分值最高的子窗口被视为最优的扣件区域，再推断出其它扣件区域，并计算分值；

所述K为K近邻算法的近邻数量，是手工选取的经验值。

3.如权利要求2所述的样本自动标注的钢轨扣件异常检测方法，其特征在于，步骤2中，所述更新规则为：

所述L_max是预设阈值，表示模板队列的最大长度。

4.如权利要求1所述的样本自动标注的钢轨扣件异常检测方法，其特征在于，步骤3中，采用在线-离线相融合的方法对定位得到的扣件区域进行预分类，具体为：

b)在线学习，构建在线学习分类器：通过模板匹配方法，构建随着检测进度动态更新的模板更新机制，并应用KNN方法对邻近样本的相似性进行比较，并通过距离度量来判断邻近样本间的相似程度；

c)多分类器决策：融合基于离线学习获得的结果和在线学习分类器的识别结果，最终判定输入扣件区域的类别。

5.如权利要求1所述的样本自动标注的钢轨扣件异常检测方法，其特征在于，步骤3中，计算每个扣件区域的类别得分：首先使用扣件区域的HOG特征与模板库中的扣件区域模板作相似度计算，再使用K-NN算法对扣件区域进行分类；

为了提高分类精度，设计了一个相似度的计分函数，其定义如下：

其中，x_i是扣件区域与第i个模板的相似度，通过巴氏系数计算得到。

6.如权利要求1所述的样本自动标注的钢轨扣件异常检测方法，其特征在于，步骤3中，所述预设阈值λ为手工选取的经验值，设置为0.8。

7.如权利要求1所述的样本自动标注的钢轨扣件异常检测方法，其特征在于，步骤4中，所述深度卷积神经网络模型包括输入层、七层隐藏层、输出层；所述七层隐藏层为三个卷积层、池化层和三个全连接层；

所述深度卷积神经网络模型的每个隐藏层后都使用ReLU激活函数，有助于加速网络的收敛；在第一个全连接层和第二个全连接层之后使用DropOut策略，有效地防止网络过拟合；在所述输入层对每个缺陷类别的扣件样本添加高斯噪声。

8.如权利要求7所述的样本自动标注的钢轨扣件异常检测方法，其特征在于，所述每个卷积层的卷积核的尺寸为7×7，步长为1；

所述池化层的方式选择Max-Pooling，窗口尺寸为2×2，步长为2；

第一个全连接层和第二个全连接层有1024个神经元，用于将卷积层提取的图像特征在高维空间进行表达；第三个全连接层有3个神经元，分别表示分类的类别，正常扣件、损坏扣件和丢失扣件。

9.如权利要求8所述的样本自动标注的钢轨扣件异常检测方法，其特征在于，采用Softmax-Loss损失函数对深度卷积神经网络模型的参数进行迭代更新，其定义如下式：

10.如权利要求1所述的样本自动标注的钢轨扣件异常检测方法，其特征在于，步骤4中，使用训练数据集对深度卷积神经网络模型进行预训练，在每轮训练开始之前都要执行样本随机排序策略，包括以下5个步骤：

1)根据训练样本的类别对训练数据集进行排序；

2)找到样本数量最多的类别，记录其样本数量为N；

4)读取每个类别编号列表中的每个编号i，并与此类别的总数取余，得到一个索引值，根据索引值找到对应的样本图像，添加到图像列表L中；

5)合并所有类别的图像列表L，并进行随机排序，按此图像列表进行训练。