CN112132088A - 一种巡检点位漏巡识别方法 - Google Patents

Abstract

本发明公开了一种巡检点位漏巡识别方法，根据预采集巡检视频提取巡检图像，按照巡检图像所属点位类别标注其标签向量，向量的元素表示巡检图像为对应点位类别的正样本或负样本；将标注的巡检图像划分为训练集、验证集和测试集；搭建密集连接卷积神经网络模型，所述模型的输入量为巡检图像，输出量为巡检图像预测为各点位类别正样本的置信度；采用训练集训练所述模型；采用验证集计算各点位类别的置信阈值；采用测试集验证模型训练完成；录制巡检过程时，同步提取实时巡检图像，采用训练后的模型预测实时巡检图像的置信度；录制完成后，汇总实时巡检图像的点位类别预测结果，判断是否存在点位漏巡。本发明实现了自动点位分类，能够及时发现漏巡。

Description

一种巡检点位漏巡识别方法

技术领域

本发明涉及铁路机车巡检辅助领域，具体涉及一种巡检点位漏巡识别方法。

背景技术

铁路在我国运输中起着举足轻重的作用，机车的日常维护是铁路安全运行的重要保障。机车整备作业内容包括机车各部件日常检查、保养等工作，有严格的巡检流程，对巡检人员要求极高，单次作业巡检时间长、巡检点位多，外部环境复杂、巡检难度大，巡检人员疲劳、疏忽等人为因素易导致重要点位漏巡情况发生，无法有效消除事故隐患。

目前，检查巡检过程中是否存在点位漏巡的方法多为通过人工回看巡检视频进行查找，这种检查方法耗时耗力，检查质量难以保证，且属于事后监督，不能及时发现漏巡问题。

通过图像识别神经网络可以实现智能化处理巡检图像，但是在实际应用中，机车巡检过程所采集的巡检图像场景复杂，受到点位、时间、天气、光照强度等多种因素影响，因此，图像分析识别的难度极大。现有技术大多针对某一种点位的图像进行故障分析，而通过巡检过程中的多种点位图像判断点位漏巡方面的研究极少。

发明内容

为了解决上述技术问题，本发明提出了一种巡检点位漏巡识别方法，实现了在录制巡检视频的同时自动对视频图像进行点位分类识别，能够及时判断巡检过程是否存在点位漏巡。

为实现上述目的，本发明采用以下技术方案：

一种巡检点位漏巡识别方法，包括：

根据预采集巡检视频提取巡检图像，按照巡检图像所属点位类别标注其标签向量，向量的元素表示巡检图像为对应点位类别的正样本或负样本；将标注的巡检图像划分为训练集、验证集和测试集；

搭建密集连接卷积神经网络模型，所述模型的输入量为巡检图像，输出量为巡检图像预测为各点位类别正样本的置信度；采用训练集训练所述模型；采用验证集计算各点位类别的置信阈值；采用测试集验证模型训练完成；

录制巡检过程时，同步提取实时巡检图像，采用训练后的模型预测实时巡检图像的置信度；录制完成后，汇总实时巡检图像的点位类别预测结果，判断是否存在点位漏巡。

进一步地，采用数据增强方法对所述训练集进行数据扩增，扩增后的图像与原始图像具有相同的标签向量。

进一步地，所述数据增强方法包括随机旋转、随机水平翻转、错切变换、随机通道转换及随机添加噪声。

进一步地，所述训练集、验证集和测试集均包含每种点位类别的正样本。

进一步地，所述密集连接卷积神经网络模型每层网络的输入均来自前面所有层的输出；所述模型包括若干个密集连接块，每两个密集连接块之间通过过渡层连接，最后一个密集连接块后依次连接全局平均池化层和全连接层，输出巡检图像预测为各点位类别正样本的置信度；每个所述密集连接块内包括若干组卷积单元，每组卷积单元包含1*1和3*3的卷积层，每组卷积单元的输出作为所属密集连接块内其后各组卷积单元的输入。

进一步地，所述密集连接块数量为4个，每个密集连接块包含的卷积单元数量依次为6组、12组、24组和16组。

进一步地，所述密集连接卷积神经网络模型的模型训练参数设置为：参数class_weight设置为auto；损失函数采用二值交叉熵损失函数，优化方法采用Adam方法，模型全连接层激活函数采用sigmoid函数。

进一步地，所述采用验证集计算各点位类别的置信阈值，包括：

采用训练后的模型预测验证集图像为各点位类别正样本的置信度；

计算每一点位类别的每一正样本置信度作为阈值时，该点位类别在验证集的约登指数；

选择每一点位类别最大约登指数对应的置信度作为该点位类别的置信阈值。

进一步地，所述采用测试集验证模型训练完成具体为：模型预测结果的准确度、灵敏度和特异度均达到95％以上。

进一步地，所述汇总实时巡检图像的点位类别预测结果，判断是否存在点位漏巡，包括：

将预测的实时巡检图像置信度与点位类别置信阈值进行比较，若置信度大于置信阈值，则预测该实时巡检图像为对应点位类别正样本，否则，为对应点位类别负样本；

判断实时巡检图像预测结果是否包含所有点位类别正样本，若存在未包含的点位类别，则判断存在点位漏巡。

本发明的有益效果是：

本发明通过提出一种巡检点位漏巡识别方法，实现了在录制巡检视频的同时对视频图像进行点位自动分类识别，进而判断巡检过程是否存在点位漏巡。本发明能够更加完善准确地进行分析，有效减少人工核对视频的工作量，节约了人工查找漏巡情况的时间与人力成本，同时提高了作业质量，有效辅助铁路巡检。通过数据增强方法获得了更多训练数据，同时增加了智能分析模型的鲁棒性。本发明提出的巡检点位漏巡识别方法识别精度高，参数量少，运行速度快，实现了铁路机车整备作业巡检点位漏巡情况的实时准确分析。

附图说明

图1是本发明实施例巡检点位漏巡识别方法流程示意图；

图2是本发明实施例密集连接卷积神经网络模型结构示意图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

如图1所示，本发明实施例公开了一种巡检点位漏巡识别方法，包括：

1)图像预处理阶段

根据预采集巡检视频提取巡检图像，按照巡检图像所属点位类别标注其标签向量，向量的元素表示巡检图像为对应点位类别的正样本或负样本；将标注的巡检图像划分为训练集、验证集和测试集。

具体步骤如下：

11)采用智能巡检终端录制预采集巡检视频，逐帧提取巡检图像。

12)根据铁路巡检规范确定巡检点位，按照巡检图像所属点位类别对每张巡检图像进行N种点位类别标注，将标注映射为one-hot向量作为标签向量，向量中每个元素分别代表此巡检图像为某种对应点位类别的正样本或负样本。由此所得的标注结果被用作模型训练阶段的金标准。本发明实施例中共包括9种点位类别，如控制系统电源开关、总风缸隔离塞门、无火装置、车轮等。

13)将标注的巡检图像按比例划分为训练集、验证集与测试集，且确保三组数据集均包含各点位类别的正样本。本发明实施例优选划分比例为8：1：1。

14)采用数据增强方法对所述训练集进行数据扩增，扩增后的图像与原始图像具有相同的标签向量。受拍摄点位、角度、时间、天气等因素影响，铁路巡检图像存在对比度不同、清晰度多样以及图像拉伸等问题，采用数据增强方法对训练集数据进行数据扩增能够获得更多训练数据的同时增加模型的鲁棒性。所采用的数据增强方法包括但不限于随机旋转、随机水平翻转、错切变换、随机通道转换及随机添加噪声等。

2)模型训练阶段

搭建密集连接卷积神经网络模型，所述模型的输入量为巡检图像，输出量为巡检图像预测为各点位类别正样本的置信度；采用训练集训练所述模型；采用验证集计算各点位类别的置信阈值；采用测试集验证模型训练完成。

具体步骤如下：

21)搭建神经网络模型。本发明实施例采用密集连接卷积神经网络模型，通过密集连接实现特征复用的同时减少网络参数量，具有较高的精度和速度，能够满足较高的实时性要求。如图2所示，所述密集连接卷积神经网络模型包括若干个密集连接块(DenseBlock)，每两个密集连接块之间通过过渡层(Transition Layers)连接，过渡层包括卷积(convolution)与池化(pooling)操作，最后一个密集连接块后依次连接全局平均池化层和全连接层，输出巡检图像预测为各点位类别正样本的置信度；每个所述密集连接块内包括若干组卷积单元，每组卷积单元包含1*1和3*3的卷积层，每组卷积单元的输出作为所属密集连接块内其后各组卷积单元的输入。所述密集连接块数量为4个，每个密集连接块包含的卷积单元数量依次为6组、12组、24组和16组，模型的全部卷积层、池化层、全连接层共121层，每层的输入均来自前面所有层的输出，形成密集连接。最后一层全连接层输出为N维向量，分别对应模型预测输入巡检图像为各点位类别正样本的置信度(0～1之间)。

22)设置模型训练参数。所述密集连接卷积神经网络模型的模型训练参数设置为：参数class_weight设置为auto；损失函数采用二值交叉熵损失函数，优化方法采用Adam方法，模型全连接层激活函数采用sigmoid函数。

具体地，设置类别权重参数改善训练集数据中铁路巡检各点位类别正样本数量不均衡的问题，本发明实施例中class_weight设置为auto。

损失函数采用二值交叉熵损失函数，交叉熵主要用于度量两个概率分布间的差异性信息。交叉熵损失函数可以衡量真实标记的分布与模型预测的标记分布之间的相似性，公式为：

其中，x为巡检图像样本，n为巡检图像样本数量，y为巡检图像标签向量的真实标注，a为模型预测输出的置信度。

优化方法采用Adam方法，Adam方法即自适应矩估计，根据损失函数对每个参数梯度的一阶矩估计和二阶矩估计动态调整针对各参数的学习速率。其中矩在概率论中的含义是：如果一个随机变量X服从某个分布，则X的一阶矩是E(X)，即样本平均值；X的二阶矩是E(X²)，即样本平方的平均值。

全连接层激活函数采用sigmoid函数将变量映射到(0，1)区间，公式为：

23)训练神经网络模型。采用训练集训练搭建的神经网络模型，首先，通过在原始巡检视频图像的上、下方分别添加同样大小的边框(padding)将图像分辨率由720*480调整至720*720；然后，根据设定的网络输入尺寸(此处设定为128*128)调整图像至相应大小；最后，将调整大小后的图像及相应的标签向量输入步骤21)搭建的神经网络模型进行训练。

24)计算点位类别置信阈值。

首先，利用步骤23)训练好的神经网络模型识别验证集图像，预测每张巡检图像为各点位类别正样本的置信度；

其次，将所有识别为同一点位类别正样本的图像的置信度组成一个集合，记为I＝{l₁,l₂,l₃,……}，分别计算当集合中的各元素l₁,l₂,l₃,……作为阈值时，该点位类别在验证集的约登指数y₁,y₂,y₃,……；约登指数的计算方法为灵敏度与特异度之和减去1；

最后，选择最大约登指数y_i对应的置信度l_i作为该点位类别的置信阈值，重复采用上述计算方法确定各个点位类别的置信阈值。

25)验证神经网络模型。

采用测试集验证模型训练完成，验证完成的标准具体为：模型预测结果的准确度、灵敏度和特异度均需达到95％以上。

3)巡检预测阶段

录制巡检过程时，同步提取实时巡检图像，采用训练后的模型预测实时巡检图像的置信度；录制完成后，汇总实时巡检图像的点位类别预测结果，判断是否存在点位漏巡。

具体步骤如下：

31)采用巡检终端录制巡检过程，同步逐帧提取实时巡检图像，采用与步骤23)相同的方法调整实时巡检图像的大小。

32)采用步骤2)训练好的密集连接卷积神经网络模型预测每张实时巡检图像为各点位类别正样本的置信度。

33)将预测的置信度与步骤24)计算的点位类别置信阈值进行比较，若置信度大于置信阈值，则预测该实时巡检图像为对应点位类别正样本，否则，为对应点位类别负样本；特别地，当某图像预测为正样本的点位类别数大于1时，选取置信度最大的点位类别为最终预测结果。

34)判断实时巡检图像预测结果是否包含所有点位类别正样本，若存在未包含的点位类别，则判断存在点位漏巡。例如：若铁路机车整备作业基于巡检视频提取的实时巡检图像仅识别出控制系统电开关、车轮2类，则可判断该巡检过程较大可能存在其他7类点位的漏巡情况。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种巡检点位漏巡识别方法，其特征在于，包括：

根据预采集巡检视频提取巡检图像，按照巡检图像所属点位类别标注其标签向量，向量的元素表示巡检图像为对应点位类别的正样本或负样本；将标注的巡检图像划分为训练集、验证集和测试集；

搭建密集连接卷积神经网络模型，所述模型的输入量为巡检图像，输出量为巡检图像预测为各点位类别正样本的置信度；采用训练集训练所述模型；采用验证集计算各点位类别的置信阈值；采用测试集验证模型训练完成；

录制巡检过程时，同步提取实时巡检图像，采用训练后的模型预测实时巡检图像的置信度；录制完成后，汇总实时巡检图像的点位类别预测结果，判断是否存在点位漏巡。

2.根据权利要求1所述的巡检点位漏巡识别方法，其特征在于，采用数据增强方法对所述训练集进行数据扩增，扩增后的图像与原始图像具有相同的标签向量。

3.根据权利要求2所述的巡检点位漏巡识别方法，其特征在于，所述数据增强方法包括随机旋转、随机水平翻转、错切变换、随机通道转换及随机添加噪声。

4.根据权利要求1所述的巡检点位漏巡识别方法，其特征在于，所述训练集、验证集和测试集均包含每种点位类别的正样本。

5.根据权利要求1所述的巡检点位漏巡识别方法，其特征在于，所述密集连接卷积神经网络模型每层网络的输入均来自前面所有层的输出；所述模型包括若干个密集连接块，每两个密集连接块之间通过过渡层连接，最后一个密集连接块后依次连接全局平均池化层和全连接层，输出巡检图像预测为各点位类别正样本的置信度；每个所述密集连接块内包括若干组卷积单元，每组卷积单元包含1*1和3*3的卷积层，每组卷积单元的输出作为所属密集连接块内其后各组卷积单元的输入。

6.根据权利要求5所述的巡检点位漏巡识别方法，其特征在于，所述密集连接块数量为4个，每个密集连接块包含的卷积单元数量依次为6组、12组、24组和16组。

7.根据权利要求1所述的巡检点位漏巡识别方法，其特征在于，所述密集连接卷积神经网络模型的模型训练参数设置为：参数class_weight设置为auto；损失函数采用二值交叉熵损失函数，优化方法采用Adam方法，模型全连接层激活函数采用sigmoid函数。

8.根据权利要求1所述的巡检点位漏巡识别方法，其特征在于，所述采用验证集计算各点位类别的置信阈值，包括：

采用训练后的模型预测验证集图像为各点位类别正样本的置信度；

计算每一点位类别的每一正样本置信度作为阈值时，该点位类别在验证集的约登指数；

选择每一点位类别最大约登指数对应的置信度作为该点位类别的置信阈值。

9.根据权利要求1所述的巡检点位漏巡识别方法，其特征在于，所述采用测试集验证模型训练完成具体为：模型预测结果的准确度、灵敏度和特异度均达到95％以上。

10.根据权利要求1所述的巡检点位漏巡识别方法，其特征在于，所述汇总实时巡检图像的点位类别预测结果，判断是否存在点位漏巡，包括：

将预测的实时巡检图像置信度与点位类别置信阈值进行比较，若置信度大于置信阈值，则预测该实时巡检图像为对应点位类别正样本，否则，为对应点位类别负样本；

判断实时巡检图像预测结果是否包含所有点位类别正样本，若存在未包含的点位类别，则判断存在点位漏巡。

Images