CN112418155A - 一种检测地铁车侧巡检图像上工件的位置和类型的方法 - Google Patents

Abstract

本发明公开了一种检测地铁车侧巡检图像上工件的位置和类型的方法，使用软件算法替代人工操作，使用地铁列车车侧工件检测和识别模型，可用于开发智能的地铁巡检系统，以替代人工观察的检测方式，本发明以YOLOv4为基础构建地铁列车车侧工件定位和识别模型，YOLOv4在目标检测应用中具有非常好的效果，本发明把这一能力迁移都地铁巡检应用中，可有效提高列车车侧工件定位的准确性；为后续的缺陷分析提供了有力的支持，通过使用本发明的检测模型，可以从地铁车身扫描图片中快速准确地定位工件，并分割出子图区域，这些输出的图片只包含一种已知型号的工件，极大方便了后续对工件状态的分析，降低了后续分析的难度。

Description

一种检测地铁车侧巡检图像上工件的位置和类型的方法

技术领域

本发明涉及机器视觉工业检测领域，具体涉及一种检测地铁车侧巡检图像上工件的位置和类型的方法。

背景技术

在我国，随着城市规模的扩展及城市人口的不断增加，城市内的交通压力越来越大，因此，许多城市都在大力建设地铁系统。我国目前处于轨道交通的快速发展时期，大量地铁线路的开通运营对轨道交通设备的管理和检修工作提出了越来越高的要求。其中，对列车的日常巡检，确保列车上的工件都处于正常的状态，是确保地铁行车安全的重要保障，为确保地铁列车上的工件都处于正常的状态，需要频繁地检测列车，找到各个工件的位置(如螺丝、铁丝和刹车片等)，然后检查该工件的状态是否正常，如螺丝是否发生松动。

目前采用的检查方法主要为人工观察，即当列车进入检测区域后，由检修人员观察列车的各个部位，查看各个工件是否正常。为了方便观察，通常还会在工件上做上标记，如在螺丝上画一条红色的直线，当观察到直线不吻合时，则说明螺丝发生了松动。这种方法造成相关工作人员的劳动强度大，并容易出现漏检和误检现象，同时检测效果也不高。

此外，为提高检测效率和规范，目前也有采用计算机技术和图像处理技术辅助人工观察的方法。这种方法在人工巡检的基础之上增加配套的手持巡检设备和管理系统。管理系统针对地铁列车的检测要求制定需要检测的点位和流程，工作人员按流程到达相应的点位，采用人眼观察各个工件的状态来初步判断是否存在故障，同时也使用手持式巡检设备拍摄该点位的列车车身图片。图片也可以上传到后台系统，检测人员在电脑端可以通过查看图片来分析对应的工件是否有故障。这种方式同时需要大量的劳动，检测效率低下。

发明内容

本发明一种检测地铁车侧巡检图像上工件的位置和类型的方法，所要解决的技术问题是解决地铁列车巡检过程中需要大量人工操作的问题，基于计算机视觉和深度学习的自动从地铁列车车侧扫描图片上检测不同工件的位置，并且识别该工件的类型的方法，其输出结果可用于进一步机器学习和智能分析，以实现智能地铁巡检和自动化列车车身状态检测功能。

本发明通过下述技术方案实现：

一种检测地铁车侧巡检图像上工件的位置和类型的方法，基于YOLOV4构建地铁构建地铁工件检测模型，包括以下步骤：

S1：采用CSPDarknet53网络预训练的权重，对YOLOv4的主干网络进行初始化操作，得到带有权重的卷积神经网络；

S2：提取带有工件标注数据的图像数据，将该图像数据作为带有权重的卷积神经网络的训练样本，把该训练样本的尺寸缩放为608x608，得到新的数据训练样本；

S3：将该新的数据训练样本划分为SxS个子图区域，得到SxS个单元网络，其中S为常数；

S4：得到SxS个单元网络后，对每一个单元网络区域使用CSPDarknet53提取视觉特征，得到视觉特征数据集；

S5：对每一个单元网络区域使用CSPDarknet53提取视觉特征的同时，引入空间金字塔池化SPP操作增强搜索视野，得到增强视野后视觉特征数据集；

S6：使用PANet的路径聚合模块对CSPDarknet53网络输出的增强视野视觉特征数据集进行处理，处理之后生成子图区域的预测目标数据；

S7：对于生成预测目标数据的子图区域，PANet输出得到每个子图区域的向量特征；

S8：使用yolo算法合并所有子图区域的向量特征，形成一个预测张量；

S9：将得到的预测张量输入卷积神经网络中，计算出卷积神经网络的梯度，对该卷积神经网络的梯度使用随机梯度下降法对代价函数进行最佳拟合后得到卷积神经网络输出的权重值；

S10：对卷积神经网络输出的权重值与标准的预设训练数据相比较后，反复迭代修正权重值，取得最终的权重值矩阵；将述权重值矩阵更新至卷积神经网络中，得到更新之后的卷积神经网络的权重。

进一步，所述获取图像数据并进行工件标注的方法为：使用工业相机扫描地铁列车两侧车身，获得原始扫描图片；把原始图片分割成1808×1808分辨率大小的子图；对上述分割后的图片进行工件位置和类型标注，标注完成后，导出json数据格式的标注文件并对标注文件进行清洗，保持所有工件目标的标注的数据基本一致，以防止由于数据分布不均衡导致训练模型时出现不平衡的情况。

进一步，使用Colabeler图片标注工具标注工件目标，包括：不同位置的螺丝、上刹车片、下刹车片和铁丝，其中，每一种螺丝作为一种独立的目标，为模拟不同状态下的工件如螺丝松动的情况，本发明采用对原始图片中的工件进行拉伸、扭曲和覆盖等图像处理方法，以增强数据的鲁棒性。

进一步，所述PANet对每一个子图区域都输出一个向量特征，包括：一个边界框bounding box，其值为(x,y,w,h)，其中(x,y)为边界框的中心左边，w和h分别为边界框的宽度和长度；Pr(object)*IoU，其中Pr(object)为存在目标的置信度，Pr(object)＝0表示该区域为背景其不包含工件，Pr(object)＝1则表示该框一定包含工件；以及对每个类别的预测条件概率： Pr(class_i|object)，其中class_i代表第i个目标。

进一步，所述形成的预测张量的长度为S×S×(B×5+c)，其中B＝2，C为工件目标的种类数量。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明一种检测地铁车侧巡检图像上工件的位置和类型的方法，使用软件算法替代人工操作，使用本发明提供的地铁列车车侧工件检测和识别模型，可用于开发智能的地铁巡检系统，以替代人工观察的检测方式，该方法可减少工作人员的劳动强度，提高检测效率和精度；提高了工件定位和识别的正确率，本发明以YOLOv4为基础构建地铁列车车侧工件定位和识别模型，YOLOv4在目标检测应用中具有非常好的效果，本发明把这一能力迁移都地铁巡检应用中，可有效提高列车车侧工件定位的准确性；为后续的缺陷分析提供了有力的支持，通过使用本发明的检测模型，可以从地铁车身扫描图片中快速准确地定位工件，并分割出子图区域，这些输出的图片只包含一种已知型号的工件，极大方便了后续对工件状态的分析，降低了后续分析的难度。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明基于YOLOv4的列车车侧工件检测模型训练流程图。

图2为本发明地铁车身工件检测流程图。

图3为本发明实验数据柱形统计图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例一：

本发明一种检测地铁车侧巡检图像上工件的位置和类型的方法，模型训练实施例主要描述为了获得工件检测模型，进行地铁车身图像数据获取、图像中工件目标标注、YOLOv4深度学习网络搭建和训练，以及模型输出，其具体实施流程如下：

1)安装两个工业相机在地铁轨道的两侧，用于扫描地铁列车车身，输出原始的扫描图片，其分辨率为65535×1808，并把原始图片分割为1808×1808尺寸的子图保存。

2)使用Colabeler标注工具标注图片上出现的各个工件，本实施例中主要包括不同的螺丝、上刹车片、下刹车片和铁丝，总共为10中工件目标类型，标注框为矩形，该标注框即为目标工件的ground truth，标注完成后，导出json格式标注数据。

3)搭建YOLOv4网络结构，包括CSPDarknet53主干网络、SPP、PANet以及yolo的head部分，然后设置输入图片尺寸为608×608，输出类别为10，训练的max batches为12000，启用双GPU训练模式，并开始训练。

通过观察mAP分析检测模型的学习效果，并保留检测效果最高的权重作为已训练的检测模型，包括网络配置文件(cfg)和参数权重文件(weights)。

实施例二：

如图1所示，发明以YOLOv4目标检测网络架构为基础构建地铁列车工件检测模型，YOLO是一种基于深度学习的目标检测模型，本发明基于YOLOv4构建新的地铁工件检测模型，其检测算法流程如图1所示，模型训练的步骤如下：

a)首先使用CSPDarknet53网络的预训练的权重初始化YOLOv4的主干网络，该权重使用MS COCO目标检测数据进行训练，可检测MS COCO数据集中的80中物体目标，为适应于地铁车身工件检测应用，需要把YOLOv4网络的输出类别修改为工件的种类数(本发明中为10种)，从而可以满足迁移学习的条件；

b)对于一张待训练的子图，其分辨率为1808×1808，需把图片的分辨率调整为608×608；

c)进一步把图片划分为S×S(S为常数)个子图区域；

d)每一个区域使用CSPDarknet53提取视觉特征，CSPDarknet53是一个包含29个卷积层的网络，具有725×725的目标搜索视野，确保可以提取不同尺度下工件目标的视觉特征；

e)在提取视觉特征的时候，通过引入空间金字塔池化(SPP)操作，以增强工件目标的搜索视野，从而可以确保不同尺度下的工件目标进入搜索范围；

f)使用PANet对CSPDarknet53网络输出的视觉特征进行处理，融合多尺度视觉特征，对于每一个子图区域，PANet都输出一个向量特征，包括：1)一个边界框(boundingbox), 其值为(x,y,w,h)，其中(x,y)为边界框的中心左边，w和h分别为边界框的宽度和长度； 2)Pr(object)*IoU，其中Pr(object)为存在目标的置信度，Pr(object)＝0表示该区域为背景(不包含工件)，Pr(object)＝1则表示该框一定包含工件；3)以及对每个类别的预测条件概率： Pr(class_i|object)，其中class_i代表第i个目标。

g)合并所有子图区域的输出，形成一个预测张量，其长度为S×S×(B×5+C)，其中B＝2， C为工件目标的种类数量；

h)计算卷积神经网络的梯度，然后使用随机梯度下降法，对模型的参数进行更新，在计算梯度时，使用CIoU的loss函数，以增强bounding box的回归能力；

i)使用训练图片进行多次迭代训练后，直到模型收敛，则得到了工件检测的算法模型。

为了增加检测模型的鲁棒性，本发明在训练YOLOv4网络时使用了CutMix数据增加方法，CutMix采用Cut图像的部分区域在再以补丁的形式混合图像，从而生成解决自然状态的新训练样本。假设x₁和x₂时两张工件的训练样本，y₁和y₂为对应的标签，CutMix生成新训练样本的方法为：

其中M∈{0，1}^W×H是Cut部分和被填充部分的二进制掩码，

和

为新生成的训练样本和对应的标签；CutMix方法的引入可以有效解决异常状态下的工件图片数据难以获取的问题 (地铁车身扫描的图片数据大都是正常情况下的样本)，可以确保当工件异常时，不会因此形状或位置发生了变化而检测不到的问题，增强了检测算法的鲁棒性。

此外，本发明也采用了DropBlock正则化方法来优化模型的训练过程，DropBlock在正则化的卷积网络中性能优于Dropout，可以有效防止YOLOv4网络架构在地铁车身工件检测数据中出现过拟合的现象，这些优化方法可以显著提高检测工件的精度，尤其是在检测不同大小的工件时具有更好的适应性。

实施例三：

经过上述训练方法在地铁车身工件检测数据集训练后，本发明可得到一个已训练的工件检测模型，该模型可在Darknet深度学习框架下运行，输出一个长度为S×S×(B×5+C)的预测张量，为了检测各个工件的位置并识别该工件所属的类型，本发明引入非极大值抑制算法 (non maximum suppression,NMS)从预测张量中查找目标框和置信度。其步骤如下：

1)设定一个阈值，过滤掉所有小于这个阈值的目标候选框bounding box；

2)选取某一工件候选边框bounding box的目标置信度最大的一个，即为box_best；

3)计算box_best与其它的工件候选边框bounding box的IOU(Intersection overUnion)，即两个框的交集比上并集；

4)如果IOU>0.5，则说明这两个bounding box代表同一个工件，因此丢弃该bounding box，以实现去重。

5)重复执行步骤1-4，则可从检测图片中定位到所有工件的bounding box，以及对应的置信度，从而可以得知工件的位置和类型，整个检测的应用流程如图2所示。

将本发明的检测方法应用后，对2020.10.2至10.8日的所检测的零件数和异常零件检出数归纳统计，如图3所示。期间共检测189列车辆，每列车的检测零件数量为456个。

通过图3的数据统计，检测零件总数86184个，检出异常零件总数559个。人工复核发现异常零件中457个为正常维修更换过，84个为相机图像质量不佳导致，18个为表面被杂质覆盖。由于地铁车辆螺栓松动概率很低，为了方便验证将正常维修更换过的零件定义为松动零件，其余102个零件定为检出失败。计算出本发明方法的实际检测错误率为102÷86184＝0.11％，满足实际检测的需要。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种检测地铁车侧巡检图像上工件的位置和类型的方法，基于YOLOV4构建地铁构建地铁工件检测模型，其特征在于，包括以下步骤：

S1：采用CSPDarknet53网络预训练的权重，对YOLOv4的主干网络进行初始化操作，得到带有权重的卷积神经网络；

S2：提取带有工件标注数据的图像数据，将该图像数据作为带有权重的卷积神经网络的训练样本，把该训练样本的尺寸缩放为608x608，得到新的数据训练样本；

S3：将该新的数据训练样本划分为SxS个子图区域，得到SxS个单元网络，其中S为常数；

S4：得到SxS个单元网络后，对每一个单元网络区域使用CSPDarknet53提取视觉特征，得到视觉特征数据集；

S5：对每一个单元网络区域使用CSPDarknet53提取视觉特征的同时，引入空间金字塔池化SPP操作增强搜索视野，得到增强视野后视觉特征数据集；

S6：使用PANet的路径聚合模块对CSPDarknet53网络输出的增强视野视觉特征数据集进行处理，处理之后生成子图区域的预测目标数据；

S7：对于生成预测目标数据的子图区域，PANet输出得到每个子图区域的向量特征；

S8：使用yolo算法合并所有子图区域的向量特征，形成一个预测张量；

S9：将得到的预测张量输入卷积神经网络中，计算出卷积神经网络的梯度，对该卷积神经网络的梯度使用随机梯度下降法对代价函数进行最佳拟合后得到卷积神经网络输出的权重值；

S10：对卷积神经网络输出的权重值与标准的预设训练数据相比较后，反复迭代修正权重值，取得最终的权重值矩阵；将述权重值矩阵更新至卷积神经网络中，得到更新之后的卷积神经网络的权重。

2.根据权利要求1所述的一种检测地铁车侧巡检图像上工件的位置和类型的方法，其特性在于，所述获取图像数据并进行工件标注的方法为：使用工业相机扫描地铁列车两侧车身，获得原始扫描图片；把原始图片分割成1808×1808分辨率大小的子图；对上述分割后的图片进行工件位置和类型标注，标注完成后，导出json数据格式的标注文件并对标注文件进行清洗，保持所有工件目标的标注的数据基本一致，以防止由于数据分布不均衡导致训练模型时出现不平衡的情况。

3.根据权利要求2所述的一种检测地铁车侧巡检图像上工件的位置和类型的方法，其特性在于，使用Colabeler图片标注工具标注工件目标，包括：不同位置的螺丝、上刹车片、下刹车片和铁丝，其中，每一种螺丝作为一种独立的目标。

4.根据权利要求1所述的一种检测地铁车侧巡检图像上工件的位置和类型的方法，其特性在于，所述PANet对每一个子图区域都输出一个向量特征，包括：一个边界框boundingbox，其值为(x,y,w,h)，其中(x,y)为边界框的中心左边，w和h分别为边界框的宽度和长度；Pr(object)*IoU，其中Pr(object)为存在目标的置信度，Pr(object)＝0表示该区域为背景，Pr(object)＝1则表示该框一定包含工件；以及对每个类别的预测条件概率：Pr(class_i|object)，其中class_i代表第i个目标。

5.根据权利要求1所述的一种检测地铁车侧巡检图像上工件的位置和类型的方法，其特性在于，所述形成的预测张量的长度为S×S×(B×5+c)，其中B＝2，C为工件目标的种类数量。

Images