CN113324864A - 一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法。方法为：制作原始图像数据集，在原始图像碳滑板的位置进行人工标定；用无监督学习算法k‑means来对数据集中标注好的边界框进行聚类，获得大小和形状满足要求的Anchor Box，在深度学习daknetk框架下训练Yolo模型，得到受电弓碳滑板定位模型；利用受电弓碳滑板定位模型确定完整包括受电弓碳滑板的矩形区域，将矩形区域坐标在原图像进行截取；利用自适应阈值的边缘检测算法提取图像边缘，利用投影法确定碳滑板上下边界的最小距离，计算出滑板厚度。本发明能够适应复杂环境，提高了定位速率，并且提高了受电弓碳滑板磨耗检测算法的鲁棒性和精确度。

Description

一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法

技术领域

本发明涉及交通安全工程技术领域，特别是一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法。

背景技术

随着轨道交通近年来的飞速发展，轨道列车的行车安全受到了越来越高的重视。受电弓是安装于电力机车或电动车组车顶上,从一条或多条接触导线上汲取电流的电器设备。受电弓与接触导线直接接触，长时间反复摩擦，会导致受电弓碳滑板磨损慢慢变薄。受电弓滑板的厚度过小，不仅影响城轨列车的正常供电，而且由此产生的电弧放电还会进一步加剧受电弓滑板和接触线的磨耗，因此受电弓碳滑板的磨耗检测是列车检修不可或缺的一个环节，受电弓碳滑板厚度到了一定限度必须更换。

目前国内主要采用人工检测的方法进行的受电弓碳滑板的磨耗检测，需要人工攀登至车顶检测受电弓和接触网，灵活性较强，但效率低，且检测时列车必须断电挂地线停车。基于机器视觉的受电弓磨耗检测方法利用数字图像采集和图像处理技术对弓网进行检测，是不断发展的趋势。基于机器视觉的受电弓磨耗检测方法是通过传统的图像处理方式提取受电弓碳滑板的边缘，传统的图像处理算法对图片质量要求较高，图片明暗变化对受电弓碳滑板的边缘提取影响较大，受电弓碳滑板定位精度不高，所以受电弓碳滑板磨耗检测的准确度较低。

中车青岛四方车辆研究所有限公司电气事业本部的冯勇、西安交通大学电子与信息工程学院的宋天源、钱学明在《基于深度学习的高铁受电装置安全状态快速检测方法》一文中提出了一种快速而且准确的检测高铁受电弓的方法，该方法首先利用在高铁受电弓前的摄像头捕捉到的10000余张图片作为训练样本，生成预测模型，然后利用YOLOv2算法对摄像头的实时监控图像进行在线检测，对受电弓缺失、严重形变等现象进行预警，但该方法只能粗略定位受电弓大致位置，无法精确计算碳滑板的磨耗值。

发明内容

本发明的目的在于提供一种能够适应复杂环境、定位速率高、准确性高、鲁棒性与精确度高的基于深度学习目标检测的受电弓碳滑板磨耗检测方法。

实现本发明目的的技术解决方案为：一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法，包括以下步骤：

步骤1、图片标注：由相机获取到原始图像，使用labelimg标注软件对图像中的受电弓碳滑板区域进行人工标定，生成标准的xml格式的label文件；利用voc制作数据集，用于模型训练；

步骤2、训练模型：用无监督学习算法k-means对数据集中标注好的边界框进行聚类，获得大小和形状满足要求的Anchor Box，使用Anchor Box训练yolo深度学习模型，得到受电弓碳滑板定位模型；

步骤3、确定受电弓碳滑板的上下左右边界：利用受电弓碳滑板定位模型对采集系统保存的图片进行实时在线检测，返回矩形区域坐标，将矩形区域坐标定位到原图中进行截取；

步骤4、图像处理：对步骤3中的矩形区域进行图像处理和边缘检测，提取受电弓碳滑板的轮廓边缘，根据受电弓碳滑板的上下边缘计算滑板的剩余厚度。

进一步地，步骤1所述的图片标注：由相机获取到原始图像，使用labelimg标注软件对图像中的受电弓碳滑板区域进行人工标定，生成标准的xml格式的label文件；利用voc制作数据集，用于模型训练，具体如下：

步骤1.1、图像的标注：由相机获取到原始图像，根据受电弓滑板所在图像中的位置，对图像进行标定，标定矩形框要完整包括受电弓滑板区域，生成标准的xml格式的label文件；

步骤1.2、利用voc制作数据集：在voc目录下新建VOC2007，并在VOC2007下新建Annotations、ImageSets和JPEGImages三个文件夹，在ImageSets下新建main文件夹，将数据集图片拷贝到JPEGImages目录下，将数据集label文件拷贝到Annotations目录下，生成train.txt、val.txt、test.txt和trainval.txt四个文件。

进一步地，步骤2所述的训练模型：用无监督学习算法k-means对数据集中标注好的边界框进行聚类，获得大小和形状满足要求的Anchor Box，使用Anchor Box训练yolo深度学习模型，得到受电弓碳滑板定位模型，具体如下：

yolo深度学习模型的网络结构由输入层、卷积层、池化层和全连接层、输出层构成，其中：

输入层：是由输入的原始受电弓图像经过裁剪、归一化或数据增强方式处理得到的数据，输入层是初始的特征图，将处理后的特征图的大小固定为448*448*3，其中448*448为单一维度图的像素值，训练集中的原始受电弓图片为三通道图，像素值为单一维度图的像素值*3；

卷积层：使用24个卷积层对输入层处理的特征图进行卷积操作运算，提取输入层的特征信息用于后续的分类与定位处理；yolo深度学习模型的卷积核有3*3和1*1两种，使用1*1大小的卷积核降低卷积核通道数量；

池化层：在特征空间内采用最大值池化法对输入的数据样本进行下采样处理，将输入的图像划分为多个矩形区域，对每个矩形区域输出最大值，用最大值代替该矩形区域的值；

全连接层：采用将所有输入与网络参数连接运算的方式，将特征提取出来的二维矩阵转换为一维矩阵；

输出层：输出层相当于一个分类器，将全连接层输出的一维向量进行分类输出，输出的特征图个数即为目标的分类数；该网络输出一个7*7*30的一维向量，包含了图片中物体的分类结果以及其位置信息的编码，最后通过统一约定的方式对该向量进行解码，在原图片中绘制出检测结果；

yolo深度学习模型的训练过程为：

步骤2.1、用无监督学习算法k-means对数据集中标注好的边界框进行聚类，获得大小能够完整包括检测目标即受电弓碳滑板上下边缘的Anchor Box；

步骤2.2、在开源的神经网络框架Darknet53的darknet目录下新建VOCdevkit文件夹，把制作的数据集文件夹拷贝到VOCdevkit文件夹下；

步骤2.3、修改配置文件voc.data，通过配置cfg/voc.data来确定检测的目标类别数量classes和名称voc.name；修改配置文件cfg/yolov3-voc.cfg中的filters，计算公式filters＝3*(5+len(classes))；由于原图中检测对象只有一个类，所以classes＝1，len(classes)＝1，filters＝18；

步骤2.4、利用预训练模型权值对yolo深度学习模型进行训练，得到受电弓碳滑板定位模型，保存训练后的模型权重。

进一步地，步骤3所述的确定受电弓碳滑板的上下左右边界：利用受电弓碳滑板定位模型对采集系统保存的图片进行实时在线检测，返回矩形区域坐标，将矩形区域坐标定位到原图中进行截取，具体如下：

yolo深度学习模型将输入图像划为S*S个网格，每个网格负责检测中心点落在其中的目标物体，其中单个网格中存在B个目标边框，每个目标边框由一个五维度的预测参数组成，其中包括目标边框的中心点坐标(X,Y)，宽高(W,H)和置信度评分S_i：

S_i＝Pr(O)*IoU

式中，Pr(O)表示前网格目标边框中存在物体的可能性，O表示目标对象，IoU交并比表示当前模型预测到的目标边框位置的准确性；

设定预测的目标边框为p，真实的目标边框为t，box_t表示图像中真实目标的边框情况，box_p表示预测的目标边框，则IoU由的计算公式为：

Pr(C_i|O)表示在该边框存在目标的情况下，该目标属于某一种类物体i的后验概率；设定目标检测任务一共有K种物体，则每个网络预测第i类物体C_i的条件概率为Pr(C_i|O)，i＝1,2,3…,K；

由此计算目标边框中存在物体的置信度为：

确定输出的边界，将图片划分的网格中所有S≤0.6的边界框舍弃，在剩下的边界框中选择最大的边界框作为输出的边界框，再从剩下的边界框当中选择一个，计算它和输出边界框IoU，如果IoU≥0.5就将这个边界框舍弃，重复判断，直到所有的边界框都比较过，具体如下：

步骤3.1、由步骤2训练的模型将输入的受电弓原始图像被划分为7*7个网格，每个网格预测2个目标边框，共有1种待测目标，即，S＝7,B＝2，K＝1，计算输出一个长度为S*S*(B*5+K)＝7*7*11的预测结果向量，得到目标边框的中心点坐标(X,Y)，宽高(W,H)，置信度S；

步骤3.2、由步骤3.1计算得到的目标边框的中心点位置坐标(X,Y)，宽高(W,H)，对应原图片进行截取，得到受电弓滑板位置。

进一步地，步骤4所述的图像处理：对步骤3中的矩形区域进行图像处理和边缘检测，提取受电弓碳滑板的轮廓边缘，根据受电弓碳滑板的上下边缘计算滑板的剩余厚度，具体如下：

步骤4.1、使用高斯低通滤波器对步骤3中截取出来的图像进行滤波，得到滤波之后的图像；

步骤4.2、使用自适应阈值的Canny边缘检测算法对步骤4.1得到的滤波之后的图像进行边缘检测，得到边缘图像；

步骤4.3、对步骤4.2得到的边缘图像进行形态学腐蚀处理后再进行形态学膨胀处理，以将步骤3中确定的滑板所在矩形区域中滑板的边缘连接起来，消除边缘中断造成的异常值；

步骤4.4、对于经步骤4.3处理后图像中的矩形区域，按列从左到右依次遍历得到该列上第一个与最后一个像素点的坐标，即滑板上边缘与下边缘的像素点，下边缘减去上边缘的坐标差，取最小值得到滑板剩余厚度的最小值；

步骤4.5、根据步骤4.4得到的滑板上下边缘的最小差值，以及相机的标定矩阵，计算出滑板的剩余厚度，将滑板原始厚度减去剩余厚度的最小值，即得到滑板的磨耗值。

本发明与现有技术相比，其显著优点为：(1)基于深度学习模型定位出的受电弓滑板区域位置，准确性高，能够在因光照或者干扰造成相机拍摄图片成像质量不佳的情况下，准确检测到受电弓滑板的边缘区域；(2)通过选择自适应阈值的Canny边缘检测算法进行边缘的提取与膨胀腐蚀操作，解决了滑板边缘附近非相关边缘干扰和边缘断裂的问题，提高了受电弓碳滑板磨耗检测的准确性；(3)检测速度较高，能够满足实时在线检测系统的时间要求，同时具有较高的鲁棒性。

附图说明

图1为本发明基于深度学习目标检测的受电弓碳滑板磨耗检测方法的流程示意图。

图2为本发明实施例中数据集制作的原图标注示意图。

图3为本发明实施例中yolo深度学习模型计算出的定位结果图。

图4为本发明实施例中根据定位结果坐标截取的受电弓滑板图像。

图5为本发明实施例中经过平滑、滤波后的图像。

图6为本发明实施例中受电弓滑板图像进行自适应阈值边缘检测图。

图7为本发明实施例中受电弓滑板边缘膨胀图。

图8为本发明实施例中对边缘检测后的图像进行腐蚀、边缘连接后的示意图。

图9为本发明实施例中受电弓滑板上下边缘的坐标差值。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明。

结合图1～9，本发明一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法，包括以下步骤：

步骤1、图片标注：由相机获取到原始图像，使用labelimg标注软件对图像中的受电弓碳滑板区域进行人工标定，生成标准的xml格式的label文件；利用voc制作数据集，用于模型训练，具体如下：

步骤1.1、图像的标注：由相机获取到原始图像，根据受电弓滑板所在图像中的位置，对图像进行精确标定，标定矩形框要完整包括受电弓滑板区域，生成标准的xml格式的label文件；

步骤1.2、利用voc制作数据集：在voc目录下新建VOC2007，并在VOC2007下新建Annotations，ImageSets和JPEGImages三个文件夹，在ImageSets下新建main文件夹，将数据集图片拷贝到JPEGImages目录下，将数据集label文件拷贝到Annotations目录下，生成train.txt、val.txt、test.txt和trainval.txt四个文件。

步骤2、训练模型：用无监督学习算法k-means对数据集中标注好的边界框进行聚类，获得大小和形状满足要求的的Anchor Box，使用Anchor Box训练yolo深度学习模型，得到受电弓碳滑板定位模型，具体如下：

受电弓在线检测系统，检测目标单一，要求检测实时高效，所以选用速度快、效率高的目标检测模型YOLO。YOLO算法是一种用于物体检测的深度神经网络模型，使用了端到端的设计思路，将物体检测重构为单一的回归问题。YOLO目标检测任务由两个部分组成：①对这些物体分类；②确认出明确物体在图片中的位置，从图像的像素数据，直接获取物体坐标和分类概率。

yolo深度学习模型的网络结构由输入层、卷积层、池化层和全连接层、输出层构成，其中：

输入层：是由输入的原始受电弓图像经过裁剪、归一化或数据增强方式处理得到的数据，输入层是初始的特征图，将处理后的特征图的大小固定为448*448*3，其中448*448为单一维度图的像素值，训练集中的原始受电弓图片为三通道图，像素值为单一维度图的像素值*3；

卷积层：使用24个卷积层对输入层处理的特征图进行卷积操作运算，提取输入层的特征信息用于后续的分类与定位处理；yolo深度学习模型的卷积核有3*3和1*1两种，使用1*1大小的卷积核降低卷积核通道数量，以减少网络产生的参数；

池化层：在特征空间内采用最大值池化法对输入的数据样本进行下采样处理，将输入的图像划分为多个矩形区域，对每个矩形区域输出最大值，用最大值代替该矩形区域的值；不断地减小数据的空间大小，减少过拟合计算的参数，防止过拟合；

全连接层：采用将所有输入与网络参数连接运算的方式，将特征提取出来的二维矩阵转换为一维矩阵；

输出层：输出层相当于一个分类器，将全连接层输出的一维向量进行分类输出，输出的特征图个数即为目标的分类数；该网络输出一个7*7*30的一维向量，包含了图片中物体的分类结果以及其位置信息的编码，最后通过统一约定的方式对该向量进行解码，在原图片中绘制出检测结果；

yolo深度学习模型的训练过程为：

步骤2.1、用无监督学习算法k-means对数据集中标注好的边界框进行聚类，获得大小能够完整包括检测目标即受电弓碳滑板上下边缘的Anchor Box；

步骤2.2、在开源的神经网络框架Darknet53的darknet目录下新建VOCdevkit文件夹，把制作的数据集文件夹拷贝到VOCdevkit文件夹下；

步骤2.3、修改配置文件voc.data，通过配置cfg/voc.data来确定检测的目标类别数量classes和名称voc.name；修改配置文件cfg/yolov3-voc.cfg中的filters，计算公式filters＝3*(5+len(classes))；由于原图中检测对象只有一个类，所以classes＝1，len(classes)＝1，filters＝18；

步骤2.4、利用预训练模型权值对yolo深度学习模型进行训练，得到受电弓碳滑板定位模型，保存训练后的模型权重。

步骤3、确定受电弓碳滑板的上下左右边界：利用受电弓碳滑板定位模型对采集系统保存的图片进行实时在线检测，返回矩形区域坐标，将矩形区域坐标定位到原图中进行截取，具体如下：

yolo深度学习模型将输入图像划为S*S个网格，每个网格负责检测中心点落在其中的目标物体，其中单个网格中存在B个目标边框，每个目标边框由一个五维度的预测参数组成，其中包括目标边框的中心点坐标(X,Y)，宽高(W,H)和置信度评分S_i：

S_i＝Pr(O)*IoU

式中，Pr(O)表示前网格目标边框中存在物体的可能性，O表示目标对象，IoU交并比表示当前模型预测到的目标边框位置的准确性；

设定预测的目标边框为p，真实的目标边框为t，box_t表示图像中真实目标的边框情况，box_p表示预测的目标边框，则IoU由的计算公式为：

Pr(C_i|O)表示在该边框存在目标的情况下，该目标属于某一种类物体i的后验概率；设定目标检测任务一共有K种物体，则每个网络预测第i类物体C_i的条件概率为Pr(C_i|O)，i＝1,2,3…,K；

由此计算目标边框中存在物体的置信度为：

确定输出的边界，将图片划分的网格中所有S≤0.6的边界框舍弃，在剩下的边界框中选择最大的边界框作为输出的边界框，再从剩下的边界框当中选择一个，计算它和输出边界框IoU，如果IoU≥0.5就将这个边界框舍弃，重复判断，直到所有的边界框都比较过，具体如下：

步骤3.1、由步骤2训练的模型将输入的受电弓原始图像被划分为7*7个网格，每个网格预测2个目标边框，共有1种待测目标，即，S＝7,B＝2，K＝1，计算输出一个长度为S*S*(B*5+K)＝7*7*11的预测结果向量，得到目标边框的中心点坐标(X,Y)，宽高(W,H)，置信度S；

步骤3.2、由步骤3.1计算得到的目标边框的中心点位置坐标(X,Y)，宽高(W,H)，对应原图片进行截取，得到受电弓滑板位置。

步骤4、图像处理：对步骤3中的矩形区域进行图像处理和边缘检测，提取受电弓碳滑板的轮廓边缘，根据受电弓碳滑板的上下边缘计算滑板的剩余厚度，具体如下：

步骤4.1、使用高斯低通滤波器对步骤3中截取出来的图像进行滤波，得到滤波之后的图像；

步骤4.2、使用自适应阈值的Canny边缘检测算法对步骤4.1得到的滤波之后的图像进行边缘检测，得到边缘图像；

步骤4.3、对步骤4.2得到的边缘图像进行形态学腐蚀处理后再进行形态学膨胀处理，以将步骤3中确定的滑板所在矩形区域中滑板的边缘连接起来，消除边缘中断造成的异常值；

步骤4.4、对于经步骤4.3处理后图像中的矩形区域，按列从左到右依次遍历得到该列上第一个与最后一个像素点的坐标，即滑板上边缘与下边缘的像素点，下边缘减去上边缘的坐标差，取最小值得到滑板剩余厚度的最小值；

步骤4.5、根据步骤4.4得到的滑板上下边缘的最小差值，以及相机的标定矩阵，计算出滑板的剩余厚度，将滑板原始厚度减去剩余厚度的最小值，即得到滑板的磨耗值。

实施例1

本实施例以广州地铁工业相机采集到的图像进行处理分析。如图1所示，包括以下步骤：

步骤1、图片标注：由相机获取到原始图像，使用labelimg标注软件对图像中的受电弓碳滑板区域进行人工标定，生成标准的xml格式的label文件；利用voc制作数据集，用于模型训练，具体如下：

步骤1.1、图像的标注：由相机获取到原始图像，根据受电弓滑板所在图像中的位置，对图像进行精确标定，标定矩形框要完整包括受电弓滑板区域，生成标准的xml格式的label文件；

步骤1.2、利用voc制作自己的数据集：在voc目录下新建VOC2007，并在VOC2007下新建Annotations、ImageSets和JPEGImages三个文件夹，在ImageSets下新建main文件夹，将数据集图片拷贝到JPEGImages目录下，将数据集label文件拷贝到Annotations目录下，生成train.txt、val.txt、test.txt和trainval.txt四个文件。制作数据集所需标注图如图2所示

步骤2、训练模型：用无监督学习算法k-means对数据集中标注好的边界框进行聚类，获得大小和形状适合的Anchor Box，使用Anchor Box训练yolo深度学习模型，得到受电弓碳滑板定位模型，具体如下：

步骤2.1、用无监督学习算法k-means对数据集中标注好的边界框进行聚类，获得大小和形状适合的Anchor Box；

步骤2.2、在开源的神经网络框架Darknet53的darknet目录下新建VOCdevkit文件夹；

步骤2.3、把制作的数据集文件夹拷贝到该文件夹下，修改参数文件cfg/yolov3-voc.cfg，filters：3*(5+len(classes))；由于原图中检测对象只有一个类，所以classes:len(classes)＝1，filters＝18；

步骤2.4、利用预训练模型权值对yolo深度学习模型进行训练，得到受电弓碳滑板定位模型，保存训练后的模型权重。

步骤3、确定受电弓碳滑板的上下左右边界：利用受电弓碳滑板定位模型对采集系统保存的图片进行实时在线检测，返回矩形区域坐标，将矩形区域坐标定位到原图中进行截取，具体如下：

步骤3.1、由步骤2训练的模型将输入的受电弓原始图像被划分为7*7个网格，每个网格预测2个目标边框，共有1种待测目标，即S＝7，B＝2，K＝1。计算输出一个长度为S*S*(B*5+K)＝7*7*11的预测结果向量，得到目标边框的中心点坐标(X，Y)，宽高(W，H)，置信度。根据检测的置信度判断模型定位是否正确，检测结果如图3所示，置信度为0.99；

步骤3.2、根据计算得到的目标边框的中心点位置坐标(X，Y)，宽高(W，H)，对应原图片进行截取，得到精确的受电弓滑板位置，截取的图片如图4所示。

步骤4、图像处理：对步骤3中的矩形区域进行图像处理和边缘检测，提取受电弓碳滑板的轮廓边缘，根据受电弓碳滑板的上下边缘计算滑板的剩余厚度，具体如下：

步骤4.1使用高斯低通滤波器对步骤3中截取出来的图像进行滤波，得到滤波之后的图像如图5所示；

步骤4.2使用自适应阈值的Canny边缘检测算法对步骤4.1得到的滤波之后的图像进行边缘检测，得到边缘图像如图6所示；

步骤4.3对边缘图像图6进行形态学膨胀处理后如图7再进行形态学腐蚀处理，以将滑板所在精确矩形区域中滑板的边缘连接起来，消除边缘中断造成的异常值；

步骤4.4对于经步骤4.3处理后图像即图8中的精确矩形区域，按列从左到右依次遍历得到该列上第一个与最后一个像素点的坐标，即滑板上边缘与下边缘的像素点，下边缘减去上边缘的坐标差，取最小值得到滑板剩余厚度的最小值；

步骤4.5根据步骤4.4得到的滑板上下边缘的差值如图9所示，以及根据相机的标定矩阵，找出边缘差的最小值即可算出滑板的剩余厚度,将滑板原始厚度减去剩余厚度的最小值，即得到滑板的磨耗值。

本发明对YOLO模型进行了一定改进，优化YOLO网络结构，使用无监督学习算法k-means来对受电弓数据集中标注好的边界框进行聚类，从而获得大小和形状合适的AnchorBox确定了Anchor Box之后再对模型进行训练，模型计算出的结果具有较高准确率。检测速度较高，能够满足实时在线检测系统的时间要求，同时具有一定鲁棒性。精确的定位改善了图像处理算法中因定位不准确造成的磨耗计算不准确的困扰，提高了受电弓碳磨耗的计算精度。

Claims (5)

1.一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法，其特征在于，包括以下步骤：

步骤1、图片标注：由相机获取到原始图像，使用labelimg标注软件对图像中的受电弓碳滑板区域进行人工标定，生成标准的xml格式的label文件；利用voc制作数据集，用于模型训练；

步骤2、训练模型：用无监督学习算法k-means对数据集中标注好的边界框进行聚类，获得大小和形状满足要求的Anchor Box，使用Anchor Box训练yolo深度学习模型，得到受电弓碳滑板定位模型；

步骤3、确定受电弓碳滑板的上下左右边界：利用受电弓碳滑板定位模型对采集系统保存的图片进行实时在线检测，返回矩形区域坐标，将矩形区域坐标定位到原图中进行截取；

步骤4、图像处理：对步骤3中的矩形区域进行图像处理和边缘检测，提取受电弓碳滑板的轮廓边缘，根据受电弓碳滑板的上下边缘计算滑板的剩余厚度。

2.根据权利要求1所述的基于深度学习目标检测的受电弓碳滑板磨耗检测方法，其特征在于，步骤1所述的图片标注：由相机获取到原始图像，使用labelimg标注软件对图像中的受电弓碳滑板区域进行人工标定，生成标准的xml格式的label文件；利用voc制作数据集，用于模型训练，具体如下：

步骤1.1、图像的标注：由相机获取到原始图像，根据受电弓滑板所在图像中的位置，对图像进行标定，标定矩形框要完整包括受电弓滑板区域，生成标准的xml格式的label文件；

步骤1.2、利用voc制作数据集：在voc目录下新建VOC2007，并在VOC2007下新建Annotations、ImageSets和JPEGImages三个文件夹，在ImageSets下新建main文件夹，将数据集图片拷贝到JPEGImages目录下，将数据集label文件拷贝到Annotations目录下，生成train.txt、val.txt、test.txt和trainval.txt四个文件。

3.根据权利要求1所述的基于深度学习目标检测的受电弓碳滑板磨耗检测方法，其特征在于，步骤2所述的训练模型：用无监督学习算法k-means对数据集中标注好的边界框进行聚类，获得大小和形状满足要求的Anchor Box，使用Anchor Box训练yolo深度学习模型，得到受电弓碳滑板定位模型，具体如下：

yolo深度学习模型的网络结构由输入层、卷积层、池化层和全连接层、输出层构成，其中：

输入层：是由输入的原始受电弓图像经过裁剪、归一化或数据增强方式处理得到的数据，输入层是初始的特征图，将处理后的特征图的大小固定为448*448*3，其中448*448为单一维度图的像素值，训练集中的原始受电弓图片为三通道图，像素值为单一维度图的像素值*3；

卷积层：使用24个卷积层对输入层处理的特征图进行卷积操作运算，提取输入层的特征信息用于后续的分类与定位处理；yolo深度学习模型的卷积核有3*3和1*1两种，使用1*1大小的卷积核降低卷积核通道数量；

池化层：在特征空间内采用最大值池化法对输入的数据样本进行下采样处理，将输入的图像划分为多个矩形区域，对每个矩形区域输出最大值，用最大值代替该矩形区域的值；

全连接层：采用将所有输入与网络参数连接运算的方式，将特征提取出来的二维矩阵转换为一维矩阵；

输出层：输出层相当于一个分类器，将全连接层输出的一维向量进行分类输出，输出的特征图个数即为目标的分类数；该网络输出一个7*7*30的一维向量，包含了图片中物体的分类结果以及其位置信息的编码，最后通过统一约定的方式对该向量进行解码，在原图片中绘制出检测结果；

yolo深度学习模型的训练过程为：

步骤2.1、用无监督学习算法k-means对数据集中标注好的边界框进行聚类，获得大小能够完整包括检测目标即受电弓碳滑板上下边缘的Anchor Box；

步骤2.2、在开源的神经网络框架Darknet53的darknet目录下新建VOCdevkit文件夹，把制作的数据集文件夹拷贝到VOCdevkit文件夹下；

步骤2.3、修改配置文件voc.data，通过配置cfg/voc.data来确定检测的目标类别数量classes和名称voc.name；修改配置文件cfg/yolov3-voc.cfg中的filters，计算公式filters＝3*(5+len(classes))；由于原图中检测对象只有一个类，所以classes＝1，len(classes)＝1，filters＝18；

步骤2.4、利用预训练模型权值对yolo深度学习模型进行训练，得到受电弓碳滑板定位模型，保存训练后的模型权重。

4.根据权利要求1所述的基于深度学习目标检测的受电弓碳滑板磨耗检测方法，其特征在于，步骤3所述的确定受电弓碳滑板的上下左右边界：利用受电弓碳滑板定位模型对采集系统保存的图片进行实时在线检测，返回矩形区域坐标，将矩形区域坐标定位到原图中进行截取，具体如下：

yolo深度学习模型将输入图像划为S*S个网格，每个网格负责检测中心点落在其中的目标物体，其中单个网格中存在B个目标边框，每个目标边框由一个五维度的预测参数组成，其中包括目标边框的中心点坐标(X,Y)，宽高(W,H)和置信度评分S_i：

S_i＝Pr(0)*IoU

式中，Pr(O)表示前网格目标边框中存在物体的可能性，O表示目标对象，IoU交并比表示当前模型预测到的目标边框位置的准确性；

设定预测的目标边框为p，真实的目标边框为t，box_t表示图像中真实目标的边框情况，box_p表示预测的目标边框，则IoU由的计算公式为：

Pr(C_i|O)表示在该边框存在目标的情况下，该目标属于某一种类物体i的后验概率；设定目标检测任务一共有K种物体，则每个网络预测第i类物体C_i的条件概率为Pr(C_i|O)，i＝1,2,3…,K；

由此计算目标边框中存在物体的置信度为：

确定输出的边界，将图片划分的网格中所有S≤0.6的边界框舍弃，在剩下的边界框中选择最大的边界框作为输出的边界框，再从剩下的边界框当中选择一个，计算它和输出边界框IoU，如果IoU≥0.5就将这个边界框舍弃，重复判断，直到所有的边界框都比较过，具体如下：

步骤3.1、由步骤2训练的模型将输入的受电弓原始图像被划分为7*7个网格，每个网格预测2个目标边框，共有1种待测目标，即，S＝7,B＝2，K＝1，计算输出一个长度为S*S*(B*5+K)＝7*7*11的预测结果向量，得到目标边框的中心点坐标(X,Y)，宽高(W,H)，置信度S；

步骤3.2、由步骤3.1计算得到的目标边框的中心点位置坐标(X,Y)，宽高(W,H)，对应原图片进行截取，得到受电弓滑板位置。

5.根据权利要求1所述的基于深度学习目标检测的受电弓碳滑板磨耗检测方法，其特征在于，步骤4所述的图像处理：对步骤3中的矩形区域进行图像处理和边缘检测，提取受电弓碳滑板的轮廓边缘，根据受电弓碳滑板的上下边缘计算滑板的剩余厚度，具体如下：

步骤4.1、使用高斯低通滤波器对步骤3中截取出来的图像进行滤波，得到滤波之后的图像；

步骤4.2、使用自适应阈值的Canny边缘检测算法对步骤4.1得到的滤波之后的图像进行边缘检测，得到边缘图像；

步骤4.3、对步骤4.2得到的边缘图像进行形态学腐蚀处理后再进行形态学膨胀处理，以将步骤3中确定的滑板所在矩形区域中滑板的边缘连接起来，消除边缘中断造成的异常值；

步骤4.4、对于经步骤4.3处理后图像中的矩形区域，按列从左到右依次遍历得到该列上第一个与最后一个像素点的坐标，即滑板上边缘与下边缘的像素点，下边缘减去上边缘的坐标差，取最小值得到滑板剩余厚度的最小值；

步骤4.5、根据步骤4.4得到的滑板上下边缘的最小差值，以及相机的标定矩阵，计算出滑板的剩余厚度，将滑板原始厚度减去剩余厚度的最小值，即得到滑板的磨耗值。

Images