CN109840904A - 一种高铁接触网大尺度差异零部件检测方法 - Google Patents

Abstract

本发明公开了一种高铁接触网大尺度差异零部件检测方法，包括以下步骤：步骤1：根据聚类算法将数据集分类；步骤2：形成N个图像类别与对应零部件位置的映射关系；步骤3：数据集，输入卷积神经网络进行分类训练，得到分类数据集；步骤4：生成粗定位框；步骤5：将粗定位框从图中截取出来，根据真实定位框位置形成细定位数据集；步骤6：将细定位数据集输入到SSD定位模型，进行细定位器的训练；步骤7：将待检测图像输入到卷积神经网络中，得到初步分类结果；得到零部件的粗定位框；将粗定位框输入到步骤6训练后得到的SSD定位模型中即可得到零部件的细定位框，完成检测；本发明针对大尺度差异的接触网零部件，定位准确率高、检测时间短。

Description

一种高铁接触网大尺度差异零部件检测方法

技术领域

本发明涉及图像识别技术领域，具体涉及一种高铁接触网大尺度差异零部件检测方法。

背景技术

接触网支持及悬挂装置担负着支撑接触网的重要任务，其装置状态的好坏影响着整个悬挂系统的稳定性，从而影响接触线的性能；故障时可能导致接触线与受电弓不能良好接触，影响受流质量；其中承力索底座工作环境恶劣、频繁剧烈震动、沿路人烟稀少、维护难度大、是支撑悬挂系统薄弱的环节之一；目前，接触网支撑悬挂装置的状态检测以人工检测为主，效率低；目前基于图像处理的接触网支撑及悬挂装置检测已有部分研究，传统图像处理方面多为单一零部件定位，例如：张桂南提出使用Harris角点检测与谱聚类实现了绝缘子的抗旋转匹配；韩烨提出利用待分析接触网支撑悬挂装置图像和标准旋转双耳图像之间的局部特征点匹配，实现旋转双耳的定位与提取；深度学习方面虽可实现多目标定位且效果提升但扔有缺点；例如钟俊平分别使用了三种深度学习模型对高铁接触网12类零部件进行了同时定位；但是实验结果表明不同零部件之间的巨大尺度差异严重影响了检测结果。

发明内容

本发明提供了一种针对大尺度差异的接触网零部件，定位准确率高、检测时间短的高铁接触网大尺度差异零部件检测方法。

本发明采用的技术方案是：一种高铁接触网大尺度差异零部件检测方法，包括以下步骤：

步骤1：获取高铁接触网零部件图像数据集，根据聚类算法将数据集分类，得到分类数据集；

步骤2：根据步骤1得到的分类结果，形成N个图像类别与对应零部件位置的映射关系；

步骤3：将步骤1得到的分类数据集，输入inceptionV2卷积神经网络进行分类训练，在输入一张新图片之后得到其分类结果；

步骤4：根据步骤2得到的映射关系和步骤3得到的分类结果生成粗定位框；

步骤5：将粗定位框从图中截取出来，根据真实定位框位置形成细定位数据集；

步骤6：将步骤5得到的细定位数据集输入到SSD定位模型，进行细定位器的训练；

步骤7：将待检测图像输入到步骤3训练好的inceptionV2卷积神经网络中，得到初步分类结果；根据分类结果与步骤2得到的映射关系得到零部件的粗定位框；将粗定位框输入到步骤6训练后得到的SSD定位模型中即可得到零部件的细定位框，完成检测。

进一步的，所述步骤1中的聚类算法采用非监督聚类算法，具体过程如下：

S1：缩放输入图像及标注信息至统一大小；

S2：统计每张图片中包含的零部件种类及数目，建立邻接表获得粗分类结果；

S3：计算步骤S2粗分类结果中每一类别的自交并比，并根据自交并比建立邻接表得到细分类结果。

进一步的，所述步骤S2中建立邻接表的过程如下：

S21：初始化图片索引k＝1，选择第k个图像作为第k条单链的第一个节点，并设置邻接列表E_k(1)＝k，初始化此邻接列表中的图片索引n＝1；

S22：选择第k+n个图像并计算其与第k个图像之间的各类零部件数据差距S(i)；其中i为第i个接触网零部件种类，i＝1,2，…M；若每个S(i)均大于设定阈值，则图像被判断为第k个图像相同的种类，被添加到第k个单链，即E_k＝[E_k,k+n]；

S23：设n＝n+1，返回步骤S22，直到遍历所有图像；

S24：设k＝k+1，返回步骤S21，直到遍历所有图像；

S25：建立邻接列表，设l＝1，判断第l单链中的任何元素是否已经存在于第m单链中，其中m＜k；若存在则将第m个单链添加到第l个单链并删除重复节点，即E_n＝E_n∪E_k；删除第m个单链；

S26：设l＝l+1，重复步骤S25直到遍历所有单链，得到的单链数目即为聚类数目。

进一步的，所述步骤S3中建立邻接表的过程如下：

S31：初始化图片索引k＝1，选择第k个图像作为第k条单链的第一个节点，并设置邻接列表E_k(1)＝k，初始化此邻接列表中的图片索引n＝1；

S32：选择第k+n个图像并计算其与第k个图像之间的自交并比；其中i为第i个接触网零部件种类，i＝1,2，…M；若每个自交并比均大于设定阈值，则图像被判断为第k个图像相同的种类，被添加到第k个单链，即E_k＝[E_k,k+n]；

S33：设n＝n+1，返回步骤S32，直到遍历所有图像；

S34：设k＝k+1，返回步骤S31，直到遍历所有图像；

S35：建立邻接列表，设l＝1，判断第l单链中的任何元素是否已经存在于第m单链中，其中m＜k；若存在则将第m个单链添加到第l个单链并删除重复节点，即E_n＝E_n∪E_k；删除第m个单链；

S26：设l＝l+1，重复步骤S35直到遍历所有单链，得到的单链数目即为聚类数目。

进一步的，所述步骤S3中自交并比计算方法如下：

式中：self-IOU为自交并比，A和B均为真实定位框位置。

进一步的，所述步骤2中形成映射关系的过程如下：

S41：在步骤1根据聚类算法得到的聚类类别中，每个接触网零部件类别的边界框的并集生成具有标签的最小边界框；

S42：根据步骤S41得到具有标签的最小边界框，结合图像顺序记录地面实况框的位置并预测位置趋势，计算附加预测区域，得到的附加预测区域即为具有标签的提议区域；

S43：根据步骤S41得到的聚类类别以及根据S42得到的具有标签的提议区域，获得聚类类别与具有标签的提议区域之间的映射关系，映射关系即每一个聚类类别对应一系列具有标签的提议区域，这样当一张新的图片根据卷积网络得到类别后就能根据映射关系得到一系列具有标签的提议区域。

进一步的，所述SSD定位模型包括基本卷积神经网络和额外提取层；基本卷积神经网络采用轻量移动网络，轻量移动网络中的第13、14、15和16层连接到损失函数，其第14、15和16层构成额外提取层；第13层深度为256。

8、根据权利要求6所述的一种高铁接触网大尺度差异零部件检测方法，其特征在于，所述附加预测区域计算方法如下：

式中：L_x为x方向上的预测长度，L_y为y方向上的预测长度，N为每个精细分类结果中的图像数量；i为图像顺序，x和y分别为地面实况框的横坐标和纵坐标；x_imin为地面实况框最小横坐标，x_imax为地面实况框最大横坐标；y_imin为地面实况框最小横坐标，y_imax为地面实况框最大纵坐标；x_(i-1)min为上一张图片的地面实况框最小横坐标，x_(i-1)max为上一张图片的地面实况框最大横坐标，y_(i-1)min为上一张图片的地面实况框最小纵坐标，y_(i-1)max为上一张图片的地面实况框最大纵坐标。

本发明的有益效果是：

(1)本发明可用于高铁接触网大尺度差异的多种零部件中；

(2)本发明以非监督聚类算法为基础，结合分类神经网络和定位神经网络，提高了大尺度差异的接触网零部件的定位准确率；

(3)本发明可缩短检测时间，降低故障检测的难度，针对性的解决高铁接触网的安全运营问题。

附图说明

图1为本发明流程示意图。

图2为本发明中非监督聚类算法流程示意图。

图3为本发明采用的SSD定位模型结构示意图。

图4为现有技术中SSD定位模型结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

如图1～图4所示，一种高铁接触网大尺度差异零部件检测方法，包括以下步骤：

步骤1：获取高铁接触网零部件图像数据集，根据聚类算法将数据集分类；

获取的图像数据集中包括图像及标记信息，经过统计其标记信息，得到每一类接触网零部件的位置信息，使用非监督聚类算法将数据集分类；分类的效果为每一聚类类别内的每一种零部件的位置均相对集中，使得能用有限大小的包围框包围住可能存在该种零部件的区域。

非监督聚类算法具体过程如下：

S1：缩放输入图像及标注信息至统一大小；

S2：统计每张图片中包含的零部件种类及数目，建立邻接表获得粗分类结果；

S3：计算步骤S2粗分类结果中每一类别的自交并比，并根据自交并比建立邻接表得到细分类结果。

步骤S2中建立邻接表的过程如下：

S21：初始化图片索引k＝1，选择第k个图像作为第k条单链的第一个节点，并设置邻接列表E_k(1)＝k，初始化此邻接列表中的图片索引n＝1；

S22：选择第k+n个图像并计算其与第k个图像之间的各类零部件数据差距S(i)；其中i为第i个接触网零部件种类，i＝1,2，…M；若每个S(i)均大于设定阈值，则图像被判断为第k个图像相同的种类，被添加到第k个单链，即E_k＝[E_k,k+n]；

以具有12类接触网零部件为例：

S(i)>thresh(i),i＝1,2,3,...,12

式中：S(i)为第i个类别零部件计算得到的零部件数目差距值；thresh(i)为第i个零部件数目差距阈值；

S23：设n＝n+1，返回步骤S22，直到遍历所有图像；

S24：设k＝k+1，返回步骤S21，直到遍历所有图像；

S25：建立邻接列表，设l＝1，判断第l单链中的任何元素是否已经存在于第m单链中，其中m＜k；若存在则将第m个单链添加到第l个单链并删除重复节点，即E_n＝E_n∪E_k；删除第m个单链；

S26：设l＝l+1，重复步骤S25直到遍历所有单链，得到的单链数目即为聚类数目。

步骤S3中建立邻接表的过程如下：

S31：初始化图片索引k＝1，选择第k个图像作为第k条单链的第一个节点，并设置邻接列表E_k(1)＝k，初始化此邻接列表中的图片索引n＝1；

S32：选择第k+n个图像并计算其与第k个图像之间的自交并比；其中i为第i个接触网零部件种类，i＝1,2，…M；若每个自交并比均大于设定阈值，则图像被判断为第k个图像相同的种类，被添加到第k个单链，即E_k＝[E_k,k+n]；

以具有12类接触网零部件为例：

self-IOU(i)>thresh(i),i＝1,2,3,...,12

式中：self-IOU(i)是第i个零部件类别计算得到的自交并比值，thresh(i)是第i个零部件类别的自交并比阈值；

S33：设n＝n+1，返回步骤S32，直到遍历所有图像；

S34：设k＝k+1，返回步骤S31，直到遍历所有图像；

S35：建立邻接列表，设l＝1，判断第l单链中的任何元素是否已经存在于第m单链中，其中m＜k；若存在则将第m个单链添加到第l个单链并删除重复节点，即E_n＝E_n∪E_k；删除第m个单链；

S36：设l＝l+1，重复步骤S35直到遍历所有单链，得到的单链数目即为聚类数目。

步骤S3中自交并比计算方法如下：

式中：self-IOU为自交并比，A和B均为真实定位框位置。

步骤2：根据步骤1得到的分类结果，形成N个图像类别与对应零部件位置的映射关系；映射关系即为聚类类别与包围框的关系，从而生成粗定位框。

形成映射关系的过程如下：

在无监督聚类之后，初始数据集被分为43类，每个图像对应一个图像类别并构件CNN分类网络的分类数据集；然后生成提议区域以及相应的标签。

S41：在步骤1根据聚类算法得到的聚类类别中，每个接触网零部件类别的边界框的并集生成具有标签的最小边界框；

S42：根据步骤S41得到具有标签的最小边界框，结合图像顺序记录地面实况框的位置并预测位置趋势，计算附加预测区域，得到的附加预测区域即为具有标签的提议区域；计算附加预测区域；

附加预测区域计算方法如下：

式中：L_x为x方向上的预测长度，L_y为y方向上的预测长度，N为每个精细分类结果中的图像数量；i为图像顺序，x和y分别为地面实况框的横坐标和纵坐标；x_imin为地面实况框最小横坐标，x_imax为地面实况框最大横坐标；y_imin为地面实况框最小横坐标，y_imax为地面实况框最大纵坐标；x_(i-1)min为上一张图片的地面实况框最小横坐标，x_(i-1)max为上一张图片的地面实况框最大横坐标，y_(i-1)min为上一张图片的地面实况框最小纵坐标，y_(i-1)max为上一张图片的地面实况框最大纵坐标。

S43：根据步骤S41得到的聚类类别以及根据S42得到的具有标签的提议区域，获得聚类类别与具有标签的提议区域之间的映射关系，映射关系即每一个聚类类别对应一系列具有标签的提议区域，这样当一张新的图片根据卷积网络得到类别后就能根据映射关系得到一系列具有标签的提议区域。

步骤3：将步骤1得到的数据集，输入inceptionV2卷积神经网络进行分类训练，得到分类类别；通过训练使得inceptionV2网络能提取接触网图像有效特征并以此对接触网图像按聚类结果进行分类。

步骤4：根据步骤2得到的映射关系和步骤3得到的分类数据集生成粗定位框；

步骤5：将粗定位框从图中截取出来，根据真实定位框位置形成细定位数据集；其中真实定位框位置为手工标注的定位框。

步骤6：将步骤5得到的细定位数据集输入到SSD定位模型，进行细定位器的训练；

SSD定位模型包括基本卷积神经网络和额外提取层；基本卷积神经网络采用轻量移动网络，轻量移动网络中的第13、14、15和16层连接到损失函数，其第14、15和16层构成额外提取层；第13层深度为256以获得更统一的结构；随着额外提取层的缩减，默认框的数量也从1917减少到828，加快了识别速度。

通过SSD定位模型通过轻量移动网络提取图像特征，再经过缩减的额外提取出不同大小的特征图，通过在特征图上生成建议区域并进行分类与坐标回归实现细定位的训练。额外提取层通过生成默认边界框，根据高层和低层特征图预测默认框的类别；传统的SSD定位模型中轻量移动网络中的第11、13、14、15、16和17层作为输出层。

不同尺度的特征图由不同尺寸卷积核的卷积层生成；在特征图单元的每个位置处以不同的纵横比(如1/2、2等)生成默认框；对于每个默认框，SSD预测13种类别(12中类别和背景)和4种形状偏移(x，y，w，h)的置信度；对于具有m×n个单元和k种默认框的特征映射，该层的输出为(13+4)×m×n×k；最后，带有标签的边界框的预测结果通过非极大抑制进行过滤得到细定位结果。

使用轻量移动网络为基本卷积神经网络的SSD结构中，选择轻量移动网络中的第11层、第13层、第14层、第15层、第16层和第17层作为输出层；最后五个输出层中每个单元生成的默认框数为6，第一个为3；由于粗定位网络的尺度差异减小，目标在粗定位图像中通常很明显并占据图像的主要区域；因此，可以删除具有太大或小尺度的默认框，以简化网络并加快识别速度；在本发明用到的SSD结构中，第13层、第14层、第15层和第16层连接到损失函数，并且第13层深度减小为256以获得更统一的结构；随着额外提取层的缩减，默认框的数量也从1917减少到828，加快了识别速度。

步骤7：将待检测图像输入到步骤3训练好的inceptionV2卷积神经网络中，得到初步分类结果；根据分类结果与步骤2得到的映射关系得到零部件的粗定位框；将粗定位框输入到步骤6训练后得到的SSD定位模型中即可得到零部件的细定位框，完成检测。

本发明通过本发明通过深度学习方法应用到高铁接触网大尺度差异的多种零部件中，同时以非监督聚类算法为基础，将分类神经网络和定位神经网络相结合，提高了大尺度差异的接触网零部件的定位准确率，有效的缩短检测时间，降低了故障检测的难度，能较针对性的解决高铁接触网的安全运营问题。

Claims (8)

1.一种高铁接触网大尺度差异零部件检测方法，其特征在于，包括以下步骤：

步骤1：获取高铁接触网零部件图像数据集，根据聚类算法将数据集分类；

步骤2：根据步骤1得到的分类结果，形成N个图像类别与对应零部件位置的映射关系；

步骤3：将步骤1得到的数据集，输入inceptionV2卷积神经网络进行分类训练，得到分类数据集；

步骤4：根据步骤2得到的映射关系和步骤3得到的分类数据集生成粗定位框；

步骤5：将粗定位框从图中截取出来，根据真实定位框位置形成细定位数据集；

步骤6：将步骤5得到的细定位数据集输入到SSD定位模型，进行细定位器的训练；

步骤7：将待检测图像输入到步骤3训练好的inceptionV2卷积神经网络中，得到初步分类结果；根据分类结果与步骤2得到的映射关系得到零部件的粗定位框；将粗定位框输入到步骤6训练后得到的SSD定位模型中即可得到零部件的细定位框，完成检测。

2.根据权利要求1所述的一种高铁接触网大尺度差异零部件检测方法，其特征在于，所述步骤1中的聚类算法采用非监督聚类算法，具体过程如下：

S1：缩放输入图像及标注信息至统一大小；

S2：统计每张图片中包含的零部件种类及数目，建立邻接表获得粗分类结果；

S3：计算步骤S2粗分类结果中每一类别的自交并比，并根据自交并比建立邻接表得到细分类结果。

3.根据权利要求2所述的一种高铁接触网大尺度差异零部件检测方法，其特征在于，所述步骤S2中建立邻接表的过程如下：

S21：初始化图片索引k＝1，选择第k个图像作为第k条单链的第一个节点，并设置邻接列表E_k(1)＝k，初始化此邻接列表中的图片索引n＝1；

S22：选择第k+n个图像并计算其与第k个图像之间的各类零部件数据差距S(i)；其中i为第i个接触网零部件种类，i＝1,2，…M；若每个S(i)均大于设定阈值，则图像被判断为第k个图像相同的种类，被添加到第k个单链，即E_k＝[E_k,k+n]；

S23：设n＝n+1，返回步骤S22，直到遍历所有图像；

S24：设k＝k+1，返回步骤S21，直到遍历所有图像；

S25：建立邻接列表，设l＝1，判断第l单链中的任何元素是否已经存在于第m单链中，其中m＜k；若存在则将第m个单链添加到第l个单链并删除重复节点，即E_n＝E_n∪E_k；删除第m个单链；

S26：设l＝l+1，重复步骤S25直到遍历所有单链，得到的单链数目即为聚类数目。

4.根据权利要求2所述的一种高铁接触网大尺度差异零部件检测方法，其特征在于，所述步骤S3中建立邻接表的过程如下：

S31：初始化图片索引k＝1，选择第k个图像作为第k条单链的第一个节点，并设置邻接列表E_k(1)＝k，初始化此邻接列表中的图片索引n＝1；

S32：选择第k+n个图像并计算其与第k个图像之间的自交并比；其中i为第i个接触网零部件种类，i＝1,2，…M；若每个自交并比均大于设定阈值，则图像被判断为第k个图像相同的种类，被添加到第k个单链，即E_k＝[E_k,k+n]；

S33：设n＝n+1，返回步骤S32，直到遍历所有图像；

S34：设k＝k+1，返回步骤S31，直到遍历所有图像；

S35：建立邻接列表，设l＝1，判断第l单链中的任何元素是否已经存在于第m单链中，其中m＜k；若存在则将第m个单链添加到第l个单链并删除重复节点，即E_n＝E_n∪E_k；删除第m个单链；

S26：设l＝l+1，重复步骤S35直到遍历所有单链，得到的单链数目即为聚类数目。

5.根据权利要求2所述的一种高铁接触网大尺度差异零部件检测方法，其特征在于，所述步骤S3中自交并比计算方法如下：

式中：self-IOU为自交并比，A和B均为真实定位框位置。

6.根据权利要求1所述的一种高铁接触网大尺度差异零部件检测方法，其特征在于，所述步骤2中形成映射关系的过程如下：

S41：在步骤1根据聚类算法得到的聚类类别中，每个接触网零部件类别的边界框的并集生成具有标签的最小边界框；

S42：根据步骤S41得到具有标签的最小边界框，结合图像顺序记录地面实况框的位置并预测位置趋势，计算附加预测区域为具有标签的提议区域；

S43：根据步骤S41得到的聚类类别以及根据S42得到的具有标签的提议区域，获得聚类类别与具有标签的提议区域之间的映射关系。

7.根据权利要求1所述的一种高铁接触网大尺度差异零部件检测方法，其特征在于，所述SSD定位模型包括基本卷积神经网络和额外提取层；基本卷积神经网络采用轻量移动网络，轻量移动网络中的第13、14、15和16层连接到损失函数，其第14、15和16层构成额外提取层；第13层深度为256。

8.根据权利要求6所述的一种高铁接触网大尺度差异零部件检测方法，其特征在于，所述附加预测区域计算方法如下：

式中：L_x为x方向上的预测长度，L_y为y方向上的预测长度，N为每个精细分类结果中的图像数量；i为图像顺序，x和y分别为地面实况框的横坐标和纵坐标；x_imin为地面实况框最小横坐标，x_imax为地面实况框最大横坐标；y_imin为地面实况框最小横坐标，y_imax为地面实况框最大纵坐标；x_(i-1)min为上一张图片的地面实况框最小横坐标，x_(i-1)max为上一张图片的地面实况框最大横坐标，y_(i-1)min为上一张图片的地面实况框最小纵坐标，y_(i-1)max为上一张图片的地面实况框最大纵坐标。