CN108009591B - 一种基于深度学习的接触网关键部件识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的接触网关键部件识别方法，包括主要步骤有：(1)目标图像采集；(2)图像数据增强；(3)图像分层识别；(4)关键部件及部件特征识别；所述步骤(3)包括(3a)图像区域识别和(3e)关键部件识别网络模型训练两个步骤。针对接触网图像集的特点，本发明采用了多种数据增强、分层次识别和错误集微调等方法，主要有以下优点：提高对小部件的识别率；减少了计算上的损耗；减少标注量，提高标注效率；提高了网络的泛化能力；显著提高接触网图像网络识别率，建立的模型在不同线路之间可方便转化，当模型应用于新线路时，可以仅进行针对性的微调，节省了大量的设计、标注、训练工作，方便人工、自动检测工作。

Description

一种基于深度学习的接触网关键部件识别方法

技术领域

本发明涉及接触网缺陷检测领域，具体涉及一种基于深度学习的接触网关键部件识别方法。

背景技术

铁路运输事业一直处于不断发展的过程中，近年来，为了满足中国社会高速发展的需要，铁路系统在不断提速，提速的同时所带来的便是越来越重要的安全问题：接触网系统分布广泛、且通常位于露天系统下，由于其工作环境恶劣，支撑悬挂部件易出现各类缺陷，一旦发生一些即使细小的问题，也很容易发生连锁反应，造成严重的安全事故，威胁国民的安全与社会生产的发展。

目前各铁路局主要采用人工查看的方式对“接触网悬挂状态检测监测装置”(4C)采集的海量图像进行分析，人工甄别出线路出那些地方存在安全隐患。由于人的一些因素，再加上接触网图片存在过度曝光、对比度较低等问题，对于海量的离线图片人工很难做到高效率、高可靠性的检测，同时检测的频率也很难得到有效提升。另外，目前采用的传统的自动检测算法往往通过人工设计特征，再将特征送入较为复杂的分类器中进行分类，但是由于图像中各零件尺寸差异大，图片存在过度曝光、对比度较低，图片量大等问题，导致人工提取的特征难度高，识别结果的可靠性低，无法胜任接触网这样复杂的环境。因此，传统的算法存在误检率和漏检率较高的情况，且算法泛化能力较差。

深度学习在图像识别领域得到了飞速的发展，取得了较好的效果，但是现有技术都是只搭建了单层Faster R-CNN网络模型，没有进行分层识别，图像数据增强得到的样本多样性不足，对复杂的接触网关键部件的识别率达不到要求，泛化能力较差，且由于没有配合图像缩放处理，训练识别效率相对较低。

发明内容

针对现有技术的不足，本发明在于提出一种基于深度学习的接触网关键部件识别方法，该方法基于深度学习的方法，利用Caffe框架平台，通过图像数据增强、图像分层识别以及利用错误集来产生训练集等方式，丰富了训练样本集的多样性，增强了算法泛化能力，搭建了双层识别网络模型，解决了由于接触网各部件尺寸差异大造成的识别率低的问题，合理利用图像缩放算法配合训练，减少了训练时间，提高了训练识别效率。

为了达到上述的目的，本发明所采用的技术方案是：

一种基于深度学习的接触网关键部件识别方法，包括以下几个步骤：

(1)目标图像采集：采集目标图像，形成原始图像样本集；

(2)图像数据增强：对原始图像样本集进行测试和探索，根据测试结果，选择合适的灰度变换、剪切、旋转、镜像、加噪声图像处理方法的一种或几种进行数据处理，形成增强后图像样本集，并将增强图像样本集与原始图像样本集进行整合，组成训练集，从训练集中抽取一部分作为验证集与测试集，训练集在训练过程中，可以随着模型对未标注图片识别得到错误集的方式而以较低成本扩充；

(3)图像分层识别：利用训练集进行图像区域识别和关键部件识别的网络模型训练，得到针对不同目标区域的网络模型，用该训练得到的模型对训练集以外的4C图片(未训练图片)进行识别；

(4)关键部件及部件特征识别：先使用网络模型一对目标图片进行识别，并得到不同区域坐标；根据区域坐标得到目标区域；利用与目标区域标号所对应的网络模型二对区域内零部件及零件特征进行检测与识别，从而得到零部件坐标以及零部件长度等特征。

进一步的是，步骤(3)具体步骤如下：

(3a)将训练集图像尺寸缩小，得到训练集一；

(3b)图像区域识别：利用训练集一进行Faster R-CNN网络模型训练，形成网络模型一，利用网络模型一对训练集一图像识别并提取多个目标区域，得到目标区域的坐标；

(3c)将目标区域坐标映射到训练集一图像上，得到训练集一图像上的目标区域坐标，并将目标区域从训练集一图像剪裁下来，分别对剪裁下的不同目标区域尺寸进行变化，形成训练集二；

(3d)训练集二数据增强：利用图像识别模块对训练集二进行测试和探索，根据测试结果，运用灰度变换以及旋转、镜像、加噪声图像处理方法进行数据处理，形成训练集三，并将训练集三与训练集二进行整合，组成训练集四，从中随机抽取部分图片作为验证集二、测试集二；

(3e)关键部件识别网络模型训练：利用训练集四不同区域图像分别进行FasterR-CNN网络训练，得到针对不同目标区域的网络模型，统称为网络模型二；

进一步的是，步骤(3b)中所述图像区域识别的具体步骤如下：

(3.1)利用训练集一对Faster R-CNN模型训练，产生用于识别目标区域的初级网络模型一；

(3.2)利用初级网络模型一对测试集和验证集进行测试，根据训练集、测试集、验证集识别率关系调整模型参数，并利用模型对未标注过的图片进行测试，根据识别出区域数量，挑选出没有识别到的图片的未识别区域，标注时仅标注未识别图片的未识别区域，并将其他区域以黑色覆盖，形成错误集，并将错误集添加入训练集；

(3.3)统计目标区域识别率是否达到标准，若达到则流程继续，否则，根据测试集、训练集、验证集识别率调整参数并利用加入错误集后的训练集进行微调，微调时在原代价函数基础上增加惩罚项

代价函数变为：

其中w为用于微调的网络模型的权重，w'为每次更新得到的权重，β为该惩罚项的影响因子，得到新的初级网络模型一，并用该网络模型对未标注图片进行测试，得到错误集，并重复步骤(3.3)，直到目标区域识别率达标，建立最终图像目标区域识别Faster R-CNN网络模型，即网络模型一；

(3.4)利用网络模型一进行目标区域识别并提取。

进一步的是，步骤(3e)中所述关键部件识别网络模型训练的具体步骤如下：

(4.1)利用训练集四不同区域图片分别进行关键部件识别的网络训练，得到针对不同区域的初级网络模型二；

(4.2)利用初级网络模型二对测试集二和验证集二进行测试，根据训练集四、测试集二、验证集二识别率关系调整模型参数。并利用模型对未标注过的图片进行测试，根据识别出区域数量，挑选出没有识别到的图片的未识别区域，标注时仅标注未识别图片的未识别区域，并将其他区域以黑色覆盖，形成错误集，并将错误集添加入训练集四；

(4.3)分别统计不同区域关键部件在测试集下的识别率是否达到标准，若达到则流程继续，否则，根据测试集二、训练集四、验证集二识别率调整参数并利用加入错误集后的训练集四进行微调，得到新的初级网络模型二，并用该网络模型对未标注图片进行测试，得到错误集，并重复步骤(4.3)，直到关键部件识别率达标，得到最终关键部件识别网络模型，即网络模型二。进一步的是，步骤(2)和(3d)中所述灰度变换方法具体为：

(1)灰度线性变换

灰度线性变化是将直方图以类似“平移”的方式移动，其变化函数如下所示：

g(x,y)＝k·f(x,y)+d

其中，f(x,y)是原始图像灰度值，g(x,y)为变换后的灰度图像灰度值；

(2)对数变换

对数变化的特点是对低像素值进行拉伸，对高像素值进行抑制，其函数如下所示：

y＝c·log_v+1(1+v·x)

通过将c恒定设置为1，改变v的值，是v越大，对低灰度级的增强作用越强，对高灰度级的压制作用越大；

(3)幂次变换

对于灰度幂次变换，其基本表达式为：

y＝cx^r+b

其中c和r均为正数；

(4)灰度拉伸

灰度拉伸的基本原理利用分段函数来对原图像进行变换，通过观察发现需要主要突出的像素值主要集中在4-60之间，这样，便将整个灰度曲线分为3个部分，假设像素值在0-4，5-60，61-255之间的斜率分别为a₁,a₂,a₃，由此可以计算出3个部分的折线表达式分别为：

其中，a₁，a₂，a₃为斜率；

进一步的是，步骤(2)和(3d)中所述旋转、镜像、加噪声方法具体为：

(1)增加噪声

通过具体分析不同线路图片在不同环境下拍摄所可能遇到的噪声，对训练集图片增加噪声；

(2)镜像与旋转

镜像操作时，对于图像的每个像素点位置(x,y)，其中(1≤x≤图像宽度W，1≤y≤图像宽度H)，镜像操作后该点位置为(W-x+1,y)。旋转操作时，对于图像的每个像素点位置(x,y)，若旋转角度为θ，则旋转后的坐标(x^r,y^r)为：

进一步的是，所述的图像区域识别和关键部件识别的Faster R-CNN网络模型其特征提取网络采用ZF网络，但分别进行参数配置。

进一步的是，步骤(3.2)和(4.2)所述的测试集由原始图像样本集中的图像组成。。

进一步的是，步骤(3.2)、(3.3)、(4.2)和(4.3)所述的错误集并非特指某个特定的图像样本集，而是泛指单次或多次测试后产生的未识别图像的集合。

进一步的是，步骤(3b)中所述多个目标区域具体包括：平腕臂绝缘子左、平腕臂绝缘子、平腕臂绝缘子右、平腕臂支撑、斜腕臂支撑、承力索底座、斜腕臂绝缘子左、腕臂绝缘子、斜腕臂绝缘子右、斜腕臂支撑、定位器沟环、防风拉线、定位器线夹等。

本发明的有益效果是：

该方法基于深度学习的方法，利用Caffe框架平台，通过利用图像处理方法测试和探索，根据接触网以及模型特定，在两次网络模型训练前均择优选择一种或多种图像数据增强方法进行样本扩充，丰富了训练样本集的多样性，增强了网络的泛化能力，同时方便了标注工作以及后续的缺陷提取工作的进行；采用图像分层识别策略解决了传统模型对尺寸过小图片难以识别的问题；本方法针对接触网零件在适当选择参数的情况下几乎没有误识别，且漏识别对产生训练集不会有影响的特点，节省了大量的标注工作，显著提高网络模型的识别率，降低了误检率和漏检率，并合理利用图像缩放算法配合训练，减少了训练时间，提高了训练识别效率。在充足的图片库下，按照本方法训练得到网络模型有望实现对全国各线路的检测，本方法也为完整的基于深度学习的故障自动诊断提供了思路。

附图说明

图1是本发明接触网关键部件识别方法整体步骤示意图；

图2是本发明的错误集微调流程示意图；

图3是本发明的图像区域识别流程示意图；

图4是本发明的关键部件识别网络模型训练流程示意图；

图5是本发明图像区域识别率测试实验结果统计；

图6是本发明关键部件识别率测试实验结果统计；

图7是本发明图像区域识别图像效果示意图；

图8是本发明关键部件识别图像效果示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。

在本实例中，如图1-8所示，一种基于深度学习的接触网关键部件识别方法，包括以下几个步骤：

(1)利用接触网悬挂状态监测检测系统(4C)来采集目标图像，形成原始图像样本集。

(2)图像数据增强：利用灰度变换以及旋转、剪切、镜像、加噪声图像处理方法进行数据处理，扩充数据集，形成增强后图像样本集，并将增强图像样本集与原始图像样本集进行整合，组成训练集，从训练集中抽取一部分作为验证集与测试集，训练集在训练过程中，可以随着模型对未标注图片识别得到错误集的方式而以较低成本扩充。

(3)图像分层识别：利用训练集进行图像区域识别和关键部件识别的网络模型训练，得到针对不同目标区域的网络模型，其具体步骤如下：

(3a)将训练集图像尺寸由6600×4400缩小到1100×732，得到训练集一；

(3b)图像区域识别：利用训练集一进行Faster R-CNN网络模型训练，形成网络模型一，利用网络模型一对训练集一图像识别并提取多个目标区域，得到目标区域的坐标；

(3c)将目标区域坐标映射到训练集一图像上，尺寸变为6600×4400，得到训练集一图像上的目标区域坐标，并将目标区域从训练集一图像剪裁下来，对剪裁下的不同目标区域尺寸缩小至800×600，形成训练集二；

(3d)训练集二数据增强：利用灰度变换以及旋转、镜像、加噪声等图像处理操作进行数据增强，形成训练集三，并将训练集三与训练集二进行整合，组成训练集四；

(3e)关键部件识别网络模型训练：利用训练集四不同区域图像分别进行FasterR-CNN网络训练，得到针对不同目标区域的网络模型，统称为网络模型二。

(4)关键部件及部件特征识别：先使用网络模型一对目标图片进行识别，并得到不同区域坐标；根据区域坐标得到目标区域；利用与目标区域标号所对应的网络模型二对区域内零部件及零件特征进行检测与识别，从而得到零部件坐标以及零部件长度等特征。

作为一种优化方案，步骤(3b)中所述图像区域识别的具体步骤如下：

(3.1)利用训练集一对Faster R-CNN模型训练，产生用于识别目标区域的初级网络模型一；

(3.2)利用初级网络模型一对测试集和验证集进行测试，根据训练集、测试集、验证集识别率关系调整模型参数，并利用模型对未标注过的图片进行测试，根据识别出区域数量，挑选出没有识别到的图片的未识别区域，标注时仅标注未识别图片的未识别区域，并将其他区域以黑色覆盖，形成错误集，并将错误集添加入训练集；

(3.3)统计目标区域识别率是否达到标准，若达到则流程继续，否则，根据测试集、训练集、验证集识别率调整参数并利用加入错误集后的训练集进行微调，微调时在原代价函数基础上增加惩罚项

代价函数变为：

其中w为用于微调的网络模型的权重，w'为每次更新得到的权重，β为该惩罚项的影响因子，得到新的初级网络模型一，并用该网络模型对未标注图片进行测试，得到错误集，并重复步骤(3.3)，直到目标区域识别率达标，建立最终图像目标区域识别Faster R-CNN网络模型，即网络模型一；

(3.4)利用网络模型一进行目标区域识别并提取。

作为一种优化方案，步骤(3e)中所述关键部件识别网络模型训练的具体步骤如下：

(4.1)利用训练集四不同区域图片分别进行关键部件识别的网络训练，得到针对不同区域的初级网络模型二；

(4.2)利用初级网络模型二对测试集二和验证集二进行测试，根据训练集四、测试集二、验证集二识别率关系调整模型参数。并利用模型对未标注过的图片进行测试，根据识别出区域数量，挑选出没有识别到的图片的未识别区域，标注时仅标注未识别图片的未识别区域，并将其他区域以黑色覆盖，形成错误集，并将错误集添加入训练集四；

(4.3)分别统计不同区域关键部件在测试集下的识别率是否达到标准，若达到则流程继续，否则，根据测试集二、训练集四、验证集二识别率调整参数并利用加入错误集后的训练集四进行微调，得到新的初级网络模型二，并用该网络模型对未标注图片进行测试，得到错误集，并重复步骤(4.3)，直到关键部件识别率达标，得到最终关键部件识别网络模型，即网络模型二。作为一种优化方案，步骤(2)和(3d)中所述的灰度变换方法具体为：

(1)对数变换

对数变化的特点是对低像素值进行拉伸，对高像素值进行抑制，其函数如下所示：

y＝c·log_v+1(1+v·x)

通过将c恒定设置为1，改变v的值，是v越大，对低灰度级的增强作用越强，对高灰度级的压制作用越大；

作为一种优化方案，步骤(2)和(3d)中所述旋转、镜像、加噪声方法具体为：

(1)增加噪声

通过具体分析不同线路图片在不同环境下拍摄所可能遇到的噪声，对训练集图片增加噪声；

(2)镜像与旋转

镜像操作时，对于图像的每个像素点位置(x,y)，其中(1≤x≤图像宽度W，1≤y≤图像宽度H)，镜像操作后该点位置为(W-x+1,y)。旋转操作时，对于图像的每个像素点位置(x,y)，若旋转角度为θ，则旋转后的坐标(x^r,y^r)为：

作为一种优化方案，所述的图像区域识别和关键部件识别的Faster R-CNN网络模型其特征提取网络采用ZF网络，但分别进行参数配置，训练参数主要指Faster R-CNN网络内部在求取损失函数值时所需要的一些参数，例如Fast R-CNN训练时建议框被认为是前景的交并比阈值等。

作为一种优化方案，步骤(3.2)和(4.2)所述的测试集由原始图像样本集中的图像组成。

作为一种优化方案，步骤(3.2)、(3.3)、(4.2)和(4.3)所述的错误集并非特指某个特定的图像样本集，而是泛指单次或多次测试后产生的未识别图像的集合。

作为一种优化方案，步骤(3b)中所述多个目标区域具体包括：平腕臂绝缘子左、平腕臂绝缘子、平腕臂绝缘子右、平腕臂支撑、斜腕臂支撑、承力索底座、斜腕臂绝缘子左、腕臂绝缘子、斜腕臂绝缘子右、斜腕臂支撑、定位器沟环、防风拉线、定位器线夹等。

下面结合一个具体测试实验例子对本发明做进一步的说明。

实验平台采用Caffe，CPU采用E5-1620处理器，GPU采用GTX 1080。下文中，原始图像样本集称为原始图片集，仅包含数据处理后得到的图片集称为图像处理图片集，包含图像处理图片集与原始图片集的称为数据增强图片集，即训练集。

(1)利用接触网悬挂状态监测检测系统(4C)采集武广铁路长沙段(350km/h高铁)的4C图片，形成原始图片样本集，包括637张(武广铁路长沙段，350km/h高铁)图像，图像尺寸6600×4400。

(2)对原始图片样本集进行对数变换、增加噪声、镜像与旋转处理，形成图像处理图片集；原始图片集和图像处理图片集统称为训练集。

(3)图像分层识别：

(3a)将训练集图像尺寸由6600×4400缩小到1100×732，得到训练集一。

(3b)图像区域识别：

利用训练集一进行Faster R-CNN网络模型训练，形成网络模型一，网络模型一包括3个网络模型，即分别针对原始图片集、图像处理图片集和数据增强图片集训练得到的网络模型；

为了验证网络模型一对4C图像的识别率，用网络模型一对测试集进行识别率测试，测试集为871张图像(武广铁路长沙段，350km/h高铁)；

再针对图像处理图片集和数据增强图片集网络模型测试结果，使用针对错误集的微调策略(1575张错误集)对实验二的网络模型微调，得到2个网络模型，即针对图像处理图片集错误集微调和针对数据增强图片集错误集微调得到的网络模型，称为微调网络模型一，再利用微调网络模型一对测试集进行识别率测试，测试集为871张图像(武广铁路长沙段，350km/h高铁)；

网络模型一和微调网络模型一对测试集的识别率结果如图5，所述识别率为测试集中未识别图片占测试集总数的比例；

利用针对数据增强图片集错误集微调得到的网络模型对训练集一中的原始图片集图像识别并提取多个目标区域，得到目标区域的坐标。

(3c)将目标区域坐标映射到原始图片集图像上，尺寸变为6600×4400，得到原始图片集图像上的目标区域坐标，并将目标区域从原始图片集图像剪裁下来，对剪裁下的不同目标区域尺寸缩小至800×600，形成训练集二。

(3d)对训练集二进行对数变换、增加噪声、镜像与旋转处理，形成训练集三，并将训练集三与训练集二进行整合，组成训练集四。

(3e)关键部件识别网络模型训练：

利用训练集四不同区域图像分别进行Faster R-CNN网络训练，并利用错误集进行微调，得到针对不同目标区域的网络模型，统称为网络模型二。

(4)利用网络模型二对300张图像(分为经过图像处理和未经过图像处理)进行识别率测试，其结果如图6，提取关键部件。

实验结果表明：

利用本方法对于原始图片的平均识别率达到了98.9％，平均每张图片识别耗时约0.14秒，对于4C图片中所有部件总提取时间可在1.5秒内完成，网络的泛化能力和识别能力大大提高。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种基于深度学习的接触网关键部件识别方法，其特征在于：包括以下几个步骤：

(1)目标图像采集：采集目标图像，形成原始图像样本集；

(2)图像数据增强：对原始图像样本集进行测试和探索，根据测试结果，选择灰度变换、剪切、旋转、镜像、加噪声图像处理方法中的至少一种方法进行数据处理，形成图像处理图片集，并将图像处理图片集与原始图像样本集进行整合，组成训练集，从训练集中抽取一部分作为验证集与测试集；

(3)图像分层识别：利用训练集进行图像区域识别和关键部件识别的网络模型训练，得到针对不同目标区域的网络模型；

(4)关键部件及部件特征识别：识别零部件以及零部件各个部位；

所述步骤(3)具体步骤如下：

(3a)将训练集图像尺寸缩小，得到训练集一；

(3b)图像区域识别：利用训练集一进行Faster R-CNN网络模型训练，形成网络模型一，利用网络模型一对训练集一图像识别并提取多个目标区域，得到目标区域的坐标；

(3c)将目标区域坐标映射到训练集一图像上，得到训练集一图像上的目标区域坐标，并将目标区域从训练集一图像剪裁下来，分别对剪裁下的不同目标区域尺寸进行变化，形成训练集二；

(3d)训练集二数据增强：利用图像识别模块对训练集二进行测试和探索，根据测试结果，运用灰度变换以及旋转、镜像、加噪声图像处理方法进行数据处理，形成训练集三，并将训练集三与训练集二进行整合，组成训练集四，从中随机抽取部分图片作为验证集二、测试集二；

(3e)关键部件识别网络模型训练：利用训练集四不同区域图像分别进行Faster R-CNN网络训练，得到针对不同目标区域的网络模型，统称为网络模型二。

2.如权利要求1所述的一种基于深度学习的接触网关键部件识别方法，其特征在于：所述步骤(3b)中所述图像区域识别的具体步骤如下：

(3.1)利用训练集一对Faster R-CNN模型训练，产生用于识别目标区域的初级网络模型一；

(3.2)利用初级网络模型一对测试集和验证集进行测试，根据训练集、测试集、验证集识别率关系调整模型参数，并利用模型对未标注过的图片进行测试，根据识别出区域数量，挑选出没有识别到的图片的未识别区域，标注时仅标注未识别图片的未识别区域，并将其他区域以黑色覆盖，形成错误集，并将错误集添加入训练集；

(3.3)统计目标区域识别率是否达到标准，若达到则流程继续，否则，根据测试集、训练集、验证集识别率调整参数并利用加入错误集后的训练集进行微调，微调时在原代价函数基础上增加惩罚项

代价函数变为：

其中，w为用于微调的网络模型的权重，w'为每次更新得到的权重，β为该惩罚项的影响因子，p_i为目标区域是关键部件的概率，

为目标区域是否为关键部件的标签，t_i为网络模型预测得到的目标区域坐标，

为目标区域中交并比最大的包含关键部件的区域的坐标，N_cls是模型训练时一次可分析处理的图片数量，N_reg是每张图片中识别的可能存在关键部件的图像区域的数量，L_cls是关于某个目标区域的对数损失函数，L_reg是预测的目标区域和标注的图像区域之间坐标的差的回归损失函数，l为加权系数；得到新的初级网络模型一，并用该网络模型对未标注图片进行测试，得到错误集，并重复步骤(3.3)，直到目标区域识别率达标，建立最终图像目标区域识别Faster R-CNN网络模型，即网络模型一；

(3.4)利用网络模型一进行目标区域识别并提取。

3.如权利要求1所述的一种基于深度学习的接触网关键部件识别方法，其特征在于：步骤(3e)中所述关键部件识别网络模型训练的具体步骤如下：

(4.1)利用训练集四不同区域图片分别进行关键部件识别的网络训练，得到针对不同区域的初级网络模型二；

(4.2)利用初级网络模型二对测试集二和验证集二进行测试，根据训练集四、测试集二、验证集二识别率关系调整模型参数；并利用模型对未标注过的图片进行测试，根据识别出区域数量，挑选出没有识别到的图片的未识别区域，标注时仅标注未识别图片的未识别区域，并将其他区域以黑色覆盖，形成错误集，并将错误集添加入训练集四；

(4.3)分别统计不同区域关键部件在测试集下的识别率是否达到标准，若达到则流程继续，否则，根据测试集二、训练集四、验证集二识别率调整参数并利用加入错误集后的训练集四进行微调，得到新的初级网络模型二，并用该网络模型对未标注图片进行测试，得到错误集，并重复步骤(4.3)，直到关键部件识别率达标，得到最终关键部件识别网络模型，即网络模型二。

4.如权利要求1所述的一种基于深度学习的接触网关键部件识别方法，其特征在于：步骤(2)和(3d)中所述灰度变换方法具体为：

(1)灰度线性变换

灰度线性变化是将直方图以类似“平移”的方式移动，其变化函数如下所示：

g(x,y)＝k·f(x,y)+d

其中，f(x,y)是原始图像灰度值，g(x,y)为变换后的灰度图像灰度值；

(2)对数变换

对数变化的特点是对低像素值进行拉伸，对高像素值进行抑制，其函数如下所示：

y＝c·log_v+1(1+v·x)

通过将c恒定设置为1，改变v的值，是v越大，对低灰度级的增强作用越强，对高灰度级的压制作用越大；

(3)幂次变换

对于灰度幂次变换，其基本表达式为：

y＝cx^r+b

其中c和r均为正数；

(4)灰度拉伸

灰度拉伸的基本原理利用分段函数来对原图像进行变换，通过观察发现需要突出的像素值主要集中在4-60之间，这样，便将整个灰度曲线分为3个部分，假设像素值在0-4，5-60，61-255之间的斜率分别为a₁,a₂,a₃，由此可以计算出3 个部分的折线表达式分别为：

其中，a₁，a₂，a₃为斜率。

5.如权利要求1所 述的一种基于深度学习的接触网关键部件识别方法，其特征在于：步骤(2)和(3d)中所述旋转、镜像、加噪声方法具体为：

(1)增加噪声

通过具体分析不同线路图片在不同环境下拍摄所可能遇到的噪声，对训练集图片增加噪声；

(2)镜像与旋转

镜像操作时，对于图像的每个像素点位置(x,y)，其中1≤x≤图像宽度W，1≤y≤图像宽度H，镜像操作后该点位置为(W-x+1,y)；旋转操作时，对于图像的每个像素点位置(x,y)，若旋转角度为θ，则旋转后的坐标(x^r,y^r)为：

6.如权利要求1或3所述的一种基于深度学习的接触网关键部件识别方法，其特征在于：所述的图像区域识别和关键部件识别的Faster R-CNN网络模型其特征提取网络采用ZF网络，但分别进行参数配置。

7.如权利要求2或3所述的一种基于深度学习的接触网关键部件识别方法，其特征在于：步骤(3.2)和(4.2)所述的测试集由原始图像样本集中的图像组成。

8.如权利要求2或3所述的一种基于深度学习的接触网关键部件识别方法，其特征在于：步骤(3.2)、(3.3)、(4.2)和(4.3)所述的错误集并非特指某个特定的图像样本集，而是泛指单次或多次测试后产生的未识别图像的集合。

9.如权利要求1所述的一种基于深度学习的接触网关键部件识别方法，其特征在于：步骤(3b)中所述多个目标区域具体包括：平腕臂绝缘子左、平腕臂绝缘子、平腕臂绝缘子右、平腕臂支撑、斜腕臂支撑、承力索底座、斜腕臂绝缘子左、腕臂绝缘子、斜腕臂绝缘子右、斜腕臂支撑、定位器沟环、防风拉线、定位器线夹。

Images