CN106503742A - 一种可见光图像绝缘子识别方法 - Google Patents

Abstract

本发明实施例提供了一种可见光图像绝缘子识别方法，解决了现有复杂背景下的可见光图像绝缘子通用性差以及识别率不高的问题。本发明实施例方法包括：根据原始图像构建训练样本数据集；根据训练样本数据集，采用BING算法对原始图像进行检测，输出绝缘子候选窗口；通过训练后的卷积神经网络对绝缘子候选窗口进行识别，输出绝缘子细提取窗口；通过高重叠度窗口迭代加权合并算法对绝缘子细提取窗口进行计算，输出绝缘子目标窗口。本发明实施例提供的识别方法通过BING算法解决了现有复杂背景下的可见光图像绝缘子通用性差的问题，通过卷积神经网络和高重叠度窗口迭代加权合并算法解决了识别率不高的问题。

Description

一种可见光图像绝缘子识别方法

技术领域

本发明涉及图像识别领域，尤其涉及一种可见光图像绝缘子识别方法。

背景技术

电力系统使用最多的电力设备是线路绝缘子。绝缘子是一种特殊的绝缘控件，能够在架空输电线路中起到重要作用。早年间绝缘子多用于电线杆，慢慢发展于高型高压电线连接塔的一端挂了很多盘状的绝缘体，它是为了增加爬电距离的，通常由玻璃或陶瓷制成，就叫绝缘子。绝缘子不应该由于环境和电负荷条件发生变化导致的各种机电应力而失效，否则绝缘子就不会产生重大的作用，就会损害整条线路的使用和运行寿命。因此对绝缘子的识别可有助于我们分析和确认绝缘子的情况，为后续监控、维修等事务提供基础。

目前国内外基于可见光图像的绝缘子识别方法大多依据其轮廓信息、颜色信息或纹理信息。基于轮廓特征的可见光图像绝缘子识别方法准确度受航拍的姿态角影响较大，此类算法多用于安装于电塔上的视频终端采集到的图像；基于颜色特征的可见光绝缘子识别方法针对性较强，如马帅营等提出的绝缘子图像分割算法以绝缘子颜色已知作为分割前提；基于纹理特征的可见光绝缘子识别方法易受复杂背景下纹理相似的伪目标干扰，如李卫国等人提出基于改进MPEG-7纹理特征的绝缘子识别方法在处理简单背景下的绝缘子图像有较好的识别效果。

在基于机器学习的可见光绝缘子识别应用中，李岩等人提出基于HOG特征和SVM的绝缘子识别与定位，虽然其在简单背景下的绝缘子图像中识别效果较好，但在复杂背景下的识别效果却不甚理想。因此，现有复杂背景下的可见光图像绝缘子通用性差以及识别率不高是本领域人员需要解决的技术问题。

发明内容

本发明实施例提供了一种可见光图像绝缘子识别方法，解决了现有复杂背景下的可见光图像绝缘子通用性差以及识别率不高的问题。

本发明实施例提供一种可见光图像绝缘子识别方法，包括：

根据原始图像构建训练样本数据集；

根据训练样本数据集，采用BING算法对原始图像进行检测，输出绝缘子候选窗口；

根据训练样本数据集对卷积神经网络进行训练，使得训练后的卷积神经网络对绝缘子候选窗口进行识别，输出绝缘子细提取窗口；

通过高重叠度窗口迭代加权合并算法对绝缘子细提取窗口进行计算，输出绝缘子目标窗口。

优选地，所述根据原始图像构建训练样本数据集具体包括：

将原始图像等比例缩小至预设的大小；

从原始图像中框选出具有绝缘子的区域并记录框选范围内的图像记为正样本图像；

从原始图像中随机框选出不包含绝缘子的区域并计算与正样本图像的重叠率，舍弃超过预设重叠率阈值的区域，保留不超过所述预设重叠率阈值的区域记为负样本图像；

将正样本图像和负样本图像统一调整为预设的大小，作为训练样本存入训练样本数据集。

优选地，所述根据训练样本数据集，采用BING算法对原始图像进行检测，输出绝缘子候选窗口具体包括：

计算训练样本数据集的规则化梯度特征g_l；

将规则化梯度特征g_l作为原始输入数据，训练级联SVM的分类器，获取第一分类参数w，使得第一分类器根据第一分类参数计算训练样本数据集中每个训练样本对应的首次得分S_l＝＜w,g_l＞，其中l＝(i,x,y)，l为训练样本在原始图像中的位置，i的取值对应不同的采样尺度，x和y为尺度i下训练样本在原始图像中的坐标；

将窗口得分S_l作为原始输入数据，训练级联SVM的分类器，获取对应第二分类参数V_i和T_i，使得第二分类器根据第二分类参数计算训练样本数据集中每个训练样本对应的第二得分O_l＝V_i*S_l+T_i；

使用训练所得的分类参数对原始图像进行检测，输出第二得分O_l大于预设第二得分O_l阈值的绝缘子候选窗口。

优选地，所述通过训练后的卷积神经网络对绝缘子区域候选窗口进行识别，输出绝缘子细提取窗口具体为：

将绝缘子候选窗口中的正样本窗口的数量增大至与负样本窗口的数量处于同一个数量级；

将正样本窗口和负样本窗口输入第一卷积神经网络进行特征自学习，获取第一卷积神经网络参数；

通过第一卷积神经网络根据第一卷积神经网络参数对原始图像进行检测，输出识别结果并对识别结果中错分为背景的正样本窗口重新归类为正样本窗口，以改正后的结果输入第二卷积神经网络进行特征自学习，获得第二卷积神经网络参数；

将绝缘子候选窗口输入第一卷积神经网络根据第一卷积神经网络参数进行检测，输出第一识别输出窗口，将第一识别输出窗口输入第二卷积神经网络根据第二卷积神经网络参数进行检测，输出绝缘子细提取窗口。

优选地，所述通过高重叠度窗口迭代加权合并算法对绝缘子细提取窗口进行计算，输出绝缘子目标窗口具体为：

S1、从绝缘子细提取窗口中选择任意一个窗口w_i，若群组列表L为空，则添加一个群组K，并将w_i放入K中；

S2、检测w_i与L中各群组是否存在重叠率大于ε的窗口，若有，则将w_i添加进该群组中；若没有，则向L中添加一个包含w_i的新群组；

S3、判断绝缘子细提取窗口中的窗口是否挑选完毕，若否，则返回步骤S1；

S4、针对L中每一个群组K，按照公式进行计算出窗口参数从而根据窗口参数确定绝缘子目标窗口，其中为窗口参数，包括最小x，y坐标与最大x，y坐标，score为窗口由卷积神经网络计算出来的从属概率，即窗口得分。

本发明实施例提供一种可见光图像绝缘子识别装置，基于上述的可见光图像绝缘子识别方法进行识别，其特征在于，包括：

训练样本数据集构建模块，用于根据原始图像构建训练样本数据集；

绝缘子候选窗口确定模块，用于根据训练样本数据集，采用BING算法对原始图像进行检测，输出绝缘子候选窗口；

绝缘子细提取窗口确定模块，用于根据训练样本数据集对卷积神经网络进行训练，使得训练后的卷积神经网络对绝缘子候选窗口进行识别，输出绝缘子细提取窗口；

绝缘子目标窗口确定模块，用于通过高重叠度窗口迭代加权合并算法对绝缘子细提取窗口进行计算，输出绝缘子目标窗口。

优选地，所述训练样本数据集构建模块具体包括：

缩小单元，用于将原始图像等比例缩小至预设的大小；

正样本单元，用于从原始图像中框选出具有绝缘子的区域并记录框选范围内的图像记为正样本图像；

负样本单元，用于从原始图像中随机框选出不包含绝缘子的区域并计算与正样本图像的重叠率，舍弃超过预设重叠率阈值的区域，保留不超过所述预设重叠率阈值的区域记为负样本图像；

储蓄单元，用于将正样本图像和负样本图像统一调整为预设的大小，作为训练样本存入训练样本数据集。

优选地，所述绝缘子候选窗口确定模块具体包括：

特征单元，用于计算训练样本数据集的规则化梯度特征gl；

首次得分单元，用于将规则化梯度特征g_l作为原始输入数据，训练级联SVM的分类器，获取第一分类参数w，使得第一分类器根据第一分类参数计算训练样本数据集中每个训练样本对应的首次得分S_l＝＜w,g_l＞，其中l＝(i,x,y)，l为训练样本在原始图像中的位置，i的取值对应不同的采样尺度，x和y为尺度i下训练样本在原始图像中的坐标；

第二得分单元，用于将窗口得分S_l作为原始输入数据，训练级联SVM的分类器，获取对应第二分类参数V_i和T_i，使得第二分类器根据第二分类参数计算训练样本数据集中每个训练样本对应的第二得分O_l＝V_i*S_l+T_i；

绝缘子候选窗口输出单元，用于使用训练所得的分类参数对原始图像进行检测，输出第二得分O_l大于预设第二得分O_l阈值的绝缘子候选窗口。

优选地，所述绝缘子细提取窗口确定模块具体包括：

数量增多单元，用于将绝缘子候选窗口中的正样本窗口的数量增多至与负样本窗口的数量处于同一个数量级；

第一卷积神经网络单元，用于将正样本窗口和负样本窗口输入第一卷积神经网络进行特征自学习，获取第一卷积神经网络参数；

第二卷积神经网络单元，用于通过第一卷积神经网络根据第一卷积神经网络参数对原始图像进行检测，输出识别结果并对识别结果中错分为背景的正样本窗口重新归类为正样本窗口，以改正后的结果输入第二卷积神经网络进行特征自学习，获得第二卷积神经网络参数；

绝缘子细提取窗口输出单元，用于将绝缘子候选窗口输入第一卷积神经网络根据第一卷积神经网络参数进行检测，输出第一识别输出窗口，将第一识别输出窗口输入第二卷积神经网络根据第二卷积神经网络参数进行检测，输出绝缘子细提取窗口。

优选地，所述绝缘子目标窗口确定模块具体包括：

窗口选择单元，用于从绝缘子细提取窗口中选择任意一个窗口w_i，若群组列表L为空，则添加一个群组K，并将w_i放入K中；

窗口分组单元，用于检测w_i与L中各群组是否存在重叠率大于ε的窗口，若有，则将w_i添加进该群组中；若没有，则向L中添加一个包含w_i的新群组；

判断单元，用于判断绝缘子细提取窗口中的窗口是否选择完毕，若否，则返回窗口选择单元；

绝缘子目标窗口输出单元，用于针对L中每一个群组K，按照公式进行计算出窗口参数从而根据窗口参数确定绝缘子目标窗口，其中为窗口参数，包括最小x，y坐标与最大x，y坐标，score为窗口由卷积神经网络计算出来的从属概率，即窗口得分。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例提供一种可见光图像绝缘子识别方法，首先根据原始图像构建训练样本数据集，然后根据训练样本数据集，采用BING算法对原始图像进行检测，输出绝缘子候选窗口，然后根据训练样本数据集对卷积神经网络进行训练，使得训练后的卷积神经网络对绝缘子候选窗口进行识别，输出绝缘子细提取窗口，最后通过高重叠度窗口迭代加权合并算法对绝缘子细提取窗口进行计算，输出绝缘子目标窗口，实现绝缘子目标的提取。本发明实施例提供的识别方法通过BING算法解决了现有复杂背景下的可见光图像绝缘子通用性差的问题，通过卷积神经网络和高重叠度窗口迭代加权合并算法解决了识别率不高的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种可见光图像绝缘子识别方法的流程图；

图2为本发明另一个实施例提供的可见光图像绝缘子识别方法的流程图；

图3为本发明另一个实施例提供的可见光图像绝缘子识别方法的流程图；

图4为本发明另一个实施例提供的可见光图像绝缘子识别方法的流程图；

图5为本发明另一个实施例提供的可见光图像绝缘子识别方法的流程图；

图6为本发明另一个实施例提供的可见光图像绝缘子识别装置的流程图；

图7为本发明另一个实施例提供的可见光图像绝缘子识别方法的流程图。

其中，附图标记如下：

601、训练样本数据集构建模块；602、绝缘子候选窗口确定模块；603、绝缘子细提取窗口确定模块；604、绝缘子目标窗口确定模块；701、缩小单元；702、正样本单元；703、负样本单元；704、储蓄单元；801、特征单元；802、首次得分单元；803、第二得分单元；804、绝缘子候选窗口输出单元；901、数量增多单元；902、第一卷积神经网络单元；903、第二卷积神经单元；904、绝缘子细提取窗口输出单元；1001、窗口选择单元；1002、窗口分组单元；1003、判断单元；1004、绝缘子目标窗口输出单元。

具体实施方式

本发明实施例提供了一种可见光图像绝缘子识别方法，解决了现有复杂背景下的可见光图像绝缘子通用性差以及识别率不高的问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供一种可见光图像绝缘子识别方法，包括：

101、根据原始图像构建训练样本数据集；

102、根据训练样本数据集，采用BING算法对原始图像进行检测，输出绝缘子候选窗口；

103、根据训练样本数据集对卷积神经网络进行训练，使得训练后的卷积神经网络对绝缘子候选窗口进行识别，输出绝缘子细提取窗口；

104、通过高重叠度窗口迭代加权合并算法对绝缘子细提取窗口进行计算，输出绝缘子目标窗口。

以上是对本发明实施例提供的一种可见光图像绝缘子识别方法进行详细的描述，以下将对本发明另一个实施例提供的可见光图像绝缘子识别方法进行详细的描述。

请参阅图2，本发明另一个实施例提供的可见光图像绝缘子识别方法包括：

201、将原始图像等比例缩小至预设的大小；

202、从原始图像中框选出具有绝缘子的区域并记录框选范围内的图像记为正样本图像；

203、从原始图像中随机框选出不包含绝缘子的区域并计算与正样本图像的重叠率，舍弃超过预设重叠率阈值的区域，保留不超过所述预设重叠率阈值的区域记为负样本图像；

204、将正样本图像和负样本图像统一调整为预设的大小，作为训练样本存入训练样本数据集；

205、根据训练样本数据集，采用BING算法对原始图像进行检测，输出绝缘子候选窗口；

206、根据训练样本数据集对卷积神经网络进行训练，使得训练后的卷积神经网络对绝缘子候选窗口进行识别，输出绝缘子细提取窗口；

207、通过高重叠度窗口迭代加权合并算法对绝缘子细提取窗口进行计算，输出绝缘子目标窗口。

以上是对本发明另一个实施例提供的可见光图像绝缘子识别方法进行详细的描述，以下将对本发明另一个实施例提供的可见光图像绝缘子识别方法进行详细的描述。

请参阅图3，本发明另一个实施例提供的可见光图像绝缘子识别方法包括

301、根据原始图像构建训练样本数据集；

302、计算训练样本数据集的规则化梯度特征g_l；

303、将规则化梯度特征g_l作为原始输入数据，训练级联SVM的分类器，获取第一分类参数w，使得第一分类器根据第一分类参数计算训练样本数据集中每个训练样本对应的首次得分S_l＝＜w,g_l＞，其中l＝(i,x,y)，l为训练样本在原始图像中的位置，i的取值对应不同的采样尺度，x和y为尺度i下训练样本在原始图像中的坐标；

304、将窗口得分S_l作为原始输入数据，训练级联SVM的分类器，获取对应第二分类参数V_i和T_i，使得第二分类器根据第二分类参数计算训练样本数据集中每个训练样本对应的第二得分O_l＝V_i*S_l+T_i；

305、使用训练所得的分类参数对原始图像进行检测，输出第二得分O_l大于预设第二得分O_l阈值的绝缘子候选窗口；

306、根据训练样本数据集对卷积神经网络进行训练，使得训练后的卷积神经网络对绝缘子候选窗口进行识别，输出绝缘子细提取窗口；

307、通过高重叠度窗口迭代加权合并算法对绝缘子细提取窗口进行计算，输出绝缘子目标窗口。

以上是对本发明另一个实施例提供的可见光图像绝缘子识别方法进行详细的描述，以下将对本发明另一个实施例提供的可见光图像绝缘子识别方法进行详细的描述。

请参阅图4，本发明另一个实施例提供的可见光图像绝缘子识别方法包括

401、根据原始图像构建训练样本数据集；

402、根据训练样本数据集，采用BING算法对原始图像进行检测，输出绝缘子候选窗口；

403、将绝缘子候选窗口中的正样本窗口的数量增大至与负样本窗口的数量处于同一个数量级；

404、将正样本窗口和负样本窗口输入第一卷积神经网络进行特征自学习，获取第一卷积神经网络参数；

405、通过第一卷积神经网络根据第一卷积神经网络参数对原始图像进行检测，输出识别结果并对识别结果中错分为背景的正样本窗口重新归类为正样本窗口，以改正后的结果输入第二卷积神经网络进行特征自学习，获得第二卷积神经网络参数；

406、将绝缘子候选窗口输入第一卷积神经网络根据第一卷积神经网络参数进行检测，输出第一识别输出窗口，将第一识别输出窗口输入第二卷积神经网络根据第二卷积神经网络参数进行检测，输出绝缘子细提取窗口；

407、通过高重叠度窗口迭代加权合并算法对绝缘子细提取窗口进行计算，输出绝缘子目标窗口。

以上是对本发明另一个实施例提供的可见光图像绝缘子识别方法进行详细的描述，以下将对本发明另一个实施例提供的可见光图像绝缘子识别方法进行详细的描述。

请参阅图5，本发明另一个实施例提供的可见光图像绝缘子识别方法包括

501、根据原始图像构建训练样本数据集；

502、根据训练样本数据集，采用BING算法对原始图像进行检测，输出绝缘子候选窗口；

503、根据训练样本数据集对卷积神经网络进行训练，使得训练后的卷积神经网络对绝缘子候选窗口进行识别，输出绝缘子细提取窗口；

504、从绝缘子细提取窗口中选择任意一个窗口w_i，若群组列表L为空，则添加一个群组K，并将w_i放入K中；

505、检测w_i与L中各群组是否存在重叠率大于ε的窗口，若有，则将w_i添加进该群组中；若没有，则向L中添加一个包含w_i的新群组；

506、判断绝缘子细提取窗口中的窗口是否挑选完毕，若否，则返回步骤504；

507、针对L中每一个群组K，按照公式进行计算出窗口参数从而根据窗口参数确定绝缘子目标窗口，其中为窗口参数，包括最小x，y坐标与最大x，y坐标，score为窗口由卷积神经网络计算出来的从属概率，即窗口得分。

需要说明的是，ε是预设的重叠率阈值。

以上是对本发明另一个实施例提供的可见光图像绝缘子识别方法进行详细的描述，以下将对本发明实施例提供的可见光图像绝缘子识别装置进行详细的描述。

请参阅图6，本发明实施例提供一种可见光图像绝缘子识别装置，基于上述的可见光图像绝缘子识别方法进行识别，包括：

训练样本数据集构建模块601，用于根据原始图像构建训练样本数据集；

绝缘子候选窗口确定模块602，用于根据训练样本数据集，采用BING算法对原始图像进行检测，输出绝缘子候选窗口；

绝缘子细提取窗口确定模块603，用于根据训练样本数据集对卷积神经网络进行训练，使得训练后的卷积神经网络对绝缘子候选窗口进行识别，输出绝缘子细提取窗口；

绝缘子目标窗口确定模块604，用于通过高重叠度窗口迭代加权合并算法对绝缘子细提取窗口进行计算，输出绝缘子目标窗口。

训练样本数据集构建模块601具体包括：

缩小单元701，用于将原始图像等比例缩小至预设的大小；

正样本单元702，用于从原始图像中框选出具有绝缘子的区域并记录框选范围内的图像记为正样本图像；

负样本单元703，用于从原始图像中随机框选出不包含绝缘子的区域并计算与正样本图像的重叠率，舍弃超过预设重叠率阈值的区域，保留不超过所述预设重叠率阈值的区域记为负样本图像；

储蓄单元704，用于将正样本图像和负样本图像统一调整为预设的大小，作为训练样本存入训练样本数据集。

绝缘子候选窗口确定模块602具体包括：

特征单元801，用于计算训练样本数据集的规则化梯度特征g_l；

首次得分单元802，用于将规则化梯度特征g_l作为原始输入数据，训练级联SVM的分类器，获取第一分类参数w，使得第一分类器根据第一分类参数计算训练样本数据集中每个训练样本对应的首次得分S_l＝＜w,g_l＞，其中l＝(i,x,y)，l为训练样本在原始图像中的位置，i的取值对应不同的采样尺度，x和y为尺度i下训练样本在原始图像中的坐标；

第二得分单元803，用于将窗口得分S_l作为原始输入数据，训练级联SVM的分类器，获取对应第二分类参数V_i和T_i，使得第二分类器根据第二分类参数计算训练样本数据集中每个训练样本对应的第二得分O_l＝V_i*S_l+T_i；

绝缘子候选窗口输出单元804，用于使用训练所得的分类参数对原始图像进行检测，输出第二得分O_l大于预设第二得分O_l阈值的绝缘子候选窗口。

绝缘子细提取窗口确定模块603具体包括：

数量增多单元901，用于将绝缘子候选窗口中的正样本窗口的数量增多至与负样本窗口的数量处于同一个数量级；

第一卷积神经网络单元902，用于将正样本窗口和负样本窗口输入第一卷积神经网络进行特征自学习，获取第一卷积神经网络参数；

第二卷积神经网络单元903，用于通过第一卷积神经网络根据第一卷积神经网络参数对原始图像进行检测，输出识别结果并对识别结果中错分为背景的正样本窗口重新归类为正样本窗口，以改正后的结果输入第二卷积神经网络进行特征自学习，获得第二卷积神经网络参数；

绝缘子细提取窗口输出单元904，用于将绝缘子候选窗口输入第一卷积神经网络根据第一卷积神经网络参数进行检测，输出第一识别输出窗口，将第一识别输出窗口输入第二卷积神经网络根据第二卷积神经网络参数进行检测，输出绝缘子细提取窗口。

绝缘子目标窗口确定模块604具体包括：

窗口选择单元1001，用于从绝缘子细提取窗口中选择任意一个窗口w_i，若群组列表L为空，则添加一个群组K，并将w_i放入K中；

窗口分组单元1002，用于检测w_i与L中各群组是否存在重叠率大于ε的窗口，若有，则将w_i添加进该群组中；若没有，则向L中添加一个包含w_i的新群组；

判断单元1003，用于判断绝缘子细提取窗口中的窗口是否选择完毕，若否，则返回窗口选择单元1001；

绝缘子目标窗口输出单元1004，用于针对L中每一个群组K，按照公式进行计算出窗口参数从而根据窗口参数确定绝缘子目标窗口，其中为窗口参数，包括最小x，y坐标与最大x，y坐标，score为窗口由卷积神经网络计算出来的从属概率，即窗口得分。

以上是对本发明实施例提供过的一种可见光图像绝缘子识别装置的详细描述，以下将对本发明另一个实施例提供的一种可见光图像绝缘子识别方法进行详细的描述。

本发明提出了一种由粗到细的可见光图像绝缘子识别方法，解决了现有复杂背景下的可见光图像绝缘子通用性差以及识别率不高的问题。所述方法包括：首先构建训练样本训练集；在此基础上采用通用BING算法提取目标候选窗口(即可能含有绝缘子的窗口)；然后利用卷积神经网络算法定位绝缘子目标精确识别；最后采用高重叠度窗口迭代合并算法提取绝缘子目标。

请参阅图7，本发明实施例提供一种由粗到细的可见光图像绝缘子识别方法的步骤流程图，包括以下四个步骤:

S-1：初始绝缘子样本获取

本方法的测试过程中使用的可见光图像尺寸为3745*5617，比例约为2：3，达到或高于这种清晰度的图像适合做故障检测。但若将原始清晰度的可见光图像直接用于样本库数据构建，则会使卷积神经网络被迫提高卷积核个数及尺寸，使得卷积神经网络参数个数大大增加，卷积神经网络参数过多不仅可能会导致显存不足的问题，而且也将直接影响到网络训练效率与后续目标识别效率。基于此种考虑，在不影响绝缘子定位识别的情况下等比例缩放原始图像，使得绝缘子框选窗口平均长宽变为200左右，即将本次测试数据缩放至1200*1800。

初始绝缘子样本获取为后续BING分类器以及卷积神经网络正负样本库生成提供正样本基准信息。以现有数据为例，首先将分辨率为3745*5617的原始图像等比例缩放至1200*1800，然后从给定的图像中框选出绝缘子区域并记录框选范围内的图像，并将其作为训练BING分类器所需的原始正样本图像。

训练所需负样本(即从图片中不包含绝缘子的背景区域选出的局部窗口图像)的获取方法为从背景中随机选取一定数量，长宽随机大小的矩形窗口，但要求该随机窗口与正样本窗口的重叠率不能大于一定阈值(本方法为0.5)。重叠率的计算方法如下：假设窗口1的面积为S1,窗口2的面积为S2,二者重叠面积为S，则重叠率计算公式如下：

最后将所有的正、负样本，用不同尺度缩放采样，将采样出的有效样本统一调整为8*8大小。

S-2：绝缘子候选窗口确定

采用计算机视觉的BING算法提取候选绝缘子窗口。算法BING以规则化梯度(Normed Gradient，NG)为目标识别特征，以级联SVM为分类器，依据样本集训练并获取分类参数，得到每个窗口的NG特征所对应的最终得分(此得分作为衡量图像中包含物体的可能性)，最终将获取的分类器应用于绝缘子候选区域确定。

BING分类器为后续卷积神经网络提供绝缘子候选窗口，作用是减少卷积神经网络所需识别的窗口个数，提高卷积神经网络的识别效率，降低单张图像的绝缘子识别时间。其具体实现过程如下：

首先计算由步骤S-1获得8*8图像的NG特征，然后将此NG特征作为原始输入数据，训练级联SVM的第一层分类器，获取其分类参数。在进行检测时，此分类器会对输入的每一个8*8的图像的NG特征输出一个分数获取其分类参数，并根据分类参数计算每一个输入窗口对应的得分S_l：

S_l＝＜w,g_l＞ (2)

l＝(i,x,y) (3)

若假设输入窗口图像为包含绝缘子的局部窗口图像(以下简称绝缘子窗口)，则g_l为绝缘子窗口的NG特征，w为训练所得分类参数，S_l为绝缘子窗口所得NG特征的首次输出得分；l为绝缘子窗口在原始图像中的位置，i的取值对应不同的采样尺度，x和y为尺度i下绝缘子窗口在原始图像中的坐标。

最后根据上步的窗口得分S_l作为输入数据，训练一个新的SVM分类器，获取对应分类参数。此分类器用以将不同尺度i下的S_l归一化到同一尺度以进行比较，在进行检测时，此分类器会对每一个输入窗口输出一个得分，此得分即表示该窗口内包含物体的可能性:

O_l＝V_i*S_l+T_i (4)

其中，O_l为输入的图像窗口的计算得分(即窗口内包含物体的可能性)，O_l和T_i是需要学习的改正系数和偏置项。

在BING分类器训练结束后，使用训练所得分类参数对原始图像进行检测，以得分T_i大于一定阈值(本方法设为0.9)的检测窗口作为绝缘子区域候选窗口。在进行绝缘子检测时，此步也即是完成可见光图像绝缘子粗定位。

需要说明的是，8*8图像的NG特征即是8*8图像的规则化梯度特征(NormedGradient，NG)，即是8*8图像各点梯度值组成的特征。获取方法就是计算8*8图像每个点的对应的梯度值，将8*8的梯度值列成一个64维的向量，作为NG特征。

w是分类参数。分类参数获取是通过输入NG特征训练线性支持向量机(SVM)获取。

改正系数Vi和偏置项Ti是分类参数。获取方法是通过线性支持向量机学习得到。以窗口得分Sl为训练数据，可以得到此处的分类参数Vi和Ti。

参数获取方法属于支持向量机算法(SVM)原理性内容，因为支持向量机训练的结果就是获得分类参数。支持向量机的使用就是使用分类参数与输入数据计算想要的输出结果，在本发明实施例中即是训练获取分类参数，然后使用分类参数与输入窗口数据获得对应窗口的得分。

S-3：绝缘子精确定位识别

卷积神经网络旨在识别真正包含绝缘子的候选窗口，由于候选窗口在原始图像中的位置已知，因此也可以说卷积神经网络是用来进行绝缘子的精确定位识别。

鉴于航拍的电力走廊可见光图像中，背景复杂多变，而绝缘子相对而言极其稀少。由于绝缘子样本(正样本)十分稀少，而背景复杂性决定了背景样本(负样本)数量必然庞大，即使已经使用BING算法大大减少待检测窗口数量，但是粗定位结果中作为负样本的背景窗口依然比作为正样本的绝缘子窗口高出多个数量级，因此若直接将粗定位结果中绝缘子图像与背景图像作为卷积神经网络正负样本数据输入，很容易因正负样本数量悬殊发生过拟合现象，前期测试实验结果显示此种做法所得网络训练结果应用于绝缘子定位准确率基本为0。

针对正负样本数据量差异巨大，本方法对正样本(本实例中即为包含绝缘子的窗口图像)采用了Krizhevsky等人提出的数据增大的方式进行扩充，具体方法解释为:若需要输出的图像尺寸为N*N，则可将样本图像尺寸调整为(N+20)*(N+20),则可以以N*N大小的窗口，以步长为2的滑动窗口法获得(20*20)/(2*2)＝100倍的对应样本，此种方法获取的正样本并不完全相同且具有高重叠率，解决了绝缘子图像中因正负样本数量相差悬殊而导致的过拟合问题。

绝缘子精确定位识别过程采用级联卷积神经网络确定。具体训练过程如下：

首先将绝缘子候选窗口中与步骤S-1中人工框选目标窗口重叠率高于一定阈值(默认为0.5)的窗口作为正样本，其余为负样本进行训练，并采用上述数据增大的方式使得正样本数量与负样本数量达到同一数量级。通过卷积神经网络的特征自学习功能，训练样本集获取卷积神经网络参数。并以训练出的参数文件对原始图片做预测识别，并输出所有识别结果。

然后对上步骤中的识别结果进行错误改正，将误分类结果人工归类为其正确分类，以改正后的数据集为输入样本，训练一个新的卷积神经网络获取新的参数文件。

需要说明的是，误分类结果是指错分为背景的绝缘子窗口，进行这一步是为了获取第二个卷积网络网型参数文件，在实际应用中可以对首次定位的结果进行修正，可以提高后续实际应用中的绝缘子定位准确率。

在检测过程中，将BING分类器输出结果作为第一个卷积神经网络的输入，将第一个卷积神经网络的识别输出作为第二个卷积神经网络的输入，第二个卷积神经网络输出识别出的绝缘子窗口。

S-4：高重叠度识别窗口迭代加权合并

级联卷积神经网络的识别输出结果中包含一定数量的高重叠率窗口，此时的识别输出窗口与绝缘子是多对一的关系，因此需将高重叠度的绝缘子窗口进行合并简化，使得同一绝缘子对应窗口输出为唯一确定，得到最终识别结果，以完成最终的可见光绝缘子精确定位。

高重叠度窗口迭代加权合并算法假设窗口的类从属概率是服从高斯分布的，即窗口越贴近真实值，得分越高，反之越低。具体实现方法为：

1、若窗口已被遍历完，进入第4步，否则进入第2步；

2、从待合并的窗口中挑选一个窗口w_i，若群组列表L为空，则添加一个群组K，并将w_i放入K中，若L不为空，则进入第3步；

3、检测w_i与L中各群组是否存在重叠率大于ε的窗口，若有，则将w_i添加进该群组中；若没有，则向L中添加一个包含w_i的新群组，回到第1步；

针对L中每一个群组K，按照公式(5)的方式进行合并，其中v为窗口参数，包括最小x，y坐标与最大x，y坐标；score为窗口由卷积神经网络计算出来的从属概率，即窗口得分。将其大小减去0.5是为了归一化。

通过上述迭代加权合并方法，可唯一确定绝缘子串对应的识别窗口。即完成最终的识别输出。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种可见光图像绝缘子识别方法，其特征在于，包括：

根据原始图像构建训练样本数据集；

根据训练样本数据集，采用BING算法对原始图像进行检测，输出绝缘子候选窗口；

根据训练样本数据集对卷积神经网络进行训练，使得训练后的卷积神经网络对绝缘子候选窗口进行识别，输出绝缘子细提取窗口；

通过高重叠度窗口迭代加权合并算法对绝缘子细提取窗口进行计算，输出绝缘子目标窗口。

2.根据权利要求1所述的可见光图像绝缘子识别方法，其特征在于，所述根据原始图像构建训练样本数据集具体包括：

将原始图像等比例缩小至预设的大小；

从原始图像中框选出具有绝缘子的区域并记录框选范围内的图像记为正样本图像；

从原始图像中随机框选出不包含绝缘子的区域并计算与正样本图像的重叠率，舍弃超过预设重叠率阈值的区域，保留不超过所述预设重叠率阈值的区域记为负样本图像；

将正样本图像和负样本图像统一调整为预设的大小，作为训练样本存入训练样本数据集。

3.根据权利要求1所述的可见光图像绝缘子识别方法，其特征在于，所述根据训练样本数据集，采用BING算法对原始图像进行检测，输出绝缘子候选窗口具体包括：

计算训练样本数据集的规则化梯度特征g_l；

将规则化梯度特征g_l作为原始输入数据，训练级联SVM的分类器，获取第一分类参数w，使得第一分类器根据第一分类参数计算训练样本数据集中每个训练样本对应的首次得分S_l＝＜w,g_l＞，其中l＝(i,x,y)，l为训练样本在原始图像中的位置，i的取值对应不同的采样尺度，x和y为尺度i下训练样本在原始图像中的坐标；

将窗口得分S_l作为原始输入数据，训练级联SVM的分类器，获取对应第二分类参数V_i和T_i，使得第二分类器根据第二分类参数计算训练样本数据集中每个训练样本对应的第二得分O_l＝V_i*S_l+T_i；

使用训练所得的分类参数对原始图像进行检测，输出第二得分O_l大于预设第二得分O_l阈值的绝缘子候选窗口。

4.根据权利要求1所述的可见光图像绝缘子识别方法，其特征在于，所述通过训练后的卷积神经网络对绝缘子区域候选窗口进行识别，输出绝缘子细提取窗口具体为：

将绝缘子候选窗口中的正样本窗口的数量增大至与负样本窗口的数量处于同一个数量级；

将正样本窗口和负样本窗口输入第一卷积神经网络进行特征自学习，获取第一卷积神经网络参数；

通过第一卷积神经网络根据第一卷积神经网络参数对原始图像进行检测，输出识别结果并对识别结果中错分为背景的正样本窗口重新归类为正样本窗口，以改正后的结果输入第二卷积神经网络进行特征自学习，获得第二卷积神经网络参数；

将绝缘子候选窗口输入第一卷积神经网络根据第一卷积神经网络参数进行检测，输出第一识别输出窗口，将第一识别输出窗口输入第二卷积神经网络根据第二卷积神经网络参数进行检测，输出绝缘子细提取窗口。

5.根据权利要求1所述的可见光图像绝缘子识别方法，其特征在于，所述通过高重叠度窗口迭代加权合并算法对绝缘子细提取窗口进行计算，输出绝缘子目标窗口具体为：

S1、从绝缘子细提取窗口中选择任意一个窗口w_i，若群组列表L为空，则添加一个群组K，并将w_i放入K中；

S2、检测w_i与L中各群组是否存在重叠率大于ε的窗口，若有，则将w_i添加进该群组中；若没有，则向L中添加一个包含w_i的新群组；

S3、判断绝缘子细提取窗口中的窗口是否挑选完毕，若否，则返回步骤S1；

S4、针对L中每一个群组K，按照公式进行计算出窗口参数从而根据窗口参数确定绝缘子目标窗口，其中为窗口参数，包括最小x，y坐标与最大x，y坐标，score为窗口由卷积神经网络计算出来的从属概率，即窗口得分。

6.一种可见光图像绝缘子识别装置，基于权利要求1至5中任意一项所述的可见光图像绝缘子识别方法进行识别，其特征在于，包括：

训练样本数据集构建模块，用于根据原始图像构建训练样本数据集；

绝缘子候选窗口确定模块，用于根据训练样本数据集，采用BING算法对原始图像进行检测，输出绝缘子候选窗口；

绝缘子细提取窗口确定模块，用于根据训练样本数据集对卷积神经网络进行训练，使得训练后的卷积神经网络对绝缘子候选窗口进行识别，输出绝缘子细提取窗口；

绝缘子目标窗口确定模块，用于通过高重叠度窗口迭代加权合并算法对绝缘子细提取窗口进行计算，输出绝缘子目标窗口。

7.根据权利要求6所述的可见光图像绝缘子识别装置，其特征在于，所述训练样本数据集构建模块具体包括：

缩小单元，用于将原始图像等比例缩小至预设的大小；

正样本单元，用于从原始图像中框选出具有绝缘子的区域并记录框选范围内的图像记为正样本图像；

负样本单元，用于从原始图像中随机框选出不包含绝缘子的区域并计算与正样本图像的重叠率，舍弃超过预设重叠率阈值的区域，保留不超过所述预设重叠率阈值的区域记为负样本图像；

储蓄单元，用于将正样本图像和负样本图像统一调整为预设的大小，作为训练样本存入训练样本数据集。

8.根据权利要求6所述的可见光图像绝缘子识别装置，其特征在于，所述绝缘子候选窗口确定模块具体包括：

特征单元，用于计算训练样本数据集的规则化梯度特征g_l；

首次得分单元，用于将规则化梯度特征g_l作为原始输入数据，训练级联SVM的分类器，获取第一分类参数w，使得第一分类器根据第一分类参数计算训练样本数据集中每个训练样本对应的首次得分S_l＝＜w,g_l＞，其中l＝(i,x,y)，l为训练样本在原始图像中的位置，i的取值对应不同的采样尺度，x和y为尺度i下训练样本在原始图像中的坐标；

第二得分单元，用于将窗口得分S_l作为原始输入数据，训练级联SVM的分类器，获取对应第二分类参数V_i和T_i，使得第二分类器根据第二分类参数计算训练样本数据集中每个训练样本对应的第二得分O_l＝V_i*S_l+T_i；

绝缘子候选窗口输出单元，用于使用训练所得的分类参数对原始图像进行检测，输出第二得分O_l大于预设第二得分O_l阈值的绝缘子候选窗口。

9.根据权利要求6所述的可见光图像绝缘子识别装置，其特征在于，所述绝缘子细提取窗口确定模块具体包括：

数量增多单元，用于将绝缘子候选窗口中的正样本窗口的数量增多至与负样本窗口的数量处于同一个数量级；

第一卷积神经网络单元，用于将正样本窗口和负样本窗口输入第一卷积神经网络进行特征自学习，获取第一卷积神经网络参数；

第二卷积神经网络单元，用于通过第一卷积神经网络根据第一卷积神经网络参数对原始图像进行检测，输出识别结果并对识别结果中错分为背景的正样本窗口重新归类为正样本窗口，以改正后的结果输入第二卷积神经网络进行特征自学习，获得第二卷积神经网络参数；

绝缘子细提取窗口输出单元，用于将绝缘子候选窗口输入第一卷积神经网络根据第一卷积神经网络参数进行检测，输出第一识别输出窗口，将第一识别输出窗口输入第二卷积神经网络根据第二卷积神经网络参数进行检测，输出绝缘子细提取窗口。

10.根据权利要求6所述的可见光图像绝缘子识别装置，其特征在于，所述绝缘子目标窗口确定模块具体包括：

窗口选择单元，用于从绝缘子细提取窗口中选择任意一个窗口w_i，若群组列表L为空，则添加一个群组K，并将w_i放入K中；

窗口分组单元，用于检测w_i与L中各群组是否存在重叠率大于ε的窗口，若有，则将w_i添加进该群组中；若没有，则向L中添加一个包含w_i的新群组；

判断单元，用于判断绝缘子细提取窗口中的窗口是否选择完毕，若否，则返回窗口选择单元；

绝缘子目标窗口输出单元，用于针对L中每一个群组K，按照公式进行计算出窗口参数从而根据窗口参数确定绝缘子目标窗口，其中为窗口参数，包括最小x，y坐标与最大x，y坐标，score为窗口由卷积神经网络计算出来的从属概率，即窗口得分。