CN107133943B - 一种防震锤缺陷检测的视觉检测方法 - Google Patents

Abstract

本发明公开了一种防震锤缺陷检测的视觉检测方法，包括对航拍图像进行去噪、防抖预处理，得到待检测的原始图像；采用几何变换、尺度变化、对比度变换的方法，扩充已有的原始图像，生成更多与原始图像相似的数据；采集样本，采集航拍图像中的防震锤，主要采集防震锤的一边；确定待训练的网络模型，输入样本数据，进行前向传播、反向传播调整权重，得到优化的检测网络模型参数；利用训练好的模型对待检测图像进行识别，确定防震锤的锤子所在位置；确定锤子所在导线，根据导线与防震锤的相对位置以及各自方向的约束，进行防震锤缺陷判别。

Description

一种防震锤缺陷检测的视觉检测方法

技术领域

本发明涉及一种防震锤缺陷检测的视觉检测方法，属于输电线路无人机图像的防震锤缺陷检测技术领域。

背景技术

由于输电线要长期暴露在户外，经受风吹雨打，受自然环境影响大，故障发生的频率较高，为了维护电网的正常运行，杜绝各部件故障引发的电网运行隐患，定期而有效的输电线路巡检方式被积极采用，针对各部件的各种缺陷的事先检修成为研究的重点。当导线受到风力作用时，会发生振动。导线振动时，导线悬挂处的工作条件最为不利。由于多次振动，导线因周期性的弯折会发生疲劳破坏。因此防震锤可以减少导线因风力扯起振动。一旦防震锤发生损坏，会对输电线路的安全带来安全隐患。正确识别定位防震锤并且发现防震锤的各种缺陷并及时采取补救措施，从而利于输电线路的有效利用及其寿命的延长。依赖传统的人工进行检测，耗时，耗人力和财力。随着自动化、智能化、计算机技术的发展，如何自动化、快速地、精确地检测出输电线路图像中的缺陷防震锤已成为数字图像处理领域中的一个热门问题。

目前国内对防震锤缺陷检测的研究还很少，主要集中在防震锤的检测定位环节，缺陷检测方面还存在着很大的研究空间。防震锤的识别检测方法目前主要以模板匹配为主，也有学者通过adaboost等机器学习的方法提高检测的精度。文献“图像识别技术在电力设备监测中的应用”(张浩，王玮，徐丽杰，等.电力系统保护与控制，2010，38(6):88-91.)中提出的基于模板匹配的电力设备的识别检测技术，是针对电力设备的远程数字监控及图像识别技术的研究，主要应用于变电站电力设备的诊断监测。文献“基于结构约束的架空输电线路巡线机器人障碍识别”(张运楚，梁自泽，傅思遥，等.机器人，2007，29(1):1-6.)中利用图像的边缘信息，采用改进的基于概率图的椭圆检测方法结合分层决策机制，有效的提取输电线路图像中的防震锤。文献“高压输电线路巡线机器人障碍物视觉检测识别研究”(胡彩石，吴功平，曹珩等.传感技术学报，2008，21(12):2092-2096.)中提取边缘图像中一些图像基元并施加结构约束，实现障碍物(防震锤)识别。在机器学习方面，文献“基于类Haar特征与级联AdaBoost算法的防震锤识别”(金立军，闫书佳，刘源.系统仿真学报，2012，24(9):60-63.)中提出将类Haar特征与级联Adaboost算法相结合，检测识别图像中的防震锤。

然而，上述各方法应用于图像的防震锤检测识别中均存在一定缺陷，传统的模板匹配、边缘检测等算法鲁棒性较差，识别精度低，Adaboost等传统机器学习算法对采集的样本要求较高，特征提取单一，不能学习防震锤多方面的特征，以至于不能有效提取复杂背景下的防震锤。电力系统中防震锤图像采集多由人工或航拍来完成，以需求的特定角度及焦距在特定的光照环境下进行拍摄，图像背景变化大，防震锤在图像中大小各异、形状各异。以上方法不具有普遍性和精确性，不能很好运用到实际系统中。同时，这些方法未能对防震锤的缺陷检测作出研究。

发明内容

本发明要解决的技术问题是：提供一种防震锤缺陷检测的视觉检测方法，能够识别在不同拍摄角度、复杂背景下，精确的识别出防震锤并且提取出有缺陷的防震锤，以解决现有技术中存在的问题。

本发明采取的技术方案为：一种防震锤缺陷检测的视觉检测方法，该方法包括以下步骤：

步骤1，对无人机采集的输电线路图像进行预处理，检测拍摄图像是否存在质量问题，并且对数据进行去噪防抖操作；

步骤2，数据扩充，在样本采集之前，首先对步骤1中预处理的数据进行数据扩充生成相似的图像；

步骤3，采集样本：采用采集防震锤单边的方法对步骤2中扩充的图像样本进行样本采集，在样本采集的过程中，保证不同的防震锤类型以及防震锤锤体各500个以上，样本总数量不低于4000个；

步骤4，确定待训练的区域选择，采用引入图像分割的信息，预测检索的位置，通过对潜在的目标区域进行提取，实现多层次、多尺度的分割，最终得到目标物的候选框；

步骤5，区域特征学习，并且确定模型参数，根据步骤4所得到的物体预测的位置，将这些预测的区域进行特征学习，得到相应的特征图，所采用的特征学习方法为卷积神经网络；

步骤6，防震锤的锤子检测识别，通过步骤5的样本区域学习，得到训练后的神经网络的模型参数，根据训练出来的模型对待检测图像的防震锤进行识别定位；

步骤7，缺陷判别，提取出的防震锤锤子识别结果利用线特征提取算法和形态学处理方法，在几何位置约束下判断防震锤是否存在缺陷。

优选的，上述步骤2中预处理的数据的扩充方法包括对图像进行旋转、反射变换、翻转变换、平移变换、改变图像的对比度以及噪声扰动。

优选的，上述步骤4中假设检测目标一定存在于某一个分割区域中，基于这种假设，首先使用基于图论分割的方法对原始图像进行分割，得到很多小的分割区域，作为初始的底层候选区域R＝{r₁,r₂,…r_n}，并且初始化相似度集合S为空。在这个基础上，按照区域合并算法以及多样化方法对区域进行合并，区域合并算法中计算相邻区域之间的相似度，并且将其添加到相似集合S中；然后，在相似集合中找到相似度最大的两个部分区域r_i,r_j，对其进行合并得到新的区域r_k并且将其加入到集合R中；重新计算新的合并区域与其他区域相似度，并获取了每个候选区域的位置。

优选的，上述多样化方法采用颜色空间多样化以及相似多样化两种方法，首先，颜色空间多样化采用8种不同的颜色空间分别为：(1)RGB空间；(2)归一化rgb空间；(3)灰度空间L；(4)归一化的rg通道和灰度通道L；(5)Lab空间；(6)HSV空间；(7)，HSV空间中的H通道；(8)HIS颜色空间，在计算两个区域相似度时，采用多种相似度计算方法，相似度计算方法包括颜色相似度、纹理相似度、大小相似度、吻合相似度。

a.颜色相似度

对图像进行归一化得到图像每个颜色通道的25组的直方图，因此图像三个通道一共得到一个75维的向量C_i＝{c_i ¹,c_i ²,….c_i ⁿ}，区域之间的颜色相似度通过公式(1)计算：

b.纹理相似度

对每个颜色通道的8个不同方向计算高斯微分，每个方向每个通道获取10个组的直方图，因此一共可以得到一个240维的向量B_i＝{b_i ¹,b_i ²,….bⁿ}，区域之间的相似度计算方法如公式(2)所示：

c.大小相似度

该相似度方法主要计算区域中包含的像素点的数量，达到小区域先完成合并的目的：

d.吻合相似度

衡量两个目标区域是否吻合，其判断方法是合并后的区域的外包络矩形Boundingbox大小，如公式(4)所示：

以上公式(1)～(4)中r_i，r_j代表两个候选区域，S(r_i，r_j)表示这两个区域之间的相似度，size(im)表示整个图像的大小。一旦完成了区域合并，就可以得到了一系列相关物体的预测位置，将这些预测位置进行下一步的卷积神经网络特征学习。

优选的，上述步骤5中通过根据区域合并的结果，确定2000～3000个待训练的区域，并且对这些区域图像进行图像归一化，统一图像大小，作为模型训练的输入。

优选的，上述步骤5中卷积网络模型的训练方法：输入层接收原始图像，通过卷积核映射到隐层，隐层包括卷积层和降采样层，卷积层和降采样层交替重复进行，使网络结构对输入样本具有畸变容忍能力，其中，卷积层由多个特征矩阵组成，每个特征矩阵都为一个二维平面，同一个平面对应同一个卷积核，隐层中的下采样层是对上一层的特征矩阵进行缩放映射以达到减少数据维度的效果，通过隐层的卷积和降采样层的下采样特征的不断学习，调整与确定输入与输出之间的映射关系，用已知的模式对卷积网络加以训练学习，调整网络的参数，网络就能得到输入输出对之间的映射能力；卷积网络的样本集是输入向量，理想输出向量的向量对构成的，通过对采集到的防震锤样本的学习，不断的调整卷积神经网络中权重参数，得到防震锤检测模型。

优选的，上述卷积网络模型的训练包括前向传播计算和反向调整参数两个阶段，前向传播：样本集中取一个样本(X_i，Y_i)，其中X_i图像矩阵，Y_i为该样本标记好的属于哪一个类别的多维向量。用m表示卷积神经网络的当前层，则m层输入特征为x^m-1，输出特征为x^m，该层滤波器的权重和偏置分别为w^m、b^m。因此前向传播中，输入样本在卷积神经网络的每一层的输入特征如公式(5)～(8)所示：

x^m＝f(u^m) (5)

u^m＝x^m-1w^m+b^m(全连接层) (6)

公式(5)中的f函数代表sigmoid函数，公式(7)中的I表示可供第m层选择的前一层(m-1层)的特征图，公式(8)中down()表示下采样函数。

将Xi输入网络，信息通过以上几个公式逐级的变换，传送到输出层，计算出相应实际输出O_i；反向传播参数调整采用批量梯度下降，计算单一样本的代价误差：

N个样本的训练样本集，卷积神经网络模型的整体代价函数如公式(10)所示：

公式(10)中λ为权重衰减参数，n_m为网络层数，s_m为网络模型第m层的节点数。在反向传播的过程中，通过更新每一层的权重和偏置参数来获得更优的模型参数。具体方法如公式(11)～(12)所示：

其中α为学习速率，因此就需要求出每个样本对于权重参数以及偏置参数的偏导数带入到公式中。使用上述训练过程调整参数，逐步使得整体代价函数J(x,y)减小。在反向传播的过程中，为了减小整体代价函数，得到最优的权重和偏置参数，采用多次迭代更新。每一次迭代的过程中，首先根据公式(5)～(8)计算样本经过卷积神经网络后的输出结果，接着通过公式(9)～(10)计算误差代价函数，最后通过公式(11)～(12)分别更新每一层神经网络的权重和偏置参数。本专利中，学习率设置为0.1，迭代次数为20000次。

优选的，上述步骤7中根据之前检测出的防震锤单边锤子的所在位置，首先，通过Gabor算子提取出防震锤所在导线位置并且记录导线的方向值θ，其次，沿着提取出导线方向θ，寻找是否存在相邻的检测出的防震锤锤子，若没有找到，则判定防震锤损坏，其中一个锤子丢失，若相邻的防震锤存在，则判断防震锤是否存在变形情况。

优选的，上述判断防震锤是否存在变形的方法：采用Gabor算子分别提取两边的锤子，并且计算两个锤子各自的角度β、γ，根据已经提取出防震锤依附的导线，分别计算两个锤子与导线之间的角度差，公式如下：

ΔA＝|α-β| (13)

ΔB＝|α-γ| (14)

若ΔA、ΔB都小于阈值T，则判定防震锤无变形存在，反之，防震锤存在变形缺陷，参数T在本专利中设置为15°。

优选的，上述步骤1中预处理包括图像复原、光学校正、几何校正。

本发明的有益效果：与现有技术相比，本发明的效果如下：

(1)通过本发明的视觉检测方法能够实现能够识别在不同拍摄角度，复杂背景下，精确的识别出防震锤并且提取出有缺陷的防震锤；

(2)本发明采用图像复原、光学校正、几何校正的方法对图像进行去噪防抖的预处理，改善图像的质量，抑制使图像退化的各种干扰信号，增强图像中有用信号；

(3)本发明在样本采集的过程中，保证不同的防震锤类型以及防震锤锤体各500个以上，样本总数量不低于4000个，规避过拟合情况的发生，从而保证训练的模型在新的数据上检测效果更好；

(4)本发明采用图像进行旋转、反射变换、翻转变换、平移变换、改变图像的对比度以及噪声扰动的方法对预处理过的无人机图像进行扩充处理，产生一系列相似的图像，提高识别的正确率，减少过拟合情况的发生；

(5)本发明的目标检测通过对原始图像进行分割，得到很多小的区域，作为初始的底层候选区域，在这个基础上，按照区域合并算法以及多样化策略对区域进行合并，区域合并算法中计算相邻区域之间的相似度，并且将其添加到相似集合中，然后，在相似集合中找到相似度最大的两个部分区域，对其进行合并。重新计算新的合并区域与其他区域相似度，并获取了每个候选区域的位置，该目标检测方法像素遍历减少，重复程度少，无需遍历图像中的每个像素以及以该像素为起始点的不同大小的矩形窗口，遍历空间小，实际中耗费的时间大大缩短，计算效率大大提高；

(6)本发明采用采用颜色空间多样化以及相似多样化两种得到了更好的区域合并结果；

(7)本发明采用交替重复进行卷积层和降采样层构成的卷积网络具有旋转、位移不变、权值共享三大特点，很大程度的减少了参数的数目，不同特征平面对应不同的卷积核，多卷积核保证了特征的多样性，特征提取更加完整；

(8)本发明Gabor算子判别防震锤缺陷，判别精确，参数可靠。

附图说明

图1是本发明的流程示意图；

图2是本发明的样本采集示意图；

图3是本发明的训练候选区域；

图4是本发明的识别效缺检测效果图。

图中，1-输电线，2-防震锤，3-候选框，fz-相似度大小。

具体实施方式

下面结合附图及具体的实施例对本发明进行进一步介绍。

实施例：如图1-4所示，一种防震锤缺陷检测的视觉检测方法，该方法包括以下步骤：

步骤1，对无人机采集的输电线路图像进行预处理，检测拍摄图像是否存在质量问题，并且对数据进行去噪防抖操作；

步骤2，数据扩充，在样本采集之前，首先对步骤1中预处理的数据进行数据扩充生成相似的图像；

步骤3，采集样本：采用采集防震锤单边的方法对步骤2中扩充的图像样本进行样本采集，在样本采集的过程中，保证不同的防震锤类型以及防震锤锤体各500个以上，样本总数量不低于4000个；

步骤4，确定待训练的区域选择，采用引入图像分割的信息，预测检索的位置，通过对潜在的目标区域进行提取，实现多层次、多尺度的分割，最终得到目标物的候选框；

步骤5，区域特征学习，并且确定模型参数，根据步骤4所得到的物体预测的位置，将这些预测的区域进行特征学习，得到相应的特征图，所采用的特征学习方法为卷积神经网络；

步骤6，防震锤的锤子检测识别，通过步骤5的样本区域学习，得到训练后的神经网络的模型参数，根据训练出来的模型对待检测图像的防震锤进行识别定位；

步骤7，缺陷判别，提取出的防震锤锤子识别结果利用线特征提取算法和形态学处理方法，在几何位置约束下判断防震锤是否存在缺陷。

优选的，上述步骤2中预处理的数据的扩充方法包括对图像进行旋转、反射变换、翻转变换、平移变换、改变图像的对比度以及噪声扰动。

优选的，上述步骤4中假设检测目标一定存在于某一个分割区域中，基于这种假设，首先使用基于图论分割的方法对原始图像进行分割，得到很多小的分割区域，作为初始的底层候选区域R＝{r₁,r₂,…r_n}，并且初始化相似度集合S为空。在这个基础上，按照区域合并算法以及多样化方法对区域进行合并，区域合并算法中计算相邻区域之间的相似度，并且将其添加到相似集合S中；然后，在相似集合中找到相似度最大的两个部分区域r_i,r_j，对其进行合并得到新的区域r_k并且将其加入到集合R中；重新计算新的合并区域与其他区域相似度，并获取了每个候选区域的位置。

优选的，上述多样化方法采用颜色空间多样化以及相似多样化两种方法，首先，颜色空间多样化采用8种不同的颜色空间分别为：(1)RGB空间；(2)归一化rgb空间；(3)灰度空间L；(4)归一化的rg通道和灰度通道L；(5)Lab空间；(6)HSV空间；(7)HSV空间中的H通道；(8)HIS颜色空间，在计算两个区域相似度时，采用多种相似度计算方法，相似度计算方法包括颜色相似度、纹理相似度、大小相似度、吻合相似度。

a.颜色相似度

对图像进行归一化得到图像每个颜色通道的25组的直方图，因此图像三个通道一共得到一个75维的向量C_i＝{c_i ¹,c_i ²,….c_i ⁿ}，区域之间的颜色相似度通过公式(1)计算：

b.纹理相似度

对每个颜色通道的8个不同方向计算高斯微分，每个方向每个通道获取10个组的直方图，因此一共可以得到一个240维的向量B_i＝{b_i ¹,b_i ²,….bⁿ}，区域之间的相似度计算方法如公式(2)所示：

c.大小相似度

该相似度方法主要计算区域中包含的像素点的数量，达到小区域先完成合并的目的：

d.吻合相似度

衡量两个目标区域是否吻合，其判断方法是合并后的区域的外包络矩形Boundingbox大小，如公式(4)所示：

公式(1)～(4)中r_i，r_j代表两个候选区域，S(r_i，r_j)表示这两个区域之间的相似度，size(im)表示整个图像的大小。一旦完成了区域合并，就可以得到了一系列相关物体的预测位置，将这些预测位置进行下一步的卷积神经网络特征学习。

优选的，上述步骤5中通过根据区域合并的结果，确定2000～3000个待训练的区域，并且对这些区域图像进行图像归一化，统一图像大小为227*227，作为模型训练的输入。

优选的，上述步骤5中卷积网络模型的训练方法：输入层接收原始图像，通过卷积核映射到隐层，隐层包括卷积层和降采样层，卷积层和降采样层交替重复进行，使网络结构对输入样本具有畸变容忍能力，其中，卷积层由多个特征矩阵组成，每个特征矩阵都为一个二维平面，同一个平面对应同一个卷积核，隐层中的下采样层是对上一层的特征矩阵进行缩放映射以达到减少数据维度的效果，通过隐层的卷积和降采样层的下采样特征的不断学习，调整与确定输入与输出之间的映射关系，用已知的模式对卷积网络加以训练学习，调整网络的参数，网络就能得到输入输出对之间的映射能力；卷积网络的样本集是输入向量，理想输出向量的向量对构成的，通过对采集到的防震锤样本的学习，不断的调整卷积神经网络中权重参数，得到防震锤检测模型。

优选的，上述卷积网络模型的训练包括前向传播计算和反向调整参数两个阶段，前向传播：样本集中取一个样本(X_i，Y_i)，其中X_i图像矩阵，Y_i为该样本标记好的属于哪一个类别的多维向量。用m表示卷积神经网络的当前层，则m层输入特征为x^m-1，输出特征为x^m，该层滤波器的权重和偏置分别为w^m、b^m。因此前向传播中，输入样本在卷积神经网络的每一层的输入特征如公式(5)～(8)所示：

x^m＝f(u^m) (5)

u^m＝x^m-1w^m+b^m(全连接层) (6)

公式(5)中的f函数代表sigmoid函数，公式(7)中的I表示可供第m层选择的前一层(m-1层)的特征图，公式(8)中down()表示下采样函数。

将Xi输入网络，信息通过以上几个公式逐级的变换，传送到输出层，计算出相应实际输出O_i；反向传播参数调整采用批量梯度下降，计算单一样本的代价误差：

N个样本的训练样本集，卷积神经网络模型的整体代价函数如公式(10)所示：

公式(10)中λ为权重衰减参数，n_m为网络层数，s_m为网络模型第m层的节点数。在反向传播的过程中，通过更新每一层的权重和偏置参数来获得更优的模型参数。具体方法如公式(11)～(12)所示：

其中α为学习速率，因此就需要求出每个样本对于权重参数以及偏置参数的偏导数带入到公式中。使用上述训练过程调整参数，逐步使得整体代价函数J(x,y)减小。在反向传播的过程中，为了减小整体代价函数，得到最优的权重和偏置参数，采用多次迭代更新。每一次迭代的过程中，首先根据公式(5)～(8)计算样本经过卷积神经网络后的输出结果，接着通过公式(9)～(10)计算误差代价函数，最后通过公式(11)～(12)分别更新每一层神经网络的权重和偏置参数。本专利中，学习率设置为0.1，迭代次数为20000次。

优选的，上述步骤7中根据之前检测出的防震锤单边锤子的所在位置，首先，通过Gabor算子提取出防震锤所在导线位置并且记录导线的方向值θ，其次，沿着提取出导线方向θ，寻找是否存在相邻的检测出的防震锤锤子，若没有找到，则判定防震锤损坏，其中一个锤子丢失，若相邻的防震锤存在，则判断防震锤是否存在变形情况。

优选的，上述判断防震锤是否存在变形的方法：采用Gabor算子分别提取两边的锤子，并且计算两个锤子各自的角度β、γ，根据已经提取出防震锤依附的导线，分别计算两个锤子与导线之间的角度差，公式如下：

ΔA＝|α-β| (13)

ΔB＝|α-γ| (14)

若ΔA、ΔB都小于阈值T，则判定防震锤无变形存在，反之，防震锤存在变形缺陷，参数T在本专利中设置为15°。

实施例2：一种防震锤缺陷检测的视觉检测方法，该方法包括以下步骤：

步骤一：首先对无人机航拍图像进行预处理。由于飞机巡检采集航拍图像是在野外自然环境下进行，图像在采集过程受到的噪声和运动模糊的影响非常严重，从而造成图像的严重退化，即在成像过程中出现的畸变、模糊、失真或混入噪声，造成的图像质量下降，同时，由于光照条件的限制，造成摄影时曝光不良(不足或过度)以及图像画面明暗不均，所以，在对采集到的航拍图像进行分析和检测之前一个重要的环节，就是航拍图像的预处理。航拍图像预处理的目的是采用一系列的技术手段以改善图像的质量，抑制使图像退化的各种干扰信号，增强图像中有用信号等。只有经过预处理后的图像才能进入下一步的分析处理。本申请中采用的图像预处理方法包括图像复原、光学校正、几何校正等，图像复原的目的是去除图像中的噪声和运动模糊，突出图像中的有用信息；光学校正的目的是解决图像采集时的曝光、聚焦问题，改善图像对比度；几何校正(扭曲复原)是校正图像的几何变形，对图像进行几何变换的过程；

步骤二：数据扩充

在深度学习中，卷积神经网络模型越复杂，越具有强表达能力，这会导致训练数据效果很好，而不能很好的应用于测试数据。因此，需要更多、更丰富的数据来规避过拟合情况的发生，从而保证训练的模型在新的数据上也有不错的检测效果。为了避免出现过拟合(Overfitting)，需要输入充足的样本数据量。扩充数据的方法有：旋转、反射变换:随机旋转图像一定角度，改变图像内容的朝向；翻转变换：沿着水平或者垂直方向翻转图像；平移变换：在图像平面上对图像以一定方式进行平移；缩放变换：按照一定的比例放大或者缩小图像；尺度变换：对图像按照指定的尺度因子，进行放大或缩小，利用指定的尺度因子对图像滤波构造尺度空间；对比度变换：在图像的HSV颜色空间，改变饱和度S和V亮度分量，保持色调H不变.对每个像素的S和V分量进行指数运算(指数因子在0.25～4之间)，增加光照变化；噪声扰动：对图像的每个像素RGB进行随机扰动，常用的噪声模式是椒盐噪声和高斯噪声，利用如上这些方法对预处理过的无人机图像进行扩充处理，产生一系列相似的图像，提高识别的正确率，减少过拟合情况的发生；

步骤三：采集样本

通过分别检测防震锤的左右两个锤子实现防震锤的识别定位，以及缺陷判别，因此，在样本采集的过程中，尽量保证采集的样本包含了防震锤锤子的完整性，考虑到防震锤种类的多样性，针对每一种类别，尽可能保证样本数量足够多，场景足够丰富，样本越丰富，绝缘子检测识别的效果越好。采集结果如图2。

步骤四：确定待训练的区域选择。常见的目标检测方法都是通过滑动窗口进行实现的，像素遍历多，重复程度高，需要遍历图像中的每个像素以及以该像素为起始点的不同大小的矩形窗口，接着依靠评分的机制对检索窗口进行初步猜测，从而判断当前检测位置是否是目标。因此，在这样的一个滑动窗口的过程中，遍历空间是巨大的，实际中耗费的时间特别长，计算效率低。因而需要采用一定的简化策略。通常假设检测目标一定存在于某一个分割区域中，基于这种假设，首先使用基于图论分割的方法对原始图像进行分割，得到很多小的分割区域，作为初始的底层候选区域R＝{r₁,r₂,…r_n}，并且初始化相似度集合S为空。在这个基础上，按照区域合并算法以及多样化方法对区域进行合并，区域合并算法中计算相邻区域之间的相似度，并且将其添加到相似集合S中；然后，在相似集合中找到相似度最大的两个部分区域r_i,r_j，对其进行合并得到新的区域r_k并且将其加入到集合R中；重新计算新的合并区域与其他区域相似度，并获取了每个候选区域的位置。为了得到好的区域合并结果，采用颜色空间多样化以及相似多样化两种策略。颜色空间多样化采用8种不同的颜色空间分别为：(1)RGB空间；(2)归一化rgb空间；(3)灰度空间L；(4)归一化的rg通道和灰度通道L；(5)Lab空间；(6)HSV空间；(7)，HSV空间中的H通道；(8)HIS颜色空间，在计算两个区域相似度时，采用多种相似度计算方法，相似度计算方法包括颜色相似度、纹理相似度、大小相似度、吻合相似度：

a.颜色相似度

对图像进行归一化得到图像每个颜色通道的25组的直方图，因此图像三个通道一共得到一个75维的向量C_i＝{c_i ¹,c_i ²,….c_i ⁿ}，区域之间的颜色相似度通过公式(1)计算：

b.纹理相似度

对每个颜色通道的8个不同方向计算高斯微分，每个方向每个通道获取10个组的直方图，因此一共可以得到一个240维的向量B_i＝{b_i ¹,b_i ²,….bⁿ}，区域之间的相似度计算方法如公式(2)所示：

c.大小相似度

该相似度方法主要计算区域中包含的像素点的数量，达到小区域先完成合并的目的：

d.吻合相似度

衡量两个目标区域是否吻合，其判断方法是合并后的区域的外包络矩形Boundingbox大小，如公式(4)所示：

公式(1)～(4)中r_i，r_j代表两个候选区域，S(r_i，r_j)表示这两个区域之间的相似度，size(im)表示整个图像的大小。一旦完成了区域合并，就可以得到了一系列相关物体的预测位置，将这些预测位置进行下一步的卷积神经网络特征学习。

整个过程如图3，首先选择候选区域，然后将所有候选区域进行卷积神经网络模型训练；

步骤五：区域特征学习，并且确定模型参数

通过根据区域合并的结果，确定2000～3000个待训练的区域，并且对这些区域图像进行图像归一化，统一图像大小，作为模型训练的输入。卷积神经网络卷积网络是为识别二维形状而特殊设计的一个多层感知器，卷积神经网络是一个多层的神经网络，每层由多个二维平面组成(feature map)，每个feature map是由多个独立神经元组成。卷积网络工作流程如下，输入层接收原始图像。通过卷积核(神经元的权值矩阵)，映射到隐层，隐层主要由卷积层和降采样层组成。卷积层和降采样层交替重复进行，使网络结构对输入样本具有较高的畸变容忍能力。其中，卷积层由多个特征矩阵组成，每个特征矩阵都为一个二维平面。同一个平面对应同一个卷积核，因此，网络具有旋转、位移不变、权值共享三大特点，很大程度的减少了参数的数目。不同特征平面对应不同的卷积核，多卷积核保证了特征的多样性，特征提取更加完整。隐层中的下采样层是对上一层的特征矩阵进行缩放映射以达到减少数据维度的效果。卷积神经网络在本质上是一种输入到输出的映射，通过隐层的卷积和下采样特征的不断学习，调整与确定输入与输出之间的映射关系，不需要精确的数学表达方式。它只要用已知的模式对卷积网络加以训练学习，调整网络的参数，网络就能得到输入输出对之间的映射能力。卷积网络的样本集是输入向量，理想输出向量的向量对构成的。卷积网络模型的训练包括前向传播计算和反向调整参数两个阶段，前向传播：样本集中取一个样本(X_i，Y_i)，其中X_i图像矩阵，Y_i为该样本标记好的属于哪一个类别的多维向量。用m表示卷积神经网络的当前层，则m层输入特征为x^m-1，输出特征为x^m，该层滤波器的权重和偏置分别为w^m、b^m。因此前向传播中，输入样本在卷积神经网络的每一层的输入特征如公式(5)～(8)所示：

x^m＝f(u^m) (5)

u^m＝x^m-1w^m+b^m(全连接层) (6)

公式(5)中的f函数代表sigmoid函数，公式(7)中的I表示可供第m层选择的前一层(m-1层)的特征图，公式(8)中down表示下采样函数。

将Xi输入网络，信息通过以上几个公式逐级的变换，传送到输出层，计算出相应实际输出O_i；反向传播参数调整采用批量梯度下降，计算单一样本的代价误差：

N个样本的训练样本集，卷积神经网络模型的整体代价函数如公式(10)所示：

公式(10)中λ为权重衰减参数，n_m为网络层数，s_m为网络模型第m层的节点数。在反向传播的过程中，通过更新每一层的权重和偏置参数来获得更优的模型参数。具体方法如公式(11)～(12)所示：

其中α为学习速率，因此就需要求出每个样本对于权重参数以及偏置参数的偏导数带入到公式中。使用上述训练过程调整参数，逐步使得整体代价函数J(x,y)减小。在反向传播的过程中，为了减小整体代价函数，得到最优的权重和偏置参数，采用多次迭代更新。每一次迭代的过程中，首先根据公式(5)～(8)计算样本经过卷积神经网络后的输出结果，接着通过公式(9)～(10)计算误差代价函数，最后通过公式(11)～(12)分别更新每一层神经网络的权重和偏置参数。本专利中，学习率设置为0.1，迭代次数为20000次。通过对采集到的防震锤样本的学习，不断的调整卷积神经网络中权重参数，得到防震锤检测模型；

步骤六：防震锤的锤子识别检测，通过已经确定好了的神经网络模型，将输电线的航拍图像作为输入，经过神经网络模型的不断映射，最后确定出防震锤的锤子所在图像中的位置；

步骤七，缺陷判别，防震锤的缺陷检测主要集中在防震锤变形以及防震锤损坏的缺陷的识别。判别方法主要是几何位置约束下、基于规则的识别检测。根据之前检测出的防震锤一边锤子的所在位置，通过Gabor算子提取出防震锤所在导线位置并且记录导线的方向值θ，Gabor算子是一种能够检测多尺度、多方向的线提取方法，具有很好的鲁棒性。接着，沿着提取出导线方向θ，寻找是否存在相邻的检测出的防震锤锤子，如果没有找到，就可以判定防震锤损坏，其中一个锤子丢失。如果相邻的防震锤存在，在这种情况下，需要判断防震锤是否存在变形情况。因为防震锤的两个锤子也是线性的特征，所以继续采用Gabor算子分别提取两边的锤子，并且计算两个锤子各自的角度β、γ，根据已经提取出防震锤依附的导线，分别计算两个锤子与导线之间的角度差，公式如下：

ΔA＝|α-β| (13)

ΔB＝|α-γ| (14)

若ΔA、ΔB都小于阈值T，则判定防震锤无变形存在，反之，防震锤存在变形缺陷，参数T在本专利中设置为15°，结果如图4。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内，因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种防震锤缺陷检测的视觉检测方法，其特征在于：该方法包括以下步骤：

步骤1，对无人机采集的输电线路图像进行预处理，检测拍摄图像是否存在质量问题，并且对数据进行去噪防抖操作；

步骤2，数据扩充，在样本采集之前，首先对步骤1中处理的数据进行数据扩充生成相似的图像；

步骤3，采集样本：采用采集防震锤单边图像的方法对步骤2中扩充的图像样本进行样本采集，在样本采集的过程中，保证不同的防震锤类型以及防震锤锤体各500个以上，样本总数量不低于4000个；

步骤4，确定待训练的区域选择，采用引入图像分割的信息，预测检索的位置，通过对潜在的目标区域进行提取，最终得到目标物的候选框；

步骤5，通过卷积神经网络进行特征学习，并且确定模型参数，根据步骤4所得到的物体预测的位置，将这些预测的区域进行特征学习，得到相应的特征图；

步骤6，防震锤的锤子检测识别，通过步骤5的样本区域学习，得到训练后的神经网络的模型参数，根据训练出来的模型对待检测图像的防震锤进行识别定位；

步骤7，缺陷判别，提取出的防震锤锤子识别结果利用线特征提取算法和形态学处理方法，在几何位置约束下判断防震锤是否存在缺陷。

2.根据权利要求1所述的一种防震锤缺陷检测的视觉检测方法，其特征在于：步骤2中预处理的数据的扩充方法包括对图像进行旋转、反射变换、翻转变换、平移变换、改变图像的对比度以及噪声扰动。

3.根据权利要求1所述的一种防震锤缺陷检测的视觉检测方法，其特征在于：步骤4中假设检测目标一定存在于某一个分割区域中，基于这种假设，首先使用基于图论分割的方法对原始图像进行分割，得到很多小的分割区域，作为初始的底层候选区域R＝{r₁,r₂,…r_n}，并且初始化相似度集合S为空，在这个基础上，按照区域合并算法以及多样化方法对区域进行合并，区域合并算法中计算相邻区域之间的相似度，并且将其添加到相似度集合S中；然后，在相似集合中找到相似度最大的两个部分区域r_i,r_j，对其进行合并得到新的区域r_k并且将其加入到集合R中；重新计算新的合并区域与其他区域相似度，并获取了每个候选区域的位置。

4.根据权利要求3所述的一种防震锤缺陷检测的视觉检测方法，其特征在于多样化方法采用颜色空间多样化以及相似多样化两种方法，首先，颜色空间多样化采用8种不同的颜色空间分别为：(1)RGB空间；(2)归一化rgb空间；(3)灰度空间L；(4)归一化的rg通道和灰度通道L；(5)Lab空间；(6)HSV空间；(7)，HSV空间中的H通道；(8)HIS颜色空间，在计算两个区域相似度时，采用多种相似度计算方法，相似度计算方法包括颜色相似度、纹理相似度、大小相似度、吻合相似度：

a.颜色相似度

对图像进行归一化得到图像每个颜色通道的25组的直方图，因此图像三个通道一共得到一个75维的向量区域之间的颜色相似度通过公式(1)计算：

b.纹理相似度

对每个颜色通道的8个不同方向计算高斯微分，每个方向每个通道获取10个组的直方图，因此一共可以得到一个240维的向量区域之间的相似度计算方法如公式(2)所示：

c.大小相似度

该相似度方法主要计算区域中包含的像素点的数量，达到小区域先完成合并的目的：

d.吻合相似度

衡量两个目标区域是否吻合，其判断方法是合并后的区域的外包络矩形Boundingbox大小，如公式(4)所示：

公式(1)～(4)中r_i，r_j代表两个候选区域，S(r_i，r_j)表示这两个区域之间的相似度，size(im)表示整个图像的大小，一旦完成了区域合并，就可以得到了一系列相关物体的预测位置，将这些预测位置进行下一步的卷积神经网络特征学习。

5.根据权利要求1所述的一种防震锤缺陷检测的视觉检测方法，其特征在于：步骤5中通过根据区域合并的结果，确定2000～3000个待训练的区域，并且对这些区域图像进行图像归一化，统一图像大小，作为模型训练的输入。

6.根据权利要求1所述的一种防震锤缺陷检测的视觉检测方法，其特征在于：步骤5中卷积网络模型的训练方法：输入层接收原始图像，通过卷积核映射到隐层，隐层包括卷积层和降采样层，卷积层和降采样层交替重复进行，使网络结构对输入样本具有畸变容忍能力，其中，卷积层由多个特征矩阵组成，每个特征矩阵都为一个二维平面，同一个平面对应同一个卷积核，隐层中的下采样层是对上一层的特征矩阵进行缩放映射以达到减少数据维度的效果，通过隐层的卷积和降采样层的下采样特征的不断学习，调整与确定输入与输出之间的映射关系，用已知的模式对卷积网络加以训练学习，调整网络的参数，网络就能得到输入输出对之间的映射能力；卷积网络的样本集是输入向量，理想输出向量的向量对构成的，通过对采集到的防震锤样本的学习，不断的调整卷积神经网络中权重参数，得到防震锤检测模型。

7.根据权利要求1所述的一种防震锤缺陷检测的视觉检测方法，其特征在于：步骤7中根据之前检测出的防震锤单边锤子的所在位置，首先，通过Gabor算子提取出防震锤所在导线位置并且记录导线的方向值θ，其次，沿着提取出导线方向θ，寻找是否存在相邻的检测出的防震锤锤子，若没有找到，则判定防震锤损坏，其中一个锤子丢失，若相邻的防震锤存在，则判断防震锤是否存在变形情况。

8.根据权利要求7所述的一种防震锤缺陷检测的视觉检测方法，其特征在于：判断防震锤是否存在变形的方法：采用Gabor算子分别提取两边的锤子，并且计算两个锤子各自的角度β、γ，根据已经提取出防震锤依附的导线，分别计算两个锤子与导线之间的角度差，公式如下：

ΔA＝|α-β| (13)

ΔB＝|α-γ| (14)

若ΔA、ΔB都小于阈值T，则判定防震锤无变形存在，反之，防震锤存在变形缺陷，参数T设置为15°。

9.根据权利要求1所述的一种防震锤缺陷检测的视觉检测方法，其特征在于：步骤1中预处理包括图像复原、光学校正、几何校正。