CN105787470A

CN105787470A - 一种基于聚合多通道特征对图像中输电线路杆塔进行检测的方法

Info

Publication number: CN105787470A
Application number: CN201610179565.XA
Authority: CN
Inventors: 柳升龙; 韩冰; 王孝余; 耿振伟; 张彤; 尚方
Original assignee: State Grid Corp of China SGCC; Electric Power Research Institute of State Grid Heilongjiang Electric Power Co Ltd
Current assignee: State Grid Corp of China SGCC; Electric Power Research Institute of State Grid Heilongjiang Electric Power Co Ltd
Priority date: 2016-03-25
Filing date: 2016-03-25
Publication date: 2016-07-20

Abstract

一种基于聚合多通道特征对图像中输电线路杆塔进行检测的方法，本发明涉及图像中输电线路杆塔进行检测的方法。本发明是要解决在大画幅以及复杂背景的图像中快速定位检测杆塔的问题而提出的一种基于聚合多通道特征对图像中输电线路杆塔进行检测的方法。该方法是通过一、图像预处理；采用伽马变换对原始图像校正，得到校正后的图像；步骤二、根据10通道的特征矢量计算得到W×H的图像区域的N维聚合通道特征；步骤三、将图像的N维聚合通道特征作为集成决策树分类器的输入；进行Adaboost分类器训练得到最终的分类器；步骤四、检测定位校正后的图像中杆塔目标区域等步骤实现的。本发明应用于图像中输电线路杆塔进行检测领域。

Description

一种基于聚合多通道特征对图像中输电线路杆塔进行检测的方法

技术领域

本发明涉及图像中输电线路杆塔进行检测的方法，特别涉及一种基于聚合多通道特征对图像中输电线路杆塔进行检测的方法；

背景技术

随着网络通信技术和智能信息处理技术的不断发展，过去只能靠工人步行沿输电线路使用望远镜进行输电线路故障检查的工作，现在可通过计算机视觉和图像智能处理技术逐步取代完成。先用有人直升机、无人机，或其他途径获取输电线路图像，然后利用图像处理、检测、识别技术实现对输电线路的故障进行检测，这一趋势在国内外都已越来越得到重视和推广，可以有效节省人力成本、降低人力要求，具有较高的经济性能。在海量图像数据处理中，快速筛选出包含杆塔设备的图像，以及在图像中快速定位出杆塔区域，都是极负挑战性的工作，因为拍摄的输电线路图像中背景往往比较复杂，如何克服背景环境的干扰，减少拍摄角度的影响，稳健地检测输电线路设备并定位出感兴趣区域，尤其在海量图像数据中快速过滤掉无效图像，筛选出包含需检测输电线路设备的图像，目前在国内外文献都尚未见报道。

发明内容

本发明的目的是为了解决了在大画幅以及复杂背景的图像中快速定位检测杆塔的问题而提出的一种基于聚合多通道特征对图像中输电线路杆塔进行检测的方法。

上述的发明目的是通过以下技术方案实现的：

步骤一、图像预处理；采用伽马变换对原始图像校正，得到校正后的图像；

步骤二、提取校正后图像中的每个单元的6个通道的梯度方向直方图、1个通道的梯度幅值特征以及LUV三通道特征聚合为10通道的特征矢量；根据10通道的特征矢量计算得到W×H的图像区域的N维聚合通道特征；其中，W为校正图像的宽，H为校正图像的高；

步骤三、将图像的N维聚合通道特征作为集成决策树分类器的输入；进行Adaboost分类器训练得到最终的分类器；

步骤四、利用步骤三得到的最终的分类器检测定位校正后的图像中杆塔目标区域；

步骤四一、采用M个尺度计算M层特征金子塔；校正后图像I在尺度s的通道特征f(I,s)和校正后图像I在原始尺度的通道特征f(I,0)有如下近似关系：

f(I,s)＝f(I,0)e^-λs

其中，f(·)为特征，e自然指数；λ尺度换算系数；

根据上述关系，跳跃计算M个尺度中几个尺度的通道特征，其余尺度的特征通过邻近尺度根据上述比例关系插值得到，从而得到M层特征金子塔；

步骤四二、对步骤四一得到的M层特征金字塔进行滑动窗口检测得到目标区域；

步骤四三、将目标区域中的每个窗口的相邻窗口进行非极大抑制得到杆塔目标；

步骤四四、输出杆塔目标区域。

发明效果

本发明的技术思路是：先进行图像预处理，增强图像暗区对比度；接下来，提取多个特征聚合为多通道特征矢量，然后采用AdaBoost决策树进行学习训练，将学习训练结果作为模型保存到文本文件；最后用模型检测图像，可快速定位图像中杆塔区域如图4。

本发明是针对目前国内海量输电线路图像快速筛选存在的空白和基于图像进行输电线路设备检测的自动化需求，给出一种基于聚合多通道特征的输电线路杆塔检测方法。方法具有速度快、检测率可达99％的优点，并易于推广为检测图像中其它输电线路设备。

附图说明

图1为具体实施方式一提出的杆塔检测总体框架图；

图2为具体实施方式一提出的线性插值计算加权直方图示意一；

图3为具体实施方式一提出的线性插值计算加权直方图示意二；

图4为具体实施方式四提出的特征提取及训练整体流程图；

图5为具体实施方式四提出的正样本图像待检测设备目标标记示意图；

图6为具体实施方式一提出的检测杆塔目标示意图。

具体实施方式

具体实施方式一：结合图1和图3本实施方式的一种基于聚合多通道特征对图像中输电线路杆塔进行检测的方法，具体是按照以下步骤制备的：

步骤一、图像预处理；采用伽马变换对原始图像校正，增强图像暗区对比度后得到校正后的图像；

步骤四一、采用M个尺度计算M层特征金子塔；通常采用[10.91740.83930.77010.70760.64510.59380.54690.50.45760.4219]共11个尺度

研究表明，校正后图像I在尺度s的通道特征f(I,s)(包括梯度幅值和梯度直方图通道)和校正后图像I在原始尺度的通道特征f(I,0)有如下近似关系：

f(I,s)＝f(I,0)e^-λs

其中，f(·)为特征，e自然指数；λ尺度换算系数；

根据上述关系，跳跃计算M个尺度中几个尺度的通道特征，其余尺度的特征通过邻近尺度根据上述比例关系插值得到(例如11个尺度中尺度1和0.7701的特征计算好以后，其邻近尺度0.9174和0.8393的特征可通过1和0.7701按比例和插值得到，不必单独计算)，从而得到M(11)层特征金子塔如图2；

步骤四二、对步骤四一得到的M(11)层特征金字塔进行滑动窗口检测得到目标区域；(多尺度窗口滑动是为了解决杆塔目标在不同的图像中表现得大小不同而采用的检测策略，M个尺度的特征都参与检测，确保不漏检)

检测窗口按4个像素滑动来检测杆塔时，会出现多个窗口都有杆塔目标的情况，但这些窗口检测到的杆塔实际上又是同一目标，因此，为了去除虚警，对于相邻位置的多个检测窗口，只取得分最大的窗口，而其他窗口被抑制；

步骤四四、输出杆塔目标区域；将杆塔目标的矩形位置映射回原始比例图像中，并用红色方框在图像中标识出来。

本实施方式效果：

本实施方式的技术思路是：先进行图像预处理，增强图像暗区对比度；接下来，提取多个特征聚合为多通道特征矢量，然后采用AdaBoost决策树进行学习训练，将学习训练结果作为模型保存到文本文件；最后用模型检测图像，可快速定位图像中杆塔区域如图4。

本实施方式是针对目前国内海量输电线路图像快速筛选存在的空白和基于图像进行输电线路设备检测的自动化需求，给出一种基于聚合多通道特征的输电线路杆塔检测方法。方法具有速度快、检测率可达99％的优点，并易于推广为检测图像中其它输电线路设备。

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤二所述的提取LUV三通道特征具体为：将校正后的图像像素的RGB颜色值转换为LUV值，详见CIE1976标准；其中，L表示亮度，U和V表示色度。其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：步骤二中得到W×H的图像区域的N维聚合通道特征具体过程为：

步骤二一、计算W×H的图像即校正后图像中的每个像素点(x,y)的梯度幅值G(x,y)和梯度方向θ(x,y)；

将RGB三个通道中梯度幅值最大的像素图像或彩色图像转换为灰度图像后再提取梯度幅值通道的梯度幅值和梯度方向；

计算主要分为水平梯度和垂直梯，以I(x,y)表示校正后的图像梯度幅值通道中某一通道中像素点(x,y)处的颜色值，(x,y)的梯度幅值G(x,y)处的水平方向梯度记为G_x(x,y)，垂直方向梯度记G_y(x,y)，梯度计算公式如下：

G_x(x,y)＝I(x+1,y)-I(x-1,y)

G_y(x,y)＝I(x,y+1)-I(x,y-1)

则(x,y)处的梯度幅值G(x,y)和梯度方向θ(x,y)计算公式为：

G (x, y) = \sqrt{G_{x} {(x, y)}^{2} + G_{y} {(x, y)}^{2}}

θ (x, y) = \tan^{- 1} (\frac{G_{y} (x, y)}{G_{x} (x, y)})

步骤二二、将梯度方向0～180°量化为6个区间(Bin)，根据每个像素(x,y)的梯度方向θ(x,y)所属的6个区间统计校正后图像的6个通道的梯度方向直方图；其中，每个像素(x,y)为4×4的窗口；量化为6个区间中第一个区间为0°～30°，第二个区间为0°～60°，第三个区间为60°～90°；第四个区间为90°～120°，第五个区间为120°～150°，第六个区间为150°～180°；统计校正后图像的6个通道的梯度方向直方图具体为：确定每个像素的梯度方向θ(x,y)在量化的6个区间的哪一个区间，统计每个区间中像素的梯度方向个数，根据每个区间中像素的个数确定梯度方向直方图；

步骤二三、对每个单元即4×4窗口内所有像素的梯度幅值进行平均得到1个通道的梯度幅值特征；分别将LUV求平均,根据L、U和V的均值得到三个通道的LUV特征；

步骤二四、将提取校正后图像的6个通道的梯度方向直方图、1个通道的梯度幅值特征以及LUV三通道特征聚合为一个单元的10通道的特征矢量；

步骤二五、对于W×H的图像区域，得到N维通道特征：

N＝W/4×H/4×10

对一个检测窗口，例如尺寸为60×320，则得到60×320/16×10＝12000维特征。其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：结合图4和图5本实施方式与具体实施方式一至三之一不同的是：步骤三中将图像的N维聚合通道特征作为集成决策树分类器的输入；进行Adaboost分类器训练得到最终的分类器具体为：

步骤三一、收集包含杆塔目标的图像，并人工标记出杆塔在图像中的区域，作为正样本集图像源；同时收集不包含杆塔目标的图像，作为负样本集图像源；

步骤三二、将人工标记的包含杆塔目标的图像中杆塔区域归一化为统一尺寸(如60×320)作为正样本集，从不包含目标的图像中随机采样一定数目的窗口作为负样本集；

步骤三三、分别提取正样本集和负样本集的N维聚合通道特征，以深度为2的决策树作为弱分类器，利用Adaboost训练集成决策树；

步骤三四、为了提高算法的鲁棒性，训练过程采用4轮bootstrapping(提升算法)进行难负样本挖掘得到的最终分类器。其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：步骤三四中为了提高算法的鲁棒性，训练过程采用4轮bootstrapping(提升算法)进行难负样本挖掘得到的最终分类器具体过程为：

(1)、在第一轮AdaptiveBoosting(自适应的提升算法)中采用随机采样窗口的方法选择负样本集，将负样本集与正样本集一起训练数量为N1的集成决策树分类器(弱分类器)；

(2)、利用集成决策树分类器对不包含目标的图像进行检测操作(具体过程见步骤四)得到虚警(falsepositive，也称为难负样本)；

(3)、将步骤(2)的虚警窗口添加到第一轮训练的负样本集中构成新的负样本集进行第二轮训练，再次利用Adaboost训练数量为N2的集成决策树分类器(弱分类器)；

重复步骤(1)～(3)进行第三轮训练得到数量为N3的集成决策树分类器(弱分类器)，经过第四轮训练；考虑到难负样本挖掘后使得分类更加复杂，所以决策树的数量一般逐轮增加，最后一轮得到数量为N4的集成决策树，将N4作为最终的分类器(弱分类器)。其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：步骤四二中对步骤四一得到的M(11)层特征金字塔进行滑动窗口检测得到目标区域具体过程为：

(1)、对特征金字塔的每一层都采用固定尺寸(如60×320)的窗口按照一定步长(如4个像素)划分采样窗口；

(2)、对每个采样窗口的被探测图像内容提取N维多通道特征(见步骤二五)；

(3)、将提取的N维多通道特征作为已训练好分类器(见步骤三)的输入，分类器是由决策树弱分类器(数量为N1～N4的集成决策树分类器)构成的强分类器，将N维特征分别输入给每个决策树(弱分类器)，根据决策树得分最终判断滑动窗口内是否有检测到杆塔目标；从而检测得到目标区域；

金字塔每一层都进行此分类操作(见步骤(3))，确保被探测的杆塔不会因与步骤三训练时的杆塔大小不同而被漏检；

其中，决策树得分具体为将N维特征分别输入给每个决策树(弱分类器)，输出为0或1，0表示没检测到杆塔目标，1表示检测到杆塔目标，将多个决策树的输出加权求和可得到一个得分。其它步骤及参数与具体实施方式一至五之一相同。

Claims

1.一种基于聚合多通道特征对图像中输电线路杆塔进行检测的方法，其特征在于：一种基于聚合多通道特征对图像中输电线路杆塔进行检测的方法具体是按照以下步骤进行的：

f(I,s)＝f(I,0)e^-λs

其中，f(·)为特征，e自然指数；λ尺度换算系数；

步骤四四、输出杆塔目标区域。

2.根据权利要求1所述一种基于聚合多通道特征对图像中输电线路杆塔进行检测的方法，其特征在于：步骤二所述的提取LUV三通道特征具体为：将校正后的图像像素的RGB颜色值转换为LUV值，其中，L表示亮度，U和V表示色度。

3.根据权利要求2所述一种基于聚合多通道特征对图像中输电线路杆塔进行检测的方法，其特征在于：步骤二中得到W×H的图像区域的N维聚合通道特征具体过程为：

步骤二一、计算校正后图像中的每个像素点(x,y)的梯度幅值G(x,y)和梯度方向θ(x,y)；

G_x(x,y)＝I(x+1,y)-I(x-1,y)

G_y(x,y)＝I(x,y+1)-I(x,y-1)

则(x,y)处的梯度幅值G(x,y)和梯度方向θ(x,y)计算公式为：

G (x, y) = \sqrt{G_{x} {(x, y)}^{2} + G_{y} {(x, y)}^{2}}

θ (x, y) = \tan^{- 1} (\frac{G_{y} (x, y)}{G_{x} (x, y)})

步骤二二、将梯度方向0～180°量化为6个区间，根据每个像素(x,y)的梯度方向θ(x,y)所属的6个区间统计校正后图像的6个通道的梯度方向直方图；其中，每个像素(x,y)为4×4的窗口；量化为6个区间中第一个区间为0°～30°，第二个区间为0°～60°，第三个区间为60°～90°；第四个区间为90°～120°，第五个区间为120°～150°，第六个区间为150°～180°；

步骤二五、对于W×H的图像区域，得到N维通道特征：

N＝W/4×H/4×10。

4.根据权利要求3所述一种基于聚合多通道特征对图像中输电线路杆塔进行检测的方法，其特征在于：步骤三中将图像的N维聚合通道特征作为集成决策树分类器的输入；进行Adaboost分类器训练得到最终的分类器具体为：

步骤三二、将人工标记的包含杆塔目标的图像中杆塔区域归一化为统一尺寸作为正样本集，从不包含目标的图像中随机采样一定数目的窗口作为负样本集；

步骤三四、采用4轮bootstrapping进行难负样本挖掘得到的最终分类器。

5.根据权利要求4所述一种基于聚合多通道特征对图像中输电线路杆塔进行检测的方法，其特征在于：步骤三四中采用4轮bootstrapping进行难负样本挖掘得到的最终分类器具体过程为：

(1)、在第一轮AdaptiveBoosting中采用随机采样窗口的方法选择负样本集，将负样本集与正样本集一起训练数量为N1的集成决策树分类器；

(2)、利用集成决策树分类器对不包含目标的图像进行检测操作得到虚警；

(3)、将步骤(2)的虚警窗口添加到第一轮训练的负样本集中构成新的负样本集进行第二轮训练，再次利用Adaboost训练数量为N2的集成决策树分类器；

重复步骤(1)～(3)进行第三轮训练得到数量为N3的集成决策树分类器，经过第四轮训练；得到数量为N4的集成决策树，将N4作为最终的分类器。

6.根据权利要求5所述一种基于聚合多通道特征对图像中输电线路杆塔进行检测的方法，其特征在于：步骤四二中对步骤四一得到的M层特征金字塔进行滑动窗口检测得到目标区域具体过程为：

(1)、对特征金字塔的每一层都采用固定尺寸的窗口按照一定步长划分采样窗口；

(2)、对每个采样窗口的被探测图像内容提取N维多通道特征；

(3)、将提取的N维多通道特征作为已训练好分类器的输入，分类器是由决策树弱分类器构成的强分类器，将N维特征分别输入给每个决策树，根据决策树得分最终判断滑动窗口内是否有检测到杆塔目标；从而检测得到目标区域；

其中，决策树得分具体为将N维特征分别输入给每个决策树，输出为0或1，0表示没检测到杆塔目标，1表示检测到杆塔目标，将多个决策树的输出加权求和可得到一个得分。