CN111950566A - 一种旋转不变的hog红外图像电力设备识别方法 - Google Patents

Abstract

本发明请求保护一种旋转不变的HOG红外图像电力设备识别方法及存储介质，高效判断图像内是否存在电力设备区域，包括以下步骤：进行红外图像预处理；通过改进的方向梯度直方图(HOG)对正负样本的特征进行提取；通过支持向量机(SVM)作为分类器对特征进行分析，生成并保存目标识别模型作为初始检测子，并记录初次识别结果；将用来训练SVM的负样本集带入初始检测子，进行难例挖掘，将检测出来的难例加入负样本集中，迭代训练，增强模型分类性能，得到最终分类器。HOG算法的改进之处在于从提取到的梯度信息得到图像的主方向的角度，调整图像中每个像素的梯度角度，保证同种设备的方向相同，从而实现HOG的旋转不变性。

Description

一种旋转不变的HOG红外图像电力设备识别方法

技术领域

本发明属于电力设备运行状态检修领域，尤其涉及到一种旋转不变的HOG红外图像电力设备识别方法。

背景技术

红外检测技术的应用为电力设备实行状态维修和预知维修提供了强有力的手段，将红外检测技术与电力设备在线监测相结合保障电气设备安全、可靠运行已是未来的必然趋势。随着人工智能技术的发展，未来红外测温技术应向着自动识别、导入、诊断等方向发展。要想实现电力设备红外图像的智能诊断，需要先准确判断图像中是否存在电力设备，现阶段缺少一种对图像中是否存在电力设备的高效检测方法。

发明内容

本发明针对目前红外带电检测存在的问题，围绕智能化的识别电力设备的红外图像开展研究，针对在拍摄过程中可能出现的错拍或图像模糊无法分辨是否存在电力设备的情况，提出一种智能识别的方法，以便于将电力设备红外图像进行分类，为未来进行电力设备红外图像异常诊断的研究提供可靠前提。提出了一种旋转不变的HOG红外图像电力设备识别方法及存储介质。本发明的技术方案如下：

一种旋转不变的HOG红外图像电力设备识别方法及存储介质，其包括以下步骤：

步骤1、准备初始样本，包括训练集以及测试集，训练集中包括分开的正样本和负样本，测试集为正负样本的集合；

步骤2、处理电力设备红外图像正负样本训练数据集，处理电力设备红外图像正样本冗余信息，采用gamma校正法对输入图像进行颜色空间归一化，将收集到的样本全部统一为相同尺寸，作为训练时使用的样本；

步骤3、对处理后的训练集提取图像各像素点的HOG梯度信息，得到初始HOG特征描述符；

步骤4、改进HOG描述符，具体包括：根据得到的初始HOG特征描述符提取得到该图像的梯度主方向角度，将图像各像素点的梯度角度根据主方向角度做出调整，将调整后的梯度角度与梯度大小作为新的HOG特征描述符；

步骤5、将步骤4得到的新的HOG特征描述符带入SVM分类器训练，生成并保存目标识别模型和初次识别结果；

步骤6、对设备图像和非设备图像作以区分，使用线性SVM分类器，将训练集中未用到的负样本带入初步训练好的SVM分类器进行难例挖掘，将被当前模型误判为正样本的负样本定义为困难样本，将其加入负样本集中，迭代训练模型，得到最终的SVM检测模型；将测试集的特征向量输入步骤5中训练得到的SVM分类器进行设备的检测。

进一步的，所述步骤1中正样本为包含电力设备的图像，负样本为在拍摄过程中可能误拍到的不包含电力设备的图像或无法分辨是否存在电力设备的图像。

3、根据权利要求1所述的一种旋转不变的HOG红外图像电力设备识别方法及存储介质，其特征在于，采用gamma校正法对输入图像进行颜色空间归一化：

I(x，y)＝I(x，y)^gamma

通过方向梯度直方图(HOG)获取像素点梯度信息，得到初始HOG特征描述符。

进一步的，所述通过方向梯度直方图(HOG)获取像素点梯度信息，得到初始HOG特征描述符，具体包括：

为了得到图像中轮廓区域的特征信息，计算该图片中的每个像素点梯度方向和大小，这样也进一步削弱了光照的干扰；其中，像素点的梯度大小表示该点的权值，对于给定图像I的每一个像素点(x,y)的梯度：

水平方向的梯度：

G_x(x,y)＝[-1 0 1]*I(x,y) (2)

垂直方向的梯度：

G_y(x,y)＝[-1 0 1]^T*I(x,y) (3)

则该点的梯度大小为：

梯度方向为：

得到初步的HOG特征描述符。

进一步的，所述步骤3中初步提取图像各像素点的HOG特征描述符，具体过程如下：

1)将图像进行灰度化处理；2)对图像采用gamma方法进行校正，进行规范化处理，规范化处理指的就是用gamma方法对图像处理；3)计算图片中每个像素点的梯度方向和大小，像素点梯度大小即为该像素点的权值。

进一步的，所述步骤4中提出的对HOG的改进算法的具体过程如下：

(1)将梯度方向(0°～180°)分为9类即9个bin，即每个bin的角度区间为20°，以每个像素的角度为θ，幅值x为权重：

其中i为像素所在bin数，进行线性插值：

θ_t＝θ-i×20 (2)

其中θ_t为插值使用的中间变量，

则有插值数t为

故该像素点在第i个bin的权重为t，在第i+1个bin的权重为x-t；

(2)将图像划分为等大小的细胞块cell，按照以上线性插值的方法计算每个细胞块的梯度分布的情况，并对应到直方图中，就形成每个cell单元的描述符；

(3)将相邻的每几个cell组成一个block，一个block内所有cell的特征描述符串联起来便得到该block的HOG特征描述符；

(4)将一张图片中所有的block的特征描述符串连，统计图像在各个bin上的累计权重，得到每个bin的累计权重和为x_j(j＝1,2,…,9)，由此得到该图像的梯度方向直方图，取权重最高值的方向为该图像块的主方向，则主方向所

在bin数为j_max，主方向角度为：

θ_max＝j_max×20 (5)

根据主方向将图像各像素点的梯度角度做相应的调整，调整方法为：

其中，θ'为调整后各像素点梯度角度，将调整之后的梯度信息作为最终的HOG特征描述符。

进一步的，所述步骤5中采用的难例挖掘方法，具体包括：按照与正样本3:1的比例从负样本集中随机抽取图片作为训练负样本集，并利用当前SVM模型预测，将预测偏差较大的负样本作为新负样本集，使用新负样本集对模型进行重新训练，重复以上步骤迭代训练至SVM模型达到稳定状态，即分类器性能不再提升，将其作为最终的SVM分类器。

进一步的，所述步骤6具体包括以下步骤：

步骤6.1，利用初始检测子检测前面用来训练的负样本原图，检测方法是利用cvhog的多尺度检测detectMultiScale方法，这些检测出来的区域就是难例；

步骤6.2，提取6.1中难例的HOG特征；

步骤6.3，将难例的HOG特征和初始负样本的HOG特征综合起来，再训练SVM分类器；

步骤6.4，重复以上步骤迭代训练至SVM模型达到稳定状态，即分类器性能不再提升，将其作为最终的SVM分类器。

本发明的优点及有益效果如下：

本发明的主要优点：1.使用红外图像，减少了背景因素的干扰；2.HOG特征不具备尺度不变性，本发明通过计算前的图像尺度归一化解决了HOG算法的这一问题；3.HOG算法不具备旋转不变性，提出了一种以主方向作为归一化参考方向，获取旋转不变的HOG特征提取方法，使改进后的算法具备旋转不变性，更具有普适性；4.针对较难识别的负样本使用了难例分析方法，提升假阳性负样本与正样本的相似度，降低误检率，增强模型分类性能；5.能够有效降低人力成本，有效提高电力设备红外图像的识别速率及识别效率。

本发明主要创新点在于步骤4，提出了一种以主方向作为归一化参考方向获取电力设备红外图像旋转不变的HOG特征。由于传统的HOG方法不具备旋转不变性，角度不同的同种电力设备提取出来的HOG特征值会有较大差别，从而导致后续分类出现错误，而且现场人员拍摄红外图像时不可能保证每种电力设备的拍摄角度完全相同，所以需要对HOG算法进行改进，使其具有旋转不变性。而本发明提出的改进方法首先计算简便；其次无需改变原始图像比例，也无需对图像进行裁剪，可以完全保留图像的原始信息；最后本方法对图像梯度信息进行处理后无需再旋转原始图像，直接将处理后的数据送入分类器进行分类即可，方便快捷。

附图说明

图1是本发明提供优选实施例旋转不变的HOG红外图像电力设备识别流程图。

图2是本发明应用流程图。

图3是本发明使用改进的HOG算法得到的110V避雷器红外图像的方向梯度直方图。

图4是本发明HOG梯度信息特征提取的效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

一种旋转不变的HOG红外图像电力设备识别方法，其包括如下步骤：

步骤1，准备样本集，包括训练集以及测试集，训练集中包括分开的正样本和负样本，测试集为正负样本的集合；

步骤2，进行红外图像预处理，为符合HOG特征提取的要求，进行所有样本的冗余信息处理及尺度归一化，作为正式训练集；

步骤3，采用gamma校正法对输入图像进行颜色空间归一化：

I(x，y)＝I(x，y)^gamma

通过方向梯度直方图(HOG)获取像素点梯度信息，得到初始HOG特征描述符；

步骤4，对窗口内的像素用梯度方向在直方图中进行加权投影，提炼得到该图像的主方向，将图像各像素点梯度方向作相应调整，调整之后的梯度信息作为新的HOG特征描述符；

步骤5，将步骤4得到的特征描述符投入SVM分类器进行训练，生成并保存电力设备识别模型和初次识别结果；

步骤6，按照与正样本3:1的比例从负样本集中随机抽取图片作为训练负样本集，并利用当前SVM模型预测，将预测偏差较大的负样本作为新负样本集，使用新负样本集对模型进行重新训练，重复以上步骤迭代训练至SVM模型达到稳定状态，即分类器性能不再提升，将其作为最终的SVM分类器。

本发明的应用采用以下技术方案：

步骤7，应用步骤3、4提取待测红外图像的HOG特征；

步骤8，将步骤7的特征向量输入步骤6训练后的模型进行分类。

步骤9，进行判断，若待测红外图像判断为负样本，认为待测目标图像中没有电力设备，移动摄像头重新获取新的图像，并重复步骤7；若待测红外图像判断为正样本,则认为图像中有电力设备目标，保存图像便于未来的处理。

本发明的特点和进一步内容还在于：

步骤3具体按照以下步骤实施：

步骤3.1，将图像进行灰度化处理；

步骤3.2，使用gamma算法对图像进行校正，将整个图像进行规范化。在图像的纹理强度中，局部的表层曝光贡献的比重较大，所以，这种压缩处理能够调节图像的对比度，有效地降低图像局部的阴影和光照变化，同时可以抑制噪音的干扰，校正方法如下：

I(x,y)＝I(x,y)^gamma (1)

其中，gamma通常取1/2。

步骤3.3，为了得到图像中轮廓区域的特征信息，计算该图片中的每个像素点梯度方向和大小，这样也进一步削弱了光照的干扰。其中，像素点的梯度大小表示该点的权值。对于给定图像I的每一个像素点(x,y)的梯度：

水平方向的梯度：

G_x(x,y)＝[-1 0 1]*I(x,y) (2)

垂直方向的梯度：

G_y(x,y)＝[-1 0 1]^T*I(x,y) (3)

则该点的梯度大小为：

梯度方向为：

得到初步的HOG特征描述符；

步骤4具体按照以下步骤实施：

步骤4.1，将梯度方向分成9类(bin₁～bin₉)，以每个像素的幅值为权重，对角度作线性插值得到每个像素的特征描述符；

步骤4.2，将图像划分为等大小的细胞块(cell)。计算每个细胞块的梯度分布的情况，并对应到直方图中，就形成每个cell单元的描述符；

步骤4.3，将相邻的每几个cell组成一个block(例如3*3个cell/block)。一个block内所有cell的特征描述符串联起来便得到该block的HOG特征描述符；

步骤4.4，将一张图片中所有的block的特征描述符串连，统计图像在各个bin上的累计权重，得到该图像的梯度方向直方图，取权重最高值的方向为该图像块的主方向，调整该图像特征向量的梯度角度，由于梯度角度范围是0°～180°，故角度大于主方向的需要减去主方向对应角度，小于主方向角度的在减去主方向角度之后需要再加上180度，将调整之后的梯度信息作为最终的HOG特征描述子；

步骤6具体按照以下步骤实施：

步骤6.1，接下来利用初始检测子检测前面用来训练的负样本原图。检测方法是利用cvhog的多尺度检测detectMultiScale方法，这些检测出来的区域就是难例；

步骤6.2，提取6.1中难例的HOG特征；

步骤6.3，将难例的HOG特征和初始负样本的HOG特征综合起来，再训练SVM分类器；

步骤6.4，重复以上步骤迭代训练至SVM模型达到稳定状态，即分类器性能不再提升，将其作为最终的SVM分类器；

本发明涉及一种旋转不变的HOG红外图像电力设备识别方法及存储介质，具体按照以下步骤实施：

步骤1，数据准备

步骤2，进行图像预处理

步骤3，通过方向梯度直方图(HOG)初步获取图像像素梯度信息

步骤4，改进HOG特征描述符

步骤5，训练初始线性SVM支持向量机

步骤6，结合难例挖掘迭代训练优化SVM模型得到最终分类器

本发明应用具体应用过程如下：

步骤1，对待测红外图像使用改进后的HOG算法提取特征向量

步骤2，带入训练好的模型进行识别分类

步骤3，若判断为正则证明识别图像中包含目标设备，识别为负则表明不包含目标设备

本发明的特点还在于，

图1表明本发明的具体流程，对其依次进行说明：

步骤1，进入SVM训练部分，进行数据准备工作，准备基于红外图像包含电力设备图像的正样本和不含电力设备的红外设备图像，图像数量尽量多于两千张。

步骤2,进行红外图像预处理，去除图像中多余的对图像识别会产生影响的信息，并将所有样本图像尺寸统一为640*480大小，进行尺度归一化。

步骤3，通过方向梯度直方图HOG获取训练集正负样本的轮廓特征，采用gamma校正法对输入图像进行颜色空间归一化，通过改进的方向梯度直方图(HOG)获取像素点梯度幅值和方向，并对窗口内的像素用梯度方向在直方图中进行加权投影，统计每个扫描滑动窗口内的细胞梯度构成方向特征直方图，得到整幅图像的向量特征。

步骤4，人工标注正负样本的特征描述符

步骤5，将训练样本的特征描述符带入SVM进行训练，得到初始检测子；

步骤6，结合难例挖掘迭代训练优化SVM模型，按照与正样本3:1的比例从负样本集中随机抽取图片作为训练负样本集，并利用当前SVM模型预测，将预测偏差较大的负样本作为新负样本集，使用新负样本集对模型进行重新训练，重复以上步骤迭代训练至SVM模型达到稳定状态，即分类器性能不再提升，将其作为最终的SVM分类器；

图2表明本发明应用时的流程，对此依次说明：

步骤1，对待测红外图像，采用gamma校正法对输入图像进行颜色空间归一化，对测试集样本进行尺度归一化，通过改进的方向梯度直方图(HOG)获取像素点梯度幅值和方向，并对窗口内的像素用梯度方向在直方图中进行加权投影，统计每个扫描滑动窗口内的细胞梯度构成方向特征直方图，从而提取待测红外图像的HOG特征，得到测试图片特征向量。

步骤2，带入训练好的模型进行识别分类，将步骤1处理后的测试图片特征向量，输入训练后的模型进行分类。

步骤3，若待测红外图像判断为负样本，认为待测目标图像中没有电力设备，移动摄像头重新获取新的图像，并重复步骤1、2；若待测红外图像判断为正样本,则认为图像中有电力设备目标，该图可保存以便后续使用。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种旋转不变的HOG红外图像电力设备识别方法，其特征在于，包括以下步骤：

步骤1、准备初始样本，包括训练集以及测试集，训练集中包括分开的正样本和负样本，测试集为正负样本的集合；

步骤2、处理电力设备红外图像正负样本训练数据集，处理电力设备红外图像正样本冗余信息，采用gamma校正法对输入图像进行颜色空间归一化，将收集到的样本全部统一为相同尺寸，作为训练时使用的样本；

步骤3、对处理后的训练集提取图像各像素点的HOG梯度信息，得到初始HOG特征描述符；

步骤4、改进HOG描述符，具体包括：根据得到的初始HOG特征描述符提取得到该图像的梯度主方向角度，将图像各像素点的梯度角度根据主方向角度做出调整，将调整后的梯度角度与梯度大小作为新的HOG特征描述符；

步骤5、将步骤4得到的改进后的HOG特征描述符带入SVM分类器训练，生成并保存目标识别模型和初次识别结果；

步骤6、对设备图像和非设备图像作以区分，使用线性SVM分类器，将训练集中未用到的负样本带入初步训练好的SVM分类器进行难例挖掘，将被当前模型误判为正样本的负样本定义为困难样本，将其加入负样本集中，迭代训练模型，得到最终的SVM检测模型；将测试集的特征向量输入步骤5中训练得到的SVM分类器进行设备的检测。

2.根据权利要求1所述的一种旋转不变的HOG红外图像电力设备识别方法，其特征在于，所述步骤1中正样本为包含电力设备的图像，负样本为在拍摄过程中可能误拍到的不包含电力设备的图像或无法分辨是否存在电力设备的图像。

3.根据权利要求1所述的一种旋转不变的HOG红外图像电力设备识别方法，其特征在于，采用gamma校正法对输入图像进行颜色空间归一化：

I(x，y)＝I(x，y)^gamma

通过方向梯度直方图(HOG)获取像素点梯度信息，得到初始HOG特征描述符。

4.根据权利要求3所述的一种旋转不变的HOG红外图像电力设备识别方法，其特征在于，所述通过方向梯度直方图(HOG)获取像素点梯度信息，得到初始HOG特征描述符，具体包括：

为了得到图像中轮廓区域的特征信息，计算该图片中的每个像素点梯度方向和大小，这样也进一步削弱了光照的干扰；其中，像素点的梯度大小表示该点的权值，对于给定图像I的每一个像素点(x,y)的梯度：

水平方向的梯度：

G_x(x,y)＝[-1 0 1]*I(x,y) (2)

垂直方向的梯度：

G_y(x,y)＝[-1 0 1]^T*I(x,y) (3)

则该点的梯度大小为：

梯度方向为：

得到初步的HOG特征描述符。

5.根据权利要求1所述的一种旋转不变的HOG红外图像电力设备识别方法，其特征在于，所述步骤3中初步提取图像各像素点的HOG特征描述符，具体过程如下：

1)将图像进行灰度化处理；2)对图像采用gamma方法进行校正，进行颜色空间规范化处理；3)计算图片中每个像素点的梯度方向和大小，像素点梯度大小即为该像素点的权值。

6.根据权利要求5所述的一种旋转不变的HOG红外图像电力设备识别方法，其特征在于，所述步骤4中提出的对HOG的改进算法的具体过程如下：

(1)将梯度方向(0°～180°)分为9类即9个bin，即每个bin的角度区间为20°，以每个像素的角度为θ，幅值x为权重：

其中i为像素所在bin数，进行线性插值：

θ_t＝θ-i×20 (2)

其中θ_t为插值使用的中间变量，

则有插值数t为

故该像素点在第i个bin的权重为t，在第i+1个bin的权重为x-t；

(2)将图像划分为等大小的细胞块cell，按照以上线性插值的方法计算每个细胞块的梯度分布的情况，并对应到直方图中，就形成每个cell单元的描述符；

(3)将相邻的每几个cell组成一个block，一个block内所有cell的特征描述符串联起来便得到该block的HOG特征描述符；

(4)将一张图片中所有的block的特征描述符串连，统计图像在各个bin上的累计权重，得到每个bin的累计权重和为x_j(j＝1,2,…,9)，由此得到该图像的梯度方向直方图，取权重最高值的方向为该图像块的主方向，则主方向所在bin数为j_max，主方向角度为：

θ_max＝j_max×20 (5)

根据主方向将图像各像素点的梯度角度做相应的调整，调整方法为：

其中，θ'为调整后各像素点梯度角度，将调整之后的梯度信息作为最终的HOG特征描述符。

7.根据权利要求4所述的一种旋转不变的HOG红外图像电力设备识别方法，其特征在于，所述步骤5中采用的难例挖掘方法，具体包括：按照与正样本3:1的比例从负样本集中随机抽取图片作为训练负样本集，并利用当前SVM模型预测，将预测偏差较大的负样本作为新负样本集，使用新负样本集对模型进行重新训练，重复以上步骤迭代训练至SVM模型达到稳定状态，即分类器性能不再提升，将其作为最终的SVM分类器。

8.根据权利要求7所述的一种旋转不变的HOG红外图像电力设备识别方法，其特征在于，所述步骤6具体包括以下步骤：

步骤6.1，利用初始检测子检测前面用来训练的负样本原图，检测方法是利用cvhog的多尺度检测detectMultiScale方法，这些检测出来的区域就是难例；

步骤6.2，提取6.1中难例的HOG特征；

步骤6.3，将难例的HOG特征和初始负样本的HOG特征综合起来，再训练SVM分类器；

步骤6.4，重复以上步骤迭代训练至SVM模型达到稳定状态，即分类器性能不再提升，将其作为最终的SVM分类器。

Images