CN112287919B - 一种基于红外图像的电力设备识别方法及系统 - Google Patents

一种基于红外图像的电力设备识别方法及系统 Download PDF

Info

Publication number
CN112287919B
CN112287919B CN202010643400.XA CN202010643400A CN112287919B CN 112287919 B CN112287919 B CN 112287919B CN 202010643400 A CN202010643400 A CN 202010643400A CN 112287919 B CN112287919 B CN 112287919B
Authority
CN
China
Prior art keywords
infrared image
classifier
power equipment
feature
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010643400.XA
Other languages
English (en)
Other versions
CN112287919A (zh
Inventor
张强
刘晓康
万曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202010643400.XA priority Critical patent/CN112287919B/zh
Publication of CN112287919A publication Critical patent/CN112287919A/zh
Application granted granted Critical
Publication of CN112287919B publication Critical patent/CN112287919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于红外图像的电力设备识别方法及系统，所述方法包括：获取用于训练的电力设备红外图像，提取红外图像的HOG特征、SIFT特征、LBP特征并利用主成分分析法进行降维融合；基于MLR规则将SVM、KNN和BP神经网络分类器进行集成，得到集成分类器，获取待识别电力设备的红外图像，提取待识别红外图像的HOG特征、SIFT特征和LBP特征进行降维融合，并将降维融合特征输入到集成分类器，计算并返回集成分类器最大值时对应的类标签，完成识别任务。通过将HOG特征、SIFT特征与LBP特征融合，使电力设备特征描述更精准，同时使用主成分分析法进行降维，并集成多个分类器进行分类，在保证实时性的同时，弥补了单一分类器的不足，提高了电力设备分类识别的准确率。

Description

一种基于红外图像的电力设备识别方法及系统
技术领域
本发明涉及电力设备识别技术领域，具体涉及一种基于红外图像的电力设备的识别方法及系统。
背景技术
随着社会的发展，各行各业对电力的需求不断增加，对电网供电的稳定性和安全性的要求也逐渐提高。电力设备是电力电网系统的重要组成部分，电力设备的安全稳定运行是确保供电可靠的重要因素。由于电力设备长期处于运行状态且受到环境因素的影响，往往会出现各种各样的故障，通常的表现形式为整体或局部表面异常发热等。为了保证电力系统的安全生产和可靠运行，必须定期对电力设备进行巡检。而为了完成巡检，首先要能够自动识别出电力设备的类别，然后才能判断其是否发生故障、以及故障的类型等等。
实现自动识别电力设备类别的前提是自动获取电力设备的图像，而电力设备工况的特殊性决定了其往往只能依赖于红外摄像装置获得红外图像。红外图像是通过“测量”物体向外辐射的热量而获得的，图中的纹理细节反映了目标与自身发射的红外辐射的能力差异，与可见光图像相比，红外图像具备分辨率低、对比度低、视觉效果模糊等缺点。红外图像的灰度变化层次不分明，同一温度的物体显示同一灰度，边缘较为平滑，因此给红外图像目标识别带来一定的挑战。
现有技术中，已有利用红外图像识别电力设备的尝试，然而，识别准确率较低，结果不理想。
发明内容
基于上述现状，本发明的主要目的在于提供一种基于红外图像的电力设备识别方法，以全面准确反应电力设备的特征，从而提高分类识别的准确率。
为实现上述目的，本发明采用的技术方案如下：
一种基于红外图像的电力设备识别方法，用于通过电力设备的红外图像识别电力设备类别，包括以下步骤：
S100：获取多幅用于训练的电力设备的红外图像，每一副作为一个红外图像样本Xi；
S200：提取每一幅红外图像的HOG特征、SIFT特征和LBP特征；
S300：利用主成分分析法对所提取的特征进行降维融合，得到降维融合特征向量；
S400：分别以所述降维融合特征向量作为SVM分类器、KNN分类器和BP神经网络分类器的输入，利用SVM分类器、KNN分类器和BP神经网络分类器对红外图像样本Xi进行分类，预测红外图像样本Xi属于电力设备类标签ωj的概率，并将SVM分类器、KNN分类器和BP神经网络分类器中每个分类器预测的Xi属于ωj的概率
Figure BDA0002572224880000021
作为输入特征，基于MLR规则建立线性回归模型
Figure BDA0002572224880000022
并进行训练学习，完成学习后得到集成分类器
Figure BDA0002572224880000023
其中，
Figure BDA0002572224880000024
是第l个分类器分配的权重参数；
S500:获取待识别电力设备的红外图像，执行步骤S200-S300，将得到的特征向量输入到步骤S400中得到的所述集成分类器，计算所述集成分类器的值并返回集成分类器最大值时对应的类标签ωj，该标签即为待识别电力设备的红外图像的最终识别结果。
优选地，步骤S200中，提取每一幅红外图像的HOG特征包括以下步骤：
S201:利用Gamma矫正对红外图像进行规范化；
S202:利用公式Gx(x,y)＝I(x+1,y)-I(x-1,y)和Gy(x,y)＝I(x,y+1)-I(x,y-1)计算规范后的红外图像中(x,y)处像素点在x及y方向上的梯度；
S203:利用公式
Figure BDA0002572224880000025
和
Figure BDA0002572224880000026
计算规范后的红外图像中(x,y)处像素点的梯度大小及方向；
S204:将红外图像划分为若干个图像块，把每个图像块划分成4个单元格，对每一个单元格内的像素根据梯度方向划分到相应的梯度方向区间，以梯度区间为单位，对每一个梯度区间内的像素梯度值求和，作为相应梯度区间的特征值，对图像块的单元格特征值拼接得到图像块的特征向量，对图像中所有图像块的特征向量拼接得到红外图像的HOG特征向量。
优选地，步骤S200中，提取每一幅红外图像的SIFT特征包括以下步骤：
S211:构建红外图像的尺度金字塔；
S212:寻找尺度空间的极值点完成特征点定位；
S213:为步骤S212确定的特征点进行特征方向赋值，对σ尺度上的某一特征点L(x,y,σ)利用如下公式实现：
Figure BDA0002572224880000031
θ(x,y)＝tan-1(L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))；
S214:使用一组向量来描述经上述处理的特征点，得到红外图像的SIFT特征向量。
优选地，步骤S200中，提取每一幅红外图像的LBP特征包括以下步骤：
S221:将红外图像划分为16×16的小区域；
S222:以小区域中的每个非边缘像素点为中心点，将该中心点的灰度值与相邻的8个像素点的灰度值进行比较，若相邻像素点的灰度值比该中心点的灰度值大，则标记1，否则标记0，相邻的8个像素点形成一个八位的二进制数即为该中心点的LBP值；
S223:计算每个小区域的直方图，对该直方图进行归一化处理；
S224:将得到的每个小区域的统计直方图连接成为一个特征向量。
优选地，步骤S300中，利用主成分分析法对所提取的特征进行降维融合的实现步骤如下：
S301:对所提取的特征进行高斯归一化处理；
S302:计算归一化处理后特征的协方差矩阵，并用奇异值分解算法计算协方差矩阵的特征值和特征向量；
S303:按照从大到小对特征值进行排序，保留前m个，将保留的特征值所对应的特征向量组合成新的特征向量，即为降维后的特征向量；
S304将降维后的特征向量进行融合，得到降维融合特征向量。
优选地，步骤S400中，利用SVM分类器对红外图像样本Xi进行分类的实现步骤如下：
S401:将红外图像样本Xi的降维融合特征向量映射到线性可分的高维空间；
S402:在高维空间寻找最优超平面使两侧的样本到最优超平面的距离尽可能最大；
S403:通过最优超平面准确将红外图像样本Xi的分类。
优选地，步骤S400中，利用KNN分类器对红外图像样本Xi进行分类的实现步骤如下：
S411:计算红外图像样本Xi的降维融合特征向量与n个训练样本
Figure BDA0002572224880000041
特征向量之间的相似度，得到相似度序列
Figure BDA0002572224880000042
S412:将相似度序列
Figure BDA0002572224880000043
由大到小排列，取前k个相似度最高的样本作为红外图像样本Xi的邻域集合；
S413:在邻域集合中统计出含训练样本最多的类别，并将该类别作为红外图像样本Xi所属的类别。
优选地，步骤S400中，利用BP神经网络分类器对红外图像样本Xi进行分类的实现步骤如下：
S421:将训练图像的特征向量依次输入到网络中，计算每一层的状态和激活值，直到最后一层；
S422:计算每一层的误差，误差的计算过程是从最后一层向前推进的；
S423:更新参数，迭代前面两个步骤，直到满足停止准则，完成训练过程，得到训练模型；
S424:将红外图像样本Xi的降维融合特征向量输入到训练好的模型中，网络前向传播计算得到分类结果。
优选地，步骤S500中，待识别电力设备的红外图像的最终识别结果通过以下公式实现：
Figure BDA0002572224880000044
本发明还提供了一种基于红外图像的电力设备识别系统，包括：
图像获取单元，用于获取电力设备的红外图像，所述红外图像包括训练用红外图像和待识别红外图像；
特征提取单元，用于提取所述图像获取单元获取的每一幅红外图像的HOG特征、SIFT特征和LBP特征；
PCA降维融合单元，利用主成分分析法对所述特征提取单元提取的HOG特征、SIFT特征和LBP特征进行降维，得到降维后的特征向量，将降维后的特征向量进行融合，得到降维融合特征向量；
训练单元，将训练用红外图像的降维融合特征向量作为输入，分别利用SVM分类器、KNN分类器和BP神经网络分类器对红外图像样本Xi进行分类，预测红外图像样本Xi属于电力设备类标签ωj的概率，并将每个分类器预测的Xi属于ωj的概率
Figure BDA0002572224880000051
作为输入特征，基于MLR规则建立线性回归模型
Figure BDA0002572224880000052
并进行训练学习，得到集成分类器
Figure BDA0002572224880000053
其中，
Figure BDA0002572224880000054
是第l个分类器分配的权重参数；
识别单元，用于将待识别红外图像的降维融合特征向量输入到集成分类器
Figure BDA0002572224880000055
计算并返回集成分类器达到最大值时所对应的电力设备类标签ωj，完成识别任务。
与现有技术相比，HOG特征提取的边缘和梯度特征能很好地抓住局部形状的特点，对几何和光学变化都有很好的不变性，变换或旋转对于足够小的区域影响很小。SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；LBP特征也是一种用来描述局部特征的算子，能够描述图像局部纹理特征。将HOG特征、SIFT特征与LBP特征相融合，能更准确地反映出红外图像的弱纹理，使得电力设备特征描述更精准、更全面；同时，利用主成分分析法对所提取的特征进行降维融合，有效提高了算法的识别速度；并且通过基于MLR规则集成SVM分类器、KNN分类器和BP神经网络分类器对电力设备红外图像进行分类，克服了单一分类器可能导致的错判或漏判情况，提高了电力设备识别的准确性。
本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。
附图说明
下面将结合附图及实施例对本发明的基于红外图像的电力设备识别方法及系统作进一步说明，附图中：
图1为本发明的一种实施方式的基于红外图像的电力设备识别方法的流程框图；
图2为本发明的识别方法中的SVM分类实现原理图；
图3为本发明的识别方法中的KNN分类实现原理图；
图4为本发明的识别方法中的BP神经网络的模型示意图。
具体实施方式
现结合附图，对本发明的较佳实施例作详细说明。
如图1所示，本发明一实施例的基于红外图像的电力设备识别方法包括如下步骤：
步骤S100：获取多幅用于训练的电力设备的红外图像，每一幅作为一个红外图像样本Xi。
具体的，用于训练的红外图像均为已知类别的电力设备的红外图像，且对应的每一类别具有一个电力设备类标签，电力设备包括多种现有的已知电力设备，如电流互感器、电压互感器、绝缘子等，类标签即为电力设备的所属类型。
步骤S200：提取每一幅红外图像的HOG特征、SIFT特征和LBP特征。
具体的，HOG(Histogram of Oriented Gradient)特征是目前计算机视觉、模式识别领域的一种描述图像局部纹理的特征，是通过计算和统计图像局部区域的梯度方向直方图来构建的特征。对于一大小为M*N的红外图像I,I(x,y)为位置(x,y)处像素点的灰度值，进行HOG特征提取具体步骤如下：
S201:利用Gamma矫正对红外图像I进行规范化；
S202:利用如下公式分别计算规范后红外图像中(x,y)处像素点在x及y方向上的梯度：
Gx(x,y)＝I(x+1,y)-I(x-1,y) (式1)
Gy(x,y)＝I(x,y+1)-I(x,y-1) (式2)
S203:利用如下公式计算规范后红外图像中(x,y)处像素点的梯度大小及方向；
Figure BDA0002572224880000061
Figure BDA0002572224880000062
S204:将图像划分为若干个图像块，每一个图像块划分成4个单元格，对每一个单元格内的像素根据梯度方向划分到相应的梯度方向区间，其中梯度方向区间是指将0-180°平均划分为9个梯度区间，以梯度区间为单位，对每一个梯度区间内的像素梯度值求和，作为相应梯度区间的特征值，即每一个单元格可以得到一个9维特征，对每一个图像块的4个单元格得到的特征进行拼接得到图像块的特征向量，对图像中所有图像块的特征向量拼接得到图像的特征向量，即HOG特征。
SIFT(Scale Invariant Feature Transform)特征一种局部特征，具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果，该特征能够提高红外图像全局描述能力。进行SIFT特征提取具体步骤如下：
S211:尺度金字塔构建，由同一原始红外图像的多尺度图像构成，这些不同尺度的红外图像一般通过不同尺度因子的高斯函数平滑获得；
S212:特征点定位，特征点定位就是寻找尺度空间的极值点，将红外图像中每个像素点与其同一尺度上的8个邻域点及不同尺度上的18个邻域点比较，若该点大于或小于所有相邻点时，该点就为这个尺度里的极值点；
S213:特征方向赋值，为步骤S212保留下来的每个特征点确定一个主方向来确保红外图像特征描述子的旋转不变性。对σ尺度上的某一特征点L(x,y,σ)可利用如下公式分别计算该点邻域窗口内梯度的模值和方向分布情况：
Figure BDA0002572224880000071
θ(x,y)＝tan-1(L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)) (式6)
S214：特征点描述，经上述处理后，特征点的尺度、位置及方向均被确定，可利用一组向量来描述这些点，得到图像的SIFT特征向量。
LBP(Local Binary Pattern)特征是一种用来描述图像局部纹理的特征，它具有旋转不变性和灰度不变性等显著的优点。LBP特征提取包括以下步骤：
S221:将红外图像划分为16×16的小区域；
S222:以小区域中的每个非边缘像素点为中心点，将该中心点的灰度值与相邻的8个像素点的灰度值进行比较，若相邻像素点的灰度值比该中心点的灰度值大，则标记1，否则标记0，相邻的8个像素点形成一个八位的二进制数即为中心点的LBP值；
S223:计算每个小区域的直方图，对该直方图进行归一化处理；
S224:将得到的每个小区域的统计直方图连接成为一个特征向量，也就是整幅图的LBP纹理特征向量。
HOG特征是提取图像的边缘和梯度特征，能很好地抓住局部形状的特点，SIFT特征对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性，LBP特征能够描述图像局部纹理特征，将HOG特征、SIFT特征与LBP特征相融合，能更准确地反映出红外图像的弱纹理，使得红外电力设备特征描述更精准。
步骤S300：利用主成分分析法对所提取的特征进行降维融合，得到降维融合特征向量。
主成分分析法(PCA，Principal Component Analysis)的核心思想是通过对源数据样本空间进行空间变换，将原坐标投影到一个维度交底且相互正交的空间上。本实施例中采用高斯归一化法，归一化后各特征均值为0，标准差为1。特征归一化后通过对原特征矩阵做投影生成新的特征向量。
设有n张红外电力设备图片，用HOG、SIFT及LBP算子分别对所有红外图像进行特征提取，提取到的特征分别记为Xk1,Xk2,Xk3，k为第k个红外图像，它们构成融合特征集Xn×d＝[Xk1,xk2,xk3]，其中d＝dis(Xk1)+dis(Xk2)+dis(Xk3),dis表示特征维数。具体降维融合步骤如下：
S301:公式如下公式对红外图像的特征进行归一化操作：
Figure BDA0002572224880000081
其中，xik是第k个样本的第i个特征，
Figure BDA0002572224880000082
是所有样本第i个特征的均值，
Figure BDA0002572224880000083
是归一化后的特征值，
Figure BDA0002572224880000084
S302:用如下公式计算样本的协方差矩阵UT，并用奇异值分解算法计算协方差矩阵的特征值和特征向量：
Figure BDA0002572224880000085
其中，
Figure BDA0002572224880000086
是样本特征均值，xi是需要降维的特征；
S303:将特征向量按特征值大小从上到下按行排列成矩阵，取前m个主成分，用
Figure BDA0002572224880000087
(式10)对红外图像样本集特征进行降维，得到降维后的特征向量y；
S304：将降维后的特征向量进行融合，得到降维融合特征向量。具体可通过串行或并行的融合方式进行融合。
PCA降维融合优于特征的简单拼接，同时由于降维降低了特征维度，能有效提高处理速度。
步骤S400：分别以所述降维融合特征向量作为SVM分类器、KNN分类器和BP神经网络分类器的输入，利用SVM分类器、KNN分类器和BP神经网络分类器对红外图像样本Xi进行分类，预测红外图像样本Xi属于电力设备类标签ωj的概率，将SVM分类器、KNN分类器和BP神经网络分类器中每个分类器预测的Xi属于ωj的概率
Figure BDA0002572224880000091
作为输入特征，基于MLR规则建立线性回归模型
Figure BDA0002572224880000092
并进行训练学习，完成学习后得到集成分类器
Figure BDA0002572224880000093
其中，
Figure BDA0002572224880000094
是第l个分类器分配的权重参数。
具体的，SVM(Support Vector Machine)分类方法是通过寻找两类之间的最优超平面进行分类。若待分类的电力设备目标在低维空间线性不可分，则可通过某种映射将待分类目标映射到能线性可分的高维空间，通过在高维空间寻找最优超平面实现分类。SVM寻找的最优超平面需使它两侧的样本到它的距离尽可能最大，原理如图2所示。SVM分类的具体步骤如下：
S401:将红外图像样本Xi的降维融合特征向量映射到线性可分的高维空间；
S402:在高维空间寻找最优超平面使两侧的样本到最优超平面的距离尽可能最大；
S403:通过最优超平面准确将红外图像样本Xi分类。
KNN(k-NearestNeighbor)分类方法是从训练集中搜索与预测样本最相似的k个样本，并将这k个样本多数所属的类作为该样本的分类，原理如图3所示，在KNN算法中k值的选取在很大程度上决定了分类的结果。KNN通过计算欧氏距离来描述两个样本之间的相似度，设有两个样本分别为X＝(x1,x2,…,xn),Y＝(y1,y2,…,yn)，可由
Figure BDA0002572224880000095
(式11)求得两样本间的距离。KNN分类算法具体步骤如下：
S411:计算红外图像样本Xi的降维融合特征向量与n个训练样本
Figure BDA0002572224880000096
的相似度，得到相似度序列
Figure BDA0002572224880000097
S412:将相似度序列
Figure BDA0002572224880000098
由大到小排列，取前k个相似度最高的样本作为红外图像样本Xi的邻域集合；
S413:在邻域集合中统计出含训练样本最多的类别，并将该类别作为红外图像样本Xi所属的类别。
BP(back propagation)神经网络分类方法是采用BP算法的前馈神经网络。原理如图4所示，由输入层、隐含层及输出层构成的BP神经网络模型。每层网络由多个神经元组成，它通过信号的正向传播和误差反向调节来获取不同层级间神经元的联结权重和偏置，使网络输出尽量接近期望输出，从而达到学习目的。BP神经网络分类的具体步骤如下：
S421:将训练图像依次输入到网络中，计算每一层的状态和激活值，直到最后一层；
S422:计算每一层的误差，误差的计算过程是从最后一层向前推进的；
S423:更新参数，迭代前面两个步骤，直到满足停止准则，完成训练过程，得到训练模型；
S424:将待分类的红外图像输入到训练好的模型中，网络前向传播计算得到分类结果。
通过三种分类器对训练用红外图像进行学习和分类，为后续的集成分类器提供输入数据，以弥补单一分类器存在的不足。
步骤S400中，基于MLR规则建立线性回归模型
Figure BDA0002572224880000101
并进行训练学习的实现步骤如下：
设用于训练的红外图像含n个红外电力设备
Figure BDA0002572224880000102
类标签yi∈{ω1,ω2,…,ωc}，假设SVM分类器、KNN分类器和BP神经网络分类器中每个分类器对Xi的预测结果是一个后验概率分布函数，则有：
Figure BDA0002572224880000103
式中
Figure BDA0002572224880000104
是分类器Cl预测Xi属于ωc的概率。由基分类器组成的新分类器可表示为：
Figure BDA0002572224880000105
多响应线性回归的基本思想是将c个电力设备红外图像的分类问题转化为c个回归问题。在处理某一电力设备类ωj的回归问题中，若红外图像样本Xi的类标签为ωj，则LRj(Xi)值为1，否则为0。对任意电力设备类ωj，基于MLR规则将SVM分类器、KNN分类器和BP神经网络分类器中每个分类器预测的Xi属于ωj的概率
Figure BDA0002572224880000106
作为输入特征建立线性模型，来训练该电力设备类别对应的模型，如
Figure BDA0002572224880000107
其中
Figure BDA0002572224880000108
是第l个分类器分配的权重参数，值大于0，可通过
Figure BDA0002572224880000109
(式14)求得。采用上述方法对所有红外电力设备类别对应的模型都完成学习后，便得到集成分类器的模型
Figure BDA00025722248800001010
步骤S500：获取待识别电力设备的红外图像，执行步骤S200-S300，将得到的特征向量输入到步骤S400中得到的所述集成分类器，计算所述集成分类器的值并返回集成分类器最大值时对应的类标签ωj，该标签即为待识别电力设备红外图像的最终识别结果。
具体的，待识别电力设备红外图像可通过对红外相机采集的红外视频按照固定的时间间隔获取视频帧图像。获取待识别电力设备的红外图像后，执行步骤S200-S300，将得到的降维融合特征向量输入到步骤S400中得到的所述集成分类器，计算所述集成分类器的值并返回集成分类器达到最大值时对应的红外电力设备类标签ωj，该标签就是最终的识别结果。最终识别结果可通过如下公式实现：
Figure BDA0002572224880000111
利用多响应线性回归法将多个不同类型的分类器进行集成，提高了电力设备红外图像识别的准确性。
与现有技术相比，HOG特征提取的边缘和梯度特征能很好地抓住局部形状的特点，对几何和光学变化都有很好的不变性，变换或旋转对于足够小的区域影响很小；SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；LBP特征也是一种用来描述局部特征的算子，能够描述图像局部纹理特征。将HOG特征、SIFT特征与LBP特征相融合，能更准确地反映出红外图像的弱纹理，使得电力设备特征描述更精准、更全面；同时，利用主成分分析法对所提取的特征进行降维融合，有效提高了算法的识别速度；并且通过基于MLR规则集成SVM分类器、KNN分类器和BP神经网络分类器对电力设备红外图像进行分类，克服了单一分类器可能导致的错判或漏判情况，提高了电力设备识别的准确性。
为了实施上述基于红外图像的电力设备识别方法，本发明还提供了一种基于红外图像的电力设备的识别系统，包括：
图像获取单元，用于获取电力设备的红外图像，所述红外图像包括训练用红外图像和待识别红外图像；
特征提取单元，用于提取所述图像获取单元获取的每一幅红外图像的HOG特征、SIFT特征和LBP特征；
PCA降维融合单元，利用主成分分析法对所提取的HOG特征、SIFT特征和LBP特征进行降维，得到降维后的特征向量，将降维后的特征向量进行融合，得到降维融合特征向量；
训练单元，将训练用红外图像的所述降维融合特征向量作为输入，分别利用SVM分类器、KNN分类器和BP神经网络分类器对红外图像样本Xi进行分类，并将每个分类器预测的Xi属于ωj的概率
Figure BDA0002572224880000121
作为输入特征，基于MLR规则建立线性回归模型
Figure BDA0002572224880000122
并进行训练学习，得到集成分类器
Figure BDA0002572224880000123
其中，
Figure BDA0002572224880000124
是第l个分类器分配的权重参数；
识别单元，用于将待识别红外图像的降维融合特征向量输入到集成分类器
Figure BDA0002572224880000125
计算并返回集成分类器达到最大值时所对应的红外电力设备类标签ωj，完成识别任务。
具体的，图像获取单元，获取的训练用红外图像均为已知类型的电力设备，且对应的每一类型具有一个电力设备类标签，电力设备多多种现有的已知电力设备，如电流互感器、电压互感器、绝缘子等，电力设备类标签即为电力设备所述的类别。待识别的红外图像可通过对红外相机采集的红外视频按照固定的时间间隔获取视频帧图像。
特征提取单元，提取HOG特征时做Gamma校正，并采用小区域方式利用公式计算实现。提取SIFT特征通过构建尺度金字塔，特征点定位，特征方向赋值和特征点描述实现。LBP特征提取将红外图像划分为16×16的小区域，以小区域的非边缘像素点作为中心点，将周围点与中心点进行灰度值比较，得到中心点的LBP值，将每个小区域的统计直方图进行连接成为一个特征。
PCA降维融合单元，通过对特征数据进行高斯归一化处理，计算归一化处理后特征的协方差矩阵，并用奇异值分解算法计算协方差矩阵的特征值和特征向量，按照从大到小取前m个主成分，即为降维后的特征，将降维后的特征向量进行融合，得到降维融合特征向量。
训练单元，将训练用红外图像的降维融合特征作为SVM分类器、KNN分类器和BP神经网络分类器的输入，分别利用SVM分类器、KNN分类器和BP神经网络分类器对红外图像进行分类，得到各分类器预测的红外图像样本Xi属于电力设备类标签ωj的概率
Figure BDA0002572224880000126
基于MLR规则将
Figure BDA0002572224880000127
作为输入特征，构建线性回归模型
Figure BDA0002572224880000131
并训练，从而得到集成分类器
Figure BDA0002572224880000132
识别单元，将待识别红外图像降维融合特征向量输入到集成分类器
Figure BDA0002572224880000133
计算并返回集成分类器达到最大值时所对应的红外电力设备类标签ωj，完成识别任务。
本发明提供的一种基于红外图像的电力设备的识别系统，通过将HOG特征、SIFT特征与LBP特征相结合，能够更准确地反映出红外图像的弱纹理，使得红外电力设备特征提取更精准；采用PCA方法对从红外图像中提取到的特征进行融合降维，能有效提高算法识别的准确率及识别速度；基于MLR规则集成SVM、KNN、BP神经网络三种不同分类器实现对电力设备红外图像的识别，弥补单一分类器存在的不足，提高了电力设备识别的准确性，同时计算过程更简单。
需要说明的是，本发明中采用步骤编号(字母或数字编号)来指代某些具体的方法步骤，仅仅是出于描述方便和简洁的目的，而绝不是用字母或数字来限制这些方法步骤的顺序。本领域的技术人员能够明了，相关方法步骤的顺序，应由技术本身决定，不应因步骤编号的存在而被不适当地限制。
本领域的技术人员能够理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。
应当理解，上述的实施方式仅是示例性的，而非限制性的，在不偏离本发明的基本原理的情况下，本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换，都将包含于本发明的权利要求范围内。

Claims (10)

1.一种基于红外图像的电力设备识别方法，用于通过电力设备的红外图像识别电力设备类型；其特征在于，包括以下步骤：
S100：获取多幅用于训练的电力设备的红外图像，每一幅作为一个红外图像样本Xi；
S200：提取每一幅红外图像的HOG特征、SIFT特征和LBP特征；
S300：利用主成分分析法对所提取的特征进行降维融合，得到降维融合特征向量；
S400：分别以所述降维融合的特征向量作为SVM分类器、KNN分类器和BP神经网络分类器的输入，利用SVM分类器、KNN分类器和BP神经网络分类器对红外图像样本Xi进行分类，预测红外图像样本Xi属于电力设备类标签ωj的概率，并将SVM分类器、KNN分类器和BP神经网络分类器中每个分类器预测的Xi属于ωj的概率
Figure FDA0003735117850000011
作为输入特征，基于MLR规则建立线性回归模型
Figure FDA0003735117850000012
并进行训练学习，完成学习后得到集成分类器
Figure FDA0003735117850000013
其中，
Figure FDA0003735117850000014
是第l个分类器分配的权重参数；
S500:获取待识别电力设备的红外图像，执行步骤S200-S300，将得到的特征向量输入到步骤S400中得到的所述集成分类器，计算所述集成分类器的值并返回集成分类器最大值时对应的类标签ωj，该标签即为待识别电力设备的红外图像的最终识别结果。
2.根据权利要求1所述的基于红外图像的电力设备识别方法，其特征在于，所述步骤S200中，提取每一幅红外图像的HOG特征包括以下步骤：
S201:利用Gamma矫正对红外图像进行规范化；
S202:利用公式Gx(x，y)＝I(x+1，y)-I(x-1，y)和Gy(x，y)＝I(x，y+1)-I(x，y-1)计算规范后的红外图像中(x,y)处像素点在x及y方向上的梯度；
S203:利用公式
Figure FDA0003735117850000015
和
Figure FDA0003735117850000016
计算规范后的红外图像中(x,y)处像素点的梯度大小及方向；
S204:将红外图像划分为若干个图像块，把每个图像块划分成4个单元格，对每一个单元格内的像素根据梯度方向划分到相应的梯度方向区间，以梯度区间为单位，对每一个梯度区间内的像素梯度值求和，作为相应梯度区间的特征值，对图像块的单元格特征值拼接得到图像块的特征向量，对图像中所有图像块的特征向量拼接得到红外图像的HOG特征向量。
3.根据权利要求1所述的基于红外图像的电力设备识别方法，其特征在于，所述步骤S200中，提取每一幅红外图像的SIFT特征包括以下步骤：
S211:构建红外图像的尺度金字塔；
S212:寻找尺度空间的极值点完成特征点定位；
S213:为步骤S212确定的特征点进行特征方向赋值，对σ尺度上的某一特征点L(x,y,σ)利用如下公式实现：
Figure FDA0003735117850000021
θ(x，y)＝tan-1(L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y))；
S214:使用一组向量来描述经步骤S100-步骤213处理的特征点，得到红外图像的SIFT特征向量。
4.根据权利要求1所述的基于红外图像的电力设备识别方法，其特征在于，所述步骤S200中，提取电力设备图像的LBP特征包括以下步骤：
S221:将红外图像划分为16×16的小区域；
S222:以小区域中的每个非边缘像素点为中心点，将该中心点的灰度值与相邻的8个像素点的灰度值进行比较，若相邻像素点的灰度值比该中心点的灰度值大，则标记1，否则标记0，相邻的8个像素点形成一个八位的二进制数即为该中心点的LBP值；
S223:计算每个小区域的直方图，对该直方图进行归一化处理；
S224:将得到的每个小区域的直方图连接成为一个特征向量，即为红外图像的LBP特征向量。
5.根据权利要求1-4任一项所述的基于红外图像的电力设备识别方法，其特征在于，步骤S300中，利用主成分分析法对所提取的特征进行降维融合的实现步骤如下：
S301:对所提取的特征进行高斯归一化处理；
S302:计算归一化处理后特征的协方差矩阵，并用奇异值分解算法计算协方差矩阵的特征值和特征向量；
S303:按照从大到小对特征值进行排序，保留前m个，将保留的特征值所对应的特征向量组合成新的特征向量，即为降维后的特征向量；
S304：将降维后的特征向量进行融合，得到降维融合特征向量。
6.根据权利要求1-3任一项所述的基于红外图像的电力设备识别方法，其特征在于，所述步骤S400中，利用SVM分类器对红外图像样本Xi进行分类的实现步骤如下：
S401:将红外图像样本Xi的降维融合特征向量映射到线性可分的高维空间；
S402:在高维空间寻找最优超平面使两侧的样本到最优超平面的距离尽可能最大；
S403:通过最优超平面准确将红外图像样本Xi分类。
7.根据权利要求1-3任一项所述的基于红外图像的电力设备识别方法，其特征在于，所述步骤S400中，利用KNN分类器对红外图像样本Xi进行分类的实现步骤如下：
S411:计算红外图像样本Xi的降维融合特征向量与n个训练样本
Figure FDA0003735117850000031
特征向量之间的相似度，得到相似度序列
Figure FDA0003735117850000032
S412:将相似度序列
Figure FDA0003735117850000033
由大到小排列，取前k个相似度最高的样本作为红外图像样本Xi的邻域集合；
S413:在邻域集合中统计出含训练样本最多的类别，并将该类别作为红外图像样本Xi所属的类别。
8.根据权利要求1-3任一项所述的基于红外图像的电力设备识别方法，其特征在于，所述步骤S400中，利用BP神经网络分类器对红外图像样本Xi进行分类的实现步骤如下：
S421:将训练图像的特征向量依次输入到网络中，计算每一层的状态和激活值，直到最后一层；
S422:计算每一层的误差，误差的计算过程是从最后一层向前推进的；
S423:更新参数，迭代前面两个步骤，直到满足停止准则，完成训练过程，得到训练模型；
S424:将红外图像样本Xi的降维融合特征向量输入到训练好的模型中，网络前向传播计算得到分类结果。
9.根据权利要求1-3任一项所述的基于红外图像的电力设备识别方法，其特征在于，步骤S500中，待识别电力设备的红外图像的最终识别结果通过以下公式实现：
Figure FDA0003735117850000034
10.一种基于红外图像的电力设备的识别系统，其特征在于，包括：
图像获取单元，用于获取电力设备的红外图像，所述红外图像包括训练用红外图像和待识别红外图像；
特征提取单元，用于提取所述图像获取单元获取的每一幅红外图像的HOG特征、SIFT特征和LBP特征；
PCA降维融合单元，利用主成分分析法对所述特征提取单元提取的HOG特征、SIFT特征和LBP特征进行降维，得到降维后的特征向量，将降维后的特征向量进行融合，得到降维融合特征向量；
训练单元，将训练用红外图像的降维融合特征向量作为输入，分别利用SVM分类器、KNN分类器和BP神经网络分类器对训练用红外图像样本Xi进行分类，预测红外图像样本Xi属于电力设备类标签ωj的概率，并将每个分类器预测的Xi属于ωj的概率
Figure FDA0003735117850000041
作为输入特征，基于MLR规则建立线性回归模型
Figure FDA0003735117850000042
并进行训练学习，得到集成分类器
Figure FDA0003735117850000043
其中，
Figure FDA0003735117850000044
是第l个分类器分配的权重参数；
识别单元，用于将待识别红外图像的降维融合特征向量输入到集成分类器
Figure FDA0003735117850000045
计算并返回集成分类器达到最大值时所对应的电力设备类标签ωj，完成识别任务。
CN202010643400.XA 2020-07-07 2020-07-07 一种基于红外图像的电力设备识别方法及系统 Active CN112287919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010643400.XA CN112287919B (zh) 2020-07-07 2020-07-07 一种基于红外图像的电力设备识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010643400.XA CN112287919B (zh) 2020-07-07 2020-07-07 一种基于红外图像的电力设备识别方法及系统

Publications (2)

Publication Number Publication Date
CN112287919A CN112287919A (zh) 2021-01-29
CN112287919B true CN112287919B (zh) 2022-08-30

Family

ID=74420617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010643400.XA Active CN112287919B (zh) 2020-07-07 2020-07-07 一种基于红外图像的电力设备识别方法及系统

Country Status (1)

Country Link
CN (1) CN112287919B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086687A (zh) * 2018-07-13 2018-12-25 东北大学 基于pca降维的hog-mblbp融合特征的交通标志识别方法
CN109255379A (zh) * 2018-08-31 2019-01-22 南京理工大学 一种基于融合特征和svm结合的羊角弓区域定位方法
CN110363101A (zh) * 2019-06-24 2019-10-22 杭州电子科技大学 一种基于cnn特征融合框架的花卉识别方法
CN110969128A (zh) * 2019-12-03 2020-04-07 哈尔滨理工大学 一种基于多特征融合的海面背景下红外船舰的检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086687A (zh) * 2018-07-13 2018-12-25 东北大学 基于pca降维的hog-mblbp融合特征的交通标志识别方法
CN109255379A (zh) * 2018-08-31 2019-01-22 南京理工大学 一种基于融合特征和svm结合的羊角弓区域定位方法
CN110363101A (zh) * 2019-06-24 2019-10-22 杭州电子科技大学 一种基于cnn特征融合框架的花卉识别方法
CN110969128A (zh) * 2019-12-03 2020-04-07 哈尔滨理工大学 一种基于多特征融合的海面背景下红外船舰的检测方法

Also Published As

Publication number Publication date
CN112287919A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN108268838B (zh) 人脸表情识别方法及人脸表情识别系统
Sung et al. Example-based learning for view-based human face detection
Huang et al. Unsupervised joint alignment of complex images
Vukadinovic et al. Fully automatic facial feature point detection using Gabor feature based boosted classifiers
US7929771B2 (en) Apparatus and method for detecting a face
Makinen et al. Evaluation of gender classification methods with automatically detected and aligned faces
CN105389593B (zh) 基于surf特征的图像物体识别方法
EP1229493B1 (en) Multi-mode digital image processing method for detecting eyes
US9639748B2 (en) Method for detecting persons using 1D depths and 2D texture
US20140079314A1 (en) Method and Apparatus for Improved Training of Object Detecting System
WO2016145940A1 (zh) 人脸认证方法和装置
US8687898B2 (en) System and method for object recognition based on three-dimensional adaptive feature detectors
EP1488371B1 (en) Comparing patterns
CN115661872A (zh) 一种自然场景下鲁棒的手掌感兴趣区域定位方法
CN113486902A (zh) 基于元学习的三维点云分类算法自动选择方法
Barodi et al. An enhanced artificial intelligence-based approach applied to vehicular traffic signs detection and road safety enhancement
Naseer et al. Multimodal Objects Categorization by Fusing GMM and Multi-layer Perceptron
Campadelli et al. Automatic facial feature extraction for face recognition
CN112287919B (zh) 一种基于红外图像的电力设备识别方法及系统
Curran et al. The use of neural networks in real-time face detection
CN114399731A (zh) 一种单粗点监督下的目标定位方法
CN112183215A (zh) 一种结合多特征级联svm与人眼模板的人眼定位方法及系统
Sergyán A new approach of face detection-based classification of image databases
Taira et al. Robust feature matching by learning descriptor covariance with viewpoint synthesis
Campadelli et al. Eye localization for face recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant