CN108230237A - 一种用于电气设备在线检测的多光谱图像重构方法 - Google Patents
一种用于电气设备在线检测的多光谱图像重构方法 Download PDFInfo
- Publication number
- CN108230237A CN108230237A CN201711352971.2A CN201711352971A CN108230237A CN 108230237 A CN108230237 A CN 108230237A CN 201711352971 A CN201711352971 A CN 201711352971A CN 108230237 A CN108230237 A CN 108230237A
- Authority
- CN
- China
- Prior art keywords
- image
- ultraviolet
- infrared
- registrated
- infrared image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 230000009466 transformation Effects 0.000 claims description 32
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 31
- 239000002245 particle Substances 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 239000012212 insulator Substances 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 3
- 238000013021 overheating Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- BBEAQIROQSPTKN-UHFFFAOYSA-N pyrene Chemical compound C1=CC=C2C=CC3=CC=CC4=CC=C1C2=C43 BBEAQIROQSPTKN-UHFFFAOYSA-N 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009422 external insulation Methods 0.000 description 1
- GVEPBJHOBDJJJI-UHFFFAOYSA-N fluoranthrene Natural products C1=CC(C2=CC=CC=C22)=C3C2=CC=CC3=C1 GVEPBJHOBDJJJI-UHFFFAOYSA-N 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于电气设备在线检测的多光谱图像重构方法，所述的方法包括以下步骤：分别采集红外图像、可见光图像和紫外图像；进行红外图像与可见光图像配准，并进行配准后红外图像特征区域提取；进行可见光图像与紫外图像配准，并进行配准后紫外图像特征区域提取；利用可见光图像、配准后的红外图像特征区域和紫外图像特征区域进行多光谱图像重构。与现有技术相比，本发明具有信息冗余度降低、有利于更精确定位故障位置和算法可靠性强等优点。
Description
技术领域
本发明涉及电气设备在线检测方法，尤其是涉及一种用于电气设备在线检测的多光谱图像重构方法。
背景技术
随着我国电网规模不断扩大，对电网运行的安全性和可靠性要求也越来越高。电气设备长期运行会出现磨损、氧化、腐蚀、老化、污秽以及外力导致的缺陷，若不能及时排查将发展成故障，为此电气设备运行状态检测与故障诊断仍然是智能电网建设的重要研究内容。
无人机技术在电力巡线上的推广应用使得图像识别技术在电气设备故障检测与诊断领域得到了快速发展。运用可见光图像的轮廓、纹理等特征可识别电气设备的机械故障，如电力线异物、导线断股、绝缘子掉片、防震锤移位、间隔棒断裂等；运用红外图像可检测电气设备异常温升故障，如金具接触不良、接线端过热等；运用紫外图像可检测到各类故障所导致的电气设备表面放电，如绝缘子污秽放电、避雷器表面放电等。电网电气设备虽种类繁多，但绝大多数缺陷或故障都存在设备轮廓纹理不全、温升较高或产生放电等特征，这些缺陷在巡线过程中分别被不同的成像设备捕捉，由于单一检测系统仅根据片面参数信息作出推断，常常造成电气设备故障的误诊及漏诊。为此，进行电力设备的可见光、红外以及紫外图像进行融合重构，将三类图像的有效特征集成于一张图像，不仅能降低信息冗余度，也有利于对电力设备故障的全面准确判断。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种用于电气设备在线检测的多光谱图像重构方法。
本发明的目的可以通过以下技术方案来实现：
一种用于电气设备在线检测的多光谱图像重构方法，所述的方法包括以下步骤：
S1、分别采集红外图像、可见光图像和紫外图像；
S2、进行红外图像与可见光图像配准，并进行配准后红外图像特征区域提取；
S3、进行可见光图像与紫外图像配准，并进行配准后紫外图像特征区域提取；
S4、利用可见光图像、配准后的红外图像特征区域和紫外图像特征区域进行多光谱图像重构。
优选地，所述的步骤S4中进行多光谱图像重构方法如下：
其中，Ivis为可见光图像的RGB像素值，I为重构后图像的RGB像素值，Iedge(x,y,2)为紫外图像轮廓曲线图上坐标为(x,y)的像素点G分量值，Iinf为红外图像的RGB像素值，T(x,y)为红外图像上坐标为(x,y)的像素点温度值，Tthresh为红外图像的温度阈值，G(x,y)为紫外灰度图像上坐标为(x,y)的像素点灰度值，Gthresh为紫外图像的温度阈值。
优选地，所述的步骤S2中进行红外图像与可见光图像配准具体包括以下步骤：
S201、分别提取可见光图像轮廓与红外图像轮廓；
S202、进行基于粒子群算法的最佳仿射变换搜索，求解可见光轮廓图与红外轮廓图的平均最近距离，得到最优仿射变换参数；
S203、将红外图像原图根据最优仿射变换参数进行仿射变换，完成可见光图像与红外图像的配准。
优选地，所述的步骤S2中进行配准后红外图像特征区域提取具体为，利用如下提取公式：
I1(x,y)＝Iinf(x,y),T(x,y)≥Tthresh；
其中，Iinf为红外图像的RGB像素值，I1为红外图像特征区域提取后的RGB像素值，T(x,y)为红外图像上坐标为(x,y)的像素点温度值，Tthresh为红外图像的温度阈值。
优选地，所述的步骤S3中进行可见光图像与紫外图像配准具体包括以下步骤：
S301、分别进行可见光图像和紫外图像的SIFT特征点识别；
S302、进行可见光图像SIFT特征点与紫外图像SIFT特征点匹配，得到多个匹配对；
S303、进行匹配对的筛选；
S304、计算筛选出的匹配对对应的仿射变换矩阵；
S305、对紫外图像进行仿射变换，完成可见光图像与紫外图像的配准。
优选地，所述的步骤S3中进行配准后紫外图像特征区域提取具体为，利用如下提取公式：
I2(x,y)＝Iuv(x,y),G(x,y)≥Gthresh；
其中，Iuv为紫外图像的RGB像素值，I2为紫外图像特征区域提取后的RGB像素值，G(x,y)为紫外灰度图像上坐标为(x,y)的像素点灰度值，Gthresh为紫外图像的灰度阈值。
优选地，所述的步骤S3中进行配准后紫外图像特征区域提取还包括，对紫外图像特征区域进行canny算子边缘提取，绘制紫外光斑边缘曲线图像Iedge。
优选地，所述的步骤S303中进行匹配对的筛选具体为：获取可见光与紫外图像中各匹配对的旋转角度，统计每个旋转角度区间的匹配对数目，将匹配对数目最多的旋转角度区间作为有效匹配区间，清除有效匹配区间外的匹配对。
与现有技术相比，本发明具有以下优点：
1.故障分析更全面、信息冗余度降低：本发明将电力设备的可见光、红外和紫外图像进行融合重构，将三类图像的有效特征集成于一张图像，大幅地降低信息冗余度，也有利于对电力设备故障的全面准确判断；
2.有利于更精确定位故障位置：本发明将电力设备红外图像的异常温升区域和紫外图像的放电光斑区域反应到可见光图像上，非常直观地反应电力设备故障特征，同时也精确地对电力设备故障位置进行定位；
3.本发明算法稳定，信息保留度高，可靠性强，对于拍摄角度和图像大小相差不大的可见光、红外和紫外图像都能进行准确的重构。
附图说明
图1为本发明方法的流程图；
图2为本发明方法的粒子群算法流程图；
图3为本发明举例的绝缘子多光谱图像重构过程及结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例
如图1所示，一种用于电气设备在线检测的多光谱图像重构方法，通过对同一外绝缘设备的红外图像1和可见光图像2进行基于轮廓信息的可见光与红外图像配准4，并通过可见光图像2和紫外图像3进行基于SIFT(尺度不变特征变换，Scale-invariant featuretransform)特征的可见光与紫外图像配准5，分别进行配准后红外图像特征区域提取12和配准后紫外图像特征区域提取13，将提取的特征区域有效叠加在可见光图像上，实现电气设备多光谱图像重构14。
基于轮廓信息的可见光与红外图像配准4包括可见光与红外图像轮廓提取6、基于粒子群算法的最佳仿射变化搜索7和基于平均最近距离的匹配度计算8三个部分。
图像轮廓提取通过对红外图像和可见光图像的H分量图进行灰度化、阈值分割、边缘提取等图像预处理后获取可见光和红外图像轮廓图，所述的阈值分割中的阈值是指自适应灰度阈值，一般采用最大类间方差法确定灰度阈值，所述的边缘提取采用canny边缘检测算子进行。
基于粒子群算法的最佳仿射变化搜索通过最佳仿射变换搜索使目标对象的可见光和红外图像轮廓图重合，并通过红外图像原图进行最佳仿射变换实现图像配准过程，所述的最佳仿射变换搜索可通过粒子群搜索算法实现。
仿射变换包括平移变换，伸缩变换和旋转变换，平移变换矩阵为：
tx、ty分别为图像横向平移量和纵向平移量，伸缩变换的矩阵为：
Cx、Cy分别为图像横向伸缩量和纵向伸缩量，旋转变换的矩阵为：
θ为图像旋转角度。所述的最佳仿射变换搜索过程即为寻找最优仿射变换参数组合(tx0，ty0，Cx0，Cy0，θ0)，使红外轮廓图经过这一仿射变化后，红外图像轮廓和可见光图像轮廓重合效果最佳。
粒子群算法流程如图2所示，设第i个粒子位置为Xi＝(xi1,xi2,…,xi5)，它经历过的最好位置记为Pi＝(pi1,pi2,…,pi5)。粒子i的速度用Vi＝(vi1,vi2,…,vi5)表示。对每一代粒子，粒子采用下式来更新自己的速度和位置：
vk+1 id＝vk id+c1*rand1*(pk id-xk id)+c2*rand2*(pk gd-xk id) (1)
xk+1 id＝xk id+vk+1 id (2)
k表示当代粒子，k+1表示下一代粒子，是当前粒子的速度，xk id是当前粒子的位置，为第1-k代所有粒子的最佳位置、为第1-k代粒子i的最佳位置,c1，c2是学习因子，rand1和rand2为[0,1]区间内的随机数，k为迭代次数，d为参数编号，d＝1,2,3,4,5。Pg为所有粒子中的最佳位置，记为Pg＝(pg1,pg2,…,pg5)。
用粒子群算法进行最佳仿射变换搜索过程中的图像配准度(适应度)由可见光和红外轮廓图像的平均最近距离来衡量，平均最近距离D(A,B)计算公式即适应度函数为：
D(A,B)＝min(d(A,B),d(B,A)) (3)
其中，A,B分别为电气设备的可见光和红外轮廓图像，a,b分别为图像A,B中的轮廓点，nA,nB分别为图像A,B中的轮廓点个数。
基于SIFT特征的可见光与紫外图像配准5包括可见光与紫外图像SIFT特征点识别9、SIFT特征点配对：特征点粗匹配10和匹配对筛选：特征点精匹配11三个部分。
紫外图像需满足光斑面积小于总图像面积1/4的要求，才能进行基于SIFT特征的可见光与紫外图像配准，若不满足该要求，则在紫外视频中该图像帧的相邻10帧内寻找满足要求的紫外图像进行可见光与紫外图像配准，所得到的仿射变换参数应用于原紫外图像。
可见光与紫外图像SIFT特征点识别通过构建尺度空间、检测DOG(高斯差分，Difference of Gaussian)尺度空间极值点、除去不好的极值点、生成128维特征向量以及关键点描述子生成与归一化等5个步骤。构建的尺度空间为高斯差分(DOG)尺度空间，利用不同尺度的高斯差分核与图像卷积生成。检测DOG尺度空间极值点时，为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。除去不好的极值点过程中，通过拟和三维二次函数以精确确定关键点的位置和尺度(达到亚像素精度)，使用近似Harris Corner检测器去除低对比度的关键点和不稳定的边缘响应点(因为DOG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。生成128维特征向量：确定了图像中的特征点，为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。关键点描述子生成与归一化：首先将坐标轴旋转为关键点的方向，以确保旋转不变性。计算关键点周围的16×16的窗口中每一个像素的梯度，以关键点为中心取8×8的窗口进行高斯加权，同时使用高斯下降函数降低远离中心的权重。
SIFT特征点配对是当可见光和紫外图像的SIFT特征向量生成后，采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取可见光图像中的某个关键点，并找出其与紫外图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于比例阈值0.85，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。
匹配对筛选是通过计算两幅图像的旋转角度，即SIFT匹配对的主方向角度差。划分旋转角度区间，统计每个旋转角度区间的匹配对数目，将匹配对数目最多的旋转角度区间作为有效匹配区间，清除有效匹配区间外的匹配对。
匹配对筛选后计算剩余匹配对所对应的仿射变换矩阵，将紫外图像进行对应的仿射变换，完成可见光图像与紫外图像的配准。
将配准后的红外图像和紫外图像灰度化，用OTSU法(最大类间方差法)求取红外图像温度阈值Tthresh，同时设置紫外图像灰度阈值为Gthresh。
提取红外图像特征区域，公式为：
I1(x,y)＝Iinf(x,y)T(x,y)≥Tthresh (6)
其中，Iinf为红外图像的RGB像素值，I1为红外图像特征区域提取后的RGB像素值，T(x,y)为红外图像上坐标为(x,y)的像素点温度值，Tthresh为红外图像的温度阈值。
提取紫外图像特征区域，公式为：
I2(x,y)＝Iuv(x,y)G(x,y)≥Gthresh (7)
其中，Iuv为紫外图像的RGB像素值，I2为紫外图像特征区域提取后的RGB像素值，G(x,y)为紫外灰度图像上坐标为(x,y)的像素点灰度值，Gthresh为紫外图像的灰度阈值。
采用canny算子对紫外图像特征区域进行边缘提取，绘制紫外光斑边缘曲线图像Iedge,Iedge的R分量和B分量均为0，G分量在边缘曲线上为255，在其他位置也为0。
获取配准后的红外和紫外图像特征区域后，进行多光谱图像重构，方法如下：
其中，Ivis为可见光图像的RGB像素值，I为重构后图像的RGB像素值，Iedge(x,y,2)为紫外图像轮廓曲线图上坐标为(x,y)的像素点G分量值，Iinf为红外图像的RGB像素值，T(x,y)为红外图像上坐标为(x,y)的像素点温度值，Tthresh为红外图像的温度阈值，G(x,y)为紫外灰度图像上坐标为(x,y)的像素点灰度值，Gthresh为紫外图像的灰度阈值。
如图3所示，采用可见光相机，红外热像仪以及紫外成像仪分别拍摄绝缘子可见光图像，红外图像以及紫外图像。在进行外绝缘设备的红外和紫外图像拍摄时，应尽量保持红外和紫外图像的拍摄角度一致，拍摄距离可有所差异，但目标在两者图像中大小差别不宜过大。
经上述图像轮廓提取6，得到可见光图像轮廓提取结果和红外图像轮廓提取结果如图3所示。在轮廓图像的基础上，进行基于轮廓信息的图像配准4。采用基于粒子群算法的最佳仿射变换搜索7实现绝缘子的可见光和红外图像轮廓图重合，首先需通过计算图像分割后的可见光和红外图像的二值图像重心和面积确定寻优搜索范围。设可见光和红外图像的二值图像重心坐标差为(x0，y0)，面积比平方根为r0，则紫外图像横向平移量和纵向平移量tx、ty的搜索区间分别为[x0-100,x0+100]和[y0-100,y0+100]，紫外图像横向伸缩量和纵向伸缩量Cx、Cy的搜索区间均为[r0-0.5,r0+0.5]，紫外图像θ旋转角度的搜索区间默认为[-0.5,0.5]。绝缘子的红外和紫外图像的二值图像重心坐标差为(0，0)，面积比平方根为0.9512。然后进行粒子群算法搜索最佳仿射变换，搜索流程如图2所示。确定仿射变换参数搜索区间，粒子群的速度和位置按照式(1)和(2)进行变换，对于每一个粒子按照式(3)-(5)进行基于平均最近距离的图像配准度计算，即适应度，记录适应度最小的种群位置。不断地对种群进行迭代更新计算适应度，直至达到最大迭代次数或适应度达到要求，此时记录的适应度最小的种群位置所代表的参数即为最佳仿射变换参数。最大迭代次数一般设定为100次，指定适应度一般根据图像像素大小设定。如图3所示，红外图像轮廓图进行最佳仿射变换后，红外图像轮廓和可见光图像轮廓基本重叠，此时的适应度为1.2357。
可见光和紫外图像SIFT特征点识别9结果经SIFT特征配对10后，得到的配对共有105对匹配对。通过计算和统计匹配对之间的旋转角度，以1度为一个区间绘制旋转角度直方图。通过直方图比较，确定匹配对旋转角度的有效区间为[-0.5,-1.5]度，删除有效区间外的匹配对，剩余4对有效匹配对作为图像精匹配结果，如图3所示。以4对匹配对为依据，通过匹配对在可见光和红外图像中的位置差异，计算得到的紫外图像仿射变换矩阵。仿射变换后的紫外图像与可见光图像的叠加效果如图3所示。
配准后的红外图像按照式(6)提取的红外图像特征区域如图3所示，配准后的紫外图像按照式(7)提取的紫外图像特征区域如图3所示。将配准后的红外图像和紫外图像按照式(8)与可见光图像叠加，得到的最终的多光谱图像重构效果如图3所示。该图像同时包含了电气设备的可见光图像颜色特征信息，红外图像异常温升信息以及紫外图像放电特征信息，是电气设备缺陷或故障的全面直观反映，有利于提高电气设备故障检测效率。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种用于电气设备在线检测的多光谱图像重构方法，其特征在于，所述的方法包括以下步骤：
S1、分别采集红外图像、可见光图像和紫外图像；
S2、进行红外图像与可见光图像配准，并进行配准后红外图像特征区域提取；
S3、进行可见光图像与紫外图像配准，并进行配准后紫外图像特征区域提取；
S4、利用可见光图像、配准后的红外图像特征区域和紫外图像特征区域进行多光谱图像重构。
2.根据权利要求1所述的一种用于电气设备在线检测的多光谱图像重构方法，其特征在于，所述的步骤S4中进行多光谱图像重构方法如下：
其中，Ivis为可见光图像的RGB像素值，I为重构后图像的RGB像素值，Iedge(x,y,2)为紫外图像轮廓曲线图上坐标为(x,y)的像素点G分量值，Iinf为红外图像的RGB像素值，T(x,y)为红外图像上坐标为(x,y)的像素点温度值，Tthresh为红外图像的温度阈值，G(x,y)为紫外灰度图像上坐标为(x,y)的像素点灰度值，Gthresh为紫外图像的灰度阈值。
3.根据权利要求1所述的一种用于电气设备在线检测的多光谱图像重构方法，其特征在于，所述的步骤S2中进行红外图像与可见光图像配准具体包括以下步骤：
S201、分别提取可见光图像轮廓与红外图像轮廓；
S202、进行基于粒子群算法的最佳仿射变换搜索，求解可见光轮廓图与红外轮廓图的平均最近距离，得到最优仿射变换参数；
S203、将红外图像原图根据最优仿射变换参数进行仿射变换，完成可见光图像与红外图像的配准。
4.根据权利要求3所述的一种用于电气设备在线检测的多光谱图像重构方法，其特征在于，所述的步骤S2中进行配准后红外图像特征区域提取具体为，利用如下提取公式：
I1(x,y)＝Iinf(x,y),T(x,y)≥Tthresh；
其中，Iinf为红外图像的RGB像素值，I1为红外图像特征区域提取后的RGB像素值，T(x,y)为红外图像上坐标为(x,y)的像素点温度值，Tthresh为红外图像的温度阈值。
5.根据权利要求1所述的一种用于电气设备在线检测的多光谱图像重构方法，其特征在于，所述的步骤S3中进行可见光图像与紫外图像配准具体包括以下步骤：
S301、分别进行可见光图像和紫外图像的SIFT特征点识别；
S302、进行可见光图像SIFT特征点与紫外图像SIFT特征点匹配，得到多个匹配对；
S303、进行匹配对的筛选；
S304、计算筛选出的匹配对对应的仿射变换矩阵；
S305、对紫外图像进行仿射变换，完成可见光图像与紫外图像的配准。
6.根据权利要求1所述的一种用于电气设备在线检测的多光谱图像重构方法，其特征在于，所述的步骤S3中进行配准后紫外图像特征区域提取具体为，利用如下提取公式：
I2(x,y)＝Iuv(x,y),G(x,y)≥Gthresh；
其中，Iuv为紫外图像的RGB像素值，I2为紫外图像特征区域提取后的RGB像素值，G(x,y)为紫外灰度图像上坐标为(x,y)的像素点灰度值，Gthresh为紫外图像的灰度阈值。
7.根据权利要求1所述的一种用于电气设备在线检测的多光谱图像重构方法，其特征在于，所述的步骤S3中进行配准后紫外图像特征区域提取还包括，对紫外图像特征区域进行canny算子边缘提取，绘制紫外光斑边缘曲线图像Iedge。
8.根据权利要求5所述的一种用于电气设备在线检测的多光谱图像重构方法，其特征在于，所述的步骤S303中进行匹配对的筛选具体为：获取可见光与紫外图像中各匹配对的旋转角度，统计每个旋转角度区间的匹配对数目，将匹配对数目最多的旋转角度区间作为有效匹配区间，清除有效匹配区间外的匹配对。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711352971.2A CN108230237B (zh) | 2017-12-15 | 2017-12-15 | 一种用于电气设备在线检测的多光谱图像重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711352971.2A CN108230237B (zh) | 2017-12-15 | 2017-12-15 | 一种用于电气设备在线检测的多光谱图像重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108230237A true CN108230237A (zh) | 2018-06-29 |
| CN108230237B CN108230237B (zh) | 2021-06-04 |
Family
ID=62649672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711352971.2A Active CN108230237B (zh) | 2017-12-15 | 2017-12-15 | 一种用于电气设备在线检测的多光谱图像重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108230237B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109285183A (zh) * | 2018-08-25 | 2019-01-29 | 南京理工大学 | 一种基于运动区域图像清晰度的多模视频图像配准方法 |
| CN110677597A (zh) * | 2018-07-03 | 2020-01-10 | 杭州海康威视数字技术股份有限公司 | 图像处理方法及装置 |
| CN110992407A (zh) * | 2019-11-07 | 2020-04-10 | 武汉多谱多勒科技有限公司 | 一种红外与可见光图像匹配方法 |
| CN111179423A (zh) * | 2020-01-02 | 2020-05-19 | 国网福建省电力有限公司检修分公司 | 基于二维红外图像的三维红外图像生成方法 |
| CN111598883A (zh) * | 2020-05-20 | 2020-08-28 | 重庆工程职业技术学院 | 获取云数据医学影像的标定标签设备和工作方法 |
| CN112381784A (zh) * | 2020-11-12 | 2021-02-19 | 国网浙江省电力有限公司信息通信分公司 | 一种基于多光谱图像的设备检测系统 |
| CN112414950A (zh) * | 2020-11-05 | 2021-02-26 | 西南交通大学 | 一种协同高光谱与红外技术的绝缘子等值盐密检测方法 |
| CN112541478A (zh) * | 2020-12-25 | 2021-03-23 | 国网吉林省电力有限公司信息通信公司 | 一种基于双目摄像头的绝缘子串污损检测方法及系统 |
| CN112666426A (zh) * | 2020-11-13 | 2021-04-16 | 国网江苏省电力有限公司电力科学研究院 | 基于多光谱三合一图像的设备故障检测方法及系统 |
| CN113160194A (zh) * | 2021-04-28 | 2021-07-23 | 贵州电网有限责任公司 | 一种紫外和可见光图像的距离自适应配准方法 |
| CN113628255A (zh) * | 2021-07-28 | 2021-11-09 | 武汉三江中电科技有限责任公司 | 一种三光融合无损检测图像配准算法 |
| CN114629784A (zh) * | 2021-11-16 | 2022-06-14 | 西安交通大学 | 一种高压电器视频流故障可视化方法 |
| CN115049663A (zh) * | 2022-08-16 | 2022-09-13 | 星逻智能科技(苏州)有限公司 | 基于无人机双光融合绝缘子缺陷检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1720539A (zh) * | 2002-12-03 | 2006-01-11 | 维森盖特有限公司 | 使用平行射线照射的小对象的光学层析术和后标本光学放大 |
| CN102507512A (zh) * | 2011-11-07 | 2012-06-20 | 大连理工大学 | 一种红外紫外双脉冲激光诱导击穿光谱在线原位检测方法 |
| CN107240094A (zh) * | 2017-05-19 | 2017-10-10 | 同济大学 | 一种用于电气设备在线检测的可见光和红外图像重构方法 |
-
2017
- 2017-12-15 CN CN201711352971.2A patent/CN108230237B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1720539A (zh) * | 2002-12-03 | 2006-01-11 | 维森盖特有限公司 | 使用平行射线照射的小对象的光学层析术和后标本光学放大 |
| CN102507512A (zh) * | 2011-11-07 | 2012-06-20 | 大连理工大学 | 一种红外紫外双脉冲激光诱导击穿光谱在线原位检测方法 |
| CN107240094A (zh) * | 2017-05-19 | 2017-10-10 | 同济大学 | 一种用于电气设备在线检测的可见光和红外图像重构方法 |
Non-Patent Citations (2)
| Title |
|---|
| YANANHUANG 等: "Highly spectrum-selective near-band-edge ultraviolet photodiode based on indium oxide with dipole-forbidden bandgap transition", 《CERAMICS INTERNATIONAL》 * |
| 赵子琦: "多光谱图像的获取及重构算法的研究", 《万方数据库》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110677597A (zh) * | 2018-07-03 | 2020-01-10 | 杭州海康威视数字技术股份有限公司 | 图像处理方法及装置 |
| CN109285183A (zh) * | 2018-08-25 | 2019-01-29 | 南京理工大学 | 一种基于运动区域图像清晰度的多模视频图像配准方法 |
| CN109285183B (zh) * | 2018-08-25 | 2022-03-18 | 南京理工大学 | 一种基于运动区域图像清晰度的多模视频图像配准方法 |
| CN110992407A (zh) * | 2019-11-07 | 2020-04-10 | 武汉多谱多勒科技有限公司 | 一种红外与可见光图像匹配方法 |
| CN110992407B (zh) * | 2019-11-07 | 2023-10-27 | 武汉多谱多勒科技有限公司 | 一种红外与可见光图像匹配方法 |
| CN111179423B (zh) * | 2020-01-02 | 2023-04-07 | 国网福建省电力有限公司检修分公司 | 基于二维红外图像的三维红外图像生成方法 |
| CN111179423A (zh) * | 2020-01-02 | 2020-05-19 | 国网福建省电力有限公司检修分公司 | 基于二维红外图像的三维红外图像生成方法 |
| CN111598883A (zh) * | 2020-05-20 | 2020-08-28 | 重庆工程职业技术学院 | 获取云数据医学影像的标定标签设备和工作方法 |
| CN111598883B (zh) * | 2020-05-20 | 2023-05-26 | 重庆工程职业技术学院 | 获取云数据医学影像的标定标签设备和工作方法 |
| CN112414950A (zh) * | 2020-11-05 | 2021-02-26 | 西南交通大学 | 一种协同高光谱与红外技术的绝缘子等值盐密检测方法 |
| CN112381784A (zh) * | 2020-11-12 | 2021-02-19 | 国网浙江省电力有限公司信息通信分公司 | 一种基于多光谱图像的设备检测系统 |
| CN112381784B (zh) * | 2020-11-12 | 2024-06-25 | 国网浙江省电力有限公司信息通信分公司 | 一种基于多光谱图像的设备检测系统 |
| CN112666426A (zh) * | 2020-11-13 | 2021-04-16 | 国网江苏省电力有限公司电力科学研究院 | 基于多光谱三合一图像的设备故障检测方法及系统 |
| CN112541478A (zh) * | 2020-12-25 | 2021-03-23 | 国网吉林省电力有限公司信息通信公司 | 一种基于双目摄像头的绝缘子串污损检测方法及系统 |
| CN113160194A (zh) * | 2021-04-28 | 2021-07-23 | 贵州电网有限责任公司 | 一种紫外和可见光图像的距离自适应配准方法 |
| CN113628255A (zh) * | 2021-07-28 | 2021-11-09 | 武汉三江中电科技有限责任公司 | 一种三光融合无损检测图像配准算法 |
| CN113628255B (zh) * | 2021-07-28 | 2024-03-12 | 武汉三江中电科技有限责任公司 | 一种三光融合无损检测图像配准算法 |
| CN114629784A (zh) * | 2021-11-16 | 2022-06-14 | 西安交通大学 | 一种高压电器视频流故障可视化方法 |
| CN115049663A (zh) * | 2022-08-16 | 2022-09-13 | 星逻智能科技(苏州)有限公司 | 基于无人机双光融合绝缘子缺陷检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108230237B (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108230237A (zh) | 一种用于电气设备在线检测的多光谱图像重构方法 | |
| CN106709950B (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
| CN107240094A (zh) | 一种用于电气设备在线检测的可见光和红外图像重构方法 | |
| CN108765373A (zh) | 一种基于集成分类器在线学习的绝缘子异常自动检测方法 | |
| CN106023185A (zh) | 一种输电设备故障诊断方法 | |
| CN107358259B (zh) | 基于GLOH描述子和GVF-Snake模型的绝缘子覆冰检测方法 | |
| CN106228528B (zh) | 一种基于决策图与稀疏表示的多聚焦图像融合方法 | |
| CN110660065B (zh) | 一种红外故障检测识别算法 | |
| CN106023298A (zh) | 基于局部泊松曲面重建的点云刚性配准方法 | |
| CN107657209B (zh) | 一种基于手指静脉图像质量的模板图像注册机制 | |
| CN107944416A (zh) | 一种通过视频进行真人验证的方法 | |
| CN111079518B (zh) | 一种基于执法办案区场景下的倒地异常行为识别方法 | |
| CN109034272A (zh) | 一种输电线路发热部件自动识别方法 | |
| Ling et al. | Image quality assessment for free viewpoint video based on mid-level contours feature | |
| CN106650580A (zh) | 基于图像处理的货架快速清点方法 | |
| CN111783834B (zh) | 一种基于联合图频谱特征分析的异源图像匹配方法 | |
| CN109409389A (zh) | 一种融合多特征的面向对象变化检测方法 | |
| CN106845378B (zh) | 一种自对向图像中识别人体目标的方法 | |
| CN113723314A (zh) | 一种基于YOLOv3算法的甘蔗茎节识别方法 | |
| Yihong et al. | Fabric defect detection with optimal Gabor wavelet based on radon | |
| CN112232249A (zh) | 一种基于深度特征的遥感图像变化检测方法及装置 | |
| CN106682617B (zh) | 一种基于频谱段信息的图像清晰与模糊判别特征提取方法 | |
| CN113160236B (zh) | 一种光伏电池阴影遮挡的图像识别方法 | |
| CN114821035A (zh) | 一种电力设备红外测温设备距离参数识别方法 | |
| CN114677428A (zh) | 基于无人机图像处理的输电线覆冰厚度检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |