CN106257535A - 基于surf算子的电气设备红外与可见光图像配准方法 - Google Patents

基于surf算子的电气设备红外与可见光图像配准方法 Download PDF

Info

Publication number
CN106257535A
CN106257535A CN201610653585.6A CN201610653585A CN106257535A CN 106257535 A CN106257535 A CN 106257535A CN 201610653585 A CN201610653585 A CN 201610653585A CN 106257535 A CN106257535 A CN 106257535A
Authority
CN
China
Prior art keywords
image
point
registration
value
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610653585.6A
Other languages
English (en)
Other versions
CN106257535B (zh
Inventor
李庆武
许金鑫
马云鹏
刘艳
霍冠英
周妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jotry Electrical Technology Co ltd
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201610653585.6A priority Critical patent/CN106257535B/zh
Publication of CN106257535A publication Critical patent/CN106257535A/zh
Application granted granted Critical
Publication of CN106257535B publication Critical patent/CN106257535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/147
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Abstract

本发明公开了一种基于SURF算子的电气设备红外与可见光图像的配准方法,采用了一种基于多方向、不同权值的形态学边缘检测方法分别得到电气设备红外与可见光图像的边缘图像,通过SURF算子分别提取边缘图像的特征点,然后根据最后的正确匹配点对之间的斜率方向一致性的先验知识,提出了一种新的匹配策略来寻找正确的匹配点对,求出仿射变换模型参数,最后通过双线性插值的方法对待配准图像进行空间坐标变换,得到最终的配准图像。本发明采用的方法能够实现图像快速、高精度的匹配,可广泛应用于电气设备健康状态检测和故障诊断领域。

Description

基于SURF算子的电气设备红外与可见光图像配准方法
技术领域
本发明属于图像处理技术领域,涉及一种电气设备红外与可见光图像的配准方法。
背景技术
随着社会的发展,为了满足各行各业对电力大量的需求,必须要保证电网供电的稳定性以及安全性。而电力设备是电力电网系统的重要组成部分,电力设备安全稳定的运行可以保证电网可靠地供电。但是因为电力设备长期处于运行状态同时非常容易受到环境变化的影响,经常会造成各种各样故障的发生,一般的表现形式有设备整体或者局部的异常发热,如设备绝缘性能劣化或绝缘故障导致介质损耗增大而引起的发热、接头接触不良引起的局部过热等。所以对电力设备的热状态进行定期的检测,并通过设备的热状态进行分析和诊断,是保障电力设备和电网可靠运行的重要手段之一。由于电力设备的分布比较广、数目种类繁多而且运行时具有高温、高电压等特殊性,难以采用常规的检测方式确定电力设备的热状态。
多传感器的协作运行可以互相弥补各自的局限性,如为了更加可靠的保证电气设备的正常运行,可以采用红外与可见光传感器结合的方法对电气设备进行异常发热区域的检测和精准定位。由于采用红外成像的电力设备检测技术是对设备的表面进行非接触、远距离成像检测,不会受到崎岖地形、设备运行状态的制约,具有直观安全、应用范围广等特点,已经成为电力设备健康状态检测和故障诊断的重要手段。
所谓图像配准(Image Registration)就是寻找图像之间一种空间变换关系,将图像变换到统一的坐标系下,使得两幅图像中同一目标具有相同坐标位置的过程,其中两幅图像在不同的视角、传感器、时间下获得。它也是解决图像融合、目标检测和识别的前提,在遥感、军事、计算机视觉等众多场合得到了比较广泛的应用和发展。
由于来源于不同的传感器拍摄,多源图像之间的融合可以获得比单模态图像更多的细节信息,而此时多源图像之间的配准则显得尤为重要。本发明所研究的红外与可见光图像的配准则属于比较常见的多源图像配准问题,红外图像是基于温差的,其反映的被测物体的辐射信息,无法分辨出相同温度区域目标的特征,而可见光图像反映了被测目标的反射信息。对这两种模态的电气设备图像进行融合,既可以通过红外图像得到电气设备的热状态信息,及时发现设备异常发热问题,又可以通过可见光图像对设备温度异常区域进行精确定位,当设备出现故障时,这两种模态的优势互补可以快速对故障进行精确定位,确保设备可靠运行。红外与可见光两种图像拍摄设备在对同一目标取景时难免会出现一定程度的旋转、平移、缩放,导致两幅图像在同一坐标下存在空间位置的差异,使得多源图像的配准成为图像融合的必要步骤。而快速、精准度高、算法鲁棒性好成为红外和可见光图像的配准方法所追求的一个目标。
目前图像的配准方法可以分为:基于区域灰度的配准方法和基于特征的配准方法。其中基于区域灰度的配准方法大都是先定义一种基于灰度信息的相似性准则函数,然后选取图像某一区域去搜索最优的变换参数值,如果相似性准则函数的值最大,那么所对应的求解参数值即为最优值。其中以互信息为测度的图像配准具有鲁棒性强、精度高等特点,得到了广泛的应用,但是其计算量比较大,从而导致配准过程花费较长时间。而基于特征的配准方法由于具有计算速度快、鲁棒性好、对几何形变不敏感等特点逐渐被广泛运用,其核心是:对于多源图像数据,选择共有的特征和适用于该特征的匹配策略。典型的检测子包括:Harris角点检测子、Hessan_Laplace、SIFT算法、SURF算法等,其中Bay于2006年5月提出的SURF算法在性能上优于SIFT算法,且在运算速度上也有很大的优势。基于现有技术,本发明研究了一种基于数学形态学的边缘检测算法以及一种新的SURF特征点匹配方法用于电气设备红外与可见光图像的配准,保证了配准的精度,同时也提高了特征点的匹配速度。
发明内容
本发明所要解决的技术问题是,提供一种电气设备红外与可见光图像的配准方法,可以实现电气设备红外图像与可见光图像的高精度配准。
为解决上述技术问题,本发明提供一种基于SURF算子的电气设备红外与可见光图像的配准方法,其特征在于:包括以下步骤:
1)获取同一场景下电气设备的红外图像与可见光图像,并且红外图像与可见光图像尺寸相同;
2)采用基于多方向、不同权值的形态学边缘检测方法分别提取电气设备红外图像与可见光图像的边缘;
3)通过SURF(SpeededUp Robust Features)算子得到红外边缘图像和可见光边缘图像的特征点;
4)采用特征点匹配算法对特征点进行匹配,筛选出正确的匹配点对,计算出仿射变换模型的各系数值;
5)根据仿射变换模型通过插值运算对待配准图像进行空间坐标变换,得到最终的配准图像。
本发明所达到的有益效果:本发明解决了电气设备同一场景的红外与可见光图像间一致特征难以提取和匹配的问题,有效提高了匹配点对的正确率,能够对电气设备红外和可见光图像实现高精度的配准。
附图说明
图1是本发明基于SURF算子的电气设备红外与可见光图像的配准方法的流
程图。
图2是本发明结构元素S的四个方向上的不同结构。
图3是本发明采用的双线性插值法的示意图。
具体实施方式
本发明的实施示意图如图1所示,本发明的基于SURF算子的电气设备红外与可见光图像的配准方法,具体步骤包括:
1)获取同一场景下电气设备的红外图像与可见光图像,并且红外图像与可见光图像具有相同的尺寸;
2)对电气设备红外图像与可见光图像进行灰度化处理,采用基于多方向、不同权值的形态学边缘检测方法分别提取灰度图像的边缘,具体步骤包括:
21)采用如下滤波器对图像进行去噪处理,滤波器公式如下:
22)确定边缘检测算子Ek如下式:
其中,f代表含有噪声的图像,Sk表示方向结构元素,C为用于滤波的结构元素,D表示去噪后的平滑图像,·表示形态学的闭运算,表示形态学的闭运算,Θ表示腐蚀运算;
23)用于滤波的结构元素C值为[0 1 0;1 1 1;0 1 0],方向结构元素Sk包括4个方向,分别为:S1=[0 1 0;0 1 0;0 1 0];S2=[1 0 0;0 1 0;0 0 1];S3=[0 0 0;1 1 1;0 00];S4=[0 0 1;0 1 0;1 0 0];同时在尺寸为3×3的图像子块中,a1,a2,···,a9分别代表子块中各像素点的灰度值,其中a1为中间像素点的灰度值,a2,···,a9为其邻域像素点的灰度值;
通过比较结构元素和图像边缘方向之间的关系,可以发现,如果所选结构元素的方向和边缘梯度方向一致,那么此时能够正确地检测到细节信息,降低错检、漏检等现象发生的概率。
本发明通过计算图像子块中4个方向上像素的变化值来判断边缘梯度走向,并对应到四种结构元素的一种。
令坐标点(x,y)表示红外图像和可见光图像中任意一像素点,红外图像和可见光图像中每个子块内的邻域间差值的绝对值和各方向结构元素的对应匹配关系为:
方向结构元素S1、S2、S3、S4分别对应的邻域间差值的绝对值分别为:
F e 1 ( x , y ) = | Σ h = 3 5 a h - Σ h = 7 9 a h | , F e 2 ( x , y ) = | Σ h = 4 6 a h - Σ h = 8 9 a h - a 2 | ,
F e 3 ( x , y ) = | Σ h = 5 7 a h - Σ h = 2 3 a h - a 9 | , F e 4 ( x , y ) = | Σ h = 6 8 a h - Σ h = 2 4 a h | ;
方向结构元素S1、S2、S3、S4分别对应的计数值Count为:Count1、Count2、Count3、Count4
在3×3图像子块遍历整幅图像的过程中,每次计算四个邻域间差值的绝对值参数值:Fe1(x,y)、Fe2(x,y)、Fe3(x,y)、Fe4(x,y),然后比较四个邻域间差值的绝对值的大小,对最大邻域间差值的绝对值所对应的方向结构元素所对应的计数值Count加1,最后由计数值Count来确定方向结构元素在四个方向上的权值,公式如下所示:
w k = Count k / Σ k = 1 4 Count k , k = 1 , 2 , 3 , 4
其中w1,w2,w3,w4分别为4个方向结构元素S1、S2、S3、S4所占的比例系数;
把4个方向结构元素依次代入边缘检测算子E k ,再根据所计算的4个比例系数w1,w2,w3,w4对边缘检测算子E k 进行叠加,公式如下所示,获得边缘图像E,
E = Σ k = 1 4 w k E k , k = 1 , 2 , 3 , 4 ;
24)设置阈值系数α,将步骤23)得到的边缘图像E中灰度值大于α的点的灰度值置为255,灰度值小于或等于α的点的灰度值置0,得到最终边缘图像。
3)通过SURF算子得到红外图像与可见光图像的边缘图像的特征点。下面将从特征点的检测、描述两个方面来详细介绍SURF理论。
31)检测特征点:
在SURF算法中,通过计算近似的Hessian矩阵行列式的值来定位特征点。当某点处Hessian行列式的值局部最大时,所检测出来的就是特征点。特征点一般比周围邻域点更亮或更暗一些。SURF方法提取特征点过程仅使用原始图像。将不同尺寸的方形滤波器作用在原始图像上,由于使用了积分图像,尽管方形滤波器的尺寸有所不同,但处理速度可保持不变。SURF尺度空间包括若干组(Octave),每一组内包含了若干层。每一层为不同尺度的图像。不同尺度的图像为原始图像与不同尺寸的方形滤波器高斯卷积后得到的结果图像。各组之间的区别为最底层方形滤波器的窗口尺寸及组内各层的方形滤波器的窗口大小步进。第一组最底层使用边长为9的方形滤波器,之后每一组最底层将使用前一组第二层方形滤波器的尺寸。比如第一组各层方形滤波器的尺寸分别为9,15,21,27;第二组各层方形滤波器的尺寸分别为15,27,39,51;第三组各层方形滤波器的尺寸分别为27,51,75,99。
为了保证SURF特征点的尺度不变性,SURF算法中特征点的选取是基于Hessian矩阵,具体方法为:计算某点处Hessian矩阵行列式的值,当该点处Hessian矩阵行列式的值为局部区域最大值时,认为该点为特征点的候选点。同时为了除去非区域内Hessian矩阵行列式最大值的点,引入非最大值抑制的方法。若某点通过了非最大值抑制,并且其Hessian矩阵行列式的值大于阈值,则对其进行三维邻域最大值验证,将与该点同尺度下的8个3×3邻域内的点及上下两层相邻尺度的18个3×3邻域的点进行比较,以保证该点确为尺度空间的极值点。
32)特征点的描述
为了实现SURF特征的旋转不变性,需要为每个SURF特征点分配唯一的主方向。SURF特征点主方向是由特征点圆形邻域内其它点的信息所确定。其主方向通过计算Haar小波响应来确定。
使用以特征点为顶点、圆心角为60°的扇形扫描特征点圆形邻域。在扫描过程中,每扫描1°,计算扇形覆盖的图像区域内的Haar小波响应在x、y方向上的累加和,x、y方向就是水平和竖直方向,扇形区域内的Haar小波响应累加和应为一个矢量。当扇形旋转一周后,将得到360个矢量,其中,长度最长的矢量所对应的方向即为该特征点的主方向。
SURF描述子的生成过程中,参与运算的区域为以特征点为中心的,边长为20倍特征点尺度值得正方形区域。该正方形区域的y轴方向与特征点主方向重合。将参与运算的正方形区域分割成4×4的子区域,每个区域大小为5×5像素点。对每一个子区域,使用尺寸为2倍特征点尺度的Haar小波模板进行运算。设dx为x方向子区域的Haar小波响应值,dy为y方向子区域的Haar小波响应值。对所有得到的dx和dy,以特征点为中心,使用标准差为3.3倍特征点尺度的高斯函数进行加权运算。最后,将4×4个子区域的4维向量组合v=(∑dx,∑|dx|,∑dy,∑|dy|),即得到了一个64维的向量。为了使SURF描述子具备光照不变性,对得到的64维向量进行归一化处理,即得到了包含64维信息的SURF特征点描述子。
4)采用特征点匹配算法对特征点进行匹配,筛选出正确的匹配点对,计算出仿射变换模型的各系数值。
本发明的特征点匹配方法,步骤如下:
假设参考图像用I1表示,待配准图像用I2表示,尺寸均为M×N,并将参考图像和待配准图像水平依次放置于同一坐标轴下,形成尺寸为M×2N的图像,M代表图像的行数,N代表图像的列数;
参考图像I1、待配准图像I2通过SURF方法检测到的特征点集合分别表示成:
Pos1={(x1',y1'),(x'2,y'2),···,(x′i,y′i),···,(x'm,y'm)},1≤i≤m,
Pos2={(x1,y1),(x2,y2),···,(xj,yj),···,(xn,yn)},1≤j≤n,其中m,n分别表示参考图像I1和待配准图像I2特征点的数量;根据最后正确匹配点对之间的斜率方向一致性的先验知识,匹配方法的步骤为:
41)对参考图像I1的特征点集合Pos1中的每个点i,计算其与待配准图像I2的特征点集合Pos2中所有的点之间的欧氏距离,选择最小欧氏距离对应的点作为点i的粗匹配点;
42)计算所有粗匹配点对之间的欧氏距离,并按照欧式距离由小到大的顺序对匹配点对排序,然后遍历所有的点对,删除其中多点对一点的点对,此时修正后参考图像I1的特征点集合和修正后待配准图像I2中的特征点集合分别用Pos1'和Pos2'表示;
43)选择修正后参考图像的特征点集合Pos1'和修正后待配准图像的特征点集合Pos2'中前K1对匹配点,记作称为集合1;选择修正后参考图像的特征点集合Pos1'和修正后待配准图像的特征点集合Pos2'中前K2对匹配点,用Pos_K2表示,其中称为集合2,其中K1<K2
44)对于集合2中所有的点对,计算两点间的斜率,公式如下所示,形成斜率集合一k,并对斜率集合一k四舍五入取整,形成斜率集合二:k'={k1,k2,···,kp};
k p = y p + N - y p ′ x p - x p ′ , 1 ≤ p ≤ K 2
45)计算斜率集合二中每个斜率出现的频数,筛选频数大于等于2的斜率,形成新的斜率集合三k_new={k1',k'2,···,k'q},其中q是得到的特征点的总数量,理论上斜率集合三k_new1中元素个数小于等于斜率集合二k'中元素个数;如果斜率集合二中的每个斜率出现的频数都为1,则选择前2K2/3对的斜率构成新的斜率集合三k_new;
46)遍历计算考图像的特征点集合二Pos1'和待配准图像的特征点集合二Pos2'中所有的点对的斜率,筛选出斜率在区间[k'p-0.5,k'p+0.5]内的所有的点对,形成点对集合Pos_K3,其中k'p∈k_new;
47)从集合1中按照排列组合的方法依次选出3组不同的点对代入仿射变换模型计算出模型参数G,共有种情况;然后将点对集合Pos_K3中的点逐个对代入仿射变换模型,并设定阈值delta,当满足下式时,确认该点对集合符合仿射变换模型,称为内点对,
|G×(xi;yi;1)-(x′i;y′i;1)|<delta
其中,(xi,yi),(x′i,y′i)是一对粗匹配点,且满足{(xi,yi),(x′i,y′i)}∈Pos_K3;仿射变换模型的数学模型表示为:
x ′ y ′ = a 11 a 12 a 21 a 22 x y + Δ x Δ y
其中,(x,y)和(x',y')分别是变换前的坐标和变换后的坐标点,Δx和Δy分别是水平和竖直方向上的平移量;a11、a12、a21、a22均为仿射变换模型里的参数,G为仿射变换模型里各参数用矩阵表示的形式,最后可以用表示,delta值为[1;1;0];
48)根据不同的仿射变换模型参数计算符合仿射变换模型的点对的数量,选出数量最大时的情况得到最佳模型参数,其中K1的值一般设为10,K2的值一般设为20,delta值设为[1;1;0]。
5)根据仿射变换模型通过插值运算对待配准图像进行空间坐标变换,得到最终的配准图像。
具体步骤为:首先为待配准图像建立一个和原图像大小相同的空矩阵,然后根据仿射变换模型对于空矩阵中的每个点进行坐标逆变换,得到空矩阵中的每个点在待配准图像上的对应点,再通过双线性插值法得到该点的像素值,作为待配准图像上对应点的像素值,其中,插值运算采用双线性插值法,如图3所示,原理如下:
假设f(x,y)是所要求的灰度值,f(u,v),f(u+1,v),f(u,v+1),f(u+1,v+1)分别代表采样点f(x,y)周围四个像素点的灰度值大小,其中(u,v)是整数的坐标点,(x,y)是小数的坐标点。则点(x,y)的像素灰度值的计算如式所示:
Q 1 = f ( u , v ) + ( y - v ) [ f ( u , v + 1 ) - f ( u , v ) ] Q 2 = f ( u + 1 , v ) + ( y - v ) [ f ( u + 1 , v + 1 ) - f ( u + 1 , v ) ] f ( x , y ) = Q 1 + ( x - u ) ( Q 2 - Q 1 ) ,
其中,Q1,Q2均为中间变量。
以上对本发明提出的一种基于SURF算子的电气设备红外与可见光图像的配准方法进行了详细介绍,可广泛应用于电力设备健康状态检测和故障诊断领域。

Claims (5)

1.一种基于SURF算子的电气设备红外与可见光图像的配准方法,其特征在于,包括以下步骤:
1)获取同一场景下电气设备的红外图像与可见光图像,并且红外图像与可见光图像尺寸相同;
2)采用基于多方向、不同权值的形态学边缘检测方法分别提取电气设备红外图像与可见光图像的边缘;
3)通过SURF算子得到红外边缘图像和可见光边缘图像的特征点;
4)采用特征点匹配算法对特征点进行匹配,筛选出正确的匹配点对,计算出仿射变换模型的各系数值;
5)根据仿射变换模型通过插值运算对待配准图像进行空间坐标变换,得到最终的配准图像。
2.根据权利要求1所述的基于SURF算子的电气设备红外与可见光图像的配准方法,其特征在于:在步骤(2)中,具体步骤包括:
21)采用如下滤波器对图像进行去噪处理,滤波器公式如下:
22)确定边缘检测算子Ek如下式:
Ek=(f·Sk)оSk-(f·Sk)ΘSk,k=1,2,3,4
其中,f代表含有噪声的图像,Sk表示方向结构元素,C为用于滤波的结构元素,D表示去噪后的平滑图像,·表示形态学的闭运算,о表示形态学的闭运算,Θ表示腐蚀运算;
23)用于滤波的结构元素C值为[0 1 0;1 1 1;0 1 0],方向结构元素Sk包括4个方向,分别为:S1=[0 1 0;0 1 0;0 1 0];S2=[1 0 0;0 1 0;0 0 1];S3=[0 0 0;1 1 1;0 0 0];S4=[0 0 1;0 1 0;1 0 0];同时在尺寸为3×3的图像子块中,a1,a2,…,a9分别代表子块中各像素点的灰度值,其中a1为中间像素点的灰度值,a2,…,a9为其邻域像素点的灰度值;
令坐标点(x,y)表示红外图像和可见光图像中任意一像素点,红外图像和可见光图像中每个子块内的邻域间差值的绝对值和各方向结构元素的对应匹配关系为:
方向结构元素S1、S2、S3、S4分别对应的邻域间差值的绝对值分别为:
F e 1 ( x , y ) = | Σ h = 3 5 a h - Σ h = 7 9 a h | , F e 2 ( x , y ) = | Σ h = 4 6 a h - Σ h = 8 9 a h - a 2 | ,
F e 3 ( x , y ) = | Σ h = 5 7 a h - Σ h = 2 3 a h - a 9 | , F e 4 ( x , y ) = | Σ h = 6 8 a h - Σ h = 2 4 a h | ;
方向结构元素S1、S2、S3、S4分别对应的计数值Count为:Count1、Count2、Count3、Count4
在3×3图像子块遍历整幅图像的过程中,每次计算四个邻域间差值的绝对值参数值:Fe1(x,y)、Fe2(x,y)、Fe3(x,y)、Fe4(x,y),然后比较四个邻域间差值的绝对值的大小,对最大邻域间差值的绝对值所对应的方向结构元素所对应的计数值Count加1,最后由计数值Count来确定方向结构元素在四个方向上的权值,公式如下所示:
w k = Count k / Σ k = 1 4 Count k , k = 1 , 2 , 3 , 4
其中w1,w2,w3,w4分别为4个方向结构元素S1、S2、S3、S4所占的比例系数;
把4个方向结构元素依次代入边缘检测算子Ek,再根据所计算的4个比例系数w1,w2,w3,w4对边缘检测算子Ek进行叠加,公式如下所示,获得边缘图像E,
E = Σ k = 1 4 w k E k , k = 1 , 2 , 3 , 4 ;
24)设置阈值系数α,将步骤23)得到的边缘图像E中灰度值大于α的点的灰度值置为255,灰度值小于或等于α的点的灰度值置0,得到最终边缘图像。
3.根据权利要求2所述的基于SURF算子的电气设备红外与可见光图像的配准方法,其特征在于:在步骤(4)中,特征点匹配方法包括以下步骤:
假设参考图像用I1表示,待配准图像用I2表示,尺寸均为M×N,并将参考图像和待配准图像水平依次放置于同一坐标轴下,形成尺寸为M×2N的图像,M代表图像的行数,N代表图像的列数;
参考图像I1、待配准图像I2通过SURF方法检测到的特征点集合分别表示成:
Pos1={(x′1,y′1),(x'2,y'2),…,(x′i,y′i),…,(x'm,y'm)},1≤i≤m,
Pos2={(x1,y1),(x2,y2),…,(xj,yj),…,(xn,yn)},1≤j≤n,其中m,n分别表示参考图像I1和待配准图像I2特征点的数量;根据最后正确匹配点对之间的斜率方向一致性的先验知识,匹配方法的步骤为:
41)对参考图像I1的特征点集合Pos1中的每个点i,计算其与待配准图像I2的特征点集合Pos2中所有的点之间的欧氏距离,选择最小欧氏距离对应的点作为点i的粗匹配点;
42)计算所有粗匹配点对之间的欧氏距离,并按照欧式距离由小到大的顺序对匹配点对排序,然后遍历所有的点对,删除其中多点对一点的点对,此时修正后参考图像I1的特征点集合和修正后待配准图像I2中的特征点集合分别用Pos1'和Pos2'表示;
43)选择修正后参考图像的特征点集合Pos1'和修正后待配准图像的特征点集合Pos2'中前K1对匹配点,记作
称为集合1;选择修正后参考图像的特征点集合Pos1'和修正后待配准图像的特征点集合Pos2'中前K2对匹配点,用Pos_K2表示,其中
称为集合2,其中K1<K2
44)对于集合2中所有的点对,计算两点间的斜率,公式如下所示,形成斜率集合一k,并对斜率集合一k四舍五入取整,形成斜率集合二:k'={k1,k2,…,kp};
k p = y p + N - y p ′ x p - x p ′ , 1 ≤ p ≤ K 2
45)计算斜率集合二中每个斜率出现的频数,筛选频数大于等于2的斜率,形成新的斜率集合三k_new={k′1,k'2,…,k'q};其中q是得到的特征点的总数量,如果斜率集合二中的每个斜率出现的频数都为1,则选择前2K2/3对的斜率构成新的斜率集合三k_new;
46)遍历计算考图像的特征点集合二Pos1'和待配准图像的特征点集合二Pos2'中所有的点对的斜率,筛选出斜率在区间[k'p-0.5,k'p+0.5]内的所有的点对,形成点对集合Pos_K3,其中k'p∈k_new;
47)从集合1中按照排列组合的方法依次选出3组不同的点对代入仿射变换模型计算出模型参数G,共有种情况;然后将点对集合Pos_K3中的点逐个对代入仿射变换模型,并设定阈值delta,当满足下式时,确认该点对集合符合仿射变换模型,称为内点对,
|G×(xi;yi;1)-(x′i;y′i;1)|<delta
其中,(xi,yi),(x′i,y′i)是一对粗匹配点,且满足{(xi,yi),(x′i,y′i)}∈Pos_K3;仿射变换模型的数学模型表示为:
x ′ y ′ = a 11 a 12 a 21 a 22 x y + Δ x Δ y
其中,(x,y)和(x',y')分别是变换前的坐标和变换后的坐标点,Δx和Δy分别是水平和竖直方向上的平移量;a11、a12、a21、a22均为仿射变换模型里的参数,G为仿射变换模型里各参数用矩阵表示的形式,最后可以用表示,delta值为[1;1;0];
48)根据不同的仿射变换模型参数计算符合仿射变换模型的点对的数量,选出数量最大时的情况得到最佳模型参数。
4.根据权利要求3所述的基于SURF算子的电气设备红外与可见光图像的配准方法,其特征在于:K1的值为10,K2的值为20,delta值为[1;1;0]。
5.根据权利要求3所述的基于SURF算子的电气设备红外与可见光图像的配准方法,其特征在于:在步骤(5)中,具体步骤为:首先为待配准图像建立一个和原图像大小相同的空矩阵,然后根据仿射变换模型对于空矩阵中的每个点进行坐标逆变换,得到空矩阵中的每个点在待配准图像上的对应点,再通过双线性插值法得到该点的像素值,作为待配准图像上对应点的像素值。
CN201610653585.6A 2016-08-11 2016-08-11 基于surf算子的电气设备红外与可见光图像配准方法 Active CN106257535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610653585.6A CN106257535B (zh) 2016-08-11 2016-08-11 基于surf算子的电气设备红外与可见光图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610653585.6A CN106257535B (zh) 2016-08-11 2016-08-11 基于surf算子的电气设备红外与可见光图像配准方法

Publications (2)

Publication Number Publication Date
CN106257535A true CN106257535A (zh) 2016-12-28
CN106257535B CN106257535B (zh) 2019-05-21

Family

ID=57713768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610653585.6A Active CN106257535B (zh) 2016-08-11 2016-08-11 基于surf算子的电气设备红外与可见光图像配准方法

Country Status (1)

Country Link
CN (1) CN106257535B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025648A (zh) * 2017-03-20 2017-08-08 中国人民解放军空军工程大学 一种电路板故障红外图像自动检测方法
CN107588823A (zh) * 2017-09-18 2018-01-16 河海大学 基于双波段成像的水尺水位测量方法
CN107680054A (zh) * 2017-09-26 2018-02-09 长春理工大学 雾霾环境下多源图像融合方法
CN107730494A (zh) * 2017-10-24 2018-02-23 河海大学 一种基于变分模态分解的锚杆检测方法
CN107784659A (zh) * 2017-10-16 2018-03-09 华南理工大学 一种搜索电气设备红外图像相似可见光图像的方法
CN108509922A (zh) * 2018-03-30 2018-09-07 湖南科技大学 一种旋转机械故障诊断方法及系统
CN109078270A (zh) * 2018-06-29 2018-12-25 天津市宝坻区人民医院 一种基于放射治疗的辅助红外定位装置及方法
CN109242813A (zh) * 2018-09-11 2019-01-18 中国科学院长春光学精密机械与物理研究所 基于潜在低秩表示与nsst的图像融合方法及装置
CN109523583A (zh) * 2018-10-09 2019-03-26 河海大学常州校区 一种基于反馈机制的电力设备红外与可见光图像配准方法
CN109544608A (zh) * 2018-03-22 2019-03-29 广东电网有限责任公司清远供电局 一种无人机图像采集特征配准方法
CN110021029A (zh) * 2019-03-22 2019-07-16 南京华捷艾米软件科技有限公司 一种适用于rgbd-slam的实时动态配准方法及存储介质
CN110148162A (zh) * 2019-04-29 2019-08-20 河海大学 一种基于复合算子的异源图像匹配方法
CN110335271A (zh) * 2019-07-10 2019-10-15 浙江铁素体智能科技有限公司 一种电气部件故障的红外检测方法及装置
CN110392230A (zh) * 2018-04-19 2019-10-29 广东电网有限责任公司 一种变电站无人值守系统
CN110544285A (zh) * 2019-10-30 2019-12-06 南京安科医疗科技有限公司 一种矫正头部ct图像中头部位置的方法及系统
CN111028276A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像对齐方法、装置、存储介质及电子设备
CN111156655A (zh) * 2019-12-24 2020-05-15 珠海格力电器股份有限公司 一种空调主控板故障自检测方法及空调
CN111899288A (zh) * 2020-06-01 2020-11-06 上海大学 基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法
CN112288761A (zh) * 2020-07-07 2021-01-29 国网江苏省电力有限公司常州供电分公司 一种异常发热的电力设备检测方法、装置和可读存储介质
CN112348019A (zh) * 2020-11-17 2021-02-09 武汉璞睿互联技术有限公司 一种答题卡矫正方法、装置、电子设备及存储介质
CN113112440A (zh) * 2021-04-23 2021-07-13 华北电力大学 一种基于fpga的紫外与可见光图像融合系统及方法
CN113344987A (zh) * 2021-07-07 2021-09-03 华北电力大学(保定) 复杂背景下电力设备的红外与可见光图像配准方法及系统
CN113628261A (zh) * 2021-08-04 2021-11-09 国网福建省电力有限公司泉州供电公司 一种电力巡检场景下的红外与可见光图像配准方法
US20220319011A1 (en) * 2020-06-08 2022-10-06 Shanghai Jiaotong University Heterogeneous Image Registration Method and System
CN110956640B (zh) * 2019-12-04 2023-05-05 国网上海市电力公司 一种异源图像边缘点检测与配准方法
CN117351049A (zh) * 2023-12-04 2024-01-05 四川金信石信息技术有限公司 热成像与可见光融合的测点配准引导方法、设备和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205818A (zh) * 2015-09-18 2015-12-30 国网上海市电力公司 一种电气设备红外图像和可见光图像配准的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205818A (zh) * 2015-09-18 2015-12-30 国网上海市电力公司 一种电气设备红外图像和可见光图像配准的方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BARBARA ZITOVA 等: "Image registration methods: a survey", 《IMAGE AND VISION COMPUTING》 *
姚进: "基于数学形态的边缘检测研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
纪利娥: "基于特征的异类图像复合配准技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
许金鑫 等: "基于斜率一致性的电气设备红外与可见光图像配准方法", 《光电子·激光》 *
韩璐: "改进的基于多尺度多方向结构元素和形态学的边缘检测算法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025648A (zh) * 2017-03-20 2017-08-08 中国人民解放军空军工程大学 一种电路板故障红外图像自动检测方法
CN107588823A (zh) * 2017-09-18 2018-01-16 河海大学 基于双波段成像的水尺水位测量方法
CN107680054A (zh) * 2017-09-26 2018-02-09 长春理工大学 雾霾环境下多源图像融合方法
CN107680054B (zh) * 2017-09-26 2021-05-18 长春理工大学 雾霾环境下多源图像融合方法
CN107784659A (zh) * 2017-10-16 2018-03-09 华南理工大学 一种搜索电气设备红外图像相似可见光图像的方法
CN107730494A (zh) * 2017-10-24 2018-02-23 河海大学 一种基于变分模态分解的锚杆检测方法
CN109544608A (zh) * 2018-03-22 2019-03-29 广东电网有限责任公司清远供电局 一种无人机图像采集特征配准方法
CN109544608B (zh) * 2018-03-22 2023-10-24 广东电网有限责任公司清远供电局 一种无人机图像采集特征配准方法
CN108509922A (zh) * 2018-03-30 2018-09-07 湖南科技大学 一种旋转机械故障诊断方法及系统
CN110392230A (zh) * 2018-04-19 2019-10-29 广东电网有限责任公司 一种变电站无人值守系统
CN109078270A (zh) * 2018-06-29 2018-12-25 天津市宝坻区人民医院 一种基于放射治疗的辅助红外定位装置及方法
CN109242813A (zh) * 2018-09-11 2019-01-18 中国科学院长春光学精密机械与物理研究所 基于潜在低秩表示与nsst的图像融合方法及装置
CN109523583A (zh) * 2018-10-09 2019-03-26 河海大学常州校区 一种基于反馈机制的电力设备红外与可见光图像配准方法
CN109523583B (zh) * 2018-10-09 2021-07-13 河海大学常州校区 一种基于反馈机制的电力设备红外与可见光图像配准方法
CN110021029A (zh) * 2019-03-22 2019-07-16 南京华捷艾米软件科技有限公司 一种适用于rgbd-slam的实时动态配准方法及存储介质
CN110148162B (zh) * 2019-04-29 2022-09-02 河海大学 一种基于复合算子的异源图像匹配方法
CN110148162A (zh) * 2019-04-29 2019-08-20 河海大学 一种基于复合算子的异源图像匹配方法
CN110335271A (zh) * 2019-07-10 2019-10-15 浙江铁素体智能科技有限公司 一种电气部件故障的红外检测方法及装置
CN110544285A (zh) * 2019-10-30 2019-12-06 南京安科医疗科技有限公司 一种矫正头部ct图像中头部位置的方法及系统
CN110956640B (zh) * 2019-12-04 2023-05-05 国网上海市电力公司 一种异源图像边缘点检测与配准方法
CN111028276A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像对齐方法、装置、存储介质及电子设备
CN111156655A (zh) * 2019-12-24 2020-05-15 珠海格力电器股份有限公司 一种空调主控板故障自检测方法及空调
CN111899288B (zh) * 2020-06-01 2023-04-07 上海大学 基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法
CN111899288A (zh) * 2020-06-01 2020-11-06 上海大学 基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法
US20220319011A1 (en) * 2020-06-08 2022-10-06 Shanghai Jiaotong University Heterogeneous Image Registration Method and System
CN112288761B (zh) * 2020-07-07 2022-08-30 国网江苏省电力有限公司常州供电分公司 一种异常发热的电力设备检测方法、装置和可读存储介质
CN112288761A (zh) * 2020-07-07 2021-01-29 国网江苏省电力有限公司常州供电分公司 一种异常发热的电力设备检测方法、装置和可读存储介质
CN112348019A (zh) * 2020-11-17 2021-02-09 武汉璞睿互联技术有限公司 一种答题卡矫正方法、装置、电子设备及存储介质
CN113112440A (zh) * 2021-04-23 2021-07-13 华北电力大学 一种基于fpga的紫外与可见光图像融合系统及方法
CN113344987A (zh) * 2021-07-07 2021-09-03 华北电力大学(保定) 复杂背景下电力设备的红外与可见光图像配准方法及系统
CN113628261A (zh) * 2021-08-04 2021-11-09 国网福建省电力有限公司泉州供电公司 一种电力巡检场景下的红外与可见光图像配准方法
CN113628261B (zh) * 2021-08-04 2023-09-22 国网福建省电力有限公司泉州供电公司 一种电力巡检场景下的红外与可见光图像配准方法
CN117351049A (zh) * 2023-12-04 2024-01-05 四川金信石信息技术有限公司 热成像与可见光融合的测点配准引导方法、设备和介质
CN117351049B (zh) * 2023-12-04 2024-02-13 四川金信石信息技术有限公司 热成像与可见光融合的测点配准引导方法、设备和介质

Also Published As

Publication number Publication date
CN106257535B (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
CN106257535A (zh) 基于surf算子的电气设备红外与可见光图像配准方法
CN108230237B (zh) 一种用于电气设备在线检测的多光谱图像重构方法
CN104318548B (zh) 一种基于空间稀疏度和sift特征提取的快速图像配准实现方法
CN111223133B (zh) 一种异源图像的配准方法
CN105261014B (zh) 一种多传感器遥感影像匹配方法
CN108876749A (zh) 一种鲁棒的镜头畸变校正方法
CN110223330A (zh) 一种可见光和红外图像的配准方法及系统
CN103426186A (zh) 一种改进的surf快速匹配方法
CN104933434A (zh) 一种结合LBP特征提取和surf特征提取方法的图像匹配方法
CN109903313A (zh) 一种基于目标三维模型的实时位姿跟踪方法
CN105205818A (zh) 一种电气设备红外图像和可见光图像配准的方法
CN112163622B (zh) 全局与局部融合约束的航空宽基线立体像对线段匹配方法
CN108537170A (zh) 一种电力设备固件无人机巡检销钉缺失检测方法
CN103136525A (zh) 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN102661708A (zh) 一种基于surf的高密度封装元器件定位方法
CN102446356A (zh) 一种获取均匀分布匹配点的遥感影像并行自适应匹配方法
CN112991420A (zh) 一种视差图的立体匹配特征提取及后处理方法
CN103927742A (zh) 基于深度图像的全局自动配准建模方法
CN110634137A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
Huang et al. Correlation and local feature based cloud motion estimation
CN105513094A (zh) 基于三维Delaunay三角剖分的立体视觉跟踪方法及系统
Liu et al. Iterating tensor voting: A perceptual grouping approach for crack detection on EL images
Lu et al. Thermal Fault Diagnosis of Electrical Equipment in Substations Based on Image Fusion.
CN114612412A (zh) 三维点云数据的处理方法及其用途、电子设备、存储介质
Li et al. Research on the infrared and visible power-equipment image fusion for inspection robots

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Li Qingwu

Inventor after: Xu Jinxin

Inventor after: Ma Yunpeng

Inventor after: Liu Yan

Inventor after: Huo Guanying

Inventor after: Zhou Yan

Inventor after: Qian Rong

Inventor before: Li Qingwu

Inventor before: Xu Jinxin

Inventor before: Ma Yunpeng

Inventor before: Liu Yan

Inventor before: Huo Guanying

Inventor before: Zhou Yan

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190725

Address after: 213022 Changzhou Jin Ling North Road, Jiangsu, No. 200

Co-patentee after: JIANGSU JOTRY ELECTRICAL TECHNOLOGY CO.,LTD.

Patentee after: CHANGZHOU CAMPUS OF HOHAI University

Address before: 213022 College of Internet of Things Engineering, Hehai University, 200 Jinling North Road, Changzhou City, Jiangsu Province

Patentee before: CHANGZHOU CAMPUS OF HOHAI University