CN112288758A - 一种电力设备红外与可见光图像配准方法 - Google Patents

一种电力设备红外与可见光图像配准方法 Download PDF

Info

Publication number
CN112288758A
CN112288758A CN202010450444.0A CN202010450444A CN112288758A CN 112288758 A CN112288758 A CN 112288758A CN 202010450444 A CN202010450444 A CN 202010450444A CN 112288758 A CN112288758 A CN 112288758A
Authority
CN
China
Prior art keywords
edge
image
visible light
feature
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010450444.0A
Other languages
English (en)
Other versions
CN112288758B (zh
Inventor
史永祥
杨桂生
黄雍晫
蒋斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Changzhou Campus of Hohai University
Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, Changzhou Campus of Hohai University, Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202010450444.0A priority Critical patent/CN112288758B/zh
Publication of CN112288758A publication Critical patent/CN112288758A/zh
Application granted granted Critical
Publication of CN112288758B publication Critical patent/CN112288758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种电力设备红外与可见光图像配准方法，先对电力设备的红外图像与可见光图像分别进行侧窗盒子滤波；而后利用RCF网络分别提取两种图像的边缘；再采用KAZE算法分别提取两种图像边缘的特征点，并采用基于MPEG‑7标准的方向滤波器和权重响应矩阵分别生成两种图像边缘特征点的特征描述子，最后通过两种图像边缘的特征描述子之间的欧氏距离筛选匹配点，获得红外图像边缘与可见光图像边缘之间的最优的单应性矩阵H，完成图像的配准。该方法在降低红外图像的噪音的同时保证两种图像之间的匹配点数量不受明显影响，并使得两种图像的边缘检测更加精准、提取边缘特征的方式更加稳定，有效保证图像之间的配准精度。

Description

一种电力设备红外与可见光图像配准方法
技术领域
本发明涉及一种电力设备红外与可见光图像配准方法，属于计算机视觉和电力领域。
背景技术
随着电力供应可靠性需求的日益提高，电气设备连续运行工作时间越来越长。但是由于电气设备长期处于户外的高温、高压、高负载的工作状态下，非常容易发生缺陷、劣化、甚至造成事故。因此定期对电气设备进行状态检测与故障诊断，确保其正常稳定的工作具有重大的意义。目前，红外与可见光图像被广泛应用于电气设备的检测任务中，红外图像可以提供电气设备的热辐射信息，能够检测出传统方法无法找到的故障与隐患；可见光图像可以提供电气设备的反射信息，细节、纹理、颜色信息丰富，能够保留丰富的场景信息。两种图像包含不同的信息，对红外与可见光图像进行匹配来进行信息互补，可以提高电气设备识别与故障检测能力。
图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点。图像匹配算法大致可以分为两类：基于灰度和基于特征的匹配方法。基于灰度的匹配将图像的灰度阵列按某种相似性度量方法进行搜索比较。这类方法一般要求图像同源并且只适用于灰度变化不大的图像匹配。而基于特征的匹配方法提取反映图像重要信息的特征，以特征为模型进行匹配，对于图像来源没有特殊要求，成为近年图像匹配研究的热点。但是异源图像匹配一直是图像匹配领域的难题。
作为异源图像，红外与可见光图像之间的不同图像特征点相似性不足，现有技术中经常采用对图像的边缘特征进行提取从而实现图像配准。但红外图像的噪声较多，在图像配准之前需要对图像进行滤波处理，而现有的滤波处理方式，如中值滤波、均值滤波或双边滤波会模糊图像的边缘信息，造成红外与可见光图像之间的匹配点对数量少，图像的匹配精度不高，而且，如何使得对红外与可见光图像的边缘检测更加精准、提取边缘特征的方式更加稳定，进一步提高两图像之间的配准精度，也是本领域一直存在的需求。
发明内容
基于上述现状，本发明提供了一种电力设备红外与可见光图像配准方法，在降低红外图像的噪音的同时保证红外与可见光图像之间的匹配点数量不受明显影响，并使得两图像的边缘检测更加精准、提取边缘特征的方式更加稳定，有效保证两图像之间的配准精度。
本发明提供的一种电力设备红外与可见光图像配准方法，包括以下步骤：
步骤1：对电力设备的红外图像与可见光图像分别进行侧窗盒子滤波；
步骤2：利用RCF网络分别提取红外图像与可见光图像的边缘；
步骤3：采用KAZE算法分别提取红外图像边缘和可见光图像边缘的特征点，其中，先通过可变传导扩散方法和加性算子分裂算法(Additive Operator Splitting，AOS)构建图像边缘的非线性尺度空间，再在非线性尺度空间中寻找像素点的Hessian矩阵局部极大值来检测图像边缘的特征点；
步骤4：采用基于MPEG-7标准的方向滤波器和权重响应矩阵分别生成红外图像边缘特征点和可见光图像边缘特征点的特征描述子，其中，以特征点为中心生成规定大小的区域后对该区域进行再划分，然后生成该区域的边缘直方图，进而计算相同边缘方向的权重响应矩阵，从而得到80维带权重的特征向量，将所述特征向量作为特征点的特征描述子；
步骤5：通过红外图像边缘的特征描述子与可见光图像边缘的特征描述子之间的欧氏距离筛选匹配点，确定匹配点对集合，以此获得红外图像边缘与可见光图像边缘之间的最优的单应性矩阵H，然后把红外图像边缘通过最优模型的单应性矩阵H投影到可见光图像边缘上完成图像的配准。
与现有技术相比，本发明的有益效果是：
(1)利用侧窗盒子滤波算法对红外图像和可见光图像进行保边滤波，在滤除图像噪声的同时，保证了红外与可见光图像之间的匹配点数量不受明显影响，有效地保留了图像的边缘信息；
(2)引入RCF网络模型来对红外与可见光图像的进行边缘检测，该网络模型使用更丰富的卷积特征来进行更精准的边缘检测，能够有效检测出电力设备的轮廓边缘，并舍弃了对于匹配干扰较大的物体内部纹理；
(3)利用基于MPEG-7标准的方向滤波器将提取出的边缘特征点生成特征描述子，特征描述子的生成更加可靠稳定，且通过利用权重响应矩阵，提取边缘特征的方式更加稳定，有效地提高了红外与可见光图像的配准精度。
附图说明
图1为本发明的整体流程图；
图2为步骤1中的定义侧窗方向图；
图3为步骤2中的RCF网络结构图；
图4为步骤4中的区域生成及再划分过程；
图5为步骤4中的边缘检测的滤波系数；
图6为步骤4中的特征描述子生成过程。
具体实施方式
下面结合附图对本发明作进一步描述。如图1所示，本发明的一种电力设备红外与可见光图像配准方法，整体流程上包括以下步骤1-5，分别为：
步骤1：对电力设备的红外图像与可见光图像分别进行侧窗盒子滤波；
步骤2：利用RCF网络分别提取红外图像与可见光图像的边缘；
步骤3：采用KAZE算法分别提取红外图像边缘和可见光图像边缘的特征点，其中，先通过可变传导扩散方法和加性算子分裂算法构建图像边缘的非线性尺度空间，再在非线性尺度空间中寻找像素点的Hessian矩阵局部极大值来检测图像边缘的特征点；
步骤4：采用基于MPEG-7标准的方向滤波器和权重响应矩阵分别生成红外图像边缘特征点和可见光图像边缘特征点的特征描述子，其中，以特征点为中心生成规定大小的区域后对该区域进行再划分，然后生成该区域的边缘直方图，进而计算相同边缘方向的权重响应矩阵，从而得到80维带权重的特征向量，将所述特征向量作为特征点的特征描述子；
步骤5：通过红外图像边缘的特征描述子与可见光图像边缘的特征描述子之间的欧氏距离筛选匹配点，确定匹配点对集合，以此获得红外图像边缘与可见光图像边缘之间的最优的单应性矩阵H，然后把红外图像边缘通过最优模型的单应性矩阵H投影到可见光图像边缘上完成图像的配准。
在具体实施方式中，对于上述各步骤，可选择的具体实施方式如下：
所述步骤1中对红外图像与可见光图像分别进行侧窗盒子滤波具体包括以下步骤：
步骤1-1：定义侧窗，具体方法为，在离散的情况下定义上(U)、下(D)、左(L)、右(R)、西南(SW)、东南(SE)、东北(NE)和西北(NW)这8个方向的侧窗，引入参数θ和r，θ是窗口和水平线之间的角度，r是窗口的半径，ρ∈{0，r}，ρ表示窗口拓展边长，(x,y)是输入目标像素点i的位置；通过改变θ和固定(x,y)，可以改变窗口的方向，同时使窗口侧边与目标像素点i对齐，这8个方向的侧窗对应于
Figure BDA0002507497240000051
k∈[0,3]；通过设置ρ＝r，得到上(U)、下(D)、左(L)、右(R)四个方向的侧窗，分别表示为
Figure BDA0002507497240000052
通过设置ρ＝0，得到西南(SW)、东南(SE)、东北(NE)和西北(NW)四个方向的侧窗，分别表示为
Figure BDA0002507497240000053
步骤1-2：计算红外图像每个像素点的最终滤波值输出I'SWF，具体方法为，首先，利用计算公式(1)得到一个输入目标像素点i的沿不同方向侧窗的滤波值输出
Figure BDA0002507497240000054
Figure BDA0002507497240000055
其中，像素点j是输入目标像素点i滤波侧窗内的像素点，qj表示像素点j的像素值，ωij是基于滤波内核F的像素点j在输入目标像素点i附近的权重值，Nn表示不同方向侧窗内像素点j在输入目标像素点i附近的像素点权重值之和，S＝{L,R,U,D,NW,NE,SW,SE}为侧窗方向索引的集合，当n取具体的八个不同方向之一时，得到针对该方向侧窗的滤波值输出
Figure BDA0002507497240000056
将n取前述8个不同的方向，计算出8个方向侧窗的滤波值输出，并进行筛选，选择与输入目标像素点i有最小L2距离的侧窗的输出作为最终输出I'SWF，计算公式(2)表示为：
Figure BDA0002507497240000057
其中，qi表示输入目标像素点i的像素值，将最终输出的I'SWF作为像素值赋给输入目标像素点i，完成此输入目标像素点i的侧窗盒子滤波；以此方法对红外图像中每个像素点进行侧窗盒子滤波；
步骤1-3：按照上述步骤1-1和1-2对可见光图像中每个像素点进行侧窗盒子滤波。
所述步骤2中利用RCF网络分别提取红外图像与可见光图像的边缘时，具体的提取方法如下：
将完成侧窗盒子滤波的红外图像与可见光图像分别输入RCF网络；
RCF网络结构由13个第一卷积层、13个第二卷积层和4个池化层组成，其中13个第一卷积层被划分成5个阶段，每相邻两个阶段之间连接有一层池化层；第一卷积层均采用相同的卷积核参数，卷积核尺寸为3×3，步幅为1；池化层均采用相同的池化核参数，池化核尺寸为2×2，步幅为2，池化方式为最大池化；13个第一卷积层被划分的5个阶段中，每个阶段中所含第一卷积层数量分别为：2、2、3、3、3，同一阶段中每个第一卷积层的通道数相同，5个阶段的每个第一卷积层通道数分别为：64、128、256、512、512；
每个第一卷积层后均连接一个第二卷积层，第二卷积层的卷积核尺寸1×1，通道数为21，对每个阶段中所有的第二卷积层的卷积输出进行元素相加操作，得到一个复合特征；
每个复合特征后面连接一个1×1-1的卷积层，然后添加一个反卷积层作为放大特征图尺寸的上采样层；
在每个上采样层后面连接一个交叉熵损失/sigmoid函数层；
对所有的上采样层输出进行连接，随后使用一个1×1-1的卷积层进行特征图融合，最后使用一个交叉熵损失/sigmoid函数层得到输出，完成图像边缘的提取。
在利用RCR网络之前，先对RCF网络进行训练，训练过程包括：采用标注者-鲁棒损失函数分别对不同标注者手工标注的红外图像边缘与可见光图像边缘的检测数据真值求取均值，生成新的边缘概率映射图，将该新的边缘概率映射图作为RCF网络的训练输入数据。所述标注者-鲁棒损失函数的构造方式如下：
标注者-鲁棒损失函数的值范围为[0,1]，其中，0意味着没有标注者将其标注为边缘像素点；1意味着所有的标注者都将其标注为边缘像素点，将边缘概率值超过预设值η的作为正样本，表示为Y+，概率值等于0的作为负样本，表示为Y-，对概率值位于0～η之间的像素点进行舍弃，
红外/可见光图像边缘的像素点i的原始损失函数定义如下：
Figure BDA0002507497240000071
其中，
Figure BDA0002507497240000072
Figure BDA0002507497240000073
超参数λ用于平衡正负样本之间的数量，Xi和yi分别表示在像素点i处的激活值和真值的边缘概率值，P(X)是标准的Sigmoid函数，W表示在该体系结构中将要学习的所有参数，在原始损失函数基础上得到的标注者-鲁棒损失函数表述为：
Figure BDA0002507497240000074
其中，
Figure BDA0002507497240000075
是第k阶段的激活值，
Figure BDA0002507497240000076
表示融合层的激活值。I表示红外/可见光图像边缘中像素点的数目，K为总的阶段数，在此处的值为5。
所述步骤3中利用KAZE算法分别提取红外图像边缘和可见光图像边缘的特征点，具体包括如下步骤：
步骤3-1：构建非线性尺度空间，其中，
首先，利用公式(7)的非线性扩散方程对红外图像边缘进行扩散滤波，
Figure BDA0002507497240000077
公式(7)中，L表示图像的亮度，div表示散度，
Figure BDA0002507497240000078
表示梯度；t为时间，是尺度参数，其值越大，表示图像的结构越简单；c(x,y,t)是坐标点(x,y)处的传导函数，取决于局部图像差分结构和减少图像局部边缘扩散的梯度，其定义如公式(8)所示：
Figure BDA0002507497240000081
其中，
Figure BDA0002507497240000082
表示原始图像在δ尺度上经过高斯滤波后的梯度，g表示传导函数，g的取值由
Figure BDA0002507497240000083
和对比度因子k确定；3种不同计算公式如下(9)-(11)所示，可任选其一来计算g：
Figure BDA0002507497240000084
Figure BDA0002507497240000085
Figure BDA0002507497240000086
公式(9)-(11)中，k表示对比度因子，其值为梯度图像
Figure BDA0002507497240000087
直方图70％百分位上的值；
然后，对非线性扩散方程进行隐式差分，再通过加性算子分裂算法构建试试非线性尺度空间，其计算方式如公式(12)所示：
Figure BDA0002507497240000088
公式(12)中，I为单位矩阵，ti为进化时间，Al为三对角占优矩阵，Li为非线性尺度空间第i层图像亮度；
步骤3-2：特征点检测，其中，将非线性尺度空间中的每个像素点的Hessian矩阵与当前层i、上层i+1和下层i-1的δi×δi的窗口内所有像素点的Hessian矩阵值进行比较，如果该像素点的Hessian矩阵值大于δi×δi的窗口内所有像素点的Hessian矩阵值和预设的阈值，即该像素点大于它的图像域和尺度域的所有相邻的像素点，该像素点即为图像的特征点，以此方法检测出红外图像边缘的所有m个特征点；
步骤3-3：采用如上步骤3-1和3-2中同样的方法，检测出可见光图像边缘的所有n个特征点。
所述步骤4中，采用基于MPEG-7标准的方向滤波器和权重响应矩阵分别生成红外图像边缘特征点和可见光图像边缘特征点的特征描述子的具体步骤如下：
步骤4-1：区域生成及再划分，其中，首先，以红外图像边缘所有特征点中的一个特征点为中心生成一个S×S像素的区域I，在本方法中S＝100；再将这个区域I分成4×4＝16个子区域，将每个子区域标号为Is(0,0),Is(0,1),…,Is(3,3)；然后，再把每个子区域分成4×4＝16个区域块(x,y)，分别将每个区域块(x,y)标号为(0,0),(0,1),…(3,3)；最后，将每个区域块分成2×2＝4个子块，并将其标号为0,1,2,3；
步骤4-2：计算区域块的边缘方向，其中，首先，对于区域I的每个子区域Is(i,j)，计算其中每个区域块(x,y)的4个子块的平均灰度值，并将所述平均灰度值分别表示为c0(x,y),c1(x,y),c2(x,y),c3(x,y)；然后，将区域块(x,y)与5个边缘方向，即垂直方向、水平方向、45度方向、135度方向和非方向的滤波器分别做卷积，得到区域块(x,y)在这5个边缘方向上的边缘值，分别记为mv(x,y)，mh(x,y)，md-45(x,y)，md-135(x,y)和mnd(x,y)，卷积公式(13)-(17)如下所示：
Figure BDA0002507497240000091
Figure BDA0002507497240000092
Figure BDA0002507497240000101
Figure BDA0002507497240000102
Figure BDA0002507497240000103
上述公式(13)-(17)中，fv(k)表示在垂直方向滤波器的值，fh(k)表示水平方向滤波器的值，fd-45(k)表示45度方向滤波器的值，fd-135(k)表示135度方向滤波器的值，fnd(k)表示非方向滤波器的值，其中k表示子块的标号；
若max{mv(x,y),mh(x,y),md-45(x,y),md-135(x,y),mnd(x,y)}＞Tedge，即5个边缘值中最大的值大于预先设置的阈值Tedge，则将最大值对应的边缘方向作为该区域块的边缘方向；以此方法计算得到每个子区域Is(i,j)中每个区域块(x,y)的边缘方向；
步骤4-3：计算子区域的边缘直方图，其中，对于每个子区域Is(i,j)，统计该子区域中所有区域块的边缘方向，得到每个边缘方向的个数，从而生成该子区域的边缘直方图，其中，子区域的边缘直方图的横坐标为边缘方向的特征向量，纵坐标为对应于特征向量中每个边缘方向的个数；以此方法计算得到区域I中所有子区域的边缘直方图；
步骤4-4：计算特征点的特征描述子，其中，首先，对区域I中16个子区域的边缘直方图进行归一化处理，生成区域I的边缘直方图，从而得到16×5＝80维的特征向量，再分别提取16个子区域中相同边缘方向的特征向量构造4×4的边缘响应矩阵，并赋上不同的权重值，矩阵4×4外围区域权重赋值为1，矩阵2×2中心区域权重赋值为2，进而得到带权重的80维特征向量，将其作为特征点的特征描述子，以此方法形成红外图像边缘每个特征点的特征描述子；
步骤4-5：以步骤4-1至4-4中同样的方法形成可见光图像边缘每个特征点的特征描述子。
所述步骤5中，通过度量红外图像边缘的特征描述子与可见光图像边缘的特征描述子之间的欧氏距离筛选匹配点，确定匹配点对集合，具体步骤如下：
步骤5-1：计算红外特征点特征描述子与可见光特征点特征描述子间的欧氏距离，计算最近距离与次最近距离之比，若比值小于设定阈值，则判定两特征点匹配，记作一对匹配点，否则判定不存在匹配点对，具体方法为：
利用步骤3中检测到的红外图像边缘所有m个特征点和可见光图像边缘所有n个特征点，选取红外图像边缘中的一个特征点，计算可见光图像边缘的全部特征点的特征描述子与红外图像边缘所选取特征点的特征描述子之间的欧氏距离，欧氏距离采用特征向量计算，在n个欧氏距离中选取最近距离dmin与次最近距离dmis，计算最近距离与次最近距离之比，比值为δ，若比值δ小于预设阈值ε，则判定特征点存在匹配特征点，其中阈值ε的选取源自于对大量样本数据的分析比较，用以筛选合适的匹配特征点，生成正向匹配点对集合；执行正向匹配后，互换红外图像边缘和可见光图像边缘的角色，重新执行上述算法，得到反向匹配点对集合；
步骤5-2：将正反向的匹配点对集合运用随机抽样一致性算法，选取最大空间一致子集，舍弃错误的匹配点对，获得红外图像边缘与可见光图像边缘之间的最优的单应性矩阵H，保证正反向的匹配点对集合至少有4组匹配点对，从前述至少4组匹配点对中随机抽出4组不共线的匹配特征点对作为样本，其变换关系公式(19)为：
A'i＝HAi (19)
矩阵的变换公式(20)为：
Figure BDA0002507497240000111
式中，(x,y)表示红外图像边缘特征点位置，(x',y')为可见光图像边缘特征点位置，s为尺度参数，随机抽样一致性算法从匹配点对数据集中随机抽出4个样本并保证这4个样本之间不共线，计算出单应性矩阵H，然后利用这个模型测试所有数据，并计算满足这个模型数据点的代价函数，代价函数反应了这个模型数据点的个数与投影误差，在对应的代价函数最小时的单应性矩阵H为最优模型，代价函数公式(21)表达为：
Figure BDA0002507497240000121
然后把红外图像边缘通过最优模型的单应性矩阵H投影到可见光图像边缘上就完成了图像的配准。

Claims (7)

1.一种电力设备红外与可见光图像配准方法，其特征在于，所述方法包括如下步骤：
步骤1：对电力设备的红外图像与可见光图像分别进行侧窗盒子滤波；
步骤2：利用RCF网络分别提取红外图像与可见光图像的边缘；
步骤3：采用KAZE算法分别提取红外图像边缘和可见光图像边缘的特征点，其中，先通过可变传导扩散方法和加性算子分裂算法构建图像边缘的非线性尺度空间，再在非线性尺度空间中寻找像素点的Hessian矩阵局部极大值来检测图像边缘的特征点；
步骤4：采用基于MPEG-7标准的方向滤波器和权重响应矩阵分别生成红外图像边缘特征点和可见光图像边缘特征点的特征描述子，其中，以特征点为中心生成规定大小的区域后对该区域进行再划分，然后生成该区域的边缘直方图，进而计算相同边缘方向的权重响应矩阵，从而得到80维带权重的特征向量，将所述特征向量作为特征点的特征描述子；
步骤5：通过红外图像边缘的特征描述子与可见光图像边缘的特征描述子之间的欧氏距离筛选匹配点，确定匹配点对集合，以此获得红外图像边缘与可见光图像边缘之间的最优的单应性矩阵H，然后把红外图像边缘通过最优模型的单应性矩阵H投影到可见光图像边缘上完成图像的配准。
2.根据权利要求1所述的一种电力设备红外与可见光图像配准方法，其特征在于，所述步骤1中对红外图像与可见光图像分别进行侧窗盒子滤波具体包括以下步骤：
步骤1-1：定义侧窗，具体方法为，在离散的情况下定义上(U)、下(D)、左(L)、右(R)、西南(SW)、东南(SE)、东北(NE)和西北(NW)这8个方向的侧窗，引入参数θ和r，θ是窗口和水平线之间的角度，r是窗口的半径，ρ∈{0，r}，ρ为窗口拓展边长，(x,y)是输入目标像素点i的位置；通过改变θ和固定(x,y)，可以改变窗口的方向，同时使窗口侧边与目标像素点i对齐，这8个方向的侧窗对应于
Figure FDA0002507497230000021
通过设置ρ＝r，得到上(U)、下(D)、左(L)、右(R)四个方向的侧窗，分别表示为
Figure FDA0002507497230000022
通过设置ρ＝0，得到西南(SW)、东南(SE)、东北(NE)和西北(NW)四个方向的侧窗，分别表示为
Figure FDA0002507497230000023
步骤1-2：计算红外图像每个像素点的最终滤波值输出I'SWF，具体方法为，首先，利用计算公式(1)得到一个输入目标像素点i的沿不同方向侧窗的滤波值输出
Figure FDA0002507497230000024
Figure FDA0002507497230000025
其中，像素点j是输入目标像素点i滤波侧窗内的像素点，qj表示像素点j的像素值，ωij是基于滤波内核F的像素点j在输入目标像素点i附近的权重值，Nn表示不同方向侧窗内像素点j在输入目标像素点i附近的像素点权重值之和，S＝{L,R,U,D,NW,NE,SW,SE}为侧窗方向索引的集合，当n取具体的八个不同方向之一时，得到针对该方向侧窗的滤波值输出
Figure FDA0002507497230000026
将n取前述8个不同的方向，计算出8个方向侧窗的滤波值输出，并进行筛选，选择与输入目标像素点i有最小L2距离的侧窗的输出作为最终输出I'SWF，将最终输出的I'SWF作为像素值赋给输入目标像素点i，完成此输入目标像素点i的侧窗盒子滤波；以此方法对红外图像中每个像素点进行侧窗盒子滤波；
步骤1-3：按照上述步骤1-1和1-2对可见光图像中每个像素点进行侧窗盒子滤波。
3.根据权利要求1所述的一种电力设备红外与可见光图像配准方法，其特征在于，所述步骤2中利用RCF网络分别提取红外图像与可见光图像的边缘时，具体的提取方法如下：
将完成侧窗盒子滤波的红外图像与可见光图像分别输入RCF网络；
RCF网络结构由13个第一卷积层、13个第二卷积层和4个池化层组成，其中13个第一卷积层被划分成5个阶段，每相邻两个阶段之间连接有一层池化层；第一卷积层均采用相同的卷积核参数，卷积核尺寸为3×3，步幅为1；池化层均采用相同的池化核参数，池化核尺寸为2×2，步幅为2，池化方式为最大池化；13个第一卷积层被划分的5个阶段中，每个阶段中所含第一卷积层数量分别为：2、2、3、3、3，同一阶段中每个第一卷积层的通道数相同，5个阶段的每个第一卷积层通道数分别为：64、128、256、512、512；
每个第一卷积层后均连接一个第二卷积层，第二卷积层的卷积核尺寸1×1，通道数为21，对每个阶段中所有的第二卷积层的卷积输出进行元素相加操作，得到一个复合特征；
每个复合特征后面连接一个1×1-1的卷积层，然后添加一个反卷积层作为放大特征图尺寸的上采样层；
在每个上采样层后面连接一个交叉熵损失/sigmoid函数层；
对所有的上采样层输出进行连接，随后使用一个1×1-1的卷积层进行特征图融合，最后使用一个交叉熵损失/sigmoid函数层得到输出，完成图像边缘的提取。
4.根据权利要求1-3任一项所述的一种电力设备红外与可见光图像配准方法，其特征在于，在利用RCR网络之前，先对RCF网络进行训练，训练过程包括：采用标注者-鲁棒损失函数分别对不同标注者手工标注的红外图像边缘与可见光图像边缘的检测数据真值求取均值，生成新的边缘概率映射图，将该新的边缘概率映射图作为RCF网络的训练输入数据。
5.根据权利要求1-4任一项所述的一种电力设备红外与可见光图像配准方法，其特征在于，所述步骤3中利用KAZE算法分别提取红外图像边缘和可见光图像边缘的特征点，具体包括如下步骤：
步骤3-1：构建非线性尺度空间，其中，
首先，利用公式(2)的非线性扩散方程对红外图像边缘进行扩散滤波，
Figure FDA0002507497230000041
公式(2)中，L表示图像的亮度，div表示散度，
Figure FDA0002507497230000042
表示梯度；t为时间，是尺度参数，其值越大，表示图像的结构越简单；c(x,y,t)是坐标点(x,y)处的传导函数，取决于局部图像差分结构和减少图像局部边缘扩散的梯度，其定义如公式(3)所示：
Figure FDA0002507497230000043
其中，
Figure FDA0002507497230000044
表示原始图像在δ尺度上经过高斯滤波后的梯度，g表示传导函数，g的取值由
Figure FDA0002507497230000045
和对比度因子k确定；
然后，对公式(2)的非线性扩散方程进行隐式差分，再通过加性算子分裂算法构建非线性尺度空间，其计算方式如公式(4)所示：
Figure FDA0002507497230000046
公式(4)中，I为单位矩阵，ti为进化时间，Al为三对角占优矩阵，Li为非线性尺度空间第i层图像亮度；
步骤3-2：特征点检测，其中，将非线性尺度空间中的每个像素点的Hessian矩阵与当前层i、上层i+1和下层i-1的δi×δi的窗口内所有像素点的Hessian矩阵值进行比较，如果该像素点的Hessian矩阵值大于δi×δi的窗口内所有像素点的Hessian矩阵值和预设的阈值，即该像素点大于它的图像域和尺度域的所有相邻的像素点，该像素点即为图像的特征点，以此方法检测出红外图像边缘的所有m个特征点；
步骤3-3：采用如上步骤3-1和3-2中同样的方法，检测出可见光图像边缘的所有n个特征点。
6.根据权利要求1-5任一项所述的电力设备的红外与可见光图像匹配方法，其特征在于，所述步骤4中，采用基于MPEG-7标准的方向滤波器和权重响应矩阵分别生成红外图像边缘特征点和可见光图像边缘特征点的特征描述子的具体步骤如下：
步骤4-1：区域生成及再划分，其中，首先，以红外图像边缘所有特征点中的一个特征点为中心生成一个S×S像素的区域I，在本方法中S＝100；再将这个区域I分成4×4＝16个子区域，将每个子区域标号为Is(0,0),Is(0,1),…,Is(3,3)；然后，再把每个子区域分成4×4＝16个区域块(x,y)，分别将每个区域块(x,y)标号为(0,0),(0,1),…(3,3)；最后，将每个区域块分成2×2＝4个子块，并将其标号为0,1,2,3；
步骤4-2：计算区域块的边缘方向，其中，首先，对于区域I的每个子区域Is(i,j)，计算其中每个区域块(x,y)的4个子块的平均灰度值，并将所述平均灰度值分别表示为c0(x,y),c1(x,y),c2(x,y),c3(x,y)；然后，将区域块(x,y)与5个边缘方向，即垂直方向、水平方向、45度方向、135度方向和非方向的滤波器分别做卷积，得到区域块(x,y)在这5个边缘方向上的边缘值，分别记为mv(x,y)，mh(x,y)，md-45(x,y)，md-135(x,y)和mnd(x,y)，；
若max{mv(x,y),mh(x,y),md-45(x,y),md-135(x,y),mnd(x,y)}＞Tedge，即5个边缘值中最大的值大于预先设置的阈值Tedge，则将最大值对应的边缘方向作为该区域块的边缘方向；以此方法计算得到每个子区域Is(i,j)中每个区域块(x,y)的边缘方向；
步骤4-3：计算子区域的边缘直方图，其中，对于每个子区域Is(i,j)，统计该子区域中所有区域块的边缘方向，得到每个边缘方向的个数，从而生成该子区域的边缘直方图，其中，子区域的边缘直方图的横坐标为边缘方向的特征向量，纵坐标为对应于特征向量中每个边缘方向的个数；以此方法计算得到区域I中所有子区域的边缘直方图；
步骤4-4：计算特征点的特征描述子，其中，首先，对区域I中16个子区域的边缘直方图进行归一化处理，生成区域I的边缘直方图，从而得到16×5＝80维的特征向量，再分别提取16个子区域中相同边缘方向的特征向量构造4×4的边缘响应矩阵，并赋上不同的权重值，矩阵4×4外围区域权重赋值为1，矩阵2×2中心区域权重赋值为2，进而得到带权重的80维特征向量，将其作为特征点的特征描述子，以此方法形成红外图像边缘每个特征点的特征描述子；
步骤4-5：以步骤4-1至4-4中同样的方法形成可见光图像边缘每个特征点的特征描述子。
7.根据权利要求1-6任一项所述的电力设备的红外与可见光图像匹配方法，其特征在于，所述步骤5中，通过度量红外图像边缘的特征描述子与可见光图像边缘的特征描述子之间的欧氏距离筛选匹配点，确定匹配点对集合，具体步骤如下：
步骤5-1：计算红外特征点特征描述子与可见光特征点特征描述子间的欧氏距离，计算最近距离与次最近距离之比，若比值小于设定阈值，则判定两特征点匹配，记作一对匹配点，否则判定不存在匹配点对；
步骤5-2：将正反向的匹配点对集合运用随机抽样一致性算法，选取最大空间一致子集，舍弃错误的匹配点对，获得红外图像边缘与可见光图像边缘之间的最优的单应性矩阵H，其中，采用随机抽样一致性算法从匹配点对数据集中随机抽出4个样本并保证这4个样本之间不共线，计算出单应性矩阵H，然后利用这个模型测试所有数据，并计算满足这个模型数据点的代价函数，代价函数反应了这个模型数据点的个数与投影误差，在对应的代价函数最小时的单应性矩阵H为最优模型，然后把红外图像边缘通过最优模型的单应性矩阵H投影到可见光图像边缘上就完成了图像的配准。
CN202010450444.0A 2020-05-25 2020-05-25 一种电力设备红外与可见光图像配准方法 Active CN112288758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010450444.0A CN112288758B (zh) 2020-05-25 2020-05-25 一种电力设备红外与可见光图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010450444.0A CN112288758B (zh) 2020-05-25 2020-05-25 一种电力设备红外与可见光图像配准方法

Publications (2)

Publication Number Publication Date
CN112288758A true CN112288758A (zh) 2021-01-29
CN112288758B CN112288758B (zh) 2022-08-30

Family

ID=74419677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010450444.0A Active CN112288758B (zh) 2020-05-25 2020-05-25 一种电力设备红外与可见光图像配准方法

Country Status (1)

Country Link
CN (1) CN112288758B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269704A (zh) * 2021-06-29 2021-08-17 南昌航空大学 一种红外与可见光图像融合方法
CN114648564A (zh) * 2022-05-23 2022-06-21 四川大学 用于非稳态目标的可见光和红外图像优化配准方法及系统
CN117351049A (zh) * 2023-12-04 2024-01-05 四川金信石信息技术有限公司 热成像与可见光融合的测点配准引导方法、设备和介质
WO2024098678A1 (zh) * 2022-11-11 2024-05-16 深圳供电局有限公司 一种用于电力设备检测的紫外光及可见光融合方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035173A (zh) * 2018-08-15 2018-12-18 深圳大学 一种图像滤波方法、存储介质以及终端设备
CN110148162A (zh) * 2019-04-29 2019-08-20 河海大学 一种基于复合算子的异源图像匹配方法
CN110232387A (zh) * 2019-05-24 2019-09-13 河海大学 一种基于kaze-hog算法的异源图像匹配方法
CN111008946A (zh) * 2019-11-07 2020-04-14 武汉多谱多勒科技有限公司 消防现场使用的红外与可见光图像智能融合装置与方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035173A (zh) * 2018-08-15 2018-12-18 深圳大学 一种图像滤波方法、存储介质以及终端设备
CN110148162A (zh) * 2019-04-29 2019-08-20 河海大学 一种基于复合算子的异源图像匹配方法
CN110232387A (zh) * 2019-05-24 2019-09-13 河海大学 一种基于kaze-hog算法的异源图像匹配方法
CN111008946A (zh) * 2019-11-07 2020-04-14 武汉多谱多勒科技有限公司 消防现场使用的红外与可见光图像智能融合装置与方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269704A (zh) * 2021-06-29 2021-08-17 南昌航空大学 一种红外与可见光图像融合方法
CN113269704B (zh) * 2021-06-29 2022-07-29 南昌航空大学 一种红外与可见光图像融合方法
CN114648564A (zh) * 2022-05-23 2022-06-21 四川大学 用于非稳态目标的可见光和红外图像优化配准方法及系统
CN114648564B (zh) * 2022-05-23 2022-08-23 四川大学 用于非稳态目标的可见光和红外图像优化配准方法及系统
WO2024098678A1 (zh) * 2022-11-11 2024-05-16 深圳供电局有限公司 一种用于电力设备检测的紫外光及可见光融合方法
CN117351049A (zh) * 2023-12-04 2024-01-05 四川金信石信息技术有限公司 热成像与可见光融合的测点配准引导方法、设备和介质
CN117351049B (zh) * 2023-12-04 2024-02-13 四川金信石信息技术有限公司 热成像与可见光融合的测点配准引导方法、设备和介质

Also Published As

Publication number Publication date
CN112288758B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN112288758B (zh) 一种电力设备红外与可见光图像配准方法
CN110287932B (zh) 基于深度学习图像语义分割的道路阻断信息提取方法
CN110378931A (zh) 一种基于多摄像头的行人目标移动轨迹获取方法及系统
CN104778721B (zh) 一种双目图像中显著性目标的距离测量方法
CN112818903A (zh) 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN110889398B (zh) 一种基于相似度网络的多模态图像能见度检测方法
CN111191629A (zh) 一种基于多目标的图像能见度检测方法
CN109446894B (zh) 基于概率分割及高斯混合聚类的多光谱图像变化检测方法
CN111611861B (zh) 一种基于多尺度特征关联的图像变化检测方法
CN110135438B (zh) 一种基于梯度幅值预运算的改进surf算法
CN101630407B (zh) 基于两视几何和图分割的伪造区域定位方法
CN113159043A (zh) 基于语义信息的特征点匹配方法及系统
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN115082450A (zh) 基于深度学习网络的路面裂缝检测方法和系统
CN114299405A (zh) 一种无人机图像实时目标检测方法
CN117372898A (zh) 一种基于改进yolov8的无人机航拍图像目标检测方法
CN113095158A (zh) 一种基于对抗生成网络的笔迹生成方法及装置
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN110910497B (zh) 实现增强现实地图的方法和系统
CN117870659A (zh) 基于点线特征的视觉惯性组合导航算法
CN109658523A (zh) 利用ar增强现实应用实现车辆各功能使用说明的方法
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN115849202B (zh) 基于数字孪生技术的智能起重机操作目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210513

Address after: No.27, junqian street, Changzhou City, Jiangsu Province, 213000

Applicant after: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. CHANGZHOU POWER SUPPLY BRANCH

Applicant after: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd.

Applicant after: STATE GRID CORPORATION OF CHINA

Address before: No.27, junqian street, Changzhou City, Jiangsu Province, 213000

Applicant before: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. CHANGZHOU POWER SUPPLY BRANCH

Applicant before: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd.

Applicant before: STATE GRID CORPORATION OF CHINA

Applicant before: CHANGZHOU CAMPUS OF HOHAI University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant