CN113344987A - 复杂背景下电力设备的红外与可见光图像配准方法及系统 - Google Patents

复杂背景下电力设备的红外与可见光图像配准方法及系统 Download PDF

Info

Publication number
CN113344987A
CN113344987A CN202110766613.6A CN202110766613A CN113344987A CN 113344987 A CN113344987 A CN 113344987A CN 202110766613 A CN202110766613 A CN 202110766613A CN 113344987 A CN113344987 A CN 113344987A
Authority
CN
China
Prior art keywords
power equipment
visible light
image
infrared
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110766613.6A
Other languages
English (en)
Inventor
王亚茹
胡东阳
王天
李冰
翟永杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
North China Electric Power University
NARI Group Corp
Zhiyang Innovation Technology Co Ltd
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202110766613.6A priority Critical patent/CN113344987A/zh
Publication of CN113344987A publication Critical patent/CN113344987A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种复杂背景下电力设备的红外与可见光图像配准方法及系统，涉及图像处理技术领域，该方法包括采用多尺度Retinex算法对电力设备可见光图像进行处理；采用ASIFT算法分别对电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像进行处理，以得到电力设备红外图像对应的多个红外特征点和多尺度Retinex算法处理后的电力设备可见光图像对应的多个可见光特征点；对红外特征点和可见光特征点进行匹配处理，以得到多个匹配点对；采用RANSAC算法剔除所有所述匹配点对中错误的匹配点对，并基于剩余的匹配点对重构电力设备图像。本发明能够提高图像配准质量和图像配准效率。

Description

复杂背景下电力设备的红外与可见光图像配准方法及系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种复杂背景下电力设备的红外与可见光图像配准方法及系统。
背景技术
电力系统运行的可靠性与国民经济息息相关。现随着经济和科学技术的快速发展，用户对于供电可靠性有了更高的要求。为实现可靠持续供电并保证良好的电能质量，需要判断电力设备是否处于正常的运行状态。通常是利用红外成像设备或测温仪对非正常发热的电力设备进行检测，但是这种检测方法效率低、成本高，且容易受到人为因素的影响。
红外图像具有可测温且受环境影响较小的特点，可见光图像具有细节丰富的特点，即可见光信息对红外信息可以进行有益补充，因此，基于红外图像与可见光图像处理技术的电力设备故障诊断具有很大的发展潜力。科研人员利用图像处理技术对红外图像与可见光图像进行融合，以便进行电力设备的故障检测。其中，图像配准是图像融合的必要前提，用于获取两幅或多幅相同场景的图像的映射关系。
现阶段，基于尺度不变性的点特征图像配准方法被广泛应用，常见的配准方法有SIFT算法、SURF算法和ASIFT算法等。LOWE D提出的尺度不变特征变换方法，即(Scale-Invariant Feature Transform，SIFT)算法，奠定了基于点特征配准算法的基础，可解决图像平移、旋转等配准问题，但计算量大、耗时长，且不适用于图像的复杂变化情况；Bay等人通过对SIFT算法进行改进，提出了加速稳健特征(SpeededUp RobustFeatures，SURF)算法，提高了原算法的匹配速度，但受不稳定特征点及误匹配点对的影响，匹配速度会有所下降；MOREL J M等人提出了ASIFT(Affine-SIFT)算法，对比之前的算法，特征点更丰富，匹配效率更高。
现有算法可一定程度上解决电力设备红外图像与可见光图像配准问题，但变电站现场情况复杂，电力设备图像背景较为杂乱，可见光图像的特征点容易落在背景部分。且金属导热性好，其温度接近环境温度，以金属塔架等为背景的红外图像的金属部分并不能清晰显现，从而易造成图像的误匹配甚至无法匹配。
发明内容
本发明的目的是提供一种复杂背景下电力设备的红外与可见光图像配准方法及系统，以达到提高图像配准质量和图像配准效率的目的。
为实现上述目的，本发明提供了如下方案：
一种复杂背景下电力设备的红外与可见光图像配准方法，包括：
获取电力设备红外图像和电力设备可见光图像；
采用多尺度Retinex算法对所述电力设备可见光图像进行处理；
采用ASIFT算法分别对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像进行处理，以得到所述电力设备红外图像对应的多个红外特征点和所述多尺度Retinex算法处理后的电力设备可见光图像对应的多个可见光特征点；
对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对；
采用RANSAC算法剔除所有所述匹配点对中错误的匹配点对；
基于剩余的匹配点对重构电力设备图像。
可选的，所述采用ASIFT算法分别对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像进行处理，以得到所述电力设备红外图像对应的多个红外特征点和所述多尺度Retinex算法处理后的电力设备可见光图像对应的多个可见光特征点，具体包括：
对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像分别进行预处理；
采用ASIFT算法分别对预处理后的电力设备红外图像和预处理后的电力设备可见光图像进行处理，以得到红外特征点和可见光特征点。
可选的，所述对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像分别进行预处理，具体包括：
采用高斯滤波算法分别对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像进行处理；
对滤波后的的电力设备红外图像和滤波后的电力设备可见光图像进行灰度化处理；
采用Canny算子分别提取灰度化后的电力设备红外图像和灰度化后的电力设备可见光图像的边缘，得到预处理后的电力设备红外图像和预处理后的电力设备可见光图像。
可选的，所述对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对，具体包括：
采用FLANN匹配器，对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对。
一种复杂背景下电力设备的红外与可见光图像配准系统，包括：
图像获取模块，用于获取电力设备红外图像和电力设备可见光图像；
图像处理模块，用于采用多尺度Retinex算法对所述电力设备可见光图像进行处理；
特征点提取模块，用于采用ASIFT算法分别对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像进行处理，以得到所述电力设备红外图像对应的多个红外特征点和所述多尺度Retinex算法处理后的电力设备可见光图像对应的多个可见光特征点；
特征点匹配模块，用于对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对；
剔除模块，用于采用RANSAC算法剔除所有所述匹配点对中错误的匹配点对；
重构模块，用于基于剩余的匹配点对重构电力设备图像。
可选的，所述特征点提取模块，具体包括：
预处理单元，用于对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像分别进行预处理；
特征点提取单元，用于采用ASIFT算法分别对预处理后的电力设备红外图像和预处理后的电力设备可见光图像进行处理，以得到红外特征点和可见光特征点。
可选的，所述预处理单元，具体包括：
滤波子单元，用于采用高斯滤波算法分别对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像进行处理；
灰度化处理子单元，用于对滤波后的的电力设备红外图像和滤波后的电力设备可见光图像进行灰度化处理；
边缘处理子单元，用于采用Canny算子分别提取灰度化后的电力设备红外图像和灰度化后的电力设备可见光图像的边缘，得到预处理后的电力设备红外图像和预处理后的电力设备可见光图像。
可选的，所述特征点匹配模块，具体包括：
特征点匹配单元，用于采用FLANN匹配器，对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明采用多尺度Retinex算法分离出可见光图像中表征物体本身性质的分量，弱化杂乱背景所带来的影响，使特征点集中于目标设备；采用ASIFT算法提取红外图像与可见光图像特征并进行粗匹配，最后利用RANSAC算法进行误匹配点筛除，从而提高图像匹配质量与效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明Retinex算法的模型示意图；
图2为本发明Retinex算法的基本流程图；
图3为本发明相机仿射模型示意图；
图4为本发明复杂背景下电力设备的红外与可见光图像配准方法的流程示意图；
图5为本发明复杂背景下电力设备的红外与可见光图像配准方法的整体流程图；
图6为本发明复杂背景下电力设备的红外与可见光图像配准系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
Retinex算法
Retinex算法理论认为人眼或摄像机能够捕捉到颜色信息的过程是由两个因素决定：物体自身的反射性质和物体周围的光照强度。其中，光照强度决定了原始图像中所有像素点的动态范围大小，而原始图像的固有属性则是由物体自身的反射系数决定。Retinex算法的思路是去除光照的影响，进而保留物体自身的固有属性。其Retinex算法的模型示意，如图1所示。
Retinex算法的模型表达式为：
I(x,y)＝L(x,y)×R(x,y) (1)；
其中，I(x,y)代表人眼或摄像机接收到的图像信号；L(x,y)表示周围光照强度信息分量，即入射光分量；R(x,y)表示物体自身的固有性质信息分量，即反射光分量；(x,y)表示图像中任意像素点的坐标。
对公式(1)两边取对数可得：
log[I(x,y)]＝log[L(x,y)×R(x,y)]＝log[L(x,y)]+log[R(x,y)] (2)；
令i(x,y)＝log[I(x,y)]，l(x,y)＝log[L(x,y)]，r(x,y)＝log[R(x,y)]，则有：
i(x,y)＝l(x,y)+r(x,y) (3)；
其中，i(x,y)表示人眼或摄像机采集的图像信息的对数分量；l(x,y)代表周围光照强度信息的对数分量；r(x,y)代表物体自身的固有性质信息的对数分量。
人眼对亮度的感知能力不是线性的，更接近于对数曲线，且复杂的乘除法在对数域中可以转化为简单的加减法，因此转换成对数后可大幅度降低算法的复杂度。Retinex算法的基本流程如图2所示：
滤波算法
利用高斯环绕函数分别对图像的三个色彩通道进行滤波，滤波后的图像即为所估计的周围光照强度信息分量，简称光照分量。用对数域的原始图像减去光照分量即为输出结果图像。其计算表达式为：
Figure BDA0003151934540000061
其中，Ii(x,y)为原始图像；Li(x,y)为光照分量；i表示第i个色彩通道的反射图像；*代表卷积；G(x,y)为高斯环绕函数，其表达式为：
Figure BDA0003151934540000062
对同一幅图像在不同的尺度上进行高斯滤波，然后对不同尺度的滤波结果以平均加权的方式组合增强图像。
ASIFT算法与仿射变换
ASIFT算法兼顾尺度不变性和仿射不变性特点，因此可以通过引入经度角和纬度角来描述相机的旋转倾斜，模拟图像所有视差下的仿射变形，再用SIFT算法对这些仿射图像进行特征提取和匹配，可解决SIFT、ORB、SURF等特征描述算子倾斜匹配等问题。相较于SIFT类算法，ASIFT算法可提取到更多的特征点。
本发明用图像间的仿射变换来模拟相机视角的变化。
设原始图像和对应仿射变换的像素点坐标分别为(x,y)、(x',y')，设线性变换矩阵
Figure BDA0003151934540000071
平移矩阵
Figure BDA0003151934540000072
则仿射变换模型的数学表达式为：
Figure BDA0003151934540000073
可根据奇异值分解将A阵分解为：
Figure BDA0003151934540000074
其中，λ为相机的变焦参数；t为相机倾斜角；
Figure BDA0003151934540000075
和θ为相机光轴经、纬度角；ψ为镜头光学轴向旋转角。仿射模型如图3所示。
实施例一
请参加图4和图5，本实施例提供的复杂背景下电力设备的红外与可见光图像配准方法，具体包括：
步骤401：获取电力设备红外图像和电力设备可见光图像；具体为：
采用清晰度较高的红外与可见光摄像头对电力设备进行拍摄，同时获取电力设备红外图像和电力设备可见光图像。
步骤402：采用多尺度Retinex算法对所述电力设备可见光图像进行处理。
光照强度决定了电力设备可见光图像中所有像素点的动态范围大小，而电力设备可见光图像的固有属性则是由电力设备自身的反射系数决定。用多尺度Retinex算法的思路是去除光照的影响，进而保留电力设备自身的固有属性，以此达到弱化电力设备杂乱背景的目的。
步骤403：采用ASIFT算法分别对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像进行处理，以得到所述电力设备红外图像对应的多个红外特征点和所述多尺度Retinex算法处理后的电力设备可见光图像对应的多个可见光特征点；具体为：
步骤4031：对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像分别进行预处理。
步骤4032：采用ASIFT算法分别对预处理后的电力设备红外图像和预处理后的电力设备可见光图像进行处理，以得到红外特征点和可见光特征点。
基于尺度不变性和仿射不变性，通过引入经度角和纬度角描述相机的旋转倾斜，模拟图像所有视差下的仿射变形，再用SIFT算法对这些仿射图像进行特征提取，可解决SIFT、ORB、SURF等特征描述算子倾斜匹配等问题。相较于SIFT类算法，ASIFT算法可提取到更多的特征点。
其中，步骤4031具体包括：
采用高斯滤波算法分别所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像进行处理，以去除噪声。
对滤波后的的电力设备红外图像和滤波后的电力设备可见光图像进行灰度化处理，以便于后续图像处理与分析。
采用Canny算子分别提取灰度化后的电力设备红外图像和灰度化后的电力设备可见光图像的边缘，为提取图像的特征点做准备，进而得到预处理后的电力设备红外图像和预处理后的电力设备可见光图像。
步骤404：对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对；具体为：
由于通过ASIFT算法得到的特征点数目较多，因此采用FLANN匹配器进行特征点匹配。通过KD-TREE将特征点在n维空间划分为特定的几个部分，检索在KD-TREE中与目标特征点欧氏距离最近的特征点。整个搜索过程是从KD-TREE由上至下的递归过程：首先以某一特定维数为基准，将目标特征点和分割特征点的值进行比较，判别目标特征点所在的区域；然后循环和对应节点进行比较，直到搜索成功为止。
也可以采取暴力匹配等算法，对所述红外特征点和所述可见光特征点进行匹配处理，但效果可能不如FLANN匹配器。
步骤405：采用RANSAC算法剔除所有所述匹配点对中错误的匹配点对。
RANSAC算法为从一组含有“外点”的数据中正确估计数学模型参数的迭代算法。“外点(outlier)”一般指数据中的噪声，即不适合数学模型的数据；“内点(inlier)”为组成数学模型参数的数据。图像配准中常用该方法来剔除误匹配点对。
反复选择数据集中的一组子集，假设其为内点并做如下验证：
用内点拟合一个模型，将其他数据带入模型进行估计，如果适用则将该数据也归为内点。若有足够多的点被归为内点，就认为这组模型较为合理。通过反复迭代选取最优模型。
步骤406：基于剩余的匹配点对重构电力设备图像。
实施例二
请参见图6，本实施例提供的一种复杂背景下电力设备的红外与可见光图像配准系统，包括：
图像获取模块601，用于获取电力设备红外图像和电力设备可见光图像。
图像处理模块602，用于采用多尺度Retinex算法对所述电力设备可见光图像进行处理。
特征点提取模块603，用于采用ASIFT算法分别对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像进行处理，以得到所述电力设备红外图像对应的多个红外特征点和所述多尺度Retinex算法处理后的电力设备可见光图像对应的多个可见光特征点。
特征点匹配模块604，用于对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对。
剔除模块605，用于采用RANSAC算法剔除所有所述匹配点对中错误的匹配点对。
重构模块606，用于基于剩余的匹配点对重构电力设备图像。
所述特征点提取模块603，具体包括：
预处理单元，用于对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像分别进行预处理。
特征点提取单元，用于采用ASIFT算法分别对预处理后的电力设备红外图像和预处理后的电力设备可见光图像进行处理，以得到红外特征点和可见光特征点。
所述预处理单元，具体包括：
滤波子单元，用于采用高斯滤波算法分别对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像进行处理。
灰度化处理子单元，用于对滤波后的的电力设备红外图像和滤波后的电力设备可见光图像进行灰度化处理。
边缘处理子单元，用于采用Canny算子分别提取灰度化后的电力设备红外图像和灰度化后的电力设备可见光图像的边缘，得到预处理后的电力设备红外图像和预处理后的电力设备可见光图像。
所述特征点匹配模块604，具体包括：
特征点匹配单元，用于采用FLANN匹配器，对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对。
本发明的优势在于结合Retinex算法与有效的图像配准算法，弱化电力设备复杂金属器具背景对图像配准工作带来的影响。由于金属温度接近环境温度，红外图像采集时较难采集清晰，对比可见光图像有较大差异。而金属杆塔等电力元件有大量的角点等尺度不变性的点，这部分在提取特征点时候会被大批量保留。两幅图像的特征点分布差异会大大影响图像配准的正确率和效率。采用本发明方法的优势是可大幅提高配准正确率与配准效率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种复杂背景下电力设备的红外与可见光图像配准方法，其特征在于，包括：
获取电力设备红外图像和电力设备可见光图像；
采用多尺度Retinex算法对所述电力设备可见光图像进行处理；
采用ASIFT算法分别对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像进行处理，以得到所述电力设备红外图像对应的多个红外特征点和所述多尺度Retinex算法处理后的电力设备可见光图像对应的多个可见光特征点；
对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对；
采用RANSAC算法剔除所有所述匹配点对中错误的匹配点对；
基于剩余的匹配点对重构电力设备图像。
2.根据权利要求1所述的一种复杂背景下电力设备的红外与可见光图像配准方法，其特征在于，所述采用ASIFT算法分别对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像进行处理，以得到所述电力设备红外图像对应的多个红外特征点和所述多尺度Retinex算法处理后的电力设备可见光图像对应的多个可见光特征点，具体包括：
对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像分别进行预处理；
采用ASIFT算法分别对预处理后的电力设备红外图像和预处理后的电力设备可见光图像进行处理，以得到红外特征点和可见光特征点。
3.根据权利要求2所述的一种复杂背景下电力设备的红外与可见光图像配准方法，其特征在于，所述对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像分别进行预处理，具体包括：
采用高斯滤波算法分别对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像进行处理；
对滤波后的的电力设备红外图像和滤波后的电力设备可见光图像进行灰度化处理；
采用Canny算子分别提取灰度化后的电力设备红外图像和灰度化后的电力设备可见光图像的边缘，得到预处理后的电力设备红外图像和预处理后的电力设备可见光图像。
4.根据权利要求1所述的一种复杂背景下电力设备的红外与可见光图像配准方法，其特征在于，所述对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对，具体包括：
采用FLANN匹配器，对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对。
5.一种复杂背景下电力设备的红外与可见光图像配准系统，其特征在于，包括：
图像获取模块，用于获取电力设备红外图像和电力设备可见光图像；
图像处理模块，用于采用多尺度Retinex算法对所述电力设备可见光图像进行处理；
特征点提取模块，用于采用ASIFT算法分别对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像进行处理，以得到所述电力设备红外图像对应的多个红外特征点和所述多尺度Retinex算法处理后的电力设备可见光图像对应的多个可见光特征点；
特征点匹配模块，用于对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对；
剔除模块，用于采用RANSAC算法剔除所有所述匹配点对中错误的匹配点对；
重构模块，用于基于剩余的匹配点对重构电力设备图像。
6.根据权利要求5所述的一种复杂背景下电力设备的红外与可见光图像配准系统，其特征在于，所述特征点提取模块，具体包括：
预处理单元，用于对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像分别进行预处理；
特征点提取单元，用于采用ASIFT算法分别对预处理后的电力设备红外图像和预处理后的电力设备可见光图像进行处理，以得到红外特征点和可见光特征点。
7.根据权利要求6所述的一种复杂背景下电力设备的红外与可见光图像配准系统，其特征在于，所述预处理单元，具体包括：
滤波子单元，用于采用高斯滤波算法分别对所述电力设备红外图像和多尺度Retinex算法处理后的电力设备可见光图像进行处理；
灰度化处理子单元，用于对滤波后的的电力设备红外图像和滤波后的电力设备可见光图像进行灰度化处理；
边缘处理子单元，用于采用Canny算子分别提取灰度化后的电力设备红外图像和灰度化后的电力设备可见光图像的边缘，得到预处理后的电力设备红外图像和预处理后的电力设备可见光图像。
8.根据权利要求5所述的一种复杂背景下电力设备的红外与可见光图像配准系统，其特征在于，所述特征点匹配模块，具体包括：
特征点匹配单元，用于采用FLANN匹配器，对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对。
CN202110766613.6A 2021-07-07 2021-07-07 复杂背景下电力设备的红外与可见光图像配准方法及系统 Pending CN113344987A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110766613.6A CN113344987A (zh) 2021-07-07 2021-07-07 复杂背景下电力设备的红外与可见光图像配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110766613.6A CN113344987A (zh) 2021-07-07 2021-07-07 复杂背景下电力设备的红外与可见光图像配准方法及系统

Publications (1)

Publication Number Publication Date
CN113344987A true CN113344987A (zh) 2021-09-03

Family

ID=77482893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110766613.6A Pending CN113344987A (zh) 2021-07-07 2021-07-07 复杂背景下电力设备的红外与可见光图像配准方法及系统

Country Status (1)

Country Link
CN (1) CN113344987A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418941A (zh) * 2021-12-10 2022-04-29 国网浙江省电力有限公司宁波供电公司 一种基于电力巡检设备检测数据的缺陷诊断方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231191A (zh) * 2011-07-17 2011-11-02 西安电子科技大学 基于asift的多模态图像特征提取与匹配方法
CN106257535A (zh) * 2016-08-11 2016-12-28 河海大学常州校区 基于surf算子的电气设备红外与可见光图像配准方法
CN107025648A (zh) * 2017-03-20 2017-08-08 中国人民解放军空军工程大学 一种电路板故障红外图像自动检测方法
CN111161852A (zh) * 2019-12-30 2020-05-15 北京双翼麒电子有限公司 一种内窥镜图像处理方法、电子设备及内窥镜系统
CN112666426A (zh) * 2020-11-13 2021-04-16 国网江苏省电力有限公司电力科学研究院 基于多光谱三合一图像的设备故障检测方法及系统
CN112950685A (zh) * 2021-03-12 2021-06-11 南京航空航天大学 一种红外与可见光图像配准方法、系统及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231191A (zh) * 2011-07-17 2011-11-02 西安电子科技大学 基于asift的多模态图像特征提取与匹配方法
CN106257535A (zh) * 2016-08-11 2016-12-28 河海大学常州校区 基于surf算子的电气设备红外与可见光图像配准方法
CN107025648A (zh) * 2017-03-20 2017-08-08 中国人民解放军空军工程大学 一种电路板故障红外图像自动检测方法
CN111161852A (zh) * 2019-12-30 2020-05-15 北京双翼麒电子有限公司 一种内窥镜图像处理方法、电子设备及内窥镜系统
CN112666426A (zh) * 2020-11-13 2021-04-16 国网江苏省电力有限公司电力科学研究院 基于多光谱三合一图像的设备故障检测方法及系统
CN112950685A (zh) * 2021-03-12 2021-06-11 南京航空航天大学 一种红外与可见光图像配准方法、系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何志伟: "喀斯特地貌多视角倾斜航空影像拼接算法研究", 《中国优秀博硕士学位论文全文数据库（硕士）_基础科学辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418941A (zh) * 2021-12-10 2022-04-29 国网浙江省电力有限公司宁波供电公司 一种基于电力巡检设备检测数据的缺陷诊断方法及系统
CN114418941B (zh) * 2021-12-10 2024-05-10 国网浙江省电力有限公司宁波供电公司 一种基于电力巡检设备检测数据的缺陷诊断方法及系统

Similar Documents

Publication Publication Date Title
CN109684925B (zh) 一种基于深度图像的人脸活体检测方法及设备
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN111445459B (zh) 一种基于深度孪生网络的图像缺陷检测方法及系统
CN109146832B (zh) 一种视频图像的拼接方法、装置、终端设备及存储介质
CN109086675B (zh) 一种基于光场成像技术的人脸识别及攻击检测方法及其装置
Kim et al. GAN-based synthetic data augmentation for infrared small target detection
CN109544535B (zh) 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统
CN114119489A (zh) 一种电连接器多余物及缩针倒针缺陷自动化检测方法
Zhang et al. Multiple Saliency Features Based Automatic Road Extraction from High‐Resolution Multispectral Satellite Images
CN117809168B (zh) 一种基于水下目标的固有属性特征进行检测的方法及装置
CN111680577A (zh) 人脸检测方法和装置
Chen et al. Visual depth guided image rain streaks removal via sparse coding
CN113763274B (zh) 一种联合局部相位锐度定向描述的多源图像匹配方法
CN113344987A (zh) 复杂背景下电力设备的红外与可见光图像配准方法及系统
CN116823694B (zh) 基于多聚焦信息整合的红外与可见光图像融合方法及系统
CN110910497B (zh) 实现增强现实地图的方法和系统
CN112330562A (zh) 一种异构遥感图像变换方法及系统
CN112288682A (zh) 基于图像配准的电力设备缺陷定位方法
CN115035281B (zh) 一种快速的红外全景图像拼接方法
Dai et al. Intelligent ammeter reading recognition method based on deep learning
Zhang et al. A target-aware fusion framework for infrared and visible images
CN110826455A (zh) 一种目标识别方法及图像处理设备
CN117456371B (zh) 一种组串热斑检测方法、装置、设备及介质
CN117789153B (zh) 基于计算机视觉的汽车油箱外盖定位系统及方法
Yan et al. ℓ 2 Norm is all Your Need: Infrared-Visible Image Fusion VIA Guided Transformation Minimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wang Yaru

Inventor after: Hu Dongyang

Inventor after: Wang Tian

Inventor after: Nie Liqiang

Inventor after: Zhao Yanqing

Inventor after: Luo Wang

Inventor after: Zhang Wanzheng

Inventor after: Li Bing

Inventor after: Zhai Yongjie

Inventor before: Wang Yaru

Inventor before: Hu Dongyang

Inventor before: Wang Tian

Inventor before: Li Bing

Inventor before: Zhai Yongjie

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20220316

Address after: 071003 North China Electric Power University No.1 campus, 619 Yonghua North Street, Baoding City, Hebei Province

Applicant after: NORTH CHINA ELECTRIC POWER University (BAODING)

Applicant after: SHANDONG University

Applicant after: Zhiyang Innovation Technology Co.,Ltd.

Applicant after: NARI Group Corp.

Address before: 071003 North China Electric Power University No.1 campus, 619 Yonghua North Street, Baoding City, Hebei Province

Applicant before: NORTH CHINA ELECTRIC POWER University (BAODING)

TA01 Transfer of patent application right