CN115578428A - 一种考虑模态差异的红外与可见光图像配准方法及系统 - Google Patents

一种考虑模态差异的红外与可见光图像配准方法及系统 Download PDF

Info

Publication number
CN115578428A
CN115578428A CN202211282394.5A CN202211282394A CN115578428A CN 115578428 A CN115578428 A CN 115578428A CN 202211282394 A CN202211282394 A CN 202211282394A CN 115578428 A CN115578428 A CN 115578428A
Authority
CN
China
Prior art keywords
image
infrared
visible light
light image
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211282394.5A
Other languages
English (en)
Inventor
林颖
张峰达
李壮壮
刘萌
郑文杰
杨祎
乔木
李�杰
刘辉
李程启
张围围
李娜
孙艺玮
辜超
龚小谨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Original Assignee
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd filed Critical Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Priority to CN202211282394.5A priority Critical patent/CN115578428A/zh
Publication of CN115578428A publication Critical patent/CN115578428A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，提供了一种考虑模态差异的红外与可见光图像配准方法及系统，先将红外图像与可见光图像映射为辐射不变的图像，进行红外图像与可见光图像预处理，降低两张图像模态差异，在此基础上，对获取的辐射不变图局部特征计算；然后利用渐进一致采样算法实现红外图像与可见光图像的配准；通过将红外图像与可见光图像映射为辐射不变的图像，避免了存在较大非线性像素差异的两个模态图像进行局部特征计算及匹配时，失去有效的匹配的问题，配准结果更为准确，实现了红外图像和可见光图像更为有效的匹配。

Description

一种考虑模态差异的红外与可见光图像配准方法及系统
技术领域
本发明属于图像处理技术领域，尤其涉及一种考虑模态差异的红外与可见光图像配准方法及系统。
背景技术
红外和可见光图像的融合，可以利用红外模态的温度信息和可见光模态的细节外观信息，有助于提高电气设备定位和故障诊断的准确性。然而，由于红外与可见光镜头存在位置、焦距、以及畸变参数等不同，同一红外热像仪采集的红外、可见光两种模态图像之间不可避免地存在偏移、缩放等形变问题。将红外图像与可见光图像进行融合分析，首先需要对两种模态的图像进行准确配准。跨模态的配准过程一般包括将原红外与可见光图像对映射为辐射不变的图像对，然后进行像素点特征计算，以及特征匹配。
发明人发现，基于深度自注意力学习的图像局部特征计算和匹配的方法相比传统的方法可以克服更多的图像变化，同时可以应对稀疏纹理、重复纹理的情况，容易生成致密的匹配点对，一定程度上可以生成更多有效稳定的匹配对。但是直接对红外图像与可见光图像进行局部特征计算和匹配，由于两个模态的图像存在较大的非线性像素差异，直接用深度自注意力学习方法进行局部特征计算及匹配，潜在失去很多有效的匹配，对后续的配准和融合造成干扰。
发明内容
本发明为了解决上述问题，提出了一种考虑模态差异的红外与可见光图像配准方法及系统，首先采用基于小波变换的方法，将红外和可见图像转换为辐射不变图，进行红外、可见光图像预处理，降低两张图像模态差异，在此基础上，采用基于深度自注意力学习的LoFTR局部特征计算并进行匹配的方法，最后采用渐进一致采样(PROgressive SAmpleConsensus，PROSAC)方法对红外与可见光图像间的变换参数进行估计，实现了红外图像与可见光图像的配准融合；经过本发明中的方法，可以实现相比传统方法更准确的红外图像与可见光图像的配准；并且，对于不同角度拍摄的不同图像，存在稀疏纹理、重复纹理的图像，均能得到准确的配准结果。
为了实现上述目的，本发明是通过如下的技术方案来实现：
第一方面，本发明提供了一种考虑模态差异的红外与可见光图像配准方法，包括：
获取红外图像与可见光图像；
将红外图像与可见光图像映射为辐射不变的图像；
对辐射不变的图像进行局部特征计算和局部点匹配，得到匹配的特征点对；
根据匹配的特征点对在红外图像与可见光图像中的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数；
根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，实现红外图像与可见光图像的配准。
进一步的，对红外图像与可见光图像，先进行傅里叶变换映射到频域，在频域上进行二维对数伽柏滤波。
进一步的，基于小波变换，利用二维对数伽柏滤波器的空域奇对称部分和偶对称部分，对红外图像和可见光图像按照多个尺度与多个方向进行空域滤波；
计算不同尺度与不同方向滤波后结果的实部与虚部，并计算各个像素幅值；
计算同一方向不同尺度的空域像素点幅值叠加结果，得到多个方向的对数伽柏图；
每个像素取值为不同方向的对数伽柏图相应像素最大值，得到辐射不变图。
进一步的，利用深度自注意力学习网络，对辐射不变的图像进行局部特征计算和局部点匹配，得到匹配的特征点对。
进一步的，将辐射不变的图像输入深度自注意力学习网络，局部特征卷积神经网络提取两个粗略特征图，尺寸为原始图像大小的1/8，以及两个精细特征图，尺寸为原始图像大小的1/2；
将粗略特征图展平为一维向量并使用位置信息进行编码；一维特征向量经过一个自注意力层和一个交叉注意力层，分别捕获图像内和图像之间的全局上下文以增强特征；进一步输入匹配模块以获得粗略匹配；
所述匹配模块通过双Softmax算子实现，计算匹配置信度矩阵，以置信度选择匹配项；将在粗略特征图上获得的匹配细化为具有亚像素精度的精细匹配。
进一步的，在得到红外图像与可见光图像中匹配的特征点对后，根据特征点对所在的像素坐标计算图像间的变换参数。
进一步的，依据变换参数，将红外图像的坐标变换到可见光图像的坐标系下，按照对应位置像素取平均值，得到最终的融合图像。
第二方面，本发明还提供了一种考虑模态差异的红外与可见光图像配准系统，包括：
数据采集模块，被配置为：获取红外图像与可见光图像；
映射模块，被配置为：将红外图像与可见光图像映射为辐射不变的图像；
特征点匹配模块，被配置为：对辐射不变的图像进行局部特征计算和局部点匹配，得到匹配的特征点对；
变换参数计算模块，被配置为：根据匹配的特征点对在红外图像与可见光图像中的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数；
配准模块，被配置为：根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，实现红外图像与可见光图像的配准。
第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的考虑模态差异的红外与可见光图像配准方法的步骤。
第四方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的考虑模态差异的红外与可见光图像配准方法的步骤。
与现有技术相比，本发明的有益效果为：
1、本发明中，先将红外图像与可见光图像映射为辐射不变的图像，进行红外图像与可见光图像预处理，降低两张图像模态差异，在此基础上，对获取的辐射不变图局部特征计算；然后利用渐进一致采样算法实现红外图像与可见光图像的配准；通过将红外图像与可见光图像映射为辐射不变的图像，避免了存在较大非线性像素差异的两个模态图像进行局部特征计算及匹配时，失去有效匹配的问题，配准结果更为准确，实现了红外图像和可见光图像更为有效的匹配；
2、本发明相对于传统的图像配准方法，一方面基于小波变换思想的二维对数伽柏滤波器，可以将原有的存在较大模态差异图像对，映射为模态差异大幅减小的图像对；另一方面通过基于深度自注意力学习网络，可以提取到更可靠的局部特征描述，并且有效利用了特征点位置信息和上下文信息，实现了更有效的匹配；在此基础上，采用的渐近采样一致性方法，可以得到更准确的变换参数估计结果，并且，对于不同角度拍摄的图像、模态差异较大的图像以及纹理相对稀疏的图像，均能得到准确的配准结果。
附图说明
构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。
图1为本发明实施例1的流程图；
图2为本发明实施例2的获取辐射不变图像的示意图；
图3为本发明实施例2的可见光图像经过利用二维对数伽柏滤波器，映射为辐射不变图像的效果图；
图4为本发明实施例2的利用深度自注意力学习网络，对图像局部特征计算，并进行局部点匹配示意图；
图5为本发明实施例2的对获取的辐射不变图进行局部特征计算和局部点匹配的效果图；
图6为本发明实施例2的最终融合图像效果图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
实施例1：
传统的直接在原图像上进行角点提取、特征计算和特征匹配方法，尺度不变特征变换(Scale-invariant feature transform，SIFT)对红外与可见光等不同模态的变化往往不够鲁棒，k-d树最近邻查询算法(Best Bin First，BBF)特征匹配方法在匹配时忽视了邻近特征点的上下文信息，亦容易导致匹配错误。基于深度自注意力学习的图像局部特征计算和匹配的方法诸如LoFTR，相比传统的方法可以克服更多的图像变化，同时可以应对稀疏纹理、重复纹理的情况，容易生成致密的匹配点对，一定程度上可以生成更多有效稳定的匹配对。但是直接对红外图像与可见光图像进行局部特征计算和匹配，由于两个模态的图像存在较大的非线性像素差异，直接用LoFTR进行局部特征计算及匹配，潜在失去很多有效的匹配，对后续的配准和融合造成干扰。
针对上述问题，如图1所示，本实施例提供了一种模态鲁棒的红外与可见光图像配准方法，包括：
获取红外图像与可见光图像；
将红外图像与可见光图像映射为辐射不变的图像；
对辐射不变的图像进行局部特征计算和局部点匹配，得到匹配的特征点对；
根据匹配的特征点对在红外图像与可见光图像中的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数；
根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，实现红外图像与可见光图像的配准。
在本实施例中，利用基于小波变换的方法，将红外和可见图像转换为辐射不变图的过程为：
利用二维对数伽柏滤波器的空域奇对称部分和偶对称部分，对红外图像、可见光图像，按照多个尺度与多个方向进行空域滤波；
计算不同尺度与不同方向滤波后结果的实部与虚部，并计算各个像素幅值；
计算同一方向不同尺度的空域像素点幅值叠加结果，得到多个方向的对数伽柏图；
每个像素取值为不同方向的对数伽柏图相应像素最大值，得到辐射不变图。
在本实施例中，利用深度自注意力学习网络，对获取的辐射不变图局部特征计算，并进行匹配过程为：
输入两张辐射不变图时，局部特征卷积神经网络提取两个粗略特征图，尺寸为原始图像大小的1/8，以及两个精细特征图，尺寸为原始图像大小的1/2；
将粗略特征图展平为一维向量并使用位置信息进行编码。一维特征向量经过一个自注意力层和一个交叉注意力层，它们分别捕获图像内和图像之间的全局上下文以增强特征。它们被进一步输入匹配模块以获得粗略匹配；
匹配模块通过双Softmax算子实现，计算匹配置信度矩阵，并且以高置信度选择匹配项。接着，输入至粗到精模块，将在粗略特征图上获得的匹配细化为具有亚像素精度的精细匹配。整个网络使用粗略匹配负对数似然损失和精细匹配L2损失进行训练。
在本实施例中，在得到红外图像与可见光图像中匹配的特征点对后，根据特征点对所在的像素坐标计算图像间的变换参数；其中，对所有匹配点对进行质量评价，得到Q值，根据Q值降序排列，每次迭代根据Q值降序排列结果时进行随机采样，进行模型假设与验证。
在本实施例中，依据变换参数，将红外图像的坐标变换到可见光图像的坐标系下，按照对应位置像素取平均值，得到最终的融合图像。
实施例2：
本实施例提供了一种模态鲁棒的红外与可见光图像配准方法，通过将方法在变电设备的图像中的应用，对红外与可见光图像配准方法进行详述；具体方案如下：
首先，获取变电设备的红外图像和可见光图像，具体的，采用现有技术进行图像采集。
在本实施例中，利用基于小波变换的方法，将红外和可见图像转换为辐射不变图；
鉴于现有方法直接对原图像进行特征点提取以及匹配，难以克服红外图像与可见光图像存在的非线性模态差异，故计算出的局部特征差异较大或者难以匹配。
如图2所示，本实例中的构建Log-Gabor序列方式为：对于输入的红外图像与可见光图像，先进行傅里叶变换映射到频域，在频域上进行Log-Gabor滤波，该滤波变换公式为：
Figure BDA0003898674280000091
其中，(ρ，θ)表示对数极坐标；s和o表示尺度和方向；(ρs，θso)是2D-LGF的中心频率；σρ和σθ是沿ρ和θ坐标的带宽。该2D-LGF是在频域中定义的滤波器。空域中的相应滤波器是通过傅里叶逆变换获得的，将其表示为：
L(x,y,s,o)＝Leven(x,y,s,o)+iLodd(x,y,s,o) (2)
其中，Leven(x,y,s,o)和Lodd(x,y,s,o)分别是偶对称和奇对称的log-Gabor小波，也对应图像在空域上卷积结果的实部和虚部。接下来将图像分别与偶对称和奇对称的log-Gabor小波进行卷积，可以得到：
Figure BDA0003898674280000092
然后，图像I(x,y)在尺度s和方向o处的幅度Aso(x,y)由下式计算：
Figure BDA0003898674280000093
对于方向o，将所有尺度的幅度(Ns是总尺度的数量)相加以生成一个log-Gabor图Ao(x,y)：
Figure BDA0003898674280000094
最后，我们通过在每个像素的所有方向上取log-Gabor图Ao(x,y)的最大值来获得辐射不变图：
Figure BDA0003898674280000095
其中，Ns和No分别是尺度和方向的总数。图3为得到的红外图像与可见光图像的辐射不变变换结果图。从图中我们观察到，生成的辐射不变图在两种模式下都能很好地保留几何结构，而且经此变换得到的图像，由模态不同导致的图像差异得以减小。
在本实施例中，利用深度自注意力学习网络，对获取的辐射不变图局部特征计算，并进行匹配；
将得到的辐射不变图输入局部特征变换器(LoFTR)进行特征匹配。LoFTR是一种无需检测器的方法，它利用自注意技术来实现稳健的匹配结果。与传统的基于检测器的方法相比，LoFTR在低纹理或重复区域产生更高质量的匹配结果。图4说明了LoFTR的框架。它包含四个主要模块，包括局部特征卷积神经网络(CNN)、粗级局部特征变换模块、匹配模块和粗到细模块。如图4所示，本实施例中，输入辐射不变图Mir和Mrgb，局部特征卷积神经网CNN提取两个粗级特征图
Figure BDA0003898674280000101
和
Figure BDA0003898674280000102
大小为原始图像的1/8，以及两个精细级特征图
Figure BDA0003898674280000103
和
Figure BDA0003898674280000104
大小为原始图像大小的1/2。然后，将粗略级特征展开为一维向量并使用位置信息进行编码，输入到粗级局部特征变换模块。该粗级局部特征变换模块包含一个自注意力层和一个交叉注意力层，它们分别捕获图像内和图像之间的全局上下文以增强特征。增强的特征分别表示为
Figure BDA0003898674280000105
和
Figure BDA0003898674280000106
它们被进一步输入到匹配模块并获得粗略匹配。匹配模块通过双Softmax算子实现，匹配置信度矩阵为：
Pc(i,j)＝Softmax(S(i,·))j·Softmax(S(·,j))i (7)
其中，i和j表示两个图像的像素索引。并且以高置信度选择匹配项。粗到模块是将在粗级尺度上获得的匹配细化为具有亚像素精度的细级匹配。整个网络使用粗级网络计算的负对数似然损失和精细级网络计算的L2损失进行训练。
本实施例中，使用LoFTR模块，得到的特征点匹配结果如图5所示。
在本实施例中，根据匹配的特征点对在两幅图像中的像素坐标，利用渐近采样一致性PROSAC算法估计红外图像到可见光图像的变换参数。
具体为：在得到红外图像与可见光图像中匹配的特征点对后，本实施例中，根据特征点对所在的像素坐标，估算图像间的变换参数；由于红外镜头和可见光镜头之间的偏移相对拍摄的物体距离来说很小，因此可近似为共光心，利用单应性变换矩阵H，将红外图像变换到可见光图像的坐标系下；在齐次坐标系下，两幅图像中的像素坐标变换可表示为以下关系：
Figure BDA0003898674280000111
其中，单应性变换矩阵H中的h33＝1。所以，变换矩阵的参数自由度为8，可利用四对或以上的特征点对进行估计。
由于存在匹配噪声甚至错误匹配的外点，因此常用最小二乘法或RANSAC方法等进行参数估计；然而，在RANSAC中，每对特征点对同等对待，并且从整个特征点对的集合中随机选取样本，存在估算结果的随机性且收敛速度偏慢等问题。为此，本实施例中，采用PROSAC算法进行变换参数的估计。
本实施例中，PROSAC算法设计了一种半随机的方法，对所有匹配点对进行质量评价计算得到Q值，然后根据Q值降序排列，每次迭代优先在高质量点对中进行随机采样，进行模型假设与验证，从而降低算法复杂度，提升效率，并且避免了RANSAC随机算法面临的无法保证收敛的情况。
在本实施例中，根据变换参数，将红外图像的坐标变换到可见光图像坐标系下，实现配准。
具体的，在计算出变换模型后，将红外图像的坐标变换到可见光图像的坐标系下，然后按照对应位置像素取平均值，得到最终的融合图像，如图6所示。
本实施例鉴于红外与可见光两种模态的差异性，采用基于小波变换思想的二维对数伽柏滤波器，将红外和可见图像转换为辐射不变图，进行红外、可见光图像预处理，降低两张图像模态差异。在此基础上，采用基于深度自注意力学习的LoFTR局部特征计算并进行匹配的方法，最后采用渐进一致采样(PROgressive SAmple Consensus，PROSAC)方法对红外与可见光图像间的变换参数进行估计，实现了红外图像与可见光图像的配准融合；经过本公开中的方法，可以实现相比传统方法更准确的红外图像与可见光图像的配准；并且，对于不同角度拍摄的不同图像，存在稀疏纹理、重复纹理的图像，均能得到准确的配准结果。
实施例2：
本实施例提供了一种考虑模态差异的红外与可见光图像配准系统，包括：
数据采集模块，被配置为：获取红外图像与可见光图像；
映射模块，被配置为：将红外图像与可见光图像映射为辐射不变的图像；
特征点匹配模块，被配置为：对辐射不变的图像进行局部特征计算和局部点匹配，得到匹配的特征点对；
变换参数计算模块，被配置为：根据匹配的特征点对在红外图像与可见光图像中的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数；
配准模块，被配置为：根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，实现红外图像与可见光图像的配准。
所述系统的工作方法与实施例1的考虑模态差异的红外与可见光图像配准方法相同，这里不再赘述。
实施例4：
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了实施例1所述的考虑模态差异的红外与可见光图像配准方法的步骤。
实施例5：
本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了实施例1所述的考虑模态差异的红外与可见光图像配准方法的步骤。
以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。

Claims (10)

1.一种考虑模态差异的红外与可见光图像配准方法，其特征在于，包括：
获取红外图像与可见光图像；
将红外图像与可见光图像映射为辐射不变的图像；
对辐射不变的图像进行局部特征计算和局部点匹配，得到匹配的特征点对；
根据匹配的特征点对在红外图像与可见光图像中的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数；
根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，实现红外图像与可见光图像的配准。
2.如权利要求1所述的一种考虑模态差异的红外与可见光图像配准方法，其特征在于，对红外图像与可见光图像，先进行傅里叶变换映射到频域，在频域上进行二维对数伽柏滤波。
3.如权利要求2所述的一种考虑模态差异的红外与可见光图像配准方法，其特征在于，基于小波变换，利用二维对数伽柏滤波器的空域奇对称部分和偶对称部分，对红外图像和可见光图像按照多个尺度与多个方向进行空域滤波；
计算不同尺度与不同方向滤波后结果的实部与虚部，并计算各个像素幅值；
计算同一方向不同尺度的空域像素点幅值叠加结果，得到多个方向的对数伽柏图；
每个像素取值为不同方向的对数伽柏图相应像素最大值，得到辐射不变图。
4.如权利要求1所述的一种考虑模态差异的红外与可见光图像配准方法，其特征在于，利用深度自注意力学习网络，对辐射不变的图像进行局部特征计算和局部点匹配，得到匹配的特征点对。
5.如权利要求4所述的一种考虑模态差异的红外与可见光图像配准方法，其特征在于，将辐射不变的图像输入深度自注意力学习网络，局部特征卷积神经网络提取两个粗略特征图，尺寸为原始图像大小的1/8，以及两个精细特征图，尺寸为原始图像大小的1/2；
将粗略特征图展平为一维向量并使用位置信息进行编码；一维特征向量经过一个自注意力层和一个交叉注意力层，分别捕获图像内和图像之间的全局上下文以增强特征；进一步输入匹配模块以获得粗略匹配；
所述匹配模块通过双Softmax算子实现，计算匹配置信度矩阵，以置信度选择匹配项；将在粗略特征图上获得的匹配细化为具有亚像素精度的精细匹配。
6.如权利要求1所述的一种考虑模态差异的红外与可见光图像配准方法，其特征在于，在得到红外图像与可见光图像中匹配的特征点对后，根据特征点对所在的像素坐标计算图像间的变换参数。
7.如权利要求4所述的一种考虑模态差异的红外与可见光图像配准方法，其特征在于，依据变换参数，将红外图像的坐标变换到可见光图像的坐标系下，按照对应位置像素取平均值，得到最终的融合图像。
8.一种考虑模态差异的红外与可见光图像配准系统，其特征在于，包括：
数据采集模块，被配置为：获取红外图像与可见光图像；
映射模块，被配置为：将红外图像与可见光图像映射为辐射不变的图像；
特征点匹配模块，被配置为：对辐射不变的图像进行局部特征计算和局部点匹配，得到匹配的特征点对；
变换参数计算模块，被配置为：根据匹配的特征点对在红外图像与可见光图像中的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数；
配准模块，被配置为：根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，实现红外图像与可见光图像的配准。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现了如权利要求1-7任一项所述的考虑模态差异的红外与可见光图像配准方法的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现了如权利要求1-7任一项所述的考虑模态差异的红外与可见光图像配准方法的步骤。
CN202211282394.5A 2022-10-19 2022-10-19 一种考虑模态差异的红外与可见光图像配准方法及系统 Pending CN115578428A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211282394.5A CN115578428A (zh) 2022-10-19 2022-10-19 一种考虑模态差异的红外与可见光图像配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211282394.5A CN115578428A (zh) 2022-10-19 2022-10-19 一种考虑模态差异的红外与可见光图像配准方法及系统

Publications (1)

Publication Number Publication Date
CN115578428A true CN115578428A (zh) 2023-01-06

Family

ID=84587502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211282394.5A Pending CN115578428A (zh) 2022-10-19 2022-10-19 一种考虑模态差异的红外与可见光图像配准方法及系统

Country Status (1)

Country Link
CN (1) CN115578428A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117056377A (zh) * 2023-10-09 2023-11-14 长沙军顺航博科技有限公司 一种基于图论的红外图像处理方法、系统及存储介质
CN117422746A (zh) * 2023-10-23 2024-01-19 武汉珈和科技有限公司 分区非线性地理配准方法、装置、设备及存储介质
CN117934309A (zh) * 2024-03-18 2024-04-26 昆明理工大学 基于模态字典和特征匹配的未配准红外可见图像融合方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117056377A (zh) * 2023-10-09 2023-11-14 长沙军顺航博科技有限公司 一种基于图论的红外图像处理方法、系统及存储介质
CN117056377B (zh) * 2023-10-09 2023-12-26 长沙军顺航博科技有限公司 一种基于图论的红外图像处理方法、系统及存储介质
CN117422746A (zh) * 2023-10-23 2024-01-19 武汉珈和科技有限公司 分区非线性地理配准方法、装置、设备及存储介质
CN117934309A (zh) * 2024-03-18 2024-04-26 昆明理工大学 基于模态字典和特征匹配的未配准红外可见图像融合方法
CN117934309B (zh) * 2024-03-18 2024-05-24 昆明理工大学 基于模态字典和特征匹配的未配准红外可见图像融合方法

Similar Documents

Publication Publication Date Title
CN115578428A (zh) 一种考虑模态差异的红外与可见光图像配准方法及系统
Zheng et al. Spectral super-resolution of multispectral images using spatial–spectral residual attention network
CN109859256B (zh) 一种基于自动对应点匹配的三维点云配准方法
CN103106688A (zh) 基于双层配准方法的室内三维场景重建方法
CN108765476B (zh) 一种偏振图像配准方法
CN106408597A (zh) 基于邻域熵和一致性检测的sar图像配准方法
CN104978724A (zh) 基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法
CN104504723A (zh) 基于视觉显著特征的图像配准方法
CN113192646A (zh) 目标检测模型构建方法及不同目标间距离监控方法、装置
CN114092531A (zh) 一种红外-可见光图像配准方法及系统
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN113592923A (zh) 一种基于深度局部特征匹配的批图像配准方法
CN104820967B (zh) 在轨计算成像方法
CN109615577B (zh) 基于卷积网络的高光谱图像超分辨处理方法
CN110147769B (zh) 一种手指静脉图像匹配方法
CN109978897B (zh) 一种多尺度生成对抗网络的异源遥感图像配准方法及装置
CN114612698A (zh) 一种基于层级匹配的红外与可见光图像配准方法及系统
CN111461999B (zh) 一种基于超像素相似性测量的sar图像相干斑抑制方法
Sarkar et al. A wavelet-based multiresolution approach to solve the stereo correspondence problem using mutual information
Xiao et al. Effective PRNU extraction via densely connected hierarchical network
CN109584194B (zh) 基于卷积变分概率模型的高光谱图像融合方法
Barnard et al. High-resolution iris image reconstruction from low-resolution imagery
CN113610906B (zh) 一种基于融合图像引导的多视差图像序列配准方法
CN115588033A (zh) 基于结构提取的合成孔径雷达与光学图像配准系统及方法
CN107590829A (zh) 一种适用于多视角密集点云数据配准的种子点拾取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination