CN114066955A - 一种红外光图像配准到可见光图像的配准方法 - Google Patents

一种红外光图像配准到可见光图像的配准方法 Download PDF

Info

Publication number
CN114066955A
CN114066955A CN202111399384.5A CN202111399384A CN114066955A CN 114066955 A CN114066955 A CN 114066955A CN 202111399384 A CN202111399384 A CN 202111399384A CN 114066955 A CN114066955 A CN 114066955A
Authority
CN
China
Prior art keywords
light image
visible light
infrared light
feature
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111399384.5A
Other languages
English (en)
Inventor
汪粼波
胡昊
方贤勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202111399384.5A priority Critical patent/CN114066955A/zh
Publication of CN114066955A publication Critical patent/CN114066955A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种红外光图像配准到可见光图像的配准方法，其包括：提取个红外光图像中的红外光浅层特征、深层特征，提取可见光图像中的可见光浅层特征、深层特征，两个图像为同一场景下的两幅不同模态的图像；对红外光浅层特征、深层特征进行特征融合形成红外光融合特征图，对可见光浅层特征、深层特征进行特征融合形成可见光融合特征图；将红外光融合特征图中每个红外光融合特征与可见光融合特征图中每个可见光融合特征进行相关性求解；将相关性图输入在回归网络模型中，以预测红外光图像配准到可见光图像的仿射变换参数；待配准的红外光图像通过仿射变换参数来配准对应的可见光图像。本发明有效提升了红外光图像与可见光图像配准的精准度。

Description

一种红外光图像配准到可见光图像的配准方法
技术领域
本发明涉及一种配准方法，尤其涉及一种红外光图像配准到可见光图像的配准方法。
背景技术
红外与可见光图像是两种常见的具有信息互补的图像，同时利用红外与可见光两种图像在计算机视觉各个领域中存在较大的优势，因此精准、高效的图像配准方法是重要的前提条件。红外图像是通过测量物体向外辐射的热量而获得的，能够直观反映物体热辐射的能量大小，但会丢失物体的纹理、结构等外观信息；而可见光图像包含了较为丰富的纹理结构与颜色信息，但受光照以及遮挡影响较大。由于红外与可见光图像存在明显的模态差异，且相关性较小，缺乏一致性特征，因此配准的难度较大。
目前的配准方法主要分为基于区域的方法和基于特征的方法。基于区域的配准方法使用不同种类的相似度度量，包括互信息、归一化互信息、基于FFT的相位相关法等，但这些方法在处理红外与可见光这种模态差异较大的图像时可能会导致局部极值，且计算负荷较大。相较基于区域的配准技术，基于特征的配准方法主要通过建立可靠的特征匹配来解决图像间的旋转、尺度变换。目前已有不少学者展开了对异源图像提取相似特征的研究，部分学者通过改进传统特征匹配的算法，使得SIFT、SURF等特征描述子适应由不同传感器所获得图像间像素灰度值明显差异。另外，还有学者利用边缘信息来克服不同模态图像间的差异，但该类方法无法保证可以提取到异源图像中大量重复一致的特征点，同时在特征匹配的过程中存在大量的离群值，并且对于因拍摄时间、光谱以及传感器的不同而导致图像间灰度差异较大时并不能获得精准的配准效果。
发明内容
针对对于模态、尺度差异较大的红外与可见光图像配准，传统的异源图像配准算法很难准确地建立可靠匹配模型来实现图像配准的技术问题，本发明提供了一种红外光图像配准到可见光图像的配准方法。
本发明采用以下技术方案实现：一种红外光图像配准到可见光图像的配准方法，其包括以下步骤：
步骤一、通过一个特征提取模型提取一个红外光图像中的红外光浅层特征、红外光深层特征，提取一个可见光图像中的可见光浅层特征、可见光深层特征；所述红外光图像和所述可见光图像为同一场景下的两幅不同模态的图像；
步骤二、对所述红外光浅层特征和所述红外光深层特征进行特征融合形成具有红外光融合特征的红外光融合特征图，对所述可见光浅层特征与所述可见光深层特征进行特征融合形成具有可见光融合特征的可见光融合特征图；
步骤三、将红外光融合特征图中每个红外光融合特征与可见光融合特征图中每个可见光融合特征进行相关性求解得到具有相应相关性的相关性图；
步骤四、将相关性图输入在一个回归网络模型中，以预测红外光图像配准到可见光图像的仿射变换参数；
步骤五、待配准的红外光图像通过所述仿射变换参数来配准对应的可见光图像。
作为上述方案的进一步改进，利用深度卷积网络模型即VGG16模型作为特征提取模型。VGG英文全称Visual Geometry Group，中文翻译视觉几何群网络。
进一步地，通过卷积操作对所述红外光图像提取红外光浅层特征、红外光深层特征，对所述可见光图像提取可见光浅层特征、可见光深层特征。
进一步地，特征融合的方式均为：
F＝Cat(Down(F1)8,Down(F2)4,Down(F3)2,F4)
其中，F表示融合特征图，指红外光融合特征图或者可见光融合特征图，Cat(·)表示融合特征图在通道维度上的拼接，Down(·)表示对图像中的浅层特征进行下采样操作，其下标为下采样的倍数，F1、F2、F3和F4分别是特征提取模型的第1，3，5，8层的卷积的特征图。
作为上述方案的进一步改进，训练所述特征提取模型多次，将训练后的所述特征提取模型作为步骤一采用的特征提取模型。
进一步地，特征提取模型的训练过程中需要输入三组图像，第一组为待配准的红外光图像IInf，第二组为与待配准的红外光图像内容相同的可见光图像Ipos，第三组为目标可见光图像Ivis，首先通过特征提取模型分别提取三组图像的特征，并利用特征提取模型的全连接层FC生成的1000维特征向量作为三元组损失的输入，进一步拉近特征提取模型对于IInf和Ipos图像间特征的表达，降低红外光图像与可见光图像之间的特征差异。
进一步地，其中三元组损失TripletLoss的具体公式为：
Figure BDA0003364951470000021
其中||·||为欧氏距离，因此
Figure BDA0003364951470000031
表示与红外光图像内容相同的可见光图像F(Ipos)和相应红外光图像F(IInf)之间的特征距离度量，
Figure BDA0003364951470000032
表示目标可见光图像F(Ivis)和相应红外光图像F(IInf)间的特征距离度量；a表示最小间隔，+表示[·]中的值大于零时，取该值为损失，而值小于零时，损失为零，即
Figure BDA0003364951470000033
[·]中的值会大于零，就会产生损失，当
Figure BDA0003364951470000034
损失为零；i表示红外光图像上第i个坐标点，i＝1-N，N为正整数代表选取坐标点的个数。
作为上述方案的进一步改进，所述相关性图中第k个通道、第(i,j)坐标位置上的相关性CAB(i,j,k)，采用以下方式进行求解：
CAB(i,j,k)＝Fvis(i,j)TFInf(ik,jk)
其中k表示相关性图中第k个通道，(i,j)表示所述红外光融合特征图上的坐标位置，(ik,jk)表示与(i,j)相对应的所述红外光融合特征图上的坐标位置；CAB(i,j,k)表示所述红外光融合特征图上第k个通道、第(i,j)坐标位置上的像素Fvis(i,j)到所述可见光融合特征图上第k个通道、第(ik,jk)坐标位置上的像素FInf(ik,jk)的相关性。
作为上述方案的进一步改进，所述回归网络模型的设计：
回归网络包括卷积层、Batch Normalization(中文翻译：批标准化)、ReLU(英文全称：Rectified linear unit，中文翻译：修正线性单元)激活函数以及全连接层FC(英文全称：fully connected layers，中文翻译：全连接层)，其中前四个卷积层的卷积核大小均为7×7，最后一层卷积核大小为6×6，并经过全连接层FC，输出为6维向量。
作为上述方案的进一步改进，训练所述回归网络模型多次，将训练后的所述回归网络模型作为步骤四采用的回归网络模型；
回归网络模型的训练输入两组图像，第一组为待配准的红外光图像，第二组为目标可见光图像，通过回归网络模型得到红外光图像与可见光图像间的仿射变换参数，并通过网格损失对回归网络模型进行调参优化，网格损失的具体公式为：
Figure BDA0003364951470000035
其中，i表示红外光图像上第i个坐标点，N代表选取坐标点的个数，gi表示选取的在红外光图像上选取点即第i个坐标点的坐标，Tθ(gi)表示坐标点经过预测的仿射变换对应的坐标点，
Figure BDA0003364951470000041
表示坐标点经过真实仿射变换对应的坐标点。
本发明与现有方法相比，本发明利用VGG16预训练模型提取红外与可见光图像特征，同时为了更好地提取红外与可见光图像的一致性特征，本发明通过设计一种三元组损失对预训练模型参数进行微调，进一步降低红外与可见光图像之间的特征差异，提高了VGG16预训练模型提取红外与可见光的一致性特征的能力；同时通过特征融合模块分别将红外与可见光的多层特征图进行融合，充分利用模型提取的浅层和深层特征，能够更好地表达红外与可见光的特征，让相关层更为准确地计算红外与可见光特征相关性；最后利用逆一致性损失来进一步约束回归模型生成仿射变换参数，有效地提升了红外与可见光图像配准的精准度。
附图说明
图1为本发明实施例1的红外光图像配准到可见光图像的配准方法的流程图。
图2为本发明实施例2的红外光图像配准到可见光图像的配准方法采用的配准网络结构图。
图3为本发明实施例2的红外光图像配准到可见光图像的配准方法采用的特征融合模块图。
图4为本发明实施例2的红外光图像配准到可见光图像的配准方法采用的逆一致性损失示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明的红外光图像配准到可见光图像的配准方法，基于深度学习的端到端网络的，用以解决红外与可见光图像光谱差异较大而导致的配准不理想的问题。本发明在技术上克服了现有技术面对光谱差异较大的图像时，导致不能获得准确的配准问题，有效的提升了红外与可见光图像配准的精准度，在一些数据集上获得了较好的配准效果。
实施例1
如图1所示，红外光图像配准到可见光图像的配准方法包括以下步骤。
步骤一、通过一个特征提取模型提取一个红外光图像中的红外光浅层特征、红外光深层特征，提取一个可见光图像中的可见光浅层特征、可见光深层特征；所述红外光图像和所述可见光图像为同一场景下的两幅不同模态的图像。
本发明利用深度卷积网络模型即VGG16模型作为特征提取模型。通过VGG16预训练模型分别对红外与可见光图像进行特征提取，由于预训练模型是在可见光图像上训练得到的，在红外图像的特征提取上并不能获得较好的效果，因此在网络训练过程中利用三元组损失(Triplet Loss)来更好地提取红外与可见光图像间的一致性特征。
步骤二、对所述红外光浅层特征和所述红外光深层特征进行特征融合形成具有红外光融合特征的红外光融合特征图，对所述可见光浅层特征与所述可见光深层特征进行特征融合形成具有可见光融合特征的可见光融合特征图。
本发明将VGG16网络结构作为特征提取模块(即特征提取模型)的主干网络，并通过加载预训练好的VGG16模型来初始化特征提取模型参数；同时通过特征融合模块将浅层特征和深层特征进行融合，具体来说，由特征提取网络提取的浅层特征图的尺度较大，而深层特征图尺度较小，因此将浅层特征图进行下采样，再与深层特征图融合。
模型训练的过程中输入三幅图像，其中两幅为内容对应的红外与可见光图像，另一幅为可见光图像经过随机仿射变换得到的图像，训练过程中通过三元组损失进一步优化特征提取网络，并通过网格损失以及逆一致性损失来优化回归网络模型；测试的过程将两幅待配准的红外与可见光图像输入到训练好的网络模型中，即可得到红外图像配准到可见光图像的仿射变换参数。
步骤三、将红外光融合特征图中每个红外光融合特征与可见光融合特征图中每个可见光融合特征进行相关性求解得到具有相应相关性的相关性图。
相关层模块的设计以及相关性计算：由步骤1可以分别生成红外与可见光图像的特征图fA,fB，其中fA,fB∈Rh×w×d，即特征图的大小均为h×w×d，相关层模块将两个特征图作为输入，计算两个特征图中所有像素间的相关性，并生成相关性图CAB。通过相关层模块计算红外和可见光特征之间的相关性。
步骤四、将相关性图输入在一个回归网络模型中，以预测红外光图像配准到可见光图像的仿射变换参数。
其中，回归网络可由五个卷积层、Batch Normalization、ReLU激活函数以及全连接层FC组成；将步骤2计算得到的相关性图CAB输入到回归网络中，即可预测到红外与可见光图像对应的仿射变换参数。基于相关性和回归模型估计红外和可见光图像间的仿射变换参数。
红外与可见光特征相关性输入到回归网络中，分别估计红外图像映射到可见光图像的变换参数以及可见光图像映射到可见光图像的变换参数，同时通过逆一致性损失使得回归网络可以预测更为精准的仿射变换参数，最终根据仿射变换参数将红外图像配准可见光图像。
步骤五、待配准的红外光图像通过所述仿射变换参数来配准对应的可见光图像。根据仿射变换结果将红外图像对准可见光图像。
实施例2
请一并参阅图2、图3、图4，本实施例的红外光图像配准到可见光图像的配准方法包括以下步骤。
步骤1.1，特征提取模块设计：利用深度卷积网络VGG16的网络结构作为特征提取模块。
步骤1.2，特征提取以及特征融合：将图像输入到特征提取模块中，通过卷积操作分别提取红外与可见光图像的特征；利用不同卷积层生成的不同尺寸大小的特征图进行特征融合，因此需要对浅层较大的特征图进行下采样，然后和深层特征图进行拼接，生成最终的融合特征图F；特征融合操作表示为：
F＝Cat(Down(F1)8,Down(F2)4,Down(F3)2,F4)
其中F表示融合特征图，Cat表示特征图在通道维度上的拼接，Down(·)表示下采样操作，其下标为下采样的倍数，F1、F2、F3和F4分别是特征提取网络第1，3，5，8层卷积的特征图。
步骤2.1，红外与可见光特征相关性计算：将步骤1.2得到的红外与可见光的融合特征图FInf、Fvis进行相关性计算，并生成相关性图CAB，其中相关性计算公式表示为：
CAB(i,j,k)＝Fvis(i,j)TFInf(ik,jk)
k＝h(jk-1)+ik
其中k表示相关性图中第k个通道，(i,j)和(ik,jk)分别表示可见光特征图和红外特征图上的位置索引。
步骤3.1，回归网络模型的设计：回归网络由五个卷积层、Batch Normalization、ReLU激活函数以及全连接层FC组成，其中前四个卷积层的卷积核大小均为7×7，最后一层卷积核大小为6×6，并经过全连接层FC，输出为6维向量。
步骤3.2，将步骤2.1得到的相关性图CAB输入到回归网络模型中，即可预测到红外与可见光图像对应的6个自由度的仿射变换参数。
步骤4.1，特征提取模块的训练：特征提取模型训练的过程中需要输入三组图像，第一组为待配准红外图像IInf，第二组为与红外图像内容相同的可见光图像Ipos，第三组为目标可见光图像Ivis，首先通过特征提取网络分别提取三组图像的特征，并利用特征提取网络全连接层生成的1000维特征向量作为三元组损失的输入，可以进一步拉近特征提取网络对于IInf和Ipos图像间特征的表达，降低红外与可见光图像之间的特征差异；其中三元组损失的具体公式为：
Figure BDA0003364951470000071
其中||·||为欧氏距离，因此
Figure BDA0003364951470000072
表示与红外图像内容相同的可见光图像和红外图像间的特征距离度量，
Figure BDA0003364951470000073
表示目标可见光图像和红外图像间的特征距离度量；a表示最小间隔，+表示[-]中的值大于零时，取该值为损失，而值小于零时，损失为零，即
Figure BDA0003364951470000074
中的值会大于零，就会产生损失，当
Figure BDA0003364951470000075
损失为零。
步骤4.2，回归网络模型的训练：回归模型的训练需要输入两组图像，第一组为待配准的红外图像，第二组为目标可见光图像，通过回归网络模型得到红外与可见光图像间的仿射变换参数，并通过网格损失对回归网络模型进行调参优化，网格损失的具体公式为：
Figure BDA0003364951470000076
其中，N代表选取坐标点的个数，gi表示选取的在红外图像上选取点的坐标，Tθ(gi)表示坐标点经过预测的仿射变换对应的坐标点，
Figure BDA0003364951470000077
表示坐标点经过真实仿射变换对应的坐标点。
同时为让回归模型可以更为精准地预测红外与可见光图像间仿射变换，故通过设计一种逆一致性损失来增强对回归模型的约束，首先通过配准网络分别得到红外图像X映射到可见光图像的仿射变换θXY和可见光图像映射到红外图像的仿射变换θYX，那么理想状态下θXY和θYX之间的积为恒等仿射变换，逆一致性损失ICLoss的具体公式为：
ICLoss＝GridLoss(θXY*θYX,ε)
步骤4.3，网络模型的测试：配准模型的测试需要输入两组图像，第一组为待配准红外图像，第二组为目标可见光图像，通过配准网络即可得到红外与可见光图像间仿射变换参数，并通过PCK、RMSE指标评价红外与可见光图像的配准效果。其中PCK指标是通过随机选取100个点坐标，并设置一个阈值，如果经模型预测的仿射变换生成的对应坐标与经过真实仿射变换生成的坐标误差不超过阈值，则认为是正确的匹配，PCK表示正确匹配点对与全部匹配点对的比值；RMSE指标代表所有对应点坐标的平均误差。
综上所述，本发明的红外光图像配准到可见光图像的配准方法，用以解决红外与可见光图像光谱差异较大而导致的配准不理想的问题。该方法步骤包括：步骤1，通过VGG16预训练模型分别对红外与可见光图像进行特征提取，由于预训练模型是在可见光图像上训练得到的，在红外图像的特征提取上并不能获得较好的效果，因此在网络训练过程中利用三元组损失(Triplet Loss)来更好地提取红外与可见光图像间的一致性特征；步骤2，通过相关层模块计算红外和可见光特征之间的相关性；步骤3，基于相关性和回归模型估计红外和可见光图像间的仿射变换参数。步骤4，根据仿射变换结果将红外图像对准可见光图像。本发明在技术上克服了现有技术对于光谱差异较大时而导致不能获得准确的配准问题，有效的提升了红外与可见光图像配准的精准度，在一些数据集上获得了较好的配准效果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种红外光图像配准到可见光图像的配准方法，其特征在于，其包括以下步骤：
步骤一、通过一个特征提取模型提取一个红外光图像中的红外光浅层特征、红外光深层特征，提取一个可见光图像中的可见光浅层特征、可见光深层特征；所述红外光图像和所述可见光图像为同一场景下的两幅不同模态的图像；
步骤二、对所述红外光浅层特征和所述红外光深层特征进行特征融合形成具有红外光融合特征的红外光融合特征图，对所述可见光浅层特征与所述可见光深层特征进行特征融合形成具有可见光融合特征的可见光融合特征图；
步骤三、将红外光融合特征图中每个红外光融合特征与可见光融合特征图中每个可见光融合特征进行相关性求解得到具有相应相关性的相关性图；
步骤四、将相关性图输入在一个回归网络模型中，以预测红外光图像配准到可见光图像的仿射变换参数；
步骤五、待配准的红外光图像通过所述仿射变换参数来配准对应的可见光图像。
2.如权利要求1所述的红外光图像配准到可见光图像的配准方法，其特征在于，利用深度卷积网络模型即VGG16模型作为特征提取模型。
3.如权利要求2所述的红外光图像配准到可见光图像的配准方法，其特征在于，通过卷积操作对所述红外光图像提取红外光浅层特征、红外光深层特征，对所述可见光图像提取可见光浅层特征、可见光深层特征。
4.如权利要求3所述的红外光图像配准到可见光图像的配准方法，其特征在于，步骤二中的两种特征融合的方式均为：
F＝Cat(Down(F1)8,Down(F2)4,Down(F3)2,F4)
其中，F表示融合特征图，指红外光融合特征图或者可见光融合特征图，Cat(·)表示融合特征图在通道维度上的拼接，Down(·)表示对图像中的浅层特征进行下采样操作，其下标为下采样的倍数，F1、F2、F3和F4分别是特征提取模型的第1，3，5，8层的卷积的特征图。
5.如权利要求1至4中任意一项所述的红外光图像配准到可见光图像的配准方法，其特征在于，训练所述特征提取模型多次，将训练后的所述特征提取模型作为步骤一采用的特征提取模型。
6.如权利要求5所述的红外光图像配准到可见光图像的配准方法，其特征在于，特征提取模型的训练过程中需要输入三组图像，第一组为待配准的红外光图像IInf，第二组为与待配准的红外光图像内容相同的可见光图像Ipos，第三组为目标可见光图像Ivis，首先通过特征提取模型分别提取三组图像的特征，并利用特征提取模型的全连接层FC生成的1000维特征向量作为三元组损失的输入，进一步拉近特征提取模型对于IInf和Ipos图像间特征的表达，降低红外光图像与可见光图像之间的特征差异。
7.如权利要求6所述的红外光图像配准到可见光图像的配准方法，其特征在于，其中三元组损失TripletLoss的具体公式为：
Figure FDA0003364951460000021
其中||·||为欧氏距离，因此
Figure FDA0003364951460000022
表示与红外光图像内容相同的可见光图像F(Ipos)和相应红外光图像F(IInf)之间的特征距离度量，
Figure FDA0003364951460000023
表示目标可见光图像F(Ivis)和相应红外光图像F(IInf)间的特征距离度量；a表示最小间隔，+表示[·]中的值大于零时，取该值为损失，而值小于零时，损失为零，即
Figure FDA0003364951460000024
[·]中的值会大于零，就会产生损失，当
Figure FDA0003364951460000025
损失为零；i表示红外光图像上第i个坐标点，i＝1-N，N为正整数代表选取坐标点的个数。
8.如权利要求1所述的红外光图像配准到可见光图像的配准方法，其特征在于，所述相关性图中第k个通道、第(i,j)坐标位置上的相关性CAB(i,j,k)，采用以下方式进行求解：
CAB(i,j,k)＝Fvis(i,j)TFInf(ik,jk)
其中k表示相关性图中第k个通道，(i,j)表示所述红外光融合特征图上的坐标位置，(ik,jk)表示与(i,j)相对应的所述红外光融合特征图上的坐标位置；CAB(i,j,k)表示所述红外光融合特征图上第k个通道、第(i,j)坐标位置上的像素Fvis(i,j)到所述可见光融合特征图上第k个通道、第(ik,jk)坐标位置上的像素FInf(ik,jk)的相关性。
9.如权利要求1所述的红外光图像配准到可见光图像的配准方法，其特征在于，所述回归网络模型的设计：
回归网络包括卷积层、Batch Normalization、ReLU激活函数以及全连接层FC，其中前四个卷积层的卷积核大小均为7×7，最后一层卷积核大小为6×6，并经过全连接层FC，输出为6维向量。
10.如权利要求1所述的红外光图像配准到可见光图像的配准方法，其特征在于，训练所述回归网络模型多次，将训练后的所述回归网络模型作为步骤四采用的回归网络模型；
回归网络模型的训练输入两组图像，第一组为待配准的红外光图像，第二组为目标可见光图像，通过回归网络模型得到红外光图像与可见光图像间的仿射变换参数，并通过网格损失对回归网络模型进行调参优化，网格损失的具体公式为：
Figure FDA0003364951460000031
其中，i表示红外光图像上第i个坐标点，N代表选取坐标点的个数，gi表示选取的在红外光图像上选取点即第i个坐标点的坐标，Tθ(gi)表示坐标点经过预测的仿射变换对应的坐标点，
Figure FDA0003364951460000032
表示坐标点经过真实仿射变换对应的坐标点。
CN202111399384.5A 2021-11-19 2021-11-19 一种红外光图像配准到可见光图像的配准方法 Pending CN114066955A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111399384.5A CN114066955A (zh) 2021-11-19 2021-11-19 一种红外光图像配准到可见光图像的配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111399384.5A CN114066955A (zh) 2021-11-19 2021-11-19 一种红外光图像配准到可见光图像的配准方法

Publications (1)

Publication Number Publication Date
CN114066955A true CN114066955A (zh) 2022-02-18

Family

ID=80276051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111399384.5A Pending CN114066955A (zh) 2021-11-19 2021-11-19 一种红外光图像配准到可见光图像的配准方法

Country Status (1)

Country Link
CN (1) CN114066955A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690578A (zh) * 2022-10-26 2023-02-03 中国电子科技集团公司信息科学研究院 一种图像融合方法和目标识别方法及装置
WO2023184795A1 (zh) * 2022-03-28 2023-10-05 南京邮电大学 面向虚拟现实元宇宙的先验双向补偿的全景图像配准方法
CN117351049A (zh) * 2023-12-04 2024-01-05 四川金信石信息技术有限公司 热成像与可见光融合的测点配准引导方法、设备和介质
CN117575931A (zh) * 2023-12-11 2024-02-20 四川新视创伟超高清科技有限公司 一种超高清可见光与红外图像的匹配融合方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184795A1 (zh) * 2022-03-28 2023-10-05 南京邮电大学 面向虚拟现实元宇宙的先验双向补偿的全景图像配准方法
CN115690578A (zh) * 2022-10-26 2023-02-03 中国电子科技集团公司信息科学研究院 一种图像融合方法和目标识别方法及装置
CN117351049A (zh) * 2023-12-04 2024-01-05 四川金信石信息技术有限公司 热成像与可见光融合的测点配准引导方法、设备和介质
CN117351049B (zh) * 2023-12-04 2024-02-13 四川金信石信息技术有限公司 热成像与可见光融合的测点配准引导方法、设备和介质
CN117575931A (zh) * 2023-12-11 2024-02-20 四川新视创伟超高清科技有限公司 一种超高清可见光与红外图像的匹配融合方法及装置

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
Lei et al. Intelligent fault detection of high voltage line based on the Faster R-CNN
Santo et al. Deep photometric stereo network
CN114066955A (zh) 一种红外光图像配准到可见光图像的配准方法
CN110705601A (zh) 基于单阶段目标检测的变电站设备渗漏油图像识别方法
CN109740665A (zh) 基于专家知识约束的遮挡图像船只目标检测方法及系统
CN108537121B (zh) 气象环境参数与图像信息融合的自适应遥感场景分类方法
CN108764250B (zh) 一种运用卷积神经网络提取本质图像的方法
CN109785371A (zh) 一种基于归一化互相关和sift的太阳图像配准方法
Jaus et al. Panoramic panoptic segmentation: Towards complete surrounding understanding via unsupervised contrastive learning
Shen et al. Defect detection of printed circuit board based on lightweight deep convolution network
CN115496928B (zh) 基于多重特征匹配的多模态图像特征匹配方法
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
CN113159043B (zh) 基于语义信息的特征点匹配方法及系统
Song et al. Analysis on the impact of data augmentation on target recognition for UAV-based transmission line inspection
CN113361542A (zh) 一种基于深度学习的局部特征提取方法
CN111368733B (zh) 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端
CN113505634A (zh) 一种双流解码跨任务交互网络的光学遥感图像显著目标检测方法
Gao et al. Efficient 6D object pose estimation based on attentive multi‐scale contextual information
Zhan et al. Computational colour constancy based on convolutional neural networks with a cross‐level architecture
Yang et al. SiamMMF: multi-modal multi-level fusion object tracking based on Siamese networks
CN116485860A (zh) 一种基于多尺度渐进交互和聚合交叉注意力特征的单目深度预测算法
Yang et al. Heterogeneous face detection based on multi‐task cascaded convolutional neural network
Liu et al. Behaviour detection in crowded classroom scenes via enhancing features robust to scale and perspective variations
CN112417961A (zh) 一种基于场景先验知识的海面目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination