CN115393404A - 双光图像配准方法、装置及设备、存储介质 - Google Patents

双光图像配准方法、装置及设备、存储介质 Download PDF

Info

Publication number
CN115393404A
CN115393404A CN202211130418.5A CN202211130418A CN115393404A CN 115393404 A CN115393404 A CN 115393404A CN 202211130418 A CN202211130418 A CN 202211130418A CN 115393404 A CN115393404 A CN 115393404A
Authority
CN
China
Prior art keywords
image
visible light
conversion
infrared
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211130418.5A
Other languages
English (en)
Inventor
王建生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iray Technology Co Ltd
Original Assignee
Iray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iray Technology Co Ltd filed Critical Iray Technology Co Ltd
Priority to CN202211130418.5A priority Critical patent/CN115393404A/zh
Publication of CN115393404A publication Critical patent/CN115393404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种双光图像配准方法、装置及设备、存储介质，所述双光图像配准方法包括：获取针对目标场景采集的同组红外图像和可见光图像；将所述红外图像转换为可见光图像，得到对应的可见光转换图像；对所述可见光图像和所述可见光转换图像进行特征检测和匹配，确定目标单应性矩阵；通过所述目标单应性矩阵对所述可见光转换图像进行坐标映射，得到与所述可见光图像配准的红外配准图像。

Description

双光图像配准方法、装置及设备、存储介质
技术领域
本申请涉及图像处理技术领域，尤其是涉及一种双光图像配准方法、装置及设备、计算机可读存储介质。
背景技术
红外热成像和可见光成像作为两种最为重要的探测手段，在军用装备和民用场合都有着广泛的应用。由于红外图像和可见光图像的成像机理和应用场景不同，因此具有天然的互补性。可见光图像是利用目标的反射光成的像，空间分辨率高，可以提供丰富清晰的外观信息，含有的信息量较大，有利于人眼对于场景和目标的认知，并且对于建立判别模型更好。红外探测器接收视场中物体的热辐射强度信息，从而形成红外图像，而且红外成像传感器的工作原理也决定了它受可见光线变化、雾霾等恶劣天气的影响较小，但其成像质量与可见光相比，图像纹理信息稍差。将二者配准融合可以有效丰富图像纹理细节，显著提高图像信息丰富度。
然而，红外和可见光所处波段并不相同，红外图像和可见光图像间差异较大，而不同模态图像配准的核心是提取不同模态图像空间对应位置相似的匹配特征，而目前已知的各种传统的特征提取方法亦或是深度特征提取的方法，都不能较好地解决红外图像和可见光图像的空间对应位置的图像特征难以匹配的问题，从而导致现有的红外图像和可见光图像配准算法配准精度低，融合后图像不可避免出现闪烁噪声。另有通过设计复杂机械结构，通过调整红外和可见光图像在三维空间上的旋转、平移6自由度来实现红外图图像与可见光图像的配准，不仅导致生产过程中调校困难，难以工程化，而且靠机械结构调校装置只能调整三维空间上的旋转、平移6自由度，无法解决红外图像与可见光图像由于焦距不同、视场不同等造成的图像特征尺度不一致性问题。
有鉴于此，如何有效地解决红外图像和可见光图像的配准问题，是本领域亟待解决的问题。
发明内容
为解决现有存在的技术问题，本申请提供一种能够有效地将红外图像和可见光图像的空间对应位置的图像特征进行匹配的双光图像配准方法、装置及设备、计算机可读存储介质。
为达到上述目的，本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种双光图像配准方法，包括：
获取针对目标场景采集的同组红外图像和可见光图像；
将所述红外图像转换为可见光图像，得到对应的可见光转换图像；
对所述可见光图像和所述可见光转换图像进行特征检测和匹配，确定目标单应性矩阵；
通过所述目标单应性矩阵对所述可见光转换图像进行坐标映射，得到与所述可见光图像配准的红外配准图像。
第二方面，本申请实施例提供一种双光图像配准装置，包括：
获取模块，用于获取针对目标场景采集的同组红外图像和可见光图像；
转换模块，用于将所述红外图像转换为可见光图像，得到对应的可见光转换图像；
匹配模块，用于对所述可见光图像和所述可见光转换图像进行特征检测和匹配，确定目标单应性矩阵；
配准模块，用于通过所述目标单应性矩阵对所述可见光转换图像进行坐标映射，得到与所述可见光图像配准的红外配准图像。
第三方面，本申请实施例提供一种红外热成像设备，包括处理器、与所述处理器连接的存储器及存储在所述存储器上并可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现本申请任一实施例所述的双光图像配准方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被所述处理器执行时实现如本申请任一实施例所述的双光图像配准方法。
上述实施例中，通过将红外图像转换为可见光图像，基于转换后得到的可见光转换图像与同组中原始的可见光图像进行特征检测和匹配，获取目标单应性矩阵，通过目标单应性矩阵对红外图像转换得到可见光转换图像进行坐标映射，得到能够与原始的可见光图像配准的红外配准图像，其中，通过将红外图像进行转换得到对应的可见光转换图像，可见光转换图像中的图像特征保留有原红外图像中图像特征的空间相关关系，基于可见光转换图像与原始的可见光图像进行特征检测匹配以提取到匹配的特征点来计算目标单应性矩阵，从而可实现在可见光域进行图像配准，减少了不同域图像之间图像特征的差异，使得能够更容易、更精确地检测到红外图像和可见光图像的空间对应位置的匹配的图像特征，有效提升配准精度。
上述实施例中，双光图像配准装置、红外热成像设备及计算机可读存储介质与对应的双光图像配准方法实施例属于同一构思，从而分别与对应的双光图像配准方法实施例具有相同的技术效果，在此不再赘述。
附图说明
图1为一实施例中双光图像配准方法的应用场景示意图；
图2为一实施例中双光图像配准方法的流程图；
图3为一实施例中模态转换网络的架构图；
图4为一实施例中计算空间相关图的原理图；
图5为一示例中可见光图像；
图6为图5示例中与可见光图像同组的红外图像；
图7为图6所示红外图像经模态转换网络转换后得到的可见光转换图像；
图8为图7所示可见光转换图像与图5所示可见光图像的特征匹配结果示意图；
图9为一可选的具体示例中双光图像配准方法的流程图；
图10为图6所示红外图像经目标单应性矩阵转换后的红外配置图像；
图11为图10所示红外配准图像与图5所示可见光图像的融合图像；
图12为一实施例中红外配准装置的示意图。
具体实施方式
以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”的表述，其描述了所有可能实施例的子集，需要说明的是,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一、第二、第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一、第二、第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
请参阅图1，为本申请实施例提供的双光图像配准方法的一可选应用场景的示意图，其中，红外热成像设备11包括处理器12、与所述处理器12连接的存储器13和拍摄模块14。所述拍摄模块14包括红外拍摄组件141及可见光拍摄组件142，红外拍摄组件141及可见光拍摄组件142固定到同一结构中，且二者光轴平行，数据采集时，红外拍摄组件141及可见光拍摄组件142时钟同步，同步对相同场景分别采集红外图像和可见光图像，将同时刻采集的相同场景的红外图像和可见光图像作为同一组。所述红外热成像设备11通过所述拍摄模块14实时采集同组的红外图像和可见光图像发送给处理器12，所述存储器13内存储有实施本申请实施例所提供的双光图像配准方法的计算机程序，处理器12通过执行所述计算机程序，通过将红外图像转换为可见光转换图像，基于可见光转换图像与原始的可见光图像进行特征检测和匹配计算目标单应性矩阵，基于目标单应性矩阵对红外图像和可见光图像进行配准。其中，红外热成像设备11可以是集成有红外图像及可见光图像拍摄功能的拍摄模块14、且具备存储和处理功能的各类智能终端，如手持观察仪、各类瞄准类设备、安防监控设备、车载/机载设备等。
请参阅图2，为本申请一实施例提供的双光图像配准方法，可以应用于图1所示应用场景中的红外热成像设备。其中，双光图像配准方法包括如下步骤：
S101，获取针对目标场景采集的同组红外图像和可见光图像。
同组红外图像和可见光图像是指采集到的同时刻、同目标场景的红外图像和可见光图像。目标场景可以是指通过红外热成像设备进行图像采集的任意场景。红外热成像设备可以包括拍摄模块，拍摄模块包括红外拍摄组件及可见光拍摄组件。所述获取针对目标场景采集的同组红外图像和可见光图像包括：红外热成像设备通过拍摄模块实时采集目标场景的红外图像和可见光图像。在另一些可选的实施例中，红外热成像设备不包括拍摄模块，所述获取针对目标场景采集的同组红外图像和可见光图像包括：红外热成像设备获取具备图像拍摄功能的其它智能设备发送的同组红外图像和可见光图像，这里，其它智能设备可以是手机终端、云端等。
S103，将所述红外图像转换为可见光图像，得到对应的可见光转换图像。
针对同组中的红外图像和可见光图像，将红外图像转换为可见光图像，本申请实施例中，为了便于区分和描述，将红外图像转换得到的可见光图像称为可见光转换图像。其中，对红外图像进行转换可以选择目前已知的一些算法来实现，如构建残差(ResNet)、稠密(DenseNet)生成器两路分支网络模型，输入红外图像，分别经过残差、稠密生成器两路分支网络各自生成可见光转换图像，通过基于图像分割的线性插值算法，将各生成器分支网络的转换图像进行融合，获得可见光转换图像。
S104，对所述可见光图像和所述可见光转换图像进行特征检测和匹配，确定目标单应性矩阵。
单应性矩阵是指不同域的图像之间的投影关系，可以是一个平面到另一个平面的投影矩阵，可用来描述物体在世界坐标系和像素坐标系之间的位置映射关系。单应性矩阵根据可见光图像和可见光转换图像中的特征点对的关系建立得到，特征点对，是指可见光图像和可见光转换图像中分别表示相同空间对应位置的两个特征点。以单应性矩阵用H表示为例，特征点对坐标为(x',y',1)和(x,y,1)，则单应性矩阵用H为：
Figure BDA0003850060370000041
特征点对的转换关系为：
Figure BDA0003850060370000051
根据特征点对的转换关系将其转换为多项式方程组，并将基于图像检测和匹配得到的特征点的坐标代入多项式方程组，求解可确定单应性矩阵。
其中，对于自由度为8的多项式方程组，求解一个单应性矩阵的所需的特征点对的数量为4对。通过图像检测和匹配，获得的特征点对的数量可远超过4对，可从求解出的多个单应性矩阵中选择更优的作为目标单应性矩阵；可以理解的是，在某些特定应用下，也可以是将求解出的一个单应性矩阵直接视为最优的目标单应性矩阵。将红外图像转换为可见光转换图像后，可见光转换图像的图像特征仍保留有原红外图像中图像特征的空间相关关系，而基于转换后得到的可见光转换图像与可见光图像进行特征检测和匹配，减少了不同域图像之间图像特征的差异，使得能够更容易、更精确地检测到红外图像和可见光图像的空间对应位置的匹配的图像特征。其中，特征检测和匹配可以选择目前已知的一些算法来实现，如采用基于检测角点的Harris(哈希)的图像特征检测和基于Flann(Fast Libraryfor Approximate Nearest Neighbors，快速近邻近似算法)的匹配法。
S105，通过所述目标单应性矩阵对所述可见光转换图像进行坐标映射，得到与所述可见光图像配准的红外配准图像。
采用目标单应性矩阵对可见光转换图像进行坐标映射，将其转换至与可见光图像配准的相同坐标系下，也即，将红外图像转换至与可见光图像配准的相同坐标系下，得到与可见光图像配准的红外配准图像。红外配准图像可作为图像融合的基础。
上述实施例中，通过将红外图像转换为可见光图像，基于转换后得到的可见光转换图像与同组中原始的可见光图像进行特征检测和匹配，获取目标单应性矩阵，通过目标单应性矩阵对红外图像转换得到可见光转换图像进行坐标映射，得到能够与原始的可见光图像配准的红外配准图像，其中，通过将红外图像进行转换得到对应的可见光转换图像，可见光转换图像中的图像特征保留有原红外图像中图像特征的空间相关关系，基于可见光转换图像与原始的可见光图像进行特征检测匹配以提取到匹配的特征点来计算目标单应性矩阵，从而可实现在可见光域进行图像配准，减少了不同域图像之间图像特征的差异，使得能够更容易、更精确地检测到红外图像和可见光图像的空间对应位置的匹配的图像特征，有效提升配准精度。
在一些实施例中，S103，将所述红外图像转换为可见光图像，得到对应的可见光转换图像，包括：
基于生成对抗网络构建的模态转换网络对所述红外图像进行转换，得到对应的可见光转换图像；
其中，所述生成对抗网络包括生成模型及与所述生成模型连接的第一判别模型和第二判别模型，所述第一判别模型和所述第二判别模型分别以原始比例的红外图像和设定采样倍率采样的红外图像作为输入。
生成对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型，是一种无监督学习的神经网络。生成对抗网络包括生成模型(Generative Model)和判别模型(Discriminative Model)，通过二者的互相博弈学习以产生生成能够拟合输入的输出。模态转换网络的基本架构采用生成对抗网络，生成模型通过学习将红外图像转换为可见光图像，判别模型通过鉴定生成的可见光图像是否足够真实。本实施例中，请参阅图3，生成对抗网络包括并行的两路判别模型，第一判别模型和第二判别模型分别以原始比例的红外图像以及设定倍率采样下的红外图像作为输入，形成多尺度判别网络对生成模型转换得到的可见光图像是否真实进行鉴定，设定倍率可以是指2倍下采样。
上述实施例中，模态转换网络基于生成对抗网络构建，生成对抗网络中判别模型采用多路并行以不同倍率下采样的红外图像作为输入的判别模型以形成多尺度判别网络，如此，生成模型将提供更清晰的纹理细节，且当上采样过程基于图像主边缘时可减小失真概率。
在一些实施例中，所述基于生成对抗网络构建的模态转换网络对所述红外图像进行转换，得到对应的可见光转换图像之前，包括：
基于生成对抗网络构建初始的模态转换网络，对所述初始的模态转换网络进行训练；在一次迭代过程中，所述生成模型将红外样本图像转换为可见光拟合图像，所述第一判别模型和所述第二判别模型对所述可见光拟合图像是否为真进行判断；
通过迭代训练直至网络中损失函数收敛，得到训练后的所述模态转换网络。
基于生成对抗网络构建初始的模态转换网络，对所述初始的模态转换网络进行训练，在训练过程中，生成模型是通过给定某种隐含信息对红外样本图像转换以产生对应的可见光拟合图像作为观测数据，判别模型对可见光拟合图像是否为真进行判断，通过大量的迭代训练使得生成对抗网络中生成模型和判别模型的损失函数收敛，第一判别模型和第二判别模型预测生成模型转换得到的可见光拟合图像为真，以此判断生成模型转换得到的可见光拟合图像的转换质量，得到训练后的模态转换网络。
上述实施例中，通过训练得到模态转换网络，通过模态转换网络对红外图像进行转换得到对应的可见光转换图像，利用多尺度判别网络对生成模型生成的可见光转换图像进行鉴别，以使得图像转换结果更加准确真实。
在一些实施例中，所述第一判别模型和所述第二判别模型分别采用U-net网络结构，所述第一判别模型和所述第二判别模型的损失函数可以为如下公式一所示：
Figure BDA0003850060370000071
Xt为红外图像；Xf为可见光转换图像；D＝σ(C)，C为M×N输出矩阵，输出矩阵中每个元素代表对应像素为真的置信度。
U-net网络结构是一个编码-解码的结构，压缩通道是一个编码器，用于逐层提取图像的特征，扩展通道是一个解码器，用于还原图像的位置信息。U-Net网络结构可以分为三个部分：主干特征提取部分、加强特征提取部分、预测部分。其中，主干特征提取部分可为卷积和最大池化的堆叠，通过多个卷积层进行特征提取，最大池化对特征提取结果进行降维，去除冗余。加强特征提取部分对主干特征提取部分获取到的有效特征层进行上采样，并进行特征融合，得到最终的、融合了所有特征的有效特征层。预测部分利用有效特征层对各特征进行分类。第一判别模型和第二判别模型采用相同的U-net网络结构，第一判别模型以原始比例的红外图像作为输入，如上述公式一中，第一判别模型的损失函数中Xt为原始比例的红外图像；第二判别模型以2倍下采样的红外图像作为输入，如上述公式一中，第二判别模型的损失函数中Xt为2倍下采样的红外图像，每一判别模型的输出为M×N输出矩阵，输出矩阵中每一元素代表可见光转换图像中对应像素是真的可能性，使用sigmoid函数将两路判别模型的输出归一化，并使用二进制交叉熵损失来计算两路判别模型构成的多尺度判别网络的总损失。
可选的，多尺度判别网络的总损失可以为如下公式二所示：
Figure BDA0003850060370000072
其中，λ1和λ2可以根据实际应用需求进行调整，对于两路判别模型的输出结果的置信度相同的情况下，可设置λ1和λ2均为0.5。
上述实施例中，采用两路U-net网络结构组成多尺度判别网络，U-Net网络结构中每一个隐藏层可以有较多特征维数，从而有利于模型学习更加多样、全面的特征，可利用不同层次的特征通过叠加组合，获得更加精确的输出结果。
在一些实施例中，所述生成模型的损失函数可以为如下公式(三)：
LS＝d(Sx，Sy)； (公式三)
其中，Sx为所述生成模型对红外样本图像进行特征提取的采样通道数量对应的第一空间相关图集合，Sy为所述生成模型对可见光拟合图像进行特征提取的采样通道数量对应的第二空间相关图集合，d(·)为第一空间相关图集合中各空间相关图与第二空间相关图集合中各空间相关图之间的距离。
生成模型以红外图像转化前后的原始的红外图像及对应的可见光转换图像作为不同域的两个图像，利用不同域的图像之间的空间相关损失来设置损失函数。请参阅图4，假设给定原始的红外图像x、对应的可见光转换图像y，分别提取红外图像x的图像特征fx及可见光转换图像y的图像特征fy，以特征图的形式计算二者的自相似性，称为空间相关图。
以红外图像x为例，空间相关图的计算如下公式五所示：
Figure BDA0003850060370000081
其中，
Figure BDA0003850060370000082
表示具有K个采样通道的查询点xi的特征，K个采用通道表示将红外图像x通过划分K个图像块进行特征提取，查询点xi可以是各采样通道对应的图像块中的关键点。
Figure BDA0003850060370000083
表示K个采用通道输出的特征提取结果中NP特征点的相应特征，
Figure BDA0003850060370000084
表示计算查询点与采用通道输出的特征提取结果中其它点的特征空间相关性。如此，通过以特征图的形式计算自相似性，捕捉到特征点之间空间上的相关关系，将整个图像的结构表示为多个空间相关图形成的第一空间相关图集合Sx，如下公式六所示：
Figure BDA0003850060370000085
其中，Ns表示采样通道的数量。
同上原理，计算可见光转换图像y的第二空间相关图集合Sy，利用第一空间相关图集合Sx和第二空间相关图集合Sy，比较红外图像x和对应的可见光转换图像y之间的结构相似的空间相关图，计算第一空间相关图集合中各空间相关图与第二空间相关图集合中各空间相关图之间的距离d(·)作为生成模型的损失函数，其中，距离d(·)可以是计算欧式距离L1，L1＝||Sx-Sy||、或计算余弦距离L2，L2＝||1-cos(Sx，Sy)||，模态转换网络包括生成模型的损失函数，通过对模态转换网络进行训练直至网络中的损失函数收敛，也即，生成模型的损失函数收敛，使得训练后生成模型将红外图像转换得到的可见光转换图像的图像特征不仅可编码原始的红外图像中光照、纹理等属性信息，且保留有原红外图像中各特征点的空间相关关系。
上述实施例中，生成模型可引入计算不同域的图像之间图像特征的空间相关关系的特征提取网络，使得红外图像转换后的可见光转换图像保留有原始的红外图像的特征点的空间位置关系。
可选的，所述生成模型的损失函数可以为如下公式四所示：
LC＝d(Zx，Zy)； (公式四)
其中，Zx为所述生成模型对红外样本图像进行特征提取的采样通道数量对应的第一转换块特征集合，Zy为所述生成模型对可见光拟合图像进行特征提取的采样通道数量对应的第二转换块特征集合，d(·)为第一转换块特征集合中各转换块特征与第二转换块特征集合中各转换块图像的互相关性。
生成模型可以是引入注意力机制，计算多个采样通道之间的注意力矩阵以优化不同域的图像之间的空间位置的互相关性计算。假设给定原始的红外图像x、转换后的可见光图像为可见光转换图像y，将整个图像的结构特征表示为基于注意力机制计算得到的转换块特征集合z，可表示为Z＝[Z1，...，Zn]。以红外图像x为例，将输入的红外图像x通过划分n个采样通道(patch)进行特征提取，每个patch编码为一个标记
Figure BDA0003850060370000091
所有标记送入一系列转换块(transformer)中，每个转换块利用自我注意(self-attention)进行标记混合，当输入一系列标记
Figure BDA0003850060370000092
后，以当前的关键特征点(Query)和所有其它特征点(Key)计算相似度，将相似度通过归一化计算注意力矩阵，根据注意力矩阵与对应权重(Value)的乘积求和得到自我注意下的各转换块特征，如下公式七-十所示：
Figure BDA0003850060370000093
Q＝WQX+bQ； (公式八)
K＝WKX+bK； (公式九)
V＝WVX+bV； (公式十)
其中，Q、K、V均为线性变换，WQ、WK、WB分别为Q、K、V对应的线性变换参数，
Figure BDA0003850060370000094
是一个比例因子，Zn表示通过计算得到的转换块特征；将整个图像的结构表示为多个转换块特征形成的第一转换块特征集合Zx。
同上原理，计算可见光转换图像y的第二转换块特征集合Zy，通过给定一个域中标记xj的情况下，寻找对应的转换域中相同空间位置yj，以计算第一转换块特征集合中各转换块特征图与第二转换块特征图集合中各转换块特征图之间的距离d(·)作为生成模型的损失函数，计算xj与yj的互相关性。模态转换网络包括生成模型的损失函数，通过对模态转换网络进行训练直至网络中的损失函数收敛，也即，生成模型的损失函数收敛，使得训练后生成模型将红外图像转换得到的可见光转换图像的图像特征不仅可编码原始的红外图像中光照、纹理等属性信息，且保留有原红外图像中各特征点的空间相关关系，且通过引入注意力机制计算不同域的互相关性，使得能够更快地在patch中找到空间位置匹配的信息，可以提升转换效率和精度，节省算力资源。
上述实施例中，生成模型可引入采用注意力机制计算不同域的图像之间图像特征的特征相似度的特征提取网络，使得红外图像转换后的可见光转换图像保留有原始的红外图像的特征点的空间位置关系，且可降低网络运行时间，节省算力资源。
需要说明的是，在一些实施例中，可设置生成模型中同时包括上述两种特征提取网络，模态转换网络的损失函数可如下公式十一所示：
Figure BDA0003850060370000095
μ1和μ2分别为超参数。请参阅图5和图6，分别表示同组可见光图形和红外图像，如图7所示，为红外图像经过模态转换网络转换后生成的可见光转换图像，相比于目前已知的算法的转换结果，本申请实施例中模态转换网络的转换精度得到了提升。
在一些实施例中，所述对所述可见光图像和所述可见光转换图像进行特征检测和匹配，确定目标单应性矩阵，包括：
通过SuperGlue网络对所述可见光图像和所述可见光转换图像进行特征检测以提取特征点的位置和视觉特征描述子，将各所述特征点对应的所述位置和所述视觉特征描述子进行耦合形成各所述特征点的描述符；
对所述可见光图像和所述可见光转换图像之间的所述特征点进行匹配，根据各所述特征点的所述描述符的匹配性确定匹配特征点；
根据所述匹配特征点确定初始单应性矩阵；
对所述初始单应性矩阵进行自适应优化，确定目标单应性矩阵。
其中，描述子(Descriptor)是指刻画特征的一个数据结构，一个描述子的维数可以是多维的，对于SuperGlue网络输入的第i个关键点的特征位置pi及视觉特征描述子di，通过多层感知器(MLP)进行耦合，将关键点的位置嵌入至高维向量中可如下公式十二所示：
Figure BDA0003850060370000101
使得每个关键点i的初始表示
Figure BDA0003850060370000102
结合了它的视觉外观和位置。针对两幅图像，如可见光图像A和可见光转换图像B，每副图像都有一组关键点位置p和相关的视觉描述符d，并把它们(p，d)合称为局部特征。可通过给定最初的局部特征，通过特征之间的交流来计算匹配的描述符fi∈RD。通过注意力聚合机制结合神经网络的训练，可得到最终的匹配描述符如下公式十三所示：
Figure BDA0003850060370000103
对于可见光图像A经过L轮自我注意力与交叉注意力迭代优化后，得到可见光图像A中第i个特征点增强后的特征fi A，该特征fi A用于后续的匹配，以从可见光转换图像B寻找确定匹配特征点。请参阅图8，为本申请实施例采用SuperGlue网络对可见光图像和可见光转换图像进行特征检测和匹配得到的特征匹配结果。根据得到的特征匹配结果中设定数量的匹配的特征点对，确定初始单应性矩阵，对初始单应性矩阵进行自适应优化确定最终的最优目标单应性矩阵。
可选的，所述根据所述匹配特征点确定初始单应性矩阵之前，还包括：基于DEGENSAC算法对所述匹配特征点进行筛选，去除无匹配的特征点。通过DEGENSAC算法，可以更好地剔除离群点，去除误匹配，可提升模型训练的收敛速度及估计结果的准确性。
上述实施例中，通过模态转换网络对红外图像转换后得到的可见光转换图像保留有原始的红外图像中图像特征的空间相关关系，通过SuperGlue网络提取特征点的位置及视觉特征描述子，视觉特征描述子中包含特征的空间相关关系特征，可以提升特征提取及匹配效率、准确性。
在一些实施例中，所述对所述初始单应性矩阵进行自适应优化，确定目标单应性矩阵，包括：
基于训练后的自适应转换网络对所述初始单应性矩阵进行自适应优化，确定目标单应性矩阵；
其中，所述自适应转换网络的损失函数由所述可见光图像与目标可见光转换图像之间的距离、以及所述可见光图像与目标可见光转换图像之间的互相关性确定。
自适应转换网络损失函数由单应性矩阵转换前后的图像之间的距离、以及单应性矩阵转换前后的图像之间的互相关性确定，可通过训练自适应寻找用于图像配准最优的单应性矩阵。在图像配准的两幅图像中，以待配准图像img’及目标图像img为例，通过单应性矩阵H实现像素对齐可如下公式十四所示：
img’＝H(img)； (公式十四)
在齐次坐标系中可如下公式十五所示：
Figure BDA0003850060370000111
(m，n)表示待配准图像img’的特征位置，(m′，n′)表示目标图像img的特征位置。单应性矩阵中h33＝1，因此，单应性矩阵的自由度为8，即最少只需4对特征点即可进行单应性矩阵的估计。
本实施例中，给定原始的可见光图像v和对应的原始红外图像经过模态转换后的可见光转换图像v’，通过SuperGlue网络进行特征检测和匹配后，输出初始单应性矩阵H至自适应转换网络，通过联合训练以下公式十六所示损失函数进行约束：
Loss＝L1(v，v”)+LSC(v，v”)； (公式十六)
通过自适应转换网络输出最优的目标单应性矩阵H′，通过目标单应性矩阵H′对可见光转换图像v’进行单应性变换后，得到的目标可见光转换图像用v”表示，v”＝H′(v’)。L1(·)表示所述可见光图像与所述目标可见光转换图像之间的欧式距离。LSC(·)表示所述可见光图像与所述目标可见光转换图像之间的空间相关损失。通过对自适应转换网络进行迭代训练，当损失函数收敛时，则视为求解出了最优的目标单应性矩阵。
上述实施例中，对所述可见光图像和所述可见光转换图像进行特征检测和匹配确定单应性矩阵后，通过建立以可见光图像和目标可见光转换图像之间的距离和互相关性作为损失函数的自适应转换网络进行联合训练，以对单应性矩阵进行自适应优化，可以提升图像配准精度。
可选的，所述基于训练后的自适应转换网络对所述初始单应性矩阵进行自适应优化，确定目标单应性矩阵之前，还包括：
基于self-attention的transformer网络模型构建初始的自适应转换网络；
将所述初始单应性矩阵输入所述初始的自适应转换网络，对所述模态转换网络和所述初始的自适应转换网络进行联合训练，直至所述自适应转换网络的损失函数收敛，得到训练后的所述自适应转换网络。
其中，初始的自适应转换网络可选用采用公知数据集经过预训练后得到的基于self-attention的transformer网络模型，通过对模态转换网络和自适应转换网络进行联合训练，待训练完成即可得到训练后的自适应转换网络。transformer网络模型构建的自适应转换网络相对于一般的循环神经网络而言，具备并行计算的优点，结合自注意力机制可以产生更具解释性结果，通过注意力调整可学会执行不同任务，便于更加快速、精准地自适应得到最优化的目标单应性矩阵。
请参阅图9，为了能够对本申请实施例提供的双光图像配准方法具备更加整体的理解，下面以一具体示例对双光图像配准方法的流程进行说明：
S11，采集同组红外图像和可见光图像；如图5和图6所示。
S12，通过模态转换网络将红外图像转换为可见光图像，称为可见光转换图像；如图7所示。
其中，模态转换网络的基本框架采用生成对抗网络，生成对抗网络包括一个生成模型及两个判别模型D1和D2，判别模型D1以原始比例的红外图像为输入，判别模型D2以2倍下采样的红外图像为输入，判别模型D1和D2形成多尺度鉴别器网络，损失函数设置为如前公式二所示。生成模型引入计算不同域的图像之间图像特征的空间相关关系的特征提取网络，损失函数设置为如前公式三所示，也可以引入采用注意力机制计算不同域的图像之间图像特征的特征相似度的特征提取网络，损失函数设置如前公式四所示。
S13，通过特征检测和匹配网络对可见光转换图像和可见光图像中进行特征点提取和匹配，获得包含多个特征点对的特征匹配结果，根据特征匹配结果输出初始单应性矩阵；
其中，基于SuperGlue网络提取关键点位置及描述子，特征点描述可如前公式十二所示，通过特征之间的交流以计算匹配描述符如前公式十三所示；图像特征匹配结果如图8所示。
S14，通过自适应转换网络对初始单应性矩阵进行自适应优化，确定最优的目标单应性矩阵；
其中，自适应转换网络的损失函数设置如前公式十六所示。
S15，通过目标单应性矩阵对可见光转换图像进行位置映射，得到红外配准图像；如图10所示。
图像配准可用于提升图像融合效果，如图11所示，为将原始的可见光图像与红外配准图像进行融合，得到可见光与红外融合图像；从融合图像可见，配准区域已经对齐，未产生位移、重影等现象，具有较高的融合精度。
请参阅图12，本申请另一方面，提供一种双光图像配准装置，在示例性实施例中，该双光图像配准装置可以采用红外手持式瞄准设备实施。双光图像配准装置包括：获取模块131，用于获取针对目标场景采集的同组红外图像和可见光图像；转换模块132，用于将所述红外图像转换为可见光图像，得到对应的可见光转换图像；匹配模块133，用于对所述可见光图像和所述可见光转换图像进行特征检测和匹配，确定目标单应性矩阵；配准模块134，用于通过所述目标单应性矩阵对所述可见光转换图像进行坐标映射，得到与所述可见光图像配准的红外配准图像。
可选的，所述转换模块132，具体用于基于生成对抗网络构建的模态转换网络对所述红外图像进行转换，得到对应的可见光转换图像；其中，所述生成对抗网络包括生成模型及与所述生成模型连接的第一判别模型和第二判别模型，所述第一判别模型和所述第二判别模型分别以原始比例的红外图像和设定采样倍率采样的红外图像作为输入。
可选的，所述转换模块132，具体用于基于生成对抗网络构建初始的模态转换网络，对所述初始的模态转换网络进行训练；在一次迭代过程中，所述生成模型将红外样本图像转换为可见光拟合图像，所述第一判别模型和所述第二判别模型对所述可见光拟合图像是否为真进行判断；通过迭代训练直至网络中损失函数收敛，得到训练后的所述模态转换网络。
可选的，所述第一判别模型和所述第二判别模型分别采用U-net网络结构，所述第一判别模型和所述第二判别模型的损失函数为如下公式：
Figure BDA0003850060370000131
Xt为红外图像；Xf为可见光转换图像；D＝σ(C)，C为M×N输出矩阵，输出矩阵中每个元素代表对应像素为真的置信度。
可选的，所述生成模型的损失函数为如下公式：
LS＝d(Sx，Sy)；
其中，Sx为所述生成模型对红外样本图像进行特征提取的采样通道数量对应的第一空间相关图集合，Sy为所述生成模型对可见光拟合图像进行特征提取的采样通道数量对应的第二空间相关图集合，d(·)为第一空间相关图集合中各空间相关图与第二空间相关图集合中各空间相关图之间的距离；或，
所述生成模型的损失函数为如下公式：
LC＝d(Zx，Zy)；
其中，Zx为所述生成模型对红外样本图像进行特征提取的采样通道数量对应的第一转换块特征集合，Zy为所述生成模型对可见光拟合图像进行特征提取的采样通道数量对应的第二转换块特征集合，d(·)为第一转换块特征集合中各转换块特征与第二转换块特征集合中各转换块图像的互相关性。
可选的，所述匹配模块133，用于通过SuperGlue网络对所述可见光图像和所述可见光转换图像进行特征检测以提取特征点的位置和视觉特征描述子，将各所述特征点对应的所述位置和所述视觉特征描述子进行耦合形成各所述特征点的描述符；对所述可见光图像和所述可见光转换图像之间的所述特征点进行匹配，根据各所述特征点的所述描述符的匹配性确定匹配特征点；根据所述匹配特征点确定初始单应性矩阵；对所述初始单应性矩阵进行自适应优化，确定目标单应性矩阵。
可选的，所述匹配模块133，用于基于训练后的自适应转换网络对所述初始单应性矩阵进行自适应优化，确定目标单应性矩阵；其中，所述自适应转换网络的损失函数由所述可见光图像与目标可见光转换图像之间的距离、以及所述可见光图像与目标可见光转换图像之间的互相关性确定。
可选的，所述匹配模块133，还用于基于self-attention的transformer网络模型构建初始的自适应转换网络；将所述初始单应性矩阵输入所述初始的自适应转换网络，对所述模态转换网络和所述初始的自适应转换网络进行联合训练，直至所述自适应转换网络的损失函数收敛，得到训练后的所述自适应转换网络。
需要说明的是：上述实施例提供的双光图像配准装置将同组红外图像和可见光图像进行配准的过程中，仅以上述各程序模块的划分进行举例说明，在实际应用中，可以根据需要而将上述处理由不同的程序模块完成，即可将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或部分方法步骤。另外，上述实施例提供的双光图像配准装置与双光图像配准方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请另一方面，还提供一种红外热成像设备，为本申请实施例提供的红外热成像设备的一个可选的硬件结构示意图，所述红外热成像设备包括处理器、与所述处理器连接的存储器，存储器内用于存储各种类别的数据以支持图像处理装置的操作，且存储有用于实现本申请任一实施例提供的双光图像配准方法的计算机程序，所述计算机程序被所述处理器执行时，实现本申请任一实施例提供的双光图像配准方法的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
可选的，所述红外热成像设备还包括与所述处理器连接的拍摄模块和显示模块，所述拍摄模块包括光轴平行设置的红外拍摄组件及可见光拍摄组件，所述红外拍摄组件及所述可见光拍摄组件时钟同步，采集目标场景的红外图像和可见光图像发送给所述处理器；
所述处理器基于配准后的所述红外配准图像与所述可见光图像进行图像融合，得到双光融合图像；所述显示模块用于显示所述双光融合图像。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述双光图像配准方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(RandomAccessMemory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是红外图像设备、手机，计算机，服务器或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围之内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种双光图像配准方法，其特征在于，包括：
获取针对目标场景采集的同组红外图像和可见光图像；
将所述红外图像转换为可见光图像，得到对应的可见光转换图像；
对所述可见光图像和所述可见光转换图像进行特征检测和匹配，确定目标单应性矩阵；
通过所述目标单应性矩阵对所述可见光转换图像进行坐标映射，得到与所述可见光图像配准的红外配准图像。
2.如权利要求1所述双光图像配准方法，其特征在于，所述将所述红外图像转换为可见光图像，得到对应的可见光转换图像，包括：
基于生成对抗网络构建的模态转换网络对所述红外图像进行转换，得到对应的可见光转换图像；
其中，所述生成对抗网络包括生成模型及与所述生成模型连接的第一判别模型和第二判别模型，所述第一判别模型和所述第二判别模型分别以原始比例的红外图像和设定采样倍率采样的红外图像作为输入。
3.如权利要求2所述双光图像配准方法，其特征在于，所述基于生成对抗网络构建的模态转换网络对所述红外图像进行转换，得到对应的可见光转换图像之前，包括：
基于生成对抗网络构建初始的模态转换网络，对所述初始的模态转换网络进行训练；在一次迭代过程中，所述生成模型将红外样本图像转换为可见光拟合图像，所述第一判别模型和所述第二判别模型对所述可见光拟合图像是否为真进行判断；
通过迭代训练直至网络中损失函数收敛，得到训练后的所述模态转换网络。
4.如权利要求3所述双光图像配准方法，其特征在于，所述第一判别模型和所述第二判别模型分别采用U-net网络结构，所述第一判别模型和所述第二判别模型的损失函数为如下公式：
Figure FDA0003850060360000011
Xt为红外图像；Xf为可见光转换图像；D＝σ(C)，C为M×N输出矩阵，输出矩阵中每个元素代表对应像素为真的置信度。
5.如权利要求3所述双光图像配准方法，其特征在于，所述生成模型的损失函数为如下公式：
LS＝d(Sx，Sy)；
其中，Sx为所述生成模型对红外样本图像进行特征提取的采样通道数量对应的第一空间相关图集合，Sy为所述生成模型对可见光拟合图像进行特征提取的采样通道数量对应的第二空间相关图集合，d(·)为第一空间相关图集合中各空间相关图与第二空间相关图集合中各空间相关图之间的距离；或，
所述生成模型的损失函数为如下公式：
LC＝d(Zx，Zy)；
其中，Zx为所述生成模型对红外样本图像进行特征提取的采样通道数量对应的第一转换块特征集合，Zy为所述生成模型对可见光拟合图像进行特征提取的采样通道数量对应的第二转换块特征集合，d(·)为第一转换块特征集合中各转换块特征与第二转换块特征集合中各转换块图像的互相关性。
6.如权利要求2所述双光图像配准方法，其特征在于，所述对所述可见光图像和所述可见光转换图像进行特征检测和匹配，确定目标单应性矩阵，包括：
通过SuperGlue网络对所述可见光图像和所述可见光转换图像进行特征检测以提取特征点的位置和视觉特征描述子，将各所述特征点对应的所述位置和所述视觉特征描述子进行耦合形成各所述特征点的描述符；
对所述可见光图像和所述可见光转换图像之间的所述特征点进行匹配，根据各所述特征点的所述描述符的匹配性确定匹配特征点；
根据所述匹配特征点确定初始单应性矩阵；
对所述初始单应性矩阵进行自适应优化，确定目标单应性矩阵。
7.如权利要求6所述双光图像配准方法，其特征在于，所述对所述初始单应性矩阵进行自适应优化，确定目标单应性矩阵，包括：
基于训练后的自适应转换网络对所述初始单应性矩阵进行自适应优化，确定目标单应性矩阵；
其中，所述自适应转换网络的损失函数由所述可见光图像与目标可见光转换图像之间的距离、以及所述可见光图像与目标可见光转换图像之间的互相关性确定。
8.如权利要求7所述双光图像配准方法，其特征在于，所述基于训练后的自适应转换网络对所述初始单应性矩阵进行自适应优化，确定目标单应性矩阵之前，还包括：
基于self-attention的transformer网络模型构建初始的自适应转换网络；
将所述初始单应性矩阵输入所述初始的自适应转换网络，对所述模态转换网络和所述初始的自适应转换网络进行联合训练，直至所述自适应转换网络的损失函数收敛，得到训练后的所述自适应转换网络。
9.一种双光图像配准装置，其特征在于，包括：
获取模块，用于获取针对目标场景采集的同组红外图像和可见光图像；
转换模块，用于将所述红外图像转换为可见光图像，得到对应的可见光转换图像；
匹配模块，用于对所述可见光图像和所述可见光转换图像进行特征检测和匹配，确定目标单应性矩阵；
配准模块，用于通过所述目标单应性矩阵对所述可见光转换图像进行坐标映射，得到与所述可见光图像配准的红外配准图像。
10.一种红外热成像设备，其特征在于，包括处理器、与所述处理器连接的存储器及存储在所述存储器上并可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的双光图像配准方法。
11.如权利要求10所述红外热成像设备，其特征在于，还包括与所述处理器连接的拍摄模块和显示模块，所述拍摄模块包括光轴平行设置的红外拍摄组件及可见光拍摄组件，所述红外拍摄组件及所述可见光拍摄组件时钟同步，采集目标场景的红外图像和可见光图像发送给所述处理器；
所述处理器基于配准后的所述红外配准图像与所述可见光图像进行图像融合，得到双光融合图像；
所述显示模块用于显示所述双光融合图像。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8任一项所述的双光图像配准方法。
CN202211130418.5A 2022-09-16 2022-09-16 双光图像配准方法、装置及设备、存储介质 Pending CN115393404A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211130418.5A CN115393404A (zh) 2022-09-16 2022-09-16 双光图像配准方法、装置及设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211130418.5A CN115393404A (zh) 2022-09-16 2022-09-16 双光图像配准方法、装置及设备、存储介质

Publications (1)

Publication Number Publication Date
CN115393404A true CN115393404A (zh) 2022-11-25

Family

ID=84126852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211130418.5A Pending CN115393404A (zh) 2022-09-16 2022-09-16 双光图像配准方法、装置及设备、存储介质

Country Status (1)

Country Link
CN (1) CN115393404A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351049A (zh) * 2023-12-04 2024-01-05 四川金信石信息技术有限公司 热成像与可见光融合的测点配准引导方法、设备和介质
CN117853848A (zh) * 2024-03-07 2024-04-09 阿米华晟数据科技(江苏)有限公司 一种构建双目视觉的rgb-ir图像对数据集的方法及处理器
CN117968734A (zh) * 2024-03-28 2024-05-03 南京信息工程大学 一种弹载红外焦平面阵列传感器故障诊断方法、装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351049A (zh) * 2023-12-04 2024-01-05 四川金信石信息技术有限公司 热成像与可见光融合的测点配准引导方法、设备和介质
CN117351049B (zh) * 2023-12-04 2024-02-13 四川金信石信息技术有限公司 热成像与可见光融合的测点配准引导方法、设备和介质
CN117853848A (zh) * 2024-03-07 2024-04-09 阿米华晟数据科技(江苏)有限公司 一种构建双目视觉的rgb-ir图像对数据集的方法及处理器
CN117853848B (zh) * 2024-03-07 2024-07-16 阿米华晟数据科技(江苏)有限公司 一种构建双目视觉的rgb-ir图像对数据集的方法及处理器
CN117968734A (zh) * 2024-03-28 2024-05-03 南京信息工程大学 一种弹载红外焦平面阵列传感器故障诊断方法、装置

Similar Documents

Publication Publication Date Title
Hughes et al. Identifying corresponding patches in SAR and optical images with a pseudo-siamese CNN
CN109711422B (zh) 图像数据处理、模型的建立方法、装置、计算机设备和存储介质
CN115393404A (zh) 双光图像配准方法、装置及设备、存储介质
CN115240121B (zh) 一种用于增强行人局部特征的联合建模方法和装置
CN111145131A (zh) 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN111986240A (zh) 基于可见光和热成像数据融合的落水人员检测方法及系统
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN115496928A (zh) 基于多重特征匹配的多模态图像特征匹配方法
Toriya et al. SAR2OPT: Image alignment between multi-modal images using generative adversarial networks
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
Li et al. Multimodal image fusion framework for end-to-end remote sensing image registration
CN116664892A (zh) 基于交叉注意与可形变卷积的多时相遥感图像配准方法
CN115294655A (zh) 一种基于非局部机制的多级模块特征的对抗生成行人再识别方法、装置和设备
CN116503399A (zh) 基于yolo-afps的绝缘子污闪检测方法
CN117274627A (zh) 一种基于图像转换的多时相积雪遥感图像匹配方法及系统
Xing et al. Multi-level adaptive perception guidance based infrared and visible image fusion
CN116958420A (zh) 一种数字人教师三维人脸的高精度建模方法
Hughes et al. A semi-supervised approach to SAR-optical image matching
Zhang et al. Multimodal remote sensing image matching via learning features and attention mechanism
CN117495956A (zh) 基于特征关系引导的跨视角图像匹配与定位方法及系统
CN115620150B (zh) 基于孪生Transformer的多模态图像地面建筑识别方法及装置
CN116051872A (zh) 一种跨光谱图像的特征点匹配方法
CN115861384A (zh) 基于生成对抗和注意力机制的光流估计方法及系统
CN114708315A (zh) 一种基于深度虚拟对应点生成的点云配准方法及系统
CN114627169B (zh) 图像处理的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wang Jiansheng

Inventor after: Dong Jiawen

Inventor before: Wang Jiansheng