CN116433730A - 一种联合可变形卷积与模态转换的图像配准方法 - Google Patents

一种联合可变形卷积与模态转换的图像配准方法 Download PDF

Info

Publication number
CN116433730A
CN116433730A CN202310708230.2A CN202310708230A CN116433730A CN 116433730 A CN116433730 A CN 116433730A CN 202310708230 A CN202310708230 A CN 202310708230A CN 116433730 A CN116433730 A CN 116433730A
Authority
CN
China
Prior art keywords
representing
image
deformation field
layer
infrared image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310708230.2A
Other languages
English (en)
Other versions
CN116433730B (zh
Inventor
张聪炫
单长鲁
陈震
卢锋
吕科
胡卫明
葛利跃
陈昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN202310708230.2A priority Critical patent/CN116433730B/zh
Publication of CN116433730A publication Critical patent/CN116433730A/zh
Application granted granted Critical
Publication of CN116433730B publication Critical patent/CN116433730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种联合可变形卷积与模态转换的图像配准方法，涉及图像配准技术领域，包括以下步骤：S1、获取源图像；S2、构建基于循环一致性生成对抗网络的图像模态转换网络；S3、构建基于可变形卷积的多级细化变形场估计网络；S4、构建重采样器；S5、构建基于无监督图像配准的双向相似损失函数。本发明采用上述的一种联合可变形卷积与模态转换的图像配准方法，将可见光图像转换为伪红外图像，提高图像特征匹配的准确性，构建基于可变形卷积的多级细化变形场估计网络，利用可变形卷积对图像边缘特征的精确提取，通过多级细化策略学习准确的变形场，采用变形场对真实红外图像进行重采样和精细变形，实现红外图像和可见光图像的精确配准。

Description

一种联合可变形卷积与模态转换的图像配准方法
技术领域
本发明涉及图像配准技术领域，尤其是涉及一种联合可变形卷积与模态转换的图像配准方法。
背景技术
红外与可见光图像配准是图像处理中的一种重要技术，也是图像融合任务的重要基础。图像配准的主要目标是将同一场景下拍摄的多张图像进行对齐，从而提高融合图像质量。图像配准还可以整合同一场景下不同视觉的有效信息，从而增强对该场景的全面描述。因此，相关研究在城市安全监控、无人机导航与避障等领域具有重要的应用价值。
目前，对于同一传感器拍摄的图像，传统图像配准方法和深度学习配准方法都可以实现较高的配准精度。但是红外与可见光传感器成像原理的差异以及物体快速移动所造成的运动模糊，会导致图像配准产生边缘错位。由于红外和可见光图像的特征差异，使得现有的技术在进行配准时难以进行准确的特征匹配，所以难以实现逐像素高精度的红外与可见光错位图像配准。
因此，如何设计一种能够针对红外与可见光图像配准特征检测精度和特征匹配准确度低的问题，提高红外和可见光图像配准的特征检测精度和特征匹配准确度的红外与可见光图像配准方法及系统成为本领域亟需解决的技术问题。
发明内容
本发明的目的是提供一种联合可变形卷积与模态转换的图像配准方法，能够提高源红外图像与源可见光图像配准中的特征检测精度和特征匹配准确度。
为实现上述目的，本发明提供了一种联合可变形卷积与模态转换的图像配准方法，包括以下步骤：
S1、获取源图像，所述源图像包括源红外图像和源可见光图像；
S2、基于循环一致性生成对抗网络构建图像模态转换网络，包括对循环一致性生成器进行编码、转换和解码操作；
编码过程采用4层残差网络，引入跳跃连接操作，将编码路径分为两条支路输出，其中一条直接连接第一个残差层，另一条跳跃连接到第三个残差层后，计算过程如下：
Figure SMS_1
；
其中，x表示输入的源可见光图像，
Figure SMS_2
表示一个3×3卷积层，/>
Figure SMS_3
表示3层3×3卷积层；/>
Figure SMS_4
表示一个残差网络，/>
Figure SMS_5
表示3层残差网络；/>
Figure SMS_6
表示两层4×4的卷积层，/>
Figure SMS_7
表示将得到的特征图在通道维度上进行拼接；
转换过程将输入层和对应输出层的卷积核大小由7x7减小为3x3；解码过程将编码过程中3x3的卷积核替换为大小为4x4的卷积核；
S3、基于可变形卷积构建多级细化变形场估计网络，包括两个可变形卷积特征提取器来提取图像特征和两个粗细粒度变形场估计网络进行特征匹配和变换模型估计，得到第二层细粒度变形场；
S4、构建重采样器，重采样器利用步骤S3得到的第二层细粒度变形场将源红外图像进行重采样，得到与伪红外图像精细配准的真实红外图像，计算公式如下：
Figure SMS_8
；
其中
Figure SMS_9
表示源红外图像，/>
Figure SMS_10
表示得到的第二层细粒度变形场估计，/>
Figure SMS_11
表示重采样操作，/>
Figure SMS_12
表示配准后的红外图像；
S5、基于无监督图像配准构建双向相似损失函数。
优选的，步骤S3中，基于可变形卷积构建多级细化变形场估计网络，包括两个可变形卷积特征提取器来提取图像特征和两个粗细粒度变形场估计网络进行特征匹配和变换模型估计，得到第二层细粒度变形场具体为：将伪红外图像作为参考图像，源红外图像作为浮动图像，通过变换浮动图像使源红外图像与伪红外图像进行对齐，实现源红外图像与源可见光图像的配准；
实现源红外图像与源可见光图像配准具体为通过可变形卷积对图像进行配准，可变形卷积进行特征提取方法为：
Figure SMS_13
;
其中，
Figure SMS_15
表示/>
Figure SMS_17
处卷积运算得到的结果，R表示卷积核的采样范围，/>
Figure SMS_21
表示/>
Figure SMS_16
位置的卷积核权重，/>
Figure SMS_18
表示偏移了/>
Figure SMS_20
位置得到的值，/>
Figure SMS_22
表示初始位置，/>
Figure SMS_14
表示位置偏移量，/>
Figure SMS_19
是一个固定的值为R的所有枚举；
然后经过可变形卷积特征提取器输出的两组可变形卷积特征图共同输入C2F-DFE，每个C2F-DFE包括一个粗粒度变形场估计模块和一个细粒度变形场估计模块，
第一层粗粒度变形场首先预测为：
Figure SMS_23
;
第一层细粒度变形场被估计为：
Figure SMS_24
;
第二层粗粒度变形场被预测为：
Figure SMS_25
;
第二层细粒度变形场被预测为：
Figure SMS_26
;
其中，C2F-DFE 为粗细粒度变形场估计，
Figure SMS_28
和/>
Figure SMS_33
分别表示伪红外图像和源红外图像，/>
Figure SMS_35
表示伪红外图像和源红外图像经过最后一层可变形卷积后得到的特征图，/>
Figure SMS_30
表示伪红外图像和源红外图像经过第一层可变形卷积后得到的特征图，
Figure SMS_34
表示第一层粗粒度变形场估计模块，/>
Figure SMS_36
表示第二层粗粒度变形场估计模块，/>
Figure SMS_39
表示第一层细粒度变形场模块，/>
Figure SMS_27
表示第二层细粒度变形场模块，/>
Figure SMS_31
表示经过第一层粗粒度变形场模块得到的预测结果，/>
Figure SMS_37
表示经过第一层细粒度变形场模块得到的预测结果，
Figure SMS_38
表示经过第二层粗粒度变形场模块得到的预测结果，/>
Figure SMS_29
表示经过第二层细粒度变形场模块得到的预测结果，/>
Figure SMS_32
表示将预测结果特征图进行拼接。
优选的，步骤S5中，所述基于无监督图像配准构建双向相似损失函数包括：采用双向相似损失约束特征空间中真实红外图像与伪红外图像的配准，计算公式如下：
Figure SMS_40
;
Figure SMS_43
为正向损失函数，约束生成的配准后的红外图像/>
Figure SMS_45
和伪红外图像/>
Figure SMS_46
的相似性；/>
Figure SMS_42
为逆向损失函数，约束源红外图像和通过反转变形场变形后的伪红外图像之间的相似性；/>
Figure SMS_44
表示逆向损失函数权重，来平衡正向损失和逆向损失的大小；/>
Figure SMS_47
表示双向约束损失函数，/>
Figure SMS_48
表示二范数，/>
Figure SMS_41
表示一范数；
为保证变形场的平滑，定义平滑损失函数为：
Figure SMS_49
;
其中，
Figure SMS_50
表示平滑损失函数，/>
Figure SMS_51
表示拉普拉斯梯度算子，/>
Figure SMS_52
表示反向变形场估计；
然后，计算总体的配准损失函数为：
Figure SMS_53
;
其中，
Figure SMS_54
表示双向相似损失函数，/>
Figure SMS_55
表示平滑损失函数权重，/>
Figure SMS_56
表示总体的配准损失函数。
优选的，逆向损失函数权重
Figure SMS_57
，平滑损失函数权重/>
Figure SMS_58
。
因此，本发明采用上述一种联合可变形卷积与模态转换的图像配准方法，其技术效果如下：
（1）设计了模态转换网络将可见光图像转换为伪红外图像，通过增强特征相似度进而提升特征匹配准确度。
（2）构建基于可变形卷积的多级细化变形场估计网络进行特征检测，可以对原始图像的物体轮廓和封闭边界区域的特征进行更精准多样的特征描述，进而得到精确的变形场估计。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为基于循环一致性生成对抗网络的图像模态转换网络结构图；
图2为基于可变形卷积的多级细化变形场估计网络结构图；
图3为本发明提供的一种联合可变形卷积与模态转换的图像配准方法的整体结构图。
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
实施例一
本发明提供了一种联合可变形卷积与模态转换的图像配准方法，该方法包括以下步骤：
（1）获取样本源红外图像和源可见光图像；
（2）如图1所示，基于循环一致性生成对抗网络构建图像模态转换网络具体包括：
首先，将维度为256×256×3的源可见光图像输入3层卷积编码层，维度由256×256×3变为128×128×128，再变为64×64×256。然后输入到转换层，由4层残差层组合而成。最后，将转换后的特征图输入解码器，由两个4×4的卷积和一个3×3的卷积组成，将维度为64×64×256的特征图又转变为256×256×3的伪红外图像，公式表示如下。
Figure SMS_59
（1）
式（1）中，x表示输入的源可见光图像，
Figure SMS_60
表示一个3×3卷积层，/>
Figure SMS_61
表示3层3×3卷积层；/>
Figure SMS_62
表示一个残差网络，/>
Figure SMS_63
表示3层残差网络；/>
Figure SMS_64
表示两层4×4的卷积层，/>
Figure SMS_65
表示将得到的特征图在通道维度上进行拼接。
（3）利用基于循环一致性生成对抗网络的图像模态转换网络的编码器对样本源可见光图像进行特征提取，得到64×64×256的特征图；
（4）构建残差转换网络将特征图进行模态转换；
（5）将转换后的特征图输入解码器网络，可以得到256×256×3的伪红外图像；
（6）基于可变形卷积构建多级细化变形场估计网络如图2所示，首先通过可变形卷积特征提取网络进行特征提取，然后，采用两个粗细粒度变形场估计模块进行特征匹配和估计变换模型的作用，最终得到精确的变形场估计结果，进而解决错位配准问题。图2中，
Figure SMS_66
表示伪红外图像经过最后一层卷积得到的特征图，/>
Figure SMS_67
表示伪红外图像经过第一层卷积得到的特征图。/>
Figure SMS_68
表示源红外图像经过最后一层卷积得到的特征图，/>
Figure SMS_69
表示源红外图像经过第一层卷积得到的特征图。
具体包括：
可变形卷积根据下式进行特征提取：
Figure SMS_70
（2）
其中，
Figure SMS_72
表示/>
Figure SMS_74
处卷积运算得到的结果，R表示卷积核的采样范围，/>
Figure SMS_76
表示/>
Figure SMS_73
位置的卷积核权重，/>
Figure SMS_75
表示偏移了/>
Figure SMS_78
位置得到的值，/>
Figure SMS_79
表示初始位置，/>
Figure SMS_71
表示位置偏移量，/>
Figure SMS_77
是一个固定的值为R的所有枚举；
可变形卷积特征计算公式相对于普通卷积多了一个位置偏移量
Figure SMS_80
，这个偏移量是由额外的卷积算子根据目标的形状特征学习得到的，从而可以自适应调节采样区域对形变特征进行提取。
然后经过可变形卷积特征提取器输出的两组可变形卷积特征图共同输入 C2F-DFE。C2F-DFE为粗细粒度变形场估计。在每个C2F-DFE中，包括一个粗粒度变形场估计模块和一个细粒度变形场估计模块。
第一层粗粒度变形场首先预测为：
Figure SMS_81
（3）
第一层细粒度变形场被估计为：
Figure SMS_82
（4）
第二层粗粒度变形场被预测为：
Figure SMS_83
（5）
第二层细粒度变形场被预测为：
Figure SMS_84
（6）
其中
Figure SMS_88
和/>
Figure SMS_90
分别表示伪红外图像和源红外图像，/>
Figure SMS_93
表示伪红外图像和源红外图像经过最后一层可变形卷积后得到的特征图，/>
Figure SMS_87
表示伪红外图像和源红外图像经过第一层可变形卷积后得到的特征图，/>
Figure SMS_92
表示第一层粗粒度变形场估计模块，/>
Figure SMS_94
表示第二层粗粒度变形场估计模块，/>
Figure SMS_96
表示第一层细粒度变形场模块，/>
Figure SMS_85
表示第二层细粒度变形场模块，/>
Figure SMS_91
表示经过第一层粗粒度变形场模块得到的预测结果，/>
Figure SMS_95
表示经过第一层细粒度变形场模块得到的预测结果，/>
Figure SMS_97
表示经过第二层粗粒度变形场模块得到的预测结果，/>
Figure SMS_86
表示经过第二层细粒度变形场模块得到的预测结果，/>
Figure SMS_89
表示将预测结果特征图进行拼接。
（7）设计多级可变形卷积特征提取器分别提取伪红外图像和源红外图像的特征图，利用可变形卷积进行特征提取时对输入图像边缘特征强大的自适应能力，可以进行更加精确的特征检测。
（8）如图3所示为整体网络建构。首先，设计模态转换网络将源可见光图像
Figure SMS_100
转换为伪红外图像/>
Figure SMS_101
。然后，构建基于可变形卷积的变形场估计网络将伪红外图像/>
Figure SMS_103
和源红外图像/>
Figure SMS_99
进行配准得到变形场/>
Figure SMS_102
。最后，结合变形场/>
Figure SMS_104
与源红外图像/>
Figure SMS_105
进行重采样操作得到配准后的红外图像/>
Figure SMS_98
。
（9）通过精确的变形场估计结果来对源红外图像进行重采样操作，可以得到配准后的红外图像。使用本发明方法，将未配准和已配准的红外与可见光图像分别进行融合，配准后的图像可以消除重影现象。
因此，本发明采用上述一种联合可变形卷积与模态转换的图像配准方法，设计了模态转换网络将可见光图像转换为伪红外图像，通过增强特征相似度进而提升特征匹配准确度；构建基于可变形卷积的多级细化变形场估计网络进行特征检测，可以对原始图像的物体轮廓和封闭边界区域的特征进行更精准多样的特征描述，进而得到精确的变形场估计。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (4)

1.一种联合可变形卷积与模态转换的图像配准方法，其特征在于，包括以下步骤：
S1、获取源图像，所述源图像包括源红外图像和源可见光图像；
S2、基于循环一致性生成对抗网络构建图像模态转换网络，包括对循环一致性生成器进行编码、转换和解码操作；
编码过程采用4层残差网络，引入跳跃连接操作，将编码路径分为两条支路输出，其中一条直接连接第一个残差层，另一条跳跃连接到第三个残差层后，计算过程如下：
Figure QLYQS_1
;
其中，x表示输入的源可见光图像，
Figure QLYQS_2
表示一个3×3卷积层，/>
Figure QLYQS_3
表示3层3×3卷积层；/>
Figure QLYQS_4
表示一个残差网络，/>
Figure QLYQS_5
表示3层残差网络；/>
Figure QLYQS_6
表示两层4×4的卷积层，/>
Figure QLYQS_7
表示将得到的特征图在通道维度上进行拼接；
转换过程将输入层和对应输出层的卷积核大小由7×7减小为3×3；解码过程将编码过程中3×3的卷积核替换为大小为4×4的卷积核；
S3、基于可变形卷积构建多级细化变形场估计网络，包括两个可变形卷积特征提取器来提取图像特征和两个粗细粒度变形场估计网络进行特征匹配和变换模型估计，得到第二层细粒度变形场；
S4、构建重采样器，重采样器利用步骤S3得到的第二层细粒度变形场将源红外图像进行重采样，得到与伪红外图像精细配准的真实红外图像，计算公式如下：
Figure QLYQS_8
;
其中
Figure QLYQS_9
表示源红外图像，/>
Figure QLYQS_10
表示得到的第二层细粒度变形场估计，/>
Figure QLYQS_11
表示重采样操作，/>
Figure QLYQS_12
表示配准后的红外图像；
S5、基于无监督图像配准构建双向相似损失函数。
2.根据权利要求1所述的一种联合可变形卷积与模态转换的图像配准方法，其特征在于，步骤S3中，基于可变形卷积构建多级细化变形场估计网络，包括两个可变形卷积特征提取器来提取图像特征和两个粗细粒度变形场估计网络进行特征匹配和变换模型估计，得到第二层细粒度变形场具体为：将伪红外图像作为参考图像，源红外图像作为浮动图像，通过变换浮动图像使源红外图像与伪红外图像进行对齐，实现源红外图像与源可见光图像的配准；
实现源红外图像与源可见光图像配准具体为通过可变形卷积对图像进行配准，可变形卷积进行特征提取方法为：
Figure QLYQS_13
;
其中，
Figure QLYQS_15
表示/>
Figure QLYQS_17
处卷积运算得到的结果，R表示卷积核的采样范围，/>
Figure QLYQS_21
表示
Figure QLYQS_16
位置的卷积核权重，/>
Figure QLYQS_19
表示偏移了/>
Figure QLYQS_20
位置得到的值，/>
Figure QLYQS_22
表示初始位置，/>
Figure QLYQS_14
表示位置偏移量，/>
Figure QLYQS_18
是一个固定的值为R的所有枚举；
然后经过可变形卷积特征提取器输出的两组可变形卷积特征图共同输入C2F-DFE，每个C2F-DFE包括一个粗粒度变形场估计模块和一个细粒度变形场估计模块，
第一层粗粒度变形场首先预测为：
Figure QLYQS_23
;
第一层细粒度变形场被估计为：
Figure QLYQS_24
;
第二层粗粒度变形场被预测为：
Figure QLYQS_25
;
第二层细粒度变形场被预测为：
Figure QLYQS_26
;
其中，C2F-DFE为粗细粒度变形场估计，
Figure QLYQS_30
和/>
Figure QLYQS_31
分别表示伪红外图像和源红外图像，
Figure QLYQS_36
表示伪红外图像和源红外图像经过最后一层可变形卷积后得到的特征图，
Figure QLYQS_28
表示伪红外图像和源红外图像经过第一层可变形卷积后得到的特征图，
Figure QLYQS_33
表示第一层粗粒度变形场估计模块，/>
Figure QLYQS_35
表示第二层粗粒度变形场估计模块，/>
Figure QLYQS_38
表示第一层细粒度变形场模块，/>
Figure QLYQS_27
表示第二层细粒度变形场模块，/>
Figure QLYQS_32
表示经过第一层粗粒度变形场模块得到的预测结果，/>
Figure QLYQS_37
表示经过第一层细粒度变形场模块得到的预测结果，
Figure QLYQS_39
表示经过第二层粗粒度变形场模块得到的预测结果，/>
Figure QLYQS_29
表示经过第二层细粒度变形场模块得到的预测结果，/>
Figure QLYQS_34
表示将预测结果特征图进行拼接。
3.根据权利要求1所述的一种联合可变形卷积与模态转换的图像配准方法，其特征在于，步骤S5中，所述基于无监督图像配准构建双向相似损失函数包括：采用双向相似损失约束特征空间中真实红外图像与伪红外图像的配准，计算公式如下：
Figure QLYQS_40
；
Figure QLYQS_42
为正向损失函数，约束生成的配准后的红外图像/>
Figure QLYQS_44
和伪红外图像/>
Figure QLYQS_47
的相似性；/>
Figure QLYQS_43
为逆向损失函数，约束源红外图像和通过反转变形场变形后的伪红外图像之间的相似性；/>
Figure QLYQS_45
表示逆向损失函数权重，来平衡正向损失和逆向损失的大小；/>
Figure QLYQS_46
表示双向约束损失函数，/>
Figure QLYQS_48
表示二范数，/>
Figure QLYQS_41
表示一范数；
为保证变形场的平滑，定义平滑损失函数为：
Figure QLYQS_49
;
其中，
Figure QLYQS_50
表示平滑损失函数，/>
Figure QLYQS_51
表示拉普拉斯梯度算子，/>
Figure QLYQS_52
表示反向变形场估计；
然后，计算总体的配准损失函数为：
Figure QLYQS_53
;
其中，
Figure QLYQS_54
表示双向相似损失函数，/>
Figure QLYQS_55
表示平滑损失函数权重，/>
Figure QLYQS_56
表示总体的配准损失函数。
4.根据权利要求3所述的一种联合可变形卷积与模态转换的图像配准方法，其特征在于，逆向损失函数权重
Figure QLYQS_57
，平滑损失函数权重/>
Figure QLYQS_58
。
CN202310708230.2A 2023-06-15 2023-06-15 一种联合可变形卷积与模态转换的图像配准方法 Active CN116433730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310708230.2A CN116433730B (zh) 2023-06-15 2023-06-15 一种联合可变形卷积与模态转换的图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310708230.2A CN116433730B (zh) 2023-06-15 2023-06-15 一种联合可变形卷积与模态转换的图像配准方法

Publications (2)

Publication Number Publication Date
CN116433730A true CN116433730A (zh) 2023-07-14
CN116433730B CN116433730B (zh) 2023-08-29

Family

ID=87094763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310708230.2A Active CN116433730B (zh) 2023-06-15 2023-06-15 一种联合可变形卷积与模态转换的图像配准方法

Country Status (1)

Country Link
CN (1) CN116433730B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1383799A (en) * 1997-11-07 1999-05-31 Washington University Rapid convolution based large deformation image matching via landmark and volumeimagery
CN109903299A (zh) * 2019-04-02 2019-06-18 中国矿业大学 一种条件式生成对抗网络的异源遥感图像配准方法及装置
US20200034654A1 (en) * 2018-07-30 2020-01-30 Siemens Healthcare Gmbh Deep Variational Method for Deformable Image Registration
CN111368684A (zh) * 2020-02-27 2020-07-03 北华航天工业学院 一种基于可变形全卷积神经网络的冬小麦自动解译方法
CN112330724A (zh) * 2020-10-15 2021-02-05 贵州大学 一种基于集成注意力增强的无监督多模态图像配准方法
CN112487233A (zh) * 2020-11-27 2021-03-12 重庆邮电大学 一种基于特征解耦的红外和可见光图像检索方法
CN113454981A (zh) * 2019-02-18 2021-09-28 三星电子株式会社 用于基于卷积神经网络的多个图像帧的多曝光融合及用于对多个图像帧去模糊的技术
US20210390723A1 (en) * 2020-06-15 2021-12-16 Dalian University Of Technology Monocular unsupervised depth estimation method based on contextual attention mechanism
CN113870327A (zh) * 2021-09-18 2021-12-31 大连理工大学 基于预测多层次变形场的医学图像配准方法
US20220005150A1 (en) * 2020-07-02 2022-01-06 Korea Advanced Institute Of Science And Technology Unsupervised deformable image registration method using cycle-consistent neural network and apparatus therefor
CN114529593A (zh) * 2022-01-12 2022-05-24 西安电子科技大学 红外与可见光图像配准方法、系统、设备、图像处理终端
CN114820733A (zh) * 2022-04-21 2022-07-29 北京航空航天大学 一种可解释的热红外可见光图像配准方法及系统
CN114862896A (zh) * 2022-04-13 2022-08-05 北京航空航天大学 一种基于深度模型的可见光至红外图像转换方法
WO2022193750A1 (zh) * 2021-03-16 2022-09-22 深圳先进技术研究院 一种基于深度学习的乳腺图像配准方法
WO2023005186A1 (zh) * 2021-07-29 2023-02-02 广州柏视医疗科技有限公司 一种基于深度学习的模态转换方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1383799A (en) * 1997-11-07 1999-05-31 Washington University Rapid convolution based large deformation image matching via landmark and volumeimagery
US20200034654A1 (en) * 2018-07-30 2020-01-30 Siemens Healthcare Gmbh Deep Variational Method for Deformable Image Registration
EP3605465A1 (en) * 2018-07-30 2020-02-05 Siemens Healthcare GmbH A method for determining a correspondence between a source image and a reference image
CN113454981A (zh) * 2019-02-18 2021-09-28 三星电子株式会社 用于基于卷积神经网络的多个图像帧的多曝光融合及用于对多个图像帧去模糊的技术
CN109903299A (zh) * 2019-04-02 2019-06-18 中国矿业大学 一种条件式生成对抗网络的异源遥感图像配准方法及装置
CN111368684A (zh) * 2020-02-27 2020-07-03 北华航天工业学院 一种基于可变形全卷积神经网络的冬小麦自动解译方法
US20210272266A1 (en) * 2020-02-27 2021-09-02 North China Institute of Aerospace Engineering Automatic Interpretation Method for Winter Wheat Based on Deformable Fully Convolutional Neural Network
US20210390723A1 (en) * 2020-06-15 2021-12-16 Dalian University Of Technology Monocular unsupervised depth estimation method based on contextual attention mechanism
US20220005150A1 (en) * 2020-07-02 2022-01-06 Korea Advanced Institute Of Science And Technology Unsupervised deformable image registration method using cycle-consistent neural network and apparatus therefor
CN112330724A (zh) * 2020-10-15 2021-02-05 贵州大学 一种基于集成注意力增强的无监督多模态图像配准方法
CN112487233A (zh) * 2020-11-27 2021-03-12 重庆邮电大学 一种基于特征解耦的红外和可见光图像检索方法
WO2022193750A1 (zh) * 2021-03-16 2022-09-22 深圳先进技术研究院 一种基于深度学习的乳腺图像配准方法
WO2023005186A1 (zh) * 2021-07-29 2023-02-02 广州柏视医疗科技有限公司 一种基于深度学习的模态转换方法
CN113870327A (zh) * 2021-09-18 2021-12-31 大连理工大学 基于预测多层次变形场的医学图像配准方法
CN114529593A (zh) * 2022-01-12 2022-05-24 西安电子科技大学 红外与可见光图像配准方法、系统、设备、图像处理终端
CN114862896A (zh) * 2022-04-13 2022-08-05 北京航空航天大学 一种基于深度模型的可见光至红外图像转换方法
CN114820733A (zh) * 2022-04-21 2022-07-29 北京航空航天大学 一种可解释的热红外可见光图像配准方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZHENYU ZHU; YU JI;: "《Multi-Resolution Medical Image Registration with Dynamic Convolution》", 《2022 IEEE BIOMEDICAL CIRCUITS AND SYSTEMS CONFERENCE (BIOCAS)》 *
林颖;刘萌;白德盟: "《基于深度学习的电力设备红外可见光图像智能配准方法研究》", 《山东电力技术》 *
陈震; 杨小平; 张聪炫; 段兴旺: "《 基于R-MI-rényi测度的可见光与红外图像配准》", 《电子测量与仪器学报》 *
陈震; 杨小平; 张聪炫; 段兴旺: "《基于R-MI-rényi测度的可见光与红外图像配准》", 《电子测量与仪器学报》 *

Also Published As

Publication number Publication date
CN116433730B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
Yuan et al. RGGNet: Tolerance aware LiDAR-camera online calibration with geometric deep learning and generative model
CN113159151B (zh) 面向自动驾驶的多传感器深度融合3d目标检测方法
US11830222B2 (en) Bi-level optimization-based infrared and visible light fusion method
WO2023165093A1 (zh) 视觉惯性里程计模型的训练方法、位姿估计方法、装置、电子设备、计算机可读存储介质及程序产品
CN108537844B (zh) 一种融合几何信息的视觉slam回环检测方法
CN109813334B (zh) 基于双目视觉的实时高精度车辆里程计算方法
CN115578378A (zh) 红外与可见光图像融合的光伏缺陷检测方法
CN116385761A (zh) 一种融合rgb与红外信息的3d目标检测方法
Wang et al. Bifuse++: Self-supervised and efficient bi-projection fusion for 360 depth estimation
CN115239581A (zh) 一种图像处理方法及相关装置
Shen et al. Distortion-tolerant monocular depth estimation on omnidirectional images using dual-cubemap
CN116433730B (zh) 一种联合可变形卷积与模态转换的图像配准方法
CN113065575A (zh) 一种图像处理方法及相关装置
CN116362318B (zh) 基于自适应深度修正的纯视觉三维目标检测方法和系统
CN116721398A (zh) 一种基于跨阶段路由注意力模块和残差信息融合模块的Yolov5目标检测方法
CN116734834A (zh) 应用于动态场景的定位建图方法、装置和智能设备
CN114743105A (zh) 一种基于跨模态知识蒸馏的深度特权视觉里程计方法
CN116912467A (zh) 图像拼接方法、装置、设备及存储介质
CN115546512A (zh) 基于可学习的权重描述子的光场图像显著目标检测方法
Zhou et al. Obstacle detection for unmanned surface vehicles by fusion refinement network
CN114119999A (zh) 基于深度学习的迭代6d位姿估计方法及装置
US20230232121A1 (en) Imaging device and imaging method
CN117635943A (zh) 基于跨模态协同修正的多模态场景分割方法及系统
US20240153139A1 (en) Object pose estimation in the context of neural networks
CN112818965B (zh) 多尺度影像目标检测方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant