CN114693755B - 多模图像最大矩与空间一致性的非刚性配准方法及系统 - Google Patents
多模图像最大矩与空间一致性的非刚性配准方法及系统 Download PDFInfo
- Publication number
- CN114693755B CN114693755B CN202210603984.7A CN202210603984A CN114693755B CN 114693755 B CN114693755 B CN 114693755B CN 202210603984 A CN202210603984 A CN 202210603984A CN 114693755 B CN114693755 B CN 114693755B
- Authority
- CN
- China
- Prior art keywords
- image
- registered
- layer
- network
- rigid registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000009466 transformation Effects 0.000 claims abstract description 72
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012952 Resampling Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 29
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 125000004432 carbon atom Chemical group C* 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 8
- 230000008901 benefit Effects 0.000 abstract description 5
- 238000011835 investigation Methods 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 238000012937 correction Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 6
- 230000005855 radiation Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010008 shearing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100512352 Enterococcus faecalis (strain TX4000 / JH2-2) mapP gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了多模图像最大矩与空间一致性的非刚性配准方法及系统，本发明方法包括构建全局变换子网络和变形注意力子网络，并结合位置变换网格与像素重采样层构造可端到端训练的多模图像非刚性配准网络，为多模图像非刚性配准网络构建损失函数；利用多模图像构建训练数据集，并采用构建的训练数据集和损失函数训练多模图像非刚性配准网络。本发明可直接配准不经过几何校正的畸变图像，较好地解决了多模图像的局部畸变问题，实现多模图像的准确配准，可为图像准确融合、目标精确检测提供可靠支撑，可应用于自然灾害监测、资源调查与勘探、目标精准打击等应用领域，例如智能制造、抢险救灾、遥感监测等，具有应用范围广的优点。
Description
技术领域
本发明属于图像处理领域的图像配准技术，具体涉及一种多模图像最大矩与空间一致性的非刚性配准方法及系统。
背景技术
图像配准指将不同时间、不同成像设备在不同条件下（天气、照度、摄像角度与位置等）获得的两幅或多幅图像由不同坐标系变换到同一坐标系中的过程。随着现代科学技术的进步，准确化和精细化的发展要求日益迫切，而单模态的图像无法充分表达目标，因此，聚合多模态图像的优点实现目标的精确化表示，在民用领域，如智能制造的视觉导航、地质灾害监测与救治、资源调查与勘探等，和国防军事领域，如军事侦察、导弹预警、武器制导等有着支撑作用。图像配准是图像处理领域的一个基本且关键的问题，直接影响图像融合、目标检测等的效果。然而，受限于拍摄条件、地势环境及相机硬件性能等导致的辐射差异大、几何畸变、多视场、多尺度、多时相、数据少等问题对当前的基于深度学习图像配准算法提出了严峻的挑战。因此，解决精确化的多模图像配准难题具有重要的研究意义与应用价值。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供多模图像最大矩与空间一致性的非刚性配准方法及系统，本发明可直接配准不经过几何校正的畸变图像，较好地解决了多模图像的畸变问题，实现多模图像的准确配准，可为图像准确融合、目标精确检测提供可靠支撑，可应用于自然灾害监测、资源调查与勘探、目标精准打击等应用领域，例如智能制造、抢险救灾、遥感监测等，具有应用范围广的优点。
为了解决上述技术问题，本发明采用的技术方案为：
多模图像最大矩与空间一致性的非刚性配准方法，包括：
1）构建全局变换子网络，并通过全局变换子网络根据输入的参考图像、待配准图像回归得到待配准图像相对于参考图像的全局仿射变换参数A；构建变形注意力子网络，通过变形注意力子网络学习参考图像不同区域范围的局部空间变换关系的多尺度空间注意力参数；
2）联合所述全局变换子网络和变形注意力子网络，并结合位置变换网格与像素重采样层构造可端到端训练的多模图像非刚性配准网络，所述多模图像非刚性配准网络的输入为不同模态的待配准图像和参考图像，输出为待配准图像与参考图像配准后的配准图像；
3）为多模图像非刚性配准网络构建包含最大矩损失与空间一致性损失的损失函数；利用多模图像构建训练数据集，并结合损失函数训练多模图像非刚性配准网络。
可选地，步骤1）中构建的全局变换子网络包括依次相连的下述模块：
图像缩放层，用于将待配准图像进行缩放至与参考图像相同大小；
参考图像特征提取单元，用于对参考图像进行特征提取得到特征F y ；
待配准图像特征提取单元，用于对待配准图像进行特征提取得到特征F x ；
特征融合层，用于将特征F x 、特征F y 进行特征融合，得到融合特征F xy ；
自适应平均池化层，用于对融合特征F xy 进行自适应平均池化，以使得全局变换子网络可输入任意大小尺寸的特征；
两个全连接层，用于对自适应平均池化后的融合特征F xy 依次进行两次筛选以逐步减少特征数量和增强拟合能力；
参数回归层，用于对两个全连接层输出的特征进行回归，得到待配准图像相对于参考图像的全局仿射变换参数A。
可选地，所述参考图像特征提取单元和待配准图像特征提取单元结构相同，均包含依次相连的下述模块：
残差金字塔层，用于提取2倍下采样特征；
级联连接的两个第一神经网络层，用于优化输入特征，并利用平均池化层减小特征尺寸；所述第一神经网络层均包含卷积层、批归一化层、ELU激活层以及平均池化层；
级联连接的五个第二神经网络层，用于进一步优化输入特征使得到的特征可以表达全局图像并逐步减少特征数量，并通过最后一个第二神经网络层输出最终提取得到的特征F x 或特征F y ；所述第二神经网络层包含无填充的卷积层、批归一化层以及ELU激活层。
可选地，步骤1）中构建的变形注意力子网络包括依次相连的下述模块：
第三神经网络层，用于提取能表达图像的特征，包括卷积层、批归一化层、ELU激活层的神经网络层；
级联连接的两个第四神经网络层，用于优化特征并减小特征尺寸，使得特征尺寸符合设定要求；所述第四神经网络层包含卷积层、批归一化层、ELU激活层和平均池化层；
级联连接的七个第五神经网络层，用于优化特征并减小特征尺寸，使得特征尺寸符合设定要求，所述第五神经网络层包含卷积层、批归一化层、ELU激活层的神经网络层；
第六神经网络层，用于提取并输出参考图像不同区域范围的局部空间变换关系的多尺度空间注意力参数，所述第六神经网络层包含卷积层、Tanh激活层和常系数层。
可选地，步骤2）中结合位置变换网格与像素重采样层构造可端到端训练的多模图像非刚性配准网络是指：分别根据全局变换子网络输出的全局仿射变换参数A和变形注意力子网络输出的多尺度空间注意力参数中的每一种多尺度的空间注意力参数获取对应尺度的空间可变形仿射参数；通过位置变换网格分别基于各个尺度下的空间可变形仿射参数对待配准图像进行位置变换、并通过像素重采样层将原始的待配准图像的像素值采样到位置变换后图像中的对应位置以获取对应尺度下的配准图像。
可选地，步骤3）中为多模图像非刚性配准网络构建的包含最大矩损失与空间一致性损失的损失函数由像素均方误差L pixel 、最大矩损失函数L mm 以及空间一致性损失函数L spa 组成，所述空间一致性损失函数L spa 用于保留参考图像与配准后图像之间的空间相邻区域差异以使位置差异减小。
可选地，所述空间一致性损失函数L spa 的计算函数表达式为：
上式中，K表示局部邻域的个数，Ω(i)表示以局部邻域i为中心的四个局部邻域，Y i v 和Y j v 分别为参考图像中局部邻域i和局部邻域j的平均亮度值，Z i v 和Z j v 分别为已配准图像中局部邻域i和局部邻域j的平均亮度值。
可选地，所述最大矩损失函数L mm 的计算函数表达式为：
上式中，
和
分别表示第n个待配准图像样本和已配准图像样本的最大矩特征，N是样本总数。
可选地，步骤3）中利用多模图像构建训练数据集包括：针对原始的待配准图像X和参考图像Y进行分块，记任意第k个原始的待配准图像X的待配准图像块为Xk，参考图像Y的参考图像块为Yk；对任意第k个原始的待配准图像X的待配准图像块为Xk利用点配准算法与对应的参考图像块Yk进行分块初级配准，得到初级配准后的图像块X῀k，且初级配准后的图像块X῀k与对应的参考图像块Yk的误差在视觉上平均小于指定数量个像素，然后将初级配准后的图像块X῀k拼接后得到待配准图像X῀；将待配准图像X῀和参考图像Y分别裁剪为相同数量的小块，并将得到配准图像块集合{X῀k}和参考图像块集合{Yk}并构建训练数据集{X῀,Yk}。
此外，本发明还提供多模图像最大矩与空间一致性的非刚性配准系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述多模图像最大矩与空间一致性的非刚性配准方法的步骤。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，该计算机程序用于被微处理器编程或配置以执行所述多模图像最大矩与空间一致性的非刚性配准方法的步骤。
和现有技术相比，本发明主要具有下述优点：
1、针对现有基于深度学习的多模图像训练数据少，受限于拍摄条件、地势环境及相机硬件性能等导致辐射差异大、几何畸变、多视场、多尺度、多时相、数据少等难题，本发明采用的多模图像非刚性配准网络可直接配准不经过几何校正的畸变图像，较好地解决了多模图像的畸变问题，实现多模图像的准确的非刚性配准（待配准图像与参考图像之间基于非刚性变换的图像对齐）。
2、在实际应用中，图像配准直接影响视觉定位、图像融合、变化检测、图像拼接等后续计算机视觉任务的精度和效果。本发明方法可应用于自然灾害监测、资源调查与勘探、目标精准打击等应用领域，例如智能制造、抢险救灾、遥感监测等，具有应用范围广的优点。
3、本发明为多模图像非刚性配准网络构建包含最大矩损失与空间一致性损失的损失函数，其中最大矩损失主要用于关注图像的边缘信息，能够使得已配准图像与参考图像的空间结构更相似，空间一致性损失能够使得已配准图像与参考图像的邻域误差接近，保持图像空间平滑性。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中全局变换子网络的结构示意图。
图3为本发明实施例中变形注意力子网络的结构示意图。
图4为本发明实施例中多模图像非刚性配准网络的结构示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步详细描述，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
参见图1，本实施例多模图像最大矩与空间一致性的非刚性配准方法包括：
1）构建全局变换子网络，并通过全局变换子网络根据输入的参考图像、待配准图像回归得到待配准图像相对于参考图像的全局仿射变换参数A；构建变形注意力子网络，通过变形注意力子网络学习参考图像不同区域范围的局部空间变换关系的多尺度空间注意力参数（不同区域范围的局部空间变换关系参数）；
2）联合所述全局变换子网络和变形注意力子网络，并结合位置变换网格与像素重采样层构造可端到端训练的多模图像非刚性配准网络，所述多模图像非刚性配准网络的输入为不同模态的待配准图像和参考图像，输出为待配准图像与参考图像配准后的配准图像；
3）为多模图像非刚性配准网络构建包含最大矩损失与空间一致性损失的损失函数；
4）利用多模图像构建训练数据集，并结合损失函数训练多模图像非刚性配准网络。
如图2所示，步骤1）中构建的全局变换子网络包括依次相连的下述模块：
图像缩放层，用于将待配准图像进行缩放至与参考图像相同大小；
参考图像特征提取单元，用于对参考图像进行特征提取得到特征F y ；
待配准图像特征提取单元，用于对待配准图像进行特征提取得到特征F x ；
特征融合层，用于将特征F x 、特征F y 进行特征融合，得到融合特征F xy ；
自适应平均池化层，用于对融合特征F xy 进行自适应平均池化，以使得全局变换子网络可输入任意大小尺寸的特征，本实施例中自适应平均池化层的输出特征的尺寸为6000；
两个全连接层，用于对自适应平均池化后的融合特征F xy 依次进行两次筛选以逐步减少特征数量和增强拟合能力；本实施例中，两个全连接层输出特征的尺寸分别为1024和64，主要用于增强拟合能力，参数回归层回归参数并为下一步参数获取做准备；
参数回归层，用于对两个全连接层输出的特征进行回归，得到待配准图像相对于参考图像的全局仿射变换参数A，其函数表达式为：
A=HSH T RT
上式中，T表示平移矩阵，S是尺度参数矩阵，R是旋转参数矩阵，H为错切变换矩阵，上标中的T表示转置，上式的矩阵形式描述为：
上式中，全局仿射变换参数A中的a 00~a 11为包含图像的缩放、旋转和错切的复合参数，b 0～b 1为平移参数；错切变换矩阵H中的tanα表示沿x轴剪切至tanα倍，tanβ表示沿y轴剪切至tanβ倍，α、β分别表示与x、y轴的夹角；尺度参数矩阵S中的s x 表示沿x轴缩放至s x 倍、s y 表示沿y轴缩放至s y 倍；旋转参数矩阵R中的弧度θ表示顺时针旋转弧度θ；平移矩阵T中的t x 表示x轴的平移量，t y 表示y轴的平移量，且有：
上式中，“||”表示特征拼接，c 1、c 2、n r 、n α 和n β 为常系数，f表示线性变换，Tanh表示双曲正切函数，x 1、x 2均为维度为32的列向量，e为自然对数的底数。
参考图像特征提取单元和待配准图像特征提取单元可根据需要采用所需的特征提取网络，且优选为相同结构以便于两者配准。作为一种可选的实施方式，本实施例中参考图像特征提取单元和待配准图像特征提取单元结构相同，均包含依次相连的下述模块：
残差金字塔层，用于提取2倍下采样特征；残差金字塔层所采用的残差金字塔神经网络为现有网络模块，可参见文献： Sun J, Shen Z, Wang Y, et al. LoFTR: Detector-Free Local Feature Matching with Transformers[C]. IEEE Conference on ComputerVision and Pattern Recognition, 2021: 8918-8927。
级联连接的两个第一神经网络层，用于优化输入特征，并利用平均池化层减小特征尺寸；参见图2，第一神经网络层均包含卷积层、批归一化层、ELU（Exponential LinerUnit，指数线性单元）激活层以及平均池化层；本实施例中，第一神经网络层的卷积层的卷积核尺寸均为7×7，卷积核数量分别为96，128，步长为1，无边界填充操作；平均池化层核尺寸为4×4，步长为2×2。
级联连接的五个第二神经网络层，用于进一步优化输入特征使得到的特征可以表达全局图像并逐步减少特征数量，并通过最后一个第二神经网络层输出最终提取得到的特征F x 或特征F y ；参见图2，第二神经网络层包含无填充的卷积层、批归一化层以及ELU激活层。本实施例的五个第二神经网络层中，前三个卷积层的卷积核尺寸均为7×7，其余两个分别为5×5和3×3，通过多尺度卷积核获取不同尺寸的感受野；五个第二神经网络层的卷积层的卷积核数量分别为192、256、320、384、256，步长为1，无边界填充操作。
如图3所示，步骤1）中构建的变形注意力子网络包括依次相连的下述模块：
第三神经网络层，用于提取能表达图像的特征以充分表达图像，包括卷积层、批归一化层、ELU激活层的神经网络层；本实施例中，第三神经网络层中卷积层的卷积核尺寸为3×3，核数量为64。
级联连接的两个第四神经网络层，用于优化特征并减小特征尺寸，使得特征尺寸符合设定要求；所述第四神经网络层包含卷积层、批归一化层、ELU激活层和平均池化层；本实施例中，第四神经网络层中卷积层的卷积核尺寸为7×7，核数量分别为80、96。
级联连接的七个第五神经网络层，用于优化特征并减小特征尺寸，使得特征尺寸符合设定要求，所述第五神经网络层包含卷积层、批归一化层、ELU激活层的神经网络层；本实施例中，七个第五神经网络层中前四个卷积层的卷积核尺寸为7×7，其余三个卷积层的卷积核尺寸为5×5，七个第五神经网络层中卷积层的核数量分别为128、160、192、256、128、64、32。
第六神经网络层，用于提取并输出参考图像不同区域范围的局部空间变换关系的多尺度空间注意力参数，第六神经网络层包含卷积层、Tanh（双曲正切函数）激活层和常系数层。本实施例中，第六神经网络层的卷积层的卷积核尺寸为3×3，核数量为6，并将每一个空间注意力参数变为2×3的矩阵。
如图4所示，步骤2）中结合位置变换网格与像素重采样层构造可端到端训练的多模图像非刚性配准网络是指：分别根据全局变换子网络输出的全局仿射变换参数A和变形注意力子网络输出的多尺度空间注意力参数中的每一种尺度的空间注意力参数获取对应尺度的空间可变形仿射参数；通过位置变换网格分别基于各个尺度下的空间可变形仿射参数对待配准图像进行位置变换、并通过像素重采样层将原始的待配准图像的像素值采样到位置变换后图像中的对应位置以获取对应尺度下的配准图像。为了便于区分，本实施例中将变形注意力子网络输出的多尺度空间注意力参数记为ω，多模图像非刚性配准网络利用变形注意力子网络输出的多尺度空间注意力参数ω，对全局变换子网络输出的全局仿射变换参数A进行注意力分析，得到不同尺度下的空间可变形仿射参数，利用不同尺度下的空间可变形仿射参数构建位置变换网格，记为G，通过位置变换网格G获取配准后的每一个像素的位置对应的未配准图像的像素位置，然后根据变换前后的位置关系进行图像重采样，完成一次配准操作，此外，第一个尺度获取的配准图像作为第二个尺度进行位置变换的输入，逐步得到最终的配准图像。因此，可以将待配准图像的第1～i+1次配准转化为第1～i+1个尺度下的分步式配准过程，可描述为：
上式中，Z 1～Z i+1分别为第1～i+1个尺度下的已配准图像，U 1～U i+1分别为像素重采样层在第1～i+1个尺度下的像素重采样操作，G 1～G i+1分别为位置变换网格在第1～i+1个尺度下的位置变换，ω 1～ω i+1分别为多尺度空间注意力参数ω在第1～i+1个尺度下的空间注意力参数，X为待配准图像，
为第i个尺度下的配准图像；A为全局仿射变换参数。因此，上式可表示为注意力参数的递进式如下：
位置变换网格的位置变换指：假设输出特征图位置对应的网格是一个规则网格，即网格的每个坐标值都是整数，且相邻坐标之间的间隔一致。那么，空间可变形仿射参数作用于输出特征图对应的网格P Z 可得到输出特征图中的每个点对应输入特征图中的网格位置P X 。此过程可描述为：
上式中，ω 1～ω i 分别为多尺度空间注意力参数ω在第1～i个尺度下的空间注意力参数，A为全局仿射变换参数。
像素重采样层将原始的待配准图像的像素值采样到位置变换后图像中的对应位置以获取对应尺度下的配准图像，即图像重采样是指：由于变换后的网格位置P X 坐标并不是整数，考虑到基于梯度的神经网络反向传播，图像重采样过程可参见文献：Jaderberg M,Simonyan K, Zisserman A, et al. Spatial Transformer Networks[J]. MIT Press,2015。其双线性插值过程可描述为：
上式中，V i c 为输出特征图的c个通道上坐标 (x i t , y i t )的像素点的像素值，H为输入特征图的高度，W为输入特征图的宽度，I nm c 表示输入特征图的第c个通道上坐标为(n,m)的像素点的像素值，H′为输出特征图的高度，W′为输出特征图的宽度，
表示待配准图像坐标(x i t , y i t )对应的配准图像坐标，C为通道数。
本实施例中，步骤3）中为多模图像非刚性配准网络构建的包含最大矩损失与空间一致性损失的损失函数由像素均方误差L pixel 、最大矩损失函数L mm 以及空间一致性损失函数L spa 组成，空间一致性损失函数L spa 用于保留参考图像与配准后图像之间的空间相邻区域差异以使位置差异减小。记多模图像非刚性配准网络构建的包含最大矩损失与空间一致性损失的损失函数为Loss，则包含最大矩损失与空间一致性损失的损失函数Loss的函数表达式为：
Loss=L pixel +L mm +L spa
上式中，L pixel 为已配准图像与参考图像之间的像素均方误差，用于使得已配准图像与参考图像位置大致相同，即保证了图像近似配准；
L spa 表示空间一致性损失函数，用于保留参考图像与配准后图像之间的空间相邻区域差异以使（已配准图像与参考图像的）位置差异减小，使得已配准图像与参考图像的邻域误差接近，保持图像空间平滑性；本实施例中，空间一致性损失函数L spa 的计算函数表达式为：
上式中，K表示局部邻域的个数，Ω(i)表示以局部邻域i为中心的四个局部邻域，Y i v 和Y j v 分别为参考图像中局部邻域i和局部邻域j的平均亮度值，Z i v 和Z j v 分别为已配准图像中局部邻域i和局部邻域j的平均亮度值。
L mm 表示最大矩损失函数，利用提取的参考图像和待配准图像的相位特征图构造的最大矩特征图得到，L mm 主要关注图像的边缘信息，使得已配准图像与参考图像的结构更相似。为了获取最大矩损失函数L mm ，首先利用log-Gabor滤波器计算得到已配准图像x与参考图像y的相位一致性模型P(x,y)：
上式中，η o (x,y)是频率扩展的权重，s和o表示小波的尺度和方向, D so (x,y)代表幅值，ΔΦ(x,y)是相位偏差项，
是噪声阈值，ξ为保证分母不为0的常数；
表示一个封闭的量，当它的值为正时，结果等于它本身，否则等于零；我们的特征为了对方向具有不变性，在此计算每一个方向o上的相位一致性特征图
，
表示相位。为了便于计算最大矩，首先计算三个中间变量g,k,l:
相位一致性特征图
的主轴Ψ和最大矩M Ψ 的计算函数表达式为：
最终，最大矩损失函数L mm 的计算函数表达式为：
上式中，
和
分别表示第n个待配准图像样本和已配准图像样本的最大矩特征，N是样本总数。
本实施例中，步骤3）中利用多模图像构建训练数据集时，多模图像为利用卫星影像和机载平台拍摄得到，由于利用卫星影像和机载平台拍摄得到的数据存在局部畸变，直接利用全局变换的方式配准误差大，无法获取具有局部畸变的训练数据。因此为了有效具有局部畸变的训练数据，本实施例中将对基于传统的点配准算法进行改善并利用该算法对待配准图像进行分块初级配准。具体地，步骤4）中利用多模图像构建训练数据集包括：针对原始的待配准图像X和参考图像Y进行分块，记任意第k个原始的待配准图像X的待配准图像块为Xk，参考图像Y的参考图像块为Yk；对任意第k个原始的待配准图像X的待配准图像块为Xk利用点配准算法与对应的参考图像块Yk进行分块初级配准，得到初级配准后的图像块X῀k，且初级配准后的图像块X῀k与对应的参考图像块Yk的误差在视觉上平均小于指定数量个像素（例如本实施例中为5个像素，可根据实际情况指定），然后将初级配准后的图像块X῀k拼接后得到待配准图像X῀；将待配准图像X῀和参考图像Y分别裁剪为相同数量的小块，并将得到配准图像块集合{X῀k}和参考图像块集合{Yk}并构建训练数据集{X῀,Yk}。其中，点配准算法为现有配准方法，例如可参考文献： Li J, Hu Q, Ai M. RIFT: Multi-modal ImageMatching Based on Radiation-invariant Feature Transform[J]. IEEE Trans ImageProcess. 2019。
综上所述，为了解决上述基于深度学习的多模图像训练数据少，受限于拍摄条件、地势环境及相机硬件性能等导致辐射差异大、几何畸变、多视场、多尺度、多时相、数据少等难题，本实施例方法提供了多模图像最大矩与空间一致性的非刚性配准方案，通过分析图像的辐射特性、几何畸变，构建图像全局变换子网络与变形注意力子网络，联合子网络、位置网格变换与重采样操作实现多模图像的准确配准。本实施例方法首先构建全局变换子网络与变形注意力子网络；然后将子网络、位置网格变换与重采样操作连接得到可端到端训练的分步式深度模型；利用卫星影像和机载平台拍摄的数据构造半监督数据集并训练该模型，接着通过空间一致性损失和最大矩损失函数训练模型，通过优化得到最优配准参数，最后将待配准与参考图像输入该模型获取配准图像。本实施例方法通过全局子网络与变形注意力子网络构建的非刚性配准网络可直接配准不经过几何校正的畸变图像。本实施例方法能够应用于自然灾害监测、资源调查与勘探、目标精准打击等实际应用领域。
此外，本实施例还提供多模图像最大矩与空间一致性的非刚性配准系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述多模图像最大矩与空间一致性的非刚性配准方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，该计算机程序用于被微处理器编程或配置以执行前述多模图像最大矩与空间一致性的非刚性配准方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，本发明的应用范围适用但不限于遥感多模图像配准等图像处理领域。上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (7)
1.一种多模图像最大矩与空间一致性的非刚性配准方法，其特征在于，包括：
1）构建全局变换子网络，并通过全局变换子网络根据输入的参考图像、待配准图像回归得到待配准图像相对于参考图像的全局仿射变换参数A；构建变形注意力子网络，通过变形注意力子网络学习参考图像不同区域范围的局部空间变换关系的多尺度空间注意力参数；
2）联合所述全局变换子网络和变形注意力子网络，并结合位置变换网格与像素重采样层构造可端到端训练的多模图像非刚性配准网络，所述多模图像非刚性配准网络的输入为不同模态的待配准图像和参考图像，输出为待配准图像与参考图像配准后的配准图像；
3）为多模图像非刚性配准网络构建包含最大矩损失与空间一致性损失的损失函数；利用多模图像构建训练数据集，并采用训练数据集和构建的损失函数训练多模图像非刚性配准网络；
步骤1）中构建的变形注意力子网络包括依次相连的下述模块：
第三神经网络层，用于提取能表达图像的特征，包括卷积层、批归一化层、ELU激活层的神经网络层；
级联连接的两个第四神经网络层，用于优化特征并减小特征尺寸，使得特征尺寸符合设定要求；所述第四神经网络层包含卷积层、批归一化层、ELU激活层和平均池化层；
级联连接的七个第五神经网络层，用于优化特征并减小特征尺寸，使得特征尺寸符合设定要求，所述第五神经网络层包含卷积层、批归一化层、ELU激活层的神经网络层；
第六神经网络层，用于提取并输出参考图像不同区域范围的局部空间变换关系的多尺度空间注意力参数，所述第六神经网络层包含卷积层、Tanh激活层和常系数层；
步骤3）中为多模图像非刚性配准网络构建的包含最大矩损失与空间一致性损失的损失函数由像素均方误差L pixel 、最大矩损失函数L mm 以及空间一致性损失函数L spa 组成，所述空间一致性损失函数L spa 用于保留参考图像与配准后图像之间的空间相邻区域差异以使位置差异减小，所述空间一致性损失函数L spa 的计算函数表达式为：
上式中，K表示局部邻域的个数，Ω(i)表示以局部邻域i为中心的四个局部邻域，Y i v 和Y j v 分别为参考图像中局部邻域i和局部邻域j的平均亮度值，Z i v 和Z j v 分别为已配准图像中局部邻域i和局部邻域j的平均亮度值，所述的最大矩损失函数L mm 的计算函数表达式为：
上式中，
和
分别表示第n个待配准图像样本和已配准图像样本的最大矩特征，N是样本总数。
2.根据权利要求1所述的多模图像最大矩与空间一致性的非刚性配准方法，其特征在于，步骤1）中构建的全局变换子网络包括依次相连的下述模块：
图像缩放层，用于将待配准图像进行缩放至与参考图像相同大小；
参考图像特征提取单元，用于对参考图像进行特征提取得到特征F y ；
待配准图像特征提取单元，用于对待配准图像进行特征提取得到特征F x ；
特征融合层，用于将特征F x 、特征F y 进行特征融合，得到融合特征F xy ；
自适应平均池化层，用于对融合特征F xy 进行自适应平均池化，以使得全局变换子网络可输入任意大小尺寸的特征；
两个全连接层，用于对自适应平均池化后的融合特征F xy 依次进行两次筛选以逐步减少特征数量和增强拟合能力；
参数回归层，用于对两个全连接层输出的特征进行回归，得到待配准图像相对于参考图像的全局仿射变换参数A。
3.根据权利要求2所述的多模图像最大矩与空间一致性的非刚性配准方法，其特征在于，所述参考图像特征提取单元和待配准图像特征提取单元结构相同，均包含依次相连的下述模块：
残差金字塔层，用于提取2倍下采样特征；
级联连接的两个第一神经网络层，用于优化输入特征，并利用平均池化层减小特征尺寸；所述第一神经网络层均包含卷积层、批归一化层、ELU激活层以及平均池化层；
级联连接的五个第二神经网络层，用于进一步优化输入特征使得到的特征可以表达全局图像并逐步减少特征数量，并通过最后一个第二神经网络层输出最终提取得到的特征F x 或特征F y ；所述第二神经网络层包含无填充的卷积层、批归一化层以及ELU激活层。
4.根据权利要求1所述的多模图像最大矩与空间一致性的非刚性配准方法，其特征在于，步骤2）中结合位置变换网格与像素重采样层构造可端到端训练的多模图像非刚性配准网络是指：分别根据全局变换子网络输出的全局仿射变换参数A和变形注意力子网络输出的多尺度空间注意力参数中的每一种多尺度的空间注意力参数获取对应尺度的空间可变形仿射参数；通过位置变换网格分别基于各个尺度下的空间可变形仿射参数对待配准图像进行位置变换、并通过像素重采样层将原始的待配准图像的像素值采样到位置变换后图像中的对应位置以获取对应尺度下的配准图像。
5.根据权利要求1所述的多模图像最大矩与空间一致性的非刚性配准方法，其特征在于，步骤3）中利用多模图像构建训练数据集包括：针对原始的待配准图像X和参考图像Y进行分块，记任意第k个原始的待配准图像X的待配准图像块为Xk，参考图像Y的参考图像块为Yk；对任意第k个原始的待配准图像X的待配准图像块为Xk利用点配准算法与对应的参考图像块Yk进行分块初级配准，得到初级配准后的图像块X῀k，且初级配准后的图像块X῀k与对应的参考图像块Yk的误差在视觉上平均小于指定数量个像素，然后将初级配准后的图像块X῀k拼接后得到待配准图像X῀；将待配准图像X῀和参考图像Y分别裁剪为相同数量的小块，并将得到配准图像块集合{X῀k}和参考图像块集合{Yk}并构建训练数据集{X῀,Yk}。
6.一种多模图像最大矩与空间一致性的非刚性配准系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～5中任意一项所述多模图像最大矩与空间一致性的非刚性配准方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，该计算机程序用于被微处理器编程或配置以执行权利要求1～5中任意一项所述多模图像最大矩与空间一致性的非刚性配准方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210603984.7A CN114693755B (zh) | 2022-05-31 | 2022-05-31 | 多模图像最大矩与空间一致性的非刚性配准方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210603984.7A CN114693755B (zh) | 2022-05-31 | 2022-05-31 | 多模图像最大矩与空间一致性的非刚性配准方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114693755A CN114693755A (zh) | 2022-07-01 |
| CN114693755B true CN114693755B (zh) | 2022-08-30 |
Family
ID=82131400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210603984.7A Active CN114693755B (zh) | 2022-05-31 | 2022-05-31 | 多模图像最大矩与空间一致性的非刚性配准方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114693755B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116416289B (zh) * | 2023-06-12 | 2023-08-25 | 湖南大学 | 基于深度曲线学习的多模图像配准方法、系统及介质 |
| CN118071804A (zh) * | 2024-02-21 | 2024-05-24 | 安徽大学 | 一种基于混合变形的多模态遥感图像配准方法及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113592927A (zh) * | 2021-07-26 | 2021-11-02 | 国网安徽省电力有限公司电力科学研究院 | 一种结构信息引导的跨域图像几何配准方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102005037B (zh) * | 2010-11-12 | 2012-06-06 | 湖南大学 | 结合多尺度双边滤波与方向滤波的多模图像融合方法 |
| CN108416802B (zh) * | 2018-03-05 | 2020-09-18 | 华中科技大学 | 一种基于深度学习的多模医学图像非刚性配准方法及系统 |
| US20210216878A1 (en) * | 2018-08-24 | 2021-07-15 | Arterys Inc. | Deep learning-based coregistration |
| CN112150404B (zh) * | 2019-06-27 | 2023-10-27 | 上海交通大学 | 基于联合显著图的全局到局部非刚性图像配准方法及装置 |
| CN113808178A (zh) * | 2020-06-11 | 2021-12-17 | 通用电气精准医疗有限责任公司 | 图像配准方法及其模型训练方法 |
| US20230410301A1 (en) * | 2020-11-06 | 2023-12-21 | The Regents Of The University Of California | Machine learning techniques for tumor identification, classification, and grading |
| CN113096169B (zh) * | 2021-03-31 | 2022-05-20 | 华中科技大学 | 一种非刚性多模医学图像的配准模型建立方法及其应用 |
| CN113516693B (zh) * | 2021-05-21 | 2023-01-03 | 郑健青 | 一种快速通用的图像配准方法 |
| CN114022521B (zh) * | 2021-10-13 | 2024-09-13 | 华中科技大学 | 一种非刚性多模医学图像的配准方法及系统 |
| CN114494372B (zh) * | 2022-01-11 | 2023-04-21 | 西南交通大学 | 一种基于无监督深度学习的遥感影像配准方法 |
-
2022
- 2022-05-31 CN CN202210603984.7A patent/CN114693755B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113592927A (zh) * | 2021-07-26 | 2021-11-02 | 国网安徽省电力有限公司电力科学研究院 | 一种结构信息引导的跨域图像几何配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114693755A (zh) | 2022-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765363B (zh) | 一种基于人工智能的冠脉cta自动后处理系统 | |
| CN114693755B (zh) | 多模图像最大矩与空间一致性的非刚性配准方法及系统 | |
| CN112686935B (zh) | 基于特征融合的机载测深雷达与多光谱卫星影像配准方法 | |
| CN110501072B (zh) | 一种基于张量低秩约束的快照式光谱成像系统的重构方法 | |
| CN106447601B (zh) | 一种基于投影-相似变换的无人机遥感影像拼接方法 | |
| CN110245711B (zh) | 基于角度旋转生成网络的sar目标识别方法 | |
| CN105856230A (zh) | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 | |
| CN110728706B (zh) | 基于深度学习的sar图像精细配准方法 | |
| CN109871823B (zh) | 一种结合旋转框和上下文信息的卫星图像舰船检测方法 | |
| CN104574347A (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
| CN109376641B (zh) | 一种基于无人机航拍视频的运动车辆检测方法 | |
| CN104881029B (zh) | 基于一点ransac和fast算法的移动机器人导航方法 | |
| CN109215118B (zh) | 一种基于图像序列的增量式运动结构恢复优化方法 | |
| CN104732546B (zh) | 区域相似性和局部空间约束的非刚性sar图像配准方法 | |
| CN105931185A (zh) | 一种多视角图像自动拼接方法 | |
| CN105488759B (zh) | 一种基于局部回归模型的图像超分辨率重建方法 | |
| CN107767339A (zh) | 一种双目立体图像拼接方法 | |
| CN115331029A (zh) | 基于跨模态转换网络与最优传输理论的异源图像匹配方法 | |
| Zhang et al. | Deformable and residual convolutional network for image super-resolution | |
| CN117315169A (zh) | 基于深度学习多视密集匹配的实景三维模型重建方法和系统 | |
| CN106204507B (zh) | 一种无人机图像拼接方法 | |
| CN117788296B (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
| CN112101251A (zh) | 基于可变卷积神经网络的sar自动目标识别方法 | |
| CN111461976A (zh) | 基于高效轻量级坐标神经网络的图像超分辨率方法 | |
| CN118212129A (zh) | 基于双线性解混的高光谱遥感图像多源融合超分方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230801 Address after: 410001 No. 002, Floor 5, Building B, No. 10, Zone 2, CSCEC Smart Industrial Park, No. 50, Jinjiang Road, Yuelu Street, Yuelu District, Changsha, Hunan Province Patentee after: Hunan Xinxin Xiangrong Intelligent Technology Co.,Ltd. Address before: Yuelu District City, Hunan province 410082 Changsha Lushan Road No. 1 Patentee before: HUNAN University |
|
| TR01 | Transfer of patent right |