CN113223068B - 一种基于深度全局特征的多模态图像配准方法及系统 - Google Patents
一种基于深度全局特征的多模态图像配准方法及系统 Download PDFInfo
- Publication number
- CN113223068B CN113223068B CN202110605164.7A CN202110605164A CN113223068B CN 113223068 B CN113223068 B CN 113223068B CN 202110605164 A CN202110605164 A CN 202110605164A CN 113223068 B CN113223068 B CN 113223068B
- Authority
- CN
- China
- Prior art keywords
- image
- loss
- map
- similarity score
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000007667 floating Methods 0.000 claims abstract description 49
- 238000010586 diagram Methods 0.000 claims abstract description 36
- 238000009826 distribution Methods 0.000 claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 28
- 238000013519 translation Methods 0.000 claims abstract description 18
- 238000004519 manufacturing process Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 26
- 230000003287 optical effect Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 101100481876 Danio rerio pbk gene Proteins 0.000 claims description 5
- 101100481878 Mus musculus Pbk gene Proteins 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 230000002238 attenuated effect Effects 0.000 claims 2
- 238000005065 mining Methods 0.000 abstract description 4
- 238000003860 storage Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本发明公开了一种基于深度全局特征的多模态图像配准方法及系统，准备数据集并制作；制作数据集；图像预处理；设计全卷积孪生网络结构；提取图像特征；获取相似性得分图，基于相似性得分图，使用对比损失函数优化相似度得分图，使用峰值损失函数来加快收敛速度，使用排序损失函数使得正样本的相似度分布接近真实分布；联合优化对比损失、排序损失和峰值损失，将训练好的权重载入到模型中，并依次读取所有测试集数据，预测测试集中浮动图在基准图中的平移参数；确定浮动图在基准图上的位置，实现多模态图像配。本发明通过深入挖掘异源图像底层的共有特性可以获得高精度的匹配结果。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于深度全局特征的多模态图像配准方法及系统，可用于目标追踪、异源图像配准等，能有效的提高异源图像的匹配精度。
背景技术
随着传感器技术的发展，遥感图像的类型越来越多样化，获取信息的途径也越来越多。然而，由于不同类型的传感器本身就存在差异，同时受时间、环境等外界条件的影响，获取的图像会存在不同程度的差异以及局限性。
为了解决上述问题，通常需要充分利用不同传感器获得的图像。图像配准是多模态图像的重要步骤，已广泛应用于遥感数据分析、计算机视觉、图像处理等领域。在本文中我们重点研究异源图像匹配，并在optical-SAR异源数据集上验证该方法对异源图像匹配的有效性。异源图像由于传感器类型不同，导致图像间存在非常明显的非线性强度差异，因此，异源图像之间的配准比同源图像之间的配准有更大的难度，对算法有更高的要求。
传统的基于特征的方法从图像中提取点特征、线特征、区域特征等进行匹配，其中点特征应用较为广泛。从Harris角点检测算子开始，陆续出现了一系列的特征点检测算子，主流的有Harris角点、Susan角点、SIFT特征点、SURF特征点等等。这些特征点中以SIFT特征点最为鲁棒，对图像尺度和旋转变化具有不变性，应用也最为广泛。随着深度学习的快速发展，很多基于学习的深度特征也得到了研究，MatchNet、L2-Net、HardNet等使用卷积网络提取局部图像块特征，并约束匹配的描述子之间的距离近，反之远。
现有方案中，一种利用了一个有效的基于批次的采样策略来挖掘负样本，即在一个批次中最大化正样本和负样本之间的距离，将anchor和正样本输入网络得到描述子，计算得出距离矩阵，对于一个正样本对，分别选取该行和该列距离最小的负样本对，比较两个负样本对，取距离较小的负样本对和正样本对组成一个三元组，采用了L2Net的网络，获得了128维的紧凑描述子，极大提高了描述子的性能。但是这种方法依赖特征点的质量和数量，并导致大量误匹配的点。
还有一种是通过训练一个神经网络来学习光学和SAR图像块之间的空间偏移。网络由特征提取部分(孪生网络)和相似性度量部分(点积层)组成，这种方法能在光学和SAR图像之间生成精确可靠的匹配点，但针对的是特定区域，没有考虑全局。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于深度全局特征的多模态图像配准方法及系统，用于快速配准多模态图像，取得了先进的匹配性能。
本发明采用以下技术方案：
一种基于深度全局特征的多模态图像配准方法，包括以下步骤：
S1、使用optical-SAR异源数据制作数据集，将光学图像作为参考图像I1，并随机裁剪对应的SAR图像生成浮动图像I2；
S2、将步骤S1的参考图像I1和浮动图像I2转化为灰度图，并进行归一化处理；
S3、设计具有两个分支网络结构的全卷积孪生网络结构；
S4、将步骤S2归一化处理后的参考图像I1和浮动图像I2分别输入到步骤S3全卷积孪生网络结构对应的分支网络结构中提取图像特征，获得特征图F(I1)和F(I2)；
S5、将步骤S4中提取的特征图F(I1)和F(I2)通过卷积计算得到一个相似性得分图S(I1I2)；
S6、训练步骤S5获得的相似性得分图S(I1I2)，使用对比损失函数优化相似性得分图S(I1I2)，使用峰值损失函数加快收敛速度，使用排序损失函数使正样本的相似度分布接近真实分布；
S7、将步骤S6训练好的权重载入到全卷积孪生网络模型中，并依次读取所有测试集数据，预测测试集中浮动图在基准图中的平移参数，根据平移参数确定浮动图在基准图上的位置，实现多模态图像配准。
具体的，步骤S1中，SAR图片大小为200×200，可见光图像尺寸为256×256，使用6：2：2的比例随机划分训练集、验证集和测试集。
具体的，步骤S2中，预处理具体为：
将参考图像I1和浮动图像I2转化为灰度图；计算每张灰度图的均值和标准差，然后将每张灰度图内的像素值减去其对应的均值后除标准差进行归一化操作。
具体的，步骤S3中，分支网络结构为全卷积结构，共9层；每个分支网络结构输出的是输入图像对应的特征图。
具体的，步骤S5中，通过深度特征提取网络得到两个异源图像的3D特征图，将两个3D特征图通过卷积的方式计算余弦相似性得分图S(I1I2)，每个点的相似度得分Si,j计算如下：
其中F1(m,l)为特征图F(I1)在(m,l)位置处的像素值，F2(m-i,l-j)为特征图F(I2)在(m-i,l-j)位置处的像素值，Th＝i+h2-1，Tw＝j+w2-1，i＝0,...,h-h2，j＝0,...,w-w2，Th和Tw分别表示作用在参考图像上的模板窗口的坐标的上限，w，h为参考图像特征图的尺寸，w2，h2为浮动图像特征图的尺寸。
具体的，步骤S6中，优化器使用Adam，初始学习率设置为0.001，学习率每过10个epoch衰减0.5，最终的损失函数loss如下：
losss＝losscontrast+losstop+losspeak
其中，losscontrast为对比损失，losstop为正样本区域的排序损失，losspeak为相似度峰值损失函数。
进一步的，对比损失losscontrast为：
losscontrast＝(neg+1)2+(1-pos)2
其中，pos是gt图上匹配位置及其邻域坐标位置的相似度，neg是相似度得分图上其他位置的top k的值。
进一步的，排序损失losstop为：
losstop＝(topk(lcc)-topk(fcc))2
其中，fcc为相似度得分图上的值，lcc为对真实配准位置周围进行高斯模糊得到的特征相似度软标签，topk(.)为对应的前top k值。
进一步的，相似度峰值损失函数losspeak为：
losspeak＝(max(fcc)-mean(fcc))
其中，fcc为相似度得分图上的值，max(fcc)为相似度得分图上最大的值，mean(fcc)为相似度得分图的均值。
本发明的另一技术方案是，一种基于深度全局特征的多模态图像配准系统，包括：
数据模块，使用optical-SAR异源数据制作数据集，将光学图像作为参考图像I1，并随机裁剪对应的SAR图像生成浮动图像I2；
处理模块，将数据模块的参考图像I1和浮动图像I2转化为灰度图，并进行归一化处理；
网络模块，设计具有两个分支网络结构的全卷积孪生网络结构；
特征模块，将处理模块归一化处理后的参考图像I1和浮动图像I2分别输入到网络模块全卷积孪生网络结构对应的分支网络结构中提取图像特征，获得特征图F(I1)和F(I2)；
计算模块，将特征模块提取的特征图F(I1)和F(I2)通过卷积计算得到一个相似性得分图S(I1I2)；
训练模块，训练计算模块获得的相似性得分图S(I1I2)，使用对比损失函数优化相似性得分图S(I1I2)，使用峰值损失函数加快收敛速度，使用排序损失函数使正样本的相似度分布接近真实分布；
配准模块，将训练模块训练好的权重载入到全卷积孪生网络模型中，并依次读取所有测试集数据，预测测试集中浮动图在基准图中的平移参数，根据平移参数确定浮动图在基准图上的位置，实现多模态图像配准。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于深度全局特征的多模态图像配准方法，使用神经网络学习异源图像间共有的全局深度特征，深入挖掘异源图像底层的共有特性，根据深度特征间的相似度进行快速的模板匹配，可以获取高精度的匹配结果。
进一步的，将数据集按照6：2：2的比例随机划分为训练集、验证集和测试集。训练集用来计算梯度更新权重，即训练模型，验证集用来做模型选择，测试集则给出一个准确率以判断网络性能的好坏，使用留出法划分数据集，确保实验没有随机因素，整个过程是可重复的。
进一步的，将图像转化为灰度图，并进行均值方差归一化，使得预处理后的数据被限定在一定的范围内，从而消除奇异样本数据导致的不良影响。
进一步的，分支网络结构设置为全卷积结构，这样不会损失图像的高分辨率信息。
进一步的，通过卷积得到相似度得分图的目的是得到整个搜索区域的相似度，相似度最大的即为匹配位置。
进一步的，使用3个损失函数优化网络，使用对比损失函数优化相似度map、使用峰值损失加速收敛，使用排序损失使得正样本的相似度分布接近真实分布，来获取高精度的匹配结果。
进一步的，为了最大化匹配位置及其小邻域的相似度，这些区域记为正样本；最小化其它位置的相似度，这些区域记为负样本，同时为了加快收敛速度，还引入了困难样本挖掘的策略，选择负样本区域相似度最大的top k样本点集进行优化，提出对比损失losscontrast。
进一步的，为了使正样本点的分布更真实，即匹配位置相似度最大，近邻位置相似度与距离匹配点的距离大小呈反比，距离匹配点越远相似度约小，反之越大，还引入正样本区域的排序损失losstop。
进一步的，为了获得最匹配的位置，使用相似度峰值损失函数losspeak在全局特征图匹配阶段，确保只有一个相似度极大值，并加速网络收敛速度。
综上所述，本发明通过深入挖掘异源图像底层的共有特性，可以获得高精度的匹配结果
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的流程图；
图2为本发明在仿真实验中使用的optical-SAR训练集数据示意图，其中，(a)为光学图像，(b)为SAR图像，(c)为光学图像，(d)为SAR图像；
图3为本发明的整体pipeline示意图；
图4为网络结构示意图；
图5为本发明匹配结果图，其中，(a)为图(b)和图(c)配准结果棋盘图，(b)为光学图像，(c)为SAR图像，(d)为图(e)和图(f)配准结果棋盘图，(e)为光学图像，(f)为SAR图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于深度全局特征的多模态图像配准方法，利用深度卷积网络从多模态图像中提取共同的全局深度特征。对它们进行快速模板匹配，以搜索最大特征相似度；建立一个相似标签图，并设计三种损失函数来优化网络，包括对比损失、排序损失和峰值损失。在光学图像和SAR图像上的大量实验结果表明，对多模态图像配准是有效的，本发明实现了快速准确的多模态图像配准，在异源数据集上取得了先进的性能；解决了基于局部特征匹配方法严重依赖特征点的质量和数量，导致大量误匹配的点的问题，同时避免了在所有检测到的点对之间进行密集匹配会产生的很大的计算量。
请参阅图1，本发明一种基于深度全局特征的多模态图像配准方法，利用三个损失函数联合优化，不仅极大的提高了图像匹配的准确率，而且缩短了网络的训练周期，具体步骤如下：
S1、准备数据集并制作
使用来自2020年IEEE地理科学的公共多源数据集和遥感学会(GRSS)数据融合大赛的数据----optical-SAR异源数据集；
S2、制作数据集
光学图像作为参考图像I1，并随机裁剪对应的SAR图像来生成浮动图像I2；SAR图片大小为200×200，可见光图像尺寸为256×256，总共制作4800对图像，使用6：2：2的比例随机划分训练、验证和测试集，训练集有2880对，验证集有960对，测试集有960对；
S2、图像预处理
将图像转化为灰度图，并进行归一化，使得预处理的数据被限定在一定的范围内，从而消除奇异样本数据导致的不良影响，对数据的预处理包括如下步骤：
S201、对于参考图像I1和浮动图像I2中的每张图像，首先转化为灰度图；
S202、对于每张灰度图，计算均值和标准差，然后将每张灰度图内的像素值减去其对应的均值后除标准差进行归一化操作。
S3、全卷积孪生网络结构
请参阅图3和图4，设计一个全卷积孪生网络结构，网络有两个相同的分支网络结构，两个分支网络结构共享参数，每个分支网络结构的输入是一个灰度图；其中，一个分支网络结构的输入是参考图像I1(基准图)，另一个分支网络结构的输入是浮动图像I2，每个分支网络均为全卷积结构，共9层；每个分支输出的是输入图像对应的特征图；
S4、图像特征提取
将参考图像I1和浮动图像I2分别输入到每个分支提取图像特征，获得特征图F(I1)和F(I2)；
S5、获取相似性得分图
将步骤S4中提取的特征通过卷积计算得到一个相似性得分图S(I1I2)，具体为：
通过深度特征提取网络，得到两个异源图像的特征图F(I1)，F(I2)，特征图是3D向量：
di,j＝Fi,j,d∈Rn
其中，i＝1,...,h，j＝1,...,w；
两个3D特征图通过卷积的方式计算余弦相似度得分图S，每个点的相似度得分使用如下公式计算：
其中，F1(m,l)为特征图F(I1)在(m，l)位置处的像素值，F2(m-i,l-j)为特征图F(I2)在(m-i,l-j)位置处的像素值，Th＝i+h2-1，Tw＝j+w2-1，i＝0,...,h-h2，j＝0,...,w-w2，Th和Tw分别表示作用在参考图像上的模板窗口的坐标的上限，w，h为参考图像特征图的尺寸，w2，h2为浮动图像特征图的尺寸。
S6、训练网络
基于步骤S5获得的相似性得分图S(I1I2)，使用对比损失函数优化相似度得分图，使用峰值损失函数来加快收敛速度，使用排序损失函数使得正样本的相似度分布接近真实分布；联合优化对比损失、排序损失和峰值损失；
S601、基于步骤S5中得到的相似度得分图，为了训练模型，使用通过在相似度得分图上构建损失来优化网络；
直观上，优化目标是完全匹配位置的相似度得分最大，即标准得分图gt上匹配位置的值是1，其余是0。虽然相似度得分图的理想分布是以匹配位置为中心呈高斯钟型分布，但最终使用的仅是得分最大的位置，因此为了优化方便，将优化目标简化为：
最大化匹配位置及其小邻域的相似度，这些区域记为正样本；最小化其他位置的相似度，这些区域记为负样本，同时为了加快收敛速度，引入困难样本挖掘的策略，选择负样本区域相似度最大的top k样本点集进行优化，提出对比损失losscontrast：
losscontrast＝(neg+1)2+(1-pos)2
其中，pos是gt图上匹配位置及其邻域坐标位置的相似度，neg是相似度得分图上其他位置的top k的值。
S602、losscontrast损失仅能优化抵达匹配位置附近，为了使正样本点的分布更真实，即匹配位置相似度最大，近邻位置相似度与距离匹配点的距离大小呈反比，距离匹配点越远相似度约小，反之越大，因此，引入正样本区域的排序损失losstop：
losstop＝(topk(lcc)-topk(fcc))2
其中，fcc为相似度得分图上的值，lcc为对真实配准位置周围进行高斯模糊得到的特征相似度软标签：
lcc＝Gaussian(gt)
S603、期望在全局特征图匹配阶段，有且只有一个相似度极大值。因此，提出了相似度峰值损失函数losspeak：
losspeak＝(max(fcc)-mean(fcc))
S604、联合优化对比损失、排序损失和峰值损失函数，最终的损失函数为三个损失函数的和：
loss＝losscontrast+losstop+losspeak
优化器使用Adam，初始学习率设置为0.001，学习率每过10个epoch衰减0.5。
S7、预测匹配概率
将步骤S6中训练好的权重载入到模型中，并依次读取所有测试集数据，预测测试集中浮动图在基准图中的平移参数；
S8、评估网络性能
在optical-SAR异源数据集上计算均方误差RMSE和配准率ACC，通过RMSE和ACC来评估全卷积孪生网络在optical-SAR异源数据集上的性能。
本发明再一个实施例中，提供一种基于深度全局特征的多模态图像配准系统，该系统能够用于实现上述基于深度全局特征的多模态图像配准方法，具体的，该基于深度全局特征的多模态图像配准系统包括数据模块、处理模块、网络模块、特征模块、计算模块、训练模块以及配准模块。
其中，数据模块，使用optical-SAR异源数据制作数据集，将光学图像作为参考图像I1，并随机裁剪对应的SAR图像生成浮动图像I2；
处理模块，将数据模块的参考图像I1和浮动图像I2转化为灰度图，并进行归一化处理；
网络模块，设计具有两个分支网络结构的全卷积孪生网络结构；
特征模块，将处理模块归一化处理后的参考图像I1和浮动图像I2分别输入到网络模块全卷积孪生网络结构对应的分支网络结构中提取图像特征，获得特征图F(I1)和F(I2)；
计算模块，将特征模块提取的特征图F(I1)和F(I2)通过卷积计算得到一个相似性得分图S(I1I2)；
训练模块，训练计算模块获得的相似性得分图S(I1I2)，使用对比损失函数优化相似性得分图S(I1I2)，使用峰值损失函数加快收敛速度，使用排序损失函数使正样本的相似度分布接近真实分布；
配准模块，将训练模块训练好的权重载入到全卷积孪生网络模型中，并依次读取所有测试集数据，预测测试集中浮动图在基准图中的平移参数，根据平移参数确定浮动图在基准图上的位置，实现多模态图像配准。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于深度全局特征的多模态图像配准的操作，包括：
使用optical-SAR异源数据制作数据集，将光学图像作为参考图像I1，并随机裁剪对应的SAR图像生成浮动图像I2；将参考图像I1和浮动图像I2转化为灰度图，并进行归一化处理；设计具有两个分支网络结构的全卷积孪生网络结构；将归一化处理后的参考图像I1和浮动图像I2分别输入到全卷积孪生网络结构对应的分支网络结构中提取图像特征，获得特征图F(I1)和F(I2)；将提取的特征图F(I1)和F(I2)通过卷积计算得到一个相似性得分图S(I1I2)；训练相似性得分图S(I1I2)，使用对比损失函数优化相似性得分图S(I1I2)，使用峰值损失函数加快收敛速度，使用排序损失函数使正样本的相似度分布接近真实分布；将训练好的权重载入到全卷积孪生网络模型中，并依次读取所有测试集数据，预测测试集中浮动图在基准图中的平移参数，根据平移参数确定浮动图在基准图上的位置，实现多模态图像配准。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于深度全局特征的多模态图像配准方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
使用optical-SAR异源数据制作数据集，将光学图像作为参考图像I1，并随机裁剪对应的SAR图像生成浮动图像I2；将参考图像I1和浮动图像I2转化为灰度图，并进行归一化处理；设计具有两个分支网络结构的全卷积孪生网络结构；将归一化处理后的参考图像I1和浮动图像I2分别输入到全卷积孪生网络结构对应的分支网络结构中提取图像特征，获得特征图F(I1)和F(I2)；将提取的特征图F(I1)和F(I2)通过卷积计算得到一个相似性得分图S(I1I2)；训练相似性得分图S(I1I2)，使用对比损失函数优化相似性得分图S(I1I2)，使用峰值损失函数加快收敛速度，使用排序损失函数使正样本的相似度分布接近真实分布；将训练好的权重载入到全卷积孪生网络模型中，并依次读取所有测试集数据，预测测试集中浮动图在基准图中的平移参数，根据平移参数确定浮动图在基准图上的位置，实现多模态图像配准。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
仿真实验条件：
本发明仿真实验的硬件平台是：
戴尔计算机Intel(R)Core5处理器，主频3.20GHz，内存64GB；
仿真软件平台是：Spyder软件(Python3.5)版。
仿真实验内容与结果分析：
本发明使用公开的optic-SAR异源数据集。该数据集来自2020年IEEE地理科学的公共多源数据集和遥感学会(GRSS)数据融合大赛的数据。SAR光学图像数据集的图像对为由Sentinel-1(SEN-1)和Sentinel-2(SEN-2)图像。
SEN-1由欧洲人进行航天局(ESA)包含两颗卫星，Sentinel-1A和Sentinel-1B。两颗卫星均携带C波段SAR传感器并可以提供双极化SAR图像全天候，白天或黑夜。
SEN-2还包含两个卫星(Sentinel-2A和Sentinel-2B)是由ESA并可以提供多光谱RS图像。使用光学图像作为参考图像，并随机裁剪对应的SAR图像来生成浮动图像。SAR图片大小为200×200，可见光图像尺寸为256×256，总共制作4800对图像，使用6：2：2的比例随机划分训练、验证和测试集，训练集有2880对，验证集有960对，测试集有960对。
本发明使用训练好的网络权重预测测试集各组数据的平移参数，得到的匹配结果如图5所示。
仿真实验：本发明与现有技术的性能对比。
为了对比说明本发明的有效性，共进行3个对比实验，
1)使用传统的SIFT方法进行配准，仅保留平移参数；
2)使用关键点检测、Hardnet描述子提取、特征匹配的方法进行配准，并且为了公平比较，Hardnet使用和GFTM相同的训练集和测试集；
3)使用梯度算子描述符特征进行多模态配准。使用的评价指标为均方误差RMSE和配准率ACC，ACC为误差RMSE小于某个阈值的图片比率。
在实验中分别对比了5个误差以内的配准率。如表1、表2所示：
表1：在opt-SAR数据集上的RMSE指标，RMSE是均方误差
表2：在opt-SAR数据集上的Acc-k，Acc-k是RMSE小于阈值k的图像比例
其中，GFTM是本发明方法，数据加粗的部分表示在对应组别中性能最佳。我们的方法取得了最小的RMSE，并且在1到5个误差以内的配准率均取得最优。证明本发明方法的有效性。
本发明针对多模态图像模板匹配的任务，与传统的模板匹配方法相似，首先得到整个图像的密集描述子。不同的是，使用深度全卷积神经网络来提取全局深度特征。这种基于学习的方法能够从数据的底层深度挖掘出共同的特征，更有利于下一步的匹配。并根据深度特征之间的相似性进行快速模板匹配。使用了三种损失来优化我们的网络，对比损失函数用于优化相似度得分图，峰值损失函数用于加速收敛，误差损失函数用于使正样本的相似度分布接近真实分布。实验结果证明了我们的方法的有效性。本发明可应用于图像追踪、多视角重建等领域。
综上所述，本发明一种基于深度全局特征的多模态图像配准方法，具有以下特点：
1、旨在提取异源图像间共有的全局深度特征，并根据特征相似度得分图进行快速模板匹配。这种基于学习的方式从数据底层深入挖掘其共有特征，更有利于下一步的匹配。
2、构建了相似度得分图，并设计3个损失函数来优化网络，包括对比损失、排序损失和峰值损失。使用对比损失函数优化相似度得分图，使用峰值损失加速收敛，使用排序损失使得正样本的相似度分布接近真实分布。
3、在SEN1-2多模态数据集上取得了较好的效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
Claims (7)
1.一种基于深度全局特征的多模态图像配准方法，其特征在于，包括以下步骤：
S1、使用optical-SAR异源数据制作数据集，将光学图像作为参考图像I1，并随机裁剪对应的SAR图像生成浮动图像I2；
S2、将步骤S1的参考图像I1和浮动图像I2转化为灰度图，并进行归一化处理；
S3、设计具有两个分支网络结构的全卷积孪生网络结构，分支网络结构为全卷积结构，共9层；每个分支网络结构输出的是输入图像对应的特征图；
S4、将步骤S2归一化处理后的参考图像I1和浮动图像I2分别输入到步骤S3全卷积孪生网络结构对应的分支网络结构中提取图像特征，获得特征图F(I1)和F(I2)；
S5、将步骤S4中提取的特征图F(I1)和F(I2)通过卷积计算得到一个相似性得分图S(I1I2)，通过深度特征提取网络得到两个异源图像的3D特征图，将两个3D特征图通过卷积的方式计算余弦相似性得分图S(I1I2)，每个点的相似度得分Si,j计算如下：
其中，F1(m，l)为特征图F(I1)在(m，l)位置处的像素值，F2(m-i，l-j)为特征图F(I2)在(m-i，l-j)位置处的像素值，Th＝i+h2-1，Tw＝j+w2-1，i＝0，...，h-h2，j＝0，...，w-w2，Th和Tw分别表示作用在参考图像上的模板窗口的坐标的上限，w，h为参考图像特征图的尺寸，w2，h2为浮动图像特征图的尺寸；
S6、训练步骤S5获得的相似性得分图S(I1I2)，使用对比损失函数优化相似性得分图S(I1I2)，使用峰值损失函数加快收敛速度，使用排序损失函数使正样本的相似度分布接近真实分布，优化器使用Adam，初始学习率设置为0.001，学习率每过10个epoch衰减0.5，最终的损失函数loss如下：
loss＝losscontrast+losstop+losspeak
其中，losscontrast为对比损失，losstop为正样本区域的排序损失，losspeak为相似度峰值损失函数；
S7、将步骤S6训练好的权重载入到全卷积孪生网络模型中，并依次读取所有测试集数据，预测测试集中浮动图在基准图中的平移参数，根据平移参数确定浮动图在基准图上的位置，实现多模态图像配准。
2.根据权利要求1所述的方法，其特征在于，步骤S1中，SAR图片大小为200×200，可见光图像尺寸为256×256，使用6∶2∶2的比例随机划分训练集、验证集和测试集。
3.根据权利要求1所述的方法，其特征在于，步骤S2中，预处理具体为：
将参考图像I1和浮动图像I2转化为灰度图；计算每张灰度图的均值和标准差，然后将每张灰度图内的像素值减去其对应的均值后除标准差进行归一化操作。
4.根据权利要求1所述的方法，其特征在于，步骤S6中，对比损失losscontrast为：
losscontrast＝(neg+1)2+(1-pos)2
其中，pos是gt图上匹配位置及其邻域坐标位置的相似度，neg是相似度得分图上其他位置的top k的值。
5.根据权利要求1所述的方法，其特征在于，步骤S6中，排序损失losstop为：
losstop＝(topk(lcc)-topk(fcc))2
其中，fcc为相似度得分图上的值，lcc为对真实配准位置周围进行高斯模糊得到的特征相似度软标签，topk(.)为对应的前top k值。
6.根据权利要求1所述的方法，其特征在于，步骤S6中，相似度峰值损失函数losspeak为：
losspeak＝(max(fcc)-mean(fcc))
其中，fcc为相似度得分图上的值，max(fcc)为相似度得分图上最大的值，mean(fcc)为相似度得分图的均值。
7.一种基于深度全局特征的多模态图像配准系统，其特征在于，包括：
数据模块，使用optical-SAR异源数据制作数据集，将光学图像作为参考图像I1，并随机裁剪对应的SAR图像生成浮动图像I2；
处理模块，将数据模块的参考图像I1和浮动图像I2转化为灰度图，并进行归一化处理；
网络模块，设计具有两个分支网络结构的全卷积孪生网络结构，分支网络结构为全卷积结构，共9层；每个分支网络结构输出的是输入图像对应的特征图；
特征模块，将处理模块归一化处理后的参考图像I1和浮动图像I2分别输入到网络模块全卷积孪生网络结构对应的分支网络结构中提取图像特征，获得特征图F(I1)和F(I2)；
计算模块，将特征模块提取的特征图F(I1)和F(I2)通过卷积计算得到一个相似性得分图S(I1I2)，通过深度特征提取网络得到两个异源图像的3D特征图，将两个3D特征图通过卷积的方式计算余弦相似性得分图S(I1I2)，每个点的相似度得分Si,j计算如下：
其中，F1(m，l)为特征图F(I1)在(m，l)位置处的像素值，F2(m-i，l-j)为特征图F(I2)在(m-i，l-j)位置处的像素值，Th＝i+h2-1，Tw＝j+w2-1，i＝0，...，h-h2，j＝0，...，w-w2，Th和Tw分别表示作用在参考图像上的模板窗口的坐标的上限，w，h为参考图像特征图的尺寸，w2，h2为浮动图像特征图的尺寸；
训练模块，训练计算模块获得的相似性得分图S(I1I2)，使用对比损失函数优化相似性得分图S(I1I2)，使用峰值损失函数加快收敛速度，使用排序损失函数使正样本的相似度分布接近真实分布，优化器使用Adam，初始学习率设置为0.001，学习率每过10个epoch衰减0.5，最终的损失函数loss如下：
loss＝losscontrast+losstop+losspeak
其中，losscontrast为对比损失，losstop为正样本区域的排序损失，losspeak为相似度峰值损失函数；
配准模块，将训练模块训练好的权重载入到全卷积孪生网络模型中，并依次读取所有测试集数据，预测测试集中浮动图在基准图中的平移参数，根据平移参数确定浮动图在基准图上的位置，实现多模态图像配准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110605164.7A CN113223068B (zh) | 2021-05-31 | 2021-05-31 | 一种基于深度全局特征的多模态图像配准方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110605164.7A CN113223068B (zh) | 2021-05-31 | 2021-05-31 | 一种基于深度全局特征的多模态图像配准方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113223068A CN113223068A (zh) | 2021-08-06 |
| CN113223068B true CN113223068B (zh) | 2024-02-02 |
Family
ID=77081952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110605164.7A Active CN113223068B (zh) | 2021-05-31 | 2021-05-31 | 一种基于深度全局特征的多模态图像配准方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113223068B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113962925B (zh) * | 2021-08-19 | 2024-01-26 | 中国人民解放军国防科技大学 | 基于卫星及无人机的异源遥感图像变化检测方法及装置 |
| CN113743515B (zh) * | 2021-09-08 | 2022-03-11 | 感知天下(北京)信息科技有限公司 | 基于自监督自学习特征点的遥感影像特征匹配方法 |
| CN114511012A (zh) * | 2022-01-20 | 2022-05-17 | 云南览易网络科技有限责任公司 | 基于特征匹配和位置匹配的sar图像与光学图像匹配方法 |
| CN114359603B (zh) * | 2022-02-18 | 2024-03-15 | 西北工业大学 | 一种多模态遥感图像领域自适应无监督匹配方法 |
| CN116701695B (zh) * | 2023-06-01 | 2024-01-30 | 中国石油大学(华东) | 一种级联角点特征与孪生网络的图像检索方法及系统 |
| CN117409379A (zh) * | 2023-10-17 | 2024-01-16 | 哈尔滨工业大学 | 一种基于计算机视觉的大跨桥梁车辆追踪与车辆荷载谱智能识别方法 |
| CN117474963B (zh) * | 2023-10-18 | 2024-04-19 | 南京国础科学技术研究院有限公司 | 多源卫星图像配准方法、系统、存储介质和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659680A (zh) * | 2019-09-16 | 2020-01-07 | 西安电子科技大学 | 一种基于多尺度卷积的图像patch匹配方法 |
| CN111028277A (zh) * | 2019-12-10 | 2020-04-17 | 中国电子科技集团公司第五十四研究所 | 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法 |
| CN111199214A (zh) * | 2020-01-04 | 2020-05-26 | 西安电子科技大学 | 一种残差网络多光谱图像地物分类方法 |
| EP3731154A1 (en) * | 2019-04-26 | 2020-10-28 | Naver Corporation | Training a convolutional neural network for image retrieval with a listwise ranking loss function |
| WO2021022752A1 (zh) * | 2019-08-07 | 2021-02-11 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
-
2021
- 2021-05-31 CN CN202110605164.7A patent/CN113223068B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3731154A1 (en) * | 2019-04-26 | 2020-10-28 | Naver Corporation | Training a convolutional neural network for image retrieval with a listwise ranking loss function |
| WO2021022752A1 (zh) * | 2019-08-07 | 2021-02-11 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
| CN110659680A (zh) * | 2019-09-16 | 2020-01-07 | 西安电子科技大学 | 一种基于多尺度卷积的图像patch匹配方法 |
| CN111028277A (zh) * | 2019-12-10 | 2020-04-17 | 中国电子科技集团公司第五十四研究所 | 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法 |
| CN111199214A (zh) * | 2020-01-04 | 2020-05-26 | 西安电子科技大学 | 一种残差网络多光谱图像地物分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 米恒 ; 贾振堂 ; .基于改进生成式对抗网络的图像超分辨率重建.计算机应用与软件.2020,(第09期),全文. * |
| 贾迪 ; 朱宁丹 ; 杨宁华 ; 吴思 ; 李玉秀 ; 赵明远 ; .图像匹配方法研究综述.中国图象图形学报.2019,(第05期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113223068A (zh) | 2021-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113223068B (zh) | 一种基于深度全局特征的多模态图像配准方法及系统 | |
| CN110443818B (zh) | 一种基于涂鸦的弱监督语义分割方法与系统 | |
| CN112766244B (zh) | 目标对象检测方法、装置、计算机设备和存储介质 | |
| CN111199214B (zh) | 一种残差网络多光谱图像地物分类方法 | |
| CN110287873A (zh) | 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备 | |
| CN112150523B (zh) | 一种低重叠率的三维点云配准方法 | |
| Liu et al. | CAFFNet: channel attention and feature fusion network for multi-target traffic sign detection | |
| CN111179272B (zh) | 一种面向道路场景的快速语义分割方法 | |
| CN113743417A (zh) | 语义分割方法和语义分割装置 | |
| Zhao et al. | Attention Unet++ for lightweight depth estimation from sparse depth samples and a single RGB image | |
| Liu et al. | A new multi-channel deep convolutional neural network for semantic segmentation of remote sensing image | |
| Li et al. | Adaptive regional multiple features for large-scale high-resolution remote sensing image registration | |
| CN114358133A (zh) | 一种基于语义辅助双目视觉slam检测回环帧的方法 | |
| CN113704276A (zh) | 地图更新方法、装置、电子设备及计算机可读存储介质 | |
| Yao et al. | An accurate box localization method based on rotated-RPN with weighted edge attention for bin picking | |
| CN116091946A (zh) | 一种基于YOLOv5的无人机航拍图像目标检测方法 | |
| Kelenyi et al. | SAM-Net: Self-Attention based Feature Matching with Spatial Transformers and Knowledge Distillation | |
| CN112749576B (zh) | 图像识别方法和装置、计算设备以及计算机存储介质 | |
| Chen et al. | Aircraft recognition from remote sensing images based on machine vision | |
| Dong et al. | ESA-Net: An efficient scale-aware network for small crop pest detection | |
| Wang et al. | Oil tank detection via target-driven learning saliency model | |
| CN113706450A (zh) | 图像配准方法、装置、设备及可读存储介质 | |
| Paul et al. | Performance analysis of keypoint detectors and binary descriptors under varying degrees of photometric and geometric transformations | |
| Chen et al. | Geometric and non-linear radiometric distortion robust multimodal image matching via exploiting deep feature maps | |
| CN110443817A (zh) | 一种提高图像分割精度的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |