CN113012208B - 多视角遥感图像配准方法及系统 - Google Patents
多视角遥感图像配准方法及系统 Download PDFInfo
- Publication number
- CN113012208B CN113012208B CN202110305052.XA CN202110305052A CN113012208B CN 113012208 B CN113012208 B CN 113012208B CN 202110305052 A CN202110305052 A CN 202110305052A CN 113012208 B CN113012208 B CN 113012208B
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- registered
- feature
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000005070 sampling Methods 0.000 claims abstract description 42
- 238000010586 diagram Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims abstract description 19
- 238000013136 deep learning model Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000012952 Resampling Methods 0.000 claims abstract description 11
- 238000003062 neural network model Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 11
- 230000002457 bidirectional effect Effects 0.000 claims description 7
- 238000000844 transformation Methods 0.000 claims description 5
- 230000003094 perturbing effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- PGLIUCLTXOYQMV-UHFFFAOYSA-N Cetirizine hydrochloride Chemical compound Cl.Cl.C1CN(CCOCC(=O)O)CCN1C(C=1C=CC(Cl)=CC=1)C1=CC=CC=C1 PGLIUCLTXOYQMV-UHFFFAOYSA-N 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种多视角遥感图像配准方法及系统，包括：根据原始遥感图像生成模拟多视角遥感图像配准的数据集；通过数据集和基于采样点的损失函数对深度神经网络模型进行训练生成深度学习模型，深度学习模型包括密集配准网络和稀疏配准网络；通过密集配准网络提取参考图像和待配准图像的多尺度特征，对多尺度特征进行匹配生成多尺度特征匹配图，根据将多尺度特征匹配图生成密集图像配准参数；通稀疏配准网络进行稀疏特征提取，并进行特征匹配生成稀疏匹配参数；将密集图像配准参数和稀疏图像配准参数进行融合生成目标配准参数；根据目标配准参数对待配准图像进行重采样，生成配准后图像。本发明能够实现复杂场景下多视角遥感图像高精度配准。
Description
技术领域
本发明涉及图像配准技术，具体地，涉及一种端到端的融合多尺度邻域一致性网络与图神经网络的多视角遥感图像配准方法。
背景技术
遥感图像是指由航空器或卫星上成像系统获得的具有地面目标特征的图像。多视角遥感图像指两幅图像(分别称作参考图像和待配准图像)由同一传感器采集，但采集视角有水平或(和)垂直方向上的改变。多视角遥感图像配准是实现图像辅助导航，导弹制导等应用的核心技术。
基于稀疏图像特征(sparse image feature)的配准是目前多视角遥感图像配准中的主要技术，可大致分为特征点提取和特征点匹配两步。首先从待配准的两幅图像中提取特征点，再通过最近邻匹配与RANSAC算法对两个点集进行特征点匹配和外点剔除，最后通过应用某种变换得到配准后图像。Lowe博士于04年完善了尺度不变特征变换(ScaleInvariant Feature Transform，SIFT)算法，具有很高的精度及鲁棒性，对图像旋转、缩放、尺度都具有不变性。后续有很多学者在该方法的基础上进行质量上的改进，但是，基于点特征的自动检测算法的健壮性依然不如人工标注的特征点，尤其是在多视角遥感图像配准中，同一物体在多视角下产生的特征点可能无法匹配甚至错误匹配，原因在于，基于特征点的算法往往更关注图像底层像素级的信息，而忽略图像本身表达的高级特征，因此有很多研究尝试在点特征基础上使用线特征或更复杂的特征进行检测，但提升有限。另外，稀疏图像特征在处理图像非刚性变换时也存在不足。
近年，遥感图像配准领域尝试使用基于深度学习的方法改进特征提取的性能，如Wang博士等通过有监督学习预测两幅图像是否来自同一区域，以此来分辨特征点是否匹配正确；Yang博士等使用VGG-16网络的多层特征图融合结果生成特征点，对多时相遥感图像进行特征提取，再使用改进的CPD算法进行特征匹配。通过在特征提取阶段引入深度学习，遥感图像配准任务得到了较好反馈，但只将深度神经网络当作特征提取器并不能充分利用深度学习的能力，此类方法对深度学习的利用不足，在匹配阶段依然需要传统算法介入，面对复杂的多视角遥感图像时依然会出现较多错误，同时，深度学习需要大量数据作为训练依据，传统遥感图像配准领域缺少公开的数据集，因此，如何获取大量数据也是训练多视角遥感图像配准模型所面临的主要困难。
最近有研究使用深度神经网络代替特征提取及特征匹配两步，即使用端到端的方式对图像进行配准。Detone博士等使用深度学习对两幅图像的单应性变换进行估计，其使用人工合成的数据集进行训练，达到了比传统算法更高的精确度。Rocco等更进一步设计了一种端到端的框架，进行实例级、类级的图像配准，测试表明该模型在真实场景中也能达到较准确的配准结果。Kim博士等提出一种两阶段配准模型，第一阶段预测旋转变换，第二阶段预测仿射变换，在多时相遥感图像中取得了更好的表现。Park等对待配准图像进行预处理，使网络接受参考、待配准和增强三幅图像，并利用图像全局变换的同构性对模型进行训练，经过测试，该算法在地表变化较大的遥感图像配准中有更高的准确度。该类方法对特征提取和特征匹配两个任务同时训练，在复杂的非刚性图像配准场景中能得到更好的结果，但此类方法也有缺陷：其使用密集图像特征(dense image feature)提取技术，导致最终图像配准精度暂时达不到亚像素要求。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种多视角遥感图像配准方法及系统，解决复杂场景下多视角遥感图像配准精度低的问题。
根据本发明提供的多视角遥感图像配准方法，包括如下步骤：
步骤S1：根据原始遥感图像生成模拟多视角遥感图像配准的数据集；所述数据集的每一数据包括一参考图像，一待配准图像、由待配准图像向参考图像变换的参数、待配准图像的采样点坐标以及配准后图像的采样点坐标；
步骤S2：通过所述数据集和基于所述采样点的损失函数对深度神经网络模型进行训练和测试生成深度学习模型，所述深度学习模型包括密集配准网络和稀疏配准网络；
步骤S3：通过所述密集配准网络提取参考图像和待配准图像的多尺度特征，对所述多尺度特征进行匹配生成多尺度特征匹配图，根据将所述多尺度特征匹配图生成密集图像配准参数；
步骤S4：通过所述稀疏配准网络进行稀疏特征提取，并进行特征匹配生成稀疏匹配参数；
步骤S5：参数融合，将所述密集图像配准参数和所述稀疏图像配准参数进行融合生成目标配准参数；
步骤S6：重采样，根据所述目标配准参数对待配准图像进行重采样，生成配准后图像。
优选地，所述步骤S1包括如下步骤：
步骤S101：在原始遥感图像I中随机选定一个大小为256像素×256像素且中心坐标为p的像素区域PA1；
步骤S102：对像素区域PA1的四个顶点进行幅度为[-x,x]随机扰动，得到新的像素区域PB且计算由像素区域PA1的四个顶点到像素区域PB的四个顶点的单应性变换矩阵HAB；
步骤S103：将单应性变换矩阵HAB的逆矩阵HBA应用于一原始遥感图像I上得到图像I’，再在图像I’上的p点选定一个大小为256像素×256像素的像素区域PA2；
步骤S104：将所述像素区域PA1作为参考图像，所述像素区域PA2作为待配准图像，HAB作为由待配准图像向参考图像变换的参数；
步骤S105：在待配准图像中随机均匀的选择15组采样点坐标S，将变换矩阵HAB应用于采样点坐标S上得到一组新的采样点坐标S’，S作为配准图像的采样点坐标，S’作为配准后图像的采样点坐标。
优选地，所述密集配准网络包括多尺度密集特征提取网络、邻域一致性网络以及参数预测网络；
所述步骤S3包括如下步骤：
步骤S301：采用多尺度密集特征提取网络分别对参考图像和待配准图像进行特征提取，得到两组多尺度特征图；
步骤S302：采用双向相关运算对相同尺度的两幅特征图进行特征匹配生成一组多尺度特征匹配图；
步骤S303：采用邻域一致性网络对多尺度特征匹配图进行外点剔除，得到一组特征匹配图；
步骤S304：将融合后的特征匹配图输入参数预测网络，得到密集图像配准参数。
所述稀疏配准网络包括稀疏特征提取网络、图神经网络以及参数预测层；
所述步骤S4包括如下步骤：
步骤S401：采用稀疏特征提取网络分别对参考图像和待配准图像进行特征提取，得到两组特征点；
步骤S402：采用图神经网络对两组特征点进行特征匹配，得到匹配参数；
步骤S403：所述参数预测层根据所述匹配参数计算得到稀疏图像配准参数。
优选地，所述采样点的损失函数L(θ',θGT)，定义如下式：
其中，N取15，为采样点的数量，d为计算两组采样点距离的函数，S为采样点，θ‘为模型预测的参数，θGT为配准数据集中的真实参数，为配准数据集中对应的真实变换，Tθ为模型预测的变换。
优选地，所述密集配准参数和所述稀疏配准参数的融合权值比例为0.5比0.5。
优选地，原始遥感图像的大小范围为640×480像素至2560×1600像素；所述参考图像和所述待配准图像的大小范围为256像素×256像素。
优选地，在步骤S2中随机选择80％的数据集样本作为训练集，20％的样本作为测试集对深度神经网络模型进行训练和测试生成深度学习模型。
优选地，在步骤S302中采用双向相关运算对相同尺度的两幅特征图进行特征匹配时的，其中单向相关运算定义如下式所示：
CAB(i,j,k)＝fB(i,j)TfA(ik,jk)
其中，fA为参考图像的特征图，fB为待配准图像的特征图，h和w为特征图的大小，d为特征图的通道数。
本发明提供的多视角遥感图像配准系统，包括如下模块：
数据集生成模块：根据原始遥感图像生成模拟多视角遥感图像配准的数据集；所述数据集的每一数据包括一参考图像，一待配准图像、由待配准图像向参考图像变换的参数、待配准图像的采样点坐标以及配准后图像的采样点坐标；
模型训练模块，用于通过所述数据集和基于所述采样点的损失函数对深度神经网络模型进行训练和测试生成深度学习模型，所述深度学习模型包括密集配准网络和稀疏配准网络；
密集图像配准参数生成模块，用于通过所述密集配准网络提取参考图像和待配准图像的多尺度特征，对所述多尺度特征进行匹配生成多尺度特征匹配图，根据将所述多尺度特征匹配图生成密集图像配准参数；
稀疏匹配参数模块，用于通过所述稀疏配准网络进行稀疏特征提取，并进行特征匹配生成稀疏匹配参数；
参数融合模块，用于将所述密集图像配准参数和所述稀疏图像配准参数进行融合生成目标配准参数；
重采样模块，用于根据所述目标配准参数对待配准图像进行重采样，生成配准后图像。
与现有技术相比，本发明具有如下的有益效果：
1、本发明中深度学习模型采用端到端的配准框架，对特征检测和特征匹配两个任务同时进行训练，在复杂的多视角遥感图像配准中能得到更好的配准结果；
2、本发明中深度学习模型结合密集特征点及稀疏特征点配准的框架，能够同时对两幅图像进行基于密集和稀疏特征点的配准，保证了配准结果准确度及对非刚性变换的鲁棒性；
3、本发明通过基于图像采样点的损失函数进行模型训练，能够更好的衡量训练时模型的损失。
4、本发明采用生成多视角遥感图像配准有监督数据集的方法，能够很好的缓解了配准数据集制作困难的问题。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例中多视角遥感图像配准方法的流程图；
图2为本发明实施例中多尺度密集特征提取层的结构图；
图3为本发明实施例中是双向相关运算的示意图；
图4为本发明实施例中邻域一致性网络的结构图；
图5为本发明实施例中密集配准参数预测网络的结构图；
图6为本发明实施例中稀疏特征提取网络的机构图；
图7为本发明实施例中在真实数据上的配准结果；
图8为本发明实施例中配准方法与SIFT算法在真实数据上的定性对比；
图9为本发明实施例中配准方法与SIFT算法在真实数据上的定量对比。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明中多视角遥感图像配准方法的使用基于一假设，即：
(1)航空和航天遥感成像的距离非常远，成像目标区域相对于成像元件近似为一个平面；
(2)在不同视角对成像目标进行观察的运动可以近似为成像元件绕成像目标的单纯旋转运动。
满足上述假设的透视变换，可由单应性矩阵解决，如下式所示，该公式将原始遥感图像中坐标(x，y)的像素映射至配准后图像中的(x',y')处，具体定义如下式(1)：
为了方便神经网络对输出参数进行优化，本发明实施例中采用4点参数模型公式(2)描述上式。4点参数模型如下式所示，该模型使用两幅图像的对应四个点的坐标(xi,yi)和(xi',yi')作为计算参数，即Δxi＝xi'-xi，Δyi＝yi'-yi，其中i取1到4。该矩阵中8个参数即为密集疏配准网络和稀疏配准网络的输出。
图1为本发明实施例中多视角遥感图像配准方法的流程图，如图1所示，本发明提供的多视角遥感图像配准方法，包括如下步骤：
步骤S1：根据原始遥感图像生成模拟多视角遥感图像配准的数据集；所述数据集的每一数据包括一参考图像，一待配准图像、由待配准图像向参考图像变换的参数、待配准图像的采样点坐标以及配准后图像的采样点坐标；
在本发明实施例中，所述步骤S1包括如下步骤：
步骤S101：在原始遥感图像I中随机选定一个大小为256像素×256像素且中心坐标为p的像素区域PA1；
步骤S102：对像素区域PA1的四个顶点进行幅度为[-x,x]随机扰动，得到新的像素区域PB且计算由像素区域PA1的四个顶点到像素区域PB的四个顶点的单应性变换矩阵HAB；
步骤S103：将单应性变换矩阵HAB的逆矩阵HBA应用于一原始遥感图像I上得到图像I’，再在图像I’上的p点选定一个大小为256像素×256像素的像素区域PA2；
步骤S104：将所述像素区域PA1作为参考图像，所述像素区域PA2作为待配准图像，HAB作为由待配准图像向参考图像变换的参数；
步骤S105：在待配准图像中随机均匀的选择15组采样点坐标S，将变换矩阵HAB应用于采样点坐标S上得到一组新的采样点坐标S’，S作为配准图像的采样点坐标，S’作为配准后图像的采样点坐标。
在本发明实施例中，所述数据集为有监督数据集。原始遥感图像的大小范围为640×480像素至2560×1600像素。所述参考图像和所述待配准图像的大小范围为256像素×256像素。
步骤S2：通过所述数据集和基于所述采样点的损失函数对深度神经网络模型进行训练和测试生成深度学习模型，所述深度学习模型包括密集配准网络和稀疏配准网络；
在本发明实施例中，随机选择80％的数据集样本作为训练集，20％的样本作为测试集。
在本发明实施例中，所述采样点的损失函数L(θ',θGT)，定义如下式：
其中，N取15，为采样点的数量，d为计算两组采样点距离的函数，S为采样点，θ‘为模型预测的参数，θGT为配准数据集中的真实参数，为配准数据集中对应的真实变换，Tθ为模型预测的变换。
步骤S3：通过所述密集配准网络提取参考图像和待配准图像的多尺度特征，对所述多尺度特征进行匹配生成多尺度特征匹配图，根据将所述多尺度特征匹配图生成密集图像配准参数；
在本发明实施例中，所述步骤S3包括如下步骤：
步骤S301：采用多尺度密集特征提取网络分别对参考图像和待配准图像进行特征提取，得到两组多尺度特征图；
步骤S302：采用双向相关运算对相同尺度的两幅特征图进行特征匹配生成一组多尺度特征匹配图；
步骤S303：采用邻域一致性网络对多尺度特征匹配图进行外点剔除，得到一组特征匹配图；
步骤S304：将融合后的特征匹配图输入参数预测网络，得到密集图像配准参数。
在本发明实施例中，如图2所示，在图像输入阶段，将输入的默认大小调整为256*256，如果需要提高输入图像的质量，可以堆叠更深的特征提取网络结构，并保证特征提取的输出与后面网络的输入匹配即可，综合网络运行效率与特征提取质量的考虑。所述多尺度密集特征提取网络的输入为一幅RGB图象，输出为4个尺度的特征图。多尺度密集特征提取网络共有5层卷积层，通过4次池化操作将输入图像大小缩减一半，在第五层卷积层之后，得到中间层M5，之后再通过3次参数为2的反卷积操作与分别来自第4、3、2层的跨层1*1连接的相加操作，依次得到中间层M4，M3，M2，最终再通过对M2、M3和M4的3*3卷积操作得到4个不同尺度的特征。其中，通过跨层连接，顶层的特征图与底层的特征图得以融合得到更加丰富的语义信息，1*1卷积可以降低通道维度，3*3卷积可以消除混叠效应。
如图3所示，在本发明实施例中采用多尺度双向相关运算特征匹配层进行特征匹配。设输入的两张特征图为A和B，相关运算可以计算出A中某一特征与B中所有特征的相似性，本发明使用双向的相关运算进行特征匹配，比起单向的相关运算，双向的方式计算特征图A所有特征与特征图B所有特征的相似性，可以更好的避免误匹配现象，提升准确率。
单向相关运算定义如下式所示：
CAB(i,j,k)＝fB(i,j)TfA(ik,jk)
其中，fA为参考图像的特征图，fB为待配准图像的特征图，h和w为特征图的大小，d为特征图的通道数。i和j分别为两个特征图在通道切面上的索引，k＝h(jk-1)+ik，CAB为相关运算后的输出，即A中某一特征与B中所有特征的相似性，同理计算出CBA，B中某一特征与A中所有特征的相似性。
在默认图像输入大小下，所述双向相关运算特征匹配层输入为2个192*16*16大小的特征图，输出大小为256*16*16的3维特征图，再经过调整得到16*16*16*16的4维特征图。输出特征图CAB的每一个点上保存着特征图fA对应点的特征与fB中所有特征的相似性度量，对输出特征图CBA的每一个点上保存着特征图fB对应点的特征与fA中所有特征的相似性度量同理。
为进一步剔除误匹配特征，对特征图进行ReLU激活函数处理及归一化。归一化操作定义如下式所示：
其中，features为相关运算输出的匹配特征图，n为特征图的第一维大小，ξ取0.000001，F为归一化后输出特征图。得到两个归一化的特征匹配信息后，将CBA与CBA做逐元素减法，去除不满足相互匹配的特征，使用ReLU激活函数处理并再次归一化，即可得到本层最终输出。在不同的尺度中，分别执行多次双向相关运算以得到不同尺度的特征匹配结果。
在本发明实施例中，所述邻域一致性(neighbourhood consensus)是指：
a、正确的匹配特征点具有一定的一致性；
b、正确匹配点周围的匹配特征点相互支持。
双向相关运算特征匹配层输出的4维匹配特征图包含了所有图像所有密集特征点之间的匹配分数，其中包含了大量的错误匹配，如何在其中找到正确匹配的特征是比较困难的，因此，本发明实施例中采用4维卷积操作来剔除不匹配特征。4维卷积操作h定义如下所示，其中i、j、k、l分别代表四个维度，dx、dy、dz、dw分别代表4个维度上的卷积参数。
如图4所示，在邻域一致性网络中，每个4维卷积后都接一个ReLU运算，增加非线性处理能力。4维卷积共有三层，每一层4维卷积基于邻域一致性处理并提取输入匹配图中的所有邻域的匹配关系，第一层4维卷积的卷积核为5，可以学习到不同的局部几何变换，输出通道为16，第二层4维卷积的卷积核为5，类似2维卷积那样进一步处理邻域中的匹配关系，输出通道为16，第三层4维卷积的卷积核为5，输出通道为1，更深的4维卷积层可以像普通卷积神经网络一样，提取更加复杂的模式及关系，并合并本层及上层的输出，最终得到处理后的匹配图。
如图5所示，在本发明实施例中，所述参数预测网络根据多尺度邻域一致性网络输出的多个匹配图生成预测参数。该网络基本块包括两个卷积层和3层全连接层，除最后一层全连接层以外，每一层网络后都连接一个批归一化层和ReLU激活函数。
默认图像输入大小下，参数预测网络的基本块输入为256维大小16*16的特征图，第一层卷积核大小为5，输入通道256维，输出通道128维，后两层卷积核大小为1，通道数分别减少至64和32。全连接层输入大小为1152，经过一个隐含层后减少至最终8个，输出密集配准参数。
步骤S4：通过稀疏配准网络进行稀疏特征提取，并进行特征匹配生成稀疏匹配参数；在本发明实施例中，所述稀疏配准网络包括稀疏特征提取网络、图神经网络以及参数预测层；
所述步骤S4包括如下步骤：
步骤S401：采用稀疏特征提取网络分别对参考图像和待配准图像进行特征提取，得到两组特征点；
步骤S402：采用图神经网络对两组特征点进行特征匹配，得到匹配参数；
步骤S403：所述参数预测层根据所述匹配参数计算得到稀疏图像配准参数。
如图6所示，在本发明实施例中，所述稀疏特征提取网络采用预训练的VGG网络作为特征提取网络的骨干网结构，VGG网络由5个卷积层和每个卷积层之后的最大池化层组成，稀疏特征点选取来自第3个最大池化层pool3、第4个最大池化层pool4及第5个最大池化层pool5_1合成所得。在输入图像上划分一个32*32的网格，每个网格的分辨率为8*8，在每个网格的中心生成对应的特征描述符，pool3层的输出为32*32*256维的特征图，pool4层输出为16*16*512维的特征图，pool5_1层输出为8*8*512维特征图。Pool4和pool5_1生成的特征图还需进行克罗内克积以调整大小，具体操作定义如下式所示，其中为克罗内克乘积,I2*2*1和I4*4*1为全部填充为1的张量，pool4和pool5分别为卷积神经网络第4层和第5层最大池化的输出。
得到3组归一化的特征描述符D1、D2和D3后进行特征预匹配，删除不匹配的描述符，两个特征点x和y的预匹配公式如下式所示，其中，di为计算特征距离的函数。
距离函数di公式如下所示，||操作为计算两点间的欧几里得距离。
di(x,y)＝|Di(x),Di(y)|
该阶段输出为预匹配后的稀疏特征点集，其中包含特征点的坐标和对应特征描述符。
在本发明实施例中，所述图神经网络匹配特征采用预训练的图卷积神经网络做稀疏特征匹配，其中，图的每一个节点代表图像中的每一个特征点，图中的边包含两种类型：一种边Eself连接同一图像中所有特征点，一种边Ecross连接本图像与另一幅图像间的所有特征点。设为图像A的第i个特征点在第l层卷积层形成的中间形式，信息MEi为聚合了所有特征点i∈E的自我注意力和交叉注意力信息的结果，其中E∈{Eself,Ecross}。图像A中所有特征传递的信息可以表示为下式，其中/>代表特征连接操作，MLP为1*1卷积运算。
经过l层操作后，即可得到本层输出，即图像A的匹配描述符fi A，对于第二幅图像同理，图像匹配描述符的定义如下式，其中W和b为网络的权重和偏置参数。
fi A＝w*xi A(l)+b,i∈A
得到图像A和图像B的匹配描述符后，计算二者的内积得到两幅图像的匹配得分图，得分图Si，j计算方式如下式所示，其中符号<>代表两个特征图的点积运算，fi A和fj B分别为两个图像A、B的特征。
在本发明实施例中，在计算密集配准参数时，根据两幅图像的匹配得分图预测稀疏配准参数。
步骤S5：参数融合，将所述密集图像配准参数和所述稀疏图像配准参数进行融合生成目标配准参数；
在本发明实施例中，所述密集配准参数和所述稀疏配准参数的融合权值比例为0.5比0.5。
步骤S6：重采样，根据所述目标配准参数对待配准图像进行重采样，生成配准后图像。
实验分析与对比
为保证训练及测试图片的质量及多样性，本发明实施例中训练及测试所使用的遥感图像取自谷歌地球软件(Google Erath Pro，开启3D地形模式)、UCMerced_LandUse数据集和NWPU VHR-10数据集。
实验训练软件环境为Ubuntu 16.04，Pytorch版本1.0.1，CUDA版本9，cuDNN版本7，Python版本3.6；硬件环境为GTX 1070显卡，Ryzen 5 2600处理器及16G内存。实验测试环境为Intel Core i5-7360U处理器，8G内存。
网络使用Pytorch的随机梯度下降(Stochastic Gradient Descent，SGD)优化器优化，学习率设置为0.0001，动量值设置为0.9，损失函数为输出参数的均方误差(MeanSquare Error，MSE)。模型Batch Size设置为16，训练总epochs为35，总迭代次数为20000，每100次迭代记录一次损失和精度。
下图7为本发明实施例中在真实数据上的配准结果。三幅图均为从不同视角对同一地面物体进行拍摄得到，参考与待配准图像差别较大，存在明显高度起伏，河道弯曲等非刚性变化，比起普通的平面旋转、平移和缩放更加复杂，从3组配准结果看，配准后图像在空间特征和几何相似性上与参考图像非常接近，在细节处理上，主要特征没有出现明显的错位，颜色过渡自然，整体上，各个特征都较精确配准，几乎没有出现未对齐区域。
为进一步验证本发明实施例中对于多视角遥感配准的性能提升，下图8为本发明与SIFT的定性对比，使用11*11的棋盘格进行参考图像与配准后图像的交替融合。棋盘格融合图可以方便地对配准性能定性对比，本实验中，出现棋盘格的为未配准区域(指示此区域配准性能较差)或因视角变化产生的非重叠区域(与配准性能无关)。红色方框标出的区域可以展示各试验结果中衡量配准精度的细节。
a、b、c、d图像配准的定量分析如下图9所示。在所有测试数据上(真实遥感图像)均匀、随机的选择15组采样点用作配准误差测试，使用平均绝对误差(MAD)、均方根误差(RMSD)、误差中值(MD)和误差标准差(STD)作为定量分析标准，所有数值结果均是越小越好，单位为像素。本发明在大部分情况下都可以取得最好精度。
本发明实施例中深度学习模型采用端到端的配准框架，对特征检测和特征匹配两个任务同时进行训练，在复杂的多视角遥感图像配准中能得到更好的配准结果；本发明中深度学习模型结合密集特征点及稀疏特征点配准的框架，能够同时对两幅图像进行基于密集和稀疏特征点的配准，保证了配准结果准确度及对非刚性变换的鲁棒性。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (7)
1.一种多视角遥感图像配准方法，其特征在于，包括如下步骤：
步骤S1：根据原始遥感图像生成模拟多视角遥感图像配准的数据集；所述数据集的每一数据包括一参考图像，一待配准图像、由待配准图像向参考图像变换的参数、待配准图像的采样点坐标以及配准后图像的采样点坐标；
步骤S2：通过所述数据集和基于所述采样点的损失函数对深度神经网络模型进行训练和测试生成深度学习模型，所述深度学习模型包括密集配准网络和稀疏配准网络；
步骤S3：通过所述密集配准网络提取参考图像和待配准图像的多尺度特征，对所述多尺度特征进行匹配生成多尺度特征匹配图，根据将所述多尺度特征匹配图生成密集图像配准参数；
步骤S4：通过所述稀疏配准网络进行稀疏特征提取，并进行特征匹配生成稀疏匹配参数；
步骤S5：参数融合，将所述密集图像配准参数和所述稀疏图像配准参数进行融合生成目标配准参数；
步骤S6：重采样，根据所述目标配准参数对待配准图像进行重采样，生成配准后图像；所述步骤S1包括如下步骤：
步骤S101：在原始遥感图像I中随机选定一个大小为256像素×256像素且中心坐标为p的像素区域PA1；
步骤S102：对像素区域PA1的四个顶点进行幅度为[-x,x]随机扰动，得到新的像素区域PB且计算由像素区域PA1的四个顶点到像素区域PB的四个顶点的单应性变换矩阵HAB；
步骤S103：将单应性变换矩阵HAB的逆矩阵HBA应用于一原始遥感图像I上得到图像I’，再在图像I’上的p点选定一个大小为256像素×256像素的像素区域PA2；
步骤S104：将所述像素区域PA1作为参考图像，所述像素区域PA2作为待配准图像，HAB作为由待配准图像向参考图像变换的参数；
步骤S105：在待配准图像中随机均匀的选择15组采样点坐标S，将变换矩阵HAB应用于采样点坐标S上得到一组新的采样点坐标S’，S作为配准图像的采样点坐标，S’作为配准后图像的采样点坐标；所述密集配准网络包括多尺度密集特征提取网络、邻域一致性网络以及参数预测网络；
所述步骤S3包括如下步骤：
步骤S301：采用多尺度密集特征提取网络分别对参考图像和待配准图像进行特征提取，得到两组多尺度特征图；
步骤S302：采用双向相关运算对相同尺度的两幅特征图进行特征匹配生成一组多尺度特征匹配图；
步骤S303：采用邻域一致性网络对多尺度特征匹配图进行外点剔除，得到一组特征匹配图；
步骤S304：将融合后的特征匹配图输入参数预测网络，得到密集图像配准参数；所述稀疏配准网络包括稀疏特征提取网络、图神经网络以及参数预测层；
所述步骤S4包括如下步骤：
步骤S401：采用稀疏特征提取网络分别对参考图像和待配准图像进行特征提取，得到两组特征点；
步骤S402：采用图神经网络对两组特征点进行特征匹配，得到匹配参数；
步骤S403：所述参数预测层根据所述匹配参数计算得到稀疏图像配准参数。
2.根据权利要求1所述的多视角遥感图像配准方法，其特征在于，所述采样点的损失函数L(θ',θGT)，定义如下式：
其中，N取15，为采样点的数量，d为计算两组采样点距离的函数，S为采样点，θ‘为模型预测的参数，θGT为配准数据集中的真实参数，为配准数据集中对应的真实变换，Tθ为模型预测的变换。
3.根据权利要求1所述的多视角遥感图像配准方法，其特征在于，所述密集配准参数和所述稀疏配准参数的融合权值比例为0.5比0.5。
4.根据权利要求1所述的多视角遥感图像配准方法，其特征在于，原始遥感图像的大小范围为640×480像素至2560×1600像素；所述参考图像和所述待配准图像的大小范围为256像素×256像素。
5.根据权利要求1所述的多视角遥感图像配准方法，其特征在于，在步骤S2中随机选择80％的数据集样本作为训练集，20％的样本作为测试集对深度神经网络模型进行训练和测试生成深度学习模型。
6.根据权利要求3所述的多视角遥感图像配准方法，其特征在于，在步骤S302中采用双向相关运算对相同尺度的两幅特征图进行特征匹配时的，其中单向相关运算定义如下式所示：
CAB(i,j,k)＝fB(i,j)TfA(ik,jk)
其中，fA为参考图像的特征图，fB为待配准图像的特征图，h和w为特征图的大小，d为特征图的通道数。
7.一种多视角遥感图像配准系统，其特征在于，用于实现权利要求1至6任一项所述的多视角遥感图像配准方法，包括如下模块：
数据集生成模块：根据原始遥感图像生成模拟多视角遥感图像配准的数据集；所述数据集的每一数据包括一参考图像，一待配准图像、由待配准图像向参考图像变换的参数、待配准图像的采样点坐标以及配准后图像的采样点坐标；
模型训练模块，用于通过所述数据集和基于所述采样点的损失函数对深度神经网络模型进行训练和测试生成深度学习模型，所述深度学习模型包括密集配准网络和稀疏配准网络；
密集图像配准参数生成模块，用于通过所述密集配准网络提取参考图像和待配准图像的多尺度特征，对所述多尺度特征进行匹配生成多尺度特征匹配图，根据将所述多尺度特征匹配图生成密集图像配准参数；
稀疏匹配参数模块，用于通过所述稀疏配准网络进行稀疏特征提取，并进行特征匹配生成稀疏匹配参数；
参数融合模块，用于将所述密集图像配准参数和所述稀疏图像配准参数进行融合生成目标配准参数；
重采样模块，用于根据所述目标配准参数对待配准图像进行重采样，生成配准后图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110305052.XA CN113012208B (zh) | 2021-03-22 | 2021-03-22 | 多视角遥感图像配准方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110305052.XA CN113012208B (zh) | 2021-03-22 | 2021-03-22 | 多视角遥感图像配准方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113012208A CN113012208A (zh) | 2021-06-22 |
| CN113012208B true CN113012208B (zh) | 2024-05-17 |
Family
ID=76404770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110305052.XA Active CN113012208B (zh) | 2021-03-22 | 2021-03-22 | 多视角遥感图像配准方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012208B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658235B (zh) * | 2021-08-06 | 2022-08-09 | 北京理工大学 | 基于vgg网络与高斯差分网络的光学遥感影像精确配准方法 |
| CN114066954B (zh) * | 2021-11-23 | 2024-06-25 | 广东工业大学 | 一种用于多模态图像的特征提取配准方法 |
| CN114359355B (zh) * | 2021-12-24 | 2023-08-01 | 上海应用技术大学 | 遥感图像配准方法 |
| CN114332509B (zh) * | 2021-12-29 | 2023-03-24 | 阿波罗智能技术(北京)有限公司 | 图像处理方法、模型训练方法、电子设备及自动驾驶车辆 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035315A (zh) * | 2018-08-28 | 2018-12-18 | 武汉大学 | 融合sift特征和cnn特征的遥感图像配准方法及系统 |
| CN109784223A (zh) * | 2018-12-28 | 2019-05-21 | 珠海大横琴科技发展有限公司 | 一种基于卷积神经网络的多时相遥感影像匹配方法及系统 |
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9730643B2 (en) * | 2013-10-17 | 2017-08-15 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
-
2021
- 2021-03-22 CN CN202110305052.XA patent/CN113012208B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN109035315A (zh) * | 2018-08-28 | 2018-12-18 | 武汉大学 | 融合sift特征和cnn特征的遥感图像配准方法及系统 |
| CN109784223A (zh) * | 2018-12-28 | 2019-05-21 | 珠海大横琴科技发展有限公司 | 一种基于卷积神经网络的多时相遥感影像匹配方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 盛明伟 ; 唐松奇 ; 万磊 ; 秦洪德 ; 李俊 ; .基于改进CNN-RANSAC的水下图像特征配准方法.计算机工程与科学.2020,(05),全文. * |
| 蓝朝桢 ; 施群山 ; 崔志祥 ; 秦剑琪 ; 徐青 ; .无人机影像与卫星影像配准的卷积神经网络方法.测绘科学技术学报.2020,(01),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113012208A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113012208B (zh) | 多视角遥感图像配准方法及系统 | |
| CN111862126B (zh) | 深度学习与几何算法结合的非合作目标相对位姿估计方法 | |
| Walch et al. | Image-based localization using lstms for structured feature correlation | |
| Cao et al. | Iterative deep homography estimation | |
| CN105354841B (zh) | 一种快速遥感影像匹配方法及系统 | |
| CN112883850A (zh) | 一种基于卷积神经网络的多视角空天遥感图像匹配方法 | |
| Jiang et al. | Hierarchical motion consistency constraint for efficient geometrical verification in UAV stereo image matching | |
| Misra et al. | Feature based remote sensing image registration techniques: a comprehensive and comparative review | |
| Li et al. | RGBD relocalisation using pairwise geometry and concise key point sets | |
| Liang et al. | Image registration using two-layer cascade reciprocal pipeline and context-aware dissimilarity measure | |
| Sun et al. | F3-Net: Multiview scene matching for drone-based geo-localization | |
| Jiang et al. | Learned local features for structure from motion of uav images: A comparative evaluation | |
| Li et al. | RIFT2: Speeding-up RIFT with a new rotation-invariance technique | |
| Fan et al. | VLSG-SANet: A feature matching algorithm for remote sensing image registration | |
| CN114663880A (zh) | 基于多层级跨模态自注意力机制的三维目标检测方法 | |
| CN108447084B (zh) | 基于orb特征的立体匹配补偿方法 | |
| Li et al. | Sparse-to-local-dense matching for geometry-guided correspondence estimation | |
| CN113888629A (zh) | 一种基于rgbd相机的快速物体三维位姿估计方法 | |
| Maiwald et al. | Solving photogrammetric cold cases using AI-based image matching: New potential for monitoring the past with historical aerial images | |
| CN111047513B (zh) | 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置 | |
| CN111696167A (zh) | 自范例学习引导的单张影像超分辨率重构方法 | |
| CN116128919A (zh) | 基于极线约束的多时相图像异动目标检测方法及系统 | |
| Li et al. | Auto-registration of medium and high spatial resolution satellite images by integrating improved SIFT and spatial consistency constraints | |
| Li | Classification and application of sports venue monitoring images using SIFT algorithm | |
| Xu et al. | Local feature matching using deep learning: A survey |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |