CN111369601A

CN111369601A - 一种基于孪生网络的遥感图像配准方法

Info

Publication number: CN111369601A
Application number: CN202010089370.2A
Authority: CN
Inventors: 李映; 李荻; 王栋; 白宗文
Original assignee: Northwestern Polytechnical University
Current assignee: Northwestern Polytechnical University
Priority date: 2020-02-12
Filing date: 2020-02-12
Publication date: 2020-07-03
Anticipated expiration: 2040-02-12
Also published as: CN111369601B

Abstract

本发明涉及一种基于孪生网络的遥感图像配准方法，基于孪生卷积神经网络在深度特征空间上对关键点进行相似度匹配，并融合传统手工特征点，将其应用到遥感图像配准领域，弥补了传统的特征点在特征空间表示能力的不足，提高了配准精度和配准的鲁棒性，算法简单，执行效率高。

Description

一种基于孪生网络的遥感图像配准方法

技术领域

本发明涉及一种基于孪生网络的遥感图像配准方法，属计算机视觉领域。

背景技术

遥感图像经常用于地理信息系统(GIS)中的图像融合、时间变化检测、环境监测和多源数据集成等各种任务，所有这些任务的基础都是精确的图像配准。首先对基准图像和待配准图像进行一些预处理操作，之后建立图像之间的对应关系，集成多传感器、多光谱、多时间、多尺度类型的图像，从而得到更加丰富的图像信息，它的准确性对后期的数据处理有着重要的影响。目前，图像配准技术已经取得了很多研究成果，但大多数的图像配准是基于可见光图像的。由于遥感图像是由复杂的成像机理生成的，它的外观由辐射特性、目标物体的几何特性和接收传感器的配置所决定。在图像配准任务中，参考图像和浮动图像可能来自不同的传感器，有不同的光谱信息和地表分辨率，为传统可见光图像设计的配准算法需要比较明显的特征，在很多情况下无法更好地拓展到遥感图像上去。而基于遥感图像的配准过程常常需要手工选择特征点，在图像数据大的情况下很难高效实现。且实验表明，在遥感图像中，传统手工特征的有很大概率丧失旋转不变性，这种不可靠的特征点匹配会造成不可配准情况的发生。受启发于人工神经网络在各行各业取得的显著成效以及CNN在计算机视觉任务上的突出表现，本发明针对多源遥感图像设计了一种基于孪生网络的配准框架。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于孪生网络的遥感图像配准方法。基于孪生神经网络在深度特征空间上对关键点进行相似度匹配，并融合传统手工特征，应用到遥感图像配准领域以解决配准精度不高等问题。

提出的深度学习框架分为特征提取部分和相似度对比部分，利用深度特征将提取到的关键点进行相似度对比，得到匹配控制点对，之后联合手工特征相似点对，作为控制点，用于最终的全局约束和仿射矩阵变换。

技术方案

一种基于孪生网络的遥感图像配准方法，其特征在于步骤如下：

步骤1：制作用于预训练的图像块数据集

使用获取的不同波段的遥感图像数据，进行图像块切分，并将来自同一地点的图像块看作相似图像块，否则认为图像块不相似；

步骤2：网络训练

将步骤1中获得的图像块和其对应的标签值输入基于孪生网络的图像配准架构，进行反向传播和参数优化，直到得到一批模型参数，使得模型分类精度不再增加；所述的基于孪生网络的图像配准架构由两个相同且并列的图像特征提取分支构成，后跟随一个图像块相似度计算模块；其中，每个图像特征提取分支是基于去掉分类层的ResNet-50网络架构，由6个阶段组成，第1个阶段依次是卷积层、归一化层、RELU激活层和最大池化层，第2-5个阶段相同，依次包含一个Conv Block和Identity Block，第6个阶段依次是平均池化层、卷积层、RELU激活层和卷积层；图像块相似度计算模块是三个卷积层和两个RELU激活层的交替组合；

步骤3：关键点查找并切块

使用SURF方法分别对基准图像和待配准图像上进行关键点筛选，并以关键点为中心点进行图像块切割，得到基准图像上的图像块集{p₁ ¹，p₁ ²，…，p₁ ^M}和待配准图像上的图像块集{p₂ ¹，p₂ ²，…，p₂ ^N}；

步骤4：关键点匹配

将步骤3中得到的图像块集两两组对得到{(p₁ ⁱ，p₂ ^j)}，输入步骤2训练好的孪生网络中，得到输出的相关性概率[1-p，p]，如果p＞r₁且计算出这两个图像块的互相关值c(p₁ ⁱ，p₂ ^j)大于设定的阈值r₂，则认为这两个图像块相似，其对应的图像块中心点{(x₁ ⁱ，x₂ ^j)}为一对用于最终配准的关键点；再使用SURF算法得到另一部分最终用于配准的关键点；

步骤5：使用RANSAC方法对步骤4中得到的所有关键点对进行全局约束，计算得到仿射矩阵H，根据公式I₂(a′，b′)＝H(I₁(a，b))完成图像变换，其中待配准图像为I₁，基准图像为I₂，I₁(a，b)和I₂(a’，b’)分别是图像中位于坐标(a，b)和(a’，b’)的像素点。

步骤4中的r₁＝0.99。

步骤4中的r₂＝0.2。

有益效果

本发明提出的一种基于孪生网络的遥感图像配准方法，基于孪生卷积神经网络在深度特征空间上对关键点进行相似度匹配，并融合传统手工特征点，将其应用到遥感图像配准领域，弥补了传统的特征点在特征空间表示能力的不足，提高了配准精度和配准的鲁棒性，算法简单，执行效率高。

附图说明

图1配准网络框架

图2 Conv Block结构

图3 Identity Block结构

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明采用基于孪生神经网络的遥感图像配准方法，具体步骤如下：

步骤1：制作用于预训练的图像块数据集。使用获取的不同波段的遥感图像数据，进行图像块切分，并将来自同一地点的图像块看作相似图像块，否则认为图像块不相似。

步骤2：网络训练。在PyTorch框架下完成对所设计网络模型的编码工作，将步骤1中获得的图像块和其对应的标签值输入基于孪生网络的图像配准架构，此网络架构由两个相同且并列的骨干网络分支构成，用于提取图像特征；之后连接三层卷积层用于预测图像块匹配程度。之后进行反向传播和参数优化，直到得到一批模型参数，使得模型分类精度不再增加。

步骤3：关键点查找并切块。在用于配准的基准图像和浮动图像上使用SURF方法进行关键点筛选，并以其为中心点进行图像块切割，得到基准图像上的图像块集{p₁ ¹，p₁ ²，…，p₁ ^M}和浮动图像上的图像块集{p₂ ¹，p₂ ²，…，p₂ ^N}。

步骤4：关键点匹配。将步骤3中得到的图像块集两两组对得到{(p₁ ⁱ，p₂ ^j)}，输入训练好的神经网络中，得到输出的相关性概率[1-p，p]，如果p＞r₁(r₁＝0.99)且计算出这两个图像块的互相关值c(p₁ ⁱ，p₂ ^j)大于设定的阈值r₂(r₂＝0.2)，则认为这两个图像块相似，其对应的图像块中心点{(x₁ ⁱ，x₂ ^j)}为一对用于最终配准的关键点；之后使用传统图像配准方法得到另一部分最终用于配准的关键点。

实施例1：

步骤1：制作用于预训练的图像块数据集。

本发明中用于网络预训练的数据由Landsat8卫星上携带的OLI传感器在2018年1月12日采集，两幅图像分别为B5和B6波段，地表分辨率为30米。首先将整幅图片剪裁为32×32的大小，并将其进行随机程度的旋转操作，将由同一位置所得到的图像块对的标签设置为[0，1]，否则为[1，0]，共得到27000对图像块。

步骤2：网络训练。

表1网络参数设置

本实验所采用的基于孪生网络的配准网络框架如图1-图3所示，网络的主干是两个相同且并列的图像特征提取分支，后跟随一个图像块相似度计算模块。其中，每个图像特征提取分支是基于去掉分类层的ResNet-50网络架构，由6个阶段组成，第1个阶段依次是卷积层、归一化层、RELU激活层和最大池化层，第2——5个阶段是相同的，都包含一个ConvBlock和一个Identity Block，第6个阶段依次是平均池化层、卷积层、RELU激活层和卷积层；图像块相似度计算模块是三个卷积层和两个RELU激活层的交替组合。其中网络模块参数如表1所示(filter＝[F1，F2，F3])。将步骤一中得到的图像块对和其对应标签输入网络，进行训练。本实验在Linux操作系统下进行，在开源的PyTorch深度学习框架下实现配准网络的设计，并在单个Nvidia GeForce GTX1080Ti的GPU下进行网络的训练。网络的反向传播过程采用Adam优化方法：

(1)初始化参数：步长α(0.0001)、一阶矩估计的指数衰减率β₁(0.9)、二阶矩估计的指数衰减率β₂(0.999)、一个非常小的数ε(10E-8)、时间步t(0)、随机参数向量θ和随机目标函数f(θ)。

(2)当参数θ没有收敛时，循环迭代地更新各个部分：

即时间步t加1、更新目标函数在该时间步上对参数θ所求的梯度g_t、更新偏差的一阶矩估计m_t和二阶原始矩估计v_t，再计算偏差修正的一阶矩估计m_t’和偏差修正的二阶矩估计v_t’，然后再用以上计算出来的值更新模型的参数θ。

将最终输出的相似度通过交叉熵损失函数(Cross Entropy Loss)比较输出与预期的差值，从而指导模型的训练，提高模型的准确率。其中，损失函数的数学表达式如公式1所示：

在这里，若输入的两个图像块相似，则y_i值为1，否则为0。在每一次训练结束后计算平均误差，并保存平均误差最小的一组参数作为最终的网络参数。网络进行100次批训练，批大小为32，学习率0.0001，每10次批训练之后衰减为原来的一半；整个训练过程在五个小时左右可完成。

步骤3：关键点查找并切块。

对于基准图像I_x和待配准图像I_y，配准的第一步是特征点的定位。由于基于强度差值和哈尔小波的SURF算法在时间效率和准确性上都由良好的效果，在本发明中采取SURF算法对两幅图像进行关键点查找。

对基准图像I_x查找到的M个关键点{x₁ ¹，x₁ ²，…，x₁ ^M}和浮动图像I_y查找到的N个关键点{x₂ ¹，x₂ ²，…，x₂ ^N}，将其以关键点为中心点，对原始图像进行切块，图像块的大小为32×32。

步骤4：关键点匹配。

将基准图像的每个图像块对应待配准图像的所有图像块输入配准网络中进行相似度对比，得到图像块的相似概率p。设置一个相似概率阈值r₁，如果p＞r₁，则表明这两个图像块可能是匹配图像块。在本实验中，阈值r₁设置为0.99。

由于每个基准图像块可能对应多个可能匹配的待配准图像块，其相似概率都大于阈值。所以之后采用归一化互相关算法(NCC)对所有预测的匹配图像块对进行局部约束。其中，匹配图像块{(p₁ ⁱ，p₂ ^j)}的互相关值c(p₁ ⁱ，p₂ ^j)由公式2求出：

其中，p₁ ⁱ(x，y)和p₂ ^j(x，y)分别是两个图像块在点(x，y)的灰度值；

和

分别是两个图像块的灰度值均值。若所得到的互相关值大于阈值r₂的图像块对数大于1，则选取互相关值最大的一对图像块作为最终的匹配图像块，并将图像块的中心作为控制点，至此得到一部分匹配的控制点对共N₁对：

其中

是基准图像上的控制点集，

是浮动图像上的控制点集。

由于传统特征匹配方法在手工特征下有更强的针对性，所以在使用基于孪生网络的深度卷积神经网络进行特征匹配时，也加入经过局部约束后的传统方法匹配的特征点对，即使用SURF算法对关键点进行配准，得到另一部分匹配点对共N₂对：

步骤5：使用RANSAC方法进行全局约束，计算仿射矩阵，完成图像变换。

在计算机视觉领域中，随机抽样一致(Random Sample Consensus，RANSAC)方法是一种广为人知且适用性非常高的形状提取算法，其模型参数是从包含着异常值的数据集中获取的。它的基本步骤如下：

(1)由两幅图像上的匹配特征点m与m’的齐次坐标u与u’估计基本矩阵F，它们应该满足

u’F u＝0 (3)

通常采用8点算法来估计基本矩阵。设匹配点的齐次坐标u＝(x，y，1)，u’＝(x’，y’，1)，基本矩阵

对n个匹配点，其线性约束方程为

式中，f＝(f₁₁，f₁₂，f₁₃，f₂₁，f₂₂，f₂₃，f₃₁，f₃₂，f₃₃)。

通常采用最小二乘法求向量f，即在||f||＝1的条件下，通过对A进行奇异值分解，使范数||Af||最小来估计f。同时，基本矩阵应该满足det F＝0。

(2)利用加权算了

计算得到Sampson距离，划分数据为内点和外点。

(3)记录当前初始估计的基本矩阵和内点数目并进行比较，保存内点数目最多的基本矩阵。

(4)将以上步骤循环n次，构造n个基本子集，概率p表示至少有一个数据基本子集包含的数据全是内点的概率，通常p＞95％。

(5)得到内点数量最多的基本矩阵F’和其对应的内点。

(6)将所有内点重新按照(1)计算得到基本矩阵F。

通过RANSAC方法拟合后可以得出两幅图像之间的仿射矩阵H，并进行公式5中的仿射变换得到配准后的图像。

I₂(a′，b′)＝H(I₁(a，b)) (5)

其中待配准图像为I₁，基准图像为I₂，I₁(a，b)和I₂(a’，b’)分别是图像中位于坐标(a，b)和(a’，b’)的像素点。

Claims

1.一种基于孪生网络的遥感图像配准方法，其特征在于步骤如下：

步骤1：制作用于预训练的图像块数据集

步骤2：网络训练

步骤3：关键点查找并切块

使用SURF方法分别对基准图像和待配准图像上进行关键点筛选，并以关键点为中心点进行图像块切割，得到基准图像上的图像块集{p₁ ¹,p₁ ²,…,p₁ ^M}和待配准图像上的图像块集{p₂ ¹,p₂ ²,…,p₂ ^N}；

步骤4：关键点匹配

将步骤3中得到的图像块集两两组对得到{(p₁ ⁱ,p₂ ^j)}，输入步骤2训练好的孪生网络中，得到输出的相关性概率[1-p，p]，如果p>r₁且计算出这两个图像块的互相关值c(p₁ ⁱ,p₂ ^j)大于设定的阈值r₂，则认为这两个图像块相似，其对应的图像块中心点{(x₁ ⁱ,x₂ ^j)}为一对用于最终配准的关键点；再使用SURF算法得到另一部分最终用于配准的关键点；

步骤5：使用RANSAC方法对步骤4中得到的所有关键点对进行全局约束，计算得到仿射矩阵H，根据公式I₂(a',b')＝H(I₁(a,b))完成图像变换，其中待配准图像为I₁，基准图像为I₂，I₁(a,b)和I₂(a’,b’)分别是图像中位于坐标(a,b)和(a’,b’)的像素点。

2.根据权利要求1所述的一种基于孪生网络的遥感图像配准方法，其特征在于步骤4中的r₁＝0.99。

3.根据权利要求1所述的一种基于孪生网络的遥感图像配准方法，其特征在于步骤4中的r₂＝0.2。