CN113658235B - 基于vgg网络与高斯差分网络的光学遥感影像精确配准方法 - Google Patents

Abstract

本发明提供了一种基于VGG网络与高斯差分网络的光学遥感影像精确配准方法，首先构建输入图像的高斯差分网络，提取极大值点作为候选关键点，得到关键点的坐标及所在尺度；然后将图像重新调整大小，输入到预训练过的VGG网络中，得到不同尺寸的特征图；将相同尺寸的高斯差分图像和特征图拼接起来，构成DVGG网络；利用候选关键点的坐标提取出VGG网络的特征向量，与对应的SIFT特征向量拼接起来构成DVGG网络的输出向量，并作为关键点的特征描述；计算待配准图像和参考图像中关键点之间的相似度，得到匹配对，计算出变换矩阵，得到配准图像。本发明相较现有配准方法得到了更多的正确匹配点对，配准效果更好。

Description

基于VGG网络与高斯差分网络的光学遥感影像精确配准方法

技术领域

本发明涉及数字图像处理技术领域，具体涉及一种VGG与高斯差分网络结合的光学遥感影像配准方法。

背景技术

图像配准技术是指将不同时间、不同视角和不同传感器获取的两幅图像进行匹配的过程，目前已经广泛应用到了遥感、医学等领域。其中遥感领域的图像配准是许多遥感图像处理过程中必不可少的一部分，例如目标检测、图像融合、语义分割等任务都需要在配准成功的前提下进行，因此光学遥感影像的配准技术一直都是研究热点。

传统的图像配准方法主要分为基于灰度的方法和基于特征的方法，其中基于特征的配准方法通过提取图像的显著特征来进行匹配，不易受到旋转、尺度缩放等因素的干扰，在自然图像的配准领域得到了广泛应用。但是遥感图像通常幅宽较大、相似地物更多，SIFT方法难以准确提取到遥感影像的深层特征，配准效果有待提高。

近年来，深度学习技术飞速发展，卷积神经网络(convolutional neuralnetwork,CNN)在很多计算机视觉任务中取得了不错的效果。在图像配准领域，学者们通过CNN提取更深层次的语义特征进行特征匹配。相比于传统的图像配准方法，卷积神经网络可以提取到图像更深层次的特征，更好地抵抗图像角度变换、亮度变化以及成像模式等因素带来的干扰，使得配准效果更加精确。但是目前基于深度学习的图像配准方法主要应用于自然图像，遥感图像通常分辨率更高、尺寸更大，CNN提取的关键点数量少且准确性差，配准精度较低。

因此，如何提供一种高精度的光学遥感影像配准方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种VGG与高斯差分网络结合的光学遥感影像精确配准方法。该方法将高斯差分网络与VGG网络组合起来构成DVGG网络，用高斯差分网络检测关键点，DVGG网络的输出向量作为特征描述，得到了更多的匹配点对，配准效果更加精确。

为了实现上述目的，本发明采用如下技术方案：

一种基于VGG网络与高斯差分网络的光学遥感影像精确配准方法，包括如下步骤：

S1、基于原始遥感图像构建高斯差分网络，得到高斯差分图像，提取高斯差分图像中的极大值点作为候选关键点，得到候选关键点的坐标和所在尺度，所述原始遥感图像包括待配准图像和参考图像；

S2、将原始遥感图像重新调整大小，输入至预训练过的VGG网络中，得到与原始遥感图像不同尺寸的feature map；

S3、将相同大小的高斯差分图像和feature map进行拼接，构成DVGG网络架构；

S4、利用候选关键点的坐标提取出VGG网络中的特征向量，并与对应的SIFT特征向量拼接起来，作为DVGG网络的输出向量；

S5、将DVGG网络的输出向量作为关键点的特征描述，根据特征描述计算待配准图像关键点与参考图像关键点之间的相似度，得到匹配点对；

S6、利用匹配点对计算得出变换矩阵，与待配准图像相乘后得到配准图像。

优选的，所述S1中，将高斯差分网络中的每一个采样点与其同层的8个相邻点以及上下相邻尺度相对应的9个点进行比较，若该采样点为极大值点，则保留该采样点为一个候选特征点。

优选的，所述S2中，所述VGG网络采用VGG16网络，且只保留VGG16网络的前10层，删去最后一层池化层，输出的feature map尺寸为输入图像尺寸的四分之一。

优选的，所述S2中还包括：采用高斯金字塔分解的方法对图像的大小进行调整，使输出的feature map大小与高斯差分图像大小一一对应。

优选的，所述VGG网络中的特征向量是具有网络通道维度的向量。

经由上述的技术方案可知，与现有技术相比，本发明的有益效果包括：

本发明通过高斯差分网络和VGG网络的结合，用高斯差分网络检测关键点，DVGG网络的输出向量作为特征描述，得到了更多的匹配点对，同时实现了光学遥感图像的精确配准。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图；

图1为本发明实施例提供的图像配准方法流程图；

图2为本发明实施例提供的高斯差分图像选取候选特征点示意图；

图3为本发明实施例提供的本发明配准方法与SIFT配准方法、D2-net配准方法实验结果的对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例公开的一种基于VGG网络与高斯差分网络的光学遥感影像精确配准方法，参见图1，给出了本实施例执行图像配准方法的流程图。

包括以下步骤：

S1、构建输入图像的高斯差分网络，确定关键点的坐标及所在尺度；

高斯差分网络是SIFT配准方法中为了确定关键点而构建的网络。首先利用可变参数的高斯函数与原图像进行卷积操作得到图像的尺度空间，将其作为高斯金字塔的第一组图像，具体公式如下所示。

L(x,y,σ)＝G(x,y,σ)*I(x,y)

其中I(x,y)表示输入的图像，G(x,y,σ)表示高斯核函数，L(x,y,σ)表示图像的尺度空间。将第一组图像的倒数第三层降采样得到第二组图像中的第一层，将该图像与不同的高斯核函数进行卷积运算，得到高斯金字塔中的第s二组图像，以此类推。其中图像的组数一般由原始图像的尺寸和塔顶图像的尺寸决定，具体公式如下所示，Octave表示图像的组数，(W,H)表示塔底图像的宽和高，(w,h)表示塔顶图像的宽和高。

Octave＝log₂(min(W,H))-log₂(min(w,h))+1

高斯金字塔中相邻图像做差即可得到高斯差分网络。将高斯差分网络中的每一个采样点与其同层的8个相邻点以及上下相邻尺度相对应的9个点进行比较。如果该采样点为极大值点，就保留该点为一个候选特征点。得到所有的候选特征点后，对这些点的坐标进行三维二次函数拟合，得到更精确的关键点坐标，最后去除掉低对比度的关键点和不稳定的边缘响应点，即可确定关键点的位置。

假设输入图像大小为512×512，塔顶图像大小为4×4，由上文公式可得图像的组数为8，用这组高斯图像即可得到对应的8组高斯差分图像。图2示出了一组大小为5×5的高斯差分图像，假设图中红点的值大于与其同层的8个相邻点以及上下相邻尺度对应的9个点的值，那么即可将该红点视为候选特征点。

S2、对VGG16网络进行修改，只保留前10层，并且删去最后一层池化层，使得输出的feature map(特征图)大小为输入图像大小的四分之一，共有512个通道。然后用高斯金字塔分解的方法对图像的大小进行调整，确保输出的feature map大小与高斯差分网络中的图像大小一一对应。

步骤S1中得到的8组高斯差分图像大小分别为512×512、256×256、128×128、64×64、32×32、16×16、8×8、4×4。为了与第一组高斯差分图像大小保持一致，需要先将512×512大小的原图像先上采样4倍然后输入到修改后的VGG网络中，才能得到相同大小的feature map，其他尺寸的feature map同理。

S3、将相同大小的feature map与高斯差分图像进行拼接，得到DVGG网络。

将步骤S2中得到的不同尺寸的feature map和对应的高斯差分图像进行拼接，得到DVGG网络。

S4、将候选关键点的坐标输入DVGG网络，网络的输出由SIFT特征描述与featuremap特征向量拼接而成，输出向量的维度为1×1×640。

将S1步骤得到的候选关键点坐标输入DVGG网络，得到512维的feature map的特征向量和128维的SIFT特征向量，拼接起来作为关键点的特征描述。

S5、将DVGG网络的输出向量作为关键点的特征描述，计算待配准图像关键点与参考图像关键点之间的相似度，得到匹配点对。

用S4步骤中的特征描述进行相似性计算，即可达到图3所示的匹配点对。

S6、利用匹配点对可计算得出变换矩阵，与待配准图像相乘后即可得到配准图像。

下面使用均方根误差(root mean square error,RMSE)和正确匹配点数量N两个指标来评价图像配准的结果。当待配准图像中的匹配点经过仿射变换后与对应的参考图像上的匹配点距离小于1.5个像素时，判定该组匹配点对为正确匹配点对；均方根误差的公式如下，N为正确匹配对个数，

表示参考图像上第i组匹配点对的坐标，

表示待配准图像中第i组匹配点对经过仿射变换后的坐标，RMSE的值越小，图像配准精度越高，当RMSE的值大于4时，判定配准失败。

为了验证算法的性能，本实施例使用从Google Earth软件上获取的一组图像进行配准。图像为以色列本古里安机场的的遥感图像，其中待配准图像与参考图像的拍摄具有近两年时间差，地面分辨率为1m，图像尺寸为512×512。

将本实施例方法与SIFT方法以及D2-Net方法进行比较，结果评估如表1所示。

表1图像配准结果评估

	RMSE	N
			SIFT	1.68	158
D2-Net	*	32
			本文方法	1.23	189

表1中：*表示RMSE大于4，图像配准失败。

如图3所示，图3(a)为SIFT配准方法，图3(b)为D2-net配准方法，图3(c)为本发明的方法。从匹配结果可以发现SIFT方法和D2-Net方法存在很多误匹配的特征点，本发明方法检测出特征点数量较多而且误匹配很少，匹配效果较好，优于对比方法。

以上对本发明所提供的基于VGG网络与高斯差分网络的光学遥感影像精确配准方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种基于VGG网络与高斯差分网络的光学遥感影像精确配准方法，其特征在于，包括如下步骤：

S1、基于原始遥感图像构建高斯差分网络，得到高斯差分图像，提取高斯差分图像中的极大值点作为候选关键点，得到候选关键点的坐标和所在尺度，所述原始遥感图像包括待配准图像和参考图像；

S2、将原始遥感图像重新调整大小，输入至预训练过的VGG网络中，得到与原始遥感图像不同尺寸的feature map；

S3、将相同大小的高斯差分图像和feature map进行拼接，构成DVGG网络架构；

S4、候选关键点坐标输入DVGG网络，得到feature map的特征向量和SIFT特征向量，将feature map的特征向量和SIFT特征向量拼接起来作为DVGG网络的输出向量；

S5、将DVGG网络的输出向量作为关键点的特征描述，根据特征描述计算待配准图像关键点与参考图像关键点之间的相似度，得到匹配点对；

S6、利用匹配点对计算得出变换矩阵，与待配准图像相乘后得到配准图像。

2.根据权利要求1所述的基于VGG网络与高斯差分网络的光学遥感影像精确配准方法，其特征在于，所述S1中，将高斯差分网络中的每一个采样点与其同层的8个相邻点以及上下相邻尺度相对应的9个点进行比较，若该采样点为极大值点，则保留该采样点为一个候选特征点。

3.根据权利要求1所述的基于VGG网络与高斯差分网络的光学遥感影像精确配准方法，其特征在于，所述S2中，所述VGG网络采用VGG16网络，且只保留VGG16网络的前10层，删去最后一层池化层，输出的feature map尺寸为输入图像尺寸的四分之一。

4.根据权利要求1所述的基于VGG网络与高斯差分网络的光学遥感影像精确配准方法，其特征在于，所述S2中还包括：采用高斯金字塔分解的方法对图像的大小进行调整，使输出的feature map大小与高斯差分图像大小一一对应。

5.根据权利要求1所述的基于VGG网络与高斯差分网络的光学遥感影像精确配准方法，其特征在于，所述VGG网络中的特征向量是具有网络通道维度的向量。

Images