CN110689060A - 一种基于聚合特征差异学习网络的异源图像匹配方法 - Google Patents

Abstract

本发明公开了一种基于聚合特征差异学习网络的异源图像匹配方法，使用异源可见光‑近红外VIS‑NIR数据集，将Country子集作为训练样本集，Field、Forest、Indoor、Mountain、Oldbuilding、Street、Urban和Water子集作为测试样本集；数据预处理；设计聚合特征差异学习网络结构，包含双分支特征提取网络，特征差异聚合网络，两个度量网络；训练聚合特征差异学习网络，基于两个度量网络的输出分别计算两个大间隔余弦损失函数和，得到网络最终损失函数，联合优化整个网络；将测试样本集输入到聚合特征差异学习网络中，以度量网络输出的匹配标签作为最终的预测标签。本发明提高了学习效率和匹配精度，更可靠，鲁棒性更强，匹配精度更高。

Description

一种基于聚合特征差异学习网络的异源图像匹配方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于聚合特征差异学习网络的异源图像匹配方法。

背景技术

预测图像块之间的匹配关系在很多计算机视觉任务中是非常重要的，例如图像检索，行人重识别，图像重构，图像配准和目标检测与追踪等。异源图像之间信息互补，有助于进一步提高目标检测、识别和追踪的精度。例如，在光照条件较好的情况下，可见光图像可以捕获到非常丰富的细节纹理特征。但是，在光照条件不好的情况下，可见光图像的质量非常差。而近红外图像可以弥补可见光图像依赖光照条件的缺点，在光照条件较差的情况下，也可以获得清晰的图像。因此，异源图像的匹配非常重要。但是，由于异源图像成像机理不同，导致异源图像之间存在非常大差异，使得异源图像匹配具有很大的挑战性。

现有的图像匹配方法主要分为基于人工设计特征的匹配方法和基于深度学习的图像方法。人工设计特征主要是统计图像灰度或梯度信息，具有几何不变性和光照不变性，广泛应用于同源图像的匹配中。但是，由于异源图像之间差异较大，基于人工设计特征的匹配方法效果较差。随着深度学习的迅速发展，基于深度学习的匹配方法逐渐代替了基于人工设计特征的匹配方法。基于深度学习的匹配方法主要是利用深度卷积网络提取图像特征，根据特征之间的距离判断图像块的关系或将图像匹配问题转换为一个二分类问题，将输入的图像块对分为匹配和不匹配两大类。基于深度学习的匹配方法可以提取到图像的高级抽象特征，有效提高匹配的精度。但是，现有的基于深度学习的匹配方法都只利用图像的最高级特征，完全忽略了其他特征中包含的有用信息。相比高级特征，网络底层和中间层提取到的特征具有更多的细节、纹理信息，有助于进一步提高匹配的精度。

现有方法首先将图像块转换为向量，然后利用深度神经网络提取SAR图像的高级抽象特征，并预测图像块对的匹配标签，最后基于匹配的图像块对配准图像。不足之处是没有利用图像块中丰富的空间结构信息，影响图像匹配的效果和配准的精度。还有一种是首先检测图像中的显著区域，然后利用Zernike旋转不变矩描述显著区域形状特征，最后通过RANSAC求取初始变换参数，并利用边缘度优化变换参数。不足之处是，其一，只考虑了图像显著区域的特征，忽略了大部分的图像区域，影响了图像配准的精度。其二，没有考虑去除可见光-红外图像之间的差异性，使得异源图像块的匹配准确率较低。其三，利用Zernike旋转不变矩描述特征，人工设计特征的方法鲁棒性差，使得图像匹配和配准的效果不稳定，可靠性较差。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于聚合特征差异学习网络的异源图像匹配方法，取得了先进的匹配性能。

本发明采用以下技术方案：

一种基于聚合特征差异学习网络的异源图像匹配方法，包括以下步骤：

S1、使用异源可见光-近红外VIS-NIR数据集，将Country子集作为训练样本集，Field、Forest、Indoor、Mountain、Oldbuilding、Street、Urban和Water子集作为测试样本集；

S2、数据预处理；

S3、设计聚合特征差异学习网络结构，包含双分支特征提取网络，特征差异聚合网络，两个度量网络M₁和M₂；

S4、训练聚合特征差异学习网络，基于两个度量网络的输出y₁和y₂分别计算两个大间隔余弦损失函数LMCL₁和LMCL₂，得到网络最终损失函数Loss＝LMCL₁+LMCL₂，联合优化整个网络；

S5、将测试样本集输入到聚合特征差异学习网络中，以度量网络M₂输出的匹配标签y₂作为最终的预测标签。

具体的，步骤S1中，每个子集的匹配样本和不匹配样本数量相等。

具体的，步骤S2中，将可见光图像转换为灰度图像，然后将数据集中图像块的像素值归一化至0～1，并对训练样本集进行增强，包括随机翻转和旋转。

具体的，步骤S3具体为：

S301、利用双分支特征提取网络提取两个图像块的特征，得到两个图像块的特征集合F；

S302、利用特征差异聚合网络聚合多级特征差异，得到聚合特征差异AD；

S303、利用两个度量网络M₁和M₂分别预测图像块对的匹配标签y₁和y₂。

进一步的，步骤S301中，特征集合F为：

F＝{(f_i ¹,f_i ²),i＝1,2,...L}

其中，f_i ¹表示第1个图像块的第i级特征，f_i ²表示第2个图像块的第i级特征，L表示特征提取网络的级数。

进一步的，步骤S302中，将特征集合F中同一级的特征做差并取绝对值，得到特征差异集合D为：

D＝{D_i,i＝1,2,...L}

其中，D_i＝|f_i ¹-f_i ²|；将前一级的特征差异D_i-1通过卷积模块，然后和下一级的特征差异D_i在通道维级联，从高级到低级聚合不同数量的特征差异；聚合两级，三级和聚合所有的特征差异为：

其中，表示聚合网络中的第l个卷积块，

表示通道维级联操作。

进一步的，步骤S303中，利用度量网络M₁基于最高级特征差异D_L，预测图像块对的匹配标签y₁为：

y₁＝M₁(D_L)

利用度量网络M₂基于聚合特征差异AD，预测图像块对的匹配标签y₂为：

y₂＝M₂(AD)。

具体的，步骤S4中，基于第一个度量网络M₁输出的匹配标签y₁计算大间隔余弦损失函数LMCL₁为：

其中，N表示训练样本的数量，

表示第一个度量网络M₁对于第i个训练样本预测的匹配标签

是正确的后验概率，h_i表示经过L₂范数归一化之后的第i个训练样本在网络最后一个全连接层的输入，W_j表示经过L₂范数归一化之后的最后一个全连接层第j+1列的权重参数，θ_j,i表示W_j和h_i之间的角度，s表示尺度因子，m表示余弦间隔；

基于第二个度量网络M₂输出的匹配标签y₂计算大间隔余弦损失函数LMCL₂为：

其中，

表示第一个度量网络M₂对于第i个训练样本预测的匹配标签

是正确的后验概率。

进一步的，采用优化器Adam优化网络，初始学习率为0.001，每迭代5次学习率衰减0.9。

具体的，步骤S5完成后，在VIS-NIR的测试样本集上计算FPR95值，通过FPR95评估网络在异源图像匹配上的性能。

与现有技术相比，本发明至少具有以下有益效果：

本发明提出了一种基于聚合特征差异学习网络的异源图像匹配方法，基于特征差异预测图像块的匹配关系，克服了现有技术中基于特征级联方法学习效率低、匹配效果差的问题；采用聚合多级特征预测图像块的匹配关系，克服了现有技术中仅利用最高级特征使得特征判别性不够，进而导致匹配精度低的问题；在特征提取网络中结合了实例归一化IN和批归一化BN，克服了现有技术中异源图像特征差异大的问题，本发明可以去除异源图像的域差异性，提高匹配的精度；采用大间隔余弦损失函数LMCL优化网络，克服了现有技术中网络泛化能力差的问题，使得本发明可以提取到更加具有判别性的特征，提高网络的泛化性能。

综上所述，本发明提高了学习效率和匹配精度，更可靠，鲁棒性更强，匹配精度更高。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的流程图；

图2为本发明在仿真实验中使用的VIS-NIR图像块数据；

图3为本发明聚合特征差异学习网络的结构示意图。

具体实施方式

本发明提供了一种基于聚合特征差异学习网络的异源图像匹配方法，制作数据集；数据预处理；设计聚合特征差异学习网络结构；训练聚合特征差异学习网络；预测图像匹配关系；评估网络性能。有效克服了现有技术中异源图像块匹配精度差的问题，通过聚合多层特征差极大地提升了网络的性能，提高了网络的训练效率，增强了网络的鲁棒性，本发明可应用于计算机视觉、遥感图像处理、模式识别等领域进行图像检索、行人重识别、图像配准、变化检测、目标检测与追踪等。

请参阅图1，本发明一种基于聚合特征差异学习网络的异源图像匹配方法，包括一下步骤：

S1、准备数据集；

使用公开的异源可见光-近红外VIS-NIR数据集，该数据集共有9个子集，包括：Country、Field、Forest、Indoor、Mountain、Oldbuilding、Street、Urban和Water。每个子集中，匹配样本和不匹配样本的数量相等。将Country子集作为训练样本集，剩余的8个子集作为测试样本集。

S2、数据预处理；

将可见光图像转换为灰度图像，然后将数据集中图像块的像素值归一化至0～1，并对训练样本集进行增强，包括随机翻转和旋转。

S3、设计聚合特征差异学习网络结构；

聚合特征差异学习网络结构主要包含双分支特征提取网络，特征差异聚合网络，两个度量网络M₁和M₂；

S301、利用双分支特征提取网络提取两个图像块的特征，得到两个图像块的特征集合F，F＝{(f_i ¹，f_i ²)，i＝1，2，...L}，其中，f_i ¹表示第1个图像块的第i级特征，f_i ²表示第2个图像块的第i级特征，L表示特征提取网络的级数；

S302、利用特征差异聚合网络聚合多级特征差异，得到聚合特征差异AD；

将特征集合F中同一级的特征做差并取绝对值，得到特征差异集合D，D＝{D_i,i＝1,2,...L}，其中，D_i＝|f_i ¹-f_i ²|；将前一级的特征差异D_i-1通过卷积模块，然后和下一级的特征差异D_i在通道维级联，从高级到低级聚合不同数量的特征差异，例如聚合两级，三级和聚合所有的特征差异：

其中，

表示聚合网络中的第l个卷积块，

表示通道维级联操作。

S303、利用两个度量网络M₁和M₂分别预测图像块对的匹配标签y₁和y₂；

将两个度量网络M₁和M₂分别连接在双分支特征提取网络和特征差异聚合网络的后面。然后，利用度量网络M₁基于最高级特征差异D_L，预测图像块对的匹配标签y₁：

y₁＝M₁(D_L)

利用度量网络M₂基于聚合特征差异AD，预测图像块对的匹配标签y₂：

y₂＝M₂(AD)

S4、训练聚合特征差异学习网络；

基于两个度量网络的输出y₁和y₂分别计算两个大间隔余弦损失函数LMCL₁和LMCL₂，并联合优化整个网络，具体步骤如下：

S401、基于第一个度量网络M₁输出的匹配标签y₁计算大间隔余弦损失函数LMCL₁：

其中，N表示训练样本的数量，

表示第一个度量网络M₁对于第i个训练样本预测的匹配标签

是正确的后验概率，h_i表示经过L₂范数归一化之后的第i个训练样本在网络最后一个全连接层的输入，W_j表示经过L₂范数归一化之后的最后一个全连接层第j+1列的权重参数，θ_j,i表示W_j和h_i之间的角度，s表示尺度因子，m表示余弦间隔；

S402、基于第二个度量网络M₂输出的匹配标签y₂计算大间隔余弦损失函数LMCL₂：

其中，

示第一个度量网络M₂对于第i个训练样本预测的匹配标签

是正确的后验概率；

S403、基于两个大间隔余弦损失函数LMCL₁和LMCL₂联合优化整体网络，网络最终的损失函数为：

Loss＝LMCL₁+LMCL₂；

S404、采用优化器Adam优化网络，初始学习率为0.001，每迭代5次学习率衰减0.9。

S5、预测图像匹配关系；

将测试样本集输入到聚合特征差异学习网络中，以度量网络M₂输出的匹配标签y₂作为最终的预测标签。

S6、评估网络性能；

在VIS-NIR的测试样本集上计算FPR95值，通过FPR95评估网络在异源图像匹配上的性能。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

1、仿真实验条件：

本实验的硬件平台为：NVIDIA GTX 1080 GPU；软件平台为：Spyder软件(Python3.6)版；

2、实验内容与结果：

实验用基于聚合特征差异学习网络的异源图像匹配方法和现有的基于深度学习的匹配方法分别对VIS-NIR数据集进行匹配，并将匹配结果进行比较。VIS-NIR数据集包含9个子集，每个子集中匹配和不匹配样本的数量相等。我们将Country子集作为训练样本集，其余的8个子集作为测试样本集。我们计算了8个测试子集上FPR95值及FPR95平均值，其中，FPR95越小，表明网络匹配的精度越高，实验结果如表1所示。AFD-Net代表本发明所提出的方法。

表1不同方法在VIS-NIR数据集上仿真实验测试结果

Test	Siamese	2-channel	PN-Net	Q-Net	AFD-Net
						Field	15.79	9.96	20.09	17.01	3.47
Forest	10.76	0.12	3.27	2.70	0.08
						Indoor	11.60	4.40	6.36	6.16	1.48
Mountain	11.15	8.89	11.53	9.61	0.68
						Oldbuilding	5.27	2.30	5.19	4.61	0.71
Street	7.51	2.18	5.62	3.99	0.42
						Urban	4.60	1.58	3.31	2.83	0.29
Water	10.21	6.40	10.72	8.44	1.48
						Mean	9.61	4.47	8.26	6.91	1.08

从表1可以看出，本发明方法在8个测试子集上的平均FPR95值最低，匹配效果最好。相对于现有技术，本发明方法的匹配效果提升非常显著。同时，本发明方法在8个测试子集上都取得了最好的匹配效果，具有很强的泛化能力。综上所述，本发明方法对异源图像匹配可以取得非常好的效果，匹配精度更高，鲁棒性更好，泛化能力更强。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于聚合特征差异学习网络的异源图像匹配方法，其特征在于，包括以下步骤：

S1、使用异源可见光-近红外VIS-NIR数据集，将Country子集作为训练样本集，Field、Forest、Indoor、Mountain、Oldbuilding、Street、Urban和Water子集作为测试样本集；

S2、数据预处理；

S3、设计聚合特征差异学习网络结构，包含双分支特征提取网络，特征差异聚合网络，两个度量网络M₁和M₂；

S4、训练聚合特征差异学习网络，基于两个度量网络的输出y₁和y₂分别计算两个大间隔余弦损失函数LMCL₁和LMCL₂，得到网络最终损失函数Loss＝LMCL₁+LMCL₂，联合优化整个网络；

S5、将测试样本集输入到聚合特征差异学习网络中，以度量网络M₂输出的匹配标签y₂作为最终的预测标签。

2.根据权利要求1所述的基于聚合特征差异学习网络的异源图像匹配方法，其特征在于，步骤S1中，每个子集的匹配样本和不匹配样本数量相等。

3.根据权利要求1所述的基于聚合特征差异学习网络的异源图像匹配方法，其特征在于，步骤S2中，将可见光图像转换为灰度图像，然后将数据集中图像块的像素值归一化至0～1，并对训练样本集进行增强，包括随机翻转和旋转。

4.根据权利要求1所述的基于聚合特征差异学习网络的异源图像匹配方法，其特征在于，步骤S3具体为：

S301、利用双分支特征提取网络提取两个图像块的特征，得到两个图像块的特征集合F；

S302、利用特征差异聚合网络聚合多级特征差异，得到聚合特征差异AD；

S303、利用两个度量网络M₁和M₂分别预测图像块对的匹配标签y₁和y₂。

5.根据权利要求4所述的基于聚合特征差异学习网络的异源图像匹配方法，其特征在于，步骤S301中，特征集合F为：

F＝{(f_i ¹,f_i ²),i＝1,2,...L}

其中，f_i ¹表示第1个图像块的第i级特征，f_i ²表示第2个图像块的第i级特征，L表示特征提取网络的级数。

6.根据权利要求4所述的基于聚合特征差异学习网络的异源图像匹配方法，其特征在于，步骤S302中，将特征集合F中同一级的特征做差并取绝对值，得到特征差异集合D为：

D＝{D_i,i＝1,2,...L}

其中，D_i＝|f_i ¹-f_i ²|；将前一级的特征差异D_i-1通过卷积模块，然后和下一级的特征差异D_i在通道维级联，从高级到低级聚合不同数量的特征差异；聚合两级，三级和聚合所有的特征差异为：

其中，

表示聚合网络中的第l个卷积块，

表示通道维级联操作。

7.根据权利要求4所述的基于聚合特征差异学习网络的异源图像匹配方法，其特征在于，步骤S303中，利用度量网络M₁基于最高级特征差异D_L，预测图像块对的匹配标签y₁为：

y₁＝M₁(D_L)

利用度量网络M₂基于聚合特征差异AD，预测图像块对的匹配标签y₂为：

y₂＝M₂(AD)。

8.根据权利要求1所述的基于聚合特征差异学习网络的异源图像匹配方法，其特征在于，步骤S4中，基于第一个度量网络M₁输出的匹配标签y₁计算大间隔余弦损失函数LMCL₁为：

其中，N表示训练样本的数量，表示第一个度量网络M₁对于第i个训练样本预测的匹配标签

是正确的后验概率，h_i表示经过L₂范数归一化之后的第i个训练样本在网络最后一个全连接层的输入，W_j表示经过L₂范数归一化之后的最后一个全连接层第j+1列的权重参数，θ_j,i表示W_j和h_i之间的角度，s表示尺度因子，m表示余弦间隔；

基于第二个度量网络M₂输出的匹配标签y₂计算大间隔余弦损失函数LMCL₂为：

其中，

表示第一个度量网络M₂对于第i个训练样本预测的匹配标签是正确的后验概率。

9.根据权利要求8所述的基于聚合特征差异学习网络的异源图像匹配方法，其特征在于，采用优化器Adam优化网络，初始学习率为0.001，每迭代5次学习率衰减0.9。

10.根据权利要求1所述的基于聚合特征差异学习网络的异源图像匹配方法，其特征在于，步骤S5完成后，在VIS-NIR的测试样本集上计算FPR95值，通过FPR95评估网络在异源图像匹配上的性能。

Images