CN110543890A - 一种基于特征金字塔的深度神经网络图像匹配方法 - Google Patents

Abstract

本发明公开了一种基于特征金字塔的深度神经网络图像匹配方法。本发明的图像特征提取网络以VGG‑16网络作为基础，生成多种尺度的特征图，并对特征图进行融合，采用双塔结构，通过神经网络学习的方式学习距离度量，采用端到端的方式判别图像的匹配程度，完成图像匹配任务。本发明通过网络学习的方法进行判断图像的匹配程度，实现图像匹配，提高了匹配的速度；通过特征金字塔融合的方式，可以对多个层次特征图进行融合，CNN不同层次的特征编码不同层次的信息，高层特征更关注语义信息，更少关注细节信息，而低层特征包含更多细节信息，通过对多个层次的特征进行融合可以互补优势，使得融合后的特征图能够包含更多的信息，从而使得网络的工作效果更好。

Description

一种基于特征金字塔的深度神经网络图像匹配方法

技术领域

本发明涉及计算机视觉和深度学习领域，尤其涉及图像匹配以及 图像的相似性度量领域。

背景技术

图像匹配(Image Matching)技术作为计算机视觉领域的一个研 究分支，是现代通用技术和图像处理问题的重要组成部分，在诸如运 动恢复结构、视觉定位与建图和目标检索等领域都有广泛的应用。在 这些应用中，图像级别的匹配性能至关重要，直接关系到整个系统的 性能表现。图像匹配早期的研究重点主要是特征检测器、描述符以及 匹配距离度量方法。早期对局部描述符在无监督学习方向的研究通常 优于监督学习方向，如SURF，ORB等。但是，随着大量标记数据的出 现和计算机计算能力大幅度的提升，近年来这种局面得到了逆转。

近年来基于深度卷积神经网络的方法在一系列困难的计算机视 觉问题上取得了显着进展，包括图像分类，目标检测，人体姿态估计 等，这一系列研究表明了基于学习的特征表示和分类器(或距离度量) 的优势。近年来也有一些基于深度学习的图像匹配方法研究，并取得 了一定的进展，但深度卷积神经网络在图像匹配领域的应用仍有较大 的研究空间。

发明内容

本发明提出一种基于特征金字塔的图像相似性评估方法。该方法 可以快速高效的判断图像的相似度，提高图像匹配的精度。

本发明的图像特征提取网络以VGG-16网络作为基础，生成多种尺 度的特征图，并对特征图进行融合，采用双塔结构，通过神经网络学 习的方式学习距离度量，采用端到端的方式判别图像的匹配程度，完 成图像匹配任务。

传统的特征学习方法先提取图像的特征，再生成特征描述子，最 后根据描述子的相似程度对两幅图像的特征之间进行匹配。这种方法 需要手动设计图像特征检测器，并且要选择合适的距离度量算法。基 于特征的学习方法在研究时主要集中在设计好的特征检测器和强大 的描述符，研究合适的特征距离度量方法，但该方法在特征检测时费 时费力，导致匹配速度慢，鲁棒性差。本发明直接通过神经网络进行 特征提取，并通过神经网络学习距离度量。

本发明的具体步骤如下：

步骤1：对图像进行预处理。

具体步骤如下：

1-1.准备训练数据和测试数据集；

1-2.把训练数据和测试数据集中的图片进行成对组合，两张图 片为一组，若两张图片相匹配，标签为1；若两张图片不匹配，标签 为0；

1-3.对图像进行像素归一化，把像素从[0,255]转化为[0,1]；

步骤2：通过特征金字塔特征融合网络对输入的图像生成多个尺 寸的特征图并对特征图按照从小到大的顺序进行融合。具体步骤如下：

2-1.特征金字塔的正向生成，通过以VGG-16网络为基础的特征提 取网络提取出多个尺寸的特征图，形成特征金字塔；

2-2.对特征金字塔中的特征图按照从小到大的顺序进行多尺寸 特征图融合；

2-3.网络中包含两个相同的特征金字塔特征融合网络，图片的输 入为图片对，两张图片分别通过两个网络进行特征提取，并让两个网 络进行参数共享。

步骤3：构建相似性评估网络，通过神经网络学习图像的匹配距 离评估。网络由三层全连接网络组成，最后一层输出两个参数。图像 匹配评估网络通过训练更新参数，形成自我评估能力。

步骤4：确定损失函数进行网络训练。

特征金字塔特征融合网络和图像匹配评估网络一起进行端到端 的训练，整个网络的损失函数为：

其中的计算公式为：

其中v₀(x_i)和v₁(x_i)为网络输出的值。

确定损失函数后进行网络训练，更新网络参数更新。

步骤5：输出量化的图像匹配预测值

把图像对输入训练好的网络中，网络最后的输出参数便为图像对 的匹配程度和差异性概率值。

本发明的有益效果是：

本发明通过网络学习的方法进行判断图像的匹配程度，实现图像 匹配，省略了传统图像匹配算法中的人工设计，提高了匹配的速度； 通过特征金字塔融合的方式，可以对多个层次特征图进行融合，CNN 不同层次的特征编码不同层次的信息，高层特征更关注语义信息，更 少关注细节信息，而低层特征包含更多细节信息，通过对多个层次的 特征进行融合可以互补优势，使得融合后的特征图能够包含更多的信 息，从而使得网络的工作效果更好。

附图说明

图1是基于VGG-16的第一层特征提取结构示意图(VGG up to conv4)；

图2是图像特征提取及金字塔特征融合网络结构示意图；

图3是图像匹配评估网络结构示意图；

图4是特征金字塔图像匹配评估网络整体结构示意图。

具体实施方式：

下面根据附图详细说明本发明，本发明的目的和效果将变得更加 明显。

图1是基于VGG-16的特征提取结构示意图(VGG up to conv4)。 该结构采用了VGG-16网络的前4层卷积层，输出的特征图作为特征 金字塔中特征图的第一层。

图中Conv1-1至Conv4-3表示卷积网络层，maxpool1至maxpool3 表示池化网络层，以输入的图像大小为256*256为例，第一层卷积层 由两层卷积网络组成(Conv1-1、Conv1-2)，卷积核的大小为3*3， 卷积步长为1，填充大小为1，使得卷积后图像大小不变，第一层卷积滤波器的个数为64，即输出的图像通道为64，由此可得，第一层 卷积网络的输出大小为256*256*64；第一层卷积层的输出为第一层 池化层(maxpool1)的输入，池化操作为最大池化，池化层的大小为 2*2，步长为2，使得图像的大小减小一倍，通道数不变，及第一池 化层的输出为128*128*64；第二卷积层有两层卷积层组成(Conv2-1、 Conv2-2)，卷积的大小及操作与第一卷积层相同，卷积滤波器个数 为128个，第二卷积层以第一池化层的输出作为输入，输出图像大小 为128*128*128；第二池化层(maxpool2)的输入为第二卷积层的输出，第二池化层作用与第一池化层相同，使得输入的图像大小减半， 输出图像大小为64*64*128；第三卷积层由三层卷积网络组成 (Conv3-1、Conv3-2、Conv3-3),Conv3-1和Conv3-2的卷积核大小 为3*3，Conv3-3的卷积核大小为1*1，三层卷积的滤波器个数均为 256个，第三卷积层以第二池化层的输出作为输入，输出的图像大小 为64*64*256；第三池化层(maxpool3)与前两层的作用相同，池化核 的大小为2*2，滤波器个数为256，以第三卷积层的输出作为输入， 第三池化层的输出为32*32*256；第四卷积层由三层卷积网路组成(Conv4-1、Conv4-2、Conv4-3)，Conv4-1和Conv4-2两层的卷积 核大小为3*3，Conv4-3层的卷积核大小为1*1，卷积滤波器个数均 为512个，该层的输入为第三池化层的输出，该层的输出图像大小为 32*32*512，该输出作为特征金字塔的第一层特征。

图2是图像特征提取及金字塔特征融合网络结构示意图，该结构 主要包含两个过程，特征金字塔的正向生成和反向融合。

图2中①至⑨表示网络各层输出的特征图，图像输入大小为 256*256，VGG up toconv4网络结构如图1所示，Conv6网络的具体 结构为2*2大小的maxpool(最大池化)层和3*3*1024大小的卷积 层，Conv7结构为1*1*1024大小的卷积网络，Conv7由1*1*512大小 的卷积网络和3*3*512大小，卷积步长为2的网络组成，Avg pooling 为平均池化层，网络大小为2*2*512,1*1conv表示1*1*512大小的卷 积层。

如图3所示，本发明把图像匹配中的距离度量函数通过三层全连 接网络进行代替，全连接层FC1和FC2的大小为1024，FC3大小为2， 通过网络学习实现图像匹配距离评估。

图4是特征金字塔图像匹配评估网络整体结构示意图。如图所示， 该发明的神经网络结构由两个结构相同的Feature network(结构如 图2所示)组成，且两个Featurenetwork网络进行参数共享，Feature network通过一层全连接层FC与Metric network相连接，FC的大小 为512，Metric network通过对一对融合特征图的评估，最后输出两 张图片的匹配(相似性)概率和差异性的概率。

本发明提供了一种基于特征金字塔的图像深度神经网络图像匹 配方法，该方法包括：

步骤1：对图像进行预处理。

具体步骤如下：

1-1.准备训练数据和测试数据集；

1-2.把训练数据和测试数据集中的图片进行成对组合，两张图 片为一组，若两张图片相匹配，标签为1；若两张图片不匹配，标签 为0；

1-3.对图像进行像素归一化，把像素从[0,255]转化为[0,1]；

步骤2：通过特征金字塔特征融合网络对输入的图像生成多个尺 寸的特征图并对特征图按照从小到大的顺序进行融合。构建特征金字 塔特征融合网络，生成融合特征图，具体步骤如下：

2-1.特征金字塔的正向生成，通过以VGG-16网络为基础的特征提 取网络提取出多个尺寸的特征图，形成特征金字塔；

特征金字塔特征融合网络正向生成特征金字塔，输入图像大小以 256*256为例，具体步骤如下：

步骤a).图像先通过VGG up to conv4网络，输出32*32*512大小 的图像作为特征金字塔的第一层特征图①；

步骤b).前一步的输出通过conv6和conv7两层卷积网络，输出 16*16*1024大小的特征图，该输出作为特征金字塔的第二层特征图②；

步骤c).步骤b)的输出通过Conv layers一层卷积层，输出

8*8*512大小的特征图，该特征图作为特征金字塔的第三层③；

步骤d).步骤c)的输出通过Avg pooling层进行平均池化操作，输 出4*4*512大小的特征图，该特征图作为特征金塔的第四层④，即最 顶层；

2-2.对特征金字塔中的特征图按照从小到大的顺序进行多尺寸 特征图融合；

特征金字塔特征融合网络中特征的反向融合，本方法中网络共融 合四种不同尺寸的特征图，具体步骤如下：

①使用1*1的卷积核对特征图⑤进行卷积操作，输出大小为 4*4*512的特征图⑥；

②使用1*1的卷积核对特征图④进行卷积操作，输出大小为 8*8*512的特征图，并对特征图⑥做两倍的上采样，上采样采用最邻 近上采样算法，对特征图⑥进行两倍上采样后的特征图与对特征图④ 进行1*1卷积操作得到的特征图按元素相加进行特征融合，得到特征 图⑦；

③分别对特征图③和特征图⑦进行步骤②的操作，把特征图③进 行1*1卷积操作得到的特征图与特征图⑦进行两倍上采样得到的特征 图按元素相加，得到特征图⑧；

④分别对特征图①和特征图⑧进行步骤②的操作，得到特征图⑨， 特征图⑨即是四层特征金字塔从上到下进行特征融合得到的最终的 特征图。

2-3.网络中包含两个相同的特征金字塔特征融合网络，图片的输 入为图片对，两张图片分别通过两个网络进行特征提取，并让两个网 络进行参数共享。

步骤3：构建相似性评估网络，通过神经网络学习图像的匹配距 离评估。网络由三层全连接网络组成，最后一层输出两个参数。图像 匹配评估网络通过训练更新参数，形成自我评估能力,具体：

1)把两个Feature network输出的特征图分别通过FC连接层 进行降维；

2)把两个FC全连接网络的输出合并到一起；

3)与Metric network网络连接起来。

步骤4：确定损失函数进行网络训练。

特征金字塔特征融合网络和图像匹配评估网络一起进行端到端 的训练，整个网络的损失函数为：

其中的计算公式为：

其中v₀(x_i)和v₁(x_i)为网络输出的值。

确定损失函数后进行网络训练，更新网络参数更新。

步骤5：输出量化的图像匹配预测值

把图像对输入训练好的网络，网络采用端到端的预测，网络的最 后一层输出两个预测值v₀和v₁，v₀表示图片对的差异程度，v₁表示图 片对的匹配(相似)程度。

Claims (6)

1.一种基于特征金字塔的深度神经网络图像匹配方法，其特征在于图像特征提取网络以VGG-16网络作为基础，生成多种尺度的特征图，并对特征图进行融合，采用双塔结构，通过神经网络学习的方式学习距离度量，采用端到端的方式判别图像的匹配程度，完成图像匹配任务。

2.根据权利要求1所述的一种基于特征金字塔的深度神经网络图像匹配方法，其特征在于具体包括如下步骤：

步骤1：对图像进行预处理；

步骤2：通过特征金字塔特征融合网络对输入的图像生成多个尺寸的特征图并对特征图按照从小到大的顺序进行融合

步骤3：构建相似性评估网络，通过神经网络学习图像的匹配距离评估；网络由三层全连接网络组成，最后一层输出两个参数；图像匹配评估网络通过训练更新参数，形成自我评估能力；

步骤4：确定损失函数进行网络训练；

步骤5：输出量化的图像匹配预测值；

把图像对输入训练好的网络中，网络最后的输出参数便为图像对的匹配程度和差异性概率值。

3.根据权利要求2所述的一种基于特征金字塔的深度神经网络图像匹配方法，其特征在于步骤1具体包括如下步骤：

1-1.准备训练数据和测试数据集；

1-2.把训练数据和测试数据集中的图片进行成对组合，两张图片为一组，若两张图片相匹配，标签为1；若两张图片不匹配，标签为0；

1-3.对图像进行像素归一化，把像素从[0,255]转化为[0,1]。

4.根据权利要求3所述的一种基于特征金字塔的深度神经网络图像匹配方法，其特征在于步骤2具体包括如下步骤：

2-1.特征金字塔的正向生成，通过以VGG-16网络为基础的特征提取网络提取出多个尺寸的特征图，形成特征金字塔；

2-2.对特征金字塔中的特征图按照从小到大的顺序进行多尺寸特征图融合；

2-3.网络中包含两个相同的特征金字塔特征融合网络，图片的输入为图片对，两张图片分别通过两个网络进行特征提取，并让两个网络进行参数共享。

5.根据权利要求4所述的一种基于特征金字塔的深度神经网络图像匹配方法，其特征在于步骤4具体包括如下步骤：

特征金字塔特征融合网络和图像匹配评估网络一起进行端到端的训练，整个网络的损失函数为：

其中的计算公式为：

其中v₀(x_i)和v₁(x_i)为网络输出的值；

确定损失函数后进行网络训练，更新网络参数更新。

6.根据权利要求4或5所述的一种基于特征金字塔的深度神经网络图像匹配方法，其特征在于步骤2进一步详细说明如下：

步骤2-1具体如下：

步骤a).图像先通过VGG up to conv4网络，输出32*32*512大小的图像作为特征金字塔的第一层特征图①；

步骤b).前一步的输出通过conv6和conv7两层卷积网络，输出16*16*1024大小的特征图，该输出作为特征金字塔的第二层特征图②；

步骤c).步骤b)的输出通过Conv layers一层卷积层，输出8*8*512大小的特征图，该特征图作为特征金字塔的第三层③；

步骤d).步骤c)的输出通过Avg pooling层进程平均池化操作，输出4*4*512大小的特征图，该特征图作为特征金塔的第四层④，即最顶层；

步骤2-2具体如下：

特征金字塔特征融合网络中特征的反向融合，网络共融合四种不同尺寸的特征图，具体步骤如下：

①使用1*1的卷积核对特征图⑤进行卷积操作，输出大小为4*4*512的特征图⑥；

②使用1*1的卷积核对特征图④进行卷积操作，输出大小为8*8*512的特征图，并对特征图⑥做两倍的上采样，上采样采用最邻近上采样算法，对特征图⑥进行两倍上采样后的特征图与对特征图④进行1*1卷积操作得到的特征图按元素相加进行特征融合，得到特征图⑦；

③分别对特征图③和特征图⑦进行步骤②的操作，把特征图③进行1*1卷积操作得到的特征图与特征图⑦进行两倍上采样得到的特征图按元素相加，得到特征图⑧；

④分别对特征图①和特征图⑧进行步骤②的操作，得到特征图⑨，特征图⑨即是四层特征金字塔从上到下进行特征融合得到的最终的特征图。