CN112949765A - 融合局部和全局信息的图像匹配方法 - Google Patents

Abstract

本发明提出一种融合局部和全局信息的图像匹配方法，通过神经网络对SIFT算法提取的假定匹配对预测是内点匹配的概率，进而建立两幅图像之间的正确匹配。所述图像匹配方法主要包括步骤：A.构建数据集并对数据集进行特征增强；B.通过基于OA‑Net改进的神经网络对数据集的局部和全局信息进行特征提取；C.计算每个匹配对的分类概率（权重）；D.将匹配对的权重通过加权8点算法计算得到基础矩阵；E.基于基础矩阵回归训练网络。该新型图像匹配方法能够有效的提取局部和全局特征，能够更有效的获取局部和全局上下文，提高图像匹配的精度，基于网络学习获得潜在的正确对应关系，有效的移除错匹配，提高图像匹配的精度。

Description

融合局部和全局信息的图像匹配方法

技术领域

本发明涉及图像匹配技术领域，尤其涉及一种融合局部和全局信息的图像匹配方法。

背景技术

图像匹配技术在计算机视觉任务中有着广泛的应用，如：图像三维重建、视觉即时定位与地图构建，图像全景拼接，图像配准、立体匹配等。

目前存在很多图像特征匹配的方法，可以将它们分为传统基于特征的方法和基于深度学习的方法。传统的图像特征匹配方法有三个基本步骤：特征提取、特征描述和特征匹配。特征提取就是从图像中提取出关键点或特征点等，它表示图像中重要或独特的内容；特征描述就是用一组数学向量对特征点进行描述，其主要保证不同的向量和不同的特征点之间是一种对应的关系，同时相似的关键点之间的差异尽可能小；特征匹配其实就是特征向量之间的距离计算，常用的距离有欧氏距离、汉明距离、余弦距离等。传统的特征提取及描述算法主要有：Harris、SIFT、SURF、HOG、DPM等。传统图像特征匹配的过程比如：使用SIFT(尺度不变特征变换匹配算法)算法提取特征点，从而建立两张图片之间特征对应点的初始关系，然后使用RANSAC(随机一致性采样算法)及其变体：PROSAC和USAC解决匹配中的外点问题从而移除误匹配对。RANSAC采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数，该算法执行操作简单且效果好，至今仍是流行的错匹配点移除算法。

近年来，深度学习在许多领域得到了广泛应用,并取得了极大成功,尤其是在图像处理领域。基于深度学习的图像特征匹配算法相比于传统的方法有了明显的优势，在性能方面得到了显著的提高，得到更加准确的特征匹配结果。PointCN(Kwang Moo Yi,EduardTrulls,Yuki Ono,Vincent Lepetit,Mathieu Salzmann,and Pascal Fua.Learning tofind good correspondences.In Computer Vision and Pattern Recognition(CVPR),2018)将离群点移除任务重新定义为内点或外点分类问题和基本矩阵回归问题，并引入加权8点算法计算基本矩阵，且提出了上下文归一化方法来捕获全局上下文信息，大大提高了性能。但是存在着缺点是忽略了对局部信息的获取，并且利用上下文归一化的操作通过均值和方差对特征图进行归一化，忽略了不同点之间的复杂关系，可能会影响整体性能。OANet是基于PointCN的改进，提出了DiffPool层、DiffUnpool层和OAFiltering层，其中，DiffPool层、DiffUnpool层以学习的方式捕获无序匹配对的局部信息，OAFiltering层可以提取稀疏匹配对的全局信息。OANet改善了PointCN对全局信息和局部信息的获取，解决了PointCN对局部信息获取不足的缺点。

虽然基于OANet网络的特征匹配方法已经取得了较好的效果，但网络在特征学习的过程对数据集的全局信息和局部信息的捕获不够全面，导致预测匹配对的权重来判断匹配对是内点的概率时预测的权重不够精确，就不能够有效的移除错匹配。

因此如何提高网络对数据集的全局信息和局部信息的提取，并准确移除错匹配，是进一步提升特征匹配精度的重要问题。

发明内容

本发明旨在提出一种融合局部和全局信息的图像匹配方法，该方法通过神经网络对SIFT算法提取的假定匹配对预测是内点匹配的概率，进而建立两幅图像之间的正确匹配。所述图像匹配方法主要包括步骤：A.构建数据集并对数据集进行特征增强；B.通过基于OA-Net改进的神经网络对数据集的局部和全局信息进行特征提取；C.计算每个匹配对的分类概率(权重)；D.将匹配对的权重通过加权8点算法计算得到基础矩阵；E.基于基础矩阵回归训练网络。该新型图像匹配方法能够有效的提取局部和全局特征，能够更有效的获取局部和全局上下文，提高图像匹配的精度，基于网络学习获得潜在的正确对应关系，有效的移除错匹配，提高图像匹配的精度。

本发明具体采用以下技术方案：

一种融合局部和全局信息的图像匹配方法，其特征在于：通过神经网络对SIFT算法提取的假定匹配对预测是内点匹配的概率，进而建立两幅图像之间的正确匹配。

进一步地，包括以下步骤：

步骤S1：构建数据集并对数据集进行特征增强；

步骤S2：通过基于OA-Net改进的神经网络对数据集的局部和全局信息进行特征提取；

步骤S3：计算每个匹配对的分类概率，即权重；

步骤S4：将匹配对的权重通过加权8点算法计算得到基础矩阵；

步骤S5：基于基础矩阵回归训练网络。

进一步地，步骤S1具体包括以下步骤：

步骤11：对于给定的一组图像对(I,I')，使用SIFT算法分别提取I与I'中的特征点kp_i，kp′_i；则从图像I中提取的特征点集为KP＝{kpⁱ}^i∈N，从图像I′中提取的特征点集为KP'＝{kp'ⁱ}^i∈N；分别提取两张图像的特征点集后，I从I'中寻找特征点的最近邻居生成初始匹配对的集合C，图像对的初始匹配对集合C如下：

其中，C为N×4维度的数据，将C作为输入数据，

式中，c_i表示匹配对，(x_i,y_i)，(x'_i,y'_i)分别表示匹配的两个特征点在对应图像中的坐标，其中(x_i,y_i)为在图像I中的坐标，(x'_i,y'_i)为在图像I'中的坐标；

步骤12：对输入数据C进行一次卷积核大小为1×1的卷积处理，使C的通道维度从4维转换为128维，即C(1×N×4)→C(1×N×128)，进行特征增强预处理，增加了特征信息，其中，N为C中匹配对的个数。

进一步地，步骤S2具体包括以下步骤：

步骤21：使用6个改进后的PointCN网络对特征增强后的输入数据C进行在通道上和空间上的特征提取，捕获N个匹配对之间的全局信息；

步骤22：使用改进后的diff-pool模块对经过步骤21后的数据学习一个软分配矩阵并对数据进行下采样，将N个匹配对个数聚类成M个类，使N×128的数据变成维度为500×128的数据，利用下采样和注意力机制学习数据的局部信息；

步骤23：将经过步骤22下采样后的数据使用三个改进后的OAFilter模块在空间维度上建立匹配对间的关系，每一个改进后的OAFilter模块进行一次残差连接，以获得数据的全局上下文；

步骤24：将对经过步骤21后的数据和经过步骤23后的数据输入改进后的diff-unpool模块，将500×128的数据恢复维度为N×128的数据，然后将上采样后的数据经过六次改进后的PointCN网络，完成对数据集的特征提取过程。

进一步地，所述改进后的PointCN网络结构为：在PointCN网络后面插入一层注意力机制scSE网络模块；

所述改进后的diff-pool模块结构为：在diff-pool网络中插入一层注意力机制scSE网络模块，使数据先经过一个PointCN学习一个软分配，将N×128的数据变成维度为500×128的数据后与之后经过scSE网络模块后的数据进行残差连接；所述改进后的OAFilter模块结构为：在每个PintCN之后插入一层注意力机制scSE网络模块，并在空间对应层之后插入一层注意力机制scSE网络模块；

所述改进后的diff-unpool模块结构为：在diff-unpool网络中插入一层注意力机制scSE网络模块；使数据经过一个PointCN网络，将N×128的数据变成维度为N×500的数据后与之后经过scSE网络模块后的数据进行残差连接。

进一步地，步骤S3具体包括以下步骤：

步骤3具体包括以下步骤：

步骤31：使用1×1的卷积核进行卷积处理，将经过步骤24后的数据维度从N×128压缩为N×1，得到匹配对的分类logit值Z，如下：

z＝f_φ(C)；

式中，f_φ(·)是基于OA-Net改进的神经网络，C为初始匹配对集合，再将Z进行归一化处理得到匹配对的对应权重，如下：

w＝tanh(ReLU(z))；

其中，得到的每个权重w_i∈[0,1)。

进一步地，步骤S4具体包括以下步骤：

步骤41：经过步骤31得到的匹配对的权重W，通过加权8点算法回归计算得到基础矩阵

进而得到相机相对位姿，如下所示：

其中，g(·,·)表示加权8点算法。

进一步地，步骤S5具体包括以下步骤：

步骤51：网络训练过程中最小化分类损失和基础矩阵损失是优化的目的如下所示：

其中，l_ess是通过预测的基础矩阵

和标准矩阵E计算几何损失loss_geo得到基础矩阵的损失，p₁，p₂是对应的匹配对，t_[i]为

和

计算类型的统称，表示向量t的第i个元素；l_cls表示分类的损失，计算方法是使用交叉熵损失函数得到。

与现有技术相比，本发明及其优选方案的优势在于引入了通道和空间注意力的方法，能够更有效的提取局部和全局特征，基于网络学习获得潜在的正确对应关系，有效的移除错匹配，提高OANet网络的性能，提高图像匹配的精度。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

图1是本发明实施例提出的基于OA-Net改进的神经网络总体结构示意图；

图2是本发明实施例整体流程示意图；

图3是本发明实施例PointCN模块示意图；

图4是本发明实施例scSE模块示意图；

图5是本发明实施例SCP模块示意图；

图6是本发明实施例diff-pool模块改进示意图；

图7是本发明实施例OAFilter模块改进示意图；

图8是本发明实施例diff-unpool模块示意图。

具体实施方式

为让本专利的特征和优点能更明显易懂，下文特举实施例，并配合附图，作详细说明如下：

本实施例的目的是有效的提取数据集的局部和全局特征，基于网络学习建立两张图像间正确的匹配关系，有效减少误匹配，提高图像匹配的精度。具体过程就是，对于给定的两张图像的初始匹配对，利用本文提出的如图1以及图2所示的网络流程来将图像特征匹配的任务当做二分问题，推断出对应匹配对成为内点的概率，并根据判断的概率来回归基础矩阵。为了效的提取数据集的局部和全局特征以及减少误匹配，本实施例引入了基于通道和空间注意力的方法。在网络中引用注意力机制用来强调或选择目标处理对象的重要信息，抑制一些无关的信息，能产生注意力感知的特征。在OANet网络各模块的基础上引用注意力机制，提高关键信息的贡献，加强网络对关键信息的提取，实现更有效的提取数据集的局部和全局特征以及减少误匹配。试验结果表明，本实施例的方法有效地提高了OANet的性能，取得了YFCC100M数据集上当前最好的性能。

如图1以及图2所示，本实施例提供的一种融合局部和全局信息的图像匹配方法，具体包括以下步骤：

步骤S1：构建数据集并对数据集进行特征增强；

步骤S2：通过基于OA-Net改进的神经网络对数据集的局部和全局信息进行特征提取；

步骤S3：计算每个匹配对的分类概率(权重)；

步骤S4：将匹配对的权重通过加权8点算法计算得到基础矩阵；

步骤S5：基于基础矩阵回归训练网络。

在本实施例中，步骤1具体包括以下步骤：

步骤11：对于给定的一组图像对(I,I')，使用SIFT算法分别提取I与I'中的特征点kp_i，kp′_i；则从图像I中提取的特征点集为KP＝{kpⁱ}^i∈N，从图像I′中提取的特征点集为KP'＝{kp'ⁱ}^i∈N；分别提取两张图像的特征点集后，I从I'中寻找特征点的最近邻居生成初始匹配对的集合C，图像对的初始匹配对集合C如下：

其中，C为N×4维度的数据，将C作为输入数据，

式中，c_i表示匹配对，(x_i,y_i)，(x'_i,y'_i)分别表示匹配的两个特征点在对应图像中的坐标，其中(x_i,y_i)为在图像I中的坐标，(x'_i,y'_i)为在图像I'中的坐标；

步骤12：对输入数据C进行一次卷积核大小为1×1的卷积处理，使C的通道维度从4维转换为128维，即C(1×N×4)→C(1×N×128)，进行特征增强预处理，增加了特征信息，其中，N为C中匹配对的个数。

在本实施例中，步骤2具体包括以下步骤：

步骤21：使用6个改进后的PointCN网络对特征增强后的输入数据C进行在通道上和空间上的特征提取，捕获N个匹配对之间的全局信息；

步骤22：使用改进后的diff-pool模块对经过步骤21后的数据学习一个软分配矩阵并对数据进行下采样，将N个匹配对个数聚类成M个类，故N×128的数据变成维度为500×128(M＝500)的数据，利用了下采样和注意力机制来学习数据的局部信息。

步骤23：将经过步骤22下采样后的数据使用三个改进后的OAFilter模块来在空间维度上建立匹配对间的关系，每一个OAFilter模块进行一次残差连接，使获得数据的全局上下文。

步骤24：将对经过步骤21后的数据和经过步骤23后的数据输入改进后的diff-unpool模块，将500×128的数据恢复维度为N×128的数据，然后将上采样后的数据经过六次改进后的PointCN网络，完成了对数据集的特征提取过程。

如图3、图4所示，在本实施例中，步骤21中，改进后的PointCN网络结构为：在原来的网络后面再插入一层注意力机制scSE网络模块(来源是：《Concurrent Spatial andChannel‘Squeeze&Excitation’in Fully Convolutional Networks》)，并将该改进的模块命名为SCPNet。

如图6所示，在本实施例中，步骤22中，改进后的diff-pool模块结构为：在原来的网络后面再插入一层注意力机制scSE网络模块，即经过B1步骤后的数据先经过一个PointCN学习一个软分配，将N×128的数据变成维度为500×128(M＝500)的数据后与之后经过scSE网络后的数据进行残差连接。

如图5、图7所示，在本实施例中，步骤23中，改进后的OAFilter模块结构为：在每个PintCN之后插入一层注意力机制scSE网络模块，并在原来的空间对应层之后插入一层注意力机制scSE网络模块。

如图8所示，在本实施例中，步骤24中，改进后的diff-unpool模块结构为：在PointCN网络后面插入一层注意力机制scSE网络模块，即经过B1步骤后的数据经过一个PointCN网络，将N×128的数据变成维度为N×M(M＝500)的数据后与之后经过scSE网络后的数据进行残差连接。

在本实施例中，步骤3具体包括以下步骤：

步骤31：使用1×1的卷积核进行卷积处理，将经过步骤24后的数据维度从N×128压缩为N×1，得到匹配对的分类logit值Z，如下：

z＝f_φ(C)；

式中，f_φ(·)是基于OA-Net改进的神经网络，C为初始匹配对集合，再将Z进行归一化处理得到匹配对的对应权重，如下：

w＝tanh(ReLU(z))；

其中，得到的每个权重w_i∈[0,1)，其中权重为0表示误匹配。

在本实施例中，步骤4具体包括以下步骤：

步骤41：经过步骤31得到的匹配对的权重W，通过加权8点算法回归计算得到基础矩阵

进而得到相机相对位姿。如下：

其中，g(·,·)表示加权8点算法。

在本实施例中，步骤5具体包括以下步骤：

步骤51：网络训练过程中最小化分类损失和基础矩阵损失是优化的目的如下：

其中，l_ess是通过预测的基础矩阵

和标准矩阵E计算几何损失loss_geo得到基础矩阵的损失，p₁，p₂是对应的匹配对，t_[i](

和

计算类型的统称)表示向量t的第i个元素。l_cls表示分类的损失，计算方法是使用交叉熵损失函数得到。

表1为本实施例与其他几种特征匹配算法在YFCC100M数据集的准确率量化对比。其中，对比的网络有PointCN、OANet、PointNet++、N3Net、DFE。从表1中，可以看到本发明显著提升了图像特征匹配的准确率，相使用六种不同的网络在相同的数据集上进行训练，本发明的方法取得最好的效果，在没有RANSAC后处理下相比于OANet准确率提升了5.62％。

表1

本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的融合局部和全局信息的图像匹配方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (8)

1.一种融合局部和全局信息的图像匹配方法，其特征在于：通过神经网络对SIFT算法提取的假定匹配对预测是内点匹配的概率，进而建立两幅图像之间的正确匹配。

2.根据权利要求1所述的融合局部和全局信息的图像匹配方法，其特征在于：包括以下步骤：

步骤S1：构建数据集并对数据集进行特征增强；

步骤S2：通过基于OA-Net改进的神经网络对数据集的局部和全局信息进行特征提取；

步骤S3：计算每个匹配对的分类概率，即权重；

步骤S4：将匹配对的权重通过加权8点算法计算得到基础矩阵；

步骤S5：基于基础矩阵回归训练网络。

3.根据权利要求2所述的融合局部和全局信息的图像匹配方法，其特征在于：步骤S1具体包括以下步骤：

步骤11：对于给定的一组图像对(I,I')，使用SIFT算法分别提取I与I'中的特征点kp_i，kp′_i；则从图像I中提取的特征点集为KP＝{kpⁱ}^i∈N，从图像I′中提取的特征点集为KP'＝{kp'ⁱ}^i∈N；分别提取两张图像的特征点集后，I从I'中寻找特征点的最近邻居生成初始匹配对的集合C，图像对的初始匹配对集合C如下：

其中，C为N×4维度的数据，将C作为输入数据，

式中，c_i表示匹配对，(x_i,y_i)，(x'_i,y'_i)分别表示匹配的两个特征点在对应图像中的坐标，其中(x_i,y_i)为在图像I中的坐标，(x'_i,y'_i)为在图像I'中的坐标；

步骤12：对输入数据C进行一次卷积核大小为1×1的卷积处理，使C的通道维度从4维转换为128维，即C(1×N×4)→C(1×N×128)，进行特征增强预处理，增加了特征信息，其中，N为C中匹配对的个数。

4.根据权利要求3所述的融合局部和全局信息的图像匹配方法，其特征在于：步骤S2具体包括以下步骤：

步骤21：使用6个改进后的PointCN网络对特征增强后的输入数据C进行在通道上和空间上的特征提取，捕获N个匹配对之间的全局信息；

步骤22：使用改进后的diff-pool模块对经过步骤21后的数据学习一个软分配矩阵并对数据进行下采样，将N个匹配对个数聚类成M个类，使N×128的数据变成维度为500×128的数据，利用下采样和注意力机制学习数据的局部信息；

步骤23：将经过步骤22下采样后的数据使用三个改进后的OAFilter模块在空间维度上建立匹配对间的关系，每一个改进后的OAFilter模块进行一次残差连接，以获得数据的全局上下文；

步骤24：将对经过步骤21后的数据和经过步骤23后的数据输入改进后的diff-unpool模块，将500×128的数据恢复维度为N×128的数据，然后将上采样后的数据经过六次改进后的PointCN网络，完成对数据集的特征提取过程。

5.根据权利要求4所述的融合局部和全局信息的图像匹配方法，其特征在于：所述改进后的PointCN网络结构为：在PointCN网络后面插入一层注意力机制scSE网络模块；

所述改进后的diff-pool模块结构为：在diff-pool网络中插入一层注意力机制scSE网络模块，使数据先经过一个PointCN学习一个软分配，将N×128的数据变成维度为500×128的数据后与之后经过scSE网络模块后的数据进行残差连接；所述改进后的OAFilter模块结构为：在每个PintCN之后插入一层注意力机制scSE网络模块，并在空间对应层之后插入一层注意力机制scSE网络模块；所述改进后的diff-unpool模块结构为：在diff-unpool网络中插入一层注意力机制scSE网络模块；使数据经过一个PointCN网络，将N×128的数据变成维度为N×500的数据后与之后经过scSE网络模块后的数据进行残差连接。

6.根据权利要求5所述的融合局部和全局信息的图像匹配方法，其特征在于：步骤S3具体包括以下步骤：

步骤3具体包括以下步骤：

步骤31：使用1×1的卷积核进行卷积处理，将经过步骤24后的数据维度从N×128压缩为N×1，得到匹配对的分类logit值Z，如下：

z＝f_φ(C)；

式中，f_φ(·)是基于OA-Net改进的神经网络，C为初始匹配对集合，再将Z进行归一化处理得到匹配对的对应权重，如下：

w＝tanh(ReLU(z))；

其中，得到的每个权重w_i∈[0,1)。

7.根据权利要求6所述的融合局部和全局信息的图像匹配方法，其特征在于：步骤S4具体包括以下步骤：

步骤41：经过步骤31得到的匹配对的权重W，通过加权8点算法回归计算得到基础矩阵

进而得到相机相对位姿，如下所示：

其中，g(·,·)表示加权8点算法。

8.根据权利要求7所述的融合局部和全局信息的图像匹配方法，其特征在于：步骤S5具体包括以下步骤：

步骤51：网络训练过程中最小化分类损失和基础矩阵损失是优化的目的如下所示：

其中，l_ess是通过预测的基础矩阵

和标准矩阵E计算几何损失loss_geo得到基础矩阵的损失，p₁，p₂是对应的匹配对，t_[i]为

和

计算类型的统称，表示向量t的第i个元素；l_cls表示分类的损失，计算方法是使用交叉熵损失函数得到。

Images