CN112308128A - 一种基于注意力机制神经网络的图像匹配方法 - Google Patents

Abstract

本发明涉及一种基于注意力机制神经网络的图像匹配方法，包括步骤：步骤S1：构建数据集并对数据集中的数据进行特征增强；步骤S2：通过改进的OANet网络对数据集中的特征进行特征提取；步骤S3：采用提取的特征进行压缩后得到初步的预测结果；步骤S4：对初步预测结果通过加权8点算法进行计算，得到本质矩阵。本发明能够有效地减少错匹配信息的干扰，提高匹配的性能。

Description

一种基于注意力机制神经网络的图像匹配方法

技术领域

本发明涉及图像匹配技术领域，特别是一种基于注意力机制神经网络的图像匹配方法。

背景技术

图像匹配在三维重建、同时定位和建图、图像拼接、双目立体匹配等计算机视觉任务中扮演着十分重要的角色，是一个基础且重要的算法。

目前存在很多特征匹配的方法。可以将它们分为传统方法和基于深度学习的方法。传统方法是使用特征点检测算法比如：尺度不变特征变换(SIFT)算法去检测特征点，并建立两张图片之间特征的初始对应关系，然后使用随机抽样一致性算法(RANSAC)及其变体：RMBP去排除错误的匹配点。RANSAC([Martin A Fischler and Robert CBolles.Random sample consensus:a paradigm for model fitting with applicationsto image analysis and automated cartography.Communications of the ACM,1981.)采用重采样的策略去选择一致性最多的匹配集合，它是一个标准的且任然是最流行的错匹配点移除算法。RMBP(Lei Zhou,Siyu Zhu,Zixin Luo,Tianwei Shen,Runze Zhang,Mingmin Zhen,Tian Fang,and Long Quan.Learning and matching multi-viewdescriptors for registration of point clouds.In European Conference onComputerVision(ECCV),2018.)定义了一个图形模型，它描述了匹配的空间组织来移除错匹配。

近年来，深度学习进行特征匹配的算法性能超过了传统的方法，能获得更加准确的特征匹配结果。PointCN(Kwang Moo Yi,Eduard Trulls,Yuki Ono,Vincent Lepetit,Mathieu Salzmann,and Pascal Fua.Learning to find good correspondences.InComputer Vision and Pattern Recognition(CVPR),2018)将离群点移除和姿态回归问题任务重新定义为一个离群点分类问题和一个本质矩阵回归问题。该算法利用点网结构将输入对应标记为inliers或outliers，并引入加权8点算法计算本质矩阵。N3Net(TobiasPlotz and Stefan Roth.Neural nearest neighbors net-works.In Advances inNeural Information Processing Systems(NIPS),2018.)插入软k近邻(KNN)层来扩充PointCN。OANet也是基于PointCN改进，改善了对全局信息和局部信息的获取，解决了PointCN对局部信息获取不足的缺点。

当前基于深度学习的特征匹配方法已经取得了很好的效果，但训练的数据中含有大量的错匹配点，这导致：当PointCN捕捉全局信息时，存在大量的错匹配点信息，这严重影响捕捉正确匹配的几何信息，因此如何去减少错匹配信息的干扰，是进一步提升匹配性能的重要问题。

发明内容

有鉴于此，本发明的目的是提出一种基于注意力机制神经网络的图像匹配方法，能够有效地减少错匹配信息的干扰，提高匹配的性能。

本发明采用以下方案实现：一种基于注意力机制神经网络的图像匹配方法，具体包括以下步骤：

步骤S1：构建数据集并对数据集中的数据进行特征增强；

步骤S2：通过改进的OANet网络对数据集中的特征进行特征提取；

步骤S3：采用提取的特征进行压缩后得到初步的预测结果；

步骤S4：对初步预测结果通过加权8点算法进行计算，得到本质矩阵。

进一步地，所述步骤S1具体包括以下步骤：

步骤S11：对于给定的图像对(I,I')，采用SIFT算法分别提取I与I'的特征点kp_i，kp'_i；则由图像I提取的特征点集为KP＝{kp_i}_i∈N，由图像I'提取的特征点集为KP'＝{kp'_i}_i∈N；提取出两个图片的特征点后，基于特征点的描述子生成两个图片之间的初始的匹配集合D，每个对应关系(kp_i,kp'_i)可以生成4维的数据，分别代表特征点在图像中的坐标位置，初始的匹配集合D如下：

D＝[d₁；d₂；d₃；......d_N；]；

其中，

d_i＝[x_i,y_i,x'_i,y'_i]；

式中，D为N×4大小的数据，将D作为输入数据，d_i表示匹配对，(x_i,y_i)，(x'_i,y'_i)表示匹配中两个特征点的坐标，其中(x_i,y_i)为I中的坐标，(x'_i,y'_i)为I'中的坐标；

步骤S12：采用一个1×1的卷积模块，对输入数据D进行特征提取，将D转化为一个128维的特征向量，即D(1×N×4)→D(1×N×128)，其中，N为匹配点对的个数。

进一步地，所述步骤S2具体包括以下步骤：

步骤S21：将128维的输入数据D使用六个PointCN模块来捕捉N个匹配点之间的全局信息，每两个PointCN使用一个残差映射进行连接；

步骤S22：将经过六个PointCN模块之后的数据输入改进OANet的下采样模块中，将N×128的特征数据压缩成大小为500×128的顺序感知块进行全局信息的捕捉，然后再将数据依次送入改进OANet的上采样模块以及六个PointCN模块，完成整体特征提取的过程，得到128维度的通道信息。

进一步地，所述步骤S22中，改进OANet的下采样模块结构为：在原有的下采样模块的PointCN之前插入一个SENet模块。

进一步地，所述步骤S22中，改进OANet的上采样模块结构为：在原有的上采样模块的PointCN之前插入一个SENet模块。

进一步地，步骤S3具体为：采用一个1×1的卷积模块，对经过步骤S2特征提取后的128维度的通道信息进行压缩，形成的一个N×1维度向量，并且使用激活函数tanh和relu对该N×1维度向量进行处理，得到一个属于[0,1)的权重。

进一步地，步骤S4具体为：对步骤S3的初步预测结果，通过加权8点算法进行回归运算，得到本质矩阵

如下：

式中，g(·,·)为加权8点算法，D表示初始的匹配组，x_out表示步骤S3输出的权重；该本质矩阵反映了空间一点P的像点在不同视角摄像机下摄像机坐标系中的表示之间的关系。

与现有技术相比，本发明有以下有益效果：本发明引入了通道注意力的方法，可以解决匹配问题中初始匹配的错误匹配过多的问题，大大改善了OANet的性能，能够有效地减少错匹配信息的干扰，提高匹配的性能。

附图说明

图1为本发明实施例的PointCN模块示意图。

图2为本发明实施例的下采样模块改进示意图。

图3为本发明实施例的上采样模块改进示意图。

图4为本发明实施例的总体原理框图。

图5为本发明实施例的方法流程示意图。

图6为本发明实施例在YFCC100M数据集进行特征匹配的效果图。其中，(a)、(b)与(c)分别为三种场景示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本实施例通过分析输入需要匹配的特征，然后经过新型深度神经网络训练自适应地输出匹配好的匹配对。具体地说，给定两张图片中特征点的对应关系，将图像特征匹配问题表述为二分类问题。即：给定两张图片中特征点的初始对应关系(初始匹配)深度学习将图像特征匹配问题当作为二分类问题。其中，1表示正确的匹配，0表示错误的匹配。为了解决这个问题，本实施例构造端到端的神经网络框架(如图4所示)，即输入数据通过本实施例的网络可以得到匹配的权重，然后通过权重计算匹配为正确匹配或者错误匹配。具体来说，小于或等于的0权重把它看成错误匹配0，大于0的权重我们把它看成正确匹配1。为了有效的解决匹配中数据存在大量错匹配点的问题，本实施例引入了基于通道注意力的方法。值得注意的是通道注意力机制可以有选择的削弱无用的通道信息，增强有用的通道信息。基于这个特性，通道注意力机制正好可以解决匹配问题中初始匹配的错误匹配过多的问题，注意力机制可以削弱含有无用的错误匹配的通道信息，增强有用的正确匹配的信息。具体来说，本实施例的方法是在OANet的网络模型基础上引入通道注意力机制。试验结果表明，本实施例的方法大大改善了OANet的性能，取得了YFCC100M数据集上当前最好的性能。

如图4以及图5所示，本实施例提供的一种基于注意力机制神经网络的图像匹配方法，具体包括以下步骤：

步骤S1：构建数据集并对数据集中的数据进行特征增强；

步骤S2：通过改进的OANet网络对数据集中的特征进行特征提取；

步骤S3：采用提取的特征进行压缩后得到初步的预测结果；

步骤S4：对初步预测结果通过加权8点算法进行计算，得到本质矩阵。

在本实施例中，所述步骤S1具体包括以下步骤：

步骤S11：对于给定的图像对(I,I')，采用SIFT算法分别提取I与I'的特征点kp_i，kp'_i；则由图像I提取的特征点集为KP＝{kp_i}_i∈N，由图像I'提取的特征点集为KP'＝{kp'_i}_i∈N；提取出两个图片的特征点后，基于特征点的描述子生成两个图片之间的初始的匹配集合D，每个对应关系(kp_i,kp'_i)可以生成4维的数据(输入数据)，分别代表特征点在图像中的坐标位置，初始的匹配集合D如下：

D＝[d₁；d₂；d₃；......d_N；]；

其中，

d_i＝[x_i,y_i,x'_i,y'_i]；

式中，D为N×4大小的数据，将D作为输入数据，d_i表示匹配对，(x_i,y_i)，(x'_i,y'_i)表示匹配中两个特征点的坐标，其中(x_i,y_i)为I中的坐标，(x'_i,y'_i)为I'中的坐标；

步骤S12：采用一个1×1的卷积模块，对输入数据D进行特征提取，将D转化为一个128维的特征向量，即D(1×N×4)→D(1×N×128)，其中，N为匹配点对的个数。

在本实施例中，所述步骤S2具体包括以下步骤：

步骤S21：将128维的输入数据D使用六个PointCN模块来捕捉N个匹配点之间的全局信息，每两个PointCN使用一个残差映射进行连接，可以防止随着网络加深出现梯度爆炸或梯度消失的情况；

步骤S22：将经过六个PointCN模块之后的数据输入改进OANet的下采样模块中，将N×128的特征数据压缩成大小为500×128的顺序感知块进行全局信息的捕捉，这样设计的好处是通过压缩数据，使得每一维的数据含有更多的全局信息，更利于全局信息的提取，同时压缩数据还能使得网络的运算时间降低，然后再将数据依次送入改进OANet的上采样模块以及六个PointCN模块，完成整体特征提取的过程，得到128维度的通道信息。

在本实施例中，所述步骤S22中，改进OANet的下采样模块结构为：在原有的下采样模块的PointCN之前插入一个SENet模块。如图2所示，其中的(a)为原OANet的下采样模块，(b)为改进后的OANet的下采样模块。

在本实施例中，所述步骤S22中，改进OANet的上采样模块结构为：在原有的上采样模块的PointCN之前插入一个SENet模块。如图3所示，其中的(a)为原OANet的上采样模块，(b)为改进后的OANet的上采样模块。

本实施例在PointCN模块学习软分配矩阵前，映入SENet模块(即通道注意模块)，对输入的向量进行有选择通道增强和削弱，使得更有用的信息来主导形成分配矩阵，提高上采样和下采样的质量，通过引入SENet模块能够让网络自适应的去选择有用的通道信息，来解决输入中存在大量错匹配点的问题。

在本实施例中，步骤S3具体为：采用一个1×1的卷积模块，对经过步骤S2特征提取后的128维度的通道信息进行压缩，形成的一个N×1维度向量，并且使用激活函数tanh和relu对该N×1维度向量进行处理，得到一个属于[0,1)的权重。即，f_x＝relu(tanh(x_out))，得到[0,1)的权重。0表示错误匹配，大于0则表示正确匹配。在整个网络的训练中，本实施例采用交叉熵损失函数来指导网络的学习，如公式所示：

式中，y_i表示label，y'_i表示预测值。

在本实施例中，步骤S4具体为：对步骤S3的初步预测结果，通过加权8点算法进行回归运算，得到本质矩阵

如下：

式中，g(·,·)为加权8点算法，D表示初始的匹配组，x_out表示步骤S3输出的权重；该本质矩阵反映了空间一点P的像点在不同视角摄像机下摄像机坐标系中的表示之间的关系。其中，公式中使用的加权8点算法描述如下：给予初始匹配组D，首先生成矩阵

其中，对于每个匹配d_i(d_i＝[x_i,y_i,x'_i,y'_i])，构建矩阵X的每行[x_ix'_i,x_iy'_i,x_i,y_ix'_i,y_iy'_i,y_i,x'_i,y'_i,1]。再结合给予的权重x_out，加权8点算法定义如下：

||X^Tdiag(x_out)XVec(E)||

式中，Vec(E)是与X^Tdiag(x_out)X最小特征值相关的特征向量。diag(x_out)为权重x_out的对角矩阵。

图6是本实施例在YFCC100M数据集进行特征匹配的效果图，由图6可以看出采用本实施例的方法在3中情形下均能实现准确的匹配。表1为本实施例与其他几种特征匹配算法在YFCC100M的准确率量化对比。其中，对比的方法有learning to find goodcorrespondences(PointCN)(Kwang Yi,Eduard Trulls,Yuki Ono,Vincent Lepetit,Mathieu Salzmann,and Pascal Fua,“Learning to find good correspondences,”inProceedings of the IEEE Conference on Computer Vision and PatternRecognition,2018,pp.2666–2674.)、Learning two view correspondences andgeometry using order-aware network(OANet)(Jiahui Zhang,Dawei Sun,Zixin Luo,Anbang Yao,Lei Zhou,Tianwei Shen,Yurong Chen,Long Quan,and Hongen Liao,“Learning two view correspondences and geometry using order-aware network,”inProceedings of the IEEE International Conference on Computer Vision,2019,pp.5845–5854.)、PointNet++(Charles R Qi,Hao Su,Kaichun Mo,and Leonidas JGuibas.Pointnet:Deep learning on point sets for 3d classification andsegmentation.In Computer Vision and Pattern Recognition(CVPR),2017.)、Neuralnearest neighbors net-works(N3Net)(Tobias Plotz and Stefan Roth.Neuralnearest neighbors net-works.In Advances in Neural Information ProcessingSystems(NIPS),2018)、DFE(Rene Ranftl and Vladlen Koltun.Deep fundamentalmatrix′estimation.In European Conference on Computer Vision(ECCV),2018.)。

从表1中，可以看到本发明显著提升了特侦匹配准确率，相同的数据集使用六种方法进行试验，本发明的方法取得最好的效果。

表1

算法	MAP5	MAP5(RANSAC)
			POINTCN	23.55	47.98
POINTNET++	14.05	46.23
			N3NET	13.18	49.12
DFE	29.70	49.45
			OANET	39.33	52.18
本发明方法	45.20	53.62

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (7)

1.一种基于注意力机制神经网络的图像匹配方法，其特征在于，包括以下步骤：

步骤S1：构建数据集并对数据集中的数据进行特征增强；

步骤S2：通过改进的OANet网络对数据集中的特征进行特征提取；

步骤S3：采用提取的特征进行压缩后得到初步的预测结果；

步骤S4：对初步预测结果通过加权8点算法进行计算，得到本质矩阵。

2.根据权利要求1所述的一种基于注意力机制神经网络的图像匹配方法，其特征在于，所述步骤S1具体包括以下步骤：

步骤S11：对于给定的图像对(I,I')，采用SIFT算法分别提取I与I'的特征点kp_i，kp'_i；则由图像I提取的特征点集为KP＝{kp_i}_i∈N，由图像I'提取的特征点集为KP'＝{kp'_i}_i∈N；提取出两个图片的特征点后，基于特征点的描述子生成两个图片之间的初始的匹配集合D，每个对应关系(kp_i,kp'_i)可以生成4维的数据，分别代表特征点在图像中的坐标位置，初始的匹配集合D如下：

D＝[d₁；d₂；d₃；......d_N；]；

其中，

d_i＝[x_i,y_i,x'_i,y'_i]；

式中，D为N×4大小的数据，将D作为输入数据，d_i表示匹配对，(x_i,y_i)，(x'_i,y'_i)表示匹配中两个特征点的坐标，其中(x_i,y_i)为I中的坐标，(x'_i,y'_i)为I'中的坐标；

步骤S12：采用一个1×1的卷积模块，对输入数据D进行特征提取，将D转化为一个128维的特征向量，即D(1×N×4)→D(1×N×128)，其中，N为匹配点对的个数。

3.根据权利要求2所述的一种基于注意力机制神经网络的图像匹配方法，其特征在于，所述步骤S2具体包括以下步骤：

步骤S21：将128维的输入数据D使用六个PointCN模块来捕捉N个匹配点之间的全局信息，每两个PointCN使用一个残差映射进行连接；

步骤S22：将经过六个PointCN模块之后的数据输入改进OANet的下采样模块中，将N×128的数据压缩成大小为500×128的顺序感知块进行全局信息的捕捉，然后再将数据依次送入改进OANet的上采样模块以及六个PointCN模块，完成整体特征提取的过程，得到128维度的通道信息。

4.根据权利要求3所述的一种基于注意力机制神经网络的图像匹配方法，其特征在于，所述步骤S22中，改进OANet的下采样模块结构为：在原有的下采样模块的PointCN之前插入一个SENet模块。

5.根据权利要求3所述的一种基于注意力机制神经网络的图像匹配方法，其特征在于，所述步骤S22中，改进OANet的上采样模块结构为：在原有的上采样模块的PointCN之前插入一个SENet模块。

6.根据权利要求3所述的一种基于注意力机制神经网络的图像匹配方法，其特征在于，步骤S3具体为：采用一个1×1的卷积模块，对经过步骤S2特征提取后的128维度的通道信息进行压缩，形成的一个N×1维度向量，并且使用激活函数tanh和relu对该N×1维度向量进行处理，得到一个属于[0,1)的权重。

7.根据权利要求6所述的一种基于注意力机制神经网络的图像匹配方法，其特征在于，步骤S4具体为：对步骤S3的初步预测结果，通过加权8点算法进行回归运算，得到本质矩阵

如下：

式中，g(·,·)为加权8点算法，D表示初始的匹配组，x_out表示步骤S3输出的权重；该本质矩阵反映了空间一点P的像点在不同视角摄像机下摄像机坐标系中的表示之间的关系。其中，公式中使用的加权8点算法描述如下：给予初始匹配组D，首先生成矩阵

其中，对于每个匹配d_i(d_i＝[x_i,y_i,x'_i,y'_i])，构建矩阵X的每行[x_ix'_i,x_iy'_i,x_i,y_ix'_i,y_iy'_i,y_i,x'_i,y'_i,1]。再结合给予的权重x_out，加权8点算法定义如下：

||X^Tdiag(x_out)XVec(E)||

式中，Vec(E)是与X^Tdiag(x_out)X最小特征值相关的特征向量。diag(x_out)为权重x_out的对角矩阵。

Images