CN112308137B - 一种利用注意力机制聚合邻域点和全局特征的图像匹配方法 - Google Patents

Abstract

本发明涉及一种利用注意力机制聚合邻域点和全局特征的图像匹配方法，首先通过邻居搜索算法为每一个特征点寻找欧式空间中最近的若干的邻域点，对于这些领域点进行编码相对点的位置，然后将这些点位置与对应点特征串联获得一个新的增强特征值。这些特征值通过注意力权重的筛选留下关键特征，我们将这些关键特征与全局特征融合来去除误匹配。本发明能够提高匹配精度和速度。

Description

一种利用注意力机制聚合邻域点和全局特征的图像匹配方法

技术领域

本发明涉及计算机视觉技术领域，特别是一种利用注意力机制聚合邻域点和全局特征的图像匹配方法。

背景技术

图像匹配是计算机视觉一项重要的研究领域。它被广泛应用在很多领域的预处理中，比如，三维重建，同时定位和映射，全景拼接，立体匹配等等。它主要由两步构成构建匹配对和移除错误匹配。

目前存在很多图像匹配的方法。可以将它们分为参数方法、非参数方法和基于学习方法。参数方法是解决匹配问题的流行策略，比如RANSAC及其变体：PROSAC和USAC。具体来说，它首先进行随机最小子集采样，生成单应性矩阵或基本矩阵，然后验证矩阵(它是否是最小的可能的离群值子集)并循环第一步和第二步。但是，这些方法有两个基本的缺点：1)当正确匹配占总匹配的比率较低时，它们(参数方法)不能有效地工作；2)它们无法表达复杂模型非参数方法挖掘本地信息以进行对应选择。假设在视角变化或非刚性变形下，同一场景或物体的图像对的特征点之间的空间邻域关系相似。基于这一事实，研究人员使用空间邻居关系来去除错误匹配。研究人员使用超像素来获取特征匹配问题的特征外观并建立图的邻接矩阵。节点表示潜在的对应关系，链接上的权重表示潜在的匹配之间的成对协议。这些方法涉及匹配之间的兼容性信息。但是，他们没有从兼容的通信中挖掘本地信息。

基于深度学习的方法在各种计算机视觉任务中都取得了巨大的成功。许多研究人员试图采用基于学习的方法来解决匹配任务。它们可以大致分为两类：使用深度学习架构，以及类似Point-Net的架构，从相同或相似场景的图像对构造稀疏点对应关系。尽管已证明基于学习的方法优于参数方法和非参数方法，但在生成的假定匹配中Choy等人的网络模型仍然存在大量错误匹配。MooYi等人的网络模型通过上下文标准化捕获全局上下文信息，并将上下文信息嵌入节点中，但是其上下文标准化很容易受到其他匹配对的影响。基于学习的方法虽然已经能够在各种数据集上取得的优良的效果，但网络层中的批归一化常常受制于批量大小，而且不同的卷积用同样的归一化导致性能不佳，因此如何灵活的切换具有较大的挑战性。

为有效应对匹配过程中存在的这些难点，提出了一种端到端网络。给定两个视图中特征点的对应关系，现有的基于深度学习的方法将特征匹配问题表述为二进制分类问题。在这些方法中，规范化在网络性能中起着重要作用。但是，它们在整个网络的所有规范化层中采用相同的规范化器，这将导致性能欠佳。

发明内容

有鉴于此，本发明的目的是提供一种利用注意力机制聚合邻域点和全局特征的图像匹配方法，提出了聚合邻域点模块。在现有匹配技术中，常用全局上下文归一化来学习全局特征，全局上下文信息对局部特征的学习往往是不够的。该模块针对这一缺点，对局部信息进行编码，数据增强，聚合，再将这些信息与全局上下文信息相结合从而更有效的学习图片中的特征。因此，本发明能够提高匹配精度。

本发明采用以下方案实现：一种利用注意力机制聚合邻域点和全局特征的图像匹配方法，包括以下步骤：

步骤S1：数据集处理：提供一图像对(I,I')，使用基于黑塞映射的检测子分别从每个图像中提取特征点kp_i,kp′_i；则图像I的信息提取的特征点集为KP＝{kp_i}_i∈N；从图像I′获得特征点集KP′＝{kp′_i}_i∈N；每个对应关系(kp_i,kp′_i)能生成4D数据：

D＝[d₁；d₂；d₃；.......d_N；]，d_i＝[x_i,y_i,x′_i,y′_i]

D表示图像对的匹配组即输入数据，d_i表示匹配对，(x_i,y_i)，(x′_i,y′_i)表示匹配中两个特征点的坐标；

步骤S2：利用注意力机制选取关键邻域点特征(LFA)：在给定输入图像特征点集KP′＝{kp′_i}_i∈N；每个对应关系(kp_i,kp′_i)的情况下，对于特征点集中第i个点，它的坐标为p_i，聚合其K个最近点的几何图案和特征，并最终生成特征向量

步骤S3：通过空间层转化实现特征的空间和局部特征向量两个维度结合；

步骤S4：在测试阶段，采用深度神经网络训练的方法，将残差网络的输出设为初步预测结果x_out，并且使用激活函数tanh和relu对初步预测结果进行处理，即对于初步预测结果用f_x进行操作处理，f_x＝relu(tanh(x_out))，得到预测值为0，1，0表示错误匹配，1表示正确匹配的最终结果；

在整个网络的训练中，采用交叉熵损失函数来指导网络的学习；如公式所示：

其中，y_i就表示label，y'_i表示预测值。

进一步地，所述步骤S2的具体内容为：

从图像I′获得特征点集KP′＝{kp′_i}_i∈N，然后利用邻搜索算法为每一个点i^th收集其相邻点，对于中心点p_i的每个最近的K个点

明确编码相对点位置如下所示:

接下来对每个中心点p_i的邻域点

进行邻域点特征增强，把原始的邻域点所具有的特征f_i ^k和对点位置编码后的r_i ^k拼接起来，组成新的特征

对于图片中提取一组局部特征给定一组局部特征

设计了一个共享函数

来为每个功能学习唯一注意力得分；基本上，函数g(x)包含一个共享MLP，然后接着softmax；它的正式定义如下：

其中W是共享多层权重感知机的可学习权重；

表示学到的注意力分数；

学到的注意力分数作为自动选择重要特征的最优权重；这些特征的加权总和如下：

在给定输入图像特征点集KP′＝{kp′_i}_i∈N；每个对应关系(kp_i,kp′_i)的情况下，对于i^th点p_i，聚合其K个最近点的几何图案和特征，并最终生成特征向量

进一步地，所述步骤S3的具体内容为：

先利用转置将特征向量

通过卷积扩展到空间维度和局部维度特征的空间和局部特征维度；之后，将批归一化和ReLU函数当作残差网络连接，用以使处理后从图中输出的数据具有稳定的空间关系；使用残差网络对增强后的特征

即映射后的特征向量进行特征提取，用权重共享感知机在空间维度建立起点与点之间的联系，从而抓取全局上下文的信息，并输出初步预测结果。

与现有技术相比，本发明具有以下有益效果：

本发明提出了注意力机制聚合邻域点块，该块结合了针对邻域点信息对特征点信息的影响和局部特征与全局特征结合可以提精度的优点。因此，本发明最终能提高匹配精度。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的神经网络构架图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供一种利用注意力机制聚合邻域点和全局特征的图像匹配方法，首先对原始数据进行数据集处理，其次对处理后的数据进行特征增强，然后对增强后的特征进行提取特征，最后在测试阶段输出结果；包括以下步骤：

步骤S1：数据集处理：提供一图像对(I,I')，使用基于黑塞映射的检测子分别从每个图像中提取特征点kp_i,kp′_i；则图像I的信息提取的特征点集为KP＝{kp_i}_i∈N；从图像I′获得特征点集KP′＝{kp′_i}_i∈N；每个对应关系(kp_i,kp′_i)能生成4D数据：

D＝[d₁；d₂；d₃；.......d_N；]，d_i＝[x_i,y_i,x′_i,y′_i]

D表示图像对的匹配组即输入数据，d_i表示匹配对，(x_i,y_i)，(x′_i,y′_i)表示匹配中两个特征点的坐标；

步骤S2：利用注意力机制选取关键邻域点特征(LFA)：在给定输入图像特征点集KP′＝{kp′_i}_i∈N；每个对应关系(kp_i,kp′_i)的情况下，对于特征点集中第i个点，它的坐标为p_i，聚合其K个最近点的几何图案和特征，并最终生成信息量丰富的特征向量

步骤S3：通过空间层转化实现特征的空间和局部特征向量两个维度结合；

步骤S4：在测试阶段，采用深度神经网络训练的方法，将残差网络的输出设为初步预测结果x_out，并且使用激活函数tanh和relu对初步预测结果进行处理，即对于初步预测结果用f_x进行操作处理，f_x＝relu(tanh(x_out))，得到预测值为0，1，0表示错误匹配，1表示正确匹配的最终结果；

在整个网络的训练中，为了让网络往获取更多正确匹配的结果方向训练，采用交叉熵损失函数来指导网络的学习；如公式所示：

其中，y_i就表示label，y'_i表示预测值。

在本实施例中，所述步骤S2的具体内容为：

从图像I′获得特征点集KP′＝{kp′_i}_i∈N，然后利用邻搜索算法为每一个点i^th收集其相邻点，对于中心点p_i的每个最近的K个点

明确编码相对点位置如下所示:

接下来我们对每个中心点p_i的邻域点

进行邻域点进行特征增强，把原始的邻域点所具有的特征f_i ^k和对点位置编码后的r_i ^k拼接起来，组成新的特征

对于图片中提取一组局部特征

设计了一个共享函数

来为每个功能学习唯一注意力得分；基本上，函数g(x)包含一个共享多层权重感知机，然后接着softmax回归函数；g(x)的正式定义如下：

其中W是共享多层权重感知机的可学习权重；

表示学到的注意力分数。

学到的注意力分数作为自动选择重要特征的最优权重；这些特征的加权总和如下：

在给定输入图像特征点集KP′＝{kp′_i}_i∈N；每个对应关系(kp_i,kp′_i)的情况下，对于特征点集中第i个点，它的坐标为p_i，聚合其K个最近点的几何图案和特征，最终生成特征向量

在本实施例中，所述步骤S3的具体内容为：

先利用转置将特征向量

通过卷积扩展到空间维度和局部维度特征的空间和局部特征维度；之后，将批归一化和ReLU函数当作残差网络连接，用以使处理后从图中输出的数据具有稳定的空间关系；使用残差网络对增强后的特征

即映射后的特征向量进行特征提取，用权重共享感知机在空间维度建立起点与点之间的联系，从而抓取全局上下文的信息，并输出初步预测结果。

较佳的，在本实施例中，通过分析输入需要匹配的特征，然后寻找这些特征的邻域点进行编码形成新的相对点特征并通过注意力机制保留关键特征。具体地说，首先通过邻居搜索算法为每一个特征点寻找欧式空间中最近的若干的邻域点，对于这些领域点进行编码相对点的位置，然后将这些点位置与对应点特征串联获得一个新的增强特征值。这些特征值通过注意力权重的筛选留下关键特征，我们将这些关键特征与全局特征融合来去除误匹配。

较佳的，在本实施例中，引入邻域特征点聚合(LFA)，以学习特征点的若干领域点形成新的权重点，以解决特征匹配问题。同时，我们首先利用了注意力选取关键邻域点特征，该块选取了邻域特征点聚合(LFA)形成的新的特征点中最合适的点，充分发挥邻域点能形成最优特征点的优点。较佳的，本实施例通过分析输入需要匹配的特征，然后经过深度神经网络训练自适应地输出匹配好的匹配对。具体地说，给定两个视图中特征点的对应关系，将图像特征匹配问题表述为二分类问题。即：给定的两个视图中特征点的对应关系-即输入的数据(数据处理)将图像特征匹配问题表述为二分类问题，即我们的网络将匹配数据看成一个二分类问题，1表示正确的匹配，0表示错误的匹配。然后构造端到端的神经网络框架，即输入数据通过本实施例的网络可以直接得到匹配好的输出数据(0，1)，而不需要通过其他步骤。本实施例的网络图在附图2；

结合聚合邻域点可以带来局部特征优化和局部特征与全局特征链接可以提高精度的优点，设计邻域特征点聚合块(LFA)以提升网络性能。所述的一种利用注意力机制聚合邻域点和全局特征的图像匹配方法主要包括：准备数据集、利用注意力机制选取关键邻域点特征、对局部和全局上下文抓取，特征学习和测试。本实施例能够提高匹配精度和速度。

本实施例的方法和当前最先进的匹配方法的定量和定性在公共数据集(COLMAP)上进行，结果表明本实施例的方法明显优于其他算法。

较佳的，表1为本实施例与其他几种匹配算法COLMAP数据集的F-测量值，准确率，召回率量化对比。对比方法有Ransac，LPM，Point-Net，Point-Net++，LCG-Net。从表中，可以看到本实施例显著提升了检测准确率，在六种方法中取得最好的效果。实验结果表明，本发明在基准数据集上达到了最先进的性能。

表1

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (2)

1.一种利用注意力机制聚合邻域点和全局特征的图像匹配方法，其特征在于：包括以下步骤：

步骤S1：数据集处理：提供一图像对(I,I')，使用基于黑塞映射的检测子分别从每个图像中提取特征点kp_i,kp′_i；则图像I的信息提取的特征点集为KP＝{kp_i}_i∈N；从图像I′获得特征点集KP′＝{kp′_i}_i∈N；每个对应关系(kp_i,kp′_i)能生成4D数据：

D＝[d₁；d₂；d₃；.......d_N；]，d_i＝[x_i,y_i,x′_i,y′_i]

D表示图像对的匹配组即输入数据，d_i表示匹配对，(x_i,y_i)，(x′_i,y′_i)表示匹配中两个特征点的坐标；

步骤S2：利用注意力机制选取关键邻域点特征：在给定输入图像特征点集KP′＝{kp′_i}_i∈N；每个对应关系(kp_i,kp′_i)的情况下，对于特征点集中第i个点，它的坐标为p_i，聚合其K个最近点的几何图案和特征，并最终生成特征向量

步骤S3：通过空间层转化实现特征的空间维度和局部特征向量维度的结合；

步骤S4：在测试阶段，采用深度神经网络训练的方法，将残差网络的输出设为初步预测结果x_out，并且使用激活函数tanh和relu对初步预测结果进行处理，即对于初步预测结果用f_x进行操作处理，f_x＝relu(tanh(x_out))，得到预测值为0，1，0表示错误匹配，1表示正确匹配的最终结果；

在整个网络的训练中，采用交叉熵损失函数来指导网络的学习；如公式所示：

其中，y_i就表示label，y'_i表示预测值；

通过分析输入需要匹配的特征，然后寻找这些特征的邻域点进行编码形成新的相对点特征并通过注意力机制保留关键特征；首先通过邻居搜索算法为每一个特征点寻找欧式空间中最近的若干的邻域点，对于这些领域点进行编码相对点的位置，然后将这些点位置与对应点特征串联获得一个新的增强特征值；这些特征值通过注意力权重的筛选留下关键特征，我们将这些关键特征与全局特征融合来去除误匹配；

所述步骤S3的具体内容为：

先利用转置将特征向量

通过卷积扩展到空间维度和局部维度；之后，将批归一化和ReLU函数当作残差网络连接，用以使处理后从图中输出的数据具有稳定的空间关系；使用残差网络对增强后的特征

即映射后的特征向量进行特征提取，用权重共享感知机在空间维度建立起点与点之间的联系，从而抓取全局上下文的信息，并输出初步预测结果。

2.根据权利要求1所述的一种利用注意力机制聚合邻域点和全局特征的图像匹配方法，其特征在于：所述步骤S2的具体内容为：

从图像I′获得特征点集KP′＝{kp′_i}_i∈N，然后利用邻搜索算法为每一个点i^th收集其相邻点，对于中心点p_i的每个最近的K个点

明确编码相对点位置如下所示:

接下来对每个中心点p_i的邻域点

进行邻域点特征增强，把原始的邻域点所具有的特征f_i ^k和对点位置编码后的r_i ^k拼接起来，组成新的特征

对于图片中提取一组局部特征

设计了一个共享函数

来为每个功能学习唯一注意力得分；函数g(x)包含一个共享多层权重感知机，然后接着softmax回归函数；g(x)的正式定义如下：

其中W是共享多层权重感知机的可学习权重；

表示学到的注意力分数；

学到的注意力分数作为自动选择重要特征的最优权重；这些特征的加权总和如下：

在给定输入图像特征点集KP′＝{kp′_i}_i∈N；每个对应关系(kp_i,kp′_i)的情况下，对于特征点集中第i个点，它的坐标为p_i，聚合其K个最近点的几何图案和特征，并最终生成特征向量

Images