CN110751223B - 一种图像匹配方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开实施例提供了一种图像匹配方法、装置、电子设备及存储介质。该方法包括：分别生成两个待匹配图像的描述子矩阵；计算两个待匹配图像的描述子矩阵的相似度矩阵；将相似度矩阵输入至预先训练完成的神经网络模型，得到两个待匹配图像的匹配概率矩阵；该匹配概率矩阵为：以分属于两个待匹配图像的每两个像素点的匹配概率为元素的矩阵；基于匹配概率矩阵，确定两个待匹配图像的图像匹配结果。本公开实施例提供的方案，可以提高对图像进行匹配处理的成功概率，尤其对于纹理重复较多或者纹理较弱的图像来说，也可实现有效的图像匹配。

Description

一种图像匹配方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像匹配方法、装置、电子设备及存储介质。

背景技术

图像匹配是识别两个图像中，所呈现内容为相同内容的像素点的技术，普遍应用于地图构建和相机运动估计等场景中。

相关技术中，图像匹配方法包括：针对待匹配的两个图像，首先识别两个图像中的关键点；然后，通过计算关键点对应的描述子的相似度，从两个图像中的关键点中，识别匹配的各个关键点对，作为图像匹配结果。其中，关键点对应的描述子为用于表征关键点所在区域的纹理信息的向量；并且，每个匹配的关键点对中的两个关键点位于不同的待匹配的图像，且需要互为彼此的最佳匹配关键点。这里，待匹配图像中关键点的最佳匹配关键点，是指在另一待匹配图像的各个关键点中，所对应描述子与该关键点对应的描述子相似度最高的一个关键点。

然而，对于纹理重复较多或者纹理较弱的图像来说，由于所处区域的纹理信息相似的关键点数量较多，故当对这种图像进行图像匹配时，难以从待匹配的两个图像中找到互为彼此的最佳匹配关键点的关键点对，导致无法进行有效的图像匹配。可见，相关技术的图像匹配方法，对图像进行匹配处理的成功概率较低。

发明内容

本公开提供一种图像匹配方法、装置、电子设备及存储介质，以提高对图像进行匹配处理的成功概率。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像匹配方法，包括：

获取两个待匹配图像；

分别生成所述两个待匹配图像的描述子矩阵；其中，每一待匹配图像的描述子矩阵为以该待匹配图像的各个像素点对应的描述子作为元素的矩阵；

将任一所述待匹配图像的描述子矩阵，乘以另一所述待匹配图像的描述子矩阵的转置矩阵，得到所述两个待匹配图像的相似度矩阵；

将所述相似度矩阵输入至预先训练完成的神经网络模型进行像素点匹配处理，得到所述两个待匹配图像的匹配概率矩阵；其中，所述匹配概率矩阵为：以分属于所述两个待匹配图像的每两个像素点的匹配概率为元素的矩阵，所述匹配概率矩阵与所述相似度矩阵，维度相同且相同位置的元素所对应的分属于所述两个待匹配图像的两个像素点相同；

基于所述匹配概率矩阵，确定所述两个待匹配图像的图像匹配结果。

可选地，所述预先训练完成的神经网络模型，为基于训练样本以及所述训练样本的标注信息所训练获得的；

其中，所述训练样本为匹配图像对的相似度矩阵，所述训练样本的标注信息为所述匹配图像对的匹配概率矩阵。

可选地，所述基于所述匹配概率矩阵，确定所述两个待匹配图像的图像匹配结果，包括：

从所述匹配概率矩阵中，筛选匹配概率大于预设阈值的目标元素；

将筛选出的每个目标元素所对应的分属于所述两个待匹配图像的两个像素点，均作为一个目标像素对，得到多个目标像素对；

从所述多个目标像素对中，去除干扰目标像素对，得到剩余的目标像素对；所述干扰目标像素对为：所包含的像素点还包含于其他目标像素对的目标像素对；

将所述剩余的目标像素对作为所述两个待匹配图像的图像匹配结果。

可选地，对所述神经网络模型的训练过程包括：

获取多个匹配图像对；

生成每个所述匹配图像对中的图像的描述子矩阵；

针对每个所述匹配图像对，将该匹配图像对中的任一图像的描述子矩阵，乘以该匹配图像对中的另一图像的描述子矩阵的转置矩阵，得到该匹配图像对的相似度矩阵，作为该匹配图像对所对应的训练样本；

针对每个所述匹配图像对，以分属于该匹配图像对中的两个图像的每两个像素点的匹配结果，构建该匹配图像对的匹配概率矩阵，作为该匹配图像对所对应的训练样本的标注信息；

将每个所述训练样本输入至预先设置的卷积神经网络进行像素点匹配处理，得到该训练样本对应的匹配图像对的匹配概率矩阵；

基于所得到的匹配概率矩阵和所构建的标注信息之间的差异，计算损失值；

若所述损失值小于预设的损失值阈值，完成训练，得到训练完成的所述神经网络模型；

若所述损失值不小于所述损失值阈值，则调整所述卷积神经网络的训练参数，返回所述将每个训练样本输入至预先设置的卷积神经网络进行像素点匹配处理，得到该训练样本对应的匹配图像对的匹配概率矩阵的步骤，继续训练。

可选地，在所述基于所述匹配概率矩阵，确定所述两个待匹配图像的图像匹配结果的步骤之后，所述方法还包括：

基于所述两个待匹配图像的图像匹配结果，估计拍摄所述待匹配图像的相机的运动参数，或执行即时定位与地图构建SLAM。

根据本公开实施例的第二方面，提供一种图像匹配装置，包括：

获取模块，被配置为获取两个待匹配图像；

生成模块，被配置为分别生成所述两个待匹配图像的描述子矩阵；其中，每一待匹配图像的描述子矩阵为以该待匹配图像的各个像素点对应的描述子作为元素的矩阵；

相乘模块，被配置为将任一所述待匹配图像的描述子矩阵，乘以另一所述待匹配图像的描述子矩阵的转置矩阵，得到所述两个待匹配图像的相似度矩阵；

匹配处理模块，被配置为将所述相似度矩阵输入至预先训练完成的神经网络模型进行像素点匹配处理，得到所述两个待匹配图像的匹配概率矩阵；其中，所述匹配概率矩阵为：以分属于所述两个待匹配图像的每两个像素点的匹配概率为元素的矩阵，所述匹配概率矩阵与所述相似度矩阵，维度相同且相同位置的元素所对应的分属于所述两个待匹配图像的两个像素点相同；

确定模块，被配置为基于所述匹配概率矩阵，确定所述两个待匹配图像的图像匹配结果。

可选地，所述预先训练完成的神经网络模型，为基于训练样本以及所述训练样本的标注信息所训练获得的；

其中，所述训练样本为匹配图像对的相似度矩阵，所述训练样本的标注信息为所述匹配图像对的匹配概率矩阵。

可选地，所述确定模块，具体被配置为：

从所述匹配概率矩阵中，筛选匹配概率大于预设阈值的目标元素；

将筛选出的每个目标元素所对应的分属于所述两个待匹配图像的两个像素点，均作为一个目标像素对，得到多个目标像素对；

从所述多个目标像素对中，去除干扰目标像素对，得到剩余的目标像素对；所述干扰目标像素对为：所包含的像素点还包含于其他目标像素对的目标像素对；

将所述剩余的目标像素对作为所述两个待匹配图像的图像匹配结果。

可选地，对所述神经网络模型的训练过程包括：

获取多个匹配图像对；

生成每个所述匹配图像对中的图像的描述子矩阵；

针对每个所述匹配图像对，将该匹配图像对中的任一图像的描述子矩阵，乘以该匹配图像对中的另一图像的描述子矩阵的转置矩阵，得到该匹配图像对的相似度矩阵，作为该匹配图像对所对应的训练样本；

针对每个所述匹配图像对，以分属于该匹配图像对中的两个图像的每两个像素点的匹配结果，构建该匹配图像对的匹配概率矩阵，作为该匹配图像对所对应的训练样本的标注信息；

将每个所述训练样本输入至预先设置的卷积神经网络进行像素点匹配处理，得到该训练样本对应的匹配图像对的匹配概率矩阵；

基于所得到的匹配概率矩阵和所构建的标注信息之间的差异，计算损失值；

若所述损失值小于预设的损失值阈值，完成训练，得到训练完成的所述神经网络模型；

若所述损失值不小于所述损失值阈值，则调整所述卷积神经网络的训练参数，返回所述将每个训练样本输入至预先设置的卷积神经网络进行像素点匹配处理，得到该训练样本对应的匹配图像对的匹配概率矩阵的步骤，继续训练。

可选地，所述装置还包括：图像匹配结果应用模块；

所述图像匹配结果应用模块，被配置为在所述确定模块基于所述匹配概率矩阵，确定所述两个待匹配图像的图像匹配结果之后，基于所述两个待匹配图像的图像匹配结果，估计拍摄所述待匹配图像的相机的运动参数，或执行即时定位与地图构建SLAM。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现上述任一所述的图像匹配方法。

根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述任一所述的图像匹配方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品由电子设备的处理器执行时，使得电子设备能够执行上述任一所述的图像匹配方法。

本公开实施例提供的技术方案至少带来以下有益效果：

本公开实施例提供的图像匹配方法中，利用两个待匹配图像的相似度矩阵，可以计算两个待匹配图像的相似度矩阵；将所计算的相似度矩阵输入至预先训练完成的神经网络模型，可以得到两个待匹配图像的匹配概率矩阵，该匹配概率矩阵为以分属于所述两个待匹配图像的每两个像素点的匹配概率为元素的矩阵，且该匹配概率矩阵与两个待匹配图像的相似度矩阵，维度相同且相同位置的元素所对应的分属于这两个待匹配图像的两个像素点相同；然后，基于该匹配概率矩阵，可以确定两个待匹配图像的图像匹配结果。由于两个待匹配图像的相似度矩阵属于全局信息，因此，该神经网络模型在预测两个待匹配图像的匹配概率矩阵时，可以充分利用两个待匹配图像中的各个像素点的上下文环境，直接预测得到这两个待匹配图像的匹配概率矩阵；无需从这两个待匹配图像中找到互为彼此的最佳匹配关键点的关键点对。因此，本方案可以提高对图像进行匹配处理的成功概率，尤其对于纹理重复较多或者纹理较弱的图像来说，也可以实现有效的图像匹配。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像匹配方法的流程图。

图2是图1所示的图像匹配方法中所使用网络模型的训练过程的流程图。

图3是根据一示例性实施例示出的一种图像匹配装置的框图。

图4是根据一示例性实施例示出的一种电子设备的框图。

图5是根据一示例性实施例示出的一种用于图像匹配的装置的框图

图6是根据一示例性实施例示出的另一种用于图像匹配的装置的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

为了提高对图像进行匹配处理的成功概率，本公开实施例提供了一种图像匹配方法、装置、电子设备及存储介质。

其中，本公开实施例提供的图像匹配方法的执行主体，可以为一种图像匹配装置；该装置可以应用于电子设备中。具体的，该电子设备可以为终端设备或服务器。当该电子设备为终端设备时，该终端设备可以为移动电话、计算机、拍摄设备、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备，或个人数字助理等。

图1是根据一示例性实施例示出的一种图像匹配方法的流程图，如图1所示，该方法可以包括以下步骤。

在步骤S11中，获取两个待匹配图像。

这里，待匹配图像可以是拍摄到的原始图像，也可以是对拍摄到的原始图像进行采样所得的采样图像。

在步骤S12中，分别生成两个待匹配图像的描述子矩阵。

其中，每一待匹配图像的描述子矩阵为以该待匹配图像的各个像素点对应的描述子作为元素的矩阵。这里，像素点对应的描述子为：用于表征像素点所在区域的纹理信息的向量，通常为多维向量。

该步骤中，分别生成两个待匹配图像的描述子矩阵的具体实现方式可以包括：针对每个待匹配图像，计算该待匹配图像的每个像素点的描述子；然后，以各个像素点的描述子作为矩阵的元素，构建待匹配图像的描述子矩阵。可以理解的是，在构建描述子矩阵时，像素点的描述子的排列方式，可以与像素点在待匹配图像中的排列方式相同。其中，计算像素点的描述子的算法存在多种，如SIFT(Scale invariant feature transform，尺度不变特征转换)算法、ORB(Oriented FAST and Rotated BRIEF)算法或SURF算法等等，这里，SURF算法是SIFT算法的优化算法。此外，还可以使用网络预测方法计算像素点的描述子，如SuperPoint等等。这里，SuperPoint是一种现有的通过深度学习网络提取图像特征的方法。

在步骤S13中，将任一待匹配图像的描述子矩阵，乘以另一待匹配图像的描述子矩阵的转置矩阵，得到两个待匹配图像的相似度矩阵。

举例而言，假设用维度H代表像素点在待匹配图像的高度方向上的坐标，用维度W代表像素点在待匹配图像的宽度方向上的坐标，用维度D代表像素点对应的描述子的维度；那么，两个待匹配图像的描述子矩阵可以分别表示为H₁×W₁×D和H₂×W₂×D；那H₁×W₁×D乘以H₂×W₂×D的转置矩阵，得到的乘积结果为：维度为H₁W₁×H₂W₂的矩阵，该维度为H₁W₁×H₂W₂的矩阵，即为两个待匹配图像的相似度矩阵。

可以理解的是，该步骤中所计算的相似度矩阵中的元素，为分属于这两个待匹配图像的每两个像素点的描述子的相似度。这样，相似度矩阵中的每个元素，均对应两个像素点，且这两个像素点，是分属于两个待匹配图像的。

在步骤S14中，将该相似度矩阵输入至预先训练完成的神经网络模型进行像素点匹配处理，得到两个待匹配图像的匹配概率矩阵。

其中，该匹配概率矩阵为：以分属于这两个待匹配图像的每两个像素点的匹配概率为元素的矩阵，且该匹配概率矩阵与该相似度矩阵，维度相同且相同位置的元素所对应的分属于所述两个待匹配图像的两个像素点相同。

举例而言，假如将上述的维度为H₁W₁×H₂W₂的相似度矩阵输入至该神经网络模型后，该神经网络模型输出的匹配概率矩阵，同样为维度为H₁W₁×H₂W₂的矩阵。

该步骤中，所使用的神经网络模型，为基于训练样本以及所述训练样本的标注信息所训练获得的。其中，训练样本为匹配图像对的相似度矩阵，训练样本的标注信息为匹配图像对的匹配概率矩阵。

可以理解的是，每个匹配图像对均包括两个图像。在实际应用中，可以对图像进行变形，然后将变形前的图像和变形后的图像，作为匹配图像对。或者，还可以采用不同的拍摄设备，分别对同一场景或同一事物进行拍摄；然后，从不同的拍摄设备所分别拍摄的图像中，每次任取两个作为一个匹配图像对，从而得到多个匹配图相对。这样，每个匹配图像对中的两个图像，哪些区域是匹配的均是已知的，从而可以标注出两个图像间匹配的像素点，进而构建该匹配图像对的匹配概率矩阵。需要说明的是，这里所示出的匹配图像对的生成方式，仅仅作为示例，并不应该构成对本公开实施例的限定。

为了方案清楚及布局清晰，后续对该神经网络模型的训练过程进行示例性的说明。

在步骤S15中，基于该匹配概率矩阵，确定两个待匹配图像的图像匹配结果。

可以理解的是，由于该匹配概率矩阵中的元素，为分属于这两个待匹配图像的每两个像素点的匹配概率，故根据该匹配概率，可以确定这两个待匹配图像间匹配的像素点，从而得到两个待匹配图像的图像匹配结果。

本公开实施例提供的图像匹配方法中，利用两个待匹配图像的相似度矩阵，可以计算两个待匹配图像的相似度矩阵；将所计算的相似度矩阵输入至预先训练完成的神经网络模型，可以得到两个待匹配图像的匹配概率矩阵，该匹配概率矩阵为以分属于所述两个待匹配图像的每两个像素点的匹配概率为元素的矩阵，且该匹配概率矩阵与个待匹配图像的相似度矩阵，维度相同且相同位置的元素所对应的分属于这两个待匹配图像的两个像素点相同；然后，基于该匹配概率矩阵，可以确定两个待匹配图像的图像匹配结果。由于两个待匹配图像的相似度矩阵属于全局信息，因此，该神经网络模型在预测两个待匹配图像的匹配概率矩阵时，可以充分利用两个待匹配图像中的各个像素点的上下文环境，直接预测得到这两个待匹配图像的匹配概率矩阵；无需从这两个待匹配图像中找到互为彼此的最佳匹配关键点的关键点对。因此，本方案可以提高对图像进行匹配处理的成功概率，尤其对于纹理重复较多或者纹理较弱的图像来说，也可以实现有效的图像匹配。

可选地，在一种实现方式中，基于匹配概率矩阵，确定两个待匹配图像的图像匹配结果，可以包括：

从匹配概率矩阵中，筛选匹配概率大于预设阈值的目标元素；

将筛选出的每个目标元素所对应的分属于两个待匹配图像的两个像素点，均作为一个目标像素对，得到多个目标像素对；

从多个目标像素对中，去除干扰目标像素对，得到剩余的目标像素对；这里，干扰目标像素对为：所包含的像素点还包含于其他目标像素对的目标像素对；

将剩余的目标像素对作为两个待匹配图像的图像匹配结果。

可以理解的是，由于匹配概率矩阵与所述相似度矩阵，维度相同且相同位置的元素所对应的分属于所述两个待匹配图像的两个像素点相同，故相似度矩阵中，各元素与分属于两个待匹配图像的像素点的对应关系，与匹配概率矩阵中，各元素与分属于两个待匹配图像的像素点的对应关系是相同的。这样，从该匹配概率矩阵中，可以确定每个目标元素所对应的分属于两个待匹配图像的两个像素点，从而得到多个目标像素对。

另外，还可以理解的是，对于纹理重复或者纹理较弱的待匹配图像来说，有些像素点所匹配的像素点不唯一，即有些像素点，可以包含于多个目标像素对中。假如将这种目标像素对作为图像匹配结果，很容易出现误匹配。因此，去除这种干扰目标像素对后，所得到的图像匹配结果可以较为准确。

在另一种实现方式中，基于匹配概率矩阵，确定两个待匹配图像的图像匹配结果，可以包括：

从匹配概率矩阵中，筛选匹配概率大于预设概率值的目标元素；

确定筛选出的目标元素所对应的目标像素对，作为两个待匹配图像的图像匹配结果。

该实现方式中的预设概率值，相对于上一种基于匹配概率矩阵，确定两个待匹配图像的图像匹配结果的实现方式中的预设阈值，可以设置得相对较高一些。这样，也可以达到减少图像匹配结果中，出现干扰目标像素对的效果，从而得到较为准确的图像匹配结果。

为了方案清楚及布局清晰，下面对步骤S14中所使用的神经网络模型的训练过程进行示例性的说明。如图2所示，该训练过程可以包括：

S21：获取多个匹配图像对；

S22：生成每个匹配图像对中的图像的描述子矩阵；

S23：针对每个匹配图像对，将该匹配图像对中的任一图像的描述子矩阵，乘以该匹配图像对中的另一图像的描述子矩阵的转置矩阵，得到该匹配图像对的相似度矩阵，作为该匹配图像对所对应的训练样本；

S24：针对每个匹配图像对，以分属于该匹配图像对中的两个图像的每两个像素点的匹配结果，构建该匹配图像对的匹配概率矩阵，作为该匹配图像对所对应的训练样本的标注信息；

S25：将每个训练样本输入至预先设置的卷积神经网络进行像素点匹配处理，得到该训练样本对应的匹配图像对的匹配概率矩阵；

S26：基于所得到的匹配概率矩阵和所构建的标注信息之间的差异，计算损失值；

S27：判断损失值是否小于预设的损失值阈值；若损失值小于损失值阈值，完成训练，得到训练完成的神经网络模型；若损失值不小于损失值阈值，则调整卷积神经网络的训练参数，返回步骤S25，继续训练。

其中，关于匹配图像对的生成方式，在步骤S14中已经进行过详细的举例说明，这里不再赘述，步骤S21中直接获取已生成的匹配图像对即可。另外，关于步骤S22中，生成每个匹配图像对中的图像的描述子矩阵的具体实现方式，可以参照对步骤S12的描述中，生成两个待匹配图像的描述子矩阵的具体实现方式；关于步骤S23中，计算匹配图像对的相似度矩阵的具体实现方式，可以参照对步骤S13的描述中，计算两个待匹配图像的相似度矩阵的具体实现方式，这里均不再赘述。

可以理解的是，由于每个匹配图像对中的两个图像，哪些区域是匹配的均是已知的，故可以在这两个图像中，标注出这两个图像间互相匹配的区域；这样，分属于互相匹配的区域中的像素点，便是匹配的像素点；因此，步骤S24中，以分属于匹配图像对中的两个图像的每两个像素点的匹配结果，可以构建匹配图像对的匹配概率矩阵。

在实际应用中，可以使用不同的标识，来标识出分属于匹配图像对中的两个图像的每两个像素点的匹配结果。例如，匹配结果为匹配，可以使用1来进行标识，匹配结果为不匹配，则可以使用0来进行标识。这样，匹配概率矩阵中的元素为1，则代表该元素对应的分属于匹配图像对中的两个图像的两个像素点是匹配的，匹配概率矩阵中的元素为0，则代表该元素对应的分属于匹配图像对中的两个图像的两个像素点是不匹配的。当然，这里所示出的标识匹配结果的方式，仅仅作为示例，并不构成对本公开实施例的限定。

在实际训练神经网络模型的过程中，步骤S25中，可以将所有训练样本分批次输入至卷积神经网络进行像素点匹配处理；并且，在将每个批次的训练样本输入至卷积神经网络进行像素点匹配处理后，在步骤S26中，可以根据所有已经输入至卷积神经网络中的训练样本对应的匹配图像对的匹配概率矩阵以及对应的标注信息之间的差异，计算损失值；若损失值小于损失值阈值，便可以完成训练，无需继续将剩余批次的训练样本输入至卷积神经网络进行像素点匹配处理；若损失值不小于损失值阈值，返回步骤S25时，可以采用相同的训练参数，继续将剩余批次的训练样本输入至卷积神经网络进行像素点匹配处理；或者，调整训练参数，继续将剩余批次的训练样本输入至卷积神经网络进行像素点匹配处理；或者，调整训练参数，将之前批次的训练样本重新输入至卷积神经网络进行像素点匹配处理，等等，这都是合理的。

在步骤S26中，基于所得到的匹配概率矩阵和所构建的标注信息之间的差异，计算损失值，具体可以基于步骤S25中卷积神经网络型所输出的匹配概率矩阵以及标注信息中的匹配概率矩阵的相似度来计算；或者，可以基于步骤S25中卷积神经网络所输出的匹配概率矩阵以及标注信息中的匹配概率矩阵之间，位置相同的元素的差值，计算损失值等等，本公开实施例对此不做限定。

需要说明的是，上述所示出的神经网络模型的训练过程，仅仅作为示例，并不应该构成对本公开实施例的限定。

可以理解的是，当损失值小于预设的损失值阈值时，将两个待匹配图像的相似度矩阵输入至训练完成的神经网络模型中，该神经网络模型便可以直接输出这两个待匹配图像的匹配概率矩阵。

可选地，在一种实现方式中，在基于匹配概率矩阵，确定两个待匹配图像的图像匹配结果后，本公开实施例提供的图像匹配方法，还可以包括：

基于两个待匹配图像的图像匹配结果，估计拍摄待匹配图像的相机的运动参数，或执行即时定位与地图构建SLAM。

其中，基于两个待匹配图像的图像匹配结果，估计拍摄待匹配图像的相机的运动参数，具体可以根据两个待匹配图像的图像匹配结果，利用RANSAC(RANdom SAmpleConsensus)算法以及对极几何的原理，求出拍摄待匹配图像的相机的运动参数，如相机的基本矩阵。其中，RANSAC算法为已有相关技术中，根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。可以理解的是，执行SLAM的过程，可以包含估计拍摄待匹配图像的相机的运动参数的步骤；当估计出相机的运动参数后，可以基于待匹配图像、待匹配图像的图像匹配结果以及所估计的运动参数，执行同时定位与地图构建SLAM。关于如何执行基于待匹配图像、待匹配图像的图像匹配结果以及所估计的运动参数，执行同时定位与地图构建SLAM，非本公开实施例的发明点，本公开实施例对此不展开说明。

需要说明的是，为了方案清楚，本公开实施例针对两个待匹配图像，对图像匹配方法进行了示例性的说明。在实际应用中，利用本公开实施例提供的图像匹配方法，还可以实现对视频的图像匹配。具体的，可以依次将视频中，每两帧相邻的图像作为两个待匹配图像，执行本公开实施例提供的图像匹配方法，从而实现对视频的图像匹配；或者，分别利用两个摄像头，针对同一场景或事物同时进行拍摄，得到两个视频；依次将这两个视频中，时间戳相同的两帧图像，作为两个待匹配图像，执行本公开实施例提供的图像匹配方法，从而实现对视频的图像匹配。

图3是根据一示例性实施例示出的一种图像匹配装置框图。参照图3，该装置可以包括：

获取模块301，被配置为获取两个待匹配图像；

生成模块302，被配置为分别生成所述两个待匹配图像的描述子矩阵；其中，每一待匹配图像的描述子矩阵为以该待匹配图像的各个像素点对应的描述子作为元素的矩阵；

相乘模块303，被配置为将任一所述待匹配图像的描述子矩阵，乘以另一所述待匹配图像的描述子矩阵的转置矩阵，得到所述两个待匹配图像的相似度矩阵；

匹配处理模块304，被配置为将所述相似度矩阵输入至预先训练完成的神经网络模型进行像素点匹配处理，得到所述两个待匹配图像的匹配概率矩阵；其中，所述匹配概率矩阵为：以分属于所述两个待匹配图像的每两个像素点的匹配概率为元素的矩阵，所述匹配概率矩阵与所述相似度矩阵，维度相同且相同位置的元素所对应的分属于所述两个待匹配图像的两个像素点相同；

确定模块305，被配置为基于所述匹配概率矩阵，确定所述两个待匹配图像的图像匹配结果。

可选地，所述预先训练完成的神经网络模型，为基于训练样本以及所述训练样本的标注信息所训练获得的；

其中，所述训练样本为匹配图像对的相似度矩阵，所述训练样本的标注信息为所述匹配图像对的匹配概率矩阵。

可选地，所述确定模块305，具体被配置为：

从所述匹配概率矩阵中，筛选匹配概率大于预设阈值的目标元素；

将筛选出的每个目标元素所对应的分属于所述两个待匹配图像的两个像素点，均作为一个目标像素对，得到多个目标像素对；

从所述多个目标像素对中，去除干扰目标像素对，得到剩余的目标像素对；所述干扰目标像素对为：所包含的像素点还包含于其他目标像素对的目标像素对；

将所述剩余的目标像素对作为所述两个待匹配图像的图像匹配结果。

可选地，对所述神经网络模型的训练过程包括：

获取多个匹配图像对；

生成每个所述匹配图像对中的图像的描述子矩阵；

针对每个所述匹配图像对，将该匹配图像对中的任一图像的描述子矩阵，乘以该匹配图像对中的另一图像的描述子矩阵的转置矩阵，得到该匹配图像对的相似度矩阵，作为该匹配图像对所对应的训练样本；

针对每个所述匹配图像对，以分属于该匹配图像对中的两个图像的每两个像素点的匹配结果，构建该匹配图像对的匹配概率矩阵，作为该匹配图像对所对应的训练样本的标注信息；

将每个所述训练样本输入至预先设置的卷积神经网络进行像素点匹配处理，得到该训练样本对应的匹配图像对的匹配概率矩阵；

基于所得到的匹配概率矩阵和所构建的标注信息之间的差异，计算损失值；

若所述损失值小于预设的损失值阈值，完成训练，得到训练完成的所述神经网络模型；

若所述损失值不小于所述损失值阈值，则调整所述卷积神经网络的训练参数，返回所述将每个训练样本输入至预先设置的卷积神经网络进行像素点匹配处理，得到该训练样本对应的匹配图像对的匹配概率矩阵的步骤，继续训练。

可选地，所述装置还包括：图像匹配结果应用模块；

所述图像匹配结果应用模块，被配置为在所述确定模块基于所述匹配概率矩阵，确定所述两个待匹配图像的图像匹配结果之后，基于所述两个待匹配图像的图像匹配结果，估计拍摄所述待匹配图像的相机的运动参数，或执行即时定位与地图构建SLAM。

本公开实施例提供的图像匹配装置，利用两个待匹配图像的相似度矩阵，可以计算两个待匹配图像的相似度矩阵；将所计算的相似度矩阵输入至预先训练完成的神经网络模型，可以得到两个待匹配图像的匹配概率矩阵，该匹配概率矩阵为以分属于所述两个待匹配图像的每两个像素点的匹配概率为元素的矩阵，且该匹配概率矩阵与个待匹配图像的相似度矩阵，维度相同且相同位置的元素所对应的分属于这两个待匹配图像的两个像素点相同；然后，基于该匹配概率矩阵，可以确定两个待匹配图像的图像匹配结果。由于两个待匹配图像的相似度矩阵属于全局信息，因此，该神经网络模型在预测两个待匹配图像的匹配概率矩阵时，可以充分利用两个待匹配图像中的各个像素点的上下文环境，直接预测得到这两个待匹配图像的匹配概率矩阵；无需从这两个待匹配图像中找到互为彼此的最佳匹配关键点的关键点对。因此，本方案可以提高对图像进行匹配处理的成功概率，尤其对于纹理重复较多或者纹理较弱的图像来说，也可以实现有效的图像匹配。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4是根据一示例性实施例示出的一种电子设备的框图，如图4所示，该电子设备包括：

处理器401；

用于存储所述处理器401可执行指令的存储器402；

其中，所述处理器401被配置为执行所述指令，以实现上述任一所述的图像匹配方法。

图5是根据一示例性实施例示出的一种用于图像匹配的装置500的框图。例如，装置500可以是移动电话、计算机、拍摄设备、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备，或个人数字助理等。

参照图5，装置500可以包括以下一个或多个组件：处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入/输出(I/O)接口512，传感器组件514，以及通信组件516。

处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。

存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。

多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。

I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到装置500的打开/关闭状态，组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述任一所述的图像匹配方法。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述任一所述的图像匹配方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图6是根据一示例性实施例示出的一种用于图像匹配的装置600的框图。例如，装置600可以被提供为一服务器。参照图6，装置600包括处理组件622，其进一步包括一个或多个处理器，以及由存储器632所代表的存储器资源，用于存储可由处理组件622的执行的指令，例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件622被配置为执行指令，以执行上述任一所述的图像匹配方法。

装置600还可以包括一个电源组件626被配置为执行装置600的电源管理，一个有线或无线网络接口650被配置为将装置600连接到网络，和一个输入输出(I/O)接口658。装置600可以操作基于存储在存储器632的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似的操作系统。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由权利要求书来限制。

Claims (12)

1.一种图像匹配方法，其特征在于，包括：

获取两个待匹配图像；

分别生成所述两个待匹配图像的描述子矩阵；其中，每一待匹配图像的描述子矩阵为以该待匹配图像的各个像素点对应的描述子作为元素的矩阵；其中，每一个像素点对应的描述子为：用于表征该像素点所在区域的纹理信息的向量；

将任一所述待匹配图像的描述子矩阵，乘以另一所述待匹配图像的描述子矩阵的转置矩阵，得到所述两个待匹配图像的相似度矩阵；

将所述相似度矩阵输入至预先训练完成的神经网络模型进行像素点匹配处理，得到所述两个待匹配图像的匹配概率矩阵；其中，所述匹配概率矩阵为：以分属于所述两个待匹配图像的每两个像素点的匹配概率为元素的矩阵，所述匹配概率矩阵与所述相似度矩阵，维度相同且相同位置的元素所对应的分属于所述两个待匹配图像的两个像素点相同；

基于所述匹配概率矩阵，确定所述两个待匹配图像的图像匹配结果。

2.根据权利要求1所述的方法，其特征在于，所述预先训练完成的神经网络模型，为基于训练样本以及所述训练样本的标注信息所训练获得的；

其中，所述训练样本为匹配图像对的相似度矩阵，所述训练样本的标注信息为所述匹配图像对的匹配概率矩阵。

3.根据权利要求1所述的方法，其特征在于，所述基于所述匹配概率矩阵，确定所述两个待匹配图像的图像匹配结果，包括：

从所述匹配概率矩阵中，筛选匹配概率大于预设阈值的目标元素；

将筛选出的每个目标元素所对应的分属于所述两个待匹配图像的两个像素点，均作为一个目标像素对，得到多个目标像素对；

从所述多个目标像素对中，去除干扰目标像素对，得到剩余的目标像素对；所述干扰目标像素对为：所包含的像素点还包含于其他目标像素对的目标像素对；

将所述剩余的目标像素对作为所述两个待匹配图像的图像匹配结果。

4.根据权利要求2所述的方法，其特征在于，对所述神经网络模型的训练过程包括：

获取多个匹配图像对；

生成每个所述匹配图像对中的图像的描述子矩阵；

针对每个所述匹配图像对，将该匹配图像对中的任一图像的描述子矩阵，乘以该匹配图像对中的另一图像的描述子矩阵的转置矩阵，得到该匹配图像对的相似度矩阵，作为该匹配图像对所对应的训练样本；

针对每个所述匹配图像对，以分属于该匹配图像对中的两个图像的每两个像素点的匹配结果，构建该匹配图像对的匹配概率矩阵，作为该匹配图像对所对应的训练样本的标注信息；

将每个所述训练样本输入至预先设置的卷积神经网络进行像素点匹配处理，得到该训练样本对应的匹配图像对的匹配概率矩阵；

基于所得到的匹配概率矩阵和所构建的标注信息之间的差异，计算损失值；

若所述损失值小于预设的损失值阈值，完成训练，得到训练完成的所述神经网络模型；

若所述损失值不小于所述损失值阈值，则调整所述卷积神经网络的训练参数，返回所述将每个训练样本输入至预先设置的卷积神经网络进行像素点匹配处理，得到该训练样本对应的匹配图像对的匹配概率矩阵的步骤，继续训练。

5.根据权利要求1-4任一项所述的方法，其特征在于，在所述基于所述匹配概率矩阵，确定所述两个待匹配图像的图像匹配结果的步骤之后，所述方法还包括：

基于所述两个待匹配图像的图像匹配结果，估计拍摄所述待匹配图像的相机的运动参数，或执行即时定位与地图构建SLAM。

6.一种图像匹配装置，其特征在于，包括：

获取模块，被配置为获取两个待匹配图像；

生成模块，被配置为分别生成所述两个待匹配图像的描述子矩阵；其中，每一待匹配图像的描述子矩阵为以该待匹配图像的各个像素点对应的描述子作为元素的矩阵；其中，每一个像素点对应的描述子为：用于表征该像素点所在区域的纹理信息的向量；

相乘模块，被配置为将任一所述待匹配图像的描述子矩阵，乘以另一所述待匹配图像的描述子矩阵的转置矩阵，得到所述两个待匹配图像的相似度矩阵；

匹配处理模块，被配置为将所述相似度矩阵输入至预先训练完成的神经网络模型进行像素点匹配处理，得到所述两个待匹配图像的匹配概率矩阵；其中，所述匹配概率矩阵为：以分属于所述两个待匹配图像的每两个像素点的匹配概率为元素的矩阵，所述匹配概率矩阵与所述相似度矩阵，维度相同且相同位置的元素所对应的分属于所述两个待匹配图像的两个像素点相同；

确定模块，被配置为基于所述匹配概率矩阵，确定所述两个待匹配图像的图像匹配结果。

7.根据权利要求6所述的装置，其特征在于，所述预先训练完成的神经网络模型，为基于训练样本以及所述训练样本的标注信息所训练获得的；

其中，所述训练样本为匹配图像对的相似度矩阵，所述训练样本的标注信息为所述匹配图像对的匹配概率矩阵。

8.根据权利要求6所述的装置，其特征在于，所述确定模块，具体被配置为：

从所述匹配概率矩阵中，筛选匹配概率大于预设阈值的目标元素；

将筛选出的每个目标元素所对应的分属于所述两个待匹配图像的两个像素点，均作为一个目标像素对，得到多个目标像素对；

从所述多个目标像素对中，去除干扰目标像素对，得到剩余的目标像素对；所述干扰目标像素对为：所包含的像素点还包含于其他目标像素对的目标像素对；

将所述剩余的目标像素对作为所述两个待匹配图像的图像匹配结果。

9.根据权利要求7所述的装置，其特征在于，对所述神经网络模型的训练过程包括：

获取多个匹配图像对；

生成每个所述匹配图像对中的图像的描述子矩阵；

针对每个所述匹配图像对，将该匹配图像对中的任一图像的描述子矩阵，乘以该匹配图像对中的另一图像的描述子矩阵的转置矩阵，得到该匹配图像对的相似度矩阵，作为该匹配图像对所对应的训练样本；

针对每个所述匹配图像对，以分属于该匹配图像对中的两个图像的每两个像素点的匹配结果，构建该匹配图像对的匹配概率矩阵，作为该匹配图像对所对应的训练样本的标注信息；

将每个所述训练样本输入至预先设置的卷积神经网络进行像素点匹配处理，得到该训练样本对应的匹配图像对的匹配概率矩阵；

基于所得到的匹配概率矩阵和所构建的标注信息之间的差异，计算损失值；

若所述损失值小于预设的损失值阈值，完成训练，得到训练完成的所述神经网络模型；

若所述损失值不小于所述损失值阈值，则调整所述卷积神经网络的训练参数，返回所述将每个训练样本输入至预先设置的卷积神经网络进行像素点匹配处理，得到该训练样本对应的匹配图像对的匹配概率矩阵的步骤，继续训练。

10.根据权利要求6-9任一项所述的装置，其特征在于，所述装置还包括：图像匹配结果应用模块；

所述图像匹配结果应用模块，被配置为在所述确定模块基于所述匹配概率矩阵，确定所述两个待匹配图像的图像匹配结果之后，基于所述两个待匹配图像的图像匹配结果，估计拍摄所述待匹配图像的相机的运动参数，或执行即时定位与地图构建SLAM。

11.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的方法步骤。

12.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至5中任一项所述的方法步骤。

Images