CN111091144A - 基于深度伪孪生网络的图像特征点匹配方法及装置 - Google Patents

Abstract

本发明公开一种基于深度伪孪生网络的图像特征点匹配方法及装置，该方法通过获取场景下第一视角图像中的目标特征点，以及场景下其他视角图像中的待匹配特征点，将目标特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到目标特征点的特征向量；将待匹配特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到待匹配特征点的特征向量，计算目标特征点的特征向量与待匹配特征点的特征向量的对比误差度量，输出最小对比误差度量所对应的待匹配特征点作为目标特征点的最佳匹配特征点，本发明采用从大量数据学习得来的深度伪孪生网络，对于图像特征点的描述可以更好的保留局部图像信息，更好的完成图像特征点匹配任务。

Description

基于深度伪孪生网络的图像特征点匹配方法及装置

技术领域

本发明涉及连续拍摄图像的特征关联技术领域，尤其涉及一种基于深度伪孪生网络的图像特征点匹配方法及装置。

背景技术

图像特征匹配通常指通过对影像内容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性的分析，寻求相似影像目标的方法。绝大多数的图像匹配是通过一定的匹配算法在两幅或多幅影像之间识别相似点的过程。

图像特征匹配任务是一组与计算任务相关的信息，计算任务取决于具体的应用。简而言之，特征是图像信息的另一种数字表达形式。一组好的特征对于在指定任务的性能表现可能具有至关重要的作用，所以研究人员投入大量的精力对图像特征点的描述进行研究，使得设计出来的描述算法尽可能精确的描述特征点及其周围像素的信息，将特征点的匹配关系与描述的相似程度相互关联，将特征点的匹配问题转化为特征点特征空间中描述向量最近邻问题。在当前对于图像特征点的描述算法大都是人工设计的，对于图像特征的描述具有一定程度的信息丢失。

发明内容

本发明提供一种基于深度伪孪生网络的图像特征点匹配方法及装置，以解决现有图像特征点匹配方式对于图像特征的描述具有一定程度的信息丢失的问题。

第一方面，本发明提供一种基于深度伪孪生网络的图像特征点匹配方法，所述方法包括：

获取场景下第一视角图像中的目标特征点，以及所述场景下其他视角图像中的待匹配特征点；

将所述目标特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到所述目标特征点的特征向量；将所述待匹配特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到所述待匹配特征点的特征向量；

计算所述目标特征点的特征向量与所述待匹配特征点的特征向量的对比误差度量；

输出最小对比误差度量所对应的待匹配特征点作为所述目标特征点的最佳匹配特征点。

结合第一方面，在第一方面的第一种可实现方式中，获取场景下第一视角图像中的目标特征点，以及所述场景下其他视角图像中的待匹配特征点之前，所述方法还包括：

构建5层深度伪孪生网络；

筛选原始数据产生第一类训练数据，将所述第一类训练数据进行中央裁剪产生第二类训练数据；

将所述第一类训练数据和对应的第二类训练数据输入所述深度伪孪生网络中；

根据输出值与训练真值的差异，对所述深度伪孪生网络中的参数进行训练更新，得到最优的网络参数。

结合第一方面的第一种可实现方，在第一方面的第二种可实现方式中，构建5层深度伪孪生网络包括：

建立深度伪孪生网络的左支和右支，所述左支依次包括第一类训练数据图像、被中央裁剪的图像区域、深度伪孪生网络左支的第一卷积层、深度伪孪生网络左支的第二卷积层、深度伪孪生网络左支的第三卷积层、深度伪孪生网络左支的第四卷积层、深度伪孪生网络左支的第五卷积层，所述右支依次包括第二类训练数据图像、深度伪孪生网络右支的第一卷积层、深度伪孪生网络右支的第二卷积层、深度伪孪生网络右支的第三卷积层、深度伪孪生网络右支的第四卷积层、深度伪孪生网络右支的第五卷积层；

建立尺度融合层，所述尺度融合层输出与接受所述深度伪孪生网络左支和右支输入的表达式为：

out＝sig((x1+x2)/2)；

其中，out为尺度融合层的输出，是一个长度为128的一维向量，x1，x2分别是深度伪孪生网络左支和右支的输出，长度为128；

对所述深度伪孪生网络进行参数初始化。

结合第一方面的第一种可实现方，在第一方面的第三种可实现方式中，筛选原始训练数据产生第一类训练数据，将所述第一类训练数据进行中央裁剪产生第二类训练数据包括：

从标注了特征点对应关系的原始训练数据中选取第一类训练数据，所述原始训练数据数据中有一半数量的正向数据，有一半数量的反向数据，所述原始训练数据为一个三元数据，表示为：

Data＝{p1，p2，y}；

其中，Data是训练数据，p1与p2为25×25像素大小的特征点临近图像；y为匹配标签；若p1与p2是从相互匹配的特征点选取的临近图像，则y＝1，反之则y＝0，称y取值为1的Data为一个正向数据，称y取值为0的Data为一个反向数据；

对所述第一类训练数据的图像的中心区域进行裁剪；

经过上采样得到与裁剪前大小相同的图像，裁剪得到的训练数据为所述第二类训练数据。

结合第一方面的第一种可实现方，在第一方面的第四种可实现方式中，根据输出值与训练真值的差异，对所述深度伪孪生网络中的参数进行训练更新，得到最优的网络参数包括：

设定该轮训练的学习率，表达为关于训练轮数的指数关系：ε_n＝c×fⁿ，其中，ε为学习率，c的取值范围为0.001≤c≤0.01，f的取值范围为0.9≤f≤0.5；

将第一类训练数据的p1和对应的第二类训练数据的p1输入深度伪孪生网络中，得到128维特征向量，称为F1；

将第一类训练数据的p2和对应的第二类训练数据的p2输入深度伪孪生网络中，得到128维特征向量，称为F2；

计算得到的对比误差向量和对比误差度量，E＝F1-F2，e＝||F1-F2||₁，其中E为128维的对比误差向量，e为对比误差度量，是E的1范数值；

将所述对比误差度量反向传播，得到更新后的深度伪孪生网络的网络参数值；

遍历所有的训练数据为一轮训练循环，如果匹配正确率增长小于0.1％，停止训练；如果匹配正确率增长大于或等于0.1％，重复设定该轮训练的学习率的步骤。

第二方面，本发明提供一种基于深度伪孪生网络的图像特征点匹配装置，所述装置包括：

获取单元，用于获取场景下第一视角图像中的目标特征点，以及所述场景下其他视角图像中的待匹配特征点；

输入单元，用于将所述目标特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到所述目标特征点的特征向量；将所述待匹配特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到所述待匹配特征点的特征向量；

计算单元，用于计算所述目标特征点的特征向量与所述待匹配特征点的特征向量的对比误差度量；

输出单元，用于输出最小对比误差度量所对应的待匹配特征点作为所述目标特征点的最佳匹配特征点。

结合第二方面，在第二方面的第一种可实现方式中，所述装置还包括：

构建单元，用于构建5层深度伪孪生网络；

筛选单元，用于筛选原始数据产生第一类训练数据，将所述第一类训练数据进行中央裁剪产生第二类训练数据；

所述输入单元，还用于将所述第一类训练数据和对应的第二类训练数据输入所述深度伪孪生网络中；

训练单元，用于根据输出值与训练真值的差异，对所述深度伪孪生网络中的参数进行训练更新，得到最优的网络参数。

结合第二方面的第一种可实现方，在第二方面的第二种可实现方式中，所述构建单元包括：

第一建立子单元，用于建立深度伪孪生网络的左支和右支，所述左支依次包括第一类训练数据图像、被中央裁剪的图像区域、深度伪孪生网络左支的第一卷积层、深度伪孪生网络左支的第二卷积层、深度伪孪生网络左支的第三卷积层、深度伪孪生网络左支的第四卷积层、深度伪孪生网络左支的第五卷积层，所述右支依次包括第二类训练数据图像、深度伪孪生网络右支的第一卷积层、深度伪孪生网络右支的第二卷积层、深度伪孪生网络右支的第三卷积层、深度伪孪生网络右支的第四卷积层、深度伪孪生网络右支的第五卷积层；

第二建立子单元，用于建立尺度融合层，所述尺度融合层输出与接受所述深度伪孪生网络左支和右支输入的表达式为：

out＝sig((x1+x2)/2)；

其中，out为尺度融合层的输出，是一个长度为128的一维向量，x1，x2分别是深度伪孪生网络左支和右支的输出，长度为128；

初始化子单元，用于对所述深度伪孪生网络进行参数初始化。

结合第二方面的第一种可实现方，在第二方面的第三种可实现方式中，所述筛选单元包括：

选取子单元，用于从标注了特征点对应关系的原始训练数据中选取第一类训练数据，所述原始训练数据数据中有一半数量的正向数据，有一半数量的反向数据，所述原始训练数据为一个三元数据，表示为：

Data＝{p1，p2，y}；

其中，Data是训练数据，p1与p2为25×25像素大小的特征点临近图像；y为匹配标签；若p1与p2是从相互匹配的特征点选取的临近图像，则y＝1，反之则y＝0，称y取值为1的Data为一个正向数据，称y取值为0的Data为一个反向数据；

裁剪子单元，用于对所述第一类训练数据的图像的中心区域进行裁剪；

上采样子单元，用于经过上采样得到与裁剪前大小相同的图像，裁剪得到的训练数据为所述第二类训练数据。

结合第二方面的第一种可实现方，在第二方面的第四种可实现方式中，所述训练单元包括：

设定子单元，用于设定该轮训练的学习率，表达为关于训练轮数的指数关系：ε_n＝c×fⁿ，其中，ε为学习率，c的取值范围为0.001≤c≤0.01，f的取值范围为0.9≤f≤0.5；

输入子单元，用于将第一类训练数据的p1和对应的第二类训练数据的p1输入深度伪孪生网络中，得到128维特征向量，称为F1；

所述输入子单元，还用于将第一类训练数据的p2和对应的第二类训练数据的p2输入深度伪孪生网络中，得到128维特征向量，称为F2；

计算子单元，用于计算得到的对比误差向量和对比误差度量，E＝F1-F2，e＝||F1-F2||₁，其中E为128维的对比误差向量，e为对比误差度量，是E的1范数值；

反向传播子单元，用于将所述对比误差度量反向传播，得到更新后的深度伪孪生网络的网络参数值；

遍历子单元，用于遍历所有的训练数据为一轮训练循环，在匹配正确率增长小于0.1％，停止训练；在匹配正确率增长大于或等于0.1％的情况下，重复设定该轮训练的学习率的步骤。

本发明的有益效果如下：本发明提供的一种基于深度伪孪生网络的图像特征点匹配方法及装置，通过获取场景下第一视角图像中的目标特征点，以及场景下其他视角图像中的待匹配特征点，将目标特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到目标特征点的特征向量；将待匹配特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到待匹配特征点的特征向量，计算目标特征点的特征向量与待匹配特征点的特征向量的对比误差度量，输出最小对比误差度量所对应的待匹配特征点作为目标特征点的最佳匹配特征点，本发明采用深度学习的图像特征点的匹配方法，经由对特征点间对比误差度量的比较，实现对最佳匹配的特征点的筛选，可得到满足高可重复性需求的图像特征点匹配关系，从大量数据学习得来的深度伪孪生网络，对于图像特征点的描述可以更好的保留局部图像信息，更好的完成图像特征点匹配任务。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于深度伪孪生网络的图像特征点匹配方法的流程图。

图2为本发明实施例提供的一种基于深度伪孪生网络的图像特征点匹配方法中步骤S101的流程图。

图3为本发明实施例提供的一种基于深度伪孪生网络的图像特征点匹配方法中步骤S201的流程图。

图4为本发明实施例提供的一种基于深度伪孪生网络的图像特征点匹配方法中步骤S202的流程图。

图5为本发明实施例提供的一种基于深度伪孪生网络的图像特征点匹配方法中步骤S203的流程图。

图6为本发明实施例提供的一种基于深度伪孪生网络的图像特征点匹配方法中用于图像特征点匹配的深度伪孪生网络示意图。

图7为本发明实施例提供的一种基于深度伪孪生网络的图像特征点匹配装置的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。

本发明为了得到满足高可重复性需求的图像特征点匹配关系，提出了一种采用深度学习的图像特征点的匹配方法，用以对同一场景下不同视角图像间的特征点做出匹配，经由对特征点间对比误差度量的比较，实现对最佳匹配的特征点的筛选。

请参阅图1，为本发明实施例提供的一种基于深度伪孪生网络的图像特征点匹配方法，该方法的执行主体可以是处理器，所述方法包括：

步骤S101，获取场景下第一视角图像中的目标特征点，以及所述场景下其他视角图像中的待匹配特征点。

具体地，请参阅图2，获取场景下第一视角图像中的目标特征点，以及所述场景下其他视角图像中的待匹配特征点之前，所述方法还包括：

步骤S201，构建5层深度伪孪生网络。

请参阅图3，构建5层深度伪孪生网络包括：

步骤S301，建立深度伪孪生网络的左支和右支，具体如图6所示，所述左支依次包括第一类训练数据图像1、被中央裁剪的图像区域2、深度伪孪生网络左支的第一卷积层3、深度伪孪生网络左支的第二卷积层4、深度伪孪生网络左支的第三卷积层5、深度伪孪生网络左支的第四卷积层6、深度伪孪生网络左支的第五卷积层7，所述右支依次包括第二类训练数据图像9、深度伪孪生网络右支的第一卷积层、深度伪孪生网络右支的第二卷积层、深度伪孪生网络右支的第三卷积层、深度伪孪生网络右支的第四卷积层、深度伪孪生网络右支的第五卷积层。

步骤S302，建立尺度融合层8，所述尺度融合层输出与接受所述深度伪孪生网络左支和右支输入的表达式为：

out＝sig((x1+x2)/2)；

其中，out为尺度融合层的输出，是一个长度为128的一维向量，x1，x2分别是深度伪孪生网络左支和右支的输出，长度为128；

步骤S303，对所述深度伪孪生网络进行参数初始化。

步骤S202，筛选原始数据产生第一类训练数据，将所述第一类训练数据进行中央裁剪产生第二类训练数据。

请参阅图4，筛选原始训练数据产生第一类训练数据，将所述第一类训练数据进行中央裁剪产生第二类训练数据包括：

步骤S401，从标注了特征点对应关系的原始训练数据中选取第一类训练数据，所述原始训练数据数据中有一半数量的正向数据，有一半数量的反向数据，所述原始训练数据为一个三元数据，表示为：

Data＝{p1，p2，y}；

其中，Data是训练数据，p1与p2为25×25像素大小的特征点临近图像；y为匹配标签；若p1与p2是从相互匹配的特征点选取的临近图像，则y＝1，反之则y＝0，称y取值为1的Data为一个正向数据，称y取值为0的Data为一个反向数据；

步骤S402，对所述第一类训练数据的图像的中心区域进行裁剪；

步骤S403，经过上采样得到与裁剪前大小相同的图像，裁剪得到的训练数据为所述第二类训练数据。

步骤S203，将所述第一类训练数据和对应的第二类训练数据输入所述深度伪孪生网络中。

步骤S204，根据输出值与训练真值的差异，对所述深度伪孪生网络中的参数进行训练更新，得到最优的网络参数。

下面的表1为用于图像特征点匹配的深度伪孪生网络参数表。

表1用于图像特征点匹配的深度伪孪生网络参数表

请参阅图5，根据输出值与训练真值的差异，对所述深度伪孪生网络中的参数进行训练更新，得到最优的网络参数包括：

步骤S501，设定该轮训练的学习率，表达为关于训练轮数的指数关系：ε_n＝c×fⁿ，其中，ε为学习率，c的取值范围为0.001≤c≤0.01，f的取值范围为0.9≤f≤0.5；

步骤S502，将第一类训练数据的p1和对应的第二类训练数据的p1输入深度伪孪生网络中，得到128维特征向量，称为F1；

步骤S503，将第一类训练数据的p2和对应的第二类训练数据的p2输入深度伪孪生网络中，得到128维特征向量，称为F2；

步骤S504，计算得到的对比误差向量和对比误差度量，E＝F1-F2，e＝||F1-F2||₁，其中E为128维的对比误差向量，e为对比误差度量，是E的1范数值；

步骤S505，将所述对比误差度量反向传播，得到更新后的深度伪孪生网络的网络参数值；

步骤S506，遍历所有的训练数据为一轮训练循环，如果匹配正确率增长小于0.1％，执行步骤S507，停止训练；如果匹配正确率增长大于或等于0.1％，重复步骤S501中设定该轮训练的学习率的步骤。

步骤S102，将所述目标特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到所述目标特征点的特征向量；将所述待匹配特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到所述待匹配特征点的特征向量。

步骤S103，计算所述目标特征点的特征向量与所述待匹配特征点的特征向量的对比误差度量。

步骤S104，输出最小对比误差度量所对应的待匹配特征点作为所述目标特征点的最佳匹配特征点。

由以上实施例可知，本发明提供的一种基于深度伪孪生网络的图像特征点匹配方法，采用5层深度伪孪生网络架构的深度学习手段，可实现对同一场景下不同视角图像间的特征点做出匹配，在深度学习的损失函数上使用对比损失函数来表征当前网络的匹配程度；对训练数据采用中央裁剪实现对于变尺度图像间特征点匹配能力的增强；在网络参数学习率选择上采用随训练轮数增长以指数形式下降的策略，若相邻两轮训练过程的匹配正确率增长小于0.1％则停止训练并固定参数，用以进行特征点匹配；通过对比不同视角图像间特征点经过深度伪孪生网络计算得到的特征向量差的1范数值，将使得特征向量差的1范数最小的特征点对作为得到匹配的一对特征点。本发明主要结合深度学习的手段训练得到深度伪孪生网络，以实现图像特征点的匹配，具有匹配的高可重复性，从大量数据学习得来的深度伪孪生网络，对于图像特征点的描述可以更好的保留局部图像信息，更好的完成图像特征点匹配任务。

如图7所示，发明还提供一种基于深度伪孪生网络的图像特征点匹配装置，所述装置包括：

获取单元701，用于获取场景下第一视角图像中的目标特征点，以及所述场景下其他视角图像中的待匹配特征点。

输入单元702，用于将所述目标特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到所述目标特征点的特征向量；将所述待匹配特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到所述待匹配特征点的特征向量。

计算单元703，用于计算所述目标特征点的特征向量与所述待匹配特征点的特征向量的对比误差度量。

输出单元704，用于输出最小对比误差度量所对应的待匹配特征点作为所述目标特征点的最佳匹配特征点。

在本实施例中，所述装置还包括：构建单元，用于构建5层深度伪孪生网络。筛选单元，用于筛选原始数据产生第一类训练数据，将所述第一类训练数据进行中央裁剪产生第二类训练数据。所述输入单元，还用于将所述第一类训练数据和对应的第二类训练数据输入所述深度伪孪生网络中。训练单元，用于根据输出值与训练真值的差异，对所述深度伪孪生网络中的参数进行训练更新，得到最优的网络参数。

进一步地，所述构建单元包括：第一建立子单元，用于建立深度伪孪生网络的左支和右支，所述左支依次包括第一类训练数据图像、被中央裁剪的图像区域、深度伪孪生网络左支的第一卷积层、深度伪孪生网络左支的第二卷积层、深度伪孪生网络左支的第三卷积层、深度伪孪生网络左支的第四卷积层、深度伪孪生网络左支的第五卷积层，所述右支依次包括第二类训练数据图像、深度伪孪生网络右支的第一卷积层、深度伪孪生网络右支的第二卷积层、深度伪孪生网络右支的第三卷积层、深度伪孪生网络右支的第四卷积层、深度伪孪生网络右支的第五卷积层。第二建立子单元，用于建立尺度融合层，所述尺度融合层输出与接受所述深度伪孪生网络左支和右支输入的表达式为：

out＝sig((x1+x2)/2)；

其中，out为尺度融合层的输出，是一个长度为128的一维向量，x1，x2分别是深度伪孪生网络左支和右支的输出，长度为128。初始化子单元，用于对所述深度伪孪生网络进行参数初始化。

进一步地，所述筛选单元包括：选取子单元，用于从标注了特征点对应关系的原始训练数据中选取第一类训练数据，所述原始训练数据数据中有一半数量的正向数据，有一半数量的反向数据，所述原始训练数据为一个三元数据，表示为：

Data＝{p1，p2，y}；

其中，Data是训练数据，p1与p2为25×25像素大小的特征点临近图像；y为匹配标签；若p1与p2是从相互匹配的特征点选取的临近图像，则y＝1，反之则y＝0，称y取值为1的Data为一个正向数据，称y取值为0的Data为一个反向数据。裁剪子单元，用于对所述第一类训练数据的图像的中心区域进行裁剪。上采样子单元，用于经过上采样得到与裁剪前大小相同的图像，裁剪得到的训练数据为所述第二类训练数据。

进一步地，所述训练单元包括：设定子单元，用于设定该轮训练的学习率，表达为关于训练轮数的指数关系：ε_n＝c×fⁿ，其中，ε为学习率，c的取值范围为0.001≤c≤0.01，f的取值范围为0.9≤f≤0.5。输入子单元，用于将第一类训练数据的p1和对应的第二类训练数据的p1输入深度伪孪生网络中，得到128维特征向量，称为F1。所述输入子单元，还用于将第一类训练数据的p2和对应的第二类训练数据的p2输入深度伪孪生网络中，得到128维特征向量，称为F2。计算子单元，用于计算得到的对比误差向量和对比误差度量，E＝F1-F2，e＝||F1-F2||₁，其中E为128维的对比误差向量，e为对比误差度量，是E的1范数值。反向传播子单元，用于将所述对比误差度量反向传播，得到更新后的深度伪孪生网络的网络参数值。遍历子单元，用于遍历所有的训练数据为一轮训练循环，在匹配正确率增长小于0.1％，停止训练；在匹配正确率增长大于或等于0.1％的情况下，重复设定该轮训练的学习率的步骤。

本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的基于深度伪孪生网络的图像特征点匹配方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：Read-OnlyMemory，简称：ROM)或随机存储记忆体(英文：RandomAccessMemory，简称：RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于基于深度伪孪生网络的图像特征点匹配装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (10)

1.一种基于深度伪孪生网络的图像特征点匹配方法，其特征在于，所述方法包括：

获取场景下第一视角图像中的目标特征点，以及所述场景下其他视角图像中的待匹配特征点；

将所述目标特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到所述目标特征点的特征向量；将所述待匹配特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到所述待匹配特征点的特征向量；

计算所述目标特征点的特征向量与所述待匹配特征点的特征向量的对比误差度量；

输出最小对比误差度量所对应的待匹配特征点作为所述目标特征点的最佳匹配特征点。

2.如权利要求1所述的方法，其特征在于，获取场景下第一视角图像中的目标特征点，以及所述场景下其他视角图像中的待匹配特征点之前，所述方法还包括：

构建5层深度伪孪生网络；

筛选原始数据产生第一类训练数据，将所述第一类训练数据进行中央裁剪产生第二类训练数据；

将所述第一类训练数据和对应的第二类训练数据输入所述深度伪孪生网络中；

根据输出值与训练真值的差异，对所述深度伪孪生网络中的参数进行训练更新，得到最优的网络参数。

3.如权利要求2所述的方法，其特征在于，构建5层深度伪孪生网络包括：

建立深度伪孪生网络的左支和右支，所述左支依次包括第一类训练数据图像、被中央裁剪的图像区域、深度伪孪生网络左支的第一卷积层、深度伪孪生网络左支的第二卷积层、深度伪孪生网络左支的第三卷积层、深度伪孪生网络左支的第四卷积层、深度伪孪生网络左支的第五卷积层，所述右支依次包括第二类训练数据图像、深度伪孪生网络右支的第一卷积层、深度伪孪生网络右支的第二卷积层、深度伪孪生网络右支的第三卷积层、深度伪孪生网络右支的第四卷积层、深度伪孪生网络右支的第五卷积层；

建立尺度融合层，所述尺度融合层输出与接受所述深度伪孪生网络左支和右支输入的表达式为：

out＝sig((x1+x2)/2)；

其中，out为尺度融合层的输出，是一个长度为128的一维向量，x1，x2分别是深度伪孪生网络左支和右支的输出，长度为128；

对所述深度伪孪生网络进行参数初始化。

4.如权利要求2所述的方法，其特征在于，筛选原始训练数据产生第一类训练数据，将所述第一类训练数据进行中央裁剪产生第二类训练数据包括：

从标注了特征点对应关系的原始训练数据中选取第一类训练数据，所述原始训练数据数据中有一半数量的正向数据，有一半数量的反向数据，所述原始训练数据为一个三元数据，表示为：

Data＝{p1，p2，y}；

其中，Data是训练数据，p1与p2为25×25像素大小的特征点临近图像；y为匹配标签；若p1与p2是从相互匹配的特征点选取的临近图像，则y＝1，反之则y＝0，称y取值为1的Data为一个正向数据，称y取值为0的Data为一个反向数据；

对所述第一类训练数据的图像的中心区域进行裁剪；

经过上采样得到与裁剪前大小相同的图像，裁剪得到的训练数据为所述第二类训练数据。

5.如权利要求2所述的方法，其特征在于，根据输出值与训练真值的差异，对所述深度伪孪生网络中的参数进行训练更新，得到最优的网络参数包括：

设定该轮训练的学习率，表达为关于训练轮数的指数关系：ε_n＝c×fⁿ，其中，ε为学习率，c的取值范围为0.001≤c≤0.01，f的取值范围为0.9≤f≤0.5；

将第一类训练数据的p1和对应的第二类训练数据的p1输入深度伪孪生网络中，得到128维特征向量，称为F1；

将第一类训练数据的p2和对应的第二类训练数据的p2输入深度伪孪生网络中，得到128维特征向量，称为F2；

计算得到的对比误差向量和对比误差度量，E＝F1-F2，e＝||F1-F2||₁，其中E为128维的对比误差向量，e为对比误差度量，是E的1范数值；

将所述对比误差度量反向传播，得到更新后的深度伪孪生网络的网络参数值；

遍历所有的训练数据为一轮训练循环，如果匹配正确率增长小于0.1％，停止训练；如果匹配正确率增长大于或等于0.1％，重复设定该轮训练的学习率的步骤。

6.一种基于深度伪孪生网络的图像特征点匹配装置，其特征在于，所述装置包括：

获取单元，用于获取场景下第一视角图像中的目标特征点，以及所述场景下其他视角图像中的待匹配特征点；

输入单元，用于将所述目标特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到所述目标特征点的特征向量；将所述待匹配特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到所述待匹配特征点的特征向量；

计算单元，用于计算所述目标特征点的特征向量与所述待匹配特征点的特征向量的对比误差度量；

输出单元，用于输出最小对比误差度量所对应的待匹配特征点作为所述目标特征点的最佳匹配特征点。

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

构建单元，用于构建5层深度伪孪生网络；

筛选单元，用于筛选原始数据产生第一类训练数据，将所述第一类训练数据进行中央裁剪产生第二类训练数据；

所述输入单元，还用于将所述第一类训练数据和对应的第二类训练数据输入所述深度伪孪生网络中；

训练单元，用于根据输出值与训练真值的差异，对所述深度伪孪生网络中的参数进行训练更新，得到最优的网络参数。

8.如权利要求7所述的装置，其特征在于，所述构建单元包括：

第一建立子单元，用于建立深度伪孪生网络的左支和右支，所述左支依次包括第一类训练数据图像、被中央裁剪的图像区域、深度伪孪生网络左支的第一卷积层、深度伪孪生网络左支的第二卷积层、深度伪孪生网络左支的第三卷积层、深度伪孪生网络左支的第四卷积层、深度伪孪生网络左支的第五卷积层，所述右支依次包括第二类训练数据图像、深度伪孪生网络右支的第一卷积层、深度伪孪生网络右支的第二卷积层、深度伪孪生网络右支的第三卷积层、深度伪孪生网络右支的第四卷积层、深度伪孪生网络右支的第五卷积层；

第二建立子单元，用于建立尺度融合层，所述尺度融合层输出与接受所述深度伪孪生网络左支和右支输入的表达式为：

out＝sig((x1+x2)/2)；

其中，out为尺度融合层的输出，是一个长度为128的一维向量，x1，x2分别是深度伪孪生网络左支和右支的输出，长度为128；

初始化子单元，用于对所述深度伪孪生网络进行参数初始化。

9.如权利要求7所述的装置，其特征在于，所述筛选单元包括：

选取子单元，用于从标注了特征点对应关系的原始训练数据中选取第一类训练数据，所述原始训练数据数据中有一半数量的正向数据，有一半数量的反向数据，所述原始训练数据为一个三元数据，表示为：

Data＝{p1，p2，y}；

其中，Data是训练数据，p1与p2为25×25像素大小的特征点临近图像；y为匹配标签；若p1与p2是从相互匹配的特征点选取的临近图像，则y＝1，反之则y＝0，称y取值为1的Data为一个正向数据，称y取值为0的Data为一个反向数据；

裁剪子单元，用于对所述第一类训练数据的图像的中心区域进行裁剪；

上采样子单元，用于经过上采样得到与裁剪前大小相同的图像，裁剪得到的训练数据为所述第二类训练数据。

10.如权利要求7所述的装置，其特征在于，所述训练单元包括：

设定子单元，用于设定该轮训练的学习率，表达为关于训练轮数的指数关系：ε_n＝c×fⁿ，其中，ε为学习率，c的取值范围为0.001≤c≤0.01，f的取值范围为0.9≤f≤0.5；

输入子单元，用于将第一类训练数据的p1和对应的第二类训练数据的p1输入深度伪孪生网络中，得到128维特征向量，称为F1；

所述输入子单元，还用于将第一类训练数据的p2和对应的第二类训练数据的p2输入深度伪孪生网络中，得到128维特征向量，称为F2；

计算子单元，用于计算得到的对比误差向量和对比误差度量，E＝F1-F2，e＝||F1-F2||₁，其中E为128维的对比误差向量，e为对比误差度量，是E的1范数值；

反向传播子单元，用于将所述对比误差度量反向传播，得到更新后的深度伪孪生网络的网络参数值；

遍历子单元，用于遍历所有的训练数据为一轮训练循环，在匹配正确率增长小于0.1％，停止训练；在匹配正确率增长大于或等于0.1％的情况下，重复设定该轮训练的学习率的步骤。

Images