CN114663686A - 物体特征点匹配方法及装置、训练方法及装置 - Google Patents

Abstract

本申请公开了一种物体特征点匹配方法、特征匹配网络的训练方法、装置、介质及计算机设备，可应用于图像配准如机械臂抓取中对目标物体的位姿进行估计，在对物体进行质检时对敏感区域或屏蔽区域的计算。该方法包括：获取目标物体的当前点位图像及模板特征信息，模板特征信息包括预先通过特征提取模型提取目标物体在多个点位图像中的感兴趣区域ROI区域图像的特征点；对当前点位图像进行图像分割以得到当前ROI区域图像，并利用特征提取模型对当前ROI区域图像进行特征提取处理，以得到目标特征信息；利用特征点匹配网络对目标特征信息和模板特征信息进行匹配处理，以使得目标物体的特征点与模板特征信息匹配。

Description

物体特征点匹配方法及装置、训练方法及装置

技术领域

本申请涉及计算机技术领域，具体涉及一种物体特征点匹配方法、特征点匹配装置、一种特征匹配网络的训练方法及训练装置、介质计算机设备、及计算机程序产品。

背景技术

特征点匹配是计算机视觉领域中很多应用的基础，在图像配准、图像拼接、三维重建、目标识别中都起到重要作用。在图像拼接、图像配准时，需要根据匹配的特征点求解图像的几何变换模型实现图像的配准，特征点匹配的准确度决定着图像拼接、配准的精度。

目前，在基于模板匹配的图像配准类方法中，图像配准方法需要人为的对不同图像进行易于辨认特征区域选择，并且相对标注成本高有较高的人为倾向，同时，该类方法在图像偏移较大时容易失败。另一类基于形状特征的模板匹配方法中，需要梯度变化明显，而实际场景中会存在较多无明显提取的数据并且在形变时也容易失败。

发明内容

本申请实施例提供一种物体特征点匹配方法、特征点匹配装置、一种特征匹配网络的训练方法及训练装置、介质、计算机设备及计算机程序产品。

一方面，提供一种物体特征点匹配方法，包括：

获取目标物体的当前点位图像及模板特征信息，所述模板特征信息包括预先通过特征提取模型提取所述目标物体在多个点位图像中的感兴趣区域ROI区域图像的特征点；

对所述当前点位图像进行图像分割以得到当前ROI区域图像，并利用所述特征提取模型对所述当前ROI区域图像进行特征提取处理，以得到目标特征信息；

利用特征点匹配网络对所述目标特征信息和所述模板特征信息进行匹配处理，以使得所述目标物体的特征点与所述模板特征信息匹配。

另一方面，提供一种特征点匹配网络的训练方法，包括：

获取历史点位图像并进行数据增强处理，以生成训练图像对；

利用特征提取模型对所述训练图像对进行特征提取，得到训练特征信息；

将所述训练特征信息的特征点位置坐标发送至由多层感知机构成的编码器进行处理，以得到局部特征；

利用线性注意力机制对所述局部特征进行多次迭代，并利用迭代算法对所述多次迭代的结果进行处理，以得到匹配的特征点；

根据所述匹配的特征点建立损失函数以对所述编码器及所述线性注意力机制进行优化，在满足训练条件的情况下，将所述优化后的编码器及线性注意力机制确定为所述特征点匹配网络。

另一方面，提供一种特征点匹配装置，包括：

获取单元，用于获取目标物体的当前点位图像及模板特征信息，所述模板特征信息包括预先通过特征提取模型提取目标物体在多个点位图像中的感兴趣区域ROI区域图像的特征点；

特征提取单元，用于对所述当前点位图像进行图像分割以得到当前ROI区域图像，并利用所述特征提取模型对所述当前ROI区域图像进行特征提取处理，以得到目标特征信息；

特征匹配单元，用于利用特征点匹配网络对所述目标特征信息和所述模板特征信息进行匹配处理，以使得所述目标物体的特征点与所述模板特征信息匹配。

另一方面，提供一种特征点匹配网络的训练装置，包括：

数据增强单元，用于获取历史点位图像并进行数据增强处理，以生成训练图像对；

特征提取单元，用于利用特征提取模型对所述训练图像对进行特征提取，得到训练特征信息；

第一训练单元，用于将所述训练特征信息的特征点位置坐标发送至由多层感知机构成的编码器进行处理，以得到局部特征；

第二训练单元，用于利用线性注意力机制对所述局部特征进行多次迭代，并利用迭代算法对所述多次迭代的结果进行处理，以得到匹配的特征点；

优化单元，用于根据所述匹配的特征点建立损失函数以对所述编码器及所述线性注意力机制进行优化，在满足训练条件的情况下，将所述优化后的编码器及线性注意力机制确定为所述特征点匹配网络。

另一方面，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序适于处理器进行加载，以执行如上任一实施例的方法中的步骤。

另一方面，提供一种计算机设备，计算机设备包括处理器和存储器，存储器中存储有计算机程序，处理器通过调用存储器中存储的计算机程序，用于执行如上任一实施例的方法中的步骤。

另一方面，提供一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现如上任一实施例的方法中的步骤。

本申请通过获取目标物体的当前点位图像及模板特征信息，模板特征信息包括预先通过特征提取模型提取目标物体在多个点位图像中的感兴趣区域ROI区域图像的特征点；对当前点位图像进行图像分割以得到当前ROI区域图像，并利用特征提取模型对当前ROI区域图像进行特征提取处理，以得到目标特征信息；利用特征点匹配网络对目标特征信息和模板特征信息进行匹配处理，以使得目标物体的特征点与模板特征信息匹配。本申请提出了一套完整的特征匹配方法的流程，通过模型自动提取目标物体ROI区域图像，并将特征提取后的目标物体及模板特征输入经过训练好的特征匹配网络，学习到的匹配特征相比传统人工标注的特征能够更好适应长时间变化、视角变化、镜头畸变等情况，从而在实际应用中可应用于图像配准如机械臂抓取中对目标物体的位姿进行估计，在对物体进行质检时对敏感区域或屏蔽区域可进行更为精确的计算，以降低质检的误踢率和漏检率。

同时，相较于基于模板提取匹配的图像配准方法需要人为的对不同图像进行易于辨认特征区域选择，使得标注成本高，本申请无需大量人工对标注，通过模型自动提取粗略的ROI进行后续特征匹配。相较于基于形状特征的模板匹配需要梯度变化明显，而实际场景中会存在较多无明显提取的数据并且在形变时也容易失败，本申请无需形状特征的模板匹配，能够更好解决光照变化、偏移、背景占比大、无明显梯度等问题。

本申请通过获取历史点位图像并进行数据增强处理，以生成训练图像对；利用特征提取模型对训练图像对进行特征提取，得到训练特征信息；将训练特征信息的特征点位置坐标发送至由多层感知机构成的编码器进行处理，以得到局部特征；利用线性注意力机制对局部特征进行多次迭代，并利用迭代算法对多次迭代的结果进行处理，以得到匹配的特征点；根据匹配的特征点建立损失函数以对编码器及线性注意力机制进行优化，在满足训练条件的情况下，将优化后的编码器及线性注意力机制确定为特征点匹配网络。在整个训练过程中本申请固定了特征点提取部分的模型，仅对特征点匹配部分模型进行优化训练，通过数据增强，构建了自监督训练数据集。经过图像分割后对ROI利用Unet模型提取特征后，能够较好解决小物体在深度学习降采样下特征丢失的问题，能提取到更多更稠密的特征点。

另外，本申请的特征匹配方法无需大量的人工标注，且能适应光照、姿态变化。

附图说明

为了更清楚地说明本申请实施例中的技术方法，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为基于模板匹配的图像配准类方法的流程示意图；

图2为基于形状特征的模板匹配方法的流程示意图；

图3为本申请实施例提供的特征点匹配方法的流程示意图；

图4为本申请实施例提供的特征点匹配方法的示例图；

图5为本申请实施例提供的特征点匹配方法的示例图；

图6为本申请实施例提供的特征点匹配方法的另一流程示意图；

图7为本申请实施例提供的特征点匹配方法的另一示例图；

图8为本申请实施例提供的特征点匹配方法的流程框架图；

图9为本申请实施例提供的特征匹配网络的训练方法的流程示意图；

图10本申请实施例提供的特征匹配网络的训练方法的示例图；

图11为本申请实施例提供的特征匹配网络的系统框架图；

图12为本申请实施例提供的特征点匹配装置的结构示意图；

图13为本申请实施例提供的训练装置的结构示意图；

图14为本申请实施例提供的计算机设备的示意性结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方法进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先，在对本申请实施例进行描述的过程中出现的部分名词或者术语作如下解释：

区块链系统：可以是由客户端、多个节点(接入网络中的任意形式的计算设备，如服务器、用户终端)通过网络通信的形式连接形成的分布式系统。节点之间形成组成的点对点(P2P，Peer To Peer)网络，P2P协议是一个运行在传输控制协议(TCP，TransmissionControl Protocol)协议之上的应用层协议，在分布式系统中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作系统层和应用层。

ROI(Region of Interest)：感兴趣区域。机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，ROI。在Halcon、OpenCV、Matlab等机器视觉软件上常用到各种算子(Operator)和函数来求得感兴趣区域ROI，并进行图像的下一步处理。

POSE：位姿，指物体相对模板的位置和姿态变化。

SuperPoint：SuperPoint是端到端的特征点及描述子提取网络，网络结构是类似语义分割网络的编码器-解码器结构，输入一张完整的图片，经过共享的编码器提取图像深层特征，再分别经过特征点和描述子两个解码器，分别输出特征点和描述子，与完全手工设计算法的先检测特征点，再计算描述子不同，特征点和描述子并行生成。

RANSAC(Random Sample Consensus，随机采样一致)算法是从一组含有“外点”(outliers)的数据中正确估计数学模型参数的迭代算法。“外点”一般指的是数据中的噪声，比如说匹配中的误匹配和估计曲线中的离群点，所以，RANSAC也是一种“外点”检测算法。RANSAC算法是一种不确定算法，它只能在一种概率下产生结果，并且这个概率会随着迭代次数的增加而加大。

目前，在基于模板匹配的图像配准类方法中，请参阅图1，步骤01获取图像，步骤02中外扩模板完成当前特征区域提取并完成模板匹配。以外扩模板的中心点作为特征点，并参考随机抽样一致算法(Random Sample Consensus，RANSAC)对N组特征点进行匹配，步骤03中当匹配区域个数大于或等于2时，步骤04任取2组计算转移矩阵M，N-2组通过该矩阵得到变换后的点，与标准图上的特征点计算误差，统计误差范围内点的个数；遍历所有组合，得到最佳的转移矩阵M。当匹配区域个数小于2时，输出校准失败信息。步骤05中，根据转移矩阵M计算缩放因子和旋转角度是否小于预定阈值。如果小于则输出转移矩阵，确定校准成功(步骤06)，否则输出校准失败信息(步骤07)。然而，基于形状特征的模板匹配需要梯度变化明显，而实际场景中会存在较多无明显提取的数据并且在形变时也容易失败。

另一类基于形状特征的模板匹配方法中，请参阅图2，实施图像形状特征提取和生成时，模板图和待匹配图生成对应的模板特征图和待匹配特征图的具体步骤不一致。特别地，模板图会进行特征点采样和mask过滤步骤，而待匹配图会进行spread操作。然而，基于模板提取匹配的图像配准方法需要人为的对不同图像进行易于辨认特征区域选择，并且相对标注成本高有较高的人为倾向，同时，该类方法在图像偏移较大时容易失败。

本申请实施例提供了一种物体特征点匹配方法及特征点匹配装置、介质及设备。将当前视角下的图像点位和模板库中特征点位图像进行关联计算，得到当前位置零件相对模板位置零件的位姿变化，结合传统阈值分割完成物体所在区域的计算，并将该区域提取出后，结合深度学习算法完成特征点提取和匹配，最后经过RANSAC算法完成相对姿态变化矩阵计算。经过深度学习后学习到的匹配特征相比传统手工特征能够更好适应长时间变化、视角变化、镜头畸变等情况，并且经过提取后能够较好解决小物体在深度学习降采样下特征丢失的问题，能提取到更多更稠密的特征点。该算法无需标注，能适应光照、姿态变化。本申请实施例可应用于图像配准如机械臂抓取中对目标物体的位姿进行估计，在对物体进行质检时对敏感区域或屏蔽区域可进行更为精确的计算，提高对目标物体的识别精确度，以降低质检的误踢率和漏检率。

具体的，本申请实施例的方法可以由计算机设备执行，其中，该计算机设备可以为终端或者服务器等设备。用户终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器、智能机器人、机器手臂等。

为更好地理解本申请实施例提供的技术方法，下面对本申请实施例提供的技术方法适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。以特征点匹配方法由计算机设备执行为例，其中，该计算机设备可以为终端或者服务器等设备。

本申请实施例可结合云技术或区块链网络技术实现。如本申请实施例所公开的特征点匹配方法，其中这些数据可保存于区块链上，例如：特征提取模型、多个模板点位图像、当前点位图像、模板特征信息、当前ROI区域图像、目标特征信息、训练好的特征点匹配网络、历史点位图像、训练图像对、训练特征信息、编码器、局部特征、匹配的特征点及损失函数，均可保存于区块链上。

为了便于实现对特征提取模型、多个模板点位图像、当前点位图像、模板特征信息、当前ROI区域图像、目标特征信息、训练好的特征点匹配网络、历史点位图像、训练图像对、训练特征信息、编码器、局部特征、匹配的特征点及损失函数的存储和查询，可选的，该特征点匹配方法还包括：将特征提取模型、多个模板点位图像、当前点位图像、模板特征信息、当前ROI区域图像、目标特征信息、训练好的特征点匹配网络、历史点位图像、训练图像对、训练特征信息、编码器、局部特征、匹配的特征点及损失函数发送至区块链网络中，以使区块链网络的节点将特征提取模型、多个模板点位图像、当前点位图像、模板特征信息、当前ROI区域图像、目标特征信息、训练好的特征点匹配网络、历史点位图像、训练图像对、训练特征信息、编码器、局部特征、匹配的特征点及损失函数填充至新区块，且当对新区块取得共识一致时，将新区块追加至区块链的尾部。本申请实施例可以将特征提取模型、多个模板点位图像、当前点位图像、模板特征信息、当前ROI区域图像、目标特征信息、训练好的特征点匹配网络、历史点位图像、训练图像对、训练特征信息、编码器、局部特征、匹配的特征点及损失函数上链存储，实现记录的备份，当需要获取匹配的特征点时，可直接、快速地从区块链上获取相应的特征点信息，从而提高特征点匹配的处理效率。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优先顺序的限定。

本申请各实施例提供了一种物体特征点匹配方法，本申请实施例以特征点匹配方法由计算机设备为例来进行说明。

请参阅图3，图为本申请实施例提供的特征点匹配方法的流程示意图，该方法包括：

步骤310：获取目标物体的当前点位图像及模板特征信息，模板特征信息包括预先通过特征提取模型提取目标物体在多个点位图像中的感兴趣区域ROI区域图像的特征点。

具体的，获取目标物体的当前点位图像及模板特征信息。其中，当前点位图像为目标物体当前所在位置的点位图像，按照预设的点位采集方式采集目标物体的当前点位图像。

可以理解，点位是指相机在物体不同位置的采集图像，请参阅图4，图为一种目标物体的示例，则可选取中框侧面的长直边采集32个点位，短直边采集12个点位，圆弧边采集48个，一共可采集92个点位。圆弧区域RT面角度可分为4阶，其中，下面圆弧BGRT面为4阶，每阶42个点位，共168个点位；上面圆弧CGRT面为4阶，每阶42个点位，共168个点位。同时，BGRT与背面BG面的衔接处共30个点位。则对于图中的目标物体，在不同位置一共可采集458个点位。

模板特征信息为预先存储的目标物体所对应的模板的特征点位图像，通过模板特征提取模型获取目标物体的多个模板点位图像的模板ROI区域图像的特征点。

可选的，模板特征信息通过模板特征提取模型获取目标物体的感兴趣区域ROI特征点图包括：

对目标物体进行M个点位采样，以得到目标物体的M个模板点位图像，其中，M为自然数；

对M个模板点位图像分别进行图像裁剪，以得到M个模板ROI区域图像；

将M个模板ROI区域图像的边长进行放大至预设值，并提取放大后的M个模板ROI区域图像的特征点和描述子；

将特征点和描述子进行存储，以得到模板特征信息。

预先地，对于目标物体进行M个点位采样，M为自然数，可大于1。得到M个模板点位图像。对这M个模板点位图像分别进行图像裁剪crop，如可利用传统阈值分割方法进行crop处理，得到M个模板ROI区域图像。将M个模板ROI区域图像的边长放大到长边为预设值，然后对放大后的ROI图像区域进行提取特征点和描述子，并将提取出来的特征点和描述子进行存储，得到模板特征信息，模板特征信息包括特征点及其描述子。例如，可利用Harris/FAST/SIFT/SURF等算法确定特征点，利用BRIEF对已检测到的特征点进行描述，得到描述子，该描述子是一种二进制编码的描述子。

模板提取的方法可利用基于局部特征点的模板特征提取流程。

在一些例子中，可不对模板图进行ROI标注，而利用ROI提取一个粗略的感兴趣区域ROI，如利用传统的阈值分割算法完成ROI提取，在降低背景区域影响的同时可降低标注成本。例如，可将图像灰度化，然后利用最大类间方差法(OTSU)根据灰度阈值T将图像分成背景和目标ROI两部分。

如此，对物体所在的ROI区域进行特征提取和存储，可在一定程度上降低背景区域的影响，保障信息的有效性。

步骤320：对当前点位图像进行图像分割以得到当前ROI区域图像，并利用特征提取模型对当前ROI区域图像进行特征提取处理，以得到目标特征信息。

具体的，对当前点位图像进行图像分割，例如可通过传统的阈值分割，或网络分割方法。完成图像分割后，得到对应的ROI区域图像。

利用特征提取模型对当前ROI区域图像进行特征提取处理，以得到目标特征信息。针对某一零件，预先会进行不同点位的模板采样，例如对应有458个点位，则有458张模板图。对于每一张模板图，对ROI图像区域进行特征提取，可采用SuperPoint、DISK等特征提取方法对模板的特征进行提取以得到模板特征信息。

可选的，对当前点位图像进行图像分割以得到当前ROI区域图像，并利用特征提取模型对当前ROI区域图像进行特征提取处理，以得到目标特征信息包括：

对当前点位图像进行图像分割以得到当前ROI区域图像，并对当前ROI区域图像与模板ROI区域图像进行相似度计算，以得到第一相似度；

在第一相似度低于预设阈值的情况下，利用特征提取模型对当前ROI区域图像进行特征提取处理，以得到目标特征信息。

具体的，在得到当前ROI区域图像后，对当前ROI区域图像与模板ROI区域图像可进行相似度计算，得到第一相似度，以对两者进行初步的一致性检测。在计算得到第一相似度后，将第一相似度与预设阈值进行比较，当第一相似度低于预设阈值时，利用特征提取模型对当前ROI区域图像进行特征提取处理，以得到目标特征信息。

具体的，设置第一相似度的预设阈值，如80％。当第一相似度低于预设阈值，或第一相似度低于或等于预设阈值时，继续利用特征提取模型对当前ROI区域图像进行特征提取处理。而当第一相似度高于或等于预设阈值时，则一定程度上说明当前ROI区域图像与模板ROI区域图像具有高度一致性，则不需要进入后面的特征提取及特征匹配处理。

如此，在特征点匹配前对当前ROI区域图像和模板ROI区域图像的相似度或一致性进行初步检测，使得在检测出较低相似度时，进行进一步深度学习的特征点匹配，一定程度上提高特征点匹配的效率，在应用中提高如机械臂抓取、质检模块中敏感区域和屏蔽区域的计算效率。

可选的，相似度计算的方法包括：

获取模板ROI区域图像的模板像素坐标；

获取当前ROI区域图像的当前像素坐标；

计算当前像素坐标与模板像素坐标之间的第一重叠率；

根据第一重叠率确定第一相似度。

具体地，获取模板ROI区域图像的模板像素坐标，及当前ROI区域图像的当前像素坐标。然后，计算当前像素坐标及模板像素坐标之间的第一重叠率，可对两者进行着色计算，即将当前像素坐标及模板像素坐标的2D点集，投影到2D平面，得到与当前像素坐标对应的A点集，以及与模板像素坐标对应的B点集，然后将A点集和B点集合并到同一个投影平面，对同一像素位置两者都存在的点进行着色，得到重叠着色结果，从而完成重叠率计算。请参阅图5，图中有A点集和B点集，其中A点集的着色值为12，B点集的着色值为9，A与B的重叠着色结果的值为8，则A点集与B点集的重叠率R＝8/max(12,9)＝67％。

当计算得到当前像素坐标及模板像素坐标之间的第一重叠率后，根据第一重叠率确定当前ROI区域图像与模板RO I区域图像的第一相似度，第一重叠率越高，第一相似度越高，或者说，当前ROI区域图像与模板ROI区域图像的一致性越高。

步骤330：利用特征点匹配网络对目标特征信息和模板特征信息进行匹配处理，以使得目标物体的特征点与模板特征信息匹配。

利用特征点匹配网络对目标特征信息和模板特征信息进行匹配处理，以使得目标物体的特征点与模板特征信息匹配。其中，在训练好的特征点匹配网络中，包括对当前ROI区域图像进行特征点提取，然后对提取的特征点进行特征点匹配。

训练好的特征点匹配网络包括基于图神经网络的特征匹配算法。基于图神经网络的特征匹配算法，例如SuperGlue，将图像中的特征点看作图的节点，通过注意力机制聚合特征信息，得到用于匹配的特征向量。然后把匹配问题看作一个最优运输问题，并利用迭代算法如Sinkhorn算法进行求解。特征点匹配网络的训练方法将在下文进行详细介绍。

如此，本申请通过获取目标物体的当前点位图像及模板特征信息，模板特征信息包括预先通过特征提取模型提取目标物体在多个点位图像中的感兴趣区域ROI区域图像的特征点；对当前点位图像进行图像分割以得到当前ROI区域图像，并利用特征提取模型对当前ROI区域图像进行特征提取处理，以得到目标特征信息；利用特征点匹配网络对目标特征信息和模板特征信息进行匹配处理，以使得目标物体的特征点与模板特征信息匹配。可将当前视角下图像和模板库中数据进行关联计算，从而得到当前位置的目标物体相对模板位置的位姿变化。另外，本申请经过训练好的特征匹配网络学习到的匹配特征相比传统人工标注的特征能够更好适应长时间变化、视角变化、镜头畸变等情况，从而在实际应用中可辅助如机械臂抓取、质检模块中敏感区域和屏蔽区域的计算，以降低质检的误踢率和漏检率。

同时，相较于基于模板提取匹配的图像配准方法需要人为的对不同图像进行易于辨认特征区域选择，使得标注成本高，本申请无需大量人工对标注，通过模型自动提取粗略的ROI进行后续特征匹配。相较于基于形状特征的模板匹配需要梯度变化明显，而实际场景中会存在较多无明显提取的数据并且在形变时也容易失败，本申请无需形状特征的模板匹配，能够更好解决光照变化、偏移、背景占比大、无明显梯度等问题。

可选的，请参阅图6，图为本申请实施例提供的特征点匹配方法的另一流程示意图，包括：

步骤610：获取目标物体的当前点位图像及模板特征信息，模板特征信息包括预先通过特征提取模型提取目标物体的多个模板点位图像的模板ROI区域图像的特征点；

步骤620：对当前点位图像进行图像分割以得到当前ROI区域图像，并利用特征提取模型对当前ROI区域图像进行特征提取处理，以得到目标特征信息；

步骤630：利用特征点匹配网络对目标特征信息和模板特征信息进行匹配处理，以使得目标物体的特征点与模板特征信息匹配；

步骤640：根据特征点匹配的结果，对当前点位图像进行位姿估计，以得到目标物体的位姿；

步骤650：对目标位姿进行坐标变换，以得到校准后的目标位姿；

具体的，当得到匹配的特征点后，根据特征点可对位姿进行估计，得到目标位姿，由于特征点坐标为当前ROI图像区域的坐标，经过了尺度变化和水平纵向上的xy偏移，得到的POSE并不是原始图像的，需要将计算得到的目标位姿进行逆变换，以投影到原始坐标系中。

可选的，对目标位姿进行坐标变换，以得到校准后的目标位姿的步骤包括：

获取模板特征信息中对应的第一尺度和第一偏移；

获取当前ROI区域图像对应的第二尺度和第二偏移；

根据第一尺度、第一偏移、第二尺度及第二偏移生成目标位姿。

例如，提取模板ROI区域图像中对应的尺度变化和水平纵向上的xy偏移分别为

提取当前ROI区域图像的尺度变化和水平纵向上的xy偏移分别为

估计得到的位姿即变化矩阵为M，则对应校准后的位姿M_origin有：

请参阅图7，图中包括a)、b)、c)、d)四个小图，其中每一个小图的左部分为可视化的校准前的目标物体，右部分为校准后的目标物体，可见，校准后的图像与模板图像可基本重合。

步骤660：对坐标变换后的当前ROI区域图像与模板ROI区域图像进行相似度计算，得到第二相似度；

步骤670：根据第二相似度生成输出信息。

可选的，对坐标变换后的当前ROI区域图像与模板ROI区域图像进行相似度计算的步骤包括：

获取模板ROI区域图像的模板像素坐标，和坐标变换后的当前ROI区域图像的变换像素坐标；

计算变换像素坐标与模板像素坐标之间的第二重叠率；

根据第二重叠率确定第二相似度。

具体地，获取模板ROI区域图像的模板像素坐标，及坐标变换后的当前ROI区域图像的变换像素坐标。然后，计算变换像素坐标及模板像素坐标之间的第二重叠率，可对两者进行着色计算，着色计算的方法同上，此处不再展开赘述。

当计算得到变换像素坐标与模板像素坐标之间的第二重叠率后，根据第二重叠率确定坐标变换后的当前ROI区域图像与模板ROI区域图像的第二相似度，第二重叠率越高，第二相似度越高，或者说，坐标变换后的当前ROI区域图像与模板ROI区域图像的一致性越高。

当计算得到第二相似度后，根据第二相似度生成校准信息，校准结果包括目标位姿、校准结果及校准信息。例如，校准信息包括：一个3x3的位姿矩阵，一个布尔值的flag用于判断校准是否成功，以及一个字符串，用于描述失败的原因，例如特征点提取不到、特征点提取数量较少(小于4个时)、特征点匹配数量较少(小于4对时)、矫正后的第二相似度分数较低如小于0.9。

请参阅图8，图为本实施例的流程框架图，分为两部分：在实际应用之前线下预先完成并存储的模板特征提取部分，及在线特征匹配部分。对于模板特征提取，预先输入模板图像，然后提取ROI区域，通过特征提取模型提取特征点和描述子，并存储模板特征。对物体所在的ROI区域进行特征提取和存储，一定程度上保证了信息的有效性。

图中在线特征匹配部分，该流程可以主要分为一致性检测、特征提取和匹配、位姿估计。获取当前图像及当前点位图像，并对当前点位图像及模板进行一致性检测，即相似度计算。然后对当前点位图像进行ROI区域图像提取，通过特征提取模型提取特征点和描述子，并将包含特征点和描述子的目标特征信息，以及在模板特征提取部分得到的模板特征信息输入训练好的特征匹配网络进行特征匹配处理，以使得目标物体的特征点与模板特征信息匹配，从而完成特征匹配。进一步地，根据匹配的特征点完成位姿估计，并计算坐标变换后的当前ROI区域图像与模板ROI区域图像的第二相似度，将第二相似度与预设的相似度阈值进行比较，当达到相似度阈值时，可判断当前ROI区域图像与模板ROI区域图像为匹配的物体，校准成功，进而输出信息，输出信息可包括目标位姿、校准结果及校准信息。

如此，本实施例提供的整个在先配准的流程可对目标物体进行在线图像配准，通过对ROI区域进行特征提取及匹配，可将当前视角下图像和模板库中数据进行关联计算，从而得到当前位置的目标物体相对模板位置的位姿变化。相比传统人工标注的特征能够更好适应长时间变化、视角变化、镜头畸变等情况，从而在实际应用中可辅助如机械臂抓取、质检模块中敏感区域和屏蔽区域的计算，以降低质检的误踢率和漏检率。

在工业质检项目的应用中，本申请的校准成功率可达94％，能较好推广到不同项目中，辅助质检后处理和融合，并且该方案无需大量标注，节省了大量人力，有较好的复制性。

请参阅图9，本申请还提供了一种特征点匹配网络的训练方法，包括：

步骤910：获取历史点位图像并进行数据增强处理，以生成训练图像对；

步骤920：利用特征提取模型对训练图像对进行特征提取，得到训练特征信息；

步骤930：将训练特征信息的特征点位置坐标发送至由多层感知机构成的编码器进行处理，以得到局部特征；

步骤940：利用线性注意力机制对局部特征进行多次迭代，并利用迭代算法对多次迭代的结果进行处理，以得到匹配的特征点；

步骤950：根据匹配的特征点建立损失函数以对编码器及线性注意力机制进行优化，在满足训练条件的情况下，将优化后的编码器及线性注意力机制确定为特征点匹配网络。

具体的，获取历史点位图像，历史点位图像可以是大量的用于训练的任意物体的原始点位图像，通过对历史点位图像进行数据增强处理，如对图像进行随机截取、像素内容变换、随机扰动等处理得到增强的点位图像，与历史点位图像生成训练图像对。

可选的，获取历史点位图像并进行数据增强处理，以生成训练图像对的步骤，包括：

对历史点位图像进行像素内容变换，得到第一图像和第二图像；

对第一图像进行随机区域选取，以得到第一子图像；

对随机区域选取的矩形区域对应的坐标像素进行随机扰动处理，以得到区域交点坐标；

对第二图像和区域交点坐标进行图像仿射变换处理，以得到变换图像；

根据矩形区域对变换图像进行选取，以得到第二子图像；

根据第一子图像和第二子图像确定训练图像对。

具体的，请参阅图10，对历史点位图像进行像素内容变换，得到第一图像和第二图像，其中，像素内容变换包括亮度、对比度等变换。进一步地，对第一图像进行随机区域选取，以得到第一子图像。同时，对随机区域选取的矩形区域对应的坐标像素

进行一定范围内的随机扰动处理，得到新的区域交点坐标

通过矩形区域的四个顶点计算对应的变换矩阵，对第二图像和区域交点坐标进行图像仿射变换warp处理，得到变换图像，并根据矩形区域对变换图像进行选取，得到第二子图像。则第一子图像与第二子图像确定为一个训练图像对。

如此，相比常规图像检测及分割需要大量数据标注，本实施例通过相关数据增强完成图像对的构建，并进行相关变换从而获得更接近真实数据的图像对和变换矩阵。同时，经过该数据增强后，获得的图像对在光照变化、pose变化时的鲁棒性更好。

进一步地，当完成训练图像对的训练数据集构建后，根据相应地数据增强处理可获取训练图像对中的图像信息，以及第一图像和第二图像的pose变化值等。

利用特征提取模型对训练图像对进行特征提取，得到训练特征信息。特征提取模型的参数为固定参数，不参与网络优化训练。其中，特征提取模型可由一个公知的图像语义分割Unet形式网络构成，特征提取模型输出和原图尺寸一致的多维特征如128维特征，以及特征点分值图score map，score map用于描述特征点是否是真实有效的特征点，通过将score map与预设阈值进行比较，得到特征点位置集合，即训练特征信息。

提取出特征信息后，将训练特征信息的特征点位置坐标发送至由多层感知机构成的编码器进行处理，以得到局部特征。并利用线性注意力机制对局部特征进行多次迭代，并利用Sinkhorn算法对多次迭代的结果进行处理，以得到匹配的特征点。

请参阅图11，图中包括Unet形式的特征提取模型，以及SuperGlue的特征匹配网络，其中包括多层感知机构成的编码器keypoints encoder模块，以及线性注意力机制Linear Self-Cross Attention。特征提取模型输出特征点位置坐标包括特征点位置和置信度，并发送至由多层感知机构成的编码器进行处理，并与特征点的描述子进行融合从而完成匹配的特征信息的构建。融合后的局部特征⁽⁰⁾X_i＝d_i+MLP_enc(p_i)，其中，d_i为描述子，p_i为特征点位置坐标，MLP_enc(p_i)为keypoints encoder模块。

进一步地，利用线性注意力机制Linear Self-Cross Attention对局部特征进行多次迭代，并利用迭代算法对多次迭代的结果进行处理，以得到匹配的特征点。

具体的，Linear Self-Cross Attention进行迭代以得到用于匹配的两份特征描述向量：

f_i ^A＝[delf(f₁,f₂),cross(f₁,f₂)]×N

f_i ^B＝[self(f₁,f₂),cross(f₂,f₁)]×N；

其中，f₁为训练图像对中的第一子图像，f₂为训练图像对中的第二子图像。N为迭代次数，为自然数。

当得到用于匹配的特征描述向量后，通过两两之间进行内积计算可得到匹配得分矩阵S_i,j：

S_i,j＝<f_i ^A,f_i ^B>。

对应分数越高表示两个特征点匹配上的概率越大。最后使用Sinkhorn Algorithm算法求解得到满足最优匹配结果的匹配的特征点。

对于上述特征匹配过程，利用大量的训练图像对构成的训练数据集建立损失函数以对编码器及线性注意力机制进行优化，在满足训练条件的情况下，将优化后的编码器及线性注意力机制确定为特征点匹配网络。其中，损失函数可利用公知的SuperGlue算法中的损失函数，此处不再展开赘述。

如此，本申请通过获取历史点位图像并进行数据增强处理，以生成训练图像对；利用特征提取模型对训练图像对进行特征提取，得到训练特征信息；将训练特征信息的特征点位置坐标发送至由多层感知机构成的编码器进行处理，以得到局部特征；利用线性注意力机制对局部特征进行多次迭代，并利用迭代算法对多次迭代的结果进行处理，以得到匹配的特征点；根据匹配的特征点建立损失函数以对编码器及线性注意力机制进行优化，在满足训练条件的情况下，将优化后的编码器及线性注意力机制确定为特征点匹配网络。在整个训练过程中本申请固定了特征点提取部分的模型，仅对特征点匹配部分模型进行优化训练，通过数据增强，构建了自监督训练数据集。经过图像分割后对ROI利用Unet模型提取特征后，能够较好解决小物体在深度学习降采样下特征丢失的问题，能提取到更多更稠密的特征点。另外，本申请的特征匹配方法无需大量的人工标注，且能适应光照、姿态变化。

上述所有的技术方法，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

为便于更好的实施本申请实施例的特征点匹配方法，本申请实施例还提供一种特征点匹配装置。请参阅图12，图为本申请实施例提供的特征点匹配装置的结构示意图。其中，该特征点匹配装置1000可以包括：

获取单元1100，用于获取目标物体的当前点位图像及模板特征信息，模板特征信息包括预先通过特征提取模型提取目标物体在多个点位图像中的感兴趣区域ROI区域图像的特征点；

特征提取单元1200，用于对当前点位图像进行图像分割以得到当前ROI区域图像，并利用特征提取模型对当前ROI区域图像进行特征提取处理，以得到目标特征信息；

特征匹配单元1300，用于利用特征点匹配网络对目标特征信息和模板特征信息进行匹配处理，以使得目标物体的特征点与模板特征信息匹配。

可选的，特征提取单元1200，还可以用于对当前点位图像进行图像分割以得到当前ROI区域图像，并对当前ROI区域图像与模板ROI区域图像进行相似度计算，以得到第一相似度；在第一相似度低于预设阈值的情况下，利用特征提取模型对当前ROI区域图像进行特征提取处理，以得到目标特征信息。

可选的，特征点匹配装置1000还包括：

位姿估计单元1400，用于根据特征点匹配的结果，对当前点位图像进行位姿估计，以得到目标物体的位姿；

坐标变换单元1500，用于对位姿进行坐标变换，以得到校准后的目标位姿；

计算单元1600，用于根据校准后的目标位姿对当前ROI区域图像与模板ROI区域图像进行相似度计算，得到第二相似度；

生成单元1700，用于根据第二相似度生成输出信息。

可选的，坐标变换单元1500，还可以用于获取模板特征信息中对应的第一尺度和第一偏移；获取当前ROI区域图像对应的第二尺度和第二偏移；根据第一尺度、第一偏移、第二尺度及第二偏移对位姿进行坐标变换，以得到校准后的目标位姿。

可选的，计算单元1600，还可以用于获取模板ROI区域图像的模板像素坐标；获取当前ROI区域图像的当前像素坐标，或坐标变换后的当前ROI区域图像的变换像素坐标；计算当前像素坐标与模板像素坐标之间的第一重叠率，或变换像素坐标与模板像素坐标之间的第二重叠率；根据第一重叠率确定第一相似度，或根据第二重叠率确定第二相似度。

可选的，获取单元1100，还可以用于对目标物体进行M个点位采样，以得到目标物体的M个模板点位图像，其中，M为自然数；对M个模板点位图像分别进行图像裁剪，以得到M个模板ROI区域图像；将M个模板ROI区域图像的边长进行放大至预设值，并提取放大后的M个模板ROI区域图像的特征点和特征描述子；将特征点和特征描述子进行存储，以得到模板特征信息。

需要说明的是，本申请实施例中的特征点匹配装置1000中各模块的功能可对应参考上述各方法实施例中任意实施例的具体实现方式，这里不再赘述。

上述特征点匹配装置1000中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各个单元可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行上述各个单元对应的操作。

特征点匹配装置1000例如可以集成在具备储存器并安装有处理器而具有运算能力的终端或服务器中，或者该特征点匹配装置1000为该终端或服务器。该终端可以为智能手机、平板电脑、笔记本电脑、智能电视、智能音箱、穿戴式智能设备、个人计算机(PersonalComputer，PC)等设备，终端还可以包括客户端，该客户端可以是视频客户端、浏览器客户端或即时通信客户端等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

为便于更好的实施本申请实施例的特征点匹配网络的训练方法，本申请实施例还提供一种特征匹配网络的训练装置2000。请参阅图13，图为本申请实施例提供的训练装置2000的结构示意图。其中，该训练装置2000可以包括：

数据增强单元2100，用于获取历史点位图像并进行数据增强处理，以生成训练图像对；

特征提取单元2200，用于利用特征提取模型对训练图像对进行特征提取，得到训练特征信息；

第一训练单元2300，用于将训练特征信息的特征点位置坐标发送至由多层感知机构成的编码器进行处理，以得到局部特征；

第二训练单元2400，用于利用线性注意力机制对局部特征进行多次迭代，并利用迭代算法对多次迭代的结果进行处理，以得到匹配的特征点；

优化单元2500，用于根据匹配的特征点建立损失函数以对编码器及线性注意力机制进行优化，在满足训练条件的情况下，将优化后的编码器及线性注意力机制确定为特征点匹配网络。

可选的，数据增强单元2100，还可以用于对历史点位图像进行像素内容变换，得到第一图像和第二图像；根据预设边框对第一图像进行选取，以得到第一子图像；对预设边框的坐标像素进行随机扰动处理，以得到随机边框；对第二图像和随机边框进行图像仿射变换处理，以得到变换图像；根据预设边框对变换图像进行选取，以得到第二子图像；根据第一子图像和第二子图像确定训练图像对。

需要说明的是，本申请实施例中的训练装置2000中各模块的功能可对应参考上述各方法实施例中任意实施例的具体实现方式，这里不再赘述。

上述训练装置2000中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各个单元可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行上述各个单元对应的操作。

训练装置2000例如可以集成在具备储存器并安装有处理器而具有运算能力的终端或服务器中，或者该特征点匹配装置1000为该终端或服务器。该终端可以为智能手机、平板电脑、笔记本电脑、智能电视、智能音箱、穿戴式智能设备、个人计算机(PersonalComputer，PC)等设备，终端还可以包括客户端，该客户端可以是视频客户端、浏览器客户端或即时通信客户端等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

图14为本申请实施例提供的计算机设备3000的示意性结构图，如图所示，计算机设备3000可以包括：通信接口3001，存储器3002，处理器3003和通信总线3004。通信接口3001，存储器3002，处理器3003通过通信总线3004实现相互间的通信。通信接口3001用于计算机设备3000与外部设备进行数据通信。存储器3002可用于存储软件程序以及模块，处理器3003通过运行存储在存储器3002的软件程序以及模块，例如前述方法实施例中的相应操作的软件程序。

可选的，该处理器3003可以调用存储在存储器3002的软件程序以及模块执行如下操作：

获取目标物体的当前点位图像及模板特征信息，模板特征信息包括预先通过特征提取模型提取目标物体在多个点位图像中的感兴趣区域ROI区域图像的特征点；

对当前点位图像进行图像分割以得到当前ROI区域图像，并利用特征提取模型对当前ROI区域图像进行特征提取处理，以得到目标特征信息；

利用特征点匹配网络对目标特征信息和模板特征信息进行匹配处理，以使得目标物体的特征点与模板特征信息匹配。

可选的，该处理器3003还可以调用存储在存储器3002的软件程序以及模块执行如下操作：

获取历史点位图像并进行数据增强处理，以生成训练图像对；

利用特征提取模型对训练图像对进行特征提取，得到训练特征信息；

将训练特征信息的特征点位置坐标发送至由多层感知机构成的编码器进行处理，以得到局部特征；

利用线性注意力机制对局部特征进行多次迭代，并利用迭代算法对多次迭代的结果进行处理，以得到匹配的特征点；

根据匹配的特征点建立损失函数以对编码器及线性注意力机制进行优化，在满足训练条件的情况下，将优化后的编码器及线性注意力机制确定为特征点匹配网络。

可选的，计算机设备3000可以集成在具备储存器并安装有处理器而具有运算能力的终端或服务器中，或者该计算机设备3000为该终端或服务器。该终端可以为智能手机、平板电脑、笔记本电脑、智能电视、智能音箱、穿戴式智能设备、个人计算机等设备。该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

本申请还提供了一种计算机可读存储介质，用于存储计算机程序。该计算机可读存储介质可应用于计算机设备，并且该计算机程序使得计算机设备执行本申请实施例中的特征点匹配方法，或特征匹配网络的训练方法中的相应流程，为了简洁，在此不再赘述。

本申请还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得计算机设备执行本申请实施例中的物体特征点匹配方法，或特征匹配网络的训练方法中的相应流程，为了简洁，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方法本质上或者说对现有技术做出贡献的部分或者该技术方法的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种物体特征点匹配方法，其特征在于，包括：

获取目标物体的当前点位图像及模板特征信息，所述模板特征信息包括预先通过特征提取模型提取所述目标物体在多个点位图像中的感兴趣区域ROI区域图像的特征点；

对所述当前点位图像进行图像分割以得到当前ROI区域图像，并利用所述特征提取模型对所述当前ROI区域图像进行特征提取处理，以得到目标特征信息；

利用特征点匹配网络对所述目标特征信息和所述模板特征信息进行匹配处理，以使得所述目标物体的特征点与所述模板特征信息匹配。

2.根据权利要求1所述的方法，其特征在于，所述对所述当前点位图像进行图像分割以得到当前ROI区域图像，并利用所述特征提取模型对所述当前ROI区域图像进行特征提取处理，以得到目标特征信息包括：

对所述当前点位图像进行图像分割以得到所述当前ROI区域图像，并对所述当前ROI区域图像与所述模板ROI区域图像进行相似度计算，以得到第一相似度；

在所述第一相似度低于预设阈值的情况下，利用所述特征提取模型对所述当前ROI区域图像进行特征提取处理，以得到所述目标特征信息。

3.根据权利要求2所述的方法，其特征在于，所述对所述当前点位图像进行图像分割以得到所述当前ROI区域图像，并对所述当前ROI区域图像与所述模板ROI区域图像进行相似度计算，以得到第一相似度包括：

获取所述模板ROI区域图像的模板像素坐标，和所述当前ROI区域图像的当前像素坐标；

计算所述当前像素坐标与所述模板像素坐标之间的第一重叠率；

根据所述第一重叠率确定所述第一相似度。

4.根据权利要求2所述的方法，其特征在于，所述方法在利用特征点匹配网络对所述目标特征信息和所述模板特征信息进行匹配处理，以使得所述目标物体的特征点与所述模板特征信息匹配之后还包括：

根据所述特征点匹配的结果，对所述当前点位图像进行位姿估计，以得到所述目标物体的位姿；

对所述位姿进行坐标变换，以得到校准后的目标位姿；

根据所述校准后的目标位姿对所述当前ROI区域图像与所述模板ROI区域图像进行所述相似度计算，得到第二相似度；

根据所述第二相似度生成输出信息。

5.根据权利要求4所述的方法，其特征在于，所述根据所述校准后的目标位姿对所述当前ROI区域图像与所述模板ROI区域图像进行所述相似度计算，得到第二相似度包括：

获取所述模板ROI区域图像的模板像素坐标，和所述坐标变换后的当前ROI区域图像的变换像素坐标；

计算所述变换像素坐标与所述模板像素坐标之间的第二重叠率；

根据所述第二重叠率确定所述第二相似度。

6.根据权利要求4所述的方法，其特征在于，所述对所述位姿进行坐标变换，以得到校准后的目标位姿包括：

获取模板特征信息中对应的第一尺度和第一偏移；

获取当前ROI区域图像对应的第二尺度和第二偏移；

根据所述第一尺度、所述第一偏移、所述第二尺度及所述第二偏移对所述位姿进行坐标变换，以得到所述校准后的目标位姿。

7.根据权利要求1所述的方法，其特征在于，所述模板特征信息包括预先通过特征提取模型提取目标物体在多个点位图像中的感兴趣区域ROI区域图像的特征点包括：

对目标物体进行M个点位采样，以得到所述目标物体的M个模板点位图像，其中，M为自然数；

对所述M个模板点位图像分别进行图像裁剪，以得到M个模板ROI区域图像；

将所述M个模板ROI区域图像的边长进行放大至预设值，并提取所述放大后的M个模板ROI区域图像的特征点和特征描述子；

将所述特征点和特征描述子进行存储，以得到所述模板特征信息。

8.一种特征点匹配网络的训练方法，其特征在于，包括：

获取历史点位图像并进行数据增强处理，以生成训练图像对；

利用特征提取模型对所述训练图像对进行特征提取，得到训练特征信息；

将所述训练特征信息的特征点位置坐标发送至由多层感知机构成的编码器进行处理，以得到局部特征；

利用线性注意力机制对所述局部特征进行多次迭代，并利用迭代算法对所述多次迭代的结果进行处理，以得到匹配的特征点；

根据所述匹配的特征点建立损失函数以对所述编码器及所述线性注意力机制进行优化，在满足训练条件的情况下，将所述优化后的编码器及线性注意力机制确定为所述特征点匹配网络。

9.根据权利要求8所述的方法，其特征在于，所述获取历史点位图像并进行数据增强处理，以生成训练图像对包括：

对所述历史点位图像进行像素内容变换，得到第一图像和第二图像；

根据预设边框对所述第一图像进行选取，以得到第一子图像；

对所述预设边框的坐标像素进行随机扰动处理，以得到随机边框；

对所述第二图像和所述随机边框进行图像仿射变换处理，以得到变换图像；

根据所述预设边框对所述变换图像进行选取，以得到第二子图像；

根据所述第一子图像和所述第二子图像确定所述训练图像对。

10.一种特征点匹配装置，其特征在于，包括：

获取单元，用于获取目标物体的当前点位图像及模板特征信息，所述模板特征信息包括预先通过特征提取模型提取目标物体在多个点位图像中的感兴趣区域ROI区域图像的特征点；

特征提取单元，用于对所述当前点位图像进行图像分割以得到当前ROI区域图像，并利用所述特征提取模型对所述当前ROI区域图像进行特征提取处理，以得到目标特征信息；

特征匹配单元，用于利用特征点匹配网络对所述目标特征信息和所述模板特征信息进行匹配处理，以使得所述目标物体的特征点与所述模板特征信息匹配。

11.一种特征点匹配网络的训练装置，其特征在于，包括：

数据增强单元，用于获取历史点位图像并进行数据增强处理，以生成训练图像对；

特征提取单元，用于利用特征提取模型对所述训练图像对进行特征提取，得到训练特征信息；

第一训练单元，用于将所述训练特征信息的特征点位置坐标发送至由多层感知机构成的编码器进行处理，以得到局部特征；

第二训练单元，用于利用线性注意力机制对所述局部特征进行多次迭代，并利用迭代算法对所述多次迭代的结果进行处理，以得到匹配的特征点；

优化单元，用于根据所述匹配的特征点建立损失函数以对所述编码器及所述线性注意力机制进行优化，在满足训练条件的情况下，将所述优化后的编码器及线性注意力机制确定为所述特征点匹配网络。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如权利要求1-9任一项所述的方法中的步骤。

13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1-9任一项所述的方法中的步骤。

14.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-9任一项所述的方法中的步骤。

Images