CN116012413A - 图像特征点的跟踪方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种图像特征点的跟踪方法、装置、电子设备及系统。在本申请实施例中，通过对上一帧图像中待匹配的第一特征点在当前帧图像中的位置进行预测，从而根据预测结果来对上一帧图像中的第一特征点在当前帧图像中的位置进行跟踪，实现了对跟踪中断的第一特征点的继续跟踪，延长了第一特征点的跟踪链路；进一步，基于每个第一特征点在当前帧图像中的预测位置和当前帧图像中待匹配的特征点，利用网格划分法，从当前帧图像的多个网格区域中的待匹配特征点中确定与每个第一特征点相匹配的第二特征点，在延长第一特征点跟踪链路的基础上，进一步提高了特征点跟踪链路的准确性，从而可以提高根据特征点的跟踪链路构建的地图的准确性。

Description

图像特征点的跟踪方法、装置、电子设备及存储介质

技术领域

本申请涉及视觉图像技术领域，尤其涉及一种图像特征点的跟踪方法、装置、电子设备及存储介质。

背景技术

机器人及自动驾驶汽车领域是当今最热门、最具资本热捧的领域，它们在技术上有一定的相通性，统称为即时定位与地图构建(simultaneous localization andmapping,SLAM)，基于视觉(Visual)技术路线的SLAM被称为VSLAM。

基于视觉的技术路线，接收视觉传感器采集的图像流，从中提取特征点进行跟踪。跟踪到的特征点会被用于建立地图路标，而地图路标的质量(数量及精度)很大程度上取决于图像特征点跟踪的质量(数量、精度及长度)，图像特征点跟踪的质量不高，是目前筮待解决的问题。

发明内容

本申请的多个方面提供一种图像特征点的跟踪方法、装置、电子设备及存储介质，用以提高图像特征点跟踪的质量，从而提高地图路标点及VSLAM的质量。

本申请一示例性实施例提供一种图像特征点的跟踪方法，包括：

检测上一帧图像中待匹配的第一特征点和当前帧图像中待匹配的特征点；

获取每个第一特征点在当前帧图像中的预测位置；

基于每个第一特征点在当前帧图像中的预测位置和当前帧图像中待匹配的特征点，利用网格划分法，从当前帧图像中的待匹配特征点中确定与每个第一特征点相匹配的第二特征点。

本申请一示例性实施例还提供一种图像特征点的跟踪装置，包括：

检测模块，用于检测上一帧图像中待匹配的第一特征点和当前帧图像中待匹配的特征点；

获取模块，用于获取每个第一特征点在当前帧图像中的预测位置；

确定模块，用于基于每个第一特征点在当前帧图像中的预测位置和当前帧图像中待匹配的特征点，利用网格划分法，从当前帧图像中的待匹配特征点中确定与每个第一特征点相匹配的第二特征点。

本申请实施例还提供一种电子设备，包括：存储器和处理器；其中，存储器，用于存储计算机程序；处理器耦合至存储器，用于执行计算机程序以用于执行以上图像特征点的跟踪方法中的步骤。

本申请实施例还提供一种存储有计算机指令的计算机可读存储介质，当计算机指令被一个或多个处理器执行时，致使一个或多个处理器执行以上图像特征点的跟踪方法中的步骤。

本申请各实施例提供的技术方案，通过对上一帧图像中待匹配的第一特征点在当前帧图像中的位置进行预测，从而根据预测结果来对上一帧图像中的第一特征点在当前帧图像中的位置进行跟踪，实现了对跟踪中断的第一特征点进行准确定位，并继续跟踪，延长了跟踪中断的第一特征点的跟踪链路，提高了根据特征点的跟踪链路构建的地图的准确性；进一步，基于每个第一特征点在当前帧图像中的预测位置和当前帧图像中待匹配的特征点，利用网格划分法，将当前帧图像划分为多个网格区域，从当前帧图像的多个网格区域中的待匹配特征点中确定与每个第一特征点相匹配的第二特征点，在延长第一特征点跟踪链路的基础上，进一步提高了确定与第一特征点相匹配的第二特征点的准确性，即提高了特征点跟踪的准确性，从而可以提高根据特征点的跟踪链路构建的地图的准确性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一示例性实施例提供的图像特征点的跟踪方法的流程示意图；

图2a为本申请一示例性实施例提供的特征点预测位置的示意图；

图2b为本申请一示例性实施例提供的一对当前帧图像进行网格划分的示意图；

图2c为本申请一示例性实施例提供的另一对当前帧图像进行网格划分的示意图；

图3为本申请一示例性实施例提供的图像特征点的跟踪装置的结构示意图；

图4为本申请一示例性实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请一示例性实施例提供的图像特征点的跟踪方法的流程示意图。该方法适用于对连续帧图像中的特征点进行定位跟踪的应用中，如图1所示，该方法包括：

101、检测上一帧图像中待匹配的第一特征点和当前帧图像中待匹配的特征点；

102、获取每个第一特征点在当前帧图像中的预测位置；

103、基于每个第一特征点在当前帧图像中的预测位置和当前帧图像中待匹配的特征点，利用网格划分法，从当前帧图像中的待匹配特征点中确定与每个第一特征点相匹配的第二特征点。

在本实施例中，在当前帧图像之前至少还存在两帧图像，其中，一帧图像可以称为上一帧图像，另一帧图像可以称为上上帧图像。上一帧图像中待匹配的特征点是指，上一帧图像与上上帧图像图像进行特征点跟踪时，没有跟踪到的特征点，为了便于描述和区分，将上一帧图像中待匹配的特征点称为第一特征点。进行特征点跟踪是指，在当前帧图像中找到当前帧图像之前的图像中的特征点的位置或者特征。如图2a所示过程，表示在图像2中找到与图像1中的特征点1的对应点，其中，图像1为前一帧图像，图像2为当前帧图像，图像1中包含特征点1。在对特征点进行跟踪后，针对每个特征点，会形成一个特征点跟踪链路，每个特征点的跟踪链路中包含有跟踪链路信息，跟踪链路信息包括但不限于：该特征点的特征描述子、在当前帧图像之前的每帧图像中的位置及在每帧图像之后一帧图像中的预测位置、跟踪编号。

在本实施例中，检测图像中的特征点可以采用预设的特征点识别算法来检测图像中具有稳定特征的某些像素点或区域，如Harris角点检测算法、DOG(Difference OfGaussian)算法等。利用Harris角点检测算法、DOG(Difference Of Gaussian)算法等检测图像中的特征点具体实现可参考现有实施方式的详细描述，在此不再阐述。

在本实施例中，在对输入的上一帧图像和上上帧图像进行特征点跟踪时，可能会存在部分特征点跟踪失败或跟踪错误的情况，则第一特征点的跟踪链路中断，在第一特征点的跟踪链路中断后，会将第一特征点及其跟踪链路存储至系统变量H中，并对跟踪成功的特征点对赋予跟踪编号。

为了继续对第一特征点进行跟踪，以延长第一特征点的跟踪链路，在检测到上一帧图像中待匹配的第一特征点后，可以基于输入的当前帧图像，继续对第一特征点进行跟踪。具体地，可以获取每个第一特征点在当前帧图像中的预测位置，另外，还可以通过上述实施例中提及的预设特征点识别算法检测到当前帧图像中与上一帧图像未能进行匹配的待匹配特征点，之后基于每个第一特征点在当前帧图像中的预测位置和当前帧图像中待匹配的特征点，利用网格划分法，从当前帧图像中的待匹配特征点中确定与每个第一特征点相匹配的第二特征点。

需要说明的是，上述实施例中各步骤的具体实现方式可参见下述实施例的相关描述，在此暂不赘述。

在本实施例中，网格划分法，主要是基于预设的网格尺寸，对当前帧图像进行网格划分，将当前帧图像划分为多个网格区域，并基于多个网格区域的目标网格区域中包含的第一特征点在当前帧图像中的预测位置、第一特征点在当前帧图像之前的图像的历史预测位置、待匹配的特征点，通过目标网格区域中包含的每个预测位置与其在所述上一帧图像中对应的第一特征点位置所在直线与坐标轴的夹角均值和角度标准差、预设像素夹角范围和预设描述子距离阈值等条件进行约束，从当前帧图像中确定与每个第一特征点相匹配的第二特征点。

本申请实施例提供的技术方案，通过对上一帧图像中待匹配的第一特征点在当前帧图像中的位置进行预测，从而根据预测结果来对上一帧图像中的第一特征点在当前帧图像中的位置进行跟踪，实现了对跟踪中断的第一特征点进行准确定位，并继续跟踪，延长了跟踪中断的第一特征点的跟踪链路，提高了根据特征点的跟踪链路构建的地图的准确性；进一步，基于每个第一特征点在当前帧图像中的预测位置和当前帧图像中待匹配的特征点，利用网格划分法，将当前帧图像划分为多个网格区域，从当前帧图像的多个网格区域中的待匹配特征点中确定与每个第一特征点相匹配的第二特征点，在延长第一特征点跟踪链路的基础上，进一步提高了确定与第一特征点相匹配的第二特征点的准确性，即提高了特征点跟踪的准确性，从而可以提高根据特征点的跟踪链路构建的地图的准确性。

在本实施例中，获取每个第一特征点在当前帧图像中的预测位置，一具体实施方式如下：针对每个第一特征点，利用光流跟踪法，获得每个第一特征点在当前帧图像中的预测位置。

进一步，在得到每个第一特征点在当前帧图像中的预测位置后，可以基于每个第一特征点在当前帧图像中的预测位置和当前帧图像中待匹配的特征点，利用网格划分法，从当前帧图像中的待匹配特征点中确定与每个第一特征点相匹配的第二特征点，一具体实现方式为：

A1、基于预设网格尺寸，对当前帧图像进行网格划分，得到多个网格区域以及多个网格区域在当前帧图像中的位置分布，并基于位置分布，确定每个预测位置及待匹配的特征点与每个网格区域之间的归属关系；

A2、基于每个预测位置、待匹配的特征点与每个网格区域之间的归属关系，确定目标网格区域中包含的所有预测位置与其在上一帧图像中对应的第一特征点位置的第一连接线，与坐标轴的第一夹角均值和角度标准差；

A3、基于夹角均值和角度标准差，从预测位置中选择目标网格区域中包含的候选预测位置；

A4、从候选预测位置的邻域中选择同时满足预设像素夹角范围和预设描述子距离阈值的特征点，作为与每个第一特征点相匹配的第二特征点。

在本实施例中，网格尺寸包括网格区域的长和宽，网格区域的长和宽可以相等，也可以不等，在网格区域的长和宽相等时，可以将当前帧图像平均划分为N*N的网格区域，在网格区域的长和宽不等时，可以将当前帧图像划分为N*M的网格区域，其中N≠M。在对当前帧图像进行以上述方式进行网格划分后，或会得到得到多个网格区域以及多个网格区域在当前帧图像中的位置分布，以3*3的网格区域为例，该网格在当前帧图像中的位置分布如图2b所示。以3*4的网格区域为例，该网格在当前帧图像中的位置分布如图2c所示。进一步，可以基于位置分布，确定每个预测位置及待匹配的特征点与每个网格区域之间的归属关系。

在一可选实施例中，基于位置分布，确定每个预测位置及待匹配的特征点与每个网格区域之间的归属关系的一具体实现方式为：基于位置分布，确定当前帧图像中的每个预设位置及待匹配的特征点所属的网格区域。

进一步，可以基于每个预测位置、待匹配的特征点与每个网格区域之间的归属关系，确定目标网格区域中包含的所有预测位置与其在上一帧图像中对应的第一特征点位置的第一连接线，与坐标轴的第一夹角均值和角度标准差，以及其该步骤的具体实现方式如下：

B1、从多个网格区域中任意选择一个网格区域，为了便于描述和区分，可以将该网格区域称为目标网格区域；

B2、针对目标网格区域中的所有预测位置，确定目标网格中的每个预测位置与其在上一图像帧中对应的第一特征点位置的第一连接线与坐标轴的之间的多个第一夹角；

B3、基于多个第一夹角，确定第一夹角均值；

B4、基于多个第一夹角和第一夹角均值，确定角度标准差。

在本实施例中，目标网格区域中可能包含有预测位置，也可能不包含有预测位置。在包含预测位置的基础上，确定目标网格中的每个预测位置与其在上一图像帧中对应的第一特征点位置的第一连接线与坐标轴的之间的多个第一夹角的一具体实施方式如下：

C1、确定目标网格中的每个预测位置与其在上一图像帧中对应的第一特征点位置所在的连接线；

C2、将每个第一连接线与坐标轴的X轴之间的角，作为多个第一夹角；

或者，

C2、计算每个第一连接线与坐标轴的Y轴之间的角，将每个第一连接线与坐标轴的Y轴之间的角的补角，作为多个第一夹角。

进一步，在确定了目标网格中的每个预测位置与其在上一图像帧中对应的第一特征点位置所在第一连接线与坐标轴的之间的多个第一夹角之后，可以基于多个第一夹角，求取平均值，得到第一夹角均值。

在确定了第一夹角均值和角度标准差之后，可以基于第一夹角均值和角度标准差，从预测位置中选择目标网格区域中包含的候选预测位置，以及其具体实施方式如下：

D1、基于第一夹角均值和角度标准差，确定夹角参考区间；

D2、保留目标网格区域中处于夹角参考区间内的候选预测位置。

在本实施例中，基于第一夹角均值和角度标准差，确定夹角参考区间的具体实施方式如下：将第一夹角均值与角度标准差的差作为夹角参考区间的最小边界值，将第一夹角均值与角度标准差的和作为夹角参考区间的最大边界值，从而确定夹角参考区间，进而保留目标网格区域中处于夹角参考区间内的候选预测位置。以第一夹角均值为Aavg、角度标准差为Aδ为例，夹角参考区间为(Aavg-Aδ，Aavg+Aδ)。

进一步可选地，在确定了候选预测位置之后，从候选预测位置的邻域中选择同时满足预设像素夹角范围和预设描述子距离阈值的特征点，作为与所述每个第一特征点相匹配的第二特征点。

在一可选实施例中，从候选预测位置的邻域中选择满足预设像素夹角范围的特征点，作为与每个第一特征点相匹配的第二特征点，包括：

E1、获取目标网格区域中每个候选预测位置的邻域内包含的候选预测位置；

E2、基于目标网格区域中每个候选预测位置的邻域内包含的候选预测位置，确定每个候选预测位置的邻域内包含的每个候选预测位置与目标网格区域中的每个待匹配的特征点的第二连接线与坐标轴的多个第二夹角；

E3、获取每个第一特征点的跟踪链路，并保存至系统变量中，跟踪链路中包含有跟踪链路信息，跟踪链路信息包括：每个第一特征点的特征描述子、在当前帧图像之前的每帧图像中的位置及在每帧图像之后一帧图像中的预测位置、跟踪编号；

E4、基于每个第一特征点的跟踪链路信息，确定每个第一特征点的跟踪链路中每个预测位置与上一预测位置的第三连接线与坐标轴的第二夹角均值；

E5、基于第二夹角均值和预设偏移角度，确定预设像素夹角范围；

E6、将每个候选预测位置的邻域内包含的每个候选预测位置与目标网格区域中的每个待匹配的特征点的第二连接线与坐标轴的多个第二夹角，在预设像素夹角范围内的待匹配的特征点，作为与每个第一特征点相匹配的第二特征点。

其中，基于目标网格区域中每个候选预测位置的邻域内包含的候选预测位置，确定每个候选预测位置的邻域内包含的每个候选预测位置与目标网格区域中的每个待匹配的特征点的第二连接线与坐标轴的多个第二夹角的一具体实现方式如下：

F1、确定每个候选预测位置的邻域内包含的每个候选预测位置与目标网格区域中的每个待匹配的特征点的第二连接线；

F2、将每个第二连接线与坐标轴的X轴之间的角，作为多个第二夹角；

或者，

F3、计算每个第二连接线与坐标轴的Y轴之间的角，将每个第二连接线与坐标轴的Y轴之间的角的补角，作为多个第二夹角。

进一步，在确定了每个候选预测位置的邻域内包含的每个候选预测位置与目标网格区域中的每个待匹配的特征点的第二连接线与坐标轴之间的多个第二夹角之后，可以基于多个第二夹角，求取平均值，得到第二夹角均值。进一步，第二夹角均值具有预设偏移角度，则可以基于第二夹角均值和预设偏移角度，确定预设像素夹角范围。更为具体地，可以将第二夹角均值与预设偏移角度只差作为像素夹角范围的最小边界值，将第二夹角均值与预设偏移角度之和作为像素夹角范围的最大边界值，从而确定像素夹角范围。例如以，以第二夹角均值为Ah、预设偏移角度为θ为例，则像素夹角范围为(Ah-θ，Ah+θ)。

在一可选实施例中，从候选预测位置的邻域中选择满足预设描述子距离阈值的特征点，作为与每个第一特征点相匹配的第二特征点的一具体实施方式如下：

G1、计算每个第一特征点的特征描述子与在当前帧图像中匹配的特征点的特征描述子之间的描述子距离；

G2、将描述子距离小于预设描述子距离阈值的特征点，作为与每个第一特征点相匹配的第二特征点。

进一步，在得到与每个第一特征点相匹配的第二特征点之后，可以将匹配到特征点的第一特征点及其跟踪链路从系统常量H中删除，并对系统常量H中剩余的待匹配的第一特征点以上述实施例中的方法，继续进行预测跟踪。

需要说明的是，针对系统变量H中的待匹配的第一特征点，每执行一次特征点追踪且当次追踪未追踪到与待匹配的第一特征点相匹配的特征点，则对该待匹配的第一特征点的丢失计数加1，在丢失计数大于预设值时该第一特征点还未追踪到与其匹配的特征点，则将该第一特征点从系统变量H中删除。

图3为本申请一示例性实施例提供的图像特征点的跟踪装置的结构示意图。如图3所示，包括：

检测模块31，用于检测上一帧图像中待匹配的第一特征点和当前帧图像中待匹配的特征点；

获取模块32，用于获取所述每个第一特征点在所述当前帧图像中的预测位置；

确定模块33，用于基于所述每个第一特征点在所述当前帧图像中的预测位置和所述当前帧图像中待匹配的特征点，利用网格划分法，从所述当前帧图像中的待匹配特征点中确定与所述每个第一特征点相匹配的第二特征点。

在一可选实施例中，获取模块32，在用于获取所述每个第一特征点在所述当前帧图像中的预测位置时，具体用于：

针对所述每个第一特征点，利用光流跟踪法，获得所述每个第一特征点在所述当前帧图像中的预测位置。

在一可选实施例中，确定模块33，用于基于所述每个第一特征点在所述当前帧图像中的预测位置和所述当前帧图像中待匹配的特征点，利用网格划分法，从所述当前帧图像中的待匹配特征点中确定与所述每个第一特征点相匹配的第二特征点时，具体用于：

基于预设网格尺寸，对所述当前帧图像进行网格划分，得到多个网格区域以及所述多个网格区域在所述当前帧图像中的位置分布，并基于所述位置分布，确定每个预测位置、所述待匹配的特征点与每个网格区域之间的归属关系；基于所述每个预测位置、所述待匹配的特征点与所述每个网格区域之间的归属关系，确定目标网格区域中包含的所有预测位置与其在所述上一帧图像中对应的第一特征点位置的第一连接线，与坐标轴之间的第一夹角均值和角度标准差；基于所述夹角均值和所述角度标准差，从所述预测位置中选择所述目标网格区域中包含的候选预测位置；从所述候选预测位置的邻域中选择同时满足预设像素夹角范围和预设描述子距离阈值的特征点，作为与所述每个第一特征点相匹配的第二特征点。

在一可选实施例中，确定模块33，在用于基于所述每个预测位置、所述待匹配的特征点与所述每个网格区域之间的归属关系，确定目标网格区域中包含的所有预测位置与其在所述上一帧图像中对应的第一特征点位置的第一连接线与坐标轴的第一夹角均值和角度标准差时，具体用于：

针对目标网格区域中的所有预测位置，确定所述目标网格中的每个预测位置与其在所述上一图像帧中对应的第一特征点位置的第一连接线与坐标轴之间的多个第一夹角；基于所述多个第一夹角，确定第一夹角均值；基于所述多个第一夹角和所述第一夹角均值，确定角度标准差。

在一可选实施例中，确定模块33，在用于基于所述夹角均值和所述角度标准差，从所述预测位置中选择所述目标网格区域中包含的候选预测位置时，具体用于：

基于所述夹角均值和所述角度标准差，确定夹角参考区间；保留所述目标网格区域中处于所述夹角参考区间内的候选预测位置。

在一可选实施例中，确定模块33，在用于从所述候选预测位置的邻域中选择满足预设像素夹角范围的特征点，作为与所述每个第一特征点相匹配的第二特征点，包括：

获取所述目标网格区域中每个候选预测位置的邻域内包含的候选预测位置；基于所述目标网格区域中每个候选预测位置的邻域内包含的候选预测位置，确定所述每个候选预测位置的邻域内包含的每个候选预测位置与所述目标网格区域中的每个待匹配的特征点的第二连接线与坐标轴的多个第二夹角；获取所述每个第一特征点的跟踪链路，并保存至系统变量中，所述跟踪链路中包含有跟踪链路信息，所述跟踪链路信息包括：所述每个第一特征点的特征描述子、在当前帧图像之前的每帧图像中的位置及在每帧图像之后一帧图像中的预测位置、跟踪编号；基于所述每个第一特征点的跟踪链路信息，确定所述每个第一特征点的跟踪链路中每个预测位置与上一预测位置的第三连接线与坐标轴的第二夹角均值；基于所述第二夹角均值和预设偏移角度，确定所述预设像素夹角区间；将所述每个候选预测位置的邻域内包含的每个候选预测位置与所述目标网格区域中的每个待匹配的特征点的第二连接线与坐标轴的多个第二夹角，在所述预设像素夹角范围内对应的待匹配的特征点，作为与所述每个第一特征点相匹配的第二特征点。

在一可选实施例中，确定模块33，在用于从所述候选预测位置的邻域中选择满足预设描述子距离阈值的特征点，作为与所述每个第一特征点相匹配的第二特征点，包括：

计算每个第一特征点的特征描述子与在所述当前帧图像中匹配的特征点的特征描述子之间的描述子距离；将所述描述子距离小于所述预设描述子距离阈值的特征点，作为与所述每个第一特征点相匹配的第二特征点。

需要说明的是，本实施例提供的上述模块或单元的具体实现方式可参考上述方法实施例的相关描述，此处不再赘述。

图4为本是申请提供的种电子设备的结构示意图。如图4所示，包括：存储器40a和处理器40b；其中，存储器40a，用于存储计算机程序；处理器40b耦合至存储器40a，用于执行计算机程序以用于执行以下步骤：

检测上一帧图像中待匹配的第一特征点和当前帧图像中待匹配的特征点；获取所述每个第一特征点在所述当前帧图像中的预测位置；基于所述每个第一特征点在所述当前帧图像中的预测位置和所述当前帧图像中待匹配的特征点，利用网格划分法，从所述当前帧图像中的待匹配特征点中确定与所述每个第一特征点相匹配的第二特征点。

在一可选实施例中，处理器40b在用于获取所述每个第一特征点在所述当前帧图像中的预测位置时，具体用于：

针对所述每个第一特征点，利用光流跟踪法，获得所述每个第一特征点在所述当前帧图像中的预测位置。

在一可选实施例中，处理器40b在用于基于所述每个第一特征点在所述当前帧图像中的预测位置和所述当前帧图像中待匹配的特征点，利用网格划分法，从所述当前帧图像中的待匹配特征点中确定与所述每个第一特征点相匹配的第二特征点时，具体用于：

基于预设网格尺寸，对所述当前帧图像进行网格划分，得到多个网格区域以及所述多个网格区域在所述当前帧图像中的位置分布，并基于所述位置分布，确定每个预测位置、所述待匹配的特征点与每个网格区域之间的归属关系；基于所述每个预测位置、所述待匹配的特征点与所述每个网格区域之间的归属关系，确定目标网格区域中包含的所有预测位置与其在所述上一帧图像中对应的第一特征点位置的第一连接线，与坐标轴之间的第一夹角均值和角度标准差；基于所述夹角均值和所述角度标准差，从所述预测位置中选择所述目标网格区域中包含的候选预测位置；从所述候选预测位置的邻域中选择同时满足预设像素夹角范围和预设描述子距离阈值的特征点，作为与所述每个第一特征点相匹配的第二特征点。

在一可选实施例中，处理器40b在用于基于所述每个预测位置、所述待匹配的特征点与所述每个网格区域之间的归属关系，确定目标网格区域中包含的所有预测位置与其在所述上一帧图像中对应的第一特征点位置的第一连接线与坐标轴的第一夹角均值和角度标准差时，具体用于：

针对目标网格区域中的所有预测位置，确定所述目标网格中的每个预测位置与其在所述上一图像帧中对应的第一特征点位置的第一连接线与坐标轴之间的多个第一夹角；基于所述多个第一夹角，确定第一夹角均值；基于所述多个第一夹角和所述第一夹角均值，确定角度标准差。

在一可选实施例中，处理器40b在用于基于所述夹角均值和所述角度标准差，从所述预测位置中选择所述目标网格区域中包含的候选预测位置时，具体用于：

基于所述夹角均值和所述角度标准差，确定夹角参考区间；保留所述目标网格区域中处于所述夹角参考区间内的候选预测位置。

在一可选实施例中，处理器40b在用于从所述候选预测位置的邻域中选择满足预设像素夹角范围的特征点，作为与所述每个第一特征点相匹配的第二特征点，包括：

获取所述目标网格区域中每个候选预测位置的邻域内包含的候选预测位置；基于所述目标网格区域中每个候选预测位置的邻域内包含的候选预测位置，确定所述每个候选预测位置的邻域内包含的每个候选预测位置与所述目标网格区域中的每个待匹配的特征点的第二连接线与坐标轴的多个第二夹角；获取所述每个第一特征点的跟踪链路，并保存至系统变量中，所述跟踪链路中包含有跟踪链路信息，所述跟踪链路信息包括：所述每个第一特征点的特征描述子、在当前帧图像之前的每帧图像中的位置及在每帧图像之后一帧图像中的预测位置、跟踪编号；基于所述每个第一特征点的跟踪链路信息，确定所述每个第一特征点的跟踪链路中每个预测位置与上一预测位置的第三连接线与坐标轴的第二夹角均值；基于所述第二夹角均值和预设偏移角度，确定所述预设像素夹角区间；将所述每个候选预测位置的邻域内包含的每个候选预测位置与所述目标网格区域中的每个待匹配的特征点的第二连接线与坐标轴的多个第二夹角，在所述预设像素夹角范围内对应的待匹配的特征点，作为与所述每个第一特征点相匹配的第二特征点。

在一可选实施例中，处理器40b在用于从所述候选预测位置的邻域中选择满足预设描述子距离阈值的特征点，作为与所述每个第一特征点相匹配的第二特征点，包括：

计算每个第一特征点的特征描述子与在所述当前帧图像中匹配的特征点的特征描述子之间的描述子距离；将所述描述子距离小于所述预设描述子距离阈值的特征点，作为与所述每个第一特征点相匹配的第二特征点。

进一步地，如图4所示，该电子设备还包括：通信组件40c、电源组件40d等其它组件。图4中仅示意性给出部分组件，并不意味着电子设备只包括图4所示组件。本实施例的电子设备可以实现为台式电脑、笔记本电脑、智能手机或IOT设备等电子设备。

需要说明的是，本实施例提供的上述模块或单元的具体实现方式可参考上述方法实施例的相关描述，此处不再赘述。

需要说明的是，本实施例提供的上述模块或单元的具体实现方式可参考上述方法实施例的相关描述，此处不再赘述。

本申请实施例还提供存储有计算机指令的计算机可读存储介质，其特征在于，当计算机指令被一个或多个处理器执行时，致使一个或多个处理器执行以上图像特征点的跟踪方法中的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种图像特征点的跟踪方法，其特征在于，包括：

检测上一帧图像中待匹配的第一特征点和当前帧图像中待匹配的特征点；

获取每个第一特征点在所述当前帧图像中的预测位置；

基于所述每个第一特征点在所述当前帧图像中的预测位置和所述当前帧图像中待匹配的特征点，利用网格划分法，从所述当前帧图像中待匹配特征点中确定与所述每个第一特征点相匹配的第二特征点。

2.根据权利要求1所述的方法，其特征在于，获取所述每个第一特征点在所述当前帧图像中的预测位置，包括：

针对所述每个第一特征点，利用光流跟踪法，获得所述每个第一特征点在所述当前帧图像中的预测位置。

3.根据权利要求1所述的方法，其特征在于，基于所述每个第一特征点在所述当前帧图像中的预测位置和所述当前帧图像中待匹配的特征点，利用网格划分法，从所述当前帧图像中的待匹配特征点中确定与所述每个第一特征点相匹配的第二特征点，包括：

基于预设网格尺寸，对所述当前帧图像进行网格划分，得到多个网格区域以及所述多个网格区域在所述当前帧图像中的位置分布，并基于所述位置分布，确定每个预测位置、所述待匹配的特征点与每个网格区域之间的归属关系；

基于所述每个预测位置、所述待匹配的特征点与所述每个网格区域之间的归属关系，确定目标网格区域中包含的所有预测位置与其在所述上一帧图像中对应的第一特征点位置的第一连接线，与坐标轴之间的第一夹角均值和角度标准差；

基于所述夹角均值和所述角度标准差，从所述预测位置中选择所述目标网格区域中包含的候选预测位置；

从所述候选预测位置的邻域中选择同时满足预设像素夹角范围和预设描述子距离阈值的特征点，作为与所述每个第一特征点相匹配的第二特征点。

4.根据权利要求3所述的方法，其特征在于，基于所述每个预测位置、所述待匹配的特征点与所述每个网格区域之间的归属关系，确定目标网格区域中包含的所有预测位置与其在所述上一帧图像中对应的第一特征点位置的第一连接线与坐标轴的第一夹角均值和角度标准差，包括：

针对目标网格区域中的所有预测位置，确定所述目标网格中的每个预测位置与其在所述上一图像帧中对应的第一特征点位置的第一连接线与坐标轴之间的多个第一夹角；

基于所述多个第一夹角，确定第一夹角均值；

基于所述多个第一夹角和所述第一夹角均值，确定角度标准差。

5.根据权利要求3所述的方法，其特征在于，基于所述夹角均值和所述角度标准差，从所述预测位置中选择所述目标网格区域中包含的候选预测位置，包括：

基于所述夹角均值和所述角度标准差，确定夹角参考区间；

保留所述目标网格区域中处于所述夹角参考区间内的候选预测位置。

6.根据权利要求3所述的方法，其特征在于，从所述候选预测位置的邻域中选择满足预设像素夹角范围的特征点，作为与所述每个第一特征点相匹配的第二特征点，包括：

获取所述目标网格区域中每个候选预测位置的邻域内包含的候选预测位置；

基于所述目标网格区域中每个候选预测位置的邻域内包含的候选预测位置，确定所述每个候选预测位置的邻域内包含的每个候选预测位置与所述目标网格区域中的每个待匹配的特征点的第二连接线与坐标轴的多个第二夹角；

获取所述每个第一特征点的跟踪链路，并保存至系统变量中，所述跟踪链路中包含有跟踪链路信息，所述跟踪链路信息包括：所述每个第一特征点的特征描述子、在当前帧图像之前的每帧图像中的位置及在每帧图像之后一帧图像中的预测位置、跟踪编号；

基于所述每个第一特征点的跟踪链路信息，确定所述每个第一特征点的跟踪链路中每个预测位置与上一预测位置的第三连接线与坐标轴的第二夹角均值；

基于所述第二夹角均值和预设偏移角度，确定所述预设像素夹角区间；

将所述每个候选预测位置的邻域内包含的每个候选预测位置与所述目标网格区域中的每个待匹配的特征点的第二连接线与坐标轴的多个第二夹角，在所述预设像素夹角范围内对应的待匹配的特征点，作为与所述每个第一特征点相匹配的第二特征点。

7.根据权利要求3所述的方法，其特征在于，从所述候选预测位置的邻域中选择满足预设描述子距离阈值的特征点，作为与所述每个第一特征点相匹配的第二特征点，包括：

计算每个第一特征点的特征描述子与在所述当前帧图像中匹配的特征点的特征描述子之间的描述子距离；

将所述描述子距离小于所述预设描述子距离阈值的特征点，作为与所述每个第一特征点相匹配的第二特征点。

8.一种图像特征点的跟踪装置，其特征在于，包括：

检测模块，用于检测上一帧图像中待匹配的第一特征点和当前帧图像中待匹配的特征点；

获取模块，用于获取每个第一特征点在所述当前帧图像中的预测位置；

确定模块，用于基于所述每个第一特征点在所述当前帧图像中的预测位置和所述当前帧图像中待匹配的特征点，利用网格划分法，从所述当前帧图像中的待匹配特征点中确定与所述每个第一特征点相匹配的第二特征点。

9.一种电子设备，其特征在于，包括：存储器和处理器；其中，所述存储器，用于存储计算机程序；所述处理器耦合至所述存储器，用于执行所述计算机程序以用于执行权利要求1-7中任一项所述的图像特征点的跟踪方法中的步骤。

10.一种存储有计算机指令的计算机可读存储介质，其特征在于，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求1-7中任一项所述的图像特征点的跟踪方法中的步骤。

Images