CN112313707A - 跟踪方法和可移动平台 - Google Patents

Abstract

一种跟踪方法和可移动平台，方法包括：根据第一摄像头拍摄第一图像和第二图像时的相对位姿，获取第一图像中的预选特征点在第一图像中的预估位置；第一摄像头为双目相机(12，401)的左目或右目，第二图像为第一图像的前一帧图像(S201，S301)；以预选特征点在第一图像中的预估位置为初始位置，跟踪预选特征点在第一图像中的位置，得到第一跟踪结果(S202，S302)；以预选特征点在第一图像中的位置为初始位置，跟踪预选特征点在第三图像中的位置；第三图像由双目相机(12，401)的第二摄像头拍摄，第一图像和第三图像的拍摄时间相同(S203，S303)。采用跟踪方法可以提高跟踪结果的准确度。

Description

跟踪方法和可移动平台

技术领域

本申请涉及图像处理技术，尤其涉及一种跟踪方法和可移动平台。

背景技术

目前，在军事、民用等领域均涉及到对物体的跟踪。比如，可将摄像装置搭载在移动平台上，通过摄像装置拍摄的多张视频帧图像对图像中的物体进行跟踪。

目前常用的跟踪算法包括KLT算法，该算法十分依赖跟踪的初始位置，如果初始位置与跟踪目标的真实位置相差较远，则会造成跟踪结果不准确，甚至跟踪失败。而目前通常会假设帧间变化较小而直接将跟踪目标在上一帧图像中被跟踪的位置作为跟踪该目标在当前帧图像中的位置的初始位置。但是在搭载摄像装置的移动平台运动速度很大时，帧间变化比较大，因此，将跟踪目标在上一帧图像中被跟踪的位置作为跟踪该目标在当前帧图像中的位置的初始位置时会使得跟踪结果不够准确。

发明内容

本申请实施例提供一种跟踪方法和可移动平台，以克服现有技术中跟踪结果不够准确的技术问题。

第一方面，本申请实施例提供一种跟踪方法，包括：根据第一摄像头拍摄第一图像和第二图像时的相对位姿，获取所述第一图像中的预选特征点在所述第一图像中的预估位置；所述第一摄像头为双目相机的左目或右目，所述第二图像为所述第一图像的前一帧图像；以所述预选特征点在所述第一图像中的预估位置为初始位置，跟踪所述预选特征点在所述第一图像中的位置，得到第一跟踪结果；以所述预选特征点在所述第一图像中的位置为初始位置，跟踪所述预选特征点在第三图像中的位置，得到第二跟踪结果；所述第三图像由所述双目相机的第二摄像头拍摄，所述第一图像和所述第三图像的拍摄时间相同。

在一种可能的设计中，所述双目相机搭载在移动平台上；所述根据第一摄像头拍摄第一图像和第二图像时的相对位姿，获取所述第一图像中的预选特征点在所述第一图像中的预估位置，包括：根据所述移动平台的惯性测量单元IMU数据和所述移动平台的轮速，获取所述相对位姿；根据所述相对位姿，获取所述预选特征点在所述第一图像中的预估位置。

在一种可能的设计中，所述根据所述相对位姿，获取所述预选特征点在所述第一图像中的预估位置，包括：根据所述预选特征点在所述第二图像中被和在第四图像中被跟踪的位置，获取在拍摄所述第二图像时所述预选特征点在第一摄像头坐标系下的第一三维坐标；所述第四图像由所述第二摄像头拍摄，所述第二图像和所述第四图像的拍摄时间相同；根据所述相对位姿，将所述第一三维坐标转换至在拍摄所述第一图像时所述预选特征点在第一摄像头坐标系下的第二三维坐标；根据所述第二三维坐标和所述第一摄像头的内参矩阵，获取所述预选特征点在所述第一图像中的预估位置。

在一种可能的设计中，所述以所述预选特征点在所述第一图像中的预估位置为初始位置，跟踪所述预选特征点在所述第一图像中的位置，得到第一跟踪结果，包括：以所述预选特征点在所述第一图像中的预估位置为初始位置，对所述预选特征点进行从参照图像到第一图像的跟踪，得到所述预选特征点在所述第一图像中被跟踪的位置，所述参照图像为首次检测到所述预选特征点的图像。

在一种可能的设计中，所述以所述预选特征点在所述第一图像中的位置为初始位置，跟踪所述预选特征点在第三图像中的位置，得到第二跟踪结果，包括：以所述预选特征点在所述第一图像中的位置为初始位置，对所述预选特征点进行从第一图像到所述第三图像的跟踪，得到所述预选特征点在所述第三图像中被跟踪的位置。

在一种可能的设计中，所述以所述预选特征点在所述第一图像中的位置为初始位置，跟踪所述预选特征点在第三图像中的位置，得到第二跟踪结果，包括：以所述预选特征点在所述第一图像中的位置为初始位置，对所述预选特征点进行从第一图像到所述第三图像的跟踪，得到的跟踪结果为未跟踪到所述预选特征点在所述第三图像中的位置；获取所述预选特征点在所述第一图像中被跟踪到的位置的第一侧水平方向上的各位置与该被跟踪到的位置的相似度，并将该相似度最大的位置作为起始位置，对所述预选特征点进行从所述第一图像到所述第三图像的跟踪，得到第二跟踪结果，所述第二跟踪结果为所述预选特征点在所述第三图像中被跟踪的位置或者未跟踪到所述预选特征点在所述第三图像中的位置。

在一种可能的设计中，所述预选特征点为所述第一图像的多个待跟踪特征点中被跟踪到在所述第一图像中的位置且满足如下中的至少一项的特征点：(1)所述预选特征点在所述第一图像中被跟踪的位置和预估位置之间的欧氏距离小于或等于第一预设距离；(2)采用随机抽样一致RANSAC算法求解透视点PnP问题时，所述预选特征点满足几何约束；(3)所述预选特征点在所述参照图像中实际位置与第一反跟踪位置的相似度之间的欧氏距离小于或等于第二预设距离，所述第一反跟踪位置是以所述预选特征点在所述参照图像中的第一参照位置为起始位置，对所述预选特征点进行从所述第一图像到所述参照图像的跟踪得到的；所述第一参照位置为所述实际位置以及所述实际位置的相邻区域中的任一个位置；(4)所述第一图像块和第二图像块的相似度大于或等于第一预设值，所述第一图像块为所述实际位置和所述实际位置的相邻区域组成的图像块，所述第二图像块为所述预选特征点在所述第一图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块；(5)在根据RANSAC算法获取所述第一图像和所述第二图像之间的本征矩阵时，所述预选特征点满足极线约束。

在一种可能的设计中，还包括：在得到第二跟踪结果之后，从特征点集合中确定目标特征点，所述特征点集合中包括全部的预选特征点。

在一种可能的设计中，所述目标特征点为所述特征点集合中被跟踪到在所述第三图像中的位置且满足如下至少一项的特征点：(1)所述目标特征点在所述第一图像中被跟踪的位置和第一反投位置之间的欧氏距离小于或等于第三预设距离且所述目标特征点在所述第三图像中被跟踪的位置和第二反投位置之间的欧氏距离小于或等于第四预设距离；其中，所述第一反投位置是在根据所述目标特征点在所述第一图像和所述第三图像中被跟踪的位置得到所述目标特征点在第一摄像头坐标系下的第三三维坐标后，根据所述第一摄像头的内参矩阵和外参矩阵，将所述第三三维坐标反投至所述第一图像中得到的；所述第二反投位置是在根据所述目标特征点在所述第一图像和所述第三图像中被跟踪的位置得到所述目标特征点在第二摄像头坐标系下的第四三维坐标后，根据所述第二摄像头的内参矩阵和外参矩阵，将所述第四三维坐标反投至所述第三图像中得到的；(2)所述目标特征点在所述第一图像中被跟踪到的位置与第二反跟踪位置之间的欧氏距离小于或等于第五预设距离，所述第二反跟踪位置是以所述目标特征点在所述第三一图像中的第一参考位置为起始位置，对所述目标特征点进行从所述第三图像到所述第一图像的跟踪得到的；所述第一参考位置为所述目标特征点在所述第三一图像中被跟踪的位置以及该被跟踪的位置的相邻区域中的任一个位置；(3)第三图像块和第四图像块之间的相似度大于或等于第二预设值，所述第三图像块为所述目标特征点在所述第一图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块，所述第四图像块为所述目标特征点在所述第三图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块；(4)在根据RANSAC算法获取所述双目相机的本征矩阵时，所述目标特征点满足极线约束。

在一种可能的设计中，还包括：将所述第一图像划分成多个相同的长方形区域，均匀的从每个长方形区域中检测第一新增特征点，并从所述第一新增特征点中确定第一数量的第二新增特征点，以使所述第一数量与所述预选特征点的数量之和大于或等于第一预设数量；所述特征点集合中还包括全部的所述第二新增特征点；保存所述第一图像中所述第二新增特征点所在的像素块以及该像素块的相邻区域的像素块。

在一种可能的设计中，将所述第一图像划分成多个相同的长方形区域，均匀的从每个长方形区域中检测第一新增特征点，并从所述第一新增特征点中确定第二新增特征点之前，还包括：确定所述第一图像与最近一次确定的关键帧图像之间的平均视差大于或等于预设视差；或者，确定所述预选特征点的总数量小于或等于第二预设数量。

在一种可能的设计中，在所述从所述第一新增特征点中确定第一数量的第二新增特征点之后，还包括：以所述第二新增特征点在所述第一图像中的位置为初始位置，对所述第二新增特征点进行从所述第一图像到所述第三图像的跟踪，得到第三跟踪结果。

第二方面，本申请实施例提供一种可移动平台，包括：双目相机，所述双目相机搭载在所述可移动平台；处理器，与所述双目相机通信连接，用于执行如下操作：根据第一摄像头拍摄第一图像和第二图像时的相对位姿，获取所述第一图像中的预选特征点在所述第一图像中的预估位置；所述第一摄像头为所述双目相机的左目或右目，所述第二图像为所述第一图像的前一帧图像；以所述预选特征点在所述第一图像中的预估位置为初始位置，跟踪所述预选特征点在所述第一图像中的位置，得到第一跟踪结果；以所述预选特征点在所述第一图像中的位置为初始位置，跟踪所述预选特征点在第三图像中的位置，得到第二跟踪结果；所述第三图像由所述双目相机的第二摄像头拍摄，所述第一图像和所述第三图像的拍摄时间相同。

在一种可能的设计中，所述处理器在用于执行所述根据第一摄像头拍摄第一图像和第二图像时的相对位姿，获取所述第一图像中的预选特征点在所述第一图像中的预估位置的操作时，具体用于执行如下操作：根据所述移动平台的惯性测量单元IMU数据和所述移动平台的轮速，获取所述相对位姿；根据所述相对位姿，获取所述预选特征点在所述第一图像中的预估位置。

在一种可能的设计中，所述处理器在用于执行根据所述相对位姿，获取所述预选特征点在所述第一图像中的预估位置的操作时，具体用于执行如下操作：根据所述预选特征点在所述第二图像中被和在第四图像中被跟踪的位置，获取在拍摄所述第二图像时所述预选特征点在第一摄像头坐标系下的第一三维坐标；所述第四图像由所述第二摄像头拍摄，所述第二图像和所述第四图像的拍摄时间相同；根据所述相对位姿，将所述第一三维坐标转换至在拍摄所述第一图像时所述预选特征点在第一摄像头坐标系下的第二三维坐标；根据所述第二三维坐标和所述第一摄像头的内参矩阵，获取所述预选特征点在所述第一图像中的预估位置。

在一种可能的设计中，所述处理器在用于执行以所述预选特征点在所述第一图像中的预估位置为初始位置，跟踪所述预选特征点在所述第一图像中的位置，得到第一跟踪结果的操作时，具体用于执行如下操作：以所述预选特征点在所述第一图像中的预估位置为初始位置，对所述预选特征点进行从参照图像到第一图像的跟踪，得到所述预选特征点在所述第一图像中被跟踪的位置，所述参照图像为首次检测到所述预选特征点的图像。

在一种可能的设计中，所述处理器在用于执行以所述预选特征点在所述第一图像中的位置为初始位置，跟踪所述预选特征点在第三图像中的位置，得到第二跟踪结果的操作时，具体用于执行如下操作：以所述预选特征点在所述第一图像中的位置为初始位置，对所述预选特征点进行从第一图像到所述第三图像的跟踪，得到所述预选特征点在所述第三图像中被跟踪的位置。

在一种可能的设计中，所述处理器在用于执行以所述预选特征点在所述第一图像中的位置为初始位置，跟踪所述预选特征点在第三图像中的位置，得到第二跟踪结果的操作时，具体用于执行如下操作：以所述预选特征点在所述第一图像中的位置为初始位置，对所述预选特征点进行从第一图像到所述第三图像的跟踪，得到的跟踪结果为未跟踪到所述预选特征点在所述第三图像中的位置；获取所述预选特征点在所述第一图像中被跟踪到的位置的第一侧水平方向上的各位置与该被跟踪到的位置的相似度，并将该相似度最大的位置作为起始位置，对所述预选特征点进行从所述第一图像到所述第三图像的跟踪，得到第二跟踪结果，所述第二跟踪结果为所述预选特征点在所述第三图像中被跟踪的位置或者未跟踪到所述预选特征点在所述第三图像中的位置。

在一种可能的设计中，所述预选特征点为所述第一图像的多个待跟踪特征点中被跟踪到在所述第一图像中的位置且满足如下中的至少一项的特征点：(1)所述预选特征点在所述第一图像中被跟踪的位置和预估位置之间的欧氏距离小于或等于第一预设距离；(2)采用随机抽样一致RANSAC算法求解透视点PnP问题时，所述预选特征点满足几何约束；(3)所述预选特征点在所述参照图像中实际位置与第一反跟踪位置的相似度之间的欧氏距离小于或等于第二预设距离，所述第一反跟踪位置是以所述预选特征点在所述参照图像中的第一参照位置为起始位置，对所述预选特征点进行从所述第一图像到所述参照图像的跟踪得到的；所述第一参照位置为所述实际位置以及所述实际位置的相邻区域中的任一个位置；(4)所述第一图像块和第二图像块的相似度大于或等于第一预设值，所述第一图像块为所述实际位置和所述实际位置的相邻区域组成的图像块，所述第二图像块为所述预选特征点在所述第一图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块；(5)在根据RANSAC算法获取所述第一图像和所述第二图像之间的本征矩阵时，所述预选特征点满足极线约束。

在一种可能的设计中，所述处理器在得到第二跟踪结果之后，还用于执行如下的操作：从特征点集合中确定目标特征点，所述特征点集合中包括全部的预选特征点。

在一种可能的设计中，所述目标特征点为特征点集合中被跟踪到在所述第三图像中的位置且满足如下至少一项的特征点：(1)所述目标特征点在所述第一图像中被跟踪的位置和第一反投位置之间的欧氏距离小于或等于第三预设距离且所述目标特征点在所述第三图像中被跟踪的位置和第二反投位置之间的欧氏距离小于或等于第四预设距离；其中，所述第一反投位置是在根据所述目标特征点在所述第一图像和所述第三图像中被跟踪的位置得到所述目标特征点在第一摄像头坐标系下的第三三维坐标后，根据所述第一摄像头的内参矩阵和外参矩阵，将所述第三三维坐标反投至所述第一图像中得到的；所述第二反投位置是在根据所述目标特征点在所述第一图像和所述第三图像中被跟踪的位置得到所述目标特征点在第二摄像头坐标系下的第四三维坐标后，根据所述第二摄像头的内参矩阵和外参矩阵，将所述第四三维坐标反投至所述第三图像中得到的；(2)所述目标特征点在所述第一图像中被跟踪到的位置与第二反跟踪位置之间的欧氏距离小于或等于第五预设距离，所述第二反跟踪位置是以所述目标特征点在所述第三一图像中的第一参考位置为起始位置，对所述目标特征点进行从所述第三图像到所述第一图像的跟踪得到的；所述第一参考位置为所述目标特征点在所述第三一图像中被跟踪的位置以及该被跟踪的位置的相邻区域中的任一个位置；(3)第三图像块和第四图像块之间的相似度大于或等于第二预设值，所述第三图像块为所述目标特征点在所述第一图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块，所述第四图像块为所述目标特征点在所述第三图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块；(4)在根据RANSAC算法获取所述双目相机的本征矩阵时，所述目标特征点满足极线约束。

在一种可能的设计中，所述处理器，还用于执行如下的操作：将所述第一图像划分成多个相同的长方形区域，均匀的从每个长方形区域中检测第一新增特征点，并从所述第一新增特征点中确定第一数量的第二新增特征点，以使所述第一数量与所述预选特征点的数量之和大于或等于第一预设数量；所述特征点集合中还包括全部的所述第二新增特征点；保存所述第一图像中所述第二新增特征点所在的像素块以及该像素块的相邻区域的像素块。

在一种可能的设计中，在所述处理器用于执行将所述第一图像划分成多个相同的长方形区域，均匀的从每个长方形区域中检测第一新增特征点，并从所述第一新增特征点中确定第二新增特征点的操作之前，所述处理器还用于执行如下的操作：确定所述第一图像与最近一次确定的关键帧图像之间的平均视差大于或等于预设视差；或者，确定所述预选特征点的总数量小于或等于第二预设数量。

在一种可能的设计中，在所述处理器用于执行从所述第一新增特征点中确定第一数量的第二新增特征点的操作之后，所述处理器还用于执行如下的操作：以所述第二新增特征点在所述第一图像中的位置为初始位置，对所述第二新增特征点进行从所述第一图像到所述第三图像的跟踪，得到第三跟踪结果。

第三方面，本申请实施例提供一种计算机可读存储介质，包括程序或指令，当所述程序或指令在计算机上运行时，第一方面以及第一方面各可能的设计中所述的方法被执行。

第四方面，本发明实施例提供一种计算机程序，当所述计算机程序被计算机执行时，用于执行上述第一方面以及各可能的设计中所述的方法。

所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储介质上。存储介质例如为存储器。

本申请中，根据双目相机中的第一摄像头拍摄的相邻的两张图像(第一图像和第二图像，第二图像为第一图像的前一帧图像)之间的相对位姿获取特征点在第一图像中的预估位置(也就是跟踪的初始位置)，即在获取跟踪的初始位置时考虑了第一摄像头拍摄第一图像和第二图像时的相对位姿，可结合特征点在前一对图像对中的跟踪结果得到比较接近特征点在第一图像中的真实位置的预估位置，也就是本申请中获取到的特征点在第一图像中的预估位置相对于目前的跟踪的初始位置(特征点在第二图像中被跟踪的位置)更接近特征点在第一图像中的真实位置，从而可使得在跟踪特征点在第一图像中的位置时得到跟踪结果比较准确。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的应用场景示意图；

图2为本申请实施例提供的跟踪方法的流程图一；

图3为本申请实施例提供的跟踪方法的流程图二；

图4为本申请实施例提供的一可移动平台的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的应用场景示意图，参见图1，移动平台11上搭载双目相机12。

其中，移动平台可为车辆。双目相机12用于对移动平台的周围环境进行拍摄，得到移动平台的周围环境的图像。

首先采用具体的实施例对本申请的跟踪方法进行说明。图2为本申请实施例提供的跟踪方法的流程图一。参见图2，本实施例的方法包括：

步骤S201、根据第一摄像头拍摄第一图像和第二图像时的相对位姿，获取第一图像中的预选特征点在第一图像中的预估位置；第一摄像头为双目相机的左目或右目，第二图像为第一图像的前一帧图像。

其中，双目相机包括左目和右目，即双目相机包括两个摄像头：第一摄像头和第二摄像头。在本实施例中，若第一摄像头为左目，则第二摄像头为右目；若第一摄像头为右目，则第二摄像头为左目。第一摄像头和第二摄像头在同一时间拍摄的两张图像，可称为一对图像对。

本实施例中的第一图像为当前处理的当前图像对中由第一摄像头拍摄的图像，第二图像为当前图像对的前一对图像对中由第一摄像头拍摄的图像，即第一图像和第二图像为第一摄像头拍摄的相邻的两张图像，第二图像为第一图像的前一帧图像。

预选特征点为第一图像中需要被跟踪的多个待跟踪特征点中的特征点，从多个待跟踪特征点中确定至少一个预选特征点的方法在后续阐述。第一图像中的多个待跟踪特征点为在对当前图像对中的特征点进行跟踪之前，对前一对图像中的特征点采用本实施例中的跟踪方法跟踪后所确定的各特征点。

可以理解的是，对于当前图像对中的特征点的跟踪：除了需要根据第一摄像头拍摄第一图像和第二图像时的相对位姿，获取第一图像中的预选特征点在第一图像中的预估位置，还需要根据第一摄像头拍摄第一图像和第二图像时的相对位姿，获取第一图像中的其它特征点在第一图像中的预估位置，其它特征点为第一图像中的多个待跟踪特征点中除了预选特征点之外的特征点。

其中，获取第一图像中的多个待跟踪特征点中的每个特征点在第一图像中的预估位置的方法相同，下面以获取预选特征点在第一图像中的预估位置为例来说明。

在一种方式中，根据第一摄像头拍摄第一图像和第二图像时的相对位姿，获取第一图像中的预选特征点在第一图像中的预估位置可通过a1～a2实现：

a1、根据移动平台的惯性测量单元(inertial measurement unit，简称IMU)数据和移动平台的轮速，获取第一摄像头拍摄第一图像和第二图像时的相对位姿。

可选地，可根据IMU数据和移动平台的轮速，采用卡尔曼滤波的方法获取第一摄像头拍摄第一图像和第二图像时的相对位姿。其中，第一摄像头拍摄第一图像和第二图像时的相对位姿，也称为第一图像和第二图像之间的相对位姿，即第一摄像头拍摄第一图像时的位姿与第一摄像头拍摄第二图像时的位姿之间的相对位姿。

a2、根据该相对位姿，获取预选特征点在第一图像中的预估位置。

其中，特征点在图像中的位置为二维位置，可表示为(u，v)，指示特征点在图像中的位置为图像中第u行的第v个像素。即位置和像素一一对应。

在一种方式中，根据相对位姿，获取预选特征点在第一图像中的预估位置可通过a21～a23实现：

a21、根据预选特征点在第二图像中和在第四图像中被跟踪的位置，获取在拍摄第二图像时预选特征点在第一摄像头坐标系下的第一三维坐标；第四图像由第二摄像头拍摄，第二图像和第四图像的拍摄时间相同。

其中，第二图像和第四图像为一对图像对，第二图像是由第一摄像头拍摄的图像，第四图像是由第二摄像头拍摄的图像，第二图像和第四图像的拍摄时间相同。即第二图像和第四图像为当前图像对的前一对图像对。

预选特征点在第二图像中和在第四图像中被跟踪的位置为在对当前图像对中的特征点进行跟踪之前，根据本实施中的跟踪方法得到的预选特征点在第二图像中和在第四图像中被跟踪的位置，也就是预选特征点在前一对图像对中的跟踪结果。

在第一摄像头为双目相机的左目的情况下，第一摄像头坐标系为左目坐标系；在第一摄像头为双目相机的右目的情况下，第一摄像头坐标系为右目坐标系。

a22、根据该相对位姿，将第一三维坐标转换至在拍摄第一图像时预选特征点在第一摄像头坐标系下的第二三维坐标。

a23、根据第二三维坐标和第一摄像头的内参矩阵，获取预选特征点在第一图像中的预估位置。

根据双目相机中的第一摄像头拍摄的相邻的两张图像(第一图像和第二图像，第二图像为第一图像的前一帧图像)之间的相对位姿获取特征点在第一图像中的预估位置(也就是跟踪的初始位置)，即在获取跟踪的初始位置时考虑了第一摄像头拍摄第一图像和第二图像时的相对位姿，可结合特征点在前一对图像对中的跟踪结果得到比较接近特征点在第一图像中的真实位置的预估位置，也就是本实施例中获取到的特征点在第一图像中的预估位置相对于目前的跟踪的初始位置(特征点在第二图像中被跟踪的位置)更接近特征点在第一图像中的真实位置，从而可使得在跟踪特征点在第一图像中的位置时得到跟踪结果比较准确。

步骤S202、以预选特征点在第一图像中的预估位置为初始位置，跟踪预选特征点在第一图像中的位置，得到第一跟踪结果。

其中，对于当前图像对中的特征点的跟踪：除了需要以预选特征点在第一图像中的预估位置为初始位置，跟踪预选特征点在第一图像中的位置，得到第一跟踪结果外，还需要以其它特征点在第一图像中的预估位置为初始位置，跟踪其它特征点在第一图像中的位置，得到第三跟踪结果，其它特征点的含义参见上述阐述。

对于每个预选特点：在一种方式中，以预选特征点在第一图像中的预估位置为初始位置，跟踪预选特征点在第一图像中的位置，得到第一跟踪结果，包括：以预选特征点在第一图像中的预估位置为初始位置，对预选特征点进行从第一参照图像到第一图像的跟踪，得到预选特征点在第一图像中被跟踪的位置，第一参照图像为首次检测到预选特征点的图像。也就是说，第一跟踪结果为预选特征点在第一图像中被跟踪的位置。

其中，可采用KLT算法，以预选特征点在第一图像中的预估位置为初始位置，对预选特征点进行从第一参照图像到第一图像的跟踪，得到预选特征点在第一图像中被跟踪的位置。

对于每个其它特征点：在一种方式中，以其它特征点在第一图像中的预估位置为初始位置，跟踪其它特征点在第一图像中的位置，得到第三跟踪结果，包括：以其它特征点在第一图像中的预估位置为初始位置，对其它特征点进行从第二参照图像到第一图像的跟踪，得到第三跟踪结果，第二参照图像为首次检测到其它特征点的图像。其中，第三跟踪结果可为其它特征点在第一图像中被跟踪的位置(即跟踪到其它特征点在第一图像中的位置)，也可为未跟踪到其它特征点在第一图像中的位置。

步骤S203、以预选特征点在第一图像中的位置为初始位置，跟踪预选特征点在第三图像中的位置，得到第二跟踪结果；第三图像由双目相机的第二摄像头拍摄，第一图像和第三图像的拍摄时间相同。

在得到预选特征点在第一图像中被跟踪的位置后，接着获取预选特征点在第三图像中被跟踪的位置。其中，第三图像为当前图像对中由双目相机的第二摄像头拍摄的图像，第一图像和第三图像的拍摄时间相同。可以理解的是，上述的第四图像为第三图像的前一帧图像。

在一种方式中，以预选特征点在第一图像中的位置为初始位置，跟踪预选特征点在第三图像中的位置，得到第二跟踪结果，包括：以预选特征点在第一图像中的位置为初始位置，对预选特征点进行从第一图像到第三图像的跟踪，得到预选特征点在第三图像中被跟踪的位置。第二跟踪结果为预选特征点在第三图像中被跟踪的位置。

该种方式为以预选特征点在第一图像中被跟踪的位置为初始位置，能够跟踪到预选特征点在第三图像中的位置的情况。

在另一种方式中，以预选特征点在所述第一图像中的位置为初始位置，跟踪预选特征点在第三图像中的位置，得到第二跟踪结果，包括：

c1、以预选特征点在第一图像中被跟踪的位置为初始位置，对预选特征点进行从第一图像到第三图像的跟踪，得到的跟踪结果为未跟踪到预选特征点在第三图像中的位置。也就是以预选特征点在第一图像中被跟踪的位置为初始位置，跟踪预选特征点在第三图像中的位置跟踪失败。

c2、获取预选特征点在第一图像中被跟踪到的位置的第一侧水平方向上的各位置与该被跟踪到的位置的相似度；将该相似度最大的位置作为起始位置，对预选特征点进行从第一图像到第三图像的跟踪，得到第二跟踪结果，第二跟踪结果为预选特征点在第三图像中被跟踪的位置或者未跟踪到预选特征点在第三图像中的位置。

其中，第一侧可为左侧。相应地，可采用误差平方和(Sum of SquaredDifferences，简称SSD)算法依次计算在预选特征点在第一图像中被跟踪到的位置的左侧水平方向上的各位置与该被跟踪到的位置的相似度。也就是从预选特征点在第一图像中被跟踪到的位置向左沿着第三图像的水平方向逐像素进行一维SSD。

该种方式为以预选特征点在第一图像中被跟踪的位置为初始位置，不能能够跟踪到预选特征点在第三图像中的位置的情况。

通过以上的方法，得到了预选特征点在当前图像对中的第一图像中的第一跟踪结果和第三图像中的第二跟踪结果。

在第一图像与最近一次确定的关键帧图像之间的平均视差小于预设视差或者预选特征点的总数量大于第二预设数量的情况下，为了去除预选特征点中跟踪结果不准确的特征点(即去除外点)和未跟踪到在第三图像中的位置的预选特征点，在得到预选特征点在第三图像中的第二跟踪结果后，可从预选特征点中确定目标特征点。具体地，可根据第一跟踪结果和第二跟踪结果，从预选特征点中确定目标特征点。从预选特征点中确定目标特征点的方法将在后续的实施例中阐述。从预选特征点中确定目标特征点的数量可为0个或一个或多个。

在另一种方案中，若第一图像与最近一次确定的关键帧图像之间的平均视差大于或等于预设视差或者预选特征点的总数量小于或等于第二预设数量，则在从第一图像中的多个待跟踪点中确定至少一个预选特征点后，还可包括如下的步骤：

e1、将第一图像划分成多个相同的长方形区域，均匀的从每个长方形区域中检测第一新增特征点，并从第一新增特征点中确定第一数量的第二新增特征点，以使第一数量和预选特征点的数量之和大于或等于第一预设数量。

其中，满足如下条件的图像可称为关键帧图像：该图像与最近一次确定的关键帧图像之间的平均视差大于或等于预设视差，或者，从该图像中的多个待跟踪特征点中确定的预选特征点的数量小于第三预设数量。第二预设数量可大于第三预设数量，也可等于第三预设数量。

检测第一新增特征点，并从第一新增特征点中确定第二预设数量的第二新增特征点同目前的从图像中检测特征点的方法和从检测出的特征点中选择出稳定的特征点的方法，此处不再赘述。

另外，本实施例中从第一图像中新检测出来的第一新增特征点可为第一图像中的静态物体的特征点。也就是说，本申请实施例的方法所跟踪的特征点为静态物体的特征点。其中，可通过深度学习(比如深度神经网路等机器学习算法)将图像中的运动物体检测出来，并可采用标注框对检测出的运动物体进行标注。在从第一图像中新检测特征点时，可采用第二图像的运动物体的检测结果，可选地，可将标注第二图像的运动物体的标注框在第一图像中扩大，以使标注框尽可能的将第一图像中的运动物体包围起来。

e2、保存第一图像中第二新增特征点所在的像素块以及该像素块的相邻区域的像素块。

其中，第二新增特征点所在的像素块即为第二新增特征点所在的像素这一图像块。像素块的相邻区域的像素块，即为像素的邻域所组成的图像块。

本领域技术人员应当明白：为了能够实现本实施例中的跟踪方法，每个特征点被首次检测出来时，均需要保存该特征点所在的像素块以及该像素块的相邻区域的像素块。

e3、以第二新增特征点在第一图像中的位置为初始位置，对第二新增特征点进行从第一图像到第三图像的跟踪，得到第三跟踪结果。

e4、从预选特征点和第二新增特征点中确定所有的目标特征点。

具体地，可根据第一跟踪结果、第二跟踪结果、第二新增特征点在第一图像中的位置和第三跟踪结果，从预选特征点和第二新增特征点中确定所有的目标特征点。

其中，根据第一跟踪结果、第二跟踪结果、第二新增特征点在第一图像中的位置和第三跟踪结果，从预选特征点和第二新增特征点中确定所有的目标特征点的方法同上述没有第二新增特征点时从预选特征点中确定目标特征点的方法。

对当前图像对的特征点进行跟踪后确定的所有目标特征点为该下一对图像对中由第一摄像头拍摄的图像中的多个待跟踪特征点。同样地，根据上述方法对当前图像对的前一图像对的特征点进行跟踪后所确定的所有目标特征点为当前图像对中由第一摄像头拍摄的第一图像中的多个待跟踪特征点。

可以理解的是，对双目相机所拍摄的各图像对中的特征点进行跟踪的方法均相同。

本实施例的跟踪方法可使得在跟踪特征点在第一图像中的位置时得到跟踪结果比较准确。

下面采用具体的实施例对预选特征点以及预选特征点的确定进行详细说明。

为了去除第一图像中的多个待跟踪特征点中在第一图像中的跟踪位置不准确的特征点(即去除外点)和未跟踪到在第一图像中的位置的特征点，可从第一图像中的多个待跟踪特征点中确定预选特征点。

其中，预选特征点可为第一图像中的多个待跟踪特征点中被跟踪到在第一图像中的位置且满足如下(11)～(15)中的至少一个条件的特征点：

(11)预选特征点在第一图像中被跟踪的位置和预估位置之间的欧氏距离小于或等于第一预设距离。

可选地，第一预设距离的取值可为集合[8，15]中的任一值。

(12)在采用随机抽样一致(random sample consensus，简称RANSAC)算法求解透视点(pespective-n-point，简称PnP)问题时，预选特征点满足几何约束。

(13)预选特征点在第一参照图像中第一实际位置与第一反跟踪位置之间的欧氏距离小于或等于第二预设距离，第一反跟踪位置是以预选特征点在第一参照图像中的第一参照位置为起始位置，对预选特征点进行从第一图像到第一参照图像的跟踪得到的；第一参照位置为在预选特征点在第一参照图像中的第一实际位置以及该第一实际位置的相邻区域中的任一个位置。

其中，第一参照位置为从预选特征点在第一参照图像中第一实际位置以及该第一实际位置的相邻区域中随机选取的一个位置，可能为第一实际位置，也可能为第一实际位置的相邻区域中的一个位置，后续相似的描述的含义相同，不再赘述。一位置的相邻区域可以是该一位置所对应的像素点的邻域所覆盖的区域。

可选地，可以采用KLT算法，以预选特征点在第一参照图像中的第一参照位置为起始位置，对预选特征点进行从第一图像到第一参照图像的跟踪，得到预选特征点在第一参照图像中的第一反跟踪位置。

可选地，第二预设距离的取值可为集合[8，15]中任一值。

(14)第一图像块和第二图像块的相似度大于第一预设值，第一图像块为预选特征点在第一参照图像中第一实际位置和该第一实际位置的相邻区域组成的图像块，第二图像块为预选特征点在第一图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块。

其中，可通过归一化互相关(Normalized Cross Correlation，简称NCC)原理检验第一图像块和第二图像块的相似度。可选地，第一预设值可为集合[80％，90％]中的任一数值。

(15)在根据RANSAC算法获取第一图像和第二图像之间的本征矩阵时，预选特征点满足极线约束。

需要说明的是，每个预选特征点需要满足相同的上述(11)～(15)中的至少一个条件，比如：预选特征点为第一图像中的多个待跟踪特征点中被跟踪到在第一图像中的位置且满足上述(11)～(15)中的各条件的特征点；又比如，预选特征点为多个待跟踪特征点中被跟踪到在第一图像中的位置且满足上述(12)～(14)中的各条件的特征点。

下面对从第一图像中的多个待跟踪特征点中确定至少一个预选特征点的一种具体实现进行说明。

b1、去除第一图像中的多个待跟踪特征点中未跟踪到在第一图像中的位置的特征点，得到第一剩余特征点。

b2、对于每个第一剩余特征点：获取第一剩余特征点在第一图像中被跟踪的位置和预估位置之间的第一欧氏距离，判断第一欧氏距离小于或等于第一预设距离的第一剩余特征点的数量是否大于或等于第一剩余特征点的总数量的预设倍数；若是，去除第一欧氏距离大于第一预设距离的第一剩余特征点，得到第一类特征点；若否，则将第一剩余特征点作为第一类特征点。

其中，若第一欧氏距离大于第一预设距离，说明第一剩余特征点在第一图像中被跟踪的位置和预估位置中至少有一个不准确，这样的第一剩余特征点需要去除。

另外，若第一预设距离大于第一预设距离的第一剩余特征点的数量小于第一剩余特征点的总数量的预设倍数，说明第一剩余特征点的预估位置可能不准确，此时不根据第一欧氏距离去除任何的第一剩余特征点，将第一剩余特征点作为第一类特征点。

可选地，预设倍数可为集合[0.5，0.6]中的任一值。

b3、根据在拍摄第二图像时第一类特征点在第一摄像头坐标系下的三维坐标和第一类特征点在第一图像中被跟踪的位置，采用RANSAC算法求解PnP问题，去除不满足几何约束的第一类特征点，得到第二类特征点。

b4、对于每个第二类特征点：以第二类特征点在第三参照图像中的第二参照位置为起始位置，对第二类特征点进行从第一图像到第三参照图像的跟踪，得到第二类特征点在第三参照图像中的第三反跟踪位置；第二参照位置为第二类特征点在第三参照图像中的第二实际位置以及该第二实际位置的相邻区域中的任一个位置，第三参照图像为首次检测到该第二类特征点的图像；并获取第三反跟踪位置与第二实际位置之间的第二欧氏距离；去除第二欧氏距离大于第二预设距离的第二类特征点，得到第三类特征点。

其中，第三反跟踪位置与第二实际位置之间的第二欧氏距离大于第二预设距离，说明第三反跟踪位置与在第一图像中被跟踪的位置至少有一个不准确，这样的第二类特征点需要去除。

b5、对于每个第三类特征点：获取第五图像块和第六图像块之间的相似度，第五图像块为第三类特征点在第四参照图像中的第三实际位置和该第三实际位置的相邻区域组成的图像块，第六图像块为第三类特征点在第一图像中被跟踪的位置和该被跟踪的位置的相邻区域组成的图像块；去除第五图像块和第六图像块之间的相似度小于第一预设值的第三类特征点，得到第四类特征点。第四参照图像为首次出现第三类特征点的图像。

比如，可通过NCC原理获取第五图像块和第六图像块之间的相似度。

其中，第五图像块和第六图像块之间的相似度小于第一预设值，说明该第三类特征点在第一图像中被跟踪的位置不准确的概率较大，需要去除。

b6、根据RANSAC算法，获取第一图像和第二图像之间的本征矩阵，以去除第四类特征点中不满足极线约束的特征点，得到至少一个预选特征点。

该具体实现中，由于b1～b5中已经去除了部分特征点，将b6作为从多个待跟踪特征点中确定至少一个预选特征点的最后一步时，可减低b6所需要的时间，也可提高去除特征点的效果。

进一步地，在RANSAC算法中，对于第四类特征点中距离双目相机较近的特征点所采用的RANSAC阈值可大于第四类特征点中距离双目相机较远的特征点所采用的RANSAC阈值。

下面采用具体的实施例对目标特征点以及目标特征点的确定进行详细说明。

目标特征点为特征点集合中被跟踪到在第三图像中的位置且满足如下(21)～(24)中的至少一项的特征点，特征点集合由预选特征点组成或者由预选特征点和第二新增特征点组成：

(21)目标特征点在第一图像中被跟踪的位置和第一反投位置之间的欧氏距离小于或等于第三预设距离且目标特征点在第三图像中被跟踪的位置和第二反投位置之间的欧氏距离小于或等于第四预设距离；其中，第一反投位置是在根据目标特征点在第一图像和第三图像中被跟踪的位置得到目标特征点在第一摄像头坐标系下的第三三维坐标后，根据第一摄像头的内参矩阵和外参矩阵，将第三三维坐标反投至第一图像中得到的；第二反投位置是在根据目标特征点在第一图像和第三图像中被跟踪的位置得到目标特征点在第二摄像头坐标系下的第四三维坐标后，根据第二摄像头的内参矩阵和外参矩阵，将第四三维坐标反投至第三图像中得到的。

可以理解的是，在目标特征点为第二新增特征点时，目标特征点在第一图像中被跟踪的位置即目标特征点第一图像中的位置，也就是目标特征点在第一图像中被检测出来的位置。

可选地，第三预设距离可为集合[8，15]中的任一值，第四预设距离可为集合[8，15]中的任一值。

(22)目标特征点在第一图像中被跟踪到的位置与第二反跟踪位置之间的欧氏距离小于或等于第五预设距离，第二反跟踪位置是以目标特征点在第一图像中的第一参考位置为起始位置，对目标特征点进行从第三图像到第一图像的跟踪得到的；第一参考位置为目标特征点在第一图像中被跟踪的位置以及该被跟踪的位置的相邻区域中的任一个位置。

可选地，第五预设距离可为集合[8，15]中的任一值。

(23)第三图像块和第四图像块之间的相似度大于或等于第二预设值，第三图像块为目标特征点在第一图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块，第四图像块为目标特征点在第三图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块。

其中，可通过NCC原理检验第一图像块和第二图像块的相似度。可选地，第二预设值可为集合[80％，90％]中的任一值。

(24)在根据RANSAC算法获取双目相机的本征矩阵时，目标特征点满足极线约束。

可以理解的是，图2所示的实施例中的新增的目标特征点为第二新增特征点中被跟踪到在第三图像中的位置且满足如上(21)～(24)中的至少一个中的条件的特征点。

需要说明的是，每个目标特征点需要满足相同的条件，比如：目标特征点为特征点集合中被跟踪到在第三图像中的位置且满足上述(21)～(24)中的各条件的特征点；又比如，目标特征点为特征点集合中被跟踪到在第三图像中的位置且满足上述(21)～(23)中的各条件的特征点。

下面对从特征点集合中确定目标特征点的一种具体的实现方法进行说明。

d1、去除特征点集合中未跟踪到在第三图像中的位置的特征点，得到第二剩余特征点。

d2、根据第二剩余特征点在第一图像和第三图像中被跟踪的位置，获取拍摄第一图像时第二剩余特征点在第一摄像头坐标系下的第三三维坐标以及在第二摄像头坐标系下的第四三维坐标；并根据第一摄像头的内参矩阵和外参矩阵，将第三三维坐标反投至第一图像，得到第一反投位置，以及根据第二摄像头的内参矩阵和外参矩阵，将第四三维坐标反投至第三图像，得到第二反投位置；获取第二剩余特征点在第一图像中被跟踪的位置和第一反投位置之间的第三欧氏距离，以及第二剩余特征点在第三图像中被跟踪的位置和第二反投位置之间的第四欧氏距离，去除第三欧氏距离大于第三预设距离和/或第四欧氏距离大于第四预设距离的第二剩余特征点，得到第五类特征点。

d3、以第五类特征点在第一图像中的第一参考位置为起始位置，对第五类特征点进行从第三图像到第一图像的跟踪，得到第五类特征点在第一图像中的第二反跟踪位置；第一参考位置为第五类特征点在第一图像中被跟踪的位置以及该被跟踪的位置的相邻区域中的任一个位置；获取第五类特征点在第一图像中被跟踪的位置和第二反跟踪位置之间的第五欧氏距离，去除第五欧氏距离大于第五预设距离的第五类特征点，得到第六类特征点。

其中，第五类特征点在第一图像中被跟踪的位置和第二反跟踪位置之间的第五欧氏距离大于第五预设距离，说明第五类特征点在第一图像中被跟踪的位置与第二反跟踪位置中至少有一个不准确，这样的第五类特征点需要去除。

d4、获取第三图像块和第四图像块之间的相似度，第三图像块为第六类特征点在第一图像中被跟踪的位置以及该被跟踪的位置的相邻区域中的任一个位置组成的图像块，第四图像块为第六类特征点在第三图像中被跟踪的位置以及该被跟踪的位置的相邻区域中的任一个位置组成的图像块；去除第三图像块和第四图像块之间的相似度小于第二预设值的第六类特征点，得到第七类特征点。

比如，可通过NCC原理获取第三图像块和第四图像块之间的第三相似度。

其中，第三图像块和第四图像块之间的相似度小于第一预设值，说明该第六类特征点在第一图像中被跟踪的位置和/或在第三图像中被跟踪的位置不准确的概率较大，需要去除。

d5、根据RANSAC算法，获取双目相机的本征矩阵，以去除第七类特征点中不满足极线约束的特征点，最终得到至少一个目标特征点。

该具体实现中，由于d1～d4中已经去除了特征点集合中的部分特征点，将d5作为从特征点集合中确定目标特征点的最后一步时，可减低d5所需要的时间，也可提高去除特征点的效果。

进一步地，在RANSAC算法中，对于第七类特征点中距离双目相机较近的特征点所采用的RANSAC阈值可大于第七类特征点中距离双目相机较远的特征点所采用的RANSAC阈值。

通过上述各实施例对本申请提供的跟踪方法进行了说明，下面通过图3所示的实施例对本申请提供的完整的跟踪方法的流程进行说明。

图3为本申请实施例提供的跟踪方法的流程图二，参见图3，本实施的方法，包括：

步骤S301、根据第一摄像头拍摄第一图像和第二图像时的相对位姿，获取第一图像中的待跟踪特征点在第一图像中的预估位置；第一摄像头为双目相机的左目或右目，第二图像为第一图像的前一帧图像。

步骤S302、以待跟踪特征点在第一图像中的预估为初始位置，跟踪待跟踪特征点在第一图像中的位置，得到第一跟踪结果。

步骤S303、根据第一跟踪结果，从第一图像中的待跟踪特征点中确定预选特征点。

若第一图像与最近一次确定的关键帧图像之间的平均视差是否大于或等于预设视差，或者，预选特征点的总数量小于或等于第二预设数量，则执行步骤S304～步骤S308：

步骤S304、将第一图像划分成多个相同的长方形区域，均匀的从每个长方形区域中检测第一新增特征点，并从第一新增特征点中确定第一数量的第二新增特征点，以使第一数量和预选特征点的总数量之和大于或等于第一预设数量。

步骤S305、保存第一图像中第二新增特征点所在的像素块以及该像素块的相邻区域的像素块。

其中，步骤S304～S305是可选地。

步骤S306、以预选特征点在第一图像中被跟踪的位置为初始位置，跟踪预选特征点在第三图像中的位置，得到第二跟踪结果；第三图像为双目相机的第二摄像头拍摄的图像，第一图像和第三图像的拍摄时间相同。

步骤S307、以第二新增特征点在第一图像中的位置为初始位置，对第二新增特征点进行从第一图像到第三图像的跟踪，得到第三跟踪结果。

步骤S308、从预选特征点和第二新增特征点中确定所有的目标特征点。

若第一图像与最近一次确定的关键帧图像之间的平均视差小于预设视差且预选特征点的总数量大于第二预设数量，执行步骤S309～步骤S310：

步骤S309、以预选特征点在第一图像中被跟踪的位置为初始位置，跟踪预选特征点在第三图像中的位置，得到第二跟踪结果；第三图像为双目相机的第二摄像头拍摄的图像，第一图像和第三图像的拍摄时间相同。

步骤S310、从预选特征点中确定所有的目标特征点。

本实施例的跟踪方法可使得在跟踪特征点在第一图像中的位置时得到跟踪结果比较准确。

以上对本申请实施例的跟踪方法进行了说明，下面对本申请实施例的跟踪装置进行说明。

图4为本申请实施例提供的一可移动平台的结构示意图，如图4所示，该可移动平台包括：双目相机401，所述双目相机搭载在所述可移动平台；处理器402，与所述双目相机401通信连接，用于执行如下操作：根据第一摄像头拍摄第一图像和第二图像时的相对位姿，获取所述第一图像中的预选特征点在所述第一图像中的预估位置；所述第一摄像头为所述双目相机401的左目或右目，所述第二图像为所述第一图像的前一帧图像；以所述预选特征点在所述第一图像中的预估位置为初始位置，跟踪所述预选特征点在所述第一图像中的位置，得到第一跟踪结果；以所述预选特征点在所述第一图像中的位置为初始位置，跟踪所述预选特征点在第三图像中的位置，得到第二跟踪结果；所述第三图像由所述双目相机401的第二摄像头拍摄，所述第一图像和所述第三图像的拍摄时间相同。

可选地，所述处理器402在用于执行所述根据第一摄像头拍摄第一图像和第二图像时的相对位姿，获取所述第一图像中的预选特征点在所述第一图像中的预估位置的操作时，具体用于执行如下操作：根据所述移动平台的惯性测量单元IMU数据和所述移动平台的轮速，获取所述相对位姿；根据所述相对位姿，获取所述预选特征点在所述第一图像中的预估位置。

可选地，所述处理器402在用于执行根据所述相对位姿，获取所述预选特征点在所述第一图像中的预估位置的操作时，具体用于执行如下操作：根据所述预选特征点在所述第二图像中被和在第四图像中被跟踪的位置，获取在拍摄所述第二图像时所述预选特征点在第一摄像头坐标系下的第一三维坐标；所述第四图像由所述第二摄像头拍摄，所述第二图像和所述第四图像的拍摄时间相同；根据所述相对位姿，将所述第一三维坐标转换至在拍摄所述第一图像时所述预选特征点在第一摄像头坐标系下的第二三维坐标；根据所述第二三维坐标和所述第一摄像头的内参矩阵，获取所述预选特征点在所述第一图像中的预估位置。

可选地，所述处理器402在用于执行以所述预选特征点在所述第一图像中的预估位置为初始位置，跟踪所述预选特征点在所述第一图像中的位置，得到第一跟踪结果的操作时，具体用于执行如下操作：以所述预选特征点在所述第一图像中的预估位置为初始位置，对所述预选特征点进行从参照图像到第一图像的跟踪，得到所述预选特征点在所述第一图像中被跟踪的位置，所述参照图像为首次检测到所述预选特征点的图像。

可选地，所述处理器402在用于执行以所述预选特征点在所述第一图像中的位置为初始位置，跟踪所述预选特征点在第三图像中的位置，得到第二跟踪结果的操作时，具体用于执行如下操作：以所述预选特征点在所述第一图像中的位置为初始位置，对所述预选特征点进行从第一图像到所述第三图像的跟踪，得到所述预选特征点在所述第三图像中被跟踪的位置。

可选地，所述处理器402在用于执行以所述预选特征点在所述第一图像中的位置为初始位置，跟踪所述预选特征点在第三图像中的位置，得到第二跟踪结果的操作时，具体用于执行如下操作：以所述预选特征点在所述第一图像中的位置为初始位置，对所述预选特征点进行从第一图像到所述第三图像的跟踪，得到的跟踪结果为未跟踪到所述预选特征点在所述第三图像中的位置；获取所述预选特征点在所述第一图像中被跟踪到的位置的第一侧水平方向上的各位置与该被跟踪到的位置的相似度，并将该相似度最大的位置作为起始位置，对所述预选特征点进行从所述第一图像到所述第三图像的跟踪，得到第二跟踪结果，所述第二跟踪结果为所述预选特征点在所述第三图像中被跟踪的位置或者未跟踪到所述预选特征点在所述第三图像中的位置。

可选地，所述预选特征点为所述第一图像的多个待跟踪特征点中被跟踪到在所述第一图像中的位置且满足如下中的至少一项的特征点：(1)所述预选特征点在所述第一图像中被跟踪的位置和预估位置之间的欧氏距离小于或等于第一预设距离；(2)采用随机抽样一致RANSAC算法求解透视点PnP问题时，所述预选特征点满足几何约束；(3)所述预选特征点在所述参照图像中实际位置与第一反跟踪位置的相似度之间的欧氏距离小于或等于第二预设距离，所述第一反跟踪位置是以所述预选特征点在所述参照图像中的第一参照位置为起始位置，对所述预选特征点进行从所述第一图像到所述参照图像的跟踪得到的；所述第一参照位置为所述实际位置以及所述实际位置的相邻区域中的任一个位置；(4)所述第一图像块和第二图像块的相似度大于或等于第一预设值，所述第一图像块为所述实际位置和所述实际位置的相邻区域组成的图像块，所述第二图像块为所述预选特征点在所述第一图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块；(5)在根据RANSAC算法获取所述第一图像和所述第二图像之间的本征矩阵时，所述预选特征点满足极线约束。

可选地，所述处理器402，还用于执行如下的操作：从特征点集合中确定目标特征点，所述特征点集合中包括全部的预选特征点。

可选地，所述目标特征点为所述特征点集合中被跟踪到在所述第三图像中的位置且满足如下至少一项的特征点：(1)所述目标特征点在所述第一图像中被跟踪的位置和第一反投位置之间的欧氏距离小于或等于第三预设距离且所述目标特征点在所述第三图像中被跟踪的位置和第二反投位置之间的欧氏距离小于或等于第四预设距离；其中，所述第一反投位置是在根据所述目标特征点在所述第一图像和所述第三图像中被跟踪的位置得到所述目标特征点在第一摄像头坐标系下的第三三维坐标后，根据所述第一摄像头的内参矩阵和外参矩阵，将所述第三三维坐标反投至所述第一图像中得到的；所述第二反投位置是在根据所述目标特征点在所述第一图像和所述第三图像中被跟踪的位置得到所述目标特征点在第二摄像头坐标系下的第四三维坐标后，根据所述第二摄像头的内参矩阵和外参矩阵，将所述第四三维坐标反投至所述第三图像中得到的；(2)所述目标特征点在所述第一图像中被跟踪到的位置与第二反跟踪位置之间的欧氏距离小于或等于第五预设距离，所述第二反跟踪位置是以所述目标特征点在所述第三一图像中的第一参考位置为起始位置，对所述目标特征点进行从所述第三图像到所述第一图像的跟踪得到的；所述第一参考位置为所述目标特征点在所述第三一图像中被跟踪的位置以及该被跟踪的位置的相邻区域中的任一个位置；(3)第三图像块和第四图像块之间的相似度大于或等于第二预设值，所述第三图像块为所述目标特征点在所述第一图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块，所述第四图像块为所述目标特征点在所述第三图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块；(4)在根据RANSAC算法获取所述双目相机401的本征矩阵时，所述目标特征点满足极线约束。

可选地，所述处理器402，还用于执行如下的操作：将所述第一图像划分成多个相同的长方形区域，均匀的从每个长方形区域中检测第一新增特征点，并从所述第一新增特征点中确定第一数量的第二新增特征点，以使所述第一数量与所述预选特征点的数量之和大于或等于第一预设数量；保存所述第一图像中所述第二新增特征点所在的像素块以及该像素块的相邻区域的像素块。

可选地，在所述处理器402用于执行将所述第一图像划分成多个相同的长方形区域，均匀的从每个长方形区域中检测第一新增特征点，并从所述第一新增特征点中确定第二新增特征点的操作之前，所述处理器402还用于执行如下的操作：确定所述第一图像与最近一次确定的关键帧图像之间的平均视差大于或等于预设视差；或者，确定所述预选特征点的总数量小于或等于第二预设数量。

可选地，在所述处理器402用于执行从所述第一新增特征点中确定第一数量的第二新增特征点的操作之后，所述处理器402还用于执行如下的操作：以所述第二新增特征点在所述第一图像中的位置为初始位置，对所述第二新增特征点进行从所述第一图像到所述第三图像的跟踪，得到第三跟踪结果；根据所述第二新增特征点在所述第一图像中的位置和所述第三跟踪结果，从所述第二新增特征点中确定新增的目标特征点。

本实施例的可移动平台，可以用于执行上述各方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。

本申请实施例提供一种计算机可读存储介质，包括程序或指令，当所述程序或指令在计算机上运行时，上述方法实施例中所述的方法被执行。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (25)

1.一种跟踪方法，其特征在于，包括：

根据第一摄像头拍摄第一图像和第二图像时的相对位姿，获取所述第一图像中的预选特征点在所述第一图像中的预估位置；所述第一摄像头为双目相机的左目或右目，所述第二图像为所述第一图像的前一帧图像；

以所述预选特征点在所述第一图像中的预估位置为初始位置，跟踪所述预选特征点在所述第一图像中的位置，得到第一跟踪结果；

以所述预选特征点在所述第一图像中的位置为初始位置，跟踪所述预选特征点在第三图像中的位置，得到第二跟踪结果；所述第三图像由所述双目相机的第二摄像头拍摄，所述第一图像和所述第三图像的拍摄时间相同。

2.根据权利要求1所述的方法，其特征在于，所述双目相机搭载在移动平台上；所述根据第一摄像头拍摄第一图像和第二图像时的相对位姿，获取所述第一图像中的预选特征点在所述第一图像中的预估位置，包括：

根据所述移动平台的惯性测量单元IMU数据和所述移动平台的轮速，获取所述相对位姿；

根据所述相对位姿，获取所述预选特征点在所述第一图像中的预估位置。

3.根据权利要求2所述的方法，其特征在于，所述根据所述相对位姿，获取所述预选特征点在所述第一图像中的预估位置，包括：

根据所述预选特征点在所述第二图像中被和在第四图像中被跟踪的位置，获取在拍摄所述第二图像时所述预选特征点在第一摄像头坐标系下的第一三维坐标；所述第四图像由所述第二摄像头拍摄，所述第二图像和所述第四图像的拍摄时间相同；

根据所述相对位姿，将所述第一三维坐标转换至在拍摄所述第一图像时所述预选特征点在第一摄像头坐标系下的第二三维坐标；

根据所述第二三维坐标和所述第一摄像头的内参矩阵，获取所述预选特征点在所述第一图像中的预估位置。

4.根据权利要求1～3任一项所述的方法，其特征在于，所述以所述预选特征点在所述第一图像中的预估位置为初始位置，跟踪所述预选特征点在所述第一图像中的位置，得到第一跟踪结果，包括：

以所述预选特征点在所述第一图像中的预估位置为初始位置，对所述预选特征点进行从参照图像到第一图像的跟踪，得到所述预选特征点在所述第一图像中被跟踪的位置，所述参照图像为首次检测到所述预选特征点的图像。

5.根据权利要求4所述的方法，其特征在于，所述以所述预选特征点在所述第一图像中的位置为初始位置，跟踪所述预选特征点在第三图像中的位置，得到第二跟踪结果，包括：

以所述预选特征点在所述第一图像中的位置为初始位置，对所述预选特征点进行从第一图像到所述第三图像的跟踪，得到所述预选特征点在所述第三图像中被跟踪的位置。

6.根据权利要求4所述的方法，其特征在于，所述以所述预选特征点在所述第一图像中的位置为初始位置，跟踪所述预选特征点在第三图像中的位置，得到第二跟踪结果，包括：

以所述预选特征点在所述第一图像中的位置为初始位置，对所述预选特征点进行从第一图像到所述第三图像的跟踪，得到的跟踪结果为未跟踪到所述预选特征点在所述第三图像中的位置；

获取所述预选特征点在所述第一图像中被跟踪到的位置的第一侧水平方向上的各位置与该被跟踪到的位置的相似度，并将该相似度最大的位置作为起始位置，对所述预选特征点进行从所述第一图像到所述第三图像的跟踪，得到第二跟踪结果，所述第二跟踪结果为所述预选特征点在所述第三图像中被跟踪的位置或者未跟踪到所述预选特征点在所述第三图像中的位置。

7.根据权利要求5或6所述的方法，其特征在于，所述预选特征点为所述第一图像的多个待跟踪特征点中被跟踪到在所述第一图像中的位置且满足如下中的至少一项的特征点：

所述预选特征点在所述第一图像中被跟踪的位置和预估位置之间的欧氏距离小于或等于第一预设距离；

采用随机抽样一致RANSAC算法求解透视点PnP问题时，所述预选特征点满足几何约束；

所述预选特征点在所述参照图像中实际位置与第一反跟踪位置的相似度之间的欧氏距离小于或等于第二预设距离，所述第一反跟踪位置是以所述预选特征点在所述参照图像中的第一参照位置为起始位置，对所述预选特征点进行从所述第一图像到所述参照图像的跟踪得到的；所述第一参照位置为所述实际位置以及所述实际位置的相邻区域中的任一个位置；

第一图像块和第二图像块的相似度大于或等于第一预设值，所述第一图像块为所述实际位置和所述实际位置的相邻区域组成的图像块，所述第二图像块为所述预选特征点在所述第一图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块；

在根据RANSAC算法获取所述第一图像和所述第二图像之间的本征矩阵时，所述预选特征点满足极线约束。

8.根据权利要求4～6任一项所述的方法，其特征在于，在所述得到第二跟踪结果之后，还包括：

从特征点集合中确定目标特征点，所述特征点集合中包括全部的预选特征点。

9.根据权利要求8所述的方法，其特征在于，所述目标特征点为特征点集合中被跟踪到在所述第三图像中的位置且满足如下至少一项的特征点：

所述目标特征点在所述第一图像中被跟踪的位置和第一反投位置之间的欧氏距离小于或等于第三预设距离且所述目标特征点在所述第三图像中被跟踪的位置和第二反投位置之间的欧氏距离小于或等于第四预设距离；其中，所述第一反投位置是在根据所述目标特征点在所述第一图像和所述第三图像中被跟踪的位置得到所述目标特征点在第一摄像头坐标系下的第三三维坐标后，根据所述第一摄像头的内参矩阵和外参矩阵，将所述第三三维坐标反投至所述第一图像中得到的；所述第二反投位置是在根据所述目标特征点在所述第一图像和所述第三图像中被跟踪的位置得到所述目标特征点在第二摄像头坐标系下的第四三维坐标后，根据所述第二摄像头的内参矩阵和外参矩阵，将所述第四三维坐标反投至所述第三图像中得到的；

所述目标特征点在所述第一图像中被跟踪到的位置与第二反跟踪位置之间的欧氏距离小于或等于第五预设距离，所述第二反跟踪位置是以所述目标特征点在所述第一图像中的第一参考位置为起始位置，对所述目标特征点进行从所述第三图像到所述第一图像的跟踪得到的；所述第一参考位置为所述目标特征点在所述第一图像中被跟踪的位置以及该被跟踪的位置的相邻区域中的任一个位置；

第三图像块和第四图像块之间的相似度大于或等于第二预设值，所述第三图像块为所述目标特征点在所述第一图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块，所述第四图像块为所述目标特征点在所述第三图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块；

在根据RANSAC算法获取所述双目相机的本征矩阵时，所述目标特征点满足极线约束。

10.根据权利要求8所述的方法，其特征在于，还包括：

将所述第一图像划分成多个相同的长方形区域，均匀的从每个长方形区域中检测第一新增特征点，并从所述第一新增特征点中确定第一数量的第二新增特征点，以使所述第一数量与所述预选特征点的数量之和大于或等于第一预设数量；所述特征点集合中还包括全部的所述第二新增特征点；

保存所述第一图像中所述第二新增特征点所在的像素块以及该像素块的相邻区域的像素块。

11.根据权利要求10所述的方法，其特征在于，将所述第一图像划分成多个相同的长方形区域，均匀的从每个长方形区域中检测第一新增特征点，并从所述第一新增特征点中确定第二新增特征点之前，还包括：

确定所述第一图像与最近一次确定的关键帧图像之间的平均视差大于或等于预设视差；或者，

确定所述预选特征点的总数量小于或等于第二预设数量。

12.根据权利要求10或11所述的方法，其特征在于，在所述从所述第一新增特征点中确定第一数量的第二新增特征点之后，还包括：

以所述第二新增特征点在所述第一图像中的位置为初始位置，对所述第二新增特征点进行从所述第一图像到所述第三图像的跟踪，得到第三跟踪结果。

13.一种可移动平台，其特征在于，包括：双目相机，所述双目相机搭载在所述可移动平台；

处理器，与所述双目相机通信连接，用于执行如下操作：

根据第一摄像头拍摄第一图像和第二图像时的相对位姿，获取所述第一图像中的预选特征点在所述第一图像中的预估位置；所述第一摄像头为所述双目相机的左目或右目，所述第二图像为所述第一图像的前一帧图像；

以所述预选特征点在所述第一图像中的预估位置为初始位置，跟踪所述预选特征点在所述第一图像中的位置，得到第一跟踪结果；

以所述预选特征点在所述第一图像中的位置为初始位置，跟踪所述预选特征点在第三图像中的位置，得到第二跟踪结果；所述第三图像由所述双目相机的第二摄像头拍摄，所述第一图像和所述第三图像的拍摄时间相同。

14.根据权利要求13所述的可移动平台，其特征在于，所述处理器在用于执行所述根据第一摄像头拍摄第一图像和第二图像时的相对位姿，获取所述第一图像中的预选特征点在所述第一图像中的预估位置的操作时，具体用于执行如下操作：

根据所述移动平台的惯性测量单元IMU数据和所述移动平台的轮速，获取所述相对位姿；

根据所述相对位姿，获取所述预选特征点在所述第一图像中的预估位置。

15.根据权利要求14所述的可移动平台，其特征在于，所述处理器在用于执行根据所述相对位姿，获取所述预选特征点在所述第一图像中的预估位置的操作时，具体用于执行如下操作：

根据所述预选特征点在所述第二图像中被和在第四图像中被跟踪的位置，获取在拍摄所述第二图像时所述预选特征点在第一摄像头坐标系下的第一三维坐标；所述第四图像由所述第二摄像头拍摄，所述第二图像和所述第四图像的拍摄时间相同；

根据所述相对位姿，将所述第一三维坐标转换至在拍摄所述第一图像时所述预选特征点在第一摄像头坐标系下的第二三维坐标；

根据所述第二三维坐标和所述第一摄像头的内参矩阵，获取所述预选特征点在所述第一图像中的预估位置。

16.根据权利要求13～15任一项所述的可移动平台，其特征在于，所述处理器在用于执行以所述预选特征点在所述第一图像中的预估位置为初始位置，跟踪所述预选特征点在所述第一图像中的位置，得到第一跟踪结果的操作时，具体用于执行如下操作：

以所述预选特征点在所述第一图像中的预估位置为初始位置，对所述预选特征点进行从参照图像到第一图像的跟踪，得到所述预选特征点在所述第一图像中被跟踪的位置，所述参照图像为首次检测到所述预选特征点的图像。

17.根据权利要求16所述的可移动平台，其特征在于，所述处理器在用于执行以所述预选特征点在所述第一图像中的位置为初始位置，跟踪所述预选特征点在第三图像中的位置，得到第二跟踪结果的操作时，具体用于执行如下操作：

以所述预选特征点在所述第一图像中的位置为初始位置，对所述预选特征点进行从第一图像到所述第三图像的跟踪，得到所述预选特征点在所述第三图像中被跟踪的位置。

18.根据权利要求16所述的可移动平台，其特征在于，所述处理器在用于执行以所述预选特征点在所述第一图像中的位置为初始位置，跟踪所述预选特征点在第三图像中的位置，得到第二跟踪结果的操作时，具体用于执行如下操作：

以所述预选特征点在所述第一图像中的位置为初始位置，对所述预选特征点进行从第一图像到所述第三图像的跟踪，得到的跟踪结果为未跟踪到所述预选特征点在所述第三图像中的位置；

获取所述预选特征点在所述第一图像中被跟踪到的位置的第一侧水平方向上的各位置与该被跟踪到的位置的相似度，并将该相似度最大的位置作为起始位置，对所述预选特征点进行从所述第一图像到所述第三图像的跟踪，得到第二跟踪结果，所述第二跟踪结果为所述预选特征点在所述第三图像中被跟踪的位置或者未跟踪到所述预选特征点在所述第三图像中的位置。

19.根据权利要求17或18所述的可移动平台，其特征在于，所述预选特征点为所述第一图像的多个待跟踪特征点中被跟踪到在所述第一图像中的位置且满足如下中的至少一项的特征点：

所述预选特征点在所述第一图像中被跟踪的位置和预估位置之间的欧氏距离小于或等于第一预设距离；

采用随机抽样一致RANSAC算法求解透视点PnP问题时，所述预选特征点满足几何约束；

所述预选特征点在所述参照图像中实际位置与第一反跟踪位置的相似度之间的欧氏距离小于或等于第二预设距离，所述第一反跟踪位置是以所述预选特征点在所述参照图像中的第一参照位置为起始位置，对所述预选特征点进行从所述第一图像到所述参照图像的跟踪得到的；所述第一参照位置为所述实际位置以及所述实际位置的相邻区域中的任一个位置；

所述第一图像块和第二图像块的相似度大于或等于第一预设值，所述第一图像块为所述实际位置和所述实际位置的相邻区域组成的图像块，所述第二图像块为所述预选特征点在所述第一图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块；

在根据RANSAC算法获取所述第一图像和所述第二图像之间的本征矩阵时，所述预选特征点满足极线约束。

20.根据权利要求16～18任一项所述的可移动平台，其特征在于，所述处理器在得到第二跟踪结果之后，还用于执行如下的操作：从特征点集合中确定目标特征点，所述特征点集合中包括全部的预选特征点。

21.根据权利要求20所述的可移动平台，其特征在于，所述目标特征点为所述特征点集合中被跟踪到在所述第三图像中的位置且满足如下至少一项的特征点：

所述目标特征点在所述第一图像中被跟踪的位置和第一反投位置之间的欧氏距离小于或等于第三预设距离且所述目标特征点在所述第三图像中被跟踪的位置和第二反投位置之间的欧氏距离小于或等于第四预设距离；其中，所述第一反投位置是在根据所述目标特征点在所述第一图像和所述第三图像中被跟踪的位置得到所述目标特征点在第一摄像头坐标系下的第三三维坐标后，根据所述第一摄像头的内参矩阵和外参矩阵，将所述第三三维坐标反投至所述第一图像中得到的；所述第二反投位置是在根据所述目标特征点在所述第一图像和所述第三图像中被跟踪的位置得到所述目标特征点在第二摄像头坐标系下的第四三维坐标后，根据所述第二摄像头的内参矩阵和外参矩阵，将所述第四三维坐标反投至所述第三图像中得到的；

所述目标特征点在所述第一图像中被跟踪到的位置与第二反跟踪位置之间的欧氏距离小于或等于第五预设距离，所述第二反跟踪位置是以所述目标特征点在所述第三一图像中的第一参考位置为起始位置，对所述目标特征点进行从所述第三图像到所述第一图像的跟踪得到的；所述第一参考位置为所述目标特征点在所述第三一图像中被跟踪的位置以及该被跟踪的位置的相邻区域中的任一个位置；

第三图像块和第四图像块之间的相似度大于或等于第二预设值，所述第三图像块为所述目标特征点在所述第一图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块，所述第四图像块为所述目标特征点在所述第三图像中被跟踪到的位置和该被跟踪到的位置的相邻区域组成的图像块；

在根据RANSAC算法获取所述双目相机的本征矩阵时，所述目标特征点满足极线约束。

22.根据权利要求20所述的可移动平台，其特征在于，所述处理器，还用于执行如下的操作：

将所述第一图像划分成多个相同的长方形区域，均匀的从每个长方形区域中检测第一新增特征点，并从所述第一新增特征点中确定第一数量的第二新增特征点，以使所述第一数量与所述预选特征点的数量之和大于或等于第一预设数量；所述特征点集合中还包括全部的所述第二新增特征点；

保存所述第一图像中所述第二新增特征点所在的像素块以及该像素块的相邻区域的像素块。

23.根据权利要求22所述的可移动平台，其特征在于，在所述处理器用于执行将所述第一图像划分成多个相同的长方形区域，均匀的从每个长方形区域中检测第一新增特征点，并从所述第一新增特征点中确定第二新增特征点的操作之前，所述处理器还用于执行如下的操作：

确定所述第一图像与最近一次确定的关键帧图像之间的平均视差大于或等于预设视差；或者，

确定所述预选特征点的总数量小于或等于第二预设数量。

24.根据权利要求22或23所述的可移动平台，其特征在于，在所述处理器用于执行从所述第一新增特征点中确定第一数量的第二新增特征点的操作之后，所述处理器还用于执行如下的操作：

以所述第二新增特征点在所述第一图像中的位置为初始位置，对所述第二新增特征点进行从所述第一图像到所述第三图像的跟踪，得到第三跟踪结果。

25.一种计算机可读存储介质，包括程序或指令，其特征在于，当所述程序或指令在计算机上运行时，权利要求1～12任一所述的方法被执行。

Images