CN113465602A - 导航方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本公开的实施例提供了一种导航方法、装置、电子设备及可读存储介质。所述方法包括：在自动驾驶设备的行进过程中，获取目标摄像头在当前时间采集的目标图像；所述目标摄像头为设置于所述自动驾驶设备上的摄像头；根据所述目标图像对应的目标图像特征信息，确定所述目标图像是否为关键帧图像；在所述目标图像为关键帧图像的情况下，根据所述目标摄像头的摄像参数，确定目标大小的关键帧窗口；基于所述关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，得到所述导航系统的导航结果。本公开的实施例可以提高导航系统的计算精度。

Description

导航方法、装置、电子设备及可读存储介质

技术领域

本公开的实施例涉及导航技术领域，尤其涉及一种导航方法、装置、电子设备及可读存储介质。

背景技术

结合视觉和惯性测量单元(IMU，Inertial Measurement Unit)进行的运动估计一直是移动机器人领域常用的定位方法，也是无人驾驶、无人机中常用的定位方案，准确的自身所处位置对于移动机器人的路径规划、规避障碍物等都有着重要作用。

目前，常用的松耦合方法利用IMU信息进行状态预测，然后使用视觉估计帧间位姿，并将该位姿作为EKF(ExtendedKalmanFilter，扩展卡尔曼滤波器)更新，这种方法分别处理IMU和图像两个信息源，计算量较小，但会损失一些信息，因此精度会受到影响。基于优化的紧耦合方法通常会维护一个局部窗口用以约束计算复杂度在一定范围内，但由于最小化目标函数过程中会进行多次迭代，因此计算量较大。

发明内容

本公开的实施例提供一种导航方法、装置、电子设备及可读存储介质，用以在降低计算复杂度的同时，提高计算精度。

根据本公开的实施例的第一方面，提供了一种导航方法，包括：

在自动驾驶设备的行进过程中，获取目标摄像头在当前时间采集的目标图像；所述目标摄像头为设置于所述自动驾驶设备上的摄像头；

根据所述目标图像对应的目标图像特征信息，确定所述目标图像是否为关键帧图像；

在所述目标图像为关键帧图像的情况下，根据所述目标摄像头的摄像参数，确定目标大小的关键帧窗口；

基于所述关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，得到所述导航系统的导航结果。

可选地，所述根据所述目标图像对应的目标图像特征信息，确定所述目标图像是否为关键帧图像，包括：

将所述目标图像上的目标特征点与其它关键帧图像上的特征点进行匹配；

根据匹配结果，确定所述目标图像相对于所述其它关键帧图像的图像视差和局内点数量；

在所述图像视差大于视差阈值，或者，所述局内点数量小于局内点阈值的情况下，确定所述目标图像为关键帧图像；

在所述图像视差小于等于所述视差阈值，且所述局内点数量大于所述局内点阈值的情况下，确定所述目标图像为非关键帧图像。

可选地，所述基于所述关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，得到所述导航系统的导航结果，包括：

获取所述关键帧窗口采集的所述目标图像内的第一图像特征信息，及与所述目标图像连续的初始图像内的第二图像特征信息；

对所述第一特征点和所述第二特征点进行特征点匹配处理，得到特征匹配结果；

基于所述特征匹配结果，对所述导航系统进行量测更新，得到量测更新结果；

基于所述量测更新结果，对所述导航系统的解算结果进行校正处理，得到所述导航系统的导航结果。

可选地，所述基于所述特征匹配结果，对所述导航系统进行量测更新，得到量测更新结果，包括：

基于所述特征匹配结果，获取第一特征点；所述第一特征点为所述位于所述初始图像内且未位于所述目标图像内的特征点；

获取所述目标图像内的第二特征点；所述第二特征点为所述目标图像内的边缘特征点；

基于所述第一特征点和所述第二特征点对所述导航系统进行量测更新，得到所述导航系统的导航结果。

可选地，在所述确定所述目标图像是否为关键帧图像之后，还包括：

在所述目标图像为非关键帧图像的情况下，获取所述目标图像相对于关键帧图像的位姿信息；

根据所述位姿信息对所述导航系统的解算结果进行校正，得到所述导航系统的导航结果。

可选地，所述获取所述目标图像相对于关键帧图像的位姿信息，包括：

获取所述目标图像对应的第三图像特征信息，及所述关键帧图像对应的第四图像特征信息；

根据所述第三图像特征信息和所述第四图像特征信息，确定所述目标图像相对于所述关键帧图像的位姿信息。

根据本公开的实施例的第二方面，提供了一种导航装置，包括：

目标图像获取模块，用于在自动驾驶设备的行进过程中，获取目标摄像头在当前时间采集的目标图像；所述目标摄像头为设置于所述自动驾驶设备上的摄像头；

目标图像确定模块，用于根据所述目标图像对应的目标图像特征信息，确定所述目标图像是否为关键帧图像；

关键帧窗口确定模块，用于在所述目标图像为关键帧图像的情况下，根据所述目标摄像头的摄像参数，确定目标大小的关键帧窗口；

第一导航结果获取模块，用于基于所述关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，得到所述导航系统的导航结果。

可选地，所述目标图像确定模块包括：

目标特征匹配单元，用于将所述目标图像上的目标特征点与其它关键帧图像上的特征点进行匹配；

图像视差确定单元，用于根据匹配结果，确定所述目标图像相对于所述其它关键帧图像的图像视差和局内点数量；

关键帧图像确定单元，用于在所述图像视差大于视差阈值，或者，所述局内点数量小于局内点阈值的情况下，确定所述目标图像为关键帧图像；

非关键帧图像确定单元，用于在所述图像视差小于等于所述视差阈值，且所述局内点数量大于所述局内点阈值的情况下，确定所述目标图像为非关键帧图像。

可选地，所述第一导航结果获取模块包括：

图像特征信息获取单元，用于获取所述关键帧窗口采集的所述目标图像内的第一图像特征信息，及与所述目标图像连续的初始图像内的第二图像特征信息；

特征匹配结果获取单元，用于对所述第一特征点和所述第二特征点进行特征点匹配处理，得到特征匹配结果；

量测更新结果获取单元，用于基于所述特征匹配结果，对所述导航系统进行量测更新，得到量测更新结果；

导航结果获取单元，用于基于所述量测更新结果，对所述导航系统的解算结果进行校正处理，得到所述导航系统的导航结果。

可选地，所述量测更新结果获取单元包括：

第一特征点获取子单元，用于基于所述特征匹配结果，获取第一特征点；所述第一特征点为所述位于所述初始图像内且未位于所述目标图像内的特征点；

第二特征点获取子单元，用于获取所述目标图像内的第二特征点；所述第二特征点为所述目标图像内的边缘特征点；

导航结果获取子单元，用于基于所述第一特征点和所述第二特征点对所述导航系统进行量测更新，得到所述导航系统的导航结果。

可选地，所述装置还包括：

位姿信息获取模块，用于在所述目标图像为非关键帧图像的情况下，获取所述目标图像相对于关键帧图像的位姿信息；

第二导航结果获取模块，用于根据所述位姿信息对所述导航系统的解算结果进行校正，得到所述导航系统的导航结果。

可选地，所述位姿信息获取模块包括：

图像特征信息获取单元，用于获取所述目标图像对应的第三图像特征信息，及所述关键帧图像对应的第四图像特征信息；

位姿信息确定单元，用于根据所述第三图像特征信息和所述第四图像特征信息，确定所述目标图像相对于所述关键帧图像的位姿信息。

根据本公开的实施例的第三方面，提供了一种电子设备，包括：

处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述的导航方法。

根据本公开的实施例的第四方面，提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项所述的导航方法。

本公开的实施例提供了一种导航方法、装置、电子设备及可读存储介质，通过在自动驾驶设备的行进过程中，获取目标摄像头在当前时间采集的目标图像，目标摄像头为设置于自动驾驶设备上的摄像头，根据目标图像对应的目标图像特征信息，确定目标图像是否为关键帧图像，在目标图像为关键帧图像的情况下，根据目标摄像头的摄像参数，确定目标大小的关键帧窗口，基于关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，得到导航系统的导航结果。本公开的实施例通过在当前帧为关键帧时，采用关键帧窗口采集多帧图像特征信息进行更新，可以降低计算复杂度，且提高了导航系统的计算精度。

附图说明

为了更清楚地说明本公开的实施例的技术方案，下面将对本公开的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开的实施例提供的一种导航方法的步骤流程图；

图2为本公开的实施例提供的另一种导航方法的步骤流程图；

图3为本公开的实施例提供的一种导航装置的结构示意图；

图4为本公开的实施例提供的另一种导航装置的结构示意图。

具体实施方式

下面将结合本公开的实施例中的附图，对本公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的实施例一部分实施例，而不是全部的实施例。基于本公开的实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开的实施例保护的范围。

实施例一

参照图1，示出了本公开的实施例提供的一种导航方法的步骤流程图，如图1所示，该导航方法具体可以包括如下步骤：

步骤101：在自动驾驶设备的行进过程中，获取目标摄像头在当前时间采集的目标图像；所述目标摄像头为设置于所述自动驾驶设备上的摄像头。

本公开的实施例可以应用于基于关键帧窗口采集的图像特征信息对自动驾驶设备进行导航的系统中。

在本实施例中，自动驾驶设备也即无人驾驶的设备。在实际应用中，自动驾驶设备可以为地面上行驶的车辆(如汽车、卡车、公交车等)，也可以为空中行驶的车辆(如无人机、飞机、直升机等)，还可以为水上行驶的车辆(如船、潜艇等)。在本示例中，自动驾驶设备可以应用于外卖配送、快递物流等领域，但不仅限于此，具体地，可以根据业务需求而定，本实施例对此不加以限制。

目标摄像头是指设置于自动驾驶设备上的摄像头，在实际应用中，目标摄像头可以为双目摄像头，也可以为单摄像头等，具体地，可以根据业务需求而定，本实施例对此不加以限制。

目标图像是指在进行导航系统的解算结果校正时由目标摄像头采集的图像。

在自动驾驶设备的行进过程中，可以获取目标摄像头在当前时间采集的目标图像。

在获取到目标摄像头在当前时间采集的目标图像之后，执行步骤102。

步骤102：根据所述目标图像对应的目标图像特征信息，确定所述目标图像是否为关键帧图像。

在获取到目标图像之后，可以根据目标图像对应的目标图像特征信息，确定目标图像是否为关键帧图像。具体地，对于该过程可以结合下述具体实现方式进行详细描述。

在本公开的一种具体实现方式中，上述步骤102可以包括：

子步骤A1：将所述目标图像上的目标特征点与其它关键帧图像上的特征点进行匹配。

在本实施例中，其它关键帧是指由目标摄像头采集的其它图像中的关键帧图像。

在自动驾驶设备的行进过程中，可以由目标摄像头实时采集道路图像，从而可以得到图像序列，其它关键帧图像即为图像序列中的除目标图像外的其它图像中的关键帧图像。

在获取到目标图像之后，可以将目标图像上的目标特征点与其它关键帧图像上的特征点进行匹配。

在将目标图像上的目标特征点与其它关键帧图像上的特征点进行匹配之后，执行子步骤A2。

子步骤A2：根据匹配结果，确定所述目标图像相对于所述其它关键帧图像的图像视差和局内点数量。

图像视差是指相同特征点在不同图像上的视觉差异。

局内点数量是指不同图像上的位于特点区域内的相同特征点的数量。

在将目标图像上的目标特征点与其它关键帧图像上的特征点进行匹配之后，可以得到特征匹配结果，进而可以根据特征匹配结果确定出目标图像相对于其它关键帧图像的图像视差和局内点数量。

在得到目标图像相对于其它关键帧图像的图像视差和局内点数量之后，执行子步骤A3，或者，执行子步骤A4。

子步骤A3：在所述图像视差大于视差阈值，或者，所述局内点数量小于局内点阈值的情况下，确定所述目标图像为关键帧图像。

子步骤A4：在所述图像视差小于等于所述视差阈值，且所述局内点数量大于所述局内点阈值的情况下，确定所述目标图像为非关键帧图像。

视差阈值是指预先设置的用于判定目标图像是否为关键帧图像的阈值，对于视差阈值的具体数值可以根据业务需求而定，本实施例对此不加以限制。

局内点阈值是指预先设置的用于判定目标图像是否为关键帧图像的局内点数量的阈值，对于局内点阈值的具体数值可以根据业务需求而定，本实施例对此不加以限制。

在获取到目标图像相对于其它关键帧图像的图像视差和局内点数量之后，可以比较图像视差与视差阈值之间的大小关系，及局内点数量与局内点阈值之间的大小关系。

在图像视差大于视差阈值，或者局内点数量小于局内点阈值的情况下，则可以确定目标图像为关键帧图像。

在图像视差小于等于视差阈值，且局内点数量大于局内点阈值的情况下，则可以确定目标图像为非关键帧图像。

在确定目标图像为关键帧图像之后，执行步骤103。

步骤103：在所述目标图像为关键帧图像的情况下，根据所述目标摄像头的摄像参数，确定目标大小的关键帧窗口。

在本示例中，摄像参数可以包括：分辨率参数、帧率参数、色彩还原度参数、图像处理器参数等参数中的至少一种。

在确定目标图像为关键帧图像的情况下，可以获取目标摄像头的摄像参数，并根据摄像参数确定目标大小的关键帧窗口。

在根据目标摄像头的摄像参数确定出目标大小的关键帧窗口之后，执行步骤104。

步骤104：基于所述关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，得到所述导航系统的导航结果。

在获取到目标大小的关键帧窗口之后，可以基于关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，以得到导航系统的导航结果，具体地校正处理过程可以结合下述具体实现方式进行详细描述。

在本公开的另一种具体实现方式中，上述步骤104可以包括：

子步骤B1：获取所述关键帧窗口采集的所述目标图像内的第一图像特征信息，及与所述目标图像连续的初始图像内的第二图像特征信息。

在本实施例中，第一图像特征信息是指通过关键帧窗口采集的目标图像内的图像特征信息。

第二图像特征信息是指通过关键帧窗口采集的与目标图像连续的初始图像内的图像特征信息。

在获取到关键帧窗口之后，可以通过关键帧窗口采集目标图像的图像特征信息，及初始图像的图像特征点，可以得到第一图像特征信息和第二图像特征信息。

在获取到第一图像特征信息和第二图像特征信息之后，执行子步骤B2。

子步骤B2：对所述第一图像特征信息和所述第二图像特征信息进行特征点匹配处理，得到特征匹配结果。

在获取到第一图像特征信息和第二图像特征信息之后，可以将第一图像特征信息与第二图像特征信息进行匹配处理，以得到特征匹配结果。

在得到特征匹配结果之后，执行子步骤B3。

子步骤B3：基于所述特征匹配结果，对所述导航系统进行量测更新，得到量测更新结果。

在得到特征匹配结果之后，可以基于特征匹配结果对导航系统进行量测更新，以得到导航系统的量测更新结果，进而，执行子步骤B4。

子步骤B4：基于所述量测更新结果，对所述导航系统的解算结果进行校正处理，得到所述导航系统的导航结果。

在得到导航系统的量测更新结果之后，可以根据量测更新结果对导航系统的解算结果进行校正处理，以得到导航系统的导航结果。

在本实施例中，上述子步骤B4还可以包括：

子步骤C1：基于所述特征匹配结果，获取第一特征点；所述第一特征点为所述位于所述初始图像内且未位于所述目标图像内的特征点。

在本实施例中，第一特征点是指位于初始图像内且未位于目标图像内的特征点，即在通过关键帧窗口对连续的图像进行跟踪的过程中，在目标图像内跟丢的特征点。

在获取到特征匹配结果之后，可以基于特征匹配结果获取目标图像对应的第一特征点。

子步骤C2：获取所述目标图像内的第二特征点；所述第二特征点为所述目标图像内的边缘特征点。

第二特征点是指目标图像内的边缘特征点。

在通过关键帧窗口对目标图像进行图像特征信息采集之后，可以得到目标图像内的第二特征点。

可以理解地，上述子步骤C1与子步骤C2的执行顺序无先后之分，可以先执行子步骤C1，然后再执行子步骤C2，也可以先执行子步骤C2，然后再执行子步骤C1，具体地，对于上述子步骤C1和子步骤C2的执行顺序可以根据业务需求而定，本实施例对此不加以限制。

在获取到第一特征点和第二特征点之后，执行子步骤C3。

子步骤C3：基于所述第一特征点和所述第二特征点对所述导航系统进行量测更新，得到所述导航系统的导航结果。

在得到第一特征点和第二特征点之后，可以基于第一特征点和第二特征点对导航系统进行量测更新，得到导航系统的导航结果。

对于量测更新的过程可以结合下述过程进行详细描述。

1)可以对目标图像进行特征点提取，提取的特征点可以应用于后续的导航校正计算处理中；

2)将目标图像加入关键帧窗口，进行状态clone，即将目标图像的状态信息复制于关键帧窗口中；

3)对已经跟丢的特征点以及边缘化帧观测到的特征点进行三角化，以得到特征点的位置信息；

4)然后结合特征点计算得到雅克比矩阵，并对左零空间投影分解进行变量压缩，进而从关键帧窗口中移除边缘化帧；

5)然后结合关键帧窗口采集的多帧特征信息对导航系统的解算结果进行更新，从而可以得到导航系统的导航结果。

本公开的实施例提供的导航方法，通过在自动驾驶设备的行进过程中，获取目标摄像头在当前时间采集的目标图像，目标摄像头为设置于自动驾驶设备上的摄像头，根据目标图像对应的目标图像特征信息，确定目标图像是否为关键帧图像，在目标图像为关键帧图像的情况下，根据目标摄像头的摄像参数，确定目标大小的关键帧窗口，基于关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，得到导航系统的导航结果。本公开的实施例通过在当前帧为关键帧时，采用关键帧窗口采集多帧图像特征信息进行更新，可以降低计算复杂度，且提高了导航系统的计算精度。

实施例二

参照图2，示出了本公开的实施例提供的另一种导航方法的步骤流程图，如图2所示，该导航方法具体可以包括如下步骤：

步骤201：在自动驾驶设备的行进过程中，获取目标摄像头在当前时间采集的目标图像；所述目标摄像头为设置于所述自动驾驶设备上的摄像头。

本公开的实施例可以应用于基于关键帧窗口采集的图像特征信息对自动驾驶设备进行导航的系统中。

在本实施例中，自动驾驶设备也即无人驾驶的设备。在实际应用中，自动驾驶设备可以为地面上行驶的车辆(如汽车、卡车、公交车等)，也可以为空中行驶的车辆(如无人机、飞机、直升机等)，还可以为水上行驶的车辆(如船、潜艇等)。在本示例中，自动驾驶设备可以应用于外卖配送、快递物流等领域，但不仅限于此，具体地，可以根据业务需求而定，本实施例对此不加以限制。

目标摄像头是指设置于自动驾驶设备上的摄像头，在实际应用中，目标摄像头可以为双目摄像头，也可以为单摄像头等，具体地，可以根据业务需求而定，本实施例对此不加以限制。

目标图像是指在进行导航系统的解算结果校正时由目标摄像头采集的图像。

在自动驾驶设备的行进过程中，可以获取目标摄像头在当前时间采集的目标图像。

在获取到目标摄像头在当前时间采集的目标图像之后，执行步骤202。

步骤202：根据所述目标图像对应的目标图像特征信息，确定所述目标图像是否为关键帧图像。

在获取到目标图像之后，可以根据目标图像对应的目标图像特征信息，确定目标图像是否为关键帧图像。具体地，对于该过程可以结合下述具体实现方式进行详细描述。

在本公开的一种具体实现方式中，上述步骤202可以包括：

子步骤D1：将所述目标图像上的目标特征点与其它关键帧图像上的特征点进行匹配。

在本实施例中，其它关键帧是指由目标摄像头采集的其它图像中的关键帧图像。

在自动驾驶设备的行进过程中，可以由目标摄像头实时采集道路图像，从而可以得到图像序列，其它关键帧图像即为图像序列中的除目标图像外的其它图像中的关键帧图像。

在获取到目标图像之后，可以将目标图像上的目标特征点与其它关键帧图像上的特征点进行匹配。

在将目标图像上的目标特征点与其它关键帧图像上的特征点进行匹配之后，执行子步骤D2。

子步骤D2：根据匹配结果，确定所述目标图像相对于所述其它关键帧图像的图像视差和局内点数量。

图像视差是指相同特征点在不同图像上的视觉差异。

局内点数量是指不同图像上的位于特点区域内的相同特征点的数量。

在将目标图像上的目标特征点与其它关键帧图像上的特征点进行匹配之后，可以得到特征匹配结果，进而可以根据特征匹配结果确定出目标图像相对于其它关键帧图像的图像视差和局内点数量。

在得到目标图像相对于其它关键帧图像的图像视差和局内点数量之后，执行子步骤D3，或者，执行子步骤D4。

子步骤D3：在所述图像视差大于视差阈值，或者，所述局内点数量小于局内点阈值的情况下，确定所述目标图像为关键帧图像。

子步骤D4：在所述图像视差小于等于所述视差阈值，且所述局内点数量大于所述局内点阈值的情况下，确定所述目标图像为非关键帧图像。

视差阈值是指预先设置的用于判定目标图像是否为关键帧图像的阈值，对于视差阈值的具体数值可以根据业务需求而定，本实施例对此不加以限制。

局内点阈值是指预先设置的用于判定目标图像是否为关键帧图像的局内点数量的阈值，对于局内点阈值的具体数值可以根据业务需求而定，本实施例对此不加以限制。

在获取到目标图像相对于其它关键帧图像的图像视差和局内点数量之后，可以比较图像视差与视差阈值之间的大小关系，及局内点数量与局内点阈值之间的大小关系。

在图像视差大于视差阈值，或者局内点数量小于局内点阈值的情况下，则可以确定目标图像为关键帧图像。

在图像视差小于等于视差阈值，且局内点数量大于局内点阈值的情况下，则可以确定目标图像为非关键帧图像。

在确定目标图像为关键帧图像之后，执行步骤203。

步骤203：在所述目标图像为关键帧图像的情况下，根据所述目标摄像头的摄像参数，确定目标大小的关键帧窗口。

在本示例中，摄像参数可以包括：分辨率参数、帧率参数、色彩还原度参数、图像处理器参数等参数中的至少一种。

在确定目标图像为关键帧图像的情况下，可以获取目标摄像头的摄像参数，并根据摄像参数确定目标大小的关键帧窗口。

在根据目标摄像头的摄像参数确定出目标大小的关键帧窗口之后，执行步骤204。

步骤204：基于所述关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，得到所述导航系统的导航结果。

在获取到目标大小的关键帧窗口之后，可以基于关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，以得到导航系统的导航结果，具体地校正处理过程可以结合下述具体实现方式进行详细描述。

在本公开的另一种具体实现方式中，上述步骤204可以包括：

子步骤E1：获取所述关键帧窗口采集的所述目标图像内的第一图像特征信息，及与所述目标图像连续的初始图像内的第二图像特征信息。

在本实施例中，第一图像特征信息是指通过关键帧窗口采集的目标图像内的图像特征信息。

第二图像特征信息是指通过关键帧窗口采集的与目标图像连续的初始图像内的图像特征信息。

在获取到关键帧窗口之后，可以通过关键帧窗口采集目标图像的图像特征信息，及初始图像的图像特征点，可以得到第一图像特征信息和第二图像特征信息。

在获取到第一图像特征信息和第二图像特征信息之后，执行子步骤E2。

子步骤E2：对所述第一图像特征信息和所述第二图像特征信息进行特征点匹配处理，得到特征匹配结果。

在获取到第一图像特征信息和第二图像特征信息之后，可以将第一图像特征信息与第二图像特征信息进行匹配处理，以得到特征匹配结果。

在得到特征匹配结果之后，执行子步骤E3。

子步骤E3：基于所述特征匹配结果，对所述导航系统进行量测更新，得到量测更新结果。

在得到特征匹配结果之后，可以基于特征匹配结果对导航系统进行量测更新，以得到导航系统的量测更新结果，进而，执行子步骤E4。

子步骤E4：基于所述量测更新结果，对所述导航系统的解算结果进行校正处理，得到所述导航系统的导航结果。

在得到导航系统的量测更新结果之后，可以根据量测更新结果对导航系统的解算结果进行校正处理，以得到导航系统的导航结果。

在本实施例中，上述子步骤E4还可以包括：

子步骤F1：基于所述特征匹配结果，获取第一特征点；所述第一特征点为所述位于所述初始图像内且未位于所述目标图像内的特征点。

在本实施例中，第一特征点是指位于初始图像内且未位于目标图像内的特征点，即在通过关键帧窗口对连续的图像进行跟踪的过程中，在目标图像内跟丢的特征点。

在获取到特征匹配结果之后，可以基于特征匹配结果获取目标图像对应的第一特征点。

子步骤F2：获取所述目标图像内的第二特征点；所述第二特征点为所述目标图像内的边缘特征点。

第二特征点是指目标图像内的边缘特征点。

在通过关键帧窗口对目标图像进行图像特征信息采集之后，可以得到目标图像内的第二特征点。

可以理解地，上述子步骤F1与子步骤F2的执行顺序无先后之分，可以先执行子步骤F1，然后再执行子步骤F2，也可以先执行子步骤F2，然后再执行子步骤F1，具体地，对于上述子步骤F1和子步骤F2的执行顺序可以根据业务需求而定，本实施例对此不加以限制。

在获取到第一特征点和第二特征点之后，执行子步骤C3。

子步骤C3：基于所述第一特征点和所述第二特征点对所述导航系统进行量测更新，得到所述导航系统的导航结果。

在得到第一特征点和第二特征点之后，可以基于第一特征点和第二特征点对导航系统进行量测更新，得到导航系统的导航结果。

对于量测更新的过程可以结合下述过程进行详细描述。

1)可以对目标图像进行特征点提取，提取的特征点可以应用于后续的导航校正计算处理中；

2)将目标图像加入关键帧窗口，进行状态clone，即将目标图像的状态信息复制于关键帧窗口中；

3)对已经跟丢的特征点以及边缘化帧观测到的特征点进行三角化，以得到特征点的位置信息；

4)然后结合特征点计算得到雅克比矩阵，并对左零空间投影分解进行变量压缩，进而从关键帧窗口中移除边缘化帧；

5)然后结合关键帧窗口采集的多帧特征信息对导航系统的解算结果进行更新，从而可以得到导航系统的导航结果。

步骤205：在所述目标图像为非关键帧图像的情况下，获取所述目标图像相对于关键帧图像的位姿信息。

而在确定目标图像为非关键帧图像的情况下，可以获取目标图像相对于关键帧图像的位姿信息，具体地，可以目标图像对应的第三图像特征信息，及关键帧图像的第四特征信息，然后结合第三图像特征信息和第四图像特征信息，确定目标图像相对于关键帧图像的位姿信息。

在本示例中，如果当前帧不是关键帧，需要通过PnP位姿估计得到当前帧相对关键帧的相对位姿，PnP求解需要关键帧特征点的位置信息，如果是双目相机，在基线计算范围内可以通过双目左右相机匹配得到3D点位置，如果特征较远，双目计算的深度并不准确，可以考虑使用单点测距传感器计算特征深度，然后直接使用PnP求解得到位姿信息。

步骤206：根据所述位姿信息对所述导航系统的解算结果进行校正，得到所述导航系统的导航结果。

在得到目标图像相对于关键帧图像的位姿信息之后，可以结合该位姿信息对导航系统的解算结果进行校正，以得到导航系统的导航结果，

本公开的实施例提供的导航方法，通过在自动驾驶设备的行进过程中，获取目标摄像头在当前时间采集的目标图像，目标摄像头为设置于自动驾驶设备上的摄像头，根据目标图像对应的目标图像特征信息，确定目标图像是否为关键帧图像，在目标图像为关键帧图像的情况下，根据目标摄像头的摄像参数，确定目标大小的关键帧窗口，基于关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，得到导航系统的导航结果。本公开的实施例通过在当前帧为关键帧时，采用关键帧窗口采集多帧图像特征信息进行更新，可以降低计算复杂度，且提高了导航系统的计算精度。

实施例三

参照图3，示出了本公开的实施例提供的一种导航装置的结构示意图，如图3所示，该导航装置300具体可以包括如下模块：

目标图像获取模块310，用于在自动驾驶设备的行进过程中，获取目标摄像头在当前时间采集的目标图像；所述目标摄像头为设置于所述自动驾驶设备上的摄像头；

目标图像确定模块320，用于根据所述目标图像对应的目标图像特征信息，确定所述目标图像是否为关键帧图像；

关键帧窗口确定模块330，用于在所述目标图像为关键帧图像的情况下，根据所述目标摄像头的摄像参数，确定目标大小的关键帧窗口；

第一导航结果获取模块340，用于基于所述关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，得到所述导航系统的导航结果。

本公开的实施例提供的导航装置，通过在自动驾驶设备的行进过程中，获取目标摄像头在当前时间采集的目标图像，目标摄像头为设置于自动驾驶设备上的摄像头，根据目标图像对应的目标图像特征信息，确定目标图像是否为关键帧图像，在目标图像为关键帧图像的情况下，根据目标摄像头的摄像参数，确定目标大小的关键帧窗口，基于关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，得到导航系统的导航结果。本公开的实施例通过在当前帧为关键帧时，采用关键帧窗口采集多帧图像特征信息进行更新，可以降低计算复杂度，且提高了导航系统的计算精度。

实施例四

参照图4，示出了本公开的实施例提供的另一种导航装置的结构示意图，如图4所示，该导航装置400具体可以包括如下模块：

目标图像获取模块410，用于在自动驾驶设备的行进过程中，获取目标摄像头在当前时间采集的目标图像；所述目标摄像头为设置于所述自动驾驶设备上的摄像头；

目标图像确定模块420，用于根据所述目标图像对应的目标图像特征信息，确定所述目标图像是否为关键帧图像；

关键帧窗口确定模块430，用于在所述目标图像为关键帧图像的情况下，根据所述目标摄像头的摄像参数，确定目标大小的关键帧窗口；

第一导航结果获取模块440，用于基于所述关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，得到所述导航系统的导航结果；

位姿信息获取模块450，用于在所述目标图像为非关键帧图像的情况下，获取所述目标图像相对于关键帧图像的位姿信息；

第二导航结果获取模块460，用于根据所述位姿信息对所述导航系统的解算结果进行校正，得到所述导航系统的导航结果。

可选地，所述目标图像确定模块420包括：

目标特征匹配单元，用于将所述目标图像上的目标特征点与其它关键帧图像上的特征点进行匹配；

图像视差确定单元，用于根据匹配结果，确定所述目标图像相对于所述其它关键帧图像的图像视差和局内点数量；

关键帧图像确定单元，用于在所述图像视差大于视差阈值，或者，所述局内点数量小于局内点阈值的情况下，确定所述目标图像为关键帧图像；

非关键帧图像确定单元，用于在所述图像视差小于等于所述视差阈值，且所述局内点数量大于所述局内点阈值的情况下，确定所述目标图像为非关键帧图像。

可选地，所述第一导航结果获取模块440包括：

图像特征信息获取单元，用于获取所述关键帧窗口采集的所述目标图像内的第一图像特征信息，及与所述目标图像连续的初始图像内的第二图像特征信息；

特征匹配结果获取单元，用于对所述第一特征点和所述第二特征点进行特征点匹配处理，得到特征匹配结果；

量测更新结果获取单元，用于基于所述特征匹配结果，对所述导航系统进行量测更新，得到量测更新结果；

导航结果获取单元，用于基于所述量测更新结果，对所述导航系统的解算结果进行校正处理，得到所述导航系统的导航结果。

可选地，所述量测更新结果获取单元包括：

第一特征点获取子单元，用于基于所述特征匹配结果，获取第一特征点；所述第一特征点为所述位于所述初始图像内且未位于所述目标图像内的特征点；

第二特征点获取子单元，用于获取所述目标图像内的第二特征点；所述第二特征点为所述目标图像内的边缘特征点；

导航结果获取子单元，用于基于所述第一特征点和所述第二特征点对所述导航系统进行量测更新，得到所述导航系统的导航结果。

可选地，所述位姿信息获取模块450包括：

图像特征信息获取单元，用于获取所述目标图像对应的第三图像特征信息，及所述关键帧图像对应的第四图像特征信息；

位姿信息确定单元，用于根据所述第三图像特征信息和所述第四图像特征信息，确定所述目标图像相对于所述关键帧图像的位姿信息。

本公开的实施例提供的导航装置，通过在自动驾驶设备的行进过程中，获取目标摄像头在当前时间采集的目标图像，目标摄像头为设置于自动驾驶设备上的摄像头，根据目标图像对应的目标图像特征信息，确定目标图像是否为关键帧图像，在目标图像为关键帧图像的情况下，根据目标摄像头的摄像参数，确定目标大小的关键帧窗口，基于关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，得到导航系统的导航结果。本公开的实施例通过在当前帧为关键帧时，采用关键帧窗口采集多帧图像特征信息进行更新，可以降低计算复杂度，且提高了导航系统的计算精度。

本公开的实施例还提供了一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现前述实施例的导航方法。

本公开的实施例还提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例的导航方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开的实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的实施例的内容，并且上面对特定语言所做的描述是为了披露本公开的实施例的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开的实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的实施例的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

本公开的实施例的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开的实施例的动态图片的生成设备中的一些或者全部部件的一些或者全部功能。本公开的实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本公开的实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本公开的实施例进行说明而不是对本公开的实施例进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开的实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述仅为本公开的实施例的较佳实施例而已，并不用以限制本公开的实施例，凡在本公开的实施例的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本公开的实施例的保护范围之内。

以上所述，仅为本公开的实施例的具体实施方式，但本公开的实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开的实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的实施例的保护范围之内。因此，本公开的实施例的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种导航方法，其特征在于，包括：

在自动驾驶设备的行进过程中，获取目标摄像头在当前时间采集的目标图像；所述目标摄像头为设置于所述自动驾驶设备上的摄像头；

根据所述目标图像对应的目标图像特征信息，确定所述目标图像是否为关键帧图像；

在所述目标图像为关键帧图像的情况下，根据所述目标摄像头的摄像参数，确定目标大小的关键帧窗口；

基于所述关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，得到所述导航系统的导航结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像对应的目标图像特征信息，确定所述目标图像是否为关键帧图像，包括：

将所述目标图像上的目标特征点与其它关键帧图像上的特征点进行匹配；

根据匹配结果，确定所述目标图像相对于所述其它关键帧图像的图像视差和局内点数量；

在所述图像视差大于视差阈值，或者，所述局内点数量小于局内点阈值的情况下，确定所述目标图像为关键帧图像；

在所述图像视差小于等于所述视差阈值，且所述局内点数量大于所述局内点阈值的情况下，确定所述目标图像为非关键帧图像。

3.根据权利要求1所述的方法，其特征在于，所述基于所述关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，得到所述导航系统的导航结果，包括：

获取所述关键帧窗口采集的所述目标图像内的第一图像特征信息，及与所述目标图像连续的初始图像内的第二图像特征信息；

对所述第一特征点和所述第二特征点进行特征点匹配处理，得到特征匹配结果；

基于所述特征匹配结果，对所述导航系统进行量测更新，得到量测更新结果；

基于所述量测更新结果，对所述导航系统的解算结果进行校正处理，得到所述导航系统的导航结果。

4.根据权利要求3所述的方法，其特征在于，所述基于所述特征匹配结果，对所述导航系统进行量测更新，得到量测更新结果，包括：

基于所述特征匹配结果，获取第一特征点；所述第一特征点为所述位于所述初始图像内且未位于所述目标图像内的特征点；

获取所述目标图像内的第二特征点；所述第二特征点为所述目标图像内的边缘特征点；

基于所述第一特征点和所述第二特征点对所述导航系统进行量测更新，得到所述导航系统的导航结果。

5.根据权利要求1所述的方法，其特征在于，在所述确定所述目标图像是否为关键帧图像之后，还包括：

在所述目标图像为非关键帧图像的情况下，获取所述目标图像相对于关键帧图像的位姿信息；

根据所述位姿信息对所述导航系统的解算结果进行校正，得到所述导航系统的导航结果。

6.根据权利要求5所述的方法，其特征在于，所述获取所述目标图像相对于关键帧图像的位姿信息，包括：

获取所述目标图像对应的第三图像特征信息，及所述关键帧图像对应的第四图像特征信息；

根据所述第三图像特征信息和所述第四图像特征信息，确定所述目标图像相对于所述关键帧图像的位姿信息。

7.一种导航装置，其特征在于，包括：

目标图像获取模块，用于在自动驾驶设备的行进过程中，获取目标摄像头在当前时间采集的目标图像；所述目标摄像头为设置于所述自动驾驶设备上的摄像头；

目标图像确定模块，用于根据所述目标图像对应的目标图像特征信息，确定所述目标图像是否为关键帧图像；

关键帧窗口确定模块，用于在所述目标图像为关键帧图像的情况下，根据所述目标摄像头的摄像参数，确定目标大小的关键帧窗口；

第一导航结果获取模块，用于基于所述关键帧窗口采集的图像特征信息，对导航系统的解算结果进行校正处理，得到所述导航系统的导航结果。

8.根据权利要求7所述的装置，其特征在于，所述目标图像确定模块包括：

目标特征匹配单元，用于将所述目标图像上的目标特征点与其它关键帧图像上的特征点进行匹配；

图像视差确定单元，用于根据匹配结果，确定所述目标图像相对于所述其它关键帧图像的图像视差和局内点数量；

关键帧图像确定单元，用于在所述图像视差大于视差阈值，或者，所述局内点数量小于局内点阈值的情况下，确定所述目标图像为关键帧图像；

非关键帧图像确定单元，用于在所述图像视差小于等于所述视差阈值，且所述局内点数量大于所述局内点阈值的情况下，确定所述目标图像为非关键帧图像。

9.一种电子设备，其特征在于，包括：

处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至6中任一项所述的导航方法。

10.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行权利要求1至6中任一项所述的导航方法。

Images