CN113029128A - 视觉导航方法及相关装置、移动终端、存储介质 - Google Patents

Abstract

本申请公开了一种视觉导航方法及相关装置、移动终端、存储介质，其中，视觉导航方法包括：获取移动终端拍摄的目标图像的第一位姿信息；其中，第一位姿信息是基于视觉里程计对目标图像进行处理得到的；利用位姿转换参数对第一位姿信息进行转换，得到第二位姿信息；其中，位姿转换参数表示视觉里程计的坐标系与预设视觉地图的坐标系之间的转换关系，且位姿转换参数是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的；基于第二位姿信息，在目标图像上显示导航指示标识。上述方案，能够提高视觉导航精度。

Description

视觉导航方法及相关装置、移动终端、存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种视觉导航方法及相关装置、移动终端、存储介质。

背景技术

视觉里程计技术是当前一些应用计算机视觉技术的场景的核心。例如，在视觉导航场景中，利用视觉里程计可以应用于室内导航、自动驾驶等诸多领域。

然而，由于视觉里程计本身作为一种局部的追踪技术，不可避免地存在累积误差，从而对视觉导航精度带来负面影响。有鉴于此，如何提高视觉导航精度成为亟待解决的问题。

发明内容

本申请提供一种视觉导航方法及相关装置、移动终端、存储介质。

本申请第一方面提供了一种视觉导航方法，包括：获取移动终端拍摄的目标图像的第一位姿信息；其中，第一位姿信息是基于视觉里程计对目标图像进行处理得到的；利用位姿转换参数对第一位姿信息进行转换，得到第二位姿信息；其中，位姿转换参数表示视觉里程计的坐标系与预设视觉地图的坐标系之间的转换关系，且位姿转换参数是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的；基于第二位姿信息，在目标图像上显示导航指示标识。

因此，通过基于视觉里程计，获取移动终端拍摄的目标图像的第一位姿信息，从而利用位姿转换参数对第一位姿信息进行转换，得到第二位姿信息，且位姿转换参数表示视觉里程计的坐标系与预设视觉地图的坐标系之间的转换关系，位姿转换参数是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的，进而基于第二位姿信息，在目标图像上显示导航指示标识。故此，通过预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到位姿转换参数，并利用位姿转换参数对第一位姿信息进行转换，得到第二位姿信息，能够有利于通过视觉定位减弱视觉里程计的累积误差，进而能够有利于提高视觉导航精度。

其中，在利用位姿转换参数对第一位姿信息进行转换，得到第二位姿信息之前，方法还包括：在检测到满足预设条件的情况下，将移动终端拍摄的图像作为参考图像，获取基于预设视觉地图对参考图像进行视觉定位得到的第三位姿信息；利用参考图像的第一位姿信息和第三位姿信息，得到位姿转换参数。

因此，在满足预设条件的情况下，获取基于预设视觉地图对参考图像进行视觉定位得到的第三位姿信息，并利用参考图像的第一位姿信息和第三位姿信息，得到位姿转换参数，故此，通过预设视觉地图定位得到参考图像的第三位姿信息，从而利用参考图像的第一位姿信息和第三位姿信息，得到位姿转换参数，能够有利于基于视觉定位得到位姿转换参数，从而能够有利于提高视觉转换参数的准确性。

其中，获取基于预设视觉地图对参考图像进行视觉定位得到的第三位姿信息，包括：发送参考图像至服务器，并接收服务器利用预设视觉地图对参考图像进行视觉定位得到的第三位姿信息。

因此，通过将参考图像发送至服务器，并接收服务器利用预设视觉地图对参考图像进行视觉定位得到的第三位姿信息，能够通过服务器进行视觉定位，从而能够有利于减轻移动终端本地的计算负荷。

其中，视觉导航方法还包括：在检测到不满足预设条件的情况下，获取基于上一次获取到的参考图像的第三位姿信息所得到的位姿转换参数。

因此，在检测到不满足预设条件的情况下，获取基于上一次获取到的参考图像的第三位姿信息所得到的位姿转换参数，能够在不满足预设条件的情况下，利用上一次获取到的参考图像的第三位姿信息所得到的位姿转换参数减弱累积误差，从而提高视觉导航精度。

其中，预设条件包括：距上一次执行视觉定位超过预设时长。

因此，将预设条件设置为包括：距上一次执行视觉定位超过预设时长，能够有利于实现周期性的视觉定位，从而能够在利用视觉定位减弱累积误差的同时，减轻服务器进行视觉定位的负荷，并减少移动终端本地上传的数据量。

其中，第一位姿信息包括：第一位置信息和第一朝向信息，第三位姿信息包括：第三位置信息和第三朝向信息，位姿转换参数包括：位置转换参数和朝向转换参数；利用参考图像的第一位姿信息和第三位姿信息，得到位姿转换参数，包括：基于第一位置信息和第三位置信息之间的差值，得到位置转换参数，并基于第一朝向信息和第三朝向信息之间的比值，得到朝向转换参数。

因此，第一位姿信息设置为包括：第一位置信息和第一朝向信息，第三位姿信息设置为包括：第三位置信息和第三朝向信息，位姿转换参数设置为包括：位置转换参数和朝向转换参数，从而基于第一位置信息和第三位置信息之间的差值，得到位置转换参数，并基于第一朝向信息和第三朝向信息之间的比值，得到朝向转换参数，能够有利于在“位置”和“朝向”两个维度得到位姿转换参数，有利于提高位姿转换参数的精度。

其中，在获取移动终端拍摄的目标图像的第一位姿信息之后，方法还包括：基于移动终端的高度信息，构建关于第一位姿信息的优化函数；求解优化函数，以更新第一位姿信息；其中，高度信息是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的。

因此，在得到第一位姿信息之后，基于移动终端的高度信息，构建关于第一位姿信息的优化函数，并通过求解该位优化函数，更新第一位姿信息，且高度信息是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的。故此，能够利用视觉定位得到的高度信息，优化视觉里程计的第一位姿信息，从而能够有利于进一步减弱视觉里程计的累积误差，提高视觉导航精度。

其中，目标图像显示于移动终端的浏览器的界面内。

因此，通过将目标图像设置为显示于移动终端的浏览器的界面内，能够有利于在网页端实现视觉导航。

其中，获取移动终端拍摄的目标图像的第一位姿信息，包括：利用目标图像的尺寸信息和移动终端的相机视角信息，得到移动终端的相机内部参数；基于视觉里程计，利用相机内部参数和目标图像的上一帧图像的第一位姿信息，得到目标图像的第一位姿信息；其中，相机视角信息是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的。

因此，利用目标图像的尺寸信息和移动终端的相机视角信息，得到移动终端的相机内部参数，并基于视觉里程计，利用相机内部参数和目标图像的上一帧图像的第一位姿信息，得到目标图像的第一位姿信息，且相机视角信息是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的，能够有利于在不能直接获取相机内部参数的情况下，通过视觉定位得到的相机视角信息和目标图像的尺寸信息，得到相机内部参数，从而基于视觉里程计，利用相机内部参数和上一帧图像的第一位姿信息得到图像的第一位姿信息，进而能够有利于提高视觉导航的鲁棒性。

本申请第二方面提供了一种视觉导航装置，包括：第一位姿获取模块，位姿信息转换模块和指示标识显示模块，第一位姿获取模块用于获取移动终端拍摄的目标图像的第一位姿信息；其中，第一位姿信息是基于视觉里程计对目标图像进行处理得到的；位姿信息转换模块用于利用位姿转换参数对第一位姿信息进行转换，得到第二位姿信息；其中，位姿转换参数表示视觉里程计的坐标系与预设视觉地图的坐标系之间的转换关系，且位姿转换参数是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的；指示标识显示模块用于基于第二位姿信息，在目标图像上显示导航指示标识。

本申请第三方面提供了一种移动终端，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的视觉导航方法。

本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的视觉导航方法。

上述方案，通过基于视觉里程计，获取移动终端拍摄的目标图像的第一位姿信息，从而利用位姿转换参数对第一位姿信息进行转换，得到第二位姿信息，且位姿转换参数表示视觉里程计的坐标系与预设视觉地图的坐标系之间的转换关系，位姿转换参数是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的，进而基于第二位姿信息，在目标图像上显示导航指示标识。故此，通过预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到位姿转换参数，并利用位姿转换参数对第一位姿信息进行转换，得到第二位姿信息，能够有利于通过视觉定位减弱视觉里程计的累积误差，进而能够有利于提高视觉导航精度。

附图说明

图1是本申请视觉导航方法一实施例的流程示意图；

图2是图1中步骤S11一实施例的流程示意图；

图3是本申请视觉导航方法另一实施例的流程示意图；

图4本申请视觉导航装置一实施例的框架示意图；

图5是本申请移动终端一实施例的框架示意图；

图6是本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

请参阅图1，图1是本申请视觉导航方法一实施例的流程示意图。

具体而言，可以包括如下步骤：

步骤S11：获取移动终端拍摄的目标图像的第一位姿信息。

本公开实施例中，第一位姿信息是基于视觉里程计对目标图像进行处理得到的。在计算机视觉问题中，视觉里程计(Visual Odometry，VO)是一个通过分析处理图像来确定位姿的技术。

在一个实施场景中，在仅使用1个摄像头的情况下，视觉里程计为单目视觉里程计(Monocular Visual Odometry)，在使用两个或两个以上摄像头的情况下，视觉里程计为立体视觉里程计(Stereo Visual Odometry)，具体可以根据实际应用需要进行设置，在此不做限定。

以单目视觉里程计为例，可以获取当前时刻的目标图像和当前时刻的上一时刻的目标图像，为了便于描述，当前时刻的目标图像记为I_t，当前时刻的上一时刻的目标图像记为I_t-1，为了提高准确性，还可以使用相机内部参数对I_t和I_t-1进行畸变矫正处理，再对I_t进行特征检测，得到若干特征点，在跟踪上述若干特征点在I_t-1中对应特征点，若跟踪到的对应特征点数量小于预设数量阈值，则重新执行上述特征检测的步骤，若不小于预设数量阈值，则可以利用I_t和I_t-1相对应的特征点来估计I_t和I_t-1的本质矩阵，从而可以利用本质矩阵计算得到I_t和I_t-1之间相机的旋转运动矩阵R和平移运动矩阵t，从而可以利用旋转运动矩阵R和平移运动矩阵t，以及I_t-1的第一位姿信息，得到I_t的第一位姿信息。

在一个具体的实施场景中，可以采用FAST(Features from Accelerated SegmentTest)、ORB(Oriented FAST and Rotated BRIEF)等算法进行特征检测。

在另一个具体的实施场景中，可以采用KLT(Kanade-Lucas-Tomasi)等算法进行特征点跟踪。

在又一个具体的实施场景中，可以采用带RANSAC(Random Sample Consensus，随机抽样一致性)的Nister’s 5点算法来估计本质矩阵。

在一个实施场景中，第一位姿信息具体可以包括第一位置信息和第一朝向信息。具体地，第一位置信息可以包括：在世界坐标系中x轴位置坐标、y轴位置坐标、z轴位置坐标，第一朝向信息可以包括：roll(翻滚角)、pitch(俯仰角)、yaw(偏航角)。

需要说明的是，本公开实施例中的移动终端可以包括但不限于：手机、智能眼镜、平板电脑、车载导航等，在此不做限定。例如，在室内导航场景中，移动终端可以是手机或平板电脑，在自动驾驶场景中，移动终端也可以是车载导航，在此不再一一举例。此外，本公开实施例以及下述公开实施例中，若无其他说明，图像的位姿信息具体是指移动终端拍摄该图像时的位姿信息。例如，移动终端拍摄上述图像I_t时的位姿信息(如，位置信息、朝向信息等)。

步骤S12：利用位姿转换参数对第一位姿信息进行转换，得到第二位姿信息。

本公开实施例中，位姿转换参数表示视觉里程计的坐标系与预设视觉地图的坐标系之间的转换关系，且位姿转换参数是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的。具体可以在检测到满足预设条件的情况下，将移动终端拍摄到的图像作为参考图像，并获取基于预设视觉地图对参考图像进行视觉定位得到的第三位姿信息，从而可以利用参考图像的第一位姿信息和第三位姿信息，得到位姿转换参数。

需要说明的是，在实际导航场景中，导航通常是基于视觉地图的坐标系系统的。故此，在视觉里程计存在累积误差的情况下，固定的位姿转换参数无益于抑制第一位姿信息的误差，而本公开实施例基于预设视觉地图对参考图像进行视觉定位得到位姿转换参数，一方面视觉定位不存在累积误差，利用该位姿转换参数对第一位姿信息进行转换，进而能够有利于减弱视觉里程计的累积误差；另一方面利用位姿转换参数将视觉里程计坐标系下的第一位姿信息转换为第二位姿信息，也能够便于后续直接利用视觉地图坐标下的第二位姿信息进行导航指示。

在一个实施场景中，可以发送移动终端拍摄的参考图像至服务器，并接收服务器利用预设视觉地图对参考图像进行视觉定位得到的第三位姿信息，移动终端在接收到第三位姿信息之后，可以利用参考图像的第一位姿信息和第三位姿信息，得到位姿转换参数。故此，从可以利用服务器的计算资源进行视觉定位，进而能够降低移动终端本地的计算负荷。

在一个实施场景中，在检测到不满足预设条件的情况下，可以获取基于上一次获取到的参考图像的第三位姿信息所得到的位姿转换参数。故此，能够有利于在不满足预设条件的情况下，仍然能够利用视觉定位得到的位姿转换参数对第一位姿信息进行转换，从而能够有利于提高视觉导航的鲁棒性。

在一个实施场景中，上述预设条件具体可以设置包括：距上一次执行视觉定位超过预设时长。故此，通过将预设条件设置为包括距上一次执行视觉定位超过预设时长，能够实现周期性的视觉定位，从而能够有利于进一步减弱视觉里程计的累积误差，进而能够有利于进一步提高视觉导航的精度。

在一个具体的实施场景中，预设时长可以根据实际应用需要进行设置。例如，在视觉导航的精度要求较高的情况下，预设时长可以设置地较小，如可以设置为5秒、6秒等等；或者，在视觉导航的精度要求相对宽松的情况下，预设时长可以设置地较大，如可以设置为8秒、9秒等等，在此不做限定。

在另一个具体的实施场景中，若在拍摄到某一目标图像I_t时，正好满足上述预设条件，则可以将该目标图像I_t作为参考图像，从而可以获取基于预设视觉地图对该参考图像进行视觉定位得到的第三位姿信息，并利用I_t的第一位姿信息和第三位姿信息，得到位姿转换参数，进而可以利用该位姿转换参数对I_t之后拍摄到的目标图像的第一位姿信息进行转换，得到第二位姿信息。而对于I_t而言，既可以利用位姿转换参数对其第一位姿信息进行转换，得到第二位姿信息，也可以为了降低计算复杂度，直接将视觉定位得到的第三位姿信息作为第二位姿信息。

在一个实施场景中，可以通过检测图像的时间戳，来确定服务器发送的第三位姿信息所属的图像是否为参考图像。具体地，在获取基于预设视觉地图对参考图像I_t进行视觉定位得到的第三位姿信息之后，可以获取移动终端在当前时刻之前的预设时间段内拍摄的若干图像的第一位姿信息，并获取若干图像中与参考图像I_t的时间戳一致的图像的第一位姿信息，从而可以基于该第一位姿信息和视觉定位得到的第三位姿信息，得到位姿转换参数。故此，通过时间戳来确定服务器发送的第三位姿信息所属的图像是否为参考图像，并在此服务器所发送的第三位姿信息所属的图像为参考图像的基础上，利用参考图像的第一位姿信息和第三位姿信息，得到位姿转换参数，能够有利于提高位姿转换参数的准确性。

在一个实施场景中，如前所述，第一位姿信息包括：第一位置信息和第一朝向信息。类似地，第三位姿信息包括：第三位置信息和第三朝向信息，位姿转换参数包括：位置转换参数和朝向转换参数，其中，位置转换参数用于转换位置信息，朝向转换参数用于转换朝向信息。在此基础上，可以基于第一位置信息和第三位置信息之间的差值，得到位置转换参数，为了便于描述，可以将第一位置信息记为p_里程计，将第三位置信息记为p_视觉定位，将位置转换参数记为dp，则可以通过下式得到位置转换参数记为dp：

dp＝p_视觉定位-p_里程计……(1)

此外，还可以基于第一朝向信息和第三朝向信息之间的比值，得到朝向转换参数，为了便于描述，可以将第一朝向信息记为q_里程计，将第三朝向信息记为q_视觉定位，将朝向转换参数记为dq，则可以通过下式得到朝向转换参数dq：

上述公式(2)中，

*表示q_里程计的逆(或共轭)。

与第一位置信息类似，第三位置信息可以包括：在世界坐标系中x轴位置坐标、y轴位置坐标、z轴位置坐标；与第一朝向信息类似，第三朝向信息可以包括：roll(翻滚角)、pitch(俯仰角)、yaw(偏航角)。

故此，在得到位姿转换参数之后，可以基于位置转换参数和第一位置信息的和值，得到第二位姿信息中的第二位置信息，并基于朝向转换参数和第一朝向信息的乘积，得到第二位姿信息中的第二朝向信息。例如，在以上述预设时长为周期的视觉定位的情况下，在进行新一轮的视觉定位之前，可以利用上一轮视觉定位得到的位姿转换参数和目标图像的第一位姿信息，得到目标图像的第二位姿信息。

在一个实施场景中，预设视觉地图可以根据实际应用情况进行设置。例如，在室内导航场景中，预设视觉地图可以是室内地图(如，商场室内地图、超市室内地图、博物馆室内地图等)；或者，在景区导航场景中，预设视觉地图可以是景区地图，其他场景可以以此类推，在此不再一一举例。

步骤S13：基于第二位姿信息，在目标图像上显示导航指示标识。

本公开实施例中，导航指示标识可以根据实际应用需要进行设置。例如，可以采用AR物体表示，如左拐可以采用左拐箭头表示，右拐可以采用右拐箭头表示，直行可以采用直线箭头表示等等，其他场景可以以此类推，在此不再一一举例。

在一个实施场景中，移动终端所拍摄的目标图像可以显示于移动终端的浏览器的界面内，即可以利用移动终端的浏览器实现视觉导航。在此情形下，用于网页渲染的坐标系与前述视觉地图的坐标系相同，故可以直接基于第二位姿信息，在目标图像上显示导航指示标识。

在另一个实施场景中，移动终端所拍摄的目标图像也可以显示于移动终端的导航程序的界面内，即可以利用移动终端的导航程序实现视觉导航。

在一个具体的实施场景中，可以基于第二位姿信息所包含的第二位置信息和第二朝向信息，在目标图像上显示导航指示标识。例如，根据第二位置信息和目的地位置信息，可以确定目的地位于当前位置沿第一方向(如朝南、朝北等)直行100米处，而根据第二朝向信息可以确定当前正朝第一方向运动，故可以在目标图像上显示直线箭头；或者，根据第二位置信息和目的地位置信息，可以确定目的地位于当前位置沿第一方向(如朝南、朝北等)直行100米处，而根据第二朝向信息可以确定当前正朝与第一方向相反的第二方向运动，故可以在目标图像上显示掉头箭头，其他场景可以以此类推，在此不再一一举例。

上述方案，通过基于视觉里程计，获取移动终端拍摄的目标图像的第一位姿信息，从而利用位姿转换参数对第一位姿信息进行转换，得到第二位姿信息，且位姿转换参数表示视觉里程计的坐标系与预设视觉地图的坐标系之间的转换关系，位姿转换参数是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的，进而基于第二位姿信息，在目标图像上显示导航指示标识。故此，通过预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到位姿转换参数，并利用位姿转换参数对第一位姿信息进行转换，得到第二位姿信息，能够有利于通过视觉定位减弱视觉里程计的累积误差，进而能够有利于提高视觉导航精度。

请参阅图2，图2是图1中步骤S11一实施例的流程示意图。本公开实施例中，在基于视觉里程计对目标图像进行处理得到第一位姿信息的过程中，无法直接获取到相机内部参数，例如，目标图像显示于移动终端的浏览器的界面内，即利用移动终端的浏览器实现视觉导航，在此情形下，可以通过如下步骤，得到第一位姿信息：

步骤S111：利用目标图像的尺寸信息和移动终端的相机视角信息，得到移动终端的相机内部参数。

本公开实施例中，相机视角信息是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的。

在一个实施场景中，尺寸信息具体可以包括目标图像的宽度和高度，目标图像的宽度记为w，高度记为h，则主点坐标可以表示为：

上述公式(3)中，c_x,c_y分别表示水平方向主点坐标、垂直方向主点坐标。

此外，对参考图像进行视觉定位所得到的相机视角信息具体可以包括但不限于：相机水平视角，即相机最左侧视角和最右侧视角之间的角度。为了便于描述，相机水平视角记为α_x，焦距可以表示为：

上述公式(4)中，f_x,f_y分别表示水平方向焦距、垂直方向焦距。

在此情形下，相机内部参数K可以记为

步骤S112：基于视觉里程计，利用相机内部参数和目标图像的上一帧图像的第一位姿信息，得到目标图像的第一位姿信息。

以单目视觉里程计为例，当前时刻的目标图像记为I_t，当前时刻的上一时刻的目标图像记为I_t-1，利用相机内部参数K和目标图像I_t-1的第一位姿信息，得到目标图像I_t的第一位姿信息的具体过程，可以参阅前述公开实施例中的步骤，在此不再赘述。

故此，通过利用预设视觉地图对参考图像进行视觉定位得到相机视角信息，从而基于视觉里程计，利用相机内部参数和目标图像的上一帧图像的第一位姿信息，得到目标图像的第一位姿信息，能够有利于提高第一位姿信息的准确性，在导航指示标识采用AR物体表示的情况下，能够有利于提高AR物体在目标图像上的贴合度。

区别于前述实施例，利用目标图像的尺寸信息和移动终端的相机视角信息，得到移动终端的相机内部参数，并基于视觉里程计，利用相机内部参数和目标图像的上一帧图像的第一位姿信息，得到目标图像的第一位姿信息，且相机视角信息是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的，能够有利于在不能直接获取相机内部参数的情况下，通过视觉定位得到的相机视角信息和目标图像的尺寸信息，得到相机内部参数，从而基于视觉里程计，利用相机内部参数和上一帧图像的第一位姿信息得到图像的第一位姿信息，进而能够有利于提高视觉导航的鲁棒性。

请参阅图3，图3是本申请视觉导航方法另一实施例的流程示意图。具体可以包括如下步骤：

步骤S31：获取移动终端拍摄的目标图像的第一位姿信息。

本公开实施例中，第一位姿信息是基于视觉里程计对目标图像进行处理得到的。具体可以参阅前述公开实施例中的步骤，在此不再赘述。

步骤S32：基于移动终端的高度信息，构建关于第一位姿信息的优化函数。

本公开实施例中，高度信息是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的。具体地，优化函数可以表示为：

上述公式(5)中，p,q表示优化函数的未知量，其中，p＝(p_x,p_y,p_z)表示更新之后的第一位姿信息中的第一位置信息，即相机在世界坐标系中x轴位置坐标、y轴位置坐标、z轴位置坐标，q＝(q_x,q_y,q_z,q_w)表示相机从相机坐标系到世界坐标系的旋转变换单位四元数，本公开实施例中，采用四元数q来表示更新之后的第一位姿信息中的第一朝向信息。

分别表示更新之前的第一位姿信息中的第一位置信息和用于表示第一朝向信息的四元数。此外，[·]_xy表示取向量的xy分量，作为一个二维向量，[·]_z表示取向量的z分量，作为一个标量。本公开实施例中，

可以根据视觉定位得到的高度信息得到。

请继续参阅公式(5)，

表示：优化p的xy分量，使其趋向于

的xy分量，并且这个优化项按照Ψ_xy定义的权重参与和不同优化项的共同优化；与此类似地，

表示：优化p的z分量，使其趋向于

的z分量，并且这个优化项按照Ψ_z定义的权重参与和不同优化项的共同优化；

表示：优化q，使其趋向于

表示的旋转，并且这个优化项按照Ψ_q定义的权重参与和不同优化项的共同优化。

请继续参阅公式(5)，

表示：将k个三维空间上的特征点x_k分别投影到相机坐标系下，并通过π投影到像素坐标系下，优化使其投影坐标趋向于特征点光流跟踪对应的位置u_k，并且这个优化项按照Ψ_v定义的权重参与和不同优化项的共同优化。

步骤S33：求解优化函数，以更新第一位姿信息。

通过求解优化函数，可以得到更新之后的第一位姿信息。故此，可以在视觉里程计缺乏尺度约束的情况下，特别是在利用浏览器网页实现视觉导航的情况下，由于视觉里程计缺乏尺度约束，视觉里程计估计得到的第一位姿信息中高度(即z分量)逐渐偏离真实值，在此情形下，利用视觉定位得到的高度信息，对视觉里程计的第一位姿信息进行优化，有利于矫正视觉里程计中的尺度偏移，从而能够有利于进一步减弱视觉里程计的累积误差。

需要说明的是，在基于预设时长进行周期性的视觉定位的情况下，对于利用参考图像I_t进行视觉定位得到的高度信息，可以直接将参考图像I_t的第一位姿信息中表示高度的z分量替换为视觉定位得到的高度信息，以更新参考图像I_t的第一位姿信息。

步骤S34：利用位姿转换参数对第一位姿信息进行转换，得到第二位姿信息。

本公开实施例中，位姿转换参数表示视觉里程计的坐标系与预设视觉地图的坐标系之间的转换关系，且位姿转换参数是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的。具体可以参阅前述公开实施例中的步骤，在此不再赘述。

需要说明的是，步骤S34所指的第一位姿信息可以是更新之前的第一位姿信息，例如，在移动终端的计算资源并不丰富的情况下，可以利用位姿转换参数对更新之前的第一位姿信息进行转换，并进行后续的导航指示，再对更新之前的第一位姿信息进行优化，从而可以在不影响导航实时性的前提下，减弱视觉里程计的累积误差；或者，步骤S34所指的第一位姿信息也可以是更新之后的第一位姿信息，例如，在移动终端的计算资源丰富的情况下，可以先对第一位姿信息进行优化，再利用位姿转换参数对更新之后的第一位姿信息进行转换，并进行后续的导航指示，从而可以在不影响导航实时性的前提下，减弱视觉里程计的累积误差，并进一步提高导航指示的准确性。

步骤S35：基于第二位姿信息，在目标图像上显示导航指示标识。

具体可以参阅前述公开实施例中的步骤，在此不再赘述。

区别于前述实施例，在得到第一位姿信息之后，基于移动终端的高度信息，构建关于第一位姿信息的优化函数，并通过求解该位优化函数，更新第一位姿信息，且高度信息是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的。故此，能够利用视觉定位得到的高度信息，优化视觉里程计的第一位姿信息，从而能够有利于进一步减弱视觉里程计的累积误差，提高视觉导航精度。

请参阅图4，图4是本申请视觉导航装置40一实施例的框架示意图。视觉导航装置40包括：第一位姿获取模块41，位姿信息转换模块42和指示标识显示模块43，第一位姿获取模块41用于获取移动终端拍摄的目标图像的第一位姿信息；其中，第一位姿信息是基于视觉里程计对目标图像进行处理得到的；位姿信息转换模块42用于利用位姿转换参数对第一位姿信息进行转换，得到第二位姿信息；其中，位姿转换参数表示视觉里程计的坐标系与预设视觉地图的坐标系之间的转换关系，且位姿转换参数是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的；指示标识显示模块43用于基于第二位姿信息，在目标图像上显示导航指示标识。

上述方案，通过基于视觉里程计，获取移动终端拍摄的目标图像的第一位姿信息，从而利用位姿转换参数对第一位姿信息进行转换，得到第二位姿信息，且位姿转换参数表示视觉里程计的坐标系与预设视觉地图的坐标系之间的转换关系，位姿转换参数是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的，进而基于第二位姿信息，在目标图像上显示导航指示标识。故此，通过预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到位姿转换参数，并利用位姿转换参数对第一位姿信息进行转换，得到第二位姿信息，能够有利于通过视觉定位减弱视觉里程计的累积误差，进而能够有利于提高视觉导航精度。

在一些公开实施例中，视觉导航装置40还包括第二位姿获取模块，用于在检测到满足预设条件的情况下，将移动终端拍摄到的图像作为参考图像，获取基于预设视觉地图对参考图像进行视觉定位得到的第三位姿信息，视觉导航装置40还包括转换参数获取模块，用于利用参考图像的第一位姿信息和第三位姿信息，得到位姿转换参数。

区别于前述实施例，在检测到满足预设条件的情况下，获取基于预设视觉地图对参考图像进行视觉定位得到的第三位姿信息，并利用参考图像的第一位姿信息和第三位姿信息，得到位姿转换参数，故此，通过预设视觉地图定位得到参考图像的第三位姿信息，从而利用参考图像的第一位姿信息和第三位姿信息，得到位姿转换参数，能够有利于基于视觉定位得到位姿转换参数，从而能够有利于提高视觉转换参数的准确性

在一些公开实施例中，第二位姿获取模块用于发送参考图像至服务器，并接收服务器利用预设视觉地图对参考图像进行视觉定位得到的第三位姿信息。

区别于前述实施例，通过将参考图像发送至服务器，并接收服务器利用预设视觉地图对参考图像进行视觉定位得到的第三位姿信息，能够通过服务器进行视觉定位，从而能够有利于减轻移动终端本地的计算负荷。

在一些公开实施例中，视觉导航装置40还包括第三位姿获取模块，用于在检测到不满足预设条件的情况下，获取基于上一次获取到的参考图像的第三位姿信息所得到的位姿转换参数。

区别于前述实施例，在检测到不满足预设条件的情况下，获取基于上一次获取到的参考图像的第三位姿信息所得到的位姿转换参数，能够在不满足预设条件的情况下，利用上一次获取到的参考图像的第三位姿信息所得到的位姿转换参数减弱累积误差，从而提高视觉导航精度。

在一些公开实施例中，预设条件包括：距上一次执行视觉定位超过预设时长。

区别于前述实施例，将预设条件设置为包括：距上一次执行视觉定位超过预设时长，能够有利于实现周期性的视觉定位，从而能够在利用视觉定位减弱累积误差的同时，减轻服务器进行视觉定位的负荷，并减少移动终端本地上传的数据量。

在一些公开实施例中，第一位姿信息包括：第一位置信息和第一朝向信息，第三位姿信息包括：第三位置信息和第三朝向信息，位姿转换参数包括：位置转换参数和朝向转换参数，转换参数获取模块具体用于基于第一位置信息和第三位置信息之间的差值，得到位置转换参数，并基于第一朝向信息和第三朝向信息之间的比值，得到朝向转换参数。

区别于前述实施例，第一位姿信息设置为包括：第一位置信息和第一朝向信息，第三位姿信息设置为包括：第三位置信息和第三朝向信息，位姿转换参数设置为包括：位置转换参数和朝向转换参数，从而基于第一位置信息和第三位置信息之间的差值，得到位置转换参数，并基于第一朝向信息和第三朝向信息之间的比值，得到朝向转换参数，能够有利于在“位置”和“朝向”两个维度得到位姿转换参数，有利于提高位姿转换参数的精度。

在一些公开实施例中，视觉导航装置40还包括优化函数构建模块，用于基于移动终端的高度信息，构建关于第一位姿信息的优化函数，视觉导航装置40还包括优化函数求解模块，用于求解优化函数，以更新第一位姿信息，其中，高度信息是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的。

区别于前述实施例，在得到第一位姿信息之后，基于移动终端的高度信息，构建关于第一位姿信息的优化函数，并通过求解该位优化函数，更新第一位姿信息，且高度信息是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的。故此，能够利用视觉定位得到的高度信息，优化视觉里程计的第一位姿信息，从而能够有利于进一步减弱视觉里程计的累积误差，提高视觉导航精度。

在一些公开实施例中，目标图像显示于移动终端的浏览器的界面内。

区别于前述实施例，通过将目标图像设置为显示于移动终端的浏览器的界面内，能够有利于在网页端实现视觉导航。

在一些公开实施例中，第一位姿获取模块包括内部参数获取子模块，用于利用目标图像的尺寸信息和移动终端的相机视角信息，得到移动终端的相机内部参数，第一位姿获取模块包括第一位姿计算子模块，用于基于视觉里程计，利用相机内部参数和目标图像的上一帧图像的第一位姿信息，得到图像的第一位姿信息，其中，相机视角信息是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的。

区别于前述实施例，利用目标图像的尺寸信息和移动终端的相机视角信息，得到移动终端的相机内部参数，并基于视觉里程计，利用相机内部参数和目标图像的上一帧图像的第一位姿信息，得到图像的第一位姿信息，且相机视角信息是基于预设视觉地图对移动终端拍摄的参考图像进行视觉定位得到的，能够有利于在不能直接获取相机内部参数的情况下，通过视觉定位得到的相机视角信息和目标图像的尺寸信息，得到相机内部参数，从而基于视觉里程计，利用相机内部参数和上一帧目标图像的第一位姿信息得到图像的第一位姿信息，进而能够有利于提高视觉导航的鲁棒性。

请参阅图5，图5是本申请移动终端50一实施例的框架示意图。移动终端50包括相互耦接的存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一视觉导航方法实施例的步骤。在一个具体的实施场景中，移动终端备50可以包括但不限于：手机、平板电脑、智能眼镜、车载导航等，在此不做限定。

具体而言，处理器52用于控制其自身以及存储器51以实现上述任一视觉导航方法实施例的步骤。处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。

上述方案，能够有利于通过视觉定位减弱视觉里程计的累积误差，进而能够有利于提高视觉导航精度。

请参阅图6，图6为本申请计算机可读存储介质60一实施例的框架示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令601，程序指令601用于实现上述任一视觉导航方法实施例的步骤。

上述方案，能够有利于通过视觉定位减弱视觉里程计的累积误差，进而能够有利于提高视觉导航精度。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种视觉导航方法，其特征在于，包括：

获取移动终端拍摄的目标图像的第一位姿信息；其中，所述第一位姿信息是基于视觉里程计对所述目标图像进行处理得到的；

利用位姿转换参数对所述第一位姿信息进行转换，得到第二位姿信息；其中，所述位姿转换参数表示所述视觉里程计的坐标系与预设视觉地图的坐标系之间的转换关系，且所述位姿转换参数是基于所述预设视觉地图对所述移动终端拍摄的参考图像进行视觉定位得到的；

基于所述第二位姿信息，在所述目标图像上显示导航指示标识。

2.根据权利要求1所述的方法，其特征在于，在所述利用位姿转换参数对所述第一位姿信息进行转换，得到第二位姿信息之前，所述方法还包括：

在检测到满足预设条件的情况下，将所述移动终端拍摄到的图像作为所述参考图像；

获取基于所述预设视觉地图对所述参考图像进行视觉定位得到的第三位姿信息；

利用所述参考图像的所述第一位姿信息和所述第三位姿信息，得到所述位姿转换参数。

3.根据权利要求2所述的方法，其特征在于，所述获取基于所述预设视觉地图对所述参考图像进行视觉定位得到的第三位姿信息，包括：

发送所述参考图像至服务器，并接收所述服务器利用所述预设视觉地图对所述参考图像进行视觉定位得到的第三位姿信息。

4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

在检测到不满足所述预设条件的情况下，获取基于上一次获取到的参考图像的第三位姿信息所得到的位姿转换参数。

5.根据权利要求2至4任一项所述的方法，其特征在于，所述预设条件包括：距上一次执行所述视觉定位超过预设时长。

6.根据权利要求2至5任一项所述的方法，其特征在于，所述第一位姿信息包括：第一位置信息和第一朝向信息，所述第三位姿信息包括：第三位置信息和第三朝向信息，所述位姿转换参数包括：位置转换参数和朝向转换参数；

所述利用所述参考图像的所述第一位姿信息和所述第三位姿信息，得到所述位姿转换参数，包括：

基于所述第一位置信息和所述第三位置信息之间的差值，得到所述位置转换参数，并基于所述第一朝向信息和所述第三朝向信息之间的比值，得到所述朝向转换参数。

7.根据权利要求1至6任一项所述的方法，其特征在于，在所述获取移动终端拍摄的目标图像的第一位姿信息之后，所述方法还包括：

基于所述移动终端的高度信息，构建关于所述第一位姿信息的优化函数；

求解所述优化函数，以更新所述第一位姿信息；

其中，所述高度信息是基于所述预设视觉地图对所述移动终端拍摄的参考图像进行视觉定位得到的。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述目标图像显示于所述移动终端的浏览器的界面内。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述获取移动终端拍摄的目标图像的第一位姿信息，包括：

利用所述目标图像的尺寸信息和所述移动终端的相机视角信息，得到所述移动终端的相机内部参数；

基于所述视觉里程计，利用所述相机内部参数和所述目标图像的上一帧图像的第一位姿信息，得到所述目标图像的第一位姿信息；

其中，所述相机视角信息是基于所述预设视觉地图对所述移动终端拍摄的参考图像进行视觉定位得到的。

10.一种视觉导航装置，其特征在于，包括：

第一位姿获取模块，用于获取移动终端拍摄的目标图像的第一位姿信息；其中，所述第一位姿信息是基于视觉里程计对所述目标图像进行处理得到的；

位姿信息转换模块，用于利用位姿转换参数对所述第一位姿信息进行转换，得到第二位姿信息；其中，所述位姿转换参数表示所述视觉里程计的坐标系与预设视觉地图的坐标系之间的转换关系，且所述位姿转换参数是基于所述预设视觉地图对所述移动终端拍摄的参考图像进行视觉定位得到的；

指示标识显示模块，用于基于所述第二位姿信息，在所述目标图像上显示导航指示标识。

11.一种移动终端，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至9任一项所述的视觉导航方法。

12.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至9任一项所述的视觉导航方法。

Images