CN113566847A - 导航校准方法和装置、电子设备、计算机可读介质 - Google Patents

Abstract

本公开提供了一种导航校准方法和装置，涉及计算机视觉、图像处理、增强现实等技术领域。具体实现方案为：从终端获取待进行增强现实的导航图像；响应于导航图像中具有交通标识，采集交通标识的标识图像以及交通标识在导航图像中的方位信息；基于标识图像、方位信息和行进路线，对终端中的罗盘的指示方向进行校准；基于校准后的指示方向，在导航图像中叠加与行进路线对应的增强现实指示标识。该实施方式提高了增强现实导航的准确性。

Description

导航校准方法和装置、电子设备、计算机可读介质

技术领域

本公开涉及计算机技术领域，具体涉及计算机视觉、图像处理、增强现实等技术领域，尤其涉及一种导航校准方法和装置、电子设备、计算机可读介质以及计算机程序产品。

背景技术

通过在实景相机画面中，叠加与三维空间相贴合的虚拟3D AR(AugmentedReality，增强现实)标识可以直观地为用户提供导航。

为了实现AR导航，需要通过电子罗盘对终端进行跟踪，计算得到地理坐标系相对终端的摄像装置的坐标系的换算关系，而该换算关系决定了虚拟的3D导航指示标识与真实的路线能否贴合。但电子罗盘本身在工作时存在一定的误差(通常能达到±15度)，且容易受到周围磁场干扰，形成更大的误差，进而影响地理坐标系相对终端坐标系的换算关系的正确性，使虚拟的3D导航指示标识与真实路线不相贴合。

发明内容

提供了一种导航校准方法和装置、电子设备、计算机可读介质以及计算机程序产品。

根据第一方面，提供了一种导航校准方法，该方法包括：从终端获取待进行增强现实的导航图像；响应于导航图像中具有交通标识，采集交通标识的标识图像以及交通标识在导航图像中的方位信息；基于标识图像、方位信息和行进路线，对终端中的罗盘的指示方向进行校准；基于校准后的指示方向，在导航图像中叠加与行进路线对应的增强现实指示标识。

根据第二方面，提供了一种导航校准装置，该装置包括：获取单元，被配置成从终端获取待进行增强现实的导航图像；采集单元，被配置成响应于导航图像中具有交通标识，采集交通标识的标识图像以及交通标识在导航图像中的方位信息；校准单元，被配置成基于标识图像、方位信息和行进路线，对终端中的罗盘的指示方向进行校准；叠加单元，被配置成基于校准后的指示方向，在导航图像中叠加与行进路线对应的增强现实指示标识。

根据第三方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面任一实现方式描述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面任一实现方式描述的方法。

根据第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面任一实现方式描述的方法。

本公开的实施例提供的导航校准方法和装置，首先，从终端获取待进行增强现实的导航图像；其次，响应于导航图像中具有交通标识，采集交通标识的标识图像以及交通标识在导航图像中的方位信息；再次，基于标识图像、方位信息和行进路线，对终端中的罗盘的指示方向进行校准；最后，基于校准后的指示方向，在导航图像中叠加与行进路线对应的增强现实指示标识。由此，交通标识具有固定的形状、尺寸以及安装位置，基于交通标识的固定性，对终端中的罗盘进行校准，可以提高罗盘的指示方向的准确性，进一步在待进行增强现实的导航图像中有交通标识时，基于交通标识对增强现实指示标识进行校准，提高了终端中增强现实导航的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开导航校准方法的一个实施例的流程图；

图2是本公开的实施例中标识图像的一种示意图；

图3是本公开实施例中对终端中罗盘的指示方向进行校准的方法的流程图；

图4是交通标识在地理坐标系下的实际形状与终端中摄像装置拍摄到的交通标识的形状的示意图；

图5是根据本公开导航校准装置的实施例的结构示意图；

图6是用来实现本公开实施例的导航校准方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了根据本公开导航校准方法的一个实施例的流程100，上述导航校准方法包括以下步骤：

步骤101，从终端获取待进行增强现实的导航图像。

本实施例中，终端可以是由对象手持的移动终端，该移动终端上设置有摄像装置，通过摄像装置可以实时拍摄终端或者对象周围的景象，当对象具有增强现实导航的需求时，打开终端上的支持增强现实显示的应用，可在应用对应的界面上实时查看叠加有增强现实指示标识的导航图像，其中，待进行增强现实的导航图像是对象打开终端上支撑增强现实的应用进行导航之后，通过摄像装置实时拍摄的图像。该导航图像可以是与终端或者对象周围的景象的图像。

本实施例中，导航校准方法运行于其上的执行主体还可以实现上述应用的功能，并且还可以基于用户的行进路线，通过在待进行增强现实的导航图像中叠加与用户的行进路线对应的增强现实指示标识为对象提供虚拟现实导航功能，从而使用户在导航过程中体验到3D虚拟现实的显示效果。

本实施例提供的导航校准方法可以应用于AR步行导航模式(应用可以支持步行、车载等不同导航模式，每种导航模式采用的导航计算方式不同)，当对象将当前AR步行导航模式切换到车载导航模式时，导航校准方法运行于其上的执行主体可以实时获取车载GPS(Global Positioning System，全球定位系统)的定位数据，并基于GPS的定位数据，对终端中的罗盘的指示方向进行校准。

步骤102，响应于导航图像中具有交通标识，采集交通标识的标识图像以及交通标识在导航图像中的方位信息。

本实施例中，交通标识包括红绿灯、斑马线、各种交通安全标志，其中交通安全标志可以包括：警告标志；禁令标志；指示标志；指路标志；旅游区标志；道路施工安全标志；辅助标志；禁止标线；指示标线；警告标线；道路施工安全设施设置示例等，各种交通标识的尺寸以及规则均具有固定要求。

通过图像识别技术可以在导航图像中实时识别具有交通标识的特征的图像，从而确定导航图像中是否具有交通标识。本实施例中，通过图像识别技术对导航图像中的交通标识实时识别包括：基于特定的图像识别算法分析判断导航图像是否包含交通标识。图像识别算法包括但不限于采用基于深度学习的Fast Renn算法(英文全称：Faster Regionswith CNNs features)、SSD算法(英文全称：single shot multibox detector)、Yolo算法(英文全称：You Only Look Once)等目标识别算法，或者其他类型的图像目标识别算法。

本实施例中，交通标识的方位信息为交通标识在导航图像中的方向位置信息，具体地，方位信息可以包括：交通标识的方向、位置、尺寸、交通标识在导航图像中的形状以及各个像素的坐标值等信息，通过交通标识的位置可以确定对象的行进路线与交通标识的关系，例如，交通标识位于行进路线上，或者交通标识位于行进路线之外，从而通过交通标识的位置可以确定行进路线的准确性。通过交通标识的位置还可以在确定交通标识的安装的位置，例如，交通标识安装在对象行进的道路的上方。

本实施例中，行进路线是对象的行走路线，其可以是对象预先在增强现实导航的应用中设置的具有始发地和结束地的导航路线，也可以是对象无目的地的自由行走路线；行进路线对应的实际道路可以实时显示在导航图像中。

交通标识的方向是指交通标识在导航图像中的朝向，通过交通标识的朝向和交通标识在导航图像中的形状以及各个像素的坐标值，采用计算机视觉测距可以计算得出交通标识相对于终端的相对方向。

国家规范对交通标识牌的形状、尺寸以及安装位置、朝向等均有规定。由交通标识自身的指示作用可以确定交通标识的实际方向。假设用户在进行路线中行进过程时，终端中的拍摄装置拍摄到如图2所示的交通标识，且交通标识所在路段是正南北向，则交通标识的正面将朝南或者朝北。

步骤103，基于标识图像、方位信息和行进路线，对终端中的罗盘的指示方向进行校准。

本实施例中，在AR导航过程中，需要通过三轴姿态角及加速度装置等硬件对终端进行跟踪，输出终端在一个摄像装置坐标系下的六自由度位移、姿态等数据。

通过比对相同时刻，终端在摄像装置坐标系下的位置、姿态以及终端在地理环境下的坐标以及罗盘的指示方向，可以获得终端摄像装置坐标系与地理坐标系之间的变换关系。其中，两个坐标系方向对齐，主要依靠终端的罗盘实现。

作为一个示例，在AR导航过程中，对象行进在一条正南正北的道路上，且地理上正北方向与终端的摄像装置坐标系的y轴对齐，则此时增强现实指示标识应该沿着终端的摄像装置坐标系的y轴摆放，且与正南正北的实际路线对齐。当罗盘具有误差时，终端摄像装置坐标系的y轴无法正确与地理坐标系下正北方向对齐。

本实施例中，通过标识图像可以确定交通标识在对象所在的场景的实际方向，标识图像上还可以具有指示方向的文字或者标识；通过交通标识的在导航图像中的方位信息和行进路线可以计算得出交通标识相对于终端的实际方向。在标识图像的实际方向和交通标识相对终端的实际方向确定之后，可以确定终端的实际方向，而在终端的实际方向与终端中罗盘的指示的方向有差别角度时，确定罗盘具有误差，通过在罗盘的指示方向增加或减小差别角度，可以对罗盘的指示方向进行校准。

如图2所示，在得到摄像装置下发的标识图像，通过图像轮廓识别可以得到交通标识的尺寸。基于得到尺寸以及摄像装置的参数(如内参，畸变参数等)可以计算交通标识与终端的摄像装置的相对角度，假设计算结果为+20度。在已知交通标识的正面方向为+180度(即正南方)时，可知终端的当前朝向为北偏东20度。进一步获取同一时刻终端中的罗盘的指示方向角度，假设为北偏东10度，则可知罗盘当前存在10度误差，进而对罗盘的指示方向进行校正。

步骤104，基于校准后的指示方向，在导航图像中叠加与行进路线对应的增强现实指示标识。

本实施例中，对罗盘的指示方向进行校准之后，得到校准后的指示方向，在校准后的指示方向的基础上，采用增强现实指示标识指示行进路线，此时增强现实指示标识的方向与罗盘的校准后的指示方向一致，可以保证增强现实指示标识的方向的准确性，进一步将增强现实指示叠加在导航图像中可以为对象呈现较准确的方向指示效果。

在本实施例的一些可选实现方式中，基于校准后的指示方向，在导航图像中叠加与行进路线对应的增强现实指示标识，包括：生成方向与校准后的指示方向一致的增强现实指示标识；基于行进路线上的位置点，在导航图像中叠加与位置点对应的增强现实指示标识。

本实施例中，行进路线的位置点为预先定义的增强现实指示标识的点，且行进路线的位置点放置在导航图像中的图像位置相对应，是在AR导航中预先规划设置的点位。例如，定义行进路线的交叉口处设置增强现实指示标识，因此在导航图像中出现交叉口时，在导航图像的交叉口时实时显示增强现实指示标识。

本实施例中，通过生成方向与校准后的指示方向一致的增强现实指示标识，并将生成的增强现实指示标识叠加在导航图像中，可以实时为呈现增强现实后的指示效果，提高了用户体验。

本公开的实施例提供的导航校准方法，首先，从终端获取待进行增强现实的导航图像；其次，响应于导航图像中具有交通标识，采集交通标识的标识图像以及交通标识在导航图像中的方位信息；再次，基于标识图像、方位信息和行进路线，对终端中的罗盘的指示方向进行校准；最后，基于校准后的指示方向，在导航图像中叠加与行进路线对应的增强现实指示标识。由此，由于交通标识具有固定的形状、尺寸以及安装位置，基于交通标识的固定性，对终端中的罗盘进行校准，可以提高罗盘的指示方向的准确性，进一步在待进行增强现实的导航图像中有交通标识时，基于交通标识对增强现实指示标识进行校准，提高了终端中增强现实导航的准确性。

如图3所示，为本公开实施例中对终端中罗盘的指示方向进行校准的方法的流程图300，该对终端中罗盘的指示方向进行校准的方法包括：

步骤301，基于行进路线和标识图像，确定交通标识在导航图像中的实际朝向。

本可选实现方式中，根据不同交通标识的指示内容不同，确定交通标识在导航图像中的实际朝向的方式不同。例如，交通标识仅指示一个方向，且该交通标识位于行进路线中，可以确定交通标识在导航图像中的实际朝向即为行进路线的方向。

可选地，上述基于行进路线和标识图像，确定交通标识在导航图像中的实际朝向包括：扫描标识图像中的文字，响应于确定该文字是指示方向的文字且该文字的语义对应的方向与交通标识所在路段的实际方向中的一个方向相同，从而可以确定交通标识在导航图像中的实际朝向与交通标识所在路段的实际方向相反，例如，行进路线的实际方向为南北向，文字对应“南”，则交通标识在导航图像中的实际朝向是朝北。

在本实施例的一些可选实现方式中，上述基于行进路线和标识图像，确定交通标识在导航图像中的实际朝向，包括：基于标识图像，确定交通标识的形状；响应于由交通标识的形状确定交通标识相对终端的方向，基于行进路线，确定交通标识所在路段的实际方向；基于交通标识所在路段的实际方向，确定交通标识在导航图像中的实际朝向。

例如，通过终端中的拍摄装置拍摄到的标识图像是指示箭头时，而基于交通标识的形状可知交通标识相对终端的方向(例如垂直方向)；而基于对象的行进路线，可以确定对象所在路段的实际方向是正南正北向，则与指示箭头的开始箭头指向相反的方向即为交通标识在导航图像中的实际朝向。

本实施例中，在交通标识的形状可以确定交通标识相对终端的方向时，结合行进路线指示的方向，可以定位交通标识所在路段的实际方向，由交通标识所在路段的实际方向可以确定交通标识在导航图像中的实际朝向，从而提高了得到交通标识的在导航图像中的实际朝向可靠性。

在本实施例的一些可选实现方式中，基于行进路线和标识图像，确定交通标识在导航图像中的实际朝向，还包括：响应于交通标识的形状无法确定交通标识相对终端的方向，基于罗盘的指示方向和行进路线，确定对象的运行方向；基于对象的运行方向，确定交通标识在导航图像中的实际朝向。

本可选实现方式中，当交通标识的形状是多边形、三角形等，无法正确得到交通标识在导航图像中的实际朝向，为此可以借助终端中罗盘的指示方向，确定对象的运行方向，保证交通标识在导航图像中的实际朝向得到的可靠性。

例如，通过终端中的拍摄装置拍摄到的标识图像是四边形，而由标识图像的形状可知交通标识相对终端的方向(例如垂直方向)。

在AR导航过程中，可先依据终端中的罗盘的朝向，确定对象的行进路线的方向，例如计算出对象正由南到北行进，则可知导航画面中的交通标识应正面朝南。

本实施例中，在交通标识的形状可以确定交通标识相对终端的方向时，结合行进路线指示的方向，可以定位对象的运行方向，由对象的运行方向可以确定交通标识在导航图像中的实际朝向，为此，保证交通标识在导航图像中的实际朝向得到的可靠性。

步骤302，基于方位信息和标识图像，计算终端相对交通标识的相对方向。

本实施例中，通过摄像装置拍摄到的标识图像是摄像装置坐标系下的交通标识的图像，并不是地理坐标系下的标识图像，如图4所示，为交通标识在地理坐标系下的实际形状与终端中摄像装置拍摄到的交通标识的形状的示意图。图4中，交通标识的形状为矩形a。根据相机成像原理可知，当摄像装置与交通标识的正面存在一定夹角时，交通标识呈现在相机图像中的形状为不规则的四边形b。

本实施例中，终端相对交通标识的相对方向为地理坐标系下终端相对交通标识的方向，为了得到地理坐标系下终端相对交通标识的相对方向，作为一个示例，可以将摄像装置坐标系下的标识图像转换为地理坐标系下的交通标识的图像，在标识图像对应的导航图像中的实际图像确定的情况下，将标识图像在导航图像中的方向信息转换为终端相对交通标识的相对方向。

可选地，还可以在标识图像对应的导航图像中的实际图像确定的情况下，将地理坐标系下的交通标识的图像转换为摄像装置坐标系下的转化图像，基于转化图像可以将标识图像在导航图像中的方向信息转换为终端相对交通标识的相对方向。

在本实施例的一些可选实现方式中，上述基于方位信息和标识图像，计算终端相对交通标识的相对方向包括：基于标识图像，确定交通标识的形状或者交通标识上的文字、图案；基于交通标识的形状或者交通标识上文字、图案，确定交通标识的指示类型。基于交通标识的指示类型，确定交通标识的尺寸。基于尺寸、方位信息、终端中摄像装置的参数，计算得到终端相对交通标识的相对方向。

本实施例中，交通标识的尺寸为交通标识的实际尺寸；方位信息包括交通标识在导航图像中的形状、像素坐标值等信息，将交通标识的方位信息、交通标识在导航图像中的尺寸、终端中摄像装置的参数(内参、畸变参数等)输入单目视觉测距算法，可以计算得到终端相对交通标识的相对方向。需要说明的是，单目视觉测距算法是传统的计算方向的算法，此处不再赘述。

本可选实现方式提供的计算终端相对交通标识的相对方向的方法，基于交通标识的形状或者交通标识上的文字、图像确定交通标识的类型，由交通标识的类型确定交通标识实际尺寸，在确定了交通标识实际尺寸和交通的方位之后，可以得到交通标识在实际道路的指示方向，通过终端中相机坐标系与实际坐标系之间的转换关系，可以得到终端相对交通标识的相对方向，保证了终端相对交通标识的相对方向计算的准确性。

步骤303，由相对方向和实际朝向，计算得到终端的实际方向。

本实施例中，在得到交通标识在导航图像中的实际朝向以及终端相对交通标识的相对方向，可以计算得到终端的实际方向。

步骤304，基于终端的实际方向，对罗盘的指示方向进行校准，得到校准后的指示方向。

本可选实现方式中，而终端的实际方向是终端当前的真实方向，当终端中罗盘的指示方向与终端的实际方向一致时，罗盘的指示方向没有偏差；当终端中罗盘的指示方向与终端的实际方向不一致时，罗盘的指示方向具有偏差，需要对罗盘的指示方向进行校准。

本可选实现方式提供的对终端中罗盘的指示方向进行校准的方法，基于交通标识的方位信息，计算终端相对交通标识的相对方向，为校准罗盘提供了可靠依据，保证了罗盘校准的可靠性。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了导航校准装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可应用于各种电子设备中。

如图5所示，本实施例提供的导航校准装置500包括：获取单元501，采集单元502，校准单元503，叠加单元504。其中，上述获取单元501，可以被配置成从终端获取待进行增强现实的导航图像。上述采集单元502，可以被配置成响应于导航图像中具有交通标识，采集交通标识的标识图像以及交通标识在导航图像中的方位信息。上述校准单元503，可以被配置成基于标识图像、方位信息和行进路线，对终端中的罗盘的指示方向进行校准。上述叠加单元504，可以被配置成基于校准后的指示方向，在导航图像中叠加与行进路线对应的增强现实指示标识。

在本实施例中，导航校准装置500中：获取单元501，采集单元502，校准单元503，叠加单元504的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101、步骤102、步骤103、步骤104的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，上述校准单元503包括：确定模块(图中未示出)、相对计算模块(图中未示出)、实际计算模块(图中未示出)、校准模块(图中未示出)。其中，上述确定模块，可以被配置成基于行进路线和标识图像，确定交通标识在导航图像中的实际朝向。上述相对计算模块，可以被配置成基于方位信息和标识图像，计算终端相对交通标识的相对方向。上述实际计算模块，可以被配置成由相对方向和实际朝向，计算得到终端的实际方向。上述校准模块，可以被配置成基于终端的实际方向，对罗盘的指示方向进行校准，得到校准后的指示方向。

在本实施例的一些可选的实现方式中，上述确定模块包括：采集子模块(图中未示出)、定向子模块(图中未示出)、朝向子模块(图中未示出)。其中，上述采集子模块，可以被配置成基于标识图像，确定交通标识的形状。上述定向子模块，可以被配置成响应于由交通标识的形状确定交通标识相对终端的方向，基于行进路线，确定交通标识所在路段的实际方向。上述朝向子模块，可以被配置成基于交通标识所在路段的实际方向，确定交通标识在导航图像中的实际朝向。

在本实施例的一些可选的实现方式中，上述确定模块还包括：运行子模块(图中未示出)、确定子模块(图中未示出)。其中，上述运行子模块，可以被配置成响应于交通标识的形状无法确定交通标识相对终端的方向，基于罗盘的指示方向和行进路线，确定对象的运行方向。上述确定子模块，可以被配置成基于对象的运行方向，确定交通标识在导航图像中的实际朝向。

在本实施例的一些可选实现方式中，上述相对计算模块包括：指示子模块(图中未示出)、推算子模块(图中未示出)、定型子模块(图中未示出)、方向计算子模块(图中未示出)。其中，上述指示子模块，可以被配置成基于标识图像，确定交通标识的形状或者交通标识上的文字、图案；上述推算子模块，可以被配置成基于交通标识的形状或者交通标识上文字、图案，确定交通标识的指示类型。上述定型子模块，可以被配置成基于交通标识的指示类型，确定交通标识的尺寸。上述方向计算子模块，可以被配置成基于尺寸、方位信息、终端中摄像装置的参数，计算得到终端相对交通标识的相对方向。

在本实施例的一些可选的实现方式中，叠加单元504包括：生成模块(图中未示出)、叠加模块(图中未示出)。其中，上述生成模块，可以被配置成生成方向与校准后的指示方向一致的增强现实指示标识。上述叠加模块，可以被配置成基于行进路线上的位置点，在导航图像中叠加与位置点对应的增强现实指示标识。

本公开的实施例提供的导航校准装置，首先，获取单元501从终端获取待进行增强现实的导航图像；其次，采集单元502响应于导航图像中具有交通标识，采集交通标识的标识图像以及交通标识在导航图像中的方位信息；再次，校准单元503基于标识图像、方位信息和行进路线，对终端中的罗盘的指示方向进行校准；最后，叠加单元504基于校准后的指示方向，在导航图像中叠加与行进路线对应的增强现实指示标识。由此，由于交通标识具有固定的形状、尺寸以及安装位置，基于交通标识的固定性，对终端中的罗盘进行校准，可以提高罗盘的指示方向的准确性，进一步在待进行增强现实的导航图像中有交通标识时，基于交通标识对增强现实指示标识进行校准，提高了终端中增强现实导航的准确性。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如导航校准方法。例如，在一些实施例中，导航校准方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的导航校准方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行导航校准方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程导航校准装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种导航校准方法，所述方法包括：

从终端获取待进行增强现实的导航图像；

响应于所述导航图像中具有交通标识，采集所述交通标识的标识图像以及所述交通标识在所述导航图像中的方位信息；

基于所述标识图像、所述方位信息和行进路线，对所述终端中的罗盘的指示方向进行校准；

基于校准后的指示方向，在所述导航图像中叠加与所述行进路线对应的增强现实指示标识。

2.根据权利要求1所述的方法，其中，所述基于所述标识图像、所述方位信息和行进路线，对所述终端中的罗盘的指示方向进行校准，包括：

基于所述行进路线和所述标识图像，确定所述交通标识在所述导航图像中的实际朝向；

基于所述方位信息和所述标识图像，计算所述终端相对所述交通标识的相对方向；

由所述相对方向和所述实际朝向，计算得到所述终端的实际方向；

基于所述终端的实际方向，对所述罗盘的指示方向进行校准，得到校准后的指示方向。

3.根据权利要求2所述的方法，其中，所述基于所述行进路线和所述标识图像，确定所述交通标识在所述导航图像中的实际朝向，包括：

基于所述标识图像，确定所述交通标识的形状；

响应于由所述交通标识的形状确定所述交通标识相对所述终端的方向，基于所述行进路线，确定所述交通标识所在路段的实际方向；

基于所述交通标识所在路段的实际方向，确定所述交通标识在所述导航图像中的实际朝向。

4.根据权利要求3所述的方法，其中，所述基于所述行进路线和所述标识图像，确定所述交通标识在所述导航图像中的实际朝向，还包括：

响应于所述交通标识的形状无法确定所述交通标识相对所述终端的方向，基于所述罗盘的指示方向和所述行进路线，确定对象的运行方向；

基于对象的运行方向，确定所述交通标识在所述导航图像中的实际朝向。

5.根据权利要求2所述的方法，其中，所述基于所述方位信息和所述标识图像，计算所述终端相对所述交通标识的相对方向，包括：

基于所述标识图像，确定所述交通标识的形状或者所述交通标识上的文字、图案；

基于所述交通标识的形状或者所述交通标识上文字、图案，确定所述交通标识的指示类型；

基于所述交通标识的指示类型，确定所述交通标识的尺寸；

基于所述尺寸、所述方位信息、所述终端中摄像装置的参数，计算得到所述终端相对所述交通标识的相对方向。

6.根据权利要求1所述的方法，其中，所述基于校准后的指示方向，在所述导航图像中叠加与所述行进路线对应的增强现实指示标识，包括：

生成方向与所述校准后的指示方向一致的增强现实指示标识；

基于所述行进路线上的位置点，在所述导航图像中叠加与所述位置点对应的所述增强现实指示标识。

7.一种导航校准装置，所述装置包括：

获取单元，被配置成从终端获取待进行增强现实的导航图像；

采集单元，被配置成响应于所述导航图像中具有交通标识，采集所述交通标识的标识图像以及所述交通标识在所述导航图像中的方位信息；

校准单元，被配置成基于所述标识图像、所述方位信息和行进路线，对所述终端中的罗盘的指示方向进行校准；

叠加单元，被配置成基于校准后的指示方向，在所述导航图像中叠加与所述行进路线对应的增强现实指示标识。

8.根据权利要求7所述的装置，其中，所述校准单元包括：

确定模块，被配置成基于所述行进路线和所述标识图像，确定所述交通标识在所述导航图像中的实际朝向；

相对计算模块，被配置成基于所述方位信息和所述标识图像，计算所述终端相对所述交通标识的相对方向；

实际计算模块，被配置成由所述相对方向和所述实际朝向，计算得到所述终端的实际方向；

校准模块，被配置成基于所述终端的实际方向，对所述罗盘的指示方向进行校准，得到校准后的指示方向。

9.根据权利要求8所述的装置，其中，所述确定模块包括：

采集子模块，被配置成基于所述标识图像，确定所述交通标识的形状；

定向子模块，被配置成响应于由所述交通标识的形状确定所述交通标识相对所述终端的方向，基于所述行进路线，确定所述交通标识所在路段的实际方向；

朝向子模块，被配置成基于所述交通标识所在路段的实际方向，确定所述交通标识在所述导航图像中的实际朝向。

10.根据权利要求9所述的装置，其中，所述确定模块还包括：

运行子模块，被配置成响应于所述交通标识的形状无法确定所述交通标识相对所述终端的方向，基于所述罗盘的指示方向和所述行进路线，确定对象的运行方向；

确定子模块，被配置成基于对象的运行方向，确定所述交通标识在所述导航图像中的实际朝向。

11.根据权利要求8所述的装置，其中，所述相对计算模块包括：

指示子模块，被配置成基于所述标识图像，确定所述交通标识的形状或者所述交通标识上的文字、图案；

推算子模块，被配置成基于所述交通标识的形状或者所述交通标识上文字、图案，确定所述交通标识的指示类型；

定型子模块，被配置成基于所述交通标识的指示类型，确定所述交通标识的尺寸；

方向计算子模块，被配置成基于所述尺寸、所述方位信息、所述终端中摄像装置的参数，计算得到所述终端相对所述交通标识的相对方向。

12.根据权利要求7所述的装置，其中，所述叠加单元包括：

生成模块，被配置成生成方向与所述校准后的指示方向一致的增强现实指示标识；

叠加模块，被配置成基于所述行进路线上的位置点，在所述导航图像中叠加与所述位置点对应的所述增强现实指示标识。

13.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-6中任一项所述的方法。

Images