CN113063424B - 一种商场内导航方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种商场内导航方法、装置、设备及存储介质。该方法包括：获取商场服务器中存储的商场地图信息，并设置目的商家；其中，所述商场地图信息包括商场点云图，以及所述商场点云图对应的关键帧集合和商家名称集合；利用自身镜头拍摄得到当前位置的环境图像帧，并将所述环境图像帧与所述关键帧集合进行特征点匹配，根据匹配结果确定所述镜头的当前位姿；根据所述当前位姿和所述目的商家的点云数据，利用路径规划算法计算得到导航路线，并显示当前导航方向标识。通过对商场地图的关键帧集合和当前位置的环境图像帧进行特征点匹配，确定出当前位姿进而规划得到导航路径，能够实现商场中的快速定位和导航，在商场中快速找到目的商家。

Description

一种商场内导航方法、装置、设备及存储介质

技术领域

本发明涉及导航领域，特别涉及一种商场内导航方法、装置、设备及存储介质。

背景技术

当前，在商场中很多时候人们会遇到即使拿着手机确找不到目的地的情况，由于商场内环境结构较为复杂，各个店铺距离较近，因此通用技术中的全球定位系统在商场中使用效果较差，因此如何提高商场中的定位导航是目前亟需解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种商场内导航方法、装置、设备及介质，能够实现商场中的快速定位和导航。其具体方案如下：

第一方面，本申请公开了一种商场内导航方法，应用于移动终端，包括：

获取商场服务器中存储的商场地图信息，并设置目的商家；其中，所述商场地图信息包括商场点云图，以及所述商场点云图对应的关键帧集合和商家名称集合；

利用自身镜头拍摄得到当前位置的环境图像帧，并将所述环境图像帧与所述关键帧集合进行特征点匹配，根据匹配结果确定所述镜头的当前位姿；

根据所述当前位姿和所述目的商家的点云数据，利用路径规划算法计算得到导航路线，并显示当前导航方向标识。

可选的，所述将所述环境图像帧与所述关键帧集合进行特征点匹配，包括：

利用角点检测从所述环境图像帧中提取出目标特征点，并通过BRIEF算法计算得到所述目标特征点对应的特征点描述符；

基于所述特征点描述符和词袋模型，构建所述环境图像帧对应的特征词袋；

将所述特征词袋与所述关键帧集合对应的样本词袋进行匹配，根据匹配结果从所述关键帧集合中确定出与所述环境图像帧匹配的目标关键帧。

可选的，所述根据匹配结果确定所述镜头的当前位姿，包括：

根据所述匹配结果中匹配的特征点在所述目标关键帧中的三维坐标，利用EPNP算法计算得到所述镜头的当前位姿。

可选的，所述商场内导航方法，还包括：

若所述当前位姿确定失败，则基于所述环境图像帧通过惯性测量单元计算得到所述镜头的当前位姿。

可选的，所述将所述环境图像帧与所述关键帧集合进行特征点匹配，包括：

识别并确定出所述环境图像帧中的目标区域；其中，所述目标区域包括商家名称区域和商标图像区域；

利用R矩阵对所述环境图像帧中的目标区域进行仿射变换，得到变换后环境图像帧，并将所述变换后环境图像帧与所述关键帧集合进行特征点匹配。

第二方面，本申请公开了一种商场内导航装置，包括：

地图获取模块，用于获取商场服务器中存储的商场地图信息，并设置目的商家；其中，所述商场地图信息包括商场点云图，以及所述商场点云图对应的关键帧集合和商家名称集合；

匹配模块，用于利用自身镜头拍摄得到当前位置的环境图像帧，并将所述环境图像帧与所述关键帧集合进行特征点匹配，根据匹配结果确定所述镜头的当前位姿；

导航模块，用于根据所述当前位姿和所述目的商家的点云数据，利用路径规划算法计算得到导航路线，并显示当前导航方向标识。

可选的，所述商场内导航装置，还包括：

位姿计算单元，用于若通过所述匹配模块确定当前位姿失败，则基于所述环境图像帧通过惯性测量单元计算得到所述镜头的当前位姿。

可选的，所述匹配模块，包括：

目标区域识别单元，用于识别并确定出所述环境图像帧中的目标区域；其中，所述目标区域包括商家名称区域和商标图像区域；

仿射变换单元，用于利用R矩阵对所述环境图像帧中的目标区域进行仿射变换，得到变换后环境图像帧，并将所述变换后环境图像帧与所述关键帧集合进行特征点匹配。

第三方面，本申请公开了一种电子设备，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现前述的商场内导航方法。

第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的商场内导航方法。

本申请中，获取商场服务器中存储的商场地图信息，并设置目的商家；其中，所述商场地图信息包括商场点云图，以及所述商场点云图对应的关键帧集合和商家名称集合；利用自身镜头拍摄得到当前位置的环境图像帧，并将所述环境图像帧与所述关键帧集合进行特征点匹配，根据匹配结果确定所述镜头的当前位姿；根据所述当前位姿和所述目的商家的点云数据，利用路径规划算法计算得到导航路线，并显示当前导航方向标识。可见，通过获取商场地图信息，以及实时获取的当前位置的环境图像帧，通过特征点匹配确定出当前拍摄镜头的位姿，由此可以确定当前位置坐标和方向信息，然后再根据位姿和目标商家的位置信息利用路径规划算法计算得到导航路径，能够实现商场中的快速定位和导航，以便在商场中快速找到目的商家的位置。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种商场内导航方法流程图；

图2为本申请提供的一种具体的商场内导航方法流程图；

图3为本申请提供的一种商场内导航装置结构示意图；

图4为本申请提供的一种电子设备结构图。

具体实施方式

现有技术中，通过全球定位系统在商场进行定位导航的使用效果较差，为克服上述技术问题，本申请提出一种商场内导航方法，能够实现商场中的快速定位和导航。

本申请实施例公开了一种商场内导航方法，应用于移动终端，参见图1所示，该方法可以包括以下步骤：

步骤S11：获取商场服务器中存储的商场地图信息，并设置目的商家；其中，所述商场地图信息包括商场点云图，以及所述商场点云图对应的关键帧集合和商家名称集合。

本实施例中，上述移动终端首先通过网络从商场服务器中下载得到目标商场的商场地图信息，然后根据获取的目的商家信息在地图中设置目的商家；其中，上述移动终端可以为手机；上述商场地图信息包括商场点云图，以及上述商场点云图对应的关键帧集合和商家名称集合；可以理解的是，上述商场地图信息为预先构建并存储至商场服务器中的，且地图中包含人工标注的商家位置，即地图中的点云数据和商家名称存在映射关系。

步骤S12：利用自身镜头拍摄得到当前位置的环境图像帧，并将所述环境图像帧与所述关键帧集合进行特征点匹配，根据匹配结果确定所述镜头的当前位姿。

本实施例中，利用自身镜头拍摄得到当前位置的环境图像帧，然后将获取的环境图像帧与上述商场地图信息中的关键帧集合进行特征点匹配，即将环境图像帧的特征点与关键帧集合中关键帧的特征点进行匹配，并根据匹配的特征点确定出上述镜头的当前位姿，即得到移动终端使用者的当前位置坐标信息和朝向。

本实施例中，所述将所述环境图像帧与所述关键帧集合进行特征点匹配，可以包括：利用角点检测从所述环境图像帧中提取出目标特征点，并通过BRIEF算法计算得到所述目标特征点对应的特征点描述符；基于所述特征点描述符和词袋模型，构建所述环境图像帧对应的特征词袋；将所述特征词袋与所述关键帧集合对应的样本词袋进行匹配，根据匹配结果从所述关键帧集合中确定出与所述环境图像帧匹配的目标关键帧。其中，上述角点检测可以使用Shi-Tomasi角点检测方法，即根据Shi-Tomasi角点检测提取上述环境图像帧的特征点，然后利用BRIEF算法根据提取到的特征点提取得到对应的BRIEF特征点描述符，然后利用词袋模型基于上述特征点描述符生成上述环境图像帧的特征词袋，最后将上述特征词袋和商场地图信息中关键帧对应的样本词袋进行匹配，以从地图中确定出和上述环境图像帧匹配的目标关键帧。

本实施例中，上述根据匹配结果确定所述镜头的当前位姿，可以包括：根据所述匹配结果中匹配的特征点在所述目标关键帧中的三维坐标，利用EPNP算法计算得到所述镜头的当前位姿。可以理解的是，在从地图中确定出和上述环境图像帧匹配的目标关键帧后，确定出的环境图像帧和目标关键帧之间匹配的特征点，以及匹配的特征点在上述目标关键帧中的三维坐标，利用EPNP算法计算得到上述镜头的当前位姿，即根据目标关键帧中的特征点对应的三维路标点与环境图像帧中匹配的二维特征点，用EPNP(efficientperspective-n-point)算法求解位姿得到当前的位置和方向。

步骤S13：根据所述当前位姿和所述目的商家的点云数据，利用路径规划算法计算得到导航路线，并显示当前导航方向标识。

本实施例中，得到当前位姿后，根据当前位姿和设置的目的商家的点云数据，根据两个位置的坐标信息，利用路径规划算法计算得到导航路线，并显示当前导航方向标识。其中，上述路径规划算法可以为A*(A-Star)算法，即利用A*算法，测算当前位置到目的地的最佳路线，并将接下来要前行的方向显示到屏幕。并且，可以理解的是，本实施例中可以通过不断拍摄当前环境图像帧，不断定位并更新规划路径，由此可以实现实时定位和导航。

由上可见，本实施例中获取商场服务器中存储的商场地图信息，并设置目的商家；其中，所述商场地图信息包括商场点云图，以及所述商场点云图对应的关键帧集合和商家名称集合；利用自身镜头拍摄得到当前位置的环境图像帧，并将所述环境图像帧与所述关键帧集合进行特征点匹配，根据匹配结果确定所述镜头的当前位姿；根据所述当前位姿和所述目的商家的点云数据，利用路径规划算法计算得到导航路线，并显示当前导航方向标识。可见，通过预先存储的商场地图信息，以及实时获取的当前位置的环境图像帧，通过特征点匹配确定出当前拍摄镜头的位姿，由此可以确定当前位置坐标和方向信息，然后再根据位姿和目标商家的位置信息利用路径规划算法计算得到导航路径，能够实现商场中的快速定位和导航，以便在商场中快速找到目的商家的位置。

本申请实施例公开了一种具体的商场内导航方法，参见图2所示，该方法可以包括以下步骤：

步骤S21：获取商场服务器中存储的商场地图信息，并设置目的商家；其中，所述商场地图信息包括商场点云图，以及所述商场点云图对应的关键帧集合和商家名称集合。

步骤S22：利用自身镜头拍摄得到当前位置的环境图像帧。

步骤S23：识别并确定出所述环境图像帧中的目标区域；其中，所述目标区域包括商家名称区域和商标图像区域。

本实施例中，在得到环境图像帧后识别出上述环境图像帧中的目标区域，其中，上述目标区域包括商家名称区域和商标图像区域。可以理解的是，商场店面的结构相似性较高，直接用于匹配可能导致准确度降低，但由于商家名称和商标不一样，因此在得到环境图像帧后识别出环境图像帧中的目标区域。

步骤S24：利用R矩阵对所述环境图像帧中的目标区域进行仿射变换，得到变换后环境图像帧，并将所述变换后环境图像帧与所述关键帧集合进行特征点匹配，并根据匹配结果确定所述镜头的当前位姿。

本实施例中，确定出目标区域后，利用R矩阵对上述环境图像帧中的目标区域进行仿射变换，得到变换后环境图像帧，然后将变换后环境图像帧与关键帧集合进行特征点匹配，并根据匹配结果确定上述镜头的当前位姿。由此一来，通过对目标区域做仿射变换扩大特征区域，在将变换后环境图像帧与关键帧集合进行特征点匹配，实现精准匹配，提高匹配的准确度，进而提高后续的定位准度，降低重定位计算量，提高速度和准度。

步骤S25：若所述当前位姿确定失败，则基于所述环境图像帧通过惯性测量单元计算得到所述镜头的当前位姿。

本实施例中，若当前位姿确定失败，则基于上述环境图像帧通过惯性测量单元计算得到上述镜头的当前位姿。可以理解的是，目前移动终端，例如手机中基本都配备惯性测量单元(IMU，Inertial Measurement Unit)和摄像头，通过惯性测量单元也可以计算得到当前环境图像帧的位姿。

步骤S26：根据所述当前位姿和所述目的商家的点云数据，利用路径规划算法计算得到导航路线，并显示当前导航方向标识。

其中，关于上述步骤S21、步骤S22、步骤S26的具体过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

由上可见，本实施例中在得到环境图像帧后，识别并确定出环境图像帧中的目标区域，其中，目标区域包括商家名称区域和商标图像区域；然后利用R矩阵对环境图像帧中的目标区域进行仿射变换，得到变换后环境图像帧，并将变换后环境图像帧与关键帧集合进行特征点匹配，并根据匹配结果确定镜头的当前位姿。可见，通过对环境图像帧中的目标区域做仿射变换可以扩大特征区域，然后将变换后环境图像帧与关键帧集合进行特征点匹配可以提高匹配的准确度，进而提高后续的定位准度，降低重定位计算量，提高速度和准度。

相应的，本申请实施例还公开了一种商场内导航装置，参见图3所示，该装置包括：

地图获取模块11，用于获取商场服务器中存储的商场地图信息，并设置目的商家；其中，所述商场地图信息包括商场点云图，以及所述商场点云图对应的关键帧集合和商家名称集合；

匹配模块12，用于利用自身镜头拍摄得到当前位置的环境图像帧，并将所述环境图像帧与所述关键帧集合进行特征点匹配，根据匹配结果确定所述镜头的当前位姿；

导航模块13，用于根据所述当前位姿和所述目的商家的点云数据，利用路径规划算法计算得到导航路线，并显示当前导航方向标识。

由上可见，本实施例中获取商场服务器中存储的商场地图信息，并设置目的商家；其中，所述商场地图信息包括商场点云图，以及所述商场点云图对应的关键帧集合和商家名称集合；利用自身镜头拍摄得到当前位置的环境图像帧，并将所述环境图像帧与所述关键帧集合进行特征点匹配，根据匹配结果确定所述镜头的当前位姿；根据所述当前位姿和所述目的商家的点云数据，利用路径规划算法计算得到导航路线，并显示当前导航方向标识。可见，通过预先存储的商场地图信息，以及实时获取的当前位置的环境图像帧，通过特征点匹配确定出当前拍摄镜头的位姿，由此可以确定当前位置坐标和方向信息，然后再根据位姿和目标商家的位置信息利用路径规划算法计算得到导航路径，能够实现商场中的快速定位和导航，以便在商场中快速找到目的商家的位置。

在一些具体实施例中，所述匹配模块12具体可以包括：

描述符获取单元，用于利用角点检测从所述环境图像帧中提取出目标特征点，并通过BRIEF算法计算得到所述目标特征点对应的特征点描述符；

特征词袋构建单元，用于基于所述特征点描述符和词袋模型，构建所述环境图像帧对应的特征词袋；

匹配单元，用于将所述特征词袋与所述关键帧集合对应的样本词袋进行匹配，根据匹配结果从所述关键帧集合中确定出与所述环境图像帧匹配的目标关键帧；

镜头位姿计算单元，用于根据所述匹配结果中匹配的特征点在所述目标关键帧中的三维坐标，利用EPNP算法计算得到所述镜头的当前位姿；

目标区域识别单元，用于识别并确定出所述环境图像帧中的目标区域；其中，所述目标区域包括商家名称区域和商标图像区域；

仿射变换单元，用于利用R矩阵对所述环境图像帧中的目标区域进行仿射变换，得到变换后环境图像帧，并将所述变换后环境图像帧与所述关键帧集合进行特征点匹配。

在一些具体实施例中，所述商场内导航装置具体可以包括：

位姿计算单元，用于若通过所述匹配模块确定当前位姿失败，则基于所述环境图像帧通过惯性测量单元计算得到所述镜头的当前位姿。

进一步的，本申请实施例还公开了一种电子设备，参见图4所示，图中的内容不能被认为是对本申请的使用范围的任何限制。

图4为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的商场内导航方法中的相关步骤。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及包括环境图像帧在内的数据223等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的商场内导航方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

进一步的，本申请实施例还公开了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的商场内导航方法步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种商场内导航方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种商场内导航方法，其特征在于，应用于移动终端，包括：

获取商场服务器中存储的商场地图信息，并设置目的商家；其中，所述商场地图信息包括商场点云图，以及所述商场点云图对应的关键帧集合和商家名称集合；

利用自身镜头拍摄得到当前位置的环境图像帧，并将所述环境图像帧与所述关键帧集合进行特征点匹配，根据匹配结果确定所述镜头的当前位姿；

所述将所述环境图像帧与所述关键帧集合进行特征点匹配，包括：

识别并确定出所述环境图像帧中的目标区域；其中，所述目标区域包括商家名称区域和商标图像区域；

利用R矩阵对所述环境图像帧中的目标区域进行仿射变换，得到变换后环境图像帧，并将所述变换后环境图像帧与所述关键帧集合进行特征点匹配；

根据所述当前位姿和所述目的商家的点云数据，利用路径规划算法计算得到导航路线，并显示当前导航方向标识。

2.根据权利要求1所述的商场内导航方法，其特征在于，所述将所述环境图像帧与所述关键帧集合进行特征点匹配，包括：

利用角点检测从所述环境图像帧中提取出目标特征点，并通过BRIEF算法计算得到所述目标特征点对应的特征点描述符；

基于所述特征点描述符和词袋模型，构建所述环境图像帧对应的特征词袋；

将所述特征词袋与所述关键帧集合对应的样本词袋进行匹配，根据匹配结果从所述关键帧集合中确定出与所述环境图像帧匹配的目标关键帧。

3.根据权利要求2所述的商场内导航方法，其特征在于，所述根据匹配结果确定所述镜头的当前位姿，包括：

根据所述匹配结果中匹配的特征点在所述目标关键帧中的三维坐标，利用EPNP算法计算得到所述镜头的当前位姿。

4.根据权利要求1所述的商场内导航方法，其特征在于，还包括：

若所述当前位姿确定失败，则基于所述环境图像帧通过惯性测量单元计算得到所述镜头的当前位姿。

5.一种商场内导航装置，其特征在于，应用于移动终端，包括：

地图获取模块，用于获取商场服务器中存储的商场地图信息，并设置目的商家；其中，所述商场地图信息包括商场点云图，以及所述商场点云图对应的关键帧集合和商家名称集合；

匹配模块，用于利用自身镜头拍摄得到当前位置的环境图像帧，并将所述环境图像帧与所述关键帧集合进行特征点匹配，根据匹配结果确定所述镜头的当前位姿；

所述匹配模块，还包括：

目标区域识别单元，用于识别并确定出所述环境图像帧中的目标区域；其中，所述目标区域包括商家名称区域和商标图像区域；

仿射变换单元，用于利用R矩阵对所述环境图像帧中的目标区域进行仿射变换，得到变换后环境图像帧，并将所述变换后环境图像帧与所述关键帧集合进行特征点匹配；

导航模块，用于根据所述当前位姿和所述目的商家的点云数据，利用路径规划算法计算得到导航路线，并显示当前导航方向标识。

6.根据权利要求5所述的商场内导航装置，其特征在于，还包括：

位姿计算单元，用于若通过所述匹配模块确定当前位姿失败，则基于所述环境图像帧通过惯性测量单元计算得到所述镜头的当前位姿。

7.一种电子设备，其特征在于，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至4任一项所述的商场内导航方法。

8.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中计算机程序被处理器执行时实现如权利要求1至4任一项所述的商场内导航方法。

Images