CN113031588A - 商场机器人导航系统 - Google Patents

Abstract

本发明公开了商场机器人导航系统，包括：定位扫描模块，通过摄像头扫描室内图像，根据移动导航机器人的当前位姿及扫描图像数据，计算得出扫描数据点的全局坐标，构建栅格地图，以及，根据栅格地图定位移动导航机器人的位置；导航规划模块，用于接收导航目标位置，根据栅格地图及移动导航机器人的实时位置，生成导航路径；导航指引模块，用于提取导航路径的关键导航节点，检测到移动导航机器人行驶到关键导航节点，播放相应的语音指引，以及，确定用户是否在移动导航机器人的引导范围内，根据判断结果控制机器人的行驶状态。本发明中的导航机器人可进行自主视觉巡航，确保待指引者在机器人附近，提高了导航效率。

Description

商场机器人导航系统

技术领域

本发明涉及智能机器人的技术领域，特别涉及一种商场机器人导航系统。

背景技术

目前视觉导航基本上全部依靠激光扫描技术实现，对硬件的依赖很大，且产品成本、维护费用和服务都非常不方便，产品升级迭代困难。且巡逻车类巡更机器人其功能在商场应用中存在诸多问题，需要在预定的轨道内行驶，主要是识别特定标签，自动移动的灵活性不高，产品形态比较且不能够实现对商场场景功能需求的应用。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种商场机器人导航系统，通过摄像头实现视觉导航，能够在商场内进行自主巡航。

根据本发明的第一方面实施例的商场机器人导航系统，包括：定位扫描模块，通过设置在移动导航机器人上的摄像头扫描室内图像，根据所述移动导航机器人的当前位姿及扫描图像数据，计算得出扫描数据点的全局坐标，构建栅格地图，以及，根据所述栅格地图定位所述移动导航机器人的位置；导航规划模块，用于接收导航目标位置，根据所述栅格地图及所述移动导航机器人的实时位置，生成导航路径；导航指引模块，用于根据导航请求，得出所述导航目标位置，提取所述导航路径的关键导航节点，检测到所述移动导航机器人行驶到所述关键导航节点，播放相应的语音指引，以及，确定发起所述导航请求的用户是否在所述移动导航机器人的引导范围内，根据判断结果控制机器人的行驶状态，播放相应的语音提醒。

根据本发明实施例的商场机器人导航系统，至少具有如下有益效果：通过摄像头获取室内图像流媒体数据，根据摄影测量原理获得扫描数据点位置信息，构建栅格地图，移动导航机器人可在行进过程中测量构建完整室内地图，进行自主视觉巡航；并在导航指引过程中检测用户是否在引导范围内并进行关键节点的语音指引，确保用户在机器人附近，提高了导航效率，避免机器人行驶速度过快或用户因视线遮挡等原因未找到机器人而引起的导航效果低下等问题。

根据本发明的一些实施例，所述定位扫描模块包括：数据扫描模块，用于通过所述摄像头扫描室内图像，并根据扫描时的所述导航机器人的位姿，生成多批次的所述扫描图像数据，上传到云服务端；定位建图模块，设置在所述云服务端，用于根据所述移动导航机器人的当前位姿及本批次的扫描图像数据，得出当前扫描数据点的全局坐标，构建所述栅格地图；位姿预测模块，用于根据所述移动导航机器人的当前位姿及上一位姿，预测下一位姿，并将相邻两次获取的所述栅格地图的重合度作为目标函数，对预测的下一位姿进行优化，并将优化后的预测位姿发送给所述移动导航机器人。

根据本发明的一些实施例，所述位姿预测模块还包括：预测位姿控制模块，用于确定优化后的所述预测位姿与所述当前位姿的差距是否在设定范围内，若超出设定范围，则将令所述当前位姿为所述上一位姿，重新获取优化后的所述预测位姿。

根据本发明的一些实施例，所述定位扫描系统还包括：位姿测量模块，用于通过安装于所述移动导航机器人上的传感器记录位置变化及所述扫描图像数据得到所述移动导航机器人的当前位姿。

根据本发明的一些实施例，所述导航指引模块包括：节点提取模块，用于根据导航请求，得出所述导航目标位置，提取所述导航路径的关键导航节点，生成关键节点列表，所述关键节点列表中包括所述关键导航节点的位置及节点类型；节点引导模块，用于检测到所述移动导航机器人行驶到所述关键导航节点，根据所述节点类型播放相应的语音指引，并提醒剩余距离及预计剩余时间；引导检测模块，用于确定发起所述导航请求的用户是否在所述移动导航机器人的引导范围内，若用户脱离所述引导范围，则控制所述移动导航机器人原地等待若干时间，或者，根据用户距离所述移动导航机器人的距离，控制所述移动导航机器人的行驶速度及行驶方向。

根据本发明的一些实施例，所述导航指引模块还包括以下模块中的至少一个：第一检测模块，用于接收到所述导航请求，对用户的行走姿态进行拍摄，获取用户的步态特征及衣着特征并记录，以及，在开始导航指引后，根据所述步态特征及所述衣着特征，确定发起所述导航请求的用户是否在所述移动导航机器人的引导范围内；第二检测模块，用于接收到所述导航请求，对用户面部进行拍摄，获取用户的面部特征，以及，在开始导航指引后，根据所述面部特征，确定发起所述导航请求的用户是否在所述移动导航机器人的引导范围内；第三检测模块，用于接收到所述导航请求，对用户声音进行录制，获取用户的声纹特征，以及，在开始导航指引后，根据所述声纹特征，确定发起所述导航请求的用户是否在所述移动导航机器人的引导范围内。

根据本发明的一些实施例，所述导航指引模块还包括：请求分析模块，用于接收导航请求，提取请求内容的目标特征，按匹配度生成相应的请求目标列表。

根据本发明的一些实施例，还包括：巡逻报警模块，用于分析视频图像，确定可疑目标的特征部位，识别出所述可疑目标的特征参数，与特征数据库中存储的可疑特征信息进行比对，若比对结果符合设定的报警条件，则进行报警。

根据本发明的一些实施例，还包括：遥控监视模块，用于将所述移动导航机器人上的摄像头获取的扫描图像数据上送至监控终端，以及，根据所述远程遥控指令控制所述移动导航机器人按设定路径行驶。

根据本发明的一些实施例，还包括：终端应用模块，设置于用户终端，用于发送所述导航请求，接收所述导航路径，通过交互界面在所述栅格地图中显示所述导航路径，并根据所述用户终端的当前位置，更新显示所述导航路径。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的系统的主要模块示意框图；

图2为本发明实施例的系统中的定位扫描过程示意图；

图3为本发明实施例的系统中的导航指引模块的内部模块示意图。

附图标记：

定位扫描模块100、导航规划模块200、导航指引模块300；

节点提取模块310、节点引导模块320、引导检测模块330、请求分析模块340；

第一检测模块331、第二检测模块332、第三检测模块333。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、场过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

参照图1，本发明的实施例的系统包括：定位扫描模块100，通过设置在移动导航机器人上的摄像头扫描室内图像，根据移动导航机器人的当前位姿及扫描图像数据，计算得出扫描数据点的全局坐标，构建栅格地图，以及，根据栅格地图定位移动导航机器人的位置；导航规划模块200，用于接收导航目标位置，根据栅格地图及移动导航机器人的实时位置，生成导航路径；导航指引模块300，用于根据导航请求，得出导航目标位置，提取导航路径的关键导航节点，检测到移动导航机器人行驶到关键导航节点，播放相应的语音指引，以及，确定发起导航请求的用户是否在移动导航机器人的引导范围内，根据判断结果控制机器人的行驶状态，播放相应的语音提醒。

本发明的实施例中的定位扫描模块中包括：设置在移动机器人上的数据扫描模块和位姿测量模块；设置在服务端的定位建图模块，以及，用于获取机器人下一位姿的位姿预测模块。数据扫描模块，通过设置在移动机器人上的可旋转摄像头，按预设的扫描规则扫描室内图像，在扫描过程中，机器人停止移动，并记录导航机器人的当前位姿(x，y，theta)，其中，(x，y)表示平面坐标，theta表示旋转角度；一个位姿对应一个批次的扫描图像数据，并上传至云服务端。位姿测量模块，用于通过安装于移动导航机器人上的传感器记录位置变化及扫描图像数据得到移动导航机器人的当前位姿。定位建图模块，用于根据移动导航机器人的当前位姿及本批次的扫描图像数据，得出当前扫描数据点的全局坐标，构建栅格地图。位姿预测模块，用于根据移动导航机器人的当前位姿及上一位姿，预测下一位姿，并将相邻两次获取的栅格地图的重合度作为目标函数，对预测的下一位姿进行优化，并将优化后的预测位姿发送给移动导航机器人；移动导航机器人将会行驶至预测位置，并保持预测旋转角度，获取下一批次的扫描图像数据。

本发明实施例的定位扫描生成完整地图的过程，参照图2，包括以下步骤：

步骤1，参数配置，包括步骤1.1和步骤1.2；

步骤1.1，设置扫描参数，包括：扫描角度范围、扫描角度间隔、扫描点数、扫描时间等；

步骤1.2，设置地图及位姿参数，包括：栅格地图单元尺寸对于的实际长度、机器人移动多少更新一次地图；

步骤2，遍历每一批次的扫描图像数据，执行步骤2.1至2.7的处理：

步骤2.1，以移动导航机器人扫描时所在地点为原点构建第一坐标系，计算本批次扫描图像数据中的扫描数据点的第一笛卡尔坐标；

步骤2.2，若本批次扫描图像数据为首批数据，则进行初始化后进入步骤2.3；否则，直接执行步骤2.3；

步骤2.3，根据本批次扫描数据点的第一笛卡尔坐标和移动导航机器人的当前位姿，求得当前扫描数据点的全局坐标；

步骤2.4，根据当前批次的扫描数据点的全局坐标，构建本次扫描得到的栅格地图；

步骤2.5，根据当前位姿初步预测下一位姿，若当前位姿为初始位姿，则令下一位姿为当前位置；否则，令下一位姿＝当前位姿+(当前位姿-前一位姿)；

步骤2.6，根据当前位姿的地图来优化预测的下一位姿；将相邻两次获取的栅格地图的重合度作为目标函数，通过求该目标函数的最大值，对预测的下一位姿进行优化调整；

步骤2.7，确定优化后的预测位姿与当前位姿的差距是否在设定范围内，若是，则认为预测正确，更新全局地图，并记录预测位姿，否则，令当前位姿＝上一位姿，从上一位姿重新开始遍历预测。

反复执行步骤2，直到全局室内地图生成完整，并在全局地图中记录完整预测位姿及相应的路径。本发明的实施例中，若设定时间内未再生成相应的新的局部栅格地图，则认为地图生成完整。

本发明实施例中的导航指引模块300，参照图3，还包括以下模块。节点提取模块310，用于根据导航请求，得出导航目标位置，提取导航路径的关键导航节点，生成关键节点列表，关键节点列表中包括关键导航节点的位置及节点类型。节点类型包括：导航起始点、导航结束点、转弯处、附近有障碍物等。节点引导模块320，用于检测到移动导航机器人行驶到关键导航节点，根据节点类型播放相应的语音指引，并提醒剩余距离及预计剩余时间。引导检测模块330，用于确定发起导航请求的用户是否在移动导航机器人的引导范围内，若用户脱离引导范围，则控制移动导航机器人原地等待若干时间，或者，根据用户距离移动导航机器人的距离，控制移动导航机器人的行驶速度及行驶方向。例如，用户距离机器人超过第一距离，则降低行驶速度，用户距离机器人超过第二距离，原地等待，用户距离机器人第三距离或者背向而行，则转向向用户方向行驶。请求分析模块340，用于接收导航请求，提取请求内容的目标特征，按匹配度生成相应的请求目标列表。例如，用户询问某种商品，则根据商品名称的关键字这一特征进行匹配，获取商品位置；若用户不知名称，仅给出商品或商店的特征描述，则根据特征描述进行匹配，获取定位。

本发明的实施例中，引导检测模块330包括以下三种模块的其中至少一项来检测待指引用户是否在引导范围内。第一检测模块331，用于接收到导航请求，对用户的行走姿态进行拍摄，获取用户的步态特征及衣着特征并记录，以及，在开始导航指引后，根据步态特征及衣着特征，确定发起导航请求的用户是否在移动导航机器人的引导范围内；第二检测模块332，用于接收到导航请求，对用户面部进行拍摄，获取用户的面部特征，以及，在开始导航指引后，根据面部特征，确定发起导航请求的用户是否在移动导航机器人的引导范围内；第三检测模块333，用于接收到导航请求，对用户声音进行录制，获取用户的声纹特征，以及，在开始导航指引后，根据声纹特征，确定发起导航请求的用户是否在移动导航机器人的引导范围内。通过步态特征及衣着特征(颜色，衣着样式等)，或者面部特征，或者声纹特征检测用户是否在引导范围内，防止用户手脚不灵便或者因意外未能跟上机器人，导致导航效率低下。

本发明的实施例中，还包括:巡逻报警模块，用于分析视频图像，确定可疑目标的特征部位，识别出可疑目标的特征参数，与特征数据库中存储的可疑特征信息进行比对，若比对结果符合设定的报警条件，则进行报警。遥控监视模块，用于将移动导航机器人上的摄像头获取的扫描图像数据上送至监控终端，以及，根据远程遥控指令控制移动导航机器人按设定路径行驶。终端应用模块，设置于用户终端，用于发送导航请求，接收导航路径，通过交互界面在栅格地图中显示导航路径，并根据用户终端的当前位置，更新显示导航路径。

尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。

上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，场出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。

因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。

本文所述的程序模块、应用程序等可包括一个或多个软件组件，包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令，所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如，本文所述的例示性方法的一种或多种操作)被执行。

软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言，诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言，其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中，包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行，而无需首先转换成另一种形式。

软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如，预设的或固定的)或动态的(例如，在执行时创建或修改的)。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种商场机器人导航系统，其特征在于，包括：

定位扫描模块，通过设置在移动导航机器人上的摄像头扫描室内图像，根据所述移动导航机器人的当前位姿及扫描图像数据，计算得出扫描数据点的全局坐标，构建栅格地图，以及，根据所述栅格地图定位所述移动导航机器人的位置；

导航规划模块，用于接收导航目标位置，根据所述栅格地图及所述移动导航机器人的实时位置，生成导航路径；

导航指引模块，用于根据导航请求，得出所述导航目标位置，提取所述导航路径的关键导航节点，检测到所述移动导航机器人行驶到所述关键导航节点，播放相应的语音指引，以及，确定发起所述导航请求的用户是否在所述移动导航机器人的引导范围内，根据判断结果控制机器人的行驶状态，播放相应的语音提醒。

2.根据权利要求1所述的商场机器人导航系统，其特征在于，所述定位扫描模块包括：

数据扫描模块，用于通过所述摄像头扫描室内图像，并根据扫描时的所述导航机器人的位姿，生成多批次的所述扫描图像数据，上传到云服务端；

定位建图模块，设置在所述云服务端，用于根据所述移动导航机器人的当前位姿及本批次的扫描图像数据，得出当前扫描数据点的全局坐标，构建所述栅格地图；

位姿预测模块，用于根据所述移动导航机器人的当前位姿及上一位姿，预测下一位姿，并将相邻两次获取的所述栅格地图的重合度作为目标函数，对预测的下一位姿进行优化，并将优化后的预测位姿发送给所述移动导航机器人。

3.根据权利要求2所述的商场机器人导航系统，其特征在于，所述位姿预测模块还包括：

预测位姿控制模块，用于确定优化后的所述预测位姿与所述当前位姿的差距是否在设定范围内，若超出设定范围，则将令所述当前位姿为所述上一位姿，重新获取优化后的所述预测位姿。

4.根据权利要求2所述的商场机器人导航系统，其特征在于，所述定位扫描系统还包括：

位姿测量模块，用于通过安装于所述移动导航机器人上的传感器记录位置变化及所述扫描图像数据得到所述移动导航机器人的当前位姿。

5.根据权利要求1所述的商场机器人导航系统，其特征在于，所述导航指引模块包括：

节点提取模块，用于根据导航请求，得出所述导航目标位置，提取所述导航路径的关键导航节点，生成关键节点列表，所述关键节点列表中包括所述关键导航节点的位置及节点类型；

节点引导模块，用于检测到所述移动导航机器人行驶到所述关键导航节点，根据所述节点类型播放相应的语音指引，并提醒剩余距离及预计剩余时间；

引导检测模块，用于确定发起所述导航请求的用户是否在所述移动导航机器人的引导范围内，若用户脱离所述引导范围，则控制所述移动导航机器人原地等待若干时间，或者，根据用户距离所述移动导航机器人的距离，控制所述移动导航机器人的行驶速度及行驶方向。

6.根据权利要求5所述的商场机器人导航系统，其特征在于，所述导航指引模块还包括以下模块中的至少一个：

第一检测模块，用于接收到所述导航请求，对用户的行走姿态进行拍摄，获取用户的步态特征及衣着特征并记录，以及，在开始导航指引后，根据所述步态特征及所述衣着特征，确定发起所述导航请求的用户是否在所述移动导航机器人的引导范围内；

第二检测模块，用于接收到所述导航请求，对用户面部进行拍摄，获取用户的面部特征，以及，在开始导航指引后，根据所述面部特征，确定发起所述导航请求的用户是否在所述移动导航机器人的引导范围内；

第三检测模块，用于接收到所述导航请求，对用户声音进行录制，获取用户的声纹特征，以及，在开始导航指引后，根据所述声纹特征，确定发起所述导航请求的用户是否在所述移动导航机器人的引导范围内。

7.根据权利要求5所述的商场机器人导航系统，其特征在于，所述导航指引模块还包括：

请求分析模块，用于接收导航请求，提取请求内容的目标特征，按匹配度生成相应的请求目标列表。

8.根据权利要求1所述的商场机器人导航系统，其特征在于，还包括：

巡逻报警模块，用于分析视频图像，确定可疑目标的特征部位，识别出所述可疑目标的特征参数，与特征数据库中存储的可疑特征信息进行比对，若比对结果符合设定的报警条件，则进行报警。

9.根据权利要求8所述的商场机器人导航系统，其特征在于，还包括：

遥控监视模块，用于将所述移动导航机器人上的摄像头获取的扫描图像数据上送至监控终端，以及，根据所述远程遥控指令控制所述移动导航机器人按设定路径行驶。

10.根据权利要求1所述的商场机器人导航系统，其特征在于，还包括：

终端应用模块，设置于用户终端，用于发送所述导航请求，接收所述导航路径，通过交互界面在所述栅格地图中显示所述导航路径，并根据所述用户终端的当前位置，更新显示所述导航路径。

Images