CN110928972A

CN110928972A - 一种语义地图构建方法、系统、装置、存储介质及机器人

Info

Publication number: CN110928972A
Application number: CN201911156608.2A
Authority: CN
Inventors: 宋德超; 陈翀; 陈占杰; 房远志
Original assignee: Gree Electric Appliances Inc of Zhuhai; Zhuhai Lianyun Technology Co Ltd
Current assignee: Gree Electric Appliances Inc of Zhuhai; Zhuhai Lianyun Technology Co Ltd
Priority date: 2019-11-22
Filing date: 2019-11-22
Publication date: 2020-03-27

Abstract

本发明提供一种语义地图构建方法、系统、装置、存储介质及机器人，所述方法包括：构建目标环境的地图并发送至用户终端；接收用户终端的所述地图的区域划分信息，所述地图的区域划分信息包括：各地图区域的边界在所述地图中的坐标以及为各地图区域定义的语义标签信息；根据所述各地图区域的边界在所述地图中的坐标对所述地图进行分割，完成对所述地图的区域划分；为区域划分得到的各地图区域添加所述语义标签信息，得到语义地图。通过对地图进行区域划分和在地图中添加语义标签信息，构建出更为精准的语义地图，为机器人的移动控制提供更多途径，可以极大地增强机器人的人机交互性能。

Description

一种语义地图构建方法、系统、装置、存储介质及机器人

技术领域

本发明涉及定位与地图构建技术领域，具体涉及一种语义地图构建方法、系统、装置、存储介质及机器人。

背景技术

当前，随着人工智能技术的快速发展，智能家居领域的研究也受到了普遍的关注。扫地机器人是智能家居系统的重要组成部分之一，目前的机器人(如扫地机器人)主流的工作方式仍是无差别地毯式清扫，用户在APP终端通过截断地图占用区域来控制扫地机器人的工作范围，这种需要人为即时手动干预的控制方法固定单一，自动化与智能程度低。

随着SLAM技术的发展，语义地图的构建受到了研究者们的普遍关注，语义信息赋予了结构地图实质性内容，可以极大地增强机器人的人机交互性能，为机器人的移动控制方法提供更多途径。在机器人定位导航中，目前主要涉及到激光SLAM(SimultaneousLocalization and Mapping)与视觉SLAM，激光SLAM在理论、技术和产品落地上都较为成熟，因而成为现下最为主流的定位导航方式，在家用扫地机器人及商用送餐机器人等服务机器人中普遍采用了激光SLAM技术。包括Cartographer在内的主流激光SLAM系统所构建的地图均为2D地图，该地图可以直接用于机器人导航，但其仅具备平面结构信息，对于复杂的智能交互任务无法提供帮助。

发明内容

本发明提供一种语义地图构建方法、系统、装置、存储介质及机器人，通过对地图进行区域划分和在地图中添加语义标签信息，构建出更为精准的语义地图，为机器人的移动控制提供更多途径。

本发明的技术方案如下：

第一方面，本发明提供一种语义地图构建方法，包括：

构建目标环境的地图并发送至用户终端；

接收用户终端的所述地图的区域划分信息，所述地图的区域划分信息包括：各地图区域的边界在所述地图中的坐标以及为各地图区域定义的语义标签信息；

根据所述各地图区域的边界在所述地图中的坐标对所述地图进行分割，完成对所述地图的区域划分；

为区域划分得到的各地图区域添加所述语义标签信息，得到语义地图。

更进一步地，采用SLAM系统构建所述目标环境的地图。

更进一步地，所述目标环境的地图中的地图点的存储结构向量是对SLAM系统中的地图点存储结构向量重建得到的三维存储结构向量。

更进一步地，所述对SLAM系统中的地图点存储结构向量重建，包括：

提取SLAM系统的地图点存储结构向量；

创建三维存储结构向量，第一维用于存放地图点的平面坐标信息，第二维用于存放地图点的占用信息，第三维用于存放地图点的语义标签信息；

将所述三维存储结构向量更新到所述SLAM系统。

更进一步地，所述三维存储结构向量的第三维在构建目标环境的地图时为置空状态。

更进一步地，所述为区域划分得到的各地图区域添加所述语义标签信息，得到语义地图，包括：

遍历区域划分得到的地图区域内的所有可占用地图点，将地图区域所对应的语义标签信息存储至各可占用地图点的存储结构向量中，得到语义地图。

第二方面，本发明提供一种语义地图构建系统，包括：

地图构建模块，用于构建目标环境的地图并发送至用户终端；

信息接收模块，用于接收用户终端的所述地图的区域划分信息，所述地图的区域划分信息包括：各地图区域的边界在所述地图中的坐标以及为各地图区域定义的语义标签信息；

区域划分模块，用于根据所述各地图区域的边界在所述地图中的坐标对所述地图进行分割，完成对所述地图的区域划分；

语义添加模块，用于为区域划分得到的各地图区域添加所述语义标签信息，得到语义地图。

第三方面，本发明提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现所述的语义地图构建方法。

第四方面，本发明提供一种语义地图构建装置，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现所述的语义地图构建方法。

第五方面，本发明提供一种机器人，包括所述的语义地图构建装置。

本发明构建目标环境的地图并发送至用户终端；接收用户终端的所述地图的区域划分信息；根据所述各地图区域的边界在地图中的坐标对所述地图进行分割；为区域划分得到的各地图区域添加所述语义标签信息，得到语义地图。通过对所述地图进行区域划分和在所述地图中添加所述语义标签信息，构建出更为精准的语义地图，为机器人的移动控制提供更多途径，可以极大地增强机器人的人机交互性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明第一实施例提供的语义地图构建方法一种流程图；

图2是本发明第一实施例提供的语义地图构建方法另一种流程图；

图3是本发明的第二实施例提供的语义地图构建系统框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的以下实施例是以用户通过用户终端中的应用程序划分地图区域并输入语义标签作为应用场景来描述的。用户终端包括但不限于：安装了Syber OS、iOS、Android、Symbian、Windows Mobile、Maemo、WebOS、Palm OS或Blackberry OS等终端操作系统的智能手机或平板电脑，用户终端上集成有触控屏，触控屏例如是液晶触控屏；所述应用程序包括具有信息录入功能的客户端或手机APP。以上应用场景不构成对本说明书实施例的限定。

本发明的第一实施例提供一种语义地图构建方法，如图1所示，包括：

步骤S1、构建目标环境的地图并发送至用户终端；

步骤S2、接收用户终端的地图的区域划分信息；

步骤S3、根据各地图区域的边界在地图中的坐标对地图进行分割，完成对地图的区域划分；

步骤S4、为区域划分得到的各地图区域添加语义标签信息，得到语义地图。

其中，地图的区域划分信息包括：各地图区域的边界在地图中的坐标以及为各地图区域定义的语义标签信息。

用户终端接收到目标环境的地图后，用户可以对照实际环境在地图中划线分割出不同的区域并为各地图区域定义语义标签，通过用户终端上传地图的区域划分信息，根据区域划分信息中的各地图区域的边界在地图中的坐标对地图进行分割，在地图中确定出各个地图区域的边界，实现了边界坐标与地图的融合，完成了对地图的区域划分，得到若干地图区域，并将语义标签信息添加到各地图区域，使得构建的地图中不仅包含地图点的坐标信息，还包括用户自定义的语义标签信息，为机器人控制提供更多的信息和控制方式的可能性。

本实施例优选采用SLAM系统构建所述目标环境的地图，例如目前已集成于机器人操作系统ROS(Robot Operating System)框架的Google开源方案Cartographer，该方案建图精度和实时性优秀。

包括Cartographer在内的主流激光SLAM系统所构建的地图均为2D栅格地图，可以直接用于机器人导航，但其仅具备平面结构信息，对于复杂的智能交互任务无法提供帮助。而本发明第一实施例中所构建的目标环境的地图中的地图点的存储结构向量是对SLAM系统中的地图点存储结构向量重建得到的三维存储结构向量。

具体来说，对SLAM系统中的地图点存储结构向量重建，包括：

首先，提取SLAM系统的地图点存储结构向量；

其次，创建三维存储结构向量，第一维用于存放地图点的平面坐标信息，第二维用于存放地图点的占用信息，该占用信息使用RGB三通道颜色数据来表示，第三维用于存放地图点的语义标签信息；

最后，将三维存储结构向量更新到所述SLAM系统。

上述三维存储结构向量的前两维与原存储结构向量保持不变，新增的第三维用于存放构建的目标环境的地图中的地图点的语义标签信息，由于语义标签信息在实时构建目标环境的地图时为置空状态，所以不会影响系统的实时运行速度。

如图2所示，上述步骤S4进一步包括：

步骤S41、遍历区域划分得到的地图区域内的所有可占用地图点，将地图区域所对应的语义标签信息存储至各可占用地图点的存储结构向量中，当所有地图区域都添加完语义标签信息，得到语义地图。

具体地，地图区域所对应的语义标签信息存储至各可占用地图点的存储结构向量的第三维中，至此存储结构向量中既包含坐标信息又包含语义信息。

对应地，本发明的第二实施例提供一种语义地图构建系统，如图3所示，包括：

地图构建模块1，用于构建目标环境的地图并发送至用户终端；

信息接收模块2，用于接收用户终端的所述地图的区域划分信息，所述地图的区域划分信息包括：各地图区域的边界在所述地图中的坐标以及为各地图区域定义的语义标签信息；

区域划分模块3，用于根据所述各地图区域的边界在所述地图中的坐标对所述地图进行分割，完成所述地图的区域划分；

语义添加模块4，用于为区域划分得到的各地图区域添加所述语义标签信息，得到语义地图。

显然，本领域技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或者步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

本发明的第三实施例提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现所述的语义地图构建方法。

本发明的第四实施例提供一种语义地图构建装置，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现所述的语义地图构建方法。

所述处理器可以是一种具有信息处理能力的集成电路芯片，也可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等，但不限于此。

本发明的第五实施例提供一种机器人，包括所述的语义地图构建装置。

基于本发明实施例构建的语义地图，机器人(例如扫地机器人)的工作区域控制方式不再局限于直接给定坐标，用户可以通过语音、文字等多种具有语义信息的命令对机器人进行控制，并且这种控制方式将可以使机器人成为智能家居的一个重要组成部分，通过智能家居系统整体调控达到更智能化的程度。通过人机交互方式构建语义地图，能够使地图的语义信息完全符合用户预期，使机器人的工作区域更为精确。通过语义信息的添加，机器人的工作方式能够更智能化，用户可以通过语音命令来控制扫地机器人在任意时间的工作区域，如“晚上10点之后打扫房间，除了卧室”，机器人可以通过语音识别和语义分析技术，并基于提供语义信息的语义地图，能够精确完成用户指令，这将极大增强机器人的智能化程度。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种语义地图构建方法，其特征在于，包括：

构建目标环境的地图并发送至用户终端；

2.根据权利要求1所述的语义地图构建方法，其特征在于，采用SLAM系统构建所述目标环境的地图。

3.根据权利要求2所述的语义地图构建方法，其特征在于，所述目标环境的地图中的地图点的存储结构向量是对SLAM系统中的地图点存储结构向量重建得到的三维存储结构向量。

4.根据权利要求3所述的语义地图构建方法，其特征在于，所述对SLAM系统中的地图点存储结构向量重建，包括：

提取SLAM系统的地图点存储结构向量；

将所述三维存储结构向量更新到所述SLAM系统。

5.根据权利要求4所述的语义地图构建方法，其特征在于，所述三维存储结构向量的第三维在构建目标环境的地图时为置空状态。

6.根据权利要求1所述的语义地图构建方法，其特征在于，所述为区域划分得到的各地图区域添加所述语义标签信息，得到语义地图，包括：

7.一种语义地图构建系统，其特征在于，包括：

8.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如权利要求1至6中任一项所述的语义地图构建方法。

9.一种语义地图构建装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的语义地图构建方法。

10.一种机器人，其特征在于，包括权利要求9所述的语义地图构建装置。