CN110298873A - 三维地图的构建方法、构建装置、机器人及可读存储介质 - Google Patents

Abstract

本申请提供了一种三维地图的构建方法、构建装置、机器人及可读存储介质，用于提高三维地图在语义信息方面的空间一致性。方法包括：构建装置接收UE发起的构建请求，构建请求用于请求构建目标场景的三维地图；构建装置获取目标场景的地图采集信息，地图采集信息包括目标场景的RGB图像、三维点云信息以及深度图像；构建装置通过SLIC算法，对RGB图像进行超像素分组，得到超像素图像；构建装置将三维点云信息转化为三维网格图像；构建装置通过编码解码式语义分割模型，对RGB图像以及深度图像进行语义分割，得到语义图像；构建装置对三维网格图像、超像素图像以及语义图像进行融合，得到目标场景的三维地图。

Description

三维地图的构建方法、构建装置、机器人及可读存储介质

技术领域

本申请涉及增强现实技术领域，尤其涉及一种三维地图的构建方法、构建装置、机器人及可读存储介质。

背景技术

增强现实(Augmented Reality，AR)技术是通过计算机系统提供的信息增加用户对现实世界感知的技术，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的“增强”。同时，由于用于与真实世界的联系并未被切断，交互方式也就显得更加自然。

在AR技术的应用中，离不开在真实场景的基础上所建立的三维(Three-Dimensions，3D)地图，三维地图的建立对于机器人涉及的自助导航以及智能交互具有重要意义，机器人可在移动的过程中，通过三维地图来躲避周遭的障碍物，从而有助于机器人的智能活动。

进一步的，在三维地图的基础上，考虑到具体的应用场景，可在三维地图中添加语义信息，以便对当前场景提供具体的语义解析，提高三维地图的精确性以及应用价值。

而在实际应用中发现，现有的具有语义信息的三维地图，其在空间分布上时常不连续，容易造成机器人交互中的误检测。

发明内容

本申请提供了一种三维地图的构建方法、构建装置、机器人及可读存储介质，用于提高三维地图在语义信息方面的空间一致性。

第一方面，本申请提供一种三维地图的构建方法，方法应用于三维地图的构建装置，方法包括：

构建装置接收用户设备(User Equipment，UE)发起的构建请求，构建请求用于请求构建目标场景的三维地图；

构建装置获取目标场景的地图采集信息，地图采集信息包括目标场景的红绿蓝(Red-Green-Blue，RGB)图像、三维点云信息以及深度图像；

构建装置通过简单线性迭代聚类(Simple Linear Iterative Clustering，SLIC)算法，对RGB图像进行超像素分组，得到超像素图像；

构建装置将三维点云信息转化为三维网格图像；

构建装置通过编码解码式语义分割模型，对RGB图像以及深度图像进行语义分割，得到语义图像；

构建装置对三维网格图像、超像素图像以及语义图像进行融合，得到目标场景的三维地图。

可选的，构建装置通过编码解码式语义分割模型，对RGB图像以及深度图像进行语义分割，得到语义图像之前，方法还包括：

构建装置根据多个不同的预设室内场景，设置室内场景对应的编码解码式语义分割模型；

构建装置确定目标场景是否为室内场景；

若目标场景为室内场景，则构建装置触发获取目标场景的地图采集信息。

可选的，构建装置获取目标场景的地图采集信息包括：

构建装置启动自身的红绿蓝-深度(Red-Green-Blue-Deep，RGBD)相机；

构建装置在移动过程中通过RGBD相机，现场采集目标场景的地图采集信息；

当得到目标场景的三维地图后，方法还包括：

构建装置关闭RGBD相机。

可选的，构建装置将三维点云信息转化为三维网格图像包括：

构建装置根据三维点云信息，确定多个三维网格，并在三维网格的画面移动中保持固定的维度以及基于立体深度测量的射线跟踪三维网格的增量更新；

构建装置计算每个三维网格的占用率；

当目标三维网格的占用率达到预设阈值时，构建装置识别目标三维网格已被占用；

构建装置对目标三维网格进行条件随机场(Conditional random field，CRF)优化；

构建装置将多个三维网格融合，得到三维网格图像。

可选的，方法还包括：

构建装置根据地图采集信息，采用迭代最近法(Iterative Closest Point，ICP)计算地图采集信息对应的相机位姿；

构建装置对三维网格图像、超像素图像以及语义图像进行融合，得到目标场景的三维地图包括：

构建装置在相机位姿的基础上，对三维网格图像、超像素图像以及语义图像进行融合，得到目标场景的三维地图。

可选的，构建装置对三维网格图像、超像素图像以及语义图像进行融合，得到目标场景的三维地图包括：

构建装置在三维网格图像、超像素图像以及语义图像的基础上，通过CRF对每个三维网格对应的语义标签进行联合优化；

通过平均场推理模型进行求解得到目标场景的三维地图。

第二方面，本申请提供一种三维地图的构建装置，装置包括：

接收单元，用于接收UE发起的构建请求，构建请求用于请求构建目标场景的三维地图；

获取单元，用于获取目标场景的地图采集信息，地图采集信息包括目标场景的RGB图像、三维点云信息以及深度图像；

分组单元，用于通过SLIC算法，对RGB图像进行超像素分组，得到超像素图像；

转化单元，用于将三维点云信息转化为三维网格图像；

分割单元，用于通过编码解码式语义分割模型，对RGB图像以及深度图像进行语义分割，得到语义图像；

融合单元，用于对三维网格图像、超像素图像以及语义图像进行融合，得到目标场景的三维地图。

在一种实施例中，构建装置还包括：

设置单元，用于根据多个不同的预设室内场景，设置室内场景对应的编码解码式语义分割模型；

确定单元，用于确定目标场景是否为室内场景，若目标场景为室内场景，则触发获取单元。

在另一种实施例中，获取单元具体用于：

启动自身的RGBD相机；

在移动过程中通过RGBD相机，现场采集目标场景的地图采集信息；

关闭RGBD相机。

在又一种实施例中，转化单元，具体用于：

根据三维点云信息，确定多个三维网格，并在三维网格的画面移动中保持固定的维度以及基于立体深度测量的射线跟踪三维网格的增量更新；

计算每个三维网格的占用率；

当目标三维网格的占用率达到预设阈值时，识别目标三维网格已被占用；

对目标三维网格进行CRF优化；

将多个三维网格融合，得到三维网格图像。

在又一种实施例中，构建装置还包括：

计算单元，用于根据地图采集信息，采用ICP计算地图采集信息对应的相机位姿；

融合单元，具体用于：

在相机位姿的基础上，对三维网格图像、超像素图像以及语义图像进行融合，得到目标场景的三维地图。

在又一种实施例中，融合单元，具体用于：

在三维网格图像、超像素图像以及语义图像的基础上，通过CRF对每个三维网格对应的语义标签进行联合优化；

通过平均场推理模型进行求解得到目标场景的三维地图。

第三方面，本申请提供一种机器人，机器人包括上述第二方面的三维地图的构建装置。

第四方面，本申请提供一种三维地图的构建装置，包括处理器，处理器用于执行存储器中存储的计算机程序时实现如上述第一方面的三维地图的构建方法的任一步骤。

第五方面，本申请提供一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面的三维地图的构建方法的任一步骤。

从以上技术方案可以看出，本申请具有以下优点：

三维地图的构建装置在根据UE发起的构建请求触发构建目标场景的三维地图后，构建装置获取目标场景的地图采集信息，地图采集信息包括目标场景的RGB图像、三维点云信息以及深度图像，接着在一方面通过SLIC算法，对RGB图像进行超像素分组，得到超像素图像，在另一方面将三维点云信息转化为三维网格图像，在另一方面还通过编码解码式语义分割模型，对RGB图像以及深度图像进行语义分割，得到语义图像，从而构建装置可在三维网格图像、超像素图像以及语义图像的基础上，融合得到目标场景的具有语义信息的三维地图，在这过程中，由于将三维点云信息转化了三维网格图像，因此更便于对目标场景中未知物体的形体进行追踪以及识别，进而可更为精确地赋予未知物体对应的语义标签，并且由于引入了超像素图像的设置，还可优化三维网格图像对于未知物体的追踪、识别以及语义标签的赋予的应用，从而保证了三维地图在语义信息方面的空间一致性，机器人可在该三维地图的基础上避免误检测，实现更为精确以及智能化的智能活动，便于应用在对实时场景理解具有较高要求的场景。

附图说明

图1示出了本申请三维地图的构建方法的一种流程示意图，；

图2示出了本申请触发获取目标场景的地图采集信息的一种流程示意图；

图3示出了本申请获取目标场景的地图采集信息的一种流程示意图；

图4示出了本申请将三维点云信息转化为三维网格图像的一种流程示意图；

图5示出了本申请构建装置的一种结构示意图；

图6示出了本申请提供的构建装置的另一种结构示意图。

具体实施方式

本申请提供了一种三维地图的构建方法、构建装置、机器人及可读存储介质，用于提高三维地图在语义信息方面的空间一致性。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。

本申请中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。

首先，在介绍本申请之前，首先介绍本申请涉及的构建装置。

在本申请中，构建装置具有数据处理能力，可以为独立运行的处理设备，例如可以为在现场构建三维地图的机器人，或者也可以为包括机器人(采集地图采集信息)以及工作站(进行数据处理)的处理系统，或者还可以为工作站。或者，构建装置还可以为用于内置在机器人或者其他设备上的处理模块。根据UE的触发，构建装置应用本申请提供的三维地图的构建方法，可得到目标场景的三维地图，并且还可提高该三维地图在语义信息方面的空间一致性。

UE，具体可以为智能手机、笔记本电脑、台式电脑、电脑一体机、个人数字助理(Personal Digital Assistant，PDA)、智能手环或者智能手表等可连接构建装置并发起构建请求的终端设备。

下面，则基于上述场景的说明，开始对本申请提供的三维地图的构建方法进行详细介绍。

参阅图1，图1示出了本申请三维地图的构建方法的一种流程示意图，具体的，本申请三维地图的构建方法可包括如下步骤：

步骤S101，构建装置接收UE发起的构建请求；

其中，构建请求用于请求构建目标场景的三维地图。

用户在具有目标场景的三维地图的构建需求时，可通过UE与构建装置的网络连接，向构建装置发起对应的构建请求。

在实际应用中，UE可通过云平台或者服务器等中间媒介，与构建装置建立远程连接；或者，UE也可通过蓝牙、Zigbee或者无线保真(Wireless Fidelity，WIFI)等无线连接方式近地与构建装置建立网络连接；或者，UE还可通过数据线与构建装置进行有线连接，具体在此不做限定。

步骤S102，构建装置获取目标场景的地图采集信息；

其中，地图采集信息包括目标场景的RGB图像、三维点云信息以及深度图像。

随着UE发起的构建请求的触发，构建装置获取目标场景的地图采集信息。

可以理解，在本申请中，构建装置可直接处于目标场景中，现场采集目标场景的地图采集信息；或者，构建装置还可通过从服务器、地图采集信息的采集设备或者地图采集信息的存储设备等第三方渠道获取目标场景的地图采集信息。

RGB图像即具有红绿蓝三个颜色通道并且叠加得到的彩色图像，三维点云包括目标场景中各物体表面的点的三维空间位置信息，深度图像为具有深度传感器与视点的物体表面的距离信息的图像。

步骤S103，构建装置通过简单线性迭代聚类SLIC算法，对RGB图像进行超像素分组，得到超像素图像；

在得到目标场景的地图采集信息后，构建装置可对于RGB图像进行超像素分组，或者说超像素分割，在RBG图像中的像素的基础上，将纹理、颜色或者亮度等特征在预设的相似程度范围内的相邻像素构成不规则的像素块从而可用少量的超像素代替大量的像素来表达RGB图像的图像特征，便于对RGB图像进行物体的分割。

步骤S104，构建装置将三维点云信息转化为三维网格图像；

另一方面，构建装置还在三维点云信息的基础上，将其转化为三维网格图像，在该三维网格图像中，将众多的三维点云按照三维空间，分割成了N个三维网格。

步骤S105，构建装置通过编码解码式语义分割模型，对RGB图像以及深度图像进行语义分割，得到语义图像；

在又一方面，构建装置在原有VGG 16层网络的语义分割模型的网络架构进行修改，并添加了最大池化和反卷积层，将深度信息作为第四通道输入，得到的编码解码式语义分割模型从而可对RGB图像以及深度图像的基础上，进行语义分割，得到语义图像。

该编码解码式语义分割模型中，包括了多层预设的卷积神经网络(ConvolutionalNeural Networks，CNN)，用于计算语义标签的分布。

需要说明的是，上述步骤S104、步骤S105以及步骤S106之间，在执行上并无时序限定。

步骤S106，构建装置对三维网格图像、超像素图像以及语义图像进行融合，得到目标场景的三维地图。

得到三维网格图像、超像素图像以及语义图像后，构建装置即可在三维网格图像、超像素图像以及语义图像的基础上进行虚实融合，得到目标场景的三维地图，该地图具有精确的语义信息。

从上述可看出，三维地图的构建装置在根据UE发起的构建请求触发构建目标场景的三维地图后，构建装置获取目标场景的地图采集信息，地图采集信息包括目标场景的RGB图像、三维点云信息以及深度图像，接着在一方面通过SLIC算法，对RGB图像进行超像素分组，得到超像素图像，在另一方面将三维点云信息转化为三维网格图像，在又一方面还通过编码解码式语义分割模型，对RGB图像以及深度图像进行语义分割，得到语义图像，从而构建装置可在三维网格图像、超像素图像以及语义图像的基础上，融合得到目标场景的具有语义信息的三维地图，在这过程中，由于将三维点云信息转化了三维网格图像，因此更便于对目标场景中未知物体的形体进行追踪以及识别，进而可更为精确地赋予未知物体对应的语义标签，并且由于引入了超像素图像的设置，还可优化三维网格图像对于未知物体的追踪、识别以及语义标签的赋予的应用，从而保证了三维地图在语义信息方面的空间一致性，机器人可在该三维地图的基础上避免误检测，实现更为精确以及智能化的智能活动，便于应用在对实时场景理解具有较高要求的场景。

在一种实施例中，参阅图2，图2示出了本申请触发获取目标场景的地图采集信息的一种流程示意图，具体的，本申请触发获取目标场景的地图采集信息可通过如下步骤实现：

步骤S201，构建装置根据多个不同的预设室内场景，设置室内场景对应的编码解码式语义分割模型；

可以理解，相对于室外场景，室内场景较为繁杂，往往包含了较多且放置复杂的物体，如桌子、凳子、沙发、床或者柜子等，物体类别较多，为此，可事先针对于室内场景，设置对应的编码解码式语义分割模型，从而可对应不同的室内场景，设置不同的编码解码式语义分割模型，以便更为细致且精确地对室内场景进行语义分割。

步骤S202，构建装置确定目标场景是否为室内场景，若目标场景为室内场景，则触发步骤S203；

为此，在收到UE发起的构建请求时，构建装置可确定该请求指向的目标场景是否为室内场景，若为室内场景，再进行目标场景的地图采集信息的获取。

在该设置下，以便将构建装置的应用场景缩限在室内场景中，以便对室内场景布置对应的编码解码式语义分割模型，为室内场景创建更为细致且精确的具有语义信息的三维地图。

步骤S203，构建装置触发获取目标场景的地图采集信息。

在确定目标场景为室内场景时，构建装置即可触发获取目标场景的地图采集信息。

在另一种实施例中，构建装置可处于目标场景并自主进行目标场景的地图采集信息的采集，参阅图3，图3示出了本申请获取目标场景的地图采集信息的一种流程示意图，具体的，本申请获取目标场景的地图采集信息可通过如下步骤实现：

步骤S301，构建装置启动自身的RGBD相机；

在本申请中，构建装置可通过自身的RGBD相机，采集目标场景的地图采集信息，该RGBD相机具有RGB图像、三维点云以及深度图像的能力。

进一步的，构建装置还可在触发目标场景的地图采集信息的采集任务时，再启动RGBD相机并进行目标场景的地图采集信息的获取。

可以理解，在该设置下，可节省构建装置，或者构建装置所在设备关于RGBD相机待机(休眠)所需的电源，尤其是若构建装置为机器人或者处于机器人上，更便于机器人的应用。

步骤S302，构建装置在移动过程中通过RGBD相机，现场采集目标场景的地图采集信息；

在启动RGBD相机后，构建装置在目标场景的移动过程中，即可现场采集目标场景的地图采集信息。

后续的，当得到目标场景的三维地图后，还可触发步骤S303。

步骤S303，构建装置关闭RGBD相机。

与随构建请求启动RGBD相机对应的，在得到目标场景的三维地图后，构建装置可将RGBD相机重新置于关闭状态。

在又一种实施例中，参阅图4，图4示出了本申请将三维点云信息转化为三维网格图像的一种流程示意图，具体的，本申请将三维点云信息转化为三维网格图像可通过如下步骤实现：

步骤S401，构建装置根据三维点云信息，确定多个三维网格，并在三维网格的画面移动中保持固定的维度以及基于立体深度测量的射线跟踪三维网格的增量更新；

构建装置可根据预设的网格规格，将众多的三维点云按照三维空间，分割成了N个三维网格。

并且在随着相机移动而形成画面移动的过程中，将三维网格保持在固定的维度，以便减少相机摆动以及画面移动带来的误差。

步骤S402，构建装置计算每个三维网格的占用率；

在得到N个三维网格后，构建装置还可计算每个三维网格的占用率。

步骤S403，当目标三维网格的占用率达到预设阈值时，构建装置识别目标三维网格已被占用；

若当前占用率达到预设阈值，则构建装置可将该三维网格识别为已被占用，并确定为目标三维网格。

步骤S404，构建装置对目标三维网格进行CRF优化；

随后，构建装置可对该目标三维网格进行CRF优化，加强语义信息的空间一致性。

步骤S405，构建装置将多个三维网格融合，得到三维网格图像。

最后，构建装置再将经过CRF优化环节的三维网格进行融合，得到三维网格图像。

在又一种实施例中，三维地图的处理还涉及到了相机位姿的估计，因此，在得到地图采集信息后，构建装置可根据地图采集信息，具体通过ICP算法计算地图采集信息对应的相机位姿，再在相机位姿的基础上，对三维网格图像、超像素图像以及语义图像进行融合，得到目标场景的三维地图。

在又一种实施例中，在得到三维网格图像、超像素图像以及语义图像后，构建装置在三维网格图像、超像素图像以及语义图像的基础上，还可先通过CRF对每个三维网格对应的语义标签进行联合优化，再通过平均场推理模型进行求解得到目标场景的三维地图。

其中，上述计算处理还可制定在GPU中执行，以便利用图形处理器(GraphicsProcessing Unit，GPU)的并行计算能力，大大加强对于语义标签的分析。

以上是对本申请三维地图的构建方法的介绍，下面开始介绍本申请的构建装置。

参阅图5，图5示出了本申请构建装置的一种结构示意图，具体的，构建装置可包括如下结构：

接收单元501，用于接收UE发起的构建请求，所述构建请求用于请求构建目标场景的三维地图；

获取单元502，用于获取所述目标场景的地图采集信息，所述地图采集信息包括所述目标场景的红绿蓝RGB图像、三维点云信息以及深度图像；

分组单元503，用于通过简单线性迭代聚类SLIC算法，对所述RGB图像进行超像素分组，得到超像素图像；

转化单元504，用于将所述三维点云信息转化为三维网格图像；

分割单元505，用于通过编码解码式语义分割模型，对所述RGB图像以及所述深度图像进行语义分割，得到语义图像；

融合单元506，用于对所述三维网格图像、所述超像素图像以及所述语义图像进行融合，得到所述目标场景的三维地图。

在一种实施例中，构建装置还包括：

设置单元507，用于根据多个不同的预设室内场景，设置室内场景对应的编码解码式语义分割模型；

确定单元508，用于确定目标场景是否为室内场景，若目标场景为室内场景，则触发获取单元502。

在另一种实施例中，获取单元502具体用于：

启动自身的RGBD相机；

在移动过程中通过RGBD相机，现场采集目标场景的地图采集信息；

关闭RGBD相机。

在又一种实施例中，转化单元504，具体用于：

根据三维点云信息，确定多个三维网格，并在三维网格的画面移动中保持固定的维度以及基于立体深度测量的射线跟踪三维网格的增量更新；

计算每个三维网格的占用率；

当目标三维网格的占用率达到预设阈值时，识别目标三维网格已被占用；

对目标三维网格进行条件随机场CRF优化；

将多个三维网格融合，得到三维网格图像。

在又一种实施例中，构建装置还包括：

计算单元509，用于根据地图采集信息，采用ICP计算地图采集信息对应的相机位姿；

融合单元506，具体用于：

在相机位姿的基础上，对三维网格图像、超像素图像以及语义图像进行融合，得到目标场景的三维地图。

在又一种实施例中，融合单元506，具体用于：

在三维网格图像、超像素图像以及语义图像的基础上，通过条件随机场CRF对每个三维网格对应的语义标签进行联合优化；

通过平均场推理模型进行求解得到目标场景的三维地图。

参阅图6，图6示出了本申请提供的构建装置的另一种结构示意图，具体的，本申请提供的构建装置包括处理器601，处理器601用于执行存储器802中存储的计算机程序时实现如图1至图4对应任意实施例中的三维地图的构建方法的各步骤；或者，处理器601用于执行存储器602中存储的计算机程序时实现如图5对应实施例中各单元的功能。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器602中，并由处理器601执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。

构建装置可包括，但不仅限于处理器601、存储器602。本领域技术人员可以理解，示意仅仅是计算机装置的示例，并不构成对构建装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如构建装置还可以包括输入输出设备、网络接入设备、总线等，处理器601、存储器602、输入输出设备以及网络接入设备等通过总线相连。

处理器601可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

存储器602可用于存储计算机程序和/或模块，处理器601通过运行或执行存储在存储器602内的计算机程序和/或模块，以及调用存储在存储器602内的数据，实现计算机装置的各种功能。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本申请还提供一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如图1至图4对应任意实施例中的三维地图的构建方法。

可以理解，集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各方法实施例的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的构建装置及其单元的具体工作过程，可以参考图1至图4对应实施例中三维地图的构建方法的说明，具体在此不再赘述。

综上，本申请提供的三维地图的构建方法、构建装置、机器人及可读存储介质，三维地图的构建装置在根据UE发起的构建请求触发构建目标场景的三维地图后，构建装置获取目标场景的地图采集信息，地图采集信息包括目标场景的RGB图像、三维点云信息以及深度图像，接着在一方面通过SLIC算法，对RGB图像进行超像素分组，得到超像素图像，在另一方面将三维点云信息转化为三维网格图像，在另一方面还通过编码解码式语义分割模型，对RGB图像以及深度图像进行语义分割，得到语义图像，从而构建装置可在三维网格图像、超像素图像以及语义图像的基础上，融合得到目标场景的具有语义信息的三维地图，在这过程中，由于将三维点云信息转化了三维网格图像，因此更便于对目标场景中未知物体的形体进行追踪以及识别，进而可更为精确地赋予未知物体对应的语义标签，并且由于引入了超像素图像的设置，还可优化三维网格图像对于未知物体的追踪、识别以及语义标签的赋予的应用，从而保证了三维地图在语义信息方面的空间一致性，机器人可在该三维地图的基础上避免误检测，实现更为精确以及智能化的智能活动，便于应用在对实时场景理解具有较高要求的场景。

在本申请所提供的几个实施例中，应该理解到，所揭露的虚拟主机的部署系统及其单元，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种三维地图的构建方法，其特征在于，所述方法应用于所述三维地图的构建装置，所述方法包括：

所述构建装置接收用户设备UE发起的构建请求，所述构建请求用于请求构建目标场景的三维地图；

所述构建装置获取所述目标场景的地图采集信息，所述地图采集信息包括所述目标场景的红绿蓝RGB图像、三维点云信息以及深度图像；

所述构建装置通过简单线性迭代聚类SLIC算法，对所述RGB图像进行超像素分组，得到超像素图像；

所述构建装置将所述三维点云信息转化为三维网格图像；

所述构建装置通过编码解码式语义分割模型，对所述RGB图像以及所述深度图像进行语义分割，得到语义图像；

所述构建装置对所述三维网格图像、所述超像素图像以及所述语义图像进行融合，得到所述目标场景的三维地图。

2.根据权利要求1所述的方法，其特征在于，所述构建装置通过编码解码式语义分割模型，对所述RGB图像以及所述深度图像进行语义分割，得到语义图像之前，所述方法还包括：

所述构建装置根据多个不同的预设室内场景，设置所述室内场景对应的编码解码式语义分割模型；

所述构建装置确定所述目标场景是否为室内场景；

若所述目标场景为室内场景，则所述构建装置触发获取所述目标场景的地图采集信息。

3.根据权利要求1所述的方法，其特征在于，所述构建装置获取所述目标场景的地图采集信息包括：

所述构建装置启动自身的红绿蓝-深度RGBD相机；

所述构建装置在移动过程中通过所述RGBD相机，现场采集所述目标场景的地图采集信息；

当得到所述目标场景的三维地图后，所述方法还包括：

所述构建装置关闭所述RGBD相机。

4.根据权利要求1所述的方法，其特征在于，所述构建装置将所述三维点云信息转化为三维网格图像包括：

所述构建装置根据所述三维点云信息，确定多个三维网格，并在所述三维网格的画面移动中保持固定的维度以及基于立体深度测量的射线跟踪所述三维网格的增量更新；

所述构建装置计算每个所述三维网格的占用率；

当目标三维网格的占用率达到预设阈值时，所述构建装置识别所述目标三维网格已被占用；

所述构建装置对所述目标三维网格进行条件随机场CRF优化；

所述构建装置将多个所述三维网格融合，得到所述三维网格图像。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述构建装置根据所述地图采集信息，采用迭代最近法ICP计算所述地图采集信息对应的相机位姿；

所述构建装置对所述三维网格图像、所述超像素图像以及所述语义图像进行融合，得到所述目标场景的三维地图包括：

所述构建装置在所述相机位姿的基础上，对所述三维网格图像、所述超像素图像以及所述语义图像进行融合，得到所述目标场景的三维地图。

6.根据权利要求1所述的方法，其特征在于，所述构建装置对所述三维网格图像、所述超像素图像以及所述语义图像进行融合，得到所述目标场景的三维地图包括：

所述构建装置在所述三维网格图像、所述超像素图像以及所述语义图像的基础上，通过条件随机场CRF对每个三维网格对应的语义标签进行联合优化；

通过平均场推理模型进行求解得到所述目标场景的三维地图。

7.一种三维地图的构建装置，其特征在于，所述装置包括：

接收单元，用于接收用户设备UE发起的构建请求，所述构建请求用于请求构建目标场景的三维地图；

获取单元，用于获取所述目标场景的地图采集信息，所述地图采集信息包括所述目标场景的红绿蓝RGB图像、三维点云信息以及深度图像；

分组单元，用于通过简单线性迭代聚类SLIC算法，对所述RGB图像进行超像素分组，得到超像素图像；

转化单元，用于将所述三维点云信息转化为三维网格图像；

分割单元，用于通过编码解码式语义分割模型，对所述RGB图像以及所述深度图像进行语义分割，得到语义图像；

融合单元，用于对所述三维网格图像、所述超像素图像以及所述语义图像进行融合，得到所述目标场景的三维地图。

8.一种机器人，其特征在于，所述机器人包括如权利要求7所述的三维地图的构建装置。

9.一种三维地图的构建装置，其特征在于，所述三维地图的构建装置包括处理器，处理器用于执行存储器中存储的计算机程序时实现如权利要求1至6中任一项所述的方法。

10.一种可读存储介质，其特征在于，其上存储有计算机程序，计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。