CN116051775B - 语义地图构建方法、移动机器人及存储介质 - Google Patents

Abstract

本申请涉及图像处理技术领域，提供一种语义地图构建方法、移动机器人及存储介质，该方法包括：获取移动机器人的摄像头拍摄的环境图像；对所述环境图像进行图像识别，以获取所述环境图像中障碍物的类型信息；生成所述环境图像的深度图像，并根据所述深度图像确定所述障碍物与所述移动机器人的相对位置坐标；获取所述移动机器人的位姿信息，并根据所述位姿信息和所述相对位置坐标，确定所述障碍物的真实坐标信息；基于所述障碍物的类型信息和所述真实坐标信息，构建所述障碍物的语义地图。本申请旨在提高构建语义地图的完整性和效率。

Description

语义地图构建方法、移动机器人及存储介质

技术领域

本申请属于图像处理的技术领域，涉及一种语义地图构建方法、移动机器人及存储介质。

背景技术

随着移动机器人使用越来越广泛，机器人的定位和地图构建是一个比较重要的研发要点。目前机器人移动一种方式是采用单激光SLAM技术或多线3D SLAM技术进行定位和地图构建。但是单激光无法检测到激光所在的二维平面以外的物体，并且构建地图不完整，导致机器人容易被障碍物阻碍。多线3D SLAM技术则需要使用3D视觉算法，存在计算量大计算速度较慢的缺点。因此，如何提高构建地图的效率和完整性是亟需解决的问题。

发明内容

本申请的主要目的在于提供一种语义地图构建方法、移动机器人及存储介质，旨在提构建语义地图的效率和完整性。

第一方面，本申请提供一种语义地图构建方法，包括：获取移动机器人的摄像头拍摄的环境图像；对所述环境图像进行图像识别，以获取所述环境图像中障碍物的类型信息；生成所述环境图像的深度图像，并根据所述深度图像确定所述障碍物与所述移动机器人的相对位置坐标；获取所述移动机器人的位姿信息，并根据所述位姿信息和所述相对位置坐标，确定所述障碍物的真实坐标信息；基于所述障碍物的类型信息和所述真实坐标信息，构建所述障碍物的语义地图。

第二方面，本申请还提供一种移动机器人，所述移动机器人包括存储器、处理器和摄像头；所述摄像头用于拍摄环境图像；所述储存器用于储存计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如上所述语义地图构建方法的步骤。

第三方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上所述的语义地图构建方法的步骤。

本申请提供了一种语义地图构建方法、移动机器人及存储介质，首先获取移动机器人的摄像头拍摄的环境图像；再对环境图像进行图像识别，以获取环境图像中障碍物的类型信息；而后生成环境图像的深度图像，并根据深度图像确定障碍物与移动机器人的相对位置坐标；再然后获取移动机器人的位姿信息，并根据位姿信息和相对位置坐标，确定障碍物的真实坐标信息；最终基于障碍物的类型信息和真实坐标信息，构建障碍物的语义地图。本申请实施例基于障碍物的类型信息构建障碍物的语义地图，提高了语义地图的信息丰富度，使得语义地图的构建更加完整。通过环境图像的深度图像和位姿信息确定障碍物的真实坐标信息，计算过程较为简洁，能够提高了障碍物语义地图的构建效率。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种语义地图构建方法的流程示意图；

图2是本申请实施例提供的一移动机器人的示意图；

图3是本申请实施例提供的一环境图像的示意图；

图4是本申请实施例提供的一深度图像的示意图；

图5是图1中的语义地图构建方法的子步骤流程示意图；

图6是本申请实施例提供的一障碍物的俯视图的示意图；

图7是本申请实施例提供的一语义地图的示意图；

图8是本申请实施例提供的语义地图构建方法的一场景示意图；

图9是本申请实施例提供的另一种语义地图构建方法的流程示意图；

图10是本申请实施例提供的移动机器人的示意性框架图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，虽然在装置示意图中进行了功能模块的划分，但是在某些情况下，可以以不同于装置示意图中的模块划分。

本申请实施例提供了一种语义地图构建方法、机器人及存储介质。其中，该语义地图构建方法可应用于移动机器人，该移动机器人可以为扫地机器人、领路机器人、送餐机器人等。该移动机器人还可以是无人机、自动驾驶汽车等。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，图1为本申请实施例提供的一种语义地图构建方法的步骤流程示意图。

如图1所示，该语义地图构建方法包括步骤S101至步骤S105。

步骤S101、获取移动机器人的摄像头拍摄的环境图像。

其中，摄像头可以包括红外摄像头、高清摄像机等，该摄像头还可以包括双目摄像头、三目摄像头和多目摄像头。需要说明的是，环境图像为移动机器人视野范围内的环境图像数据，环境图像可以是实时拍摄的，也可以是从存储器中获取的。环境图像可以包括障碍物，该障碍物可以是一种或者多种。例如，障碍物可以包括纸杯、瓶子等可移动障碍物，也可以包括家具，家电等固定障碍物。

在一实施例中，摄像头包括双目摄像头，双目摄像头包括第一摄像头和红外光源。其中，红外光源靠近第一摄像头进行设置，环境图像是在红外光源为第一摄像头提供补光的情形下拍摄得到的。需要说明的是，红外光源可以为摄像头补光，使其能够在黑暗的环境拍摄更好的环境图像，提高环境图像的质量。

示例性的，如图2所示，移动机器人10中的双目摄像头包括第一摄像头11和红外光源111，红外光源111靠近第一摄像头11。红外光源111可以一直处于开启状态，也可以间隔一定时间开启。红外光源111开启时能够向外发出红外光，从而为第一摄像头11提供光源，如此即使移动机器人10处于黑暗中，也能清楚的照射出障碍物，因此能够提高环境图像进行图像识别的准确度。

进一步的，双目摄像头还包括第二摄像头和散斑光源，散斑光源设置于第一摄像头和所述第二摄像头的中间位置，散斑光源用于为第一摄像头和第二摄像头的视野提供物体散斑特征。其中，散斑光源为环境图像中存在的障碍物提供物体散斑特征，增加物体表面的特征信息，有助于提高后续生成深度图像的准确性。

示例性的，如图2所示，移动机器人10中的双目摄像头包括第二摄像头12和散斑光源121，散斑光源可以设置于第一摄像头11和第二摄像头12的中间位置，最大限度为第一摄像头11和第二摄像头12的视野提供光源补充。散斑光源121可以间隔一定时间开启一次，第二摄像头12在散斑光源121开启时进行拍摄，如此拍摄得到的环境图像和特征图像中存在的障碍物的特征更加明显，从而能够准确的生成环境图像的深度图像。

需要说明的是，本申请实施例中的环境图像可以是由第一摄像头或者第二摄像头拍摄到的，后续图像识别只对第一摄像头或者第二摄像头拍摄到的环境图像进行识别，从而能够减少图像识别的数据量，提高图像识别效率。

在一实施例中，环境图像为红外光源照射时靠近红外光源的第一摄像头拍摄到的图像。例如，机器人运动过程中，会连续不断地拍摄周围的环境图像。拍摄过程中散斑光源与红外光源交替启动，一帧启动散斑光源拍摄，一帧启动红外光源拍摄，本实施例可以选择红外光源启动时，靠近红外光源的第一摄像头拍摄的图像作为环境图像。由于红外光源能够对靠近的摄像头产生更有效的补光，摄像头拍摄的视图质量更好，使图像识别更加准确。

步骤S102、对环境图像进行图像识别，以获取环境图像中障碍物的类型信息。

其中，障碍物的类型信息可以是瓶子，桌子等类别信息，也可以是可清扫垃圾，不可清扫垃圾等分类信息。

在一实施例中，将环境图像输出至预先训练好的障碍物识别模型进行目标识别，得到环境图像中障碍物的类型信息。其中，障碍物识别模型包括AlexNet卷积神经网络模型、VGG（Visual Geometry Group）模型、GoogleNet网络模型等。其中，障碍物识别模型可以是基于包括障碍物的多个图像数据作为训练样本进行迭代训练得到的。

在一实施例中，图像识别结果包括障碍物的类型信息和类型信息的概率。示例性的，如图3所示，获取移动机器人的摄像头拍摄的环境图像20之后，对环境图像20进行图像识别，从而框选出该环境图像中的障碍物30，并确定环境图像20中的障碍物的类型信息为papercup，该障碍物类型为papercup的概率为0.789640。

步骤S103、生成环境图像的深度图像，并根据深度图像确定障碍物与移动机器人的相对位置坐标。

在一实施例中，双目摄像头包括靠近红外光源的第一摄像头以及靠近散斑光源的第二摄像头，第一摄像头用于拍摄环境图像，第二摄像头用于拍摄包括物体散斑特征的特征图像。

具体的，生成环境图像的深度图像，包括：获取第二摄像头拍摄的特征图像；基于立体匹配算法，将环境图像和特征图像进行匹配，以确定环境图像和特征图像中对应的像素点；确定环境图像和特征图像中对应的像素点的视差信息；对各像素点的视差信息进行转换，得到环境图像对应的深度图像。

其中，立体匹配算法可以包括局部立体匹配算法、全局立体匹配算法和半全局立体匹配算法。例如选用SGM（semi-global matching）算法，当然也可以选用其他的立体匹配算法。需要说明的是，由于散斑光源赋予相机视野内的物体散斑特征，采集到的左右视图（环境图像和特征图像）有利于立体匹配算法计算视差值，从而提高生成环境图像的深度图像的准确性。

示例性的，如图3和图4所示，图3为移动机器人的摄像头拍摄的环境图像20，图4为根据环境图像20生成的深度图像。其中，深度图像中的图像颜色用于表示摄像头与拍摄位置的距离，图像形状用于表示摄像头拍摄的物体形状。

在一实施例中，根据深度图像确定障碍物与移动机器人的相对位置坐标，包括子步骤S1031至S1033，下面结合图5进行说明：

步骤S1031、根据预设坐标转换公式，将深度图像转换成三维点云数据。

其中，深度图像的像素数据包括像素坐标和像素坐标的深度值，三维点云数据由三维点云坐标表示。根据预设坐标转换公式，能够快速的将深度图像转换成三维点云数据。

在一实施例中，将深度图像中像素数据的像素坐标和像素坐标的深度值代入预设坐标转换公式中，得到相对应三维点云坐标即三维点云数据。其中，预设坐标转换公式可以为：

其中，()表示三维点云数据，(/>)表示深度图像中像素坐标，/>表示深度图像中像素坐标的深度值，/>、/>表示拍摄的相机的相机焦距，/>、/>可以是预先设置好的。

步骤S1032、提取三维点云数据中用于表征障碍物的目标三维点云数据。

需要说明的是，三维点云数据包括符合表征障碍物特征的三维点云数据数据以及不符合表征障碍物特征的三维点云数据数据，通过计算三维点云数据中的数据特征，提取符合表征障碍物特征的三维点云数据数据，获得表征障碍物的目标三维点云数据。

示例性的，通过计算三维点云中三维坐标点到相邻三维坐标点的平均距离、点的法向与相邻三维坐标点法向夹角以及数据点曲率作为数据特征，并设定数据特征的阈值，数据特征大于此阈值的点就判定为表征障碍物的目标三维点云数据。由此从三维点云数据中提取表征障碍物特征的三维点云数据数据。

步骤S1033、将目标三维点云数据映射到平面坐标系，得到障碍物的俯视图；

在一实施例中，根据预设坐标转换，将目标三维点云数据映射到平面坐标系，获取障碍物的俯视图。其中预设坐标转换为，三维点云数据中的三维点云坐标轴映射为平面坐标系/>轴，三维点云坐标z轴坐标映射为平面坐标系y/>轴，三维点云坐标y轴坐标舍弃。需要说明的是，在俯视视角下，平面坐标系中x/>轴表示环境图像中障碍物宽度，平面坐标系y/>轴坐标表示障碍物与拍摄障碍物相机的距离。

示例性的，图6是根据图4生成的俯视图图像。其中将离机器人的距离即深度图像的深度值转成俯视图图像y轴，深度图像的宽度转化成俯视图图像x轴，深度图像高度坍缩成0。其中灰色形状是由深度图像中表征障碍物的目标三维点云数据映射到平面坐标系中的障碍物示意图。

步骤S1034、根据俯视图中的障碍物的像素坐标，确定障碍物与移动机器人的相对位置坐标。

在一实施例中，将像素坐标通过比例尺转换成真实坐标，确定障碍物与移动机器人的相对位置坐标。示例性的，像素坐标的与真实坐标之间的比例尺为一个像素坐标为2mm真实坐标距离，障碍物的像素坐标（x,y）换算成真实坐标则是(2x,2y)，障碍物与移动机器人的相对位置坐标即为(2x,2y)。需要说明的是，环境图像拍摄过程中，是以移动机器人为原点拍摄图像，因此像素坐标的原点即为移动机器人的坐标。

在一实施例中，通过连通域滤波清除掉俯视图中的噪点，使数据更加精确。示例性的，将俯视图中的各个连通区域找出并标记，当连通域的面积小于指定阈值时，则标记该区域为噪点，并滤除该区域。

步骤S104、获取移动机器人的位姿信息，并根据位姿信息和相对位置坐标，确定障碍物的真实坐标信息。

其中，机器人的位姿信息可以通过机器人操作系统ROS中获得。其中，位姿信息可以包括机器人在真实地图中的坐标和角度。

在一实施例中，机器人通过ROS中获取自身位姿信息，将位姿信息中的坐标和角度，和机器人与障碍物相对位置坐标代入预设坐标转换公式中，得到障碍物在真实地图中的真实坐标信息。其中，预设坐标系转换公式为：

其中，(,/>)为障碍物相对位置坐标，/>为位姿信息中的角度，/>)为位姿信息中的坐标，(/>)为障碍物在真实地图中的真实坐标信息。

步骤S105、基于障碍物的类型信息和真实坐标信息，构建障碍物的语义地图。

需要说明的是，基于真实坐标信息和图像识别获得障碍物类型信息构建障碍物语义地图，不仅减少了对纯3d算法的依赖提高了构建地图的计算效率，还增加了获取平面以外的环境数据增提高了语义地图的完整性。

在一实施例中，移动机器人存储有初始栅格地图；基于障碍物的类型信息和真实坐标信息，在初始栅格地图中构建语义地图。根据真实坐标信息，在初始栅格地图中对应坐标点的栅格进行占位标记，原有的标记数据将会被覆盖。将所有真实坐标信息都标记在初始栅格地图之后，将障碍物类型信息添加到对应的栅格地图中，完成语义地图构建。

在一实施例中，移动机器人未存储初始栅格地图，则新建空白栅格地图；基于障碍物的类型信息和真实坐标信息，在空白栅格地图中构建语义地图。将所有真实坐标信息添加到空白栅格地图中，同时将障碍物类型信息添加到对应的栅格地图中，完成语义地图构建。

如图7所示，图7为本申请实施例提供的语义地图的一示意图，该栅格地图包括代表障碍物的栅格标记60和障碍物类型信息61。其中，黑色栅格标记表示有障碍物，白色栅格标记表示无障碍物，灰色栅格标记表示未知数据，障碍物类型信息61可以为“xx障碍物”的文字说明。

请参照图8，图8为实施本申请实施例提供的语义地图构建方法的一场景示意图，如图8所示，机器人10在运行过程中通过摄像头70拍摄了包括障碍物30的环境图像。将环境图像导入预先训练好的图像识别模型进行图像识别，识别出障碍物30的障碍物类型信息；而后生成环境图像的深度图像，并根据深度图像确定障碍物与移动机器人的相对位置坐标；再然后获取移动机器人的位姿信息，并根据位姿信息和相对位置坐标，确定障碍物的真实坐标信息；最终基于障碍物的类型信息和真实坐标信息，构建障碍物的语义地图。

上述实施例提供的语义地图构建方法方法，首先获取移动机器人的摄像头拍摄的环境图像；再对环境图像进行图像识别，以获取环境图像中障碍物的类型信息；而后生成环境图像的深度图像，并根据深度图像确定障碍物与移动机器人的相对位置坐标；再然后获取移动机器人的位姿信息，并根据位姿信息和相对位置坐标，确定障碍物的真实坐标信息；最终基于障碍物的类型信息和真实坐标信息，构建障碍物的语义地图。本申请实施例基于障碍物的类型信息构建障碍物的语义地图，提高了语义地图的信息丰富度，使得语义地图的构建更加完整。通过环境图像的深度图像和位姿信息确定障碍物的真实坐标信息，计算过程较为简洁，能够提高了障碍物语义地图的构建效率。

请参照图9，图9为本申请实施例提供的另一种语义地图构建方法的步骤流程示意图，该语义地图构建方法包括步骤S201至S209。

步骤S201、获取移动机器人的摄像头拍摄的环境图像。

其中，摄像头可以包括红外摄像头、高清摄像机等，该摄像头还可以包括双目摄像头、三目摄像头和多目摄像头。需要说明的是，环境图像为移动机器人视野范围内的环境图像数据，环境图像可以是实时拍摄的，也可以是从存储器中获取的。

需要说明的是，本申请实施例中的环境图像可以是由双目摄像头中的第一摄像头或者第二摄像头拍摄到的。例如，环境图像为红外光源照射时靠近红外光源的第一摄像头拍摄到的图像。

步骤S202、对环境图像进行图像识别，以获取环境图像中障碍物的类型信息。

其中，环境图像可以包括障碍物，该障碍物可以是一种或者多种。图像识别可以是将环境图像输出至预先训练好的障碍物识别模型进行目标识别，从而得到环境图像中障碍物的类型信息。

步骤S203、生成环境图像的深度图像，并根据深度图像确定障碍物与移动机器人的相对位置坐标。

在一实施例中，提取第一摄像头拍摄的环境图像，以及第二摄像头拍摄的特征图像，该环境图像和特征图像可以是在相同时刻拍摄的；基于环境图像和特征图像，生成对应的深度图像；将深度图像转换为平面坐标系下的俯视图；根据俯视图中的障碍物的像素坐标，确定障碍物与移动机器人的相对位置坐标。

步骤S204、获取移动机器人的位姿信息，并根据位姿信息和相对位置坐标，确定障碍物的真实坐标信息。

其中，机器人的位姿信息可以通过机器人操作系统ROS中获得。其中，位姿信息可以包括机器人在真实地图中的坐标和角度。将位姿信息中的坐标和角度以及相对位置坐标代入预设坐标转换公式中，得到障碍物在真实地图中的真实坐标信息。

步骤S205、基于障碍物的类型信息和真实坐标信息，构建障碍物的语义地图。

在构建语义地图时，根据真实坐标信息在语义地图对应坐标点的栅格进行占位标记。将所有真实坐标信息都标记在语义地图的栅格之后，将障碍物类型信息添加到对应的栅格中，完成语义地图构建。

步骤S206、获取第一环境图像中障碍物的多个第一真实坐标信息，并获取第二环境图像中障碍物的多个第二真实坐标信息。

其中，第二环境图像是在第一环境图像之后拍摄得到的。第一环境图像和第二环境图像可以均是由红外光源照射时靠近红外光源的第一摄像头拍摄到的图像。例如，第一环境图像是第一摄像头在第一帧拍摄到的，第二环境图像是第一摄像头在第三帧拍摄到的。

需要说明的是，本申请实施例中的第一环境图像和第二环境图像可以不仅为两张环境图像，还可以为多张环境图像，其中多张环境图像的处理方式可参照该第一环境图像和第二环境图像的实施方式，本实施例对此不再赘述。

示例性的，选择一张环境图像作为第一环境图像，后续时刻拍摄的环境图像作为第二环境图像。其中第一环境图像坐标用于构建语义地图，第二环境图像坐标则用于修正语义地图中存在的误差。根据第一环境图像构建出相应的栅格地图，提取其中的多个障碍物真实坐标信息作为第一真实坐标信息。根据第二环境图像构建出相应的栅格地图，提取其中的多个障碍物真实坐标信息作为第二真实坐标信息。

步骤S207、根据多个第一真实坐标信息，设置语义地图中每个坐标点对应的第一概率。

其中，第一概率可以是预先设置的概率值，例如为50%。也可以是根据第一环境图像识别得到障碍物的准确率，例如对第一环境图像识别障碍物的准确率为60%，则设定第一概率为60%。

在一实施例中，设置语义地图中每个坐标点对应的第一概率，若坐标点处于第一真实坐标信息中，则设置略大的概率，若坐标点不处于第一真实坐标信息中，则设置略小的概率。示例性的，语义地图中某一坐标点处于第一真实坐标信息中则设置该坐标点的第一概率为60%。语义地图中某一坐标点不处于第一真实坐标信息中则设置该坐标点的第一概率为40%。

步骤S208、根据多个第一真实坐标信息和多个第二真实坐标信息，对每个坐标点对应的第一概率进行调整，得到每个坐标点对应的第二概率。

需要说明的是，在构建障碍物的语义地图时，如果仅仅只利用一个环境图形进行更新会导致生成的语义地图噪声非常大，其中图像识别（如图像AI识别）的误识别、错识别以及障碍物的真实坐标信息的误识别都会导致语义地图中栅格点的频繁跳动，从而会导致语义地图构建不准确，以及严重影响移动机器人的后续路径规划。

为解决噪声导致的跳动问题，通过多帧的检测来进行优化，如利用第一环境图像和第二环境图像得到的多个第一真实坐标信息和多个第二真实坐标信息，对语义地图中各坐标点对应的第一概率进行调整，从而提高语义地图中的障碍物信息的标识准确度。

在一实施例中，从语义地图的多个坐标点中确定第一坐标点和第二坐标点，其中，第一坐标点对应的第二真实坐标信息与第一真实坐标信息相匹配，第二坐标点对应的第二真实坐标信息与第一真实坐标信息不匹配；对第一坐标点对应的第一概率进行指数增长调整，并对第二坐标点对应的第一概率进行指数下降调整，以获取每个坐标点对应的第二概率。

需要说明的是，第一环境图像和第二环境图像均可以存在障碍物，且第一环境图像和第二环境图像中的障碍物的位置坐标可以是不同的，因此根据第一环境图像和第二环境图像所求取的障碍物的多个第一真实坐标信息与多个第二真实坐标信息之间也可以是不同的。在语义地图中，各个坐标点与障碍物的真实坐标信息是相对应的，障碍物的真实坐标信息可以是多个，则对应于语义地图中的坐标点也是多个。因此，语义地图的各坐标点与第一环境图像中的一个坐标以及第二环境图像中的一个坐标是相对应的。

其中，若语义地图的一个坐标点对应的第一环境图像中的一个坐标以及第二环境图像中的一个坐标均为障碍物的真实坐标信息，则该坐标点为第一坐标点，即语义地图的坐标点下连续出现障碍物，则表明第一坐标点对应的第二真实坐标信息与第一真实坐标信息相匹配，因此可以增加该坐标点下有障碍物的概率。若语义地图的一个坐标点对应的第一环境图像中的一个坐标为障碍物的真实坐标信息，且第二环境图像中的另一个坐标不为障碍物的真实坐标信息，该坐标点为第二坐标点，即语义地图的坐标点下并未连续出现障碍物，则表明即第二坐标点对应的第二真实坐标信息与第一真实坐标信息不匹配，因此可以减少该坐标点下有障碍物的概率。

需要说明的是，若第二真实坐标信息中标志有障碍物，则对第一坐标点对应的第一概率进行指数增长调整。若第二真实坐标信息中标志无障碍物，则对第二坐标点对应的第一概率进行指数下降调整。其中指数增长调整和指数下降调整符合指数增长模型。其中指数增长模型公式为。

其中，表示第二概率，/>表示第一概率，a表示每次调整多少概率，n表示调整的次数。/>是指数系数，表示后续概率调整时的权重，调整次数n越多，调整的权重/>越大。

示例性的，将a取1%，b设为2，第一概率设为40%，则第一概率只需连续调整6次，得到的第二概率超过100%。如果检测到第二真实坐标信息中标志障碍物发生改变，则重新开始增长，这样减弱解决噪声导致的跳动问题。需要说明的是，采用指数增长调整或者指数下降调整的方式，避免了障碍物真实坐标更新缓慢的问题，减少了对第一概率的调整次数，提高了计算效率，如此能够快速解决噪声导致的跳动问题。

步骤S209、将每个坐标点对应的第二概率与预设概率进行比较，并根据每个坐标点的比较结果，更新语义地图。

其中，预设概率可以是根据实际情况设置的，需要说明的是，通过将每个坐标点对应的第二概率与预设概率进行比较，并根据每个坐标点的比较结果更新语义地图，使用后续拍摄的环境图像中的数据对地图中的误差进行修正，降低了相机拍摄和图像识别带来的的误识别噪声，由此构建的语义地图更加的完善，具有更好的抗干扰能力。

在一实施例中，从多个坐标点中确定第二概率大于或等于第一预设概率的第一坐标点，并在语义地图中将第一坐标点作为障碍物的真实坐标信息进行显示；以及，从多个坐标点中确定第二概率小于或等于第二预设概率的第二坐标点，并在语义地图中将第二坐标点作为无障碍物的坐标信息进行显示。其中，第二预设概率小于第一预设概率。

示例性的，第二预设概率为30%，第一预设概率为80%。当坐标点中确定第二概率大于或等于80%时，将该坐标点标记为障碍物的真实坐标信息，更新至语义地图中。当坐标点中确定第二概率小于或等于30%时将该坐标点标记为无障碍物的坐标信息，更新至语义地图中。

在一实施例中，根据每个坐标点的比较结果，更新语义地图之后，还包括：根据更新的语义地图，对移动机器人进行路径规划，得到目标规划路径；获取目标规划路径中的目标障碍物的类型信息；根据目标障碍物的类型信息，确定移动机器人是否能够清扫目标障碍物；若确定移动机器人不能清扫目标障碍物，则输出清扫提示信息，清扫提示信息用于提示用户对目标障碍物进行清扫。

其中，路径规划可以根据更新的语义地图中障碍的类型信息，实时进行实时路径规划，也可以对预设的路径规划进行调整。示例性地，如障碍物能够被清扫，例如纸屑、灰屑等，则自行清扫，并在规划路线中标记已经清扫过。如遇到椅子、桌子等不能够被清扫的障碍物，扫地机器人能够在路径规划中选择规避障碍物，不能够被清扫的障碍物包括塑料瓶、纸杯等，则判断无法清扫，并将障碍物的位置等信息发送给用户通知用户清扫，例如机器人与手机通信，在手机应用上通知用户。

需要说明的是，扫地机器人执行一次扫地任务过程中，不断拍摄环境图像，根据环境图像更新内置的语义地图。通过更加完整，精准的语义地图，扫地机器人能够更好的执规划清扫、避障、导航等任务。

上述实施例提供的语义地图构建方法方法，构建障碍物的语义地图之后，通过获取第一环境图像中障碍物的多个第一真实坐标信息，获取第二环境图像中障碍物的多个第二真实坐标信息；再根据多个第一真实坐标信息，设置所述语义地图中每个坐标点对应的第一概率；根据多个第一真实坐标信息和第二真实坐标信息，对每个坐标点对应的第一概率进行调整，得到每个坐标点对应的第二概率；将每个坐标点对应的第二概率与预设概率进行比较，并根据每个坐标点的比较结果，更新所述语义地图。本申请在构建障碍物的语义地图之后，通过设置语义地图中每个坐标点识别得到障碍物的概率，再使用多个第一真实坐标信息和多个第二真实坐标信息对该概率进行调整，最终使用调整结果对语义地图进行更新，使得语义地图中用于表征障碍物的标识信息更加完善和准确，极大提高了语义地图的准确性。

请参阅图10，图10为本申请实施例提供的一种移动机器人的结构示意性框图。

如图10所示，该移动机器人包括通过系统总线连接的处理器、存储器和摄像头，其中，摄像头用于拍摄环境图像，存储器用于储存计算机程序，该存储器可以包括存储介质和内存储器，存储介质可以是非易失性的，也可以是易失性的。存储介质可存储计算机程序，该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种语义地图构建方法。

处理器用于提供计算和控制能力，支撑整个移动机器人的运行。

内存储器为存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种语义地图构建方法。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器可以是中央处理单元 (Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

获取移动机器人的摄像头拍摄的环境图像；

对所述环境图像进行图像识别，以获取所述环境图像中障碍物的类型信息；

生成所述环境图像的深度图像，并根据所述深度图像确定所述障碍物与所述移动机器人的相对位置坐标；

获取所述移动机器人的位姿信息，并根据所述位姿信息和所述相对位置坐标，确定所述障碍物的真实坐标信息；

基于所述障碍物的类型信息和所述真实坐标信息，构建所述障碍物的语义地图。

在一实施例中，所述摄像头包括双目摄像头，所述双目摄像头包括第一摄像头、第二摄像头和红外光源；所述红外光源靠近所述第一摄像头进行设置，所述环境图像在所述红外光源为所述第一摄像头提供补光的情形下拍摄得到的。

在一实施例中，所述处理器在实现所述双目摄像头还包括第二摄像头和散斑光源，所述散斑光源设置于所述第一摄像头和所述第二摄像头的中间位置，所述散斑光源用于为所述第一摄像头和所述第二摄像头的视野提供物体散斑特征；所述生成所述环境图像的深度图像，用于实现：

获取所述第二摄像头拍摄的特征图像；

基于立体匹配算法，对所述环境图像和所述特征图像进行匹配，以确定所述环境图像和所述特征图像中对应的像素点；

根据三角形原理，确定所述环境图像和所述特征图像中对应的像素点的视差信息；

对各所述像素点的视差信息进行转换，得到所述环境图像对应的深度图像。

在一实施例中，所述处理器在实现所述根据所述深度图像确定所述障碍物与所述移动机器人的相对位置坐标，用于实现：

根据预设坐标转换公式，将所述深度图像转换成三维点云数据；

提取所述三维点云数据中用于表征所述障碍物的目标三维点云数据；

将所述目标三维点云数据映射到平面坐标系，得到所述障碍物的俯视图；

根据所述俯视图中的所述障碍物的像素坐标，确定所述障碍物与移动机器人的相对位置坐标。

在另一实施例中，处理器用于运行存储在存储器中的计算机程序用于实现：

获取第一环境图像中所述障碍物的多个第一真实坐标信息，并获取第二环境图像中所述障碍物的多个第二真实坐标信息，其中，所述第二环境图像是在第一环境图像之后拍摄得到的；

根据多个所述第一真实坐标信息，设置所述语义地图中每个坐标点对应的第一概率；

根据多个所述第一真实坐标信息和多个所述第二真实坐标信息，对每个所述坐标点对应的第一概率进行调整，得到每个所述坐标点对应的第二概率；

将每个所述坐标点对应的第二概率与预设概率进行比较，并根据每个所述坐标点的比较结果，更新所述语义地图。

在一实施例中，所述处理器在实所述根据多个所述第一真实坐标信息和多个所述第二真实坐标信息，对每个所述坐标点对应的第一概率进行调整，得到每个所述坐标点对应的第二概率，用于实现：

从所述语义地图的多个所述坐标点中确定第一坐标点和第二坐标点，其中，所述第一坐标点对应的第二真实坐标信息与第一真实坐标信息相匹配，所述第二坐标点对应的第二真实坐标信息与第一真实坐标信息不匹配；

对所述第一坐标点对应的第一概率进行指数增长调整，并对所述第二坐标点对应的第一概率进行指数下降调整，以获取每个所述坐标点对应的第二概率。

在一实施例中，所述处理器在实现所述将每个所述坐标点对应的第二概率与预设概率比较，并根据每个所述坐标点的比较结果，更新所述语义地图，用于实现：

从多个所述坐标点中确定所述第二概率大于或等于第一预设概率的第一坐标点，并在所述语义地图中将所述第一坐标点作为所述障碍物的真实坐标信息进行显示；以及

从多个所述坐标点中确定所述第二概率小于或等于第二预设概率的第二坐标点，并在所述语义地图中将所述第二坐标点作为无障碍物的坐标信息进行显示。

在一实施例中，所述处理器在实现所述根据每个所述坐标点的比较结果，更新所述语义地图之后，用于实现：

根据更新的所述语义地图，对所述移动机器人进行路径规划，得到目标规划路径；

获取所述目标规划路径中的目标障碍物的类型信息；

根据所述目标障碍物的类型信息，确定所述移动机器人是否能够清扫所述目标障碍物；

若确定所述移动机器人不能清扫所述目标障碍物，则输出清扫提示信息，所述清扫提示信息用于提示用户对所述目标障碍物进行清扫。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述移动机器人的具体工作过程，可以参考前述语义地图构建方法实施例中的对应过程，在此不再赘述。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本申请语义地图构建方法的各个实施例。

其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

进一步地，所述计算机可用存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种语义地图构建方法，其特征在于，所述方法包括：

获取移动机器人的摄像头拍摄的环境图像；

对所述环境图像进行图像识别，以获取所述环境图像中障碍物的类型信息；

生成所述环境图像的深度图像，并根据所述深度图像确定所述障碍物与所述移动机器人的相对位置坐标；

获取所述移动机器人的位姿信息，并根据所述位姿信息和所述相对位置坐标，确定所述障碍物的真实坐标信息；

基于所述障碍物的类型信息和所述真实坐标信息，构建所述障碍物的语义地图；

获取第一环境图像中所述障碍物的多个第一真实坐标信息，并获取第二环境图像中所述障碍物的多个第二真实坐标信息，其中，所述第二环境图像是在第一环境图像之后拍摄得到的；

根据多个所述第一真实坐标信息，设置所述语义地图中每个坐标点对应的第一概率；

根据多个所述第一真实坐标信息和多个所述第二真实坐标信息，对每个所述坐标点对应的第一概率进行调整，得到每个所述坐标点对应的第二概率；

将每个所述坐标点对应的第二概率与预设概率进行比较，并根据每个所述坐标点的比较结果，更新所述语义地图。

2.如权利要求1所述的方法，其特征在于，所述摄像头包括双目摄像头，所述双目摄像头包括第一摄像头和红外光源；

所述红外光源靠近所述第一摄像头进行设置，所述环境图像是在所述红外光源为所述第一摄像头提供补光的情形下拍摄得到的。

3.如权利要求2所述的方法，其特征在于，所述双目摄像头还包括第二摄像头和散斑光源，所述散斑光源设置于所述第一摄像头和所述第二摄像头的中间位置，所述散斑光源用于为所述第一摄像头和所述第二摄像头的视野提供物体散斑特征；所述生成所述环境图像的深度图像，包括：

获取所述第二摄像头拍摄的特征图像；

基于立体匹配算法，对所述环境图像和所述特征图像进行匹配，以确定所述环境图像和所述特征图像中对应的像素点；

根据三角形原理，确定所述环境图像和所述特征图像中对应的像素点的视差信息；

对各所述像素点的视差信息进行转换，得到所述环境图像对应的深度图像。

4.如权利要求1所述的方法，其特征在于，所述根据所述深度图像确定所述障碍物与所述移动机器人的相对位置坐标，包括：

根据预设坐标转换公式，将所述深度图像转换成三维点云数据；

提取所述三维点云数据中用于表征所述障碍物的目标三维点云数据；

将所述目标三维点云数据映射到平面坐标系，得到所述障碍物的俯视图；

根据所述俯视图中的所述障碍物的像素坐标，确定所述障碍物与移动机器人的相对位置坐标。

5.如权利要求1所述的方法，其特征在于，所述根据多个所述第一真实坐标信息和多个所述第二真实坐标信息，对每个所述坐标点对应的第一概率进行调整，得到每个所述坐标点对应的第二概率，包括：

从所述语义地图的多个所述坐标点中确定第一坐标点和第二坐标点，其中，所述第一坐标点对应的第二真实坐标信息与第一真实坐标信息相匹配，所述第二坐标点对应的第二真实坐标信息与第一真实坐标信息不匹配；

对所述第一坐标点对应的第一概率进行指数增长调整，并对所述第二坐标点对应的第一概率进行指数下降调整，以获取每个所述坐标点对应的第二概率。

6.如权利要求1所述的方法，其特征在于，所述将每个所述坐标点对应的第二概率与预设概率比较，并根据每个所述坐标点的比较结果，更新所述语义地图，包括：

从多个所述坐标点中确定所述第二概率大于或等于第一预设概率的第一坐标点，并在所述语义地图中将所述第一坐标点作为所述障碍物的真实坐标信息进行显示；以及

从多个所述坐标点中确定所述第二概率小于或等于第二预设概率的第二坐标点，并在所述语义地图中将所述第二坐标点作为无障碍物的坐标信息进行显示。

7.如权利要求1所述的方法，其特征在于，所述根据每个所述坐标点的比较结果，更新所述语义地图之后，还包括：

根据更新的所述语义地图，对所述移动机器人进行路径规划，得到目标规划路径；

获取所述目标规划路径中的目标障碍物的类型信息；

根据所述目标障碍物的类型信息，确定所述移动机器人是否能够清扫所述目标障碍物；

若确定所述移动机器人不能清扫所述目标障碍物，则输出清扫提示信息，所述清扫提示信息用于提示用户对所述目标障碍物进行清扫。

8.一种移动机器人，其特征在于，包括存储器、处理器和摄像头；

所述摄像头用于拍摄环境图像；

所述存储器用于储存计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如权利要求1至7任一项所述语义地图构建方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7任一项所述语义地图构建方法的步骤。