CN115147637A - 一种基于机器人的实时语义地图生成方法及装置 - Google Patents

Abstract

本发明公开了一种基于机器人的实时语义地图生成方法及装置，所述方法包括：将拓扑地图生成方式与深度学习特征提取相结合，在机器人遍历环境时两者相互并行运算并在特征聚合时进行关联和数据融合，当机器人遍历环境完成时实时输出带有语义信息的拓扑地图。所述装置包括：处理器和存储器。本发明结合了两种拓扑图的构建方式来生成新的语义地图，并提出了新的基于深度学习和拓扑图像结合的图像特征聚合，提高了路径规划的精度，进而提高了机器人的服务质量。

Description

一种基于机器人的实时语义地图生成方法及装置

技术领域

本发明涉及机器人领域，尤其涉及一种基于机器人的实时语义地图生成方法及装置。

背景技术

在当今社会，智能机器人已经得到了一定程度的普及和应用。例如：餐厅或者酒店机器人的送餐送卫生物品的服务。家里的垃圾清理机器人。银行、商场的前台迎宾机器人。室外的快递寄送机器人，一些舞蹈娱乐机器人。包括最近国内外大力研究的自动驾驶技术。本质上就是将汽车当作了智能机器设备，来替人类完成驾驶任务。其需要提取环境语义信息，理解开放的环境，这些技术都是可以应用于不同领域的机器人当中。语义地图的算法研究一定程度上能促进机器人在未来的发展中变得更加智能，能够完成更具挑战性的任务。

室内服务型机器人的运行离不开室内地图的构建，只有有效的地图才能支撑机器人完成人类的各项指令。由同时定位与建图算法(SLAM)生成的2D栅格地图不具有语义信息。只包含地图的相对坐标系与一些简单的位置关系，当人类发出一个指令去客厅拿一本书时，机器人无法理解客厅是什么，以及什么是书，因此需要通过一些算法实现让地图富含语义信息。因此就出现了基于深度学习和视觉信息的语义地图构建算法，但是这样构建的语义地图仍然具有一定的缺陷。首先，这类地图的存储数据量为图像存储，机器人实时的图像构建过程对嵌入式设备的图像处理器要求过高。另外，普通的语义地图虽然具有很好的可视化效果，但是，在定位于导航的过程中，路径规划的难度较高。

发明内容

本发明提供了一种基于机器人的实时语义地图生成方法及装置，本发明结合了两种拓扑图的构建方式来生成新的语义地图，并提出了新的基于深度学习和拓扑图像结合的图像特征聚合，提高了路径规划的精度，进而提高了机器人的服务质量，详见下文描述：

第一方面，一种基于机器人的实时语义地图生成方法，所述方法将拓扑地图生成方式与深度学习特征提取相结合，在机器人遍历环境时两者相互并行运算并在特征聚合时进行关联和数据融合，当机器人遍历环境完成时实时输出带有语义信息的拓扑地图，具体步骤包括：

将通过ImageNet预训练的残差神经网络作为图像的特征提取器，根据图像I^k确定拓扑节点信息，获取拓扑节点与图像的坐标信息联系，以拓扑节点与图像的欧式距离来判断是否建立拓扑节点以及拓扑节点与图像的从属关系；

若地图中没有节点信息或图像与所有节点的欧式距离均大于阈值，则表示需要重新开辟一个新的节点信息，新节点的坐标与角度为获取该图像信息时的坐标角度，对拓扑节点的语义信息节点进行填充，将图像视觉信息聚合在节点中，将视觉信息通过特征融合的场景识别来获取场景地点，同时通过目标检测获取特征目标；

通过场景地点和特征目标的特征结果信息来丰富节点语义信息。

其中，所述残差神经网络为：

输入层为机器人设备RGB传感器获取的带有坐标信息的图像，中间利用卷积核得到初始特征图，利用残差层从初始特征图中提取特征，得到最终的特征图，最后利用平均池化输出某一维度的图像特征向量，将获取的图像场景表征用于聚合叠加到拓扑节点中。

进一步地，所述将视觉信息通过特征融合的场景识别来获取场景地点具体为：

向量F^k为当前检测图像特征，用于更新聚合节点特征信息的，表示第j个节点的累计向量，从初始值

开始计算，表示当前节点聚合了第一张RGB图像的特征向量F¹，k表示输入的属于同一节点的图像序列为第k张，

表示累计k张图像的累计融合特征，

则表示

在融合第k张图像前的累计融合特征，具体融合为：

其中，

是上一序列的特征融合累计向量，当前融合的特征向量

为上一序列或上一序列的特征向量线性叠加上图像特征向量F^k与

的差值与超参数μ的乘积。

第二方面，一种基于机器人的实时语义地图生成装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。

第三方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。

本发明提供的技术方案的有益效果是：

1、本发明描述了两类语义拓扑图的生成过程，并且结合了语义地图创建算法，保证了地图的高精度以及算法的实时性；

2、本发明提出了新型的深度学习网络架构，该架构结合了神经网络与拓扑结构，能够实时构建拓扑节点的特征聚合，提高了语义地图的生成精度。

附图说明

图1为相同里程的语义拓扑图的创建过程示意图；

图2为基于图像特征聚合的拓扑节点分类算法框架示意图；

图3为在Robot@Home数据集中的平均准确率对比示意图；

图4为一种基于机器人的实时语义地图生成装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

为了解决背景技术中存在的问题，本发明实施例利用深度学习和视觉信息，结合普通的语义地图，生成了带有语义信息的拓扑地图，通过带有图结构的地图来方便机器人进行自主导航和路径规划功能，以及更好地实现人类的指令。

其中，机器人语义总结为三个不同层次。一是对机器人视觉传感器获取的静态图像提取语义信息。常用方式包括：图像分类、目标检测、图像分割、图像检索等。二是进一步对机器人环境的语义地图构建。包括：2D地图，3D点云等等。最后是结合语义提升机器人环境交互、人机交互能力。包含了机器人运动，路径规划，环境理解等。

本发明实施例主要聚焦于2D拓扑地图的生成算法与拓扑节点特征聚合的研究。在生成拓扑图的过程中尽可能使得地图富含环境语义信息。感知环境的语义内容。因此本发明实施例的重点为两类拓扑图的生成算法以及聚合高级别的特征。另外本发明实施例主要针对语义地图生成过程中的场景识别部分进行了研究和测试。最后在多个大型公开数据集中进行比较，具有良好的性能。

第一种基于里程距离的拓扑地图构建方式

第一种拓扑地图的构建方式采用机器人的里程数据每隔相同的距离保存一个节点信息，设置的距离段为T，机器人设备获取的图像信息为I^k，图像的坐标为

根据里程距离每T个距离生成一个节点N^j＝{N^j,j＝1…m}，m表示生成节点的总数，其中j表示为节点的序列编号。坐标表示为

定义图像属于某个节点的方式是通过计算节点与图像的欧式距离，欧式距离计算如下：

其中，D(I^k,N^j)表示节点与图像之间的欧式距离。

本发明实施例通过计算图像与节点的最小欧式距离来决定图像属于哪类节点。N^j(I^k)表示I^k属于N^j节点的索引值。可确定图像I^k属于该索引的节点。具体的公式如下：

N^j(I^k)＝arg min_j{D(I^k,N^j)} (2)

本发明实施例设置距离阈值

当最小距离大于阈值

则表示图像不属于全部节点，抛弃图像，具体公式如下：

以上表示拓扑图的构建方式，通过该方式在进行机器人构图过程中会生成图结构的拓扑图，然后在图节点上添加语义信息，生成富含室内语义信息的拓扑图。具体流程如图1所示。

首先通过特征融合的神经深度学习场景识别算法生成语义地图，将图像I^k通过神经网络输入而获得预测结果，表示为p(y^k|I^k)，同时可以通过关键目标检测算法获取一个对应n维01数组

其中V^j表示第j个节点的关键目标，这是场景语义的重要组成部分。因为一个节点是由多个图像组成的，对多个图像信息需要进行融合到一个节点中，场景识别的最终结果写成C(N^j)，表示该节点的最终场景类别，是属于厨房、客厅或者是其他。具体做法为将每个图像获取的结果p(y^k|I^k)维度相加，取所有维度中的最大值表示该节点属于这个场景。

关键目标的检测过程结果使用V^j来填充表示，每个图像通过目标检测获取的对象值为

本发明实施例使用阈值α来表示是否存在该目标，当置信度大于阈值α，则将该维设置为1，否则设置为0。最后进行信息叠加，叠加方式是与V^j进行或运算，得到最终结果。

另外，机器人运动过程包含节点坐标

以及姿态角度θ，因此整个节点的语义信息包含了

对应图1的Node＝(x,y,θ,Object,Label)。

第二种基于图像聚合的拓扑地图构建方式

该方式根据图像I^k＝{I^k,k＝1…n}来确定拓扑节点信息，拓扑节点与图像的坐标信息联系通过公式(1)(2)(3)来表示，以拓扑节点与图像的欧式距离来判断是否建立节点以及节点与图像的从属关系。如果地图中没有节点信息或者当图像与所有的节点的欧式距离大于阈值，也就是

则表示需要重新开辟一个新的节点信息。新节点的坐标与角度为获取该图像信息时的坐标角度，即

θ。对拓扑节点的语义信息节点填充可采用与方法一相同的方式，利用图像视觉信息聚合在节点中，将视觉信息通过特征融合的场景识别算法来获取场景地点，可表示为p(y^k|I^k)，同时通过目标检测算法获取特征目标，可表示为p(V^k|I^k)。

通过两者的特征结果信息来丰富节点语义信息。该方法的优势为可以保证节点间的距离在一个合理的范围内，不会过大导致图像信息丢失，也不会过小导致图像信息的重复消费。在机器人地图的构建过程中做到实时构建。

基于深度学习的拓扑节点聚合方式构建

本段基于第二种拓扑图的构建方法提出了新颖的基于图像特征聚合的拓扑节点保存算法。算法框架如图2所示。框架主要由两模块内容同步实时运行。图中靠上的模块主要利用通过ImageNet预训练的残差神经网络作为图像的特征提取器，输入层为机器人设备RGB传感器获取的带有坐标信息

的3×224×224图像，中间利用7×7的64个卷积核得到64×112×112的特征图，后利用4层残差层提取特征，图中因简化只显示一层，得到2048×7×7的特征图，最后利用平均池化输出2048维度的图像特征向量F^k，该神经网络获取的图像场景表征用于聚合叠加到图中靠下模块的拓扑节点。靠下模块主要利用图像坐标信息

坐标与拓扑节点欧氏距离的判断来决定以该图像生成节点或者是归属于某个欧式距离最近的节点。具体的拓扑节点生成或归属算法为本文上文提出的基于图像聚合的拓扑地图构建方式。在运行计算的过程中实时创建拓扑图。两个实时模块运行结束后将获取的特征向量与拓扑地图进行关联聚合，保存在归属的同一节点。接下来阐述具体的节点特征融合算法。

本文提出的特征融合算法针对当前检测图像与所属拓扑点累计特征的融合过程。向量F^k为当前检测图像特征，是用来更新聚合节点特征信息的，以生成第j个节点为例。s_j表示第j个节点的累计向量，从初始值

开始计算，表示当前节点聚合了第一张RGB图像的特征向量F¹，k表示输入的属于同一节点的图像序列为第k张，

表示累计k张图像的累计融合特征，

则表示

在融合第k张图像前的累计融合特征。具体融合算法如公式(4)所示。

是上一序列的特征融合累计向量，当前融合的特征向量

为上一序列或者是上一序列的特征向量线性叠加上图像特征向量F^k与

的差值与超参数μ的乘积，超参数μ的范围是0-1之间。具体的选取条件为

表示的是输入向量与前一序列的叠加向量的欧几里得距离是否大于阈值

若大于则表示两者向量具有较小的相似性，则可以进行向量融合，如果小于阈值，则表示相似性较大，不进行融合。通过融合算法更新拓扑点的最新融合结果，将这些关键语义信息s保存于节点当中。该做法消除了相似性向量对结果权重的影响。有利于减小图像噪声扰动影响，对结果性能有促进作用。

通过算法的结果可以得到融合的特征向量语义拓扑图，该语义拓扑图可以用作多种任务。通过其中融合向量s_j可以进行j节点区域的场景分类任务，关键对象分类任务，以及根据具体任务完成一些别的深度学习相关的工作任务。本文主要用以完成聚合节点的场景分类和关键对象分类。针对具关键对象分类，可以重新对ResNet进行特定训练，本发明实施例则直接使用通过ImageNet数据预训练的ResNet分类网络，在最后的线性全连接层后去除Softmax层。而对于场景分类任务，本发明实施例在输出向量后加入两层全连接层，使用ReLU(Rectified Linear Unit)作为激活函数，输出向量依据需要检测的场景类别数量来决定，本文利用k折交叉验证进行实验测试，通过数据训练最后两层全连接层数据，最后得到场景分类的结果。

本发明实施例提出的基于深度学习的拓扑节点聚合方式算法(图2所示)具有实时性，端到端的优势，将拓扑地图生成方式与深度学习特征提取相结合。在机器人遍历环境时两者相互并行运算并在特征聚合时进行关联和数据融合。当机器人遍历环境完成时可实时输出带有语义信息的拓扑地图。算法过程全自动运行，可做到端到端。

实验一：

本发明实施例在Robot@Home数据集的Auto场景中对比了提出了第一类拓扑图像生成方式和第二类拓扑图像生成方式。第二类方式性能略高于第一类方法。基于拓扑图像的方式对精度的提升有促进作用。因为其聚合了图像特征，类似于投票计数来决定具体的场景类别，因此精度较高。

表1Auto数据集在基于里程距离的拓扑地图生成算法下准确率

场景	总数	检测正确数量	准确率
				洗手间	3	3	100％
卧室	4	2	50％
				走廊	12	7	58.3％
客厅	7	6	85.7％
				厨房	4	2	50％
平均	30	20	66.7％

表2Auto数据集在基于图像聚合的拓扑地图生成算法下准确率

场景	总数	检测正确数量	准确率
				洗手间	2	2	100％
卧室	3	2	66.7％
				走廊	9	5	55.5％
客厅	7	6	85.7％
				厨房	4	2	50％
平均	25	17	68％

并且在Robot@Home中的五类场景进行准确率对比，额外加入了基于EfficientNet-B2的分类网络与EfficientNet-B2结合Yolo检测的特征聚合网络方法。与本发明实施例提出的两类拓扑节点聚合方式对比。结果如图3所示。可以非常直观的表现出本专利的两种语义拓扑图的节点准确率明显远大于传统的神经网络方法，分析这类原因主要是分类模型是基于RGB图像的场景检测方式，是将数万张RGB图像作为测试数据进行检测，因此存在一定的误检率。但是本文的方式是对节点所属的所有欧式距离以内的RGB图像进行聚合，选取最高的概率作为最终场景类别，因此只要大部分图像能够检测出正确的类别，其结果将会是正确的节点类型。所以准确率将会高。

实验二：基于深度学习的拓扑节点聚合方式构建实验比较

使用了COsy Localization Database数据集进行对比，该数据集是基于移动平台生成的序列数据集，用于评估基于视觉的定位系统。该数据集通过激光传感器、红外传感器获取了包含连续的RGB图像、相对定位坐标系数据、场景类别、里程数据等信息。该数据集主要包含了三类子数据集，分别是COLD-Freiburg、COLD-Ljubljana以及COLD-Saarbrücken。以下实验部分使用F、L和S来代表。它们分别采样自欧洲的三个不同实验室，每类子数据包含了同一场景下的不同路径规划以及不同天气下的数据。一共包含76个数据包，每个数据包为一个不同天气下的序列选择数据。每一个数据包的数据序列都超过了1000张RGB图像。因此该数据集作为场景识别和机器人路径测试的实验平台非常合适。

其中，使用的子数据集为Freiburg中的partA场景、Ljubljana中的partA场景、Saarbrücken中的partA和B场景，分别对应表格中的F-partA、L-partA、S-partA和S-partB。其中每个场景都含有path1和path2两种不同路径。测试场景为表格最左边列的十类场景，其中将单人办公室和双人办公室合并为办公室person office。一些场景中只有一类数据存在，无法在四折交叉验证中进行测试，因为一类数据存在path1和path2两类，因此，测试此类场景时分别用path1和path2交叉作为训练集和测试集，得到结果后取平均值。正负号后为精确度的浮动范围。

本方法是基于深度学习的拓扑节点聚合方式构建实验，基于图像是上文提出的基于图像聚合的计算方式。由实验数据可以得出，基于深度学习的聚合方式在精确度上均高于基于图像聚合的方式。

表3基于深度学习的聚合方法在COLD数据集中与基于图像聚合的方式进行的准略率对比实验

一种基于机器人的实时语义地图生成装置，参见图4，该装置将拓扑地图生成方式与深度学习特征提取相结合，在机器人遍历环境时两者相互并行运算并在特征聚合时进行关联和数据融合，当机器人遍历环境完成时实时输出带有语义信息的拓扑地图，包括：处理器1和存储器2，存储器2中存储有程序指令，处理器1调用存储器2中存储的程序指令以使装置执行以下方法步骤：

将通过ImageNet预训练的残差神经网络作为图像的特征提取器，根据图像I^k确定拓扑节点信息，获取拓扑节点与图像的坐标信息联系，以拓扑节点与图像的欧式距离来判断是否建立拓扑节点以及拓扑节点与图像的从属关系；

若地图中没有节点信息或图像与所有节点的欧式距离均大于阈值，则表示需要重新开辟一个新的节点信息，新节点的坐标与角度为获取该图像信息时的坐标角度，对拓扑节点的语义信息节点进行填充，将图像视觉信息聚合在节点中，将视觉信息通过特征融合的场景识别来获取场景地点，同时通过目标检测获取特征目标；

通过场景地点和特征目标的特征结果信息来丰富节点语义信息。

其中，残差神经网络为：

输入层为机器人设备RGB传感器获取的带有坐标信息的图像，中间利用卷积核得到初始特征图，利用残差层从初始特征图中提取特征，得到最终的特征图，最后利用平均池化输出某一维度的图像特征向量，将获取的图像场景表征用于聚合叠加到拓扑节点中。

将视觉信息通过特征融合的场景识别来获取场景地点具体为：

向量F^k为当前检测图像特征，用于更新聚合节点特征信息的，表示第j个节点的累计向量，从初始值

开始计算，表示当前节点聚合了第一张RGB图像的特征向量F¹，k表示输入的属于同一节点的图像序列为第k张，

表示累计k张图像的累计融合特征，

则表示

在融合第k张图像前的累计融合特征，具体融合为：

其中，

是上一序列的特征融合累计向量，当前融合的特征向量

为上一序列或上一序列的特征向量线性叠加上图像特征向量F^k与

的差值与超参数μ的乘积。

这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。

上述的处理器1和存储器2的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。

存储器2和处理器1之间通过总线3传输数据信号，本发明实施例对此不做赘述。

基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。

该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。

这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。

计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。

参考文献

[1]C.Jin,A.Elibol,P.Zhu and N.Y.Chong,”Semantic Mapping Based onImage Feature Fusion in Indoor Environments,”2021 21st InternationalConference on Control,Automation and Systems(ICCAS),2021,pp.693-698,doi:10.23919/ICCAS52745.2021.9650062.

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于机器人的实时语义地图生成方法，其特征在于，所述方法将拓扑地图生成方式与深度学习特征提取相结合，在机器人遍历环境时两者相互并行运算并在特征聚合时进行关联和数据融合，当机器人遍历环境完成时实时输出带有语义信息的拓扑地图，具体步骤包括：

将通过ImageNet预训练的残差神经网络作为图像的特征提取器，根据图像I^k确定拓扑节点信息，获取拓扑节点与图像的坐标信息联系，以拓扑节点与图像的欧式距离来判断是否建立拓扑节点以及拓扑节点与图像的从属关系；

若地图中没有节点信息或图像与所有节点的欧式距离均大于阈值，则表示需要重新开辟一个新的节点信息，新节点的坐标与角度为获取该图像信息时的坐标角度，对拓扑节点的语义信息节点进行填充，将图像视觉信息聚合在节点中，将视觉信息通过特征融合的场景识别来获取场景地点，同时通过目标检测获取特征目标；

通过场景地点和特征目标的特征结果信息来丰富节点语义信息。

2.根据权利要求1所述的一种基于机器人的实时语义地图生成方法，其特征在于，所述残差神经网络为：

输入层为机器人设备RGB传感器获取的带有坐标信息的图像，中间利用卷积核得到初始特征图，利用残差层从初始特征图中提取特征，得到最终的特征图，最后利用平均池化输出某一维度的图像特征向量，将获取的图像场景表征用于聚合叠加到拓扑节点中。

3.根据权利要求1所述的一种基于机器人的实时语义地图生成方法，其特征在于，所述将视觉信息通过特征融合的场景识别来获取场景地点具体为：

向量F^k为当前检测图像特征，用于更新聚合节点特征信息的，表示第j个节点的累计向量，从初始值

开始计算，表示当前节点聚合了第一张RGB图像的特征向量F¹，k表示输入的属于同一节点的图像序列为第k张，

表示累计k张图像的累计融合特征，

则表示

在融合第k张图像前的累计融合特征，具体融合为：

其中，

是上一序列的特征融合累计向量，当前融合的特征向量

为上一序列或上一序列的特征向量线性叠加上图像特征向量F^k与

的差值与超参数μ的乘积。

4.一种基于机器人的实时语义地图生成装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-3中的任一项所述的方法步骤。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行权利要求1-3中的任一项所述的方法步骤。

Images