CN110825829A

CN110825829A - 一种基于自然语言和语义地图实现机器人自主导航的方法

Info

Publication number: CN110825829A
Application number: CN201910981685.5A
Authority: CN
Inventors: 董敏; 聂宏蓄; 毕盛; 杨垲泓
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2019-10-16
Filing date: 2019-10-16
Publication date: 2020-02-21
Anticipated expiration: 2039-10-16
Also published as: CN110825829B

Abstract

本发明公开了一种基于自然语言和语义地图实现机器人自主导航的方法，包括步骤：1)获取机器人所处环境的语义地图；2)将获取到的语义地图描述成三元组集合；3)通过两组双层GRU编码器分别提取语义地图和自然语言指令的特征；4)通过注意力机制将语义地图的特征和自然语言指令的特征融合；5)通过双层GRU解码器逐步生成导航指令；6)将解码得到的导航指令转换成机器人可以执行的指令序列，机器人根据指令序列进行自主导航。本发明够利用自然语言指令进行机器人导航，在不需要预先获取精确度量地图的条件下，满足在各种环境下使机器人进行自主导航的需求。

Description

一种基于自然语言和语义地图实现机器人自主导航的方法

技术领域

本发明涉及自然语言处理、深度学习、自主导航的技术领域，尤其是指一种基于自然语言和语义地图实现机器人自主导航的方法。

背景技术

近年来，机器人自主导航在生产生活中应用越来越广泛，越来越多的应用场景需要精确且高效的自主导航技术。以往的自主导航方法，需要先对环境进行一次扫描，获取精确的度量地图，之后进行路径规划进行导航。获取精确的度量地图需要消耗大量的精力，并且地图的精准程度对导航效果的影响很大。因此基于语义地图以及自然语言的自主导航方法的研究具有重大意义。

目前，机器人自主导航研究方面主要采用基于精确度量地图的方法，但还面临如下问题：

(1)获取精确度量地图需要消耗大量的资源和时间对环境预先进行扫描，获取精确度量地图的成本较大。

(2)在一些难以观测的复杂场景下，获取精确度量地图的难度和开销更大，该类方法可能无法实施。

(3)导航效果取决于度量地图的精确程度，一些难以获取精确度量地图的场合，导航效果会变得很差。

(4)基于精确度量地图的自主导航方法，是基于环境的度量信息进行导航的，没有利用到环境的语义，拓扑信息。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于自然语言和语义地图实现机器人自主导航的方法，能够利用机器人所处环境的语义地图和自然语言指令，在无需预先获取精确度量地图的条件下进行机器人的自主导航。

为实现上述目的，本发明所提供的技术方案为：一种基于自然语言和语义地图实现机器人自主导航的方法，包括以下步骤：

1)获取机器人所处环境的语义地图，包括出发点、目的地及其它位置之间的拓扑关系；

2)将获取到的语义地图中各个位置用顶点表示，用顶点间的边表示顶点的通达关系，将每一对顶点之间的通达关系描述成三元组；

3)通过两组双层GRU编码器分别提取已描述成三元组集合的语义地图的特征和自然语言指令的特征；

4)通过注意力机制将语义地图的特征和自然语言指令的特征融合；

5)通过双层GRU解码器逐步生成导航指令；

6)将解码得到的导航指令转换成机器人能够执行的指令序列，机器人根据指令序列进行自主导航。

在步骤1)中，所述机器人所处环境的语义地图是指用于描述机器人所处环境的拓扑地图，包括表示环境中各个区域的顶点和表示顶点间相互通达关系的边。

在步骤2)中，每一对顶点之间的相互通达关系用一个三元组＜p_i,b_i,p_j＞来表示，其中，p_i表示出发点，p_j表示目的地，b_i表示机器人从出发点到目的地需要执行的指令。

在步骤3)中，通过两组双层GRU编码器分别提取语义地图和自然语言指令的特征，包括以下步骤：

3.1)每个包含N个三元组的语义地图M及每个包含L个词语的自然语言指令I分别描述为：

M＝{＜p₁,b₁,q₁＞,...,＜p_N,b_N,q_N＞}

I＝{l₁,...,l_L}

其中：地图中的第i个三元组表示为＜p_i,b_i,q_i＞，下标i＝1,2,3,...,N表示N个三元组的索引号；自然语言指令中的第i个词语表示为l_i，下标i＝1,2,3,...,L表示自然语言指令中L个词语的索引号；

3.2)将三元组通过embedding层用向量表示，将自然语言指令通过embedding层用向量表示，三元组的向量表示和自然语言指令的向量表示分别描述为：

E_M＝{g₁,...,g_N}

E_L＝{i₁,...,i_L}

其中：语义地图中第i个三元组的embedding向量表示为g_i，下标i＝1,2,3,...,N表示N个三元组的embedding向量索引号；自然语言指令中第i个单词的embedding向量表示为i_i，下标i＝1,2,3,...,L表示自然语言指令中L个单词的embedding向量索引号；

3.3)将语义地图的embedding向量和自然语言指令的embedding向量分别通过双层GRU进行编码，获取特征向量，语义地图和自然语言指令的特征向量分别描述为：

F_M＝{fg₁,....,fg_N}

F_L＝{fi₁,...,fi_L}

其中：第i个三元组的特征向量表示为fg_i，下标i＝1,2,3,...,N表示N个三元组的特征向量索引号；自然语言指令中第i个词语的特征向量表示为fi_i，下标i＝1,2,3,...,L表示自然语言指令中L个词语的特征向量索引号。

在步骤4)中，通过注意力机制将语义地图的特征和自然语言指令的特征融合，包括以下步骤：

4.1)对每一个三元组的特征向量，计算其关于自然语言指令中每个词语对应特征向量的注意力，其过程描述为：

e_i＝[fg_iWfi₁,...,fg_iWfi_L]

a_i＝softmax(e_i)

其中，W表示不同维度的特征向量相乘时的权重，e_i表示语义地图特征fg_i关于自然语言指令的每一个特征向量的注意力向量，a_i表示语义地图特征fg_i关于自然语言指令的每一个特征向量的权重，fi_l表示自然语言指令中第l个词语的特征向量；

4.2)通过注意力权重将语义地图特征和自然语言指令特征融合，其过程描述为：

R＝{R₁，...,R_N}

其中，R_i表示N个融合特征向量第i个融合的特征向量，a_ij表示第i个三元组特征对第j个自然语言指令特征的注意力权重，fi_j表示第j个自然语言指令特征。

在步骤5)中，通过双层GRU解码器逐步生成导航指令，包括以下步骤：

5.1)将语义地图和自然语言指令的融合特征输入双层GRU解码器进行解码，解码过程描述为：

其中，

W₁、W₂分别是GRU解码器的参数，

表示第i个时间步的导航指令为指令集合中第s个指令的概率，h_i-1表示GRU解码器中第i-1个时间步的隐藏状态，R_i表示当前时间步输入的融合特征向量；

5.2)预测当前时间步输出的导航指令，其过程描述为：

其中，下标i表示第i个时间步，上标1,...,S表示S个指令组成的指令集合的编号。

在步骤6)中，将解码得到的导航指令转换成机器人能够执行的单条指令的序列，将指令序列依次发送给机器人，机器人根据序列进行自主导航。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明提出使用语义地图进行机器人自主导航，节约了获取精确度量地图带来的开销并且可以适应复杂环境。

2、本发明提出结合自然语言指令进行机器人自主导航，能够更方便，高效的进行机器人自主导航。

3、本发明结合了自然语言指令和语义地图，通过结合两种不同模态信息的特征进行机器人自主导航，在保证导航效果的同时提高了导航效率，节约了开销。

附图说明

图1为本发明进行自主导航的流程示意图。

图2为基于注意力机制的特征提取及导航指令预测的模型架构构造过程示意图。其中，Behavioral graph是用于表示机器人所处环境的语义地图的三元组序列，Intruduction表示自然语言指令，它们时模型的输入；Triplet embedding和Intrductionembedding分别表示三元组序列的embedding向量和自然语言指令的embedding向量；Attention表示注意力模块，Auxiliary output表示附加输出；Blended features ofgraph and instruction表示语义地图的特征和自然语言指令的融合特征；Compactblended features of graph and instruction表示经过线性变换后的融合特征；GRU表示GRU模块，Mask Softmax表示通过softmax计算输出的导航指令的概率分布。

图3为注意力机制原理示意图。其中，左图为普通GRU模块的输入输出流程模型，右边为注意力模块的输入输出流程模型。其中，X为注意力模块的输入；GRU表示GRU模块，其输出的向量大小为(B,S,H)，其中，B表示样本批量大小，S表示输入向量的长度，H表示输入向量的维度；FC表示全连接层，其输出的向量大小为(B,S,1)；Sigmoid表示用于计算权重的激活函数；Scale表示将GRU的输出乘上权重的操作，X～表示注意力模块输出的向量，其大小为(B,S,H)。

具体实施方式

下面结合具体实施例及附图对本发明作进一步说明，但本发明的实施方式不限于此。

如图1至图3所示，本实施例所提供的基于自然语言和语义地图实现机器人自主导航的方法，包括以下步骤：

1)获取机器人所处环境的语义地图，包括出发点、目的地及其他位置之间的拓扑关系，所述机器人所处环境的语义地图是指用于描述机器人所处环境的拓扑地图，包括表示环境中各个区域的顶点和表示顶点间相互通达关系的边。

2)将获取到的语义地图中各个位置用顶点表示，用顶点间的边表示顶点的通达关系，将每一对顶点之间的通达关系描述成三元组，每一对顶点之间的相互通达关系用一个三元组＜p_i,b_i,q_i＞来表示，其中，p_i表示出发点，q_i表示目的地，b_i表示机器人从出发点到目的地需要执行的指令。

3)通过两组双层GRU编码器分别提取语义地图和自然语言指令的特征，包括以下步骤：

3.1)每个包含N个三元组的语义地图M及每个包含L词语的自然语言指令I分别描述为：

M＝{＜p₁,b₁,q₁＞,...,＜p_N,b_N,q_N＞}

I＝{l₁,...,l_L}

其中，地图中的第i个三元组表示为＜p_i,b_i,q_i＞，下标i＝1,2,3,...,N表示N个三元组的索引号；自然语言指令中的第i个词语表示为l_i，下标i＝1,2,3,...,L表示自然语言指令中L个词语的索引号，获取到的三元组序列作为模型的输入，对应图2中的Behavioralgraph。

E_M＝{g₁,...,g_N}

E_L＝{i₁,...,i_L}

其中，语义地图中第i个三元组的embedding向量表示为g_i，下标i＝1,2,3,...,N表示N个三元组的embedding向量索引号；自然语言指令中第i个单词的embedding向量表示为i_i，下标i＝1,2,3,...,L表示自然语言指令中L个单词的embedding向量索引号，E_M和E_L分别对应图2中的Triplet embedding和Intrduction embedding。

F_M＝{fg₁,....,fg_N}

F_L＝{fi₁,...,fi_L}

4)通过注意力机制将语义地图的特征和自然语言指令的特征融合，包括以下步骤：

4.1)对每一个三元组的特征向量，计算其关于自然语言指令中每个词语对应特征向量的注意力，其过程可以描述为：

e_i＝[fg_iWfi₁,...,fg_iWfi_L]

a_i＝softmax(e_i)

其中，W表示不同维度的特征向量相乘时的权重，e_i表示语义地图特征fg_i关于自然语言指令的每一个特征向量的注意力向量，a_i表示语义地图特征fg_i关于自然语言指令的每一个特征向量的权重，fi_l表示自然语言指令中第l个词语的特征向量，注意力模块设计见图3。

4.2)通过注意力权重将语义地图特征和自然语言指令特征融合，其过程可以描述为：

R＝{R₁，...,R_N}

其中，R_i表示N个融合特征向量第i个融合的特征向量，a_ij表示第i个三元组特征对第j个自然语言指令特征的注意力权重，fi_j表示第j个自然语言指令特征，融合向量对应图2中的Blended features of graph and instruction。

5)通过双层GRU解码器逐步生成导航指令，包括以下步骤：

其中，

W₁、W₂分别是GRU解码器的参数，表示第i个时间步的导航指令为指令集合中第s个指令的概率，h_i-1表示GRU解码器中第i-1个时间步的隐藏状态，R_i表示当前时间步输入的融合特征向量。

5.2)预测当前时间步输出的导航指令，其过程可以描述为：

6)将解码得到的导航指令转换成机器人可以执行的行动序列，机器人根据行动序列进行自主导航，包括以下步骤：

6.1)将导航指令序列转换为机器人可以执行的单条指令的序列；

6.2)将指令序列依次发送给机器人，机器人进行自主导航。

综上所述，采用以上方案，本发明为机器人自主导航提供了新的方法，可以利用自然语言指令进行机器人导航，在不需要预先获取精确度量地图的条件下，满足在各种环境下使机器人进行自主导航的需求，具有研究价值，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于自然语言和语义地图实现机器人自主导航的方法，其特征在于，包括以下步骤：

5)通过双层GRU解码器逐步生成导航指令；

2.根据权利要求1所述的一种基于自然语言和语义地图实现机器人自主导航的方法，其特征在于：在步骤1)中，所述机器人所处环境的语义地图是指用于描述机器人所处环境的拓扑地图，包括表示环境中各个区域的顶点和表示顶点间相互通达关系的边。

3.根据权利要求1所述的一种基于自然语言和语义地图实现机器人自主导航的方法，其特征在于：在步骤2)中，每一对顶点之间的相互通达关系用一个三元组＜p_i,b_i,p_j＞来表示，其中，p_i表示出发点，p_j表示目的地，b_i表示机器人从出发点到目的地需要执行的指令。

4.根据权利要求1所述的基于自然语言和语义地图实现机器人自主导航的方法，其特征在于：在步骤3)中，通过两组双层GRU编码器分别提取语义地图和自然语言指令的特征，包括以下步骤：

M＝{＜p₁,b₁,q₁＞,...,＜p_N,b_N,q_N＞}

I＝{l₁,...,l_L}

E_M＝{g₁,...,g_N}

E_L＝{i₁,...,i_L}

F_M＝{fg₁,....,fg_N}

F_L＝{fi₁,...,fi_L}

5.根据权利要求1所述的基于自然语言和语义地图实现机器人自主导航的方法，其特征在于：在步骤4)中，通过注意力机制将语义地图的特征和自然语言指令的特征融合，包括以下步骤：

e_i＝[fg_iWfi₁,...,fg_iWfi_L]

a_i＝soft max(e_i)

R＝{R₁，...,R_N}

6.根据权利要求1所述的基于自然语言和语义地图实现机器人自主导航的方法，其特征在于：在步骤5)中，通过双层GRU解码器逐步生成导航指令，包括以下步骤：

其中，

W₁、W₂分别是GRU解码器的参数，

5.2)预测当前时间步输出的导航指令，其过程描述为：

7.根据权利要求1所述的基于自然语言和语义地图实现机器人自主导航的方法，其特征在于：在步骤6)中，将解码得到的导航指令转换成机器人能够执行的单条指令的序列，将指令序列依次发送给机器人，机器人根据序列进行自主导航。