CN119358552B - 基于图神经网络的机器人感知数据分词表征与学习方法 - Google Patents

Abstract

本发明涉及一种基于图神经网络的机器人感知数据分词表征与学习方法，包括以下步骤：获取机器人的多种感知数据；根据感知数据的类别进行分词表征；分词表征学习：基于分词表征后的感知数据构建初始特征图；基于自编码器学习特征图的紧凑表示，重建图结构，图结构表示不同节点之间的边的关系；自编码器完成图结构的学习后，固定图结构；将感知数据转化为节点特征向量，并基于学习到的图结构构建特征图，利用图神经网络对各节点特征向量进行数值编码，得到感知数据的高维特征向量表征。与现有技术相比，本发明具有能更好地表达感知数据的复杂性和多维度信息等优点。

Description

基于图神经网络的机器人感知数据分词表征与学习方法

技术领域

本发明涉及机器人感知数据处理技术领域，尤其是涉及一种基于图神经网络的机器人感知数据分词表征与学习方法。

背景技术

目前，在自然语言处理领域中，分词作为文本预处理的一个重要步骤，对于后续的任务如情感分析、机器翻译、问答系统等有着至关重要的影响。传统的分词方法主要依赖于词典匹配和统计模型，这些方法在面对新词汇、多义词以及长难句时往往表现不佳。随着深度学习的发展，基于神经网络的方法逐渐成为主流，尤其是循环神经网络(RNN)和长短时记忆网络(LSTM)等在分词任务上取得了较好的效果。紧接着，嵌入技术通过将这些离散的词汇转换为高维空间中的向量表示，不仅使得计算机能够处理文本信息，更重要的是，这些向量能够在数学上捕捉到词语之间的语义和语法关系，使得机器可以在某种程度上理解文本的内容。由此，无论是对于文本分类、情感分析还是机器翻译等应用而言，分词与嵌入都为系统提供了理解和处理自然语言的能力，它们共同构成了现代自然语言处理技术栈中的基石，极大地提升了各种语言处理任务的准确性和效率。

现代机器人技术已经广泛应用于工业制造、服务行业等多个领域。为了使机器人更好地理解和执行任务，通常需要将感知数据(如自由度、末端位姿、视觉感知、触觉等)转化为计算机可处理的形式。然而，现有的感知数据处理方法大多依赖于固定的数据结构和简单的特征提取方式，这限制了机器人对复杂环境的理解能力和任务执行的灵活性。

随着人工智能技术的发展，特别是大型预训练模型的应用，机器人系统在决策控制方面取得了显著进展。这些大型模型能够处理复杂的任务，并从大量的数据中学习模式，从而做出更加智能化的决策。然而，为了让这些模型在实际机器人应用中发挥作用，它们需要与机器人的具身感知输入紧密结合。

机器人感知输入包括但不限于自由度、末端位姿、视觉感知、触觉等多种维度的数据。为了使大型模型能够有效利用这些信息，必须将这些感知数据转化为模型可以理解的形式。理想情况下，这些数据应该被转化为高维向量，并且在这个转化过程中，需要保留不同维度感知数据之间的相互关系以及各自携带的信息。

目前，尽管自然语言处理领域已经发展出了较为成熟的分词与嵌入方法，这些方法能够很好地将文本转化为语义丰富的向量表示，但针对机器人感知数据的类似方法却相对缺乏。现有的技术在处理机器人感知数据时，通常采用的是较为简单的方法，如直接使用原始数值或者简单的特征工程，这样的处理方式无法充分表达感知数据的复杂性和多维度信息。

此外，由于缺乏有效的分词与嵌入方法，现有的机器人系统难以充分利用大型预训练模型的能力来处理感知输入。这导致了机器人在面对动态和复杂环境时，其决策控制性能受到了限制，不能够像人类一样灵活地应对各种情况。

因此，亟需开发一种能够将机器人感知数据有效转化为高维向量的方法，并且这种方法应该能够保留感知数据之间的相互关系，以便更好地服务于机器人的决策控制系统。目前，这一领域的研究尚处于起步阶段，还没有成熟的技术方案来解决这个问题。

发明内容

本发明的目的是为了提供一种基于图神经网络(Graph Neural Networks,GNN)的机器人感知数据分词表征与学习方法，旨在将机器人的多维度感知输入转化为高维向量，并保留不同维度感知数据之间的关系信息。

本发明的目的可以通过以下技术方案来实现：

一种基于图神经网络的机器人感知数据分词表征与学习方法，包括以下步骤：

S1，数据获取：获取机器人的多种感知数据；

S2，根据感知数据的类别进行分词表征；

S3，分词表征学习：

S31，基于分词表征后的感知数据构建初始特征图；

S32，基于自编码器学习特征图的紧凑表示，重建图结构，所述图结构表示不同节点之间的边的关系，所述自编码器包括编码器和解码器，其中，所述编码器采用图注意力机制网络，用于将节点特征映射到潜在空间，所述解码器从潜在空间重建原始图结构；

S33，自编码器完成图结构的学习后，固定图结构；

S34，将感知数据转化为节点特征向量，并基于学习到的图结构构建特征图，利用图神经网络对各节点特征向量进行数值编码，得到感知数据的高维特征向量表征。

所述感知数据包括各自由度状态数据、末端位姿数据、视觉感知数据、触觉感知数据和压力传感器数据。

所述S2中，对于离散数据类型，将不同类别的感知数据视为不同的分词进行分词表征，在图神经网络中对应不同的节点。

所述S2中，对于连续数值输入，直接用图注意力机制网络作为嵌入网络来学习数值数据的高维表示，捕捉不同数值之间的关系和结构。

所述S2中，对于时序数据，将其按照预设的时间长度划分为多个时间段，对每个时间段进行特征提取或编码处理，得到分词表征；或者，对时序数据进行变换，获取时域或者频域的特征，将所述特征作为分词表征。

所述基于自编码器学习特征图的紧凑表示，重建图结构，包括以下步骤：

随机掩码：选择部分节点进行掩码，其中，掩码的方式使用随机选择的策略，对于掩码的节点，其特征向量被替换为零向量或者一个特殊的掩码标记；

编码：使用图注意力机制网络作为编码器来对未被掩码的节点进行编码；

解码：解码器接收编码器产生的节点表示以及掩码信息来预测被掩码节点的特征；

损失函数定义：定义均方误差损失函数来衡量解码器输出与实际掩码节点特征之间的差异，并在损失函数中引入实际物理约束；

反向传播与迭代训练：利用损失函数对自编码器模型参数进行梯度下降，以最小化损失，直到模型收敛或达到预定的训练轮次；

利用训练完成的自编码器学习不同种类感知数据在图神经网络上的节点映射，根据感知数据之间的内在联系建立节点之间的连接，形成无向图。

所述图注意力机制网络通过计算节点间的注意力权重来加权聚合邻居的信息，表示为：

其中，是节点i在第l层的表示，σ是激活函数，w^(l)是权重矩阵，α_ij是节点i和j之间的注意力系数，N(i)是表示节点i的邻域集合。

所述解码器采用多层感知机，具体的，使用3层全连接层来对编码信息进行解码。

所述实际物理约束包括：

动态约束：利用机器人的动力学模型来定义每个时间步长的动力学约束；

几何约束：利用机器人的运动学模型来定义几何约束，包括连杆长度不变和关节角度范围约束；

接触约束：定义接触点上的力矩和力的约束，包括摩擦力不能超过最大静摩擦力约束；

能量守恒约束：确保系统的总能量守恒，即势能、动能和所做的工作之间的转换遵守能量守恒定律。

所述利用图神经网络对各节点特征向量进行数值编码，得到感知数据的高维特征向量表征的具体步骤如下：

对每个感知数据节点进行初始化，使用多层感知机将原始数值转化为初始节点特征向量；

利用图神经网络的消息传递机制，让每个节点与其相邻节点交换信息，在每一层中，每个节点更新自己的表示，使其包含邻居节点的信息，从而捕获感知数据之间的相互关系；

多次迭代优化：经过图神经网络的多轮迭代，每个节点获得一个新的嵌入向量，所述嵌入向量包含节点本身的特征以及融合的其周围节点的信息，将所述嵌入向量作为学习得到的高维特征向量表示。

与现有技术相比，本发明具有以下有益效果：

(1)本发明将大模型领域中自然语言的分词与嵌入技术和思想引入到机器人感知数据处理中，填补了这一领域内的技术空白。

(2)本发明采用了图神经网络(GNN)作为核心技术手段，用于处理机器人感知数据，GNN能够有效地建模不同感知数据之间的关系，并将其转化为高维向量表示，从而保留感知数据之间的相互关系，这与传统方法中仅使用原始数值或简单特征工程相比，能更好地表达感知数据的复杂性和多维度信息。

(3)本发明提出一种学习方法，基于物理系统，自主学习机器人的多维度感知的分词表征，同时保留不同维度感知数据之间的关系，有利于大模型在处理机器人输入信息时，更好地理解于机器人在复杂环境下的决策控制。

附图说明

图1为本发明的方法流程图；

图2为本发明的图注意力机制网络模型架构图；

图3为本发明的感知数据图结构构建流程图；

图4为本发明的图节点特征向量数值编码流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供一种基于图神经网络的机器人感知数据分词表征与学习方法，如图1所示，包括以下步骤：

S1，数据获取：获取机器人的多种感知数据。

本实施例中，收集来自机器人的多种感知数据，包括但不限于各自由度状态、末端位姿、视觉感知、触觉、压力传感器等等，构建机器人多模态感知数据集。

S2，根据感知数据的类别进行分词表征。

对于输入的各种感知数据，需要对其进行分词表征，转化为模型可以处理的表示。与自然语言处理中的token化不同，输入的机器人感知数据是不同种类的离散数据类型，每种数据是连续型数值，因此，需要分别建立分词表征范式。具体如下：

S21，对于离散数据类型，将不同类别的感知数据视为不同的分词进行分词表征，在图神经网络中对应不同的节点。

S22，对于连续数值输入，直接用图注意力机制网络作为嵌入网络来学习数值数据的高维表示，捕捉不同数值之间的关系和结构。

S23，对于时序数据(例如加速度、温度、距离等传感器数据)，将其按照预设的时间长度划分为多个时间段，对每个时间段进行特征提取或编码处理，得到分词表征；或者，对时序数据进行变换，获取时域或者频域的特征，将所述特征作为分词表征。

S3，分词表征学习。

构建感知数据图的目的是为了对机器人的多种感知数据进行编码，并且保留其自身信息和不同感知数据之间的关系信息。收集的感知数据均来自于机器人物理系统，因此，他们底层共同符合物理世界的定律。使用自编码器框架来学习图的紧凑表示，其中编码器将节点特征映射到潜在空间，解码器则从潜在空间重建原始图结构。

具体的，如图3所示，S3包括以下步骤：

S31，基于分词表征后的感知数据构建初始特征图G＝(V,E)，其中V是节点集合，E是边集合，每个节点存在一个特征向量。

S32，基于自编码器学习特征图的紧凑表示，重建图结构，其中，图结构表示不同节点之间的边的关系。

S321，随机掩码：选择部分节点进行掩码，其中，掩码的方式使用随机选择的策略，对于掩码的节点，其特征向量被替换为零向量或者一个特殊的掩码标记。

S322，编码：使用图注意力机制网络(Graph Attention Networks，GAT)作为编码器来对未被掩码的节点进行编码。如图2所示，在GAT网络中，每个节点不仅会关注自身的特征，还会关注它所连接的其他节点的特征。具体来说，图中的每个节点都会有一个注意力系数，用于决定与其他节点的关系的重要性。首先，计算注意力系数，这通常是一个标量值，表示节点i对节点j的关注程度。这意味着可以将注意力分配给所有相关的节点，而不仅仅是单个节点。然后将注意力系数乘以相应的节点特征，得到一个加权平均值，该平均值反映了节点i对其邻居节点特征的加权汇总。最后将这个加权汇总与节点i自身的特征相结合，生成新的节点表示。

即，图注意力机制网络通过计算节点间的注意力权重来加权聚合邻居的信息，表示为：

其中，是节点i在第l层的表示，σ是激活函数，w^(l)是权重矩阵，α_ij是节点i和j之间的注意力系数，N(i)是表示节点i的邻域集合。

S323，解码：解码器接收编码器产生的节点表示以及掩码信息来预测被掩码节点的特征。

本实施例采用一种多层感知机作为解码器，具体地说，使用3层全连接层来对编码信息进行解码。

S324，损失函数定义：定义均方误差损失函数来衡量解码器输出与实际掩码节点特征之间的差异，除此之外，考虑实际物理系统，在损失函数中引入实际物理约束。

本实施例中，实际物理约束包括：

1)动态约束：利用机器人的动力学模型来定义每个时间步长的动力学约束，如牛顿第二定律；

2)几何约束：利用机器人的运动学模型来定义几何约束，如连杆长度不变和关节角度范围约束等；

3)接触约束：定义接触点上的力矩和力的约束，如摩擦力不能超过最大静摩擦力约束；

4)能量守恒约束：确保系统的总能量守恒，即势能、动能和所做的工作之间的转换遵守能量守恒定律。

然后，将原始损失函数与一个或多个附加的损失项组合起来，这些附加项用来惩罚不符合物理定律的预测。最终的损失函数可以表示为：

L＝L_base+λL_phys

其中λ是一个超参数，用于调整物理约束的重要性。

物理约束的具体形式在动态约束和几何约束可以举例为

对于一个普通的二阶系统，其动态约束下的损失函数可以表示为

这里m是质量，c,k是物理系数，F(t)是外力。x和分别是预测的位置和速度。

对于一个机械臂，如果已知连杆的长度是固定的，可以添加一个约束项来惩罚那些预测的关节角度组合，如

L_phys＝||l₁ cos(θ₁)+l₂ cos(θ₁+θ₂)||-d₁₂|²

其中，l_i表示第i个连杆的长度，θ_i是关节i的角度，d₁₂是两个末端之间的理论固定距离。

其他损失函数的建立可以参照上述方法，本实施例在此不再进行赘述。

S325，反向传播与迭代训练：利用损失函数对自编码器模型参数进行梯度下降，以最小化损失。可以使用Adam优化算法，重复上述步骤直到模型收敛或达到预定的训练轮次。

S326，利用训练完成的自编码器学习不同种类感知数据在图神经网络上的节点映射，根据感知数据之间的内在联系(如因果关系、空间关系等)建立节点之间的连接，形成无向图。

S33，自编码器完成图结构的学习后，固定图结构。

S34，将感知数据转化为节点特征向量，并基于学习到的图结构构建特征图，利用图神经网络对各节点特征向量进行数值编码，得到感知数据的高维特征向量表征。

如图4所示，具体步骤如下：

S341，对每个感知数据节点进行初始化，本实施例中使用多层感知机将原始数值转化为初始节点特征向量。

S342，利用图神经网络(GNN)的消息传递机制，让每个节点与其相邻节点交换信息，在每一层中，每个节点更新自己的表示，使其包含邻居节点的信息，从而捕获感知数据之间的相互关系；

S343，多次迭代优化：经过图神经网络的多轮迭代，每个节点获得一个新的嵌入向量，该嵌入向量包含节点本身的特征以及融合的其周围节点的信息，将所述嵌入向量作为学习得到的高维特征向量表示。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。

Claims (8)

1.一种基于图神经网络的机器人感知数据分词表征与学习方法，其特征在于，包括以下步骤：

S1，数据获取：获取机器人的多种感知数据；

S2，根据感知数据的类别进行分词表征；

S3，分词表征学习：

S31，基于分词表征后的感知数据构建初始特征图；

S32，基于自编码器学习特征图的紧凑表示，重建图结构，所述图结构表示不同节点之间的边的关系，所述自编码器包括编码器和解码器，其中，所述编码器采用图注意力机制网络，用于将节点特征映射到潜在空间，所述解码器从潜在空间重建原始图结构；

所述基于自编码器学习特征图的紧凑表示，重建图结构，包括以下步骤：

随机掩码：选择部分节点进行掩码，其中，掩码的方式使用随机选择的策略，对于掩码的节点，其特征向量被替换为零向量或者一个特殊的掩码标记；

编码：使用图注意力机制网络作为编码器来对未被掩码的节点进行编码；

解码：解码器接收编码器产生的节点表示以及掩码信息来预测被掩码节点的特征；

损失函数定义：定义均方误差损失函数来衡量解码器输出与实际掩码节点特征之间的差异，并在损失函数中引入实际物理约束；

反向传播与迭代训练：利用损失函数对自编码器模型参数进行梯度下降，以最小化损失，直到模型收敛或达到预定的训练轮次；

利用训练完成的自编码器学习不同种类感知数据在图神经网络上的节点映射，根据感知数据之间的内在联系建立节点之间的连接，形成无向图；

S33，自编码器完成图结构的学习后，固定图结构；

S34，将感知数据转化为节点特征向量，并基于学习到的图结构构建特征图，利用图神经网络对各节点特征向量进行数值编码，得到感知数据的高维特征向量表征；

所述利用图神经网络对各节点特征向量进行数值编码，得到感知数据的高维特征向量表征的具体步骤如下：

对每个感知数据节点进行初始化，使用多层感知机将原始数值转化为初始节点特征向量；

利用图神经网络的消息传递机制，让每个节点与其相邻节点交换信息，在每一层中，每个节点更新自己的表示，使其包含邻居节点的信息，从而捕获感知数据之间的相互关系；

多次迭代优化：经过图神经网络的多轮迭代，每个节点获得一个新的嵌入向量，所述嵌入向量包含节点本身的特征以及融合的其周围节点的信息，将所述嵌入向量作为学习得到的高维特征向量表示。

2.根据权利要求1所述的一种基于图神经网络的机器人感知数据分词表征与学习方法，其特征在于，所述感知数据包括各自由度状态数据、末端位姿数据、视觉感知数据、触觉感知数据和压力传感器数据。

3.根据权利要求1所述的一种基于图神经网络的机器人感知数据分词表征与学习方法，其特征在于，所述S2中，对于离散数据类型，将不同类别的感知数据视为不同的分词进行分词表征，在图神经网络中对应不同的节点。

4.根据权利要求1所述的一种基于图神经网络的机器人感知数据分词表征与学习方法，其特征在于，所述S2中，对于连续数值输入，直接用图注意力机制网络作为嵌入网络来学习数值数据的高维表示，捕捉不同数值之间的关系和结构。

5.根据权利要求1所述的一种基于图神经网络的机器人感知数据分词表征与学习方法，其特征在于，所述S2中，对于时序数据，将其按照预设的时间长度划分为多个时间段，对每个时间段进行特征提取或编码处理，得到分词表征；或者，对时序数据进行变换，获取时域或者频域的特征，将所述特征作为分词表征。

6.根据权利要求1所述的一种基于图神经网络的机器人感知数据分词表征与学习方法，其特征在于，所述图注意力机制网络通过计算节点间的注意力权重来加权聚合邻居的信息，表示为：

其中，是节点i在第l层的表示，是激活函数，是权重矩阵，是节点i和j之间的注意力系数，是表示节点i的邻域集合。

7.根据权利要求1所述的一种基于图神经网络的机器人感知数据分词表征与学习方法，其特征在于，所述解码器采用多层感知机，具体的，使用3层全连接层来对编码信息进行解码。

8.根据权利要求1所述的一种基于图神经网络的机器人感知数据分词表征与学习方法，其特征在于，所述实际物理约束包括：

动态约束：利用机器人的动力学模型来定义每个时间步长的动力学约束；

几何约束：利用机器人的运动学模型来定义几何约束，包括连杆长度不变和关节角度范围约束；

接触约束：定义接触点上的力矩和力的约束，包括摩擦力不能超过最大静摩擦力约束；

能量守恒约束：确保系统的总能量守恒，即势能、动能和所做的工作之间的转换遵守能量守恒定律。