CN116645585A - 一种基于异构图神经网络的机械臂碰撞检测方法 - Google Patents

Abstract

一种基于异构图神经网络的机械臂碰撞检测方法，使用图表示机械臂和障碍物，并构造连通图交换其几何信息。图是一种更直接的结构，可以存储和表示结构信息。在这个图中，节点为我们提取的机械臂和障碍物几何形状的顶点，边代表我们机械臂和障碍物各自内部几何形状的边以及我们构造连通图时添加的边。考虑到连通图中边的不同，以及异构图更强的描述能力，使用异构图编码两个物体之间的结构关系，通过消息传递捕获连通图内机械臂和障碍物之间的空间关系，其检测精度相对于以往方法大大提高。

Description

一种基于异构图神经网络的机械臂碰撞检测方法

技术领域

本发明涉及虚拟仿真碰撞检测技术领域，具体涉及一种基于异构图神经网络的机械臂碰撞检测方法。

背景技术

随着人工智能技术的迅速发展，机械臂的应用领域已经十分广泛了，并且，机械臂的自由度也在不断增加，其工作空间也由二维转换到三维，完成任务的复杂性也在不断提高，机械臂可以在复杂的环境中高效的完成很多重复性的工作。但是在其工作中，很可能与环境中的障碍物发生碰撞从而造成严重后果，在这种情况下，我们需要进一步提高机械臂的安全性。最常见的提高机械臂安全性的方法就是碰撞检测，良好的碰撞检测技术可以大大提高机械臂的安全性，减少机械臂的磨损，同时节约人力和资金的投入。

现有的碰撞检测技术可分为传感器检测法和几何体模型检测法。传感器检测法如基于力矩传感器、基于加速度计和基于智能皮肤等方法，虽然这些方法可以快速检测到碰撞，但其检测性能受到传感器和处理器的限制，并且增加了机械臂的成本，几何体模型检测法通过计算机械臂运动时的轨迹插补点位置和障碍物几何体模型位置的距离来判断是否碰撞，但这种方法的效率和精度都比较低。主流的轨迹优化方法依靠基于梯度的、有约束的、非线性的优化器来获得解，因此它们只能在可微分目标和约束条件下工作，这就带来了对可微分碰撞探测器的需求。然而，大多数探测器使用不稳定的数值梯度或随机梯度。同时，随着自由度的增加，需要预计算的状态数量呈指数级增长，因此为了计算效率，解析可微的碰撞检测方法是我们的首选。此外，随着图形处理单元(GPU)的兴起和深度学习包中自动微分工具的发展，一种用于碰撞检测的解析可微分模型尤其可取。另外有研究人员提出将同构图应用在碰撞检测上，通过将机械臂和障碍物表示为同构图，来回归机械臂和障碍物的碰撞距离并检测碰撞，虽然它在计算效率和鲁棒性较以往方法有所提升，但同构图并没有考虑机械臂和障碍物的差异性，所以将机械臂和障碍物表示为同构图会丢失节点或边中的信息，比如几何信息，这会造成在描述机械臂和障碍物的碰撞问题时不够全面。

发明内容

本发明为了克服以上技术的不足，提供了一种通过消息传递捕获连通图内机械臂和障碍物之间的空间关系，提高检测精度的方法。

本发明克服其技术问题所采用的技术方案是：

一种基于异构图神经网络的机械臂碰撞检测方法，包括如下步骤：

a)拍摄N张机械臂随机取物过程中的环境照片，提取每张环境照片中机械臂和障碍物的边界作为多边形；

b)使用Flexible Collision Library库计算第i张环境照片中机械臂的多边形和障碍物的多边形之间的最小距离d_i，i∈{1,2,…,N}；

c)将第i张环境照片中机械臂的多边形转换为无向图G_r，G_r＝(V_r,ε_r,X_r)，V_r为无向图G_r中节点集合，无向图G_r中的节点为第i张环境照片中机械臂的多边形的顶点， 为节点集合V_r中第i个节点，i∈{1,2,…,n}，n为第i张环境照片中机械臂的多边形的顶点的总数，ε_r为无向图G_r中边的集合，无向图G_r中的边为第i张环境照片中机械臂的多边形的边，/>为第i个节点/>与和其邻近的第j个节点/>之间的边，j∈{1,2,…,n}，/>X_r为无向图G_r中节点特征的集合，/> 为第i个节点/>的节点特征，/>x_i为第i个节点/>在直角坐标系中的X轴坐标，y_i为第i个节点/>在直角坐标系中的Y轴坐标；

d)将第i张环境照片中障碍物的多边形转换为无向图G_o，G_o＝(V_o,ε_o,X_o)，V_o为无向图G_o中节点集合，无向图G_o中的节点为第i张环境照片中障碍物的多边形的顶点， 为节点集合V_o中第i个节点，i∈{1,2,...,m}，m为第i张环境照片中障碍物的多边形的顶点的总数，ε_o为无向图G_o中边的集合，无向图G_o中的边为第i张环境照片中障碍物的多边形的边，/>为第i个节点/>与和其邻近的第j个节点/>之间的边，j∈{1,2,...,m}，/>X_o为无向图G_o中节点特征的集合，/> 为第i个节点/>的节点特征，/>x′_i为第i个节点/>在直角坐标系中的X轴坐标，y′_i为第i个节点/>在直角坐标系中的Y轴坐标；

e)第i个样本为(G_r,G_o)_i，i∈{1,2,...,N}，最小距离d_i为第i个样本(G_r,G_o)的标签值，得到N个样本{(G_r,G_o)₁,(G_r,G_o)₂,...,(G_r,G_o)_i,...,(G_r,G_o)_N}，在N个样本中划分P％的样本作为测试集，将1-P％的样本作为训练集；

f)构建训练集中第i个样本(G_r,G_o)_i的关系连通图G_u；

g)使用消息传递更新关系连通图G_u中节点的节点特征，获得图和图/>计算得到图/>的加权信息特征/>及图/>的加权信息特征/>

h)通过图和图/>构建连通图/>使用消息传递更新连通图/>获得图/>和图/>计算得到图/>的加权信息特征/>及图/>的加权信息特征/>

i)重复步骤h)K次，第k次重复执行步骤h)时得到图的加权信息特征/>及图的加权信息特征/>

j)将加权信息特征加权信息特征/>加权信息特征/>分别求转置变为行向量特征/>行向量特征/>行向量特征/>将/>堆叠成为一个2+K行的矩阵C_r，将加权信息特征/>加权信息特征/>加权信息特征/>分别求转置变为行向量特征/>行向量特征/>行向量特征/>将/>加权得到矩阵C_o，将矩阵C_r按列进行逐元素最大池化，得到特征C_f,r，将矩阵C_o按列进行逐元素最大池化，得到特征C_f,o，将特征C_f,r及特征C_f,o分别输入到多层感知机MLP中，输出得到训练集中第i个样本(G_r,G_o)_i的碰撞距离/>完成碰撞检测模型的建立；

k)训练碰撞检测模型，得到优化后的碰撞检测模型；

l)将测试集中第j个样本(G_r,G_o)_j输入到优化后的碰撞检测模型中，输出得到测试集中第j个样本(G_r,G_o)_j的碰撞距离设定安全距离为d_safe，当碰撞距离/>小于安全距离d_safe时，判定为发生碰撞。

优选的，步骤a)中N取值为50000。

优选的，步骤a)中使用labelme工具中的多边形注释方法提取每张环境照片中机械臂和障碍物的边界作为多边形。

优选的，步骤e)中P取值为20。

进一步的，步骤f)包括如下步骤：

f-1)建立二部图G_c，G_c＝(V_c,ε_c,X_c)，其中V_c为训练集中第i个样本(G_r,G_o)_i的无向图G_r中节点与无向图G_o中节点相加后的集合，V_c＝V_r+V_o，

为节点集合V_c中第i个节点，i∈{1,2,...,n+m}，X_c为二部图G_c中节点特征的集合，X_c＝X_r+X_o，

为第i个节点/>的节点特征，从无向图G_o的节点集合V_o中随机选择f个节点，f个节点分别与无向图G_r的节点集合V_r中n个节点相连形成若干边，各个边构成边集合ε_f，从无向图G_r的节点集合V_r中随机选择g个节点，g个节点分别与无向图G_o的节点集合V_o中m个节点相连形成若干边，各个边构成边集合ε_g，ε_c为二部图G_c中边的集合，ε_c＝ε_f+ε_g；

f-2)基于无向图G_r、无向图G_o、二部图G_c构建关系连通图G_u，G_u＝(V_c,ε_u,X_c,REL)，ε_u为关系连通图G_u中边的集合，ε_u＝ε_r+ε_o+ε_c，REL为关系集合，REL＝{rel₁,rel₂}，rel₁为障碍物或机械臂自身图内节点与其1-hop邻域节点之间的关系，rel₂为障碍物或机械臂自身图内节点与对方物品内1-hop邻域节点之间的关系。

进一步的，步骤g)包括如下步骤：

g-1)通过公式计算得到第i个节点/>的节点特征/>经过第一次消息传递后的节点特征/>式中rel为关系连通图G_u中任一节点与其内1-hop邻域节点之间的关系，/>为第j个节点/>的节点特征，/>为与第i个节点/>具有rel关系的邻居集合索引集，/>W_r为可学习参数，W_o为可学习参数，得到更新后的节点特征的集合/>

g-2)得到更新图为 删除更新图/>中的边的集合ε_c，得到图/>和图/>

g-3)通过公式计算得到图/>中第i个节点/>的注意力权重式中T为转置，a⁽¹⁾为可训练注意力值向量；

g-4)通过公式

计算得到图/>的加权信息特征/>

g-5)通过公式计算得到图/>中第i个节点/>的注意力权重式中T为转置，b⁽¹⁾为可训练注意力值向量；

g-6)通过公式

计算得到图/>的加权信息特征/>

进一步的，步骤h)包括如下步骤：

h-1)选取图中注意力权重最大的前f个节点/>f个节点分别与图的节点集合V_o中m个节点相连形成若干边，各个边构成边集合ε′_f，选取图/>中注意力权重最大的前g个节点/>g个节点分别与图/>的节点集合V_r中n个节点相连形成若干边，各个边构成边集合ε′_g；

h-2)构建连通图 ε′_c为连通图/>中边的集合，ε′_c＝ε′_f+ε′_g+ε_r+ε_o；

h-3)通过公式

计算得到第i个节点/>的节点特征/>经过第二次消息传递后的节点特征/> 为第j个节点/>的节点特征/>经过第一次消息传递后的节点特征，/>为可学习参数，/>为可学习参数，得到更新后的节点特征的集合/>

h-4)得到更新图为 删除更新图/>中的边的集合ε_c，得到图/>和图/>

h-5)通过公式计算得到图/>中第i个节点/>的注意力权重式中a⁽²⁾为可训练注意力值向量；

h-6)通过公式

计算得到图/>的加权信息特征/>

h-7)通过公式计算得到图/>中第i个节点/>的注意力权重式中b⁽²⁾为可训练注意力值向量；

h-8)通过公式

计算得到图/>的加权信息特征优选的，步骤j)中多层感知机MLP的中间层具有三个隐藏层，三个隐藏层的维度均为16。

步骤k)中使用均方误差MSE损失函数通过ADAM优化器训练步骤f)至步骤j)的碰撞检测模型，得到优化后的碰撞检测模型，训练时学习率lr设置为0.001，每经过100个epoch动态调整下降一半，训练500个epoch，当连续20个epoch的均方误差MSE损失函数不变时，结束训练。

本发明的有益效果是：将机械臂和障碍物分别用图表示，使用图表示机械臂和障碍物的几何信息，并构造连通图，考虑到连通图中节点之间关系的不同，使用异构图编码两个物体之间的结构关系，通过消息传递嵌入图之间的几何关系，其检测精度相对于以往方法大大提高。使用基于注意力的选择机制构建机械臂和障碍物的连通异构图，在保留结构信息的同时，降低模型发现远距离边缘的可能，提高消息传递的性能。

附图说明

图1为本发明的提取多边形的示意图；

图2为本发明的构建机械臂与障碍物图

图3为本发明的网络模型结构图；

图4为本发明的构建的连通图的示意图。

具体实施方式

下面结合附图1、附图2、附图3、附图4对本发明做进一步说明。

一种基于异构图神经网络的机械臂碰撞检测方法，包括如下步骤：

a)创建碰撞检测数据集，首先拍摄N张机械臂随机取物过程中的环境照片，提取每张环境照片中机械臂和障碍物的边界作为多边形。

b)如附图2所示，使用Flexible Collision Library库计算第i张环境照片中机械臂的多边形和障碍物的多边形之间的最小距离d_i，i∈{1,2,...,N}。

c)将第i张环境照片中机械臂的多边形转换为无向图G_r，G_r＝(V_r,ε_r,X_r)，V_r为无向图G_r中节点集合，无向图G_r中的节点为第i张环境照片中机械臂的多边形的顶点， 为节点集合V_r中第i个节点，i∈{1,2,…,n}，n为第i张环境照片中机械臂的多边形的顶点的总数，ε_r为无向图G_r中边的集合，无向图G_r中的边为第i张环境照片中机械臂的多边形的边，/>为第i个节点/>与和其邻近的第j个节点/>之间的边，j∈{1,2,…,n}，/>X_r为无向图G_r中节点特征的集合，/> 为第i个节点/>的节点特征，/>x_i为第i个节点/>在直角坐标系中的X轴坐标，y_i为第i个节点/>在直角坐标系中的Y轴坐标。无向图G_r中节点和边分别对应于所提取多边形的顶点和边。

d)将第i张环境照片中障碍物的多边形转换为无向图G_o，G_o＝(V_o,ε_o,X_o)，V_o为无向图G_o中节点集合，无向图G_o中的节点为第i张环境照片中障碍物的多边形的顶点， 为节点集合V_o中第i个节点，i∈{1,2,...,m}，m为第i张环境照片中障碍物的多边形的顶点的总数，ε_o为无向图G_o中边的集合，无向图G_o中的边为第i张环境照片中障碍物的多边形的边，/>为第i个节点/>与和其邻近的第j个节点/>之间的边，j∈{1,2,...,m}，/>X_o为无向图G_o中节点特征的集合，/> 为第i个节点/>的节点特征，/>x′_i为第i个节点/>在直角坐标系中的X轴坐标，y′_i为第i个节点/>在直角坐标系中的Y轴坐标。无向图G_o中节点和边分别对应于所提取多边形的顶点和边。

e)开始构建膨胀检测模型，第i个样本为(G_r,G_o)_i，i∈{1,2,...,N}，最小距离d_i为第i个样本(G_r,G_o)的标签值，得到N个样本{(G_r,G_o)₁,(G_r,G_o)₂,...,(G_r,G_o)_i,...,(G_r,G_o)_N}，在N个样本中划分P％的样本作为测试集，将1-P％的样本作为训练集。

f)构建训练集中第i个样本(G_r,G_o)_i的关系连通图G_u。

g)使用消息传递更新关系连通图G_u中节点的节点特征，获得图和图/>计算得到图/>的加权信息特征/>及图/>的加权信息特征/>

h)通过图和图/>构建连通图/>使用消息传递更新连通图/>获得图/>和图/>计算得到图/>的加权信息特征/>及图/>的加权信息特征/>

i)重复步骤h)K次，第k次重复执行步骤h)时得到图的加权信息特征/>及图的加权信息特征/>

j)将加权信息特征加权信息特征/>加权信息特征/>分别求转置变为行向量特征/>行向量特征/>行向量特征/>将/>堆叠成为一个2+K行的矩阵C_r，将加权信息特征/>加权信息特征/>加权信息特征/>分别求转置变为行向量特征/>行向量特征/>行向量特征/>将/>加权得到矩阵C_o，将矩阵C_r按列进行逐元素最大池化，得到特征C_f,r，将矩阵C_o按列进行逐元素最大池化，得到特征C_f,o，将特征C_f,r及特征C_f,o分别输入到多层感知机MLP中，输出得到训练集中第i个样本(G_r,G_o)_i的碰撞距离/>完成碰撞检测模型的建立。

k)训练碰撞检测模型，得到优化后的碰撞检测模型。

l)将测试集中第j个样本(G_r,G_o)_j输入到优化后的碰撞检测模型中，输出得到测试集中第j个样本(G_r,G_o)_j的碰撞距离设定安全距离为d_safe，当碰撞距离/>小于安全距离d_safe时，判定为发生碰撞。

使用图表示机械臂和障碍物，并构造连通图交换其几何信息。图是一种更直接的结构，可以存储和表示结构信息。在这个图中，节点为我们提取的机械臂和障碍物几何形状的顶点，边代表我们机械臂和障碍物各自内部几何形状的边以及我们构造连通图时添加的边。考虑到连通图中边的不同，以及异构图更强的描述能力，使用异构图编码两个物体之间的结构关系，通过消息传递捕获连通图内机械臂和障碍物之间的空间关系，其检测精度相对于以往方法大大提高。

实施例1：

步骤a)中N取值为50000。步骤a)中使用labelme工具中的多边形注释方法提取每张环境照片中机械臂和障碍物的边界作为多边形，如附图1所示，以图片左下角为原点，建立直角坐标系，放入所提取多边形。步骤e)中P取值为20。

实施例2：

步骤f)包括如下步骤：

f-1)建立二部图G_c，G_c＝(V_c,ε_c,X_c)，其中V_c为训练集中第i个样本(G_r,G_o)_i的无向图G_r中节点与无向图G_o中节点相加后的集合，V_c＝V_r+V_o，

为节点集合V_c中第i个节点，i∈{1,2,...,n+m}，X_c为二部图G_c中节点特征的集合，X_c＝X_r+X_o，

为第i个节点/>的节点特征，从无向图G_o的节点集合V_o中随机选择f个节点，f个节点分别与无向图G_r的节点集合V_r中n个节点相连形成若干边，各个边构成边集合ε_f，从无向图G_r的节点集合V_r中随机选择g个节点，g个节点分别与无向图G_o的节点集合V_o中m个节点相连形成若干边，各个边构成边集合ε_g，ε_c为二部图G_c中边的集合，ε_c＝ε_f+ε_g。

f-2)基于无向图G_r、无向图G_o、二部图G_c构建关系连通图G_u，G_u＝(V_c,ε_u,X_c,REL)，ε_u为关系连通图G_u中边的集合，ε_u＝ε_r+ε_o+ε_c，REL为关系集合，REL＝{rel₁,rel₂}，rel₁为障碍物或机械臂自身图内节点与其1-hop邻域节点之间的关系，rel₂为障碍物或机械臂自身图内节点与对方物品内1-hop邻域节点之间的关系。

实施例3：

步骤g)包括如下步骤：

g-1)通过公式计算得到第i个节点/>的节点特征经过第一次消息传递后的节点特征/>式中rel为关系连通图G_u中任一节点与其内1-hop邻域节点之间的关系，/>为第j个节点/>的节点特征，/>为与第i个节点/>具有rel关系的邻居集合索引集，/>W_r为可学习参数，W_o为可学习参数，得到更新后的节点特征的集合/>

g-2)得到更新图为 删除更新图/>中的边的集合ε_c，得到图/>和图/>

g-3)通过公式计算得到图/>中第i个节点/>的注意力权重式中T为转置，a⁽¹⁾为可训练注意力值向量；g-4)通过公式

计算得到图/>的加权信息特征/>

g-5)通过公式计算得到图/>中第i个节点/>的注意力权重式中T为转置，b⁽¹⁾为可训练注意力值向量；

g-6)通过公式

计算得到图/>的加权信息特征/>

实施例4：

步骤h)包括如下步骤：

h-1)选取图中注意力权重最大的前f个节点/>f个节点分别与图的节点集合V_o中m个节点相连形成若干边，各个边构成边集合ε′_f，选取图/>中注意力权重最大的前g个节点/>g个节点分别与图/>的节点集合V_r中n个节点相连形成若干边，各个边构成边集合ε′_g。

h-2)构建连通图 ε′_c为连通图/>中边的集合，ε′_c＝ε′_f+ε′_g+ε_r+ε_o。

h-3)通过公式

计算得到第i个节点/>的节点特征/>经过第二次消息传递后的节点特征/> 为第j个节点/>的节点特征/>经过第一次消息传递后的节点特征，/>为可学习参数，/>为可学习参数，得到更新后的节点特征的集合/>

h-4)得到更新图为 删除更新图/>中的边的集合ε_c，得到图/>和图/>

h-5)通过公式计算得到图/>中第i个节点/>的注意力权重式中a⁽²⁾为可训练注意力值向量。

h-6)通过公式

计算得到图/>的加权信息特征

h-7)通过公式计算得到图/>中第i个节点/>的注意力权重式中b⁽²⁾为可训练注意力值向量。

h-8)通过公式

计算得到图/>的加权信息特征实施例5：

步骤j)中多层感知机MLP的中间层具有三个隐藏层，三个隐藏层的维度均为16。

步骤k)中使用均方误差MSE损失函数通过ADAM优化器训练步骤f)至步骤j)的碰撞检测模型，得到优化后的碰撞检测模型，训练时学习率lr设置为0.001，每经过100个epoch动态调整下降一半，训练500个epoch，当连续20个epoch的均方误差MSE损失函数不变时，结束训练。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于异构图神经网络的机械臂碰撞检测方法，其特征在于，包括如下步骤：

a)拍摄N张机械臂随机取物过程中的环境照片，提取每张环境照片中机械臂和障碍物的边界作为多边形；

b)使用Flexible Collision Library库计算第i张环境照片中机械臂的多边形和障碍物的多边形之间的最小距离d_i，i∈{1,2,…,N}；

c)将第i张环境照片中机械臂的多边形转换为无向图G_r，G_r＝(V_r,ε_r,X_r)，V_r为无向图G_r中节点集合，无向图G_r中的节点为第i张环境照片中机械臂的多边形的顶点，为节点集合V_r中第i个节点，i∈{1,2,…,n}，n为第i张环境照片中机械臂的多边形的顶点的总数，ε_r为无向图G_r中边的集合，无向图G_r中的边为第i张环境照片中机械臂的多边形的边，/>为第i个节点/>与和其邻近的第j个节点/>之间的边，j∈{1,2,…,n}，/>X_r为无向图G_r中节点特征的集合，为第i个节点/>的节点特征，/>x_i为第i个节点/>在直角坐标系中的X轴坐标，y_i为第i个节点/>在直角坐标系中的Y轴坐标；

d)将第i张环境照片中障碍物的多边形转换为无向图G_o，G_o＝(V_o,ε_o,X_o)，V_o为无向图G_o中节点集合，无向图G_o中的节点为第i张环境照片中障碍物的多边形的顶点，为节点集合V_o中第i个节点，i∈{1,2,…,m}，m为第i张环境照片中障碍物的多边形的顶点的总数，ε_o为无向图G_o中边的集合，无向图G_o中的边为第i张环境照片中障碍物的多边形的边，/>为第i个节点/>与和其邻近的第j个节点/>之间的边，j∈{1,2,…,m}，/>X_o为无向图G_o中节点特征的集合， 为第i个节点/>的节点特征，/>x′_i为第i个节点/>在直角坐标系中的X轴坐标，y′_i为第i个节点/>在直角坐标系中的Y轴坐标；

e)第i个样本为(G_r,G_o)_i，i∈{1,2,...,N}，最小距离d_i为第i个样本(G_r,G_o)的标签值，得到N个样本{(G_r,G_o)₁,(G_r,G_o)₂,...,(G_r,G_o)_i,...,(G_r,G_o)_N}，在N个样本中划分P％的样本作为测试集，将1-P％的样本作为训练集；

f)构建训练集中第i个样本(G_r,G_o)_i的关系连通图G_u；

g)使用消息传递更新关系连通图G_u中节点的节点特征，获得图和图/>计算得到图的加权信息特征/>及图/>的加权信息特征/>

h)通过图和图/>构建连通图/>使用消息传递更新连通图/>获得图/>和图计算得到图/>的加权信息特征/>及图/>的加权信息特征/>

i)重复步骤h)K次，第k次重复执行步骤h)时得到图的加权信息特征/>及图/>的加权信息特征/>

j)将加权信息特征加权信息特征/>加权信息特征/>分别求转置变为行向量特征/>行向量特征/>行向量特征/>将/>堆叠成为一个2+K行的矩阵C_r，将加权信息特征/>加权信息特征/>加权信息特征/>分别求转置变为行向量特征/>行向量特征/>行向量特征/>将/>加权得到矩阵C_o，将矩阵C_r按列进行逐元素最大池化，得到特征C_f,r，将矩阵C_o按列进行逐元素最大池化，得到特征C_f,o，将特征C_f,r及特征C_f,o分别输入到多层感知机MLP中，输出得到训练集中第i个样本(G_r,G_o)_i的碰撞距离/>完成碰撞检测模型的建立；

k)训练碰撞检测模型，得到优化后的碰撞检测模型；

l)将测试集中第j个样本(G_r,G_o)_j输入到优化后的碰撞检测模型中，输出得到测试集中第j个样本(G_r,G_o)_j的碰撞距离设定安全距离为d_safe，当碰撞距离/>小于安全距离d_safe时，判定为发生碰撞。

2.根据权利要求1所述的基于异构图神经网络的机械臂碰撞检测方法，其特征在于：步骤a)中N取值为50000。

3.根据权利要求1所述的基于异构图神经网络的机械臂碰撞检测方法，其特征在于：步骤a)中使用labelme工具中的多边形注释方法提取每张环境照片中机械臂和障碍物的边界作为多边形。

4.根据权利要求1所述的基于异构图神经网络的机械臂碰撞检测方法，其特征在于：步骤e)中P取值为20。

5.根据权利要求1所述的基于异构图神经网络的机械臂碰撞检测方法，其特征在于，步骤f)包括如下步骤：

f-1)建立二部图G_c，G_c＝(V_c,ε_c,X_c)，其中V_c为训练集中第i个样本(G_r,G_o)_i的无向图G_r中节点与无向图G_o中节点相加后的集合，V_c＝V_r+V_o，

为节点集合V_c中第i个节点，i∈{1,2,...,n+m}，X_c为二部图G_c中节点特征的集合，X_c＝X_r+X_o，

为第i个节点/>的节点特征，从无向图G_o的节点集合V_o中随机选择f个节点，f个节点分别与无向图G_r的节点集合V_r中n个节点相连形成若干边，各个边构成边集合ε_f，从无向图G_r的节点集合V_r中随机选择g个节点，g个节点分别与无向图G_o的节点集合V_o中m个节点相连形成若干边，各个边构成边集合ε_g，ε_c为二部图G_c中边的集合，ε_c＝ε_f+ε_g；

f-2)基于无向图G_r、无向图G_o、二部图G_c构建关系连通图G_u，G_u＝(V_c,ε_u,X_c,REL)，ε_u为关系连通图G_u中边的集合，ε_u＝ε_r+ε_o+ε_c，REL为关系集合，REL＝{rel₁,rel₂}，rel₁为障碍物或机械臂自身图内节点与其1-hop邻域节点之间的关系，rel₂为障碍物或机械臂自身图内节点与对方物品内1-hop邻域节点之间的关系。

6.根据权利要求5所述的基于异构图神经网络的机械臂碰撞检测方法，其特征在于，步骤g)包括如下步骤：

g-1)通过公式计算得到第i个节点/>的节点特征经过第一次消息传递后的节点特征/>式中rel为关系连通图G_u中任一节点与其内1-hop邻域节点之间的关系，/>为第j个节点/>的节点特征，/>为与第i个节点/>具有rel关系的邻居集合索引集，/>W_r为可学习参数，W_o为可学习参数，得到更新后的节点特征的集合/>

g-2)得到更新图为删除更新图/>中的边的集合ε_c，得到图和图/>

g-3)通过公式计算得到图/>中第i个节点/>的注意力权重/>式中T为转置，a⁽¹⁾为可训练注意力值向量；

g-4)通过公式

计算得到图/>的加权信息特征/>

g-5)通过公式计算得到图/>中第i个节点/>的注意力权重/>式中T为转置，b⁽¹⁾为可训练注意力值向量；

g-6)通过公式

计算得到图/>的加权信息特征/>

7.根据权利要求6所述的基于异构图神经网络的机械臂碰撞检测方法，其特征在于，步骤h)包括如下步骤：

h-1)选取图中注意力权重最大的前f个节点/>f个节点分别与图/>的节点集合V_o中m个节点相连形成若干边，各个边构成边集合ε′_f，选取图/>中注意力权重最大的前g个节点/>g个节点分别与图/>的节点集合V_r中n个节点相连形成若干边，各个边构成边集合ε′_g；

h-2)构建连通图ε′_c为连通图/>中边的集合，ε′_c＝ε′_f+ε′_g+ε_r+ε_o；

h-3)通过公式

计算得到第i个节点/>的节点特征/>经过第二次消息传递后的节点特征/> 为第j个节点/>的节点特征/>经过第一次消息传递后的节点特征，/>为可学习参数，/>为可学习参数，得到更新后的节点特征的集合/>

h-4)得到更新图为删除更新图/>中的边的集合ε_c，得到图和图/>

h-5)通过公式计算得到图/>中第i个节点/>的注意力权重/>式中a⁽²⁾为可训练注意力值向量；

h-6)通过公式

计算得到图/>的加权信息特征/>

h-7)通过公式计算得到图/>中第i个节点vo_i的注意力权重/>式中b(²)为可训练注意力值向量；

h-8)通过公式

计算得到图/>的加权信息特征/>

8.根据权利要求5所述的基于异构图神经网络的机械臂碰撞检测方法，其特征在于：步骤j)中多层感知机MLP的中间层具有三个隐藏层，三个隐藏层的维度均为16。

9.根据权利要求5所述的基于异构图神经网络的机械臂碰撞检测方法，其特征在于：步骤k)中使用均方误差MSE损失函数通过ADAM优化器训练步骤f)至步骤j)的碰撞检测模型，得到优化后的碰撞检测模型，训练时学习率lr设置为0.001，每经过100个epoch动态调整下降一半，训练500个epoch，当连续20个epoch的均方误差MSE损失函数不变时，结束训练。