CN116935252B - 一种基于子图嵌入图神经网络的机械臂碰撞检测方法 - Google Patents

Abstract

一种基于子图嵌入图神经网络的机械臂碰撞检测方法，涉及虚拟仿真碰撞检测技术领域，将机械臂和障碍物分别用图表示，使用图表示机械臂和障碍物的几何信息，并构造连通图，为防止局部碰撞特征被稀释，将连通图分割为若干包含局部碰撞信息的子图，通过图神经网络嵌入图之间的几何关系，提取机械臂和障碍物的局部碰撞信息，提高特征提取性能，其检测精度相对于以往方法大大提高。使用基于注意力的选择机制构建机械臂和障碍物的连通图，在保留结构信息的同时，降低模型发现远距离信息的可能，提高消息传递的性能。

Description

一种基于子图嵌入图神经网络的机械臂碰撞检测方法

技术领域

本发明涉及虚拟仿真碰撞检测技术领域，具体涉及一种基于子图嵌入图神经网络的机械臂碰撞检测方法。

背景技术

“工业4.0”时代主要分为两大主题，“智能工厂”和“智能生产”，其基础就是通过机器人来代替人类进行劳动生产，以实现智能制造。因此，提高对机器人的智能控制效率对“工业4.0”时代来说至关重要。在各种类型的机器人中，最具有灵活性以及通用性的非机械臂莫属，并且机械臂的应用领域最为广泛。随着机械臂的工作环境越来越复杂，以及其完成任务的难度也越来越高，机械臂的自由度在不断增加，工作空间也由二维转换到三维。机械臂帮我们高效的完成重复性的工作的同时，对其运动稳定性、安全性也提出了较高的要求。高效的碰撞检测技术能够提前检测出危险情况，大大提高机械臂的安全性，避免对机械臂本体和周围环境物品造成破坏，同时也节约了人力和资金的投入，为机械臂能够在各种工作场景作业提供的坚定的基础。

目前，机械臂碰撞检测方法主要可分为外接设备法以及基于模型的方法两种，外接设备法需要添加额外的传感器和相机，以进行信息的采集避免碰撞。但这种检测效果易受环境影响，并且成本高，效果也不稳定。Lumelsky.V.J等在机械臂上安装智能皮肤来检测碰撞，这种方法虽然准确率非常高，但检测过程复杂，需要处理的数据很多，检测速度过度依赖于处理器的性能。相比而言，基于模型的方法更为可靠。基于模型的方法是输入机器人和环境场景信息并将机器人的网格元素与周围物体和障碍物的网格进行比较的算法，但这种方法的效率和精度都比较低。随着深度学习技术的发展，Yeseung Kim等人提出将图神经网络应用在碰撞检测上，通过将机械臂和障碍物表示为图结构，使用图神经网络来回归机械臂和障碍物的碰撞距离并检测碰撞，它存在的一个问题，由于邻居节点之间信息的反复更新，以及信息从主要节点扩散到外围节点，图嵌入会收敛到优势节点信息，即节点信息稀释，其中分布相对较少的带有碰撞信息的节点会被其他节点信息隐藏或稀释，这会导致预测性能严重恶化，在机械臂和周围障碍物的碰撞检测中，这是一个重要的问题。

发明内容

本发明为了克服以上技术的不足，提供了一种使用图神经网络更新节点特征，捕获连通图内机械臂和障碍物之间的空间关系，提高特征提取性能，检测精度大大提高的方法。

本发明克服其技术问题所采用的技术方案是：

一种基于子图嵌入图神经网络的机械臂碰撞检测方法，包括如下步骤：

a)拍摄N张机械臂随机取物过程中的环境照片，提取每张环境照片中机械臂和障碍物的边界作为多边形；

b)使用Flexible Collision Library库计算第i张环境照片中机械臂的多边形和障碍物的多边形之间的最小距离d_i，i∈{1,2,...,N}；

c)将第i张环境照片中机械臂的多边形转换为无向图G_r，G_r＝(V_r,ε_r,X_r)，V_r为无向图G_r中节点集合，无向图G_r中的节点为第i张环境照片中机械臂的多边形的顶点， 为节点集合V_r中第i个节点，i∈{1,2,...,n}，n为第i张环境照片中机械臂的多边形的顶点的总数，ε_r为无向图G_r中边的集合，无向图G_r中的边为第i张环境照片中机械臂的多边形的边，/>为第i个节点/>与和其邻近的第j个节点/>之间的边，j∈{1,2,...,n}，/>X_r为无向图G_r中节点特征的集合， 为第i个节点/>的节点特征，/>x_i为第i个节点/>在直角坐标系中的X轴坐标，y_i为第i个节点/>在直角坐标系中的Y轴坐标；

d)将第i张环境照片中障碍物的多边形转换为无向图G_o，G_o＝(V_o,ε_o,X_o)，V_o为无向图G_o中节点集合，无向图G_o中的节点为第i张环境照片中障碍物的多边形的顶点， 为节点集合V_o中第i个节点，i∈{1,2,...,m}，m为第i张环境照片中障碍物的多边形的顶点的总数，ε_o为无向图G_o中边的集合，无向图G_o中的边为第i张环境照片中障碍物的多边形的边，/>为第i个节点/>与和其邻近的第j个节点之间的边，j∈{1,2,...,m}，/>X_o为无向图G_o中节点特征的集合， 为第i个节点/>的节点特征，/>x′_i为第i个节点/>在直角坐标系中的X轴坐标，y′_i为第i个节点/>在直角坐标系中的Y轴坐标；

e)第i个样本为(G_r,G_o)_i，i∈{1,2,...,N}，最小距离d_i为第i个样本(G_r,G_o)的标签值，得到N个样本{(G_r,G_o)₁,(G_r,G_o)₂,...,(G_r,G_o)_i,...,(G_r,G_o)_N}，在N个样本中划分P％的样本作为测试集，将1-P％的样本作为训练集；

f)构建训练集中第i个样本(G_r,G_o)_i的连通图G_u；

g)将连通图G_u划分为subn个子图G_sub1、G_sub2、...、G_subi、...、G_subn，G_subi为第i个子图，i∈{sub1,...,subn}，对subn个子图G_sub1、G_sub2、...、G_subi、...、G_subn分别使用图注意力网络更新节点特征，得到更新图分别计算更新图的加权信息特征

h)根据更新图得到无向图/>和无向图通过无向图/>和无向图/>构建连通图/>将连通图/>划分为subn个子图 为第i个子图，i∈{sub1,...,subn}，对subn个子图/>分别使用图注意力网络更新节点特征，得到更新图/>分别计算更新图的加权信息特征

i)重复步骤h)K次，第k次重复执行步骤h)时得到更新图的加权信息特征的加权信息特征，k∈{1,2,...,K}；

j)将加权信息特征分别求转置变为行向量特征/>将堆叠成为一个2+K行的矩阵C_subi,得到subn个子图的矩阵C_sub1、C_sub2、...C_subn；

k)将subn个子图的矩阵C_sub1、C_sub2、...C_subn分别按列进行逐元素最大池化，得到向量C_f,sub1、C_f,sub2、...C_f,subn，将向量C_f,sub1、C_f,sub2、...C_f,subn相互串联后输入到多层感知机MLP中，输出得到训练集中第i个样本(G_r,G_o)_i的碰撞距离完成碰撞检测模型的建立；l)训练碰撞检测模型，得到优化后的碰撞检测模型；

m将测试集中第j个样本(G_r,G_o)_j输入到优化后的碰撞检测模型中，输出得到测试集中第j个样本(G_r,G_o)_j的碰撞距离设定安全距离为d_safe，当碰撞距离/>小于安全距离d_safe时，判定为发生碰撞。

优选的，步骤a)中N取值为50000。

进一步的，步骤a)中使用labelme工具中的多边形注释方法提取每张环境照片中机械臂和障碍物的边界作为多边形。

优选的，步骤e)中P取值为20。

进一步的，步骤f)包括如下步骤：

f-1)建立二部图G_c，G_c＝(V_c,ε_c,X_c)，其中V_c为训练集中第i个样本(G_r,G_o)_i的无向图G_r中节点与无向图G_o中节点相加后的集合，V_c＝V_r+V_o， 为节点集合V_c中第i个节点，i∈{1,2,...,n+m}，X_c为二部图G_c中节点特征的集合，X_c＝X_r+X_o，

为第i个节点/>的节点特征，从无向图G_o的节点集合V_o中随机选择f个节点，f个节点分别与无向图G_r的节点集合V_r中n个节点相连形成若干边，各个边构成边集合ε_f，从无向图G_r的节点集合V_r中随机选择g个节点，g个节点分别与无向图G_o的节点集合V_o中m个节点相连形成若干边，各个边构成边集合ε_g，ε_c为二部图G_c中边的集合，ε_c＝ε_f+ε_g；

f-2)基于无向图G_r、无向图G_o、二部图G_c构建连通图G_u，G_u＝(V_c,ε_u,X_c)，ε_u为连通图G_u中边的集合，ε_u＝ε_r+ε_o+ε_c。进一步的，步骤g)包括如下步骤：

g-1)使用格文-纽曼算法将连通图G_u划分为subn个子图G_sub1、G_sub2、...、G_subi、...、G_subn，G_subi＝(V_subi,ε_subi,X_subi)，V_subi为第i个子图G_subi中节点集合，子图G_subi中的节点为第i个子图中多边形的顶点，， 为节点集合V_subi中第i个节点，i∈{1,2,...,o}，o为第i个子图G_subi的多边形的顶点的总数，ε_subi为第i个子图G_subi中边的集合，第i个子图G_subi中的边为第i个子图中多边形的边，/>为第i个节点/>与和其邻近的第j个节点/>之间的边，j∈{1,2,...,o}，/>X_subi为第i个子图G_subi中节点特征的集合，/> 为第i个节点/>的节点特征，/>x_subi为第i个节点/>在直角坐标系中的X轴坐标，y_subi为第i个节点/>在直角坐标系中的Y轴坐标；

g-2)通过公式计算得到第i个子图G_subi中第i个节点与和其邻近的第j个节点/>的注意力系数e_ij，式中/>为第j个节点/>的节点特征，/>xsubj为第j个节点/>在直角坐标系中的X轴坐标，ysubj为第j个节点/>在直角坐标系中的Y轴坐标，W和a均为可训练参数，||为拼接操作；

g-3)对注意力系数e_ij进行归一化操作，得到归一化后的注意力系数α_ij；

g-4)通过公式计算得到第i个节点/>的更新后的节点特征/>式中N_i为与第i个节点/>的邻居集合索引集，W₂为可训练参数，得到更新后的节点特征集合/>

g-5)得到更新图为

g-6)通过公式计算得到更新图/>中第i个节点/>的注意力权重/>式中T为转置，a⁽¹⁾为可训练注意力值向量；

g-7)通过公式

计算得到更新图的加权信息特征/>

进一步的，步骤h)包括如下步骤：

h-1)将subn个更新图的节点特征赋值到无向图G_r及无向图G_o对应的节点上，得到无向图/>和无向图/>

h-2)选取无向图中注意力权重最大最大的前f个节点/>f个节点分别与图/>的节点集合V_o中m个节点相连形成若干边，各个边构成边集合ε′_f，选取图中注意力权重最大的前g个节点/>g个节点分别与图/>的节点集合V_r中n个节点相连形成若干边，各个边构成边集合ε′_g；

h-3)构建连通图 ε′_c为连通图/>中边的集合，ε′_c＝ε′_f+ε′_g+ε_r+ε_o,/>为节点特征集合，/>

h-4)使用格文-纽曼算法将连通图划分为subn个子图 为第i个子图/>中节点集合，子图/>中的节点为第i个子图中多边形的顶点，， 为节点集合/>中第i个节点，i∈{1,2,...,p}，o为第i个子图/>的多边形的顶点的总数，/>为第i个子图/>中边的集合，第i个子图/>中的边为第i个子图中多边形的边，/>为第i个节点与和其邻近的第j个节点/>之间的边，j∈{1,2,...,p}，/> 为第i个子图/>中节点特征的集合， 为第i个节点/>的节点特征，/> 为第i个节点/>在直角坐标系中的X轴坐标，为第i个节点/>在直角坐标系中的Y轴坐标；

h-5)通过公式计算得到第i个子图中第i个节点/>与和其邻近的第j个节点/>的注意力系数/>式中/>为第j个节点/>的节点特征，/> 为第j个节点/>在直角坐标系中的X轴坐标，/>为第j个节点/>在直角坐标系中的Y轴坐标，W⁽¹⁾和a⁽¹⁾均为可训练参数；

h-6)对注意力系数进行归一化操作，得到归一化后的注意力系数/>

h-7)通过公式计算得到第i个节点/>的更新后的节点特征/>式中/>为与第i个节点/>的邻居集合索引集，/>为可训练参数，得到更新后的节点特征集合/>

h-8)得到更新图为

h-9)通过公式计算得到更新图/>中第i个节点/>的注意力权重/>a⁽²⁾为可训练注意力值向量；

h-10)通过公式

计算得到更新图的加权信息特征/>优选的，步骤l)中使用均方误差MSE损失函数通过ADAM优化器训练步骤f)至步骤k)的碰撞检测模型，得到优化后的碰撞检测模型，训练时学习率lr设置为0.001，每经过100个epoch动态调整下降一半，训练500个epoch，当连续20个epoch的均方误差MSE损失函数不变时，结束训练。

本发明的有益效果是：将机械臂和障碍物分别用图表示，使用图表示机械臂和障碍物的几何信息，并构造连通图，为防止局部碰撞特征被稀释，将连通图分割为若干包含局部碰撞信息的子图，通过图神经网络嵌入图之间的几何关系，提取机械臂和障碍物的局部碰撞信息，提高特征提取性能，其检测精度相对于以往方法大大提高。使用基于注意力的选择机制构建机械臂和障碍物的连通图，在保留结构信息的同时，降低模型发现远距离信息的可能，提高消息传递的性能。

附图说明

图1为构建机械臂与障碍物图；

图2为本发明的网络模型结构图；

图3为本发明的构建的连通图的示意图。

具体实施方式

下面结合附图1、附图2、附图3对本发明做进一步说明。

一种基于子图嵌入图神经网络的机械臂碰撞检测方法，包括如下步骤：

a)拍摄N张机械臂随机取物过程中的环境照片，提取每张环境照片中机械臂和障碍物的边界作为多边形。

b)使用Flexible Collision Library库计算第i张环境照片中机械臂的多边形和障碍物的多边形之间的最小距离d_i，i∈{1,2,...,N}。

c)将第i张环境照片中机械臂的多边形转换为无向图G_r，G_r＝(V_r,ε_r,X_r)，V_r为无向图G_r中节点集合，无向图G_r中的节点为第i张环境照片中机械臂的多边形的顶点， 为节点集合V_r中第i个节点，i∈{1,2,...,n}，n为第i张环境照片中机械臂的多边形的顶点的总数，ε_r为无向图G_r中边的集合，无向图G_r中的边为第i张环境照片中机械臂的多边形的边，/>为第i个节点/>与和其邻近的第j个节点/>之间的边，j∈{1,2,...,n}，/>X_r为无向图G_r中节点特征的集合， 为第i个节点/>的节点特征，/>x_i为第i个节点/>在直角坐标系中的X轴坐标，y_i为第i个节点/>在直角坐标系中的Y轴坐标。

d)将第i张环境照片中障碍物的多边形转换为无向图G_o，G_o＝(V_o,ε_o,X_o)，V_o为无向图G_o中节点集合，无向图G_o中的节点为第i张环境照片中障碍物的多边形的顶点， 为节点集合V_o中第i个节点，i∈{1,2,...,m}，m为第i张环境照片中障碍物的多边形的顶点的总数，ε_o为无向图G_o中边的集合，无向图G_o中的边为第i张环境照片中障碍物的多边形的边，/>为第i个节点/>与和其邻近的第j个节点之间的边，j∈{1,2,...,m}，/>X_o为无向图G_o中节点特征的集合， 为第i个节点/>的节点特征，/>x′_i为第i个节点/>在直角坐标系中的X轴坐标，y′_i为第i个节点/>在直角坐标系中的Y轴坐标。

e)第i个样本为(G_r,G_o)_i，i∈{1,2,...,N}，最小距离d_i为第i个样本(G_r,G_o)的标签值，得到N个样本{(G_r,G_o)₁,(G_r,G_o)₂,...,(G_r,G_o)_i,...,(G_r,G_o)_N}，在N个样本中划分P％的样本作为测试集，将1-P％的样本作为训练集；

f)构建训练集中第i个样本(G_r,G_o)_i的连通图G_u。

g)将连通图G_u划分为subn个子图G_sub1、G_sub2、...、G_subi、...、G_subn，G_subi为第i个子图，i∈{sub1,...,subn}，对subn个子图G_sub1、G_sub2、...、G_subi、...、G_subn分别使用图注意力网络更新节点特征，得到更新图分别计算更新图的加权信息特征

h)根据更新图得到无向图/>和无向图通过无向图/>和无向图/>构建连通图/>将连通图/>划分为subn个子图 为第i个子图，i∈{sub1,...,subn}，对subn个子图/>分别使用图注意力网络更新节点特征，得到更新图/>分别计算更新图的加权信息特征

i)重复步骤h)K次，第k次重复执行步骤h)时得到更新图的加权信息特征的加权信息特征，k∈{1,2,...,K}。

j)将加权信息特征分别求转置变为行向量特征/>将堆叠成为一个2+K行的矩阵C_subi,得到subn个子图的矩阵C_sub1、C_sub2、...C_subn。

k)将subn个子图的矩阵C_sub1、C_sub2、...C_subn分别按列进行逐元素最大池化，得到向量C_f,sub1、C_f,sub2、...C_f,subn，将向量C_f,sub1、C_f,sub2、...C_f,subn相互串联后输入到多层感知机MLP中，输出得到训练集中第i个样本(G_r,G_o)_i的碰撞距离完成碰撞检测模型的建立；l)训练碰撞检测模型，得到优化后的碰撞检测模型。

m将测试集中第j个样本(G_r,G_o)_j输入到优化后的碰撞检测模型中，输出得到测试集中第j个样本(G_r,G_o)_j的碰撞距离设定安全距离为d_safe，当碰撞距离/>小于安全距离d_safe时，判定为发生碰撞。

使用连通图表示机械臂和障碍物，图是一种更直接的结构，可以存储和表示结构信息。在这个图中，节点为我们提取的机械臂和障碍物几何形状的顶点，边代表我们机械臂和障碍物各自内部几何形状的边以及我们构造连通图时添加的边。考虑到邻居节点信息的重复更新以及信息从主导节点到外围节点的传播，图嵌入会收敛到来自其他节点的信息，导致局部碰撞特征被稀释，而人为断开会阻止此类信息扩展，我们将连通图分割为若干包含碰撞信息的子图。然后使用图神经网络更新节点特征，捕获连通图内机械臂和障碍物之间的空间关系，提高特征提取性能，其检测精度相对于以往方法大大提高。

在本发明的一个实施例中，步骤a)中N取值为50000。步骤a)中使用labelme工具中的多边形注释方法提取每张环境照片中机械臂和障碍物的边界作为多边形。步骤e)中P取值为20。

在本发明的一个实施例中，步骤f)包括如下步骤：

f-1)建立二部图G_c，G_c＝(V_c,ε_c,X_c)，其中V_c为训练集中第i个样本(G_r,G_o)_i的无向图G_r中节点与无向图G_o中节点相加后的集合，V_c＝V_r+V_o， 为节点集合V_c中第i个节点，i∈{1,2,...,n+m}，X_c为二部图G_c中节点特征的集合，X_c＝X_r+X_o，

为第i个节点/>的节点特征，从无向图G_o的节点集合V_o中随机选择f个节点，f个节点分别与无向图G_r的节点集合V_r中n个节点相连形成若干边，各个边构成边集合ε_f，从无向图G_r的节点集合V_r中随机选择g个节点，g个节点分别与无向图G_o的节点集合V_o中m个节点相连形成若干边，各个边构成边集合ε_g，ε_c为二部图G_c中边的集合，ε_c＝ε_f+ε_g。

f-2)基于无向图G_r、无向图G_o、二部图G_c构建连通图G_u，G_u＝(V_c,ε_u,X_c)，ε_u为连通图G_u中边的集合，ε_u＝ε_r+ε_o+ε_c。在本发明的一个实施例中，步骤g)包括如下步骤：

g-1)为了防止局部碰撞信息被稀释，使用格文-纽曼算法将连通图G_u划分为subn个子图G_sub1、G_sub2、...、G_subi、...、G_subn，G_subi＝(V_subi,ε_subi,X_subi)，V_subi为第i个子图G_subi中节点集合，子图G_subi中的节点为第i个子图中多边形的顶点，， 为节点集合V_subi中第i个节点，i∈{1,2,...,o}，o为第i个子图G_subi的多边形的顶点的总数，ε_subi为第i个子图G_subi中边的集合，第i个子图G_subi中的边为第i个子图中多边形的边，/>为第i个节点/>与和其邻近的第j个节点/>之间的边，j∈{1,2,...,o}，/>X_subi为第i个子图G_subi中节点特征的集合，/> 为第i个节点/>的节点特征，/>x_subi为第i个节点/>在直角坐标系中的X轴坐标，y_subi为第i个节点/>在直角坐标系中的Y轴坐标。

g-2)通过公式计算得到第i个子图G_subi中第i个节点与和其邻近的第j个节点/>的注意力系数e_ij，式中/>为第j个节点/>的节点特征，/>x_subj为第j个节点/>在直角坐标系中的X轴坐标，y_subj为第j个节点/>在直角坐标系中的Y轴坐标，W和a均为可训练参数，||为拼接操作。

g-3)对注意力系数e_ij进行归一化操作，得到归一化后的注意力系数α_ij。

g-4)通过公式计算得到第i个节点/>的更新后的节点特征/>式中N_i为与第i个节点/>的邻居集合索引集，W₂为可训练参数，得到更新后的节点特征集合/>

g-5)得到更新图为

g-6)通过公式计算得到更新图/>中第i个节点/>的注意力权重/>式中T为转置，a⁽¹⁾为可训练注意力值向量。

g-7)通过公式

计算得到更新图的加权信息特征/>

在本发明的一个实施例中，步骤h)包括如下步骤：

h-1)将subn个更新图的节点特征赋值到无向图G_r及无向图G_o对应的节点上，得到无向图/>和无向图/>

h-2)选取无向图中注意力权重最大最大的前f个节点/>f个节点分别与图/>的节点集合V_o中m个节点相连形成若干边，各个边构成边集合ε′_f，选取图中注意力权重最大的前g个节点/>g个节点分别与图/>的节点集合V_r中n个节点相连形成若干边，各个边构成边集合ε′_g。

h-3)构建连通图 ε′_c为连通图/>中边的集合，ε′_c＝ε′_f+ε′_g+ε_r+ε_o,/>为节点特征集合，/>

h-4)使用格文-纽曼算法将连通图划分为subn个子图 为第i个子图/>中节点集合，子图/>中的节点为第i个子图中多边形的顶点，， 为节点集合/>中第i个节点，i∈{1,2,...,p}，o为第i个子图/>的多边形的顶点的总数，/>为第i个子图/>中边的集合，第i个子图/>中的边为第i个子图中多边形的边，/>为第i个节点与和其邻近的第j个节点/>之间的边，j∈{1,2,...,p}，/> 为第i个子图/>中节点特征的集合， 为第i个节点/>的节点特征，/> 为第i个节点/>在直角坐标系中的X轴坐标，为第i个节点/>在直角坐标系中的Y轴坐标。

h-5)通过公式计算得到第i个子图中第i个节点/>与和其邻近的第j个节点/>的注意力系数/>式中/>为第j个节点/>的节点特征，/> 为第j个节点/>在直角坐标系中的X轴坐标，/>为第j个节点/>在直角坐标系中的Y轴坐标，W⁽¹⁾和a⁽¹⁾均为可训练参数。

h-6)对注意力系数进行归一化操作，得到归一化后的注意力系数/>

h-7)通过公式计算得到第i个节点/>的更新后的节点特征/>式中/>为与第i个节点/>的邻居集合索引集，/>为可训练参数，得到更新后的节点特征集合/>

h-8)得到更新图为

h-9)通过公式计算得到更新图/>中第i个节点/>的注意力权重/>a⁽²⁾为可训练注意力值向量。

h-10)通过公式

计算得到更新图的加权信息特征/>在本发明的一个实施例中，步骤l)中使用均方误差MSE损失函数通过ADAM优化器训练步骤f)至步骤k)的碰撞检测模型，得到优化后的碰撞检测模型，训练时学习率lr设置为0.001，每经过100个epoch动态调整下降一半，训练500个epoch，当连续20个epoch的均方误差MSE损失函数不变时，结束训练。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于子图嵌入图神经网络的机械臂碰撞检测方法，其特征在于，包括如下步骤：

a)拍摄N张机械臂随机取物过程中的环境照片，提取每张环境照片中机械臂和障碍物的边界作为多边形；

b)使用Flexible Collision Library库计算第i张环境照片中机械臂的多边形和障碍物的多边形之间的最小距离d_i，i∈{1,2,...,N}；

c)将第i张环境照片中机械臂的多边形转换为无向图G_r，G_r＝(V_r,ε_r,X_r)，V_r为无向图G_r中节点集合，无向图G_r中的节点为第i张环境照片中机械臂的多边形的顶点， 为节点集合V_r中第i个节点，i∈{1,2,...,n}，n为第i张环境照片中机械臂的多边形的顶点的总数，ε_r为无向图G_r中边的集合，无向图G_r中的边为第i张环境照片中机械臂的多边形的边，/>为第i个节点/>与和其邻近的第j个节点/>之间的边，j∈{1,2,...,n}，/>X_r为无向图G_r中节点特征的集合， 为第i个节点/>的节点特征，/>x_i为第i个节点/>在直角坐标系中的X轴坐标，y_i为第i个节点/>在直角坐标系中的Y轴坐标；

d)将第i张环境照片中障碍物的多边形转换为无向图G_o，G_o＝(V_o,ε_o,X_o)，V_o为无向图G_o中节点集合，无向图G_o中的节点为第i张环境照片中障碍物的多边形的顶点， 为节点集合V_o中第i个节点，i∈{1,2,...,m}，m为第i张环境照片中障碍物的多边形的顶点的总数，ε_o为无向图G_o中边的集合，无向图G_o中的边为第i张环境照片中障碍物的多边形的边，/>为第i个节点/>与和其邻近的第j个节点之间的边，j∈{1,2,...,m}，/>X_o为无向图G_o中节点特征的集合， 为第i个节点/>的节点特征，/>x′_i为第i个节点/>在直角坐标系中的X轴坐标，y′_i为第i个节点/>在直角坐标系中的Y轴坐标；

e)第i个样本为(G_r,G_o)_i，i∈{1,2,…,N}，最小距离d_i为第i个样本(G_r,G_o)的标签值，得到N个样本{(G_r,G_o)₁,(G_r,G_o)₂,…,(G_r,G_o)_i,…,(G_r,G_o)_N}，在N个样本中划分P％的样本作为测试集，将1-P％的样本作为训练集；

f)构建训练集中第i个样本(G_r,G_o)_i的连通图G_u；

g)将连通图G_u划分为subn个子图G_sub1、G_sub2、…、G_subi、…、G_subn，G_subi为第i个子图，i∈{sub1,…,subn}，对subn个子图G_sub1、G_sub2、…、G_subi、…、G_subn分别使用图注意力网络更新节点特征，得到更新图分别计算更新图的加权信息特征

h)根据更新图得到无向图/>和无向图/>通过无向图/>和无向图/>构建连通图/>将连通图/>划分为subn个子图 为第i个子图，i∈{sub1,…,subn}，对subn个子图/>分别使用图注意力网络更新节点特征，得到更新图/>分别计算更新图的加权信息特征

i)重复步骤h)K次，第k次重复执行步骤h)时得到更新图的加权信息特征的加权信息特征，k∈{1,2,…,K}；

j)将加权信息特征分别求转置变为行向量特征/>将堆叠成为一个2+K行的矩阵C_subi,得到subn个子图的矩阵C_sub1、C_sub2、...C_subn；

k)将subn个子图的矩阵C_sub1、C_sub2、...C_subn分别按列进行逐元素最大池化，得到向量C_f,sub1、C_f,sub2、...C_f,subn，将向量C_f,sub1、C_f,sub2、...C_f,subn相互串联后输入到多层感知机MLP中，输出得到训练集中第i个样本(G_r,G_o)_i的碰撞距离完成碰撞检测模型的建立；

l)训练碰撞检测模型，得到优化后的碰撞检测模型；

m将测试集中第j个样本(G_r,G_o)_j输入到优化后的碰撞检测模型中，输出得到测试集中第j个样本(G_r,G_o)_j的碰撞距离设定安全距离为d_safe，当碰撞距离/>小于安全距离d_safe时，判定为发生碰撞；

步骤g)包括如下步骤：

g-1)使用格文-纽曼算法将连通图G_u划分为subn个子图G_sub1、G_sub2、...、G_subi、...、G_subn，G_subi＝(V_subi,ε_subi,X_subi)，V_subi为第i个子图G_subi中节点集合，子图G_subi中的节点为第i个子图中多边形的顶点， 为节点集合V_subi中第i个节点，i∈{1,2,...,o}，o为第i个子图G_subi的多边形的顶点的总数，ε_subi为第i个子图G_subi中边的集合，第i个子图G_subi中的边为第i个子图中多边形的边，/>为第i个节点与和其邻近的第j个节点/>之间的边，j∈{1,2,...,o}，/>X_subi为第i个子图G_subi中节点特征的集合，/> 为第i个节点/>的节点特征，/>x_subi为第i个节点/>在直角坐标系中的X轴坐标，y_subi为第i个节点/>在直角坐标系中的Y轴坐标；

g-2)通过公式计算得到第i个子图G_subi中第i个节点/>与和其邻近的第j个节点/>的注意力系数e_ij，式中/>为第j个节点/>的节点特征，x_subj为第j个节点/>在直角坐标系中的X轴坐标，y_subj为第j个节点/>在直角坐标系中的Y轴坐标，W和a均为可训练参数，||为拼接操作；

g-3)对注意力系数e_ij进行归一化操作，得到归一化后的注意力系数α_ij；

g-4)通过公式计算得到第i个节点/>的更新后的节点特征/>式中N_i为与第i个节点/>的邻居集合索引集，W₂为可训练参数，得到更新后的节点特征集合/>

g-5)得到更新图为

g-6)通过公式计算得到更新图/>中第i个节点的注意力权重/>式中T为转置，a⁽¹⁾为可训练注意力值向量；

g-7)通过公式

计算得到更新图的加权信息特征/>步骤h)包括如下步骤：

h-1)将subn个更新图的节点特征赋值到无向图G_r及无向图G_o对应的节点上，得到无向图/>和无向图/>

h-2)选取无向图中注意力权重最大最大的前f个节点/>f个节点分别与图/>的节点集合V_o中m个节点相连形成若干边，各个边构成边集合ε′_f，选取图/>中注意力权重最大的前g个节点/>g个节点分别与图/>的节点集合V_r中n个节点相连形成若干边，各个边构成边集合ε′_g；

h-3)构建连通图 ε_c′为连通图/>中边的集合，ε_c′＝ε′_f+ε′_g+ε_r+ε_o,/>为节点特征集合，

h-4)使用格文-纽曼算法将连通图划分为subn个子图

为第i个子图/>中节点集合，子图/>中的节点为第i个子图中多边形的顶点，/> 为节点集合/>中第i个节点，i∈{1,2,...,p}，o为第i个子图/>的多边形的顶点的总数，/>为第i个子图/>中边的集合，第i个子图/>中的边为第i个子图中多边形的边，/>为第i个节点/>与和其邻近的第j个节点/>之间的边，j∈{1,2,...,p}，/> 为第i个子图/>中节点特征的集合， 为第i个节点/>的节点特征，/> 为第i个节点/>在直角坐标系中的X轴坐标，为第i个节点/>在直角坐标系中的Y轴坐标；

h-5)通过公式计算得到第i个子图/>中第i个节点/>与和其邻近的第j个节点/>的注意力系数/>式中/>为第j个节点/>的节点特征，/> 为第j个节点/>在直角坐标系中的X轴坐标，/>为第j个节点/>在直角坐标系中的Y轴坐标，W⁽¹⁾和a⁽¹⁾均为可训练参数；

h-6)对注意力系数进行归一化操作，得到归一化后的注意力系数/>

h-7)通过公式计算得到第i个节点/>的更新后的节点特征/>式中/>为与第i个节点/>的邻居集合索引集，/>为可训练参数，得到更新后的节点特征集合/>

h-8)得到更新图为

h-9)通过公式计算得到更新图/>中第i个节点的注意力权重/>a⁽²⁾为可训练注意力值向量；

h-10)通过公式

计算得到更新图的加权信息特征/>

2.根据权利要求1所述的基于子图嵌入图神经网络的机械臂碰撞检测方法，其特征在于：步骤a)中N取值为50000。

3.根据权利要求1所述的基于子图嵌入图神经网络的机械臂碰撞检测方法，其特征在于：步骤a)中使用labelme工具中的多边形注释方法提取每张环境照片中机械臂和障碍物的边界作为多边形。

4.根据权利要求1所述的基于子图嵌入图神经网络的机械臂碰撞检测方法，其特征在于：步骤e)中P取值为20。

5.根据权利要求1所述的基于子图嵌入图神经网络的机械臂碰撞检测方法，其特征在于，步骤f)包括如下步骤：

f-1)建立二部图G_c，G_c＝(V_c,ε_c,X_c)，其中V_c为训练集中第i个样本(G_r,G_o)_i的无向图G_r中节点与无向图G_o中节点相加后的集合，V_c＝V_r+V_o， 为节点集合V_c中第i个节点，i∈{1,2,...,n+m}，X_c为二部图G_c中节点特征的集合，X_c＝X_r+X_o，

为第i个节点/>的节点特征，从无向图G_o的节点集合V_o中随机选择f个节点，f个节点分别与无向图G_r的节点集合V_r中n个节点相连形成若干边，各个边构成边集合ε_f，从无向图G_r的节点集合V_r中随机选择g个节点，g个节点分别与无向图G_o的节点集合V_o中m个节点相连形成若干边，各个边构成边集合ε_g，ε_c为二部图G_c中边的集合，ε_c＝ε_f+ε_g；

f-2)基于无向图G_r、无向图G_o、二部图G_c构建连通图G_u，G_u＝(V_c,ε_u,X_c)，ε_u为连通图G_u中边的集合，ε_u＝ε_r+ε_o+ε_c。

6.根据权利要求1所述的基于子图嵌入图神经网络的机械臂碰撞检测方法，其特征在于：步骤l)中使用均方误差MSE损失函数通过ADAM优化器训练步骤f)至步骤k)的碰撞检测模型，得到优化后的碰撞检测模型，训练时学习率lr设置为0.001，每经过100个epoch动态调整下降一半，训练500个epoch，当连续20个epoch的均方误差MSE损失函数不变时，结束训练。