CN116935252A - 一种基于子图嵌入图神经网络的机械臂碰撞检测方法 - Google Patents

一种基于子图嵌入图神经网络的机械臂碰撞检测方法 Download PDF

Info

Publication number
CN116935252A
CN116935252A CN202310834420.9A CN202310834420A CN116935252A CN 116935252 A CN116935252 A CN 116935252A CN 202310834420 A CN202310834420 A CN 202310834420A CN 116935252 A CN116935252 A CN 116935252A
Authority
CN
China
Prior art keywords
node
graph
sub
ith
subi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310834420.9A
Other languages
English (en)
Other versions
CN116935252B (zh
Inventor
王英龙
赵鹏
舒明雷
狄冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Original Assignee
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Institute of Artificial Intelligence filed Critical Qilu University of Technology
Priority to CN202310834420.9A priority Critical patent/CN116935252B/zh
Publication of CN116935252A publication Critical patent/CN116935252A/zh
Application granted granted Critical
Publication of CN116935252B publication Critical patent/CN116935252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426Graphical representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Feedback Control In General (AREA)

Abstract

一种基于子图嵌入图神经网络的机械臂碰撞检测方法,涉及虚拟仿真碰撞检测技术领域,将机械臂和障碍物分别用图表示,使用图表示机械臂和障碍物的几何信息,并构造连通图,为防止局部碰撞特征被稀释,将连通图分割为若干包含局部碰撞信息的子图,通过图神经网络嵌入图之间的几何关系,提取机械臂和障碍物的局部碰撞信息,提高特征提取性能,其检测精度相对于以往方法大大提高。使用基于注意力的选择机制构建机械臂和障碍物的连通图,在保留结构信息的同时,降低模型发现远距离信息的可能,提高消息传递的性能。

Description

一种基于子图嵌入图神经网络的机械臂碰撞检测方法
技术领域
本发明涉及虚拟仿真碰撞检测技术领域,具体涉及一种基于子图嵌入图神经网络的机械臂碰撞检测方法。
背景技术
“工业4.0”时代主要分为两大主题,“智能工厂”和“智能生产”,其基础就是通过机器人来代替人类进行劳动生产,以实现智能制造。因此,提高对机器人的智能控制效率对“工业4.0”时代来说至关重要。在各种类型的机器人中,最具有灵活性以及通用性的非机械臂莫属,并且机械臂的应用领域最为广泛。随着机械臂的工作环境越来越复杂,以及其完成任务的难度也越来越高,机械臂的自由度在不断增加,工作空间也由二维转换到三维。机械臂帮我们高效的完成重复性的工作的同时,对其运动稳定性、安全性也提出了较高的要求。高效的碰撞检测技术能够提前检测出危险情况,大大提高机械臂的安全性,避免对机械臂本体和周围环境物品造成破坏,同时也节约了人力和资金的投入,为机械臂能够在各种工作场景作业提供的坚定的基础。
目前,机械臂碰撞检测方法主要可分为外接设备法以及基于模型的方法两种,外接设备法需要添加额外的传感器和相机,以进行信息的采集避免碰撞。但这种检测效果易受环境影响,并且成本高,效果也不稳定。Lumelsky.V.J等在机械臂上安装智能皮肤来检测碰撞,这种方法虽然准确率非常高,但检测过程复杂,需要处理的数据很多,检测速度过度依赖于处理器的性能。相比而言,基于模型的方法更为可靠。基于模型的方法是输入机器人和环境场景信息并将机器人的网格元素与周围物体和障碍物的网格进行比较的算法,但这种方法的效率和精度都比较低。随着深度学习技术的发展,Yeseung Kim等人提出将图神经网络应用在碰撞检测上,通过将机械臂和障碍物表示为图结构,使用图神经网络来回归机械臂和障碍物的碰撞距离并检测碰撞,它存在的一个问题,由于邻居节点之间信息的反复更新,以及信息从主要节点扩散到外围节点,图嵌入会收敛到优势节点信息,即节点信息稀释,其中分布相对较少的带有碰撞信息的节点会被其他节点信息隐藏或稀释,这会导致预测性能严重恶化,在机械臂和周围障碍物的碰撞检测中,这是一个重要的问题。
发明内容
本发明为了克服以上技术的不足,提供了一种使用图神经网络更新节点特征,捕获连通图内机械臂和障碍物之间的空间关系,提高特征提取性能,检测精度大大提高的方法。
本发明克服其技术问题所采用的技术方案是:
一种基于子图嵌入图神经网络的机械臂碰撞检测方法,包括如下步骤:
a)拍摄N张机械臂随机取物过程中的环境照片,提取每张环境照片中机械臂和障碍物的边界作为多边形;
b)使用Flexible Collision Library库计算第i张环境照片中机械臂的多边形和障碍物的多边形之间的最小距离di,i∈{1,2,...,N};
c)将第i张环境照片中机械臂的多边形转换为无向图Gr,Gr=(Vrr,Xr),Vr为无向图Gr中节点集合,无向图Gr中的节点为第i张环境照片中机械臂的多边形的顶点, 为节点集合Vr中第i个节点,i∈{1,2,...,n},n为第i张环境照片中机械臂的多边形的顶点的总数,εr为无向图Gr中边的集合,无向图Gr中的边为第i张环境照片中机械臂的多边形的边,/>为第i个节点/>与和其邻近的第j个节点/>之间的边,j∈{1,2,...,n},/>Xr为无向图Gr中节点特征的集合,/> 为第i个节点/>的节点特征,/>xi为第i个节点/>在直角坐标系中的X轴坐标,yi为第i个节点/>在直角坐标系中的Y轴坐标;
d)将第i张环境照片中障碍物的多边形转换为无向图Go,Go=(Voo,Xo),Vo为无向图Go中节点集合,无向图Go中的节点为第i张环境照片中障碍物的多边形的顶点, 为节点集合Vo中第i个节点,i∈{1,2,...,m},m为第i张环境照片中障碍物的多边形的顶点的总数,εo为无向图Go中边的集合,无向图Go中的边为第i张环境照片中障碍物的多边形的边,/>为第i个节点/>与和其邻近的第j个节点/>之间的边,j∈{1,2,...,m},/>Xo为无向图Go中节点特征的集合,/> 为第i个节点/>的节点特征,/>x′i为第i个节点/>在直角坐标系中的X轴坐标,y′i为第i个节点/>在直角坐标系中的Y轴坐标;
e)第i个样本为(Gr,Go)i,i∈{1,2,...,N},最小距离di为第i个样本(Gr,Go)的标签值,得到N个样本{(Gr,Go)1,(Gr,Go)2,...,(Gr,Go)i,...,(Gr,Go)N},在N个样本中划分P%的样本作为测试集,将1-P%的样本作为训练集;
f)构建训练集中第i个样本(Gr,Go)i的连通图Gu
g)将连通图Gu划分为subn个子图Gsub1、Gsub2、...、Gsubi、...、Gsubn,Gsubi为第i个子图,i∈{sub1,...,subn},对subn个子图Gsub1、Gsub2、...、Gsubi、...、Gsubn分别使用图注意力网络更新节点特征,得到更新图分别计算更新图的加权信息特征/>
h)根据更新图得到无向图/>和无向图/>通过无向图/>和无向图/>构建连通图/>将连通图/>划分为subn个子图 为第i个子图,i∈{sub1,...,subn},对subn个子图/>分别使用图注意力网络更新节点特征,得到更新图/>分别计算更新图/>的加权信息特征/>
i)重复步骤h)K次,第k次重复执行步骤h)时得到更新图的加权信息特征/>的加权信息特征,k∈{1,2,...,K};
j)将加权信息特征分别求转置变为行向量特征/>将/>堆叠成为一个2+K行的矩阵Csubi,得到subn个子图的矩阵Csub1、Csub2、...Csubn
k)将subn个子图的矩阵Csub1、Csub2、...Csubn分别按列进行逐元素最大池化,得到向量Cf,sub1、Cf,sub2、...Cf,subn,将向量Cf,sub1、Cf,sub2、...Cf,subn相互串联后输入到多层感知机MLP中,输出得到训练集中第i个样本(Gr,Go)i的碰撞距离完成碰撞检测模型的建立;l)训练碰撞检测模型,得到优化后的碰撞检测模型;
m将测试集中第j个样本(Gr,Go)j输入到优化后的碰撞检测模型中,输出得到测试集中第j个样本(Gr,Go)j的碰撞距离设定安全距离为dsafe,当碰撞距离/>小于安全距离dsafe时,判定为发生碰撞。
优选的,步骤a)中N取值为50000。
进一步的,步骤a)中使用labelme工具中的多边形注释方法提取每张环境照片中机械臂和障碍物的边界作为多边形。
优选的,步骤e)中P取值为20。
进一步的,步骤f)包括如下步骤:
f-1)建立二部图Gc,Gc=(Vcc,Xc),其中Vc为训练集中第i个样本(Gr,Go)i的无向图Gr中节点与无向图Go中节点相加后的集合,Vc=Vr+Vo
为节点集合Vc中第i个节点,i∈{1,2,...,n+m},Xc为二部图Gc中节点特征的集合,Xc=Xr+Xo
为第i个节点/>的节点特征,从无向图Go的节点集合Vo中随机选择f个节点,f个节点分别与无向图Gr的节点集合Vr中n个节点相连形成若干边,各个边构成边集合εf,从无向图Gr的节点集合Vr中随机选择g个节点,g个节点分别与无向图Go的节点集合Vo中m个节点相连形成若干边,各个边构成边集合εg,εc为二部图Gc中边的集合,εc=εfg
f-2)基于无向图Gr、无向图Go、二部图Gc构建连通图Gu,Gu=(Vcu,Xc),εu为连通图Gu中边的集合,εu=εroc。进一步的,步骤g)包括如下步骤:
g-1)使用格文-纽曼算法将连通图Gu划分为subn个子图Gsub1、Gsub2、...、Gsubi、...、Gsubn,Gsubi=(Vsubisubi,Xsubi),Vsubi为第i个子图Gsubi中节点集合,子图Gsubi中的节点为第i个子图中多边形的顶点,, 为节点集合Vsubi中第i个节点,i∈{1,2,...,o},o为第i个子图Gsubi的多边形的顶点的总数,εsubi为第i个子图Gsubi中边的集合,第i个子图Gsubi中的边为第i个子图中多边形的边,/>为第i个节点/>与和其邻近的第j个节点/>之间的边,j∈{1,2,...,o},/>Xsubi为第i个子图Gsubi中节点特征的集合,/> 为第i个节点的节点特征,/>xsubi为第i个节点/>在直角坐标系中的X轴坐标,ysubi为第i个节点/>在直角坐标系中的Y轴坐标;
g-2)通过公式计算得到第i个子图Gsubi中第i个节点/>与和其邻近的第j个节点/>的注意力系数eij,式中/>为第j个节点/>的节点特征,xsubj为第j个节点/>在直角坐标系中的X轴坐标,ysubj为第j个节点/>在直角坐标系中的Y轴坐标,W和a均为可训练参数,||为拼接操作;
g-3)对注意力系数eij进行归一化操作,得到归一化后的注意力系数αij
g-4)通过公式计算得到第i个节点/>的更新后的节点特征/>式中Ni为与第i个节点/>的邻居集合索引集,W2为可训练参数,得到更新后的节点特征集合/>
g-5)得到更新图为
g-6)通过公式计算得到更新图/>中第i个节点的注意力权重/>式中T为转置,a(1)为可训练注意力值向量;
g-7)通过公式
计算得到更新图的加权信息特征/>
进一步的,步骤h)包括如下步骤:
h-1)将subn个更新图的节点特征赋值到无向图Gr及无向图Go对应的节点上,得到无向图/>和无向图/>
h-2)选取无向图中注意力权重最大最大的前f个节点/>f个节点分别与图/>的节点集合Vo中m个节点相连形成若干边,各个边构成边集合ε′f,选取图/>中注意力权重最大的前g个节点/>g个节点分别与图/>的节点集合Vr中n个节点相连形成若干边,各个边构成边集合ε′g
h-3)构建连通图 ε′c为连通图/>中边的集合,ε′c=ε′f+ε′gro,/>为节点特征集合,/>
h-4)使用格文-纽曼算法将连通图划分为subn个子图 为第i个子图/>中节点集合,子图/>中的节点为第i个子图中多边形的顶点,, 为节点集合/>中第i个节点,i∈{1,2,...,p},o为第i个子图/>的多边形的顶点的总数,/>为第i个子图/>中边的集合,第i个子图/>中的边为第i个子图中多边形的边,/>为第i个节点/>与和其邻近的第j个节点/>之间的边,j∈{1,2,...,p},/> 为第i个子图/>中节点特征的集合,/> 为第i个节点的节点特征,/> 为第i个节点/>在直角坐标系中的X轴坐标,/>为第i个节点/>在直角坐标系中的Y轴坐标;
h-5)通过公式计算得到第i个子图/>中第i个节点/>与和其邻近的第j个节点/>的注意力系数/>式中/>为第j个节点的节点特征,/> 为第j个节点/>在直角坐标系中的X轴坐标,/>为第j个节点/>在直角坐标系中的Y轴坐标,W(1)和a(1)均为可训练参数;
h-6)对注意力系数进行归一化操作,得到归一化后的注意力系数/>
h-7)通过公式计算得到第i个节点/>的更新后的节点特征/>式中/>为与第i个节点/>的邻居集合索引集,/>为可训练参数,得到更新后的节点特征集合/>
h-8)得到更新图为
h-9)通过公式计算得到更新图/>中第i个节点的注意力权重/>a(2)为可训练注意力值向量;
h-10)通过公式
计算得到更新图的加权信息特征/>优选的,步骤l)中使用均方误差MSE损失函数通过ADAM优化器训练步骤f)至步骤k)的碰撞检测模型,得到优化后的碰撞检测模型,训练时学习率lr设置为0.001,每经过100个epoch动态调整下降一半,训练500个epoch,当连续20个epoch的均方误差MSE损失函数不变时,结束训练。
本发明的有益效果是:将机械臂和障碍物分别用图表示,使用图表示机械臂和障碍物的几何信息,并构造连通图,为防止局部碰撞特征被稀释,将连通图分割为若干包含局部碰撞信息的子图,通过图神经网络嵌入图之间的几何关系,提取机械臂和障碍物的局部碰撞信息,提高特征提取性能,其检测精度相对于以往方法大大提高。使用基于注意力的选择机制构建机械臂和障碍物的连通图,在保留结构信息的同时,降低模型发现远距离信息的可能,提高消息传递的性能。
附图说明
图1为构建机械臂与障碍物图;
图2为本发明的网络模型结构图;
图3为本发明的构建的连通图的示意图。
具体实施方式
下面结合附图1、附图2、附图3对本发明做进一步说明。
一种基于子图嵌入图神经网络的机械臂碰撞检测方法,包括如下步骤:
a)拍摄N张机械臂随机取物过程中的环境照片,提取每张环境照片中机械臂和障碍物的边界作为多边形。
b)使用Flexible Collision Library库计算第i张环境照片中机械臂的多边形和障碍物的多边形之间的最小距离di,i∈{1,2,...,N}。
c)将第i张环境照片中机械臂的多边形转换为无向图Gr,Gr=(Vrr,Xr),Vr为无向图Gr中节点集合,无向图Gr中的节点为第i张环境照片中机械臂的多边形的顶点, 为节点集合Vr中第i个节点,i∈{1,2,...,n},n为第i张环境照片中机械臂的多边形的顶点的总数,εr为无向图Gr中边的集合,无向图Gr中的边为第i张环境照片中机械臂的多边形的边,/>为第i个节点/>与和其邻近的第j个节点/>之间的边,j∈{1,2,...,n},/>Xr为无向图Gr中节点特征的集合,/> 为第i个节点/>的节点特征,/>xi为第i个节点/>在直角坐标系中的X轴坐标,yi为第i个节点/>在直角坐标系中的Y轴坐标。
d)将第i张环境照片中障碍物的多边形转换为无向图Go,Go=(Voo,Xo),Vo为无向图Go中节点集合,无向图Go中的节点为第i张环境照片中障碍物的多边形的顶点, 为节点集合Vo中第i个节点,i∈{1,2,...,m},m为第i张环境照片中障碍物的多边形的顶点的总数,εo为无向图Go中边的集合,无向图Go中的边为第i张环境照片中障碍物的多边形的边,/>为第i个节点/>与和其邻近的第j个节点/>之间的边,j∈{1,2,...,m},/>Xo为无向图Go中节点特征的集合, 为第i个节点/>的节点特征,/>x′i为第i个节点/>在直角坐标系中的X轴坐标,y′i为第i个节点/>在直角坐标系中的Y轴坐标。
e)第i个样本为(Gr,Go)i,i∈{1,2,...,N},最小距离di为第i个样本(Gr,Go)的标签值,得到N个样本{(Gr,Go)1,(Gr,Go)2,...,(Gr,Go)i,...,(Gr,Go)N},在N个样本中划分P%的样本作为测试集,将1-P%的样本作为训练集;
f)构建训练集中第i个样本(Gr,Go)i的连通图Gu
g)将连通图Gu划分为subn个子图Gsub1、Gsub2、...、Gsubi、...、Gsubn,Gsubi为第i个子图,i∈{sub1,...,subn},对subn个子图Gsub1、Gsub2、...、Gsubi、...、Gsubn分别使用图注意力网络更新节点特征,得到更新图分别计算更新图的加权信息特征/>
h)根据更新图得到无向图/>和无向图/>通过无向图/>和无向图/>构建连通图/>将连通图/>划分为subn个子图 为第i个子图,i∈{sub1,...,subn},对subn个子图/>分别使用图注意力网络更新节点特征,得到更新图/>分别计算更新图/>的加权信息特征/>
i)重复步骤h)K次,第k次重复执行步骤h)时得到更新图的加权信息特征/>的加权信息特征,k∈{1,2,...,K}。
j)将加权信息特征分别求转置变为行向量特征/>将/>堆叠成为一个2+K行的矩阵Csubi,得到subn个子图的矩阵Csub1、Csub2、...Csubn
k)将subn个子图的矩阵Csub1、Csub2、...Csubn分别按列进行逐元素最大池化,得到向量Cf,sub1、Cf,sub2、...Cf,subn,将向量Cf,sub1、Cf,sub2、...Cf,subn相互串联后输入到多层感知机MLP中,输出得到训练集中第i个样本(Gr,Go)i的碰撞距离完成碰撞检测模型的建立;l)训练碰撞检测模型,得到优化后的碰撞检测模型。
m将测试集中第j个样本(Gr,Go)j输入到优化后的碰撞检测模型中,输出得到测试集中第j个样本(Gr,Go)j的碰撞距离设定安全距离为dsafe,当碰撞距离/>小于安全距离dsafe时,判定为发生碰撞。
使用连通图表示机械臂和障碍物,图是一种更直接的结构,可以存储和表示结构信息。在这个图中,节点为我们提取的机械臂和障碍物几何形状的顶点,边代表我们机械臂和障碍物各自内部几何形状的边以及我们构造连通图时添加的边。考虑到邻居节点信息的重复更新以及信息从主导节点到外围节点的传播,图嵌入会收敛到来自其他节点的信息,导致局部碰撞特征被稀释,而人为断开会阻止此类信息扩展,我们将连通图分割为若干包含碰撞信息的子图。然后使用图神经网络更新节点特征,捕获连通图内机械臂和障碍物之间的空间关系,提高特征提取性能,其检测精度相对于以往方法大大提高。
在本发明的一个实施例中,步骤a)中N取值为50000。步骤a)中使用labelme工具中的多边形注释方法提取每张环境照片中机械臂和障碍物的边界作为多边形。步骤e)中P取值为20。
在本发明的一个实施例中,步骤f)包括如下步骤:
f-1)建立二部图Gc,Gc=(Vcc,Xc),其中Vc为训练集中第i个样本(Gr,Go)i的无向图Gr中节点与无向图Go中节点相加后的集合,Vc=Vr+Vo
为节点集合Vc中第i个节点,i∈{1,2,...,n+m},Xc为二部图Gc中节点特征的集合,Xc=Xr+Xo
为第i个节点/>的节点特征,从无向图Go的节点集合Vo中随机选择f个节点,f个节点分别与无向图Gr的节点集合Vr中n个节点相连形成若干边,各个边构成边集合εf,从无向图Gr的节点集合Vr中随机选择g个节点,g个节点分别与无向图Go的节点集合Vo中m个节点相连形成若干边,各个边构成边集合εg,εc为二部图Gc中边的集合,εc=εfg
f-2)基于无向图Gr、无向图Go、二部图Gc构建连通图Gu,Gu=(Vcu,Xc),εu为连通图Gu中边的集合,εu=εroc。在本发明的一个实施例中,步骤g)包括如下步骤:
g-1)为了防止局部碰撞信息被稀释,使用格文-纽曼算法将连通图Gu划分为subn个子图Gsub1、Gsub2、...、Gsubi、...、Gsubn,Gsubi=(Vsubisubi,Xsubi),Vsubi为第i个子图Gsubi中节点集合,子图Gsubi中的节点为第i个子图中多边形的顶点,, 为节点集合Vsubi中第i个节点,i∈{1,2,...,o},o为第i个子图Gsubi的多边形的顶点的总数,εsubi为第i个子图Gsubi中边的集合,第i个子图Gsubi中的边为第i个子图中多边形的边,/>为第i个节点/>与和其邻近的第j个节点/>之间的边,j∈{1,2,...,o},/>Xsubi为第i个子图Gsubi中节点特征的集合,/> 为第i个节点/>的节点特征,/>xsubi为第i个节点/>在直角坐标系中的X轴坐标,ysubi为第i个节点/>在直角坐标系中的Y轴坐标。
g-2)通过公式计算得到第i个子图Gsubi中第i个节点/>与和其邻近的第j个节点/>的注意力系数eij,式中/>为第j个节点/>的节点特征,xsubj为第j个节点/>在直角坐标系中的X轴坐标,ysubj为第j个节点/>在直角坐标系中的Y轴坐标,W和a均为可训练参数,||为拼接操作。
g-3)对注意力系数eij进行归一化操作,得到归一化后的注意力系数αij
g-4)通过公式计算得到第i个节点/>的更新后的节点特征/>式中Ni为与第i个节点/>的邻居集合索引集,W2为可训练参数,得到更新后的节点特征集合/>
g-5)得到更新图为
g-6)通过公式计算得到更新图/>中第i个节点的注意力权重/>式中T为转置,a(1)为可训练注意力值向量。
g-7)通过公式
计算得到更新图的加权信息特征/>
在本发明的一个实施例中,步骤h)包括如下步骤:
h-1)将subn个更新图的节点特征赋值到无向图Gr及无向图Go对应的节点上,得到无向图/>和无向图/>
h-2)选取无向图中注意力权重最大最大的前f个节点/>f个节点分别与图/>的节点集合Vo中m个节点相连形成若干边,各个边构成边集合ε′f,选取图/>中注意力权重最大的前g个节点/>g个节点分别与图/>的节点集合Vr中n个节点相连形成若干边,各个边构成边集合ε′g
h-3)构建连通图 ε′c为连通图/>中边的集合,ε′c=ε′f+ε′gro,/>为节点特征集合,/>
h-4)使用格文-纽曼算法将连通图划分为subn个子图/> 为第i个子图/>中节点集合,子图/>中的节点为第i个子图中多边形的顶点,,/> 为节点集合/>中第i个节点,i∈{1,2,...,p},o为第i个子图/>的多边形的顶点的总数,/>为第i个子图/>中边的集合,第i个子图/>中的边为第i个子图中多边形的边,/>为第i个节点/>与和其邻近的第j个节点/>之间的边,j∈{1,2,...,p},/> 为第i个子图/>中节点特征的集合,/> 为第i个节点/>的节点特征,/> 为第i个节点/>在直角坐标系中的X轴坐标,/>为第i个节点/>在直角坐标系中的Y轴坐标。
h-5)通过公式计算得到第i个子图/>中第i个节点/>与和其邻近的第j个节点/>的注意力系数/>式中/>为第j个节点的节点特征,/> 为第j个节点/>在直角坐标系中的X轴坐标,/>为第j个节点/>在直角坐标系中的Y轴坐标,W(1)和a(1)均为可训练参数。
h-6)对注意力系数进行归一化操作,得到归一化后的注意力系数/>
h-7)通过公式计算得到第i个节点/>的更新后的节点特征/>式中/>为与第i个节点/>的邻居集合索引集,/>为可训练参数,得到更新后的节点特征集合/>
h-8)得到更新图为
h-9)通过公式计算得到更新图/>中第i个节点的注意力权重/>a(2)为可训练注意力值向量。
h-10)通过公式
计算得到更新图的加权信息特征/>在本发明的一个实施例中,步骤l)中使用均方误差MSE损失函数通过ADAM优化器训练步骤f)至步骤k)的碰撞检测模型,得到优化后的碰撞检测模型,训练时学习率lr设置为0.001,每经过100个epoch动态调整下降一半,训练500个epoch,当连续20个epoch的均方误差MSE损失函数不变时,结束训练。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于子图嵌入图神经网络的机械臂碰撞检测方法,其特征在于,包括如下步骤:
a)拍摄N张机械臂随机取物过程中的环境照片,提取每张环境照片中机械臂和障碍物的边界作为多边形;
b)使用Flexible Collision Library库计算第i张环境照片中机械臂的多边形和障碍物的多边形之间的最小距离di,i∈{1,2,...,N};
c)将第i张环境照片中机械臂的多边形转换为无向图Gr,Gr=(Vrr,Xr),Vr为无向图Gr中节点集合,无向图Gr中的节点为第i张环境照片中机械臂的多边形的顶点, 为节点集合Vr中第i个节点,i∈{1,2,...,n},n为第i张环境照片中机械臂的多边形的顶点的总数,εr为无向图Gr中边的集合,无向图Gr中的边为第i张环境照片中机械臂的多边形的边,/>为第i个节点/>与和其邻近的第j个节点/>之间的边,j∈{1,2,...,n},/>Xr为无向图Gr中节点特征的集合,/> 为第i个节点/>的节点特征,/>xi为第i个节点/>在直角坐标系中的X轴坐标,yi为第i个节点/>在直角坐标系中的Y轴坐标;
d)将第i张环境照片中障碍物的多边形转换为无向图Go,Go=(Voo,Xo),Vo为无向图Go中节点集合,无向图Go中的节点为第i张环境照片中障碍物的多边形的顶点, 为节点集合Vo中第i个节点,i∈{1,2,...,m},m为第i张环境照片中障碍物的多边形的顶点的总数,εo为无向图Go中边的集合,无向图Go中的边为第i张环境照片中障碍物的多边形的边,/>为第i个节点/>与和其邻近的第j个节点/>之间的边,j∈{1,2,...,m},/>Xo为无向图Go中节点特征的集合,/> 为第i个节点/>的节点特征,/>x′i为第i个节点/>在直角坐标系中的X轴坐标,y′i为第i个节点/>在直角坐标系中的Y轴坐标;
e)第i个样本为(Gr,Go)i,i∈{1,2,...,N},最小距离di为第i个样本(Gr,Go)的标签值,得到N个样本{(Gr,Go)1,(Gr,Go)2,...,(Gr,Go)i,...,(Gr,Go)N},在N个样本中划分P%的样本作为测试集,将1-P%的样本作为训练集;
f)构建训练集中第i个样本(Gr,Go)i的连通图Gu
g)将连通图Gu划分为subn个子图Gsub1、Gsub2、...、Gsubi、...、Gsubn,Gsubi为第i个子图,i∈{sub1,...,subn},对subn个子图Gsub1、Gsub2、...、Gsubi、...、Gsubn分别使用图注意力网络更新节点特征,得到更新图分别计算更新图/>的加权信息特征/>
h)根据更新图得到无向图/>和无向图/>通过无向图/>和无向图/>构建连通图/>将连通图/>划分为subn个子图 为第i个子图,i∈{sub1,...,subn},对subn个子图/>分别使用图注意力网络更新节点特征,得到更新图/>分别计算更新图/>的加权信息特征/>
i)重复步骤h)K次,第k次重复执行步骤h)时得到更新图的加权信息特征/>的加权信息特征,k∈{1,2,...,K};
j)将加权信息特征分别求转置变为行向量特征/>将/>堆叠成为一个2+K行的矩阵Csubi,得到subn个子图的矩阵Csub1、Csub2、...Csubn
k)将subn个子图的矩阵Csub1、Csub2、...Csubn分别按列进行逐元素最大池化,得到向量Cf,sub1、Cf,sub2、...Cf,subn,将向量Cf,sub1、Cf,sub2、...Cf,subn相互串联后输入到多层感知机MLP中,输出得到训练集中第i个样本(Gr,Go)i的碰撞距离完成碰撞检测模型的建立;
l)训练碰撞检测模型,得到优化后的碰撞检测模型;
m将测试集中第j个样本(Gr,Go)j输入到优化后的碰撞检测模型中,输出得到测试集中第j个样本(Gr,Go)j的碰撞距离设定安全距离为dsafe,当碰撞距离/>小于安全距离dsafe时,判定为发生碰撞。
2.根据权利要求1所述的基于子图嵌入图神经网络的机械臂碰撞检测方法,其特征在于:步骤a)中N取值为50000。
3.根据权利要求1所述的基于子图嵌入图神经网络的机械臂碰撞检测方法,其特征在于:步骤a)中使用labelme工具中的多边形注释方法提取每张环境照片中机械臂和障碍物的边界作为多边形。
4.根据权利要求1所述的基于子图嵌入图神经网络的机械臂碰撞检测方法,其特征在于:步骤e)中P取值为20。
5.根据权利要求1所述的基于子图嵌入图神经网络的机械臂碰撞检测方法,其特征在于,步骤f)包括如下步骤:
f-1)建立二部图Gc,Gc=(Vcc,Xc),其中Vc为训练集中第i个样本(Gr,Go)i的无向图Gr中节点与无向图Go中节点相加后的集合,Vc=Vr+Vo
为节点集合Vc中第i个节点,i∈{1,2,...,n+m},Xc为二部图Gc中节点特征的集合,Xc=Xr+Xo
为第i个节点/>的节点特征,从无向图Go的节点集合Vo中随机选择f个节点,f个节点分别与无向图Gr的节点集合Vr中n个节点相连形成若干边,各个边构成边集合εf,从无向图Gr的节点集合Vr中随机选择g个节点,g个节点分别与无向图Go的节点集合Vo中m个节点相连形成若干边,各个边构成边集合εg,εc为二部图Gc中边的集合,εc=εfg
f-2)基于无向图Gr、无向图Go、二部图Gc构建连通图Gu,Gu=(Vcu,Xc),εu为连通图Gu中边的集合,εu=εroc
6.根据权利要求1所述的基于子图嵌入图神经网络的机械臂碰撞检测方法,其特征在于,步骤g)包括如下步骤:
g-1)使用格文-纽曼算法将连通图Gu划分为subn个子图Gsub1、Gsub2、...、Gsubi、...、Gsubn,Gsubi=(Vsubisubi,Xsubi),Vsubi为第i个子图Gsubi中节点集合,子图Gsubi中的节点为第i个子图中多边形的顶点,, 为节点集合Vsubi中第i个节点,i∈{1,2,...,o},o为第i个子图Gsubi的多边形的顶点的总数,εsubi为第i个子图Gsubi中边的集合,第i个子图Gsubi中的边为第i个子图中多边形的边,/>为第i个节点/>与和其邻近的第j个节点/>之间的边,j∈{1,2,...,o},/>Xsubi为第i个子图Gsubi中节点特征的集合,/> 为第i个节点/>的节点特征,/>xsubi为第i个节点/>在直角坐标系中的X轴坐标,ysubi为第i个节点/>在直角坐标系中的Y轴坐标;
g-2)通过公式计算得到第i个子图Gsubi中第i个节点/>与和其邻近的第j个节点/>的注意力系数eij,式中/>为第j个节点/>的节点特征,xsubj为第j个节点/>在直角坐标系中的X轴坐标,ysubj为第j个节点/>在直角坐标系中的Y轴坐标,W和a均为可训练参数,||为拼接操作;
g-3)对注意力系数eij进行归一化操作,得到归一化后的注意力系数αij
g-4)通过公式计算得到第i个节点/>的更新后的节点特征/>式中Ni为与第i个节点/>的邻居集合索引集,W2为可训练参数,得到更新后的节点特征集合/>
g-5)得到更新图为
g-6)通过公式计算得到更新图/>中第i个节点/>的注意力权重/>式中T为转置,a(1)为可训练注意力值向量;
g-7)通过公式
计算得到更新图的加权信息特征/>
7.根据权利要求6所述的基于子图嵌入图神经网络的机械臂碰撞检测方法,其特征在于,步骤h)包括如下步骤:
h-1)将subn个更新图的节点特征赋值到无向图Gr及无向图Go对应的节点上,得到无向图/>和无向图/>
h-2)选取无向图中注意力权重最大最大的前f个节点/>f个节点分别与图/>的节点集合Vo中m个节点相连形成若干边,各个边构成边集合ε′f,选取图/>中注意力权重最大的前g个节点/>g个节点分别与图/>的节点集合Vr中n个节点相连形成若干边,各个边构成边集合ε′g
h-3)构建连通图 εc′为连通图/>中边的集合,ε′c=ε′f+ε′gro,/>为节点特征集合,/>
h-4)使用格文-纽曼算法将连通图划分为subn个子图/> 为第i个子图/>中节点集合,子图/>中的节点为第i个子图中多边形的顶点,,/> 为节点集合/>中第i个节点,i∈{1,2,...,p},o为第i个子图/>的多边形的顶点的总数,/>为第i个子图/>中边的集合,第i个子图/>中的边为第i个子图中多边形的边,/>为第i个节点/>与和其邻近的第j个节点/>之间的边,j∈{1,2,...,p},/> 为第i个子图/>中节点特征的集合,/> 为第i个节点/>的节点特征,/> 为第i个节点/>在直角坐标系中的X轴坐标,/>为第i个节点/>在直角坐标系中的Y轴坐标;
h-5)通过公式计算得到第i个子图/>中第i个节点/>与和其邻近的第j个节点/>的注意力系数/>式中/>为第j个节点/>的节点特征,/> 为第j个节点/>在直角坐标系中的X轴坐标,为第j个节点/>在直角坐标系中的Y轴坐标,W(1)和a(1)均为可训练参数;
h-6)对注意力系数进行归一化操作,得到归一化后的注意力系数/>
h-7)通过公式计算得到第i个节点/>的更新后的节点特征/>式中/>为与第i个节点/>的邻居集合索引集,/>为可训练参数,得到更新后的节点特征集合/>
h-8)得到更新图为
h-9)通过公式计算得到更新图/>中第i个节点/>的注意力权重/>a(2)为可训练注意力值向量;
h-10)通过公式
计算得到更新图的加权信息特征/>
8.根据权利要求1所述的基于子图嵌入图神经网络的机械臂碰撞检测方法,其特征在于:步骤l)中使用均方误差MSE损失函数通过ADAM优化器训练步骤f)至步骤k)的碰撞检测模型,得到优化后的碰撞检测模型,训练时学习率lr设置为0.001,每经过100个epoch动态调整下降一半,训练500个epoch,当连续20个epoch的均方误差MSE损失函数不变时,结束训练。
CN202310834420.9A 2023-07-10 2023-07-10 一种基于子图嵌入图神经网络的机械臂碰撞检测方法 Active CN116935252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310834420.9A CN116935252B (zh) 2023-07-10 2023-07-10 一种基于子图嵌入图神经网络的机械臂碰撞检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310834420.9A CN116935252B (zh) 2023-07-10 2023-07-10 一种基于子图嵌入图神经网络的机械臂碰撞检测方法

Publications (2)

Publication Number Publication Date
CN116935252A true CN116935252A (zh) 2023-10-24
CN116935252B CN116935252B (zh) 2024-02-02

Family

ID=88385568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310834420.9A Active CN116935252B (zh) 2023-07-10 2023-07-10 一种基于子图嵌入图神经网络的机械臂碰撞检测方法

Country Status (1)

Country Link
CN (1) CN116935252B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111913465A (zh) * 2020-06-19 2020-11-10 广东工业大学 一种多智能小车系统的故障实时监测方法及装置
US20200376666A1 (en) * 2018-02-23 2020-12-03 Abb Schweiz Ag Robot system and operation method
US20210295100A1 (en) * 2019-04-08 2021-09-23 Tencent Technology (Shenzhen) Company Limited Data processing method and apparatus, electronic device, and storage medium
US20210299860A1 (en) * 2019-10-15 2021-09-30 Hefei University Of Technology Method and system for robot action imitation learning in three-dimensional space
CN113650016A (zh) * 2021-08-24 2021-11-16 季华实验室 机械臂路径规划系统、方法、装置、电子设备及存储介质
US20210365032A1 (en) * 2020-05-22 2021-11-25 The Regents Of The University Of California Method to optimize robot motion planning using deep learning
US20210397947A1 (en) * 2020-06-19 2021-12-23 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for generating model for representing heterogeneous graph node
CN114153380A (zh) * 2021-11-02 2022-03-08 阿里巴巴达摩院(杭州)科技有限公司 用于数据访问和获取的集成电路、系统和方法
CN114611115A (zh) * 2022-03-18 2022-06-10 北京工业大学 一种基于混合图神经网络的软件源码漏洞检测方法
CN115256397A (zh) * 2022-08-23 2022-11-01 亿嘉和科技股份有限公司 一种基于深度学习的机械臂力控制方法及系统
CN115723129A (zh) * 2022-11-17 2023-03-03 北京工业大学 一种机械臂连续操作运动规划方法
CN115757832A (zh) * 2022-11-30 2023-03-07 杭州半云科技有限公司 一种基于知识图谱技术的案件侦办模型系统
WO2023057185A1 (en) * 2021-10-06 2023-04-13 Deepmind Technologies Limited Coordination of multiple robots using graph neural networks
CN115990874A (zh) * 2022-11-05 2023-04-21 北京化工大学 一种超冗余机械臂分段式动态避障方法
WO2023093735A1 (zh) * 2021-11-23 2023-06-01 上海微创医疗机器人(集团)股份有限公司 机械臂碰撞力检测系统、方法、电子设备和存储介质
CN116306883A (zh) * 2023-03-07 2023-06-23 西北工业大学 一种融合结构和时序特征以提高动态图数据增量学习效果的方法
CN116277025A (zh) * 2023-04-13 2023-06-23 黄冈师范学院 一种智能制造用机器人的物件分拣控制方法及系统
CN116645585A (zh) * 2023-05-24 2023-08-25 山东省人工智能研究院 一种基于异构图神经网络的机械臂碰撞检测方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200376666A1 (en) * 2018-02-23 2020-12-03 Abb Schweiz Ag Robot system and operation method
US20210295100A1 (en) * 2019-04-08 2021-09-23 Tencent Technology (Shenzhen) Company Limited Data processing method and apparatus, electronic device, and storage medium
US20210299860A1 (en) * 2019-10-15 2021-09-30 Hefei University Of Technology Method and system for robot action imitation learning in three-dimensional space
US20210365032A1 (en) * 2020-05-22 2021-11-25 The Regents Of The University Of California Method to optimize robot motion planning using deep learning
CN111913465A (zh) * 2020-06-19 2020-11-10 广东工业大学 一种多智能小车系统的故障实时监测方法及装置
US20210397947A1 (en) * 2020-06-19 2021-12-23 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for generating model for representing heterogeneous graph node
CN113650016A (zh) * 2021-08-24 2021-11-16 季华实验室 机械臂路径规划系统、方法、装置、电子设备及存储介质
WO2023057185A1 (en) * 2021-10-06 2023-04-13 Deepmind Technologies Limited Coordination of multiple robots using graph neural networks
CN114153380A (zh) * 2021-11-02 2022-03-08 阿里巴巴达摩院(杭州)科技有限公司 用于数据访问和获取的集成电路、系统和方法
WO2023093735A1 (zh) * 2021-11-23 2023-06-01 上海微创医疗机器人(集团)股份有限公司 机械臂碰撞力检测系统、方法、电子设备和存储介质
CN114611115A (zh) * 2022-03-18 2022-06-10 北京工业大学 一种基于混合图神经网络的软件源码漏洞检测方法
CN115256397A (zh) * 2022-08-23 2022-11-01 亿嘉和科技股份有限公司 一种基于深度学习的机械臂力控制方法及系统
CN115990874A (zh) * 2022-11-05 2023-04-21 北京化工大学 一种超冗余机械臂分段式动态避障方法
CN115723129A (zh) * 2022-11-17 2023-03-03 北京工业大学 一种机械臂连续操作运动规划方法
CN115757832A (zh) * 2022-11-30 2023-03-07 杭州半云科技有限公司 一种基于知识图谱技术的案件侦办模型系统
CN116306883A (zh) * 2023-03-07 2023-06-23 西北工业大学 一种融合结构和时序特征以提高动态图数据增量学习效果的方法
CN116277025A (zh) * 2023-04-13 2023-06-23 黄冈师范学院 一种智能制造用机器人的物件分拣控制方法及系统
CN116645585A (zh) * 2023-05-24 2023-08-25 山东省人工智能研究院 一种基于异构图神经网络的机械臂碰撞检测方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
JIE ZHOU等: "Graph neural networks: A review of methods and applications", AI OPEN, vol. 1, pages 57 - 81, XP093012865, DOI: 10.1016/j.aiopen.2021.01.001 *
RUIJIA WANG等: "Graph Structure Estimation Neural Networks", CREATIVE COMMONS ATTRIBUTION 4.0 INTERNATIONAL (CC-BY 4.0) LICENSE, pages 1 - 12 *
X. CHEN 等: "Dynamic Obstacle Avoidance Algorithm for Robot Arm Based on Deep Reinforcement Learning", 2022 IEEE 11TH DATA DRIVEN CONTROL AND LEARNING SYSTEMS CONFERENCE (DDCLS), pages 1136 - 1141 *
YESEUNG KIM等: "GraphDistNet: A Graph-based Collision-distance Estimator for Gradient-based Trajectory", ARXIV-2206.01517V2, pages 1 - 8 *
孙权;汤韬;郑建宾;潘婧;赵金涛;: "金融交易数据驱动的图谱网络智能化欺诈侦测", 应用科学学报, no. 05, pages 1 - 3 *
宁懿昕: "基于图神经网络的社区检测", 中国优秀硕士学位论文全文数据库 (基础科学辑), no. 2023, pages 002 - 317 *
林楠: "欠驱动机器人操作中建模优化和控制策略搜索的研究", 中国科学技术大学 20230315 中国博士学位论文全文数据库 信息科技辑), no. 2023, pages 140 - 28 *
赵文晖 等: "目标检测在链条标准件动态抓取中的应用研究", 制造业自动化, vol. 45, no. 4, pages 213 - 216 *

Also Published As

Publication number Publication date
CN116935252B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN110322510B (zh) 一种利用轮廓信息的6d位姿估计方法
CN111626128B (zh) 一种基于改进YOLOv3的果园环境下行人检测方法
CN108010078B (zh) 一种基于三级卷积神经网络的物体抓取检测方法
CN111695562B (zh) 一种基于卷积神经网络的机器人自主抓取方法
CN108549844A (zh) 一种基于多层分形网络和关节亲属模式的多人姿态估计方法
WO2021203807A1 (zh) 一种基于多源数据知识迁移的三维物体检测框架
CN111376273B (zh) 一种类脑启发的机器人认知地图构建方法
CN111241326B (zh) 基于注意力金字塔图网络的图像视觉关系指代定位方法
CN112529010B (zh) 一种基于在线局部特征提取的点云识别方法
CN116665312B (zh) 一种基于多尺度图卷积神经网络的人机协作方法
CN114757904A (zh) 一种基于ai深度学习算法的表面缺陷检测方法
CN114170410A (zh) 基于PointNet的图卷积与KNN搜索的点云零件级分割方法
CN116645585A (zh) 一种基于异构图神经网络的机械臂碰撞检测方法
CN116486489A (zh) 基于语义感知图卷积的三维手物姿态估计方法及系统
CN117029817A (zh) 一种二维栅格地图融合方法及系统
CN114707611A (zh) 基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备
Wu et al. A cascaded CNN-based method for monocular vision robotic grasping
CN110378407A (zh) 基于纹理参数和神经网络的电力设备图像识别方法和装置
CN116935252B (zh) 一种基于子图嵌入图神经网络的机械臂碰撞检测方法
CN116894180B (zh) 一种基于异构图注意力网络的产品制造质量预测方法
CN111881934B (zh) 电子元器件属性与类别的空间关系发现方法
CN117392663A (zh) 基于虚实协同学习策略的机器人数字孪生抓取方法及装置
CN115861563A (zh) 一种图拓扑刚性点云配准的三维重建方法
CN113658236B (zh) 一种基于图注意力机制的残缺点云配准方法
CN116580084A (zh) 一种基于深度学习和点云的工业零件快速位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant