CN113192128A - 一种结合自监督学习的机械臂抓取规划方法和系统 - Google Patents
一种结合自监督学习的机械臂抓取规划方法和系统 Download PDFInfo
- Publication number
- CN113192128A CN113192128A CN202110562483.4A CN202110562483A CN113192128A CN 113192128 A CN113192128 A CN 113192128A CN 202110562483 A CN202110562483 A CN 202110562483A CN 113192128 A CN113192128 A CN 113192128A
- Authority
- CN
- China
- Prior art keywords
- grabbing
- postures
- point
- mechanical arm
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000036544 posture Effects 0.000 claims abstract description 64
- 239000013598 vector Substances 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000013145 classification model Methods 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结合自监督学习的机械臂抓取规划方法和系统，包括：利用物体完整点云生成多个抓取姿态，获取抓取姿态与物体完整点云的一对接触点，比较一对接触点指向物体内部的法向量与单位向量之间的夹角，将较大夹角的正切值作为抓取姿态的质量系数，为抓取姿态生成类别标签；将带有类别标签的多个抓取姿态作为训练数据，训练分类神经网络至收敛，得到抓取质量分类模型；利用待抓取物体完整点云生成多个候选抓取姿态，通过抓取质量分类模型对候选抓取姿态进行打分和分类，将得分最高的候选抓取姿态及其类别作为机械臂最优抓取规划。本发明引入自监督学习方式构建训练数据，实现多目标堆叠场景中未知物体的鲁棒抓取，提高机械臂的抓取成功率。
Description
技术领域
本发明属于机器人应用技术领域，更具体地，涉及一种结合自监督学习的机械臂抓取规划方法和系统。
背景技术
随着工业自动化进程的推进，机器人自动化技术随之加速发展，工业机器人现已广泛应用于工业生产制造过程中。当前，机器人正逐步由传统工业生产环境走向家庭服务、仓储物流等非结构化环境，智能化成为了机器人技术新的发展方向。机器人的智能化要求其能够感知环境并与环境中的物体进行交互，其中抓取是机器人与物体进行交互的一种典型方式，机器人的智能化抓取对提升生产工作效率和提升人机交互体验具有重要意义。
现有研究表明，深度学习技术的确能够在一定程度上帮助我们解决机器人的视觉抓取问题，然而抓取策略、算法模型及数据质量等诸多因素，均会对机器人的抓取效率及成功率产生不同程度的影响。因而深入研究基于视觉的机器人抓取规划方法，设计合理的抓取策略、鲁棒的算法模型及高效的数据采集和处理方法，对于推进非结构化环境中机器人抓取的智能化进程具有重要意义。
由此可见，现有技术存在抓取策略不合理、算法鲁棒性差、抓取成功率低的技术问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种结合自监督学习的机械臂抓取规划方法和系统，由此解决现有技术存在抓取策略不合理、算法鲁棒性差、抓取成功率低的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种结合自监督学习的机械臂抓取规划方法，包括：
利用待抓取物体完整点云生成多个候选抓取姿态，通过抓取质量分类模型对候选抓取姿态进行打分和分类，将得分最高的候选抓取姿态及其类别作为机械臂最优抓取规划；
所述抓取质量分类模型通过如下步骤训练得到：
利用物体完整点云生成多个抓取姿态，获取抓取姿态与物体完整点云的一对接触点，比较一对接触点指向物体内部的法向量与单位向量之间的夹角，将较大夹角的正切值作为抓取姿态的质量系数，通过抓取姿态的质量系数为抓取姿态生成类别标签；
将带有类别标签的多个抓取姿态作为训练数据，训练分类神经网络至收敛，得到抓取质量分类模型。
进一步地，所述物体完整点云通过如下方式得到：
获取多个视角下待抓取物体的深度图像，建立一个包围物体的包围盒，根据各视角下的深度图像对应的相机位姿计算包围盒的每个点在相机坐标系下的映射点，将映射点反投影后进行融合，得到物体完整点云。
进一步地，所述融合的具体实现方式为：
将映射点反投影得到深度图像中的对应像素点，将像素点的深度值与映射点到相机坐标系原点的距离之差作为包围盒的点的符号距离函数值sdf(p)，将相机的投射光线与包围盒的表面法向量的夹角除以映射点到相机坐标系原点的距离，得到包围盒的点的权重w(p)；
设置截断距离u，利用截断距离与sdf(p)之比构建截断符号距离函数tsdf(p)，在连续的多个视角下，为当前视角的截断符号距离函数tsdf(p)赋予权重w(p)，然后与前一视角的融合结果再次融合，得到融合后各点的截断符号距离函数，将融合后各点的截断符号距离函数小于距离阈值的融合点作为物体完整点云。
进一步地，所述符号距离函数值sdf(p)＞0，则截断符号距离函数tsdf(p)＝min(1，sdf(p)/u)，否则tsdf(p)＝max(-1，sdf(p)/u)。
进一步地，所述融合后各点的截断符号距离函数为：
其中，TSDFi(p)为第i个视角下p点融合后的截断符号距离函数值，TSDFi-1(p)为第i-1个视角下p点融合后的截断符号距离函数值，wi(p)为第i个视角下p点的权重，tsdfi(p)为第i个视角下p点的截断符号距离函数值，Wi-1(p)为第i-1个视角下p点的全局融合的权重，Wi-1(p)＝Wi-2(p)+wi-1(p)，Wi-2(p)为第i-2个视角下p点的全局融合的权重，wi-1(p)为第i-1个视角下p点的权重。
进一步地，所述包围盒的处理方式还包括：
建立一个包围物体的包围盒，将包围盒划分为多个等分，每个等分为一个体素，在物体完整点云重建过程中并行遍历各体素中的点。
进一步地，所述抓取姿态的质量系数通过如下方式计算：
获取抓取姿态与物体完整点云的一对接触点p1，p2；
获取p1点处指向物体内部的法向量n1以及p2点处指向物体内部的法向量n2；
计算p1点指向p2点的单位向量v＝(p2-p1)/||p2-p1||2；
计算n1与单位向量v的夹角α1＝Cos-1(n1·(-v))，n2与单位向量v的夹角α2＝cos-1(n2·v)；
若α1≥π/2或者α2≥π/2则定义此抓取姿态的质量系数λ为正无穷大，否则定义此抓取姿态的质量系数λ为max(tanα1，tanα2)。
进一步地，所述抓取姿态的质量系数小于0.45，则此抓取姿态的类别标签为可行抓取；若抓取姿态的质量系数大于0.75，则此抓取姿态的类别标签为不可行抓取。
进一步地，所述候选抓取姿态的具体生成方式为：
计算待抓取物体完整点云的表面法线，对点云依次进行滤波、聚类、分割，在预处理后的点云中随机采样多个点；
根据各采样点的空间坐标以及表面法线创建局部坐标系，将局部坐标系作为抓取姿态初始坐标系，通过对抓取姿态初始坐标系进行随机的空间变换，得到多个抓取姿态；
根据机械臂抓取物体的夹持器的几何形状信息进行碰撞检测，滤除与物体完整点云接触的抓取姿态，得到候选抓取姿态。
按照本发明的另一个方面，提供了一种结合自监督学习的机械臂抓取规划系统，包括：
训练集构建模块，用于利用物体完整点云生成多个抓取姿态，获取抓取姿态与物体完整点云的一对接触点，比较一对接触点指向物体内部的法向量与单位向量之间的夹角，将较大夹角的正切值作为抓取姿态的质量系数，通过抓取姿态的质量系数为抓取姿态生成类别标签；
训练模块，用于将带有类别标签的多个抓取姿态作为训练数据，训练分类神经网络至收敛，得到训练好的抓取质量分类模型；
抓取规划模块，用于利用待抓取物体完整点云生成多个候选抓取姿态，通过抓取质量分类模型对候选抓取姿态进行打分和分类，将得分最高的候选抓取姿态及其类别作为机械臂最优抓取规划。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明通过抓取姿态的质量系数自动为抓取姿态生成类别标签，将带有类别标签的多个抓取姿态作为训练数据，可摆脱机械臂抓取规划方法对现有物体数据集的依赖，实现了自监督学习的数据采集，使得抓取质量分类模型提供的抓取策略更加合理，可以指导机械臂进行非结构化环境中未知物体的鲁棒抓取，提高机械臂的抓取成功率。
(2)本发明建立包围物体的包围盒，然后对包围盒的点进行重建，省去了传统大范围三维重建算法中点云匹配过程的运算耗时，并且能够提高相机位姿估计的精度，进而提高重建所得点云的尺寸精度，使重建所得完整点云能够更加准确地表达场景中物体的几何信息。能够获取较高质量的抓取数据，并且能够提高机械臂的抓取成功率。在重建过程中将包围盒划分为多个等分，并行遍历各等分中的点，这样是为了减小计算复杂度，加快重建过程。
(3)本发明通过对比两个接触点指向物体内部的法向量与单位向量的夹角，得到抓取姿态的质量系数，借助力闭合分析算法实现抓取姿态的自动标注，可在真实抓取场景中自动采集并标注数据，赋予机械臂自主学习的能力，正常情况按照大于0.5和小于0.5进行分类标注，而本发明采用小于0.45和大于0.75进行类别区分，这样处理是为了明显区分两种类别的抓取数据，提高训练数据的质量，进而使抓取质量分类模型提供的抓取策略更加合理，由此提高机械臂的抓取成功率。
附图说明
图1是本发明实施例提供的一种结合自监督学习的机械臂抓取规划方法的流程图；
图2是本发明实施例提供的三维重建的流程图；
图3是本发明实施例提供的基于自监督学习的抓取数据采集方法的流程图；
图4(a)是本发明实施例提供的单物品场景下的抓取规划效果图；
图4(b)是本发明实施例提供的多物品场景下的抓取规划效果图；
图4(c)是本发明实施例提供的堆叠物品场景下的抓取规划效果图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，一种结合自监督学习的机械臂抓取规划方法，包括：
利用待抓取物体完整点云生成多个候选抓取姿态，通过抓取质量分类模型对候选抓取姿态进行打分和分类，将得分最高的候选抓取姿态及其类别作为机械臂最优抓取规划；
所述抓取质量分类模型通过如下步骤训练得到：
利用物体完整点云生成多个抓取姿态，获取抓取姿态与物体完整点云的一对接触点，比较一对接触点指向物体内部的法向量与单位向量之间的夹角，将较大夹角的正切值作为抓取姿态的质量系数，通过抓取姿态的质量系数为抓取姿态生成类别标签；
将带有类别标签的多个抓取姿态作为训练数据，训练分类神经网络至收敛，得到抓取质量分类模型。
如图2所示，物体完整点云通过如下方式重建：
采用眼在手上的方式将深度相机安装于机械臂末端，控制机械臂自动从多个视角获取待抓取物体的深度图像{img1，img2，…imgn}，计算各图像对应的相机位姿posei，得到相机位姿{pose1，pose2，…posen}；
建立一个包围桌面上物体的包围盒，根据各视角下的深度图像对应的相机位姿计算包围盒的每个点在相机坐标系下的映射点，将映射点反投影后进行融合，得到物体完整点云。
使用Marching Cube算法计算物体完整点云PC的三角面，进一步根据三角面计算各顶点处的表面法线，根据桌面高度分割物体完整点云及其表面法线。
如图3所示，机械臂移动到多个位姿并采集图像数据，进行当前场景的三维重建，从而得到场景中物体的完整点云，然后利用物体完整点云生成抓取姿态并进行自动标注，标注完成后，机械臂自主推动桌面上的物体，并继续进行下一场景的三维重建和自动标注。
融合包括：
(1)给定输入数据：深度图像集合{img1，img2…imgn}、对应的机械臂基坐标系下的相机位姿集合{pose1，pose2…posen}、相机的内参矩阵K和距离阈值th。
(2)建立长方体包围盒，使其能够包围所要重建的物体，即桌面和桌面上的物品。
(3)将包围盒划分为n等分，每个等分称之为一个体素，再将整个空间的所有体素放入GPU中进行运算，GPU的每个线程负责处理一条直线上的体素，即对于三维的(x，y，z)体素坐标，每个线程处理一个(x，y)坐标下的连续体素。
(4)根据体素的大小及数目，将划分的每个体素g转化为世界坐标系下的三维空间点p。
(5)接下来遍历各体素g，根据深度图像imgi对应的相机位姿posei，计算体素g对应的点p在相机坐标系下的映射点v，并根据相机内参矩阵K，将v反投影得到深度图像中的对应像素点x。
(6)像素点x的深度值为val(x)，定义点v到相机坐标原点的距离为dis(v)，则点p的sdf(符号距离函数)值为sdf(p)＝val(x)-dis(v)。
(7)设置截断距离为u，若sdf(p)＞0则截断符号距离函数tsdf(p)＝min(1，sdf(p)/u)，否则tsdf(p)＝max(-1，sdf(p)/u)。
(8)根据公式w(p)＝cos(θ)/dis(v)计算p点的权重，其中θ为投射光线与表面法向量的夹角。
(9)将当前帧与全局融合结果再次进行融合，定义TSDF(p)为全局融合的截断符号距离函数值，W(p)为全局融合的权重值，tsdf(p)为当前帧的截断符号距离函数值，w(p)为当前帧的权重值。融合公式为
TSDF1(p)为tsdf1(p)，W1(p)为w1(p)。
(10)将融合后各点的截断符号距离函数TSDF(p)小于距离阈值th的融合点作为物体完整点云PC。
自动标注包括：
搜索抓取姿态与物体完整点云的一对接触点p1，p2；
若无法搜索到一对接触点，则将此抓取姿态的质量系数λ定义为正无穷大，然后输出质量系数λ。若搜索到一对接触点，定义两接触点的坐标为p1，p2；
获取p1点处指向物体内部的法向量n1以及p2点处指向物体内部的法向量n2；
计算p1点指向p2点的单位向量v＝(p2-p1)/||p2-p1||2；
计算n1与向量v的夹角α1＝cos-1(n1·(-v))，n2与向量v的夹角α2＝cos-1(n2·v)；
若α1≥π/2或者α2≥π/2则定义此抓取姿态的质量系数λ为正无穷大，否则定义此抓取姿态的质量系数λ为max(tanα1，tanα2)，然后输出质量系数λ。
为各抓取姿态添加分类标签，标签的添加方式如下：
若抓取姿态的质量系数小于0.45，则视此抓取姿态为可行抓取，添加标签1；若抓取姿态的质量系数大于0.75，则视此抓取姿态为不可行抓取，添加标签0。
所述分类神经网络模型基于PointNet网络模型构建，模型使用Sigmoid函数将网络输出转化为抓取质量分类得分。
下面对采用本发明方法进行机械臂抓取规划的效果进行说明：
如图4(a)、4(b)和4(c)所示，本发明提出的抓取规划方法在单物品、多物品和堆叠物品场景中均可有效工作，鲁棒性较高。此外，还可以看出本发明方法能够根据场景中的物体分布，有效滤除物体拥挤的区域，优先寻找较为独立的、利于抓取的物体，从而为机械臂末端执行器留出抓取作业空间，符合人类的抓取习惯。
为验证本发明提出的抓取规划方法的有效性及先进性，在真实的单物品和多物品堆叠场景中进行了抓取实验。实验中选取了生活中常见的水果、盒状物和柱状物3类物品作为抓取目标。抓取成功的判定条件为：机械臂抓取并抬起物体保持2s不掉落。
单物品场景中进行了5组抓取实验，每组实验分别对3个种类的共9个物品进行36次抓取。水果、盒状物和柱状物的抓取成功率分别为85.0％、90.0％93.3％，平均值为89.4％。
多物品堆叠场景中进行了20组抓取实验，每次选取6个物品作为抓取目标，每组实验尝试抓取10次，并记录时间。最终抓取成功率为86.2％，桌面清空率为92.5％，平均准备时间为1.37s。其中抓取成功率指的是桌面已清空或者已尝试10次时成功抓取的次数占总抓取次数的比例，桌面清空率指的是10次抓取尝试后被移除物品数占总物品数的比例，平均准备时间指从开始采集图像到确定最优抓取的时间长度。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种结合自监督学习的机械臂抓取规划方法，其特征在于，包括：
利用待抓取物体完整点云生成多个候选抓取姿态，通过抓取质量分类模型对候选抓取姿态进行打分和分类，将得分最高的候选抓取姿态及其类别作为机械臂最优抓取规划；
所述抓取质量分类模型通过如下步骤训练得到：
利用物体完整点云生成多个抓取姿态，获取抓取姿态与物体完整点云的一对接触点，比较一对接触点指向物体内部的法向量与单位向量之间的夹角，将较大夹角的正切值作为抓取姿态的质量系数，通过抓取姿态的质量系数为抓取姿态生成类别标签；
将带有类别标签的多个抓取姿态作为训练数据，训练分类神经网络至收敛，得到抓取质量分类模型。
2.如权利要求1所述的一种结合自监督学习的机械臂抓取规划方法，其特征在于，所述物体完整点云通过如下方式得到：
获取多个视角下待抓取物体的深度图像，建立一个包围物体的包围盒，根据各视角下的深度图像对应的相机位姿计算包围盒的每个点在相机坐标系下的映射点，将映射点反投影后进行融合，得到物体完整点云。
3.如权利要求1或2所述的一种结合自监督学习的机械臂抓取规划方法，其特征在于，所述融合的具体实现方式为：
将映射点反投影得到深度图像中的对应像素点，将像素点的深度值与映射点到相机坐标系原点的距离之差作为包围盒的点的符号距离函数值sdf(p)，将相机的投射光线与包围盒的表面法向量的夹角除以映射点到相机坐标系原点的距离，得到包围盒的点的权重w(p)；
设置截断距离u，利用截断距离与sdf(p)之比构建截断符号距离函数tsdf(p)，在连续的多个视角下，为当前视角的截断符号距离函数tsdf(p)赋予权重w(p)，然后与前一视角的融合结果再次融合，得到融合后各点的截断符号距离函数，将融合后各点的截断符号距离函数小于距离阈值的融合点作为物体完整点云。
4.如权利要求3所述的一种结合自监督学习的机械臂抓取规划方法，其特征在于，所述符号距离函数值sdf(p)＞0，则截断符号距离函数tsdf(p)＝min(1，sdf(p)/u)，否则tsdf(p)＝max(-1，sdf(p)/u)。
5.如权利要求3所述的一种结合自监督学习的机械臂抓取规划方法，其特征在于，所述融合后各点的截断符号距离函数为：
其中，TSDFi(p)为第i个视角下p点融合后的截断符号距离函数值，TSDFi-1(p)为第i-1个视角下p点融合后的截断符号距离函数值，wi(p)为第i个视角下p点的权重，tsdfi(p)为第i个视角下p点的截断符号距离函数值，Wi-1(p)为第i-1个视角下p点的全局融合的权重，Wi-1(p)＝Wi-2(p)+wi-1(p)，Wi-2(p)为第i-2个视角下p点的全局融合的权重，wi-1(p)为第i-1个视角下p点的权重。
6.如权利要求1或2所述的一种结合自监督学习的机械臂抓取规划方法，其特征在于，所述包围盒的处理方式还包括：
建立一个包围物体的包围盒，将包围盒划分为多个等分，每个等分为一个体素，在物体完整点云重建过程中并行遍历各体素中的点。
7.如权利要求1或2所述的一种结合自监督学习的机械臂抓取规划方法，其特征在于，所述抓取姿态的质量系数通过如下方式计算：
获取抓取姿态与物体完整点云的一对接触点p1，p2；
获取p1点处指向物体内部的法向量n1以及p2点处指向物体内部的法向量n2；
计算p1点指向p2点的单位向量v＝(p2-p1)/||p2-p1||2；
计算n1与单位向量v的夹角α1＝cos-1(n1·(-v))，n2与单位向量v的夹角α2＝cos-1(n2·v)；
若α1≥π/2或者α2≥π/2则定义此抓取姿态的质量系数λ为正无穷大，否则定义此抓取姿态的质量系数λ为max(tanα1，tanα2)。
8.如权利要求1或2所述的一种结合自监督学习的机械臂抓取规划方法，其特征在于，所述抓取姿态的质量系数小于0.45，则此抓取姿态的类别标签为可行抓取；若抓取姿态的质量系数大于0.75，则此抓取姿态的类别标签为不可行抓取。
9.如权利要求1或2所述的一种结合自监督学习的机械臂抓取规划方法，其特征在于，所述候选抓取姿态的具体生成方式为：
计算待抓取物体完整点云的表面法线，对点云依次进行滤波、聚类、分割，在预处理后的点云中随机采样多个点；
根据各采样点的空间坐标以及表面法线创建局部坐标系，将局部坐标系作为抓取姿态初始坐标系，通过对抓取姿态初始坐标系进行随机的空间变换，得到多个抓取姿态；
根据机械臂抓取物体的夹持器的几何形状信息进行碰撞检测，滤除与物体完整点云接触的抓取姿态，得到候选抓取姿态。
10.一种结合自监督学习的机械臂抓取规划系统，其特征在于，包括：
训练集构建模块，用于利用物体完整点云生成多个抓取姿态，获取抓取姿态与物体完整点云的一对接触点，比较一对接触点指向物体内部的法向量与单位向量之间的夹角，将较大夹角的正切值作为抓取姿态的质量系数，通过抓取姿态的质量系数为抓取姿态生成类别标签；
训练模块，用于将带有类别标签的多个抓取姿态作为训练数据，训练分类神经网络至收敛，得到训练好的抓取质量分类模型；
抓取规划模块，用于利用待抓取物体完整点云生成多个候选抓取姿态，通过抓取质量分类模型对候选抓取姿态进行打分和分类，将得分最高的候选抓取姿态及其类别作为机械臂最优抓取规划。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110562483.4A CN113192128A (zh) | 2021-05-21 | 2021-05-21 | 一种结合自监督学习的机械臂抓取规划方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110562483.4A CN113192128A (zh) | 2021-05-21 | 2021-05-21 | 一种结合自监督学习的机械臂抓取规划方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113192128A true CN113192128A (zh) | 2021-07-30 |
Family
ID=76984698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110562483.4A Pending CN113192128A (zh) | 2021-05-21 | 2021-05-21 | 一种结合自监督学习的机械臂抓取规划方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113192128A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114700949A (zh) * | 2022-04-25 | 2022-07-05 | 浙江工业大学 | 基于体素抓取网络的机械臂灵巧抓取规划方法 |
| CN114800511A (zh) * | 2022-04-29 | 2022-07-29 | 华中科技大学 | 一种基于复用结构的双阶段机械臂抓取规划方法和系统 |
| CN114851201A (zh) * | 2022-05-18 | 2022-08-05 | 浙江工业大学 | 一种基于tsdf三维重建的机械臂六自由度视觉闭环抓取方法 |
| CN114851187A (zh) * | 2022-03-25 | 2022-08-05 | 华南理工大学 | 一种避障机械臂抓取方法、系统、装置及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363815A (zh) * | 2019-05-05 | 2019-10-22 | 东南大学 | 一种单视角点云下基于实例分割的机器人抓取检测方法 |
| CN111415388A (zh) * | 2020-03-17 | 2020-07-14 | Oppo广东移动通信有限公司 | 一种视觉定位方法及终端 |
| CN112270702A (zh) * | 2020-11-12 | 2021-01-26 | Oppo广东移动通信有限公司 | 体积测量方法及装置、计算机可读介质和电子设备 |
-
2021
- 2021-05-21 CN CN202110562483.4A patent/CN113192128A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363815A (zh) * | 2019-05-05 | 2019-10-22 | 东南大学 | 一种单视角点云下基于实例分割的机器人抓取检测方法 |
| CN111415388A (zh) * | 2020-03-17 | 2020-07-14 | Oppo广东移动通信有限公司 | 一种视觉定位方法及终端 |
| CN112270702A (zh) * | 2020-11-12 | 2021-01-26 | Oppo广东移动通信有限公司 | 体积测量方法及装置、计算机可读介质和电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| AYOUB AI-HAMADI等: "Truncated Signed Distance Function: Experiments on Voxel Size", 《RESEARCHGATE》 * |
| GANG PENG等: "A self-supervised learning-based 6-DOF grasp planning method for manipulator", 《HTTP://128.84.21.203/ABS/2102.00205》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114851187A (zh) * | 2022-03-25 | 2022-08-05 | 华南理工大学 | 一种避障机械臂抓取方法、系统、装置及存储介质 |
| CN114851187B (zh) * | 2022-03-25 | 2023-07-07 | 华南理工大学 | 一种避障机械臂抓取方法、系统、装置及存储介质 |
| CN114700949A (zh) * | 2022-04-25 | 2022-07-05 | 浙江工业大学 | 基于体素抓取网络的机械臂灵巧抓取规划方法 |
| CN114700949B (zh) * | 2022-04-25 | 2024-04-09 | 浙江工业大学 | 基于体素抓取网络的机械臂灵巧抓取规划方法 |
| CN114800511A (zh) * | 2022-04-29 | 2022-07-29 | 华中科技大学 | 一种基于复用结构的双阶段机械臂抓取规划方法和系统 |
| CN114800511B (zh) * | 2022-04-29 | 2023-11-14 | 华中科技大学 | 一种基于复用结构的双阶段机械臂抓取规划方法和系统 |
| CN114851201A (zh) * | 2022-05-18 | 2022-08-05 | 浙江工业大学 | 一种基于tsdf三维重建的机械臂六自由度视觉闭环抓取方法 |
| CN114851201B (zh) * | 2022-05-18 | 2023-09-05 | 浙江工业大学 | 一种基于tsdf三维重建的机械臂六自由度视觉闭环抓取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113192128A (zh) | 一种结合自监督学习的机械臂抓取规划方法和系统 | |
| Schmidt et al. | Grasping of unknown objects using deep convolutional neural networks based on depth images | |
| Goldfeder et al. | Data-driven grasping with partial sensor data | |
| Lundell et al. | Ddgc: Generative deep dexterous grasping in clutter | |
| Kasaei et al. | Interactive open-ended learning for 3d object recognition: An approach and experiments | |
| Arruda et al. | Active vision for dexterous grasping of novel objects | |
| Kokic et al. | Learning to estimate pose and shape of hand-held objects from rgb images | |
| CN115816460B (zh) | 一种基于深度学习目标检测与图像分割的机械手抓取方法 | |
| Hasegawa et al. | Graspfusion: Realizing complex motion by learning and fusing grasp modalities with instance segmentation | |
| CN113034575A (zh) | 一种模型构建方法、位姿估计方法及物体拣取装置 | |
| Dyrstad et al. | Grasping virtual fish: A step towards robotic deep learning from demonstration in virtual reality | |
| US20220402125A1 (en) | System and method for determining a grasping hand model | |
| Lu et al. | Online object model reconstruction and reuse for lifelong improvement of robot manipulation | |
| Yin et al. | Overview of robotic grasp detection from 2D to 3D | |
| Liu et al. | Automatic “ground truth” annotation and industrial workpiece dataset generation for deep learning | |
| Mohammed et al. | Color matching based approach for robotic grasping | |
| Shi et al. | A fast workpiece detection method based on multi-feature fused SSD | |
| Cao et al. | Grasp pose detection based on shape simplification | |
| Kozai et al. | Determining robot grasping-parameters by estimating" Picking Risk" | |
| Li et al. | Grasping Detection Based on YOLOv3 Algorithm | |
| Drögemüller et al. | Automatic generation of realistic training data for learning parallel-jaw grasping from synthetic stereo images | |
| Geng et al. | A Novel Real-time Grasping Method Cobimbed with YOLO and GDFCN | |
| Fang et al. | A pick-and-throw method for enhancing robotic sorting ability via deep reinforcement learning | |
| Roudbari et al. | Autonomous Vision-based Robotic Grasping of Household Objects: A Practical Case Study | |
| Bollavaram et al. | Automated detection of live cells and microspheres in low contrast bright field microscopy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210730 |