CN111428815A - 一种基于Anchor angle机制的机械臂抓取检测方法 - Google Patents

一种基于Anchor angle机制的机械臂抓取检测方法 Download PDF

Info

Publication number
CN111428815A
CN111428815A CN202010300689.5A CN202010300689A CN111428815A CN 111428815 A CN111428815 A CN 111428815A CN 202010300689 A CN202010300689 A CN 202010300689A CN 111428815 A CN111428815 A CN 111428815A
Authority
CN
China
Prior art keywords
grabbing
information
loss
prediction result
rotation angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010300689.5A
Other languages
English (en)
Other versions
CN111428815B (zh
Inventor
王勇
陈荟西
岳晨珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Jiulai Technology Co ltd
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN202010300689.5A priority Critical patent/CN111428815B/zh
Publication of CN111428815A publication Critical patent/CN111428815A/zh
Application granted granted Critical
Publication of CN111428815B publication Critical patent/CN111428815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Anchorangle机制的机械臂抓取检测方法，包括：对训练集进行聚类得到先验信息；将训练集中的RGB图片和点云数据输入检测模型进行回归得到预测结果；基于预测结果与先验信息的差异对检测模型的参数进行优化调整，减小预测结果与先验信息的差异；优化后的预测结果包括一个抓取位置及其对应的尺寸信息，还包括K个抓取旋转角信息及每个抓取旋转角信息对应的置信度，将最高置信度对应的抓取旋转角信息与抓取位置及其对应的尺寸信息结合得到抓取信息。本发明在抓取检测的过程中保留了原有的点云特征，提高了检测抓取的精准度；减少了网络的计算量，提高了抓取检测的效率；避免了表面由于人工选取带来的偶然性和局限性。

Description

一种基于Anchor angle机制的机械臂抓取检测方法
技术领域
本发明属于图像识别技术领域，具体涉及一种基于Anchor angle机制的机械臂抓取检测方法。
背景技术
对于机器人而言，抓取检测是一个具有挑战性的任务，它需要从当前传感器获取的视觉信息中，快速准确的找到给定物体的最优抓取位置。近年来，基于深度学习的方法越来越广泛的应用于机械臂抓取检测中，并取得了很大的进展，而它主要分为特征提取和回归预测两个阶段。
在特征提取阶段，现有的研究通常将RGB图像和原始点云数据转化为RGB-D的形式，并用不同的方法进行多模态特征融合。例如：将RGB-D数据与点云曲面法线的X、Y、Z分量融合成7通道作为网络输入；将RGB-D数据直接融合后输入网络；用深度通道D替换RGB图像中的蓝色通道B，以RGD的形式作为输入；将深度图像由单通道转换为3通道的图像形式，然后将RGB图像和转换后的深度图像作为两个独立的输入，分别进行特征提取并在后期的网络中进行融合。然而，上述方法中将点云数据转化为深度图像的方法会损失原有的点云特征，从而降低抓取检测的精准度。
在回归预测阶段，借助一些先验信息可以降低由坐标直接进行回归的难度，这对提升检测效果有着重要作用。在现有的目标检测框架中，有研究人员提出了采用Faster-RCNN中的Anchor box机制的SSD模型，其中Anchor boxes是根据不同的高宽比例手动设定的。随后还有研究人员提出了采用Anchor box机制的YOLOv2和YOLOv3模型，与SSD模型不同的是，它们采用了K-means聚类的方法对训练集中所有的边界框参数进行了聚类分析，最终选取了5个先验框。受这些研究的启发，研究人员在抓取检测中引入了Anchor box机制，采用了一组3个尺度和3个高宽比例的先验框。考虑到旋转角度在抓取检测中的重要性，还有研究人员将旋转角度引入原Anchor box，提出了一种定向Anchor box机制，采用了一组具有多个默认旋转角度的先验框，使得检测性能有所提升。然而，由于需要单独求取每个先验框中的每一个参数，这极大地增加了网络的计算量，并且，由于先验信息均为人工选取，因此，这使得最终的检测结果具有一定的偶然性和局限性。
综上所述，如何在抓取检测的过程中保留原有的点云特征，提高检测抓取的精准度；减少网络的计算量，提高抓取检测的效率；避免表面由于人工选取带来的偶然性和局限性，成为了本领域技术人员亟需解决的问题。
发明内容
针对现有技术中存在的上述不足，本发明实际需要解决的问题是：如何在抓取检测的过程中保留原有的点云特征，提高检测抓取的精准度；减少网络的计算量，提高抓取检测的效率；避免表面由于人工选取带来的偶然性和局限性。
为解决上述技术问题，本发明采用了如下的技术方案：
一种基于Anchor angle机制的机械臂抓取检测方法，包括：
S1、对训练集进行聚类得到先验信息，所述先验信息包括一个先验抓取位置及其对应的尺寸信息，还包括K个先验旋转角信息；
S2、将训练集中的RGB图片和点云数据输入检测模型进行回归得到预测结果；
S3、基于所述预测结果与先验信息的差异对检测模型的参数进行优化调整，减小预测结果与先验信息的差异；
S4、优化后的预测结果包括一个抓取位置及其对应的尺寸信息，还包括K个抓取旋转角信息及每个抓取旋转角信息对应的置信度，将最高置信度对应的抓取旋转角信息与抓取位置及其对应的尺寸信息结合得到抓取信息。
优选地，步骤S1包括：
S101、利用簇内误方差和轮廓系数在康奈尔抓取数据集上的综合评估结果来确定K的值；
S102、对训练集进行聚类得到K个待聚类先验抓取位置及尺寸信息及K个先验旋转角信息；
S103、对K个待聚类先验抓取位置及尺寸信息进行再次聚类，得到一个先验抓取位置及尺寸信息。
优选地，检测模型包括pointnet、ResNext-101及三个1×1的卷积神经网络，步骤S2包括：
S201、利用pointnet和ResNext-101分别对RGB图片和点云数据进行特征提取，得到特征图和点云特征；
S202、将特征图及点云特征进行融合得到融合特征图；
S203、将融合特征图输入三个1×1的卷积神经网络得到预测结果。
优选地，检测模型的损失函数L＝L1+L2+L3，其中：
L1＝μS-obj*LS-obj+μR*LR
L2＝μS-noobj*LS-noobj
L3＝μreg*LT
式中：L1表示中心网格损失函数，L2表示非中心网格损失函数，L3表示PointNet中T-Net的正交损失函数，LS-obj表示中心网格置信度损失，μS-obj表示中心网格置信度损失权重，LR表示矩形五维损失，μR表示矩形五维损失权重，LS-noobj表示非中心网格置信度损失，μS-noobj表示非中心网格置信度损失权重，LT表示PointNet中T-Net的正交损失，μreg表示PointNet中T-Net的正交损失权重。
综上所述，本发明公开了一种基于Anchor angle机制的机械臂抓取检测方法，包括：对训练集进行聚类得到先验信息，所述先验信息包括一个先验抓取位置及其对应的尺寸信息，还包括K个先验旋转角信息；将训练集中的RGB图片和点云数据输入检测模型进行回归得到预测结果；基于所述预测结果与先验信息的差异对检测模型的参数进行优化调整，减小预测结果与先验信息的差异；优化后的预测结果包括一个抓取位置及其对应的尺寸信息，还包括K个抓取旋转角信息及每个抓取旋转角信息对应的置信度，将最高置信度对应的抓取旋转角信息与抓取位置及其对应的尺寸信息结合得到抓取信息。本发明在抓取检测的过程中保留了原有的点云特征，提高了检测抓取的精准度；减少了网络的计算量，提高了抓取检测的效率；避免了表面由于人工选取带来的偶然性和局限性。
附图说明
图1为本发明公开的一种基于Anchor angle机制的机械臂抓取检测方法的流程图；
图2为抓取矩形示意图；
图3为定向Anchor box机制示意图；
图4为Anchor angle机制示意图；
图5为基于Anchor angle机制的抓取检测模型示意图；
图6及图7为康奈尔抓取数据集上K-means聚类分析示意图。
具体实施方式
下面结合附图对本发明作进一步的详细说明。
如图1所示，本发明公开了一种基于Anchor angle机制的机械臂抓取检测方法，其特征在于，包括：
S1、对训练集进行聚类得到先验信息，所述先验信息包括一个先验抓取位置及其对应的尺寸信息，还包括K个先验旋转角信息；
S2、将训练集中的RGB图片和点云数据输入检测模型进行回归得到预测结果；
S3、基于所述预测结果与先验信息的差异对检测模型的参数进行优化调整，减小预测结果与先验信息的差异；
本发明中，通过bp算法使得差异变得小，可设置一个预设的差异阈值，当差异小于所述阈值时，则完成优化。
S4、优化后的预测结果包括一个抓取位置及其对应的尺寸信息，还包括K个抓取旋转角信息及每个抓取旋转角信息对应的置信度，将最高置信度对应的抓取旋转角信息与抓取位置及其对应的尺寸信息结合得到抓取信息。
现有技术中，本领域的技术人员提出了提出的抓取矩形概念，更合理的将抓取检测看作目标检测问题。如图2所示，抓取矩形由五维参数(x,y,w,h,θ)组成，其中(x,y)代表矩形的中心(抓取位置)；w,h分别代表矩形的长和宽(抓取尺寸)，并且w表示夹持器张开的大小，h表示夹持器自身的宽度；θ(-900～900)代表矩形相对于水平轴方向的旋转角度(旋转角)，其中正为顺时针旋转方向，负为逆时针旋转方向。
如图3所示，与目标检测不同的是抓取检测具有方向性，因此，通常先将待检测的图像划分为N×N个网格，在划分的N×N个网格中，每个网格都有K个以该网格为中心的定向Anchor box
Figure BDA0002453869340000051
作为先验框，并在此基础上进行回归。每个定向Anchor box具有相同的尺度
Figure BDA0002453869340000052
不同的旋转角度
Figure BDA0002453869340000053
值得注意的是，
Figure BDA0002453869340000054
是由人工进行选取的值；K个不同的
Figure BDA0002453869340000055
在(-900～900)范围内均匀取值，相邻
Figure BDA0002453869340000056
有180/K的角度值差异。
通过回归得到预测抓取位置的五维参数x,y,w,h,θ，如公式所示：
Figure BDA0002453869340000057
Figure BDA0002453869340000058
Figure BDA0002453869340000059
Figure BDA00024538693400000510
Figure BDA00024538693400000511
其中tx,ty,tw,th,tθ为网格对每个定向Anchor box输出五维偏移量，
Figure BDA00024538693400000512
为该网格及其定向Anchor box的中心坐标(以网格中心为先验框的中心)，
Figure BDA00024538693400000513
为定向Anchor box的参数值。
而在本发明中，将旋转角度与其他参数分离开，如图4所示，每个网格给定仅一个Anchor box和K个Anchor angle作为先验信息，其中这意味着K个Anchor angle共享Anchorbox中的抓取位置和抓取尺寸参数。
这样，可以极大地减少预测过程中的计算量。
本发明还利用K-means聚类的方法获取先验信息，利用聚类的方法选择更适合某数据集特性的先验信息，可以在该数据集上提升检测的性能。
并且，本发明中，为了提高检测抓取的精准度，分别提取了点云和图像的特征，并将特征进行融合之后输入模型，这样，保留了点云数据的空间特征。
本发明中，最终预测的抓取位置(x,y,w,h,θ)计算方式：使用激活函数将结果限制在(0,1)范围内，预测出相对于单元网格的坐标,然后进行转换，其中(x,y)是相对于图像左上角的偏移量。在旋转角度方面，由于利用聚类得到的先验值不再是具有一定规律的值，所以采用直接预测的方式预测旋转角度的偏移量。
x＝σ(tx)+cx
y＝σ(ty)+cy
Figure BDA0002453869340000061
Figure BDA0002453869340000062
Figure BDA0002453869340000063
具体实施时，步骤S1包括：
S101、利用簇内误方差(SSE)和轮廓系数在康奈尔抓取数据集上的综合评估结果来确定K的值；
S102、对训练集进行聚类得到K个待聚类先验抓取位置及尺寸信息及K个先验旋转角信息；
S103、对K个待聚类先验抓取位置及尺寸信息进行再次聚类，得到一个先验抓取位置及尺寸信息。
为了获取先验信息，本发明在康奈尔数据集上进行K-means聚类实验。由表1可见，首先得到K在[3,8]范围内的聚类结果
Figure BDA0002453869340000064
然后将聚类结果中的K个
Figure BDA0002453869340000065
值进行二次聚类，簇数量为1，得到对应的Achorbox
Figure BDA0002453869340000066
并将K个
Figure BDA0002453869340000067
值直接作为Anchor angle
Figure BDA0002453869340000068
表1
Figure BDA0002453869340000071
分别在不同的K值(K∈[3,8])下进行实验以确定最优的K值，并对实验执行五倍交叉验证。在对实验结果进行评估时，根据康奈尔抓取数据集上的矩形度量标准：如果预测出的抓取矩形R与任意一个正矩形标签R'同时满足以下两个条件，则认为该矩形是一个正确的抓取位置。
|Rθ-R'θ|＜30°
上式表示预测矩形与正矩形标签的角度大小相差小于300。
Figure BDA0002453869340000072
上式表示预测的矩形与正矩形标签的Jaccard相似系数大于25％。
如图6、图7以及表2显示了不同簇数量(K)的实验结果，可以看出当K＝3时，模型在图像分割上的表现优于其他K值，正确率为98.9％；而K＝8时，在对象分割上的正确率为98.3％，明显高于其他K值。所以本发明的实验结果在图像分割上K值取3；对象分割上K值取8。
表2
Figure BDA0002453869340000081
如图5所示，具体实施时，检测模型包括pointnet、ResNext-101及三个1×1的卷积神经网络，步骤S2包括：
S201、利用利用pointnet和ResNext-101分别对RGB图片和点云数据进行特征提取，得到特征图和点云特征；
S202、将特征图及点云特征进行融合得到融合特征图；
S203、将融合特征图输入三个1×1的卷积神经网络得到预测结果。
本发明中，对ResNext-101的部分做了预训练，将其在ImageNet数据集上训练的参数作为初始权重，然后在此基础上对整个模型进行端到端的训练。
这样省去了训练的时间，因为网络很大很大，重新训练需要耗费很长时间具体实施时，检测模型的损失函数L＝L1+L2+L3，其中：
L1＝μS-obj*LS-obj+μR*LR
L2＝μS-noobj*LS-noobj
L3＝μreg*LT
式中：L1表示中心网格(包括了抓取中心的网格)损失函数，L2表示非中心网格(未包括抓取中心的网格)损失函数，L3表示PointNet中T-Net的正交损失函数，LS-obj表示中心网格置信度损失，μS-obj表示中心网格置信度损失权重，具体取值可为2，LR表示矩形五维损失，μR表示矩形五维损失权重，具体取值可为10，LS-noobj表示非中心网格置信度损失，μS-noobj表示非中心网格置信度损失权重，具体取值可为1，LT表示PointNet中T-Net的正交损失，μreg表示PointNet中T-Net的正交损失权重，具体取值可为0.001，其中μreg为正则项。
以上仅是本发明优选的实施方式，需指出是，对于本领域技术人员在不脱离本技术方案的前提下，还可以做出若干变形和改进，上述变形和改进的技术方案应同样视为落入本申请要求保护的范围。

Claims (4)

1.一种基于Anchor angle机制的机械臂抓取检测方法，其特征在于，包括：
S1、对训练集进行聚类得到先验信息，所述先验信息包括一个先验抓取位置及其对应的尺寸信息，还包括K个先验旋转角信息；
S2、将训练集中的RGB图片和点云数据输入检测模型进行回归得到预测结果；
S3、基于所述预测结果与先验信息的差异对检测模型的参数通过bp算法进行优化调整，减小预测结果与先验信息的差异；
S4、优化后的预测结果包括一个抓取位置及其对应的尺寸信息，还包括K个抓取旋转角信息及每个抓取旋转角信息对应的置信度，将最高置信度对应的抓取旋转角信息与抓取位置及其对应的尺寸信息结合得到抓取信息。
2.如权利要求1所述的Anchor angle机制的机械臂抓取检测方法，其特征在于，步骤S1包括：
S101、利用簇内误方差和轮廓系数在康奈尔抓取数据集上的综合评估结果来确定K的值；
S102、对训练集进行聚类得到K个待聚类先验抓取位置及尺寸信息及K个先验旋转角信息；
S103、对K个待聚类先验抓取位置及尺寸信息进行再次聚类，得到一个先验抓取位置及尺寸信息。
3.如权利要求1所述的Anchor angle机制的机械臂抓取检测方法，其特征在于，检测模型包括pointnet、ResNext-101及三个1×1的卷积神经网络，步骤S2包括：
S201、利用pointnet和ResNext-101分别对RGB图片和点云数据进行特征提取，得到特征图和点云特征；
S202、将特征图及点云特征进行融合得到融合特征图；
S203、将融合特征图输入三个1×1的卷积神经网络得到预测结果。
4.如权利要求3所述的Anchor angle机制的机械臂抓取检测方法，其特征在于，检测模型的损失函数L＝L1+L2+L3，其中：
L1＝μS-obj*LS-obj+μR*LR
L2＝μS-noobj*LS-noobj
L3＝μreg*LT
式中：L1表示中心网格损失函数，L2表示非中心网格损失函数，L3表示PointNet中T-Net的正交损失函数，LS-obj表示中心网格置信度损失，μS-obj表示中心网格置信度损失权重，LR表示矩形五维损失，μR表示矩形五维损失权重，LS-noobj表示非中心网格置信度损失，μS-noobj表示非中心网格置信度损失权重，LT表示PointNet中T-Net的正交损失，μreg表示PointNet中T-Net的正交损失权重。
CN202010300689.5A 2020-04-16 2020-04-16 一种基于Anchor angle机制的机械臂抓取检测方法 Active CN111428815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010300689.5A CN111428815B (zh) 2020-04-16 2020-04-16 一种基于Anchor angle机制的机械臂抓取检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010300689.5A CN111428815B (zh) 2020-04-16 2020-04-16 一种基于Anchor angle机制的机械臂抓取检测方法

Publications (2)

Publication Number Publication Date
CN111428815A true CN111428815A (zh) 2020-07-17
CN111428815B CN111428815B (zh) 2022-05-17

Family

ID=71556483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010300689.5A Active CN111428815B (zh) 2020-04-16 2020-04-16 一种基于Anchor angle机制的机械臂抓取检测方法

Country Status (1)

Country Link
CN (1) CN111428815B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906797A (zh) * 2021-02-25 2021-06-04 华北电力大学 一种基于计算机视觉和深度学习的平面抓取检测方法
CN113681552A (zh) * 2021-06-30 2021-11-23 大连理工江苏研究院有限公司 一种基于级联神经网络的机器人混杂物体五维抓取方法
CN113822933A (zh) * 2021-09-09 2021-12-21 中北大学 一种基于ResNeXt的智能机器人抓取方法
WO2022077146A1 (zh) * 2020-10-12 2022-04-21 深圳大学 透明物体的网格重建方法、装置、计算机设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598890A (zh) * 2015-01-30 2015-05-06 南京邮电大学 一种基于rgb-d视频的人体行为识别方法
CN104589356A (zh) * 2014-11-27 2015-05-06 北京工业大学 基于Kinect人手运动捕捉的灵巧手遥操作控制方法
US20170252922A1 (en) * 2016-03-03 2017-09-07 Google Inc. Deep machine learning methods and apparatus for robotic grasping
CN108656107A (zh) * 2018-04-04 2018-10-16 北京航空航天大学 一种基于图像处理的机械臂抓取系统及方法
CN109176521A (zh) * 2018-09-19 2019-01-11 北京因时机器人科技有限公司 一种机械臂及其抓取控制方法和系统
CN109993734A (zh) * 2019-03-29 2019-07-09 北京百度网讯科技有限公司 用于输出信息的方法和装置
US20200086483A1 (en) * 2018-09-15 2020-03-19 X Development Llc Action prediction networks for robotic grasping
CN110948492A (zh) * 2019-12-23 2020-04-03 浙江大学 一种基于深度学习的三维抓取平台和抓取方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104589356A (zh) * 2014-11-27 2015-05-06 北京工业大学 基于Kinect人手运动捕捉的灵巧手遥操作控制方法
CN104598890A (zh) * 2015-01-30 2015-05-06 南京邮电大学 一种基于rgb-d视频的人体行为识别方法
US20170252922A1 (en) * 2016-03-03 2017-09-07 Google Inc. Deep machine learning methods and apparatus for robotic grasping
CN108656107A (zh) * 2018-04-04 2018-10-16 北京航空航天大学 一种基于图像处理的机械臂抓取系统及方法
US20200086483A1 (en) * 2018-09-15 2020-03-19 X Development Llc Action prediction networks for robotic grasping
CN109176521A (zh) * 2018-09-19 2019-01-11 北京因时机器人科技有限公司 一种机械臂及其抓取控制方法和系统
CN109993734A (zh) * 2019-03-29 2019-07-09 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110948492A (zh) * 2019-12-23 2020-04-03 浙江大学 一种基于深度学习的三维抓取平台和抓取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XINWEN ZHOU 等: ""Fully Convolutional Grasp Detection Network with Oriented Anchor Box"", 《2018 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *
喻群超 等: ""基于三级卷积神经网络的物体抓取检测"", 《机器人》 *
王勇 等: ""改进的多分辨率点云自动配准算法"", 《小型微型计算机系统》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022077146A1 (zh) * 2020-10-12 2022-04-21 深圳大学 透明物体的网格重建方法、装置、计算机设备和存储介质
US11748948B2 (en) 2020-10-12 2023-09-05 Shenzhen University Mesh reconstruction method and apparatus for transparent object, computer device and storage medium
CN112906797A (zh) * 2021-02-25 2021-06-04 华北电力大学 一种基于计算机视觉和深度学习的平面抓取检测方法
CN112906797B (zh) * 2021-02-25 2024-01-12 华北电力大学 一种基于计算机视觉和深度学习的平面抓取检测方法
CN113681552A (zh) * 2021-06-30 2021-11-23 大连理工江苏研究院有限公司 一种基于级联神经网络的机器人混杂物体五维抓取方法
CN113681552B (zh) * 2021-06-30 2022-08-16 大连理工江苏研究院有限公司 一种基于级联神经网络的机器人混杂物体五维抓取方法
CN113822933A (zh) * 2021-09-09 2021-12-21 中北大学 一种基于ResNeXt的智能机器人抓取方法
CN113822933B (zh) * 2021-09-09 2023-09-29 中北大学 一种基于ResNeXt的智能机器人抓取方法

Also Published As

Publication number Publication date
CN111428815B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN111428815B (zh) 一种基于Anchor angle机制的机械臂抓取检测方法
CN110298886B (zh) 一种基于四级卷积神经网络的灵巧手抓取规划方法
CN107705322A (zh) 运动目标识别跟踪方法和系统
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN103440645A (zh) 一种基于自适应粒子滤波和稀疏表示的目标跟踪算法
CN106709452B (zh) 一种基于智能巡检机器人的仪表位置检测方法
CN111553949A (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN110807775A (zh) 基于人工智能的中医舌像分割装置、方法及存储介质
CN112926503B (zh) 一种基于矩形拟合的抓取数据集自动生成方法
CN110443279B (zh) 一种基于轻量级神经网络的无人机图像车辆检测方法
CN110796700A (zh) 基于卷积神经网络的多物体抓取区域定位方法
CN115147488B (zh) 一种基于密集预测的工件位姿估计方法与抓取系统
CN114882109A (zh) 一种面向遮挡、杂乱场景下的机器人抓取检测方法及系统
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN114140418A (zh) 一种基于rgb图像和深度图像的七自由度抓取姿势检测方法
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN117252928B (zh) 用于电子产品模块化智能组装的视觉图像定位系统
CN113762159A (zh) 一种基于有向箭头模型的目标抓取检测方法及系统
CN112069979B (zh) 一种实时动作识别人机交互系统
CN113505808A (zh) 基于深度学习用于配电类设施开关检测识别算法
CN110348311B (zh) 一种基于深度学习的道路交叉口识别系统及方法
CN114998573B (zh) 一种基于rgb-d特征深度融合的抓取位姿检测方法
CN117132802A (zh) 一种田间小麦病虫害识别方法、装置及存储介质
CN114937153B (zh) 弱纹理环境下基于神经网络的视觉特征处理系统及方法
CN112989881A (zh) 一种无监督可迁移的3d视觉物体抓取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230717

Address after: No. 1811, 18th Floor, Building 19, Section 1201, Lushan Avenue, Wan'an Street, Tianfu New District, Chengdu, Sichuan, China (Sichuan) Pilot Free Trade Zone, 610213, China

Patentee after: Sichuan Jiulai Technology Co.,Ltd.

Address before: No. 69 lijiatuo Chongqing District of Banan City Road 400054 red

Patentee before: Chongqing University of Technology

TR01 Transfer of patent right