CN110796700A - 基于卷积神经网络的多物体抓取区域定位方法 - Google Patents

基于卷积神经网络的多物体抓取区域定位方法 Download PDF

Info

Publication number
CN110796700A
CN110796700A CN201910998195.6A CN201910998195A CN110796700A CN 110796700 A CN110796700 A CN 110796700A CN 201910998195 A CN201910998195 A CN 201910998195A CN 110796700 A CN110796700 A CN 110796700A
Authority
CN
China
Prior art keywords
grabbing
circle
neural network
convolutional neural
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910998195.6A
Other languages
English (en)
Other versions
CN110796700B (zh
Inventor
徐昱琳
王亮
杨傲雷
俞慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Transpacific Technology Development Ltd
Original Assignee
Beijing Transpacific Technology Development Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Transpacific Technology Development Ltd filed Critical Beijing Transpacific Technology Development Ltd
Priority to CN201910998195.6A priority Critical patent/CN110796700B/zh
Publication of CN110796700A publication Critical patent/CN110796700A/zh
Application granted granted Critical
Publication of CN110796700B publication Critical patent/CN110796700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的多物体抓取区域定位方法，包括图像平面抓取检测部分和抓取位姿定位部分，属于图像检测和定位领域。所述图像平面抓取检测部分对Cornell Grasping Dataset进行数据增强，并按照所述旋转直径圆的抓取表示方式构建图像的抓取标签，得到训练集和验证集；构建卷积神经网络模型并通过所述训练集训练，利用训练好的卷积神经网络模型为图像中每个物体预测可行的抓取圆。所述抓取位姿定位部分通过配准的点云得到抓取点的空间位置，然后计算抓取点的法线向量，结合物体抓取圆的参数，确定物体的抓取位姿。本发明可以在多物体场景下快速而准确的得到每个物体的抓取位姿，从而实现对未知物体的高准确度抓取。

Description

基于卷积神经网络的多物体抓取区域定位方法
技术领域
本发明涉及图像检测和定位领域，具体涉及一种基于卷积神经网络的多物体抓取区域定位方法。
背景技术
抓取检测是机器人领域的一个重要研究热点。抓取检测简单地可以理解为在多物体场景下，为每个物体找到可行的抓取位姿。由于机械臂抓取物体时必须提供一个准确的抓取位姿，因此在多物体场景下如何做到实时的抓取检测，得到每个物体的抓取位姿是一个具有挑战性的问题。随着深度学习技术的发展，利用卷积神经网络进行抓取检测取得了很大的成功。中国专利CN 108010078公开了一种基于三级串联卷积神经网络的物体抓取检测方法，利用训练好的三级串联卷积神经网络获取目标物的预选抓取框和评判值，通过评判值获取最佳抓取框，从而准确地评估每个预选抓取框，提高抓取框的准确度，实现对未知物体的高准确度抓取。然而，大多数抓取检测网络模型设计过于复杂，不易训练；且旋转矩形框(抓取框)是根据平行板夹持器的形状抽象得到的，虽然在图像平面也可以表示多指夹持器的抓取，但是不够直观，冗余的参数也会影响网络的训练。因此目前需要进一步改善图像平面抓取的表示方式和抓取检测网络模型的设计，使其在多物体场景下能做到实时稳定且准确的抓取检测。
发明内容
本发明针对现有技术的不足，而提出用旋转直径圆表示图像平面可行的抓取，并提供一种基于卷积神经网络的多物体抓取区域定位方法，该方法能在多物体场景下实现对未知物体的高准确度抓取检测。
本发明为解决技术问题采用如下技术方案：
一种基于卷积神经网络的多物体抓取区域定位方法，包括如下步骤：
步骤1：对Cornell Grasping Dataset进行数据增强，并按照旋转直径圆的抓取表示方式构建训练集的标签，所述训练集用于训练抓取卷积神经网络；
步骤2：构建抓取卷积神经网络，并利用所述训练集离线训练所述抓取卷积神经网络的参数，得到抓取卷积神经网络模型；
步骤3：使用摄像头获取RGB图像和配准的点云，RGB图像作为所述抓取卷积神经网络模型的输入；
步骤4：利用抓取卷积神经网络为图像中的每个物体预测可行的抓取圆；
步骤5：所述抓取圆传给抓取位姿定位算法，通过配准的点云确定物体的位置与姿态。
所述步骤1中，构建训练集的具体方法为：
步骤1.1：对Cornell Grasping Dataset中的每一张RGB图像进行随机的旋转、平移和缩放，随机调整图像的亮度、饱和度、对比度和色相，进行数据增强；
步骤1.2：对数据增强得到的任意一张RGB图像划分为N×N的网格，若抓取圆的中心位于某个网格内，则该网格负责检测该抓取圆，令该网格的抓取置信度标签为1，通过四维向量G＝{x,y,d,θ}表示抓取圆，其中(x,y)表示旋转直径圆的圆心坐标，d表示旋转直径圆的直径，θ表示抓取圆的旋转直径与水平直径的夹角，即目标物在图像中的旋转角度，按照所述旋转直径圆的抓取表示方式构建图像的标签；否则，令该网格的抓取置信度标签为0。
所述步骤2中，抓取卷积神经网络为全卷积神经网络，由特征提取层，特征融合层，输出层三部分组成，网络的输出层按照所述旋转直径圆的抓取表示方式构建；通过所述训练集训练卷积神经网络模型的参数。
所述步骤3中的摄像头为Kinect V2。
所述步骤5中，定位物体抓取位姿的方法具体为：
步骤5.1：确定目标物的位置：
利用抓取圆的圆心和RGB图像配准的点云，在相机坐标系下获得所述目标物体抓取点的位置；
步骤5.2：确定目标物的姿态：
在相机坐标系下，通过配准的点云在抓取点的邻域内计算抓取点的法线向量，以抓取点的法线向量作为抓取参考坐标系z轴的单位向量，抓取点的切平面和相机坐标系y＝0平面的交线向量作为抓取参考坐标系y轴的单位向量，根据笛卡尔坐标系右手法则确定抓取参考坐标系的x轴方向,从而确定目标物体的抓取参考坐标系；抓取参考坐标系绕其z轴旋转一定角度θ后可得到抓取坐标系，从而获得所述目标物在相机坐标系下的抓取姿态。
依据本发明，在多物体场景下，通过卷积神经网络模型为每个物体找到可行的抓取圆，再利用抓取位姿定位算法通过配准的点云得到准确的抓取位姿。
与现有技术相比，本发明的有益效果包括：
1.本发明通过夹持器抓取物体的动作抽象得到了旋转直径圆，使用旋转直径圆(抓取圆)表示图像平面可行的抓取，与通过平行板夹持器的形状抽象得到的抓取框相比，适用于平行板夹持器、多指夹持器等不同类型的夹持器，并简化了图像平面抓取的表示方式。
2.本发明使用卷积神经网络搭建抓取检测网络模型，所述旋转直径圆的抓取表示方式作为网络的输出，使用数据增强得到的训练集进行训练。网络易于搭建和训练，泛化能力较强，可对任何物体(包括训练集中没有的物体)实现准确的抓取检测，不再需要手工设计特征或建立物体的三维模型，就能得到物体的抓取圆。通过端到端的抓取检测网络，减少了抓取检测的时间。
3.本发明提出了一种定位抓取位姿的方法，通过网络预测的抓取圆和配准的点云即可计算得到物体的抓取位姿，相机的位置可以任意摆放，可在多物体场景下对每个物体实现实时的抓取位姿定位，进而控制机械臂对物体进行闭环抓取。
附图说明
图1为本发明中旋转直径圆的抓取表示方式图。
图2为本发明中抓取检测系统流程图。
图3为本发明中图像构建抓取圆标签的示意图。
图4为本发明中抓取检测神经网络模型图。
具体实施方式
以下结合附图，对本发明的具体实施例进行进一步详细说明。
如图1所示，一种旋转直径圆的抓取表示方式，包括如下内容，在2D图像平面，圆心(x,y)表示抓取点，旋转直径d表示夹持器张开的宽度和闭合的方向，旋转直径角θ表示物体在图像平面旋转的角度，圆表示物体的抓取区域。
如图2所示，一种基于卷积神经网络的多物体抓取区域定位方法，包括如下步骤：
步骤1：对Cornell Grasping Dataset进行数据增强，并按照所述旋转直径圆的抓取表示方式构建训练集的标签，所述训练集用于训练抓取卷积神经网络。
步骤1.1：对Cornell Grasping Dataset中的每一张RGB图像进行随机的旋转、平移和缩放，随机调整图像的亮度、饱和度、对比度和色相，进行数据增强。
步骤1.2：如图3所示，对数据增强得到的任意一张RGB图像划分为N×N的网格，若抓取圆的中心位于某个网格内，则该网格负责检测该抓取圆，令该网格的抓取置信度标签为1，按照所述旋转直径圆的抓取表示方式构建图像的标签；否则，令该网格的抓取置信度标签为0。通过四维向量G＝{x,y,d,θ}表示抓取圆，其中(x,y)表示旋转直径圆的圆心坐标，d表示旋转直径圆的直径，θ表示旋转直径圆的旋转直径与水平直径的夹角(即目标物在图像中的旋转角度)。夹角θ的范围在[-π/2,π/2]之间，抓取圆的夹角标签用sin2θ和cos2θ来表示，使所述夹角标签的范围在[-1,1]之间。若N×N的网格中负责检测抓取圆的网格左上角像素点坐标为(cx,cy)，则抓取圆标签{tx,ty,td,tsin,tcos}构建如下：抓取圆的圆心坐标标签(tx,ty)通过圆心坐标(x,y)与所述网格的左上角像素点坐标(cx,cy)的偏移除以卷积神经网络的下采样因子p来表示，使所述圆心坐标标签的范围在[0,1]之间；抓取圆的直径标签td通过直径d除以缩放因子s来表示，使所述直径标签的范围在[0,1]之间；抓取圆的夹角标签tsin，tcos通过sin2θ和cos2θ来表示，使所述夹角标签的范围在[-1,1]之间，本实施例中，下采样因子p为32，缩放因子s为160；
利用式(1)确定图像的旋转直径圆标签。
Figure BDA0002240406930000041
步骤2：构建抓取卷积神经网络，并利用所述训练集离线训练所述抓取卷积神经网络的参数，从而得到抓取卷积神经网络模型。
如图4所示，上述建立抓取卷积神经网络结构的具体方法为：网络前5层为特征提取层，由步长为2的3X3的卷积层组成；网络中间3层为特征融合层，由步长为1的1×1和3×3的卷积层组成；网络的输出层按照所述旋转直径圆的抓取表示方式构建，由步长为1的1×1卷积层组成；通过网络预测的抓取圆标签和图像所对应的抓取圆标签的均方根误差来更新网络的权重。
步骤3：由摄像头Kinect V2获取RGB图像，并作为所述抓取卷积神经网络模型的输入。
步骤4：利用抓取卷积神经网络对图像中的每个物体预测可行的抓取圆。
步骤5：所述抓取圆传给抓取位姿定位算法，通过配准的点云进行抓取位姿的定位。
步骤5.1：确定目标物的位置：
通过抓取圆的圆心(x,y)和RGB图像配准的点云，在相机坐标系下获得目标物抓取点的位置P＝(X,Y,Z)；x和y分别表示抓取圆的圆心在图像坐标系的坐标值；X、Y和Z分别表示所述目标物抓取点在相机坐标系下的三维坐标值；
步骤5.2：确定目标物的姿态：
在相机坐标系Fc下，通过配准的点云在目标物抓取点P的邻域内计算抓取点的法线向量，表示为(fx,fy,fz)T，根据抓取点的法线向量和抓取圆的水平直径确定物体的抓取参考坐标系Fr，根据抓取点的法线向量和抓取圆的旋转直径确定物体的抓取坐标系Fg；定义表示从抓取坐标系到相机坐标系的旋转矩阵，表示从抓取参考坐标系到相机坐标系的旋转矩阵，
Figure BDA0002240406930000044
表示从抓取坐标系到抓取参考坐标系的旋转矩阵；以抓取点的法线向量作为抓取参考坐标系z轴的单位向量，使用式(2)表示：
Figure BDA0002240406930000051
式(3)表示抓取点的切平面和相机坐标系y＝0平面的交线；
Figure BDA0002240406930000052
以交线向量作为抓取参考坐标系y轴的单位向量，使用式(4)表示：
Figure BDA0002240406930000053
根据笛卡尔坐标系右手法则确定抓取参考坐标系的x轴方向，x轴的单位向量为y轴的单位向量和z轴的单位向量的叉乘，在相机坐标系Fc下表示为
Figure BDA0002240406930000054
使用式(5)表示：
Figure BDA0002240406930000055
利用式(6)获得抓取参考坐标系Fr在相机坐标系Fc下的姿态
Figure BDA0002240406930000056
抓取参考坐标系和抓取坐标系的原点都是所述抓取点P＝(X,Y,Z)，且都以抓取点的法线向量作为坐标系的z轴方向，抓取参考坐标系绕z轴旋转一定角度θ后可得到抓取坐标系，利用式(7)获得抓取坐标系Fg在抓取参考坐标系Fr下的姿态
Figure BDA0002240406930000058
Figure BDA0002240406930000059
式(7)中，θ是抓取圆的旋转直径相对于水平直径的角度，也是所述目标物在图像中的旋转角度；
利用式(8)获得抓取坐标系Fg在相机坐标系Fc下的姿态
Figure BDA00022404069300000510
Figure BDA00022404069300000511
Figure BDA0002240406930000061
利用式(9)获得目标物在相机坐标系Fc下的位姿矩阵
Figure BDA0002240406930000062
Figure BDA0002240406930000063
通过手眼标定确定所述相机坐标系Fc与机械臂基座坐标系Fb的相对位姿矩阵
Figure BDA0002240406930000064
Figure BDA0002240406930000065
利用式(10)获得所述目标物在机械臂基座坐标系Fb下的位姿矩阵
Figure BDA0002240406930000066

Claims (5)

1.一种基于卷积神经网络的多物体抓取区域定位方法，其特征在于，包括如下步骤：
步骤1：对Cornell Grasping Dataset进行数据增强，并按照旋转直径圆的抓取表示方式构建训练集的标签，所述训练集用于训练抓取卷积神经网络；
步骤2：构建抓取卷积神经网络，并利用所述训练集离线训练所述抓取卷积神经网络的参数，得到抓取卷积神经网络模型；
步骤3：使用摄像头获取RGB图像和配准的点云，RGB图像作为所述抓取卷积神经网络模型的输入；
步骤4：利用抓取卷积神经网络为图像中的每个物体预测可行的抓取圆；
步骤5：所述抓取圆传给抓取位姿定位算法，通过配准的点云确定物体的位置与姿态。
2.根据权利要求1所述的基于卷积神经网络的多物体抓取区域定位方法，其特征在于，所述步骤1中，构建训练集的具体方法为：
步骤1.1：对Cornell Grasping Dataset中的每一张RGB图像进行随机的旋转、平移和缩放，随机调整图像的亮度、饱和度、对比度和色相，进行数据增强；
步骤1.2：对数据增强得到的任意一张RGB图像划分为N×N的网格，若抓取圆的中心位于某个网格内，则该网格负责检测该抓取圆，令该网格的抓取置信度标签为1，通过四维向量G = {x, y, d, θ}表示抓取圆，其中 (x, y) 表示旋转直径圆的圆心坐标，d表示旋转直径圆的直径，θ表示抓取圆的旋转直径与水平直径的夹角，即目标物在图像中的旋转角度，按照所述旋转直径圆的抓取表示方式构建图像的标签；否则，令该网格的抓取置信度标签为0。
3.根据权利要求1所述的基于卷积神经网络的多物体抓取区域定位方法，其特征在于，所述步骤2中，抓取卷积神经网络为全卷积神经网络，由特征提取层，特征融合层，输出层三部分组成，网络的输出层按照所述旋转直径圆的抓取表示方式构建；通过所述训练集训练卷积神经网络模型的参数。
4.根据权利要求1所述的基于卷积神经网络的多物体抓取区域定位方法，其特征在于，所述步骤3中的摄像头为Kinect V2。
5.根据权利要求1所述的基于卷积神经网络的多物体抓取区域定位方法，其特征在于，所述步骤5中，定位物体抓取位姿的方法具体为：
步骤5.1：确定目标物的位置：
利用抓取圆的圆心和RGB图像配准的点云，在相机坐标系下获得所述目标物体抓取点的位置；
步骤5.2：确定目标物的姿态：
在相机坐标系下，通过配准的点云在抓取点的邻域内计算抓取点的法线向量，以抓取点的法线向量作为抓取参考坐标系z轴的单位向量，抓取点的切平面和相机坐标系y=0平面的交线向量作为抓取参考坐标系y轴的单位向量，根据笛卡尔坐标系右手法则确定抓取参考坐标系的x轴方向，从而确定目标物体的抓取参考坐标系；抓取参考坐标系绕其z轴旋转一定角度θ后可得到抓取坐标系，从而获得所述目标物在相机坐标系下的抓取姿态。
CN201910998195.6A 2019-10-21 2019-10-21 基于卷积神经网络的多物体抓取区域定位方法 Active CN110796700B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910998195.6A CN110796700B (zh) 2019-10-21 2019-10-21 基于卷积神经网络的多物体抓取区域定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910998195.6A CN110796700B (zh) 2019-10-21 2019-10-21 基于卷积神经网络的多物体抓取区域定位方法

Publications (2)

Publication Number Publication Date
CN110796700A true CN110796700A (zh) 2020-02-14
CN110796700B CN110796700B (zh) 2023-06-09

Family

ID=69439480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910998195.6A Active CN110796700B (zh) 2019-10-21 2019-10-21 基于卷积神经网络的多物体抓取区域定位方法

Country Status (1)

Country Link
CN (1) CN110796700B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652928A (zh) * 2020-05-11 2020-09-11 上海交通大学 三维点云中物体抓取位姿检测方法
CN111738261A (zh) * 2020-06-30 2020-10-02 张辉 基于位姿估计和校正的单图像机器人无序目标抓取方法
CN112419402A (zh) * 2020-11-27 2021-02-26 广东电网有限责任公司肇庆供电局 一种基于多光谱影像和激光点云的定位方法及系统
CN113420752A (zh) * 2021-06-23 2021-09-21 湖南大学 基于抓取点检测的三指手势生成方法及系统
CN113888631A (zh) * 2021-08-31 2022-01-04 华南理工大学 一种基于目标裁剪区域的指定物体抓取方法
CN113920142A (zh) * 2021-11-11 2022-01-11 江苏昱博自动化设备有限公司 一种基于深度学习的分拣机械手多物体分拣方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100092079A1 (en) * 2008-10-14 2010-04-15 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-d pose of the target
CN108010078A (zh) * 2017-11-29 2018-05-08 中国科学技术大学 一种基于三级卷积神经网络的物体抓取检测方法
US10089575B1 (en) * 2015-05-27 2018-10-02 X Development Llc Determining grasping parameters for grasping of an object by a robot grasping end effector
CN110298370A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 网络模型训练方法、装置及物体位姿确定方法、装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100092079A1 (en) * 2008-10-14 2010-04-15 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-d pose of the target
US10089575B1 (en) * 2015-05-27 2018-10-02 X Development Llc Determining grasping parameters for grasping of an object by a robot grasping end effector
CN108010078A (zh) * 2017-11-29 2018-05-08 中国科学技术大学 一种基于三级卷积神经网络的物体抓取检测方法
CN110298370A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 网络模型训练方法、装置及物体位姿确定方法、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龙嫣然等: "基于PCL的Jaco机械臂的目标抓取", 工业控制计算机 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652928A (zh) * 2020-05-11 2020-09-11 上海交通大学 三维点云中物体抓取位姿检测方法
CN111652928B (zh) * 2020-05-11 2023-12-15 上海交通大学 三维点云中物体抓取位姿检测方法
CN111738261A (zh) * 2020-06-30 2020-10-02 张辉 基于位姿估计和校正的单图像机器人无序目标抓取方法
CN111738261B (zh) * 2020-06-30 2023-08-04 张辉 基于位姿估计和校正的单图像机器人无序目标抓取方法
CN112419402A (zh) * 2020-11-27 2021-02-26 广东电网有限责任公司肇庆供电局 一种基于多光谱影像和激光点云的定位方法及系统
CN113420752A (zh) * 2021-06-23 2021-09-21 湖南大学 基于抓取点检测的三指手势生成方法及系统
CN113888631A (zh) * 2021-08-31 2022-01-04 华南理工大学 一种基于目标裁剪区域的指定物体抓取方法
CN113888631B (zh) * 2021-08-31 2024-05-24 华南理工大学 一种基于目标裁剪区域的指定物体抓取方法
CN113920142A (zh) * 2021-11-11 2022-01-11 江苏昱博自动化设备有限公司 一种基于深度学习的分拣机械手多物体分拣方法
CN113920142B (zh) * 2021-11-11 2023-09-26 江苏昱博自动化设备有限公司 一种基于深度学习的分拣机械手多物体分拣方法

Also Published As

Publication number Publication date
CN110796700B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN110796700A (zh) 基于卷积神经网络的多物体抓取区域定位方法
CN107392964B (zh) 基于室内特征点和结构线结合的室内slam方法
CN108555908B (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
WO2020119338A1 (zh) 机器人目标物体抓取位置检测的方法
CN110480637B (zh) 一种基于Kinect传感器的机械臂零件图像识别抓取方法
CN111612845A (zh) 一种基于移动标定板的激光雷达与相机联合标定方法
CN109283538A (zh) 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
CN110298886B (zh) 一种基于四级卷积神经网络的灵巧手抓取规划方法
CN109035200A (zh) 一种基于单双目视觉协同的螺栓定位及位姿检测方法
CN110378325B (zh) 一种机器人抓取过程中的目标位姿识别方法
CN111199556B (zh) 基于摄像头的室内行人检测和跟踪方法
CN111553949B (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN108229587A (zh) 一种基于飞行器悬停状态的输电杆塔自主扫描方法
CN110553650B (zh) 一种基于小样本学习的移动机器人重定位方法
JP7387117B2 (ja) 計算システム、方法及び非一時的コンピュータ可読媒体
CN114882109A (zh) 一种面向遮挡、杂乱场景下的机器人抓取检测方法及系统
CN111428815A (zh) 一种基于Anchor angle机制的机械臂抓取检测方法
CN111598172A (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN110910349B (zh) 一种基于航拍视觉的风电机组状态获取方法
CN112947458A (zh) 基于多模态信息的机器人准确抓取方法及计算机可读介质
CN111399634A (zh) 一种手势引导物体识别的方法及装置
CN116977328A (zh) 车底机器人主动视觉中的图像质量评估方法
Lin et al. Target recognition and optimal grasping based on deep learning
JPH1151611A (ja) 認識対象物体の位置姿勢認識装置および位置姿勢認識方法
Wang et al. Fisheye omnidirectional camera calibration—Pinhole or spherical model?

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant