CN111695562B - 一种基于卷积神经网络的机器人自主抓取方法 - Google Patents

一种基于卷积神经网络的机器人自主抓取方法 Download PDF

Info

Publication number
CN111695562B
CN111695562B CN202010454612.3A CN202010454612A CN111695562B CN 111695562 B CN111695562 B CN 111695562B CN 202010454612 A CN202010454612 A CN 202010454612A CN 111695562 B CN111695562 B CN 111695562B
Authority
CN
China
Prior art keywords
grabbing
loss
representing
detection model
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010454612.3A
Other languages
English (en)
Other versions
CN111695562A (zh
Inventor
赵燕伟
周仙明
张健
吴耿育
王观龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010454612.3A priority Critical patent/CN111695562B/zh
Publication of CN111695562A publication Critical patent/CN111695562A/zh
Application granted granted Critical
Publication of CN111695562B publication Critical patent/CN111695562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种基于卷积神经网络的机器人自主抓取方法，包括：首先构建抓取检测模型，通过大量的数据集训练得到鲁棒性更强泛化能力更好的特征提取器；采集包含待抓取物体的场景图像送入到抓取检测模型中，得到待抓取物体在图像空间下的抓取框；根据机器人抓取过程中各坐标系之间的转换关系得到最终抓取位姿，控制机械臂到达指定位姿完成自主抓取操作。本发明将跨尺度检测的思想带入到抓取框的识别中，提高了不同尺度下的检测效果。同时将抓取框方向角的预测转化为分类与回归的组合，改善了多角度抓取的性能，提高了算法的准确率，有效的改善了机器人在非结构化环境中自主抓取的性能。

Description

一种基于卷积神经网络的机器人自主抓取方法
技术领域
本发明属于机器人智能控制与计算机视觉领域，具体涉及一种基于卷积神经网络的机器人自主抓取方法。
背景技术
随着科技的发展以及社会的进步，人们不仅仅希望从简单重复的工作中解脱出来，而且更加盼望机器人能够在生产生活中满足人们各方面的需求。提升机器人智能化的同时也面临着许多技术难题，其中之一就是机器人在非结构环境下自主抓取问题，因为抓取是机器人与外界交互的主要方式之一。
传统的工业机器人往往工作在结构化环境中，其依靠目标物体的三维模型进行抓取规划。而非结构化环境下预先知道目标物体的三维模型往往是不现实的，因为非结构化环境中包含大量未知物体，且待抓取物体的尺度存在变化以及物体间存在重叠遮挡等诸多因素。针对此问题，常用的方法是利用卷积神经网络来学习待抓取物体的特征信息，得到待抓取物体与机器人之间位姿映射关系从而实现自主抓取。相比人工设计得到的特征或根据待抓取物体的三维特征建立数据库保存抓取经验等方法，卷积神经网络通过大量的训练数据集得到鲁棒性更强泛化能力更好的特征提取器，能够进一步的将抓取经验迁移到未曾见过的物体上。为了提高抓取检测算法的整体性能，算法的网络结构往往比较复杂，但随着网络深度的加深计算的复杂程度也随之加大，同时也更加需要依赖硬件资源。因此，利用卷积神经网络、计算机视觉以及机器人运动学等相关技术，兼顾算法的准确率以及实时性，如何研发一套基于卷积神经网络的机器人自主抓取算法是亟待解决的问题。
发明内容
针对目前存在的问题，本发明提供了一种基于卷积神经网络的机器人自主抓取算法,能够同时在多个尺度下对目标物体进行检测，提高算法的准确率。同时在抓取检测过程中能满足实时性的要求，保证机器人能够在非结构化环境以及一些复杂场景下的自主抓取。
为达到上述目的，本发明采用的技术方案为，一种基于卷积神经网络的机器人自主抓取方法，包括以下步骤：
S1：构建基于多尺度特征的抓取检测模型，实现对抓取位姿的估计，具体包括：
S11：抓取检测模型特征提取部分的设计：特征提取部分以Darknet-53网络为基础，将SE模块嵌入到Darknet-53网络中的前四组残差结构中，使网络能够感知不同特征通道的重要程度，实现通道的自适应校准。将末端残差结构中的3×3的卷积替换为可变形卷积，使卷积核可以根据待抓取物体轮廓作为边界，而不是将感受眼局限于规则的矩形之中。
S12：抓取检测模型输出检测部分的设计：输出检测部分采用跨尺度预测的思想，抓取检测模型依次在三个尺度的特征图上进行抓取框的预测。抓取检测模型以五维向量抓取框的形式进行输出，抓取框定义为：
G＝{x,y,h,w,θ} (1)
其中，(x,y)表示抓取框的中心点；(h,w)表示抓取框的长度和宽度；θ表示抓取框的方位角，本发明将方向角的预测转化为分类与回归组合的问题，定义为：
θ＝θcls+θreg (2)
其中，θcls表示方向角的类别，θcls∈{0°,10°，…,170°}，将方向角从0°～180°依次划分成18个类别。θreg表示方向角回归部分的具体角度，θreg∈[0°,10°)。
S13：抓取检测模型损失函数的设计：损失函数主要分为回归损失(Lreg)、分类损失(Lcls)和置信度损失(Lconf)。回归损失包含抓取框的定位损失以及方向角的回归部分的损失。其中抓取框的定位损失采用DIoU，当预测的抓取框与真值框的DIoU值越高时，表明两个边界框重叠和对齐的越好。方向角回归部分的损失采用smoothL1，当预测的抓取框与真值框的smoothL1值越小时，表明方向角回归的越好。回归部分的损失函数定义为：
Figure BDA0002508754550000021
其中S×S表示每张图片预测的栅格数；B表示每个栅格预测抓取框的数目；
Figure BDA0002508754550000022
表示第i个栅格中第j个抓取框是否包含待抓取物体，有为1没有为0；k表示抓取框的预测值，k′表示抓取框的真实值；θreg表示方向角回归部分的预测值，θ′reg表示方向角回归部分的真实值。
分类损失部分主要为方向角分类部分的损失，其损失函数采用FocalLoss,当预测的抓取框与真值框的FocalLoss值越小时，表明方向角分到类别的越正确。分类部分的损失函数定义为：
Figure BDA0002508754550000031
其中θcls表示方向角分类部分的预测值，θ′cls表示方角分类部分的真实值。
置信度为判断某个栅格内是否包含待抓取物体，同时也更好的让模型去区分前景区域与背景区域。置信度部损失函数定义为：
Figure BDA0002508754550000032
其中c表示预测出的置信度，c′表示真实的置信度。
总的损失函数(Loss)为回归损失、分类损失以及置信度损失的加权和，定义为：
Loss＝αLreg+βLcls+Lconf (6)
其中α为回归损失部分的加权系数；β为分类损失部分的加权系数。
S2：通过视觉传感器采集大量包含待抓取物体的场景信息，并作为训练的数据集。同时为了防止抓取检测模型过拟合借助迁移学习的思想对抓取检测模型进行训练，最终得到鲁棒性更强泛化能力更好的抓取检测模型。
S3：将抓取检测模型运用到实际检测过程中，将包含待抓取物体的场景图片输入到抓取检测模型中，并对输入图像进行预处理，使其符合抓取检测模型的输入要求。最终抓取检测模型预测得到待抓取物体在像素坐标系下的抓取位姿。预测的过程可以表示为：
F(imgRGB)→Gobj(x,y,w,h,θ) (7)
其中,F表示抓取检测模型；imgRGB表示包含RGB信息的输入图片；Gobj表示待抓取物体在像素坐标系下的抓取位姿。
S4：根据相机内参将像素坐标系下的抓取位姿转化到相机坐标系下，根据手眼参数将相机坐标系下的抓取位姿转化到机器人基坐标下，通过与末端执行器之间的坐标变化关系进一步得到末端执行器的抓取位姿，最后根据建立的机器人运动学模型，通过计算机器人逆运动学求解得到机器人各个关节的坐标，驱动各关节到达指定位置完成对物体的抓取。
实现从待抓取物体的像素坐标到机器人关节坐标的转化，需要经过3次坐标变换和1次运动学求逆计算，假设将其统称为4次变换，那么待抓取物体在像素坐标系下的抓取位姿到机器人关节坐标的映射函数可以表示为：
Figure BDA0002508754550000041
其中，
Figure BDA0002508754550000042
代表像素坐标系到相机坐标系的变换矩阵；
Figure BDA0002508754550000043
代表相机坐标系到机器人基坐标系的变换矩阵；
Figure BDA0002508754550000044
代表机器人基坐标系到机器人末端执行器位姿的变换矩阵；
Figure BDA0002508754550000045
代表机器人末端执行器位姿到关节坐标的变换矩阵。
与现有技术相比，本发明具有以下优点：
1.本发明为解决机器人在非结构环境下以及复杂场景中的自主抓取问题，提出了一种基于卷积神经网络的机器人自主抓取方法。使用卷积神经网络通过大量的预训练数据得可以到鲁棒性更强泛化能力更好的特征提取器，能够进一步的将抓取经验迁移到未曾见过的物体上。
2.本发明将跨尺度检测的思想带入到抓取框的识别中，提高了不同尺度下的检测效果。同时将抓取框方向角的预测转化为分类与回归的组合，改善了多角度抓取的性能，提高了算法的准确率。
附图说明
图1为本发明方法整体流程图。
图2为本发明方法中抓取检测模型结构示意图。
图3为本发明方法中抓取检测模型抓取检的定义图。
图4为本发明方法中某些实例物体的抓取框预测结果示意图。
图5为本发明方法中机器人抓取过程坐标系之间转化的关系图。
具体实施方式
为了能更好的理解本发明，下面结合附图和实施例对本发明进行详细描述。
本发明方法的流程图如图1所示，包括以下步骤：
S1：构建基于多尺度特征的抓取检测模型，实现对抓取位姿的估计。抓取检测模型结构示意图如图2所示。
在步骤S1中，包括如下子步骤。
S11：抓取检测模型特征提取部分的设计：特征提取部分以Darknet-53网络为基础，将SE模块嵌入到Darknet-53网络中的前四组残差结构中，使网络能够感知不同特征通道的重要程度，实现通道的自适应校准。将末端残差结构中的3×3的卷积替换为可变形卷积，使卷积核可以根据待抓取物体轮廓作为边界，而不是将感受眼局限于规则的矩形之中。
S12：抓取检测模型输出检测部分的设计：输出检测部分采用跨尺度预测的思想，抓取检测模型依次在三个尺度的特征图上进行抓取框的预测。假设输入图像的尺度为(w,h)，那么对应的三个尺度特征图的尺寸依次为
Figure BDA0002508754550000051
分别针对小中大物体进行检测。抓取检测模型以五维向量抓取框的形式进行输出，如图3所示，抓取框定义为：
G＝{x,y,h,w,θ} (9)
其中，(x,y)表示抓取框的中心点；(h,w)表示抓取框的长度和宽度；θ表示抓取框的方位角，本发明将方向角的预测转化为分类与回归组合的问题，定义为：
θ＝θcls+θreg (10)
其中，θcls表示方向角的类别，θcls∈{0°,10°，…,170°}，将方向角从0°～180°依次划分成18个类别。θreg表示方向角回归部分的具体角度，θreg∈[0°,10°)。
S13：抓取检测模型损失函数的设计：损失函数主要分为回归损失(Lreg)、分类损失(Lcls)和置信度损失(Lconf)。回归损失包含抓取框的定位损失以及方向角的回归部分的损失。其中抓取框的定位损失采用DIoU，当预测的抓取框与真值框的DIoU值越高时，表明两个边界框重叠和对齐的越好。方向角回归部分的损失采用smoothL1，当预测的抓取框与真值框的smoothL1值越小时，表明方向角回归的越好。回归部分的损失函数定义为：
Figure BDA0002508754550000061
其中S×S表示每张图片预测的栅格数；B表示每个栅格预测抓取框的数目；
Figure BDA0002508754550000062
表示第i个栅格中第j个抓取框是否包含待抓取物体，有为1没有为0；k表示抓取框的预测值，k′表示抓取框的真实值；θreg表示方向角回归部分的预测值，θ′reg表示方向角回归部分的真实值。
分类损失部分主要为方向角分类部分的损失，其损失函数采用FocalLoss,当预测的抓取框与真值框的FocalLoss值越小时，表明方向角分到类别的越正确。分类部分的损失函数定义为：
Figure BDA0002508754550000063
其中θcls表示方向角分类部分的预测值，θ′cls表示方角分类部分的真实值。
置信度为判断某个栅格内是否包含待抓取物体，同时也更好的让模型去区分前景区域与背景区域。置信度部损失函数定义为：
Figure BDA0002508754550000064
其中c表示预测出的置信度，c′表示真实的置信度。
总的损失函数(Loss)为回归损失、分类损失以及置信度损失的加权和，定义为：
Loss＝αLreg+βLcls+Lconf (14)
其中α为回归损失部分的加权系数；β为分类损失部分的加权系数。
S2：通过视觉传感器采集大量包含待抓取物体的场景信息，并作为训练的数据集。同时为了防止抓取检测模型过拟合借助迁移学习的思想对抓取检测模型进行训练，最终得到鲁棒性更强泛化能力更好的抓取检测模型。
S3：将抓取检测模型运用到实际检测过程中，将包含待抓取物体的场景图片输入到抓取检测模型中，并对输入图像进行预处理，使其符合抓取检测模型的输入要求。最终抓取检测模型预测得到待抓取物体在像素坐标系下的抓取位姿。预测的过程可以表示为：
F(imgRGB)→Gobj(x,y,w,h,θ) (15)
其中,F表示抓取检测模型；imgRGB表示包含RGB信息的输入图片；Gobj表示待抓取物体在像素坐标系下的抓取位姿。
如图4所示第一行为包含待抓取物体的原始图片。第二行为单一尺度下的检测结果，图中方框为Gobj(x,y,w,h,θ)可视化后的结果，可以看出预测出来的抓取框基本能满足真实抓取，但部分抓取框偏大。第三行表示的是多尺度下的检测结果，可以明显看出检测更加符合实际抓取需求。
S4：根据相机内参将像素坐标系下的抓取位姿转化到相机坐标系下，根据手眼参数将相机坐标系下的抓取位姿转化到机器人基坐标下，通过与末端执行器之间的坐标变化关系进一步得到末端执行器的抓取位姿，最后根据建立的机器人运动学模型，通过计算机器人逆运动学求解得到机器人各个关节的坐标，驱动各关节到达指定位置完成对物体的抓取。
实现从待抓取物体的像素坐标到机器人关节坐标的转化，转化过程如图5所示，需要经过3次坐标变换和1次运动学求逆计算，假设将其统称为4次变换，那么待抓取物体在像素坐标系下的抓取位姿到机器人关节坐标的映射函数可以表示为：
Figure BDA0002508754550000071
其中，
Figure BDA0002508754550000072
代表像素坐标系到相机坐标系的变换矩阵；
Figure BDA0002508754550000073
代表相机坐标系到机器人基坐标系的变换矩阵；
Figure BDA0002508754550000074
代表机器人基坐标系到机器人末端执行器位姿的变换矩阵；
Figure BDA0002508754550000075
代表机器人末端执行器位姿到关节坐标的变换矩阵。
总之本发明为解决机器人在非结构环境下以及复杂场景中的自主抓取问题，提出了一种基于卷积神经网络的机器人自主抓取方法。使用卷积神经网络通过大量的预训练数据得可以到鲁棒性更强泛化能力更好的特征信息，能够进一步的将抓取经验迁移到未曾见过的物体上。同时将跨尺度检测的思想带入到抓取框的识别中，提高了不同尺度下的检测效果。同时将抓取框方向角的预测转化为分类与回归的组合，改善了多角度抓取的性能，提高了算法的准确率。
尽管以上结合附图对本发明的具体实施过程进行了描述，但本发明并不局限于上述的具体实施方案，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种基于卷积神经网络的机器人自主抓取方法，其特征在于：包含以下步骤：
S1：构建基于多尺度特征的抓取检测模型，实现对抓取位姿的估计，具体包括：
S11：抓取检测模型特征提取部分的设计：特征提取部分以Darknet-53网络为基础，将SE模块嵌入到Darknet-53网络中的前四组残差结构中，使网络能够感知不同特征通道的重要程度，实现通道的自适应校准；将末端残差结构中的3×3的卷积替换为可变形卷积，使卷积核可以根据待抓取物体轮廓作为边界，而不是将感受眼局限于规则的矩形之中；
S12：抓取检测模型输出检测部分的设计：输出检测部分采用跨尺度预测的思想，抓取检测模型依次在三个尺度的特征图上进行抓取框的预测；抓取检测模型以五维向量抓取框的形式进行输出，抓取框定义为：
Figure 152462DEST_PATH_IMAGE002
(1)
其中，
Figure 134849DEST_PATH_IMAGE004
表示抓取框的中心点；
Figure 711324DEST_PATH_IMAGE006
表示抓取框的长度和宽度；
Figure 168850DEST_PATH_IMAGE008
表示抓取框的方位角，将方向角的预测转化为分类与回归组合的问题，定义为：
Figure 779960DEST_PATH_IMAGE010
(2)
其中，
Figure 664739DEST_PATH_IMAGE012
表示方向角的类别，
Figure 462931DEST_PATH_IMAGE014
，将方向角从
Figure 724148DEST_PATH_IMAGE016
依次划分成18个类别；
Figure 189765DEST_PATH_IMAGE018
表示方向角回归部分的具体角度，
Figure 245445DEST_PATH_IMAGE020
；
S13：抓取检测模型损失函数的设计：损失函数主要分为回归损失
Figure 65021DEST_PATH_IMAGE022
、分类损失
Figure 864350DEST_PATH_IMAGE024
和置信度损失
Figure 184473DEST_PATH_IMAGE026
；回归损失包含抓取框的定位损失以及方向角的回归部分的损失；其中抓取框的定位损失采用DIoU，当预测的抓取框与真值框的DIoU值越高时，表明两个边界框重叠和对齐的越好；方向角回归部分的损失采用smoothL1，当预测的抓取框与真值框的smoothL1值越小时，表明方向角回归的越好；回归部分的损失函数定义为：
Figure 676634DEST_PATH_IMAGE028
(3)
其中
Figure 980577DEST_PATH_IMAGE030
表示每张图片预测的栅格数；
Figure 52438DEST_PATH_IMAGE032
表示每个栅格预测抓取框的数目；
Figure 758226DEST_PATH_IMAGE034
表示第i个栅格中第j个抓取框是否包含待抓取物体，有为1没有为0；
Figure 890130DEST_PATH_IMAGE036
表示抓取框的预测值，
Figure 681368DEST_PATH_IMAGE038
表示抓取框的真实值；
Figure DEST_PATH_IMAGE040
表示方向角回归部分的预测值，
Figure DEST_PATH_IMAGE042
表示方向角回归部分的真实值；
分类损失部分主要为方向角分类部分的损失，其损失函数采用FocalLoss, 当预测的抓取框与真值框的FocalLoss值越小时，表明方向角分到类别的越正确；分类部分的损失函数定义为：
Figure DEST_PATH_IMAGE044
(4)
其中
Figure 227361DEST_PATH_IMAGE046
表示方向角分类部分的预测值，
Figure 522076DEST_PATH_IMAGE048
表示方角分类部分的真实值；
置信度为判断某个栅格内是否包含待抓取物体，同时也更好的让模型去区分前景区域与背景区域；置信度部分损失函数定义为：
Figure 90461DEST_PATH_IMAGE050
(5)
其中
Figure 837837DEST_PATH_IMAGE052
表示预测出的置信度，
Figure 517080DEST_PATH_IMAGE054
表示真实的置信度；
总的损失函数Loss为回归损失、分类损失以及置信度损失的加权和，定义为：
Figure 666301DEST_PATH_IMAGE056
(6)
其中
Figure 405587DEST_PATH_IMAGE058
为回归损失部分的加权系数；
Figure 908768DEST_PATH_IMAGE060
为分类损失部分的加权系数；
S2：通过视觉传感器采集大量包含待抓取物体的场景信息，并作为训练的数据集；同时为了防止抓取检测模型过拟合借助迁移学习的思想对抓取检测模型进行训练，最终得到鲁棒性更强泛化能力更好的抓取检测模型；
S3：将抓取检测模型运用到实际检测过程中，将包含待抓取物体的场景图片输入到抓取检测模型中，并对输入图像进行预处理，使其符合抓取检测模型的输入要求；最终抓取检测模型预测得到待抓取物体在像素坐标系下的抓取位姿；预测的过程表示为：
Figure 126123DEST_PATH_IMAGE062
(7)
其中,F表示抓取检测模型；
Figure 395431DEST_PATH_IMAGE064
表示包含RGB信息的输入图片；
Figure 305618DEST_PATH_IMAGE066
表示待抓取物体在像素坐标系下的抓取位姿；
S4：根据相机内参将像素坐标系下的抓取位姿转化到相机坐标系下，根据手眼参数将相机坐标系下的抓取位姿转化到机器人基坐标下，通过与末端执行器之间的坐标变化关系进一步得到末端执行器的抓取位姿，最后根据建立的机器人运动学模型，通过计算机器人逆运动学求解得到机器人各个关节的坐标，驱动各关节到达指定位置完成对物体的抓取；
实现从待抓取物体的像素坐标到机器人关节坐标的转化，需要经过3 次坐标变换和1次运动学求逆计算，假设将其统称为4 次变换，那么待抓取物体在像素坐标系下的抓取位姿到机器人关节坐标的映射函数表示为：
Figure 293165DEST_PATH_IMAGE068
(8)
其中，
Figure 314211DEST_PATH_IMAGE070
代表像素坐标系到相机坐标系的变换矩阵；
Figure 172445DEST_PATH_IMAGE072
代表相机坐标系到机器人基坐标系的变换矩阵；
Figure 253534DEST_PATH_IMAGE074
代表机器人基坐标系到机器人末端执行器位姿的变换矩阵；
Figure DEST_PATH_IMAGE076
代表机器人末端执行器位姿到关节坐标的变换矩阵。
CN202010454612.3A 2020-05-26 2020-05-26 一种基于卷积神经网络的机器人自主抓取方法 Active CN111695562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010454612.3A CN111695562B (zh) 2020-05-26 2020-05-26 一种基于卷积神经网络的机器人自主抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010454612.3A CN111695562B (zh) 2020-05-26 2020-05-26 一种基于卷积神经网络的机器人自主抓取方法

Publications (2)

Publication Number Publication Date
CN111695562A CN111695562A (zh) 2020-09-22
CN111695562B true CN111695562B (zh) 2022-04-19

Family

ID=72478311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010454612.3A Active CN111695562B (zh) 2020-05-26 2020-05-26 一种基于卷积神经网络的机器人自主抓取方法

Country Status (1)

Country Link
CN (1) CN111695562B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528971B (zh) * 2021-02-07 2021-06-04 北京智芯微电子科技有限公司 基于深度学习的输电线路异常目标检测方法及系统
CN112949452B (zh) * 2021-02-25 2022-05-31 山西大学 一种基于多任务共享网络的机器人弱光环境抓取检测方法
CN112906797B (zh) * 2021-02-25 2024-01-12 华北电力大学 一种基于计算机视觉和深度学习的平面抓取检测方法
CN113011486A (zh) * 2021-03-12 2021-06-22 重庆理工大学 鸡爪分类及定位模型的构建方法及系统、鸡爪分拣方法
CN113524194B (zh) * 2021-04-28 2023-03-21 重庆理工大学 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
CN113681552B (zh) * 2021-06-30 2022-08-16 大连理工江苏研究院有限公司 一种基于级联神经网络的机器人混杂物体五维抓取方法
CN113799124B (zh) * 2021-08-30 2022-07-15 贵州大学 一种非结构化环境的机器人灵活抓取检测方法
CN115213890B (zh) * 2021-09-29 2023-12-08 达闼科技（北京）有限公司 抓取的控制方法、装置、服务器、电子设备及存储介质
CN114926527A (zh) * 2022-06-08 2022-08-19 哈尔滨理工大学 一种复杂背景下的机械臂抓取位姿检测方法
CN114782827B (zh) * 2022-06-22 2022-10-14 中国科学院微电子研究所 一种基于图像的物体抓取点获取方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110480637B (zh) * 2019-08-12 2020-10-20 浙江大学 一种基于Kinect传感器的机械臂零件图像识别抓取方法

Also Published As

Publication number Publication date
CN111695562A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN111695562B (zh) 一种基于卷积神经网络的机器人自主抓取方法
US11565407B2 (en) Learning device, learning method, learning model, detection device and grasping system
CN108491880B (zh) 基于神经网络的物体分类和位姿估计方法
CN108280856B (zh) 基于混合信息输入网络模型的未知物体抓取位姿估计方法
CN109800864B (zh) 一种基于图像输入的机器人主动学习方法
CN111523486B (zh) 一种基于改进CenterNet的机械臂抓取检测方法
CN111243017A (zh) 基于3d视觉的智能机器人抓取方法
CN111260649B (zh) 一种近距离机械臂感知与校准方法
Huang et al. A case study of cyber-physical system design: Autonomous pick-and-place robot
Zhuang et al. Instance segmentation based 6D pose estimation of industrial objects using point clouds for robotic bin-picking
CN113752255B (zh) 一种基于深度强化学习的机械臂六自由度实时抓取方法
Cheng et al. A grasp pose detection scheme with an end-to-end CNN regression approach
CN113762159B (zh) 一种基于有向箭头模型的目标抓取检测方法及系统
Zunjani et al. Intent-based object grasping by a robot using deep learning
JP7051751B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
Wang et al. Unsupervised representation learning for visual robotics grasping
CN115861780B (zh) 一种基于yolo-ggcnn的机械臂检测抓取方法
CN112288809A (zh) 一种用于多物体复杂场景的机器人抓取检测方法
Dong et al. A review of robotic grasp detection technology
Lin et al. Robot grasping based on object shape approximation and LightGBM
CN113822933B (zh) 一种基于ResNeXt的智能机器人抓取方法
JP7349423B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
CN114998573A (zh) 一种基于rgb-d特征深度融合的抓取位姿检测方法
CN117769724A (zh) 使用深度学习的对象检测和分类的合成数据集创建
Ito et al. Visualization of focal cues for visuomotor coordination by gradient-based methods: A recurrent neural network shifts the attention depending on task requirements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant