CN212724028U - 视觉机器人抓取系统 - Google Patents
视觉机器人抓取系统 Download PDFInfo
- Publication number
- CN212724028U CN212724028U CN202021517844.0U CN202021517844U CN212724028U CN 212724028 U CN212724028 U CN 212724028U CN 202021517844 U CN202021517844 U CN 202021517844U CN 212724028 U CN212724028 U CN 212724028U
- Authority
- CN
- China
- Prior art keywords
- feature extraction
- model
- module
- grabbing
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000605 extraction Methods 0.000 claims abstract description 72
- 238000004891 communication Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000000926 separation method Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000013526 transfer learning Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本实用新型提出了一种视觉机器人抓取系统,包括:工作台,图像获取装置,计算装置,机器人,图像获取装置位于工作台的上方,用于获取待抓取目标的初始图像;计算装置与图像获取装置通信连接,用于接收初始图像,并将初始图像输入预先训练的多尺度特征提取模型,计算得到处理图像,以获取待抓取目标的抓取姿态信息;机器人与计算装置通信连接,用于接收计算装置基于抓取姿态信息发出的控制信号,并基于控制信号调整至对应的抓取位置抓取待抓取目标。该视觉机器人抓取系统,可以实现对目标物体的快速识别定位与抓取预测,结合机器人学的运动控制完成视觉机器人的识别与抓取任务,提高了系统的实时性与稳定性。
Description
技术领域
本实用新型涉及机器人技术领域,尤其涉及一种视觉机器人抓取系统。
背景技术
传统视觉机器人使用特征描述处理目标检测问题,而随着目标物体类别的增多,特征提取变得越来越麻烦,计算量呈指数级增加,影响机器人操作的实时性。
传统视觉机器人在执行目标物体的定位与抓取等任务中大多采用“示教”方式,这种方式不具备泛化能力,当待抓取物体位置和形状发生改变时,机器人不能进行自动调整进而导致作业失败。因而灵活性差、稳定性不足是传统视觉机器人需要解决的问题。
实用新型内容
本实用新型要解决的技术问题是如何提高机器人抓取物品的灵活性和可靠性,本实用新型提出了一种视觉机器人抓取系统。
根据本实用新型实施例的视觉机器人抓取系统,包括:
工作台,用于放置待抓取目标;
图像获取装置,所述图像获取装置位于所述工作台的上方,用于获取所述待抓取目标的初始图像;
计算装置,与所述图像获取装置通信连接,用于接收所述初始图像,并将所述初始图像输入预先训练的多尺度特征提取模型,计算得到处理图像,以获取所述待抓取目标的抓取姿态信息;
机器人,与所述计算装置通信连接,用于接收所述计算装置基于所述抓取姿态信息发出的控制信号,并基于所述控制信号调整至对应的抓取位置抓取所述待抓取目标。
根据本实用新型实施例的视觉机器人抓取系统,将图像获取装置获取的待抓取目标的初始图像输入预先训练的多尺度特征提取模型后,可以处理得到机器人的抓取姿态信息,以控制机器人对待抓取目标进行自动、高效抓取。该抓取系统可以实现对目标物体的快速识别定位与抓取预测,结合机器人学的运动控制完成视觉机器人的识别与抓取任务,有效提高了系统的实时性与稳定性。
根据本实用新型的一些实施例,所述机器人包括:
六轴机械臂;
机械臂驱动器,所述机械臂驱动器与所述计算装置和所述六轴机械臂均通信连接,所述机械臂驱动器接收所述计算装置发出的控制指令,并基于所述控制指令控制所述六轴机械臂运动至所述抓取位置抓取所述待抓取目标。
在本实用新型的一些实施例中,所述六轴机械臂在抓取位置和初始位置之间切换,每完成一次抓取,所述六轴机械臂自动复位至所述初始位置。
根据本实用新型的一些实施例,所述计算装置为计算机,所述图像获取装置为深度相机。
在本实用新型的一些实施例中,所述工作台具有放置所述待抓取目标的放置区域,所述图像获取装置位于所述放置区域的正上方。
根据本实用新型的一些实施例,所述抓取系统还包括:调节装置,所述图像获取装置设于所述调节装置,所述调节装置对所述图像获取装置的高度和角度进行调节。
在本实用新型的一些实施例中,所述待抓取目标包括:环形线缆、快递盒、收纳盒、剪刀、螺丝刀、牙刷以及螺丝钉。
根据本实用新型的一些实施例,所述计算装置,包括:
卷积神经网络特征提取模块,用于基于Darknet-53骨架,搭建卷积神经网络特征提取模型;
标准卷积分离模块,与所述卷积神经网络特征提取模块通讯连接,所述标准卷积分离模块用于调用卷积层创建函数把所述卷积神经网络特征提取模型中的可分离的标准卷积分离成单位卷积,构成基模型;多尺度特征提取模块,与所述标准卷积分离模块通讯连接,所述多尺度特征提取模块用于采用跳跃连接的方式对所述基模型中不同卷积层之间进行连接,构建多尺度特征提取模型;
模型训练模块,与所述多尺度特征提取模块通讯连接,所述模型训练模块用于训练所述多尺度特征提取模型,以获得所述预先训练的多尺度特征提取模型。
根据本实用新型的一些实施例,所述模型训练模块包括:
数据集创建模块,用于获取多尺度数据集;
训练模块,与所述数据集创建模块通讯连接,所述训练模块用于基于所述多尺度数据集,采用迁移学习、并行运算和GPU加速方法中的至少一种方法对所述多尺度特征提取模型进行训练。
根据本实用新型的一些实施例,所述模型训练模块还包括:
模型评估优化模块,与所述训练模块通讯连接,所述模型评估优化模块用于对训练后的多尺度特征提取模型进行评估优化。
附图说明
图1为根据本实用新型实施例的视觉机器人抓取系统示意图;
图2为根据本实用新型实施例的视觉机器人抓取方法流程图。
附图标记:
抓取系统100,
工作台10,图像获取装置20,计算装置30,机器人40。
具体实施方式
为更进一步阐述本实用新型为达成预定目的所采取的技术手段及功效,以下结合附图及较佳实施例,对本实用新型进行详细说明如后。
如图1所示,根据本实用新型实施例的视觉机器人抓取系统100,包括:工作台10、图像获取装置20、计算装置30以及机器人40。
其中,工作台10用于放置待抓取目标,图像获取装置20位于工作台10的上方,用于获取待抓取目标的初始图像。
计算装置30与图像获取装置20通信连接,用于接收初始图像,并将初始图像输入预先训练的多尺度特征提取模型,计算得到处理图像,以获取待抓取目标的抓取姿态信息。
机器人40与计算装置30通信连接,用于接收计算装置30基于抓取姿态信息发出的控制信号,并基于控制信号调整至对应的抓取位置抓取待抓取目标。
这里的“基于处理图像,获取待抓取目标的抓取姿态信息”,可以理解为获取处理图像的待抓取框和待抓取框的坐标信息,将坐标信息通过坐标系转化计算,获得机器人的抓取姿态信息。
例如,基于处理图像,获取待抓取框的四个顶点的坐标信息:(x1,y1),(x2,y2),(x3,y3),(x4,y4);
按下述公式计算机器人的抓取姿态信息(X0,Y0,H0,W0,θ0):
其中,(X0,Y0)为待抓取框的中心对应的坐标,H0为机器人的二指平行抓手的最大高度,W0为二指平行抓手的手指宽度,θ0为待抓取框相对于水平面的角度。
由此,可以基于获得的计算机器人的抓取姿态信息(X0,Y0,H0,W0,θ0)调整机器人至对应的抓取位置,实现对待抓取目标的抓取。
根据本实用新型实施例的基于深度学习的视觉机器人抓取系统100,将图像获取装置20获取的待抓取目标的初始图像输入预先训练的多尺度特征提取模型后,可以处理得到机器人40的抓取姿态信息,以控制机器人40对待抓取目标进行自动、高效抓取。该抓取系统100可以实现对目标物体的快速识别定位与抓取预测,结合机器人40学的运动控制完成视觉机器人40的识别与抓取任务,有效提高了系统的实时性与稳定性。
根据本实用新型的一些实施例,如图1所示,机器人40包括:六轴机械臂和机械臂驱动器。
其中,机械臂驱动器与计算装置30和六轴机械臂均通信连接,机械臂驱动器接收计算装置30发出的控制指令,并基于控制指令控制六轴机械臂运动至抓取位置抓取待抓取目标。
在本实用新型的一些实施例中,六轴机械臂在抓取位置和初始位置之间切换,每完成一次抓取,六轴机械臂自动复位至初始位置。
需要说明的是,在控制机器人进行抓取任务时,需通过获取的待抓取目标的原始图像获得抓取框的信息,进而通过抓框信息计算转化为机器人的抓取姿态信息,将机器人复位至原始设定位置,可以便于上述坐标信息的计算转化。
根据本实用新型的一些实施例,计算装置为计算机,图像获取装置为深度相机。
在本实用新型的一些实施例中,工作台10具有放置待抓取目标的放置区域,图像获取装置20位于放置区域的正上方。由此,便于图像获取装置20对待抓取目标的图像采集。
根据本实用新型的一些实施例,抓取系统100还包括:调节装置,图像获取装置20设于调节装置,调节装置对图像获取装置20的高度和角度进行调节。例如,调节装置可以为可升降旋转的支架,图像获取装置20设于支架的端部,通过支架可以方便地调节图像获取装置20的高度和角度。
在本实用新型的一些实施例中,待抓取目标包括:环形线缆、快递盒、收纳盒、剪刀、螺丝刀、牙刷以及螺丝钉。也就是说,抓取系统100可以用于抓取环形线缆、快递盒、收纳盒、剪刀、螺丝刀、牙刷以及螺丝钉等。可以理解的是,上述待抓取目标仅是用于举例说明,而不应理解为对本实用新型的限制。
根据本实用新型的一些实施例,计算装置30,包括:
卷积神经网络特征提取模块,用于基于Darknet-53骨架,搭建卷积神经网络特征提取模型;
标准卷积分离模块,与卷积神经网络特征提取模块通讯连接,标准卷积分离模块用于调用卷积层创建函数把卷积神经网络特征提取模型中的可分离的标准卷积分离成单位卷积,构成基模型;多尺度特征提取模块,与标准卷积分离模块通讯连接,多尺度特征提取模块用于采用跳跃连接的方式对基模型中不同卷积层之间进行连接,构建多尺度特征提取模型;
模型训练模块,与多尺度特征提取模块通讯连接,模型训练模块用于训练多尺度特征提取模型,以获得预先训练的多尺度特征提取模型。
根据本实用新型的一些实施例,模型训练模块包括:
数据集创建模块,用于获取多尺度数据集;
训练模块,与数据集创建模块通讯连接,训练模块用于基于多尺度数据集,采用迁移学习、并行运算和GPU加速方法中的至少一种方法对多尺度特征提取模型进行训练。
根据本实用新型的一些实施例,模型训练模块还包括:
模型评估优化模块,与训练模块通讯连接,模型评估优化模块用于对训练后的多尺度特征提取模型进行评估优化。
采用本实用新型实施例的视觉机器人抓取系统对待抓取目标进行抓取的过程,包括:
图像获取装置获取放置在工作台上的待抓取目标的初始图像;
图像获取装置将初始图像发送给计算装置,以供计算装置将初始图像输入预先训练的多尺度特征提取模型,计算得到处理图像,并基于处理图像,获取待抓取目标的抓取姿态信息;
机器人基于抓取姿态信息,抓取待抓取目标。
需要说明的是,预先训练的多尺度特征提取模型可以通过计算装置30中的系统构建,具体的,计算装置30包括:
卷积神经网络特征提取模块,可以基于Darknet-53骨架,通过TensorFlow平台搭建卷积神经网络特征提取模型;
标准卷积分离模块,可以通过调用卷积层创建函数将卷积神经网络特征提取模型中的可分离的标准卷积分离成单位卷积,构成基模型;
多尺度特征提取模块,可以采用跳跃连接的方式对基模型中不同卷积层之间进行连接,构建多尺度特征提取模型;
数据集创建模块,可以获取多尺度数据集;例如,利用深度相机或通过云端已有数据集获取待训练图片;也就是说,可以通过深度相机拍摄获取待训练图片,也可以通过云端已有数据中获取待训练图片。然后对待训练图片进行真实抓取框标注,并通过对待训练图片进行剪裁和/或旋转处理以扩增待训练图片,获得多尺度数据集。
训练模块,可以通过数据集对搭建的多尺度特征提取模型进行训练,训练过程中使用迁移学习、并行运算和GPU加速方法中的至少一种来提高模型训练速度;需要说明的是,在获取待训练图片后,需要对待训练图片进行真实抓取框的标注。为了扩增待训练图片,可以对待训练图片进行裁剪获得不同大小尺寸的待训练图片;也可以对待训练图片进行旋转处理获得不同旋转角度的待训练图片;当然还可以既对待训练图片进行裁剪处理,又对待训练图片进行旋转处理,以扩增待训练图片数量。
模型评估优化模块,可以对训练后的多尺度特征提取模型进行评估优化,当多尺度特征提取模型计算得到的处理图像满足预设要求时,完成多尺度特征提取模型的训练。
其中,迁移学习可以采用常用的公开数据集Pascal VOC数据集对上述搭建好的多尺度特征提取模型进行迁移学习,Pascal VOC数据集包含有20种物体类别。
模型搭建过程具体包括:通过TensorFlow 1.15深度学习平台搭建卷积神经网络特征提取模型,模型搭建过程中首先调用 input=common._conv2d_fixed_padding(input,filers*1,1)卷积层创建函数把标准卷积分离成单位卷积,将1*1的卷积操作加上3*3的卷积 input=common._conv2d_fixed_padding(input,filers*2,3),共同构建出网络模型所需的基本模块,这些基本模块共同构成一个基模型。
在上述基模型的基础上通过跳跃连接定义shortcut=inputs,再定义 inputs=inputs+shortcut作为下一层的输入来实现不同卷积层之间的连接。一个基模型产出一个元特征作为二级模型的输入,通过设定基本模块的循环次数、输入像素、卷积核数以及步长完成模型堆叠,将53层不同尺度的卷积层累积叠加起来构建所需的模型框架,用于提取图像特征、获取学习权重。
在权重优化过程中,选用交叉熵作为损失函数。交叉熵损失函数的定义如下:
其中,C表示损失,y表示实际值,a表示输出值,n表示样本总数,x表示样本。
使用自适应梯度下降优化器作为权重更新的主要方法,最后使用归一化指数函数softmax输出最大概率值,并作为最后的预测值输出。训练过程中的权重放置在chackpiont文件夹中,其他文件夹还包括数据集文件夹、网络模型文件夹以及一些配置说明类文件夹。在使用过程中,可根据具体应用场景在此修改所需的文件和参数,进行方法的优化配置。由此,完成在Darknet-53网络结构的基础上增加分离卷积和跳跃连接实现多尺度特征提取模型的搭建。
搭建后的训练过程具体包括:
首先,下载Pascal VOC 2007和Pascal VOC 2012的数据集,其次使用Darknet 官网提供的针对VOC数据集处理标签的脚本生成VOC数据集的标签,通过修改脚本文件将自己的数据集、类别替换进来,并相应的修改数据配置文件、模型配置文件、标签配置文件和数据格式。然后下载预训练的网络模型参数,开始迁移训练。
下面参照附图以一个具体的实施例详细描述根据本实用新型的视觉机器人抓取系统100。值得理解的是,下述描述仅是示例性描述,而不是对本实用新型的具体限制。
本实用新型提出了一种视觉机器人抓取系统100,主要解决传统视觉检测方法在目标检测与分类过程中实时性不足,以及传统机器人在抓取预测过程中稳定性差的问题。
如图1所示,视觉机器人抓取系统100包括:工作台10、图像获取装置20、计算装置30及机器人40。
其中,工作台10用于放置待抓取目标,图像获取装置20位于工作台10的上方,用于获取待抓取目标的初始图像。
计算装置30与图像获取装置20通信连接,用于接收初始图像,并将初始图像输入预先训练的多尺度特征提取模型,计算得到处理图像,以获取待抓取目标的抓取姿态信息。
机器人40与计算装置30通信连接,用于接收计算装置30基于抓取姿态信息发出的控制信号,并基于控制信号调整至对应的抓取位置抓取待抓取目标。
这里的“基于处理图像,获取待抓取目标的抓取姿态信息”,可以理解为获取处理图像的待抓取框和待抓取框的坐标信息,将坐标信息通过坐标系转化计算,获得机器人的抓取姿态信息。
例如,基于处理图像,获取待抓取框的四个顶点的坐标信息:(x1,y1),(x2,y2),(x3,y3),(x4,y4);
按下述公式计算机器人的抓取姿态信息(X0,Y0,H0,W0,θ0):
其中,(X0,Y0)为待抓取框的中心对应的坐标,H0为机器人的二指平行抓手的最大高度,W0为二指平行抓手的手指宽度,θ0为待抓取框相对于水平面的角度。
由此,可以基于获得的计算机器人的抓取姿态信息(X0,Y0,H0,W0,θ0)调整机器人至对应的抓取位置,实现对待抓取目标的抓取。
如图1所示,机器人40包括:六轴机械臂和机械臂驱动器。
其中,机械臂驱动器与计算装置30和六轴机械臂均通信连接,机械臂驱动器接收计算装置30发出的控制指令,并基于控制指令控制六轴机械臂运动至抓取位置抓取待抓取目标。
六轴机械臂在抓取位置和初始位置之间切换,每完成一次抓取,六轴机械臂自动复位至初始位置。
需要说明的是,在控制机器人进行抓取任务时,需通过获取的待抓取目标的原始图像获得抓取框的信息,进而通过抓框信息计算转化为机器人的抓取姿态信息,将机器人复位至原始设定位置,可以便于上述坐标信息的计算转化。
计算装置为计算机,图像获取装置为深度相机。
工作台10具有放置待抓取目标的放置区域,图像获取装置20位于放置区域的正上方。由此,便于图像获取装置20对待抓取目标的图像采集。
抓取系统100还包括:调节装置,图像获取装置20设于调节装置,调节装置对图像获取装置20的高度和角度进行调节。例如,调节装置可以为可升降旋转的支架,图像获取装置20设于支架的端部,通过支架可以方便地调节图像获取装置20的高度和角度。
待抓取目标包括:环形线缆、快递盒、收纳盒、剪刀、螺丝刀、牙刷以及螺丝钉。也就是说,抓取系统100可以用于抓取环形线缆、快递盒、收纳盒、剪刀、螺丝刀、牙刷以及螺丝钉等。可以理解的是,上述待抓取目标仅是用于举例说明,而不应理解为对本实用新型的限制。
计算装置30,包括:
卷积神经网络特征提取模块,用于基于Darknet-53骨架,搭建卷积神经网络特征提取模型;
标准卷积分离模块,与卷积神经网络特征提取模块通讯连接,标准卷积分离模块用于调用卷积层创建函数把卷积神经网络特征提取模型中的可分离的标准卷积分离成单位卷积,构成基模型;多尺度特征提取模块,与标准卷积分离模块通讯连接,多尺度特征提取模块用于采用跳跃连接的方式对基模型中不同卷积层之间进行连接,构建多尺度特征提取模型;
模型训练模块,与多尺度特征提取模块通讯连接,模型训练模块用于训练多尺度特征提取模型,以获得预先训练的多尺度特征提取模型。
模型训练模块包括:
数据集创建模块,用于获取多尺度数据集;
训练模块,与数据集创建模块通讯连接,训练模块用于基于多尺度数据集,采用迁移学习、并行运算和GPU加速方法中的至少一种方法对多尺度特征提取模型进行训练。
模型训练模块还包括:
模型评估优化模块,与训练模块通讯连接,模型评估优化模块用于对训练后的多尺度特征提取模型进行评估优化。
在对目标物体抓取前,预先搭建训练多尺度特征提取模型。其中,待训练的数据集的采集使用云端已有的数据集和通过深度相机自主采集完成,数据集的预处理采用LabelImg软件进行标注,通过剪裁、旋转对数据集进行扩增,并将标注好的真实值框进行聚类,筛选出主要的几类抓取框作为候选框。
搭建多尺度特征提取模型对已创建的数据集进行特征提取,模型搭建过程中,以Darknet-53骨架为基础,配合分离卷积、旋转卷积、跳跃连接等思想,搭建单级检测模型框架,设定IOU值作为匹配标准,使用交叉熵函数作为损失函数。
训练过程中使用迁移学习、并行运算和GPU加速等方法加快训练速度。
以Cornell Dataset为基准,做五折交叉和消融实验,评估识别速度、泛化性和鲁棒性。
为实现物体抓取,需确定目标物体在机械臂坐标系中的位姿,然后将物体的位姿通过坐标转换转成重新定义的抓取框,重新定义的抓取框只需要回归边框的修偏值即可。
具体地,结合图2所示,计算机将初始图像输入预先训练的多尺度特征提取模型,获取所述待抓取目标的抓取姿态信息的步骤如下:
步骤一:多尺度数据集创建。首先利用深度相机获取待抓取目标的图片信息,将这些图片构建为目标检测数据集,通过裁剪、旋转对该数据集进行扩增。扩增后的数据集的预处理采用labelImg软件将图像中目标物体名称和边界框进行人工标注。将图像中被标注的部分定义为正样本,未被标注的部分定义为负样本。
步骤二:多尺度特征提取模型。搭建多尺度特征提取模型对上述创建完成的数据集进行特征提取。
步骤三:模型训练。对上述搭建完成的多尺度特征提取模型进行训练,训练过程中使用迁移学习、并行运算和GPU加速等方法加快训练速度。
其中,迁移学习利用darknet/script/ImageNet_laber.py将ImageNet数据集的格式转换为训练darknet需要的格式生成每张图片的label,保存在/labels文件夹下;创建一个文件data/ImageNet/ImageNet.name,将ImageNet的1000个分类写入文件;创建一个文件data/ImageNet/ImageNet.data,指定类别数,训练集和测试集的位置等;修改网络结构,新建一个yolov3-ImageNet.cfg;修改utils/dataset.py;下载预训练权重weights/yolov3.pt,开始迁移训练。
步骤四:评估优化。模型训练完成后,以康奈尔数据集(Cornell Dataset) 为基准,做五折交叉和消融实验,评估优化模型的识别速度、泛化性和鲁棒性。
五折交叉验证算法步骤如下:
a.将数据集Cornell Dataset随机分成5个包;
b.每次将其中一个包作为测试集,剩下的4个包作为训练集进行训练;
c.最后计算5次求得的分类率的平均值,作为模型的真实分辨率。
步骤五:可行性分析。若以上结果有效则进行下一步,否则返回到第二步。
步骤六:位姿转换。为实现物体抓取,需确定目标物体在机械臂坐标系中的位姿,然后将物体的位姿通过坐标转换转成重新定义的抓取框。
坐标转换与抓取框再定义计算如下:
(1)坐标转换。通过相机标定建立像素坐标系到相机坐标系的变换关系,通过手眼标定建立相机坐标系到机械臂坐标系的转换关系。具体实现步骤为:
a.使用张正友标定法获取相机的内参矩阵和畸变参数;
b.标定相机外参数矩阵,用于图像坐标与世界坐标的转换;
c.设置N个特征点(N>3),计算其世界坐标,移动机械臂工作末端到特征点,记录末端坐标,获得N组数据;
d.计算两组数据的旋转矩阵和平移矩阵,其中特征点世界坐标为A组数据,末端坐标为B组数据;
(2)抓取框再定义。
为获取目标物体的抓取位姿,采用前文所述方法将训练数据集中给出的正例抓取框的四个顶点坐标转换成五参数(X0,Y0,H0,W0,θ0)表示法,五参数表示法给出了在对物体执行抓取时二指平行抓手的位置和方向。
步骤七:多尺度实时物体检测。
综上所述,利用本实用新型提出的抓取系统100,可以实现对目标物体的快速识别定位与抓取预测,结合机器人学的运动控制等相关技术完成视觉机器人的识别与抓取任务,并有效提高了系统的实时性与稳定性。
通过具体实施方式的说明,应当可对本实用新型为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解,然而所附图示仅是提供参考与说明之用,并非用来对本实用新型加以限制。
Claims (10)
1.一种视觉机器人抓取系统,其特征在于,包括:
工作台,用于放置待抓取目标;
图像获取装置,所述图像获取装置位于所述工作台的上方,用于获取所述待抓取目标的初始图像;
计算装置,与所述图像获取装置通信连接,用于接收所述初始图像,并将所述初始图像输入预先训练的多尺度特征提取模型,计算得到处理图像,以获取所述待抓取目标的抓取姿态信息;
机器人,与所述计算装置通信连接,用于接收所述计算装置基于所述抓取姿态信息发出的控制信号,并基于所述控制信号调整至对应的抓取位置抓取所述待抓取目标。
2.根据权利要求1所述的视觉机器人抓取系统,其特征在于,所述机器人包括:
六轴机械臂;
机械臂驱动器,所述机械臂驱动器与所述计算装置和所述六轴机械臂均通信连接,所述机械臂驱动器接收所述计算装置发出的控制指令,并基于所述控制指令控制所述六轴机械臂运动至所述抓取位置抓取所述待抓取目标。
3.根据权利要求2所述的视觉机器人抓取系统,其特征在于,所述六轴机械臂在抓取位置和初始位置之间切换,每完成一次抓取,所述六轴机械臂自动复位至所述初始位置。
4.根据权利要求1所述的视觉机器人抓取系统,其特征在于,所述计算装置为计算机,所述图像获取装置为深度相机。
5.根据权利要求1所述的视觉机器人抓取系统,其特征在于,所述工作台具有放置所述待抓取目标的放置区域,所述图像获取装置位于所述放置区域的正上方。
6.根据权利要求1所述的视觉机器人抓取系统,其特征在于,所述抓取系统还包括:调节装置,所述图像获取装置设于所述调节装置,所述调节装置对所述图像获取装置的高度和角度进行调节。
7.根据权利要求1所述的视觉机器人抓取系统,其特征在于,所述待抓取目标包括:环形线缆、快递盒、收纳盒、剪刀、螺丝刀、牙刷以及螺丝钉。
8.根据权利要求1-7中任一项所述的视觉机器人抓取系统,其特征在于,所述计算装置,包括:
卷积神经网络特征提取模块,用于基于Darknet-53骨架,搭建卷积神经网络特征提取模型;
标准卷积分离模块,与所述卷积神经网络特征提取模块通讯连接,所述标准卷积分离模块用于调用卷积层创建函数把所述卷积神经网络特征提取模型中的可分离的标准卷积分离成单位卷积,构成基模型;
多尺度特征提取模块,与所述标准卷积分离模块通讯连接,所述多尺度特征提取模块用于采用跳跃连接的方式对所述基模型中不同卷积层之间进行连接,构建多尺度特征提取模型;
模型训练模块,与所述多尺度特征提取模块通讯连接,所述模型训练模块用于训练所述多尺度特征提取模型,以获得所述预先训练的多尺度特征提取模型。
9.根据权利要求8所述的视觉机器人抓取系统,其特征在于,所述模型训练模块包括:
数据集创建模块,用于获取多尺度数据集;
训练模块,与所述数据集创建模块通讯连接,所述训练模块用于基于所述多尺度数据集,采用迁移学习、并行运算和GPU加速方法中的至少一种方法对所述多尺度特征提取模型进行训练。
10.根据权利要求9所述的视觉机器人抓取系统,其特征在于,所述模型训练模块还包括:
模型评估优化模块,与所述训练模块通讯连接,所述模型评估优化模块用于对训练后的多尺度特征提取模型进行评估优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202021517844.0U CN212724028U (zh) | 2020-07-28 | 2020-07-28 | 视觉机器人抓取系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202021517844.0U CN212724028U (zh) | 2020-07-28 | 2020-07-28 | 视觉机器人抓取系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN212724028U true CN212724028U (zh) | 2021-03-16 |
Family
ID=74911633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202021517844.0U Expired - Fee Related CN212724028U (zh) | 2020-07-28 | 2020-07-28 | 视觉机器人抓取系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN212724028U (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113239786A (zh) * | 2021-05-11 | 2021-08-10 | 重庆市地理信息和遥感应用中心 | 基于增强学习与特征变换的遥感图像乡村别墅识别方法 |
-
2020
- 2020-07-28 CN CN202021517844.0U patent/CN212724028U/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113239786A (zh) * | 2021-05-11 | 2021-08-10 | 重庆市地理信息和遥感应用中心 | 基于增强学习与特征变换的遥感图像乡村别墅识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111723782A (zh) | 基于深度学习的视觉机器人抓取方法及系统 | |
CN109483554B (zh) | 基于全局和局部视觉语义的机器人动态抓取方法及系统 | |
CN110692082B (zh) | 学习装置、学习方法、学习模型、推算装置以及夹持系统 | |
CN111046948B (zh) | 点云仿真和深度学习的工件位姿识别及机器人上料方法 | |
CN111590611B (zh) | 一种基于多模态主动感知的物品分类回收方法 | |
CN110580725A (zh) | 一种基于rgb-d相机的箱体分拣方法及系统 | |
CN109584298B (zh) | 面向机器人自主物体拾取任务的在线自学习方法 | |
CN111923053A (zh) | 基于深度视觉的工业机器人物件抓取示教系统及方法 | |
WO2012052615A1 (en) | Method for the filtering of target object images in a robot system | |
CN113610921A (zh) | 混合工件抓取方法、设备及计算机可读存储介质 | |
CN107953329A (zh) | 物体识别和姿态估计方法、装置及机械臂抓取系统 | |
CN115816460B (zh) | 一种基于深度学习目标检测与图像分割的机械手抓取方法 | |
CN113808205B (zh) | 一种基于检测约束的快速动态目标抓取方法 | |
CN110969660A (zh) | 一种基于三维立体视觉和点云深度学习的机器人上料系统 | |
CN115070781B (zh) | 一种物体抓取方法及双机械臂协作系统 | |
CN112947458B (zh) | 基于多模态信息的机器人准确抓取方法及计算机可读介质 | |
CN113762159B (zh) | 一种基于有向箭头模型的目标抓取检测方法及系统 | |
CN115861780B (zh) | 一种基于yolo-ggcnn的机械臂检测抓取方法 | |
CN116984269A (zh) | 一种基于图像识别的煤矸石抓取方法及系统 | |
CN116529760A (zh) | 抓取控制方法、装置、电子设备和存储介质 | |
CN212724028U (zh) | 视觉机器人抓取系统 | |
CN112975957A (zh) | 目标提取方法、系统、机器人及存储介质 | |
CN114193440B (zh) | 基于3d视觉的机器人自动抓取系统及方法 | |
CN114998573A (zh) | 一种基于rgb-d特征深度融合的抓取位姿检测方法 | |
WO2024067006A1 (zh) | 无序线材分拣方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210316 |
|
CF01 | Termination of patent right due to non-payment of annual fee |