CN207231476U - 一种基于双目视觉的快递包裹抓取装置 - Google Patents

一种基于双目视觉的快递包裹抓取装置 Download PDF

Info

Publication number
CN207231476U
CN207231476U CN201721220606.1U CN201721220606U CN207231476U CN 207231476 U CN207231476 U CN 207231476U CN 201721220606 U CN201721220606 U CN 201721220606U CN 207231476 U CN207231476 U CN 207231476U
Authority
CN
China
Prior art keywords
courier packages
grabbing device
crawl
model
utility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201721220606.1U
Other languages
English (en)
Inventor
高振清
徐炜东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Graphic Communication
Original Assignee
Beijing Institute of Graphic Communication
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Graphic Communication filed Critical Beijing Institute of Graphic Communication
Priority to CN201721220606.1U priority Critical patent/CN207231476U/zh
Application granted granted Critical
Publication of CN207231476U publication Critical patent/CN207231476U/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本实用新型公开了一种基于双目视觉的快递包裹抓取装置，快递包裹抓取装置包括一个支架，装置支架的顶端安装有双目摄像机，在双目摄像机的下方设置有笼车，笼车的一侧设置有六轴机械臂，六轴机械臂上安装有机械抓手。本实用新型的有益技术效果是：操作对象为快递包裹，形状基本近似于长方体，装置的主要功能包括图像中的关键点识别、包裹轮廓识别、抓取机器人末端抓取位姿计算、抓取轨迹控制等，实现了功能一体化，节省工作空间，保证操作精度，提升工作的智能化水平，后续可与更大范围的快递分拣系统集成应用。

Description

一种基于双目视觉的快递包裹抓取装置
技术领域
本实用新型涉及一种快递包裹抓取装置，尤其涉及一种基于双目视觉的快递包裹抓取装置。
背景技术
抓取动作是工业机器人应用中的一个常见任务。传统定位方法必须经过精确的人工定位后，按照“示教式”程序一步一步实现标准位姿工件的抓取和放置，但很多情况下工件位姿无法预知，没有规律可循。这就对机器人物体识别的智能化程度提出了需求。基于视觉识别的机器人模仿人的视觉，可以实现对目标物体的识别，获得场景深度信息，近年来得到了很快的发展。
机械臂的视觉识别指的是用摄像机模拟人眼来控制机械臂的动作。随着机器人人工智能化的程度的提升和图像处理的高速发展，计算机图像处理技术与工业机器人技术的交互利用日益频繁且技术日趋成熟[1]。法国Aldebaran Robotics公司研制出的机器人NAO配有多种传感器，可通过边缘检测以及颜色分割完成对目标的识别[2]。Burget F等人通过图像处理技术来获得目标物体的三维信息，然后制定相应的抓取姿态对目标物体进行抓取[3]。日本本田公司研制的仿生机器人基于视觉识别与定位技术，成功完成端茶倒水的任务[4]。另外，日本Fanuc公司、瑞士的ABB公司和德国KUKA公司都推出了“拣选”系统[5]。日本的Murakami利用CCD相机传感技术，研制出机器人跟踪控制系统[6]。澳大利亚Western大学用CCD相机配合六自由度机器人开发出三维码垛机器人实现三维空间的码垛，瑞士SIG利用代视觉识别的并联机器人，应用与流水输送线上的搬运[7]。上海大学何永义教授的团队研发的家具服务轮式机器人，通过三目摄像头，实现对物体的识别抓取等功能[8]；华中科技大学提出基于视觉引导和超声被测距的手眼机器人系统实现了对运动目标的跟踪和抓取[9]。
[1]焦恩章，杜荣工业机器人分拣技术的实现【J】组合机床与自动化加工技术。2010
[2]Muller J，Frese U，Rofer T.Grab a mug-Object detection and graspmotion planning with the Nao robot[C]//Ieee-Ras International Conference onHumanoid Robots.IEEE，2012：349-356.
[3]Dalibard S，bastien，El Khoury A，et al.Dynamic Walking and Whole-Body Motion Planning for Humanoid Robots：an Integrated Approach[J].International Journal of Robotics Research，2013，32(9-10)：1089-1103.
[4]Gienger M，Toussaint M，Goerick C.Whole-body Motion Planning-Building Blocks for Intelligent Systems[M]//Motion Planning for HumanoidRobots.Springer London，2010：67-98.
[5]权欢欢，张洛平.装配线零件图像识别与系统实现.[D].洛阳：河南科技大学，2008
[6]chaumette F，malisE.2D 1/2visual servoing：A possible solution toimage-based and position-based and position-based visual servoings[C].IEEEInternational Conference on Robotics and Automation，San Francisco，2000：630-635
[7]Goshtasby A，Gage S H，Bartholic J F，A two-stage cross correlationapproach to template matching[J]，Pattern Analysis and Machine Intelligence，IEEE Transaction on，1984(3)：374-384
[8]刘鹏玉.服务机器人手眼协调仿生控制研究[D].上海大学，2012.
[9]王敏.基于视觉与超声技术机器人自动识别抓取系统[J].华中科技大学学报(自然科学版)，2001，29(1)：73-75。
实用新型内容
本实用新型的目的在于提供一种基于双目视觉的快递包裹抓取装置和抓取方法，解决现有技术存在的缺憾。
本实用新型采用如下技术方案实现：
一种基于双目视觉的快递包裹抓取方法，其特征在于，该方法包括如下步骤：
1)建立坐标系：对双目摄像机进行标定，建立相机坐标系、世界坐标系和机械臂坐标系，并明确各坐标系之间的关系，完成双目摄像机内外参数的标定；
2)图像预处理：对图像进行包括二值化、轮廓提取的操作预处理；
3)角点检测：采用harris算子对图像进行角点检测，完成特征点提取；
4)轮廓提取：采用链码方法以检测到角点为起点寻找一个封闭的四边形，并得到封闭四边形四个角的平面坐标，完成轮廓提取，封闭四边形是某个包裹的一个完整表面，按照常规属于最容易抓取的表面。
5)确定机器人抓取位姿：根据双目摄像机的内外参数，将提取的平面轮廓转化为空间位置和姿态数据，作为机器人抓取的目标。
一种基于双目视觉的快递包裹抓取装置，该装置具有一个支架，所述支架的顶端安装有双目摄像机，在所述双目摄像机的下方设置有笼车，在所述笼车的一侧设置有六轴机械臂，所述六轴机械臂上安装有机械抓手。
本实用新型的有益技术效果是：操作对象为快递包裹，形状基本近似于长方体，装置的主要功能包括图像中的关键点识别、包裹轮廓识别、抓取机器人末端抓取位姿计算、抓取轨迹控制等，实现了功能一体化，节省工作空间，保证操作精度，提升工作的智能化水平，后续可与更大范围的快递分拣系统集成应用。
附图说明
图1是本实用新型的总体流程图。
图2是抓取装置的结构示意图。
图3是角点识别结果。
图4是轮廓提取结果。
图5是目标识别结果。
具体实施方式
通过下面对实施例的描述，将更加有助于公众理解本实用新型，但不能也不应当将申请人所给出的具体的实施例视为对本实用新型技术方案的限制，任何对部件或技术特征的定义进行改变和/或对整体结构作形式的而非实质的变换都应视为本实用新型的技术方案所限定的保护范围。
一种基于双目视觉的快递包裹抓取方法，该方法包括如下步骤：1)建立坐标系：对双目摄像机进行标定，建立相机坐标系、世界坐标系和机械臂坐标系，并明确各坐标系之间的关系，完成双目摄像机内外参数的标定；2)图像预处理：对图像进行包括二值化、轮廓提取的操作预处理；3)角点检测：采用harris算子对图像进行角点检测，完成特征点提取；4)轮廓提取：采用链码方法以检测到角点为起点寻找一个封闭的四边形，并得到封闭四边形四个角的平面坐标，完成轮廓提取，封闭四边形是某个包裹的一个完整表面，按照常规属于最容易抓取的表面。5)确定机器人抓取位姿：根据双目摄像机的内外参数，将提取的平面轮廓转化为空间位置和姿态数据，作为机器人抓取的目标。在图5中，虚线框内的封闭四边形即为目标的识别结果。
机器人抓取位姿计算：深度检测是基于视差原理的，通常在双目摄像机拍摄的两张图中存在着视觉差，我们通过视差以及摄像机成像原理就能得到该点的深度。
目标包裹的二维平面上的点P(x1，y1)在右相机上的坐标为(Xr，Yr)，平行双目摄像机的左右两幅图在同一个平面上yi＝yr，所以：
p点在左相机下的三维坐标为
带入得：
按照上述方法，可以得到矩形轮廓的的四个顶点坐标A(x1，y1，z1)、B(x2，y2，z2)、C(x3，y3，z3)、D(x4，y4，z4)，由此计算该矩形在空间中的位姿描述，进而确定目标物品的抓取位置。
机器人抓取位姿确定：目标物品的抓取位置我们可以用上述A、B、C、D四个点的坐标来进行描述得出。
机器人执行端对目标物品的抓取位置取空间矩形两条长边的中点，具体坐标为机器人执行端的抓取姿态用空间矩形几何中心的法线方向。矩形几何中心位置坐标为：
则执行端抓取方向为：
上述得出的抓取位置E、F以及执行端抓取方向：
后续可作为控制参数发送至机器人控制器或进行仿真研究，利用DH方法建立六自由度机器人的逆运动学方程，并推算出各个关节的转角。
一种基于双目视觉的快递包裹抓取装置，该装置具有一个支架1，支架1的顶端安装有双目摄像机2，在双目摄像机2的下方设置有笼车5，在笼车5的一侧设置有六轴机械臂4，六轴机械臂4上安装有机械抓手3。
当然，本实用新型还可以有其他多种实施例，在不背离本实用新型精神及其实质的情况下，熟悉本领域的技术人员可以根据本实用新型做出各种相应的改变和变形，但这些相应的改变和变形都应属于本实用新型所附的权利要求的保护范围。

Claims (1)

1.一种基于双目视觉的快递包裹抓取装置，其特征在于，该装置具有一个支架，所述支架的顶端安装有双目摄像机，在所述双目摄像机的下方设置有笼车，在所述笼车的一侧设置有六轴机械臂，所述六轴机械臂上安装有机械抓手。
CN201721220606.1U 2017-09-22 2017-09-22 一种基于双目视觉的快递包裹抓取装置 Expired - Fee Related CN207231476U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201721220606.1U CN207231476U (zh) 2017-09-22 2017-09-22 一种基于双目视觉的快递包裹抓取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201721220606.1U CN207231476U (zh) 2017-09-22 2017-09-22 一种基于双目视觉的快递包裹抓取装置

Publications (1)

Publication Number Publication Date
CN207231476U true CN207231476U (zh) 2018-04-13

Family

ID=61863385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201721220606.1U Expired - Fee Related CN207231476U (zh) 2017-09-22 2017-09-22 一种基于双目视觉的快递包裹抓取装置

Country Status (1)

Country Link
CN (1) CN207231476U (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108402866A (zh) * 2018-04-19 2018-08-17 吉林大学 一种基于三轴移动平台的快递分件与自取终端系统及方法
CN108648234A (zh) * 2018-04-19 2018-10-12 北京控制工程研究所 一种用于目标抓捕的机械臂相对导航方法
CN108898129A (zh) * 2018-07-25 2018-11-27 四川理工学院 一种融合机器视觉与激光扫描的快递条码自动识别系统
CN109540105A (zh) * 2017-09-22 2019-03-29 北京印刷学院 一种基于双目视觉的快递包裹抓取装置和抓取方法
CN110303497A (zh) * 2019-06-26 2019-10-08 上海一芯智能科技有限公司 基于二维相机的智能卡获取方法及系统、存储介质
CN111724444A (zh) * 2020-06-16 2020-09-29 中国联合网络通信集团有限公司 目标物的抓取点的确定方法、装置及抓取系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109540105A (zh) * 2017-09-22 2019-03-29 北京印刷学院 一种基于双目视觉的快递包裹抓取装置和抓取方法
CN108402866A (zh) * 2018-04-19 2018-08-17 吉林大学 一种基于三轴移动平台的快递分件与自取终端系统及方法
CN108648234A (zh) * 2018-04-19 2018-10-12 北京控制工程研究所 一种用于目标抓捕的机械臂相对导航方法
CN108898129A (zh) * 2018-07-25 2018-11-27 四川理工学院 一种融合机器视觉与激光扫描的快递条码自动识别系统
CN110303497A (zh) * 2019-06-26 2019-10-08 上海一芯智能科技有限公司 基于二维相机的智能卡获取方法及系统、存储介质
CN110303497B (zh) * 2019-06-26 2023-02-17 上海一芯智能科技有限公司 基于二维相机的智能卡获取方法及系统、存储介质
CN111724444A (zh) * 2020-06-16 2020-09-29 中国联合网络通信集团有限公司 目标物的抓取点的确定方法、装置及抓取系统
CN111724444B (zh) * 2020-06-16 2023-08-22 中国联合网络通信集团有限公司 目标物的抓取点的确定方法、装置及抓取系统

Similar Documents

Publication Publication Date Title
CN207231476U (zh) 一种基于双目视觉的快递包裹抓取装置
CN109540105A (zh) 一种基于双目视觉的快递包裹抓取装置和抓取方法
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
US11691273B2 (en) Generating a model for an object encountered by a robot
CN108972549B (zh) 基于Kinect深度摄像头的工业机械臂实时避障规划抓取系统
CN110211180A (zh) 一种基于深度学习的机械臂自主抓取方法
CN106737665B (zh) 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法
CN110298886B (zh) 一种基于四级卷积神经网络的灵巧手抓取规划方法
CN108283021A (zh) 使用来自机器人的相机的相机图像的检测边缘和从环境的三维模型取得的检测边缘来定位环境中的机器人
CN108858193A (zh) 一种机械臂抓取方法及系统
CN114952809B (zh) 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
Suzuki et al. Grasping of unknown objects on a planar surface using a single depth image
CN110480637A (zh) 一种基于Kinect传感器的机械臂零件图像识别抓取方法
CN110909644A (zh) 基于强化学习的机械臂末端执行器抓取姿态调整方法及系统
CN114882109A (zh) 一种面向遮挡、杂乱场景下的机器人抓取检测方法及系统
Xu et al. Multi-view human pose estimation in human-robot interaction
Kragic et al. Model based techniques for robotic servoing and grasping
Lin et al. Vision based object grasping of industrial manipulator
CN113681565A (zh) 一种实现机器人与人之间物品传递的人机协作方法及装置
JP5462662B2 (ja) 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム
Fan et al. An automatic robot unstacking system based on binocular stereo vision
CN115578460A (zh) 基于多模态特征提取与稠密预测的机器人抓取方法与系统
Li et al. Workpiece intelligent identification and positioning system based on binocular machine vision
CN211890823U (zh) 基于RealSense相机的四自由度机械臂视觉伺服控制系统
CN113822946A (zh) 一种基于计算机视觉的机械臂抓取方法

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180413

Termination date: 20200922

CF01 Termination of patent right due to non-payment of annual fee