CN109540105A - 一种基于双目视觉的快递包裹抓取装置和抓取方法 - Google Patents

一种基于双目视觉的快递包裹抓取装置和抓取方法 Download PDF

Info

Publication number
CN109540105A
CN109540105A CN201710848798.9A CN201710848798A CN109540105A CN 109540105 A CN109540105 A CN 109540105A CN 201710848798 A CN201710848798 A CN 201710848798A CN 109540105 A CN109540105 A CN 109540105A
Authority
CN
China
Prior art keywords
courier packages
binocular camera
crawl
binocular
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710848798.9A
Other languages
English (en)
Inventor
高振清
徐炜东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Graphic Communication
Original Assignee
Beijing Institute of Graphic Communication
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Graphic Communication filed Critical Beijing Institute of Graphic Communication
Priority to CN201710848798.9A priority Critical patent/CN109540105A/zh
Publication of CN109540105A publication Critical patent/CN109540105A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于双目视觉的快递包裹抓取方法和装置，方法包括建立坐标系、图像预处理、角点检测、轮廓提取、确定机器人抓取位姿；快递包裹抓取装置，装置支架的顶端安装有双目摄像机，在双目摄像机的下方设置有笼车，笼车的一侧设置有六轴机械臂，六轴机械臂上安装有机械抓手。本发明的有益技术效果是：操作对象为快递包裹，形状基本近似于长方体，装置的主要功能包括图像中的关键点识别、包裹轮廓识别、抓取机器人末端抓取位姿计算、抓取轨迹控制等，实现了功能一体化，节省工作空间，保证操作精度，提升工作的智能化水平，后续可与更大范围的快递分拣系统集成应用。

Description

一种基于双目视觉的快递包裹抓取装置和抓取方法
技术领域
本发明涉及一种快递包裹抓取装置和抓取方法，尤其涉及一种基于双目视觉的快递包裹抓取装置和抓取方法。
背景技术
抓取动作是工业机器人应用中的一个常见任务。传统定位方法必须经过精确的人工定位后，按照“示教式”程序一步一步实现标准位姿工件的抓取和放置，但很多情况下工件位姿无法预知，没有规律可循。这就对机器人物体识别的智能化程度提出了需求。基于视觉识别的机器人模仿人的视觉，可以实现对目标物体的识别，获得场景深度信息，近年来得到了很快的发展。
机械臂的视觉识别指的是用摄像机模拟人眼来控制机械臂的动作。随着机器人人工智能化的程度的提升和图像处理的高速发展，计算机图像处理技术与工业机器人技术的交互利用日益频繁且技术日趋成熟[1]。法国Aldebaran Robotics公司研制出的机器人NAO配有多种传感器，可通过边缘检测以及颜色分割完成对目标的识别[2]。Burget F等人通过图像处理技术来获得目标物体的三维信息，然后制定相应的抓取姿态对目标物体进行抓取[3]。日本本田公司研制的仿生机器人基于视觉识别与定位技术，成功完成端茶倒水的任务[4]。另外，日本Fanuc公司、瑞士的ABB公司和德国KUKA公司都推出了“拣选”系统[5]。日本的Murakami利用CCD相机传感技术，研制出机器人跟踪控制系统[6]。澳大利亚Western大学用CCD相机配合六自由度机器人开发出三维码垛机器人实现三维空间的码垛，瑞士SIG利用代视觉识别的并联机器人，应用与流水输送线上的搬运[7]。上海大学何永义教授的团队研发的家具服务轮式机器人，通过三目摄像头，实现对物体的识别抓取等功能[8]；华中科技大学提出基于视觉引导和超声被测距的手眼机器人系统实现了对运动目标的跟踪和抓取[9]。
[1]焦恩章，杜荣 工业机器人分拣技术的实现【J】组合机床与自动化加工技术。2010
[2]Muller J，Frese U，Rofer T.Grab a mug-Object detection and graspmotion planning with the Nao robot[C]//Ieee-Ras International Conference onHumanoid Robots.IEEE，2012：349-356.
[3]Dalibard S，bastien，El Khoury A，et al.Dynamic Walking and Whole-Body Motion Planning for Humanoid Robots：an Integrated Approach[J].International Journal of Robotics Research，2013，32(9-10)：1089-1103.
[4]Gienger M，Toussaint M，Goerick C.Whole-body Motion Planning -Building Blocks for Intelligent Systems[M]//Motion Planning for HumanoidRobots.Springer London，2010：67-98.
[5]权欢欢，张洛平.装配线零件图像识别与系统实现.[D].洛阳：河南科技大学，2008
[6]chaumette F，malisE.2D1/2visual servoing：A possible solution toimage-based and position-based and position-based visual servoings[C].IEEEInternational Conference on Robotics and Automation，San Francisco，2000：630-635
[7]Goshtasby A，Gage S H，Bartholic J F，A two-stage cross correlationapproach to template matching[J]，Pattern Analysis and Machine Intelligence，IEEE Transaction on，1984(3)：374-384
[8]刘鹏玉.服务机器人手眼协调仿生控制研究[D].上海大学，2012.
[9]王敏.基于视觉与超声技术机器人自动识别抓取系统[J].华中科技大学学报(自然科学版)，2001，29(1)：73-75。
发明内容
本发明的目的在于提供一种基于双目视觉的快递包裹抓取装置和抓取方法，解决现有技术存在的缺憾。
本发明采用如下技术方案实现：
一种基于双目视觉的快递包裹抓取方法，其特征在于，该方法包括如下步骤：
1)建立坐标系：对双目摄像机进行标定，建立相机坐标系、世界坐标系和机械臂坐标系，并明确各坐标系之间的关系，完成双目摄像机内外参数的标定；
2)图像预处理：对图像进行包括二值化、轮廓提取的操作预处理；
3)角点检测：采用harris算子对图像进行角点检测，完成特征点提取；
4)轮廓提取：采用链码方法以检测到角点为起点寻找一个封闭的四边形，并得到封闭四边形四个角的平面坐标，完成轮廓提取，封闭四边形是某个包裹的一个完整表面，按照常规属于最容易抓取的表面。
5)确定机器人抓取位姿：根据双目摄像机的内外参数，将提取的平面轮廓转化为空间位置和姿态数据，作为机器人抓取的目标。
一种基于双目视觉的快递包裹抓取装置，该装置具有一个支架，所述支架的顶端安装有双目摄像机，在所述双目摄像机的下方设置有笼车，在所述笼车的一侧设置有六轴机械臂，所述六轴机械臂上安装有机械抓手。
本发明的有益技术效果是：操作对象为快递包裹，形状基本近似于长方体，装置的主要功能包括图像中的关键点识别、包裹轮廓识别、抓取机器人末端抓取位姿计算、抓取轨迹控制等，实现了功能一体化，节省工作空间，保证操作精度，提升工作的智能化水平，后续可与更大范围的快递分拣系统集成应用。
附图说明
图1是本发明的总体流程图。
图2是抓取装置的结构示意图。
图3是角点识别结果。
图4是轮廓提取结果。
图5是目标识别结果。
具体实施方式
通过下面对实施例的描述，将更加有助于公众理解本发明，但不能也不应当将申请人所给出的具体的实施例视为对本发明技术方案的限制，任何对部件或技术特征的定义进行改变和/或对整体结构作形式的而非实质的变换都应视为本发明的技术方案所限定的保护范围。
一种基于双目视觉的快递包裹抓取方法，该方法包括如下步骤：1)建立坐标系：对双目摄像机进行标定，建立相机坐标系、世界坐标系和机械臂坐标系，并明确各坐标系之间的关系，完成双目摄像机内外参数的标定；2)图像预处理：对图像进行包括二值化、轮廓提取的操作预处理；3)角点检测：采用harris算子对图像进行角点检测，完成特征点提取；4)轮廓提取：采用链码方法以检测到角点为起点寻找一个封闭的四边形，并得到封闭四边形四个角的平面坐标，完成轮廓提取，封闭四边形是某个包裹的一个完整表面，按照常规属于最容易抓取的表面。5)确定机器人抓取位姿：根据双目摄像机的内外参数，将提取的平面轮廓转化为空间位置和姿态数据，作为机器人抓取的目标。在图5中，虚线框内的封闭四边形即为目标的识别结果。
机器人抓取位姿计算：深度检测是基于视差原理的，通常在双目摄像机拍摄的两张图中存在着视觉差，我们通过视差以及摄像机成像原理就能得到该点的深度。
目标包裹的二维平面上的点P(x1，y1)在右相机上的坐标为(Xr，Yr)，平行双目摄像机的左右两幅图在同一个平面上yi＝yr，所以：
p点在左相机下的三维坐标为
带入得：
按照上述方法，可以得到矩形轮廓的的四个顶点坐标A(x1，y1，z1)、B(x2，y2，z2)、C(x3，y3，z3)、D(x4，y4，z4)，由此计算该矩形在空间中的位姿描述，进而确定目标物品的抓取位置。
机器人抓取位姿确定：目标物品的抓取位置我们可以用上述A、B、C、D四个点的坐标来进行描述得出。
机器人执行端对目标物品的抓取位置取空间矩形两条长边的中点，具体坐标为机器人执行端的抓取姿态用空间矩形几何中心的法线方向。矩形几何中心位置坐标为：
则执行端抓取方向为：
上述得出的抓取位置E、F以及执行端抓取方向：
后续可作为控制参数发送至机器人控制器或进行仿真研究，利用DH方法建立六自由度机器人的逆运动学方程，并推算出各个关节的转角。
一种基于双目视觉的快递包裹抓取装置，该装置具有一个支架1，支架1的顶端安装有双目摄像机2，在双目摄像机2的下方设置有笼车5，在笼车5的一侧设置有六轴机械臂4，六轴机械臂4上安装有机械抓手3。
当然，本发明还可以有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可以根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (2)

1.一种基于双目视觉的快递包裹抓取方法，其特征在于，该方法包括如下步骤：
1)建立坐标系：对双目摄像机进行标定，建立相机坐标系、世界坐标系和机械臂坐标系，并明确各坐标系之间的关系，完成双目摄像机内外参数的标定；
2)图像预处理：对图像进行包括二值化、轮廓提取的操作预处理；
3)角点检测：采用harris算子对图像进行角点检测，完成特征点提取；
4)轮廓提取：采用链码方法以检测到角点为起点寻找一个封闭的四边形，并得到封闭四边形四个角的平面坐标，完成轮廓提取。
5)确定机器人抓取位姿：根据双目摄像机的内外参数，将提取的平面轮廓转化为空间位置和姿态数据，作为机器人抓取的目标。
2.一种基于双目视觉的快递包裹抓取装置，其特征在于，该装置具有一个支架，所述支架的顶端安装有双目摄像机，在所述双目摄像机的下方设置有笼车，在所述笼车的一侧设置有六轴机械臂，所述六轴机械臂上安装有机械抓手。
CN201710848798.9A 2017-09-22 2017-09-22 一种基于双目视觉的快递包裹抓取装置和抓取方法 Pending CN109540105A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710848798.9A CN109540105A (zh) 2017-09-22 2017-09-22 一种基于双目视觉的快递包裹抓取装置和抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710848798.9A CN109540105A (zh) 2017-09-22 2017-09-22 一种基于双目视觉的快递包裹抓取装置和抓取方法

Publications (1)

Publication Number Publication Date
CN109540105A true CN109540105A (zh) 2019-03-29

Family

ID=65823075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710848798.9A Pending CN109540105A (zh) 2017-09-22 2017-09-22 一种基于双目视觉的快递包裹抓取装置和抓取方法

Country Status (1)

Country Link
CN (1) CN109540105A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340869A (zh) * 2020-03-27 2020-06-26 上海东普信息科技有限公司 快递包裹表面平整度识别方法、装置、设备及存储介质
CN111359915A (zh) * 2020-03-24 2020-07-03 广东弓叶科技有限公司 基于机器视觉的物料分选方法及系统
CN111751136A (zh) * 2020-06-29 2020-10-09 伯肯森自动化技术（上海）有限公司 一种基于双目视觉组件的pos机测试系统
CN112077843A (zh) * 2020-08-24 2020-12-15 北京配天技术有限公司 机器人图形化码垛方法、计算机存储介质及机器人
CN112893178A (zh) * 2021-01-14 2021-06-04 上海晨光文具股份有限公司 一种笔芯质量检测系统
CN113081270A (zh) * 2021-03-09 2021-07-09 北京铸正机器人有限公司 一种机器人手术的末端夹持装置
CN115106312A (zh) * 2022-06-13 2022-09-27 中实洛阳重型机械有限公司 一种基于双目相机激光引导的智能矿石分拣装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009216503A (ja) * 2008-03-10 2009-09-24 Ihi Corp 三次元位置姿勢計測方法および装置
CN102902271A (zh) * 2012-10-23 2013-01-30 上海大学 基于双目视觉的机器人目标识别与抓取系统及方法
CN104369188A (zh) * 2014-11-20 2015-02-25 中国计量学院 基于机器视觉和超声波传感器的工件抓取装置与方法
CN104511436A (zh) * 2013-09-28 2015-04-15 沈阳新松机器人自动化股份有限公司 一种基于机器人视觉伺服技术的快递分拣方法及系统
CN204585232U (zh) * 2015-03-26 2015-08-26 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统
JP2015213973A (ja) * 2014-05-08 2015-12-03 東芝機械株式会社 ピッキング装置およびピッキング方法
CN106767399A (zh) * 2016-11-11 2017-05-31 大连理工大学 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法
CN207231476U (zh) * 2017-09-22 2018-04-13 北京印刷学院 一种基于双目视觉的快递包裹抓取装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009216503A (ja) * 2008-03-10 2009-09-24 Ihi Corp 三次元位置姿勢計測方法および装置
CN102902271A (zh) * 2012-10-23 2013-01-30 上海大学 基于双目视觉的机器人目标识别与抓取系统及方法
CN104511436A (zh) * 2013-09-28 2015-04-15 沈阳新松机器人自动化股份有限公司 一种基于机器人视觉伺服技术的快递分拣方法及系统
JP2015213973A (ja) * 2014-05-08 2015-12-03 東芝機械株式会社 ピッキング装置およびピッキング方法
CN104369188A (zh) * 2014-11-20 2015-02-25 中国计量学院 基于机器视觉和超声波传感器的工件抓取装置与方法
CN204585232U (zh) * 2015-03-26 2015-08-26 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统
CN106767399A (zh) * 2016-11-11 2017-05-31 大连理工大学 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法
CN207231476U (zh) * 2017-09-22 2018-04-13 北京印刷学院 一种基于双目视觉的快递包裹抓取装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111359915A (zh) * 2020-03-24 2020-07-03 广东弓叶科技有限公司 基于机器视觉的物料分选方法及系统
CN111340869A (zh) * 2020-03-27 2020-06-26 上海东普信息科技有限公司 快递包裹表面平整度识别方法、装置、设备及存储介质
CN111340869B (zh) * 2020-03-27 2023-04-11 上海东普信息科技有限公司 快递包裹表面平整度识别方法、装置、设备及存储介质
CN111751136A (zh) * 2020-06-29 2020-10-09 伯肯森自动化技术（上海）有限公司 一种基于双目视觉组件的pos机测试系统
CN112077843A (zh) * 2020-08-24 2020-12-15 北京配天技术有限公司 机器人图形化码垛方法、计算机存储介质及机器人
CN112893178A (zh) * 2021-01-14 2021-06-04 上海晨光文具股份有限公司 一种笔芯质量检测系统
CN113081270A (zh) * 2021-03-09 2021-07-09 北京铸正机器人有限公司 一种机器人手术的末端夹持装置
CN115106312A (zh) * 2022-06-13 2022-09-27 中实洛阳重型机械有限公司 一种基于双目相机激光引导的智能矿石分拣装置

Similar Documents

Publication Publication Date Title
CN207231476U (zh) 一种基于双目视觉的快递包裹抓取装置
CN109540105A (zh) 一种基于双目视觉的快递包裹抓取装置和抓取方法
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
CN110097024B (zh) 一种移乘搬运护理机器人的人体姿态视觉识别方法
US20230398683A1 (en) Generating a model for an object encountered by a robot
CN109702741B (zh) 基于自监督学习神经网络的机械臂视觉抓取系统及方法
CN110211180A (zh) 一种基于深度学习的机械臂自主抓取方法
CN109035200A (zh) 一种基于单双目视觉协同的螺栓定位及位姿检测方法
CN107662195A (zh) 一种具有临场感的机器手主从异构遥操作控制系统及控制方法
CN106272424A (zh) 一种基于单目相机和三维力传感器的工业机器人抓取方法
Zhang et al. A real-time upper-body robot imitation system
CN114750154A (zh) 一种配网带电作业机器人的动态目标识别定位与抓取方法
Kragic et al. Model based techniques for robotic servoing and grasping
Yang et al. Visual servoing control of baxter robot arms with obstacle avoidance using kinematic redundancy
JP5462662B2 (ja) 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム
Faria et al. A methodology for autonomous robotic manipulation of valves using visual sensing
Fan et al. An automatic robot unstacking system based on binocular stereo vision
Zhu et al. Research on 3D virtual environment modeling technology for space tele-robot
CN115194774A (zh) 一种基于多目视觉的双机械臂抓握系统控制方法
Ren et al. Vision based object grasping of robotic manipulator
Zhang et al. High-precision pose estimation method of the 3C parts by combining 2D and 3D vision for robotic grasping in assembly applications
Xu et al. Research and development of target recognition and location crawling platform based on binocular vision
Sun et al. Precise grabbing of overlapping objects system based on end-to-end deep neural network
Shen et al. A Low Cost Mobile Manipulator for Autonomous Localization and Grasping
Qin et al. Development of mobile robot system based on computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: Lin Chao

Document name: Notice of Qualified Procedures