CN110666805A - 一种基于主动视觉的工业机器人分拣方法 - Google Patents

一种基于主动视觉的工业机器人分拣方法 Download PDF

Info

Publication number
CN110666805A
CN110666805A CN201911048854.6A CN201911048854A CN110666805A CN 110666805 A CN110666805 A CN 110666805A CN 201911048854 A CN201911048854 A CN 201911048854A CN 110666805 A CN110666805 A CN 110666805A
Authority
CN
China
Prior art keywords
target material
industrial robot
industrial
ccd
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911048854.6A
Other languages
English (en)
Inventor
孟明辉
周传德
高晓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Science and Technology
Original Assignee
Chongqing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Science and Technology filed Critical Chongqing University of Science and Technology
Priority to CN201911048854.6A priority Critical patent/CN110666805A/zh
Publication of CN110666805A publication Critical patent/CN110666805A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于主动视觉的工业机器人分拣方法，能够精确抓取、堆砌物料。工业机器人带动CCD工业相机在物料摆放区内进行物料寻找、匹配，获得目标物料的位置信息；工业机器人调整CCD工业相机的拍摄角度，使CCD工业相机从不同角度拍摄目标物料的图像信息，并进行三维标定，进而确认目标物料的位置信息和姿态信息；根据目标物料的位置信息和姿态信息，控制工业机器人抓取目标物料；放置第一个目标物料时，控制工业机器人将目标物料放置于初始堆砌坐标，并采集其位置信息和姿态信息；放置后续目标物料时，根据前一个目标物料的位置信息和姿态信息，控制工业机器人将后续目标物料堆砌于前一个目标物料上，直至完成所有目标物料的堆砌。

Description

一种基于主动视觉的工业机器人分拣方法
技术领域
本发明设计分拣机器人技术领域，特别是涉及一种基于主动视觉的工业机器人分拣方法。
背景技术
传统工业机器人分拣的物料位姿测量方式(如申请号为201310610558.7的分拣方法)：CCD工业相机、光源位置固定，只能获得一个角度下的二维物料信息，只能被动的在固定区域识别、分拣，如果物料角度发生变化，造成视觉识别困难、机器人抓取困难现象，而且码垛时只能示教完成，难以适应复杂多变的工作环境与任务。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于主动视觉的工业机器人分拣方法，能够精确抓取、整齐堆砌物料。
本发明的目的是这样实现的：
一种基于主动视觉的工业机器人分拣方法，包括：
S1、准备
包括物料摆放区、分拣堆砌区、设备安装区，所述物料摆放区内摆放待分拣物料，所述分拣堆砌区用于堆砌分拣后的物料，所述设备安装区内安装工业机器人，所述工业机器人的末端手臂上安装CCD工业相机；
S2、分拣
S21、工业机器人带动CCD工业相机，在物料摆放区内进行物料寻找、匹配，获得目标物料的位置信息；
S22、工业机器人带动CCD工业相机，调整CCD工业相机的拍摄角度，使CCD工业相机从不同角度拍摄目标物料的图像信息，并进行三维标定，进而确认目标物料的位置信息和姿态信息；
S23、根据目标物料的位置信息和姿态信息，控制工业机器人抓取目标物料；
S3、堆砌
S31、放置第一个目标物料时，控制工业机器人将目标物料放置于初始堆砌坐标，并采集其位置信息和姿态信息；
S32、放置后续目标物料时，根据前一个目标物料的位置信息和姿态信息，控制工业机器人将后续目标物料堆砌于前一个目标物料上，直至完成所有目标物料的堆砌。
优选地，所述工业机器人的末端手臂上安装有辅助光源，辅助光源的打光的方向与CCD工业相机的拍摄方向相同。
优选地，所述设备安装区内安装有工控电脑、控制柜，所述控制柜与工业机器人连接，用于控制工业机器人运动，所述控制柜、CCD工业相机、辅助光源分别与工控电脑连接，所述工控电脑内输入目标物料的三维信息，以及，分拣堆砌区内目标物料的初始堆砌坐标。
优选地，S21中，CCD工业相机采集的图像传输至工控电脑，在工控电脑中经图像预处理、特征模板匹配后，判断是否有目标物品存在，如无，工业机器人带动CCD工业相机移动到下一位置进行目标物品寻找、匹配，直至找到目标物品。
优选地，S22中，CCD工业相机采集的不同角度的图像信息传输至工控电脑，在工控电脑中经图像预处理后，再对图像进行特征提取、特征匹配、对集匹配后，结合CCD工业相机的标定参数、内外参数，确认目标物料的位置信息和姿态信息。
由于采用了上述技术方案，本发明具有如下有益效果：
整个工作过程从以前被动式的识别分拣改变为主动在不同位置、区域寻找物料；通过确认物料的三维信息，能够实现抓取和堆砌过程更精确，避免因物料倾斜角度的变化而抓不稳或者堆砌倒塌现象；该系统采用主动视觉的方式，较之传统被动式视觉分拣，能够适应复杂环境下的和多目标的分拣和高精度的码垛。
物品抓取更精确：由于物品在摆放区可能存在角度不同、姿态不一的情况，采用主动视觉识别不同角度下的物料位置和姿态准确度高，物品抓取更准确。
物品码垛更整齐：通过采集上次物品的姿态和位置确认此次物品的摆放位置，物品堆砌更准确、整齐。
环境适应性强：本发明主动在不同区域、不同角度下识别、判断物料信息，引导机器人智能分拣、码垛。本发明可根据任务需求调整识别目标，实现多目标的分拣、码垛。
附图说明
图1为本发明的示意图；
图2为本发明的流程示意图；
图3为本发明的目标物料位姿测量方法。
附图标记
附图中，1为物料摆放区，2为分拣堆砌区，3为设备安装区，4为工业机器人，5为CCD工业相机，6为辅助光源，7为工控电脑，8为控制柜。
具体实施方式
一种基于主动视觉的工业机器人分拣方法，包括：
S1、准备
参加图1，包括物料摆放区、分拣堆砌区、设备安装区，所述物料摆放区内摆放待分拣物料，所述分拣堆砌区用于堆砌分拣后的物料，所述设备安装区内安装工业机器人，所述工业机器人的末端手臂上安装CCD工业相机；所述工业机器人的末端手臂上安装有辅助光源，辅助光源的打光的方向与CCD工业相机的拍摄方向相同。所述设备安装区内安装有工控电脑、控制柜，所述控制柜与工业机器人连接，用于控制工业机器人运动，所述控制柜、CCD工业相机、辅助光源分别与工控电脑连接，所述工控电脑内输入目标物料的三维信息，以及，分拣堆砌区内目标物料的初始堆砌坐标。
S2、分拣
S21、工业机器人带动CCD工业相机，在物料摆放区内进行物料寻找、匹配，获得目标物料的位置信息；过程中，CCD工业相机采集的图像传输至工控电脑，在工控电脑中经图像预处理、特征模板匹配后，判断是否有目标物品存在，如无，工业机器人带动CCD工业相机移动到下一位置进行目标物品寻找、匹配，直至找到目标物品。
S22、工业机器人带动CCD工业相机，调整CCD工业相机的拍摄角度，使CCD工业相机从不同角度拍摄目标物料的图像信息，并进行三维标定，进而确认目标物料的位置信息和姿态信息；有利于更精确的抓取物品。三维标定具体方法为：参见图3，CCD工业相机采集的不同角度的图像信息传输至工控电脑，在工控电脑中经图像预处理后，再对图像进行特征提取、特征匹配、对集匹配后，结合CCD工业相机的标定参数、内外参数，确认目标物料的位置信息和姿态信息。
S23、对CCD工业相机和工业机器人进行手眼标定，根据目标物料的位置信息和姿态信息，再根据工业机器人运动学逆解进行机器人运动路径规划，控制工业机器人抓取目标物料。
S3、堆砌
S31、放置第一个目标物料时，控制工业机器人将目标物料放置于初始堆砌坐标，并采集其位置信息和姿态信息。
S32、放置后续目标物料时，根据前一个目标物料的位置信息和姿态信息，根据工业机器人运动学逆解进行机器人运动路径规划，控制工业机器人将后续目标物料堆砌于前一个目标物料上，直至完成所有目标物料的堆砌。保证物品堆砌摆放的准确性，实现物料分拣、码垛的智能化。
工作流程参加图2。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (5)

1.一种基于主动视觉的工业机器人分拣方法，其特征在于，包括：
S1、准备
包括物料摆放区、分拣堆砌区、设备安装区，所述物料摆放区内摆放待分拣物料，所述分拣堆砌区用于堆砌分拣后的物料，所述设备安装区内安装工业机器人，所述工业机器人的末端手臂上安装CCD工业相机；
S2、分拣
S21、工业机器人带动CCD工业相机，在物料摆放区内进行物料寻找、匹配，获得目标物料的位置信息；
S22、工业机器人带动CCD工业相机，调整CCD工业相机的拍摄角度，使CCD工业相机从不同角度拍摄目标物料的图像信息，并进行三维标定，进而确认目标物料的位置信息和姿态信息；
S23、根据目标物料的位置信息和姿态信息，控制工业机器人抓取目标物料；
S3、堆砌
S31、放置第一个目标物料时，控制工业机器人将目标物料放置于初始堆砌坐标，并采集其位置信息和姿态信息；
S32、放置后续目标物料时，根据前一个目标物料的位置信息和姿态信息，控制工业机器人将后续目标物料堆砌于前一个目标物料上，直至完成所有目标物料的堆砌。
2.根据权利要求1所述的一种基于主动视觉的工业机器人分拣方法，其特征在于：所述工业机器人的末端手臂上安装有辅助光源，辅助光源的打光的方向与CCD工业相机的拍摄方向相同。
3.根据权利要求2所述的一种基于主动视觉的工业机器人分拣方法，其特征在于：所述设备安装区内安装有工控电脑、控制柜，所述控制柜与工业机器人连接，用于控制工业机器人运动，所述控制柜、CCD工业相机、辅助光源分别与工控电脑连接，所述工控电脑内输入目标物料的三维信息，以及，分拣堆砌区内目标物料的初始堆砌坐标。
4.根据权利要求3所述的一种基于主动视觉的工业机器人分拣方法，其特征在于：S21中，CCD工业相机采集的图像传输至工控电脑，在工控电脑中经图像预处理、特征模板匹配后，判断是否有目标物品存在，如无，工业机器人带动CCD工业相机移动到下一位置进行目标物品寻找、匹配，直至找到目标物品。
5.根据权利要求4所述的一种基于主动视觉的工业机器人分拣方法，其特征在于：S22中，CCD工业相机采集的不同角度的图像信息传输至工控电脑，在工控电脑中经图像预处理后，再对图像进行特征提取、特征匹配、对集匹配后，结合CCD工业相机的标定参数、内外参数，确认目标物料的位置信息和姿态信息。
CN201911048854.6A 2019-10-31 2019-10-31 一种基于主动视觉的工业机器人分拣方法 Pending CN110666805A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911048854.6A CN110666805A (zh) 2019-10-31 2019-10-31 一种基于主动视觉的工业机器人分拣方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911048854.6A CN110666805A (zh) 2019-10-31 2019-10-31 一种基于主动视觉的工业机器人分拣方法

Publications (1)

Publication Number Publication Date
CN110666805A true CN110666805A (zh) 2020-01-10

Family

ID=69084860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911048854.6A Pending CN110666805A (zh) 2019-10-31 2019-10-31 一种基于主动视觉的工业机器人分拣方法

Country Status (1)

Country Link
CN (1) CN110666805A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111334901A (zh) * 2020-02-18 2020-06-26 常熟理工学院 一种基于忆阻神经网络的山羊原绒自动分拣装置
CN111842177A (zh) * 2020-06-12 2020-10-30 天津扬天科技有限公司 一种基于结构光视觉的耐火砖检测控制方法
CN111844036A (zh) * 2020-07-21 2020-10-30 上汽大通汽车有限公司 一种多车型多品种汽车玻璃总成排序方法
CN111899629A (zh) * 2020-08-04 2020-11-06 菲尼克斯(南京)智能制造技术工程有限公司 柔性机器人教学系统和方法
CN113551661A (zh) * 2020-04-23 2021-10-26 曰轮法寺 位姿识别、轨迹规划方法、装置、系统、存储介质及设备
CN113743856A (zh) * 2021-01-05 2021-12-03 北京京东乾石科技有限公司 物品分拣方法及装置、存储介质
CN113878576A (zh) * 2021-09-28 2022-01-04 浙江大学 一种机器人视觉分拣工艺程序编制方法
CN114408532A (zh) * 2022-02-25 2022-04-29 宝钢湛江钢铁有限公司 一种冲击试样毛坯码位调整方法、装置及系统
CN114419437A (zh) * 2022-01-12 2022-04-29 湖南视比特机器人有限公司 基于2d视觉的工件分拣系统及其控制方法和控制装置
CN114559438A (zh) * 2022-03-25 2022-05-31 卡奥斯工业智能研究院(青岛)有限公司 一种识别摆放装置及识别摆放方法
CN114653629A (zh) * 2022-02-23 2022-06-24 深圳市如本科技有限公司 基于视觉识别的分拣方法、智能分拣系统及可读存储介质
CN115816457A (zh) * 2022-12-11 2023-03-21 广州城市理工学院 一种无人超市分拣方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104515502A (zh) * 2013-09-28 2015-04-15 沈阳新松机器人自动化股份有限公司 一种机器人手眼立体视觉测量方法
CN205932501U (zh) * 2016-08-11 2017-02-08 上海佳万智能科技有限公司 一种拆垛控制系统
CN206265909U (zh) * 2016-11-24 2017-06-20 南京景曜智能科技有限公司 一种3d立体视觉辅助装卸车系统
CN108890693A (zh) * 2018-07-06 2018-11-27 陕西大中科技发展有限公司 一种基于视觉的工业机器人码垛方法
CN208856513U (zh) * 2018-07-13 2019-05-14 哈工大机器人集团(江苏)华粹智能装备有限公司 一种机器人3d视觉智能识别拆码垛及智能分选系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104515502A (zh) * 2013-09-28 2015-04-15 沈阳新松机器人自动化股份有限公司 一种机器人手眼立体视觉测量方法
CN205932501U (zh) * 2016-08-11 2017-02-08 上海佳万智能科技有限公司 一种拆垛控制系统
CN206265909U (zh) * 2016-11-24 2017-06-20 南京景曜智能科技有限公司 一种3d立体视觉辅助装卸车系统
CN108890693A (zh) * 2018-07-06 2018-11-27 陕西大中科技发展有限公司 一种基于视觉的工业机器人码垛方法
CN208856513U (zh) * 2018-07-13 2019-05-14 哈工大机器人集团(江苏)华粹智能装备有限公司 一种机器人3d视觉智能识别拆码垛及智能分选系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111334901A (zh) * 2020-02-18 2020-06-26 常熟理工学院 一种基于忆阻神经网络的山羊原绒自动分拣装置
CN113551661A (zh) * 2020-04-23 2021-10-26 曰轮法寺 位姿识别、轨迹规划方法、装置、系统、存储介质及设备
CN111842177A (zh) * 2020-06-12 2020-10-30 天津扬天科技有限公司 一种基于结构光视觉的耐火砖检测控制方法
CN111844036A (zh) * 2020-07-21 2020-10-30 上汽大通汽车有限公司 一种多车型多品种汽车玻璃总成排序方法
CN111899629B (zh) * 2020-08-04 2022-06-10 菲尼克斯(南京)智能制造技术工程有限公司 柔性机器人教学系统和方法
CN111899629A (zh) * 2020-08-04 2020-11-06 菲尼克斯(南京)智能制造技术工程有限公司 柔性机器人教学系统和方法
CN113743856A (zh) * 2021-01-05 2021-12-03 北京京东乾石科技有限公司 物品分拣方法及装置、存储介质
CN113878576A (zh) * 2021-09-28 2022-01-04 浙江大学 一种机器人视觉分拣工艺程序编制方法
CN114419437A (zh) * 2022-01-12 2022-04-29 湖南视比特机器人有限公司 基于2d视觉的工件分拣系统及其控制方法和控制装置
CN114653629A (zh) * 2022-02-23 2022-06-24 深圳市如本科技有限公司 基于视觉识别的分拣方法、智能分拣系统及可读存储介质
CN114408532A (zh) * 2022-02-25 2022-04-29 宝钢湛江钢铁有限公司 一种冲击试样毛坯码位调整方法、装置及系统
CN114559438A (zh) * 2022-03-25 2022-05-31 卡奥斯工业智能研究院(青岛)有限公司 一种识别摆放装置及识别摆放方法
CN115816457A (zh) * 2022-12-11 2023-03-21 广州城市理工学院 一种无人超市分拣方法
CN115816457B (zh) * 2022-12-11 2024-08-09 广州城市理工学院 一种无人超市分拣方法

Similar Documents

Publication Publication Date Title
CN110666805A (zh) 一种基于主动视觉的工业机器人分拣方法
US9844882B2 (en) Conveyor robot system provided with three-dimensional sensor
CN109483554B (zh) 基于全局和局部视觉语义的机器人动态抓取方法及系统
CN108399639B (zh) 基于深度学习的快速自动抓取与摆放方法
JP4265088B2 (ja) ロボット装置及びその制御方法
JP7027299B2 (ja) ビジョンベース操作システムのキャリブレーション及びオペレーション
US7283661B2 (en) Image processing apparatus
US9233469B2 (en) Robotic system with 3D box location functionality
CN110621447B (zh) 机器人传送器校准方法、机器人系统以及控制系统
CN109249390B (zh) 机器人系统
CN104827480A (zh) 机器人系统的自动标定方法
CN112561886A (zh) 一种基于机器视觉的工件自动分拣方法及系统
JP7529855B2 (ja) 制御装置、ロボット装置、制御方法、およびプログラム
CN113103215B (zh) 一种机器人视觉飞拍的运动控制方法
CN108177150A (zh) 基于视觉的电梯门板定位与抓取装置及方法
CN114758236A (zh) 一种非特定形状物体识别、定位与机械手抓取系统及方法
CN102179804A (zh) 3h型ccd视觉工业机器人
CN113269085A (zh) 一种直线传送带跟踪控制方法、系统、装置及存储介质
CN111390910A (zh) 机械手目标抓取定位方法、计算机可读存储介质及机械手
CN113664826A (zh) 一种未知环境中的机器人抓取方法及系统
Guo et al. The research of material sorting system based on Machine Vision
CN114074331A (zh) 一种基于视觉的无序抓取方法及机器人
CN110533717A (zh) 一种基于双目视觉的目标抓取方法及装置
CN103802107A (zh) 一种实现可视觉的工业机械手臂的方法
CN109648565B (zh) 一种分档视觉引导系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110

RJ01 Rejection of invention patent application after publication