CN106695792A - 基于机器视觉的码垛机器人跟踪监控系统及方法 - Google Patents

基于机器视觉的码垛机器人跟踪监控系统及方法 Download PDF

Info

Publication number
CN106695792A
CN106695792A CN201710029551.4A CN201710029551A CN106695792A CN 106695792 A CN106695792 A CN 106695792A CN 201710029551 A CN201710029551 A CN 201710029551A CN 106695792 A CN106695792 A CN 106695792A
Authority
CN
China
Prior art keywords
image
stacking
robot palletizer
vision
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710029551.4A
Other languages
English (en)
Inventor
陈锡爱
任磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201710029551.4A priority Critical patent/CN106695792A/zh
Publication of CN106695792A publication Critical patent/CN106695792A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems

Abstract

本发明公开了一种基于机器视觉的码垛机器人跟踪监控系统及方法。该系统包括码垛机器人及其控制柜、传送带、AGV、真空吸盘装置、视觉采集系统。其中,所述码垛机器人与控制柜通信连接,并将传送带依次递出的产品码垛至AGV的载货平面,AGV将载货送入仓库。真空吸盘安装在码垛机器人的末端,视觉采集装置实时上传码垛机器人的工作视频图像至上位机监控软件,并对获得的视频进行图像处理,实现对码垛过程的实时监测,可以对码垛中物体掉落等异常情况进行分析和处理,从而提高物流自动化的智能化程度,有利于加快工厂整体的工作效率,节约人力成本和时间成本。

Description

基于机器视觉的码垛机器人跟踪监控系统及方法
技术领域
[0001] 本发明专利涉及物流自动化领域,尤其涉及一种基于机器视觉的码垛机器人跟踪 监控系统及方法。
背景技术
[0002] 码垛技术是物流自动化技术领域的一门新兴技术,在物体的运输过程中除了散装 的物体和液体外,一般的物体都是以码垛的形式进行存储或组装,这样既可承载更多的物 体,又可节省空间。码垛机器人是实现物流自动化的关键设备,机器人把输送线上流向终端 的物件整齐地码放,以便完成货物运输等工作,整个过程顺序流畅、完全自动化。但是码垛 机器人的智能化程度很有限,可靠性和稳定性还有待提高。在新时代下的工业生产中,需要 机器人本身具有智能功能,如警示、监控、诊断等很多方面的功能,而现有的码垛机器人并 不完全具有这些功能,采取行之有效的方法使得码垛机器人具备异常情况解决能力变得尤 为重要。
发明内容
[0003] 鉴于上述现有技术的不足,本发明的目的在于提供一种基于机器视觉的码垛机器 人跟踪监控系统及方法,以提高物流自动化的智能化程度,加快工厂整体的工作效率,节约 人工处理的时间成本。
[0004] 实现本发明目的的技术解决方案为:一种基于机器视觉的码垛机器人跟踪监控系 统,将码垛机器人及其控制柜、传送带、AGV、真空吸盘装置等设备结合视觉采集系统。所述 视觉采集系统由视觉采集装置、光源及上位机软件系统构成,其中,视觉采集装置由CCD图 像传感器、图像采集接口模块构成。
[0005] 本发明的CCD图像传感器固定安装于相机支架上,并通过图像采集接口模块将所 获得的视频图像传送给上位机软件系统。所述相机支架位于机器人工作空间之外的正前方 位置,保证码垛机器人的工作过程都能被CCD图像传感器捕获。光源照向机器人所在方向, 保证机器人工作范围内目标货物清晰明亮,要求背景墙面与机器人及目标货物有较大颜色 反差。
[0006] 上位机软件系统具有视频图像接收显示功能、图像分析处理功能和机器人在线控 制功能并执行如下步骤:
[0007] 1)对视觉采集装置实时上传的视频图像进行解码,按帧读取图像并显示在上位机 监测窗口界面。
[0008] 2)对读取的每一帧图像进行图像处理,具体包括:图像灰度化、图像增强、图像滤 波、图像二值化,以便提高运动跟踪的效率。
[0009] 3)对预处理过的图像使用Canny算法检测图像,并根据目标图像的轮廓特征提取 其轮廓,由轮廓的形状和目标图像的运动参数定义目标图像的状态,在轮廓的后验概率最 大时更新目标图像状态,提取目标图像的最小外接矩并在监控窗口中显示出来。
[0010] 4)在每一帧的图像中设置货物掉落指示线,判断目标图像最小外接矩是否完全落 入指示线以下,若确实完全落入,则程序发送指令中止机器人当前工作。
[0011] 5)根据视觉标定得来的世界坐标系、相机坐标系和图像坐标系之间的矩阵变换关 系,计算出掉落货物所在位置的空间坐标,并转换为控制码垛机器人六个轴的转角数据,使 得程序在线控制码躲机器人定位抓取掉落货物并放置到正确位置。
[0012]本发明一种基于机器视觉的码垛机器人跟踪监控系统及方法,具有如下的有益效 果:
[0013]第一、视觉采集系统的加入使得整体系统的柔性增强,且视觉采集系统与码垛机 器人的交互关系逻辑清晰,结构简单便于安装。
[0014] 第二、实时监测码垛机器人的工作过程,对出现的货物掉落等异常情况自动做出 反应,不需要人为参与处理,节约人力成本和时间成本。
附图说明
[0015]图1是本发明的结构示意图;
[0016]图2是本发明的流程示意图。
具体实施方式
[0017]为了使本技术领域的人员更好地理解本发明的技术方案,下面结合实施例及附图 对本发明产品作进一步详细的说明。
[0018] 如图1的结构示意图所示,一种基于机器视觉的码垛机器人跟踪监控系统及方法, 包括码垛机器人本体⑴及其控制柜(2),所述码垛机器人与控制柜通信连接,真空吸盘(3) 安装在码垛机器人末端,码垛机器人从传送带⑸的托盘上将货物取走,并按照预定轨迹依 次码垛至AGV (4)的载物平面,当码垛货物重量达到预定限额时,开始循迹运送货物至仓库 分拣,同时通知码垛机器人暂停码垛工作,并发送信号让下一辆AGV到达待码垛位置,等到 下一辆AGV就位后通知码垛机器人继续工作。码垛机器人工作过程,由视觉采集装置(6)跟 踪拍摄,并将获取的视频图像实时上传至计算机(7)。
[0019]更进一步的,所述视觉采集装置由CCD图像传感器和图像采集接口模块构成,C⑶ 图像传感器在码垛机器人工作空间之外的正前方位置安装,对码垛机器人的工作过程进行 实时监测。
[0020]更进一步的,所述CCD图像传感器经过镜头将被观察物聚焦至CCD芯片上,CCD根据 光的强弱积累相应比例的电荷,然后逐点外移、滤波、放大,最终形成视频信号输出,视频信 号通过图像采集接口模块上传到计算机进行图像处理。
[0021]码垛机器人实时处于机器视觉的监控下,当码垛过程中发生货物掉落的异常情况 时,计算机立即发出指令通知码垛机器人控制柜,使其暂停码垛机器人的运动,等待计算机 的下一步指令,整套异常处理过程如图2的流程图所示。
[0022]计算机接收视觉采集装置发送的视频图像,并进行图像预处理,包括以下几个步 骤:
[0023] 1)图像灰度化,即把RGB三通道数据的彩色图像变为单通道数据的灰度图像。本发 明根据加权平均值法得到较合理的灰度图像,具体公式(1)如下所示:
[0024] f (i,j) =0.30R(i,j)+0.59G(i,j)+0.11B(i,j) (1)
[0025] 2)图像增强,即通过一定手段对原图像附加一些信息或变换数据,有选择地突出 图像中感兴趣的特征或者抑制(掩盖)图像中某些不需要的特征,使图像与视觉响应特性相 匹配。本发明使用空域法对图像中的像素点进行操作达到较为理想的效果,具体公式(2)如 下所示:
[0026] g (X,y) = f (x,y) *h (x,y) (2)
[0027] 3)图像滤波,即有效地去除目标和背景中的噪声,同时保护图像目标的形状、大小 及特定的几何和拓扑结构特征。本发明使用高斯平滑滤波对图像进行处理。
[0028] 4)图像二值化,即把256个亮度等级的灰度图像通过适当的阈值选取而获得仍可 以反映图像整体和局部特征的二值化图像。本发明使用基于直方图的自适应阈值分割来获 得二值图像。
[0029]对预处理过的图像使用Canny算法检测图像,并根据目标图像的轮廓特征提取其 轮廓,由轮廓的形状和目标图像的运动参数定义目标图像的状态,在轮廓的后验概率最大 时更新目标图像状态,提取目标图像的最小外接矩并在监控窗口中显示出来。在每一帧的 图像中设置货物掉落指示线,当目标图像的最小外接矩完全落入指示线之下,则判定为货 物掉落。
[0030] 货物掉落位置也要通过机器视觉确定,需要提前进行视觉标定。本发明使用张正 友的棋盘格标定法,首先打印一张棋盘格,把它贴在一个平面上,作为标定物。通过调整标 定物或摄像机的方向,为标定物拍摄一些不同方向的照片,从照片中提取特征点(如角点), 估算理想无畸变的情况下,五个内参和所有外参。应用最小二乘法估算实际存在径向畸变 下的畸变系数,极大似然法,优化估计,提升估计精度。通过这样的过程,我们可以获得具有 高估计精度的五个内参,三个外参和两个畸变系数。利用这些信息,我们可以进行畸变矫 正、图像校正和最终的三维信息恢复。
[0031] 确立世界坐标系、相机坐标系和图像坐标系之间的矩阵变换关系,计算出掉落货 物所在位置的空间坐标,并转换为控制码垛机器人六个轴的转角数据,从而使得码垛机器 人主动定位抓取掉落货物并放置到正确位置。通过以上所有步骤,我们完成整个自检及自 处理过程。
[0032] 应当理解的是,以上所述仅为本发明的示例性描述,并非对本发明任何形式上的 限制。在不脱离本发明设计构思的前提下,本领域普通技术人员对本发明的技术方案做出 的各种变型和改进,均应属于本发明所附权利要求的保护范围。

Claims (7)

1. 一种基于机器视觉的码垛机器人跟踪监控系统及方法,包括码垛机器人及其控制 柜、传送带、AGV、真空吸盘装置、视觉采集系统,所述码垛机器人与控制柜通信连接,真空吸 盘安装在码垛机器人末端,所述真空吸盘的吸力由气源和真空发生器产生,并由电磁阀进 行控制。码垛机器人的正常工作过程,其特征在于:从传送带的托盘上取走货物,并按照预 定轨迹依次码垛至AGV的载物平面。
2. 根据权利要求1所述的AGV,其特征在于:车身上装有压力传感器和通讯模块,当码垛 货物重量达到预定限额时,开始循迹运送货物至仓库分拣,同时通知机器人暂停码垛工作, 并发送信号让下一辆AGV到达待码垛位置,等到下一辆AGV就位后通知码垛机器人继续工 作。
3. 根据权利要求1所述的码垛机器人工作过程,其特征在于:由视觉采集系统跟踪监 控,视觉采集系统由CCD图像传感器、图像采集接口模块、光源及上位机软件系统构成,CCD 图像传感器在码垛机器人工作空间之外的正前方位置安装,对码垛机器人的工作过程进行 实时监测。
4. 根据权利要求3所述的CCD图像传感器,其特征在于:所述CCD图像传感器经过镜头将 被观察物聚焦至CCD芯片上,CCD根据光的强弱积累相应比例的电荷,然后逐点外移、滤波、 放大,最终形成视频信号输出,视频信号通过图像采集接口模块上传到计算机进行图像处 理。
5. 根据权利要求4所述的计算机图像处理,其特征在于:图像处理由计算机软件完成, 实现对码垛对象的运动跟踪,实时监测有无码垛对象异常掉落的情况发生。若货物在码垛 过程中掉落,则执行异常情况处理机制,由视觉采集系统发出指令通知码垛机器人控制柜, 立即停止码垛机器人当前工作程序,转为在机器视觉引导下工作。
6. 根据权利要求5所述的异常情况处理机制,其特征在于:标定视觉采集装置,确立世 界坐标系、相机坐标系和图像坐标系之间的矩阵变换关系,计算出掉落货物所在位置的空 间坐标,并转换为控制码垛机器人六个轴的转角数据,从而使得码垛机器人主动定位抓取 掉落货物并放置到正确位置。
7. —种视觉实时监测方法,其包括以下步骤: a. 上位机软件对视觉采集装置实时上传的视频进行解码,按帧读取图像并显示在上位 机监测窗口界面。 b. 对读取的每一帧图像进行图像处理,具体包括:图像灰度化、图像增强、图像滤波、图 像二值化。 c •对预处理过的图像使用Canny算法检测,并根据目标图像的轮廓特征提取其轮廓,由 轮廓的形状和目标图像的运动参数定义目标图像的状态,在轮廓的后验概率最大时更新目 标图像状态,提取目标图像的最小外接矩并在监控窗口中显示出来。 d•在每一帧的图像中设置货物掉落指示线,当目标图像的最小外接矩完全落入指示线 之下,则判定为货物掉落。
CN201710029551.4A 2017-01-05 2017-01-05 基于机器视觉的码垛机器人跟踪监控系统及方法 Pending CN106695792A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710029551.4A CN106695792A (zh) 2017-01-05 2017-01-05 基于机器视觉的码垛机器人跟踪监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710029551.4A CN106695792A (zh) 2017-01-05 2017-01-05 基于机器视觉的码垛机器人跟踪监控系统及方法

Publications (1)

Publication Number Publication Date
CN106695792A true CN106695792A (zh) 2017-05-24

Family

ID=58907620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710029551.4A Pending CN106695792A (zh) 2017-01-05 2017-01-05 基于机器视觉的码垛机器人跟踪监控系统及方法

Country Status (1)

Country Link
CN (1) CN106695792A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107650122A (zh) * 2017-07-31 2018-02-02 宁夏巨能机器人股份有限公司 一种基于3d视觉识别的机器人手爪定位系统及其定位方法
CN108189079A (zh) * 2017-12-30 2018-06-22 芜湖哈特机器人产业技术研究院有限公司 一种纸箱垛拆盘系统视觉定位装置
WO2019037013A1 (zh) * 2017-08-24 2019-02-28 深圳蓝胖子机器人有限公司 机器人码放货物的方法及机器人
CN109421050A (zh) * 2018-09-06 2019-03-05 北京猎户星空科技有限公司 一种机器人的控制方法及装置
CN109592342A (zh) * 2018-11-15 2019-04-09 华南智能机器人创新研究院 一种视觉圆柱形物料输料方法及系统
CN110480636A (zh) * 2019-08-13 2019-11-22 菏泽学院 一种基于三维视觉的机械臂控制系统
CN111086024A (zh) * 2019-12-18 2020-05-01 南京熊猫电子股份有限公司 一种应用于工业机器人的监测系统及监测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4675502A (en) * 1985-12-23 1987-06-23 General Electric Company Real time tracking control for taught path robots
JPH02276725A (en) * 1989-04-13 1990-11-13 Toshiba Corp Instruction for robot
CN103706568A (zh) * 2013-11-26 2014-04-09 中国船舶重工集团公司第七一六研究所 基于机器视觉的机器人分拣系统及方法
CN104058260A (zh) * 2013-09-27 2014-09-24 沈阳工业大学 基于视觉处理的机器人自动码垛方法
CN104192573A (zh) * 2014-07-29 2014-12-10 福建海源自动化机械股份有限公司 码垛机运行状态监控及自动制动方法和装置
CN105084022A (zh) * 2015-07-04 2015-11-25 芜湖哈特机器人产业技术研究院有限公司 一种铅酸蓄电池上铅系统及其控制方法
CN205060979U (zh) * 2015-10-08 2016-03-02 胡雨滨 码垛机器人系统
CN105692251A (zh) * 2016-03-16 2016-06-22 广州圣益龙自动控制技术有限公司 物品自动装车系统
CN105965519A (zh) * 2016-06-22 2016-09-28 江南大学 一种视觉引导下的离合器下料定位方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4675502A (en) * 1985-12-23 1987-06-23 General Electric Company Real time tracking control for taught path robots
JPH02276725A (en) * 1989-04-13 1990-11-13 Toshiba Corp Instruction for robot
CN104058260A (zh) * 2013-09-27 2014-09-24 沈阳工业大学 基于视觉处理的机器人自动码垛方法
CN103706568A (zh) * 2013-11-26 2014-04-09 中国船舶重工集团公司第七一六研究所 基于机器视觉的机器人分拣系统及方法
CN104192573A (zh) * 2014-07-29 2014-12-10 福建海源自动化机械股份有限公司 码垛机运行状态监控及自动制动方法和装置
CN105084022A (zh) * 2015-07-04 2015-11-25 芜湖哈特机器人产业技术研究院有限公司 一种铅酸蓄电池上铅系统及其控制方法
CN205060979U (zh) * 2015-10-08 2016-03-02 胡雨滨 码垛机器人系统
CN105692251A (zh) * 2016-03-16 2016-06-22 广州圣益龙自动控制技术有限公司 物品自动装车系统
CN105965519A (zh) * 2016-06-22 2016-09-28 江南大学 一种视觉引导下的离合器下料定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
西刹子: "《安防天下—智能网络视频监控技术详解与实践》", 28 February 2010, 清华大学出版社 *
金克琼: "视频监控系统中运动目标检测与跟踪的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107650122A (zh) * 2017-07-31 2018-02-02 宁夏巨能机器人股份有限公司 一种基于3d视觉识别的机器人手爪定位系统及其定位方法
WO2019037013A1 (zh) * 2017-08-24 2019-02-28 深圳蓝胖子机器人有限公司 机器人码放货物的方法及机器人
CN108189079A (zh) * 2017-12-30 2018-06-22 芜湖哈特机器人产业技术研究院有限公司 一种纸箱垛拆盘系统视觉定位装置
CN109421050A (zh) * 2018-09-06 2019-03-05 北京猎户星空科技有限公司 一种机器人的控制方法及装置
CN109421050B (zh) * 2018-09-06 2021-03-26 北京猎户星空科技有限公司 一种机器人的控制方法及装置
CN109592342A (zh) * 2018-11-15 2019-04-09 华南智能机器人创新研究院 一种视觉圆柱形物料输料方法及系统
CN110480636A (zh) * 2019-08-13 2019-11-22 菏泽学院 一种基于三维视觉的机械臂控制系统
CN111086024A (zh) * 2019-12-18 2020-05-01 南京熊猫电子股份有限公司 一种应用于工业机器人的监测系统及监测方法

Similar Documents

Publication Publication Date Title
US9492924B2 (en) Moveable apparatuses having robotic manipulators and conveyors to facilitate object movement
US20180293742A1 (en) Apparatus and methods for saliency detection based on color occurrence analysis
US9630316B2 (en) Real-time determination of object metrics for trajectory planning
US10151591B2 (en) Industrial vehicle with feature-based localization and navigation
Park et al. Continuous localization of construction workers via integration of detection and tracking
US9457477B1 (en) Variable stiffness suction gripper
EP3053141B1 (en) Industrial vehicles with overhead light based localization
JP2018511796A (ja) 視覚光、および、赤外の投射されるパターンを検出するためのイメージャ
US9205558B1 (en) Multiple suction cup control
US9424470B1 (en) Systems and methods for scale invariant 3D object detection leveraging processor architecture
Chang et al. Real-time visual tracking and measurement to control fast dynamics of overhead cranes
EP3186777B1 (en) Combination of stereo and structured-light processing
US20140083058A1 (en) Controlling and monitoring of a storage and order-picking system by means of motion and speech
Hogan et al. Tactile regrasp: Grasp adjustments via simulated tactile transformations
CN202924613U (zh) 集装箱起重机高效装卸作业自动控制系统
US20100021051A1 (en) Automated Guidance and Recognition System and Method of the Same
US11003940B2 (en) System and methods for automatic solar panel recognition and defect detection using infrared imaging
RU2566226C2 (ru) Способ выбора физических объектов в роботехнической системе
US20090234501A1 (en) Work Robot
US20040019405A1 (en) Object taking out apparatus
CN104626169B (zh) 基于视觉与机械综合定位的机器人抓取零件的方法
Tang et al. Recognition and localization methods for vision-based fruit picking robots: a review
CN104842361A (zh) 具有3d箱体定位功能的机器人系统
Shen et al. A positioning lockholes of container corner castings method based on image recognition
CN104331894A (zh) 一种基于双目立体视觉的机器人拆垛方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170524