CN106695792A - 基于机器视觉的码垛机器人跟踪监控系统及方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的码垛机器人跟踪监控系统及方法。该系统包括码垛机器人及其控制柜、传送带、AGV、真空吸盘装置、视觉采集系统。其中，所述码垛机器人与控制柜通信连接，并将传送带依次递出的产品码垛至AGV的载货平面，AGV将载货送入仓库。真空吸盘安装在码垛机器人的末端，视觉采集装置实时上传码垛机器人的工作视频图像至上位机监控软件，并对获得的视频进行图像处理，实现对码垛过程的实时监测，可以对码垛中物体掉落等异常情况进行分析和处理，从而提高物流自动化的智能化程度，有利于加快工厂整体的工作效率，节约人力成本和时间成本。

Description

基于机器视觉的码垛机器人跟踪监控系统及方法

技术领域

本发明专利涉及物流自动化领域，尤其涉及一种基于机器视觉的码垛机器人跟踪监控系统及方法。

背景技术

码垛技术是物流自动化技术领域的一门新兴技术，在物体的运输过程中除了散装的物体和液体外，一般的物体都是以码垛的形式进行存储或组装，这样既可承载更多的物体，又可节省空间。码垛机器人是实现物流自动化的关键设备，机器人把输送线上流向终端的物件整齐地码放，以便完成货物运输等工作，整个过程顺序流畅、完全自动化。但是码垛机器人的智能化程度很有限，可靠性和稳定性还有待提高。在新时代下的工业生产中，需要机器人本身具有智能功能，如警示、监控、诊断等很多方面的功能，而现有的码垛机器人并不完全具有这些功能，采取行之有效的方法使得码垛机器人具备异常情况解决能力变得尤为重要。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种基于机器视觉的码垛机器人跟踪监控系统及方法，以提高物流自动化的智能化程度，加快工厂整体的工作效率，节约人工处理的时间成本。

实现本发明目的的技术解决方案为：一种基于机器视觉的码垛机器人跟踪监控系统，将码垛机器人及其控制柜、传送带、AGV、真空吸盘装置等设备结合视觉采集系统。所述视觉采集系统由视觉采集装置、光源及上位机软件系统构成，其中，视觉采集装置由CCD图像传感器、图像采集接口模块构成。

本发明的CCD图像传感器固定安装于相机支架上，并通过图像采集接口模块将所获得的视频图像传送给上位机软件系统。所述相机支架位于机器人工作空间之外的正前方位置，保证码垛机器人的工作过程都能被CCD图像传感器捕获。光源照向机器人所在方向，保证机器人工作范围内目标货物清晰明亮，要求背景墙面与机器人及目标货物有较大颜色反差。

上位机软件系统具有视频图像接收显示功能、图像分析处理功能和机器人在线控制功能并执行如下步骤：

1)对视觉采集装置实时上传的视频图像进行解码，按帧读取图像并显示在上位机监测窗口界面。

2)对读取的每一帧图像进行图像处理，具体包括：图像灰度化、图像增强、图像滤波、图像二值化，以便提高运动跟踪的效率。

3)对预处理过的图像使用Canny算法检测图像，并根据目标图像的轮廓特征提取其轮廓，由轮廓的形状和目标图像的运动参数定义目标图像的状态，在轮廓的后验概率最大时更新目标图像状态，提取目标图像的最小外接矩并在监控窗口中显示出来。

4)在每一帧的图像中设置货物掉落指示线，判断目标图像最小外接矩是否完全落入指示线以下，若确实完全落入，则程序发送指令中止机器人当前工作。

5)根据视觉标定得来的世界坐标系、相机坐标系和图像坐标系之间的矩阵变换关系，计算出掉落货物所在位置的空间坐标，并转换为控制码垛机器人六个轴的转角数据，使得程序在线控制码垛机器人定位抓取掉落货物并放置到正确位置。

本发明一种基于机器视觉的码垛机器人跟踪监控系统及方法，具有如下的有益效果：

第一、视觉采集系统的加入使得整体系统的柔性增强，且视觉采集系统与码垛机器人的交互关系逻辑清晰，结构简单便于安装。

第二、实时监测码垛机器人的工作过程，对出现的货物掉落等异常情况自动做出反应，不需要人为参与处理，节约人力成本和时间成本。

附图说明

图1是本发明的结构示意图；

图2是本发明的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，下面结合实施例及附图对本发明产品作进一步详细的说明。

如图1的结构示意图所示，一种基于机器视觉的码垛机器人跟踪监控系统及方法，包括码垛机器人本体(1)及其控制柜(2)，所述码垛机器人与控制柜通信连接，真空吸盘(3)安装在码垛机器人末端，码垛机器人从传送带(5)的托盘上将货物取走，并按照预定轨迹依次码垛至AGV(4)的载物平面，当码垛货物重量达到预定限额时，开始循迹运送货物至仓库分拣，同时通知码垛机器人暂停码垛工作，并发送信号让下一辆AGV到达待码垛位置，等到下一辆AGV就位后通知码垛机器人继续工作。码垛机器人工作过程，由视觉采集装置(6)跟踪拍摄，并将获取的视频图像实时上传至计算机(7)。

更进一步的，所述视觉采集装置由CCD图像传感器和图像采集接口模块构成，CCD图像传感器在码垛机器人工作空间之外的正前方位置安装，对码垛机器人的工作过程进行实时监测。

更进一步的，所述CCD图像传感器经过镜头将被观察物聚焦至CCD芯片上，CCD根据光的强弱积累相应比例的电荷，然后逐点外移、滤波、放大，最终形成视频信号输出，视频信号通过图像采集接口模块上传到计算机进行图像处理。

码垛机器人实时处于机器视觉的监控下，当码垛过程中发生货物掉落的异常情况时，计算机立即发出指令通知码垛机器人控制柜，使其暂停码垛机器人的运动，等待计算机的下一步指令，整套异常处理过程如图2的流程图所示。

计算机接收视觉采集装置发送的视频图像，并进行图像预处理，包括以下几个步骤：

1)图像灰度化，即把RGB三通道数据的彩色图像变为单通道数据的灰度图像。本发明根据加权平均值法得到较合理的灰度图像，具体公式(1)如下所示：

f(i，j)＝0.30R(i，j)+0.59G(i，j)+0.11B(i，j) (1)

2)图像增强，即通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者抑制(掩盖)图像中某些不需要的特征，使图像与视觉响应特性相匹配。本发明使用空域法对图像中的像素点进行操作达到较为理想的效果，具体公式(2)如下所示：

g(x，y)＝f(x，y)*h(x，y) (2)

3)图像滤波，即有效地去除目标和背景中的噪声，同时保护图像目标的形状、大小及特定的几何和拓扑结构特征。本发明使用高斯平滑滤波对图像进行处理。

4)图像二值化，即把256个亮度等级的灰度图像通过适当的阈值选取而获得仍可以反映图像整体和局部特征的二值化图像。本发明使用基于直方图的自适应阈值分割来获得二值图像。

对预处理过的图像使用Canny算法检测图像，并根据目标图像的轮廓特征提取其轮廓，由轮廓的形状和目标图像的运动参数定义目标图像的状态，在轮廓的后验概率最大时更新目标图像状态，提取目标图像的最小外接矩并在监控窗口中显示出来。在每一帧的图像中设置货物掉落指示线，当目标图像的最小外接矩完全落入指示线之下，则判定为货物掉落。

货物掉落位置也要通过机器视觉确定，需要提前进行视觉标定。本发明使用张正友的棋盘格标定法，首先打印一张棋盘格，把它贴在一个平面上，作为标定物。通过调整标定物或摄像机的方向，为标定物拍摄一些不同方向的照片，从照片中提取特征点(如角点)，估算理想无畸变的情况下，五个内参和所有外参。应用最小二乘法估算实际存在径向畸变下的畸变系数，极大似然法，优化估计，提升估计精度。通过这样的过程，我们可以获得具有高估计精度的五个内参，三个外参和两个畸变系数。利用这些信息，我们可以进行畸变矫正、图像校正和最终的三维信息恢复。

确立世界坐标系、相机坐标系和图像坐标系之间的矩阵变换关系，计算出掉落货物所在位置的空间坐标，并转换为控制码垛机器人六个轴的转角数据，从而使得码垛机器人主动定位抓取掉落货物并放置到正确位置。通过以上所有步骤，我们完成整个自检及自处理过程。

应当理解的是，以上所述仅为本发明的示例性描述，并非对本发明任何形式上的限制。在不脱离本发明设计构思的前提下，本领域普通技术人员对本发明的技术方案做出的各种变型和改进，均应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于机器视觉的码垛机器人跟踪监控系统及方法，包括码垛机器人及其控制柜、传送带、AGV、真空吸盘装置、视觉采集系统，所述码垛机器人与控制柜通信连接，真空吸盘安装在码垛机器人末端，所述真空吸盘的吸力由气源和真空发生器产生，并由电磁阀进行控制。码垛机器人的正常工作过程，其特征在于：从传送带的托盘上取走货物，并按照预定轨迹依次码垛至AGV的载物平面。

2.根据权利要求1所述的AGV，其特征在于：车身上装有压力传感器和通讯模块，当码垛货物重量达到预定限额时，开始循迹运送货物至仓库分拣，同时通知机器人暂停码垛工作，并发送信号让下一辆AGV到达待码垛位置，等到下一辆AGV就位后通知码垛机器人继续工作。

3.根据权利要求1所述的码垛机器人工作过程，其特征在于：由视觉采集系统跟踪监控，视觉采集系统由CCD图像传感器、图像采集接口模块、光源及上位机软件系统构成，CCD图像传感器在码垛机器人工作空间之外的正前方位置安装，对码垛机器人的工作过程进行实时监测。

4.根据权利要求3所述的CCD图像传感器，其特征在于：所述CCD图像传感器经过镜头将被观察物聚焦至CCD芯片上，CCD根据光的强弱积累相应比例的电荷，然后逐点外移、滤波、放大，最终形成视频信号输出，视频信号通过图像采集接口模块上传到计算机进行图像处理。

5.根据权利要求4所述的计算机图像处理，其特征在于：图像处理由计算机软件完成，实现对码垛对象的运动跟踪，实时监测有无码垛对象异常掉落的情况发生。若货物在码垛过程中掉落，则执行异常情况处理机制，由视觉采集系统发出指令通知码垛机器人控制柜，立即停止码垛机器人当前工作程序，转为在机器视觉引导下工作。

6.根据权利要求5所述的异常情况处理机制，其特征在于：标定视觉采集装置，确立世界坐标系、相机坐标系和图像坐标系之间的矩阵变换关系，计算出掉落货物所在位置的空间坐标，并转换为控制码垛机器人六个轴的转角数据，从而使得码垛机器人主动定位抓取掉落货物并放置到正确位置。

7.一种视觉实时监测方法，其包括以下步骤：

a.上位机软件对视觉采集装置实时上传的视频进行解码，按帧读取图像并显示在上位机监测窗口界面。

b.对读取的每一帧图像进行图像处理，具体包括：图像灰度化、图像增强、图像滤波、图像二值化。

c.对预处理过的图像使用Canny算法检测，并根据目标图像的轮廓特征提取其轮廓，由轮廓的形状和目标图像的运动参数定义目标图像的状态，在轮廓的后验概率最大时更新目标图像状态，提取目标图像的最小外接矩并在监控窗口中显示出来。

d.在每一帧的图像中设置货物掉落指示线，当目标图像的最小外接矩完全落入指示线之下，则判定为货物掉落。