CN108355979B - 传送带上目标追踪分拣系统 - Google Patents

Abstract

本发明涉及一种传送带上运动目标追踪分拣系统，包括连接到相机的摄像头和具有控制器和机械臂的机器人；该系统还包括：图像采集线程、图像处理线程和机械臂运动控制线程；所述图像采集线程负责摄像头拍摄的图像的采集，每采集完一帧发送给所述图像处理线程；所述图像处理线程负责接收来自图像采集线程发送的图片，进行图像的处理，获取目标位置，计算出目标的速度，以及对目标位置进行更新；所述机械臂运动控制线程，将目标的位置信息发送给所述控制器，使得机械臂执行抓取。本发明可以准确追踪目标位置，达到对无论大小目标的准确抓取、分拣；降低了总成本；功能多样，且应用灵活。

Description

传送带上目标追踪分拣系统

技术领域

本发明涉及一种传送带上目标追踪分拣系统，其包括摄像头和具有控制器和机械臂的机器人。

背景技术

对传送带上运动的目标分捡是物流生产中重要的环节，目前大部分分拣系统采用激光装置检测目标是否到达指定位置，然后停止传送带运输，通知执行机构例如机械臂，进行目标的分拣。此种停止传送带的方式，存在两个缺点：整个系统作业速度慢和频繁的开启及停止会缩短控制传送带的电机的寿命。

一种改进的传送带上目标分拣系统，包括相机、机械臂和速度编码器，其采用速度编码器进行传送带带速的测量，通过相机和速度编码器进行目标的追踪，在整个作业过程中，传送带不会停止，因而加快了目标分拣进度。但是由于速度编码器的精度不高，并且稳定性较低，此种方式存在目标位置追踪不准确的缺陷，尤其对于较小目标难以准确追踪，因而只能适于传送带上大目标的分拣。

由运动目标的分拣系统，到运动目标的追踪分拣系统，其中，传送带状态由停止到不停止，虽然加快了整个系统的工作进度，但现有的传送带上目标追踪分拣系统仍存在着上述缺陷，亟需改进。

发明内容

针对现有技术的不足，本发明要解决的技术问题是提供一种传送带上目标追踪分拣系统，它能准确追踪目标位置，从而准确抓取动态目标。

本发明的思路是只使用相机完成传送带上运动目标的追踪。

本发明的的传送带上运动目标追踪分拣系统，包括连接到相机的摄像头和具有控制器和机械臂的机器人；其特征是该系统还包括：图像采集线程、图像处理线程和机械臂运动控制线程；

所述图像采集线程，包括开启相机并实时抓取摄像头拍摄的每一帧图像的步骤；

所述图像处理线程，包括如下步骤：

接收来自图像采集线程发送的图片；

利用帧差法识别当前帧中目标位置；

利用当前帧与上一帧中目标的横纵坐标的差异性进行同一目标的匹配，并测出目标速度及更新目标位置；

所述机械臂运动控制线程，包括如下步骤：

判断更新后的目标位置是否进入机械臂范围；

根据目标速度和机械臂运动速度计算二者相遇时的位置；

将所述二者相遇时的位置信息发送给所述控制器，以使所述机械臂执行抓取。

所述同一目标的匹配，其具体为：

设置一个用于存放物料的位置信息的总目标位置信息队列；

利用目标识别的方法计算出当前图像中的目标位置信息队列；

新建两个临时队列X和Y，用于分别存放上述两个对队列横坐标相减和纵坐标相减得到的数值；

遍历当前目标位置信息队列和总目标位置信息队列中的元素，将两个队列对应位置相减的值分别存入队列X和队列Y中；

若队列X中所有的值小于设定的阈值e，则说明匹配成功；

对队列Y中所有的元素求和并计算其平均值；

对总目标位置信息队列进行位置纵坐标更新；

根据上述均值与相邻帧时间的比值计算目标的速度。

该系统还包括执行调试模式的程序，其包括如下步骤：

开启图像采集线程获取相机的畸变参数和实物与像素的比例；

然后设置相机的型号、显示窗口的名字、分拣物料的种类；

之后开启图像处理和机械臂运动控制线程；

相关参数设置并调整完成之后，保存参数到参数文档中。

该系统还包括执行工作模式的程序，其包括如下步骤：

直接读取所述参数文档中的参数，完成相关参数的设置；

开启图像采集、图像处理和机械臂运动控制线程；

对机械臂的末端进行微调，使得系统进入稳定工作状态。

所述传送带、摄像头和机械臂都成双，该两传送带相邻并排，该两机械臂位于该两传送带的正上方且前后布置。

该系统包括执行相向循环抓取功能的程序，其包括步骤：

当第一传送带正向运行、第二传送带反向运行时；第一机械臂将散乱物料排列整齐，第二机械臂将整齐物料打散。

该系统包括执行同向动态装盒功能的程序，其包括步骤：

当第一传送带输送物料；第二传送带输送物料盒时，机械臂将动态物料装入动态的物料盒中。

该系统包括执行定点装盒功能的程序，其包括步骤：

当第一传送带输送物料；第二传送带处于静止状态时；机械臂将动态物料装入静态的物料盒中。

本发明的有益效果是：1）由于图像处理线程对目标位置的获取的精度大大提高，相机可以根据传送带的速度进行自适应调节，采用相机进行运动目标测速的测量精度高，因而可以准确追踪目标位置，可实现无论大小目标都可准确追踪，达到对动态目标的准确抓取、分拣。

2）本发明不需要速度编码器，省去了设备的购买成本，降低了总成本。

3）本发明功能多样，且应用灵活。具有相向循环抓取演示功能可用于教育行业的机器人教学实验平台；具有同向动态装盒和定点装盒功能，客户可以根据需求进行灵活的应用。

附图说明

图1是本发明的传送带上目标追踪分拣系统的立体结构示意图。

图2是图1的俯视结构示意图。

图3是本发明的多线程协作关系示意图。

图4是本发明的目标速度计算方法示意图。

图5是本发明的目标准确抓取计算示意图。

图6是本发明的程序流程图。

图7是本发明的相向循环抓取工作状态示意图。

图8是本发明的同向动态装盒工作状态示意图。

图9是本发明的定点装盒工作状态示意图。

具体实施方式

现结合附图和实施例对本发明作进一步详细说明。

参看图1、2，本系统包括传送带1上方的摄像头2和机器人3，摄像头作为相机的一个部件，用于对传送带上的物料进行拍摄，机器人3具有机械臂及与之连接的控制器，在控制器的指令下，机械臂可在图中的圆形区域内移动，执行抓取动作、分拣动作。本系统利用工业机器人的视觉系统实现对运动目标的追踪。本系统的创新点，在于采用相机进行目标的速度的测量。其方法如图4所示，利用相邻两帧之间同一目标在图像中位置的差值d，同时记录相邻两帧的时间t1、t2，即可求出被检测到目标的速度v=d/(t2-t1)。

其具体步骤包括目标识别与匹配:

目标识别采用是背景相减法，也称为帧差法，具体算法描述如下：

步骤1，首先获取一张传送带上没有目标时的图片作为背景图background；

步骤2，采集到的图像Picture与背景图像相减得到相减后的图像PicSubract；

步骤3，对PicSubract图像进行灰度化、二值化阈值处理得到一幅二值图像PicBinary；

步骤4， 对图像进行轮廓提取的操作，根据目标实际尺寸和实物与像素的比例计算出目标的像素尺寸和像素面积，筛选出目标轮廓，获取目标位置信息。并将当前图像（当前帧）的目标位置信息塞入临时位置信息队列tempposiDeque中。

目标匹配：当有多个目标出现在图像中时，确定相邻帧中，哪两个目标是同一目标，哪些是新出现的目标是一技术难点。本系统利用的是相邻帧中目标的横纵坐标的差异性来进行同一目标的匹配，采用队列的数据结构进行位置信息的存储。具体算法描述如下：

步骤1，首先设置一个用于存放物料的位置信息的总的目标位置信息队列PositionDeque；

步骤2，利用目标识别的方法计算出当前图像中的目标位置信息tempposiDeque；

步骤3， 将当前目标的位置信息塞入总的棋子队列PositionDeque中，塞入的时候要分几种情况：

3.1 PositionDeque为空，则将tempposiDeque直接塞入到PositionDeque中；

3.2 PositionDeque不为空，temmposiDeque不为空，则进行目标匹配，匹配过程如下：

3.2.1新建两个临时队列Deque_X和Deque_Y用于分别存放两个对个队列横坐标相减和纵坐标相减得到的数值；

3.2.2遍历tempposiDeuqe和PositionDeque中的元素，tempposiDeque从位置0开始，PositionDeque从匹配位置machPosition开始（最开始时matchPosition为零），将两个队列对应位置相减的值分别存入Deque_X和Deque_Y中；

3.2.3若Deque_X队列中所有的值小于设定的阈值e，则说明tempposiDeque和PositionDeque匹配成功；则，

（i）记录PositioinDeque的匹配位置matchPosition用于下次匹配，记录tempposiDeque中的匹配位置match_temp；

（ii）对Deque_Y中所有的元素求和并计算其平均值AverageDist；

（iii）对总队列PositionDeque进行位置纵坐标更新，纵坐标y=y+AverageDist；

（iiii）计算目标的速度， v=AverageDist/time，其中time为获取相邻两帧的时间，速度用于后面目标位置信息的更新。

（iiiii）将tempposiDeque中未与PositionDeque匹配的位置，也即新增目标，也即match_temp后的元素塞入PositonDeque中，匹配完成。

3.2.4若Deque_X队列中有一个值大于设定的阈值e，则说明匹配失败，

matchPosition=matchPosition+1，返回（2）；

3.2.5若matchPosition等于PositionDeque的尺寸，则说明当前帧和上一帧没有匹配的目标，所有目标都为新目标，则将tempposiDeque中的元素塞入到PositionDeque中；

3.3 PositionDeque不为空，temmposiDeque为空，则进行目标位置更新，更新方式为y=y+v*time，其中y为PositionDeque元素的纵坐标，v测量出的传送带速度，time为两帧之间的时间间隔。

目标的动态抓取，对系统的实时性要求高。本系统为了能够达到目标的准确抓取，使用了多线程协作的并行机制，如图3所示，包括图像采集线程、图像处理线程、机械臂运动控制线程。每个线程负责的具体工作如下：

图像采集线程：负责图像的采集工作，每采集完一帧发送给图像处理线程；图像处理线程：主要工作是接收来自图像采集线程发送的图片进行图像的处理，进行目标位置的获取，计算出目标的速度，以及对目标位置进行更新。机械臂运动控制线程：与机械臂控制器进行通信，将目标的位置信息发送给机械臂，使得其准确执行抓取。

本系统采用目标位置信息的预测与更新以及相遇问题的方式实现目标的准确抓取即捡拣。如图5所示，待抓取目标为图中小圆（x,y）,机械臂末端为图中小圆（x0,y0）。其中圆形区域为机械臂的工作区域，其边沿为机械臂抓取的临界范围。当待抓取目标进入机械臂工作区域后，机械臂开始执行抓取动作，机械臂运动到距离（x,y）为d的位置处与目标相遇，执行抓取。目标的速度为传送带的速度V_传，机械臂运动的速度为V_机械臂，则距离d的计算是本领域技术人员都知道的。

本系统的工作流程图如图6所示，其分为调试模式和工作模式。

调试模式用于进行系统参数的获取与设置，首先开启图像采集线程获取相机的畸变参数和实物与像素的比例，然后设置相机的型号、显示窗口的名字、分拣物料的种类等。相关参数设置完成之后，保存参数到parameter.txt文档中；之后开启图像处理和机械臂运动控制线程，使得系统进入工作状态，在图像处理的线程中对检测到的目标进行速度测量。对机械臂的末端进行调节，使得系统稳定工作。

工作模式，直接读取parameter.txt文档中的参数，完成相关参数的设置，对机械臂的末端进行微调，使得系统进入稳定状态工作。

优选地，本系统的传送带1、摄像头2和机械人3具有两套，两传送带相邻并排，两机械人位于其正上方，且前后设置，两摄像头定位于安装板4上，并置于保护罩5内。其主要有三个功能，分别是如图7所示的相向循环抓取、图8所示的同向动态装盒和图9所示的定点装盒。

相向循环抓取：图中小圆为物料，箭头表示传送带正在输送以及表明其输送的方向。主要面向教育行业，进行教学和演示功能，第一机械臂将散乱物料排列整齐，第二机械臂将整齐物料打散，可实现无需人工添加物料，实现循环抓取的演示效果。在工业生产中，对散乱物料进行整齐排列，可代替重复单调的人工劳动，提高生产效率。

同向动态装盒：图中若干矩形代表物料盒。主要用于工业生产中，一条传送带输送物料，一条传送带输送物料盒，将动态物料装入动态的物料盒中，加快工业生产中作业的进度。

定点装盒：加了斜挂的圆表示该传送带静止。主要用于工业生产中，根据客户自己需求进行物料的位置的摆放，机械臂将动态物料装入静态的物料盒中。

以上所述仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (7)

1.一种传送带上运动目标追踪分拣系统，包括连接到相机的摄像头和具有控制器和机械臂的机器人；其特征是该系统还包括：图像采集线程、图像处理线程和机械臂运动控制线程；

所述图像采集线程，包括开启相机并实时抓取摄像头拍摄的每一帧图像的步骤；

所述图像处理线程，包括如下步骤：

接收来自图像采集线程发送的图片；

利用帧差法识别当前帧中目标位置；

利用当前帧与上一帧中目标的横纵坐标的差异性进行同一目标的匹配，并测出目标速度及更新目标位置；所述同一目标的匹配，其具体为：

设置一个用于存放物料的位置信息的总目标位置信息队列；

利用目标识别的方法计算出当前图像中的目标位置信息队列；

新建两个临时队列X和Y，用于分别存放上述两个对队列横坐标相减和纵坐标相减得到的数值；

遍历当前目标位置信息队列和总目标位置信息队列中的元素，将两个队列对应位置相减的值分别存入队列X和队列Y中；

若队列X中所有的值小于设定的阈值，则说明匹配成功；

对队列Y中所有的元素求和并计算其平均值；

对总目标位置信息队列进行位置纵坐标更新；

根据上述均值与相邻帧时间的比值计算目标的速度；

所述机械臂运动控制线程，包括如下步骤：

判断更新后的目标位置是否进入机械臂范围；

根据目标速度和机械臂运动速度计算二者相遇时的位置；

将所述二者相遇时的位置信息发送给所述控制器，以使所述机械臂执行抓取。

2.如权利要求1所述的传送带上运动目标追踪分拣系统，其特征是：该系统还包括进入调试模式的程序，其包括如下步骤：

开启图像采集线程以获取相机的畸变参数和实物与像素的比例；

设置相机的型号、显示窗口的名字、分拣物料的种类；

开启图像处理线程和机械臂运动控制线程以对目标测速和调节机械臂末端；

相关参数设置并调节完成之后，保存到参数文档中。

3.如权利要求2所述的传送带上运动目标追踪分拣系统，其特征是：该系统还包括进入工作模式的程序，其包括如下步骤：

直接读取所述参数文档中的参数，完成相关参数的设置；

对机械臂的末端进行微调，使得系统进入稳定工作状态。

4.如权利要求1至3任一项所述的传送带上运动目标追踪分拣系统，其特征是：所述传送带、摄像头和机械臂都成双，该两传送带相邻并排，该两机械臂位于该两传送带的正上方且前后布置。

5.如权利要求4所述的传送带上运动目标追踪分拣系统，其特征是：该系统包括执行相向循环抓取功能的程序，其包括步骤：

当一传送带正向运行、另一传送带反向运行时；一机械臂将散乱物料排列整齐，另一机械臂将整齐物料打散。

6.如权利要求4所述的传送带上运动目标追踪分拣系统，其特征是：该系统包括执行同向动态装盒功能的程序，其包括步骤：

当一传送带输送物料；另一传送带输送物料盒时，一机械臂将动态物料装入动态的物料盒中。

7.如权利要求4所述的传送带上运动目标追踪分拣系统，其特征是：该系统包括执行定点装盒功能的程序，其包括步骤：

当一传送带输送物料；另一传送带处于静止状态时；一机械臂将动态物料装入静态的物料盒中。

Images