CN111846977B - 基于机器视觉的自动码垛机器人系统及其操作方法 - Google Patents

Abstract

本发明请求保护一种基于机器视觉的自动码垛机器人系统及操作方法，其包括硬件系统和软件系统，其中硬件系统包括：上位机、工业相机、机械臂、末端专用抓手、控制柜、烟包传送机构、烟包矫正机构、托盘自动升降机构和传送机构以及缓冲区；软件系统包括：视觉识别程序、上位机程序、PLC控制程序以及机器臂控制程序，控制设备之间的通信方式包括：相机与上位机的USB串口通信；PLC与上位机的RS232通信；PLC与传送机构、翻转机构、矫正机构、升降机构、抓手以及现场总线适配器之间的I/O通信；现场总线适配器与机器臂控制器之间的DeviceNet总线通信，通过相互通信将现场的各个控制设备联系起来并最终实现的码垛功能。

Description

基于机器视觉的自动码垛机器人系统及其操作方法

技术领域

本发明属于烟草设备技术领域，具体涉及烟包自动码垛机器人系统技术。

背景技术

烟草物流中的烟包码垛中，通常采用人工将包装机打包出来的烟包在托盘上进行组垛、码垛作业。由于客户订单的不同，包装机出来的烟包数目也不同，其中每个烟包最多5层，每层最多5条，共有25种烟包。为保证码垛的稳固性，码垛规则就是每一层烟包都需尽可能整齐码放，即最大化把非5层的烟包组垛为5层再码垛到托盘，当完成一个订单就运走托盘继续下一个订单。为提高烟草物流的分拣码垛自动化水平，需实时识别烟包形状和条数，进一步根据烟包信息完成码垛作业。因此需要设计一套基于机器视觉的烟包自动码垛系统，目前并没有一套完整的基于机器视觉的烟包自动码垛系统。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于机器视觉的自动码垛机器人系统方法。本发明的技术方案如下：

一种基于机器视觉的自动码垛机器人系统，其包括硬件系统和软件系统，其中硬件系统包括：上位机、工业相机、机械臂、末端专用抓手、控制柜、烟包传送机构、烟包矫正机构、托盘自动升降机构和传送机构以及缓冲区；上位机用于将烟包的信息发送给系统以及反馈系统信息，工业相机用于实时识别烟包信息，机械臂用于完成烟包的组垛和码垛，末端专用抓手用于抓取烟包，控制柜用于完成各个系统的连接与通信，烟包传送机构用于传送烟包，烟包矫正机构用于完成烟包位置的矫正，托盘自动升降机构和传送机构用于完成托盘自动上下升降和传送，缓冲区用于暂时存放烟包的区域。

软件系统包括：视觉识别程序、上位机程序、PLC控制程序以及机器臂控制程序，视觉识别程序对订单烟包的形状信息确认，并把数据传递给上位机；上位机程序对烟包形状数据进行分析处理，采用预排程算法确定订单序列中每个烟包需要进行的操作以及摆放位置，烟包组垛过程中设计了一套最优组垛算法对烟包进行规划，其中包括稳定性最优组垛算法、在线组垛算法、路径最优组垛算法；PLC程序用于控制翻转机构、烟包矫正机构、烟包传送机构、托盘自动升降机构和传送机构，实现对烟包的具体操作；机器人程序根据上位机发送来的路径编码执行针对每个烟包搬运；

控制设备之间的通信方式包括：相机与上位机的USB串口通信；PLC与上位机的RS232通信；PLC与传送机构、翻转机构、矫正机构、升降机构、抓手以及现场总线适配器之间的I/O通信；现场总线适配器与机器臂控制器之间的DeviceNet总线通信，通过相互通信将现场的各个控制设备联系起来并最终实现的码垛功能。

进一步的，稳定性最优组垛算法中，烟包的组和类型一共有三种，即交错组合，叠加组合，交错叠加组合，为保证码垛过程中稳定性最佳，防止塌陷，规定组合后每层条烟数量大于等于3。

进一步的，由图3(a)可知，交错组合是由两个烟包相互交错组合而成，两个烟包的条数总和要在[23,25]之间，并且两个烟包的层数之和为5，所以交错组合算法的约束条件为：

其中N₁表示下层的烟包条数，N₂表示上层的烟包条数，％5表示除以5取余数，/5表示除以5取整数，下同；

由图3(b)可知，叠加组合是将两个最上层条数大于等于3的烟包叠加组合起来，并且叠加后为5层，所以叠加组合算法的约束条件为：

其中L₁表示下层的烟包层数，L₂表示上层的烟包层数，||表示或者，表达式a＝＝b？c:d表示若a等于b则为c，否则为d，下同；

由图3(c)可知，交错叠加组合是将一个最上层条数大于等于3的烟包和两个交错叠加的烟包叠加组合而成，叠加后的总层数为5层，所以交错叠加组合算法的约束条件为：

其中N₁表示下层的烟包条数，N₂表示中层的烟包条数，N₃表示上层的烟包条数，L₁表示下层的烟包层数，L₂表示中层的烟包层数，L₃表示上层的烟包层数。

进一步的，所述在线组垛算法，即当连续两个烟包满足上文中的稳定性最优组垛算法中的交错组垛或叠加组垛，便可在传送带的矫正装置处在线完成烟包组垛。首先把第一个待组垛的烟包抓起一定高度，等到第二个烟包完成矫正后，再下去完成组和和抓取，最后直接码垛到托盘上；

所述路径最优组垛，通过对缓冲区的位置按照路径由短到长依次顺序编号，遍历缓冲区中是否有满足组合的烟包，若有则寻找路径最近的一个匹配烟包完成组垛。

进一步的，码垛算法具体步骤为：①判断烟包是否为5层，若是则执行②，否则执行③；②判断烟包顶层是否为5条，若是则直接放到托盘上，否则烟包的缺口朝内码放到托盘；③判断是否只剩托盘顶层烟包，若是码放到托盘，否则放到缓冲区；④当满足只剩托盘顶层烟包条件，将缓冲区上的烟包全部码放到托盘，完成整个码垛过程。

一种基于所述系统的操作方法，其包括以下步骤：

首先烟包从热缩膜包装机出来的订单包件通过传送带输送到自动码垛系统的始端，系统通过视觉系统的烟包形状识别算法判定订单烟包的形状和烟包条数，接着视觉系统把烟包信息发送给码垛系统，码垛系统根据通过组垛算法和码垛算法计算出烟包运行路径，并把具体指令发送给传送机构、翻转机构、矫正机构以及机械臂控制器，最后机械臂根据指示完成烟包组垛和码垛到托盘上，其中机械臂与抓手对烟包进行操作的运动路径分为四种：校正机构抓取点到托盘；矫正机构抓取点到缓冲区；矫正机构抓取点到缓冲区匹配后再到托盘；缓冲区到托盘；整个订单完成后，托盘传送和升降机构自动更换下一个托盘继续根据订单码垛。

进一步的，整个烟包形状识别过程包括：对图像进行预处理，具体包括：首先对原图进行灰度化处理，通过滤波减少图像噪声，然后用形态学方法优化图像，最后利用最大边缘检测提取目标形状轮廓及细化；

建立最优标准模板库，基于形状模板的快速匹配，最后根据匹配结果完成烟包的组垛、码垛作业。

进一步的，所述建立最优标准模板库具体是基于面积与K均值聚类建立最优形状模板库方法，具体包括：

定义样本点X_i的面积值A_mi表示同一类别m中其他训练样本点X_j的欧式距离的和的平均值，即

其中N_m表示每一类样本的数目，i＝1,2,...,N_m，j＝1,2,...,N_m，i≠j；

依次将A_mi按照从小到大排序，A_mi越小，则表示样本点X_i与其他样本点X_j都近，在该类别中代表性越强；采用基于面积建立标准库，从原始训练集中每一类m中选择面积值最小的样本组成标准库，在基于面积的基础上，结合K均值聚类进行模板训练学习构建最优烟包形状模板库；基于面积与K均值聚类建立标准库的具体流程为：①输入烟包的训练样本；②通过公式(1)计算输入训练样本的面积值，并将每一类m中的计算结果按照从小到大顺序排序；③依次选择每一类m中面积值最小的训练样本，并将该样本作为初始模板添加到标准库中，统计每一类m中模板数量k；④判断k是否大于1，若大于1则执行步骤⑤，若为1执行步骤⑥；⑤使用K均值聚类算法，把标准库中每一类m中的当前模板作为起始聚类中心，计算训练样本与各个聚类中心的距离，并将每个样本分配到离其最近的聚类中心，通过不断的循环迭代直到聚类中心不再变化，将新的聚类中心作为标准库中模板；⑥把所有的训练样本通过最近邻分类算法进行分类识别，并计算其分类正确率Acc_train；⑦判断Acc_train是否为1，若为1则完成标准库的建立，否则将训练集中出错的样本挑选出来构建新的训练集，返回步骤①，通过不断循环学习更新标准模板库，直到全部满足要求，最终完成建立最优标准模板库。

进一步的，基于形状模板的快速匹配，具体步骤为：

步骤1:设置一个贪婪因子g,将公式S_j＜S_min-(n-j)/n(2)转化为：

S_j表示模板图像和目标图像前j个点的内积和、S_min表示模板图像和目标图像的最小匹配值、n表示图形像素点总数、j表示图像中第j个像素点，

若g为1则代表越贪心，提前终止的概率越大，若g为0则代表所有的图像点都必须完全满足公式(2)；

步骤2：首先通过g选择一部分点进行模板匹配，判断匹配分数达到预定值δ，若达到预定值则执行步骤3，否则匹配失败；

步骤3：对已完成模板匹配的模板图像点t_i＝(t_i ^x,t_i ^y)与目标图像点m_i＝(m_i ^x,m_i ^y)之间的正确匹配点连接形成向量

步骤4：计算剩余的点的匹配分数，若匹配分数满足S_min，则执行步骤5，否则匹配失败；

步骤5：对满足匹配分数S_min的模板图像点与目标图像点连接建立匹配向量

选择满足K_i×K_j＝0的向量，完成形状匹配。

进一步的，视觉系统完成烟包形状的识别以及烟包条数的确定，并把烟包信息发送给码垛系统，配合组垛算法和码垛算法确定码垛系统的执行指令，码垛系统把指定指令发送给传送机构、翻转机构、矫正机构、机械臂控制器以及托盘传送机构和升降机构；传送机构、翻转机构和矫正机构确定烟包的位姿；机械臂把烟包组垛和码垛到托盘；当一个订单完成码垛后，托盘传送机构和升降机构完成托盘的更换和传送。

本发明的优点及有益效果如下：

本发明设计了一套基于机器视觉的烟包自动码垛系统。首先在视觉系统中采用面积和K均值聚类建立标准形状模板库，并提出一种基于形状模板快速匹配算法，实现对传送带上的烟包快速准确识别烟包形状与烟包条数，接着上位机把烟包数据信息发送给码垛系统，配合烟包组垛与码垛预排程算法完成烟包的自动码垛作业。提高烟草烟包配送的自动化与智能化水平，自动完成烟包的码垛流水作业。

提出一种基于形状模板快速匹配算法，可以快速准确完成烟包形状和条数信息识别，烟包形状识别率在99.90％以上，烟包形状匹配时间小于80毫秒。

设计了一套基于稳定性最优的烟包组垛和码垛预排程算法，可以针对各种形状烟包基于稳定性最优的前提下最快的自动完成烟包组垛和码垛作业。

附图说明

图1是本发明提供优选实施系统设备布局图；

图2系统设备通信图；

图3烟包组合类型图；

图4码垛烟包示意图；

图5烟包码垛算法流程图；

图6系统运行流程图；

图7烟包形状识别流程图；

图8烟包图像预处理；

图9基于面积与K均值聚类建立标准库流程图；

图10标准形状模板库。

图1中，1.缓冲区 2.托盘 3.托盘传送与升降机构 4.码垛机器人 5.机械抓手 6.矫正机构 7传送带 8.翻转机构 9.机器人控制柜 10.PLC控制箱 11.上位机 12.视觉识别区

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明设计一套基于机器视觉的烟包自动码垛机器人系统，使得整个码垛过程更加高效、安全和稳定，提高烟包分拣码垛系统的自动化水平。整个系统设计包括视觉系统和码垛系统。首先通过工业相机对传送带上的烟包完成采集，然后利用机器视觉技术实时识别烟包形状和条数信息，接着上位机把烟包的数据信息发送给码垛系统，最终配合组垛算法和码垛算法完成烟包的码垛作业。

硬件系统包括：上位机、工业相机、机械臂、末端专用抓手、控制柜、烟包传送机构、烟包矫正机构、托盘自动升降机构和传送机构以及缓冲区。硬件设备中末端专用抓手、控制柜、烟包传送机构、烟包矫正机构、托盘自动升降机构和传送机构是需要加工的。

软件系统包括：视觉识别程序、上位机程序、PLC控制程序以及机器臂控制程序。视觉识别程序对订单烟包的形状信息确认，并把数据传递给上位机；上位机程序对烟包形状数据进行分析处理，采用预排程算法确定订单序列中每个烟包需要进行的操作以及摆放位置；PLC程序控制翻转机构、烟包矫正机构、烟包传送机构、托盘自动升降机构和传送机构，实现对烟包的具体操作；机器人程序根据上位机发送来的路径编码执行针对每个烟包搬运。

系统的控制设备主要包括:上位机、工业相机、PLC、传送机构、翻转机构、矫正机构、升降机构、抓手以及机器臂控制器。控制设备之间的通信方式包括：相机与上位机的USB串口通信；PLC与上位机的RS232通信；PLC与传送机构、翻转机构、矫正机构、升降机构、抓手以及现场总线适配器之间的I/O通信；现场总线适配器与机器臂控制器之间的DeviceNet总线通信。通过相互通信将现场的各个控制设备联系起来并最终实现的码垛功能。图2所示为系统设备通信框图。

为了避免烟包在码垛和搬运过程中因挤压碰撞而造成损坏，烟草物流的运输中规定必须以5层为一个整体，通过减少垛包中的缝隙以增加垛型的稳定性。在烟包组垛过程中设计了一套最优组垛算法对烟包进行规划，其中包括稳定性最优组垛、在线组垛、路径最优组垛。

如图3所示为3种烟包组合类型，稳定性最优组垛中，烟包的组和类型一共有三种，即交错组合，叠加组合，交错叠加组合。为保证码垛过程中稳定性最佳，防止塌陷，规定组合后每层条烟数量大于等于3。

①交错组合算法的约束条件为：

其中N₁表示下层的烟包条数，N₂表示上层的烟包条数，％5表示除以5取余数，/5表示除以5取整数，下同。

②叠加组合算法的约束条件为：

其中L₁表示下层的烟包层数，L₂表示上层的烟包层数，||表示或者，表达式a＝＝b？c:d表示若a等于b则为c，否则为d，下同。

③交错叠加组合算法的约束条件为：

其中N₁表示下层的烟包条数，N₂表示中层的烟包条数，N₃表示上层的烟包条数，L₁表示下层的烟包层数，L₂表示中层的烟包层数，L₃表示上层的烟包层数。

在线组垛，即当连续两个烟包满足上文中的稳定性最优组垛算法中的交错组垛或叠加组垛，便可在传送带的矫正装置处在线完成烟包组垛。首先把第一个待组垛的烟包抓起一定高度，等到第二个烟包完成矫正后，再下去完成组和和抓取，最后直接码垛到托盘上，在线组垛极大提高了码垛效率,同时减少了缓冲区资源的利用。

路径最优组垛，通过对缓冲区的位置按照路径由短到长依次顺序编号，遍历缓冲区中是否有满足组合的烟包，若有则寻找路径最近的一个匹配烟包完成组垛。

保证在托盘的码垛过程中避免塌陷与倾斜，规定每层码垛10个烟包，保证烟包垛型的整体稳定性，采用奇偶层交错的方式码放，上下层互相扣压，减小缝隙，避免装运过程中的碰撞。在码垛过程中设计了一套基于稳定性最优码垛的码垛算法。

图4为码垛烟包示意图

码垛算法具体步骤为：①判断烟包是否为5层，若是则执行②，否则执行③；②判断烟包顶层是否为5条，若是则直接放到托盘上，否则烟包的缺口朝内码放到托盘；③判断是否只剩托盘顶层烟包，若是码放到托盘，否则放到缓冲区；④当满足只剩托盘顶层烟包条件，将缓冲区上的烟包全部码放到托盘，完成整个码垛过程。

1.如图6为系统整体流程：首先烟包从热缩膜包装机出来的订单包件通过传送带输送到自动码垛系统的始端，系统通过视觉系统的烟包形状识别算法判定订单烟包的形状和烟包条数，接着视觉系统把烟包信息发送给码垛系统，码垛系统根据通过组垛算法和码垛算法计算出烟包运行路径，并把具体指令发送给传送机构、翻转机构、矫正机构以及机械臂控制器，最后机械臂根据指示完成烟包组垛和码垛到托盘上，其中机械臂与抓手对烟包进行操作的运动路径分为四种：校正机构抓取点到托盘；矫正机构抓取点到缓冲区；矫正机构抓取点到缓冲区匹配后再到托盘；缓冲区到托盘。整个订单完成后，托盘传送和升降机构自动更换下一个托盘继续根据订单码垛。

2.如图7为烟包形状识别流程图，整个烟包形状识别过程包括：图像的预处理，建立最优标准模板库，基于形状模板的快速匹配，最后根据匹配结果完成烟包的组垛、码垛作业。

3.相机最初采集到的烟包图像都有着不同程度的噪声影响，为便于后续图像识别，需要进行预处理。如图8为预处理流程图，首先对原图进行灰度化处理，通过滤波减少图像噪声，然后用形态学方法优化图像，最后利用最大边缘检测提取目标形状轮廓及细化。

4.经过图像的预处理得到烟包的形状轮廓，由于烟包的形状有20多种，因此需要建立一个标准形状模板库。提出一种基于面积与K均值聚类建立最优形状模板库方法。图9为基于面积与K均值聚类建立标准库流程图；

定义样本点X_i的面积值A_mi表示同一类别m中其他训练样本点X_j的欧式距离的和的平均值，即

其中N_m表示每一类样本的数目，i＝1,2,...,N_m，j＝1,2,...,N_m，i≠j。

依次将A_mi按照从小到大排序，A_mi越小，则表示样本点X_i与其他样本点X_j都近，在该类别中代表性越强。采用基于面积建立标准库，从原始训练集中每一类m中选择面积值最小的样本组成标准库，虽然达到缩小训练集规模的目的，但并没有对样本进行学习训练，并不能达到最具代表性。对此，在基于面积的基础上，结合K均值聚类进行模板训练学习构建最优烟包形状模板库。基于面积与K均值聚类建立标准库的具体流程为：①输入烟包的训练样本；②通过公式(1)计算输入训练样本的面积值，并将每一类m中的计算结果按照从小到大顺序排序；③依次选择每一类m中面积值最小的训练样本，并将该样本作为初始模板添加到标准库中，统计每一类m中模板数量k；④判断k是否大于1，若大于1则执行步骤⑤，若为1执行步骤⑥；⑤使用K均值聚类算法，把标准库中每一类m中的当前模板作为起始聚类中心，计算训练样本与各个聚类中心的距离，并将每个样本分配到离其最近的聚类中心，通过不断的循环迭代直到聚类中心不再变化，将新的聚类中心作为标准库中模板；⑥把所有的训练样本通过最近邻分类算法进行分类识别，并计算其分类正确率Acc_train；⑦判断Acc_train是否为1，若为1则完成标准库的建立，否则将训练集中出错的样本挑选出来构建新的训练集，返回步骤①，通过不断循环学习更新标准模板库，直到全部满足要求，最终完成建立最优标准模板库。

通过基于面积的K均值聚类算法对烟包模板进行训练学习建立的标准模板库，包含25个形状模板，并依据形状大小按照从小到大的顺序依次编号(01-25)，分别代表对应烟包形状模板的条烟数量，如图10所示。

5.基于已经建立的最优烟包形状模板库，对烟包图像通过基于形状的模板匹配算法与模板库进行匹配，识别烟包形状与条数。

相似度度量是模板匹配中简单而有效的一种方式，设模板图像的点集为t_i＝(t_i ^x,t_i ^y)，其单位方向向量为T_i＝(T_i ^x,T_i ^y)，其中i＝1,2,...,n，n为模板图像的像素点数，目标图像的点集为m_i＝(m_i ^x,m_i ^y)，其单位方向向量为M_i＝(M_i ^x,M_i ^y)，其中i＝1,2,...,n，n为目标图像的像素点数。相似度为模板图像与目标图像边缘点的单位向量的内积为

该式中的相似度计算是对单位向量求点积，达到防止光照变化的影响，若目标图像与模板图像完全匹配时，则相似度度量为1，一般情况下相似度度量计算的值都小于1。

相似性度量匹配算法所需时间很长，在实际应用中，目标图像与模板图像之间的点的内积并不需要完全计算出来，只需要匹配分数大于最小的匹配分数S_min才有可能匹配成功。依据这个阈值S_min可以提前终止无法达到阈值的点。前j个点的内积和S_j为

完成前j个点的内积，若剩余的n-j个点匹配相似度都为1，则内积为(n-j)/n，该次匹配最高得分为S_j+(n-j)/n。所以当S_j满足公式(2)，即模板图像与目标图像的内积和将永远不能满足最小匹配分数S_min，匹配便可提前终止，极大提高匹配效率。

S_j＜S_min-(n-j)/n (2)

但在工业匹配识别中，仍然需要保证准确率的前提下进一步提高搜索速度。本文提出一种快速形状模板匹配算法。具体步骤为：

步骤1：:设置一个贪婪因子g，将公式(2)转化为：

式中

若g为1则代表越贪心，提前终止的概率越大，若g为0则代表所有的图像点都必须完全满足公式(2)。

步骤2：首先通过g选择一部分点进行模板匹配，判断匹配分数达到预定值δ，若达到预定值则执行步骤3，否则匹配失败；

步骤3：对已完成模板匹配的模板图像点t_i＝(t_i ^x,t_i ^y)与目标图像点m_i＝(m_i ^x,m_i ^y)之间的正确匹配点连接形成向量

步骤4：计算剩余的点的匹配分数，若匹配分数满足S_min，则执行步骤5，否则匹配失败；

步骤5：对满足匹配分数S_min的模板图像点与目标图像点连接建立匹配向量

选择满足K_i×K_j＝0的向量，完成形状匹配。通过快速形状模板匹配算法可以快速识别烟包形状以及烟包条数。

6.视觉系统完成烟包形状的识别以及烟包条数的确定，并把烟包信息发送给码垛系统，配合组垛算法和码垛算法确定码垛系统的执行指令，码垛系统把指定指令发送给传送机构、翻转机构、矫正机构、机械臂控制器以及托盘传送机构和升降机构。传送机构、翻转机构和矫正机构确定烟包的位姿；机械臂把烟包组垛和码垛到托盘；当一个订单完成码垛后，托盘传送机构和升降机构完成托盘的更换和传送。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种基于机器视觉的自动码垛机器人系统，其特征在于，包括硬件系统和软件系统，其中硬件系统包括：上位机、工业相机、机械臂、末端专用抓手、控制柜、烟包传送机构、烟包矫正机构、托盘自动升降机构和传送机构以及缓冲区；其中上位机用于将烟包的信息发送给软件系统以及反馈软件系统信息，工业相机用于实时识别烟包信息，机械臂用于完成烟包的组垛和码垛，末端专用抓手用于抓取烟包，控制柜用于完成各个系统的连接与通信，烟包传送机构用于传送烟包，烟包矫正机构用于完成烟包位置的矫正，托盘自动升降机构和传送机构用于完成托盘自动上下升降和传送，缓冲区用于暂时存放烟包的区域；

软件系统包括：视觉识别程序、上位机程序、PLC控制程序以及机器臂控制程序，视觉识别程序对订单烟包的形状信息确认，并把数据传递给上位机；上位机程序对烟包形状数据进行分析处理，采用预排层算法确定订单序列中每个烟包需要进行的操作以及摆放位置，烟包组垛过程中设计了一套最优组垛算法对烟包进行规划，其中包括稳定性最优组垛算法、在线组垛算法、路径最优组垛算法；PLC控制程序用于控制翻转机构、烟包矫正机构、烟包传送机构、托盘自动升降机构和传送机构，实现对烟包的具体操作；机器臂控制程序根据上位机发送来的路径编码执行针对每个烟包搬运；

控制设备之间的通信方式包括：工业相机与上位机的USB串口通信；PLC与上位机的RS232通信；PLC与烟包传送机构、翻转机构、烟包矫正机构、托盘自动升降机构和传送机构、末端专用抓手以及现场总线适配器之间的I/O通信；现场总线适配器与机器臂控制器之间的DeviceNet总线通信，通过相互通信将现场的各个控制设备联系起来并最终实现码垛功能；

稳定性最优组垛算法中，烟包的组和类型一共有三种，即交错组合，叠加组合，交错叠加组合，为保证码垛过程中稳定性最佳，防止塌陷，规定组合后每层条烟数量大于等于3；

交错组合算法的约束条件为：

其中N₁表示下层的烟包条数，N₂表示上层的烟包条数，％5表示除以5取余数，/5表示除以5取整数，下同；

叠加组合算法的约束条件为：

其中L₁表示下层的烟包层数，L₂表示上层的烟包层数，||表示或者，表达式a＝＝b？c:d表示若a等于b则为c，否则为d，下同；

交错叠加组合算法的约束条件为：

其中N₁表示下层的烟包条数，N₂表示中层的烟包条数，N₃表示上层的烟包条数，L₁表示下层的烟包层数，L₂表示中层的烟包层数，L₃表示上层的烟包层数。

2.根据权利要求1所述的一种基于机器视觉的自动码垛机器人系统，其特征在于，所述在线组垛算法，即当连续两个烟包满足所述的稳定性最优组垛算法中的交错组垛或叠加组垛，便能够在传送带的烟包矫正机构处在线完成烟包组垛，首先把第一个待组垛的烟包抓起一定高度，等到第二个烟包完成矫正后，再下去完成组和和抓取，最后直接码垛到托盘上；

所述路径最优组垛算法，通过对缓冲区的位置按照路径由短到长依次顺序编号，遍历缓冲区中是否有满足组合的烟包，若有则寻找路径最近的一个匹配烟包完成组垛。

3.根据权利要求2所述的一种基于机器视觉的自动码垛机器人系统，其特征在于，码垛算法具体步骤为：①判断烟包是否为5层，若是则执行②，否则执行③；②判断烟包顶层是否为5条，若是则直接放到托盘上，否则烟包的缺口朝内码放到托盘；③判断是否只剩托盘顶层烟包，若是码放到托盘，否则放到缓冲区；④当满足只剩托盘顶层烟包条件，将缓冲区上的烟包全部码放到托盘，完成整个码垛过程。

4.一种基于权利要求1-3任一所述的一种基于机器视觉的自动码垛机器人系统的操作方法，其特征在于，包括以下步骤：

首先烟包从热缩膜包装机出来的订单包件通过传送带输送到基于机器视觉的自动码垛机器人系统的始端，系统通过视觉系统的烟包形状识别算法判定订单烟包的形状和烟包条数，接着视觉系统把烟包信息发送给码垛系统，码垛系统根据通过在线组垛算法和码垛算法计算出烟包运行路径，并把具体指令发送给烟包传送机构、翻转机构、烟包矫正机构以及机械臂控制器，最后机械臂根据指示完成烟包组垛和码垛到托盘上，其中机械臂与末端专用抓手对烟包进行操作的运动路径分为四种：烟包矫正机构抓取点到托盘；烟包矫正机构抓取点到缓冲区；烟包矫正机构抓取点到缓冲区匹配后再到托盘；缓冲区到托盘；整个订单完成后，托盘自动升降机构和传送机构自动更换下一个托盘继续根据订单码垛。

5.根据权利要求4所述的操作方法，其特征在于，整个烟包形状识别过程包括：对图像进行预处理，具体包括：首先对原图进行灰度化处理，通过滤波减少图像噪声，然后用形态学方法优化图像，最后利用最大边缘检测提取目标形状轮廓及细化；

建立最优标准模板库，基于形状模板的快速匹配，最后根据匹配结果完成烟包的组垛、码垛作业。

6.根据权利要求5所述的操作方法，其特征在于，所述建立最优标准模板库具体是基于面积与K均值聚类建立最优形状模板库方法，具体包括：

定义样本点X_i的面积值A_mi表示同一类别m中其他训练样本点X_j的欧式距离的和的平均值，即

其中N_m表示每一类样本的数目，i＝1,2,...,N_m，j＝1,2,...,N_m，i≠j；

依次将A_mi按照从小到大排序，A_mi越小，则表示样本点X_i与其他样本点X_j都近，在该类别中代表性越强；采用基于面积建立标准库，从原始训练集中每一类m中选择面积值最小的样本组成标准库，在基于面积的基础上，结合K均值聚类进行模板训练学习构建最优烟包形状模板库；基于面积与K均值聚类建立标准库的具体流程为：①输入烟包的训练样本；②通过公式(1)计算输入训练样本的面积值，并将每一类m中的计算结果按照从小到大顺序排序；③依次选择每一类m中面积值最小的训练样本，并将该样本作为初始模板添加到标准库中，统计每一类m中模板数量k；④判断k是否大于1，若大于1则执行步骤⑤，若为1执行步骤⑥；⑤使用K均值聚类算法，把标准库中每一类m中的当前模板作为起始聚类中心，计算训练样本与各个聚类中心的距离，并将每个样本分配到离其最近的聚类中心，通过不断的循环迭代直到聚类中心不再变化，将新的聚类中心作为标准库中模板；⑥把所有的训练样本通过最近邻分类算法进行分类识别，并计算其分类正确率Acc_train；⑦判断Acc_train是否为1，若为1则完成标准库的建立，否则将训练集中出错的样本挑选出来构建新的训练集，返回步骤①，通过不断循环学习更新标准模板库，直到全部满足要求，最终完成建立最优标准模板库。

7.根据权利要求6所述的操作方法，其特征在于，基于形状模板的快速匹配，具体步骤为：

步骤1：设置一个贪婪因子g，将公式

S_j＜S_min-(n-j)/n (2)

转化为：

S_j表示模板图像和目标图像前j个点的内积和、S_min表示模板图像和目标图像的最小匹配值、n表示图形像素点总数、j表示图像中第j个像素点，

若g为1则代表越贪心，提前终止的概率越大，若g为0则代表所有的图像点都必须完全满足公式(2)；

步骤2：首先通过g选择一部分点进行模板匹配，判断匹配分数达到预定值δ，若达到预定值则执行步骤3，否则匹配失败；

步骤3：对已完成模板匹配的模板图像点t_i＝(t_i ^x,t_i ^y)与目标图像点m_i＝(m_i ^x,m_i ^y)之间的正确匹配点连接形成向量

步骤4：计算剩余的点的匹配分数，若匹配分数满足S_min，则执行步骤5，否则匹配失败；

步骤5：对满足匹配分数S_min的模板图像点与目标图像点连接建立匹配向量

选择满足K_i×K_j＝0的向量，完成形状匹配。

8.根据权利要求7所述的操作方法，其特征在于，视觉系统完成烟包形状的识别以及烟包条数的确定，并把烟包信息发送给码垛系统，配合最优组垛算法和码垛算法确定码垛系统的执行指令，码垛系统把指定指令发送给烟包传送机构、翻转机构、烟包矫正机构、机械臂控制器以及托盘自动升降机构和传送机构；烟包传送机构、翻转机构、烟包矫正机构确定烟包的位姿；机械臂把烟包组垛和码垛到托盘；当一个订单完成码垛后，托盘自动升降机构和传送机构完成托盘的更换和传送。

Images