CN104858155B - 一种多线接力包裹分拣物联网视觉检测方法及系统装置 - Google Patents

Abstract

一种多线接力包裹分拣物联网视觉检测方法及系统装置，首先对多台视觉感知装置进行布置，将整个包裹分拣系统划分为多个监控段，由一台视觉感知装置负责一个监控段的监控，每个监控段包含多条流水线，各监控段的视觉感知装置在采集图像后通过网线将图像数据发送往监控计算机，监控计算机通过千兆网卡接收图像信息并对传送来的图像进行分析，通过包裹识别、包裹跟踪定位、跟踪丢失处理、接力跟踪算法实时得到多条流水线上的所有包裹的形状、编码和位置坐标信息并将这些信息发送往客户端计算机；本发明提出的方法能够实现对物流分拣系统中多条流水线上的包裹进行识别、跟踪、定位，具有实时性和精确性，能够提高包裹分拣系统的自动化程度。

Description

一种多线接力包裹分拣物联网视觉检测方法及系统装置

技术领域

本发明属于图像检测领域，特别涉及一种多线接力包裹分拣物联网视觉检测方法及系统装置。

背景技术

物流业是我国经济发展的不可缺少的重要组成部分，近年来随着物流业被列入我国十大行业振兴计划，我国物流业实现了持续高速发展。随着物流业的发展，物流自动化技术变得非常关键。包裹分拣系统是物流系统的重要组成部分，在包裹分拣系统中包裹被放置在流水线上进行传输，包裹需要被编码录入物流信息系统，包裹在流水线上的位置需要被监控以保证包裹在要求的位置被分拣出，物流流水线长度长，在运行时流水线上的包裹多，通过人为观察、编码不仅容易产生错误，亦会增加企业的运营成本。在现代物流系统中机器视觉技术被引入到包裹流水线检测中，通过在流水线中设置成像通道，使用相机拍摄图像分析包裹信息，并且对包裹进行编号。该方法能够实现对于包裹信息的检测，但无法实时检测包裹在流水线上的位置变化，流水线上需要设置的成像通道数量多，无法实现一个成像通道对多流水线的同时检测，且系统复杂，生产成本高。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种多线接力包裹分拣物联网视觉检测方法及系统装置，可实现对包裹分拣系统的多条流水线上包裹的识别、编码、跟踪定位。

为了实现上述目的，本发明采用的技术方案是：

一种多线接力包裹分拣物联网视觉检测系统装置，各分拣流水线平行设置，包括：

等间距排成单列的若干物联网视觉感知装置，其列与分拣流水线平行且位于各分拣流水线的中心线上方，每个物联网视觉感知装置的图像采集端均朝向分拣流水线的包裹送出方向，沿分拣流水线的长度方向将分拣流水线划分为多个监控段，每个物联网视觉感知装置采集一个监控段中包含的多条分拣流水线的一段；

与所述物联网视觉感知装置连接的监控计算机，将各个物联网视觉感知装置采集的图像中的分拣流水线的一段根据距离相应物联网视觉感知装置由近及远分割为包裹检测区、包裹跟踪区和终点区，识别并定位各监控段的包裹，然后将各物联网视觉感知装置获取的图像信息进行接力跟踪，从而得到每条流水线上的包裹信息及定位坐标。

所述物联网视觉感知装置可以为相机。

本发明还提供了一种多线接力包裹分拣物联网视觉检测方法，各分拣流水线平行设置，包括如下步骤：

在分拣流水线上方设置等间距排成单列的若干物联网视觉感知装置，其列与分拣流水线平行且位于各分拣流水线的中心线上方，每个物联网视觉感知装置的图像采集端均朝向分拣流水线的包裹送出方向，沿分拣流水线的长度方向将分拣流水线划分为多个监控段，每个物联网视觉感知装置采集一个监控段中包含的多条分拣流水线的一段；

将各个物联网视觉感知装置采集的图像中的分拣流水线的一段根据距离相应物联网视觉感知装置由近及远分割为包裹检测区、包裹跟踪区和终点区；

通过各监控段的包裹识别、编码、跟踪、定位、跟踪丢失处理以及物联网视觉感知装置间的接力跟踪算法得到多条流水线上所有包裹的形状信息、编码、定位坐标，并通过以太网将包裹数据发送往客户端计算机。

所述包裹检测区、包裹跟踪区和终点区在监控图像中的形状均为梯形,每帧图像的图像处理过程均在这三个区域内进行。

所述包裹识别算法为：

在对灰度图进行平滑滤波消除噪声后，使用阈值分割等对图像进行二值化处理，搜索二值化图像中包裹检测区内的团块并统计其像素数目，判断该团块所包含的像素数目是否达到阈值并判断该团块是否与图像边界相连接，若该团块像素数目达到阈值且不与图像边界相连则识别该团块为包裹。

所述包裹编码算法为：

当包裹检测区内有团块被识别为包裹后，检测该包裹是否为已编码包裹，若未编码，则对包裹进行编码，然后使用像素统计方法得到该包裹的形状信息并存储。

具体地，由于传送带的速度固定，根据传送带速度能够估算出已编码包裹在下一帧图像中出现的可能区域，即包裹的预计到达区域。检测每个被识别包裹是否出现在上一帧图像中已编码的包裹的预计到达区域内，通过像素统计的方法得到包裹的像素数量并计算本帧图像中包裹的像素数量与上一帧图像中包裹的像素数量的比值，若该比值大于形变率阈值则该包裹为已编码包裹，否则为未编码包裹。

所述包裹跟踪算法为：

由分拣流水线的运转速度估算每个包裹在下一帧图像中的预计到达区域，在下一帧图像中的包裹预计到达区域中搜索包裹，若找到包裹则对包裹的像素点数进行统计，若两帧图像中包裹的像素点数之比在形变率阈值范围内则认定该包裹为上一帧的包裹，实现了对于包裹的跟踪。

即：首先检测本帧图像中跟踪区内的包裹是否出现在上一帧图像的包裹的预计到达区域内，通过像素统计的方法得到包裹的像素数量并计算本帧图像中包裹的像素数量与上一帧图像中包裹的像素数量之间的比值，若比例大于形变率阈值则认定该包裹为上一帧图像中的包裹，即实现了对于包裹的跟踪。

通过简化的成像模型计算包裹的前边缘与相机之间的真实距离，根据包裹形状信息得到其中心位置距离其前边缘的真实距离，将两段距离相加得到包裹的中心位置的纵向坐标，由于包裹在传送带上的运动过程中，基本无横向位移，故使用对包裹进行编码时存储的包裹横向坐标。

包裹在流水线上进行传送时由于工作人员的手动干预会导致包裹的跟踪丢失，本发明对于该问题的处理方法为统计每一帧图像中的包裹总数，检测图像中是否有未能在上一帧图像中的包裹预计运动范围内搜索到的包裹，若有则在本帧图像中扩大该包裹的搜索范围，检测是否找到该包裹，若未找到则记录该包裹的丢失位置、编码、形状信息，在之后连续五帧图像中在该包裹可能移动到的范围内进行搜索，若在连续五帧图像中均未找到该包裹将该包裹标记为丢失并将丢失包裹的信息录入系统。

所述包裹定位算法为：

通过成像模型计算包裹前边缘距离相应物联网视觉感知装置的距离，根据包裹编码得到存储的包裹中心位置距离其前边缘的距离，将两段距离相加得到包裹的中心位置的纵向坐标，根据已存储的包裹形状信息得到包裹的横向坐标，更新包裹位置坐标。

若包裹未编码，在系统中录入包裹编码，使用像素统计的方法得到包裹的像素点数，将像素点数作为包裹的形状信息存入包裹信息系统。使用像素统计的方法得到包裹的中心位置距离包裹前边缘的行数，根据成像模型将该段距离换算为实际长度并将该长度作为包裹的形状信息存入包裹信息系统。通过像素统计的方法得到包裹前边缘距图像底边的行数，通过简单成像模型换算为物联网视觉感知装置与包裹前边缘的实际距离。将两段距离相加得到包裹纵向坐标，使用像素统计方法和简单成像模型得到包裹中心距离流水线左边缘的距离，将该距离作为包裹的横向坐标并将该坐标存入包裹信息系统。若包裹已编码则更新包裹坐标，坐标计算方法与未编码包裹坐标计算方法相同。

所述包裹跟踪丢失处理算法为：

检测图像中是否有未在预计运动范围内搜索到的包裹，若有，则扩大该包裹的搜索范围，检测是否找到该包裹，若未找到则记录丢失包裹编码，在之后连续五帧图像中在该包裹的预计运动范围内进行搜索，若均未找到，将该包裹标记为丢失邮包。

所述物联网视觉感知装置的接力跟踪算法为：

当包裹进入本监控段的终点区后，开启定时器并设置阈值时间，即预计包裹到达下一个监控段的时间，在阈值时间后检测下一个监控段是否有包裹进入；若有，则检测包裹的形状信息是否与上一监控段的包裹形状信息相同，若相同，则将上一段的包裹编码赋给该包裹，完成两个监控段之间的接力跟踪。

即：在进入每个监控段的终点区后包裹会在一定时间内进入下一个监控段，在包裹进入终点区后为该包裹设置定时器并开启，设置阈值时间，即包裹到达下一个监控段的预计时间，在阈值时间后检测下一个监控段内是否有包裹进入，若有则检测包裹的像素点数与上一监控段对包裹编码时存储的包裹像素点数是否相同，若相同则将之前的包裹编码赋给该包裹完成两个监控段之间的接力跟踪，在终点区内的包裹若未完全进入下一个监控段则使用前一个监控段的图像进行坐标计算，若进入后一个监控段则使用后一个监控段的图像进行坐标计算，后一个监控段的纵向坐标应加上之前监控段的总长度以换算为距离流水线起点的距离,由于每个监控段包含多条流水线，对每条流水线用上述方法进行处理即可实现对多条流水线的接力跟踪。

与现有技术相比，本发明的有益效果是：

本发明提出的多线跟踪算法可以实现一台视觉感知装置(例如相机)对于其视场范围内的多条生产线上的所有包裹的检测、编码、跟踪，目前没有相关技术被应用于包裹分拣系统。

本发明提出的接力跟踪算法能够通过多台视觉感知装置对包裹进行接力跟踪，目前没有相关技术被应用于包裹分拣系统。

本发明的多线接力包裹分拣物联网视觉系统装置较现有的技术系统简单，生产成本低，能够提高企业的自动化程度，降低其运营成本。

附图说明

图1为本发明的硬件结构示意图。

图2为本发明的区域划分示意图。

图3为本发明的监控段场景示意图。

图4为本发明的监控段成像示意图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明的具体实施步骤如下：

(1)系统硬件平台的搭建

搭建一套物联网包裹分拣视觉检测系统，其包括多台物联网视觉感知装置、千兆网卡、监控计算机、用户计算机，系统的硬件结构示意图如图1所示。将多台物联网视觉感知装置以分布式布置在每个监控段的起点处上方，由于每个视觉感知装置视场内的生产线为平行分布，将视觉感知装置安装在多条传送带的中间位置，使中心流水线关于视觉感知装置的安装位置左右对称。

每台物联网视觉感知装置负责对多条平行的流水线上的包裹进行识别、编码、接力跟踪，包裹分拣系统的区域划分示意图如图2所示。示意图中包含三条生产线，1为1号流水线、2为2号流水线，3为3号流水线，整个包裹分拣系统被分为多个监控段，图1中4表示1号监控段，5表示2号监控段，6表示3号监控段，每个监控段内包含3条流水线，每个监控段由一台物联网视觉感知装置对该段范围内的所有流水线进行监控，物联网视觉感知装置7、8、9分别负责对4、5、6的监控。

每个监控段长度相等，多台物联网视觉感知装置通过网线经千兆网卡与监控计算机相连，采集图像后通过网线将图像数据发送往监控计算机，在图像传入监控计算机后，监控计算机通过千兆网卡接收图像信息并对各视觉感知装置传送来的图像进行分析，通过包裹识别算法、包裹跟踪算法、接力跟踪算法实时得到所有流水线上所有包裹的形状信息、编码信息和位置坐标并将这些信息发送往客户端计算机。

(2)设置包裹检测区和包裹跟踪区和终点区

假设安装n台视觉感知装置，监控计算机通过千兆网卡接收到n个视觉感知装置的图像，将第i个监控段的实时图像转换为灰度图P_i(i＝1,..n)，每个监控段监控m条流水线，第i个监控段的第j条流水线为F_i,j(i＝1,..n；j＝1,..m)，将F_i,j(i＝1,..n；j＝1,..m)划分为包裹检测区F_i,j,1、包裹跟踪区F_i,j,2和终点区F_i,j,3，每帧图像的图像处理过程均在这三个区域内进行。每个监控段的视觉感知装置安装场景示意图如图3所示，1为该监控段内的1号流水线、2为监控段内的2号流水线、3为监控段内的3号流水线，8为视觉感知装置。监控段每个视觉感知装置的成像示意图如图4所示，示意图中包含三条生产线，其中11、21、31分别为1号流水线、2号流水线、3号流水线的包裹检测区，12、22、32分别为三条流水线的包裹跟踪区，13、23、33分别为三条流水线的终点区。

(3)对包裹检测区内的包裹进行识别、编码、跟踪定位

首先对P_i进行中值滤波消除噪声，计算灰度图像阈值，根据阈值对图像做二值化处理，搜索F_i,j,1内的团块并统计其像素数目N，设置团块像素数量阈值T，根据像素统计方法可以得到团块前边缘与图像底部间隔的行数M，设置包裹识别标志Flag₁，其为1时表示包裹被识别，为0时表示包裹未被识别。

${\mathrm{flag}}_1=\left\{\begin{array}{cc}1& N>T,M>0\\ 0& \mathrm{else}\end{array}\right.---\left(1\right)$

在包裹被识别后，检测系统数据库中是否有该包裹的编码，若包裹未编码，在系统中录入包裹编码，使用像素统计方法得到包裹中心位置距离包裹前边缘的行数，根据简单成像原理将其换算为实际距离t1，根据像素统计及简单成像原理得到包裹中心距离流水线左边缘的距离t2，使用像素统计方法得到包裹的总像素个数s1，将t1、t2、s1作为包裹的形状特征数据存入系统数据库。

由于传送带的速度固定，设F_i,j的流水线速度为v，F_i,j的长度为y，F_i,j的宽度(即流水线宽度)x，则一个包裹在F_i,j中出现的时间t约为y/v，相机的帧率为g,则F_i,j中相机采集到的包含该包裹的图像帧数R_max为y/v/g，假设被识别包裹在第a帧(0<a<R_max)的实际坐标位置为(x_a,y_a)，在第a-1帧图像中的实际坐标位置为(x_a-1,y_a-1)，则两帧图像的位置满足一下关系：

x_a＝x_a-1+Δx

y_a＝y_a-1+v·g(2)

Δx为包裹在x方向上的位移，由于包裹在传送带上的运动过程时基本无横向位移，故Δx≈0，v·g为包裹在y方向上的位移，故根据第a-1帧的包裹位置能够预测第a帧的包裹位置，即包裹的预计到达区域，预计到达区域的实际面积为v·g·x。

检测出现在第a帧图像中的包裹是否出现在第a-1帧图像中已被编码的包裹的预计到达区域内，根据像素统计的方法计算第a帧图像中包裹的像素数量N_a，第a-1帧图像中包裹的像素数量N_a-1，设置形变率阈值T₂，设置跟踪成功标志位Flag₂，其为1时表示已编码包裹被跟踪成功，其为0时表示未跟踪成功。

${\mathrm{flag}}_2=\left\{\begin{array}{cc}1& N_a/N_{a-1}\&GreaterEqual;T_2\\ 0& N_a/N_{a-1}<T_2\end{array}\right.---\left(3\right)$

在包裹已被识别、编码、跟踪成功后进行坐标计算，通过像素统计方法得到包裹前边缘所在行，根据简单成像原理能够得到包裹前边缘与视觉感知装置之间的距离d1，查询系统数据库中已编码包裹的前边缘与包裹中心位置之间的距离t1，则包裹中心位置的实际距离为d1+t1，由于包裹在传送带上的运动过程中，基本无横向位移，查询系统数据库中已编码包裹的横向坐标t2，更新包裹位置坐标。

(4)对包裹跟踪区内的包裹进行跟踪

包裹在通过识别区后会进入跟踪区，在跟踪区内的包裹跟踪定位方法与识别区内的跟踪定位方法相同。包裹在流水线上进行传送时由于工作人员的手动干预会导致包裹的跟踪丢失，本发明对于该问题的处理方法为统计每一帧图像P_i(i＝1,..n)中的包裹总数Q_i(i＝1,..n)。设置包裹丢失标志位Flag₃,若Flag₃为1则包裹丢失，Flag₃为0则包裹未丢失。

${\mathrm{flag}}_3=\left\{\begin{array}{cc}1& Q_i\&NotEqual;Q_{i-1}(i=2,..n)\\ 0& Q_i=Q_{i-1}(i=2,..n)\end{array}\right.---\left(4\right)$

若Flag₃为1，则扩大搜索范围，定义扩大系数为β，扩大后的包裹搜索区域的面积为v·g·x·β，在该范围内对包裹进行搜索，若未找到则记录该包裹的丢失位置、编码、形状信息，在之后连续五帧图像中在该包裹的预计运动范围内进行搜索，该区域的面积为5·v·g·y·β，若在连续五帧图像中均未找到该包裹将该包裹标记为丢失并将丢失包裹的信息录入系统。

(5)多线接力跟踪方法

在进入每个监控段的终点区后包裹会在一定时间内进入下一个监控段的包裹识别区，在包裹进入终点区后为该包裹设置定时器并开启，设置阈值时间T₃，即包裹到达下一个监控段的预计时间，在T₃后检测下一个监控段的包裹识别区内是否有包裹被识别，若有则检测被识别包裹的像素数目与系统数据库中上一监控段包裹的像素数目是否相同，若相同则将上一监控段的包裹编码赋给该包裹完成两个监控段之间的接力跟踪。

在终点区内的包裹若未完全进入后一个监控段则使用本监控段的图像进行坐标计算，若完全进入后一个监控段则使用后一个监控段的图像进行坐标计算，在得到后一监控段的实际坐标后应加上之前监控段的总长度以换算为距离流水线起点的距离。由于每个监控段包含多条流水线，对每条流水线用上述方法进行处理即可实现对多条流水线的接力跟踪。

通过以上步骤即可实现对于多条传送带上的所有包裹进行识别、编码、跟踪，并将包裹数据发往客户端计算机供其他系统使用。本发明能够提高物流仓库的自动化程度，算法的实时性、准确性高，该系统无需人为监控，通过接力跟踪及多线跟踪降低了视觉感知装置的使用数量，整套物联网系统较现有的包裹视觉检测系统成本低，监控范围广，适用于包裹分拣系统中多条并列流水线的包裹检测、编码与跟踪。

值得注意的是，上述的具体实施方式用于解释说明本发明，仅为本发明的优选实施方案，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改、等同替换、改进等，都属于本发明的保护范围。

Claims (10)

1.一种多线接力包裹分拣物联网视觉检测系统装置，各分拣流水线平行设置，其特征在于，包括：

等间距排成单列的若干物联网视觉感知装置，其列与分拣流水线平行且位于各分拣流水线的中心线上方，每个物联网视觉感知装置的图像采集端均朝向分拣流水线的包裹送出方向，沿分拣流水线的长度方向将分拣流水线划分为多个监控段，每个物联网视觉感知装置采集一个监控段中包含的多条分拣流水线的一段；

与所述物联网视觉感知装置连接的监控计算机，将各个物联网视觉感知装置采集的图像中的分拣流水线的一段根据距离相应物联网视觉感知装置由近及远分割为包裹检测区、包裹跟踪区和终点区，识别并定位各监控段的包裹，然后将各物联网视觉感知装置获取的图像信息进行接力跟踪，从而得到每条流水线上的包裹信息及定位坐标。

2.根据权利要求1所述多线接力包裹分拣物联网视觉检测系统装置，其特征在于，所述物联网视觉感知装置为相机。

3.一种多线接力包裹分拣物联网视觉检测方法，各分拣流水线平行设置，其特征在于，包括如下步骤：

在分拣流水线上方设置等间距排成单列的若干物联网视觉感知装置，其列与分拣流水线平行且位于各分拣流水线的中心线上方，每个物联网视觉感知装置的图像采集端均朝向分拣流水线的包裹送出方向，沿分拣流水线的长度方向将分拣流水线划分为多个监控段，每个物联网视觉感知装置采集一个监控段中包含的多条分拣流水线的一段；

将各个物联网视觉感知装置采集的图像中的分拣流水线的一段根据距离相应物联网视觉感知装置由近及远分割为包裹检测区、包裹跟踪区和终点区；

通过各监控段的包裹识别、编码、跟踪、定位、跟踪丢失处理以及物联网视觉感知装置间的接力跟踪算法得到多条流水线上所有包裹的形状信息、编码、定位坐标，并通过以太网将包裹数据发送往客户端计算机。

4.根据权利要求3所述多线接力包裹分拣物联网视觉检测方法，其特征在于，所述包裹检测区、包裹跟踪区和终点区在监控图像中的形状均为梯形,每帧图像的图像处理过程均在这三个区域内进行。

5.根据权利要求3所述多线接力包裹分拣物联网视觉检测方法，其特征在于，所述包裹识别的方法为：

在对灰度图进行平滑滤波后，对图像进行二值化处理，搜索二值化图像中包裹检测区内的团块并统计其像素数目，判断该团块所包含的像素数目是否达到阈值并判断该团块是否与图像边界相连接，若该团块像素数目达到阈值且不与图像边界相连则识别该团块为包裹。

6.根据权利要求3或5所述多线接力包裹分拣物联网视觉检测方法，其特征在于，所述包裹编码的方法为：

当包裹检测区内有团块被识别为包裹后，检测该包裹是否为已编码包裹，若未编码，则对包裹进行编码，然后使用像素统计方法得到该包裹的形状信息并存储。

7.根据权利要求3或5所述多线接力包裹分拣物联网视觉检测方法，其特征在于，所述包裹跟踪的方法为：

由分拣流水线的运转速度估算每个包裹在下一帧图像中的预计到达区域，在下一帧图像中的包裹预计到达区域中搜索包裹，若找到包裹则对包裹的像素点数进行统计，若两帧图像中包裹的像素点数之比在形变率阈值范围内则认定该包裹为上一帧的包裹，实现了对于包裹的跟踪。

8.根据权利要求7所述多线接力包裹分拣物联网视觉检测方法，其特征在于，所述包裹定位的方法为：

通过成像模型计算包裹前边缘距离相应物联网视觉感知装置的距离，根据包裹编码得到存储的包裹中心位置距离其前边缘的距离，将两段距离相加得到包裹的中心位置的纵向坐标，根据已存储的包裹形状信息得到包裹的横向坐标，更新包裹位置坐标。

9.根据权利要求7所述多线接力包裹分拣物联网视觉检测方法，其特征在于，所述包裹跟踪丢失处理的方法为：

检测图像中是否有未在预计运动范围内搜索到的包裹，若有，则扩大该包裹的搜索范围，检测是否找到该包裹，若未找到则记录丢失包裹编码，在之后连续五帧图像中在该包裹的预计运动范围内进行搜索，若均未找到，将该包裹标记为丢失邮包。

10.根据权利要求3所述多线接力包裹分拣物联网视觉检测方法，其特征在于，所述物联网视觉感知装置的接力跟踪算法为：

当包裹进入本监控段的终点区后，开启定时器并设置阈值时间，即预计包裹到达下一个监控段的时间，在阈值时间后检测下一个监控段是否有包裹进入；若有，则检测包裹的形状信息是否与上一监控段的包裹形状信息相同，若相同，则将上一段的包裹编码赋给该包裹，完成两个监控段之间的接力跟踪。