CN107617573B - 一种基于多任务深度学习的物流编码识别和分拣方法 - Google Patents

Abstract

一种基于多任务深度学习的物流编码识别和分拣方法，包括用于全方位获取物流编码标签图像的方法、便于视觉检测定位物流编码标签设计方案、适用于物流编码标签的字符定位和切分的字符大小、字形以及字符之间的间隔设计方案、用于对物流编码标签进行检测定位的Faster R‑CNN网络、用于物流编码标签纠偏及字符的正倒检测的算法模块、用于对物流编码标签上的字符进行分割处理的字符分割算法模块，用于深度学习和训练识别的多任务深度卷积神经网络，用于根据识别的物流编码控制分拣动作的分拣控制模块。本发明有效的解决了大量的不规则外形、柔性包装的货物不能快速自动分拣问题。

Description

一种基于多任务深度学习的物流编码识别和分拣方法

技术领域

本发明涉及人工智能、数字图像处理、卷积神经网络和计算机视觉在物流货物标签的识别和分拣方面的应用，属于智慧物流领域。

背景技术

供应链物流作业中货物包装外观信息的实时采集是实现物流自动化和智能化的重要前提。操作中最为频繁的就是出/入库操作和配送中心货物的自动识别和分拣，货物在线图像识别技术在配送中心出/入库、自动分拣过程中的应用具有很好的扩展价值。

目前的主流方法主要通过二维识别码和射频识别方法完成物流编码的辨识。对物流线上的货物标识信息识别主要采用条码技术，其做法是将条码标签贴在或直接印在货物包装上，然后用条码扫描装置进行数据采集。这种方法的缺点是，当条码标签保持干净平整时，识别率较高；而对于诸如塑料袋、纸袋等廉价的软包装，条码标签发生的形变和污染，导致识别率大大降低。

最近开始普及的射频识别技术(RFID)可以解决上述问题，但因成本较高，不适合于低价格的货物包装之上，尤其无法满足电子商务中快递行业快速增长的需求。

一旦物流编码有破损和缺陷时，目前使用的物流识别方法就不能准确完成物流编码的辨识，获取的结果就会有误差，降低了物流业务的准确性。

此外，条形码、二维码和RFID技术在应用中存在着一些无法克服的缺点，归纳如下：

1)成本高、易受外在环境干扰而影响信息正确识别；

2)需要上游供应商在生产过程中提供相应配合，RFID目前无统一标准，编码标准体系复杂；

3)仅靠条形码和RFID技术，无法对货物外观完整性进行检测等。

准确识别货物包装外观，快速进行货物自动分拣，满足供应链物流作业中实时性要求，成为决定物流配送中心货物在线检测与识别系统获得成功的关键。

近年来，“人工智能+物流”进入高速发展期。物流行业是高数据密度的行业，每个环节都在产生大数据，为人工智能技术提供用武之地。人工智能的技术在物流行业的运用主要集中在：智能搜索、推理规划、模式识别、计算机视觉以及智能机器人等领域。在仓储和库存管理环节，人工智能有助于优化选址与库存优化；在分拣环节，可通过计算机视觉技术以及智能机器人进行自动识别、分拣和搬运；在配送环节，人工智能将通过数据分析优化配送体系，调配无人配送设备。

作为人工智能中的核心技术深度学习，最近几年在计算机视觉领域得到了迅速的发展，深度学习能利用大量的训练样本和隐藏层逐层深入地学习图像的抽象信息，更全面直接地获取图像特征。数字图像是以矩阵来描述的，卷积神经网络更好地从局部信息块出发，进而描述图像的整体结构，故在计算机视觉领域，深度学习方法中大多采用卷积神经网络来解决问题。围绕着提高检测精度和检测时间，深度卷积神经网络技术从R-CNN，Fast R-CNN到Faster R-CNN。具体表现为进一步精度提升、加速、端到端及更实用化，几乎覆盖了从分类到检测、分割、定位各个领域。深度学习技术运用于物流领域将是一个非常有实际应用价值的研究领域。

申请号为201610824855.5的中国专利申请公开了一种自动化物流分拣系统，包括一个控制系统以及由控制系统控制的传送装置、视觉识别装置、筛选横杆装置、分拣装置及振动装置，视觉识别装置、筛选横杆装置沿着派件传输的方向依次横跨在传送装置的上方，视觉识别装置用于对派件进行识别，所述的筛选横杆装置对识别后的派件进行筛选，筛选后的派件在传送装置的传送下送到分拣装置对派件进行分拣，在分拣装置的下方设有派件盛装箱，派件盛装箱的底部设有振动装置对派件盛装箱内的派件进行振动、归位。

申请号为201610427677.2的中国专利申请公开了一种基于无人输送分拣及存储的自动拣选系统，包括控制系统、沿料箱输送轨道依次设置的至少一个拣选工位(5)；所述拣选工位(5)处设有拣选机器人(6)，每个拣选机器人(6)对应1-2个拣选工位(5)；所述控制系统包括视觉识别系统，所述视觉识别系统集成在料箱输送轨道旁边，视觉识别系统识别料箱Ⅰ，并控制输送系统将料箱输送至相应的拣选工位(5)，拣选机器人(6)根据识别信号将料箱Ⅰ内的物料取出，对应地放置在环形输送线(4)上。

申请号为201510323243.3的中国专利申请公开了一种多线接力包裹分拣物联网视觉检测方法及系统装置，首先对多台视觉感知装置进行布置，将整个包裹分拣系统划分为多个监控段，由一台视觉感知装置负责一个监控段的监控，每个监控段包含多条流水线，各监控段的视觉感知装置在采集图像后通过网线将图像数据发送往监控计算机，监控计算机通过千兆网卡接收图像信息并对传送来的图像进行分析，通过包裹识别、包裹跟踪定位、跟踪丢失处理、接力跟踪算法实时得到多条流水线上的所有包裹的形状、编码和位置坐标信息并将这些信息发送往客户端计算机。

物流信息是物流系统的整体中枢神经，是物流系统变革的决定力量。在智慧物流系统中，必须对海量、多样、更新快速的信息进行收集、加工、处理，才能成为系统决策的依据。如果物流基础信息缺乏，尤其是物流编码准确高效的获取问题不能圆满解决，智慧物流也就无从谈起。

综上所述，物流服务业主要通过识别货物的物流编码来完成对货物的提取、分析以及配送等处理工作。物流编码的完整性和准确性，关系着物流货物处理的有效性。物流编码会受到温度、湿度、光照等因素的影响，而产生变形、模糊、缺失以及脱落等现象，导致物流编码识别的有效性降低，影响整个物流运输业务的顺利进行。物流编码选取的特征和模式识别方法决定了物流编码识别的准确性。

上述技术公开的视觉检测方法其实还是属于前深度学习时代的计算机视觉技术。

发明内容

针对如何提升物流编码的完整性和准确性、保证物流编码识别的准确性和鲁棒性等问题，本发明提出了一种基于多任务深度学习的物流编码识别和分拣方法，有效利用定位检测识别任务之间的关联性来实现一种应用普适性好、成本低廉、识别精度高、鲁棒性好的多任务深度学习的物流编码识别的新技术。

实现的总体技术路线是：首先，设计了一种适用于图像识别的物流编码体系，并规定了所采用的标签形态、字符大小及字形；然后，提出了一种便于定位识别、便于字符定位和切分的物流编码标签；接着，用一个RPN网络定位出物流编码标签的大小位置；进一步，对物流编码标签上的字符进行分割和切分；最后，分别对分割和切分后的字符进行识别，然后组合得到物流编码。

本发明解决其技术问题所采用的技术方案是：

一种基于多任务深度学习的物流编码识别和分拣方法，包括用于全方位获取物流编码标签图像的方法、便于视觉检测定位物流编码标签设计方案、适用于物流编码标签的字符定位和切分的字符大小、字形以及字符之间的间隔设计方案、用于对物流编码标签进行检测定位的Faster R-CNN网络、用于物流编码标签纠偏及字符的正倒检测的算法模块、用于对物流编码标签上的字符进行分割处理的字符分割算法模块，用于深度学习和训练识别的多任务深度卷积神经网络，用于根据识别的物流编码控制分拣动作的分拣控制模块；

其主要流程如下：流水线上待分拣的货物移动到流水线的某一工位时，系统自动触发多个相机从各个方位拍摄货物图像；接着，基于Faster R-CNN货品物流编码标签检测定位得到货物图像上的物流编码标签图像；然后，用Hough变换法来对物流编码标签图像进行处理提取物流编码标签上的直线；进一步，根据Hough变换检测出来的物流编码标签倾斜角度对物流编码标签图像进行纠偏；更进一步，检查纠偏后的物流编码标签图像是否处于倒置状态，如果处在倒置状态就进行180°旋转处理；然后，对得到的物流编码标签图像进行字符分割处理，这里字符分割采用垂直投影法，对物流编码标签图像做垂直投影直方图，得到物流编码标签上的字符；接着，将分割后的字符用基于Faster R-CNN的字符识别，通过SoftMax最终判定得到字符图像的真实值；最后，组合识别出来的字符值得到货物编码值，并用该货物编码值控制分拣动作机构，实现货物的自动分拣。

一种用于全方位获取物流编码标签图像的方法，在分拣流水线的识别工位的上方、前后左右分别安置了5个相机，从各个方向捕捉到货物上的物流编码标签的图像；此外，为了确保准确无误地读取到货物上粘贴的物流编码标签，这里规定至少在货物的两个面上粘贴物流编码标签。

一种便于视觉检测定位物流编码标签设计方案，在物流编码标签设计时，标准标签采用一个等边梯形外框，黑色框线粗细为3磅，底色为白色，梯形外框的高度100mm，梯形外框的中位线长度根据编码长度确定，最小值>280mm，梯形的下底线-上底线＝53.6mm，梯形内部为物流编码标签的编码部分；考虑到货物包装大小的不同，除了标准标签以外，按比例1:1.5、1:2、1:2.5、1:3、1:3.5和1:4的等比例尺寸定制大小不同的物流编码标签。

一种适用于物流编码标签的字符定位和切分的字符大小、字形以及字符之间的间隔设计方案，标准标签字符采用黑体字形，包括了0～9的10个数字字符以及18个部分英文字符；每个字符之间的距离为14mm，所有字符的大小均为45mm×77mm，标签字符为黑色，背景为白色，均匀地配置在所述的物流编码标签图像的中部；对于比例1:1.5、1:2、1:2.5、1:3、1:3.5和1:4的等比例尺寸定制的大小不同的物流编码标签，其字符的大小和间隔均按比例缩小。

用于对物流编码标签进行检测定位的Faster R-CNN网络，Faster R-CNN作为多任务卷积神经网络的基础网；网络最前面的是3×3卷积网络，称为conv1，后面紧接4个堆叠卷积模块命名为conv2_x到conv5_x，每个模块分别包含了{2,3,3,3}个单元，conv1到conv4_3作为共享网络；其后是RPN，即区域建议网络，RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；为了生成区域建议框，在最后一个共享的卷积层输出的卷积特征映射上滑动小网络，这个网络全连接到输入卷积特征映射的n×n的空间窗口上；每个滑动窗口映射到一个低维向量上，每个特征映射的一个滑动窗口对应一个数值；这个向量输出给两个同级的全连接的层；

所述的RPN网络，是将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所述的矩形目标建议框的目标指的是物流编码标签；

对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个称为anchor的建议框参数化；

每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor；

为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标；然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor；注意到一个GT包围盒可能给多个anchor分配正标签；分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor；非正非负的anchor对训练目标没有任何作用，则弃用；

对一个图像的损失函数定义为：

这里，i是一个anchor的索引，p_i是anchor是第i目标的预测概率，如果anchor为正，GT标签

就是1，如果anchor为负，

就是0；t_i是一个向量，表示预测的包围盒的4个参数化坐标，

是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，这里λ＝10，N_cls是cls项的归一化值为mini-batch的大小，这里N_cls＝256，N_reg是reg项的归一化值为anchor位置的数量，N_reg～2,400，分类损失函数L_cls是两个类别，即物流编码标签目标vs.背景的对数损失：

对于回归损失函数L_reg，用以下函数定义：

式中，L_reg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smooth L₁；

式中，smooth_L1为smooth L₁损失函数，x为变量。

一种用于物流编码标签纠偏及字符的正倒检测的算法模块，利用Hough变换法来提取物流编码标签图像上的直线，Hough变换法是一种变换域提取直线的方法，它把直线上的坐标变换到过点的直线的系数域，利用了共线和直线相交的关系；

用Hough变换检测物流编码标签图像中直线的具体步骤为：

STEP1)：对图像进行边缘检测，这里选用了Sobel算子检测图像中水平方向的直线；

STEP2)：假设图像对应于x-o-y空间，定义一个S-o-θ，θ角的范围为1～180°的空间，对图像中像素为1的每一个点进行计算，做出每一个像素为1的点的曲线，同时把S-θ平面分成等间隔1×1的小网格，这个小网格对应一个记数矩阵；凡是曲线所经过的网格，对应的记数矩阵元素值加1，对原图像中的每一点进行计算以后记数矩阵元素的值等于共线的点数；这样记数矩阵中元素的最大值对应原始图像中最长的直线；

STEP3)：检测出记数矩阵的最大的元素所对应的列坐标θ，θ即为这条直线的法线与X轴的夹角；这样通过θ角来确定直线的倾斜角度，进而对图像进行矫正；

在Hough变换检测物流编码标签图像时，得到了两条平行直线，即梯形的物流编码标签的上底线和下底线；如果上面的直线的长度短于下面的直线的长度，就判定为物流编码标签图像是处在正置状态；否则就判定为倒置状态；如果为倒置状态就将物流编码标签图像进行180°的旋转处理，得到正置状态下的物流编码标签图像。

一种用于对物流编码标签上的字符进行分割处理的字符分割算法模块，字符分割算法采用垂直投影法；对物流编码标签图像做垂直投影直方图；将正置状态下的物流编码标签图像分割成单个字符图像，得到物流编码标签上每个字符的字符图像。

用于深度学习和训练识别的多任务深度卷积神经网络，为了将多种任务融合在一起进行学习和训练，通过学习和训练分别提取得到物流编码标签的特征以及物流编码标签上的字符图像特征；多任务包括了物流编码标签的检测定位和物流编码标签上的字符图像的识别；

设计一种多任务目标函数是至关重要的；多任务目标函数用公式(5)表示；

式中，

是输入特征向量

和权重参数w^t的映射函数，L(·)为损失函数，Φ(w^t)为权重参数的正则化值，T为总任务数，对于第t个任务的训练数据记为

其中t∈(1,T)，i∈(1,N)，N为总训练样本数，

分别为第i样本的特征向量和标注标签；

对于损失函数，利用softmax配合对数似然代价函数训练最后一层的特征，实现多任务图像分类，softmax损失函数用公式(6)定义，

式中，x_i为第i深度特征，W_j为最后一个全连接层中权重的第j列，b是偏置项，m,n分别为处理样本数量与类别数。

物流编码标签的特征和物流编码标签上的字符特征的提取是通过卷积神经网络的学习训练过程来实现的，将28个字符数据集进行训练，抽取出这些字符的特征；将数据集按8：2比例分为训练集和验证集，经过10万次迭代，训练出卷积神经网络模型；为了提高识别的鲁棒性，训练集的字符图像采用不同角度、不同光照条件下拍摄的物流编码标签图像，同时考虑到软包装上物流编码标签图像的一些变形或者字符部分的划伤以及水迹等污染等情况，在制作训练集的字符图像时充分考虑实际应用中物流编码标签图像的各种状况，用于训练的字符图像为800个，对于28个字符共用于训练的字符图像为28×800；利用这些大量的字符图像训练样本和隐藏层逐层深入地学习图像的抽象信息，更全面直接地获取字符图像特征。

用于根据识别的物流编码控制分拣动作的分拣控制模块，用Faster R-CNN模型中的SoftMax对物流编码标签图像的字符图像进行分类识别得到字符图像的真实值；然后组合物流编码标签的字符图像分类结果，便得到该物流编码标签识别结果；最终以该物流编码标签所提供的编码信息检索得到该货品的流向，并将其放置在对应的物流流水线上。

本发明的有益效果主要表现在：

1)在物流的传输线上配置基于人工智能的视觉系统，系统快速扫描货物大小不同的、柔性的、物流编码标签粘贴位置和方向不定的货物，快速精确地识别出货物上物流编码标签的编码，根据编码信息进行自动智能分拣，有效的解决了大量的不规则外形的货物不能快速自动分拣问题。

2)有效地克服了条形码、二维码读取距离短、读取方向要求高、识别率低，无法在柔性包装的货品上应用。

3)有效地克服了RFID目前无统一标准，编码标准体系复杂，在大量快递分拣业务中成本过高等问题，填补了目前物流编码标签识别上的不足。

4)满足了智慧物流最前端的信息获取的需求，能够以快速、便捷、低成本、个性化的方式满足消费者需求，极大地提升消费者体验。

附图说明

图1为一种标准物流编码标签样式图；

图2为物流编码标签粘贴在货品上的实例图；

图3为多任务Faster R-CNN深度卷积网络结构图；

图4为RPN网络结构图；

图5为物流分拣流水线上配置基于人工智能的视觉系统的示意图，1-分拣流水线，2-流水线上待分拣的货物，3-相机；

图6为基于多任务深度学习的物流编码识别的流程框图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施方案1

参照图1～图6，基于多任务深度学习的物流编码识别系统，如图6所示，其主要流程如下：流水线上待分拣的货物移动到流水线的某一工位时，系统自动触发多个相机从各个方位拍摄货物图像；接着，基于Faster R-CNN货品物流编码标签检测定位得到货物图像上的物流编码标签图像；然后，用Hough变换法来对物流编码标签图像进行处理提取物流编码标签上的直线；进一步，根据Hough变换检测出来的物流编码标签倾斜角度对物流编码标签图像进行纠偏；更进一步，检查纠偏后的物流编码标签图像是否处于倒置状态，如果处在倒置状态就进行180°旋转处理，这样得到的物流编码标签图像就可以进行字符分割处理，这里字符分割采用垂直投影法，对物流编码标签图像做垂直投影直方图，得到物流编码标签上的字符；然后将分割后的字符用基于Faster R-CNN的字符识别，通过SoftMax最终判定得到字符图像的真实值；最后，组合识别出来的字符值得到货物编码值，并用该货物编码值控制分拣动作机构，实现货物的自动分拣；

用视觉方式识别货物物流编码标签图像中的标签代码，第一个步骤就是从物流的流水线上快速定位出物流编码标签图像，这一步的完成质量对系统性能有着直接的影响；货品标签号的倾角和斜角对标签定位有一定的影响，为了保证识别系统的可靠性和适应性；本发明从以下几个方面着手：

1)物流编码标签设计上采用一种便于定位识别的物流编码标签；如图1所示；

本发明提出了一种便于视觉检测定位物流编码标签设计方案，在物流编码标签设计时，标准标签采用一个等边梯形外框，黑色框线粗细为3磅，底色为白色，梯形外框的高度100mm，梯形外框的中位线长度根据编码长度确定，最小值>280mm，梯形的下底线-上底线＝53.6mm，梯形内部为物流编码标签的编码部分；考虑到货物包装大小的不同，除了标准标签以外，按比例1:1.5、1:2、1:2.5、1:3、1:3.5和1:4的等比例尺寸定制大小不同的物流编码标签。

2)标签定位算法上采用RPN网络，根据物流编码标签的特征使得系统能快速准确的定位出物流编码标签的大小位置；RPN网络是Faster R-CNN网络中的一个部分，如图3所示；

用于对物流编码标签进行检测定位的Faster R-CNN网络，Faster R-CNN作为多任务卷积神经网络的基础网；网络最前面的是3×3卷积网络，称为conv1，后面紧接4个堆叠卷积模块命名为conv2_x到conv5_x，每个模块分别包含了{2,3,3,3}个单元，conv1到conv4_3作为共享网络；其后是RPN，即区域建议网络，RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；为了生成区域建议框，在最后一个共享的卷积层输出的卷积特征映射上滑动小网络，这个网络全连接到输入卷积特征映射的n×n的空间窗口上；每个滑动窗口映射到一个低维向量上，每个特征映射的一个滑动窗口对应一个数值；这个向量输出给两个同级的全连接的层；

所述的RPN，如图4所示；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所述的矩形目标建议框的目标指的是物流编码标签；

对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个称为anchor的建议框参数化；

每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor；

为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标；然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor；注意到一个GT包围盒可能给多个anchor分配正标签；分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor；非正非负的anchor对训练目标没有任何作用，则弃用；

对一个图像的损失函数定义为：

这里，i是一个anchor的索引，p_i是anchor是第i目标的预测概率，如果anchor为正，GT标签

就是1，如果anchor为负，

就是0；t_i是一个向量，表示预测的包围盒的4个参数化坐标，

是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，这里λ＝10，N_cls是cls项的归一化值为mini-batch的大小，这里N_cls＝256，N_reg是reg项的归一化值为anchor位置的数量，N_reg～2,400，分类损失函数L_cls是两个类别，即物流编码标签目标vs.背景的对数损失：

对于回归损失函数L_reg，用以下函数定义：

式中，L_reg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smooth L₁；

式中，smooth_L1为smooth L₁损失函数，x为变量。

3)在深度卷积神经网络的学习和训练上，通过不同距离、不同角度、不同光照条件下的物流编码标签图像对深度卷积神经网络进行学习和训练，这样得到关于物流编码标签特征的深度卷积神经网络参数具备较好的鲁棒性。

第二个步骤是要对定位出的物流编码标签图像进行各种图像预处理，得到正置的物流编码标签图像，如图1所示；其中包括了物流编码标签纠偏及字符的正倒检测；由于本发明对分拣流水线上的货物摆放、货物的大小以及货物的包装无特殊要求，即对粘贴在货物上的物流编码标签没有特殊限制，如图2所示；因此，从相机获取的物流编码标签图像在图像中的位置、大小和角度都是随机的；这样在货品外包装上物流编码标签可能是以任意角度出现在任何部位；所以在物流编码标签上字符定位和切分前还需进行物流编码标签纠偏及字符的正倒检测。

在用RPN网络定位出物流编码标签空间位置后，即框出物流编码标签的梯形部分图像后；接着对梯形部分图像进行处理，用Hough算法计算得到物流编码标签上的两条直线；

具体做法是利用Hough变换法来提取物流编码标签上的直线，Hough变换法是一种变换域提取直线的方法，它把直线上的坐标变换到过点的直线的系数域，利用了共线和直线相交的关系；

STEP1)：对图像进行边缘检测，这里选用了Sobel算子检测图像中水平方向的直线；

STEP2)：假设图像对应于x-o-y空间，定义一个S-o-θ，θ角的范围为1～180°的空间，对图像中像素为1的每一个点进行计算，做出每一个像素为1的点的曲线，同时把S-θ平面分成等间隔1×1的小网格，这个小网格对应一个记数矩阵；凡是曲线所经过的网格，对应的记数矩阵元素值加1，对原图像中的每一点进行计算以后记数矩阵元素的值等于共线的点数；这样记数矩阵中元素的最大值对应原始图像中最长的直线；

STEP3)：检测出记数矩阵的最大的元素所对应的列坐标θ，θ即为这条直线的法线与X轴的夹角；这样通过θ角来确定直线的倾斜角度，进而对图像进行矫正；

在Hough变换检测物流编码标签图像时，得到了两条平行直线，即梯形的物流编码标签的上底线和下底线；如果上面的直线的长度短于下面的直线的长度，就判定为物流编码标签图像是处在正置状态；否则就判定为倒置状态；如果为倒置状态就将物流编码标签图像进行180°的旋转处理，得到正置状态下的物流编码标签图像。

第三个步骤是物流编码标签上字符定位和切分；字符切分和字符定位这两项技术都是OCR字符识别领域的重点，因为货品标签代码字符的切分和定位是限制货品识别标签实用化的主要原因；实验证明，字符切分的准确程度直接影响到字符识别系统的可靠性，而错误的识别都是由于不正确的字符切分导致的；标签代码的切分需要利用二值化算法，将图像分割成背景像素和代码像素两个部分，再利用连通域分析切分算法获取图像的特征点，该算法对切分精确度的要求稍微偏低；为了便于字符定位和切分，在物流编码标签上的各字符之间需要有一个合适的字间距；如图2所示，标准标签字符采用黑体字形，包括了0～9的10个数字字符以及18个部分英文字符；每个字符之间的距离为14mm，所有字符的大小均为45mm×77mm；对于比例1:1.5、1:2、1:2.5、1:3、1:3.5和1:4的等比例尺寸定制的大小不同的物流编码标签，其字符的大小和间隔均按比例缩小；

这里字符分割采用垂直投影法；对物流编码标签图像做垂直投影直方图；关于垂直投影直方图的方法见阮秋琦等译的由电子工业出版社2004出版的数字图像处理教材；通过上述处理得到物流编码标签上每个字符的字符图像。

第四个步骤是物流编码标签上的字符识别，本发明中的标签字符采用黑体字形，包括了0～9的10个数字字符以及18个部分英文字符；标准标签的每个字符之间的距离为14mm，所有字符的大小均为45mm×77mm；

接着，将字符图像传递至OCR，由OCR进行识别。随着OCR技术的高速发展，目前该技术已经克服了噪声干扰，且在图像预处理的技术上有所突破，识别正确率超过了98％；一种方法是：对切分后的字符图像都统一由商用OCR软件进行识别，当OCR系统出现无法识别的情况时，控制终端会发送信号至流水线上的动作机构使之停止运输，直至识别完成传输动作机构才重新开始运行；另一种优选方法是：对切分后的字符图像用卷积神经网络进行识别分类，从目前的技术来说，识别正确率超过了99.5％；

为了提升字符的识别率，减少误识别率；在本发明中采用的字符有如下规定；

(1)尺寸特征：标准标签的字符大小均为45mm×77mm；

(2)形状特征：字符具有基本确定的高宽比，这里采用黑体字形；

(3)区域对比度特征：字符具有一定的对比度，包含区域的矩形框内平均方差大于某一阈值；这里采用白底黑字；

(4)边缘强度特征：由于字符通常具有明显的边缘，因此可通过统计字符区域内外边缘的灰度值差来识别，边缘强度大于某一阈值；

(5)笔画特征：字符最大笔画有一定限制，这种最大笔画可以通过腐蚀或最近边缘点距离等方法得到，且笔画宽度阈值可根据区域的高度来设定；

此外，在英文字母中不使用容易与数字混淆的D、O、l、Q、B、Z、A和S等字母；

用卷积神经网络对字符图像进行识别分类前需要提取出本发明中所采用的字符特征；物流编码标签上的字符特征的提取是通过卷积神经网络的学习训练过程来实现的，将28个字符数据集进行训练，抽取出这些字符的特征；将数据集按8：2比例分为训练集和验证集，经过10万次迭代，训练出卷积神经网络模型；为了提高识别的鲁棒性，训练集的字符图像采用不同角度、不同光照条件下拍摄的物流编码标签图像，同时考虑到软包装上物流编码标签图像的一些变形或者字符部分的划伤以及水迹等污染等情况，在制作训练集的字符图像时充分考虑实际应用中物流编码标签图像的各种状况，用于训练的字符图像为800个，对于28个字符共用于训练的字符图像为28×800；利用这些大量的字符图像训练样本和隐藏层逐层深入地学习图像的抽象信息，更全面直接地获取字符图像特征。

用于深度学习和训练识别的多任务深度卷积神经网络，为了将多种任务融合在一起进行学习和训练，通过学习和训练分别提取得到物流编码标签的特征以及物流编码标签上的字符图像特征；多任务包括了物流编码标签的检测定位和物流编码标签上的字符图像的识别；

设计一种多任务目标函数是至关重要的；多任务目标函数用公式(5)表示；

式中，

是输入特征向量

和权重参数w^t的映射函数，L(·)为损失函数，Φ(w^t)为权重参数的正则化值，T为总任务数，对于第t个任务的训练数据记为

其中t∈(1,T)，i∈(1,N)，N为总训练样本数，

分别为第i样本的特征向量和标注标签；

对于损失函数，利用softmax配合对数似然代价函数训练最后一层的特征，实现多任务图像分类，softmax损失函数用公式(6)定义，

式中，x_i为第i深度特征，W_j为最后一个全连接层中权重的第j列，b是偏置项，m,n分别为处理样本数量与类别数。

在字符识别阶段，使用上一阶段训练出来的Faster R-CNN模型，用SoftMax对需要识别的字符图像进行分类识别，分类识别结果即为该字符图像的真实值；然后组合物流编码标签的字符图像分类结果，便得到该物流编码标签识别结果；

第五个步骤是通过物流编码标签识别结果控制分拣动作的分拣控制模块，以物流编码标签识别结果为索引；检索得到该货品的流向，并将其放置在对应的物流流水线上，完成自动快速分拣的目的。

由于本发明对流水线上货品的放置无特殊要求，因此需要采用全方位获取物流编码标签图像的方法，如图5所示；对于快递物流，货物在分拣流水线上，货物的大小以及货物上粘贴物流编码标签的位置角度都是不确定的；为了从各个角度获取物流编码标签的图像，本发明中在分拣流水线的上方、左右前后分别安置了5个相机，这样就可以捕捉到货物各个方向上的物流编码标签的图像；此外，为了确保准确无误地读取到货物上粘贴的物流编码标签，本发明规定至少在货物的两个面上粘贴物流编码标签；在检测定位物流编码标签时，只要5个相机中的任何一幅图像上定位出有物流编码标签就执行下一个程序步骤。

实施方案2

以上与实施方案1雷同，所不同的是用于识别物流编码标签大小不同，参与网络训练的物流编码标签与用于识别的物流编码标签相同。

实施方案3

以上与实施方案1雷同，所不同的是用于识别物流编码标签内编码的位数不同。

实施方案4

以上与实施方案1雷同，所不同的是用于识别物流编码标签内编码的字体不同。

以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于多任务深度学习的物流编码识别和分拣方法，其特征在于：包括用于全方位获取物流编码标签图像的方法、用于特定形状和大小的物流编码标签、以及具有特定字符大小、字体以及字符间隔的字符编码设计方案、用于对物流编码标签进行检测定位的Faster R-CNN网络、用于物流编码标签纠偏及字符的正倒检测的算法模块、用于对物流编码标签上的字符进行分割处理的字符分割算法模块、用于深度学习和训练识别的多任务深度卷积神经网络、用于根据识别的物流编码控制分拣动作的分拣控制模块；

其主要流程如下：流水线上待分拣的货物移动到流水线的某一工位时，系统自动触发多个相机从各个方位拍摄货物图像；接着，基于Faster R-CNN货品物流编码标签检测定位得到货物图像上的物流编码标签图像；然后，用Hough变换法来对物流编码标签图像进行处理提取物流编码标签上的直线；进一步，根据Hough变换检测出来的物流编码标签倾斜角度对物流编码标签图像进行纠偏；更进一步，检查纠偏后的物流编码标签图像是否处于倒置状态，如果处在倒置状态就进行180°旋转处理；然后，对得到的物流编码标签图像进行字符分割处理，这里字符分割采用垂直投影法，对物流编码标签图像做垂直投影直方图，得到物流编码标签上的字符；接着，将分割后的字符用基于Faster R-CNN的字符识别，通过SoftMax最终判定得到字符图像的真实值；最后，组合识别出来的字符值得到货物编码值，并用该货物编码值控制分拣动作机构，实现货物的自动分拣；

所述的用于特定形状和大小的物流编码标签，在物流编码标签设计时，采用一个等边梯形外框，黑色框线粗细为3磅，底色为白色，梯形外框的高度100mm，梯形外框的中位线长度根据编码长度确定，最小值>280mm，梯形的下底线-上底线＝53.6mm，梯形内部为物流编码标签的编码部分；

所述的具有特定字符大小、字体以及字符间隔的字符编码设计方案，标签字符采用黑体字形，包括了0～9的10个数字字符以及18个部分英文字符；每个字符之间的距离为14mm，所有字符的大小均为45mm×77mm，标签字符为黑色，背景为白色，均匀地配置在所述的物流编码标签图像的中部。

2.如权利要求1所述的基于多任务深度学习的物流编码识别和分拣方法，其特征在于：所述的用于全方位获取物流编码标签图像的方法，在分拣流水线的识别工位的上方、前后左右分别安置了5个相机，从各个方向捕捉到货物上的物流编码标签的图像；此外，为了确保准确无误地读取到货物上粘贴的物流编码标签，这里规定至少在货物的两个面上粘贴物流编码标签。

3.如权利要求1所述的基于多任务深度学习的物流编码识别和分拣方法，其特征在于：所述的用于对物流编码标签进行检测定位的Faster R-CNN网络，Faster R-CNN作为多任务卷积神经网络的基础网；网络最前面的是3×3卷积网络，称为conv1，后面紧接4个堆叠卷积模块命名为conv2_x到conv5_x，每个模块分别包含了{2,3,3,3}个单元，conv1到conv4_3作为共享网络；其后是RPN，即区域建议网络，RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；为了生成区域建议框，在最后一个共享的卷积层输出的卷积特征映射上滑动小网络，这个网络全连接到输入卷积特征映射的n×n的空间窗口上；每个滑动窗口映射到一个低维向量上，每个特征映射的一个滑动窗口对应一个数值；这个向量输出给两个同级的全连接的层；

所述的RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所述的矩形目标建议框的目标指的是物流编码标签；

对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个称为anchor的建议框参数化；

每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor；

为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标；然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即Ground Truth，GT有最高的IoU，即Intersection-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor；注意到一个GT包围盒可能给多个anchor分配正标签；分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor；非正非负的anchor对训练目标没有任何作用，则弃用；

对一个图像的损失函数定义为：

这里，i是一个anchor的索引，p_i是anchor是第i目标的预测概率，如果anchor为正，GT标签

就是1，如果anchor为负，

就是0；t_i是一个向量，表示预测的包围盒的4个参数化坐标，

是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，这里λ＝10，N_cls是cls项的归一化值为mini-batch的大小，这里N_cls＝256，N_reg是reg项的归一化值为anchor位置的数量，N_reg～2,400，分类损失函数L_cls是两个类别，即物流编码标签目标vs.背景的对数损失：

对于回归损失函数L_reg，用以下函数定义：

式中，L_reg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smooth L₁；

式中，smooth_L1为smooth L₁损失函数，x为变量。

4.如权利要求1所述的基于多任务深度学习的物流编码识别和分拣方法，其特征在于：所述的用于物流编码标签纠偏及字符的正倒检测的算法模块，利用Hough变换法来提取物流编码标签图像上的直线，Hough变换法是一种变换域提取直线的方法，它把直线上的坐标变换到过点的直线的系数域，利用了共线和直线相交的关系；

用Hough变换检测物流编码标签图像中直线的具体步骤为：

STEP1)：对图像进行边缘检测，这里选用了Sobel算子检测图像中水平方向的直线；

STEP2)：假设图像对应于x-o-y空间，定义一个S-o-θ，θ角的范围为1～180°的空间，对图像中像素为1的每一个点进行计算，做出每一个像素为1的点的曲线，同时把S-θ平面分成等间隔1×1的小网格，这个小网格对应一个记数矩阵；凡是曲线所经过的网格，对应的记数矩阵元素值加1，对原图像中的每一点进行计算以后记数矩阵元素的值等于共线的点数；这样记数矩阵中元素的最大值对应原始图像中最长的直线；

STEP3)：检测出记数矩阵的最大的元素所对应的列坐标θ，θ即为这条直线的法线与X轴的夹角；这样通过θ角来确定直线的倾斜角度，进而对图像进行矫正；

在Hough变换检测物流编码标签图像时，得到了两条平行直线，即梯形的物流编码标签的上底线和下底线；如果上面的直线的长度短于下面的直线的长度，就判定为物流编码标签图像是处在正置状态；否则就判定为倒置状态；如果为倒置状态就将物流编码标签图像进行180°的旋转处理，得到正置状态下的物流编码标签图像。

5.如权利要求1所述的基于多任务深度学习的物流编码识别和分拣方法，其特征在于：所述的用于对物流编码标签上的字符进行分割处理的字符分割算法模块，字符分割算法采用垂直投影法；对物流编码标签图像做垂直投影直方图；将正置状态下的物流编码标签图像分割成单个字符图像，得到物流编码标签上每个字符的字符图像。

6.如权利要求1或3所述的基于多任务深度学习的物流编码识别和分拣方法，其特征在于：所述的用于深度学习和训练识别的多任务深度卷积神经网络，为了将多种任务融合在一起进行学习和训练，通过学习和训练分别提取得到物流编码标签的特征以及物流编码标签上的字符图像特征；多任务包括了物流编码标签的检测定位和物流编码标签上的字符图像的识别；

设计一种多任务目标函数是至关重要的；多任务目标函数用公式(5)表示；

式中，

是输入特征向量

和权重参数w^t的映射函数，L(·)为损失函数，Φ(w^t)为权重参数的正则化值，T为总任务数，对于第t个任务的训练数据记为

其中t∈(1,T)，i∈(1,N)，N为总训练样本数，

分别为第i样本的特征向量和标注标签；

对于损失函数，利用softmax配合对数似然代价函数训练最后一层的特征，实现多任务图像分类，softmax损失函数用公式(6)定义，

式中，x_i为第i深度特征，W_j为最后一个全连接层中权重的第j列，b是偏置项，m,n分别为处理样本数量与类别数。

7.如权利要求6所述的基于多任务深度学习的物流编码识别和分拣方法，其特征在于：所述的物流编码标签的特征和物流编码标签上的字符特征的提取是通过卷积神经网络的学习训练过程来实现的，将28个字符数据集进行训练，抽取出这些字符的特征；将数据集按8：2比例分为训练集和验证集，经过10万次迭代，训练出卷积神经网络模型；为了提高识别的鲁棒性，训练集的字符图像采用不同角度、不同光照条件下拍摄的物流编码标签图像，同时考虑到软包装上物流编码标签图像的一些变形或者字符部分的划伤以及水迹等污染等情况，在制作训练集的字符图像时充分考虑实际应用中物流编码标签图像的各种状况，用于训练的字符图像为800个，对于28个字符共用于训练的字符图像为28×800；利用这些大量的字符图像训练样本和隐藏层逐层深入地学习图像的抽象信息，更全面直接地获取字符图像特征。

8.如权利要求1所述的基于多任务深度学习的物流编码识别和分拣方法，其特征在于：所述的用于根据识别的物流编码控制分拣动作的分拣控制模块，用Faster R-CNN模型中的SoftMax对物流编码标签图像的字符图像进行分类识别得到字符图像的真实值；然后组合物流编码标签的字符图像分类结果，便得到该物流编码标签识别结果；最终以该物流编码标签所提供的编码信息检索得到该货品的流向，并将其放置在对应的物流流水线上。

Images