CN112069841A - 新型x光违禁品包裹跟踪方法及装置 - Google Patents

Abstract

本发明公开了一种新型X光违禁品包裹跟踪方法和装置，其中第一包裹触发器检测到包裹时，X光扫描设备对包裹进行X光扫描，获得第一X光图像、第一包裹位置与第一序列信息，发送至服务器，服务器在检测到第一X光图像包括违禁品信息时，启动条码扫描设备获取包裹的条码图像，将条码图像发送至服务器，使服务器根据识别包裹条码并在接收到包裹的第二包裹位置与第二序列信息时，将第二包裹位置与第二序列信息发送至服务器，使服务器将第二包裹位置与第一包裹位置，以及第二序列信息与第一序列信息分别进行比对，向分拣控制器发送分拣指令，使分拣控制器接收分拣指令，控制机械手推动当前违禁品包裹进入分拣线，以实现相应包裹的跟踪，提高跟踪效率，降低跟踪成本。

Description

新型X光违禁品包裹跟踪方法及装置

技术领域

本发明涉及智能检测技术领域，尤其涉及一种新型X光违禁品包裹跟踪方法及装置。

背景技术

X光图像是由X射线穿透待检测物体、根据物体的不同密度渲染出不同颜色所得到的图像，常用于安检识别违禁品。相比于普通图像，X光图像只有颜色和形状信息，物体的检测识别更为困难，所以X光违禁品检测一直是丞待解决的难题。

随着电子商务技术的发展，快递行业对安检技术的要求越来越高。在快递转运时，需要检测包裹是否含违禁品以及对包裹进行条码记录，实现包裹的记录跟踪。然而每天大量的包裹造成了快递安检行业的巨大压力，传统的人工识别以及人工条码记录造成了大量的人力物力浪费，长期工作导致疲劳也会造成误检以及登记错误的产生。如何降低工作人员的劳动强度，实现省时省力高效率的方案已成为当前不可避免的问题。

目前，快递行业中将违禁品检测与条码检测分别放在两个工作线上，每个工作线都需要人工处理，浪费了大量的人力物力，工作效率极低。

发明内容

针对以上问题，本发明提出一种新型X光违禁品包裹跟踪方法及装置。

为实现本发明的目的，提供一种新型X光违禁品包裹跟踪方法，包括如下步骤：

S10，第一包裹触发器在检测到传送带上传送的包裹时，发送拍摄信号给X光扫描设备，使所述X光扫描设备对所述包裹进行X光扫描，获得所述包裹的第一X光图像、第一包裹位置与第一序列信息，将所述第一X光图像、第一包裹位置与第一序列信息发送至服务器；

S20，所述服务器将所述第一X光图像输入预先训练的违禁品检测器，在检测到所述第一X光图像包括违禁品信息时，启动条码扫描设备，所述条码扫描设备获取所述包裹的条码图像，将所述条码图像发送至服务器，使所述服务器根据所述条码图像识别包裹条码；

S30，第二包裹触发器在检测到传送带上传送的包裹时，获取所述包裹的第二包裹位置与第二序列信息，将所述第二包裹位置与第二序列信息发送至服务器，服务器将所述第二包裹位置与第一包裹位置，以及第二序列信息与第一序列信息分别进行比对，在比对结果一致时，向分拣控制器发送分拣指令；

S40，所述分拣控制器接收分拣指令，控制机械手推动当前违禁品包裹进入分拣线。

在一个实施例中，所述违禁品检测器的训练过程包括：

S21，将各类违禁品包裹分别对应的各个X光图像输入特征提取网络得到图像特征图；

S22，将图像特征图输入区域建议网络，获得感兴趣区域特征图，对所述感兴趣区域特征图降维得到感兴趣区域特征向量，对所述感兴趣区域特征图降维得到感兴趣区域特征向量；

S23，将各类违禁品包裹的X光图像及各个X光图像数据携带的标注输入元特征提取器，输出类注意向量；所述标注包括相应X光图像中违禁品的真实类别和真实位置；

S24，采用类注意向量对感兴趣区域特征向量做重赋权操作，得到重赋权后的单维特征向量；

S25，将单维特征向量输入分类回归网络，得到表征各类违禁品类别得分及边框调整参数的输出特征向量，将输出特征向量中得分最高的类别确定为各类违禁品的预测类别，根据边框调整参数确定各类违禁品在相应X光图像数据中的预测位置，根据各类违禁品的预测类别、预测位置、真实类别与真实位置做运算，计算损失函数，通过损失函数反向传播，以调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络；

S26，采用调节后的特征提取网络、元特征提取器及分类回归网络返回步骤S21重新将各类违禁品包裹分别对应的各个X光图像输入特征调节后的提取网络得到图像特征图，直至训练次数大于或等于预设的迭代次数，依据当前的分类回归网络确定违禁品检测器。

具体地，所述特征提取网络包括卷积层、池化层与非线性映射层；

所述卷积层执行的卷积操作包括：

f₂[x,y]＝f₁[x,y]*w[x,y]，

式中，f₁[x,y]表示输入特征提取网络的图像，w[x,y]表示卷积核，f₂[x,y]表示卷积后所得特征；

所述非线性映射层执行的非线性映射操作包括：

f₃[x,y]＝max(0,f₂[x,y])，

其中，max()表示取较大值，f₃[x,y]表示做非线性映射后得到的图像特征图。

具体地，所述将图像特征图输入区域建议网络，获得感兴趣区域特征图，对所述感兴趣区域特征图降维得到感兴趣区域特征向量包括：

将图像特征图的各个点定义为锚点，以每个锚点为中心定义多个锚框，去除超图像特征图区域的锚框，得到有效锚框，识别有效锚框中表征违禁品的目标锚框，剔除所述目标锚框中重叠的锚框，在剩下的目标锚框中提取置信度最高的前n个锚框，作为感兴趣区域特征图。

具体地，所述识别有效锚框中表征违禁品的目标锚框包括：

获取有效锚框与真实标记框之间的交并比，将交并比大于设定阈值的有效锚框确定为目标锚框。

具体地，所述采用类注意向量对感兴趣区域特征向量做重赋权操作包括：

在感兴趣区域特征向量中获取类注意特征向量中各个元素的对应位，将类注意特征向量中各个元素分别与感兴趣区域特征向量中对应的元素相乘，以实现做重赋权操作。

具体地，所述采用类注意向量对感兴趣区域特征向量做重赋权操作，得到重赋权后的单维特征向量包括：

V_k＝mean(f₅[x,y]×z_k[x,y])，

式中，V_k表示单维特征向量中的第k个元素，f₅[x,y]表示感兴趣区域特征图，z_k[x,y]表示类注意特征图中的第k个元素，mean()表示求平均值。

具体地，所述将输出特征向量中得分最高的类别确定为各类违禁品的预测类别包括：

若输出特征向量中得分最高的类别小于或等于预设的类阈值，则判定单维特征向量中不存在表征违禁品的特征，若输出特征向量中得分最高的类别大于预设的类阈值，则将输出特征向量中得分最高的类别确定为各类违禁品的预测类别。

在一个实施例中，所述启动条码扫描设备，所述条码扫描设备获取所述包裹的条码图像，将所述条码图像发送至服务器，使所述服务器根据所述条码图像识别包裹条码包括：

发送打光信号至打光控制器，启动条码扫描设备，所述打光控制器开启光源，所述条码扫描设备在光源照射的情况下获取所述包裹的条码图像，将所述条码图像通过信息采集器发送至服务器中，以使服务器预设的条码识别软件识别条码图像携带的包裹条码。

一种新型X光违禁品包裹跟踪装置，包括第一包裹触发器、X光扫描设备、服务器、条码扫描设备、第二包裹触发器、和分拣控制器；

所述第一包裹触发器在检测到传送带上传送的包裹时，发送拍摄信号给X光扫描设备，使所述X光扫描设备对所述包裹进行X光扫描，获得所述包裹的第一X光图像、第一包裹位置与第一序列信息，将所述第一X光图像、第一包裹位置与第一序列信息发送至服务器；

所述服务器将所述第一X光图像输入预先训练的违禁品检测器，在检测到所述第一X光图像包括违禁品信息时，启动条码扫描设备，在收到条码图像发送的条码图像后识别条码图像携带的包裹条码，以根据包裹条码在分拣控制器控制机械手推动当前传送的包裹进入分拣线后跟踪相应包裹，并在收到第二包裹位置与第二序列信息后将所述第二包裹位置与第一包裹位置，以及第二序列信息与第一序列信息分别进行比对，在比对结果一致时，向分拣控制器发送分拣指令；

所述条码扫描设备在启动后获取所述包裹的条码图像，将所述条码图像发送至服务器；

所述第二包裹触发器在检测到传送带上传送的包裹时，获取所述包裹的第二包裹位置与第二序列信息，将所述第二包裹位置与第二序列信息发送至服务器；

所述分拣控制器接收分拣指令，控制机械手推动当前违禁品包裹进入分拣线。

上述新型X光违禁品包裹跟踪方法及装置中，第一包裹触发器在检测到传送带上传送的包裹时，发送拍摄信号给X光扫描设备，使X光扫描设备对包裹进行X光扫描，获得包裹的第一X光图像、第一包裹位置与第一序列信息，将所述第一X光图像、第一包裹位置与第一序列信息发送至服务器，服务器将第一X光图像输入预先训练的违禁品检测器，在检测到第一X光图像包括违禁品信息时，启动条码扫描设备，条码扫描设备获取包裹的条码图像，将条码图像发送至服务器，使服务器根据所述条码图像识别包裹条码并在接收到包裹的第二包裹位置与第二序列信息时，将第二包裹位置与第二序列信息发送至服务器，使服务器将第二包裹位置与第一包裹位置，以及第二序列信息与第一序列信息分别进行比对，在比对结果一致时，向分拣控制器发送分拣指令，使分拣控制器接收分拣指令，控制机械手推动当前违禁品包裹进入分拣线，这样服务器可以在分拣控制器控制机械手推动当前传送的包裹进入分拣线后根据包裹条码跟踪相应包裹，以实现对包括违禁品信息的包裹的跟踪，提高相应的跟踪效率，降低跟踪成本。

附图说明

图1是一个实施例的新型X光违禁品包裹跟踪方法流程图；

图2是一个实施例的新型X光违禁品包裹跟踪装置结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

在一个实施例中，如图1所示，提供了一种新型X光违禁品包裹跟踪方法，包括以下步骤：

S10，第一包裹触发器在检测到传送带上传送的包裹时，发送拍摄信号给X光扫描设备，使所述X光扫描设备对所述包裹进行X光扫描，获得所述包裹的第一X光图像、第一包裹位置与第一序列信息，将所述第一X光图像、第一包裹位置与第一序列信息发送至服务器。

上述步骤之前，可以先启动新型X光违禁品包裹跟踪系统，或者启动新型X光违禁品包裹跟踪系统所在的传送设备，使传送控制器接收相应启动信息，传送带开始运作。这样相关用户可以将包裹放在传送带上，通过传送带传送包裹。当包裹触发器检测到包裹经过，发送信号到X光扫描设备控制器，X光扫描设备启动，对包裹进行X光扫描以获取包裹的第一X光图像、第一包裹位置与第一序列信息，同时将第一X光图像、第一包裹位置与第一序列信息发送到服务器。

S20，所述服务器将所述第一X光图像输入预先训练的违禁品检测器，在检测到所述第一X光图像包括违禁品信息时，启动条码扫描设备，所述条码扫描设备获取所述包裹的条码图像，将所述条码图像发送至服务器，使所述服务器根据所述条码图像识别包裹条码，以根据包裹条码在分拣控制器控制机械手推动当前违禁品包裹(当前传送的包裹)进入分拣线后跟踪相应包裹。

具体地，X光扫描设备可以通过信息采集器将第一X光图像、第一包裹位置与第一序列信息发送到服务器，由服务器中相应的违禁品识别软件(如违禁品检测器)识别，将识别结果记录下来。

在一个实施例中，所述启动条码扫描设备，所述条码扫描设备获取所述包裹的条码图像，将所述条码图像发送至服务器，使所述服务器根据所述条码图像识别包裹条码包括：

发送打光信号至打光控制器，启动条码扫描设备，所述打光控制器开启光源，所述条码扫描设备在光源照射的情况下获取所述包裹的条码图像，将所述条码图像通过信息采集器发送至服务器中，以使服务器预设的条码识别软件识别条码图像携带的包裹条码。

本实施例中，若当前包裹为违禁品，则发送打光信号到打光控制器，条码扫描设备启动，打开光源，使条码扫描设备的摄像头获取条码图像，通过信息采集器发送到服务器中，由条码识别软件识别包裹条码，记录违禁品包裹相应的条码，以对包括违禁品信息的包裹的包裹条码进行更为准确的识别。

S30，第二包裹触发器在检测到传送带上传送的包裹时，获取所述包裹的第二包裹位置与第二序列信息，将所述第二包裹位置与第二序列信息发送至服务器，服务器将所述第二包裹位置与第一包裹位置，以及第二序列信息与第一序列信息分别进行比对，在比对结果一致时，向分拣控制器发送分拣指令。

包裹经过条码扫描设备后，传送带带动包裹经过第二包裹触发器，并通过信息采集器发送包裹位置与序列(第二包裹位置与第二序列信息)到服务器中，与违禁品包裹的位置与序列信息(第一包裹位置与第一序列信息)进行比对，若经过第二包裹触发器的包裹为违禁品包裹时，发送信号给分拣控制器，并向分拣控制器发送分拣指令。

S40，所述分拣控制器接收分拣指令，控制机械手推动当前违禁品包裹进入分拣线。

上述步骤中，分拣控制器接收到包裹条码或者相关信号后，可以启动分拣模块，机械手推动当前违禁品包裹进入分拣线，实现违禁品包裹的跟踪功能，以依据包裹条码对包括违禁品信息的包裹进行精准跟踪。

上述新型X光违禁品包裹跟踪方法中，第一包裹触发器在检测到传送带上传送的包裹时，发送拍摄信号给X光扫描设备，使X光扫描设备对包裹进行X光扫描，获得包裹的第一X光图像、第一包裹位置与第一序列信息，将所述第一X光图像、第一包裹位置与第一序列信息发送至服务器，服务器将第一X光图像输入预先训练的违禁品检测器，在检测到第一X光图像包括违禁品信息时，启动条码扫描设备，条码扫描设备获取包裹的条码图像，将条码图像发送至服务器，使服务器根据所述条码图像识别包裹条码并在接收到包裹的第二包裹位置与第二序列信息时，将第二包裹位置与第二序列信息发送至服务器，使服务器将第二包裹位置与第一包裹位置，以及第二序列信息与第一序列信息分别进行比对，在比对结果一致时，向分拣控制器发送分拣指令，使分拣控制器接收分拣指令，控制机械手推动当前违禁品包裹进入分拣线，这样服务器可以在分拣控制器控制机械手推动当前传送的包裹进入分拣线后根据包裹条码跟踪相应包裹，以实现对包括违禁品信息的包裹的跟踪，提高相应的跟踪效率，降低跟踪成本。

在一个实施例中，服务器可以预先通过深度学习训练获得违禁品检测器，违禁品检测器的训练过程包括：

S21，将各类违禁品包裹分别对应的各个X光图像输入特征提取网络得到图像特征图；

S22，将图像特征图输入区域建议网络，获得感兴趣区域特征图，对所述感兴趣区域特征图降维得到感兴趣区域特征向量；

S23，将各类违禁品包裹的X光图像及各个X光图像数据携带的标注输入元特征提取器，输出类注意向量；所述标注包括相应X光图像中违禁品的真实类别和真实位置；

S24，采用类注意向量对感兴趣区域特征向量做重赋权操作，得到重赋权后的单维特征向量；

S25，将单维特征向量输入分类回归网络，得到表征各类违禁品类别得分及边框调整参数的输出特征向量，将输出特征向量中得分最高的类别确定为各类违禁品的预测类别，根据边框调整参数确定各类违禁品在相应X光图像数据中的预测位置，根据各类违禁品的预测类别、预测位置、真实类别与真实位置做运算，计算损失函数，通过损失函数反向传播，以调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络；

S26，采用调节后的特征提取网络、元特征提取器及分类回归网络返回步骤S21重新将各类违禁品包裹分别对应的各个X光图像输入特征调节后的提取网络得到图像特征图，直至训练次数大于或等于预设的迭代次数，依据当前的分类回归网络确定违禁品检测器。

上述特征提取网络采用的是深度带洞卷积网络，通过将普通深度卷积网络的卷积方式替换为带洞卷积来获得深度带洞卷积网络可以在Imagenet上训练得到的预训练模型，通过最小化整个模型的损失函数反向传播微调训练得到，训练次数预先设定，具体取值针对具体任务而言。

作为一个实施例，所述特征提取网络包括卷积层、池化层与非线性映射层；

所述卷积层执行的卷积操作包括：

f₂[x,y]＝f₁[x,y]*w[x,y]，

式中，f₁[x,y]表示输入特征提取网络的图像，w[x,y]表示卷积核，f₂[x,y]表示卷积后所得特征；

所述非线性映射层执行的非线性映射操作包括：

f₃[x,y]＝max(0,f₂[x,y])，

其中，max()表示取较大值，f₃[x,y]表示做非线性映射后得到的图像特征图。

本实施例中，输入特征提取网络的X光图像可以依次经过卷积层、池化层与非线性映射层处理，得到图像特征图。

具体地，带洞卷积层执行的卷积过程包括：

其中，n₁表示卷积核的长度，n₂表示卷积核的宽度，f[x+n_i,y+n_j]表示正在卷积的图像像素点位置，w[n_i,n_j]表示卷积核的参数。w(x,y)示例为3x3带洞参数为2的卷积核，f₂[x,y]为卷积后所得特征，a、b、c、d、e和f均表示非零值。

作为一个实施例，上述区域建议网络可以包括RPN(区域建议网络)等专有网络。将图像特征图输入区域建议网络，获得感兴趣区域特征图，对所述感兴趣区域特征图降维得到感兴趣区域特征向量包括：

将图像特征图的各个点定义为锚点，以每个锚点为中心定义多个锚框，去除超图像特征图区域的锚框，得到有效锚框，对所述有效锚框进行二分类，若为违禁品锚框，则对违禁品锚框进行边框回归，否则剔除相应的有效锚框，再剔除边框回归后的违禁品锚框中重叠的锚框，在剩下的锚框中提取置信度最高的前n个锚框，作为感兴趣区域特征图，再降维得到感兴趣区域特征向量。

上述n的取值可以依据感兴趣区域特征图的确定精度设置，比如可以设置为目标锚框总数的设定比例(如60％)等等。

具体地，所述识别有效锚框中表征违禁品的目标锚框包括：

获取有效锚框与真实标记框之间的交并比，将交并比大于设定阈值的有效锚框确定为目标锚框。

上述设定阈值可以设为0.7等值。

具体地，本实施例通过判断特征图区域对应的原图区域去除超图像特征图区域的锚框，得到有效锚框，并采用二分类的方式提出非违禁品锚框其中采用的分类函数包括：y＝f(f₄[x,y])，其中f()表示二分类器，f₄[x,y]表示图像特征图中各锚框对应的特征图，y表示分类得到的有效锚框。在二分类器对应的训练过程中，当锚框与真实标记框之间的交并比大于0.7时，将其判断为对象类(即有效锚框)，小于0.3则判断为背景类(即超图像特征图区域的锚框)。在实际检测过程中，输出y小于设定置信度阈值时表示锚框为背景或非违禁品，不进入后续步骤，否则，表示锚框为违禁品，对其做边框回归操作，以得到感兴趣区域特征图。

具体地，上述识别有效锚框中表征违禁品的目标锚框的过程中可以采用边框回归的方式识别相应目标锚框，边框回归的操作过程可以包括：[Δx,Δy,Δh,Δw]＝g(f₄[x,y])，其中g()表示线性回归函数，输出[Δx,Δy,Δh,Δw]表示锚框中心点坐标的偏移量和宽高的偏移量。在边框回归的训练过程中，可以计算有效锚框和真实标记框之间的偏移量，用得到的差异来学习调整锚框的大小，使其更好的框住对象。对违禁品锚框(目标锚框)使用非极大值抑制进行筛选，剔除重叠的锚框，再取置信度最高的前n个锚框，作为感兴趣区域特征图f₅[x,y]，进入后续步骤处理。

进一步地，区域建议网络可以使用它独有的一个损失函数反向传播进行训练，最小化以下损失函数：

其中p_i为锚框的预测概率，

为锚框的真实类别，如果锚框为违禁品类，则

为1，否则为0，λ为损失权重，t_i是一个向量，表示锚框的预测坐标，

为真实标记框的坐标。当锚框为背景或者非违禁品时，无回归损失。N_cls表示参与二分类的样本总数，N_reg表示参与边框回归的样本总数。

作为一个实施例，上述元特征提取器可以为一个深度卷积网络，元特征提取器中第一层卷积网络的输入通道数通常设为4，它得到的元损失为整个模型损失函数的一部分，可以通过最小化整个模型的损失函数训练得到。

具体地，上述步骤可以将各类违禁品包裹的X光图像数据及各个X光图像数据携带的标注输入元特征提取器，取最终输出得到各类违禁品的类注意特征向量，并用类注意特征向量计算元损失，元损失可以由交叉熵损失函数计算得到。其中元特征提取器与特征提取网络共享如下参数和结构：

z_k＝mean(T(f_k[x，y])) k＝1，2，......，

其中z_k为违禁品类注意特征图，T为元特征提取器，f_k[x,y]为违禁品X光图像，k为违禁品类别数，z_k为违禁品类注意向量，L_meta为元特征提取器的损失函数。

作为一个实施例，所述采用类注意向量对感兴趣区域特征向量做重赋权操作包括：

在感兴趣区域特征向量中获取类注意特征向量中各个元素的对应位，将类注意特征向量中各个元素分别与感兴趣区域特征向量中对应的元素相乘，以实现做重赋权操作。

具体地，所述采用类注意向量对感兴趣区域特征向量做重赋权操作，得到重赋权后的单维特征向量包括：

V_k＝mean(f₅[x，y])×z_k k＝1，2......，

式中，V_k表示同一感兴趣区域特征向量和第k个类注意特征向量做重赋权操作的到的第k个单维特征向量，k＝1,2……，f₅[x,y]表示感兴趣区域特征图，z_k表示第k个类注意特征向量，mean()表示求平均值。

本实施例对于每一个感兴趣区域特征向量，需要和所有类注意特征向量做计算，分别得到相应的单维特征向量。上述重赋权操作可以将类注意特征向量与感兴趣区域特征向量做对应位相乘操作，得到与前感兴趣区域特征向量大小相同，数值不同的特征向量。

作为一个实施例，所述将输出特征向量中得分最高的类别确定为各类违禁品的预测类别包括：

若输出特征向量中得分最高的类别小于或等于预设的类阈值，则判定单维特征向量中不存在表征违禁品的特征，若输出特征向量中得分最高的类别大于预设的类阈值，则将输出特征向量中得分最高的类别确定为各类违禁品的预测类别。

上述分类回归网络通常与通用的目标检测架构中的分类回归网络相同，可以包括两个全连接层，最后一个全连接层分两部分输出，一部分为各类别得分，一部分为边框调整参数。其可以通过整个模型的损失函数反向传播训练得到。

上述类阈值可以依据相应的预测精度设置。

具体地，本实施例将单维特征向量输入分类回归网络，得到违禁品类别和位置的过程可以包括：

分类：y_k＝h(V_k)

h()表示违禁品多分类器，输出y_k为第k类的置信度，V_k表示步骤S50得到的单维特征向量。

对每一个感兴趣区域特征图经过重赋权得到的所有特征向量(单维特征向量)进行分类，取置信度最高的分类结果作为感兴趣区域特征图的分类结果，取置信度最高的前m个结果进入下一步骤。

回归：[Δx,Δy,Δh,Δw]＝g(V_k)

输出为边框的偏移量，g为线性回归函数。

与真实标记做运算，计算整个模型的损失函数，用反向传播微调特征提取网络以及训练元特征提取器和分类回归网络。其中整个模型的损失函数可以包括：

L＝L_cls+L_reg+L_meta,

其中，L_multi-cls表示分类损失，L_reg表示边框回归损失，L_meta表示元损失，L表示总损失，y_k表示分类网络的分类结果，P_j表示真实类别，T表示违禁品类别数，t_i表示回归网络输出的标记框参数，,

表示真实的标记框参数，z_k表示S40步得到的违禁品类注意向量。此处损失函数可以用于训练除区域建议网络的其他整个网络，包括分类回归网络、元特征提取器以及特征提取网络。

进一步地，在得到违禁品检测器之后，可以接入来自成像系统的实时图像数据(如包裹的第一X光图像)，将第一X光图像输入基于深度学习的违禁品检测器，获得该包裹的违禁品标签信息，同时服务器记录该快递包裹的标签信息与包裹的位置与序列信息。

本实施例的有益效果包括：传统的快递处理方式将违禁品识别与条码识别放在两个工作线上，并配备相关人员进行人工检测，耗费大量人力物力，由于两个工作线的运作，导致工作效率极低，同时，人工检测也增加了工作人员受到X射线造成的身体伤害。本实施例通过设计一种基于深度学习的新型X光违禁品检测方法，将违禁品识别与条码识别放在同一条工作线，同时采用自动化检测技术，降低了工作成本，提高了工作效率，将大量人力物力从繁杂的工作中解放出来，避免了工作人员的健康损害。

在一个实施例中，提供一种新型X光违禁品包裹跟踪装置，包括第一包裹触发器、X光扫描设备、服务器、条码扫描设备、第二包裹触发器、和分拣控制器；

所述第一包裹触发器在检测到传送带上传送的包裹时，发送拍摄信号给X光扫描设备，使所述X光扫描设备对所述包裹进行X光扫描，获得所述包裹的第一X光图像、第一包裹位置与第一序列信息，将所述第一X光图像、第一包裹位置与第一序列信息发送至服务器；

所述服务器将所述第一X光图像输入预先训练的违禁品检测器，在检测到所述第一X光图像包括违禁品信息时，启动条码扫描设备，在收到条码图像发送的条码图像后识别条码图像携带的包裹条码，以根据包裹条码在分拣控制器控制机械手推动当前传送的包裹进入分拣线后跟踪相应包裹，并在收到第二包裹位置与第二序列信息后将所述第二包裹位置与第一包裹位置，以及第二序列信息与第一序列信息分别进行比对，在比对结果一致时，向分拣控制器发送分拣指令；

所述条码扫描设备在启动后获取所述包裹的条码图像，将所述条码图像发送至服务器；

所述第二包裹触发器在检测到传送带上传送的包裹时，获取所述包裹的第二包裹位置与第二序列信息，将所述第二包裹位置与第二序列信息发送至服务器；

所述分拣控制器接收分拣指令，控制机械手推动当前违禁品包裹进入分拣线。

具体地，上述服务器可以预先训练违禁品检测器，以对第一X光图像是否包括包括违禁品信息进行准确检测。

具体地，上述新型X光违禁品包裹跟踪装置还可以包括打光控制器、光源等设备，服务器在检测到所述第一X光图像包括违禁品信息时，可以发送打光信号至打光控制器，启动条码扫描设备，所述打光控制器开启光源，所述条码扫描设备在光源照射的情况下获取所述包裹的条码图像，将所述条码图像通过信息采集器发送至服务器中，以使服务器预设的条码识别软件识别条码图像携带的包裹条码。

关于新型X光违禁品包裹跟踪装置中各个设备或器件工作原理的具体限定可以参见上文中对于新型X光违禁品包裹跟踪方法的限定，在此不再赘述。

在上述新型X光违禁品包裹跟踪装置的实际应用过程中，新型X光违禁品包裹跟踪装置也可以参考图2所示，分为控制模块、传送模块、检测与扫描模块、数据处理模块和分拣模块等部分，控制模块包含传送控制器11、X光设备控制器12、打光控制器13和分拣控制器14，传送模块包含传动带21，且传送带21由传送控制器11控制其运作，所述检测与扫描模块包含包裹序列采集单元31和包裹图像采集单元32，所述包裹序列采集单元31包括包裹触发器311、信息采集器312，所述包裹图像采集单元32包含X光设备321和条码扫描设备322，所述的X光设备321和条码扫描设备322内部相互连通，条码扫描设备322包括摄像头3221和光源设备3222，所述数据处理模块包含服务器41和显示器42，分拣模块包含机械手51与分拣线52。

上述控制模块分别通过传送控制器11、X光设备控制器12、打光控制器13与分拣控制器14对各个模块进行控制。其中传送控制器11控制传送模块，X光设备控制器12和打光控制器13控制检测与扫描模块，分拣控制器14控制分拣模块。当接收到控制信号时，传送控制器11控制传送带21启动，将包裹放置于传送带(21)上进行传输。

包裹触发器311接收到包裹信息时，通过信息采集器312获取包裹位置信息与序列信息，将其发送到数据处理模块与控制模块。当X光设备控制器12接收到信号时，开启X光设备321，X光设备321对包裹进行X光扫描，将扫描结果发送到数据处理模块，并根据违禁品识别结果发送到打光控制器13，开启条码扫描设备322获取违禁品包裹的条码信息。

数据处理模块所包括的信息采集器312将包裹位置与序列信息发送到服务器41，在服务器41实现包裹跟踪。在X光设备321获取X光图像后发送到服务器41，使用基于深度学习的X光违禁品检测软件进行自动检测，并将检测结果返回条码扫描设备322的打光控制器13以及分拣模块5的分拣控制器14。条码扫描设备322启动后，获取包裹条码图像通过信息采集器312发送到服务器41，根据条码识别软件进行条码识别，对违禁品包裹实现条码跟踪，服务器41对X光图像的识别结果以及包裹条码显示在显示器42。

当接收到违禁品信号时，分拣控制器14控制分拣模块运行，通过机械手51将违禁品包裹推向分拣线52，实现违禁品包裹的条码跟踪。

上述新型X光违禁品包裹跟踪装置将违禁品识别与条码识别放在同一条工作线，同时采用自动化检测技术，降低了工作成本，提高了工作效率，将大量人力物力从繁杂的工作中解放出来，避免了工作人员的健康损害。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种新型X光违禁品包裹跟踪方法，其特征在于，包括如下步骤：

S10，第一包裹触发器在检测到传送带上传送的包裹时，发送拍摄信号给X光扫描设备，使所述X光扫描设备对所述包裹进行X光扫描，获得所述包裹的第一X光图像、第一包裹位置与第一序列信息，将所述第一X光图像、第一包裹位置与第一序列信息发送至服务器；

S20，所述服务器将所述第一X光图像输入预先训练的违禁品检测器，在检测到所述第一X光图像包括违禁品信息时，启动条码扫描设备，所述条码扫描设备获取所述包裹的条码图像，将所述条码图像发送至服务器，使所述服务器根据所述条码图像识别包裹条码；

S30，第二包裹触发器在检测到传送带上传送的包裹时，获取所述包裹的第二包裹位置与第二序列信息，将所述第二包裹位置与第二序列信息发送至服务器，服务器将所述第二包裹位置与第一包裹位置，以及第二序列信息与第一序列信息分别进行比对，在比对结果一致时，向分拣控制器发送分拣指令；

S40，所述分拣控制器接收分拣指令，控制机械手推动当前违禁品包裹进入分拣线。

2.根据权利要求1所述的新型X光违禁品包裹跟踪方法，其特征在于，所述违禁品检测器的训练过程包括：

S21，将各类违禁品包裹分别对应的各个X光图像输入特征提取网络得到图像特征图；

S22，将图像特征图输入区域建议网络，获得感兴趣区域特征图，对所述感兴趣区域特征图降维得到感兴趣区域特征向量；

S23，将各类违禁品包裹的X光图像及各个X光图像数据携带的标注输入元特征提取器，输出类注意向量；所述标注包括相应X光图像中违禁品的真实类别和真实位置；

S24，采用类注意向量对感兴趣区域特征向量做重赋权操作，得到重赋权后的单维特征向量；

S25，将单维特征向量输入分类回归网络，得到表征各类违禁品类别得分及边框调整参数的输出特征向量，将输出特征向量中得分最高的类别确定为各类违禁品的预测类别，根据边框调整参数确定各类违禁品在相应X光图像数据中的预测位置，根据各类违禁品的预测类别、预测位置、真实类别与真实位置做运算，计算损失函数，通过损失函数反向传播，以调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络；

S26，采用调节后的特征提取网络、元特征提取器及分类回归网络返回步骤S21重新将各类违禁品包裹分别对应的各个X光图像输入特征调节后的提取网络得到图像特征图，直至训练次数大于或等于预设的迭代次数，依据当前的分类回归网络确定违禁品检测器。

3.根据权利要求2所述的新型X光违禁品包裹跟踪方法，其特征在于，所述特征提取网络包括卷积层、池化层与非线性映射层；

所述卷积层执行的卷积操作包括：

f₂[x,y]＝f₁[x,y]*w[x,y]，

式中，f₁[x,y]表示输入特征提取网络的图像，w[x,y]表示卷积核，f₂[x,y]表示卷积后所得特征；

所述非线性映射层执行的非线性映射操作包括：

f₃[x,y]＝max(0,f₂[x,y])，

其中，max()表示取较大值，f₃[x,y]表示做非线性映射后得到的图像特征图。

4.根据权利要求2所述的新型X光违禁品包裹跟踪方法，其特征在于，所述将图像特征图输入区域建议网络，获得感兴趣区域特征图，对所述感兴趣区域特征图降维得到感兴趣区域特征向量包括：

将图像特征图的各个点定义为锚点，以每个锚点为中心定义多个锚框，去除超图像特征图区域的锚框，得到有效锚框，对所述有效锚框进行二分类，若为违禁品锚框，则对违禁品锚框进行边框回归，否则剔除相应的有效锚框，再剔除边框回归后的违禁品锚框中重叠的锚框，在剩下的锚框中提取置信度最高的前n个锚框，作为感兴趣区域特征图，再降维得到感兴趣区域特征向量。

5.根据权利要求4所述的新型X光违禁品包裹跟踪方法，其特征在于，所述识别有效锚框中表征违禁品的目标锚框包括：

获取有效锚框与真实标记框之间的交并比，将交并比大于设定阈值的有效锚框确定为目标锚框。

6.根据权利要求2所述的新型X光违禁品包裹跟踪方法，其特征在于，所述采用类注意向量对感兴趣区域特征向量做重赋权操作包括：

在感兴趣区域特征向量中获取类注意特征向量中各个元素的对应位，将类注意特征向量中各个元素分别与感兴趣区域特征向量中对应的元素相乘，以实现做重赋权操作。

7.根据权利要求6所述的新型X光违禁品包裹跟踪方法，其特征在于，所述采用类注意特征向量对感兴趣区域特征向量做重赋权操作，得到重赋权后的单维特征向量包括：

V_k＝mean(f₅[x,y])×z_k，

式中，V_k表示单维特征向量中的第k个元素，f₅[x,y]表示感兴趣区域特征图，z_k表示类注意特征图中的第k个元素，mean()表示求平均值。

8.根据权利要求2所述的新型X光违禁品包裹跟踪方法，其特征在于，所述将输出特征向量中得分最高的类别确定为各类违禁品的预测类别包括：

若输出特征向量中得分最高的类别小于或等于预设的类阈值，则判定单维特征向量中不存在表征违禁品的特征，若输出特征向量中得分最高的类别大于预设的类阈值，则将输出特征向量中得分最高的类别确定为各类违禁品的预测类别。

9.根据权利要求1至8任一项所述的新型X光违禁品包裹跟踪方法，其特征在于，所述启动条码扫描设备，所述条码扫描设备获取所述包裹的条码图像，将所述条码图像发送至服务器，使所述服务器根据所述条码图像识别包裹条码包括：

发送打光信号至打光控制器，启动条码扫描设备，所述打光控制器开启光源，所述条码扫描设备在光源照射的情况下获取所述包裹的条码图像，将所述条码图像通过信息采集器发送至服务器中，以使服务器预设的条码识别软件识别条码图像携带的包裹条码。

10.一种新型X光违禁品包裹跟踪装置，其特征在于，包括第一包裹触发器、X光扫描设备、服务器、条码扫描设备、第二包裹触发器、和分拣控制器；

所述第一包裹触发器在检测到传送带上传送的包裹时，发送拍摄信号给X光扫描设备，使所述X光扫描设备对所述包裹进行X光扫描，获得所述包裹的第一X光图像、第一包裹位置与第一序列信息，将所述第一X光图像、第一包裹位置与第一序列信息发送至服务器；

所述服务器将所述第一X光图像输入预先训练的违禁品检测器，在检测到所述第一X光图像包括违禁品信息时，启动条码扫描设备，在收到条码图像发送的条码图像后识别条码图像携带的包裹条码，以根据包裹条码在分拣控制器控制机械手推动当前传送的包裹进入分拣线后跟踪相应包裹，并在收到第二包裹位置与第二序列信息后将所述第二包裹位置与第一包裹位置，以及第二序列信息与第一序列信息分别进行比对，在比对结果一致时，向分拣控制器发送分拣指令；

所述条码扫描设备在启动后获取所述包裹的条码图像，将所述条码图像发送至服务器；

所述第二包裹触发器在检测到传送带上传送的包裹时，获取所述包裹的第二包裹位置与第二序列信息，将所述第二包裹位置与第二序列信息发送至服务器；

所述分拣控制器接收分拣指令，控制机械手推动当前违禁品包裹进入分拣线。

Images