CN111994377B - 包装箱工序检测的方法、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种包装箱工序检测的方法、装置和计算机设备，其中，包装箱工序检测的方法包括：获取包装箱的识别图像，通过检测识别模型，生成识别图像中不同部件的模型检测框，根据模型检测框与检测区域的交并比，对模型检测框进行过滤，其中，模型检测框与部件对应，对过滤后的模型检测框的位置进行预测，得到预测检测框，通过将模型检测框和预测检测框进行关联融合，得到跟踪检测框，根据跟踪检测框对包装箱进行跟踪，在跟踪结束之后，根据模型检测框的识别次数，判定检测区域中工序是否完整，解决了相关技术中通过大量传感器和X光机进行包装箱检测，导致检测设备体积大，成本高的问题，提高了检测效率，降低了检测设备的成本。

Description

包装箱工序检测的方法、装置和计算机设备

技术领域

本申请涉及图像检测技术领域，特别是涉及包装箱工序检测的方法、装置和计算机设备。

背景技术

随着科学技术的发展，工厂在生产的过程中，越来越多地使用到智能化生产设备，以实现智能工厂。在产品出厂前，常常需要对包装箱内的零部件是否齐全进行检测，在相关技术中，通过大量传感器和X光机检测包装箱内部是否存在漏装，少装产品零部件的情况，整个检测设备体积大，成本高。

目前针对相关技术中，通过大量传感器和X光机进行包装箱检测，导致检测设备体积大，成本高的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种包装箱工具检测的方法、装置、计算机设备和计算机可读存储介质，以至少解决相关技术中通过大量传感器和X光机进行包装箱检测，导致检测设备体积大，成本高的问题。

第一方面，本申请实施例提供了一种包装箱工序检测的方法，所述方法包括：

获取包装箱的识别图像，通过检测识别模型，生成所述识别图像中不同部件的模型检测框，根据所述模型检测框与检测区域的交并比，对所述模型检测框进行过滤，其中，所述模型检测框与所述部件对应；

对所述过滤后的模型检测框的位置进行预测，得到预测检测框，通过将所述模型检测框和所述预测检测框进行关联融合，得到跟踪检测框，根据所述跟踪检测框对所述包装箱进行跟踪；

在所述跟踪结束之后，根据所述模型检测框的识别次数，判定所述检测区域中工序是否完整。

在其中一些实施例中，所述通过将所述模型检测框和所述预测检测框进行关联融合，得到跟踪检测框，根据所述跟踪检测框对所述包装箱进行跟踪包括：

根据所述预测检测框和所述模型检测框的交并比，将所述预测检测框和所述模型检测框进行关联融合，得到所述跟踪检测框；

标记未进行关联的所述模型检测框，在所述标记的次数达到预设标记阈值的情况下，判定所述模型检测框为丢失状态；

获取所述丢失状态的模型检测框在所述检测区域的位置，在所述模型检测框与所述检测区域的交并比大于预设交并阈值的情况下，添加所述模型检测框至多个所述跟踪检测框形成的跟踪队列。

在其中一些实施例中，所述将所述模型检测框和所述预测检测框进行关联融合还包括：

在所述模型检测框的关联融合的数量为0的情况下，获取所述识别图像的前一帧图像中的跟踪队列中的模型检测框和预测检测框；

根据所述模型检测框与所述预测检测框的交并比进行强关联。

在其中一些实施例中，在所述对所述过滤后的模型检测框的位置进行预测之前，所述方法包括：

获取所述检测区域中的跟踪队列，在所述跟踪队列不为空的情况下，对所述跟踪队列中的模型检测框的位置进行预测，或者，

在所述跟踪队列为空的情况下，对所述跟踪队列进行初始化。

在其中一些实施例中，所述根据所述模型检测框与检测区域的交并比，对所述模型检测框进行过滤包括：

在所述模型检测框与所述检测区域的交并比小于第一过滤阈值的情况下，将所述模型检测框过滤；或者，

所述检测区域包括第一模型检测框和第二模型检测框，在所述第一模型检测框包含所述第二模型检测框的情况下，将所述第二模型检测框过滤；或者，

在所述第一模型检测框和所述第二模型检测框相交的情况下，获取所述第一模型检测框和所述第二模型检测框的交并比，在所述交并比小于第二过滤阈值的情况下，不作处理，在所述交并比大于或者等于所述第二过滤阈值的情况下，根据所述第一模型检测框和所述第二模型检测框分别与所述检测区域的交并比，以及所述第一模型检测框和所述第二模型检测框的置信度，对所述第一模型检测框和所述第二模型检测框进行过滤。

在其中一些实施例中，所述判定所述检测区域中工序是否完整包括：

在所述识别次数大于预设识别阈值的情况下，判定所述工序完整；或者，

在所述识别次数小于或者等于所述预设识别阈值的情况下，触发报警信号。

在其中一些实施例中，在所述获取包装箱的识别图像之前，所述方法还包括训练所述检测识别模型：

获取训练图像，对所述训练图像进行随机旋转裁剪；

对所述随机旋转裁剪后的所述训练图像进行数据增强训练和归一化，其中，所述数据增强训练包括改变所述训练图像的光照、对所述训练图像进行翻转或者放缩。

在其中一些实施例中，在所述对所述训练图像进行随机旋转裁剪之前，所述方法还包括：

根据所述训练图像中物体的类型和数量，对所述训练图像进行筛选。

第二方面，本申请实施例提供了一种包装箱工序检测的装置，所述装置包括传感器、装配设备和处理器；

所述传感器获取包装箱的识别图像，所述处理器通过检测识别模型，生成所述识别图像中不同部件的模型检测框，所述处理器获取所述装配设备上的检测区域，并根据所述模型检测框与所述检测区域的交并比，对所述模型检测框进行过滤，其中，所述模型检测框与所述部件对应；

所述处理器对所述过滤后的模型检测框的位置进行预测，得到预测检测框，通过将所述模型检测框和所述预测检测框进行关联融合，得到跟踪检测框，根据所述跟踪检测框对所述包装箱进行跟踪，其中，所述位置为所述装配设备的所述检测区域中的位置；

在所述跟踪结束之后，所述处理器根据所述模型检测框的识别次数，判定所述检测区域中工序是否完整。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一所述方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述方法。

相比于相关技术，本申请实施例提供的包装箱工序检测的方法，获取包装箱的识别图像，通过检测识别模型，生成该识别图像中不同部件的模型检测框，根据该模型检测框与检测区域的交并比，对该模型检测框进行过滤，其中，该模型检测框与该部件对应，对该过滤后的模型检测框的位置进行预测，得到预测检测框，通过将该模型检测框和该预测检测框进行关联融合，得到跟踪检测框，根据该跟踪检测框对该包装箱进行跟踪，在该跟踪结束之后，根据该模型检测框的识别次数，判定该检测区域中工序是否完整，解决了相关技术中通过大量传感器和X光机进行包装箱检测，导致检测设备体积大，成本高的问题，提高了检测效率，降低了检测设备的成本。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的包装箱工序检测的方法的应用环境示意图；

图2是根据本申请实施例的包装箱工序检测的方法的流程图；

图3A是根据本申请实施例的残差的输入和卷积处理的示意图；

图3B是根据本申请实施例的残差计算的示意图；

图4是根据本申请实施例的将模型检测框和预测检测框进行关联融合的方法的流程图；

图5是根据本申请实施例的训练检测识别模型的方法的流程图；

图6是根据本申请实施例的包装箱工序检测的装置的结构框图；

图7是根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请提供的包装箱工序检测的方法，可以应用于如图1所示的应用环境中，图1是根据本申请实施例的包装箱工序检测的方法的应用环境示意图，如图1所示。其中，图像传感器102与服务器104通信连接，图像传感器102获取流水线上包装箱106的识别图像，服务器104通过检测识别模型，生成该识别图像中不同部件的模型检测框，根据该模型检测框与检测区域的交并比，对该模型检测框进行过滤，并对过滤后的模型检测框的位置进行预测，得到预测检测框，服务器104通过将该模型检测框和该预测检测框进行关联融合，得到跟踪检测框，根据该跟踪检测框对该包装箱进行跟踪，在该跟踪结束之后，服务器104根据该模型检测框的识别次数，判定该检测区域中工序是否完整。其中，本实施例中的图像传感器102为半球相机，在其他实施例中，图像传感器还可以为其他摄像装置，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

本实施例提供了一种包装箱工序检测的方法，图2是根据本申请实施例的包装箱工序检测的方法的流程图，如图2所示，该方法包括如下步骤：

步骤S201，获取包装箱的识别图像，通过检测识别模型，生成该识别图像中不同部件的模型检测框，根据该模型检测框与检测区域的交并比，对该模型检测框进行过滤，其中，该模型检测框与该部件对应。

本实施例中的包装箱，可以为智能电器或者其它工业设备的包装箱，在包装箱为智能电视包装箱的情况下，包装箱内需要装入的部件包括智能电视本体、遥控器、智能电视使用说明书、电视支架等等。本实施例中的识别图像由摄像装置或者其它图像传感器获取，检测识别模型通过深度学习生成识别图像中的每一个部件的模型检测框，便于后续处理器的分析和跟踪。检测区域为该智能电视包装流水线上每道工序中，摄像装备进行检测的区域，交并比为重合面积与总面积的比值，本实施例中的重合面积为检测区域与模型检测框的重合面积，总面积为检测区域、模型检测框的面积之和。在该交并比小于预设的过滤阈值的情况下，删除该交并比对应的模型检测框。

本实施例中使用目标检测算法(You Only Look Once，简称为YOLO)V3版本作为主要检测网络，YOLO V3是一种经典的单阶段检测方案，从V1版本到V3版本，每个版本都在一步步地提高检测精度。YOLO V3网络在提升了速度的同时，还提升了精度，加强了对小目标物体的识别能力。图3是根据本申请实施例的YOLO V3主干网络结构示意图，如图3所示，图3A是根据本申请实施例的残差的输入和卷积处理的示意图，图3B是根据本申请实施例的残差计算的示意图，YOLO V3通过系统的残差结构，最后输出目标的类别，而且对不同阶段的语义信息进行融合，最后输出目标的宽高。图中，IN表示输入，res conv表示残差卷积网络，res conv2、res conv4、res conv8、res conv16和res conv32表示维数不同的残差卷积网络，conv表示卷积，fc(fully connected)表示全连接层，Box表示盒卷积，cls表示分类，1X、2X、8X、4X分别表示不同残差计算过程中的特征维数。

步骤S202，对该过滤后的模型检测框的位置进行预测，得到预测检测框，通过将该模型检测框和该预测检测框进行关联融合，得到跟踪检测框，根据该跟踪检测框对该包装箱进行跟踪。

在获取到清晰的模型检测框之后，需要对该模型检测框在检测区域中的位置进行预测，本实施例中通过卡尔曼滤波器对模型检测框的位置进行预测，得到预测检测框，通过匈牙利算法对模型检测框进行和预测检测框进行关联，之后再次通过卡尔曼滤波器对关联的模型检测框和预测检测框进行融合，得到跟踪检测框。其中，卡尔曼滤波器为一种数据滤波算法，可以去除数据中的噪声，并还原真实数据，在测量方差已知的情况下，卡尔曼滤波器能够从一系列存在测量噪声的数据中，估计动态系统的状态，而匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法。

步骤S203，在该跟踪结束之后，根据该模型检测框的识别次数，判定该检测区域中工序是否完整。

在跟踪检测框到达检测区域末端的情况下，会触发结束信号，表示该道工序结束，然后统计模型检测框从进入检测区域开始，到触发结束信号的时间段内，被检测到的识别次数，将该识别次数与预设识别阈值进行对比，根据对比结果来判断该检测区域中国的工序是否完整无误。

通过上述步骤201至步骤S203，通过摄像装置监控每道工序，使用深度学习网络对该工序操作过程进行预测和跟踪，并在触发结束信号后，对该工序的检测区域中，模型检测框被识别的次数进行统计，从而确定包装箱内部的部件是否完整，本实施例中使用少量的传感器，基于深度学习实现包装箱的工序检测，解决了相关技术中通过大量传感器和X光机进行包装箱检测，导致检测设备体积大，成本高的问题，在提高了检测效率的同时，降低了检测设备的成本。

在一些实施例中，图4是根据本申请实施例的将模型检测框和预测检测框进行关联融合的方法的流程图，如图4所示，该方法包括如下步骤：

步骤S401，根据预测检测框和模型检测框的交并比，将该预测检测框和该模型检测框进行关联融合，得到跟踪检测框。

对于本实施例中的交并比，重合面积为该模型检测框与该预测检测框的重合面积，总面积为模型检测框与预测检测框的面积之和。本实施例中通过匈牙利算法进行关联，将模型检测框和预测检测框的交并比作为度量指标，使得关联后的交并比累积最大。

在将模型检测框和预测检测框进行关联之后，通过卡尔曼滤波器将该模型检测框和该预测检测框进行融合，形成跟踪检测框。

步骤S402，标记未进行关联的模型检测框，在该标记的次数达到预设标记阈值的情况下，判定该模型检测框为丢失状态。

在工序中，一个包装箱由于具有多个部件，可能具有多个模型检测框，在这些模型检测框移动的过程中，如果移动速度过快，则无法和预测检测框进行关联，对该无法进行关联的模型检测框进行标记。具体地，在预设标记阈值为4的情况下，在本工序中，该模型检测框被标记为未关联的次数达到4，则判定该模型检测框已经丢失，不再对该模型检测框进行跟踪。

步骤S403，获取该丢失状态的模型检测框在该检测区域的位置，在该模型检测框与该检测区域的交并比大于预设交并阈值的情况下，添加该模型检测框至多个跟踪检测框形成的跟踪队列。

在工序中，一个包装箱的多个模型检测框，形成一个跟踪队列。对标记为未关联的模型检测框进行位置检测，从而获取该模型检测框与检测区域的交并比，在预设交并阈值为0.4的情况下，只有在该模型检测框与检测区域的交并比大于0.4的条件下，该模型检测框才可以被添加至跟踪队列。

通过上述步骤S401和步骤S402，基于多目标跟踪法，本实施例对模型检测框和预测检测框进行关联和融合，形成跟踪检测框，进而对包装箱中的部件进行跟踪，保证了跟踪的实时性和准确性，降低了跟踪方法所需的时间，减少了运算的复杂性，大大降低了其他跟踪算法所需的时间和空间复杂度，并且在实际使用中具有较优的鲁棒性。

在其中一些实施例中，将模型检测框和预测检测框进行关联融合还包括：在该模型检测框的关联融合的数量为0的情况下，获取该识别图像的前一帧图像中的跟踪队列中的模型检测框和预测检测框，根据该模型检测框与该预测检测框的交并比进行强关联。例如，在模型检测框的关联融合数量为0的情况下，计算不同模型检测框和预测检测框之间的交并比，取交并比的值最高的模型检测框和预测检测框的组合进行强关联，本实施例在进行强关联后，不增加跟踪队列的数量，保证工序检测过程的连续性，提高跟踪检测的效率。

在其中一些实施例中，在对过滤后的模型检测框的位置进行预测之前，该包装箱工序检测的方法还包括：获取检测区域中的跟踪队列，在该跟踪队列不为空的情况下，对该跟踪队列中的模型检测框的位置进行预测，或者，在该跟踪队列为空的情况下，对该跟踪队列进行初始化，对当前识别图像的下一帧图像进行识别和跟踪。其中，跟踪队列为空是指检测区域中没有由包装箱中的部件形成的模型检测框，无法对该帧识别图像进行跟踪。本实施例在对模型检测框进行跟踪之前，进行跟踪队列检测，剔除空的跟踪队列，减少了跟踪检测过程中的无效数据量，提高了检测速度。

在一些实施例中，根据模型检测框与检测区域的交并比，对满足以下条件之一的模型检测框进行过滤：

1、在该模型检测框与该检测区域的交并比小于第一过滤阈值的情况下，将该模型检测框过滤。

具体地，在模型检测框与检测区域相交的情况下，计算该模型检测框与检测区域的交并比，在第一过滤阈值为0.4的情况下，如果交并比小于0.4，则删除该模型检测框；在模型检测框与检测区域不相交的情况下，直接删除模型检测框。

2、该检测区域包括第一模型检测框和第二模型检测框，在该第一模型检测框包含该第二模型检测框的情况下，将该第二模型检测框过滤。其中，包含第二模型检测框完全位于第一模型检测框中，此时，判定该第二模型检测框为误检，将该第二模型检测框删除。

3、在该第一模型检测框和该第二模型检测框相交的情况下，获取该第一模型检测框和该第二模型检测框的交并比，在该交并比小于第二过滤阈值的情况下，不作处理，在该交并比大于或者等于该第二过滤阈值的情况下，根据该第一模型检测框和该第二模型检测框分别与该检测区域的交并比，以及该第一模型检测框和该第二模型检测框的置信度，对该第一模型检测框和该第二模型检测框进行过滤。

具体地，在第二过滤阈值为0.3的情况下，如果第一模型检测框和第二模型检测框的交并比小于0.3，则不对该第一模型检测框和第二模型检测框进行任何处理；如果该交并比大于或者等于0.3，获取第一模型检测框与该检测区域的第一交并比，获取该第二模型检测框与该检测区域的第二交并比，在该第一交并比小于该第二交并比的情况下，删除该第一模型检测框，在该第一交并比与该第二交并比相等的情况下，过滤置信度低的模型检测框，置信度由YOLO V3网络给出。

在本实施例中，不同的检测条件可以适用于不同的检测场景中，在包装箱与识别图像、模型检测框、检测区域均设置为水平，并且整个工序只对一个包装箱进行操作的条件下，通过对包装箱中的模型检测框进行过滤，可以删除同一部件的多余模型检测框，在检测区域中只保存清晰无误的模型检测框，减少了大量的无用数据，提高了对包装箱检测和跟踪的效率。

在一些实施例中，判定检测区域中工序是否完整包括：在识别次数大于预设识别阈值的情况下，判定该工序完整；或者，在该识别次数小于或者等于该预设识别阈值的情况下，触发报警信号。在跟踪检测框到达检测区域末端的情况下，会触发结束信号，表示该道工序结束，此时进行数据统计，统计从对模型检测框开始跟踪到触发结束信号的时间段内，模型检测框的识别次数，该识别次数同时为包装箱内部件被识别到的次数，在该识别次数大于识别阈值的情况下，则认为该道工序没有遗漏，顺利通过。在该识别次数小于或者等于该预设识别阈值的情况下，触发报警信号，提示操作工人该道工序有缺陷，需要重做。其中，报警信号可以为声音信号、光信号或者电信号。本实施例中的对工序完整性进行判断和处理的方法，可以大大减少流水线上包装箱内部件被遗漏或者误放的情况。

在其中一些实施例中，在对识别次数进行统计判断之后，对所有的数据进行记录和存储，便于工作人员的回看。在触发报警信号的情况下，也对该报警信号进行存储。

在一些实施例中，图5是根据本申请实施例的训练检测识别模型的方法的流程图，如图5所示，该方法包括如下步骤：

步骤S501，获取训练图像，对该训练图像进行随机旋转裁剪。由于深度学习网络的输入大小为512*512，因此需要对训练图像进行裁剪，本实施例中采用固定区域的随机旋转裁剪。

步骤S502，对该随机旋转裁剪后的该训练图像进行数据增强训练和归一化，其中，该数据增强训练包括改变该训练图像的光照、对该训练图像进行翻转或者放缩。

考虑到流水线上的光照变化，为了增加深度学习网络对光照的鲁棒性，本实施例中对数据进行光照方面的处理，增加不同光照下的数据数量，使用翻转、放缩等手段增加数据数量，使用归一化数据操作加快网络收敛速度。

通过上述步骤S501和步骤S502，本实施例中使用深度学习YOLO V3网络对包装箱内的部件进行检测和训练，获得包装箱内部件的检测识别模型的权重参数，通过对训练图像的数据增强，有效地降低环境因素对检测准确度的影响，提高整个检测过程的鲁棒性和准确度。

在一些实施例中，在对训练图像进行随机旋转裁剪之前，根据训练图像中物体的类型和数量，对训练图像进行筛选。本实施例中的训练图像使用半球相机作为传感器获取，该训练图像中，可能会存在图像模糊、部件类型单一或者部件数量过多的情况，因此需要将数据图像进行挑选、分类和清洗，进而得到可用的训练数据。然后将训练数据按照8:1:1划分为训练集，验证集和测试集，其中，训练集数据用于深度学习网络的训练，验证集作为训练过程中的评估数据集，根据深度学习网络在验证集上的精度，可以随时调整深度学习网络的参数，得到最优模型，测试集则作为深度学习网络精度评估的基准数据。最后通过标注人员来标注三个数据集数据。本实施例通过对训练图像的初步筛选，减少了大量无用数据，提高深度学习网络的计算效率。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例还提供了一种包装箱工序检测的装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是根据本申请实施例的包装箱工序检测的装置的结构框图，如图6所示，该装置包括：包括传感器61、装配设备62和处理器63；

该传感器61获取包装箱的识别图像，该处理器63通过检测识别模型，生成该识别图像中不同部件的模型检测框，该处理器63获取该装配设备62上的检测区域，并根据该模型检测框与该检测区域的交并比，对该模型检测框进行过滤，其中，该模型检测框与该部件对应。

该处理器63对该过滤后的模型检测框的位置进行预测，得到预测检测框，通过将该模型检测框和该预测检测框进行关联融合，得到跟踪检测框，根据该跟踪检测框对该包装箱进行跟踪，其中，该位置为该装配设备62的该检测区域中的位置。

在该跟踪结束之后，该处理器63根据该模型检测框的识别次数，判定该检测区域中工序是否完整。

本实施例中的包装箱工序检测的装置，通过传感器61获取装配设备62上的包装箱的识别图像，处理器63通过深度学习网络对该工序操作过程进行预测和跟踪，并在触发结束信号后，对该工序的检测区域中，模型检测框被识别的次数进行统计，从而确定包装箱内部的部件是否完整，本实施例中使用少量的传感器，基于深度学习实现包装箱的工序检测，解决了相关技术中通过大量传感器和X光机进行包装箱检测，导致检测设备体积大，成本高的问题，在提高了检测效率的同时，降低了检测设备的成本，在使用少量传感器的情况下，提高流水线上产品的质量，保证了流水线上高效低错的工作效率。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种包装箱工序检测的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，图7是根据本申请实施例的电子设备的内部结构示意图，图7所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图7所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种包装箱工序检测的方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例提供的包装箱工序检测的方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例提供的包装箱工序检测的方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种包装箱工序检测的方法，其特征在于，所述方法包括：

获取包装箱的识别图像，通过检测识别模型，生成所述识别图像中不同部件的模型检测框，根据所述模型检测框与检测区域的交并比，对所述模型检测框进行过滤，其中，所述模型检测框与所述部件对应；

对所述过滤后的模型检测框的位置进行预测，得到预测检测框，通过将所述模型检测框和所述预测检测框进行关联融合，得到跟踪检测框，根据所述跟踪检测框对所述包装箱进行跟踪；

所述将所述模型检测框和所述预测检测框进行关联融合包括：在所述模型检测框的关联融合的数量为0的情况下，获取所述识别图像的前一帧图像中的跟踪队列中的模型检测框和预测检测框；根据所述模型检测框与所述预测检测框的交并比进行强关联；

在所述跟踪结束之后，根据所述模型检测框的识别次数，判定所述检测区域中工序是否完整。

2.根据权利要求1所述的方法，其特征在于，所述通过将所述模型检测框和所述预测检测框进行关联融合，得到跟踪检测框，根据所述跟踪检测框对所述包装箱进行跟踪包括：

根据所述预测检测框和所述模型检测框的交并比，将所述预测检测框和所述模型检测框进行关联融合，得到所述跟踪检测框；

标记未进行关联的所述模型检测框，在所述标记的次数达到预设标记阈值的情况下，判定所述模型检测框为丢失状态；

获取所述丢失状态的模型检测框在所述检测区域的位置，在所述模型检测框与所述检测区域的交并比大于预设交并阈值的情况下，添加所述模型检测框至多个所述跟踪检测框形成的跟踪队列。

3.根据权利要求1所述的方法，其特征在于，在所述对所述过滤后的模型检测框的位置进行预测之前，所述方法包括：

获取所述检测区域中的跟踪队列，在所述跟踪队列不为空的情况下，对所述跟踪队列中的模型检测框的位置进行预测，或者，

在所述跟踪队列为空的情况下，对所述跟踪队列进行初始化。

4.根据权利要求1所述的方法，其特征在于，所述根据所述模型检测框与检测区域的交并比，对所述模型检测框进行过滤包括：

在所述模型检测框与所述检测区域的交并比小于第一过滤阈值的情况下，将所述模型检测框过滤；或者，

所述检测区域包括第一模型检测框和第二模型检测框，在所述第一模型检测框包含所述第二模型检测框的情况下，将所述第二模型检测框过滤；或者，

在所述第一模型检测框和所述第二模型检测框相交的情况下，获取所述第一模型检测框和所述第二模型检测框的交并比，在所述交并比小于第二过滤阈值的情况下，不作处理，在所述交并比大于或者等于所述第二过滤阈值的情况下，根据所述第一模型检测框和所述第二模型检测框分别与所述检测区域的交并比，以及所述第一模型检测框和所述第二模型检测框的置信度，对所述第一模型检测框和所述第二模型检测框进行过滤。

5.根据权利要求1所述的方法，其特征在于，所述判定所述检测区域中工序是否完整包括：

在所述识别次数大于预设识别阈值的情况下，判定所述工序完整；或者，

在所述识别次数小于或者等于所述预设识别阈值的情况下，触发报警信号。

6.根据权利要求1所述的方法，其特征在于，在所述获取包装箱的识别图像之前，所述方法还包括训练所述检测识别模型：

获取训练图像，对所述训练图像进行随机旋转裁剪；

对所述随机旋转裁剪后的所述训练图像进行数据增强训练和归一化，其中，所述数据增强训练包括改变所述训练图像的光照、对所述训练图像进行翻转或者放缩。

7.根据权利要求6所述的方法，其特征在于，在所述对所述训练图像进行随机旋转裁剪之前，所述方法还包括：

根据所述训练图像中物体的类型和数量，对所述训练图像进行筛选。

8.一种包装箱工序检测的装置，其特征在于，所述装置包括传感器、装配设备和处理器；

所述传感器获取包装箱的识别图像，所述处理器通过检测识别模型，生成所述识别图像中不同部件的模型检测框，所述处理器获取所述装配设备上的检测区域，并根据所述模型检测框与所述检测区域的交并比，对所述模型检测框进行过滤，其中，所述模型检测框与所述部件对应；

所述处理器对所述过滤后的模型检测框的位置进行预测，得到预测检测框，通过将所述模型检测框和所述预测检测框进行关联融合，得到跟踪检测框，根据所述跟踪检测框对所述包装箱进行跟踪，其中，所述位置为所述装配设备的所述检测区域中的位置；

所述将所述模型检测框和所述预测检测框进行关联融合包括：在所述模型检测框的关联融合的数量为0的情况下，获取所述识别图像的前一帧图像中的跟踪队列中的模型检测框和预测检测框；根据所述模型检测框与所述预测检测框的交并比进行强关联；

在所述跟踪结束之后，所述处理器根据所述模型检测框的识别次数，判定所述检测区域中工序是否完整。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。

Images