CN117876799A - 一种物流供应链品控缺陷检测方法及系统 - Google Patents

Abstract

本发明公开了一种物流供应链品控缺陷检测方法及系统，其中方法包括：采集有关物流供应链品控的训练数据，并提取训练数据的缺陷特征；基于特征缺陷，构建混合检测模型；优化检测模型，得到最终模型；利用最终模型，完成物流供应链上的品控缺陷检测。本发明通过融合形变检测和穿透性破损检测两个神经网络模块，实现了对物流供应链纸箱包装的综合检测。本发明能够同时兼顾形变检测和穿透性破损检测，解决了目前方法只能单一处理这两个方面的问题。这将会进一步提高物流供应链纸箱包裹运输过程中的安全性和效率，为物流行业带来更大的便利和效益。

Description

一种物流供应链品控缺陷检测方法及系统

技术领域

本发明涉及深度学习与工业物流供应链相结合的领域，具体涉及一种物流供应链品控缺陷检测方法及系统。

背景技术

物流行业在经济和科技发展下逐渐成为现代社会不可或缺的一部分。随着业务增长，物流自动化和智能化成为研究热点。许多企业提供预约、追踪等服务，自动化分拣设备应用于运输流程中，物流供应链行业正朝数字化、智能化、自动化发展。然而，在运输过程中，工业物流纸箱包裹丢失或破损无法完全避免，可能导致纠纷。因此，有必要通过自动化技术在每个物流站点对工业纸箱包裹进行破损检测和追溯，减少人力投入和成本。

近年来，深度学习技术在计算机视觉领域不断取得新的发展，在图像分类、目标识别等任务均有出色的表现，并已广泛应用到工业供应链上的品控缺陷检测等任务。图像分类是计算机视觉领域的核心任务之一，目标是将输入的图像分为不同的类别；目标检测是另一个重要的计算机视觉任务，它不仅需要识别图像中存在的目标，还需要精确定位目标的位置。基于以上的图像分类和目标检测技术，可以将纸箱包裹破损检测任务划分为形变分类和穿透性破损目标检测两个子任务。而深度学习作为计算机视觉领域的前沿技术，为纸箱包裹破损检测任务提供强有力的支持。通过利用深度学习的图像分类和目标检测方法，有望实现对包裹形变和表面破损的自动化检测，提高工业供应链领域中纸箱包裹破损检测任务的准确性和效率。

发明内容

为解决上述背景中的技术内容，本发明提出一种混合神经网络模型的物流供应链品控缺陷检测方法；旨在解决现有的深度学习技术难以有效地捕捉物流供应链纸箱包裹形变和穿透性破损特征的问题。

为实现上述目的，本发明提供了以下方案：

一种物流供应链品控缺陷检测方法，步骤包括：

采集有关物流供应链品控的训练数据，并提取所述训练数据的缺陷特征；

基于所述特征缺陷，构建混合检测模型，所述检测模型包括：形变检测模块和穿透性破损检测模块；

优化所述检测模型，得到最终模型；

利用所述最终模型，完成物流供应链上的品控缺陷检测。

优选的，所述训练数据均为图像数据，所述缺陷特征包括：形变特征和穿透性破损特征。

优选的，所述形变检测模块包括：一个步长为2的3乘3卷积层和13个深度可分离卷积块；其中，每个卷积层采用批归一化，提取到的特征经由一个全局平均池化层和两个全连接层，最后再通过激活函数将的输出转换为概率。

优选的，所述深度可分离卷积块包括：逐深度卷积和逐点卷积；其中，所述逐深度卷积独立地对每个输入通道应用3乘3的卷积核，得到与输入通道数相同的输出通道数；每个输入通道都会生成一个对应的输出通道，而卷积计算时不涉及不同通道之间的交互；所述逐点卷积使用1乘1卷积核对每个通道进行卷积运算，用于训练模型同时学习到包裹图片的局部和全局的特征。

优选的，所述穿透性破损检测模块包括：物流品控缺陷特征提取部分和特征融合部分；所述穿透性破损检测模块的工作流程包括：采用所述物流品控缺陷特征提取部分对输入的图像进行特征提取，提取后的物流品控缺陷特征通过所述特征融合部分进行进一步增强，最后提取到的不同尺度的特征输入到不同的detect检测头，得到预测的边界框和类别。

优选的，所述物流品控缺陷特征提取部分采用6个卷积子模块对输入的特征图进行特征提取，并且第2至6的卷积子模块的输出都会分别对应输入到各自的残差学习子模块，随后再各自输入到下一个所述卷积子模块中处理，最后特征图会输入到快速空间金字塔池化子模块中，将同一特征图在不同尺度下的特征融合到一起，丰富最终特征图的表达能力。

优选的，所述特征融合部分采用双路径的方式对所述物流品控缺陷特征提取部分提取到的特征图进行融合处理，得到所述穿透性破损特征。

本发明还提供了一种物流供应链品控缺陷检测系统，所述系统用于实现上述方法，包括：采集模块、构建模块、优化模块和检测模块；

所述采集模块用于采集有关物流供应链品控的训练数据，并提取所述训练数据的缺陷特征；

所述构建基于所述特征缺陷，构建混合检测模型，所述检测模型包括：形变检测模块和穿透性破损检测模块；

所述优化模块用于优化所述检测模型，得到最终模型；

所述检测模块用于利用所述最终模型，完成物流供应链上的品控缺陷检测。

与现有技术相比，本发明的有益效果如下：

本发明通过融合形变检测和穿透性破损检测两个神经网络模块，实现了对物流供应链纸箱包装的综合检测。对于形变检测，该方法将其视为一个图像分类任务，将工业纸箱包装分为有形变和无形变两类。而对于穿透性破损检测，该方法将其视为一个目标检测任务，不仅能够检测破损的存在与否，还能够对纸箱包裹破损区域进行定位。本发明能够同时兼顾形变检测和穿透性破损检测，解决了目前方法只能单一处理这两个方面的问题。这将会进一步提高物流供应链纸箱包裹运输过程中的安全性和效率，为物流行业带来更大的便利和效益。

附图说明

为了更清楚地说明本发明的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的方法流程示意图；

图2为本发明实施例的形变检测模块的结构示意图；

图3为本发明实施例中穿透性破损检测模块的物流品控缺陷特征提取部分的结构示意图；

图4为本发明实施例中穿透性破损检测模块的物流品控缺陷特征提取部分与形变检测模块的残差学习子模块的结构示意图；

图5为本发明实施例的穿透性破损检测模块的特征融合部分的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

如图1所示，为本实施例的方法流程示意图，步骤包括：

S1.采集有关物流供应链品控的训练数据，并提取训练数据的缺陷特征。

收集大量训练物流供应链纸箱包裹数据，并提取形变以及穿透性破损的物流供应链品控缺陷特征用于后续的训练。在本实施例中，训练数据的图像收集于物流供应链的纸箱包裹和周边的快递物流驿站，每张图像均为正对工业纸箱包裹的一面拍摄，使用手机进行拍摄。对自行收集的包裹在采集完整无破损的样本后，人为进行破坏，包括：不同类型、不同程度的破坏，包括用锐利物捅破、划破包裹、从高处摔下、踩踏和用重物压在上面等。在进行损坏后，采集破损包裹的图像。

此外，对数据集中自行收集的包裹图像，通过labelme工具进行了穿透性破损的缺陷标记。将图像中包裹本体标注为box，破洞和裂开标注为damage。带标注的图像保存为json文件，再通过python转化为模型接受的标签格式。进行位置和破损类型标注的数据集将用于目标检测。在进行包装盒和破损处的标记时，需要使目标所在位置的矩形框在完整包含目标的前提下尽可能小。同时，将训练数据按照是否形变分别移动到不同的文件夹中进行形变分类的标记。其中，0表示无形变发生，1表示有形变。由于穿透性破损的检测和形变检测是两个独立的任务，因此未产生形变但受到穿透性破损的包裹仍归类到0。筛选过程中去掉了因拍摄角度等问题不适用于作为训练数据的图像，再由两人进行图片分类，筛去难以界定是否为破损的图片。

提取完特征后的图片，对于穿透性破损检测的物流供应链品控缺陷训练数据样本按照6:2:2划分为训练集、验证集和测试集。

S2.基于特征缺陷，构建混合检测模型。

其中，检测模型包括：形变检测模块和穿透性破损检测模块。将提取到的缺陷特征（形变以及穿透性破损特征）数据传入构建由形变检测模块和穿透性破损检测模块组成的混合检测模型中进行处理，该模型以神经网络为架构。为了优化混合检测模型性能，降低复杂性和训练难度，混合检测模型的训练采用模块化训练方法，分别对形变检测和穿透性破损检测模块进行训练，其中形变检测模块的优化器采用Adam，学习率为0.001，学习率衰减为0.002，批大小batch size为20，早停指标为20。对于穿透性破损检测模块，优化器采用SGD，学习率为0.001，学习率衰减为0.01，批大小batch size为16，早停指标为1000。

如图2所示，当特征图进入到形变检测模块中，输入的图像被输入到一个3乘3的小卷积核中进行初始特征提取。随后将输入到13个可分离卷积层中，可分离卷积层将传统卷积拆分为两个独立的步骤，即：逐深度卷积和逐点卷积。逐深度卷积操作独立地对每个输入通道应用一个3乘3的卷积核，得到与输入通道数相同的输出通道数。这意味着每个输入通道都会生成一个对应的输出通道，而卷积计算时不涉及不同通道之间的交互；逐点卷积使用1乘1卷积核对每个通道进行卷积运算。这样模型可以同时学习到包裹图片的局部（发生形变部位）和全局（未发生形变部位）的特征。

其中每一层卷积后都加入了批归一化（Batch Normalization）和ReLU激活函数。在骨干网络提取到了包裹形变的特征后，提取到的形变特征将被输入到分类网络中，分类网络由一个全局平均池化层和两个全连接层构成，最后再通过Softmax激活函数将网络的输出转换为概率。

如图3所示，为穿透性破损检测模块的结构示意图，包括：物流品控缺陷特征提取部分和特征融合部分。当特征图进入到穿透性破损检测模块中，首先会进入到物流品控缺陷特征提取部分，这里会用6个卷积子模块对输入的特征图进行特征提取；在本实施例中，这些卷积子模块均由标准卷积、批归一化（Batch Normalization）和SiLU激活函数组成。SiLU激活函具有类似于ReLU函数的非线性特性，但相比之下更加平滑。SiLU函数可以看作是输入x和Sigmoid函数之间的逐元素乘积，如公式所示：

。

此外，第2至第6的卷积子模块的输出都会分别对应输入到各自的残差学习子模块，随后再各自输入到下一个卷积子模块中处理，最后特征图会输入到快速空间金字塔池化子模块中，将同一特征图在不同尺度下的特征融合到一起，丰富最终特征图的表达能力；其中特征图进入到快速空间金字塔池化子模块中，首先会输入到一个卷积子模块中处理，随后会依次经过三个最大值池化进行处理，并且卷积子模块以及三个最大值池化这四个子模块的输出会一起进行拼接，最后再经过一个卷积子模块，得到快速空间金字塔池化子模块的输出。

如图4所示，物流品控缺陷特征提取部分的残差学习子模块，其在特征融合部分的残差学习子模块的基础上，其输出会送入到到通道注意力模块中。进入通道注意力模块后，输入特征会经过同时通过全局平均池化和全局最大池化两种方式生成两个向量，其中一个向量包含了每个通道的平均值，另一个向量包含了每个通道的最大值。随后两个向量通过共享的MLP网络进行处理，生成相应的特征表示。最后，两个特征表示会级联在一起，经过Sigmoid激活函数，得到每个输入通道的权重，并与原输入特征图进行逐元素相乘，进而增强对原始特征图的表征能力。随后特征图会喂到空间注意力模块中进行下一步的处理，本实施例把特征图沿着通道维度分成多个子特征图，然后进行最大池化和平均池化操作，得到每个子特征图的空间信息的最大值和平均值。然后将这两个结果在通道维度上拼接起来得到两个通道的特征图。然后经过一个卷积层，降维到1个通道。再经过Sigmoid生成空间注意力权重。最后将该权重和该模块的输入特征图做乘法，得到输入图像的高层次抽象表达。其过程如公式所示：

其中，、/>、/>分别表示经过残差学习子模块、通道注意力、空间注意力模块获得的特征图；/>表示Sigmoid激活函数；/>表示逐元素相乘操作；/>和分别代表最大值和平均值池化。

如图5所示，输入的图像在经过穿透性破损检测模块的物流品控缺陷特征提取部分后，会获得输入图像的高层次抽象表达，它被进一步输入到特征融合部分中。

具体的，经过物流品控缺陷特征提取部分提取的特征会被输入到特征融合部分，该部分通过自上而下和自下而上的特征金字塔，将浅层的图形特征和深层的语义特征并结合到一起，获取更全面的特征表达。经过快速空间金字塔池化子模块丰富过的特征会输入到特征融合部分的第一个卷积子模块中，卷积子模块的输出经过一个上采样后传入特征融合部分的残差学习子模块中。这样卷积子模块+上采样+残差学习子模块的组合有连续三个，并且三个经过上采样后的特征图会分别与特征提取部分中间三个残差学习子模块所获得的的特征进行拼接，拼接后再输入到特征融合部分的残差学习子模块进行处理。特征融合部分的第三个残差学习子模块的输出则会依次经过三个卷积子模块处理，同时最后这三个卷积子模块的输出会分别与特征融合部分的第3、2、1相拼接再输入到下一个残差学习子模块中。特征融合部分的最后四个残差学习子模块的输出会分别经过卷积运算输入到不同的检测头中，得到预测的边界框和类别。

如图4所示，对于特征融合部分的残差学习子模块，对于输入的特征图，采用两条路径对其进行处理：一条路径是使用卷积子模块进行处理；另一条是先使用一个卷积子模块进行处理，随后将其输入到一个瓶颈特征子模块处理；两条路径处理完毕后，将这两条路径的输出进行拼接，然后再输入到一个卷积子模块进行处理，得到该子模块生成的特征。

而上述的瓶颈特征子模块，在特征提取部分的瓶颈特征子模块中，进入该模块的特征图会经过两个卷积子模块，然后通过残差连接与进入瓶颈特征子模块前的特征图相结合。其中在特征提取部分的残差学习子模块中的5个瓶颈特征的子模块的堆叠层数为3、6、9、3、3；所述的特征融合部分的瓶颈特征子模块则不带有残差连接，该部分的瓶颈特征子模块只含有两个卷积子模块。

最终，提取到的不同尺度的特征经过卷积输入到不同的检测头中，从而得到预测的边界框和类别。

S3.优化检测模型，得到最终模型。

计算混合检测模型的误差，得到误差结果；并基于误差结果，调整混合检测模型的参数。之后，重复迭代上述训练过程，得到最终模型。

S4.利用最终模型，完成物流供应链上的品控缺陷检测。

实施例二

本实施例还提供了一种物流供应链品控缺陷检测系统，包括：采集模块、构建模块、优化模块和检测模块；采集模块用于采集有关物流供应链品控的训练数据，并提取训练数据的缺陷特征；构建模块基于特征缺陷，构建混合检测模型，检测模型包括：形变检测模块和穿透性破损检测模块；优化模块用于优化检测模型，得到最终模型；检测模块用于利用最终模型，完成物流供应链上的品控缺陷检测。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (8)

1.一种物流供应链品控缺陷检测方法，其特征在于，步骤包括：

采集有关物流供应链品控的训练数据，并提取所述训练数据的缺陷特征；

基于所述缺陷特征，构建混合检测模型，所述检测模型包括：形变检测模块和穿透性破损检测模块；

优化所述检测模型，得到最终模型；

利用所述最终模型，完成物流供应链上的品控缺陷检测。

2.根据权利要求1所述的物流供应链品控缺陷检测方法，其特征在于，所述训练数据均为图像数据，所述缺陷特征包括：形变特征和穿透性破损特征。

3.根据权利要求1所述的物流供应链品控缺陷检测方法，其特征在于，所述形变检测模块包括：一个步长为2的3乘3卷积层和13个深度可分离卷积块；其中，每个卷积层采用批归一化，提取到的特征经由一个全局平均池化层和两个全连接层，最后再通过激活函数将的输出转换为概率。

4.根据权利要求3所述的物流供应链品控缺陷检测方法，其特征在于，所述深度可分离卷积块包括：逐深度卷积和逐点卷积；其中，所述逐深度卷积独立地对每个输入通道应用3乘3的卷积核，得到与输入通道数相同的输出通道数；每个输入通道都会生成一个对应的输出通道，而卷积计算时不涉及不同通道之间的交互；所述逐点卷积使用1乘1卷积核对每个通道进行卷积运算，用于训练模型同时学习到包裹图片的局部和全局的特征。

5.根据权利要求2所述的物流供应链品控缺陷检测方法，其特征在于，所述穿透性破损检测模块包括：物流品控缺陷特征提取部分和特征融合部分；所述穿透性破损检测模块的工作流程包括：采用所述物流品控缺陷特征提取部分对输入的图像进行特征提取，提取后的物流品控缺陷特征通过所述特征融合部分进行进一步增强，最后提取到的不同尺度的特征输入到不同的detect检测头，得到预测的边界框和类别。

6.根据权利要求5所述的物流供应链品控缺陷检测方法，其特征在于，所述物流品控缺陷特征提取部分采用6个卷积子模块对输入的特征图进行特征提取，并且第2至6的卷积子模块的输出都会分别对应输入到各自的残差学习子模块，随后再各自输入到下一个所述卷积子模块中处理，最后特征图会输入到快速空间金字塔池化子模块中，将同一特征图在不同尺度下的特征融合到一起，丰富最终特征图的表达能力。

7.根据权利要求5所述的物流供应链品控缺陷检测方法，其特征在于，所述特征融合部分采用双路径的方式对所述物流品控缺陷特征提取部分提取到的特征图进行融合处理，得到所述穿透性破损特征。

8.一种物流供应链品控缺陷检测系统，所述系统用于实现权利要求1-7任一项所述的方法，其特征在于，包括：采集模块、构建模块、优化模块和检测模块；

所述采集模块用于采集有关物流供应链品控的训练数据，并提取所述训练数据的缺陷特征；

所述构建基于所述特征缺陷，构建混合检测模型，所述检测模型包括：形变检测模块和穿透性破损检测模块；

所述优化模块用于优化所述检测模型，得到最终模型；

所述检测模块用于利用所述最终模型，完成物流供应链上的品控缺陷检测。