CN112960213A - 使用特征概率分布表示的智能包装质量检测方法 - Google Patents

Abstract

本申请涉及智能制造领域中的智能包装质量检测，其具体地公开了一种使用特征概率分布表示的智能包装质量检测方法。在检测的过程中，首先获取待检测的面膜袋图像；然后，将面膜袋图像通过深度卷积神经网络以获得多个浅层特征图和深度特征图；接着，分别计算浅层特征图和深层特征图中的各个位置的特征值在整个特征空间中的概率分布，再基于交叉熵的原理，计算浅层特征分布相对于深层特征分布的交叉熵，从而作为用于对浅层特征图加权的加权系数，可以有效地融合浅层特征和深层特征；最终，将融合特征图通过分类器，以获得用于表示待检测的面膜袋是否为空袋的分类结果，这样能利于提高分类的准确性。

Description

使用特征概率分布表示的智能包装质量检测方法

技术领域

本申请涉及智能制造领域中的智能包装质量检测，且更为具体地，涉及使用特征概率分布表示的智能包装质量检测方法、使用特征概率分布表示的智能包装质量检测系统和电子设备。

背景技术

护肤品随着社会经济的不断进步和物质生活的丰富，如今种类日益繁多，特点各异。面膜是护肤品中的一个重要类别，在面膜的生产过程中，需要检测由于包装误差所导致的空袋问题。目前的面膜空袋检测过程中，主要采用面膜顶起压辊，然后再通过感应器去检测压辊的运动，从而判断面膜袋是否为空袋，结构过于复杂，而且在实际的生产过程中，由于装有面膜的面膜袋的厚度和空的面膜袋的厚度相差较小，压辊的运动幅度较小，而且空的面膜袋也存在内部填充有空气，如此就使得感应器无法将空袋识别出，从而导致检测精度低。

因此，期望提供一种能够自动识别面膜空袋的检测方案。

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

近年来，深度学习以及神经网络的发展，为面膜空袋的检测提供了解决思路和方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了使用特征概率分布表示的智能包装质量检测方法、使用特征概率分布表示的智能包装质量检测系统和电子设备，其中，在检测的过程中，首先获取待检测的面膜袋图像；然后，将面膜袋图像通过深度卷积神经网络以获得多个浅层特征图和深度特征图；接着，分别计算浅层特征图和深层特征图中的各个位置的特征值在整个特征空间中的概率分布，再基于交叉熵的原理，计算浅层特征分布相对于深层特征分布的交叉熵，从而作为用于对浅层特征图加权的加权系数，可以有效地融合浅层特征和深层特征；最终，将融合特征图通过分类器，以获得用于表示待检测的面膜袋是否为空袋的分类结果，这样能利于提高分类的准确性。

根据本申请的一个方面，提供了一种使用特征概率分布表示的智能包装质量检测方法，其包括：

获取待检测的面膜袋图像；

将所述面膜袋图像通过深度卷积神经网络，所述深度卷积神经网络具有预设深度，以从所述深度卷积神经网络的较浅深度处提取出多个浅层特征图和从所述深度卷积神经网络的最后一层提取出深层特征图；

对所述多个浅层特征图，以类Softmax函数分别计算每个所述浅层特征图的概率分布，以获得多个浅层概率分布，其中，所述类Softmax函数为p＝exp(xi)/∑exp(xi)，其中，xi表示所述浅层特征图中每个位置的特征值；

以所述类Softmax函数计算所述深层特征图的深层概率分布；

对所述多个浅层特征图，分别计算每个所述浅层特征图的浅层概率分布相对于所述深层特征图的深层概率分布的相对概率分布表示系数，以获得多个相对概率分布表示系数；

以所述多个相对概率分布表示系数作为权重计算所述多个浅层特征图之间的加权和，以获得浅层融合特征图；

基于所述多个相对概率分布表示系数，计算所述浅层融合特征图和所述深层特征图之间的加权和，以获得融合特征图；以及

将所述融合特征图通过分类器，以获得分类结果，所述分类结果用于表示待检测的面膜袋是否为空袋。

在上述使用特征概率分布表示的智能包装质量检测方法中，将所述面膜袋图像通过深度卷积神经网络，所述深度卷积神经网络具有预设深度，以从所述深度卷积神经网络的较浅深度处提取出多个浅层特征图和从所述深度卷积神经网络的最后一层提取出深层特征图，包括：从所述深度卷积神经网络的第一层提取出第一特征图；从所述深度卷积神经网络的第二层提取出第二特征图；以及从所述深度卷积神经网络的第三层提取出第三特征图，其中，所述第一特征图、所述第二特征图和所述第三特征图为所述浅层。

在上述使用特征概率分布表示的智能包装质量检测方法中，对所述多个浅层特征图，分别计算每个所述浅层特征图的浅层概率分布相对于所述深层特征图的深层概率分布的相对概率分布表示系数，以获得多个相对概率分布表示系数，包括：对所述多个浅层特征图，以如下公式分别计算每个所述浅层特征图的浅层概率分布相对于所述深层特征图的深层概率分布的相对概率分布表示系数，以获得多个相对概率分布表示系数；其中，所述公式为：a＝∑{p(i)logq(i)+[1-p(i)]log[1-q(i)]}，其中，a表示相对概率分布表示系数，p(i)表示所述深层概率特征的各个位置的概率值，q(i)表示所述浅层概率分布的各个位置的概率值。

在上述使用特征概率分布表示的智能包装质量检测方法中，基于所述多个相对概率分布表示系数，计算所述浅层融合特征图和所述深层特征图之间的加权和，以获得融合特征图，包括：以所述多个相对概率分布系数的均值作为所述深层特征图的权重，计算所述浅层融合特征图和所述深层特征图之间的加权和以获得融合特征图。

在上述使用特征概率分布表示的智能包装质量检测方法中，将所述融合特征图通过分类器，以获得分类结果，包括：将所述融合特征图通过一个或多个全连接层，以获得分类特征向量；及将所述分类特征向量输入Softmax分类函数，以获得所述分类结果。

在上述使用特征概率分布表示的智能包装质量检测方法中，所述深度卷积神经网络的预设深度为30层到50层。

在上述使用特征概率分布表示的智能包装质量检测方法中，所述深度卷积神经网络为深度残差网络。

根据本申请的另一方面，提供了一种使用特征概率分布表示的智能包装质量检测系统，其包括：

待检测图像获取单元，用于获取待检测的面膜袋图像；

特征图生成单元，用于将所述待检测图像获取单元获得的所述面膜袋图像通过深度卷积神经网络，所述深度卷积神经网络具有预设深度，以从所述深度卷积神经网络的较浅深度处提取出多个浅层特征图和从所述深度卷积神经网络的最后一层提取出深层特征图；

浅层概率分布计算单元，用于对所述特征图生成单元获得的所述多个浅层特征图，以类Softmax函数分别计算每个所述特征图生成单元获得的所述浅层特征图的概率分布，以获得多个浅层概率分布，其中，所述类Softmax函数为p＝exp(xi)/∑exp(xi)，其中，xi表示所述特征图生成单元获得的所述浅层特征图中每个位置的特征值；

深层概率分布计算单元，用于以所述类Softmax函数计算所述特征图生成单元获得的所述深层特征图的深层概率分布；

相对概率分布表示系数计算单元，用于对所述特征图生成单元获得的所述多个浅层特征图，分别计算每个所述浅层概率分布计算单元获得的所述浅层特征图的浅层概率分布相对于所述深层概率分布计算单元获得的所述深层特征图的深层概率分布的相对概率分布表示系数，以获得多个相对概率分布表示系数；

浅层融合特征图生成单元，用于以所述相对概率分布表示系数计算单元获得的所述多个相对概率分布表示系数作为权重计算所述特征图生成单元获得的所述多个浅层特征图之间的加权和，以获得浅层融合特征图；

融合特征图生成单元，用于基于所述相对概率分布表示系数计算单元获得的所述多个相对概率分布表示系数，计算所述浅层融合特征图生成单元获得的所述浅层融合特征图和所述特征图生成单元获得的所述深层特征图之间的加权和，以获得融合特征图；以及

分类结果获取单元，用于将所述融合特征图生成单元获得的所述融合特征图通过分类器，以获得分类结果，所述分类结果用于表示待检测的面膜袋是否为空袋。

在上述使用特征概率分布表示的智能包装质量检测系统中，所述特征图生成单元，包括：第一特征图生成子单元，用于从所述深度卷积神经网络的第一层提取出第一特征图；第二特征图生成子单元，用于从所述深度卷积神经网络的第二层提取出第二特征图；以及第三特征图生成子单元，用于从所述深度卷积神经网络的第三层提取出第三特征图，其中，所述第一特征图、所述第二特征图和所述第三特征图为所述浅层。

在上述使用特征概率分布表示的智能包装质量检测系统中，所述相对概率分布表示系数计算单元，进一步用于：对所述多个浅层特征图，以如下公式分别计算每个所述浅层特征图的浅层概率分布相对于所述深层特征图的深层概率分布的相对概率分布表示系数，以获得多个相对概率分布表示系数；其中，所述公式为：a＝∑{p(i)logq(i)+[1-p(i)]log[1-q(i)]}，其中，a表示相对概率分布表示系数，p(i)表示所述深层概率特征的各个位置的概率值，q(i)表示所述浅层概率分布的各个位置的概率值。

在上述使用特征概率分布表示的智能包装质量检测系统中，所述融合特征图生成单元，进一步用于：以所述多个相对概率分布系数的均值作为所述深层特征图的权重，计算所述浅层融合特征图和所述深层特征图之间的加权和以获得融合特征图。

在上述使用特征概率分布表示的智能包装质量检测系统中，所述分类结果生成单元，包括：分类特征向量生成子单元，用于将所述融合特征图通过一个或多个全连接层，以获得分类特征向量；以及，分类结果计算子单元，用于将所述分类特征向量生成子单元获得的所述分类特征向量输入Softmax分类函数，以获得所述分类结果。

在上述使用特征概率分布表示的智能包装质量检测系统中，所述深度卷积神经网络的预设深度为30层到50层。

在上述使用特征概率分布表示的智能包装质量检测系统中，所述深度卷积神经网络为深度残差网络。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的使用特征概率分布表示的智能包装质量检测方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的使用特征概率分布表示的智能包装质量检测方法。

与现有技术相比，本申请的实施例提供了使用特征概率分布表示的智能包装质量检测方法、使用特征概率分布表示的智能包装质量检测系统和电子设备，其中，在检测的过程中，首先获取待检测的面膜袋图像；然后，将面膜袋图像通过深度卷积神经网络以获得多个浅层特征图和深度特征图；接着，分别计算浅层特征图和深层特征图中的各个位置的特征值在整个特征空间中的概率分布，再基于交叉熵的原理，计算浅层特征分布相对于深层特征分布的交叉熵，从而作为用于对浅层特征图加权的加权系数，可以有效地融合浅层特征和深层特征；最终，将融合特征图通过分类器，以获得用于表示待检测的面膜袋是否为空袋的分类结果，这样能利于提高分类的准确性。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的使用特征概率分布表示的智能包装质量检测方法的应用场景图。

图2图示了根据本申请实施例的使用特征概率分布表示的智能包装质量检测方法的流程图。

图3图示了根据本申请实施例的使用特征概率分布表示的智能包装质量检测方法的架构示意图。

图4图示了根据本申请实施例的使用特征概率分布表示的智能包装质量检测方法中，将所述面膜袋图像通过深度卷积神经网络，所述深度卷积神经网络具有预设深度，以从所述深度卷积神经网络的较浅深度处提取出多个浅层特征图和从所述深度卷积神经网络的最后一层提取出深层特征图的流程图。

图5图示了根据本申请实施例的使用特征概率分布表示的智能包装质量检测方法中，将所述融合特征图通过分类器，以获得分类结果的流程图。

图6图示了根据本申请实施例的使用特征概率分布表示的智能包装质量检测系统的框图。

图7图示了根据本申请实施例的使用特征概率分布表示的智能包装质量检测系统中特征图生成单元的框图。

图8图示了根据本申请实施例的使用特征概率分布表示的智能包装质量检测系统中分类结果生成单元的框图。

图9图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如上所述，护肤品随着社会经济的不断进步和物质生活的丰富，如今种类日益繁多，特点各异。面膜是护肤品中的一个重要类别，在面膜的生产过程中，需要检测由于包装误差所导致的空袋问题。目前的面膜空袋检测过程中，主要采用面膜顶起压辊，然后再通过感应器去检测压辊的运动，从而判断面膜袋是否为空袋，结构过于复杂，而且在实际的生产过程中，由于装有面膜的面膜袋的厚度和空的面膜袋的厚度相差较小，压辊的运动幅度较小，而且空的面膜袋也存在内部填充有空气，如此就使得感应器无法将空袋识别出，从而导致检测精度低。因此，期望提供一种能够自动识别面膜空袋的检测方案。

近年来，深度学习以及神经网络的发展，为面膜空袋的检测提供了解决思路和方案。

具体来说，随着计算机视觉技术的发展，本申请的申请人期望通过基于深度学习的计算机视觉技术来进行面膜空袋的检测，也就是，通过识别面膜空袋和一般面膜袋的高维图像特征，来将面膜空袋的检测转换为基于高维图像特征的分类问题。

由于卷积神经网络的浅层，例如30层到50层神经网络的1到3层主要提取包括边、角等的形状特征，因此如果能够将用于表示形状特征的卷积神经网络的浅层特征与深层特征进行有效融合，显然能够进一步提高分类的准确性。因此，在本申请的技术方案中，分别计算浅层特征和深层特征中的各个位置的特征值在整个特征空间中的概率分布，再基于交叉熵的原理，计算浅层特征分布相对于深层特征分布的交叉熵，从而作为用于对浅层特征图加权的加权系数。这样，由于该交叉熵形式的加权系数能够反映出以浅层特征分布表示深层特征分布的难度值，因此可以有效地融合浅层特征和深层特征。

具体地，在本申请的技术方案中，首先获得待检测的面膜袋图像，并通过卷积神经网络以获得多个浅层的特征图，比如第一层的第一特征图，第二层的第二特征图和第三层的第三特征图，并获得卷积神经网络的输出，例如第四特征图。然后，分别通过类Softmax函数计算第一到第四特征图的第一到第四特征概率分布，即p＝exp(xi)/∑exp(xi)。然后，计算第一到第三特征分布相对于第四特征分布的第一到第三特征概率分布表示系数，即a＝∑{p(i)logq(i)+[1-p(i)]log[1-q(i)]}，其中p(i)表示第四特征分布的各个位置的概率值，q(i)表示第一到第三特征分布的各个位置的概率值。

接下来，分别以第一到第三特征概率分布表示系数作为权重对第一到第三特征图进行加权，并计算其与第四特征图的加权和以获得融合特征图，其中第四特征图的权重为第一到第三特征概率分布表示系数的均值，再由分类器基于融合特征图获得分类结果，该分类结果用于表示待检测的面膜袋是否为空袋。

基于此，本申请提出了一种使用特征概率分布表示的智能包装质量检测方法，其包括：获取待检测的面膜袋图像；将所述面膜袋图像通过深度卷积神经网络，所述深度卷积神经网络具有预设深度，以从所述深度卷积神经网络的较浅深度处提取出多个浅层特征图和从所述深度卷积神经网络的最后一层提取出深层特征图；对所述多个浅层特征图，以类Softmax函数分别计算每个所述浅层特征图的概率分布，以获得多个浅层概率分布，其中，所述类Softmax函数为p＝exp(xi)/∑exp(xi)，其中，xi表示所述浅层特征图中每个位置的特征值；以所述类Softmax函数计算所述深层特征图的深层概率分布；对所述多个浅层特征图，分别计算每个所述浅层特征图的浅层概率分布相对于所述深层特征图的深层概率分布的相对概率分布表示系数，以获得多个相对概率分布表示系数；以所述多个相对概率分布表示系数作为权重计算所述多个浅层特征图之间的加权和，以获得浅层融合特征图；基于所述多个相对概率分布表示系数，计算所述浅层融合特征图和所述深层特征图之间的加权和，以获得融合特征图；以及将所述融合特征图通过分类器，以获得分类结果，所述分类结果用于表示待检测的面膜袋是否为空袋。

图1图示了根据本申请实施例的使用特征概率分布表示的智能包装质量检测方法的应用场景图。

如图1所示，在该应用场景中，首先通过摄像头(例如，如图1中所示意的C)获得待检测的面膜袋图像，然后，将所述待检测的面膜袋图像输入至部署有使用特征概率分布表示的智能包装质量检测算法的服务器中(例如，如图1中所示意的S)，其中，所述服务器能够以基于深度神经网络的使用特征概率分布表示的智能包装质量检测算法对获取的待检测的面膜袋图像进行处理，以生成用于表示所述待检测的面膜袋是否为空袋的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图2图示了根据本申请实施例的使用特征概率分布表示的智能包装质量检测方法的流程图。如图2所示，根据本申请实施例的使用特征概率分布表示的智能包装质量检测方法，包括：S110，获取待检测的面膜袋图像；S120，将所述面膜袋图像通过深度卷积神经网络，所述深度卷积神经网络具有预设深度，以从所述深度卷积神经网络的较浅深度处提取出多个浅层特征图和从所述深度卷积神经网络的最后一层提取出深层特征图；S130，对所述多个浅层特征图，以类Softmax函数分别计算每个所述浅层特征图的概率分布，以获得多个浅层概率分布，其中，所述类Softmax函数为p＝exp(xi)/∑exp(xi)，其中，xi表示所述浅层特征图中每个位置的特征值；S140，以所述类Softmax函数计算所述深层特征图的深层概率分布；S150，对所述多个浅层特征图，分别计算每个所述浅层特征图的浅层概率分布相对于所述深层特征图的深层概率分布的相对概率分布表示系数，以获得多个相对概率分布表示系数；S160，以所述多个相对概率分布表示系数作为权重计算所述多个浅层特征图之间的加权和，以获得浅层融合特征图；S170，基于所述多个相对概率分布表示系数，计算所述浅层融合特征图和所述深层特征图之间的加权和，以获得融合特征图；以及S180，将所述融合特征图通过分类器，以获得分类结果，所述分类结果用于表示待检测的面膜袋是否为空袋。

图3图示了根据本申请实施例的使用特征概率分布表示的智能包装质量检测方法的架构示意图。如图3所示，在该网络架构中，首先将获取的待检测的面膜袋图像(例如，如图3中所示意的IN0)输入深度卷积神经网络(例如，如图3中所示意的CNN)中，以从所述深度卷积神经网络的较浅深度处提取出多个浅层特征图(例如，如图3中所示意的F1-Fn)和从所述深度卷积神经网络的最后一层提取出深层特征图(例如，如图3中所示意的Fx)，所述深度卷积神经网络具有预设深度；接着，对所述多个浅层特征图，以类Softmax函数分别计算每个所述浅层特征图的概率分布，以获得多个浅层概率分布(例如，如图3中所示意的SPD1-SPDn)，其中，所述类Softmax函数为p＝exp(xi)/∑exp(xi)，其中，xi表示所述浅层特征图中每个位置的特征值；然后，以所述类Softmax函数计算所述深层特征图的深层概率分布(例如，如图3中所示意的DPD)；进一步地，对所述多个浅层特征图，分别计算每个所述浅层特征图的浅层概率分布相对于所述深层特征图的深层概率分布的相对概率分布表示系数，以获得多个相对概率分布表示系数(例如，如图3中所示意的R1-Rn)；接着，以所述多个相对概率分布表示系数作为权重计算所述多个浅层特征图之间的加权和，以获得浅层融合特征图(例如，如图3中所示意的Ft)；然后，基于所述多个相对概率分布表示系数，计算所述浅层融合特征图和所述深层特征图之间的加权和，以获得融合特征图(例如，如图3中所示意的Fs)；最后，将所述融合特征图通过分类器(例如，如图3中所示意的分类器)，以获得分类结果，所述分类结果用于表示待检测的面膜袋是否为空袋。

在步骤S110中，获取待检测的面膜袋图像。如前所述，在本申请的技术方案中，采用基于深度学习的计算机视觉技术来进行面膜空袋的检测。也就是，通过识别面膜空袋和一般面膜袋的高维图像特征，来将面膜袋的检测转换为高维图像特征的分类问题。在具体实施中，可通过摄像头来获取待检测的面膜袋图像。

在步骤S120中，将所述面膜袋图像通过深度卷积神经网络，所述深度卷积神经网络具有预设深度，以从所述深度卷积神经网络的较浅深度处提取出多个浅层特征图和从所述深度卷积神经网络的最后一层提取出深层特征图。也就是，以深度卷积神经网络对所述待检测的面膜袋图像进行处理，以提取出所述待检测的面膜袋图像中的局部特征在高维空间中的特征表示。

本领域普通技术人员应知晓，深度卷积神经网络在提取图像局部空间特征方面具有优异的表现。在本申请一个具体的示例中，所述卷积神经网络可被实施为深度残差网络，例如，ResNet 100。本领域普通技术人员应知晓，相较于传统的卷积神经网络，深度残差网络为在传统卷积神经网络的基础上提出的一种优化网络结构，其主要解决在训练过程中的梯度消失的问题。深度残差网络引入了残差网络结构，通过残差网络结构可以把网络层弄得更深，并且，不会发生梯度消失的问题。残差网络借鉴了高速网络的跨层链接思想，其打破了传统的神经网络从N-1层的输入层只能给N层作为输入的惯例，使某一层的输出可以直接跨过几层作为后面某一层的输入，其意义在于为迭加多层网络而使得整个学习模型的错误率不降反升的难题提供了新的方向。

特别地，在本申请实施例中，由于深度卷积神经网络的浅层，例如30层到50层深度卷积神经网络的1到3层主要提取包括边、角等的形状特征，并且，如果能够将用于表示形状特征的卷积神经网络的浅层特征与深层特征进行有效融合，显然能够进一步提高分类的准确性。。

具体地，在本申请实施例中，将所述面膜袋图像通过深度卷积神经网络，所述深度卷积神经网络具有预设深度，以从所述深度卷积神经网络的较浅深度处提取出多个浅层特征图和从所述深度卷积神经网络的最后一层提取出深层特征图，包括：首先，从所述深度卷积神经网络的第一层提取出第一特征图；接着，从所述深度卷积神经网络的第二层提取出第二特征图；然后，从所述深度卷积神经网络的第三层提取出第三特征图，其中，所述第一特征图、所述第二特征图和所述第三特征图为所述浅层。也就是，从所述深度卷积神经网络的第一到3层中分别提取出所述第一特征图、第二特征图和第三特征图为所述浅层特征图。

并且，选择从所述深度卷积神经网络的最后一层提取出所述深层特征图。应可以理解，随着所述深度卷积神经网络深度的加深，其所提取的特征图中所包含的特征更加抽象，且更加聚焦于对象的在语义空间的特征。

图4图示了根据本申请实施例的使用特征概率分布表示的智能包装质量检测方法中，将所述面膜袋图像通过深度卷积神经网络，所述深度卷积神经网络具有预设深度，以从所述深度卷积神经网络的较浅深度处提取出多个浅层特征图和从所述深度卷积神经网络的最后一层提取出深层特征图的流程图。如图4所示，在本申请实施例中，将所述面膜袋图像通过深度卷积神经网络，所述深度卷积神经网络具有预设深度，以从所述深度卷积神经网络的较浅深度处提取出多个浅层特征图和从所述深度卷积神经网络的最后一层提取出深层特征图，包括步骤：S210，从所述深度卷积神经网络的第一层提取出第一特征图；S220，从所述深度卷积神经网络的第二层提取出第二特征图；以及，S230，从所述深度卷积神经网络的第三层提取出第三特征图。

在步骤S130中，对所述多个浅层特征图，以类Softmax函数分别计算每个所述浅层特征图的概率分布，以获得多个浅层概率分布，其中，所述类Softmax函数为p＝exp(xi)/∑exp(xi)，其中，xi表示所述浅层特征图中每个位置的特征值。也就是，在本申请的技术方案中，用类Softmax函数对多个浅层特征图进行处理，以分别计算出浅层特征中的各个位置的特征值在整个特征空间中的概率分布。

相应地，在本申请实施例中，所述浅层特征图包括第一特征图、第二特征图和第三特征图，其中，通过类Softmax函数计算第一到第三特征图的第一到第三特征概率分布，即p＝exp(xi)/∑exp(xi)，以获得所述多个浅层概率分布。

在步骤S140中，以所述类Softmax函数计算所述深层特征图的深层概率分布。也就是，用类Softmax函数对所述深度层特征图进行处理，以计算出深层特征图中的各个位置的特征值在整个特征空间中的概率分布。

在步骤S150中，对所述多个浅层特征图，分别计算每个所述浅层特征图的浅层概率分布相对于所述深层特征图的深层概率分布的相对概率分布表示系数，以获得多个相对概率分布表示系数。也就是，计算浅层特征分布相对于深层特征分布的交叉熵，从而作为用于对浅层特征图加权的加权系数。因为该交叉熵形式的加权系数能够反映出以浅层特征分布表示深层特征分布的难度值，因此可以有效地融合浅层特征和深层特征。

具体地，在本申请的实施例中，对所述多个浅层特征图，以如下公式分别计算每个所述浅层特征图的浅层概率分布相对于所述深层特征图的深层概率分布的相对概率分布表示系数，以获得多个相对概率分布表示系数；其中，所述公式为：a＝∑{p(i)logq(i)+[1-p(i)]log[1-q(i)]}，其中，a表示相对概率分布表示系数，p(i)表示所述深层概率特征的各个位置的概率值，q(i)表示所述浅层概率分布的各个位置的概率值。

对应到本申请实施例中，计算第一到第三特征分布相对于第四特征分布的第一到第三特征概率分布表示系数，即a＝∑{p(i)logq(i)+[1-p(i)]log[1-q(i)]}，其中p(i)表示第四特征分布的各个位置的概率值，q(i)表示第一到第三特征分布的各个位置的概率值。

在步骤S160中，以所述多个相对概率分布表示系数作为权重计算所述多个浅层特征图之间的加权和，以获得浅层融合特征图。也就是，在本申请的技术方案中，将获得的浅层特征分布相对于深层特征分布的交叉熵作为加权系数，计算所述多个浅层特征图之间的加权和，以获得浅层融合特征图。

这里，应可以理解，由于该交叉熵形式的加权系数能够反映出以浅层特征分布表示深层特征分布的难度值，因此可以有效地融合浅层特征和深层特征，这样，将交叉熵作为加权系数来计算出所述多个浅层特征图之间的加权和，从而就可以得到表示浅层特征和深层特征融合后的浅层特融合特征图，进而也就能够进一步提高分类的准确性。

在步骤S170中，基于所述多个相对概率分布表示系数，计算所述浅层融合特征图和所述深层特征图之间的加权和，以获得融合特征图。具体地，在本申请实施例中，以所述多个相对概率分布系数的均值作为所述深层特征图的权重，计算所述浅层融合特征图和所述深层特征图之间的加权和以获得融合特征图。

在步骤S180中，将所述融合特征图通过分类器，以获得分类结果，所述分类结果用于表示待检测的面膜袋是否为空袋。如前所述，通过识别面膜空袋和一般面膜袋的高维图像特征，来将面膜空袋的检测转换为基于高维图像特征的分类问题。因此，在本申请的技术方案中，进一步计算出所述融合特征图归属于分类器的标签的概率值以生成分类结果。

具体地，在本申请实施例中，将所述融合特征图通过分类器，以获得分类结果，包括：首先，将所述融合特征图通过一个或多个全连接层，以获得分类特征向量，也就是，首先，以全连接层对所述融合特征图进行编码，以充分利用所述融合特征图中各个位置的信息，以获得所述分类特征向量。接着，将所述分类特征向量输入Softmax分类函数，以获得所述分类结果。

图5图示了根据本申请实施例的使用特征概率分布表示的智能包装质量检测方法中，将所述融合特征图通过分类器，以获得分类结果的流程图。如图5所示，在本申请实施例中，将所述融合特征图通过分类器，以获得分类结果，包括步骤：S310，将所述融合特征图通过一个或多个全连接层，以获得分类特征向量；以及，S320，将所述分类特征向量输入Softmax分类函数，以获得所述分类结果。

综上，基于本申请实施例的使用特征概率分布表示的智能包装质量检测方法被阐明，在检测的过程中，首先获取待检测的面膜袋图像；然后，将面膜袋图像通过深度卷积神经网络以获得多个浅层特征图和深度特征图；接着，分别计算浅层特征图和深层特征图中的各个位置的特征值在整个特征空间中的概率分布，再基于交叉熵的原理，计算浅层特征分布相对于深层特征分布的交叉熵，从而作为用于对浅层特征图加权的加权系数，可以有效地融合浅层特征和深层特征；最终，将融合特征图通过分类器，以获得用于表示待检测的面膜袋是否为空袋的分类结果，这样能利于提高分类的准确性。

示例性系统

图6图示了根据本申请实施例的使用特征概率分布表示的智能包装质量检测系统的框图。

如图6所示，根据本申请实施例的使用特征概率分布表示的智能包装质量检测系统600，包括：待检测图像获取单元610，用于获取待检测的面膜袋图像；特征图生成单元620，用于将所述待检测图像获取单元获得的所述面膜袋图像通过深度卷积神经网络，所述深度卷积神经网络具有预设深度，以从所述深度卷积神经网络的较浅深度处提取出多个浅层特征图和从所述深度卷积神经网络的最后一层提取出深层特征图；浅层概率分布计算单元630，用于对所述特征图生成单元获得的所述多个浅层特征图，以类Softmax函数分别计算每个所述特征图生成单元获得的所述浅层特征图的概率分布，以获得多个浅层概率分布，其中，所述类Softmax函数为p＝exp(xi)/∑exp(xi)，其中，xi表示所述特征图生成单元获得的所述浅层特征图中每个位置的特征值；深层概率分布计算单元640，用于以所述类Softmax函数计算所述特征图生成单元获得的所述深层特征图的深层概率分布；相对概率分布表示系数计算单元650，用于对所述特征图生成单元获得的所述多个浅层特征图，分别计算每个所述浅层概率分布计算单元获得的所述浅层特征图的浅层概率分布相对于所述深层概率分布计算单元获得的所述深层特征图的深层概率分布的相对概率分布表示系数，以获得多个相对概率分布表示系数；浅层融合特征图生成单元660，用于以所述相对概率分布表示系数计算单元获得的所述多个相对概率分布表示系数作为权重计算所述特征图生成单元获得的所述多个浅层特征图之间的加权和，以获得浅层融合特征图；融合特征图生成单元670，用于基于所述相对概率分布表示系数计算单元获得的所述多个相对概率分布表示系数，计算所述浅层融合特征图生成单元获得的所述浅层融合特征图和所述特征图生成单元获得的所述深层特征图之间的加权和，以获得融合特征图；以及，分类结果生成单元680，用于将所述融合特征图生成单元获得的所述融合特征图通过分类器，以获得分类结果，所述分类结果用于表示待检测的面膜袋是否为空袋。

在一个示例中，在使用特征概率分布表示的智能包装质量检测系统600中，如图7所示，所述特征图生成单元620，包括：第一特征图生成子单元621，用于从所述深度卷积神经网络的第一层提取出第一特征图；第二特征图生成子单元622，用于从所述深度卷积神经网络的第二层提取出第二特征图；以及第三特征图生成子单元623，用于从所述深度卷积神经网络的第三层提取出第三特征图，其中，所述第一特征图、所述第二特征图和所述第三特征图为所述浅层。

在一个示例中，在使用特征概率分布表示的智能包装质量检测系统600中，所述相对概率分布表示系数计算单元650，进一步用于：对所述多个浅层特征图，以如下公式分别计算每个所述浅层特征图的浅层概率分布相对于所述深层特征图的深层概率分布的相对概率分布表示系数，以获得多个相对概率分布表示系数；其中，所述公式为：a＝∑{p(i)logq(i)+[1-p(i)]log[1-q(i)]}，其中，a表示相对概率分布表示系数，p(i)表示所述深层概率特征的各个位置的概率值，q(i)表示所述浅层概率分布的各个位置的概率值。

在一个示例中，在使用特征概率分布表示的智能包装质量检测系统600中，所述融合特征图生成单元670，进一步用于：以所述多个相对概率分布系数的均值作为所述深层特征图的权重，计算所述浅层融合特征图和所述深层特征图之间的加权和以获得融合特征图。

在一个示例中，在使用特征概率分布表示的智能包装质量检测系统600中，如图8所示，所述分类结果生成单元680，包括：分类特征向量生成子单元681，用于将所述融合特征图通过一个或多个全连接层，以获得分类特征向量；及分类结果计算子单元682，用于将所述分类特征向量生成子单元681获得的所述分类特征向量输入Softmax分类函数，以获得所述分类结果。

在一个示例中，在使用特征概率分布表示的智能包装质量检测系统600中，进一步用于：所述深度卷积神经网络的预设深度为30层到50层。

在一个示例中，在使用特征概率分布表示的智能包装质量检测系统600中，进一步用于：所述深度卷积神经网络为深度残差网络。

这里，本领域技术人员可以理解，上述使用特征概率分布表示的智能包装质量检测系统600中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的使用特征概率分布表示的智能包装质量检测方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的使用特征概率分布表示的智能包装质量检测系统600可以实现在各种终端设备中，例如使用特征概率分布表示的智能包装质量检测算法的服务器等。在一个示例中，根据本申请实施例的使用特征概率分布表示的智能包装质量检测系统600可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该使用特征概率分布表示的智能包装质量检测系统600可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该使用特征概率分布表示的智能包装质量检测系统600同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该使用特征概率分布表示的智能包装质量检测系统600与该终端设备也可以是分立的设备，并且该使用特征概率分布表示的智能包装质量检测系统600可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图9来描述根据本申请实施例的电子设备。

图9图示了根据本申请实施例的电子设备的框图。

如图9所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的使用特征概率分布表示的智能包装质量检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如融合特征图、相对概率分布表示系数等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图9中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的使用特征概率分布表示的智能包装质量检测方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的使用特征概率分布表示的智能包装质量检测方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种使用特征概率分布表示的智能包装质量检测方法，其特征在于，包括：

获取待检测的面膜袋图像；

将所述面膜袋图像通过深度卷积神经网络，所述深度卷积神经网络具有预设深度，以从所述深度卷积神经网络的较浅深度处提取出多个浅层特征图和从所述深度卷积神经网络的最后一层提取出深层特征图；

对所述多个浅层特征图，以类Softmax函数分别计算每个所述浅层特征图的概率分布，以获得多个浅层概率分布，其中，所述类Softmax函数为p＝exp(xi)/∑exp(xi)，其中，xi表示所述浅层特征图中每个位置的特征值；

以所述类Softmax函数计算所述深层特征图的深层概率分布；

对所述多个浅层特征图，分别计算每个所述浅层特征图的浅层概率分布相对于所述深层特征图的深层概率分布的相对概率分布表示系数，以获得多个相对概率分布表示系数；

以所述多个相对概率分布表示系数作为权重计算所述多个浅层特征图之间的加权和，以获得浅层融合特征图；

基于所述多个相对概率分布表示系数，计算所述浅层融合特征图和所述深层特征图之间的加权和，以获得融合特征图；以及

将所述融合特征图通过分类器，以获得分类结果，所述分类结果用于表示待检测的面膜袋是否为空袋。

2.根据权利要求1所述的使用特征概率分布表示的智能包装质量检测方法，其中，将所述面膜袋图像通过深度卷积神经网络，所述深度卷积神经网络具有预设深度，以从所述深度卷积神经网络的较浅深度处提取出多个浅层特征图和从所述深度卷积神经网络的最后一层提取出深层特征图，包括：

从所述深度卷积神经网络的第一层提取出第一特征图；

从所述深度卷积神经网络的第二层提取出第二特征图；以及

从所述深度卷积神经网络的第三层提取出第三特征图，其中，所述第一特征图、所述第二特征图和所述第三特征图为所述浅层。

3.根据权利要求2所述的使用特征概率分布表示的智能包装质量检测方法，其中，对所述多个浅层特征图，分别计算每个所述浅层特征图的浅层概率分布相对于所述深层特征图的深层概率分布的相对概率分布表示系数，以获得多个相对概率分布表示系数，包括：

对所述多个浅层特征图，以如下公式分别计算每个所述浅层特征图的浅层概率分布相对于所述深层特征图的深层概率分布的相对概率分布表示系数，以获得多个相对概率分布表示系数；

其中，所述公式为：a＝∑{p(i)logq(i)+[1-p(i)]log[1-q(i)]}，其中，a表示相对概率分布表示系数，p(i)表示所述深层概率特征的各个位置的概率值，q(i)表示所述浅层概率分布的各个位置的概率值。

4.根据权利要求3所述的使用特征概率分布表示的智能包装质量检测方法，其中，基于所述多个相对概率分布表示系数，计算所述浅层融合特征图和所述深层特征图之间的加权和，以获得融合特征图，包括：

以所述多个相对概率分布系数的均值作为所述深层特征图的权重，计算所述浅层融合特征图和所述深层特征图之间的加权和以获得融合特征图。

5.根据权利要求1所述的使用特征概率分布表示的智能包装质量检测方法，其中，将所述融合特征图通过分类器，以获得分类结果，包括：

将所述融合特征图通过一个或多个全连接层，以获得分类特征向量；及

将所述分类特征向量输入Softmax分类函数，以获得所述分类结果。

6.根据权利要求2所述的使用特征概率分布表示的智能包装质量检测方法，其中，所述深度卷积神经网络的预设深度为30层到50层。

7.根据权利要求6所述的使用特征概率分布表示的智能包装质量检测方法，其中，所述深度卷积神经网络为深度残差网络。

8.一种使用特征概率分布表示的智能包装质量检测系统，其特征在于，包括：

待检测图像获取单元，用于获取待检测的面膜袋图像；

特征图生成单元，用于将所述待检测图像获取单元获得的所述面膜袋图像通过深度卷积神经网络，所述深度卷积神经网络具有预设深度，以从所述深度卷积神经网络的较浅深度处提取出多个浅层特征图和从所述深度卷积神经网络的最后一层提取出深层特征图；

浅层概率分布计算单元，用于对所述特征图生成单元获得的所述多个浅层特征图，以类Softmax函数分别计算每个所述特征图生成单元获得的所述浅层特征图的概率分布，以获得多个浅层概率分布，其中，所述类Softmax函数为p＝exp(xi)/∑exp(xi)，其中，xi表示所述特征图生成单元获得的所述浅层特征图中每个位置的特征值；

深层概率分布计算单元，用于以所述类Softmax函数计算所述特征图生成单元获得的所述深层特征图的深层概率分布；

相对概率分布表示系数计算单元，用于对所述特征图生成单元获得的所述多个浅层特征图，分别计算每个所述浅层概率分布计算单元获得的所述浅层特征图的浅层概率分布相对于所述深层概率分布计算单元获得的所述深层特征图的深层概率分布的相对概率分布表示系数，以获得多个相对概率分布表示系数；

浅层融合特征图生成单元，用于以所述相对概率分布表示系数计算单元获得的所述多个相对概率分布表示系数作为权重计算所述特征图生成单元获得的所述多个浅层特征图之间的加权和，以获得浅层融合特征图；

融合特征图生成单元，用于基于所述相对概率分布表示系数计算单元获得的所述多个相对概率分布表示系数，计算所述浅层融合特征图生成单元获得的所述浅层融合特征图和所述特征图生成单元获得的所述深层特征图之间的加权和，以获得融合特征图；以及

分类结果生成单元，用于将所述融合特征图生成单元获得的所述融合特征图通过分类器，以获得分类结果，所述分类结果用于表示待检测的面膜袋是否为空袋。

9.根据权利要求8所述的使用特征概率分布表示的智能包装质量检测系统，其中，所述特征图生成单元，包括：：

第一特征图生成子单元，用于从所述深度卷积神经网络的第一层提取出第一特征图；

第二特征图生成子单元，用于从所述深度卷积神经网络的第二层提取出第二特征图；以及，

第三特征图生成子单元，用于从所述深度卷积神经网络的第三层提取出第三特征图，其中，所述第一特征图、所述第二特征图和所述第三特征图为所述浅层。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-7中任一项所述的使用特征概率分布表示的智能包装质量检测方法。

Images