CN116278378B - 纸张的智能覆膜系统及其方法 - Google Patents

Abstract

公开了一种纸张的智能覆膜系统及其方法。其首先将待覆膜的纸张送入覆膜机，接着，将黏合剂涂布在所述覆膜机的塑料薄膜上以得到涂布黏合剂的塑料薄膜，然后，将所述涂布黏合剂的塑料薄膜进行干燥，去除溶剂或水分以得到干燥塑料薄膜，接着，将所述干燥塑料薄膜与纸张进行热压结合以得到被覆膜后的纸张，然后，将所述被覆膜后的纸张进行切割，去除多余的边缘以得到切割后纸张，最后，将所述切割后纸张送出覆膜机。通过这样的方式，对品质进行控制。

Description

纸张的智能覆膜系统及其方法

技术领域

本申请涉及智能化制造领域，且更为具体地，涉及一种纸张的智能覆膜系统及其方法。

背景技术

纸张的覆膜系统是一种印刷后的表面加工工艺，它可以在纸张的表面覆盖一层透明的塑料薄膜，从而提高纸张的光泽度、耐久性和美观度。然而，传统的纸张覆膜过程需要通过人工操作，手工涂覆工艺效率低下、不易控制，同时也容易出现品质问题。

因此，期望一种优化的纸张的智能覆膜系统。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种纸张的智能覆膜系统及其方法。其首先将待覆膜的纸张送入覆膜机，接着，将黏合剂涂布在所述覆膜机的塑料薄膜上以得到涂布黏合剂的塑料薄膜，然后，将所述涂布黏合剂的塑料薄膜进行干燥，去除溶剂或水分以得到干燥塑料薄膜，接着，将所述干燥塑料薄膜与纸张进行热压结合以得到被覆膜后的纸张，然后，将所述被覆膜后的纸张进行切割，去除多余的边缘以得到切割后纸张，最后，将所述切割后纸张送出覆膜机。通过这样的方式，对品质进行控制。

根据本申请的一个方面，提供了一种纸张的智能覆膜系统，其包括：

上料模块，用于将待覆膜的纸张送入覆膜机；

涂布模块，用于将黏合剂涂布在所述覆膜机的塑料薄膜上以得到涂布黏合剂的塑料薄膜；

干燥模块，用于将所述涂布黏合剂的塑料薄膜进行干燥，去除溶剂或水分以得到干燥塑料薄膜；

热压模块，用于将所述干燥塑料薄膜与纸张进行热压结合以得到被覆膜后的纸张；

切割模块，用于将所述被覆膜后的纸张进行切割，去除多余的边缘以得到切割后纸张；以及

下料模块，用于将所述切割后纸张送出覆膜机。

在上述的纸张的智能覆膜系统中，所述热压模块，包括：

图像采集单元，用于获取所述被覆膜后的纸张的监控图像；

包装空间识别单元，用于将所述监控图像通过包装空间识别网络以得到包装空间区域；

包装空间特征提取单元，用于将所述包装空间区域通过包含深浅特征融合模块的图像特征提取器以得到包装特征图；

特征优化单元，用于对所述包装特征图进行特征分布优化以得到优化包装特征图；

矩阵展开单元，用于将所述优化包装特征图沿通道维度的各个特征矩阵进行特征矩阵展开以得到多个包装特征向量；

全局包装语义理解单元，用于将所述多个包装特征向量通过基于转换器的上下文编码器以得到全局包装语义理解特征向量；以及

包装空间缺陷检测单元，用于将所述全局包装语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示被覆膜后的纸张的包装空间是否存在缺陷。

在上述的纸张的智能覆膜系统中，所述包装空间识别网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。

在上述的纸张的智能覆膜系统中，所述包装空间特征提取单元，用于：

将所述包装空间区域输入所述图像特征提取器以从所述图像特征提取器的浅层提取浅层特征图以及从所述图像特征提取器的深层提深层特征图；以及

使用所述图像特征提取器的所述深浅特征融合模块来将所述浅层特征图和所述深层特征图进行级联以得到所述包装特征图。

在上述的纸张的智能覆膜系统中，所述特征优化单元，包括：

优化因数计算子单元，用于计算所述包装特征图中各个位置特征值的位置信息图式注意力响应因数以得到多个位置信息图式注意力响应因数；以及

加权优化子单元，用于以所述多个位置信息图式注意力响应因数作为加权系数对所述包装特征图的各个位置特征值进行加权优化以得到所述优化分类特征图。

在上述的纸张的智能覆膜系统中，所述优化因数计算子单元，用于：

以如下优化公式计算所述包装特征图中各个位置特征值的位置信息图式注意力响应因数以得到所述多个位置信息图式注意力响应因数；

其中，所述优化公式为：

其中，f_i是所述包装特征图中各个位置特征值，(x_i,y_i,z_i)为所述包装特征图的各个位置特征值的位置坐标，且是所述包装特征图的所有特征值的全局均值，/>和分别代表将三维实数和二维实数映射为一维实数的函数，W、H和C分别是所述包装特征图的宽度、高度和通道数，log表示以2为底的对数函数，w_i表示所述多个位置信息图式注意力响应因数中的各个位置信息图式注意力响应因数。

在上述的纸张的智能覆膜系统中，所述全局包装语义理解单元，用于：

将所述多个包装特征向量进行一维排列以得到全局包装特征向量；

计算所述全局包装特征向量与所述多个包装特征向量中各个包装特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；

分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；

将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；

分别以所述多个概率值中各个概率值作为权重对所述多个包装特征向量中各个包装特征向量进行加权以得到多个全局包装语义理解特征向量；以及

将所述多个全局包装语义理解特征向量进行级联以得到所述全局包装语义理解特征向量。

在上述的纸张的智能覆膜系统中，所述包装空间缺陷检测单元，用于：

使用所述分类器的多个全连接层对所述全局包装语义理解特征向量进行全连接编码以得到编码分类特征向量；以及

将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

根据本申请的另一个方面，提供了一种纸张的智能覆膜方法，其包括：

将待覆膜的纸张送入覆膜机；

将黏合剂涂布在所述覆膜机的塑料薄膜上以得到涂布黏合剂的塑料薄膜；

将所述涂布黏合剂的塑料薄膜进行干燥，去除溶剂或水分以得到干燥塑料薄膜；

将所述干燥塑料薄膜与纸张进行热压结合以得到被覆膜后的纸张；

将所述被覆膜后的纸张进行切割，去除多余的边缘以得到切割后纸张；以及

将所述切割后纸张送出覆膜机。

在上述的纸张的智能覆膜方法中，将所述干燥塑料薄膜与纸张进行热压结合以得到被覆膜后的纸张，包括：

获取所述被覆膜后的纸张的监控图像；

将所述监控图像通过包装空间识别网络以得到包装空间区域；

将所述包装空间区域通过包含深浅特征融合模块的图像特征提取器以得到包装特征图；

对所述包装特征图进行特征分布优化以得到优化包装特征图；

将所述优化包装特征图沿通道维度的各个特征矩阵进行特征矩阵展开以得到多个包装特征向量；

将所述多个包装特征向量通过基于转换器的上下文编码器以得到全局包装语义理解特征向量；以及

将所述全局包装语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示被覆膜后的纸张的包装空间是否存在缺陷。

与现有技术相比，本申请提供的纸张的智能覆膜系统及其方法，其首先将待覆膜的纸张送入覆膜机，接着，将黏合剂涂布在所述覆膜机的塑料薄膜上以得到涂布黏合剂的塑料薄膜，然后，将所述涂布黏合剂的塑料薄膜进行干燥，去除溶剂或水分以得到干燥塑料薄膜，接着，将所述干燥塑料薄膜与纸张进行热压结合以得到被覆膜后的纸张，然后，将所述被覆膜后的纸张进行切割，去除多余的边缘以得到切割后纸张，最后，将所述切割后纸张送出覆膜机。通过这样的方式，对品质进行控制。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。

图1为根据本申请实施例的纸张的智能覆膜系统的框图示意图。

图2为根据本申请实施例的纸张的智能覆膜系统中所述热压模块的应用场景图。

图3为根据本申请实施例的纸张的智能覆膜系统中所述热压模块的框图示意图。

图4为根据本申请实施例的纸张的智能覆膜系统中的所述特征优化单元的框图示意图。

图5为根据本申请实施例的纸张的智能覆膜方法的流程图。

图6为根据本申请实施例的纸张的智能覆膜方法中步骤S140的子步骤的流程图。

图7为根据本申请实施例的纸张的智能覆膜方法中步骤S140的系统架构的示意图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

如上所述，传统的纸张覆膜过程需要通过人工操作，手工涂覆工艺效率低下、不易控制，同时也容易出现品质问题。因此，期望一种优化的纸张的智能覆膜系统。

具体地，在本申请的技术方案中，提出了一种纸张的智能覆膜系统，如图1所示，其包括：上料模块110：用于将待覆膜的纸张送入覆膜机，可以是手动或自动上料。涂布模块120：用于将黏合剂涂布在塑料薄膜上，可以是即涂或预涂方式。干燥模块130：用于将涂布了黏合剂的塑料薄膜进行干燥，去除溶剂或水分，可以是热风、红外线或紫外线干燥。热压模块140：用于将干燥后的塑料薄膜与纸张进行热压，使之紧密结合，可以是辊压或平压方式。切割模块150：用于将覆膜后的纸张进行切割，去除多余的边缘，可以是刀切或激光切割方式。下料模块160：用于将切割后的纸张送出覆膜机，可以是手动或自动下料。

相应地，考虑到在将干燥后的塑料薄膜与纸张进行热压来得到被覆膜后的纸张过程中，由于纸张的特性和机器设备参数的不同，可能会导致涂覆后纸张变形或者产生泡沫等缺陷，影响纸张的质量，因此需要对涂覆后的纸张进行质量检测和缺陷预警，以提高生产效率和产品质量，这可以通过对于所述被覆膜后的纸张的监控图像进行分析来实现。但是，由于所述被覆膜后的纸张的监控图像中存在有大量的信息量，而关于纸张的质量特征，尤其是包装空间区域的特征在图像中为隐性的小尺度特征信息，难以通过传统的方式进行捕捉提取，降低了对于纸张缺陷检测的精准度。因此，在此过程中，难点在于如何进行所述监控图像中关于纸张质量隐含特征的提取，以进行热压后纸张的质量检测，以准确地判断纸张是否存在变形或者产生泡沫等质量缺陷，从而优化纸张的覆膜质量和效率。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述监控图像中关于纸张质量隐含特征信息提供了新的解决思路和方案。

具体地，在本申请的技术方案中，首先，通过摄像头采集被覆膜后的纸张的监控图像。接着，考虑到在实际进行纸张覆膜质量检测的过程中，纸张的包装空间往往是存在不规则形状、颜色多样等复杂情况的，因此，为了将所述监控图像中的纸张与背景分离，以提取出被覆膜后的纸张区域，将所述监控图像通过包装空间识别网络以得到包装空间区域，以便后面的处理步骤能够更加准确地计算和判断纸张质量。也就是，使用所述包装空间识别网络的目标锚定层以锚框B来进行滑动对所述监控图像进行处理，以对于所述包装空间感兴趣区域进行框定，从而得到所述包装空间区域。特别地，这里，所述包装空间识别网络为基于锚窗的目标检测网络，且所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。

然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述包装空间区域的特征挖掘，特别地，考虑到在对于所述包装空间区域的隐藏特征进行提取时，若热压后得到被覆膜后的纸张存在质量缺陷，例如纸张变形或者产生泡沫，那么则在图像纹理端有所呈现。因此，为了能够更准确地检测出所述被覆膜后纸张的缺陷，应更加关注于所述包装空间区域的轮廓和纹理等浅层特征，这些所述浅层特征对于所述被覆膜后纸张的缺陷检测具有重要意义。而卷积神经网络在编码时，随着其深度的加深，浅层特征会变得模糊甚至被噪声所淹没。因此，在本申请的技术方案中，使用包含深浅特征融合模块的图像特征提取器来对所述包装空间区域进行处理以得到包装特征图。应可以理解，相较于标准卷积神经网络模型，根据本申请的所述卷积神经网络模型能够保留所述包装空间区域的浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高所述被覆膜后纸张的缺陷检测的精度。

进一步地，还考虑到在所述包装空间区域中，关于所述被覆膜后的纸张质量特征信息在整个所述包装空间区域中都有所体现，为了能够更精准地进行被覆膜后的纸张的包装空间缺陷检测，在本申请的技术方案中，需要对于所述包装空间区域的各个局部质量隐含特征进行关联编码。因此，在本申请的技术方案中，将所述包装特征图沿通道维度的各个特征矩阵进行特征矩阵展开以得到多个包装特征向量后，将所述多个包装特征向量通过基于转换器的上下文编码器中进行编码，以此来提取出所述包装空间区域中关于所述被覆膜后纸张质量的各个局部特征基于全局的上下文语义关联特征信息，从而得到全局包装语义理解特征向量。

接着，进一步再将所述全局包装语义理解特征向量作为分类特征向量通过分类器中进行分类处理，以得到用于表示被覆膜后的纸张的包装空间是否存在缺陷的分类结果。也就是，在本申请的技术方案中，所述分类器的标签包括被覆膜后的纸张的包装空间存在缺陷(第一标签)，以及，被覆膜后的纸张的包装空间不存在缺陷(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“被覆膜后的纸张的包装空间是否存在缺陷”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，被覆膜后的纸张的包装空间是否存在缺陷的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“被覆膜后的纸张的包装空间是否存在缺陷”的语言文本意义。应可以理解，在本申请的技术方案中，所述分类器的分类标签为被覆膜后的纸张的包装空间是否存在缺陷的检测评估标签，因此，在得到所述分类结果后，可基于所述分类结果来进行热压后纸张的质量检测，从而优化纸张的覆膜质量和效率。

特别地，在本申请的技术方案中，在将所述包装空间区域通过包含深浅特征融合模块的图像特征提取器得到所述包装特征图时，通过对所述包装空间区域进行图像浅层和深层特征语义提取得到的所述包装特征图内的各个位置的特征值均具有相应的位置属性，而在将所述包装特征图沿通道维度的各个特征矩阵进行特征矩阵展开得到所述多个包装特征向量时，会涉及到所述包装特征图的特征值的基于位置属性的重新排列变换，因此为了提升所述多个包装特征向量的各个特征值在排列变换时对所述包装特征图的图像特征语义的位置信息表达效果，计算所述包装特征图的每个位置的特征值的位置信息图式注意力响应因数，具体表示为：

和/>分别代表将三维实数和二维实数映射为一维实数的函数，在简单实现中，可以是非线性激活函数激活加权和加偏置的表示，W、H和C分别是所述包装特征图的宽度、高度和通道数，(x_i,y_i,z_i)为所述包装特征图的各个特征值f_i的位置坐标，例如可以以所述包装特征图的某个顶点为原点，且/>是所述包装特征图的所有特征值的全局均值。

这里，所述位置信息图式注意力响应因数通过建模特征值相对于整体特征分布的高维空间位置的相对几何方向和相对几何距离的图式信息表示，在实现特征值相对于整体特征分布的按位置聚合的同时捕获高维特征分布的特征流形的整体形状权重，从而使得所述包装特征图的流形形状高度响应于各个子流形的形状信息，以获得特征图的高维特征流形的排列不变性(permutation invariance)性质。这样，再通过以此所述位置信息图式注意力响应因数对所述包装特征图的各个特征值进行加权，就可以提升所述包装特征图展开后得到的所述多个包装特征向量的各个特征值在排列变换时对图像特征语义的位置信息表达效果，从而提升所述多个包装特征向量通过基于转换器的上下文编码器得到的所述全局包装语义理解特征向量的表达效果，提升所述全局包装语义理解特征向量通过分类器得到的分类结果的准确性。这样，能够准确地判断纸张是否存在变形或者产生泡沫等质量缺陷，以进行热压后纸张的质量检测，从而优化纸张的覆膜质量和效率。

图2为根据本申请实施例的纸张的智能覆膜系统中所述热压模块140的应用场景图。如图2所示，在该应用场景中，首先，通过摄像头(例如，图2中所示意的C)获取所述被覆膜后的纸张(例如，图2中所示意的N)的监控图像(例如，图2中所示意的D)，然后，将所述监控图像输入至部署有纸张的智能覆膜算法的服务器中(例如，图2中所示意的S)，其中，所述服务器能够使用所述纸张的智能覆膜算法对所述监控图像进行处理以得到用于表示被覆膜后的纸张的包装空间是否存在缺陷的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

图3为根据本申请实施例的纸张的智能覆膜系统的框图示意图。如图3所示，根据本申请实施例的纸张的智能覆膜系统100，所述热压模块140，包括：图像采集单元141，用于获取所述被覆膜后的纸张的监控图像；包装空间识别单元142，用于将所述监控图像通过包装空间识别网络以得到包装空间区域；包装空间特征提取单元143，用于将所述包装空间区域通过包含深浅特征融合模块的图像特征提取器以得到包装特征图；特征优化单元144，用于对所述包装特征图进行特征分布优化以得到优化包装特征图；矩阵展开单元145，用于将所述优化包装特征图沿通道维度的各个特征矩阵进行特征矩阵展开以得到多个包装特征向量；全局包装语义理解单元146，用于将所述多个包装特征向量通过基于转换器的上下文编码器以得到全局包装语义理解特征向量；以及，包装空间缺陷检测单元147，用于将所述全局包装语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示被覆膜后的纸张的包装空间是否存在缺陷。

更具体地，在本申请实施例中，所述图像采集单元141，用于获取所述被覆膜后的纸张的监控图像。在将干燥后的塑料薄膜与纸张进行热压来得到被覆膜后的纸张过程中，由于纸张的特性和机器设备参数的不同，可能会导致涂覆后纸张变形或者产生泡沫等缺陷，影响纸张的质量，因此需要对涂覆后的纸张进行质量检测和缺陷预警，以提高生产效率和产品质量，这可以通过对于所述被覆膜后的纸张的监控图像进行分析来实现。

更具体地，在本申请实施例中，所述包装空间识别单元142，用于将所述监控图像通过包装空间识别网络以得到包装空间区域。在实际进行纸张覆膜质量检测的过程中，纸张的包装空间往往是存在不规则形状、颜色多样等复杂情况的，因此，为了将所述监控图像中的纸张与背景分离，以提取出被覆膜后的纸张区域，将所述监控图像通过包装空间识别网络以得到包装空间区域，以便后面的处理步骤能够更加准确地计算和判断纸张质量。

相应地，在一个具体示例中，所述包装空间识别网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。使用所述包装空间识别网络的目标锚定层以锚框B来进行滑动对所述监控图像进行处理，以对于所述包装空间感兴趣区域进行框定，从而得到所述包装空间区域。特别地，这里，所述包装空间识别网络为基于锚窗的目标检测网络，且所述基于锚窗的目标检测网络为Fast R-CNN、FasterR-CNN或RetinaNet。

更具体地，在本申请实施例中，所述包装空间特征提取单元143，用于将所述包装空间区域通过包含深浅特征融合模块的图像特征提取器以得到包装特征图。使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述包装空间区域的特征挖掘，特别地，考虑到在对于所述包装空间区域的隐藏特征进行提取时，若热压后得到被覆膜后的纸张存在质量缺陷，例如纸张变形或者产生泡沫，那么则在图像纹理端有所呈现。因此，为了能够更准确地检测出所述被覆膜后纸张的缺陷，应更加关注于所述包装空间区域的轮廓和纹理等浅层特征，这些所述浅层特征对于所述被覆膜后纸张的缺陷检测具有重要意义。而卷积神经网络在编码时，随着其深度的加深，浅层特征会变得模糊甚至被噪声所淹没。因此，在本申请的技术方案中，使用包含深浅特征融合模块的图像特征提取器来对所述包装空间区域进行处理以得到包装特征图。应可以理解，相较于标准卷积神经网络模型，根据本申请的所述卷积神经网络模型能够保留所述包装空间区域的浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高所述被覆膜后纸张的缺陷检测的精度。

应可以理解，卷积神经网络(Convolutional Neural Network，CNN)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。

相应地，在一个具体示例中，所述包装空间特征提取单元143，用于：将所述包装空间区域输入所述图像特征提取器以从所述图像特征提取器的浅层提取浅层特征图以及从所述图像特征提取器的深层提深层特征图；以及，使用所述图像特征提取器的所述深浅特征融合模块来将所述浅层特征图和所述深层特征图进行级联以得到所述包装特征图。

更具体地，在本申请实施例中，所述特征优化单元144，用于对所述包装特征图进行特征分布优化以得到优化包装特征图。

相应地，在一个具体示例中，如图4所示，所述特征优化单元144，包括：优化因数计算子单元1441，用于计算所述包装特征图中各个位置特征值的位置信息图式注意力响应因数以得到多个位置信息图式注意力响应因数；以及，加权优化子单元1442，用于以所述多个位置信息图式注意力响应因数作为加权系数对所述包装特征图的各个位置特征值进行加权优化以得到所述优化分类特征图。

特别地，在本申请的技术方案中，在将所述包装空间区域通过包含深浅特征融合模块的图像特征提取器得到所述包装特征图时，通过对所述包装空间区域进行图像浅层和深层特征语义提取得到的所述包装特征图内的各个位置的特征值均具有相应的位置属性，而在将所述包装特征图沿通道维度的各个特征矩阵进行特征矩阵展开得到所述多个包装特征向量时，会涉及到所述包装特征图的特征值的基于位置属性的重新排列变换，因此为了提升所述多个包装特征向量的各个特征值在排列变换时对所述包装特征图的图像特征语义的位置信息表达效果，计算所述包装特征图的每个位置的特征值的位置信息图式注意力响应因数。

相应地，在一个具体示例中，所述优化因数计算子单元1441，用于：以如下优化公式计算所述包装特征图中各个位置特征值的位置信息图式注意力响应因数以得到所述多个位置信息图式注意力响应因数；其中，所述优化公式为：

其中，f_i是所述包装特征图中各个位置特征值，(x_i,y_i,z_i)为所述包装特征图的各个位置特征值的位置坐标，且是所述包装特征图的所有特征值的全局均值，/>和分别代表将三维实数和二维实数映射为一维实数的函数，W、H和C分别是所述包装特征图的宽度、高度和通道数，log表示以2为底的对数函数，w_i表示所述多个位置信息图式注意力响应因数中的各个位置信息图式注意力响应因数。

这里，所述位置信息图式注意力响应因数通过建模特征值相对于整体特征分布的高维空间位置的相对几何方向和相对几何距离的图式信息表示，在实现特征值相对于整体特征分布的按位置聚合的同时捕获高维特征分布的特征流形的整体形状权重，从而使得所述包装特征图的流形形状高度响应于各个子流形的形状信息，以获得特征图的高维特征流形的排列不变性(permutation invariance)性质。这样，再通过以此所述位置信息图式注意力响应因数对所述包装特征图的各个特征值进行加权，就可以提升所述包装特征图展开后得到的所述多个包装特征向量的各个特征值在排列变换时对图像特征语义的位置信息表达效果，从而提升所述多个包装特征向量通过基于转换器的上下文编码器得到的所述全局包装语义理解特征向量的表达效果，提升所述全局包装语义理解特征向量通过分类器得到的分类结果的准确性。这样，能够准确地判断纸张是否存在变形或者产生泡沫等质量缺陷，以进行热压后纸张的质量检测，从而优化纸张的覆膜质量和效率。

更具体地，在本申请实施例中，所述矩阵展开单元145，用于将所述优化包装特征图沿通道维度的各个特征矩阵进行特征矩阵展开以得到多个包装特征向量。

考虑到在所述包装空间区域中，关于所述被覆膜后的纸张质量特征信息在整个所述包装空间区域中都有所体现，为了能够更精准地进行被覆膜后的纸张的包装空间缺陷检测，在本申请的技术方案中，需要对于所述包装空间区域的各个局部质量隐含特征进行关联编码。因此，在本申请的技术方案中，将所述优化包装特征图沿通道维度的各个特征矩阵进行特征矩阵展开以得到多个包装特征向量后，将所述多个包装特征向量通过基于转换器的上下文编码器中进行编码，以此来提取出所述包装空间区域中关于所述被覆膜后纸张质量的各个局部特征基于全局的上下文语义关联特征信息，从而得到全局包装语义理解特征向量。

更具体地，在本申请实施例中，所述全局包装语义理解单元146，用于将所述多个包装特征向量通过基于转换器的上下文编码器以得到全局包装语义理解特征向量。

应可以理解，通过上下文编码器，可以分析向量表示序列中的某个分词与其他分词之间的关系，以得到相应的特征信息。上下文编码器旨在挖掘得到词序列中上下文之间的隐藏模式，可选地，编码器包括：CNN(Convolutional Neural Network，卷积神经网络)、Recursive NN(RecursiveNeural Network，递归神经网络)、语言模型(Language Model)等。基于CNN的方法对于局部特征有比较好的提取效果，但其对于句子中的长程依赖(Long-term Dependency)问题效果欠佳，因此基于Bi-LSTM(Long Short-Term Memory，长短期记忆网络)的编码器被广泛使用。Recursive NN把句子当作树状结构而非序列进行处理，从理论上而言具有更强的表示能力，但其存在样本标注难度大、深层易梯度消失、难以并行计算等弱点，因此在实际应用中使用较少。Transformer是应用广泛的网络结构了，同时具有CNN和RNN的特性，对于全局特征有较好的提取效果，同时相较于RNN(循环神经网络)在并行计算上具有一定优势。

相应地，在一个具体示例中，所述全局包装语义理解单元146，用于：将所述多个包装特征向量进行一维排列以得到全局包装特征向量；计算所述全局包装特征向量与所述多个包装特征向量中各个包装特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；分别以所述多个概率值中各个概率值作为权重对所述多个包装特征向量中各个包装特征向量进行加权以得到多个全局包装语义理解特征向量；以及，将所述多个全局包装语义理解特征向量进行级联以得到所述全局包装语义理解特征向量。

更具体地，在本申请实施例中，所述包装空间缺陷检测单元147，用于将所述全局包装语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示被覆膜后的纸张的包装空间是否存在缺陷。在得到所述分类结果后，可基于所述分类结果来进行热压后纸张的质量检测，从而优化纸张的覆膜质量和效率。

应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题，对于多分类问题(multi-class classification)，同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。

相应地，在一个具体示例中，所述包装空间缺陷检测单元147，用于：使用所述分类器的多个全连接层对所述全局包装语义理解特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

综上，基于本申请实施例的纸张的智能覆膜系统100中的所述热压模块140被阐明，其首先获取所述被覆膜后的纸张的监控图像，接着，将所述监控图像通过包装空间识别网络以得到包装空间区域，然后，将所述包装空间区域通过包含深浅特征融合模块的图像特征提取器以得到包装特征图，接着，对所述包装特征图进行特征分布优化以得到优化包装特征图，然后，将所述优化包装特征图沿通道维度的各个特征矩阵进行特征矩阵展开以得到多个包装特征向量，接着，将所述多个包装特征向量通过基于转换器的上下文编码器以得到全局包装语义理解特征向量，最后，将所述全局包装语义理解特征向量通过分类器以得到用于表示被覆膜后的纸张的包装空间是否存在缺陷的分类结果。

如上所述，根据本申请实施例的基于本申请实施例的纸张的智能覆膜系统100可以实现在各种终端设备中，例如具有基于本申请实施例的纸张的智能覆膜算法的服务器等。在一个示例中，基于本申请实施例的纸张的智能覆膜系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的纸张的智能覆膜系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的纸张的智能覆膜系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该基于本申请实施例的纸张的智能覆膜系统100与该终端设备也可以是分立的设备，并且该纸张的智能覆膜系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

图5为根据本申请实施例的纸张的智能覆膜方法的流程图。如图5所示，根据本申请实施例的纸张的智能覆膜方法，其包括：S110，将待覆膜的纸张送入覆膜机；S120，将黏合剂涂布在所述覆膜机的塑料薄膜上以得到涂布黏合剂的塑料薄膜；S130，将所述涂布黏合剂的塑料薄膜进行干燥，去除溶剂或水分以得到干燥塑料薄膜；S140，将所述干燥塑料薄膜与纸张进行热压结合以得到被覆膜后的纸张；S150，将所述被覆膜后的纸张进行切割，去除多余的边缘以得到切割后纸张；以及，S160，将所述切割后纸张送出覆膜机。

图6为根据本申请实施例的纸张的智能覆膜方法中步骤S140的子步骤的流程图。如图6所示，根据本申请实施例的纸张的智能覆膜方法，将所述干燥塑料薄膜与纸张进行热压结合以得到被覆膜后的纸张，包括：S141，获取所述被覆膜后的纸张的监控图像；S142，将所述监控图像通过包装空间识别网络以得到包装空间区域；S143，将所述包装空间区域通过包含深浅特征融合模块的图像特征提取器以得到包装特征图；S144，对所述包装特征图进行特征分布优化以得到优化包装特征图；S145，将所述优化包装特征图沿通道维度的各个特征矩阵进行特征矩阵展开以得到多个包装特征向量；S146，将所述多个包装特征向量通过基于转换器的上下文编码器以得到全局包装语义理解特征向量；以及，S147，将所述全局包装语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示被覆膜后的纸张的包装空间是否存在缺陷。

图7为根据本申请实施例的纸张的智能覆膜方法中步骤S140的系统架构的示意图。如图7所示，在所述纸张的智能覆膜方法中步骤S140的系统架构中，首先，获取所述被覆膜后的纸张的监控图像；接着，将所述监控图像通过包装空间识别网络以得到包装空间区域；然后，将所述包装空间区域通过包含深浅特征融合模块的图像特征提取器以得到包装特征图；接着，对所述包装特征图进行特征分布优化以得到优化包装特征图；然后，将所述优化包装特征图沿通道维度的各个特征矩阵进行特征矩阵展开以得到多个包装特征向量；接着，将所述多个包装特征向量通过基于转换器的上下文编码器以得到全局包装语义理解特征向量；最后，将所述全局包装语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示被覆膜后的纸张的包装空间是否存在缺陷。

在一个具体示例中，在上述纸张的智能覆膜方法中，所述包装空间识别网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。

在一个具体示例中，在上述纸张的智能覆膜方法中，将所述包装空间区域通过包含深浅特征融合模块的图像特征提取器以得到包装特征图，包括：将所述包装空间区域输入所述图像特征提取器以从所述图像特征提取器的浅层提取浅层特征图以及从所述图像特征提取器的深层提深层特征图；以及，使用所述图像特征提取器的所述深浅特征融合模块来将所述浅层特征图和所述深层特征图进行级联以得到所述包装特征图。

在一个具体示例中，在上述纸张的智能覆膜方法中，对所述包装特征图进行特征分布优化以得到优化包装特征图，包括：计算所述包装特征图中各个位置特征值的位置信息图式注意力响应因数以得到多个位置信息图式注意力响应因数；以及，以所述多个位置信息图式注意力响应因数作为加权系数对所述包装特征图的各个位置特征值进行加权优化以得到所述优化分类特征图。

在一个具体示例中，在上述纸张的智能覆膜方法中，计算所述包装特征图中各个位置特征值的位置信息图式注意力响应因数以得到多个位置信息图式注意力响应因数，包括：以如下优化公式计算所述包装特征图中各个位置特征值的位置信息图式注意力响应因数以得到所述多个位置信息图式注意力响应因数；其中，所述优化公式为：

其中，f_i是所述包装特征图中各个位置特征值，(x_i,y_i,z_i)为所述包装特征图的各个位置特征值的位置坐标，且是所述包装特征图的所有特征值的全局均值，/>和分别代表将三维实数和二维实数映射为一维实数的函数，W、H和C分别是所述包装特征图的宽度、高度和通道数，log表示以2为底的对数函数，w_i表示所述多个位置信息图式注意力响应因数中的各个位置信息图式注意力响应因数。

在一个具体示例中，在上述纸张的智能覆膜方法中，将所述多个包装特征向量通过基于转换器的上下文编码器以得到全局包装语义理解特征向量，包括：将所述多个包装特征向量进行一维排列以得到全局包装特征向量；计算所述全局包装特征向量与所述多个包装特征向量中各个包装特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；分别以所述多个概率值中各个概率值作为权重对所述多个包装特征向量中各个包装特征向量进行加权以得到多个全局包装语义理解特征向量；以及，将所述多个全局包装语义理解特征向量进行级联以得到所述全局包装语义理解特征向量。

在一个具体示例中，在上述纸张的智能覆膜方法中，将所述全局包装语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示被覆膜后的纸张的包装空间是否存在缺陷，包括：使用所述分类器的多个全连接层对所述全局包装语义理解特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

这里，本领域技术人员可以理解，上述纸张的智能覆膜方法中的各个步骤的具体操作已经在上面参考图1到图4的纸张的智能覆膜系统100的描述中得到了详细介绍，并因此，将省略其重复描述。

根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。

技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。

本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (8)

1.一种纸张的智能覆膜系统，其特征在于，包括：

上料模块，用于将待覆膜的纸张送入覆膜机；

涂布模块，用于将黏合剂涂布在所述覆膜机的塑料薄膜上以得到涂布黏合剂的塑料薄膜；

干燥模块，用于将所述涂布黏合剂的塑料薄膜进行干燥，去除溶剂以得到干燥塑料薄膜；

热压模块，用于将所述干燥塑料薄膜与纸张进行热压结合以得到被覆膜后的纸张；

切割模块，用于将所述被覆膜后的纸张进行切割，去除多余的边缘以得到切割后纸张；以及

下料模块，用于将所述切割后纸张送出覆膜机；

其中，所述热压模块，包括：

图像采集单元，用于获取所述被覆膜后的纸张的监控图像；

包装空间识别单元，用于将所述监控图像通过包装空间识别网络以得到包装空间区域；

包装空间特征提取单元，用于将所述包装空间区域通过包含深浅特征融合模块的图像特征提取器以得到包装特征图；

特征优化单元，用于对所述包装特征图进行特征分布优化以得到优化包装特征图；

矩阵展开单元，用于将所述优化包装特征图沿通道维度的各个特征矩阵进行特征矩阵展开以得到多个包装特征向量；

全局包装语义理解单元，用于将所述多个包装特征向量通过基于转换器的上下文编码器以得到全局包装语义理解特征向量；以及

包装空间缺陷检测单元，用于将所述全局包装语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示被覆膜后的纸张的包装空间是否存在缺陷。

2.根据权利要求1所述的纸张的智能覆膜系统，其特征在于，所述包装空间识别网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。

3.根据权利要求2所述的纸张的智能覆膜系统，其特征在于，所述包装空间特征提取单元，用于：

将所述包装空间区域输入所述图像特征提取器以从所述图像特征提取器的浅层提取浅层特征图以及从所述图像特征提取器的深层提深层特征图；以及

使用所述图像特征提取器的所述深浅特征融合模块来将所述浅层特征图和所述深层特征图进行级联以得到所述包装特征图。

4.根据权利要求3所述的纸张的智能覆膜系统，其特征在于，所述特征优化单元，包括：

优化因数计算子单元，用于计算所述包装特征图中各个位置特征值的位置信息图式注意力响应因数以得到多个位置信息图式注意力响应因数；以及

加权优化子单元，用于以所述多个位置信息图式注意力响应因数作为加权系数对所述包装特征图的各个位置特征值进行加权优化以得到所述优化包装特征图。

5.根据权利要求4所述的纸张的智能覆膜系统，其特征在于，所述优化因数计算子单元，用于：

以如下优化公式计算所述包装特征图中各个位置特征值的位置信息图式注意力响应因数以得到所述多个位置信息图式注意力响应因数；

其中，所述优化公式为：

其中，f_i是所述包装特征图中各个位置特征值，(x_i,y_i,z_i)为所述包装特征图的各个位置特征值的位置坐标，且是所述包装特征图的所有特征值的全局均值，/>和/>分别代表将三维实数和二维实数映射为一维实数的函数，W、H和C分别是所述包装特征图的宽度、高度和通道数，log表示以2为底的对数函数，w_i表示所述多个位置信息图式注意力响应因数中的各个位置信息图式注意力响应因数。

6.根据权利要求5所述的纸张的智能覆膜系统，其特征在于，所述全局包装语义理解单元，用于：

将所述多个包装特征向量进行一维排列以得到全局包装特征向量；

计算所述全局包装特征向量与所述多个包装特征向量中各个包装特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；

分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；

将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；

分别以所述多个概率值中各个概率值作为权重对所述多个包装特征向量中各个包装特征向量进行加权以得到多个全局包装语义理解特征向量；以及

将所述多个全局包装语义理解特征向量进行级联以得到所述全局包装语义理解特征向量。

7.根据权利要求6所述的纸张的智能覆膜系统，其特征在于，所述包装空间缺陷检测单元，用于：

使用所述分类器的多个全连接层对所述全局包装语义理解特征向量进行全连接编码以得到编码分类特征向量；以及

将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

8.一种纸张的智能覆膜方法，其特征在于，包括：

将待覆膜的纸张送入覆膜机；

将黏合剂涂布在所述覆膜机的塑料薄膜上以得到涂布黏合剂的塑料薄膜；

将所述涂布黏合剂的塑料薄膜进行干燥，去除溶剂以得到干燥塑料薄膜；

将所述干燥塑料薄膜与纸张进行热压结合以得到被覆膜后的纸张；

将所述被覆膜后的纸张进行切割，去除多余的边缘以得到切割后纸张；以及

将所述切割后纸张送出覆膜机；

其中，将所述干燥塑料薄膜与纸张进行热压结合以得到被覆膜后的纸张，包括：

获取所述被覆膜后的纸张的监控图像；

将所述监控图像通过包装空间识别网络以得到包装空间区域；

将所述包装空间区域通过包含深浅特征融合模块的图像特征提取器以得到包装特征图；

对所述包装特征图进行特征分布优化以得到优化包装特征图；

将所述优化包装特征图沿通道维度的各个特征矩阵进行特征矩阵展开以得到多个包装特征向量；

将所述多个包装特征向量通过基于转换器的上下文编码器以得到全局包装语义理解特征向量；以及

将所述全局包装语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示被覆膜后的纸张的包装空间是否存在缺陷。