CN116001253A - 双向拉伸薄膜厚度在线修复装置 - Google Patents

Abstract

公开了一种双向拉伸薄膜厚度在线修复装置，其获取预定时间段的薄膜双向拉伸监控视频；然后，采用基于机器视觉的人工智能技术，挖掘所述薄膜的双向拉伸状态的整体关联特征在时序上的动态隐含特征分布信息，以对于薄膜的双向拉伸状态进行准确地动态语义理解，并基于此进行薄膜的拉伸状态检测，进而控制产生拉伸预警提示信号。这样，可以准确地对于薄膜双向拉伸状态进行实时监控，以此来避免薄膜的破损，保证薄膜的拉伸效果和质量。

Description

双向拉伸薄膜厚度在线修复装置

技术领域

本申请涉及智能化修复技术领域，且更为具体地，涉及一种双向拉伸薄膜厚度在线修复装置。

背景技术

塑料薄膜经过双向拉伸后，拉伸强度和弹性模量均有显著的增加，机械强度明显提高。另外，耐热、耐寒、透明度、光泽度、气密性、防潮等性能也得到改善，用途广泛。可用于双向拉伸薄膜生产的高分子材料有：聚丙烯，聚酯，聚苯乙烯，聚酰胺，聚乙烯醇，EVOH，聚偏二氯乙烯，聚乙烯等等。

现有的薄膜双向拉伸通过薄膜拉伸夹实现，具体地，通过多组不同的薄膜拉伸夹使得移动的薄膜在拉伸夹的作用下实现拉伸，但是，因拉伸夹在拉伸过程中不易控制，易造成薄膜的破损。

因此，期待一种双向拉伸薄膜厚度在线修复装置，其能够在拉伸过程中进行薄膜破损预警并及时停止以起到“预防性修复”的技术目标。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种双向拉伸薄膜厚度在线修复装置，其获取预定时间段的薄膜双向拉伸监控视频；然后，采用基于机器视觉的人工智能技术，挖掘所述薄膜的双向拉伸状态的整体关联特征在时序上的动态隐含特征分布信息，以对于薄膜的双向拉伸状态进行准确地动态语义理解，并基于此进行薄膜的拉伸状态检测，进而控制产生拉伸预警提示信号。这样，可以准确地对于薄膜双向拉伸状态进行实时监控，以此来避免薄膜的破损，保证薄膜的拉伸效果和质量。

根据本申请的一个方面，提供了一种双向拉伸薄膜厚度在线修复装置，其包括：

摄像模块，用于获取预定时间段的薄膜双向拉伸监控视频；

采样模块，用于从所述薄膜双向拉伸监控视频提取多个薄膜双向拉伸监控关键帧；

拉伸特征提取模块，用于将所述多个薄膜双向拉伸监控关键帧分别通过使用空间注意力的第一卷积神经网络模型以得到多个薄膜双向拉伸状态特征矩阵；

矩阵展开模块，用于将所述多个薄膜双向拉伸状态特征矩阵进行特征矩阵展开以得到多个薄膜双向拉伸状态特征向量；

拉伸动态语义理解模块，用于将所述多个薄膜双向拉伸状态特征向量通过基于转换器的上下文编码器以得到拉伸语义理解特征向量；以及

预修复模块，用于将所述拉伸语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生停止拉伸预警提示。

在上述双向拉伸薄膜厚度在线修复装置中，所述采样模块，用于以预定采样频率对所述薄膜双向拉伸监控视频进行关键帧采样，以从所述薄膜双向拉伸监控视频提取多个薄膜双向拉伸监控关键帧。

在上述双向拉伸薄膜厚度在线修复装置中，所述拉伸特征提取模块，进一步用于：所述使用空间注意力的第一卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；其中，所述使用空间注意力的第一卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个薄膜双向拉伸状态特征矩阵。

在上述双向拉伸薄膜厚度在线修复装置中，所述矩阵展开模块，用于将所述多个薄膜双向拉伸状态特征矩阵沿着行向量进行特征矩阵展开以得到所述多个薄膜双向拉伸状态特征向量。

在上述双向拉伸薄膜厚度在线修复装置中，所述拉伸动态语义理解模块，包括：上下文编码单元，用于将所述多个薄膜双向拉伸状态特征向量输入所述基于转换器的上下文编码器以得到多个上下文薄膜双向拉伸状态特征向量；聚合度优化单元，用于对所述各个上下文薄膜双向拉伸状态特征向量进行特征聚合度优化以得到多个优化上下文薄膜双向拉伸状态特征向量；以及，级联单元，用于将所述多个优化上下文薄膜双向拉伸状态特征向量进行级联以得到所述拉伸语义理解特征向量。

在上述双向拉伸薄膜厚度在线修复装置中，所述上下文编码单元，用于使用所述基于转换器的上下文编码器对由所述多个薄膜双向拉伸状态特征向量进行基于全局的上下文语义编码以得到所述多个上下文薄膜双向拉伸状态特征向量。

在上述双向拉伸薄膜厚度在线修复装置中，所述聚合度优化单元，进一步用于：以如下公式对所述各个上下文薄膜双向拉伸状态特征向量进行特征聚合度优化以得到所述多个优化上下文薄膜双向拉伸状态特征向量；其中，所述公式为：

其中，V_i是所述各个上下文薄膜双向拉伸状态特征向量，V_j是所述其他各个上下文薄膜双向拉伸状态特征向量，d(V_i,V_j)是所述各个上下文薄膜双向拉伸状态特征向量和所述其他各个上下文薄膜双向拉伸状态特征向量之间的距离，ε表示预定阈值，α表示加权超参数，exp(·)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，

表示按位置差分，V'_j表示所述多个优化上下文薄膜双向拉伸状态特征向量中的各个优化上下文薄膜双向拉伸状态特征向量。

在上述双向拉伸薄膜厚度在线修复装置中，所述预修复模块，包括：全连接编码单元，用于使用所述分类器的多个全连接层对所述拉伸语义理解特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

与现有技术相比，本申请提供的双向拉伸薄膜厚度在线修复装置，其获取预定时间段的薄膜双向拉伸监控视频；然后，采用基于机器视觉的人工智能技术，挖掘所述薄膜的双向拉伸状态的整体关联特征在时序上的动态隐含特征分布信息，以对于薄膜的双向拉伸状态进行准确地动态语义理解，并基于此进行薄膜的拉伸状态检测，进而控制产生拉伸预警提示信号。这样，可以准确地对于薄膜双向拉伸状态进行实时监控，以此来避免薄膜的破损，保证薄膜的拉伸效果和质量。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的双向拉伸薄膜厚度在线修复装置的应用场景图。

图2为根据本申请实施例的双向拉伸薄膜厚度在线修复装置的框图。

图3为根据本申请实施例的双向拉伸薄膜厚度在线修复装置中所述拉伸动态语义理解模块的框图。

图4为根据本申请实施例的双向拉伸薄膜厚度在线修复装置中所述预修复模块的框图。

图5为根据本申请实施例的双向拉伸薄膜厚度在线修复方法的流程图。

图6为根据本申请实施例的双向拉伸薄膜厚度在线修复方法的系统架构的示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如上所述，现有的薄膜双向拉伸通过薄膜拉伸夹实现，具体地，通过多组不同的薄膜拉伸夹使得移动的薄膜在拉伸夹的作用下实现拉伸，但是，因拉伸夹在拉伸过程中不易控制，易造成薄膜的破损。因此，期待一种双向拉伸薄膜厚度在线修复装置，其能够在拉伸过程中进行薄膜破损预警并及时停止以起到“预防性修复”的技术目标。

相应地，在本申请的技术方案中，考虑到若想对于双向拉伸薄膜厚度在拉伸过程中进行薄膜破损预警，就需要对于薄膜的双向拉伸进行实时监控，这可以通过对于采集的薄膜双向拉伸监控视频进行分析来实现。但是，考虑到由于所述薄膜双向拉伸监控视频中存在有大量的信息量，难以对于薄膜的双向拉伸状态的有用信息进行提取，进而降低对于薄膜破损预警的精准度。并且，在薄膜的拉伸过程中，还考虑到薄膜的双向拉伸状态特征不仅在各个时间点下的图像帧中有所体现，而且还在各个时间点的时间维度上具有着动态性的变化关联，同时由于薄膜在拉伸过程中各处的拉伸情况不一而导致对于拉伸状态的判断会产生误差。因此，如何准确地挖掘出所述薄膜的双向拉伸状态的整体关联特征在时序上的动态隐含特征分布信息，以对于薄膜的双向拉伸状态进行准确地动态语义理解是关键。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

深度学习以及神经网络的发展为挖掘所述薄膜的双向拉伸状态的整体关联特征在时序上的动态隐含特征提供了新的解决思路和方案。

具体地，在本申请的技术方案中，首先，通过摄像头获取预定时间段的薄膜双向拉伸监控视频。接着，考虑到在所述薄膜双向拉伸监控视频中，关于薄膜的双向拉伸状态变化特征可以通过所述薄膜双向拉伸监控视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示所述薄膜双向拉伸的状态变化情况。但是，考虑到监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计算量，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述薄膜双向拉伸监控视频进行关键帧采样，以从所述薄膜双向拉伸监控视频提取多个薄膜双向拉伸监控关键帧。

然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述多个薄膜双向拉伸监控关键帧的特征提取，特别地，考虑到在进行所述薄膜双向拉伸的状态监测以进行拉伸预警时，应关注于空间位置上关于薄膜的隐含拉伸特征信息而忽略与薄膜的双向拉伸状态监测无关的干扰特征，鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。因此，在本申请的技术方案中，将所述多个薄膜双向拉伸监控关键帧分别通过使用空间注意力的第一卷积神经网络模型中进行处理，以提取出所述各个薄膜双向拉伸监控关键帧中聚焦于空间上的关于所述薄膜双向拉伸的状态隐含特征分布信息，从而得到多个薄膜双向拉伸状态特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于所述薄膜双向拉伸状态的特征信息。

进一步地，考虑到由于所述各个监控关键帧下的薄膜双向拉伸的空间状态特征不仅在时间维度上具有着关联性关系，而且所述薄膜的各个位置处的拉伸特征也具有着关联性，这都会对于薄膜双向拉伸的状态判断产生影响。因此，在实际进行薄膜双向拉伸的状态检测以进行薄膜破损预警时，需要更加关注于这些关联性的特征信息来更为精准地进行薄膜破损预警。具体地，在本申请的技术方案中，将所述多个薄膜双向拉伸状态特征矩阵进行特征矩阵展开以得到所述各个监控关键帧下的关于薄膜的各个位置处的拉伸状态特征分布信息，从而得到多个薄膜双向拉伸状态特征向量。相应地，在本申请的一个具体示例中，将所述多个薄膜双向拉伸状态特征矩阵沿着行向量进行特征矩阵展开来得到多个薄膜双向拉伸状态特征向量。

然后，再将所述多个薄膜双向拉伸状态特征向量通过基于转换器的上下文编码器中进行处理，以提取出所述各个监控关键帧下的关于薄膜的各个位置处的拉伸状态特征的基于全局的上下文关联特征分布信息，从而得到多个上下文薄膜双向拉伸状态特征向量。进一步再将所述多个上下文薄膜双向拉伸状态特征向量进行级联来进行特征整合，以得到所述拉伸语义理解特征向量。

也就是，基于transformer思想，利用转换器能够捕捉长距离上下文依赖的特性，对所述多个薄膜双向拉伸状态特征向量中各个薄膜双向拉伸状态特征向量进行基于全局的上下文语义编码以得到以所述多个薄膜双向拉伸状态特征向量的整体语义关联为上下文背景的上下文语义关联特征表示，即，所述多个上下文薄膜双向拉伸状态特征向量。应可以理解，在本申请的技术方案中，通过所述基于转换器的上下文编码器可以捕捉所述各个监控关键帧下的关于薄膜的各个位置处的局部拉伸状态特征相对于所述各个监控关键帧整体的关于薄膜双向拉伸状态特征的上下文语义关联特征表示，进而得到具有所述薄膜双向拉伸状态的基于全局关联的拉伸动态语义理解特征的拉伸语义理解特征向量。

接着，进一步再将所述拉伸语义理解特征向量作为分类特征向量通过分类器以得到用于表示是否产生停止拉伸预警提示分类结果。

也就是，在本申请的技术方案中，所述分类器的标签包括产生停止拉伸预警提示，以及，不产生停止拉伸预警提示，其中，所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。应可以理解，在本申请的技术方案中，所述分类器的分类标签为是否产生停止拉伸预警提示的控制策略标签，也就是说，基于所述薄膜双向拉伸状态的全局拉伸动态语义理解特征来进行薄膜的拉伸状态检测，进而控制产生拉伸预警提示信号。因此，在得到所述分类结果后，可基于所述分类结果来判断是否产生停止拉伸预警提示，以在拉伸过程中进行薄膜破损预警并及时停止以起到“预防性修复”的技术目的。

特别地，在本申请的技术方案中，将所述多个薄膜双向拉伸状态特征向量通过基于转换器的上下文编码器得到所述拉伸语义理解特征向量时，是将所述多个薄膜双向拉伸状态特征向量通过基于转换器的上下文编码器得到的多个上下文薄膜双向拉伸状态特征向量直接级联以得到所述拉伸语义理解特征向量。这里，虽然所述基于转换器的上下文编码器对所述多个薄膜双向拉伸状态特征向量进行了特征语义层面的上下文编码，但得到的所述多个上下文薄膜双向拉伸状态特征向量仍然存在显式关联度较差的问题，从而影响其特征聚合度，导致所述拉伸语义理解特征向量的分类结果的准确性变差。

因此，如果将每个多个上下文薄膜双向拉伸状态特征向量看作是单个节点的上下文语义特征表示，且节点之间具有转换器的上下文编码的拓扑关联关系，因此可以基于节点整体的拓扑结构来提升节点之间的类概率特征聚合度，具体地，计算每个上下文薄膜双向拉伸状态特征向量的节点间类概率匹配特征向量，表示为：

V_i是每个上下文薄膜双向拉伸状态特征向量，V_j是所述多个上下文薄膜双向拉伸状态特征向量中与所述上下文薄膜双向拉伸状态特征向量V_i之间的距离，也就是，d(V_i,V_j)小于预定阈值(例如，阈值记为ε)的上下文薄膜双向拉伸状态特征向量，α为加权超参数。

也就是，如果将预定上下文薄膜双向拉伸状态特征向量V_i作为拓扑结构的节点，则对应的上下文薄膜双向拉伸状态特征向量V_j可以被认为是在拓扑结构内部与所述节点V_i相连的节点，即i→j∈E，表示节点i与节点j之间具有边。这样，通过计算节点间类概率匹配特征向量，可以确定拓扑结构内的节点与相邻节点之间在类概率下的交互度，通过以其代替所述上下文薄膜双向拉伸状态特征向量级联得到所述拉伸语义理解特征向量，可以提升多节点组成的拓扑结构内部的各个节点间的类概率特征聚合度，相当于在基于内部特征交互的特征聚合维度上对于节点特征施加注意力机制，从而提高了所述拉伸语义理解特征向量的表达效果，也就提高了所述拉伸语义理解特征向量的分类结果的准确性。这样，能够准确地对于薄膜双向拉伸状态进行实时监控，以在拉伸过程中进行薄膜破损预警并及时停止以起到“预防性修复”的技术目的，以此来避免薄膜的破损，保证薄膜的拉伸效果和质量。

基于此，本申请提供了一种双向拉伸薄膜厚度在线修复装置，其包括：摄像模块，用于获取预定时间段的薄膜双向拉伸监控视频；采样模块，用于从所述薄膜双向拉伸监控视频提取多个薄膜双向拉伸监控关键帧；拉伸特征提取模块，用于将所述多个薄膜双向拉伸监控关键帧分别通过使用空间注意力的第一卷积神经网络模型以得到多个薄膜双向拉伸状态特征矩阵；矩阵展开模块，用于将所述多个薄膜双向拉伸状态特征矩阵进行特征矩阵展开以得到多个薄膜双向拉伸状态特征向量；拉伸动态语义理解模块，用于将所述多个薄膜双向拉伸状态特征向量通过基于转换器的上下文编码器以得到拉伸语义理解特征向量；以及，预修复模块，用于将所述拉伸语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生停止拉伸预警提示。

图1为根据本申请实施例的双向拉伸薄膜厚度在线修复装置的应用场景图。如图1所示，在该应用场景中，首先，通过摄像头获取预定时间段的薄膜双向拉伸监控视频(例如，图1中所示意的C)。然后，将获取的薄膜双向拉伸监控视频输入至部署有双向拉伸薄膜厚度在线修复算法的服务器中(例如，图1中所示意的S)，其中，所述服务器能够使用双向拉伸薄膜厚度在线修复算法对所述薄膜双向拉伸监控视频进行处理，以生成用于表示是否产生停止拉伸预警提示的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图2为根据本申请实施例的双向拉伸薄膜厚度在线修复装置的框图。如图2所示，根据本申请实施例的双向拉伸薄膜厚度在线修复装置100，包括：摄像模块110，用于获取预定时间段的薄膜双向拉伸监控视频；采样模块120，用于从所述薄膜双向拉伸监控视频提取多个薄膜双向拉伸监控关键帧；拉伸特征提取模块130，用于将所述多个薄膜双向拉伸监控关键帧分别通过使用空间注意力的第一卷积神经网络模型以得到多个薄膜双向拉伸状态特征矩阵；矩阵展开模块140，用于将所述多个薄膜双向拉伸状态特征矩阵进行特征矩阵展开以得到多个薄膜双向拉伸状态特征向量；拉伸动态语义理解模块150，用于将所述多个薄膜双向拉伸状态特征向量通过基于转换器的上下文编码器以得到拉伸语义理解特征向量；以及，预修复模块160，用于将所述拉伸语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生停止拉伸预警提示。

具体地，在本申请实施例中，所述摄像模块110，用于获取预定时间段的薄膜双向拉伸监控视频。如前所述，现有的薄膜双向拉伸通过薄膜拉伸夹实现，具体地，通过多组不同的薄膜拉伸夹使得移动的薄膜在拉伸夹的作用下实现拉伸，但是，因拉伸夹在拉伸过程中不易控制，易造成薄膜的破损。因此，期待一种双向拉伸薄膜厚度在线修复装置，其能够在拉伸过程中进行薄膜破损预警并及时停止以起到“预防性修复”的技术目标。

相应地，在本申请的技术方案中，考虑到若想对于双向拉伸薄膜厚度在拉伸过程中进行薄膜破损预警，就需要对于薄膜的双向拉伸进行实时监控，这可以通过对于采集的薄膜双向拉伸监控视频进行分析来实现。但是，考虑到由于所述薄膜双向拉伸监控视频中存在有大量的信息量，难以对于薄膜的双向拉伸状态的有用信息进行提取，进而降低对于薄膜破损预警的精准度。并且，在薄膜的拉伸过程中，还考虑到薄膜的双向拉伸状态特征不仅在各个时间点下的图像帧中有所体现，而且还在各个时间点的时间维度上具有着动态性的变化关联，同时由于薄膜在拉伸过程中各处的拉伸情况不一而导致对于拉伸状态的判断会产生误差。因此，如何准确地挖掘出所述薄膜的双向拉伸状态的整体关联特征在时序上的动态隐含特征分布信息，以对于薄膜的双向拉伸状态进行准确地动态语义理解是关键。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

深度学习以及神经网络的发展为挖掘所述薄膜的双向拉伸状态的整体关联特征在时序上的动态隐含特征提供了新的解决思路和方案。

具体地，在本申请的技术方案中，首先，通过摄像头获取预定时间段的薄膜双向拉伸监控视频。

具体地，在本申请实施例中，所述采样模块120，用于从所述薄膜双向拉伸监控视频提取多个薄膜双向拉伸监控关键帧。接着，考虑到在所述薄膜双向拉伸监控视频中，关于薄膜的双向拉伸状态变化特征可以通过所述薄膜双向拉伸监控视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示所述薄膜双向拉伸的状态变化情况。但是，考虑到监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计算量，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述薄膜双向拉伸监控视频进行关键帧采样，以从所述薄膜双向拉伸监控视频提取多个薄膜双向拉伸监控关键帧。

具体地，在本申请实施例中，所述拉伸特征提取模块130，用于将所述多个薄膜双向拉伸监控关键帧分别通过使用空间注意力的第一卷积神经网络模型以得到多个薄膜双向拉伸状态特征矩阵。然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述多个薄膜双向拉伸监控关键帧的特征提取，特别地，考虑到在进行所述薄膜双向拉伸的状态监测以进行拉伸预警时，应关注于空间位置上关于薄膜的隐含拉伸特征信息而忽略与薄膜的双向拉伸状态监测无关的干扰特征，鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。

因此，在本申请的技术方案中，将所述多个薄膜双向拉伸监控关键帧分别通过使用空间注意力的第一卷积神经网络模型中进行处理，以提取出所述各个薄膜双向拉伸监控关键帧中聚焦于空间上的关于所述薄膜双向拉伸的状态隐含特征分布信息，从而得到多个薄膜双向拉伸状态特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于所述薄膜双向拉伸状态的特征信息。

在本申请的实施例中，所述拉伸特征提取模块，进一步用于：所述使用空间注意力的第一卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；其中，所述使用空间注意力的第一卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个薄膜双向拉伸状态特征矩阵。

具体地，在本申请实施例中，所述矩阵展开模块140，用于将所述多个薄膜双向拉伸状态特征矩阵进行特征矩阵展开以得到多个薄膜双向拉伸状态特征向量。进一步地，考虑到由于所述各个监控关键帧下的薄膜双向拉伸的空间状态特征不仅在时间维度上具有着关联性关系，而且所述薄膜的各个位置处的拉伸特征也具有着关联性，这都会对于薄膜双向拉伸的状态判断产生影响。

因此，在实际进行薄膜双向拉伸的状态检测以进行薄膜破损预警时，需要更加关注于这些关联性的特征信息来更为精准地进行薄膜破损预警。具体地，在本申请的技术方案中，将所述多个薄膜双向拉伸状态特征矩阵进行特征矩阵展开以得到所述各个监控关键帧下的关于薄膜的各个位置处的拉伸状态特征分布信息，从而得到多个薄膜双向拉伸状态特征向量。相应地，在本申请的一个具体示例中，将所述多个薄膜双向拉伸状态特征矩阵沿着行向量进行特征矩阵展开来得到多个薄膜双向拉伸状态特征向量。

具体地，在本申请实施例中，所述拉伸动态语义理解模块150，用于将所述多个薄膜双向拉伸状态特征向量通过基于转换器的上下文编码器以得到拉伸语义理解特征向量。然后，再将所述多个薄膜双向拉伸状态特征向量通过基于转换器的上下文编码器中进行处理，以提取出所述各个监控关键帧下的关于薄膜的各个位置处的拉伸状态特征的基于全局的上下文关联特征分布信息，从而得到多个上下文薄膜双向拉伸状态特征向量。进一步再将所述多个上下文薄膜双向拉伸状态特征向量进行级联来进行特征整合，以得到所述拉伸语义理解特征向量。

也就是，基于transformer思想，利用转换器能够捕捉长距离上下文依赖的特性，对所述多个薄膜双向拉伸状态特征向量中各个薄膜双向拉伸状态特征向量进行基于全局的上下文语义编码以得到以所述多个薄膜双向拉伸状态特征向量的整体语义关联为上下文背景的上下文语义关联特征表示，即，所述多个上下文薄膜双向拉伸状态特征向量。应可以理解，在本申请的技术方案中，通过所述基于转换器的上下文编码器可以捕捉所述各个监控关键帧下的关于薄膜的各个位置处的局部拉伸状态特征相对于所述各个监控关键帧整体的关于薄膜双向拉伸状态特征的上下文语义关联特征表示，进而得到具有所述薄膜双向拉伸状态的基于全局关联的拉伸动态语义理解特征的拉伸语义理解特征向量。

在本申请中，图3为根据本申请实施例的双向拉伸薄膜厚度在线修复装置中所述拉伸动态语义理解模块的框图，如图3所示，所述拉伸动态语义理解模块，包括：上下文编码单元210，用于将所述多个薄膜双向拉伸状态特征向量输入所述基于转换器的上下文编码器以得到多个上下文薄膜双向拉伸状态特征向量；聚合度优化单元220，用于对所述各个上下文薄膜双向拉伸状态特征向量进行特征聚合度优化以得到多个优化上下文薄膜双向拉伸状态特征向量；以及，级联单元230，用于将所述多个优化上下文薄膜双向拉伸状态特征向量进行级联以得到所述拉伸语义理解特征向量。

在本申请一具体示例中，所述上下文编码单元，用于使用所述基于转换器的上下文编码器对由所述多个薄膜双向拉伸状态特征向量进行基于全局的上下文语义编码以得到所述多个上下文薄膜双向拉伸状态特征向量。

接着，进一步再将所述拉伸语义理解特征向量作为分类特征向量通过分类器以得到用于表示是否产生停止拉伸预警提示分类结果。

特别地，在本申请的技术方案中，将所述多个薄膜双向拉伸状态特征向量通过基于转换器的上下文编码器得到所述拉伸语义理解特征向量时，是将所述多个薄膜双向拉伸状态特征向量通过基于转换器的上下文编码器得到的多个上下文薄膜双向拉伸状态特征向量直接级联以得到所述拉伸语义理解特征向量。这里，虽然所述基于转换器的上下文编码器对所述多个薄膜双向拉伸状态特征向量进行了特征语义层面的上下文编码，但得到的所述多个上下文薄膜双向拉伸状态特征向量仍然存在显式关联度较差的问题，从而影响其特征聚合度，导致所述拉伸语义理解特征向量的分类结果的准确性变差。

因此，如果将每个多个上下文薄膜双向拉伸状态特征向量看作是单个节点的上下文语义特征表示，且节点之间具有转换器的上下文编码的拓扑关联关系，因此可以基于节点整体的拓扑结构来提升节点之间的类概率特征聚合度，具体地，计算每个上下文薄膜双向拉伸状态特征向量的节点间类概率匹配特征向量，也就是，以如下公式对所述各个上下文薄膜双向拉伸状态特征向量进行特征聚合度优化以得到所述多个优化上下文薄膜双向拉伸状态特征向量；其中，所述公式为：

其中，V_i是所述各个上下文薄膜双向拉伸状态特征向量，V_j是所述其他各个上下文薄膜双向拉伸状态特征向量，d(V_i,V_j)是所述各个上下文薄膜双向拉伸状态特征向量和所述其他各个上下文薄膜双向拉伸状态特征向量之间的距离，ε表示预定阈值，α表示加权超参数，exp(·)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，

表示按位置差分，V'_i表示所述多个优化上下文薄膜双向拉伸状态特征向量中的各个优化上下文薄膜双向拉伸状态特征向量。

也就是，如果将预定上下文薄膜双向拉伸状态特征向量V_i作为拓扑结构的节点，则对应的上下文薄膜双向拉伸状态特征向量V_j可以被认为是在拓扑结构内部与所述节点V_i相连的节点，即i→j∈E，表示节点i与节点j之间具有边。这样，通过计算节点间类概率匹配特征向量，可以确定拓扑结构内的节点与相邻节点之间在类概率下的交互度，通过以其代替所述上下文薄膜双向拉伸状态特征向量级联得到所述拉伸语义理解特征向量，可以提升多节点组成的拓扑结构内部的各个节点间的类概率特征聚合度，相当于在基于内部特征交互的特征聚合维度上对于节点特征施加注意力机制，从而提高了所述拉伸语义理解特征向量的表达效果，也就提高了所述拉伸语义理解特征向量的分类结果的准确性。这样，能够准确地对于薄膜双向拉伸状态进行实时监控，以在拉伸过程中进行薄膜破损预警并及时停止以起到“预防性修复”的技术目的，以此来避免薄膜的破损，保证薄膜的拉伸效果和质量。

具体地，在本申请实施例中，所述预修复模块160，用于将所述拉伸语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生停止拉伸预警提示。在本申请的技术方案中，所述分类器的标签包括产生停止拉伸预警提示，以及，不产生停止拉伸预警提示，其中，所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。

图4为根据本申请实施例的双向拉伸薄膜厚度在线修复装置中所述预修复模块的框图，如图4所示，所述预修复模块，包括：全连接编码单元310，用于使用所述分类器的多个全连接层对所述拉伸语义理解特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元320，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

应可以理解，在本申请的技术方案中，所述分类器的分类标签为是否产生停止拉伸预警提示的控制策略标签，也就是说，基于所述薄膜双向拉伸状态的全局拉伸动态语义理解特征来进行薄膜的拉伸状态检测，进而控制产生拉伸预警提示信号。因此，在得到所述分类结果后，可基于所述分类结果来判断是否产生停止拉伸预警提示，以在拉伸过程中进行薄膜破损预警并及时停止以起到“预防性修复”的技术目的。

在本申请一具体示例中，使用所述分类器以如下公式对所述拉伸语义理解特征向量进行处理以得到所述分类结果；其中，所述公式为：

所述公式为：O＝softmax{(W_n,B_n):…:(W₁,B₁)|X}，其中X表示所述拉伸语义理解特征向量，W₁至W_n为权重矩阵，B₁至B_n表示偏置向量。

综上，基于本申请实施例的双向拉伸薄膜厚度在线修复装置100被阐明，其获取预定时间段的薄膜双向拉伸监控视频；然后，采用基于机器视觉的人工智能技术，挖掘所述薄膜的双向拉伸状态的整体关联特征在时序上的动态隐含特征分布信息，以对于薄膜的双向拉伸状态进行准确地动态语义理解，并基于此进行薄膜的拉伸状态检测，进而控制产生拉伸预警提示信号。这样，可以准确地对于薄膜双向拉伸状态进行实时监控，以此来避免薄膜的破损，保证薄膜的拉伸效果和质量。

示例性方法

图5为根据本申请实施例的双向拉伸薄膜厚度在线修复方法的流程图。如图5所示，根据本申请实施例的双向拉伸薄膜厚度在线修复方法，其包括：S110，获取预定时间段的薄膜双向拉伸监控视频；S120，从所述薄膜双向拉伸监控视频提取多个薄膜双向拉伸监控关键帧；S130，将所述多个薄膜双向拉伸监控关键帧分别通过使用空间注意力的第一卷积神经网络模型以得到多个薄膜双向拉伸状态特征矩阵；S140，将所述多个薄膜双向拉伸状态特征矩阵进行特征矩阵展开以得到多个薄膜双向拉伸状态特征向量；S150，将所述多个薄膜双向拉伸状态特征向量通过基于转换器的上下文编码器以得到拉伸语义理解特征向量；以及，S160，将所述拉伸语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生停止拉伸预警提示。

图6为根据本申请实施例的双向拉伸薄膜厚度在线修复方法的系统架构的示意图。如图6所示，在所述双向拉伸薄膜厚度在线修复方法的系统架构中，首先，获取预定时间段的薄膜双向拉伸监控视频；然后，从所述薄膜双向拉伸监控视频提取多个薄膜双向拉伸监控关键帧；接着，将所述多个薄膜双向拉伸监控关键帧分别通过使用空间注意力的第一卷积神经网络模型以得到多个薄膜双向拉伸状态特征矩阵；然后，将所述多个薄膜双向拉伸状态特征矩阵进行特征矩阵展开以得到多个薄膜双向拉伸状态特征向量；接着，将所述多个薄膜双向拉伸状态特征向量通过基于转换器的上下文编码器以得到拉伸语义理解特征向量；以及，最后，将所述拉伸语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生停止拉伸预警提示。

在一个具体示例中，在上述双向拉伸薄膜厚度在线修复方法中，所述从所述薄膜双向拉伸监控视频提取多个薄膜双向拉伸监控关键帧，包括:以预定采样频率对所述薄膜双向拉伸监控视频进行关键帧采样，以从所述薄膜双向拉伸监控视频提取多个薄膜双向拉伸监控关键帧。

在一个具体示例中，在上述双向拉伸薄膜厚度在线修复方法中，所述将所述多个薄膜双向拉伸监控关键帧分别通过使用空间注意力的第一卷积神经网络模型以得到多个薄膜双向拉伸状态特征矩阵，进一步包括：所述使用空间注意力的第一卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；其中，所述使用空间注意力的第一卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个薄膜双向拉伸状态特征矩阵。

在一个具体示例中，在上述双向拉伸薄膜厚度在线修复方法中，所述将所述多个薄膜双向拉伸状态特征矩阵进行特征矩阵展开以得到多个薄膜双向拉伸状态特征向量，包括：将所述多个薄膜双向拉伸状态特征矩阵沿着行向量进行特征矩阵展开以得到所述多个薄膜双向拉伸状态特征向量。

在一个具体示例中，在上述双向拉伸薄膜厚度在线修复方法中，所述将所述多个薄膜双向拉伸状态特征向量通过基于转换器的上下文编码器以得到拉伸语义理解特征向量，包括：将所述多个薄膜双向拉伸状态特征向量输入所述基于转换器的上下文编码器以得到多个上下文薄膜双向拉伸状态特征向量；对所述各个上下文薄膜双向拉伸状态特征向量进行特征聚合度优化以得到多个优化上下文薄膜双向拉伸状态特征向量；以及，将所述多个优化上下文薄膜双向拉伸状态特征向量进行级联以得到所述拉伸语义理解特征向量。

在一个具体示例中，在上述双向拉伸薄膜厚度在线修复方法中，所述将所述多个薄膜双向拉伸状态特征向量输入所述基于转换器的上下文编码器以得到多个上下文薄膜双向拉伸状态特征向量，包括：使用所述基于转换器的上下文编码器对由所述多个薄膜双向拉伸状态特征向量进行基于全局的上下文语义编码以得到所述多个上下文薄膜双向拉伸状态特征向量。

在一个具体示例中，在上述双向拉伸薄膜厚度在线修复方法中，所述对所述各个上下文薄膜双向拉伸状态特征向量进行特征聚合度优化以得到多个优化上下文薄膜双向拉伸状态特征向量，进一步包括：以如下公式对所述各个上下文薄膜双向拉伸状态特征向量进行特征聚合度优化以得到所述多个优化上下文薄膜双向拉伸状态特征向量；其中，所述公式为：

其中，V_i是所述各个上下文薄膜双向拉伸状态特征向量，V_j是所述其他各个上下文薄膜双向拉伸状态特征向量，d(V_i,V_j)是所述各个上下文薄膜双向拉伸状态特征向量和所述其他各个上下文薄膜双向拉伸状态特征向量之间的距离，ε表示预定阈值，α表示加权超参数，exp(·)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，

表示按位置差分，V'_i表示所述多个优化上下文薄膜双向拉伸状态特征向量中的各个优化上下文薄膜双向拉伸状态特征向量。

在一个具体示例中，在上述双向拉伸薄膜厚度在线修复方法中，所述将所述拉伸语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生停止拉伸预警提示，包括：使用所述分类器的多个全连接层对所述拉伸语义理解特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

这里，本领域技术人员可以理解，上述双向拉伸薄膜厚度在线修复方法中的各个步骤的具体操作已经在上面参考图1到图4的双向拉伸薄膜厚度在线修复系统的描述中得到了详细介绍，并因此，将省略其重复描述。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

Claims (8)

1.一种双向拉伸薄膜厚度在线修复装置，其特征在于，包括：

摄像模块，用于获取预定时间段的薄膜双向拉伸监控视频；

采样模块，用于从所述薄膜双向拉伸监控视频提取多个薄膜双向拉伸监控关键帧；

拉伸特征提取模块，用于将所述多个薄膜双向拉伸监控关键帧分别通过使用空间注意力的第一卷积神经网络模型以得到多个薄膜双向拉伸状态特征矩阵；

矩阵展开模块，用于将所述多个薄膜双向拉伸状态特征矩阵进行特征矩阵展开以得到多个薄膜双向拉伸状态特征向量；

拉伸动态语义理解模块，用于将所述多个薄膜双向拉伸状态特征向量通过基于转换器的上下文编码器以得到拉伸语义理解特征向量；以及

预修复模块，用于将所述拉伸语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生停止拉伸预警提示。

2.根据权利要求1所述的双向拉伸薄膜厚度在线修复装置，其特征在于，所述采样模块，用于以预定采样频率对所述薄膜双向拉伸监控视频进行关键帧采样，以从所述薄膜双向拉伸监控视频提取多个薄膜双向拉伸监控关键帧。

3.根据权利要求2所述的双向拉伸薄膜厚度在线修复装置，其特征在于，所述拉伸特征提取模块，进一步用于：所述使用空间注意力的第一卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：

对输入数据进行卷积处理以生成卷积特征图；

对所述卷积特征图进行池化处理以生成池化特征图；

对所述池化特征图进行非线性激活以生成激活特征图；

计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；

计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及

计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；

其中，所述使用空间注意力的第一卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个薄膜双向拉伸状态特征矩阵。

4.根据权利要求3所述的双向拉伸薄膜厚度在线修复装置，其特征在于，所述矩阵展开模块，用于将所述多个薄膜双向拉伸状态特征矩阵沿着行向量进行特征矩阵展开以得到所述多个薄膜双向拉伸状态特征向量。

5.根据权利要求4所述的双向拉伸薄膜厚度在线修复装置，其特征在于，所述拉伸动态语义理解模块，包括：

上下文编码单元，用于将所述多个薄膜双向拉伸状态特征向量输入所述基于转换器的上下文编码器以得到多个上下文薄膜双向拉伸状态特征向量；

聚合度优化单元，用于对所述各个上下文薄膜双向拉伸状态特征向量进行特征聚合度优化以得到多个优化上下文薄膜双向拉伸状态特征向量；以及

级联单元，用于将所述多个优化上下文薄膜双向拉伸状态特征向量进行级联以得到所述拉伸语义理解特征向量。

6.根据权利要求5所述的双向拉伸薄膜厚度在线修复装置，其特征在于，所述上下文编码单元，用于使用所述基于转换器的上下文编码器对由所述多个薄膜双向拉伸状态特征向量进行基于全局的上下文语义编码以得到所述多个上下文薄膜双向拉伸状态特征向量。

7.根据权利要求6所述的双向拉伸薄膜厚度在线修复装置，其特征在于，所述聚合度优化单元，进一步用于：以如下公式对所述各个上下文薄膜双向拉伸状态特征向量进行特征聚合度优化以得到所述多个优化上下文薄膜双向拉伸状态特征向量；

其中，所述公式为：

其中，V_i是所述各个上下文薄膜双向拉伸状态特征向量，V_j是所述其他各个上下文薄膜双向拉伸状态特征向量，d(V_i,V_j)是所述各个上下文薄膜双向拉伸状态特征向量和所述其他各个上下文薄膜双向拉伸状态特征向量之间的距离，ε表示预定阈值，α表示加权超参数，exp(·)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，

表示按位置差分，V'_i表示所述多个优化上下文薄膜双向拉伸状态特征向量中的各个优化上下文薄膜双向拉伸状态特征向量。

8.根据权利要求7所述的双向拉伸薄膜厚度在线修复装置，其特征在于，所述预修复模块，包括：

全连接编码单元，用于使用所述分类器的多个全连接层对所述拉伸语义理解特征向量进行全连接编码以得到编码分类特征向量；以及

分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

Images