CN114997070A - 控制图模式识别模型的训练方法及控制图模式识别方法 - Google Patents
控制图模式识别模型的训练方法及控制图模式识别方法 Download PDFInfo
- Publication number
- CN114997070A CN114997070A CN202210828675.XA CN202210828675A CN114997070A CN 114997070 A CN114997070 A CN 114997070A CN 202210828675 A CN202210828675 A CN 202210828675A CN 114997070 A CN114997070 A CN 114997070A
- Authority
- CN
- China
- Prior art keywords
- mode
- preset
- result
- control chart
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/08—Probabilistic or stochastic CAD
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Feedback Control In General (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明实施例提供了控制图模式识别模型的训练方法及控制图模式识别方法,涉及质量状态监控技术领域。该训练方法包括:基于在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真的仿真结果,确定样本数据;利用预设时间序列模型Transformer对所述样本数据进行特征提取,得到预设的每种控制图模式的特征数据;利用每种控制图模式的特征数据对预设分类模型进行训练,并在预设损失函数最小时,停止训练,得到控制图模式识别模型。与现有技术相比,应用本发明实施例提供的方案,可以提高控制图模式识别的准确性。
Description
技术领域
本发明涉及质量状态监控技术领域,特别是涉及控制图模式识别模型的训练方法及控制图模式识别方法。
背景技术
随着智能制造工程的快速发展,生产过程智能优化控制是智能制造的重要一环,生产过程质量控制又是生产过程智能优化控制提升产品质量的重点技术。
其中,统计过程控制(Statistical Process Control,SPC)是目前生产过程质量控制领域的最常用技术,它采用数理统计方法对生产过程进行监控,通过控制图对生产过程中产品质量特征观测值进行统计分析,判断制造过程是否处于平稳可控状态。
在统计过程控制中最重要的工具是控制图,所谓控制图是通过对过程质量数据测定和记录,从而进行质量管理的一种用科学方法设计的图。其中,控制图中包括中心线、上控制限和下控制限,并包括按时间顺序抽取的样本统计量数值的描点序列。如图1所示,为一种控制图的示意图。
由于控制图的模式可能会与某些直接影响生产过程的可分配因素关联,因此,通过对控制图的异常模式进行识别,将有助于快速定位生产过程中的异常因素。但由于生产过程本身的波动性,可能导致不同控制图模式之间存在着大量的重叠,从而增加了控制图识别的难度。
基于此,如何提高控制图模式识别的准确性成为当前亟待解决的技术问题。
发明内容
本发明实施例的目的在于提供控制图模式识别模型的训练方法及控制图模式识别方法,以实现提高控制图模式识别的准确性。具体技术方案如下:
第一方面,本发明实施例提供了一种控制图模式识别模型的训练方法,所述方法包括:
基于在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真的仿真结果,确定样本数据;
利用预设时间序列模型Transformer对所述样本数据进行特征提取,得到预设的每种控制图模式的特征数据;
利用每种控制图模式的特征数据对预设分类模型进行训练,并在预设损失函数最小时,停止训练,得到控制图模式识别模型。
可选的,一种具体实现方式中,所述基于在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真的仿真结果,确定样本数据,包括:
在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真,得到仿真结果;
对所述仿真结果进行标准化处理,得到样本数据。
可选的,一种具体实现方式中,所述对所述仿真结果进行标准化处理,得到样本数据,包括:
利用z-score标准化方法,对所述仿真结果进行标准化处理,得到样本数据。
可选的,一种具体实现方式中,所述在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真,得到仿真结果,包括:
在预设的控制图正常模式和控制图异常模式下,利用蒙特卡洛仿真方法模拟产品生产过程,得到仿真结果。
示例性的,如图6所示,通过蒙特卡洛仿真方法产生样本数据(仿真结果),并对所得到的样本数据进行标准化处理,从而,得到用于后续进行特征提取的样本数据。
可选的,一种具体实现方式中,所述预设时间序列模型Transformer包括:多头注意力模块、门控层和前馈网络;
所述利用预设时间序列模型Transformer对所述样本数据进行特征提取,得到预设的每种控制图模式的特征数据,包括:
将所述样本数据输入所述多头注意力模块中进行特征计算,得到所述多头注意力模块输出的计算结果;
将所述计算结果输入所述门控层中进行特征筛选,得到所述门控层输出的筛选结果;
将所述筛选结果输入所述前馈网络中进行空间变化,得到所述前馈网络输出的变化结果,作为预设的每种控制图模式的特征数据。
可选的,一种具体实现方式中,所述多头注意力模块包括多个自注意力子层;
所述将所述样本数据输入所述多头注意力模块中进行特征计算,得到所述多头注意力模块输出的计算结果,包括:
将所述样本数据输入所述多头注意力模块中的每个自注意力子层进行指定计算,并对每个自注意力子层的输出结果进行合并,得到所述多头注意力模块输出的计算结果;
其中,每个自注意力子层对所述样本数据的指定计算方式,包括:
计算所述样本数据的Query值、Key值和Value值;
利用所述Query值和所述Key值,基于每个自注意力子层预设的维度,计算所述样本数据对应的控制图中的每个位置的分数;
对每个位置的分数进行归一化,得到所述每个位置的注意力权重;
将每个位置的注意力权重与该位置在所述Value值中对应的数值相乘,得到每个位置的加权向量;
计算每个位置的加权向量的和值,作为每个自注意力子层的输出结果。
可选的,一种具体实现方式中,所述将所述计算结果输入所述门控层中进行特征筛选,得到所述门控层输出的筛选结果,包括:
将所述计算结果输入所述门控层中,以使所述门控层利用预设激活函数和所述门控层的预设参数,对所述计算结果进行特征筛选,得到初始结果,并对所述初始结果进行层归一化,得到所述门控层输出的筛选结果。
可选的,一种具体实现方式中,所述前馈网络包括第一线性层和第二线性层;
所述将所述筛选结果输入所述前馈网络中进行空间变化,得到所述前馈网络输出的变化结果,作为预设的每种控制图模式的特征数据,包括:
将所述筛选结果输入所述第一线性层和所述第二线性层中进行空间变化,得到初始结果;
将所述初始结果进行残差连接和层归一化,得到所述前馈网络输出的变化结果,作为预设的每种控制图模式的特征数据。
可选的,一种具体实现方式中,所述预设分类模型包括:多层感知机和归一化层;
所述利用所述每种控制图模式的特征数据对预设分类模型进行训练,并在预设损失函数最小时,停止训练,得到控制图模式识别模型,包括:
将每种控制图模式的特征数据输入所述多层感知机中进行特征转换,得到所述多层感知机输出的转换结果;
将所述转换结果输入所述归一化层进行归一化,得到所述归一化层输出的预设的每种控制图模式的预测概率值;
以预设损失函数为目标函数,基于每种控制图模式的预测概率值对所述预设分类模型进行训练,并在所述预设损失函数最小时,停止训练,得到控制图模式识别模型。
可选的,一种具体实现方式中,所述控制图异常模式包括:上阶跃模式、下阶跃模式、上趋势模式、下趋势模式、系统性模式、周期模式和混合模式中的至少一种。
第二方面,本发明实施例提供了一种控制图模式识别方法,所述方法包括:
将待识别控制图输入预设的控制图模式识别模型中;其中,所述控制图模式识别模型是基于上述第一方面提供的任一控制图模式识别模型的训练方法训练得到的;
获取所述控制图模式识别模型的输出结果,作为所述待识别控制图的模式识别结果。
第三方面,本发明实施例提供了一种控制图模式识别模型的训练装置,所述装置包括:
过程仿真模块,用于基于在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真的仿真结果,确定样本数据;
特征提取模块,用于利用预设时间序列模型Transformer对所述样本数据进行特征提取,得到预设的每种控制图模式的特征数据;
模型训练模块,用于利用每种控制图模式的特征数据对预设分类模型进行训练,并在预设损失函数最小时,停止训练,得到控制图模式识别模型。
可选的,一种具体实现方式中,所述过程仿真模块,包括:
仿真子模块,用于在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真,得到仿真结果;
标准化子模块,用于对所述仿真结果进行标准化处理,得到样本数据。
可选的,一种具体实现方式中,所述标准化子模块具体用于:
利用z-score标准化装置,对所述仿真结果进行标准化处理,得到样本数据。
可选的,一种具体实现方式中,所述仿真子模块具体用于:
在预设的控制图正常模式和控制图异常模式下,利用蒙特卡洛仿真装置模拟产品生产过程,得到仿真结果。
可选的,一种具体实现方式中,所述预设时间序列模型Transformer包括:多头注意力模块、门控层和前馈网络;所述特征提取模块具体用于:
将所述样本数据输入所述多头注意力模块中进行特征计算,得到所述多头注意力模块输出的计算结果;
将所述计算结果输入所述门控层中进行特征筛选,得到所述门控层输出的筛选结果;
将所述筛选结果输入所述前馈网络中进行空间变化,得到所述前馈网络输出的变化结果,作为预设的每种控制图模式的特征数据。
可选的,一种具体实现方式中,所述多头注意力模块包括多个自注意力子层;所述特征提取模块具体用于:
将所述样本数据输入所述多头注意力模块中的每个自注意力子层进行指定计算,并对每个自注意力子层的输出结果进行合并,得到所述多头注意力模块输出的计算结果;
其中,每个自注意力子层对所述样本数据的指定计算方式,包括:
计算所述样本数据的Query值、Key值和Value值;
利用所述Query值和所述Key值,基于每个自注意力子层预设的维度,计算所述样本数据对应的控制图中的每个位置的分数;
对每个位置的分数进行归一化,得到所述每个位置的注意力权重;
将每个位置的注意力权重与该位置在所述Value值中对应的数值相乘,得到每个位置的加权向量;
计算每个位置的加权向量的和值,作为每个自注意力子层的输出结果。
可选的,一种具体实现方式中,所述特征提取模块具体用于:
将所述计算结果输入所述门控层中,以使所述门控层利用预设激活函数和所述门控层的预设参数,对所述计算结果进行特征筛选,得到初始结果,并对所述初始结果进行层归一化,得到所述门控层输出的筛选结果。
可选的,一种具体实现方式中,所述前馈网络包括第一线性层、第二线性层和一维的批次归一化层;所述特征提取模块具体用于:
将所述筛选结果输入所述第一线性层和所述第二线性层中进行空间变化,得到初始结果;
将所述初始结果进行残差连接和层归一化,得到所述前馈网络输出的变化结果,作为预设的每种控制图模式的特征数据。
可选的,一种具体实现方式中,所述预设分类模型包括:多层感知机和归一化层;所述模型训练模块具体用于:
将每种控制图模式的特征数据输入所述多层感知机中进行特征转换,得到所述多层感知机输出的转换结果;
将所述转换结果输入所述归一化层进行归一化,得到所述归一化层输出的预设的每种控制图模式的预测概率值;
以预设损失函数为目标函数,基于每种控制图模式的预测概率值对所述预设分类模型进行训练,并在所述预设损失函数最小时,停止训练,得到控制图模式识别模型。
可选的,一种具体实现方式中,所述控制图异常模式包括:上阶跃模式、下阶跃模式、上趋势模式、下趋势模式、系统性模式、周期模式和混合模式中的至少一种。
第四方面,本发明实施例提供了一种控制图模式识别装置,所述方法包括:
控制图输入模块,用于将待识别控制图输入预设的控制图模式识别模型中;其中,所述控制图模式识别模型是基于上述第一方面提供的任一控制图模式识别模型的训练方法训练得到的;
模式结果获取模块,用于获取所述控制图模式识别模型的输出结果,作为所述待识别控制图的模式识别结果。
第五方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面提供的任一控制图模式识别模型的训练方法的步骤,和/或,上述第二方面提供的一种控制图模式识别方法的步骤。
第六方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面提供的任一控制图模式识别模型的训练方法的步骤,和/或,上述第二方面提供的一种控制图模式识别方法的步骤。
第七方面,本发明实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面提供的任一控制图模式识别模型的训练方法的步骤,和/或,上述第二方面提供的一种控制图模式识别方法的步骤。
本发明实施例有益效果:
以上可见,应用本发明实施例提供的方法,在训练控制图模式识别模型时,可以预先设置时间序列模型Transformer和分类模型,并确定所针对的控制图异常模式。这样,便可以首先在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真,在基于上述仿真所得到的仿真结果确定用于模型训练的样本数据。进而,便可以利用时间序列模型Transformer对样本数据进行特征提取,得到预设的每种控制图模式的特征数据。接着,便可以利用每种控制图模式的特征数据对预设分类模型进行训练,并在预设损失函数最小时,停止训练,得到训练完成的控制图模式识别模型。
基于此,应用本发明实施例提供的方案,通过对产品生产过程进行仿真,确定样本数据,可以增加样本数据中控制图异常模式的数据量,并且,利用高效率的、特征提取能力强的时间序列模型Transformer来完成对样本数据的特征提取。这样,由于增加了样本数据中控制图异常模式的数据量,并且,时间序列模型Transformer可以学习数据序列的上下文关系,因此,便可以提取到较多且较全面的控制图异常模式的特征数据,并且,可以准确学习样本数据的数据序列的上下文关系,提高所提取的控制图异常模式的特征数据的准确率,进而,便可以提高控制图模式识别模型的训练效果,提高控制图模式识别模型的识别准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的一种控制图的示意图;
图2为本发明实施例提供的一种控制图模式识别模型的训练方法的流程示意图;
图3为图2中S202的一种具体实现方式的流程示意图;
图4为本发明实施例提供的一种时间序列模型Transformer中的多头注意力模块中的每个自注意力子层对样本数据的指定计算方式的流程示意图;
图5为图2中S303的一种具体实现方式的流程示意图;
图6为本发明实施例提供的一种具体实现方式中的模型结构示意图;
图7为本发明实施例提供的一种控制图模式识别方法的流程示意图;
图8为本发明实施例提供的一种控制图模式识别模型的训练装置的结构示意图;
图9为本发明实施例提供的一种控制图模式识别装置的结构示意图;
图10为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本发明保护的范围。
在生产过程中,由于控制图的模式可能会与某些直接影响生产过程的可分配因素关联,因此,通过对控制图的异常模式进行识别,将有助于快速定位生产过程中的异常因素。但由于生产过程本身的波动性,可能导致不同控制图模式之间存在着大量的重叠,从而增加了控制图识别的难度。基于此,如何提高控制图模式识别的准确性成为当前亟待解决的技术问题
为了解决上述技术问题,本发明实施例提供了一种控制图模式识别模型的训练方法。
其中,该方法可以适用于任一通过对产品生产过程中的控制图进行模式识别,以对产品生产过程进行质量管理的应用场景。例如,在化工产品生产过程中,对控制图进行模式识别,以对生产过程进行质量管理;在汽车零件生产过程中,对控制图进行模式识别,以对生产过程进行质量管理等。
此外,该方法可以应用各类可以进行模型训练的电子设备,例如,笔记本电脑、台式电脑等。其中,上述电子设备可以是单独的电子设备,也可以是由多台电子设备构成的设备集群,这都是合理的。
对此,本发明实施例不对该方法的应用场景和执行主体进行限定。
其中,该方法可以包括如下步骤:
基于在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真的仿真结果,确定样本数据;
利用预设时间序列模型Transformer对所述样本数据进行特征提取,得到预设的每种控制图模式的特征数据;
利用每种控制图模式的特征数据对预设分类模型进行训练,并在预设损失函数最小时,停止训练,得到控制图模式识别模型。
以上可见,应用本发明实施例提供的方法,在训练控制图模式识别模型时,可以预先设置时间序列模型Transformer和分类模型,并确定所针对的控制图异常模式。这样,便可以首先在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真,在基于上述仿真所得到的仿真结果确定用于模型训练的样本数据。进而,便可以利用时间序列模型Transformer对样本数据进行特征提取,得到预设的每种控制图模式的特征数据。接着,便可以利用每种控制图模式的特征数据对预设分类模型进行训练,并在预设损失函数最小时,停止训练,得到训练完成的控制图模式识别模型。
基于此,应用本发明实施例提供的方案,通过对产品生产过程进行仿真,确定样本数据,可以增加样本数据中控制图异常模式的数据量,并且,利用高效率的、特征提取能力强的时间序列模型Transformer来完成对样本数据的特征提取。这样,由于增加了样本数据中控制图异常模式的数据量,并且,时间序列模型Transformer可以学习数据序列的上下文关系,因此,便可以提取到较多且较全面的控制图异常模式的特征数据,并且,可以准确学习样本数据的数据序列的上下文关系,提高所提取的控制图异常模式的特征数据的准确率,进而,便可以提高控制图模式识别模型的训练效果,提高控制图模式识别模型的识别准确率。
下面结合附图,对本发明实施例提供的一种控制图模式识别模型的训练方法进行具体说明。
图2为本发明实施例提供的一种控制图模式识别模型的训练方法的流程示意图,如图2所示,该方法可以包括如下步骤:
S201:基于在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真的仿真结果,确定样本数据;
由于在实际生产过程中出现异常的情况较少,因此,在实际生产过程中产生的异常模式的控制图的数量较少,从而,导致利用实际生产过程中产生的异常模式的控制图进行特征提取时,所提取到的控制图异常模式的特征较少且不够全面,进而,使得基于实际生产过程提取到的特征进行模型训练所得到的控制图模式识别模型的识别准确率较低。
基于此,为了能够提取到较多的控制图异常模式,以提高最终所得到的控制图模式识别模型的识别准确率,可以模拟实际生产过程,以对实际生活过程中出现的各种情况所导致的控制图异常模式进行仿真,进而,便可以利用所得到的仿真数据,确定用于进行特征提取进而进行模型训练的样本数据。
并且,考虑到训练所得到的控制图模式识别模型的应用场景,可以根据上述应用场景中经常出现的各类控制图异常模式,预先设定各个控制图异常模式,从而,便可以在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真,进而,基于所得到的仿真结果,确定样本数据。
可选的,一种具体实现方式中,上述预设的控制图异常模式可以包括:上阶跃模式、下阶跃模式、上趋势模式、下趋势模式、系统性模式、周期模式和混合模式中的至少一种。
示例性的,如图6所示,预设的控制图模式包括:正常模式、上阶跃模式、下阶跃模式、上趋势模式、下趋势模式、系统性模式、周期模式和混合模式。
其中,上述样本数据可以表示为:
其中,所谓预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真是指:所模拟的生产过程中的控制图模式将出现预设的控制图正常模式和控制图异常模式,即在所模拟的产品生产过程中,加入与预设的控制图异常模式相匹配的异常因素,从而,使生产过程出现与预设的控制图异常模式相匹配的异常情况,进而,使所得到的仿真结果中包括预设的控制图异常模式的数据。这样,便可以使得最终所得到的样本数据中可以包括预设的控制图异常模式的数据。
可选的,可以直接将所得到的仿真结果,确定为样本数据。
而由于不同的控制图异常模式的数据之间的量纲可以不同,并且,不同性质的数据将影响预设分类模型对各个控制图异常模式的分类结果,因此,为了消除不同的控制图异常模式的数据之间的量纲,解决不同性质的数据对预设分类模型的分类结果的影响,并提高最终所得到的控制图模式识别模型的泛化性,在得到上述仿真结果后,可以对上述仿真结果进行进一步标准化处理,并将标准化处理后的数据作为样本数据。
可选的,一种具体实现方式,上述步骤S201可以包括如下步骤2011-2012:
步骤2011:在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真,得到仿真结果;
在本具体实现方式中,在预先设置完成控制图异常模式后,便可以在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真,得到仿真结果。
可选的,可以在预设的控制图正常模式和控制图异常模式下,利用蒙特卡洛仿真方法模拟产品生产过程,得到仿真结果。
步骤2012:对仿真结果进行标准化处理,得到样本数据。
在得到上述仿真结果后,便可以对上述仿真结果进行标准化处理,从而,将标准化处理后所得到的数据,作为样本数据。
可选的,利用z-score标准化方法,对仿真结果进行标准化处理,得到样本数据。
其中,z-score(零-均值)标准化方法是基于采样得到的原始数据的平均值和标准差对原始数据进行标准化处理的操作。
也就是说,可以基于上述仿真结果的平均值和标准差对仿真结果进行标准化处理。这样,由于在实际生产过程中,可能会存在严重的偏离上控制线或者下控制线的离散数据,因此,采用z-score标准化方法,可以提高所得到的样本数据的可靠性和可比性。
S202:利用预设时间序列模型Transformer对样本数据进行特征提取,得到预设的每种控制图模式的特征数据;
在得到上述样本数据后,便可以利用预设时间序列模型Transformer对样本数据进行特征提取,得到预设的每种控制图模式的特征数据,即得到预设的控制图正常模式的特征数据,以及预设的各种控制图异常模式的特征数据。
其中,在利用预设时间序列模型Transformer对样本数据进行特征提取时,是将上述样本数据输入至预设时间序列模型Transformer的编码器,利用预设时间序列模型Transformer的编码器完成对样本数据的特征提取。
可选的,一种具体实现方式中,如图6所示,预设时间序列模型Transformer可以包括:多头注意力模块、门控层和前馈网络;并且,在门控层之后,对其所输出的输出数据进行了层归一化操作,在前馈网络之后,对其所输出的输出数据应用了残差连接和层归一化操作,即图6中的“相加&层归一化”。
进而,在图6所示的预设时间序列模型Transformer的结构的基础上,如图3所示,上述步骤S202可以包括如下步骤S2021-S2023:
S2021:将样本数据输入多头注意力模块中进行特征计算,得到多头注意力模块输出的计算结果;
在本具体实现方式中,在利用预设时间序列模型Transformer对样本数据进行特征提取时,可以首先将样本数据输入至预设时间序列模型Transformer的多头注意力模块,进而,上述多头注意力模块便可以对所接收到的样本数据进行特征计算,并输出计算结果。
其中,可选的,一种具体实现方式中,多头注意力模块包括多个自注意力子层;也就是说,多头注意力模块是由多个自注意力子层堆叠而成的,并且,多头注意力模块具有可调节参数注意力头数,可以根据实际应用情况确定多头注意力模块的注意力头数的具体数值,例如,多头注意力模块的注意力头数可以为8。
进而,多头注意力模块中的每个自注意力子层可以对样本数据进行不同维度的计算,从而,可以根据每个自注意力子层的计算结果,确定多头注意力模块的最终输出结果。
基于此,在本具体实现方式中,上述步骤S2021,便可以包括如下步骤11:
步骤11:将样本数据输入多头注意力模块中的每个自注意力子层进行指定计算,并对每个自注意力子层的输出结果进行合并,得到多头注意力模块输出的计算结果;
在本具体实现方式中,在将样本数据输入多头注意力模块中时,可以直接将样本数据输入至多头注意力模块中的每个自注意力子层,进而,每个自注意力子层便可以对所接收到的样本数据进行指定计算,并且,每个自注意力子层将所得到的计算结果作为输出结果进行输出。这样,在得到每个自注意力子层的输出结果后,便可以对每个自注意力子层的输出结果进行合并,并将合并所得到的结果,作为多头注意力模块输出的计算结果。
其中,如图4所示,上述每个自注意力子层对样本数据的指定计算方式,可以包括如下步骤S401-S405:
S401:计算样本数据的Query值、Key值和Value值;
S402:利用Query值和Key值,基于每个自注意力子层预设的维度,计算样本数据对应的控制图中的每个位置的分数;
S403:对每个位置的分数进行归一化,得到每个位置的注意力权重;
S404:将每个位置的注意力权重与该位置在Value值中对应的数值相乘,得到每个位置的加权向量;
S405:计算每个位置的加权向量的和值,作为每个自注意力子层的输出结果。
在本具体实现方式中,针对每个自注意力子层,该自注意力子层在获取到上述样本数据后,便可以首先计算上述样本数据的Query值(查询,Q)、Key值(键,K)和Value值(值,V);进而,便可以利用所计算得到的Query值和Key值,便可以基于该自注意力子层预设的维度,计算上述样本数据对应的控制图中的每个位置的分数,并对每个位置的分数进行归一化,得到每个位置的注意力权重;之后,便可以将每个位置的注意力权重与该位置在Value值中对应的数值相乘,得到每个位置的加权向量,即将每个位置的注意力权重与所计算得到的Value值进行按位相乘计算,得到每个位置的加权向量,之后,便可以计算每个位置的加权向量的和值,作为该自注意力子层的输出结果。
其中,以第一个自注意力子层为例,对上述步骤S401-S405进行具体说明。
在第一个自注意力子层中,可以首先计算上述样本数据的Query值、Key值和Value值,如下所示:
并且,由于不同的自注意力子层所预先通过模型训练得到的权重矩阵可以不同,进而,不同的自注意力子层所得到的样本数据的Query值可以不同,进而,不同的自注意力子层的样本数据的Query值的维度也可以随之不同,因此,上述 也可以作为第一个自注意力子层预设的维度。
其中,A为样本数据对应的控制图中的每个位置的注意力权重。
接着,便可以将样本数据对应的控制图中的每个位置的注意力权重与上述所得到的样本数据的Value值按位相乘,得到样本数据对应的控制图中的每个位置的加权向量,并计算样本数据对应的控制图中的每个位置的加权向量的和值,作为第一个自注意力子层的输出结果,如下所示:
进而,由于多头注意力模块由多个自注意力子层堆叠而来,而不同的自注意力子层可以将所计算得到的样本数据的Query值和Key值,映射到高维空间的不同子空间中计算注意力,因此,在迭代上述步骤S301-S305,得到每个自注意力子层的输出结果后,便可以将全部自注意力子层的输出结果进行合并,并向合并后的结果作为多头注意力模块输出的计算结果。
例如,在多头注意力模块的注意力头数为8时,多头注意力模块输出的计算结果可以表示为:
其中,Multihead(x)为多头注意力模块输出的计算结果, 至 分别为第一个自注意力子层至第八个自注意力子层的输出结果, 为将每个自注意力子层的输出结果进行合并操作的可训练参数,concat表示合并操作。
S2022:将计算结果输入门控层中进行特征筛选,得到门控层输出的筛选结果;
在得到上述多头注意力模块输出的计算结果后,便可以将上述计算结果输入门控层中进行特征筛选,以使预设时间序列模型Transformer具有一定程度的特征选择能力,进而,便可以得到门控层输出的筛选结果。
可选的,一种具体实现方式中,上述步骤S2022可以包括如下步骤21:
步骤21:将计算结果输入门控层中,以使门控层利用预设激活函数和门控层的预设参数,对计算结果进行特征筛选,得到初始结果,并对初始结果进行层归一化,得到门控层输出的筛选结果。
在本具体实现方式中,门控层在获取到上述计算结果后,便可以利用预设激活函数和门控层的预设参数,对上述计算结果进行特征筛选,得到初始结果,进而,门控层可以进一步对上述初始结果进行层归一化,得到门控层输出的筛选结果。
可选的,上述预设激活函数可以为sigmoid函数,上述门控层的预设参数可以包括门控层的可训练参数和偏置项。基于此,门控层可以通过如下公式,对所接收到的计算结果进行特征筛选,得到初始结果。
可选的,上述门控层可以利用如下公式对上述初始结果进行层归一化(layernorm),以加快预设时间序列模型Transformer的特征学习速度。
S2023:将筛选结果输入前馈网络中进行空间变化,得到前馈网络输出的变化结果,作为预设的每种控制图模式的特征数据。
在得到上述筛选结果后,便可以将筛选结果输入前馈网络中进行空间变化,得到前馈网络输出的变化结果,作为预设的每种控制图模式的特征数据。
可选的,一种具体实现方式中,前馈网络包括第一线性层和第二线性层;
基于此,在本具体实现方式中,上述步骤S2023,可以包括如下步骤31-32:
步骤31:将筛选结果输入第一线性层和第二线性层中进行空间变化,得到初始结果;
步骤32:将初始结果进行残差连接和层归一化,得到前馈网络输出的变化结果,作为预设的每种控制图模式的特征数据。
在本具体实现方式中,前馈网络包括两个线性层,并且,第一线性层和第二线性层之间的激活函数可以为ReLU函数,因此,在前馈网络中,可以利用如下公式,得到上述初始结果:
其中,和分别是第一线性层的可训练参数和偏置项,和 分别是第二线性层的可训练参数和偏置项,是激活函数ReLU的表达式,表示将上述筛选结果输送到前馈网络的第一线性层和第二线性层后输出的初始结果,是对上述筛选结果进行层归一化操作后的输出数据;
此外,由于前馈网络部分也需进行残差连接和层归一化,因此,可以利用如下公式,对上述初始结果进行残差连接和层归一化,得到前馈网络输出的变化结果,作为预设的每种控制图模式的特征数据:
S203:利用每种控制图模式的特征数据对预设分类模型进行训练,并在预设损失函数最小时,停止训练,得到控制图模式识别模型。
在利用预设时间序列模型Transformer对样本数据进行特征提取,得到预设的每种控制图模式的特征数据,便可以进一步基于每种控制图模式的特征数据,对预设分类模型进行多轮次的迭代训练,并且,在训练过程中,不断计算预设损失函数,直至预设损失函数最小时,停止训练,得到训练完成的控制图模式识别模型。
其中,在每次基于每种控制图模式的特征数据,对预设分类模型进行训练时,可以利用预设分类模型对预设的每种控制图模式的特征数据进行特征转化,并进一步利用归一化函数对预设的每种控制图模式转换后的特征数据进行归一化,以得到预设的每种控制图模式的预测概率值。这样,在经过多轮次的迭代训练后,预设分类模型通过不断进行模型参数学习,可以使得预设损失函数最小,从而,实现模型收敛,此时,预设分类模型所学习到的模型参数为最优参数,至此,便可以停止训练,得到具有最优模型参数的控制图模式识别模型。
可选的,一种具体实现方式中,上述预设分类模型可以包括:多层感知机和归一化层;
基于此,在本具体实现方式中,如图5所示,上述步骤S203便可以包括如下步骤S2031-S2033:
S2031:将每种控制图模式的特征数据输入多层感知机中进行特征转换,得到多层感知机输出的转换结果;
在本具体实现方式中,在得到预设时间序列模型Transformer输出的每种控制图模式的特征数据后,便可以将每种控制图模式的特征数据输入多层感知机中进行进一步的特征转换,得到多层感知机输出的转换结果。
可选的,如图6所示,分类网络即为预设分类模型,其包括两个线性层、批归一化、激活函数和Softmax(归一化)层;其中,两个线性层、批归一化和激活函数属于预设分类模型中的多层感知机,即多层感知机包括两个线性层、批归一化和激活函数。
其中,多层感知机中的批归一化为一维的批次归一化,激活函数为ReLU激活函数,从而,多层感知机可以利用如下公知,对每种控制图模式的特征数据进行特征转换,得到转换结果:
其中,和 分别是多层感知机的第一个线性层的可训练参数和偏置项,为一维的批次归一化操作,表示将每种控制图模式的特征数据输入到多层感知机的第一个线性层和一维的批次归一化输出的特征数据;和 分别多层感知机的第二个线性层的可训练参数和偏置项,为多层感知机输出的转换结果,并且,是一个一维数组,其所包含的元素的数量与上述预设的控制图模式的数量相同。
S2032:将转换结果输入归一化层进行归一化,得到归一化层输出的预设的每种控制图模式的预测概率值;
在得到上述多层感知机输出的转换结果后,便可以将上述转换结果输入至Softmax中进行进一步归一化,得到归一化层输出的预设的每种控制图模式的预测概率值。
S2033:以预设损失函数为目标函数,基于每种控制图模式的预测概率值对预设分类模型进行训练,并在预设损失函数最小时,停止训练,得到控制图模式识别模型。
进而,便可以以预设损失函数为目标函数,基于每种控制图模式的预测概率值对预设分类模型进行训练,并在预设损失函数最小时,停止训练,得到控制图模式识别模型。
例如,在模型的训练过程中,利用预设分类模型得到每一种控制图模式的预测概率值,之后,构建二元交叉熵损失函数作为目标函数,并且,该目标函数表示如下:
进而,可以利用Adam优化器来最小化上述二元交叉熵损失函数,并更新预设分类模型的模型参数。示例性的,对预设分类模型进行多个轮次的训练并利用Adam优化器来最小化损失函数,当预设分类模型收敛后,预设分类模型所学习的模型参数即为预设分类模型的最优参数,最终得到具有最优模型参数的控制图模式识别模型,用于控制图模式的识别任务。
在本具体实现方式中,基于多层感知机设计的预设分类模型可以将预设时间序列模型Transformer提取的每种控制图模式的特征数据,通过多个线性层、批归一化层和激活函数来得到更高层的、非线性的特征,有利于分类任务的训练,从而获得了更高的分类准确率,使得训练得到的控制图模式识别模型的性能进一步提高,从而,提高训练得到的控制图模式识别模型的识别准确率。
相应于上述本发明实施例提供的一种控制图模式识别模型的训练方法,本发明实施例提供了一种控制图模式识别方法。
其中,该方法可以适用于任一通过对产品生产过程中的控制图进行模式识别,以对产品生产过程进行质量管理的应用场景。例如,在化工产品生产过程中,对控制图进行模式识别,以对生产过程进行质量管理;在汽车零件生产过程中,对控制图进行模式识别,以对生产过程进行质量管理等。
此外,该方法可以应用各类电子设备,例如,笔记本电脑、台式电脑等。其中,上述电子设备可以是单独的电子设备,也可以是由多台电子设备构成的设备集群,这都是合理的。
需要强调的是,本发明实施例提供的一种控制图模式识别模型的训练方法的执行主体,与一种控制图模式识别方法的执行主体可以是相同电子设备,也可以是不同电子设备。
其中,若本发明实施例提供的一种控制图模式识别模型的训练方法的执行主体,与一种控制图模式识别方法的执行主体是相同的电子设备,在说明可以在同一电子设备中完成控制图模式识别模型的训练,并在训练完成后,在该电子设备中利用所训练得到的控制图模式识别模型进行控制图模式识别。
若本发明实施例提供的一种控制图模式识别模型的训练方法的执行主体,与一种控制图模式识别方法的执行主体是不同的电子设备,在说明可以在用于模型训练的电子设备中完成控制图模式识别模型的训练,并在训练完成后,将所训练得到的控制图模式识别模型发送至用于控制图识别的电子设备,从而,该用于控制图识别的电子设备便可以利用所接收到的控制图模式识别模型进行控制图模式识别。
图7为本发明实施例提供的一种控制图模式识别方法的流程示意图,如图7所示,该方法可以包括如下步骤:
S701:将待识别控制图输入预设的控制图模式识别模型中;
其中,上述控制图模式识别模型是基于上述本发明实施例提供的任一控制图模式识别模型的训练方法训练得到的;
S702:获取控制图模式识别模型的输出结果,作为待识别控制图的模式识别结果。
在获取到产品生产过程中所得到的控制图时,可以将该控制图作为待识别控制图,进而,将该待识别控制图输入到预设的控制图模式识别模型中,进而,由于该预设的控制图模式识别模型中是基于上述本发明实施例提供的任一控制图模式识别模型的训练方法训练得到的,因此,该上述控制图模式识别模型在获取到上述待识别控制图后,便可以对该待识别控制图进行模式识别,并将所识别得到的模式类别作为结果进行输出,从而,便可以获取到控制图模式识别模型的输出结果,并将该输出结果作为待识别控制图的模式识别结果。
基于此,应用本发明实施例提供的方案,由于基于上述本发明实施例提供的任一控制图模式识别模型的训练方法训练得到的具有较好的训练效果和较高的识别准确率,因此,在利用上述控制图模式识别模型对控制图进行模式识别时,所得到的识别结果便可以具有较高的准确率。
相应于上述本发明实施例提供的一种控制图模式识别模型的训练方法,本发明实施例提供了一种控制图模式识别模型的训练装置。
图8为本发明实施例提供的一种控制图模式识别模型的训练装置的结构示意图,如图8所示,该装置可以包括如下模块:
过程仿真模块810,用于基于在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真的仿真结果,确定样本数据;
特征提取模块820,用于利用预设时间序列模型Transformer对所述样本数据进行特征提取,得到预设的每种控制图模式的特征数据;
模型训练模块830,用于利用每种控制图模式的特征数据对预设分类模型进行训练,并在预设损失函数最小时,停止训练,得到控制图模式识别模型。
以上可见,应用本发明实施例提供的方法,在训练控制图模式识别模型时,可以预先设置时间序列模型Transformer和分类模型,并确定所针对的控制图异常模式。这样,便可以首先在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真,在基于上述仿真所得到的仿真结果确定用于模型训练的样本数据。进而,便可以利用时间序列模型Transformer对样本数据进行特征提取,得到预设的每种控制图模式的特征数据。接着,便可以利用每种控制图模式的特征数据对预设分类模型进行训练,并在预设损失函数最小时,停止训练,得到训练完成的控制图模式识别模型。
基于此,应用本发明实施例提供的方案,通过对产品生产过程进行仿真,确定样本数据,可以增加样本数据中控制图异常模式的数据量,并且,利用高效率的、特征提取能力强的时间序列模型Transformer来完成对样本数据的特征提取。这样,由于增加了样本数据中控制图异常模式的数据量,并且,时间序列模型Transformer可以学习数据序列的上下文关系,因此,便可以提取到较多且较全面的控制图异常模式的特征数据,并且,可以准确学习样本数据的数据序列的上下文关系,提高所提取的控制图异常模式的特征数据的准确率,进而,便可以提高控制图模式识别模型的训练效果,提高控制图模式识别模型的识别准确率。
可选的,一种具体实现方式中,所述过程仿真模块810,包括:
仿真子模块,用于在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真,得到仿真结果;
标准化子模块,用于对所述仿真结果进行标准化处理,得到样本数据。
可选的,一种具体实现方式中,所述标准化子模块具体用于:
利用z-score标准化装置,对所述仿真结果进行标准化处理,得到样本数据。
可选的,一种具体实现方式中,所述仿真子模块具体用于:
在预设的控制图正常模式和控制图异常模式下,利用蒙特卡洛仿真装置模拟产品生产过程,得到仿真结果。
可选的,一种具体实现方式中,所述预设时间序列模型Transformer包括:多头注意力模块、门控层和前馈网络;所述特征提取模块820具体用于:
将所述样本数据输入所述多头注意力模块中进行特征计算,得到所述多头注意力模块输出的计算结果;
将所述计算结果输入所述门控层中进行特征筛选,得到所述门控层输出的筛选结果;
将所述筛选结果输入所述前馈网络中进行空间变化,得到所述前馈网络输出的变化结果,作为预设的每种控制图模式的特征数据。
可选的,一种具体实现方式中,所述多头注意力模块包括多个自注意力子层;所述特征提取模块820具体用于:
将所述样本数据输入所述多头注意力模块中的每个自注意力子层进行指定计算,并对每个自注意力子层的输出结果进行合并,得到所述多头注意力模块输出的计算结果;
其中,每个自注意力子层对所述样本数据的指定计算方式,包括:
计算所述样本数据的Query值、Key值和Value值;
利用所述Query值和所述Key值,基于每个自注意力子层预设的维度,计算所述样本数据对应的控制图中的每个位置的分数;
对每个位置的分数进行归一化,得到所述每个位置的注意力权重;
将每个位置的注意力权重与该位置在所述Value值中对应的数值相乘,得到每个位置的加权向量;
计算每个位置的加权向量的和值,作为每个自注意力子层的输出结果。
可选的,一种具体实现方式中,所述特征提取模块820具体用于:
将所述计算结果输入所述门控层中,以使所述门控层利用预设激活函数和所述门控层的预设参数,对所述计算结果进行特征筛选,得到初始结果,并对所述初始结果进行层归一化,得到所述门控层输出的筛选结果。
可选的,一种具体实现方式中,所述前馈网络包括第一线性层、第二线性层和一维的批次归一化层;所述特征提取模块820具体用于:
将所述筛选结果输入所述第一线性层和所述第二线性层中进行空间变化,得到初始结果;
将所述初始结果进行残差连接和层归一化,得到所述前馈网络输出的变化结果,作为预设的每种控制图模式的特征数据。
可选的,一种具体实现方式中,所述预设分类模型包括:多层感知机和归一化层;所述模型训练模块830具体用于:
将每种控制图模式的特征数据输入所述多层感知机中进行特征转换,得到所述多层感知机输出的转换结果;
将所述转换结果输入所述归一化层进行归一化,得到所述归一化层输出的预设的每种控制图模式的预测概率值;
以预设损失函数为目标函数,基于每种控制图模式的预测概率值对所述预设分类模型进行训练,并在所述预设损失函数最小时,停止训练,得到控制图模式识别模型。
可选的,一种具体实现方式中,所述控制图异常模式包括:上阶跃模式、下阶跃模式、上趋势模式、下趋势模式、系统性模式、周期模式和混合模式中的至少一种。
相应于上述本发明实施例提供的一种控制图模式识别方法,本发明实施例提供了一种控制图模式识别装置。
图9为本发明实施例提供的一种控制图模式识别装置的结构示意图,如图9所示,该装置可以包括如下模块:
控制图输入模块910,用于将待识别控制图输入预设的控制图模式识别模型中;其中,所述控制图模式识别模型是基于本发明实施例提供的任一控制图模式识别模型的训练方法训练得到的;
模式结果获取模块920,用于获取所述控制图模式识别模型的输出结果,作为所述待识别控制图的模式识别结果。
基于此,应用本发明实施例提供的方案,由于基于上述本发明实施例提供的任一控制图模式识别模型的训练方法训练得到的具有较好的训练效果和较高的识别准确率,因此,在利用上述控制图模式识别模型对控制图进行模式识别时,所得到的识别结果便可以具有较高的准确率。
相应于上述本发明实施例提供的一种控制图模式识别模型的训练方法和一种控制图模式识别方法,本发明实施例还提供了一种电子设备,如图10所示,包括处理器1001、通信接口1002、存储器1003和通信总线1004,其中,处理器1001,通信接口1002,存储器1003通过通信总线904完成相互间的通信,
存储器1003,用于存放计算机程序;
处理器1001,用于执行存储器1003上所存放的程序时,实现上述本发明实施例提供的任一控制图模式识别模型的训练方法的步骤,和/或,任一控制图模式识别方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述本发明实施例提供的任一控制图模式识别模型的训练方法的步骤,和/或,任一控制图模式识别方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述本发明实施例提供的任一控制图模式识别模型的训练方法的步骤,和/或,任一控制图模式识别方法的步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk (SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、电子设备实施例、计算机可读存储介质实施例以及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (24)
1.一种控制图模式识别模型的训练方法,其特征在于,所述方法包括:
基于在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真的仿真结果,确定样本数据;
利用预设时间序列模型Transformer对所述样本数据进行特征提取,得到预设的每种控制图模式的特征数据;
利用每种控制图模式的特征数据对预设分类模型进行训练,并在预设损失函数最小时,停止训练,得到控制图模式识别模型。
2.根据权利要求1所述的方法,其特征在于,所述基于在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真的仿真结果,确定样本数据,包括:
在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真,得到仿真结果;
对所述仿真结果进行标准化处理,得到样本数据。
3.根据权利要求2所述的方法,其特征在于,所述对所述仿真结果进行标准化处理,得到样本数据,包括:
利用z-score标准化方法,对所述仿真结果进行标准化处理,得到样本数据。
4.根据权利要求2所述的方法,其特征在于,所述在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真,得到仿真结果,包括:
在预设的控制图正常模式和控制图异常模式下,利用蒙特卡洛仿真方法模拟产品生产过程,得到仿真结果。
5.根据权利要求1所述的方法,其特征在于,所述预设时间序列模型Transformer包括:多头注意力模块、门控层和前馈网络;
所述利用预设时间序列模型Transformer对所述样本数据进行特征提取,得到预设的每种控制图模式的特征数据,包括:
将所述样本数据输入所述多头注意力模块中进行特征计算,得到所述多头注意力模块输出的计算结果;
将所述计算结果输入所述门控层中进行特征筛选,得到所述门控层输出的筛选结果;
将所述筛选结果输入所述前馈网络中进行空间变化,得到所述前馈网络输出的变化结果,作为预设的每种控制图模式的特征数据。
6.根据权利要求5所述的方法,其特征在于,所述多头注意力模块包括多个自注意力子层;
所述将所述样本数据输入所述多头注意力模块中进行特征计算,得到所述多头注意力模块输出的计算结果,包括:
将所述样本数据输入所述多头注意力模块中的每个自注意力子层进行指定计算,并对每个自注意力子层的输出结果进行合并,得到所述多头注意力模块输出的计算结果;
其中,每个自注意力子层对所述样本数据的指定计算方式,包括:
计算所述样本数据的Query值、Key值和Value值;
利用所述Query值和所述Key值,基于每个自注意力子层预设的维度,计算所述样本数据对应的控制图中的每个位置的分数;
对每个位置的分数进行归一化,得到所述每个位置的注意力权重;
将每个位置的注意力权重与该位置在所述Value值中对应的数值相乘,得到每个位置的加权向量;
计算每个位置的加权向量的和值,作为每个自注意力子层的输出结果。
7.根据权利要求5所述的方法,其特征在于,所述将所述计算结果输入所述门控层中进行特征筛选,得到所述门控层输出的筛选结果,包括:
将所述计算结果输入所述门控层中,以使所述门控层利用预设激活函数和所述门控层的预设参数,对所述计算结果进行特征筛选,得到初始结果,并对所述初始结果进行层归一化,得到所述门控层输出的筛选结果。
8.根据权利要求5所述的方法,其特征在于,所述前馈网络包括第一线性层和第二线性层;
所述将所述筛选结果输入所述前馈网络中进行空间变化,得到所述前馈网络输出的变化结果,作为预设的每种控制图模式的特征数据,包括:
将所述筛选结果输入所述第一线性层和所述第二线性层中进行空间变化,得到初始结果;
将所述初始结果进行残差连接和层归一化,得到所述前馈网络输出的变化结果,作为预设的每种控制图模式的特征数据。
9.根据权利要求1所述的方法,其特征在于,所述预设分类模型包括:多层感知机和归一化层;
所述利用所述每种控制图模式的特征数据对预设分类模型进行训练,并在预设损失函数最小时,停止训练,得到控制图模式识别模型,包括:
将每种控制图模式的特征数据输入所述多层感知机中进行特征转换,得到所述多层感知机输出的转换结果;
将所述转换结果输入所述归一化层进行归一化,得到所述归一化层输出的预设的每种控制图模式的预测概率值;
以预设损失函数为目标函数,基于每种控制图模式的预测概率值对所述预设分类模型进行训练,并在所述预设损失函数最小时,停止训练,得到控制图模式识别模型。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述控制图异常模式包括:上阶跃模式、下阶跃模式、上趋势模式、下趋势模式、系统性模式、周期模式和混合模式中的至少一种。
11.一种控制图模式识别方法,其特征在于,所述方法包括:
将待识别控制图输入预设的控制图模式识别模型中;其中,所述控制图模式识别模型是基于权利要求1-10任一项所述的方法训练得到的;
获取所述控制图模式识别模型的输出结果,作为所述待识别控制图的模式识别结果。
12.一种控制图模式识别模型的训练装置,其特征在于,所述装置包括:
过程仿真模块,用于基于在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真的仿真结果,确定样本数据;
特征提取模块,用于利用预设时间序列模型Transformer对所述样本数据进行特征提取,得到预设的每种控制图模式的特征数据;
模型训练模块,用于利用每种控制图模式的特征数据对预设分类模型进行训练,并在预设损失函数最小时,停止训练,得到控制图模式识别模型。
13.根据权利要求12所述的装置,其特征在于,所述过程仿真模块,包括:
仿真子模块,用于在预设的控制图正常模式和控制图异常模式下,对产品生产过程进行仿真,得到仿真结果;
标准化子模块,用于对所述仿真结果进行标准化处理,得到样本数据。
14.根据权利要求13所述的装置,其特征在于,所述标准化子模块具体用于:
利用z-score标准化装置,对所述仿真结果进行标准化处理,得到样本数据。
15.根据权利要求13所述的装置,其特征在于,所述仿真子模块具体用于:
在预设的控制图正常模式和控制图异常模式下,利用蒙特卡洛仿真装置模拟产品生产过程,得到仿真结果。
16.根据权利要求12所述的装置,其特征在于,所述预设时间序列模型Transformer包括:多头注意力模块、门控层和前馈网络;所述特征提取模块具体用于:
将所述样本数据输入所述多头注意力模块中进行特征计算,得到所述多头注意力模块输出的计算结果;
将所述计算结果输入所述门控层中进行特征筛选,得到所述门控层输出的筛选结果;
将所述筛选结果输入所述前馈网络中进行空间变化,得到所述前馈网络输出的变化结果,作为预设的每种控制图模式的特征数据。
17.根据权利要求16所述的装置,其特征在于,所述多头注意力模块包括多个自注意力子层;所述特征提取模块具体用于:
将所述样本数据输入所述多头注意力模块中的每个自注意力子层进行指定计算,并对每个自注意力子层的输出结果进行合并,得到所述多头注意力模块输出的计算结果;
其中,每个自注意力子层对所述样本数据的指定计算方式,包括:
计算所述样本数据的Query值、Key值和Value值;
利用所述Query值和所述Key值,基于每个自注意力子层预设的维度,计算所述样本数据对应的控制图中的每个位置的分数;
对每个位置的分数进行归一化,得到所述每个位置的注意力权重;
将每个位置的注意力权重与该位置在所述Value值中对应的数值相乘,得到每个位置的加权向量;
计算每个位置的加权向量的和值,作为每个自注意力子层的输出结果。
18.根据权利要求16所述的装置,其特征在于,所述特征提取模块具体用于:
将所述计算结果输入所述门控层中,以使所述门控层利用预设激活函数和所述门控层的预设参数,对所述计算结果进行特征筛选,得到初始结果,并对所述初始结果进行层归一化,得到所述门控层输出的筛选结果。
19.根据权利要求16所述的装置,其特征在于,所述前馈网络包括第一线性层、第二线性层和一维的批次归一化层;所述特征提取模块具体用于:
将所述筛选结果输入所述第一线性层和所述第二线性层中进行空间变化,得到初始结果;
将所述初始结果进行残差连接和层归一化,得到所述前馈网络输出的变化结果,作为预设的每种控制图模式的特征数据。
20.根据权利要求12所述的装置,其特征在于,所述预设分类模型包括:多层感知机和归一化层;所述模型训练模块具体用于:
将每种控制图模式的特征数据输入所述多层感知机中进行特征转换,得到所述多层感知机输出的转换结果;
将所述转换结果输入所述归一化层进行归一化,得到所述归一化层输出的预设的每种控制图模式的预测概率值;
以预设损失函数为目标函数,基于每种控制图模式的预测概率值对所述预设分类模型进行训练,并在所述预设损失函数最小时,停止训练,得到控制图模式识别模型。
21.根据权利要求12-20任一项所述的装置,其特征在于,所述控制图异常模式包括:上阶跃模式、下阶跃模式、上趋势模式、下趋势模式、系统性模式、周期模式和混合模式中的至少一种。
22.一种控制图模式识别装置,其特征在于,所述方法包括:
控制图输入模块,用于将待识别控制图输入预设的控制图模式识别模型中;其中,所述控制图模式识别模型是基于权利要求1-10任一项所述的方法训练得到的;
模式结果获取模块,用于获取所述控制图模式识别模型的输出结果,作为所述待识别控制图的模式识别结果。
23.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-11任一所述的方法步骤。
24.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-11任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210828675.XA CN114997070B (zh) | 2022-07-15 | 2022-07-15 | 控制图模式识别模型的训练方法及控制图模式识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210828675.XA CN114997070B (zh) | 2022-07-15 | 2022-07-15 | 控制图模式识别模型的训练方法及控制图模式识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114997070A true CN114997070A (zh) | 2022-09-02 |
CN114997070B CN114997070B (zh) | 2022-11-11 |
Family
ID=83022282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210828675.XA Active CN114997070B (zh) | 2022-07-15 | 2022-07-15 | 控制图模式识别模型的训练方法及控制图模式识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114997070B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104270281A (zh) * | 2014-09-03 | 2015-01-07 | 河海大学 | 一种Web Service QoS组合预测方法 |
CN106407944A (zh) * | 2016-09-28 | 2017-02-15 | 三峡大学 | 一种基于多模态回归分析的水电机组空蚀信号特征提取方法 |
CN109919130A (zh) * | 2019-03-21 | 2019-06-21 | 西安交通大学 | 一种基于改进遗传算法优化的质量控制图模式识别方法 |
CN110856437A (zh) * | 2019-10-09 | 2020-02-28 | 浙江工业大学 | 一种smt生产过程控制图模式识别方法 |
CN111080121A (zh) * | 2019-12-11 | 2020-04-28 | 北京工业大学 | 一种用于不同链长的控制图模式识别方法 |
CN111401003A (zh) * | 2020-03-11 | 2020-07-10 | 四川大学 | 一种外部知识增强的幽默文本生成方法 |
WO2021227406A1 (zh) * | 2020-05-14 | 2021-11-18 | 北京工业大学 | 一种基于自适应特征选择及改进思维进化算法的质量趋势预测方法 |
-
2022
- 2022-07-15 CN CN202210828675.XA patent/CN114997070B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104270281A (zh) * | 2014-09-03 | 2015-01-07 | 河海大学 | 一种Web Service QoS组合预测方法 |
CN106407944A (zh) * | 2016-09-28 | 2017-02-15 | 三峡大学 | 一种基于多模态回归分析的水电机组空蚀信号特征提取方法 |
CN109919130A (zh) * | 2019-03-21 | 2019-06-21 | 西安交通大学 | 一种基于改进遗传算法优化的质量控制图模式识别方法 |
CN110856437A (zh) * | 2019-10-09 | 2020-02-28 | 浙江工业大学 | 一种smt生产过程控制图模式识别方法 |
CN111080121A (zh) * | 2019-12-11 | 2020-04-28 | 北京工业大学 | 一种用于不同链长的控制图模式识别方法 |
CN111401003A (zh) * | 2020-03-11 | 2020-07-10 | 四川大学 | 一种外部知识增强的幽默文本生成方法 |
WO2021227406A1 (zh) * | 2020-05-14 | 2021-11-18 | 北京工业大学 | 一种基于自适应特征选择及改进思维进化算法的质量趋势预测方法 |
Non-Patent Citations (2)
Title |
---|
杨静等: "基于PCA和神经网络的识别方法研究", 《CNKI》 * |
许鹏等: "一种基于模式识别的放射性核素", 《中国知网》 * |
Also Published As
Publication number | Publication date |
---|---|
CN114997070B (zh) | 2022-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Binu et al. | Rider-deep-LSTM network for hybrid distance score-based fault prediction in analog circuits | |
CN109034368B (zh) | 一种基于dnn的复杂设备多重故障诊断方法 | |
Jiang et al. | Learning deep correlated representations for nonlinear process monitoring | |
US20210263839A1 (en) | Computer program for performance testing of models | |
Kong et al. | Deep learning of latent variable models for industrial process monitoring | |
CN110781970A (zh) | 分类器的生成方法、装置、设备及存储介质 | |
Bhardwaj et al. | Health insurance amount prediction | |
EP4302248A1 (en) | System and method of monitoring an industrial environment | |
CN112487406B (zh) | 一种基于机器学习的网络行为分析方法 | |
Kalpana et al. | Multiple parametric fault diagnosis using computational intelligence techniques in linear filter circuit | |
CN117369418A (zh) | 数控机床进给系统故障诊断方法、系统、存储介质及设备 | |
CN114997070B (zh) | 控制图模式识别模型的训练方法及控制图模式识别方法 | |
CN115033893B (zh) | 一种改进型聚类算法的信息漏洞数据分析方法 | |
Yu et al. | A hybrid learning-based model for on-line monitoring and diagnosis of out-of-control signals in multivariate manufacturing processes | |
CN114139636B (zh) | 异常作业处理方法及装置 | |
CN107229944B (zh) | 基于认知信息粒子的半监督主动识别方法 | |
Aldosari et al. | Image-Based Partial Discharge Identification in High Voltage Cables Using Hybrid Deep Network | |
CN114398228A (zh) | 一种设备资源使用情况的预测方法、装置及电子设备 | |
CN113935413A (zh) | 一种基于卷积神经网的配网录波文件波形识别方法 | |
CN112365014A (zh) | 一种基于ga-bp-cbr的工业设备故障诊断系统及方法 | |
CN115831339B (zh) | 基于深度学习的医疗系统风险管控事前预测方法、系统 | |
CN116304814A (zh) | 一种基于分类算法的监测对象工况分析方法和系统 | |
CN116702839A (zh) | 一种基于卷积神经网络的模型训练方法及应用系统 | |
Seo et al. | A Study on the Application of Measurement Data Using Machine Learning Regression Models | |
Ge et al. | Monitoring tool wearing: a hybrid algorithm integrating residual structures and stacked BiLSTM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |