CN112990578A - 一种工业低质高噪数据建模及产品质量预测方法 - Google Patents
一种工业低质高噪数据建模及产品质量预测方法 Download PDFInfo
- Publication number
- CN112990578A CN112990578A CN202110280515.1A CN202110280515A CN112990578A CN 112990578 A CN112990578 A CN 112990578A CN 202110280515 A CN202110280515 A CN 202110280515A CN 112990578 A CN112990578 A CN 112990578A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- training
- depth
- product quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000004519 manufacturing process Methods 0.000 claims abstract description 16
- 230000000694 effects Effects 0.000 claims abstract description 7
- 230000015654 memory Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000001808 coupling effect Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000007787 long-term memory Effects 0.000 claims 1
- 230000006403 short-term memory Effects 0.000 claims 1
- 238000012706 support-vector machine Methods 0.000 abstract description 2
- 238000009434 installation Methods 0.000 abstract 1
- 238000007781 pre-processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000005504 petroleum refining Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种工业低质高噪数据建模及产品质量预测方法，包括不但能够充分地利用有标签样本和无标签样本，而且在极少的有标签样本下就可以获得不错的性能。特别是，通过我们精心设计的自监督学习的预训练辅助任务，模型能够很好的学习到原始数据的表征，通过这种表征学习，模型能够在极少数的有标签样本，甚至是原始有标签样本数据的1/10,1/20下，获得媲美传统方法如支持向量机，梯度提升树等模型的结果；相对于传统的，没有进行提前预训练的模型，有预训练的模型优势明显，尤其是在极少有标签样本的数据量下，不容易过拟合而且效果良好；为了将这种自监督学习的预训练辅助任务引入工业过程中，提出了一种针对不同特征重要性的预训练辅助任务，有效地提高了预训练的效果；本发明结构简单，安装稳定性高，数据采集效率高且使用方便，实用性强。
Description
技术领域
本发明涉及一种面向工业过程中低质高噪数据建模及产品质量预测方法，属于“工业大数据、深度学习”领域。
背景技术
本发明适用于在传统的工业过程，尤其是流程工业如矿物炼制、石油精炼过程中，用于改善其中普遍存在的低采样率问题(有标签的产品质量数据样本少，无标签的产品质量数据样本多)，适用于在少量有标签样本条件下的产品质量预测。
面向工业过程中低质高噪数据建模及产品质量预测的问题的解决方法，一般可以分为两大类，第一种是无监督学习方法，一种是半监督学习方法：(1)无监督学习方法主要是利用自编码器及其变体等从有标签和无标签样本提取一种原始数据的表征，而在这种表征的学习中，是不使用样本的标签，因此称为无监督学习。(2)半监督学习方法主要是通过算法，使用“有标签样本”对模型进行训练，再利用“无标签样本”进行辅助训练。一般可以分为基于协同训练和基于图的半监督学习方法。
自监督学习可以称为是无监督学习的一种，包括预训练和微调两个过程。相对于无监督学习，它自己构造辅助任务，如预测被盖住的特征，而不只是如传统无监督学习如自编码器一次对所有特征重构。它的作用是提高了预训练的质量，不但提高了在微调过程中下游任务的效果，而且在通过更加高质量的表征学习，在极少量有标签样本下的产品质量预测仍然有不错的性能。
综上所述，针对现有技术的缺陷，提供一种工业过程中面对工业低质高噪数据建模以及产品质量预测的技术解决方案，提出了一种将自监督学习引入工业过程领域且针对工业低质高噪数据的产品质量预测的范式，从而解决以上提到的问题。
发明内容
针对现有技术中存在的上述不足之处，本发明目的是提供一种将自监督学习引入工业过程领域且针对少量有标签样本的产品质量预测的范式。
本发明为实现上述目的所采用的技术方案是：(1)提出了自监督学习的预训练辅助任务，要求对输入的数据进行随机的掩码，使得模型根据没有掩码的数据去预测掩码的数据，提高了预训练的质量，而且提高了在微调过程中下游任务的效果。
(2)要将自监督学习引入工业过程领域，就应该要有有效地特征选择方式。因为：变量之间可能存在很多的噪声，让模型去预测相对不重要的噪声特征是相对不合适的，但是如果只让模型去预测较重要的特征，这样模型的预训练任务较为简单，容易使得模型的泛化性能变差
(3)由于工业过程的变量具有高度的非线性和强耦合性质，变量之间存在时序，非时序的关系。要获得有效的预测结果，应该要有时序信息和非时序信息的特征抽取部分。在本发明中，通过长短时间记忆单元进行时序信息的特征抽取，通过深度因子分解机进行非时序信息的低阶和高阶特征抽取，最终结合两者进行产品质量预测生成。
有益效果：
本发明在面向工业工业低质高噪数据的产品质量预测领域使用后，模型不但能够充分地利用有标签样本和无标签样本，而且在极少的有标签样本下就可以获得不错的性能。特别是，通过我们精心设计的自监督学习的预训练辅助任务，模型能够很好的学习到原始数据的表征，通过这种表征学习：
(1)模型能够在极少数的有标签样本，甚至是原始有标签样本数据的1/10,1/20下，获得媲美传统方法如支持向量机，梯度提升树等模型的结果。
(2)相对于传统的，没有进行提前预训练的模型，有预训练的模型优势明显，尤其是在极少有标签样本的数据量下，不容易过拟合而且效果良好。
(3)为了将这种自监督学习的预训练辅助任务引入工业过程中，提出了一种针对不同特征重要性的预训练辅助任务，有效地提高了预训练的效果。
附图说明
图1为本发明模型的预训练过程图；
图2为本发明模型的微调过程图
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对数据预处理和特征选择
输入数据要通过数据预处理和特征选择阶段。数据预处理主要包括数据分箱和数据归一化。
数据分箱是一种常见的数据处理方法，因为工业过程中，传感器采集的数据可能存在着很多工业噪声的影响，针对一些方差比较小的特征，可以采用数据分箱去抑制数据噪声对数据分析的影响。
数据归一化主要是针对工业过程中，传感器采集到的数据范围并不相同，通常不同的特征差别很大，
通过数据归一化，将数据归一到0到1之间，同时也能保持原始的数据分布。
特征选择对自监督学习中的预训练辅助任务尤其重要，因为预训练辅助任务要求对输入的数据进行随机的掩码，要求模型根据没有掩码的数据去预测掩码的数据。虽然此前对方差较小的特征进行了数据分箱，但是变量之间可能存在很多的噪声，让模型去预测相对不重要的噪声特征是相对不合适的，但是如果只让模型去预测较重要的特征，这样模型的预训练任务较为简单，这样容易使得模型的泛化性能变差。因此一个良好的特征选择对于将自监督学习任务引入工业过程的样本质量预测是必要的。
通过“置换标签”的特征选择方法，根据一定的阈值保留特征重要性较高的特征，用于后面的模型训练。这种“置换标签”的特征选择方法，主要是随机置换标签，计算这些置换标签下的特征重要性的“假”分布，再计算用真实标签下的特征重要性的“真”分布。通过假定模型在“假”的标签下得到的假分布与真实分布的差距，得到模型的特征重要性，用于模型的预训练过程中。
由于工业过程的变量具有高度的非线性和强耦合性质，变量之间存在时序，非时序的关系。传统的方法如长短时间记忆单元(LSTM)只能够提取时序特征，但不够强大能够捕捉其中的非线性特征。而多层感知机(MLP)或者深度因子分解机(DeepFM)能够提取低阶、高阶特征，但是每次模型输入样本点实际上是一个时间点的数据，忽略了数据中潜在的时序特征。
因此，我们提出了LSTM-DFM结构，长短时间记忆单元辅助深度因子分解机提取时序特征，时序特征和长短时间记忆单元的输入一同送入深度因子分解机模型中。因而时序和非时序特征可以被充分的考虑，模型性能得到提高。
如图1所示，模型的预训练过程：首先，有标签和无标签的数据先通过特征选择，数据归一化后送入“掩码和连接层”中。这个层将原始的输入进行随机的掩码并与长短时间记忆单元的输出(时序特征)连接到一起，，送入深度因子分解机的深度模型(DeepComponent,主要由DNN组成)的编码器和解码器，最终计算混合的损失(原始输入掩码损失和长短时间记忆单元的重构损失)。
构造的辅助任务是：随机的对原始输入数据进行掩码，但是根据数据的特征重要性，使得较高重要性的特征有较大的概率被掩码，而且只预测被掩码的数据的预测损失。而对于长短时间记忆单元输出的时序特征进行传统自编码器的重构。
通过基于混合损失的反向传播算法，长短时间记忆单元和因子分解机的深度模型被充分的训练。
如图2所示：以之前预训练的“掩码和连接层”和深度因子分解机的深度部分为基础，在模型微调阶段，只是用少量的有标签样本。
(1)加上数据分箱得到的离散特征通过深度因子分解机的因子分解机的部分。
(2)数据归一化得到的连续特征依次通过预训练的长短时间记忆单元、“掩码和连接层”、深度因子分解机的深度模型部分。
(3)最终将因子分解机的输出和深度模型的输出连接，通过反向传播算法最终得到产品质量数据的预测。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (3)
1.一种工业低质高噪数据建模及产品质量预测方法，所述预测方法步骤为：1)提出了自监督学习的预训练辅助任务，要求对输入的数据进行随机的掩码，使得模型根据没有掩码的数据去预测掩码的数据，提高了预训练的质量，而且提高了在微调过程中下游任务的效果；2)要将自监督学习引入工业过程领域，就应该要有有效地特征选择方式。因为：变量之间可能存在很多的噪声，让模型去预测相对不重要的噪声特征是相对不合适的，但是如果只让模型去预测较重要的特征，模型的预训练任务较为简单，容易使得模型的泛化性能变差；3)由于工业过程的变量具有高度的非线性和强耦合性质，变量之间存在时序，非时序的关系。要获得有效的预测结果，应该要有时序信息和非时序信息的特征抽取部分；通过长短时间记忆单元进行时序信息的特征抽取，通过深度因子分解机进行非时序信息的低阶和高阶特征抽取，最终结合两者进行产品质量预测生成。
2.根据权利要求1所述的一种工业低质高噪数据建模及产品质量预测方法，其特征在于：所述模型的预训练过程为：首先，有标签和无标签的数据先通过特征选择，数据归一化后送入“掩码和连接层”中。这个层将原始的输入进行随机的掩码并与长短时间记忆单元的输出(时序特征)连接到一起，送入深度因子分解机的深度模型的编码器和解码器，最终计算混合的损失。
构造的辅助任务是：随机的对原始输入数据进行掩码，但是根据数据的特征重要性，使得较高重要性的特征有较大的概率被掩码，而且只预测被掩码的数据的预测损失。而对于长短时间记忆单元输出的时序特征进行传统自编码器的重构；
通过基于混合损失的反向传播算法，长短时间记忆单元和因子分解机的深度模型被充分的训练。
3.根据权利要求2所述的一种工业低质高噪数据建模及产品质量预测方法，其特征在于：以之前预训练的“掩码和连接层”和深度因子分解机的深度部分为基础，在模型微调阶段，只是用少量的有标签样本；
1)加上数据分箱得到的离散特征通过深度因子分解机的因子分解机的部分；
2)数据归一化得到的连续特征依次通过预训练的长短时间记忆单元、“掩码和连接层”、深度因子分解机的深度模型部分；
3)最终将因子分解机的输出和深度模型的输出连接，通过反向传播算法最终得到产品质量数据的预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110280515.1A CN112990578A (zh) | 2021-03-16 | 2021-03-16 | 一种工业低质高噪数据建模及产品质量预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110280515.1A CN112990578A (zh) | 2021-03-16 | 2021-03-16 | 一种工业低质高噪数据建模及产品质量预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112990578A true CN112990578A (zh) | 2021-06-18 |
Family
ID=76335879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110280515.1A Pending CN112990578A (zh) | 2021-03-16 | 2021-03-16 | 一种工业低质高噪数据建模及产品质量预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112990578A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160247501A1 (en) * | 2015-02-19 | 2016-08-25 | Microsoft Technology Licensing, Llc | Pre-training and/or transfer learning for sequence taggers |
| US20200160177A1 (en) * | 2018-11-16 | 2020-05-21 | Royal Bank Of Canada | System and method for a convolutional neural network for multi-label classification with partial annotations |
| CN111324739A (zh) * | 2020-05-15 | 2020-06-23 | 支付宝(杭州)信息技术有限公司 | 一种文本情感分析方法及系统 |
| CN111768000A (zh) * | 2020-06-23 | 2020-10-13 | 中南大学 | 在线自适应微调深度学习的工业过程数据建模方法 |
| CN111914492A (zh) * | 2020-04-28 | 2020-11-10 | 昆明理工大学 | 一种基于进化优化的半监督学习工业过程软测量建模方法 |
| CN112132179A (zh) * | 2020-08-20 | 2020-12-25 | 中国人民解放军战略支援部队信息工程大学 | 基于少量标注样本的增量学习方法及系统 |
-
2021
- 2021-03-16 CN CN202110280515.1A patent/CN112990578A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160247501A1 (en) * | 2015-02-19 | 2016-08-25 | Microsoft Technology Licensing, Llc | Pre-training and/or transfer learning for sequence taggers |
| US20200160177A1 (en) * | 2018-11-16 | 2020-05-21 | Royal Bank Of Canada | System and method for a convolutional neural network for multi-label classification with partial annotations |
| CN111914492A (zh) * | 2020-04-28 | 2020-11-10 | 昆明理工大学 | 一种基于进化优化的半监督学习工业过程软测量建模方法 |
| CN111324739A (zh) * | 2020-05-15 | 2020-06-23 | 支付宝(杭州)信息技术有限公司 | 一种文本情感分析方法及系统 |
| CN111768000A (zh) * | 2020-06-23 | 2020-10-13 | 中南大学 | 在线自适应微调深度学习的工业过程数据建模方法 |
| CN112132179A (zh) * | 2020-08-20 | 2020-12-25 | 中国人民解放军战略支援部队信息工程大学 | 基于少量标注样本的增量学习方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| LEI REN 等: "A Data-Driven Approach of Product Quality Prediction for Complex Production Systems", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443293B (zh) | 基于双判别生成对抗网络文本重构的零样本图像分类方法 | |
| CN110808033B (zh) | 一种基于双重数据增强策略的音频分类方法 | |
| CN110853656B (zh) | 基于改进神经网络的音频篡改识别方法 | |
| CN111914555B (zh) | 基于Transformer结构的自动化关系抽取系统 | |
| CN111276119B (zh) | 语音生成方法、系统和计算机设备 | |
| CN114549925A (zh) | 一种基于深度学习的海浪有效波高时间序列预测方法 | |
| CN116451150A (zh) | 一种基于半监督小样本的设备故障诊断方法 | |
| Yu et al. | CWGAN: Conditional wasserstein generative adversarial nets for fault data generation | |
| CN116486834A (zh) | 基于特征融合和改进卷积神经网络的轧制声音分类方法 | |
| CN115643115B (zh) | 基于大数据的工控网络安全态势预测方法及系统 | |
| CN114723950A (zh) | 一种基于对称自适应网络的跨模态医学图像分割方法 | |
| CN115101085A (zh) | 一种卷积增强外部注意力的多说话人时域语音分离方法 | |
| CN116230019A (zh) | 一种基于半监督语音情感识别框架的深度情感聚类方法 | |
| CN113707175B (zh) | 基于特征分解分类器与自适应后处理的声学事件检测系统 | |
| CN115249479A (zh) | 基于brnn的电网调度复杂语音识别方法、系统及终端 | |
| CN116434759B (zh) | 一种基于srs-cl网络的说话人识别方法 | |
| Yang et al. | GAN-based sample expansion for underwater acoustic signal | |
| CN112990578A (zh) | 一种工业低质高噪数据建模及产品质量预测方法 | |
| CN117150148A (zh) | 一种基于预训练模型的社交网络舆情态势监控方法 | |
| CN117054754A (zh) | 一种基于目标检测模型的快速射电暴信号搜寻方法 | |
| CN116611580A (zh) | 一种基于多源数据与深度学习的海洋赤潮预测方法 | |
| CN116758451A (zh) | 基于多尺度和全局交叉注意力的视听情感识别方法及系统 | |
| CN110554429A (zh) | 一种基于变邻域滑动窗口机器学习的地震断层识别方法 | |
| CN112487992B (zh) | 一种基于流模型的人脸情绪图像的生成方法及设备 | |
| CN114220145A (zh) | 人脸检测模型生成方法和装置、伪造人脸检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210618 |