CN116757545A - 一种基于多任务深度学习的多级制造系统质量预测方法 - Google Patents

一种基于多任务深度学习的多级制造系统质量预测方法 Download PDF

Info

Publication number
CN116757545A
CN116757545A CN202310806904.2A CN202310806904A CN116757545A CN 116757545 A CN116757545 A CN 116757545A CN 202310806904 A CN202310806904 A CN 202310806904A CN 116757545 A CN116757545 A CN 116757545A
Authority
CN
China
Prior art keywords
stage
task
network
deep learning
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310806904.2A
Other languages
English (en)
Inventor
渠海
王佩
黄鹏德
崔怡欣
张千乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202310806904.2A priority Critical patent/CN116757545A/zh
Publication of CN116757545A publication Critical patent/CN116757545A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Game Theory and Decision Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Primary Health Care (AREA)

Abstract

一种基于多任务深度学习的多级制造系统质量预测方法，先进行多级制造系统数据的采集与整理，形成多阶段原始数据集集合；然后对多阶段原始数据集集合进行预处理；再对预处理后的多阶段数据集集合进行训练集和测试集划分；然后构建基于各阶段传递影响特征提取的具有控制门网络的多尺度卷积网络；再构建基于各阶段多任务预测的多任务学习网络；最后动态调整每个任务损失和每个阶段损失的权重，并配合正则项，完成多任务深度学习模型构建；本发明在考虑各阶段传递影响的同时并行输出各阶段下多个质量指标的预测结果，各阶段影响传递有效，多质量指标并行输出的结果精度高。

Description

一种基于多任务深度学习的多级制造系统质量预测方法
技术领域
本发明属于多级制造系统技术领域，具体涉及一种基于多任务深度学习的多级制造系统质量预测方法。
背景技术
在现代制造技术的快速发展下，复杂产品层出不穷。复杂产品由原材料加工为半成品或成品的过程通常是在多级制造系统内完成。多级制造系统是指由多个可以实现加工、组装或其他过程的子系统组成的复杂制造过程，其中每个子系统可以称为阶段，每一阶段的制造产品是由上一阶段所产生。然而，多个阶段之间存在影响，许多因素(例如设备和制造变量)对最终产品质量具有累积影响，并且这种影响随着产品生产过程进行流转。同时，每个阶段都会对产品进行测试，例如产品的定位精度是否符合要求，是否可以进入后续生产阶段。为了从多方面进行检测，通常每个阶段都有多个指标来评估产品质量。因此，研究多阶段制造系统中的产品质量影响传播，提前预测每个阶段产品质量能够赢得更多改进多级制造系统生产的调整机会和时间，提高复杂产品的生产质量。
传统基于机器学习和深度学习的质量预测方法往往对多级制造系统的每个阶段单独建模，此类方法的局限性在于忽略了生产阶段之间的传递影响和仅对单一质量指标进行预测，然而忽略制造阶段之间的影响和关系，并且对每个阶段下对同一产品多个质量指标单独建模，会对质量预测模型的性能产生负面影响且降低建模效率。
董海等人在其论文“基于XGBoost的车身尺寸装配质量智能预测模型”(工业工程，2021年6月)中采用车身装配多级制造过程为研究对象，利用机器学习算法XGBoost对多源汽车装配过程中的车身尺寸进行预测控制，并使用于Spearman系数对不同特征进行相关性分析，该方法采用XGBoost算法可对装配后车身尺寸构建预测模型，并通过对模型性能的有效评估实现对车身尺寸装配的精准控制；但是，该方法存在不足之处，把整个生产过程视作一个阶段，只对最终车身尺寸进行预测，并且直接将前序阶段全部特征传入最终装配阶段，导致无法预测中间装配过程车身尺寸，不能合理考虑各阶段的累计影响。任黎明等人在其论文“基于数据驱动的复杂多阶段产品质量预测研究”(制造业自动化，2022年3月)中采用复杂制品为研究对象，利用基于规则的深度置信网络对各阶段工艺参数进行质量规则挖掘，并使用Catboost算法预测各阶段产品质量及最终产品质量；但是只是实现了单任务学习，只能对单个质量指标进行预测，没有实现多任务的联合多阶段质量预测，不适应多阶段多任务联合学习场景。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于多任务深度学习的多级制造系统质量预测方法，在考虑各阶段传递影响的同时并行输出各阶段下多个质量指标的预测结果，各阶段影响传递有效，多质量指标并行输出的结果精度高。
为实现上述目的，本发明采取的技术方案为：
一种基于多任务深度学习的多级制造系统质量预测方法，包括以下步骤：
步骤1)多级制造系统数据的采集与整理：对于采集数据集，利用相关仪器和传感器对各阶段测试参数和产品质量数据进行采集；整理数据集过程中，对各阶段产品的测试参数进行实际加工情况分析和专家评审，得到各阶段由多个测试参数组成的多维数据特征；对各阶段质量指标进行整理，得到各阶段多个质量指标；并将每个阶段产品的数据特征和相应的多个质量指标结合，最终形成多阶段原始数据集集合D1、D2、…；
步骤2)对多阶段原始数据集集合D1、D2、…进行预处理：针对多阶段原始数据集集合D1、D2、…，基于均值填充的方法，处理多阶段原始数据集集合D1、D2、…的缺失值；使用基于Min-Max归一化处理方法，计算填充后的多阶段原始数据集集合D1、D2、…内每个数据集的最大值和最小值，然后将填充后的多阶段原始数据集集合D1、D2、…映射到0-1之间，得到预处理后的多阶段数据集集合D′1、D′2、…；
步骤3)对预处理后的多阶段数据集集合D′1、D′2、…进行训练集和测试集划分：将多阶段数据集集合D′1、D′2、…按照8:2的比例划分为训练集和测试集，其中80％的数据用于训练多任务深度学习模型M，20％的数据用于测试多任务深度学习模型M的训练效果；
步骤4)构建基于各阶段传递影响特征提取的具有控制门网络的多尺度卷积网络C：针对选择的各阶段训练集，输入由测试参数组成的数据特征，为每个阶段构建多个卷积网络并行的多尺度卷积网络，保证多个并行卷积网络的卷积核大小与尺寸不同，提取各阶段对后续阶段传递影响特征表示，然后构建以线性变化矩阵和激活函数Sigmoid为基础的控制门网络，确定传入后续阶段影响特征的比例，得到最终传入后续阶段的影响特征，完成各阶段传递影响特征提取的具有控制门网络的多尺度卷积网络C的构建；
步骤5)构建基于各阶段多任务预测的多任务学习网络L：针对具有控制门网络的多尺度卷积网络C提取的各阶段传递影响特征，基于多层多任务ML-MMoE模型，构建多个并行的专家网络并行对各阶段传递影响特征进行深层特征提取，然后构建多层以线性变换矩阵和激活函数Softmax为基础的门网络，加权组合得到每个任务的专有深层特征；然后针对每个任务的专有深层特征，构建以多层线性层为基础的塔网络对各阶段的多个任务进行并行质量预测，计算每个任务的回归损失，完成基于各阶段多任务预测的多任务学习网络L的构建；
步骤6)动态调整每个任务损失和每个阶段损失的权重，并配合正则项，完成多任务深度学习模型M构建：针对基于各阶段多任务预测的多任务学习网络L得到的各阶段下每个任务的损失，基于同方差不确定性，计算每个任务损失的动态权重，对每个阶段内所有任务损失进行加权求和计算阶段损失，然后确定每个阶段损失的动态权重，对所有阶段的损失进行加权求和，同时添加正则项防止模型过拟合，计算多任务深度学习模型M的总损失，然后依据多任务深度学习模型M的总损失反向更新多任务深度学习模型M；测试多任务深度学习模型M性能，并进行超参数调优，完成多任务深度学习模型M构建。
与现有技术相比，本发明的技术优势为：
多个阶段之间的影响累计与传递表达准确性高：通过构建具有控制门网络的多尺度卷积网络，利用多尺度卷积网络和控制门网络提取阶段之间的累计影响特征和传递比例，保证下游阶段能够有合理有效获取上游阶段的影响与特征，为每个阶段下的多任务预测提供充足的特征准备，同时保证多任务深度学习模型M能够对产品经历的所有阶段进行质量预测；
多阶段多质量指标并行输出结果精度高：构建各阶段多任务学习网络，利用多层专家网络和门网络提取累计影响特征的深层特征，保证各阶段下每个任务均能提取到适合自身的专有特征，同时利用多层塔网络并行精准预测多个质量指标；将每个阶段内多个任务的损失通过同方差不确定性进行加权求和，得到每个阶段损失，并通过同方差不确定性将多个阶段损失联合起来，得到多任务深度学习模型M的总损失，避免某一任务或某一阶段的损失过大导致下降不合理，同时减少人工调整损失权重的额外成本，保证多个阶段的每个任务质量指标均能达到最佳预测结果。
附图说明
图1是本发明实施例的总体流程框图。
图2是本发明实施例多任务深度学习模型的网络架构。
图3时本发明实施例多任务深度学习模型的具体分布。
图4是本发明实施例具有控制门网络的多尺度卷积网络C具体网络结构。(以阶段数为2，多尺度卷积网络尺度数为2为例，若模型的阶段数多于2，可添加相应的阶段模型并增加尺度数。)
图5是本发明实施例各阶段多任务预测的多任务学习网络的L具体网络结构。(以每个阶段内任务数为3为例，若模型的任务数多于3，可添加相应多任务模型以预测更多的质量指标。)
图6是本发明实施例2个阶段下3个任务(3个质量指标)的真实值与预测值的曲线图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。
实施例：对于复杂产品的多级制造系统加工过程，每个子系统(阶段)之间具有累计影响，并且这种影响伴随产品生产过程进行流转。在现有的复杂多阶段生产过程中，难以定量确定阶段之间的累计影响，对实现多个阶段下产品的质量预测较为困难，尤其在每个阶段具有多个质量指标的情况下。惯性导航系统装配过程是一种典型的多级制造系统，每个阶段的装配零件多，测试参数复杂，产品精度要求高，导致装配阶段之间影响不明确，存在大量返工，生产线工艺过程稳定性低，造成最终产品质量的降低和成本的增加。本实施例基于现有惯性导航多级制造系统过程中难以确定多阶段之间累计影响和难以进行多个产品质量指标预测的问题，提出了面向多级制造系统的多任务深度学习的多级制造系统质量预测方法。以惯性导航系统为制造对象，其由两个装配过程阶段组成，在初始阶段，将两个重要的子部件组装成一个惯性测量单元，然后对组装好的惯性测量单元进行测试，以获得其自身的质量性能指标；在第二阶段，惯性测量单元将与其他部件组装在一起，形成最终的系统产品，然后进行测试以获得最终产品质量性能指标。
参照图1，一种基于多任务深度学习的多级制造系统质量预测方法，包括以下步骤：
步骤1)多级制造系统数据的采集与整理：
步骤1a)采集数据集：多阶段惯性导航系统两阶段包括数据特征集和质量指标数据集，数据特征通过各种传感器采集，质量指标数据集通过测试转台系统进行测试和采集；第一阶段数据特征指的是对产品进行稳定性测试、温度测试、速率传递测试等其他测试，第二阶段数据特征指的是对产品进行精度测试、可靠性测试等其他测试；惯性导航产品用于角度预测和定位，第一阶段产品质量指标指的是产品在加速度、角速度、位置的输出精度，第二阶段产品质量指标指的是产品在姿态、速度、位置的输出精度；
步骤1b)整理数据集：将惯性导航系统各阶段产品的测试参数进行专家评审，得到第一阶段包括稳定性测试、温度测试、速率传递测试等组成的13维数据特征，第一阶段产品具有三个质量指标，分别为加速度、角速度、位置；第二阶段包括精度测试、可靠性测试等组成的9维数据特征，第二阶段产品具有三个质量指标，分别为姿态、速度、位置；并将每个阶段产品的数据特征和相应的三个质量指标结合，最终形成包含两个阶段的多阶段原始数据集集合D1、D2；
本实施例在惯性导航系统的数据采集中，针对两阶段的2个数据集，按照生产阶段对它们采集的测试数据特征与相应的质量数据进行对应，从而形成多阶段原始数据集集合D1、D2，实现了各阶段对应数据集的划分；
步骤2)对多阶段原始数据集集合D1、D2进行预处理：
步骤2a)处理多阶段原始数据集集合D1、D2的缺失值：针对多阶段原始数据集集合D1、D2，对每条数据进行检查，对于存在缺失值的数据使用均值进行替代填充；
步骤2b)计算填充后的多阶段原始数据集集合D1、D2的最大和最小值并进行归一化：针对填充后的多阶段原始数据集集合D1、D2，依据式(1)，对各阶段数据特征进行0-1归一化处理：
其中，Y表示归一化后的值；X表示原始各阶段数据特征；Xmin表示每个数据特征中的最小值；Xmax表示每个数据特征中的最大值；
归一化后得到预处理后的多阶段数据集集合D′1、D′2；
本实施例利用均值对多阶段原始数据集进行缺失值填充，然后利用Min-Max归一化对填充后的多阶段原始数据集进行归一化处理，由于归一化处理能够将量纲不同的数据归一化到统一量级；故经过步骤2)处理后，可以将多阶段原始数据集中每个特征统一到同一量级，可以提高原始多阶段数据集的质量，保证模型传播时更加稳定，参数更新的结果泛化性能更好，为后续多任务深度学习模型M的准确预测提供了良好的数据基础；
步骤3)对预处理后的多阶段数据集集合D1′，D2′进行训练集和测试集划分：针对处理后的多阶段数据集，将其两阶段数据按照8:2的比例划分，其中80％的数据作为训练集输入多任务深度学习模型M，进行训练；20％的数据作为测试集，测试多任务深度学习模型M的效果；
本实施例针对处理后的两阶段数据集进行训练集和测试集的划分，由于划分的训练集可用于多任务深度学习模型M的训练，拟合数据特征与多质量指标数据之间的关系；划分的测试集可用于衡量多任务深度学习模型M的性能，并进行超参数的寻优，故经过步骤3)划分后，可以为后续多任务深度学习模型M的训练、性能评估和超参数寻优提供准备；
步骤4)构建基于各阶段传递影响特征提取的具有控制门网络的多尺度卷积网络C：
步骤4a)构建多个卷积网络并行的多尺度卷积网络：参照图2、图3与图4，构建以多个卷积网络为基础框架的多尺度卷积网络，对于第一个阶段，第一个尺度的网络结构顺序为：卷积层1、卷积层2、归一化层、池化层1，第二个尺度的网络结构顺序为：卷积层3、卷积层4、归一化层、池化层2、卷积层5、卷积层6、归一化层、池化层3，对第一阶段输入的数据特征进行传递影响特征提取；在第二个阶段，第一个尺度的网络结构顺序为：卷积层7、卷积层8、归一化层、池化层4，第二个尺度的网络结构顺序为：卷积层9、归一化层、池化层5、卷积层10、归一化层、池化层6，对第二阶段输入的数据特征进行传递影响特征提取；参照图4，针对于本实施例，多尺度卷积网络的具体结构为：一维卷积层1(filters＝30,kenel_size＝6,strides＝1,padding＝’valid’,activation＝’relu’)、一维卷积层2(filters＝30,kernel_size＝6,strides＝1,padding＝’valid’,activation＝’relu’)、归一化层、一维最大池化层1(pool_size＝2,strides＝2)，一维卷积层(filters＝40,kernel_size＝2,strides＝1,padding＝’valid’,activation＝’relu’)、一维卷积层4(filters＝40,kernel_size＝2,strides＝1padding＝’valid’,activation＝’relu’)、归一化层、一维最大池化层2(pool_size＝2,strides＝2)、一维卷积层5(filters＝40,kernel_size＝2,strides＝1,padding＝’valid’,activation＝’relu’)、一维卷积层6(filters＝30,kernel_size＝2,padding＝’valid’,activation＝’relu’)、归一化层、一维最大池化层3(pool_size＝2,strides＝2)、一维卷积层7(filters＝40,kernel_size＝4,strides＝1,padding＝’valid’,activation＝’relu’)、一维卷积层8(filters＝30,kernel_size＝4,strides＝1,padding＝’valid’,activation＝’relu’)、归一化层、一维最大池化层4(pool_size＝2,strides＝2)一维卷积层9(filters＝40,kernel_size＝2,strides＝1,padding＝’valid’,activ-ation＝’relu’)、归一化层、一维最大池化层5(pool_size＝2,strides＝2)、一维卷积层10(filters＝30,kernel_size＝2,strides＝1,padding＝’valid’,activation＝’relu’)、归一化层、一维最大池化层6(pool_size＝2,strides＝2)；多个并行卷积网络提取后的传递影响特征进行对应元素相乘，完成多尺度卷积网络特征融合；
步骤4b)构建控制门网络：参照图2、图3与图4，构建以线性变换矩阵和激活函数Sigmoid为基础的控制门网络，将两阶段数据特征分别与各自的矩阵相乘进行线性变换，然后使用Sigmoid函数转化为概率值，然后将输出结果与多尺度卷积网络提取的传递影响特征进行相乘，得到最终传入后续阶段的影响特征；控制门网络的数量比阶段数少1，因为第一阶段并没有前序阶段的影响特征，各阶段传递影响特征提取的具有控制门网络的多尺度卷积网络C计算过程如式(2)所示：
其中Xk表示多任务深度学习模型M输入的数据特征，即表示多个阶段对产品进行测试的测试参数数据，k∈{1,2,...,K}表示第k个阶段，K为多任务深度学习模型M总的阶段数；num表示多尺度卷积网络的尺度数，即并行卷积网络的个数；表示卷积运算，Wxk表示第k个阶段对应的卷积核参数，bsk表示偏置；σc表示卷积网络中的激活函数，即ReLU；poolH×H表示最大池化层；Uxk表示第k个阶段对应控制门的线性变换矩阵，σr表示控制门激活函数，即Sigmoid，mk-1表示第k-1阶段由具有控制门网络的多尺度卷积网络C提取的传递影响特征；
针对与本实施例，阶段数为2，即K设置为2；多尺度卷积网络的尺度数为2；
本实施例构建各阶段传递影响特征提取的具有控制门网络的多尺度卷积网络C，由于多尺度卷积网络利用多个具有不同卷积核大小与尺寸的并行卷积网络同时提取每个阶段输入的传递影响特征，保证并行卷积网络能够提取到不同的影响特征，如卷积核尺寸较大的能够提取更广泛的特征，并同时利用控制门网络对提取的传递影响特征进行控制，从而形成具有比例控制的最终传递影响特征，有效地保证每个阶段既能接受到前序阶段的影响特征，又过滤不重要信息，故经过步骤4)处理后，每个阶段包含的自身阶段数据特征与前序阶段传递影响特征的本阶段传递影响特征被输入多任务学习网络L，用于实施各阶段多任务质量预测，这不仅使得每个任务可以实现自身较高精度的质量预测，而且多个阶段可以实现同时预测，从而对产品生产全过程进行控制和预测；
步骤5)构建基于各阶段多任务预测的多任务学习网络L：
步骤5a)构建多个并行的专家网络：参照图2、图3与图5，构建以线性层网络为基础框架的专家网络，其网络结构顺序为：线性层1、线性层2、线性层3的单个专家网络，其中每个线性层后具有非线性激活函数，然后复制N份形成N个并行的专家网络，对各阶段传递影响特征进行深层特征提取；参照图5，针对于本实施例，第二阶段专家网络的具体结构为：线性层1(30×86)、激活函数(ReLU)、线性层2(86×64)、激活函数(ReLU)、线性层3(64×32)、激活函数(ReLU)；其数量设置为8，即使用8个专家网络对第二阶段传递影响特征进行深层特征提取；第一阶段专家网络并未在图5中显示，但网络结构顺序和第二阶段一致，具体结构为：线性层1(30×72)、激活函数(ReLU)、线性层2(72×64)、激活函数(ReLU)、线性层3(64×32)、激活函数(ReLU)；其数量设置为8，即使用8个专家网络对第一阶段传递影响特征进行深层特征提取；
步骤5b)构建门网络：参照图2、图3与图5，构建以线性变换矩阵和激活函数Softmax为基础的门网络，将各阶段传递影响特征的输入数据与矩阵相乘进行线性变换，然后将矩阵输出结果与每个专家层输出的深层特征进行加相乘组合，加权组合得到每个任务的专有深层特征；门网络的数量与任务数量一致，多个并行的专家网络和门网络的计算过程如式(3)、(4)所示：
其中mk为第k阶段由具有控制门网络的多尺度卷积网络C提取的传递影响特征；N表示专家网络的数据；表示第k阶段下第j个任务对应的线性变换矩阵；fk表示单个专家网络的映射函数；/>表示第k阶段下第j个门网络的映射函数；/>表示第k阶段下第j个任务专有的深层特征；
针对于本实施例，每个阶段下任务数为3，即j设置为3；专家网络数量为8，即N设置为8；
步骤5c)构建塔网络：参照图2、图3与图5，针对步骤5a)和步骤5b)提取的各阶段每个任务的深层特征，构建以线性层网络为基础框架的塔网络；其网络结构顺序为：线性层1、线性层2、Dropout层、线性层3，其中线性层1、线性层2具有非线性激活函数，其数量与任务数保持一致；参照图5，针对于本实施例，第二阶段的塔网络具体结构为：线性层1(32×64)、激活函数(ReLU)、线性层2(64×32)、激活函数(ReLU)、Dropout层(0.3)、线性层3(32×1)；第一阶段塔网络并未在图5中显示，但网络结构顺序和和具体结构与第二阶段一致；
步骤5d)进行多个任务的质量回归预测，并计算每个任务回归预测损失：针对步骤5a)和步骤5b)提取的各阶段每个任务的深层特征，塔网络利用其对各阶段多个任务进行回归预测，并以均方损失函数(MSE)对每个任务的预测结果计算回归预测损失；第k阶段下第j个任务的塔网络预测的计算过程如式(5)、(6)所示：
lossk,j＝MSE(yk,j,Yk,j) (6)
其中表示第k阶段下第j个塔网络的映射函数；yk,j表示第k阶段下第j个任务的预测标签；Yk,j表示第k阶段下第j个任务的真实标签；MSE表示均方损失函数；lossk,j表示k阶段下第j个任务的回归损失；对多个阶段下所有任务的预测结果即为多任务学习网络L的预测结果；
本实施例构建基于各阶段多任务预测的多任务学习网络L,由于多任务学习网络L利用多个并行的专家网络同时提取各阶段传递影响特征，并同时利用门网络对它们提取的深层特征进行选择，从而形成每个任务专有的深层特征，有效地保证每个质量预测任务既能利用自身独有的特征信息，又能包含与其他任务关联的特征信息，故经过步骤5)处理后，每个任务包含的专有性和多样性的深层特征被输入任务专有塔网络，用于实施质量预测，这使得每个任务可以实现自身较高精度的质量预测；
步骤6)动态调整每个任务损失和每个阶段损失的权重，并配合正则项，完成多任务深度学习模型M构建：
步骤6a)计算每个任务损失的动态权重：针对步骤5)得到的各阶段每个任务损失，利用同方差不确定性权重对其进行动态调整，避免某一任务或某一阶段的损失过大导致下降不合理，同时减少人工调整损失权重的额外成本；各阶段每个任务损失之间的权重计算过程如式(7)所示：
其中σk,j为回归模型的测量噪声方差，代表第k阶段下第j个任务损失的权重；||Y-yΘ(X)||2表示均方损失函数(MSE)；
步骤6b)计算各阶段损失和多任务深度学习模型M的总损失：联结步骤5d)中得到的第k阶段下第j个任务损失以及6a)中相对于的第k阶段下第j个任务损失的权重，将各阶段内多个任务损失加权求和，得到各阶段损失；之后使用相同的同方差不确定性权重方法得到各阶段损失的权重，联结阶段损失权重和各阶段损失，并加入两个正则项，得到多任务深度学习模型M的总损失，并依据其进行多任务深度学习模型M的训练和反向更新；为了提高模型的泛化性能，对模型参数进行了L2正则化和L2,1正则化；L2正则化和L1,2正则的计算过程如式(8)所示：
其中W表示模型参数矩阵，即多任务深度学习模型M中各部分网络中的参数矩阵；
模型的各阶段损失和总损失计算过程可由式(9)表示：
其中Lossk表示各阶段损失；Loss表示多任务深度学习模型M总损失；J表示第k阶段下任务总数；λ1和λ2控制每个正则项的权重，同时最小化损失函数；在本实施例中，第一阶段和第二阶段的任务数都为3，即J设置为3；
步骤6c)测试多任务深度学习模型M性能，并进行超参数调优：在多任务深度学习模型M的每一次迭代过程中，利用各阶段训练集进行训练后，向多任务深度学习模型中输入各阶段测试集，使用三个性能评价指标：R2误差、平均绝对值误差(MAE)、均方根误差(RMSE)，对各阶段测试集的多个质量指标的预测值进行评价，并依据评价结果对多任务深度学习模型M的超参数进行调优；影响多任务深度学习模型M的超参数及其搜索空间具体有：一维卷积层的卷积核尺寸(kernel_size)[2:6]、一维卷积层的卷积核深度(filters)[30,40,50]、最大池化层尺寸(pool_size)[2,3]、多任务学习网络L中专家层的个数(expert counts)[5:10]、多任务学习网络L中线性层神经元个数(Neurons)[8:128]、Dropout层参数(Dropout ratio)[0.2,0.3,0.5]、模型学习率(learning rate)[0.0005,0.005,0.001]、数据集批次大小(batch size)[8,16,32]、正则项权重(λ1、λ2)[0.008,0.01,0.05]；使用贝叶斯技术对上述多种超参数组合进行调优，构建每种组合对应的多任务深度学习模型，比较每个模型下多个阶段测试集的R2误差、平均绝对值误差和均方根误差，选择精度最高的模型对应的超参数组合，实现多任务深度学习模型M的调优。
经过贝叶斯技术调优，本实施例多任务深度学习模型M的最佳超参数组合为：模型结构超参数参照图4与图5，结构与参数与图4和图5一致、模型学习率(learning rate)：0.001、数据集批次大小(batch size)：8、正则项权重(λ1、λ2)：0.05、0.008。
本实施例动态调整每个任务损失与每个阶段损失的权重，并加入正则项完成多任务深度学习模型M构建，由于多任务深度学习模型M训练过程中各阶段存在多个任务损失，需要人工调整多个任务损失之间的权重防止出现某个任务损失过大而导致训练效果不好，并且增加人工调整的时间成本。而引入同方差不确定权重可以保证每个任务损失和每个阶段损失动态平衡，对难以训练的任务给以更大的权重，并且使用正则项约束模型参数，防止模型发生过拟合现象，使得多任务深度学习模型M中每个任务均能达到理想的最优状态。基于多任务深度学习模型M性能的测试情况进行超参数调优，可以保证各项超参数的选择达到最优，从而使得多任务深度学习模型M能够更好地拟合各阶段特征与多个质量指标之间的关系，并具有较强的模型泛化能力。故经过步骤6)处理后，不仅使得多任务深度学习模型M对各阶段各任务的预测达到最优，而且还可以通过最优的超参数组合保证多任务深度学习模型M的整体预测效果最好。
下面结合仿真实验对本实施例的技术效果进行说明：
仿真条件与内容：
1)仿真条件：仿真采用Ryzen 5 2500U，20G RAM处理器，编译器使用Spyder，编译语音使用Python 3.9.12，编译环境为anaconda version：conda 4.12.0；
2)仿真内容：基于惯性导航系的两阶段生产过程，选择两阶段数据集：第一阶段(输入13维数据特征，输出3个质量指标)、第二阶段(输入9维数据特征，输出3个质量指标)，完成基于两阶段的多任务深度学习模型的构建，实现多阶段多个质量指标的同时预测，输出两阶段测试集中多个任务(质量指标)的预测结果、性能评价指标和预测可视化效果图；
实验结果与分析：
1)多任务深度学习模型M的性能评价指标：
本实施例通过仿真得到多任务深度学习模型M的两阶段，参见表1，表1为本实施例针对两阶段测试集得到的多任务深度学习模型三个任务的性能评价指标：
表1
从表1中可以看出，本实施例中两阶段测试集的三项性能评价指标都比较优异，说明多任务深度学习模型M的预测效果较好，精度较高；
2)预测结果的可视化效果图：
还可以对本实施例的预测值进行可视化展示，第一阶段测试集三个任务的真实值与预测值的曲线和第二阶段测试集三个任务的真实值与预测值的曲线如图6所示，图6的横坐标均为产品数量，纵坐标均为各阶段对应任务的质量指标，图中预测曲线的类型均为虚线，真实数据曲线的类型均为实线。从两阶段测试集的三个任务的预测值曲线可以看出，预测曲线十分接近真实曲线，而且变化趋势相同，并且在第二阶段也具有较好的预测精度。总的来说，本实施例的两阶段各三个任务的预测曲线都较大程度上接近于真实曲线，预测效果较好。
综上所述，本发明公开了一种基于多任务深度学习的多级制造系统质量预测方法，解决了多级制造系统中阶段之间传递影响和并行预测多阶段下多个质量指标问题，实现步骤包括：采集并整理数据集；对整理的数据集进行预处理；划分各阶段的训练集和测试集；构建各阶段传递影响特征提取的具有控制门网络的多尺度卷积网络；构建基于各阶段多任务预测的多任务学习网络；动态调整每个阶段损失和每个任务损失的权重；输出各阶段测试集多个任务的预测结果，进行模型调优，完成多任务深度学习模型构建；本发明通过多尺度卷积网络提取阶段之间的传递影响特征，并结合控制门计算传递比例，同时结合多任务学习进行多级制造系统各阶段的多个质量指标预测，得到各阶段高精度的预测结果。整个方案严谨、完整，建模效率和预测精度高，用于多级制造系统各阶段质量预测，有效提高建模效率。

Claims (7)

1.一种基于多任务深度学习的多级制造系统质量预测方法，其特征在于，包括以下步骤：
步骤1)多级制造系统数据的采集与整理，形成多阶段原始数据集集合D1、D2、…；
步骤2)对多阶段原始数据集集合D1、D2、…进行预处理；
步骤3)对预处理后的多阶段数据集集合D′1、D′2…进行训练集和测试集划分；
步骤4)构建基于各阶段传递影响特征提取的具有控制门网络的多尺度卷积网络C；
步骤5)构建基于各阶段多任务预测的多任务学习网络L；
步骤6)动态调整每个任务损失和每个阶段损失的权重，并配合正则项，完成多任务深度学习模型M构建。
2.根据权利要求1所述的方法，其特征在于，所述的步骤1)具体为：利用相关仪器和传感器对各阶段测试参数和产品质量数据进行采集；对各阶段产品的测试参数进行实际加工情况分析和专家评审，得到各阶段由多个测试参数组成的多维数据特征；对各阶段质量指标进行整理，得到各阶段多个质量指标；将每个阶段产品的数据特征和相应的质量指标结合，最终形成多阶段原始数据集集合D1、D2、…。
3.根据权利要求1所述的方法，其特征在于，所述的步骤2)具体为：针对多阶段原始数据集集合D1、D2、…，基于均值填充的方法，处理多阶段原始数据集集合D1、D2、…的缺失值；使用基于Min-Max归一化处理方法，计算填充后的多阶段原始数据集集合D1、D2、…内每个数据集的最大值和最小值，然后将填充后的多阶段原始数据集集合D1、D2、…映射到0-1之间，得到预处理后的多阶段数据集集合D′1、D′2、…。
4.根据权利要求1所述的方法，其特征在于，所述的步骤3)具体为：将多阶段数据集集合D′1、D′2、…按照8:2的比例划分为训练集和测试集，其中80％的数据用于训练多任务深度学习模型M，20％的数据用于测试多任务深度学习模型M的训练效果。
5.根据权利要求1所述的方法，其特征在于，所述的步骤4)具体为：针对选择的各阶段训练集，输入由测试参数组成的数据特征，为每个阶段构建多个卷积网络并行的多尺度卷积网络，保证多个并行卷积网络的卷积核大小与尺寸不同，提取各阶段对后续阶段传递影响特征表示，然后构建以线性变化矩阵和激活函数Sigmoid为基础的控制门网络，确定传入后续阶段影响特征的比例，得到最终传入后续阶段的影响特征，完成各阶段传递影响特征提取的具有控制门网络的多尺度卷积网络C的构建。
6.根据权利要求1所述的方法，其特征在于，所述的步骤5)具体为：针对具有控制门网络的多尺度卷积网络C提取的各阶段传递影响特征，基于多层多任务ML-MMoE模型，构建多个并行的专家网络并行对各阶段传递影响特征进行深层特征提取，然后构建多层以线性变换矩阵和激活函数Softmax为基础的门网络，加权组合得到每个任务的专有深层特征；然后针对每个任务的专有深层特征，构建以多层线性层为基础的塔网络对各阶段的多个任务进行并行质量预测，计算每个任务的回归损失，完成基于各阶段多任务预测的多任务学习网络L的构建。
7.根据权利要求1所述的方法，其特征在于，所述的步骤6)具体为：针对基于各阶段多任务预测的多任务学习网络L得到的各阶段下每个任务的损失，基于同方差不确定性，计算每个任务损失的动态权重，对每个阶段内所有任务损失进行加权求和计算阶段损失，然后确定每个阶段损失的动态权重，对所有阶段的损失进行加权求和，同时添加正则项防止模型过拟合，计算多任务深度学习模型M的总损失，然后依据多任务深度学习模型M的总损失反向更新多任务深度学习模型M；测试多任务深度学习模型M性能，并进行超参数调优，完成多任务深度学习模型M构建。
CN202310806904.2A 2023-07-03 2023-07-03 一种基于多任务深度学习的多级制造系统质量预测方法 Pending CN116757545A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310806904.2A CN116757545A (zh) 2023-07-03 2023-07-03 一种基于多任务深度学习的多级制造系统质量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310806904.2A CN116757545A (zh) 2023-07-03 2023-07-03 一种基于多任务深度学习的多级制造系统质量预测方法

Publications (1)

Publication Number Publication Date
CN116757545A true CN116757545A (zh) 2023-09-15

Family

ID=87956985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310806904.2A Pending CN116757545A (zh) 2023-07-03 2023-07-03 一种基于多任务深度学习的多级制造系统质量预测方法

Country Status (1)

Country Link
CN (1) CN116757545A (zh)

Similar Documents

Publication Publication Date Title
CN111563706A (zh) 一种基于lstm网络的多变量物流货运量预测方法
CN109118013A (zh) 一种基于神经网络的经营数据预测方法、可读存储介质和预测系统
CN112557034B (zh) 一种基于pca_cnns的轴承故障诊断方法
CN114219139B (zh) 基于注意力机制的dwt-lstm电力负荷预测方法
CN109143408B (zh) 基于mlp的动态区域联合短时降水预报方法
CN111144552B (zh) 一种粮食品质多指标预测方法及装置
CN113743016B (zh) 基于自编码器和回声状态网络的发动机剩余寿命预测方法
CN116520772A (zh) 基于多任务迁移学习的薄板零件数控加工质量预测方法
CN115096357A (zh) 一种基于ceemdan-pca-lstm的室内环境质量预测方法
CN114692507A (zh) 基于堆叠泊松自编码器网络的计数数据软测量建模方法
CN108830405B (zh) 基于多指标动态匹配的实时电力负荷预测系统及其方法
CN117370766A (zh) 一种基于深度学习的卫星任务规划方案评估方法
Zong et al. Embedded software fault prediction based on back propagation neural network
CN116880201A (zh) 基于模糊神经网络的水网渠道状态控制系统
CN111863153A (zh) 一种基于数据挖掘的废水中悬浮固体总量的预测方法
CN108363830B (zh) 一种面向功能性晾衣架的原理方案非合作-合作博弈决策方法
CN116757545A (zh) 一种基于多任务深度学习的多级制造系统质量预测方法
CN115841184A (zh) 一种基于工序聚类的工时预测方法
CN116307250A (zh) 一种基于典型日特征选择的短期负荷预测方法及系统
CN112990601B (zh) 基于数据挖掘的蜗轮加工精度自愈系统及方法
CN114905335A (zh) 一种结合域对抗和卷积神经网络的刀具磨损预测方法
CN112966449B (zh) 基于变量选择和概率神经网络的制造过程质量缺陷根源诊断方法
CN112365022A (zh) 一种基于多阶段的发动机轴承故障预测方法
CN113326983B (zh) 一种天然气消费量预测的数据处理系统及方法
CN114548494B (zh) 一种可视化造价数据预测智能分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination