CN117436236A - 一种基于大模型的工艺流程智能规划方法 - Google Patents

Abstract

本发明公开了一种基于大模型的工艺流程智能规划方法，包括：S1、构建表征零部件结构特征与工艺文件映射关系的数据集；数据集包括自监督预训练数据集和指令微调数据集；S2、构建面向工艺制造的大规模语言模型，并利用自监督预训练数据集对其进行自监督训练，获得训练好的工业大模型；S3、利用指令微调数据集对工业大模型生成的工艺参数进行校正，将校正后工艺参数作为工艺流程智能规划结果。通过制造特征识别技术、工艺流程/工艺参数推理技术等软件算法结合工艺知识库“帮”设计者设计工艺，推荐最优的工艺流程、工艺参数，避免因为人为因素导致工艺设计质量缺陷，从而提升企业的工艺设计整体水平及效率，为企业的工艺创新提供技术支撑。

Description

一种基于大模型的工艺流程智能规划方法

技术领域

本发明属于工艺制造技术领域，具体涉及一种基于大模型的工艺流程智能规划方法。

背景技术

在制造行业零部件产品具有批量小、品种多、制造要求高的特点，工艺制造知识要求高，工艺设计需要设计者具备良好的专业背景和工艺制造经验知识，对产品工艺师提出较高的要求，但工程师个体由于知识结构、领域经验、擅长方向各不相同，往往会导致相同的产品制造工艺大不相同，因此，工艺文件的质量难以保证，波动较大。同时，当前制造行业缺乏工艺自动生成技术，导致个性化定制零部件制造周期长、数据误差大、设计制造效率低。传统的结构化工艺设计软件仅把设计者的意图进行电子化，本质上还是依靠人在编工艺。基于大模型的工艺生成技术，可以为制造商提供不同类型零部件的数据和加工流程，使制造商可以更加准确地估计他们的成本，并更好地满足客户的需求,提高行业竞争力。

现有基于知识的工艺生成方法，其利用计算机程序可以根据实际需要将待分析的数据导入计算机，计算机根据预先实现的程序识别待分析数据中的对象实例，获取实例属性，并根据知识规则对相关实例及属性进行自动推理，从而获得相应的分析结果或者解决方案；但该基于知识的工艺生成方法难以适应非标或外部环境的实时变化问题，该类模型仅能找出知识库中现有的模型，与输入内容匹配，若输入中出现知识库不存在的零件型号，则可能出现输出结果与预期严重不符的情况。

发明内容

针对现有技术中的上述不足，本发明提供的基于大模型的工艺流程智能规划方法解决了现有方法难以适应非标或外部环境变化，进而影响输出工艺预期严重不符的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于大模型的工艺流程智能规划方法，包括以下步骤：

S1、构建表征零部件结构特征与工艺文件映射关系的数据集；

其中，数据集包括自监督预训练数据集和指令微调数据集；

S2、构建面向工艺制造的大规模语言模型，并利用自监督预训练数据集对其进行自监督训练，获得训练好的工业大模型；

S3、利用指令微调数据集对工业大模型生成的工艺参数进行校正，将校正后工艺参数作为工艺流程智能规划结果。

进一步地，所述步骤S1中，自监督预训练数据集的构建方法为：获取工艺流程相关的公开数据，对其多样化数据进行归一化处理，获得文本表示一致的数据，作为自监督预训练数据集；

指令微调数据集的构建方法为：获取合作单位的工艺流程数据，采用思维链引导和参数增广的方式扩充数据量，进而构建出指令微调数据集。

进一步地，所述步骤S1中，通过思维链引导扩充数据量的方法具体为：

对获取的工艺流程数据进行处理，获得统一格式的标准数据，对于每条标准数据，通过将output中的工艺步骤添加进input中，建立工艺产品结构特征到工艺文件的映射关系，进而扩充数据量。

其中，每条标准数据的字段包括为input和output，input为工艺产品的特征描述，output为生产该工艺产品的工艺步骤描述；

通过参数增广扩充数据量的方法具体为：

对工艺产品生产流程中的特殊参数进行定位，通过对该特殊参数进行修改的方式来扩充数据量。

进一步地，所述步骤S2中，通过自回归模式表示训练大规模语言模型时的词语表示，对于输入训练数据T＝(w₁，w₂，...，w_N)，其输出给定单词的概率P(w₁，w₂，...，w_N)为：

式中，w_i为第i个单词，i＞1，N为输入数据序列长度。

进一步地，所述步骤S2中，训练工业大模型时的损失函数为交叉熵损失Loss_CE，其表达式为：

式中，t_i为真实标签，n为类别数量，p_i为Softmax概率，其表示为通过Softmax函数为每个输出分类结果赋予对应的概率值，其表达式为：

式中，σ(·)为Softmax函数，x_i和x_j分别为第i类和第j类。

进一步地，所述步骤S3中，使用字符成组技术对工艺参数进行校正。

进一步地，所述步骤S3中，进行工艺参数校正的方法具体为：

S31、定义字符压缩组的组大小K及长度最小值L_c；

S32、判断工业大模型输入数据R的长度L_r是否满足L_r≤L_c；

若是，则进入步骤S33；

若否，则进入步骤S34；

S33、将输入数据R经过嵌入层处理后直接输出字符组和上下文，作为修正后的工艺参数；

S34、根据定义的字符压缩组计算字符组数量及实际上下文长度，并将其将经过嵌入层及多层感知机处理后，计算得到字符组及上下文，作为修正后的工艺参数。

进一步地，所述步骤S33中，上下文C＝Emb(R)，上下文的长度L_cr＝L_r，字符组G＝φ；其中，Emb(·)为嵌入层。

进一步地，所述步骤S34中，字符组数量Gc为：

实际上下文长度L_cr为：

L_cr＝L_r-G_c*K

多层感知机对其输入数据处理得到的每个字符组G_i为：

G_i＝MLP(x[i*K+1：(i+1)*K])，i＜G_c

计算得到的字符组G及上下文C为：

C＝R[G_c*K：L_r]

式中，x为输入数据数据经过嵌入层处理的值，x＝Emb(R)，MLP(·)为多层感知机，为向下取整符号。

本发明的有益效果为：

(1)本发明提出的工艺流程规划方法将企业的工艺制造知识数据化，通过制造特征识别技术、工艺流程/工艺参数推理技术等软件算法结合工艺知识库“帮”设计者设计工艺，推荐最优的工艺流程、工艺参数，避免因为人为因素导致工艺设计质量缺陷，从而提升企业的工艺设计整体水平及效率，为企业的工艺创新提供技术支撑。

(2)基于本发明提供的工艺流程智能规划方法，工艺制造企业可以有效改善个性化定制零部件制造周期长、数据误差大、设计制造效率低的问题；能够为制造商提供不同类型的零部件的详细信息和加工流程，使制造商可以更加准确地估计他们的成本，并更好地满足客户的需求,提高行业竞争力。同时解决了对工人能力的要求，降低了工艺文件质量与设计者水平的相关性，进而保证工艺文件的质量。

(3)在社会价值层面，本发明实现了工艺文件的自动生成，将改变人工编写工艺的传统模式，极大地提高专业人员的工作效率和解放创新能力,为全国制造企业智能制造提供新思路和新范式。

附图说明

图1为本发明提供的基于大模型的工艺流程智能规划方法流程图。

图2为本发明提供的工艺流程生成的数据集构建示意图。

图3为本发明提供的思维链引导扩充数据量示意图。

图4为本发明提供的参数增广扩充数据量示意图。

图5为本发明提供的自监督学习的基本过程示意图。

图6为本发明提供的字符成组技术示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

本发明实施例提供了一种基于大模型的工艺流程智能规划方法，如图1所示，包括以下步骤：

S1、构建表征零部件结构特征与工艺文件映射关系的数据集；

其中，数据集包括自监督预训练数据集和指令微调数据集；

S2、构建面向工艺制造的大规模语言模型，并利用自监督预训练数据集对其进行自监督训练，获得训练好的工业大模型；

S3、利用指令微调数据集对工业大模型生成的工艺参数进行校正，将校正后工艺参数作为工艺流程智能规划结果。

在本发明实施例的步骤S1中，自监督预训练数据集的构建方法为：获取工艺流程相关的公开数据，对其多样化数据进行归一化处理，获得文本表示一致的数据，作为自监督预训练数据集。

具体地，如图2所示，在本实施例中对于自监督预训练数据集中公开数据集的获取，主要通过网络爬虫获取互联网公开数据以及公开的文献资料，然后通过光学字符识别、格式解析等技术进行规划处理，进而将多样化的数据转化为一致的文本表示。

在本发明实施例的步骤S1中，指令微调数据集的构建方法为：获取合作单位的工艺流程数据，采用思维链引导和参数增广的方式扩充数据量，进而构建出指令微调数据集。在图2中，通过物理介质传递内部数据的方式获取合作单位的工艺流程数据，并通过思维链引导和参数增广的方式进行数据量的扩充。

在本实施例中，通过思维链引导扩充数据量的方法具体为：

对获取的工艺流程数据进行处理，获得统一格式的标准数据，对于每条标准数据，通过将output中的工艺步骤添加进input中，建立工艺产品结构特征到工艺文件的映射关系，进而扩充数据量；其中，每条标准数据的字段包括为input和output，input为工艺产品的特征描述，output为生产该工艺产品的工艺步骤描述。

具体地，在本实施例中，在收到原始数据后，根据合作单位数据格式，对数据进行分析和基本处理，得到CSV或JSON格式的标准数据，每条标准数据的字段分别为input和output，其中input字段的内容是一段对于零件类型、材料等特征描述，output为生产该零件具体工艺步骤的顺序描述，形式为step1，step2，step3……stepN，即output＝{step1，step2，step3，…，stepN}。根据该序列化特性，本实施例中选择使用思维链引导技术来进行数据集扩充，可以在处理为JSON格式后，将一些工艺流程步骤从output放入input，得到input₁＝{input，step1}，output₁＝{step2，step3，…，stepN}；input₂＝{input，step1，step2}，output₂＝{step3，…，stepN}...；input_n-1＝{input，step1，…，stepN-1}，output_n-1＝{stepN}来扩充数据集，增强模型对于工艺生成步骤和其中内涵逻辑与规则的理解，从而建立零部件结构特征到工艺文件的映射关系的完整数据集，操作示意图3所示。

在本实施例中，通过参数增广扩充数据量的方法具体为：

对工艺产品生产流程中的特殊参数进行定位，通过对该特殊参数进行修改的方式来扩充数据量。具体地，根据工艺参数具有流程上逻辑相关性的特点，对特殊参数做定位，然后通过翻倍的方式进行数据增广，具体操作如图4所示。

在本发明实施例中，在拥有足够多的样本后，本实施例中先预先训练一个面向工业敏捷制造的大规模语言模型，然后再利用该大规模语言模型进行工艺参数推理和工艺迭代。本实施例中，采用了自监督学习(Self-supervised Learning)进行模型训练，自监督学习操作背后的基本思想是，在提供输入时，隐藏某些部分，使用可见部分来预测隐藏部分，它结合了有监督学习需要监督信号的特点和无监督学习不需要人工标注的特点，使用输入数据作为训练时的监督信号，从而不需要昂贵的人工标注，省时省力，是当前最有前景的训练方式。

本实施例中的自监督训练的基本过程如图5所示，使用大量未标记的语料库作为输入，训练神经网络模型根据语句的可见部分来预测语句的隐藏部分。自我监督学习的概念来源于婴儿的教学方式，婴儿总是通过观察、常识、周围环境和很少的互动来学习，同样的想法通过自监督学习在机器中复制。

在本实施例中通过自回归模式表示训练大规模语言模型时的词语表示，自回归模式的大规模语言模型根据前一个单词预测下一个可能的单词，或者根据后一个单词预测最后一个可能的单词，选择它作为特征提取器，并从前一个词中提取文本表示，因此，它在文本摘要和机器翻译等自然语言生成任务中具有更好的表现。在本实施例中，对于输入训练数据T＝(w₁，w₂，...，w_N)，其输出给定单词的概率P(w₁，w₂，...，w_N)为：

式中，w_i为第i个单词，i＞1，N为输入数据序列长度。

在本实施例中，自回归学习时的指标通过交叉熵损失来量化，其目的是使损失最小化，即损失越小，模型越好，一个良好的模型在训练集上交叉熵损失接近于0，本实施例中的交叉熵损失Loss_CE的表达式为：

式中，t_i为真实标签，n为类别数量，p_i为Softmax概率，其表示为通过Softmax函数为每个输出分类结果赋予对应的概率值，其表达式为：

式中，σ(·)为Softmax函数，x_i和x_j分别为第i类和第j类。

在本发明实施例的步骤S3中，在训练好面向敏捷制造的大语言模型后，我们将基于大模型推理生成的相关工艺参数，进行具体参数的校正，即训练一个大模型，输入是基于特征识别输出的零部件参数，大模型对其中的工艺参数进行修正，进而生成更好的工艺流程。

在本实施例中，由于步骤S1中收集到合作单位的数据具有结构化、准确性高、具有多步骤推理和工艺流程内容长的特点，经处理后可用于模型第二阶段指令微调的训练，工艺参数校正阶段的训练更加注重每条数据的完整性，需要模型每次训练时能够处理完整的工艺流程内容。但是一般的消费级显卡显存有限，并不能一次性处理完整的数据，所以本实施例步骤S3中采用基于字符成组技术进而参数微调，以解决工艺流程数据内容长的问题。

本实施例中字符成组技术如图6所示((a)为整体示意图，(b)为计算细节图)，其核心思想在于压缩较远的数据内容，让模型更关注于临近的上下文，获得更好的推理能力，从压缩得到的重要内容和强相关上下文中生成更相关内容和参数。

基于如图6所示，本实施例的步骤S3中，进行工艺参数校正的方法具体为：

S31、定义字符压缩组的组大小K及长度最小值L_c；

S32、判断工业大模型输入数据R的长度L_r是否满足L_r≤L_c；

若是，则进入步骤S33；

若否，则进入步骤S34；

S33、将输入数据R经过嵌入层处理后直接输出字符组和上下文，作为修正后的工艺参数；

S34、根据定义的字符压缩组计算字符组数量及实际上下文长度，并将其将经过嵌入层及多层感知机处理后，计算得到字符组及上下文，作为修正后的工艺参数。

在本实施例中，在字符组技术方案下，因为我们设置了定长的压缩组大小，所以需要对齐压缩组，那么实际的上下文长度就是可变的。

在本实施例步骤S33中，上下文C＝Emb(R)，上下文的长度L_cr＝L_r，字符组G＝φ；其中，Emb(·)为嵌入层。

在本实施例步骤S34中，字符组数量G_c为：

实际上下文长度L_cr为：

L_cr＝L_r-G_c*K

计算输入经过嵌入层的值得到x＝Emb(R)，在实际的字符组压缩中，使用多层感知机来学习和捕捉每组的关键信息，多层感知机对其输入数据处理得到的每个字符组G_i为：

G_i＝MLP(x[i*K+1：(i+1)*K])，i＜G_c

计算得到的字符组G及上下文C为：

C＝R[G_c*K：L_r]

式中，x为输入数据数据经过嵌入层处理的值，x＝Emb(R)，MLP(·)为多层感知机，为向下取整符号。

在本实施例中，使用字符组技术可以有效提高大模型的窗口大小(contextwindow)，大幅降低大模型在训练和推理时的显存占用，提高大模型的生成效率。例如设定K＝8，L_c＝100时，同样的RTX3090显卡可以处理约11300字长度的工艺流程数据，完全满足工艺流程规划的需要(最长数据为10404字)。

在本发明实施例中，将上述系统模型模型部署的硬件环境为X86/X64平台，常用GNU/Linux系统，需要较大的内存和拥有较大显存的高性能显卡。部署时使用模型编译技术和8-bit量化技术来减少模型在推理时的开销，提高推理速度。

目前因为模型演示页面较为完整，在模型部署时提供完整的前后端，通过iFrame的方式将模型前端集成进其他系统前端，直接让用户与模型进行交互。

利用模型进行工艺自动生成时，模型的输入为上一个阶段获取的工件特征信息，通过路径参数传递的方式获取，使用默认的提示词，该提示词由模型后端提供和处理，输出结果为工艺流程，直接显示在前端。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (9)

1.一种基于大模型的工艺流程智能规划方法，其特征在于，包括以下步骤：

S1、构建表征零部件结构特征与工艺文件映射关系的数据集；

其中，数据集包括自监督预训练数据集和指令微调数据集；

S2、构建面向工艺制造的大规模语言模型，并利用自监督预训练数据集对其进行自监督训练，获得训练好的工业大模型；

S3、利用指令微调数据集对工业大模型生成的工艺参数进行校正，将校正后工艺参数作为工艺流程智能规划结果。

2.根据权利要求1所述的基于大模型的工艺流程智能规划方法，其特征在于，所述步骤S1中，自监督预训练数据集的构建方法为：获取工艺流程相关的公开数据，对其多样化数据进行归一化处理，获得文本表示一致的数据，作为自监督预训练数据集；

指令微调数据集的构建方法为：获取合作单位的工艺流程数据，采用思维链引导和参数增广的方式扩充数据量，进而构建出指令微调数据集。

3.根据权利要求2所述的基于大模型的工艺流程智能规划方法，其特征在于，所述步骤S1中，通过思维链引导扩充数据量的方法具体为：

对获取的工艺流程数据进行处理，获得统一格式的标准数据，对于每条标准数据，通过将output中的工艺步骤添加进input中，建立工艺产品结构特征到工艺文件的映射关系，进而扩充数据量。

其中，每条标准数据的字段包括为input和output，input为工艺产品的特征描述，output为生产该工艺产品的工艺步骤描述；

通过参数增广扩充数据量的方法具体为：

对工艺产品生产流程中的特殊参数进行定位，通过对该特殊参数进行修改的方式来扩充数据量。

4.根据权利要求2所述的基于大模型的工艺流程智能规划方法，其特征在于，所述步骤S2中，通过自回归模式表示训练大规模语言模型时的词语表示，对于输入训练数据T＝(w₁,w₂,…,w_N)，其输出给定单词的概率P(w₁,w₂,…,w_N)为：

式中，w_i为第i个单词，i>1，N为输入数据序列长度。

5.根据权利要求4所述的基于大模型的工艺流程智能规划方法，其特征在于，所述步骤S2中，训练工业大模型时的损失函数为交叉熵损失Loss_CE，其表达式为：

式中，t_i为真实标签，n为类别数量，p_i为Softmax概率，其表示为通过Softmax函数为每个输出分类结果赋予对应的概率值，其表达式为：

式中，σ(·)为Softmax函数，x_i和x_j分别为第i类和第j类。

6.根据权利要求1所述的基于大模型的工艺流程智能规划方法，其特征在于，所述步骤S3中，使用字符成组技术对工艺参数进行校正。

7.根据权利要求6所述的基于大模型的工艺流程智能规划方法，其特征在于，所述步骤S3中，进行工艺参数校正的方法具体为：

S31、定义字符压缩组的组大小K及长度最小值L_c；

S32、判断工业大模型输入数据R的长度L_r是否满足L_r≤L_c；

若是，则进入步骤S33；

若否，则进入步骤S34；

S33、将输入数据R经过嵌入层处理后直接输出字符组和上下文，作为修正后的工艺参数；

S34、根据定义的字符压缩组计算字符组数量及实际上下文长度，并将其将经过嵌入层及多层感知机处理后，计算得到字符组及上下文，作为修正后的工艺参数。

8.根据权利要求7所述的基于大模型的工艺流程智能规划方法，其特征在于，所述步骤S33中，上下文C＝Emb(R)，上下文的长度L_cr＝L_r，字符组G＝φ；其中，Emb(·)为嵌入层。

9.根据权利要求8所述的基于大模型的工艺流程智能规划方法，其特征在于，所述步骤S34中，字符组数量G_c为：

实际上下文长度L_cr为：

L_cr＝L_r-G_c*K

多层感知机对其输入数据处理得到的每个字符组G_i为：

G_i＝MLP(x[i*K+1:(i+1)*K]),i<G_c

计算得到的字符组G及上下文C为：

C＝R[G_c*K:L_r]

式中，x为输入数据数据经过嵌入层处理的值，x＝Emb(R)，MLP(·)为多层感知机，为向下取整符号。