CN116224947A - 可主动融入领域规则知识的深度学习工业控制系统 - Google Patents

Abstract

本发明提出了可主动融入领域规则知识的深度学习工业控制系统，包括：采集模块、预测模块、决策模块和管理模块；所述采集模块，用于采集生产线的实时数据；所述预测模块，利用基于领域规则的推理体系模型和深度学习预测模型，分别对所述实时数据进行推理和预测，获取推理结果和预测结果；所述决策模块，用于根据所述推理结果和预测结果，生成生产线的控制指令。本发明使得非领域专家也可以使用可主动融入解释知识的深度学习工业控制模块进行工业控制领域上的工业模型训练和参数控制等操作；有助于实现基于深度学习的工业控制智能化，实现一般人员参与工业生产的智能化，降低成本提升效率。

Description

可主动融入领域规则知识的深度学习工业控制系统

技术领域

本发明属于自动控制技术领域，尤其涉及可主动融入领域规则知识的深度学习工业控制系统。

背景技术

现有水刺工艺生产线上的工艺流程部分片段如图1所示。水刺布生产线本身具有一定的自动化和信息化水平，产线上的相关检测设备会持续进行质量指标数据的采集、解析和基础分析，产线工人可根据分析结果来决定相关环节生产设备的参数调整策略。

目前，生产线上对于克重的操作都是以人工主观判断为主，当曲线超出设定的阈值时，操作员会到铺网设备的控制台上调整喂棉量。有关克重的调整大约每天会出现十几次到数十次。

与克重指标关联性最高的“梳理成网”和“在线监测”的具体流程包括：一、梳理成网：纤维暂存设备稳定地向梳理成网设备输送纤维，经由梳理成网设备(气压棉箱、梳理机、交叉铺网机、多辊牵伸机等)形成纤网。铺网设备有两套，各自梳理一层纤网，然后上下两层纤网合并起来输送至后面的水刺工艺。喂棉速度参数可以进行人工控制，当增加喂棉速度时，会导致出产的无纺布的克重和厚度增加。二、在线监测：水刺布进入卷绕设备前设有检测设备(克重、水分、厚度、疵点检测)，扫描器单程采样，并以目标值为基准用图形化的方式展示出来。其中，克重是波动比较频繁的指标，比如更换原材料、前方送棉不均匀、水分多寡等等原因都可能导致克重变化。

通过上述的介绍，可以看到对于水刺工艺生产线来说，根据监测数据进行设备参数调整的步骤需要人工干涉完成，根据调研，目前我国大多数水刺法非织造布生产线都是采用类似的半自动化生产。

一般人员如图1所示工人在调整参数过程中会积累相关经验，此经验不能转化为自动控制系统进行调整的知识。导致效率不佳，具有延时性。克重指标的监视和因应调整占了生产过程中大多数的调整工作。人工调整参数的操作比较主观，基本是采用“调一调看一看”的方式。通过看在线扫描得出的曲线，如果“偏高”就“降低一点”喂棉参数，如果“高的厉害”就“多降一些”喂棉参数。无法融合人工经验的情况下，深度模型给出的结果往往与工人经验相左。导致系统调整不稳定。

发明内容

为解决上述技术问题，本发明提出了可主动融入领域规则知识的深度学习工业控制系统，将领域专家的知识主动融入到工业算法模型训练中去，并实现自主的迭代优化训练。使得非领域专家也可以使用其进行工业控制领域上的参数控制模型，实现对工业产险的控制等操作。

为实现上述目的，本发明提供了可主动融入领域规则知识的深度学习工业控制系统，包括：采集模块、预测模块、决策模块和管理模块；

所述采集模块，用于采集生产线的实时数据；

所述预测模块，利用基于领域规则的推理体系模型和深度学习预测模型，分别对所述实时数据进行推理和预测，获取推理结果和预测结果；

所述决策模块，用于根据所述推理结果和预测结果，生成生产线的控制指令。

可选地，所述预测模块包括：训练单元和输出单元；

所述训练单元，用于根据数据集训练所述深度学习预测模型；其中，所述数据集包括：历史积累的生产线的数据；

所述输出单元，利用基于领域规则的推理体系模型和训练后的所述深度学习预测模型，分别对所述实时数据进行预测，获取所述推理结果和预测结果。

可选地，所述深度学习工业控制系统还包括：管理模块；

所述管理模块，用于对所述推理结果和预测结果进行分析，基于分析结果，对所述预测模块进行管理。

可选地，对所述预测模块进行管理包括：

当所述深度学习预测模型的所述预测结果的准确性持续低于预设阈值时，对所述深度学习预测模型进行重新训练；

当所述推理结果和所述预测结果发生差异时，构造新的联合损失函数。

可选地，所述推理体系模型中的领域规则采用正则表达式的方式进行表达，使用规则推理器进行推理；其中，每一个利用基于领域规则的推理体系模型和深度学习预测模型得出的预测结果都通过领域规则库进行推理。

可选地，所述联合损失函数为：

其中，D为字典矩阵，X为稀疏矩阵，Y为专业领域知识原始样本，α代表违背领域规则的预测规则符合度，F为矩阵的范数，x_i(i＝1,2,…,K)为稀疏矩阵X中的行向量，代表字典矩阵的系数，函数表示要最小化查完的字典与原始样本的误差，

是限制条件，表示X要尽可能稀疏。

与现有技术相比，本发明具有如下优点和技术效果：

本发明使得非领域专家也可以使用可主动融入解释知识的深度学习工业控制模块进行工业控制领域上的工业模型训练和参数控制等操作。有助于实现基于深度学习的工业控制智能化，实现一般人员参与工业生产的智能化，降低成本提升效率，实现效益最大化。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为水刺工艺生产线的控制系统示意图；

图2为本发明实施例的可主动融入领域规则知识的深度学习工业控制系统框架示意图；

图3为本发明实施例的模型预测示意图；

图4为本发明实施例的算法更新过程示意图；

图5为本发明实施例的可解释的分析模型的算法结构示意图；

图6为本发明实施例的非线性残差选择网络示意图；

图7为本发明实施例的特征贡献度选择网络结构示意图；

图8为本发明实施例的融合分析模型中的分析方式示意图；

图9为本发明实施例可输出解释的深度学习工业控制系统中的模块结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明提出了可主动融入领域规则知识的深度学习工业控制系统，包括：采集模块、预测模块、决策模块和管理模块；

采集模块，用于采集生产线的实时数据；

预测模块，利用基于领域规则的推理体系模型和深度学习预测模型，分别对实时数据进行推理和预测，获取推理结果和预测结果；

决策模块，用于根据推理结果和预测结果，生成生产线的控制指令。

进一步地，预测模块包括：训练单元和输出单元；

训练单元，用于根据数据集训练深度学习预测模型；其中，数据集包括：历史积累的生产线的数据；

输出单元，利用基于领域规则的推理体系模型和训练后的深度学习预测模型，分别对实时数据进行预测，获取推理结果和预测结果。

进一步地，深度学习工业控制系统还包括：管理模块；

管理模块，用于对推理结果和预测结果进行分析，基于分析结果，对预测模块进行管理。

进一步地，对预测模块进行管理包括：

当深度学习预测模型的预测结果的准确性持续低于预设阈值时，对深度学习预测模型进行重新训练；

当推理结果和预测结果发生差异时，构造新的联合损失函数。

进一步地，推理体系模型中的领域规则(特定工业场景的机理合、经验规则，如质量控制的数据边界等)采用正则表达式的方式进行表达，使用规则推理器进行推理；其中，每一个预测结果都通过领域规则库进行推理。

进一步地，深度学习预测模型包括：分析子模型和决策子模型；

分析子模型，用于对实时数据进行分析，获取初始预测结果和特征权重；

决策子模型，用于根据初始预测结果和特征权重，输出预测结果。

进一步地，分析子模型包括：依次连接的特征贡献选择网络模块、多头不带值矩阵转换的可解释的注意力机制模块和残差选择网络模块；

特征贡献选择网络模块包括：若干非线性残差选择网络；

特征贡献选择网络模块中，特征维度的每一维特征都会输入到一个不一样的非线性残差选择网络当中，其中网络权重则由初始权重输入到一个新的非线性残差选择网络中去，再由softmax网络计算得到，最终将计算得到的重要性程度权重与转换后的每一维特征加权相乘相加则得到结果。

注意力机制模块，采用改进的基于Transformer中的多头注意力机制；

残差选择网络模块中，输入Input首先连接到一个深度前馈神经网络当中，后经非线性激活函数进行激活获得非线性的转换；然后进入同样一个深度前馈神经网络，后由门控机制来控制当前非线性关系的加权累加，与未经非线性关系转换的简单线性输入进行加权累加。

决策子模型输出预测结果包括：

基于领域知识库对特征权重进行重合度分析，并基于重合度分析结果对初始预测结果的置信度进行评估，从而生成预测结果的可信度。

领域知识库的表现形式包括：目标、属性、取值和相关性；其中，目标是预测的目标标签，属性代表属性为数据特征，取值为属性的取值，相关性为领域专家给出了属性取值和分析目标之间的关联性。

实施例

本实施例的技术方案为生产线控制系统开发人员而设计，其可以将领域专家的知识主动融入到工业算法模型训练中去，并实现自主的迭代优化训练。使得非领域专家也可以使用其进行工业控制领域上的参数控制模型，实现对工业产险的控制等操作。

相关的模块架构如图2所示；该模块面向生产线实现了融合领域知识的深度学习控制模型，并实现了模型的自动训练管理。模块基于历史积累的数据集训练深度学习预测模型。针对MES等生产线实时检测系统采集的数据，提交给基于领域规则的推理体系和预测模型分别进行预测，融合决策模型基于两个决策结果生成产线的控制指令。两个模型的预测结果同时提交给训练管理模块，该模块对模型的预测效果进行实时分析，如果模型预测准确性持续低于相关阈值，将启动模型的重新训练。领域决策模型推理结果和预测模型发生差异时，将相关推理公式传入联合损失函数构造模块，构造新的损失函数。

领域规则采用正则表达式的方式进行表达，使用规则推理器进行推理。每一个预测结果都通过领域规则库进行推理，如果模型预测结果和推理结果不符，则送入联合损失函数模块。

模块中的预测模型架构如图3所示；

本实施例为可主动融入解释知识的深度学习工业控制模块，本实施例在可输出解释的深度学习工业控制模块(工业算法模型)中模型的基础上，将知识主动融入到模型训练和参数调整当中去。

其中知识可以根据不同工业控制领域进行自定义，知识标签数据被设计为one-hot的形式，方便后续计算联合损失函数。本实施例未指定自定义知识形式，这表明本发明可融入各种工业控制领域的知识。同时本实施例未指定联合损失函数的形式，表明本实施例可以根据不同工业控制领域的适用性来选择合适的损失函数。

发明在计算好联合损失函数后，可用训练深度学习模型的方式如随机梯度下降对模型进行训练。训练后，工业算法模型中的模型即在训练过程中自动的受知识约束与影响了。相比之下，工业算法模型中可解释性的“自由性”更适用于领域知识专家，本实施例中优于可解释性的“约束性”，虽然使得其相比工业算法模型对于领域专家来说少了“人为可解释性”，但本实施例能够适用于非领域知识专家来使用，应用的适用面会更广，效率会更高。

梯度下降算法为:

重复执行以下语句

{

}

采用字典学习(Dictionary Learning)提取知识特征，字典学习是一种基于稀疏表示的机器学习方法，能够有效的提取输入数据的特征，表示能力很强。专业领域知识原始样本，用矩阵Y表示；字典矩阵，用D表示，“字典”中原子用列向量dk表示；稀疏矩阵用X；矩阵的乘法即DX。稀疏模型将大量的冗余变量去除，只保留与相应变量最相关的解释变量，简化了模型的同时却保留了数据集中最重要的信息，有效地解决了高维数据集建模中的诸多问题。联合损失函数的形式如下：

其中α代表违背领域规则的预测规则符合度，D为字典矩阵，X为稀疏矩阵，Y为专业领域知识原始样本，F为矩阵的范数，x_i(i＝1,2,…,K)为稀疏矩阵X中的行向量，代表字典矩阵的系数。

如图4所示；算法更新过程(即对深度学习预测模型进行重新训练)为定义知识标签，计算联合损失函数后，基于深度学习算法框架输入标注好的训练数据，输出算法模型；训练出模型后，将其发送至边缘端的控制设备上进行推断指导工艺参数调整。融入解释知识的深度学习算法预训练过程结束。此时，训练侧和推断侧具有相同的模型，测试迭代过程开始。自定义知识标签测试数据和与训练模型推断的结果，逐条发送到边缘端设备循环进行模拟，边缘端在线检查产生的检测和诊断数据，不符合专家知识预判的条件的判定该数据为异常；如果该数据符合条件，那么将其发送至训练侧进行标注迭代。训练测此时有模型更新训练的代码接收该数据，此段代码输入上次更新的模型和新接收到的符合条件的测试数据，输出新的模型。当训练模型更新后会将最新版本发送到边缘端，替换边缘端的模型进行推断，根据增加的不同的解释知识进行算法更新。

在本实施例中，深度学习预测模型(即可输出解释的深度学习工业控制系统)的具体结构如图9所示，具体包括：

1.可解释的分析模型(分析子模型)

以注意力机制为基础，设计多头不带值矩阵转换的可解释的注意力机制。并设计特征贡献选择网络，从而解决多头注意力其注意力值只能具体到时间戳维度而不能具体到特征维度的问题。

此外，本实施例设计线性/非线性残差选择网络，可以根据需要选择对特征的简单线性关系、复杂非线性关系进行按需加权选择。既能保证预测的准确性，又能保证可解释性的准确性。

可解释的分析模型的算法结构如图5所示；

下面对模型中的各结构设计做出详细说明:

可解释的不带值矩阵转换的多头注意力机制

本机制基于Transformer中的多头注意力机制，并做出改进。原有多头注意力机制之所以设置为“多头”是为了增大注意力机制的表示空间，从而增强其学习能力。但也因此丢失了一定程度的可解释性的准确性。本说明书中的发明并未因此放弃“多头”设计，而是对此进行保留，并对值矩阵的多头转换进行改进，设置多头注意力共享单头值矩阵转换的情形，达到强学习能力和准确可解释性的兼得。具体地，原有的多头注意力机制具体如公式1、2、3所示。

Attention(Q，K，V)＝A(Q，K)V

公式1

改进后的可解释的不带值矩阵转换的多头注意力机制具体如公式4所示。

其中，Q为Query，K为Key，V为Value，Q、K、V为三元组，

为输出向量，W_H为H的权重，

为Attention，W_V为V的加权和，H为权重，/>

为Q对应的输出向量，/>

为K对应的输出向量。

非线性残差选择网络

本实施例中的非线性残差选择网络如图6所示，输入Input首先连接到一个深度前馈神经网络当中，后经非线性激活函数进行激活得到非线性的转换。然后进入同样一个深度前馈神经网络，后由门控机制来控制当前非线性关系的加权累加，与未经非线性关系转换的简单线性输入进行加权累加。使得网络可以根据自己的需要来选择复杂关系或简单关系。其中该网络中的非线性激活函数可以根据需要选择各种非线性激活函数，以更好地适应不同领域的工业控制系统中。在残差网络结构中，输入数据后x，通过残差项F(x)，学习到的特征为x+F(x)。

特征贡献度选择网络

特征贡献度选择网络结构如图7所示。在该网络中，特征维度的每一维特征都会输入到一个不一样的非线性残差选择网络当中。其重要性程度的权重(权重是神经网络的基本部分)则由整体输入x(指初始权重，神经网络训练的过程就是对网络权重不断学习更新的过程)输入到一个新的非线性残差选择网络中去，再由softmax网络计算得到，最终将计算得到的重要性程度权重与转换后的每一维特征加权相乘相加则得到结果。其中计算得到的w^t则为各维度的重要性程度表示。

2.融合分析模型(决策子模型)

融合分析模型的思路如下：

如图8所示，本实施例基于领域知识库对特征权重进行重合度分析，并基于重合度分析对预测的置信度进行评估，从而生成预测结果的可信度。

领域知识库的表现形式是(目标；属性；取值；相关性)。目标是预测的目标标签，属性代表属性为数据特征，取值为属性的取值或取值区间。相关性为领域专家给出了属性取值和分析目标之间的关联性，关联性取值越大代表属性取值具有更强的推理逻辑性，如果专家没有给出关联性，可以用数据的熵代替。

重合度分析将根据可解释的分析模型产生的特征权重，和领域知识的权重分布比进行比较，重合度值的计算公式为：

其中a_i代表特征权重中的属性的权重，b_i代表知识库汇中的属性的权重。

置信度分析部分根据Q值确定预测结果的可信度，从而决定工艺参数调控的规模。

本实施例具有如下技术效果：

因流程制造业的工业过程具有实时变化的性质，随机性考虑不足且深度学习算法模型的不可解释性影响了作为领域专家的非算法工程师参与算法训练改进，导致在数据积累算法迭代过程，算法模型控制精度提升缓慢，实际应用效果不佳。传统单纯要提前定义一个损失函数，来判断这个算法是否是最优的，再不断的优化求梯度下降，使得损失函数最小的方法，只是一个单纯机器学习算法意义上的最优。在实际指导工业生产的过程中此类训练好的“最优”算法控制模型往往不能表达实际的复杂生产过程，导致大量误报，必须不断将各种工业领域知识经验融合并定义在“联合损失函数”中训练更新现有算法模型。使得非领域专家也可以使用可主动融入解释知识的深度学习工业控制模块进行工业控制领域上的工业模型训练和参数控制等操作。有助于实现基于深度学习的工业控制智能化，实现一般人员参与工业生产的智能化，降低成本提升效率，实现效益最大化。

本发明为缺乏领域知识的一般人员而设计，其可以将领域专家的知识进行自定义表达，进而将领域专家的知识主动融入到模型训练中去。使得非领域专家也可以使用其进行工业控制领域上的参数控制等操作。该发明在可输出解释的深度学习工业控制系统中模型的基础上，将知识主动融入到模型训练当中去。模型即在训练过程中自动的受知识约束与影响了。相比之下，可输出解释的深度学习工业控制系统中可解释性的“自由性”更适用于领域知识专家，本发明中优于可解释性的“约束性”，虽然使得其相比可输出解释的深度学习工业控制系统对于领域专家来说少了“人为可解释性”，但本发明能够适用于非领域知识专家来使用，应用的适用面会更广，效率会更高。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.可主动融入领域规则知识的深度学习工业控制系统，其特征在于，包括：采集模块、预测模块、决策模块和管理模块；

所述采集模块，用于采集生产线的实时数据；

所述预测模块，利用基于领域规则的推理体系模型和深度学习预测模型，分别对所述实时数据进行推理和预测，获取推理结果和预测结果；

所述决策模块，用于根据所述推理结果和预测结果，生成生产线的控制指令。

2.根据权利要求1所述的可主动融入领域规则知识的深度学习工业控制系统，其特征在于，所述预测模块包括：训练单元和输出单元；

所述训练单元，用于根据数据集训练所述深度学习预测模型；其中，所述数据集包括：历史积累的生产线的数据；

所述输出单元，利用基于领域规则的推理体系模型和训练后的所述深度学习预测模型，分别对所述实时数据进行预测，获取所述推理结果和预测结果。

3.根据权利要求1所述的可主动融入领域规则知识的深度学习工业控制系统，其特征在于，所述深度学习工业控制系统还包括：管理模块；

所述管理模块，用于对所述推理结果和预测结果进行分析，基于分析结果，对所述预测模块进行管理。

4.根据权利要求3所述的可主动融入领域规则知识的深度学习工业控制系统，其特征在于，对所述预测模块进行管理包括：

当所述深度学习预测模型的所述预测结果的准确性持续低于预设阈值时，对所述深度学习预测模型进行重新训练；

当所述推理结果和所述预测结果发生差异时，构造新的联合损失函数。

5.根据权利要求1所述的可主动融入领域规则知识的深度学习工业控制系统，其特征在于，所述推理体系模型中的领域规则采用正则表达式的方式进行表达，使用规则推理器进行推理；其中，每一个利用基于领域规则的推理体系模型和深度学习预测模型得出的预测结果都通过领域规则库进行推理。

6.根据权利要求4所述的可主动融入领域规则知识的深度学习工业控制系统，其特征在于，所述联合损失函数为：

其中，D为字典矩阵，X为稀疏矩阵，Y为专业领域知识原始样本，α代表违背领域规则的预测规则符合度，F为矩阵的范数，x_i(i＝1,2,…,K)为稀疏矩阵X中的行向量，代表字典矩阵的系数，函数表示要最小化查完的字典与原始样本的误差，

是限制条件，表示X要尽可能稀疏。/>

Images