CN116107279A - 基于注意力深度神经网络的流程工业能耗多目标优化方法 - Google Patents

基于注意力深度神经网络的流程工业能耗多目标优化方法 Download PDF

Info

Publication number
CN116107279A
CN116107279A CN202310137422.2A CN202310137422A CN116107279A CN 116107279 A CN116107279 A CN 116107279A CN 202310137422 A CN202310137422 A CN 202310137422A CN 116107279 A CN116107279 A CN 116107279A
Authority
CN
China
Prior art keywords
energy consumption
neural network
attention
model
optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310137422.2A
Other languages
English (en)
Inventor
李晓洁
谢贻富
高学贵
沈亚
邱峰
刘胜军
范武松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei City Cloud Data Center Co ltd
Original Assignee
Hefei City Cloud Data Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei City Cloud Data Center Co ltd filed Critical Hefei City Cloud Data Center Co ltd
Priority to CN202310137422.2A priority Critical patent/CN116107279A/zh
Publication of CN116107279A publication Critical patent/CN116107279A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Physiology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明涉及一种基于注意力深度神经网络的流程工业能耗多目标优化方法，包括：获得流程工业数据集，构建基于注意力深度神经网络的预测模型，使用流程工业数据集进行训练，得到电力消耗模型E、水能消耗模型W、燃气消耗模型G和产品质量模型Q，将电力消耗模型E、水能消耗模型W和燃气消耗模型G线性组合得到能耗预测模型EC；采用多目标优化算法对能耗预测模型EC和产品质量模型Q进行优化，得到优化结果。本发明利用多目标优化算法对能耗组合及能耗指标进行优化，在不降低质量的同时实现降低企业的综合能耗成本；多目标优化能通过综合寻优的方式缓解目标函数之间的冲突，得出更多可选方案，根据决策得到的均衡解反映用户需求。

Description

基于注意力深度神经网络的流程工业能耗多目标优化方法
技术领域
本发明涉及流程工业生产能耗优化技术领域，尤其是一种基于注意力深度神经网络的流程工业能耗多目标优化方法。
背景技术
流程工业的生产过程有着不中断、连续性的典型特征，又被称之为连续型工业，流程工业的生产过程可视为一个多参量的函数。自变量是原材料、能源等生产要素，因变量是产品质量等输出结果。流程工业的代表行业有石油、化工、焦化、钢铁、水泥、玻璃等行业。中国在这些领域的年产值均占有近似全球一半的比重，其中能源就是主要的工业生产要素，是流程工业企业的主要生产成本项。故而研究工业生产过程中能源的消耗预测、能耗的优化问题非常重要，不仅可以帮助企业降本增效，也可以优化全社会的能源要素配置。
工业的生产线冗长、生产过程是个复杂的系统工程。现有的能耗预测工作，其训练模型前的特征选择工作往往依赖于生产专家的人工经验，无法做到自适应选择。此外，特征向量的选择往往影响着模型效果的天花板，不同专家认知下的特征向量的选择结果会出现不同，故而造成模型在行业内的泛化性差，影响研究成果的推广与落地。
同时，在实际的工业生产场景下，某一个工艺段会存在使用多种能源的情况，例如焦化生产过程就会同时使用水、电、燃气。现有的节能降耗研究工作大多着眼于单品种的能耗优化问题，然而企业的能耗优化问题是着眼于综合能耗生产要素基础之上的一个组合优化问题。
发明内容
为解决流程工业能耗预测中特征工程的复杂性问题以及能耗优化的单目标问题，本发明的目的在于提供一种利用多目标优化算法对能耗组合及能耗指标进行优化，在不降低质量的同时实现降低企业的综合能耗成本的基于注意力深度神经网络的流程工业能耗多目标优化方法。
为实现上述目的，本发明采用了以下技术方案：一种基于注意力深度神经网络的流程工业能耗多目标优化方法，该方法包括下列顺序的步骤：
(1)获得流程工业数据集，构建基于注意力深度神经网络的预测模型，使用流程工业数据集对基于注意力深度神经网络的预测模型进行训练，得到四个模型分别为：电力消耗模型E、水能消耗模型W、燃气消耗模型G和产品质量模型Q，将电力消耗模型E、水能消耗模型W和燃气消耗模型G线性组合得到能耗预测模型EC；
(2)采用多目标优化算法对能耗预测模型EC和产品质量模型Q进行优化，得到优化结果。
所述步骤(1)具体包括以下步骤：
(1a)采集流程工业数据，进行数据清洗，得到流程工业数据集，将流程工业数据集按比例划分为训练集和测试集；
(1b)进行数据标准化处理；
(1c)构建基于注意力深度神经网络的预测模型，将训练集输入基于注意力深度神经网络的预测模型进行训练，得到能耗预测模型EC和产品质量模型Q；
(1d)将测试集输入能耗预测模型EC和产品质量模型Q，计算测试集上预测值和实测值的误差，达到误差允许范围则视为训练结束，否则返回步骤(1c)调整网络结构重新训练。
所述步骤(2)具体包括以下步骤：
(2a)确定能耗优化过程中的决策变量个数与每个决策变量的范围；
(2b)确定能耗优化过程中的两个目标函数即能耗预测模型EC和产品质量模型Q；
(2c)使用多目标优化算法即NSGA-Ⅱ算法对这两个目标函数进行优化；
(2d)当NSGA-Ⅱ算法满足最终迭代次数时输出优化结果；
(2e)将得到的优化结果进行仿真验证。
所述步骤(1b)具体是指：对流程工业数据集的数据进行标准化处理，使得X～N(0,1)，即均值为0，方差为1的标准正态分布；标准正态化针对所有样本的任一维度数据xt进行，计算公式如下：
Figure BDA0004086401350000031
其中，
Figure BDA0004086401350000032
为第t维数据的均值，σt为第t维数据的标准差，t∈[1,n]。
所述步骤(1c)具体包括以下步骤：
(1c1)确定注意力深度神经网络ADNN的网络结构，注意力深度神经网络ADNN分为注意力部分和深度神经网络DNN部分，标准化输入向量X＝(x′1，x′2，...，x′n)T；
根据输入向量X，计算注意力向量V＝σ(g(X))；
其中，g为一维卷积，卷积核长度k根据输入维度自适应调整，k的计算公式为：
Figure BDA0004086401350000033
其中，s和b均是量纲为1的参数，s＝2，b＝1，n为输入向量X的维度，通过一维卷积得到中间向量Z＝(z1，z2，…，zn)T，再通过激活函数Softmax将其值域缩放至(0，1)，转化为注意力向量V，其中，σ为激活函数Softmax，计算公式如下：
Figure BDA0004086401350000034
最后将注意力向量V和输入向量X进行哈达玛积运算，得到重构后的输入向量
Figure BDA0004086401350000035
深度神经网络DNN的层数根据整体样本的大小和特征维度来确定，选取3至5层；
深度神经网络DNN各层输出公式如下：
Figure BDA0004086401350000036
其中，深度神经网络DNN部分中选择Relu函数作为激活函数，其表达式为f(x)＝max(0，x)；X(l-1)表示l-1层的输入，W(l-1)表示l-1层的权重，b(l-1)表示l-1层的偏置；
Figure BDA0004086401350000041
表示l层的输出预测值；
其次，注意力深度神经网络ADNN的初始化阶段随机分配算法的权值与偏置，同时设置最大迭代次数epoch和学习率η；
(1c2)从训练集中选择小批量m个样本输入至注意力深度神经网络ADNN的输入层，然后通过注意力深度神经网络ADNN前向计算得到m个样本的电力消耗预测值Ehat；根据Ehat与实测值Etr计算损失值，对于回归类型连续值，损失函数选用均方误差，公式如下：
Figure BDA0004086401350000042
(1c3)计算梯度并进行反向传递来调整权值和偏置；
整个注意力深度神经网络ADNN中，权值和偏置是网络学习的核心，采用梯度下降法来更新，其公式如下：
Figure BDA0004086401350000043
Figure BDA0004086401350000044
其中，W′为调整后的权值，b′为调整后的偏置，η为学习率；
Figure BDA0004086401350000045
表示权值的梯度；
Figure BDA0004086401350000046
表示偏置的梯度；
(1c4)从训练集中选取新的未被训练的m个样本返回步骤(1c2)，直至训练集中所有样本训练完毕；
(1c5)记录整体样本损失，若全局损失不再下降或达到最大学习次数即完成训练；判断能耗预测模型EC的预测要求是否达到了指定的预测误差要求，当均方损失不再下降或者达到迭代轮次上限，结束训练；
(1c6)根据余弦退火方法动态更新学习率，并返回步骤(1c2)，开始下一轮训练，余弦退火公式如下：
Figure BDA0004086401350000051
其中，ηt为调整过后的学习率，ηmax，ηmin分别为最大和最小学习率；Tcur表示当前执行了多少轮次，Ti为总的训练轮次。
所述步骤(1d)具体包括以下步骤：
(1d1)输入验证集数据，然后通过基于注意力深度神经网络的能耗预测模型前向计算出电力消耗预测值Ehat；
(1d2)计算电力消耗预测值Ehat与实测值Etr的损失，达到误差允许范围则视为结束，否则返回步骤(1c)调整网络结构重新训练。
所述步骤(2a)具体是指：通过分析流程工业数据集的历史生产数据，提取出生产过程中的决策变量个数N和每个决策变量的取值范围[1b，ub]，其中，1b是一组N维的向量，表示N个决策变量的取值下界；ub是一个N维向量，表示N个决策变量的取值上界；通过确定1b和ub确定多目标优化过程中问题搜索空间的范围；在流程工业中把注意力深度神经网络ADNN输入的特征数作为决策变量的个数，1b和ub则是所有特征的最大值和最小值所形成的两个数组。
所述步骤(2b)具体是指：能耗预测模型EC即能耗优化目标函数的公式为：
EC＝α×E+β×W+γ×G
其中，α，β和γ的和为1，如果α的值越大，则能耗优化过程中更看重对电力能耗的优化，同理β和γ；产品质量目标函数就是产品质量模型Q。
所述步骤(2c)具体是指：设置NSGA-II算法的种群规模P为30，迭代次数T为100；并确定问题的决策变量N，每个决策变量的取值范围[lb，ub]，能耗优化目标函数和产品质量目标函数输入NSGA-II算法；在多目标优化过程中，NSGA-II算法找到一组解集使得能耗变低即让总能耗目标函数的值变低，并提高产品的质量即使产品质量目标函数的值变高。
所述步骤(2d)具体是指：当NSGA-Ⅱ算法满足达到最大迭代次数后输出多目标优化的最优解集，最优解集的个数与种群规模一致，设置种群规模为30，则最后输出一个包含30个解的优化结果。
由上述技术方案可知，本发明的有益效果为：第一，本发明利用注意力机制实现自适应特征选择，一方面可以帮助企业克服因业务专家人为定义特征变量带来的主观性问题，另一方面可以有自适应机制，可应对流程工业能耗预测中特征工程的复杂性问题，对提高模型的预测准确性有帮助；第二，本发明利用多目标优化算法对能耗组合及能耗指标进行优化，在不降低质量的同时实现降低企业的综合能耗成本；与单目标方法相比，多目标优化能通过综合寻优的方式缓解目标函数之间的冲突，得出更多可选方案，根据决策得到的均衡解反映用户需求，因此多目标优化相较单目标优化更具有优势。
附图说明
图1为本发明中能耗预测模型的示意图；
图2为本发明的能耗预测方法流程图；
图3为基于NSGA-Ⅱ的多目标能耗优化流程图。
具体实施方式
一种基于注意力深度神经网络的流程工业能耗多目标优化方法，该方法包括下列顺序的步骤：
(1)获得流程工业数据集，构建基于注意力深度神经网络的预测模型，使用流程工业数据集对基于注意力深度神经网络的预测模型进行训练，得到四个模型分别为：电力消耗模型E、水能消耗模型W、燃气消耗模型G和产品质量模型Q，将电力消耗模型E、水能消耗模型W和燃气消耗模型G线性组合得到能耗预测模型EC；
(2)采用多目标优化算法对能耗预测模型EC和产品质量模型Q进行优化，得到优化结果。
如图2所示，所述步骤(1)具体包括以下步骤：
(1a)采集流程工业数据，进行数据清洗，得到流程工业数据集，将流程工业数据集按比例划分为训练集和测试集；
(1b)进行数据标准化处理；
(1c)构建基于注意力深度神经网络的预测模型，将训练集输入基于注意力深度神经网络的预测模型进行训练，得到能耗预测模型EC和产品质量模型Q；
(1d)将测试集输入能耗预测模型EC和产品质量模型Q，计算测试集上预测值和实测值的误差，达到误差允许范围则视为训练结束，否则返回步骤(1c)调整网络结构重新训练。
如图3所示，所述步骤(2)具体包括以下步骤：
(2a)确定能耗优化过程中的决策变量个数与每个决策变量的范围；
(2b)确定能耗优化过程中的两个目标函数即能耗预测模型EC和产品质量模型Q；
(2c)使用多目标优化算法即NSGA-II算法对这两个目标函数进行优化；
(2d)当NSGA-II算法满足最终迭代次数时输出优化结果；
(2e)将得到的优化结果进行仿真验证，将多个优化结果在仿真平台上进行验证去选择出合适的一个或几个解，将验证的结果提供给工厂进行生产部署，去降低能源消耗。
所述步骤(1b)具体是指：对流程工业数据集的数据进行标准化处理，使得X～N(0，1)，即均值为0，方差为1的标准正态分布；标准正态化针对所有样本的任一维度数据xt进行，计算公式如下：
Figure BDA0004086401350000071
其中，
Figure BDA0004086401350000072
为第t维数据的均值，σt为第t维数据的标准差，t∈[1，n]。
如图1所示，所述步骤(1c)具体包括以下步骤：
(1c1)确定注意力深度神经网络ADNN的网络结构，注意力深度神经网络ADNN分为注意力部分和深度神经网络DNN部分，标准化输入向量X＝(x′1，x′2，...，x′n)T
根据输入向量X，计算注意力向量V＝σ(g(X))；
其中，g为一维卷积，卷积核长度k根据输入维度自适应调整，k的计算公式为：
Figure BDA0004086401350000081
其中，s和b均是量纲为1的参数，s＝2，b＝1，n为输入向量X的维度，通过一维卷积得到中间向量Z＝(z1，z2，…，zn)T，再通过激活函数Softmax将其值域缩放至(0，1)，转化为注意力向量V，其中，σ为激活函数Softmax，计算公式如下：
Figure BDA0004086401350000082
最后将注意力向量V和输入向量X进行哈达玛积运算，得到重构后的输入向量
Figure BDA0004086401350000083
深度神经网络DNN的层数根据整体样本的大小和特征维度来确定，选取3至5层；
深度神经网络DNN各层输出公式如下：
Figure BDA0004086401350000084
其中，深度神经网络DNN部分中选择Relu函数作为激活函数，其表达式为f(x)＝max(0，x)；X(l-1)表示l-1层的输入，W(l-1)表示l-1层的权重，b(l-1)表示l-1层的偏置；
Figure BDA0004086401350000085
表示l层的输出预测值；
其次，注意力深度神经网络ADNN的初始化阶段随机分配算法的权值与偏置，同时设置最大迭代次数epoch和学习率η；
(1c2)从训练集中选择小批量m个样本输入至注意力深度神经网络ADNN的输入层，然后通过注意力深度神经网络ADNN前向计算得到m个样本的电力消耗预测值Ehat；根据Ehat与实测值Etr计算损失值，对于回归类型连续值，损失函数选用均方误差，公式如下：
Figure BDA0004086401350000091
(1c3)计算梯度并进行反向传递来调整权值和偏置；
整个注意力深度神经网络ADNN中，权值和偏置是网络学习的核心，采用梯度下降法来更新，其公式如下：
Figure BDA0004086401350000092
Figure BDA0004086401350000093
其中，W′为调整后的权值，b′为调整后的偏置，η为学习率；
Figure BDA0004086401350000094
表示权值的梯度；
Figure BDA0004086401350000095
表示偏置的梯度；
(1c4)从训练集中选取新的未被训练的m个样本返回步骤(1c2)，直至训练集中所有样本训练完毕；
(1c5)记录整体样本损失，若全局损失不再下降或达到最大学习次数即完成训练；判断能耗预测模型EC的预测要求是否达到了指定的预测误差要求，当均方损失不再下降或者达到迭代轮次上限，结束训练；
(1c6)根据余弦退火方法动态更新学习率，并返回步骤(1c2)，开始下一轮训练，余弦退火公式如下：
Figure BDA0004086401350000096
其中，ηt为调整过后的学习率，ηmax，ηmin分别为最大和最小学习率；Tcur表示当前执行了多少轮次，Ti为总的训练轮次。
所述步骤(1d)具体包括以下步骤：
(1d1)输入验证集数据，然后通过基于注意力深度神经网络的能耗预测模型前向计算出电力消耗预测值Ehat；
(1d2)计算电力消耗预测值Ehat与实测值Etr的损失，达到误差允许范围则视为结束，否则返回步骤(1c)调整网络结构重新训练。
所述步骤(2a)具体是指：通过分析流程工业数据集的历史生产数据，提取出生产过程中的决策变量个数N和每个决策变量的取值范围[1b，ub]，其中，lb是一组N维的向量，表示N个决策变量的取值下界；ub是一个N维向量，表示N个决策变量的取值上界；通过确定lb和ub确定多目标优化过程中问题搜索空间的范围；在流程工业中把注意力深度神经网络ADNN输入的特征数作为决策变量的个数，1b和ub则是所有特征的最大值和最小值所形成的两个数组。
所述步骤(2b)具体是指：能耗预测模型EC即能耗优化目标函数的公式为：
EC＝α×E+β×W+γ×G
其中，α，β和γ的和为1，如果α的值越大，则能耗优化过程中更看重对电力能耗的优化，同理β和γ；产品质量目标函数就是产品质量模型Q。
所述步骤(2c)具体是指：设置NSGA-II算法的种群规模P为30，迭代次数T为100；并确定问题的决策变量N，每个决策变量的取值范围[1b，ub]，能耗优化目标函数和产品质量目标函数输入NSGA-II算法；在多目标优化过程中，NSGA-II算法找到一组解集使得能耗变低即让总能耗目标函数的值变低，并提高产品的质量即使产品质量目标函数的值变高。
所述步骤(2d)具体是指：当NSGA-II算法满足达到最大迭代次数后输出多目标优化的最优解集，最优解集的个数与种群规模一致，设置种群规模为30，则最后输出一个包含30个解的优化结果。
注意力深度神经网络(Attention Deep Neural Network，ADNN)是一种将注意力机制融入深度神经网络的架构，通过注意力机制自适应的调整输入向量权重，降低特征工程中人工选择特征带来的主观性和误差。之后将重构后的输入向量输入深度神经网络得到预测结果。
整个ADNN网络的步骤为：输入层接收输入向量(x1，x2，x3，…，xn)，记为X，通过一维卷积和softmax激活函数得到相同长度的注意力向量V，X和V进行哈达玛积(相应位置点乘)得到重构后的特征
Figure BDA0004086401350000111
将重构后的特征
Figure BDA0004086401350000112
经过多层隐藏层前向计算，输出最终的结果。
在整个过程中，一维卷积学习的是卷积核的共享权值，多层隐藏层学习的是权重和偏置。整个ADNN网络通过反向传播调整权值和偏置，它实现了自适应的特征选择功能。
流程工业实际生产过程中的数据不同于公开数据集，往往伴随着大量脏数据和缺省值，因此要对其进行数据清洗工作。其中，脏数据中重复和明显错误的两类数据，可以经过人工选择直接删除，因为在构建流程工业数据集时会采用大量历史运行数据，删除其中少量的重复和错误数据并不会影响数据集的丰富程度，同时还能提升数据集的质量。
而对于缺省值的处理，可以选择常用的中值填充、均值填充和按比例填充等方法，这个可以分析数据集的特性来进行选择。
此外，本模型的输入向量应规范为连续数值型，对于数据中的哑变量，如：机器运行时间为白天或夜晚，应采取独热编码(一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效)的方式转化为0,1数值型，将离散特征的取值扩展到欧式空间，原始数据的维度也会相应的扩增。
综上所述，本发明利用注意力机制实现自适应特征选择，一方面可以帮助企业克服因业务专家人为定义特征变量带来的主观性问题，另一方面可以有自适应机制，可应对流程工业能耗预测中特征工程的复杂性问题，对提高模型的预测准确性有帮助；本发明利用多目标优化算法对能耗组合及能耗指标进行优化，在不降低质量的同时实现降低企业的综合能耗成本；与单目标方法相比，多目标优化能通过综合寻优的方式缓解目标函数之间的冲突，得出更多可选方案，根据决策得到的均衡解反映用户需求，因此多目标优化相较单目标优化更具有优势。

Claims (10)

1.一种基于注意力深度神经网络的流程工业能耗多目标优化方法，其特征在于：该方法包括下列顺序的步骤：
(1)获得流程工业数据集，构建基于注意力深度神经网络的预测模型，使用流程工业数据集对基于注意力深度神经网络的预测模型进行训练，得到四个模型分别为：电力消耗模型E、水能消耗模型W、燃气消耗模型G和产品质量模型Q，将电力消耗模型E、水能消耗模型W和燃气消耗模型G线性组合得到能耗预测模型EC；
(2)采用多目标优化算法对能耗预测模型EC和产品质量模型Q进行优化，得到优化结果。
2.根据权利要求1所述的基于注意力深度神经网络的流程工业能耗多目标优化方法，其特征在于：所述步骤(1)具体包括以下步骤：
(1a)采集流程工业数据，进行数据清洗，得到流程工业数据集，将流程工业数据集按比例划分为训练集和测试集；
(1b)进行数据标准化处理；
(1c)构建基于注意力深度神经网络的预测模型，将训练集输入基于注意力深度神经网络的预测模型进行训练，得到能耗预测模型EC和产品质量模型Q；
(1d)将测试集输入能耗预测模型EC和产品质量模型Q，计算测试集上预测值和实测值的误差，达到误差允许范围则视为训练结束，否则返回步骤(1c)调整网络结构重新训练。
3.根据权利要求1所述的基于注意力深度神经网络的流程工业能耗多目标优化方法，其特征在于：所述步骤(2)具体包括以下步骤：
(2a)确定能耗优化过程中的决策变量个数与每个决策变量的范围；
(2b)确定能耗优化过程中的两个目标函数即能耗预测模型EC和产品质量模型Q；
(2c)使用多目标优化算法即NSGA-Ⅱ算法对这两个目标函数进行优化；
(2d)当NSGA-Ⅱ算法满足最终迭代次数时输出优化结果；
(2e)将得到的优化结果进行仿真验证。
4.根据权利要求2所述的基于注意力深度神经网络的流程工业能耗多目标优化方法，其特征在于：所述步骤(1b)具体是指：对流程工业数据集的数据进行标准化处理，使得X～N(0,1)，即均值为0，方差为1的标准正态分布；标准正态化针对所有样本的任一维度数据xt进行，计算公式如下：
Figure FDA0004086401340000021
其中，
Figure FDA0004086401340000025
为第t维数据的均值，σt为第t维数据的标准差，t∈[1,n]。
5.根据权利要求2所述的基于注意力深度神经网络的流程工业能耗多目标优化方法，其特征在于：所述步骤(1c)具体包括以下步骤：
(1c1)确定注意力深度神经网络ADNN的网络结构，注意力深度神经网络ADNN分为注意力部分和深度神经网络DNN部分,标准化输入向量X＝(x′1,x′2,…,x′n)T；
根据输入向量X，计算注意力向量V＝σ(g(X))；
其中，g为一维卷积，卷积核长度k根据输入维度自适应调整，k的计算公式为：
Figure FDA0004086401340000022
其中，s和b均是量纲为1的参数，s＝2,b＝1,n为输入向量X的维度，通过一维卷积得到中间向量Z＝(z1,z2,…,zn)T,再通过激活函数Softmax将其值域缩放至(0,1)，转化为注意力向量V，其中，σ为激活函数Softmax,计算公式如下：
Figure FDA0004086401340000023
最后将注意力向量V和输入向量X进行哈达玛积运算，得到重构后的输入向量
Figure FDA0004086401340000024
深度神经网络DNN的层数根据整体样本的大小和特征维度来确定，选取3至5层；
深度神经网络DNN各层输出公式如下：
Figure FDA0004086401340000031
其中，深度神经网络DNN部分中选择Relu函数作为激活函数，其表达式为f(x)＝max(0,x)；X(l-1)表示l-1层的输入，W(l-1)表示l-1层的权重，b(l-1)表示l-1层的偏置；
Figure FDA0004086401340000032
表示l层的输出预测值；
其次，注意力深度神经网络ADNN的初始化阶段随机分配算法的权值与偏置，同时设置最大迭代次数epoch和学习率η；
(1c2)从训练集中选择小批量m个样本输入至注意力深度神经网络ADNN的输入层，然后通过注意力深度神经网络ADNN前向计算得到m个样本的电力消耗预测值Ehat；根据Ehat与实测值Etr计算损失值，对于回归类型连续值，损失函数选用均方误差，公式如下：
Figure FDA0004086401340000033
(1c3)计算梯度并进行反向传递来调整权值和偏置；
整个注意力深度神经网络ADNN中，权值和偏置是网络学习的核心，采用梯度下降法来更新，其公式如下：
Figure FDA0004086401340000034
Figure FDA0004086401340000035
其中，W'为调整后的权值，b'为调整后的偏置，η为学习率；
Figure FDA0004086401340000036
表示权值的梯度；
Figure FDA0004086401340000037
表示偏置的梯度；
(1c4)从训练集中选取新的未被训练的m个样本返回步骤(1c2)，直至训练集中所有样本训练完毕；
(1c5)记录整体样本损失，若全局损失不再下降或达到最大学习次数即完成训练；判断能耗预测模型EC的预测要求是否达到了指定的预测误差要求，当均方损失不再下降或者达到迭代轮次上限，结束训练；
(1c6)根据余弦退火方法动态更新学习率，并返回步骤(1c2)，开始下一轮训练，余弦退火公式如下：
Figure FDA0004086401340000041
其中，ηt为调整过后的学习率，ηmax，ηmin分别为最大和最小学习率；Tcur表示当前执行了多少轮次，Ti为总的训练轮次。
6.根据权利要求2所述的基于注意力深度神经网络的流程工业能耗多目标优化方法，其特征在于：所述步骤(1d)具体包括以下步骤：
(1d1)输入验证集数据，然后通过基于注意力深度神经网络的能耗预测模型前向计算出电力消耗预测值Ehat；
(1d2)计算电力消耗预测值Ehat与实测值Etr的损失，达到误差允许范围则视为结束，否则返回步骤(1c)调整网络结构重新训练。
7.根据权利要求3所述的基于注意力深度神经网络的流程工业能耗多目标优化方法，其特征在于：所述步骤(2a)具体是指：通过分析流程工业数据集的历史生产数据，提取出生产过程中的决策变量个数N和每个决策变量的取值范围[lb,ub]，其中，lb是一组N维的向量，表示N个决策变量的取值下界；ub是一个N维向量，表示N个决策变量的取值上界；通过确定lb和ub确定多目标优化过程中问题搜索空间的范围；在流程工业中把注意力深度神经网络ADNN输入的特征数作为决策变量的个数，lb和ub则是所有特征的最大值和最小值所形成的两个数组。
8.根据权利要求3所述的基于注意力深度神经网络的流程工业能耗多目标优化方法，其特征在于：所述步骤(2b)具体是指：能耗预测模型EC即能耗优化目标函数的公式为：
EC＝α×E+β×W+γ×G
其中，α，β和γ的和为1，如果α的值越大，则能耗优化过程中更看重对电力能耗的优化，同理β和γ；产品质量目标函数就是产品质量模型Q。
9.根据权利要求3所述的基于注意力深度神经网络的流程工业能耗多目标优化方法，其特征在于：所述步骤(2c)具体是指：设置NSGA-Ⅱ算法的种群规模P为30，迭代次数T为100；并确定问题的决策变量N，每个决策变量的取值范围[lb,ub],能耗优化目标函数和产品质量目标函数输入NSGA-Ⅱ算法；在多目标优化过程中，NSGA-Ⅱ算法找到一组解集使得能耗变低即让总能耗目标函数的值变低，并提高产品的质量即使产品质量目标函数的值变高。
10.根据权利要求3所述的基于注意力深度神经网络的流程工业能耗多目标优化方法，其特征在于：所述步骤(2d)具体是指：当NSGA-Ⅱ算法满足达到最大迭代次数后输出多目标优化的最优解集，最优解集的个数与种群规模一致，设置种群规模为30，则最后输出一个包含30个解的优化结果。
CN202310137422.2A 2023-02-20 2023-02-20 基于注意力深度神经网络的流程工业能耗多目标优化方法 Pending CN116107279A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310137422.2A CN116107279A (zh) 2023-02-20 2023-02-20 基于注意力深度神经网络的流程工业能耗多目标优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310137422.2A CN116107279A (zh) 2023-02-20 2023-02-20 基于注意力深度神经网络的流程工业能耗多目标优化方法

Publications (1)

Publication Number Publication Date
CN116107279A true CN116107279A (zh) 2023-05-12

Family

ID=86265364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310137422.2A Pending CN116107279A (zh) 2023-02-20 2023-02-20 基于注意力深度神经网络的流程工业能耗多目标优化方法

Country Status (1)

Country Link
CN (1) CN116107279A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116916362A (zh) * 2023-09-12 2023-10-20 中国铁路设计集团有限公司 一种多目标优化的lte-r基站通信质量预测方法
CN117075549A (zh) * 2023-08-17 2023-11-17 湖南源达智能科技有限公司 基于人工神经网络的厂务控制方法及系统
CN117455366A (zh) * 2023-12-19 2024-01-26 杭州网易云音乐科技有限公司 基于神经网络模型的库存分配方法、装置、介质及设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117075549A (zh) * 2023-08-17 2023-11-17 湖南源达智能科技有限公司 基于人工神经网络的厂务控制方法及系统
CN117075549B (zh) * 2023-08-17 2024-03-22 湖南源达智能科技有限公司 基于人工神经网络的厂务控制方法及系统
CN116916362A (zh) * 2023-09-12 2023-10-20 中国铁路设计集团有限公司 一种多目标优化的lte-r基站通信质量预测方法
CN116916362B (zh) * 2023-09-12 2023-12-12 中国铁路设计集团有限公司 一种多目标优化的lte-r基站通信质量预测方法
CN117455366A (zh) * 2023-12-19 2024-01-26 杭州网易云音乐科技有限公司 基于神经网络模型的库存分配方法、装置、介质及设备

Similar Documents

Publication Publication Date Title
CN116107279A (zh) 基于注意力深度神经网络的流程工业能耗多目标优化方法
CN110083125B (zh) 一种基于深度学习的机床热误差建模方法
CN111563706A (zh) 一种基于lstm网络的多变量物流货运量预测方法
CN101782743A (zh) 神经网络建模方法及系统
CN110264012B (zh) 基于经验模态分解的可再生能源功率组合预测方法及系统
CN112966954A (zh) 一种基于时间卷积网络的防洪调度方案优选方法
CN111027882A (zh) 一种基于高阶神经网络利用常规测井资料评价脆性指数的方法
CN111058840A (zh) 一种基于高阶神经网络的有机碳含量(toc)评价方法
CN111738477A (zh) 基于深层特征组合的电网新能源消纳能力预测方法
CN113591368A (zh) 一种综合能源系统多能负荷预测方法及系统
CN113554213A (zh) 一种天然气需求预测方法、系统、存储介质及设备
Wu et al. A novel optimized nonlinear grey Bernoulli model for forecasting China’s GDP
CN113393057A (zh) 一种基于深度融合机器学习模型的小麦产量集成预测方法
CN111832839A (zh) 基于充分增量学习的能耗预测方法
CN111178604A (zh) 一种95598故障工单数预测方法
CN117236485B (zh) 一种基于cnn-bilstm算法减小预测电网供电量误差的方法
CN117334271A (zh) 一种基于指定属性生成分子的方法
CN110909492A (zh) 一种基于极端梯度提升算法的污水处理过程软测量方法
CN116703644A (zh) 一种基于Attention-RNN的短期电力负荷预测方法
CN116316600A (zh) 基于季节分型的面向风电功率日前预测自适应滤波方法
CN115759469A (zh) 一种针对峰值负荷及其出现时间的预测方法及其装置
CN115759343A (zh) 一种基于e-lstm的用户电量预测方法和装置
CN114186771A (zh) 一种混合正则化随机配置网络工业过程运行指标估计方法
CN110991600A (zh) 一种融合分布估计算法与极限学习机的干旱智慧预测方法
CN113688559B (zh) 一种基于改进选择性进化随机网络的海水淡化系统故障诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination