CN109242188A - 一种钢铁煤气系统长期区间预测及其结构学习方法 - Google Patents
一种钢铁煤气系统长期区间预测及其结构学习方法 Download PDFInfo
- Publication number
- CN109242188A CN109242188A CN201811060541.8A CN201811060541A CN109242188A CN 109242188 A CN109242188 A CN 109242188A CN 201811060541 A CN201811060541 A CN 201811060541A CN 109242188 A CN109242188 A CN 109242188A
- Authority
- CN
- China
- Prior art keywords
- layer
- long
- data
- prediction
- follows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000007774 longterm Effects 0.000 title claims abstract description 35
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 19
- 239000010959 steel Substances 0.000 title claims abstract description 19
- 239000003034 coal gas Substances 0.000 title claims abstract description 15
- 238000009826 distribution Methods 0.000 claims abstract description 9
- 238000005457 optimization Methods 0.000 claims description 18
- 239000006227 byproduct Substances 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 abstract description 12
- 238000000342 Monte Carlo simulation Methods 0.000 abstract description 6
- 229910052742 iron Inorganic materials 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 5
- 239000010410 layer Substances 0.000 description 14
- 238000004519 manufacturing process Methods 0.000 description 11
- 239000002356 single layer Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 108090000672 Annexin A5 Proteins 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 240000005373 Panax quinquefolius Species 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013277 forecasting method Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000003446 ligand Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于信息技术领域,提供了一种钢铁煤气系统长期区间预测及其结构学习方法。本发明采用工业真实数据,首先构造多层次的信息粒度非等长分配结构,建立相应优化模型;进而,考虑到模型结构对预测精度的重要性,本发明借助蒙特卡洛方法,对多层次模型的结构参数进行强化学习;最终基于最优的多层粒度计算结构,运用并行计算策略,求得煤气产消量的长期区间预测结果。此方法所得到结果精度较高,且计算效率符合实际应用要求,在钢铁工业其它能源介质系统中亦可推广应用。
Description
技术领域
本发明属于信息技术领域,涉及到模糊建模、强化学习、并行计算等技术,是一种粒度计算与强化学习相结合的钢铁工业煤气系统长期区间预测及其结构学习方法。本发明采用工业真实数据,首先构造多层次的信息粒度非等长分配结构,建立相应优化模型;进而,考虑到模型结构对预测精度的重要性,本发明借助蒙特卡洛方法,对多层次模型的结构参数进行强化学习;最终基于最优的多层粒度计算结构,运用并行计算策略,求得煤气产消量的长期区间预测结果。此方法所得到结果精度较高,且计算效率符合实际应用要求,在钢铁工业其它能源介质系统中亦可推广应用。
背景技术
节能减排始终是钢铁工业日常生产的重要目标之一。作为随生产过程产生的副产煤气这一二次能源,能否实现对其合理利用将直接关系到企业经济利益和降耗效果。钢铁工业的副产煤气主要包括高炉煤气、焦炉煤气和转炉煤气三种,由于生产需求变化、设备切换操作等原因,现场常出现产消失衡情况,此时需制定调度方案以使管网达到新的产消平衡,从而保障生产顺畅、避免资源浪费。在上述过程中,产消量变化趋势是能源调度人员做出决策的重要依据,因此对副产煤气的预测工作具有重要的实际应用意义。(熊超.钢铁企业煤气系统节能探讨[C].(2011).中国金属学会冶金技术经济学会学术年会.)
随着研究应用工作的广泛开展,以粒度计算为代表的预测模型已可实现超过4小时的长期趋势估计(J.Zhao,Z.Y.Han,W.Pedrycz,W.Wang.(2016).Granular model oflong-term prediction for energy system in steel industry[J].IEEE transactionson cybernetics,46(2),388-400)(Z.Y.Han,J.Zhao,Q.Liu,W.Wang.(2016).Granular-computing based hybrid collaborative fuzzy clustering for long-termprediction of multiple gas holders levels[J].Information Sciences,330,175-185)。然而,这些方法的预测结果均以点为呈现形式,无法满足现场对结果可靠性衡量的需求。鉴于此,除了支持向量机(Support Vector Machine,SVM)、基于统计学的一些模型均可被用来实现区间预测以外(C.Y.Sheng,J.Zhao,W.Wang,H.Leung.(2013).Predictionintervals for a noisy nonlinear time series based on a bootstrappingreservoir computing network ensemble[J].IEEE Transactions on neural networksand learning systems,24(7),1036-1048)(A.Khosravi,S.Nahavandi,D.(2010).Creighton.Construction of optimal prediction intervals for load forecastingproblems[J].IEEE Transactions on Power Systems,25(3),1496-1503.),将粒度计算中的聚类中心纵向拓展为区间值、进而求解相应优化模型,也是一个可行的解决方案(Z.Y.Han,J.Zhao,H.Leung,W.Wang.(2018).Construction of prediction intervalsfor gas flow systems in steel industry based on granular computing[J].ControlEngineering Practice,78,79-88)。
然而,这些方法存在明显不足:首先,由于以迭代机制构造样本,SVM、基于统计学等模型在长期预测方面精度难以令人满意,一般仅能给出60个点以内的良好预测结果;其次,虽然单层的信息粒度分配方式可计算出较长时间的区间估计结果,但大量的待优化参数导致其运算时间和精度均存在不确定性,若能将这些参数分层次处理,则有望在计算效率和平均精度上获得明显提升;此外,若应用多层次粒度计算模型,其结构将直接左右长期区间预测结果的精度,因此需要设计方法以高效、合理地获取最优模型结构参数。
发明内容
本发明主要解决钢铁工业副产煤气系统的产消量长期区间预测及模型结构学习问题。方法使用采集自现场的真实工业数据,首先建立多层次的信息粒度非等长分配结构及相应优化模型;为自适应地确定模型结构,本发明借助蒙特卡洛方法对结构参数进行强化学习;最终借助并行计算进行分层次的高效求解,得到长期区间预测结果。
本发明的技术方案:
一种钢铁煤气系统长期区间预测及其结构学习方法,步骤如下:
(1)由现场实时数据库采集副产煤气系统的产消量数据,经过除噪、滤波及填补等预处理后作为基础数据样本;
(2)应用模糊C均值(FuzzyC-Means,FCM)算法进行聚类,得到聚类中心及隶属度;
(3)逐层次的对聚类中心分配信息粒度,将其由点值拓展为区间值,并建立各层次的信息粒度优化模型;
(4)利用并行计算策略,逐层求解最优结构参数下的信息粒度分配优化模型,并结合概率、模糊建模等手段,得到初步的长期区间预测结果;
(5)将长期区间预测模型的当前结构定义为“状态”、参数变化定义为“动作”,借助蒙特卡洛方法,以强化学习的方式求取近似的策略值函数,从而确定模型的最优结构参数,并再次运用步骤4,得到最终的长期区间预测结果;
本发明的有益效果:本发明的长期区间预测模型将信息粒度分层优化,克服了传统单层方法需求解参数过多、平均精度较低的问题。所建立的粒度分配优化模型将信息的覆盖性描述为约束条件,而目标函数仅为专一性一个目标,从而避免了求解多目标问题的繁琐。此外,蒙特卡洛方法的运用,为长期区间预测模型的结构学习提供了强化学习机制,从而可自适应地确定多层次粒度计算结构。加之并行计算在上述优化模型求解、强化学习过程中的运用,保障了方法的计算效率可符合实际应用之要求。
附图说明
图1为钢铁工业副产煤气系统示意图。
图2为本发明应用流程图。
图3为多层次信息粒度分配及优化结构示意图。
图4(a)为MVE方法对#2高炉煤气发生量的长期区间预测结果图。
图4(b)为单层粒度计算方法对#2高炉煤气发生量的长期区间预测结果图。
图4(c)为本发明方法对#2高炉煤气发生量的长期区间预测结果图。
图5(a)为MVE方法对#1焦炉煤气使用量的长期区间预测结果图。
图5(b)为单层粒度计算方法对#1焦炉煤气使用量的长期区间预测结果图。
图5(c)为本发明方法对#1焦炉煤气使用量的长期区间预测结果图。
图中的MVE指均值-方差估计(Mean-Variance Estimation)
具体实施方式
为了更好地理解本发明的技术路线和实施方案,下面以国内钢铁工业自动化水平较高的上海宝山钢铁厂副产煤气系统做进一步说明。由附图1所示的宝钢煤气系统示意图可看出,四座高炉、六座焦炉和六座转炉构成了三种主要副产煤气的发生单元,而消耗单元则包括冷/热轧、烧结等,其中低压锅炉和电厂常作为可调节单元。管网内还包含多座煤气柜,起到暂存和缓冲的作用。此外,煤气混合站和加压站作为输配系统,负责将煤气压送至各消耗单元。在日常生产中,维持产消平衡既可以保障生产的顺利进行,也有助于达成节能减排的目标,因此是能源调度人员的工作重点。由于副产煤气网络复杂,遍布炼铁、炼钢、轧钢等多个生产区域,具有非线性、大时滞等显著特点,能源调度人员难以准确判断产消量的未来趋势。本发明即针对此问题,开展副产煤气产消量的预测方法研究与应用工作。
本发明的具体实施步骤如下:
步骤1:数据预处理
从工业现场实时关系数据库,读取副产煤气系统发生和消耗单元数据,并做基本的除噪、滤波和填补等预处理工作。
步骤2:FCM
将数据分割为数段等长度的片段,即Z={z1,z2,…,zN},其中n代表每个数据段所含数据点个数,N则为数据段个数。应用FCM聚类算法,获得聚类中心V={v1,v2,…,vc}和对应隶属度U={u1,u2,…,uN},其中c是聚类中心维度。
步骤3:建立多层次粒度计算模型
如附图1所示,由下至上逐层次地对聚类中心V={v1,v2,…,vc}分配信息粒度αi,j和βi,其中i=1,2,…,m,j=1,2,…,ni,且n1≠n2≠…≠nm。如此即可将聚类中心由点值延展为区间值。为优化求解上述信息粒度参数,首先定义覆盖性cov和专一性spec两个衡量指标如下:
其中,T表示样本所含数据点个数;λi是标识变量,即当区间覆盖样本的数据点时等于1,否则等于0;range指样本数据的最大值与最小值之差,和z i分别表示预测区间上下限。
信息粒度模型的优化目标是使得(1)和(2)均取极大值,其中cov至少应等于目标置信度(1-ρ)×100%,ρ∈[0,1]是显著水平。为避免求解多目标问题的困难与繁琐,本发明将(1)作为约束条件考虑,即cov必须大于或等于目标置信区间。信息粒度的优化顺序与分配顺序相反,各层优化模型建立如下:
①第二层
其中,range(2)指第二层对应数据样本的最大值与最小值之差,表示第二层所得区间结果的上下限;ε是控制总体信息粒度的超参数;和用来控制βi,以使其不至于过分偏离ε;是类似λi的标识变量,即当第二层所得区间覆盖样本的数据点时为1,否则为0。
②第一层
与第二层仅处理一个优化问题不同,第一层要计算合计为m个的一系列优化问题,其中任意一个可表述如下:
其中,指第一层各优化问题对应数据样本的最大值与最小值之差,i=1,2,…,m;和分别为第一层各优化问题求解所得区间上下限;和则用来控制αi,j不过分偏离βi。
考虑到收敛性和求解速度,本发明运用差分进化(Differential Evolution,DE)算法求解上述优化问题。需要特别指出的是,第一层的各个优化问题之间相互独立,因此本发明采用并行策略处理,如此便可较大程度地缩短计算时间,以符合现场对于实时性的要求。
步骤4:长期区间预测
基于粒度计算的长期区间预测本质上是预测模糊隶属度,即其中为隶属度预测值,是隶属度矩阵U的一部分,nI表示隶属度关系的输入个数。本发明将通过概率估计实现隶属度的预测。为便于理解,以下定义及叙述以点形式给出,。首先定义粒度计算框架下的聚类中心概率数据段概率和共生矩阵如下:
其中,是聚类中心矩阵V中的一部分,是数据片段集合Z中的一部分;是标识型变量,即考虑 分别是隶属度中的元素,且{h1,h2,…,hnI}∈[1,c]),当满足h1=i1,…,hnI=inI时为1,否则为0;p(vi|vj)是条件概率,即当的最大隶属度出现在聚类中心集合时,zk的最大隶属度出现在vi的概率。
基于上述定义,数据段zk的概率可估计为对应预测值可由中心法得到,即:
其中,是中元素。
步骤5:模型结构参数的强化学习
本发明将多层次粒度计算的模型结构确定问题看做单步马尔科夫决策过程,进而采用蒙特卡洛方法,强化学习包括m和ni(i=1,2,…,m)在内的结构参数。首先定义状态S、动作A和奖赏R如下:
S–确定的多层次粒度计算模型结构
A–变更参数m和ni(i=1,2,…,m)
R–所得预测区间的spec
由于待确定结构参数数量较庞大,本发明采用梯度下降近似函数策略,学习策略值函数πω(s,a)。设πω(s,a)为多层感知机神经网络:
πω(s,a)=f(ωT·φ(s,a)+b) (9)
其中,φ(s,a)是表征状态-动作对的特征向量,本发明定义为φ(s,a)=(m,n1,n2,…,nm)T;b表示多层感知机的偏置量,f表示激活函数,本发明采用的是sigmoid函数。
定义可导的性能函数如下:
其中,是πω(s,a)的真值函数,s0是起始状态。对J(ω)求关于ω的梯度并应用策略梯度定理,可最终得出ω的更新公式为:
其中,τ表示变化步长,γ是贴现因子,rt是t时刻获得的奖赏,即:
设结构参数的搜索空间维度为L,模型参数确定过程可总结如下:
①初始化τ>0,γ>0,在L中取l个结构参数样本作为训练子集;
②取t=1到l,利用步骤四表述过程循环先后计算(12)和(11),获得学习到的策略值函数参数ωopt,考虑到问题的相互独立性,此步中(12)的计算可借助并行策略加速;
③取t=1到L,计算(9),选取其中策略值函数最大值对应的特征向量φopt(s,a)为最优结构参数,即:
④利用获得最优结构参数,再次计算(3)-(8),即可获得最终的长期区间预测结果。
由以上过程可以看出,本发明一方面将信息粒度分层次分配和并行优化,在提高运算效率的同时保证预测精度;另一方面还通过强化学习方式,自适应地确定多层粒度计算的结构参数。
图4、图5分别是针对#2高炉煤气发生量、#1焦炉煤气发生量的长期区间预测结果,预测时长为480个点,即8个小时,其中(a)为统计学中的均值-方差估计(Mean-VarianceEstimation,MVE)方法,(b)为一般的单层粒度计算长期区间预测模型,(c)则是本发明方法。虚线为真实值,灰色带状区域为构造的预测区间。表1给出预测区间精度及运算效率比较,衡量指标包括预测区间覆盖率(Prediction Intervals CoverageProbability,PICP)、正则化平均区间宽度(Prediction Intervals Normalized AverageWidth,PINAW)、区间得分(Interval Score,IS)以及计算耗时(ComputingTime,CT),其中PICP、PINAW和IS的定义如下:
其中,Ttest是测试集所含数据点总数,λi为标识变量,当测试集中的数据点在预测区间内时λi=1,否则λi=0;和z i分别是预测区间上下限;测试集中的极大值、极小值分别是dmax和dmin;ei是个分段定义变量:
其中,di是测试集中的数据点,实验中取显著水平ρ=0.1。综合图表结果可以明显看出,本发明在精度表现和运算效率上均优于其它工业常用的区间预测方法。
表1三种方法在单次长期区间预测的精度及耗时结果比较
Claims (1)
1.一种钢铁煤气系统长期区间预测及其结构学习方法,其特征在于,步骤如下:
步骤1:数据预处理
从工业现场实时关系数据库,读取副产煤气系统发生和消耗单元数据,并做基本的除噪、滤波和填补;
步骤2:FCM
将步骤1读取的数据分割为数段等长度的片段,即Z={z1,z2,…,zN},其中n代表每个数段所含数据点个数,N则为数段个数;应用FCM聚类算法,获得聚类中心V={v1,v2,…,vc}和对应隶属度U={u1,u2,…,uN},其中c是聚类中心维度;
步骤3:建立多层次粒度计算模型
由下至上逐层次地对聚类中心矩阵V={v1,v2,…,vc}分配信息粒度αi,j和βi,其中i=1,2,…,m;j=1,2,…,ni;且n1≠n2≠…≠nm;如此即将聚类中心由点值延展为区间值;为优化求解上述信息粒度参数,首先定义覆盖性cov和专一性spec两个衡量指标如下:
其中,T表示数据样本所含数据点个数;λi是标识变量,即当区间覆盖样本的数据点时等于1,否则等于0;range指样本数据的最大值与最小值之差,和z i分别表示预测区间上限和下限;
信息粒度模型的优化目标是使得覆盖性cov和专一性spec均取极大值,其中cov至少等于目标置信度(1-ρ)×100%,ρ∈[0,1]是显著水平;将式(1)作为约束条件考虑,即cov必须大于或等于目标置信区间;信息粒度的优化顺序与分配顺序相反,各层优化模型建立如下:
(1)第二层
其中,range(2)指第二层对应数据样本的最大值与最小值之差,表示第二层所得区间结果的上限和下限;ε是控制总体信息粒度的超参数;和用来控制βi,以使其不至于过分偏离ε;是类似λi的标识变量,即当第二层所得区间覆盖样本的数据点时为1,否则为0;
(2)第一层
与第二层仅处理一个优化问题不同,第一层要计算合计为m个的一系列优化问题,其中任意一个表述如下:
其中,指第一层各优化问题对应数据样本的最大值与最小值之差,i=1,2,…,m;和分别为第一层各优化问题求解所得区间的上限和下限;和则用来控制αi,j不过分偏离βi;
步骤4:长期区间预测
基于粒度计算的长期区间预测本质上是预测模糊隶属度,即 其中为隶属度预测值,是隶属度矩阵U的一部分,nI表示隶属度关系的输入个数;将通过概率估计实现隶属度的预测;为便于理解,以下定义及叙述以点形式给出,首先定义粒度计算框架下的聚类中心概率数据段概率和共生矩阵如下:
其中,{i1,i2,…,inI}∈[1,c],是聚类中心矩阵V中的一部分;是数据片段集合Z中的一部分;是标识型变量,即考虑 分别是隶属度中的元素,且{h1,h2,…,hnI}∈[1,c];当满足h1=i1,…,hnI=inI时为1,否则为0;p(vi|vj)是条件概率,即当的最大隶属度出现在聚类中心集合时,zk的最大隶属度出现在vi的概率;
基于上述定义,数据段zk的概率估计为 对应预测值由中心法得到,即:
其中,是中元素;
步骤5:模型结构参数的强化学习
将多层次粒度计算的模型结构确定问题看做单步马尔科夫决策过程,进而采用蒙特卡洛方法,强化学习包括m和ni,i=1,2,…,m在内的结构参数;首先定义状态S、动作A和奖赏R如下:
S为确定的多层次粒度计算模型结构;
A为变更参数m和ni,i=1,2,…,m;
R为所得预测区间的spec;
由于待确定结构参数数量较庞大,采用梯度下降近似函数策略,学习策略值函数πω(s,a);设πω(s,a)为多层感知机神经网络:
πω(s,a)=f(ωT·φ(s,a)+b) (9)
其中,φ(s,a)是表征状态-动作对的特征向量,定义为φ(s,a)=(m,n1,n2,…,nm)T;b表示多层感知机的偏置量,f表示激活函数,本发明采用的是sigmoid函数;
定义可导的性能函数如下:
其中,是πω(s,a)的真值函数,s0是起始状态;对J(ω)求关于ω的梯度并应用策略梯度定理,最终得出ω的更新公式为:
其中,τ表示变化步长,γ是贴现因子,rt是t时刻获得的奖赏,即:
设结构参数的搜索空间维度为L,模型参数确定过程总结如下:
(1)初始化τ>0,γ>0,在L中取l个结构参数样本作为训练子集;
(2)取t=1~l,利用步骤四表述过程循环先后计算(12)和(11),获得学习到的策略值函数参数ωopt,考虑到问题的相互独立性,此步中(12)的计算借助并行策略加速;
(3)取t=1~l,计算(9),选取其中策略值函数最大值对应的特征向量φopt(s,a)为最优结构参数,即:
(4)利用获得最优结构参数,再次计算(3)-(8),即获得最终的长期区间预测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811060541.8A CN109242188B (zh) | 2018-09-12 | 2018-09-12 | 一种钢铁煤气系统长期区间预测及其结构学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811060541.8A CN109242188B (zh) | 2018-09-12 | 2018-09-12 | 一种钢铁煤气系统长期区间预测及其结构学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109242188A true CN109242188A (zh) | 2019-01-18 |
CN109242188B CN109242188B (zh) | 2021-06-08 |
Family
ID=65067538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811060541.8A Active CN109242188B (zh) | 2018-09-12 | 2018-09-12 | 一种钢铁煤气系统长期区间预测及其结构学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109242188B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111177503A (zh) * | 2019-12-24 | 2020-05-19 | 天津大学 | 一种预测海洋盲区表面温度的方法 |
CN111353652A (zh) * | 2020-03-13 | 2020-06-30 | 大连理工大学 | 一种风电出力短期区间预测方法 |
CN112948125A (zh) * | 2021-03-29 | 2021-06-11 | 北京深睿科技有限责任公司 | 基于gpu并行强化学习的建筑节能方法 |
CN113128781A (zh) * | 2021-04-30 | 2021-07-16 | 大连理工大学 | 一种自动构建智能化模型与算法的分布式工业能源运行优化平台 |
CN113869795A (zh) * | 2021-10-26 | 2021-12-31 | 大连理工大学 | 一种工业副产煤气系统长期调度方法 |
CN114862055A (zh) * | 2022-06-01 | 2022-08-05 | 河钢数字技术股份有限公司 | 一种基于多源数据驱动的钢铁企业高炉煤气预测方法 |
WO2023070293A1 (zh) * | 2021-10-26 | 2023-05-04 | 大连理工大学 | 一种工业副产煤气系统长期调度方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104181900A (zh) * | 2014-09-04 | 2014-12-03 | 徐雪松 | 一种多能源介质分层动态调控方法 |
CN106779384A (zh) * | 2016-12-07 | 2017-05-31 | 大连理工大学 | 一种基于信息粒度最优分配的钢铁工业高炉煤气长期区间预测方法 |
CN107274011A (zh) * | 2017-06-05 | 2017-10-20 | 上海电力学院 | 综合马尔科夫模型和概率网络的设备状态识别方法 |
CN107681691A (zh) * | 2017-09-30 | 2018-02-09 | 太原理工大学 | 计及不确定性因素的风电并网系统运行可靠性评估方法 |
CN107688870A (zh) * | 2017-08-15 | 2018-02-13 | 中国科学院软件研究所 | 一种基于文本流输入的深度神经网络的分层因素可视化分析方法及装置 |
-
2018
- 2018-09-12 CN CN201811060541.8A patent/CN109242188B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104181900A (zh) * | 2014-09-04 | 2014-12-03 | 徐雪松 | 一种多能源介质分层动态调控方法 |
CN106779384A (zh) * | 2016-12-07 | 2017-05-31 | 大连理工大学 | 一种基于信息粒度最优分配的钢铁工业高炉煤气长期区间预测方法 |
CN107274011A (zh) * | 2017-06-05 | 2017-10-20 | 上海电力学院 | 综合马尔科夫模型和概率网络的设备状态识别方法 |
CN107688870A (zh) * | 2017-08-15 | 2018-02-13 | 中国科学院软件研究所 | 一种基于文本流输入的深度神经网络的分层因素可视化分析方法及装置 |
CN107681691A (zh) * | 2017-09-30 | 2018-02-09 | 太原理工大学 | 计及不确定性因素的风电并网系统运行可靠性评估方法 |
Non-Patent Citations (4)
Title |
---|
ISRAR ULLAH,RASHID AHMAD AND DOHYEUN KIM: "A Prediction Mechanism of Energy Consumption in Residential Buildings Using Hidden Markov Model", 《ENERGIES》 * |
刘方,杨秀等: "不同时间尺度下基于混合储能调度的微网能量优化", 《电网技术》 * |
李颖琦: "基于粒度计算的高炉煤气长期预测系统设计", 《中国优秀硕士论文电子期刊网 工程科技I辑》 * |
韩中洋: "炼钢过程气体能源系统预测与调度方法及应用", 《中国博士论文电子期刊网 工程科技I辑》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111177503A (zh) * | 2019-12-24 | 2020-05-19 | 天津大学 | 一种预测海洋盲区表面温度的方法 |
CN111177503B (zh) * | 2019-12-24 | 2021-10-26 | 天津大学 | 一种预测海洋盲区表面温度的方法 |
CN111353652A (zh) * | 2020-03-13 | 2020-06-30 | 大连理工大学 | 一种风电出力短期区间预测方法 |
CN111353652B (zh) * | 2020-03-13 | 2022-09-16 | 大连理工大学 | 一种风电出力短期区间预测方法 |
CN112948125A (zh) * | 2021-03-29 | 2021-06-11 | 北京深睿科技有限责任公司 | 基于gpu并行强化学习的建筑节能方法 |
CN113128781A (zh) * | 2021-04-30 | 2021-07-16 | 大连理工大学 | 一种自动构建智能化模型与算法的分布式工业能源运行优化平台 |
CN113128781B (zh) * | 2021-04-30 | 2021-12-10 | 大连理工大学 | 一种自动构建智能化模型与算法的分布式工业能源运行优化平台 |
CN113869795A (zh) * | 2021-10-26 | 2021-12-31 | 大连理工大学 | 一种工业副产煤气系统长期调度方法 |
CN113869795B (zh) * | 2021-10-26 | 2022-08-05 | 大连理工大学 | 一种工业副产煤气系统长期调度方法 |
WO2023070293A1 (zh) * | 2021-10-26 | 2023-05-04 | 大连理工大学 | 一种工业副产煤气系统长期调度方法 |
CN114862055A (zh) * | 2022-06-01 | 2022-08-05 | 河钢数字技术股份有限公司 | 一种基于多源数据驱动的钢铁企业高炉煤气预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109242188B (zh) | 2021-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109242188A (zh) | 一种钢铁煤气系统长期区间预测及其结构学习方法 | |
Zhang et al. | An integrated model of rolling force for extra-thick plate by combining theoretical model and neural network model | |
Li et al. | Predicting hourly cooling load in the building: A comparison of support vector machine and different artificial neural networks | |
CN111353656B (zh) | 一种基于生产计划的钢铁企业氧气负荷预测方法 | |
WO2020051795A1 (zh) | 一种钢铁煤气系统长期区间预测及其结构学习方法 | |
Jin et al. | Impact of cost–benefit analysis on financial benefit evaluation of investment projects under back propagation neural network | |
Zhou et al. | Energy-efficient scheduling of a single batch processing machine with dynamic job arrival times | |
Suo et al. | Multicriteria decision making under uncertainty: An advanced ordered weighted averaging operator for planning electric power systems | |
CN103942422B (zh) | 一种基于粒度计算的冶金企业转炉煤气柜位长期预测方法 | |
Han et al. | A two-stage method for predicting and scheduling energy in an oxygen/nitrogen system of the steel industry | |
Zhu et al. | Comprehensive energy saving evaluation of circulating cooling water system based on combination weighting method | |
Hu et al. | Multi-parameter deep-perception and many-objective autonomous-control of rolling schedule on high speed cold tandem mill | |
CN106779384A (zh) | 一种基于信息粒度最优分配的钢铁工业高炉煤气长期区间预测方法 | |
Liu et al. | Aggregating the DEA prospect cross-efficiency with an application to state key laboratories in China | |
CN110796293A (zh) | 一种电力负荷预测方法 | |
CN107716560B (zh) | 一种板带热连轧负荷分配方法 | |
CN109615246B (zh) | 一种主动配电网经济运行状态确定方法 | |
CN109919401B (zh) | 一种多能互补系统的多维能效分析方法 | |
Yu et al. | District cooling system control for providing regulation services based on safe reinforcement learning with barrier functions | |
Zhang et al. | Two-stage distributionally robust integrated scheduling of oxygen distribution and steelmaking-continuous casting in steel enterprises | |
Duan et al. | Allocation of pollutant emission permits at industrial level: Application of a bidirectional-coupling optimization model | |
Liu et al. | Research on predictive control of energy saving for central heating based on echo state network | |
Jin et al. | A joint scheduling method for multiple byproduct gases in steel industry | |
Zhang et al. | Rolling force prediction in heavy plate rolling based on uniform differential neural network | |
CN105046594B (zh) | 一种用户能源综合效益评价的平衡计分卡方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |