CN110059940A - 一种炼钢-连铸界面衔接节能方法及系统 - Google Patents

Abstract

本发明公开了一种炼钢‑连铸界面衔接节能方法及系统，该方法通过获取炼钢流程各阶段的运行数据，建立传搁阶段温降模型，并基于传搁阶段温降模型以及节能目标函数，获得转炉阶段和LF精炼炉阶段的最佳温度差，最后根据转炉阶段和LF精炼炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得炼钢流程的最优操作量组合，解决了现有技术由于没有综合考虑工序内部反应与炼钢流程之间的衔接关系，导致无法达到流程的最优衔接节能效果的技术问题，通过定义整个炼钢流程的序参量—温度，并利用炼钢‑连铸流程各阶段温度变化值最小获得炼钢流程能耗衔接最小，有效地将炼钢流程中的工序和界面衔接起来，综合考虑了工序内部反应与炼钢流程之间的衔接关系。

Description

一种炼钢-连铸界面衔接节能方法及系统

技术领域

本发明涉及炼钢节能技术领域，特别涉及一种炼钢-连铸界面衔接节能方法及系统。

背景技术

炼钢厂炼钢-连铸是一个间歇性出钢水、周期性加料和周期性出钢坯过程，在高温、高压、高尘等恶劣环境下发生复杂物理化学反应的生产过程，具有大时滞、强耦合、强非线性等特点。“界面”是相对钢铁生产流程中烧结、炼铁、炼钢、连铸、热轧、冷轧等独立的生产工序而言，链接两相邻工序的衔接部分，随着“高效率、低成本洁净钢平台集成技术”和钢铁工业“智能制造”的提出，炼钢生产过程的动态运行及其效率和稳定性越来越重要

在炼钢厂的相关研究中，单体工序的研究已经比较成熟，工序内部节能及工艺优化已经得到充分发展，尤其是自动化技术的引入和规范化的管理，使单体工序已经趋于标准化生产，单体工序内部的工艺优化和节能潜力接近饱和。而炼钢-连铸界面技术方面的研究相对比较有限，主要是以满足生产过程的基本需求为目标，研究炼钢厂整体工序衔接节能的问题，尚缺乏以整个生产过程的“动态-有序-协同-稳定”为目标的研究，尤其是针对炼钢厂动态运行时的相关研究还处于前期。

具体地，现有炼钢-连铸界面研究主要分为单体工序的优化控制、钢包的热状态管理、转炉连铸生产排程动态调度，均从单体工序或者装置间衔接的角度进行优化。如以下专利：

CN102323755A一种炼钢车间钢水加工节奏的控制方法

申请号CN201110233365.5 申请日2011.08.15

申请公布号CN102323755A 申请公布日2012.01.18

该专利提出了一种炼钢车间钢水加工节奏的控制方法。通过考虑实际生产中的工艺约束，以降低钢水热能损失量为指标，得到炼钢车间钢水加工节奏控制工艺。该专利从机器设备调度的角度进行控制，使生产准时化，降低断浇次数，提高生产设备利用率，可在短时间内根据新的生产环境产生新的生产方案，应对突发事故，从而实现对钢水动态加工节奏的控制。

但该专利仅从设备动态调度考虑，减少钢水在工序间的等待，减少钢水热量损失，达到节能降耗，没有综合考虑工序内部反应与炼钢流程之间的衔接关系，无法达到流程的最优衔接节能效果。

CN102880939A一种炼钢厂钢包精细化管理方法

申请号CN201210358323.9 申请日2012.09.20

申请公布号CN102880939A 申请公布日2013.01.16

该专利提出了一种炼钢厂钢包精细化管理方法。通过在钢包周转过程中动态维护总体信息、能耗相关信息和安全相关信息，为进行精确的温度补偿提供依据，为进行安全的投用钢包提供决策，进而提高炼钢厂钢包的精细化管理水平。该专利实现钢包的精细化管理，从而减少钢包的空包保温时间，节约煤气用量，精确控制钢水温度，稳定浇注温度，实现恒拉速浇注，改善铸坯质量。

该专利虽然通过对钢包的精细化管理，为进行精确的温度补偿提供依据，但是仅考虑钢包对钢水运转过程中的温度损失，无法与工序装置协同优化，不能实现炼钢-连铸过程最优控制。

CN106363149A炼钢连铸钢水过程温度动态控制系统及控制方法

申请号CN201510440413.6 申请日2015.07.24

申请公布号CN106363149A 申请公布日2017.02.01

该发明提出了一种炼钢连铸钢水过程温度动态控制系统及控制方法。包括L3生产计划模块，L3过程温度计算模块，L3工位生产实绩管理模块，L2工位生产、温度控制模块，L2生产实绩管理模块，通过各模块的联合调控，实现各工位终点温度的精确控制，从而根据生产计划的执行情况控制钢水温度，保证生产节奏。

该发明仅考虑各工序单独运行时的温度控制，没有综合考虑钢包对钢水运转过程中的温度损失，无法实现对工序装置的温度实时控制，从而不能实现炼钢-连铸过程最优的衔接节能。

CN105204333A一种提高钢铁企业能源利用率的能耗预测方法

申请号CN201510532778.1 申请日2015.08.26

申请公布号CN105204333A 申请公布日2015.12.30

该专利提供了一种提高钢铁企业能源利用率的能耗预测方法。该专利采用带有误差反馈校正学习的神经网络算法进行预测，并采用自适应调节学习率及基于时变权重的参数组合优化方法进行预测优化，充分考虑各工序的能源消耗特点，提高了能源使用效率，降低了能源成本，进而降低了总生产成本。

该专利从炼钢流程能源物质消耗的角度切入，通过分析工序能源消耗特点，运用改进神经网络进行能耗预测，但没有结合炼钢流程实时运行数据整体考虑，无法实现炼钢流程的精细化衔接节能。

综上所述，现有的技术都具有对应的缺陷，因此提出本发明。

发明内容

本发明提供的一种炼钢-连铸界面衔接节能方法及系统，解决了现有技术由于没有综合考虑工序内部反应与炼钢流程之间的衔接关系，导致无法达到流程的最优衔接节能效果的技术问题。

为解决上述技术问题，本发明提出的一种炼钢-连铸界面衔接节能方法包括：

获取炼钢-连铸流程各阶段的运行数据，所述炼钢-连铸流程包括转炉阶段、转炉至LF精炼炉传搁阶段、LF精炼炉阶段、LF精炼炉至连铸机传搁阶段以及连铸阶段；

基于钢包传热机理，并运用查阅机理参数建立转炉至LF精炼炉传搁阶段温降模型以及LF精炼炉至连铸机传搁阶段温降模型；

基于所述转炉至LF精炼炉传搁阶段温降模型、所述LF精炼炉至连铸机传搁阶段温降模型，以及预设的炼钢-连铸流程节能目标函数，获得所述转炉阶段和LF精炼炉阶段的最佳温度差；

基于转炉阶段和LF精炼炉阶段的最佳温度差，以及根据转炉阶段和LF精炼炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得炼钢-连铸流程的最优操作量组合。

进一步地，转炉至LF精炼炉传搁阶段温降模型以及LF精炼炉至连铸机传搁阶段温降模型分别为：

其中T₂为转炉至LF精炼炉传搁阶段的钢水内部温度，T₀为转炉出站环境温度，T₀′为精炼炉出站环境温度T₀，T₁为转炉出站温度，T₄为LF精炼炉至连铸机传搁阶段的钢水内部温度，T₃为LF精炼炉出站温度，h_底为钢水与底部的对流换热系数，X_底为钢水底部表面积，σ_表面为等效修正后的“辐射换热系数”，X_表面为钢水表面面积，h_四周为钢水表面的对流换热系数，X_四周为钢水与四周的接触面积，τ为钢水运输任一时刻，C为钢水的定压比热容，取值为450J/(kg·℃)，M为钢包内钢水的质量。

进一步地，基于转炉至LF精炼炉传搁阶段温降模型、LF精炼炉至连铸机传搁阶段温降模型，以及预设的炼钢-连铸流程节能目标函数，获得转炉阶段和LF精炼炉阶段的最佳温度差包括：

预设炼钢-连铸流程节能目标函数，具体为：

其中，T为炼钢-连铸流程各阶段温度差，T₁为转炉出站温度，T₂为转炉至LF精炼炉传搁阶段的钢水内部温度，T₃为LF精炼炉出站温度，T₄为LF精炼炉至连铸机传搁阶段的钢水内部温度，T₅为连铸机出站温度；

基于炼钢-连铸流程节能目标函数，获得转炉阶段和LF精炼炉阶段的最佳温度差。

进一步地，基于转炉阶段和LF精炼炉阶段的最佳温度差，以及根据转炉阶段和LF精炼炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得炼钢-连铸流程的最优操作量组合包括：

基于转炉阶段的最佳温度差，以及根据转炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得转炉阶段的最优操作量；

基于LF精炼炉阶段的最佳温度差，以及根据LF精炼炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得LF精炼炉阶段的最优操作量；

根据转炉阶段的最优操作量和LF精炼炉阶段的最优操作量，获得炼钢-连铸流程的最优操作量组合。

进一步地，基于转炉阶段的最佳温度差，以及根据转炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得转炉阶段的最优操作量包括：

定义转炉的状态空间，转炉的状态空间S_转炉具体为：

S_转炉＝{s₁,s₂,…,s₈}，

其中，s₁为转炉温度差ΔT_转＝20℃变成ΔT_转＝21℃时对应的状态，s₂为转炉温度差ΔT_转＝21℃变成ΔT_转＝22℃时对应的状态，s₃为转炉温度差ΔT_转＝22℃变成ΔT_转＝23℃时对应的状态，逐此类推，s₈为转炉温度差ΔT_转＝27℃变成ΔT_转＝28℃时对应的状态；

定义转炉的动作空间，转炉的动作空间为转炉的操作量集合；

利用强化学习方法获得转炉阶段的最优操作量。

进一步地，利用强化学习方法获得转炉阶段的最优操作量包括：

定义强化学习方法中采用的状态值函数，具体为：

其中，Q′(s_t,a_t)为在t时刻，转炉状态为s_t时采用操作量a_t获得的状态值的迭代值，Q(s_t,a_t)为在t时刻，转炉状态为s_t时采用操作量a_t获得的状态值，s_t为转炉在t时刻对应的状态，a_t为在t时刻，转炉状态为s_t时采用的操作量，Q(s_t+1,a_t+1)为在t+1时刻，转炉状态为s_t+1时采用操作量a_t+1获得的状态值，s_t+1为转炉在t+1时刻对应的状态，a_t+1为在t+1时刻，转炉状态为s_t+1时采用的操作量，α为学习速率，γ为折扣系数，r_t+1为转炉的状态为s_t时采用的操作量a_t使转炉的状态变为s_t+1时收到的立即奖励，A(s_t+1)为状态s_t+1对应的操作量集合；

根据状态值函数进行状态值的计算与更新，直至状态值收敛，从而获得转炉阶段的最优操作量。

本发明提出的一种炼钢-连铸界面衔接节能系统包括：

存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述计算机程序时实现本发明提出的一种炼钢-连铸界面衔接节能方法的步骤。

与现有技术相比，本发明的优点在于：

本发明提供的炼钢-连铸界面衔接节能方法及系统，通过获取炼钢-连铸流程各阶段的运行数据，基于钢包传热机理，并运用线性多元回归建立转炉至LF精炼炉传搁阶段温降模型以及LF精炼炉至连铸机传搁阶段温降模型，基于转炉至LF精炼炉传搁阶段温降模型、LF精炼炉至连铸机传搁阶段温降模型，以及预设的炼钢-连铸流程节能目标函数，获得转炉阶段和LF精炼炉阶段的最佳温度差，基于转炉阶段和LF精炼炉阶段的最佳温度差，以及根据转炉阶段和LF精炼炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得炼钢-连铸流程的最优操作量组合，解决了现有技术由于没有综合考虑工序内部反应与炼钢流程之间的衔接关系，导致无法达到流程的最优衔接节能效果的技术问题，通过定义整个炼钢流程的序参量—温度，并利用炼钢-连铸流程各阶段温度变化值最小获得炼钢流程能耗衔接最小，有效地将炼钢流程中的工序和界面衔接起来，综合考虑了工序内部反应与炼钢流程之间的衔接关系，同时根据转炉阶段和LF精炼炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得炼钢-连铸流程的最优操作量组合，可以实现炼钢-连铸界面的最佳节能衔接，从而给现场工人最佳的操作量，不仅达到炼钢厂节能降耗的目的，而且对于承接高炉区段转运铁水的顺畅以及轧钢区段钢材高效轧制以及对炼钢厂精准化控制、优化钢铁生产过程有重要作用和意义。

附图说明

图1是本发明实施例一的炼钢-连铸界面衔接节能结构框图；

图2是本发明实施例一的炼钢-连铸界面衔接节能方法的流程图；

图3是本发明实施例二的炼钢-连铸界面衔接节能方法的流程图；

图4是本发明实施例二的钢包传热机理分析图；

图5是本发明实施例二的转炉、LF精炼炉温度分类模型框图；

图6是本发明实施例三的LF精炼炉进站温度预测图；

图7是本发明实施例三的连铸进站温度预测图；

图8是本发明实施例三的界面衔接能耗图；

图9是本发明实施例的炼钢-连铸界面衔接节能系统框图。

附图标记：

10、存储器；20、处理器。

具体实施方式

为了便于理解本发明，下文将结合说明书附图和较佳的实施例对本发明作更全面、细致地描述，但本发明的保护范围并不限于以下具体的实施例。

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例一

参照图1和图2，本发明实施例一提供的炼钢-连铸界面衔接节能方法，包括：

步骤S101，获取炼钢-连铸流程各阶段的运行数据，炼钢-连铸流程包括转炉阶段、转炉至LF精炼炉传搁阶段、LF精炼炉阶段、LF精炼炉至连铸机传搁阶段以及连铸阶段；

步骤S102，基于钢包传热机理，并运用查阅机理参数建立转炉至LF精炼炉传搁阶段温降模型以及LF精炼炉至连铸机传搁阶段温降模型；

步骤S103，基于转炉至LF精炼炉传搁阶段温降模型、LF精炼炉至连铸机传搁阶段温降模型，以及预设的炼钢-连铸流程节能目标函数，获得转炉阶段和LF精炼炉阶段的最佳温度差；

步骤S104，基于转炉阶段和LF精炼炉阶段的最佳温度差，以及根据转炉阶段和LF精炼炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得炼钢-连铸流程的最优操作量组合。

本发明实施例提供的炼钢-连铸界面衔接节能方法，通过获取炼钢-连铸流程各阶段的运行数据，基于钢包传热机理，并运用线性多元回归建立转炉至LF精炼炉传搁阶段温降模型以及LF精炼炉至连铸机传搁阶段温降模型，基于转炉至LF精炼炉传搁阶段温降模型、LF精炼炉至连铸机传搁阶段温降模型，以及预设的炼钢-连铸流程节能目标函数，获得转炉阶段和LF精炼炉阶段的最佳温度差，基于转炉阶段和LF精炼炉阶段的最佳温度差，以及根据转炉阶段和LF精炼炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得炼钢-连铸流程的最优操作量组合，解决了现有技术由于没有综合考虑工序内部反应与炼钢流程之间的衔接关系，导致无法达到流程的最优衔接节能效果的技术问题，通过定义整个炼钢流程的序参量—温度，并利用炼钢-连铸流程各阶段温度变化值最小获得炼钢流程能耗衔接最小，有效地将炼钢流程中的工序和界面衔接起来，综合考虑了工序内部反应与炼钢流程之间的衔接关系，同时根据转炉阶段和LF精炼炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得炼钢-连铸流程的最优操作量组合，可以实现炼钢-连铸界面的最佳节能衔接，从而给现场工人最佳的操作量，不仅达到炼钢厂节能降耗的目的，而且对于承接高炉区段转运铁水的顺畅以及轧钢区段钢材高效轧制以及对炼钢厂精准化控制、优化钢铁生产过程有重要作用和意义。

实施例二

参照图3，本发明实施例二提供的炼钢-连铸界面衔接节能方法，包括：

步骤S201，获取炼钢-连铸流程各阶段的运行数据，炼钢-连铸流程包括转炉阶段、转炉至LF精炼炉传搁阶段、LF精炼炉阶段、LF精炼炉至连铸机传搁阶段以及连铸阶段。

具体地，本方案根据现场实际运行状况，将炼钢-连铸界面划分为五个阶段：

a)转炉阶段：从高炉转运的铁水，首先经过铁水脱硫处理后，经火车轨道运输至转炉工位，然后天车吊起将其倒入转炉中，同时加入废钢和渣料，下氧枪进行吹炼，吹炼一定时间后，用副枪检测，达到合适温度和碳含量，即可出站进行下一个工序。运行数据为：转炉进站温度T₀，合金料m_转-料(白块、冶金石灰块、自产烧结矿、压渣调渣剂)，废钢m_废和气体R_氧(低吹氩气、低吹氧气、顶吹氧气)，转炉出站温度T₁。

b)转炉至LF精炼炉

传搁阶段：转炉吹炼完的钢水，经过预先升温的钢包运输，通过天车吊运至LF精炼炉工位，其运输过程中影响钢水温降的因素有：钢水温度T₁(也即转炉出站温度T₁)、运输等待钢包周转时间t₁、钢水量M为定值，为150吨。

c)LF精炼炉阶段：经天车将钢包吊运至精炼工位后，加渣料，低吹氩，测温，取样(测渣厚)，下电极进行预加热，提电极，继续测温和测渣厚，主加热后提电极，加合金并吹氩搅拌均匀，然后将钢包开至喂丝位喂丝，提高钢水洁净度，最后软吹氩出站。运行数据为：LF精炼炉进站温度T₂(也即转炉至LF精炼炉传搁阶段的钢水内部温度T₁)，喂丝料m_喂，合金料m_精-料(石灰、萤石、精炼球、钢砂铝、高铝改质剂、低碳锰、中碳锰)，通电时长t_电，LF精炼炉出站温度T₃。

d)LF精炼炉至连铸机传搁阶段：精炼吹炼完的钢水，经过预先升温的钢包运输，通过天车的吊运至连铸机工位，其运输过程中影响钢水温降的因素有：钢水温度T₃(也即LF精炼炉出站温度T₃)、运输等待和钢包周转时间t₂、钢水量M为定值，为150吨。

e)连铸阶段：经天车运至大包回转台后，钢水随着水口下降至中间包，然后收到重力作用，受到晶振器震荡，经过二次冷却区后，经切割机成钢坯，进入到轧制工序。运行数据有连铸机进站温度T₄(也即LF精炼炉出站温度T₄)。

步骤S202，基于钢包传热机理，并运用查阅机理参数建立转炉至LF精炼炉传搁阶段温降模型以及LF精炼炉至连铸机传搁阶段温降模型。

为了建立钢水传搁过程温降模型，得到温度关于时间的关系，从钢包传热机理入手，分析热量损失过程，因此作出适当假设：

a.钢包内钢水温度均匀一致；

b.钢包内表面温度一致，钢包外表面温度一致；

c.钢包表面无渣料；

如图4所示，钢包内外壁发生热辐射、热对流，钢壁发生热传导、钢液表面发生热辐射。钢包散热包括钢包四周热对流，底部热对流以及表面热辐射，在任意时刻，钢水质量和接触面积没有变化，可认为在此刻的传热过程是稳态，如公式：

dQ_总＝dQ_底+dQ_表面+dQ_四周 (1)

-CMdT＝h_底X_底(T-T₀)dτ+σ_表面X_表面(T-T₀)dτ+h_四周X_四周(T-T₀)dτ (2)

-CMdT＝(h_底X_底+σ_表面X_表面+h_四周X_四周)(T-T₀)dτ (3)

由公式(1)-(4)可得到公式(5)，

其中，T₂为转炉至LF精炼炉传搁阶段的钢水内部温度，T₀为转炉出站环境温度，T₁为转炉出站温度，h_底为钢水与底部的对流换热系数，X_底为钢水底部表面积，σ_表面为等效修正后的“辐射换热系数”，X_表面为钢水表面面积，h_四周为钢水表面的对流换热系数，X_四周为钢水与四周的接触面积，τ为钢水运输任一时刻，C为钢水的定压比热容，取值为450J/(kg·℃)，M为钢包内钢水的质量。

C为钢水的定压比热容，取值为450J/(kg·℃)。

同理得到LF精炼炉到连铸传搁过程：

其中T₄为LF精炼炉至连铸机传搁阶段的钢水内部温度，T₃为LF精炼炉出站温度，T₀′为精炼炉出站环境温度。

将对流换热系数h_底、σ_表面、h_四周、面积X_底、X_表面、X_四周、M＝150吨分别代入公式(5)和(6)，最终得到转炉到LF精炼炉传搁阶段为：

T₂＝30+(T₁-30)exp(-τ/145248.1) (7)

LF精炼炉到连铸传搁阶段温降模型为：

T₄＝24+(T₃-24)exp(-τ/141856.3) (8)

步骤S203，基于转炉至LF精炼炉传搁阶段温降模型、LF精炼炉至连铸机传搁阶段温降模型，以及预设的炼钢-连铸流程节能目标函数，获得转炉阶段和LF精炼炉阶段的最佳温度差。

具体地，本实施例首先预设炼钢-连铸流程节能目标函数，具体为：

其中，T为炼钢-连铸流程各阶段温度差,T₁为转炉出站温度，T₂为转炉至LF精炼炉传搁阶段的钢水内部温度，T₃为LF精炼炉出站温度，T₄为LF精炼炉至连铸机传搁阶段的钢水内部温度，T₅为连铸机出站温度。

然后基于炼钢-连铸流程节能目标函数，获得转炉阶段和LF精炼炉阶段的最佳温度差。

步骤S204，基于转炉阶段的最佳温度差，以及根据转炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得转炉阶段的最优操作量。

本发明实施例在获得了传搁阶段的温度升降模型后，为了得到炼钢全过程温降温升模型，需建立出转炉和LF精炼炉单个工序的温降模型，由于转炉及LF精炼炉内部含有无法准确建模的动态部分，使得炼钢过程成为一个多变量、非线性、强耦合的过程，而在近几年无模型控制领域为主流研究方向，通过状态空间到动作空间的映射，以奖赏函数的最优值来完成决策过程，正好符合上述对象的特点。

这类问题通常被建模成马尔科夫决策过程，其目标是寻找一个能使我们获得最大累积奖励的策略。马尔可夫决策过程可以用一个五元组来表示，其中：

1)S为系统状态集合。A_S:S→A为状态集合S到动作集合A的映射，反映了agent执行器在状态s时可用的动作集合。

2)为集合S×A到状态集合S的映射，S×A表示状态集合S与动作集合A的笛卡尔积，它反映了agent在状态s时执行动作a后在下一步时间转移到状态s’的概率，即：

为集合S×A×S到实数集R上的映射，反应agent在状态s执行动作a后获得的奖赏，一般称之为报酬函数，其确切的定义为：

3)V为目标函数或准则函数，该函数反映了当前状态下的决策远期性能，也就是前面所述的累计奖赏。在随机奖赏和状态随机转移的环境下，一般考虑累积奖赏的期望。一般将累积奖赏的期望称为状态值函数。具体为有限和型，以下如公式(12)

本发明实施例将炼钢过程抽象成具有一定属性的Agent参数，Agent参数通过与外界环境即炼钢过程操作量交互，获得状态S，执行动作A，并获得回报值r。

为达到上述目的，本发明实施例采用基于强化学习的炼钢决策过程，具体步骤如下：

步骤S2041，定义转炉的状态空间，转炉的状态空间S_转炉具体为：

S_转炉＝{s₁,s₂,…,s₈} (13)

其中，s₁为转炉温度差ΔT_转＝20℃变成ΔT_转＝21℃时对应的状态，s₂为转炉温度差ΔT_转＝21℃变成ΔT_转＝22℃时对应的状态，s₃为转炉温度差ΔT_转＝22℃变成ΔT_转＝23℃时对应的状态，逐此类推，s₈为转炉温度差ΔT_转＝27℃变成ΔT_转＝28℃时对应的状态。

步骤S2042，定义转炉的动作空间，转炉的动作空间为转炉的操作量集合。

具体地，转炉的温升温降受操作量的多少影响，因此转炉温度每改变1℃，为一个状态空间。定义转炉动作空间，本实施例中转炉的动作空间为其操作量—渣料量、废钢量、气体量，具体见图5所示。

步骤S2043，定义强化学习方法中采用的状态值函数，具体为：

其中，Q′(s_t,a_t)为在t时刻，转炉状态为s_t时采用操作量a_t获得的状态值的迭代值，Q(s_t,a_t)为在t时刻，转炉状态为s_t时采用操作量a_t获得的状态值，s_t为转炉在t时刻对应的状态，a_t为在t时刻，转炉状态为s_t时采用的操作量，Q(s_t+1,a_t+1)为在t+1时刻，转炉状态为s_t+1时采用操作量a_t+1获得的状态值，s_t+1为转炉在t+1时刻对应的状态，a_t+1为在t+1时刻，转炉状态为s_t+1时采用的操作量，α为学习速率，γ为折扣系数，r_t+1为转炉的状态为s_t时采用的操作量a_t使转炉的状态变为s_t+1时收到的立即奖励，A(s_t+1)为状态s_t+1对应的操作量集合。

步骤S2044，根据状态值函数进行状态值的计算与更新，直至状态值收敛，从而获得转炉阶段的最优操作量。

具体地，本发明实施例首先初始化强化学习中状态学习的参数，包括学习速率、折扣因子、状态值。然后结合传搁过程的温降模型，炼钢流程通过感知获得当前状态s，并根据动作选择策略选择当前状态s下最优动作。

本实施例中的动作选择策略采用Boltzmann策略，通过执行动作得到新的状态s’,同时从外界环境得到回报值r，Boltzmann动作选择策略公式为：

其中P(a|s,Q)指在状态s下选择动作a的概率，其中a为所选择的最佳动作，a’为在s状态下可选择的所有动作。状态为行为的值函数，根据式(15)可以看出，行为的选择取决于该状态-行为对的状态值函数和参数τ，其中，τ是一个正参数，称为退火温度，用它控制搜索率。大的退火温度参数使得各个行为有着相似相等的概率，小的退火温度参数就使得较大的状态值函数有较大的选择概率。

最后，根据状态学习中的状态值公式进行状态值的计算与更新。状态学习是这类算法中最重要的一种学习算法，它无需建立环境模型，可以看作是马尔科夫决策过程的变化形式，直接优化一个可迭代计算的状态函数：

状态学习通过使用状态值为每个状态动作对存储期望折扣报酬，由于式(16)两边存在差值，在学习过程中，状态学习采用以下的更新规则，即状态值公式为：

其中，Q′(s_t,a_t)为在t时刻，转炉状态为s_t时采用操作量a_t获得的状态值的迭代值，а∈(0，1)是学习速率，γ∈(0，1)是折扣系数，A(S_t+1)是状态S_t+1对应的动作集。Agent在状态s_t采用动作a_t，将会使状态变为s_t+1，同时收到立即奖励r_t+1。状态学习中，每个(状态s_t-动作a_t)对对应一个相应的Q(s_t,a_t)值，同理，(状态s_t+1-动作a_t+1)对对应相应的状态(s_t+1,a_t+1)值。为了获得状态动作对的最优状态值(Q值)，Agent需要反复尝试每个状态动作对以获得每个状态动作对的最优状态值(Q值)。一次学习过程结束，等待或者马上进入下一个学习过程，直到状态值(Q值)收敛，得到最优决策，选择最佳的一个炼钢-连铸过程的策略过程。

步骤205，基于LF精炼炉阶段的最佳温度差，以及根据LF精炼炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得LF精炼炉阶段的最优操作量。

具体地，本实施例首先定义LF精炼炉的状态空间S_精炉为：

S_精炉＝{c₁,c₂,…,c₅} (18)

其中，c₁为LF精炼炉温度差ΔT_精＝15℃变成ΔT_精＝16℃时对应的状态，c₂为LF精炼炉温度差ΔT_精＝16℃变成ΔT_精＝17℃时对应的状态，c₃为LF精炼炉温度差ΔT_精＝17℃变成ΔT_精＝18℃时对应的状态，c₄为LF精炼炉温度差ΔT_精＝18℃变成ΔT_精＝19℃时对应的状态，c₅为LF精炼炉温度差ΔT_精＝19℃变成ΔT_精＝20℃时对应的状态。然后定义LF精炼炉的动作空间为LF精炼炉的操作量集合。本实施例中LF精炼炉的温升温降受操作量的多少影响，因此LF精炼炉温度每改变1℃，为一个状态空间。定义LF精炼炉动作空间，本实施例中LF精炼炉的动作空间为其操作量-渣料量、喂丝量、通电时长，具体见图5所示。

本发明实施例使用强化学习方法获得LF精炼炉阶段的最优操作量，具体可参照本发明实施例使用强化学习方法获得转炼炉阶段的最优操作量。

步骤206，根据转炉阶段的最优操作量和LF精炼炉阶段的最优操作量，获得炼钢-连铸流程的最优操作量组合。

本发明实施例一方面通过基于钢包传热机理，并运用线性多元回归建立转炉至LF精炼炉传搁阶段温降模型以及LF精炼炉至连铸机传搁阶段温降模型，同时利用预设炼钢-连铸流程节能目标函数获得转炉阶段和LF精炼炉阶段的最佳温度差，有效地建立了炼钢-连铸流程中传搁阶段的温度升降模型，不仅能对LF精炼炉和连铸进站温度进行预测，还能实现炼钢流程的温度窄范围控制，从而达到炼钢-连铸界面的最佳衔接节能。

另一方面，本发明实施例定义了炼钢-连铸流程节能目标函数，也即通过定义整个炼钢流程的序参量—温度，并利用炼钢-连铸流程各阶段温度变化值最小获得炼钢流程能耗衔接最小，有效地将炼钢流程中的工序和界面衔接起来，综合考虑了工序内部反应与炼钢流程之间的衔接关系，能获得炼钢-连铸界面衔接最优节能。

此外，本发明实施例针对转炉及LF精炼炉内部含有无法准确建模的技术问题，基于转炉和LF精炼炉的温升温降受操作量的影响思想，引入强化学习方法，且在强化学习中自定义状态空间、动作空间以及状态值函数，从而通过状态空间到动作空间的映射，以奖赏函数的最优值来完成决策过程，能获得最优的决策动作，从而获得最优的操作量。

需要说明的是，由于能耗衔接最小一般是指工序间温度升降最小和流程时间最短，本申请考虑的是时间一定，也即本发明实施例所指的能耗衔接最小就是指炼钢流程各阶段温度升降最小。

实施例三

下面对本发明具体实施方案情况进一步说明，本发明实施例在某钢厂150m³转炉和150m³LF精炼炉进行试验测试一种炼钢—连铸界面衔接节能方法，具体包括如下步骤：

1)数据预处理。将转炉、LF精炼炉和连铸机检测装置上的采集来的数据进行相关处理提高数据的质量，本案例获取了2018年1月到2018年6月的数据，具体步骤如下：

①：采用箱线图法剔除异常数据，通过异常值处理，本实施例共剔除156个异常数据。

②：按行统计每个样本的属性缺失值的个数，将缺失值的个数按照从小到大排序，以序号为横坐标，缺失值的个数为纵坐标。分别画出训练集和测试集缺失值个数统计的散点图，把散点图中不一致的地方当作离群点删掉，再把其他的缺失值根据前后两时刻的值进行填补，本实施例共填补362个缺失数据。

③：归一化处理。

2)钢水传搁过程温降模型的建立。分析钢水传搁阶段，影响钢水温度的因素为包衬吸收热量以及钢包表面通过辐射散热，从而得到变量为：钢水出站温度、传搁时间、钢水量。对处理过的传搁过程数据用统计方法来拟合，将经过上述过程处理的样本按照一定比例组成，用于模型的训练和预测。把数据输入到多项式方程中，通过搜索法找到模型的最优参数，得到预测结果，转炉到LF精炼炉阶段的测试集共25个，总共命中了20个，命中率为80％(温度在绝对误差在±5度)，如图6所示。LF精炼炉到连铸机阶段的测试集共25个，总共命中了21个，命中率为84％(温度在绝对误差在±5度)，如图7。图中三角形表示测试样本的实际值，圆圈表示测试样本的预测值，横坐标为测试样本的编号(炉次)。

3)建立温度分类模型和寻优算法。定义状态空间，转炉与LF精炼炉的温升温降受操作量的多少影响，因此转炉和LF精炼炉温度每改变1℃，为一个状态空间。定义动作空间，转炉的动作空间为其操作量—渣料量、废钢量、气体量，LF精炼炉的动作空间为渣料量、喂丝量、通电时长。初始化强化学习中状态学习的参数，包括学习速率、折扣因子、状态值，结合传搁过程的温降模型，炼钢流程通过感知获得当前状态s，并根据动作选择策略选择当前状态s下最优动作，动作选择策略采用Boltzmann策略，获得状态动作对的最优状态值，Agent需要反复尝试每个状态动作对以获得每个状态动作对的最优状态值，一次学习过程结束，等待或者马上进入下一个学习过程，直到状态值收敛，得到最优决策，选择最佳的一个炼钢-连铸过程的策略过程。随着在历史数据中不停地进行之后，选取了30个炉次，如图8所示的界面衔接能耗图，使用该类方法进行控制后，达到了节约能源的目的，使工序衔接紧凑。

参照图9，本发明实施例提出的炼钢-连铸界面衔接节能系统，包括：

存储器10、处理器20以及存储在存储器20上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现本实施例提出的炼钢-连铸界面衔接节能方法的步骤。

本实施例的一种炼钢-连铸界面衔接节能系统的具体工作过程和工作原理可参照本实施例中的一种炼钢-连铸界面衔接节能方法的工作过程和工作原理。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种炼钢-连铸界面衔接节能方法，其特征在于，所述方法包括：

获取炼钢-连铸流程各阶段的运行数据，所述炼钢-连铸流程包括转炉阶段、转炉至LF精炼炉传搁阶段、LF精炼炉阶段、LF精炼炉至连铸机传搁阶段以及连铸阶段；

基于钢包传热机理，并运用查阅机理参数建立转炉至LF精炼炉传搁阶段温降模型以及LF精炼炉至连铸机传搁阶段温降模型；

基于所述转炉至LF精炼炉传搁阶段温降模型、所述LF精炼炉至连铸机传搁阶段温降模型，以及预设的炼钢-连铸流程节能目标函数，获得所述转炉阶段和LF精炼炉阶段的最佳温度差；

基于所述转炉阶段和LF精炼炉阶段的最佳温度差，以及根据所述转炉阶段和LF精炼炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得炼钢-连铸流程的最优操作量组合。

2.根据权利要求1所述的炼钢-连铸界面衔接节能方法，其特征在于，所述转炉至LF精炼炉传搁阶段温降模型以及LF精炼炉至连铸机传搁阶段温降模型分别为：

其中，T₂为转炉至LF精炼炉传搁阶段的钢水内部温度，T₀为转炉出站环境温度，T₀′为精炼炉出站环境温度，T₁为转炉出站温度，T₄为LF精炼炉至连铸机传搁阶段的钢水内部温度，T₃为LF精炼炉出站温度，h_底为钢水与底部的对流换热系数，X_底为钢水底部表面积，σ_表面为等效修正后的“辐射换热系数”，X_表面为钢水表面面积，h_四周为钢水表面的对流换热系数，X_四周为钢水与四周的接触面积，τ为钢水运输任一时刻，C为钢水的定压比热容，取值为450J/(kg·℃)，M为钢包内钢水的质量。

3.根据权利要求1或2所述的炼钢-连铸界面衔接节能方法，其特征在于，基于所述转炉至LF精炼炉传搁阶段温降模型、所述LF精炼炉至连铸机传搁阶段温降模型，以及预设的炼钢-连铸流程节能目标函数，获得所述转炉阶段和LF精炼炉阶段的最佳温度差包括：

预设炼钢-连铸流程节能目标函数，具体为：

其中，T为炼钢-连铸流程各阶段温度差，T₁为转炉出站温度，T₂为转炉至LF精炼炉传搁阶段的钢水内部温度，T₃为LF精炼炉出站温度，T₄为LF精炼炉至连铸机传搁阶段的钢水内部温度，T₅为连铸机出站温度；

基于所述炼钢-连铸流程节能目标函数，获得所述转炉阶段和LF精炼炉阶段的最佳温度差。

4.根据权利要求3所述的炼钢-连铸界面衔接节能方法，其特征在于，基于所述转炉阶段和LF精炼炉阶段的最佳温度差，以及根据所述转炉阶段和LF精炼炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得炼钢-连铸流程的最优操作量组合包括：

基于所述转炉阶段的最佳温度差，以及根据所述转炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得所述转炉阶段的最优操作量；

基于所述LF精炼炉阶段的最佳温度差，以及根据所述LF精炼炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得所述LF精炼炉阶段的最优操作量；

根据所述转炉阶段的最优操作量和所述LF精炼炉阶段的最优操作量，获得所述炼钢-连铸流程的最优操作量组合。

5.根据权利要求4所述的炼钢-连铸界面衔接节能方法，其特征在于，基于所述转炉阶段的最佳温度差，以及根据所述转炉阶段中的操作量与温度升降匹配关系，使用强化学习方法获得所述转炉阶段的最优操作量包括：

定义转炉的状态空间，所述转炉的状态空间S_转炉具体为：

S_转炉＝{s₁,s₂,…,s₈}，

其中，s₁为转炉温度差ΔT_转＝20℃变成ΔT_转＝21℃时对应的状态，s₂为转炉温度差ΔT_转＝21℃变成ΔT_转＝22℃时对应的状态，s₃为转炉温度差ΔT_转＝22℃变成ΔT_转＝23℃时对应的状态，逐此类推，s₈为转炉温度差ΔT_转＝27℃变成ΔT_转＝28℃时对应的状态；

定义转炉的动作空间，所述转炉的动作空间为转炉的操作量集合；

利用强化学习方法获得所述转炉阶段的最优操作量。

6.根据权利要求5所述的炼钢-连铸界面衔接节能方法，其特征在于，利用强化学习方法获得所述转炉阶段的最优操作量包括：

定义强化学习方法中采用的状态值函数，具体为：

其中，Q′(s_t,a_t)为在t时刻，转炉状态为s_t时采用操作量a_t获得的状态值的迭代值，Q(s_t,a_t)为在t时刻，转炉状态为s_t时采用操作量a_t获得的状态值，s_t为转炉在t时刻对应的状态，a_t为在t时刻，转炉状态为s_t时采用的操作量，Q(s_t+1,a_t+1)为在t+1时刻，转炉状态为s_t+1时采用操作量a_t+1获得的状态值，s_t+1为转炉在t+1时刻对应的状态，a_t+1为在t+1时刻，转炉状态为s_t+1时采用的操作量，α为学习速率，γ为折扣系数，r_t+1为转炉的状态为s_t时采用的操作量a_t使转炉的状态变为s_t+1时收到的立即奖励，A(s_t+1)为状态s_t+1对应的操作量集合；

根据所述状态值函数进行状态值的计算与更新，直至状态值收敛，从而获得所述转炉阶段的最优操作量。

7.一种炼钢-连铸界面衔接节能系统，其特征在于，所述系统包括：

存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1至6任一所述方法的步骤。