CN115981151A - 阀门开度控制方法、装置、可读存储介质及电子设备 - Google Patents

Abstract

本公开涉及一种阀门开度控制方法、装置、可读存储介质及电子设备，该方法包括：根据历史样本数据及时间标签训练初始优化模型，得到优化模型，历史样本数据中包括燃煤机组的多个生产状态与阀门开度动作的对应关系，以及多个生产状态中每个生产状态对应的奖励值，将燃煤机组的当前状态输入优化模型，得到基于当前生产状态获取的最大奖励值的控制指令，根据控制指令调整燃煤机组的阀门开度；根据燃煤机组的历史生产状态及各个生产状态对应的奖励值得到优化模型，根据优化模型获取到对应的控制指令，根据控制指令调节燃煤机组的阀门开度，可以使得燃煤机组在线燃烧的汽温维持在最优范围内，从而取得当前生产状态的最优控制效果。

Description

阀门开度控制方法、装置、可读存储介质及电子设备

技术领域

本公开涉及计算机技术领域，具体地，涉及一种阀门开度控制方法、装置、可读存储介质及电子设备。

背景技术

目前，基于燃煤机组进行发电仍然是主流的发电方式之一，节能降碳不仅关乎燃煤机组发电的未来发展，更关乎着能源安全和能源的高质量发展，技术升级是节能降碳的重要推手；与此同时，新型电力系统背景下，新能源将逐步成为电量主体，传统火电尤其是燃煤机组角色将发生根本性转变，短期看依然发挥重要作用，但在此过程中尽快实现灵活性转型，具备超低负荷、快速变负荷、日开夜停等能力是燃煤机组的唯一出路；此外，随着发电机组全面入市，对燃煤电站运营方式产生了较大影响，全方位降本增效对于燃煤机组市场竞争能力的提升至关重要。

燃煤机组的节能升级和灵活性改造成为火电企业转型发展的首要任务，这势必对主汽温控制系统提出更高的要求，传统PID(Proportional Integral Derivative)控制系统已不能适应新形势下主汽温控制系统的需求，如何保证工况在频繁波动和大范围波动下的控制效果成为亟待解决的问题。

发明内容

本公开的目的是提供一种阀门开度控制方法、装置、电子设备及可读存储介质。

根据本公开实施例的第一方面，提供一种阀门开度控制方法，包括：根据历史样本数据及时间标签训练初始优化模型，得到优化模型；所述历史样本数据中包括燃煤机组的多个生产状态与阀门开度动作的对应关系，以及所述多个生产状态中每个生产状态对应的奖励值；将所述燃煤机组的当前状态输入所述优化模型，得到基于所述当前生产状态获取的最大奖励值的控制指令；根据所述控制指令调整所述燃煤机组的阀门开度。

可选地，所述根据历史样本数据及时间标签训练初始优化模型，得到优化模型，包括：根据所述历史样本数据及所述时间标签迭代更新所述初始优化模型的参数，直到迭代次数达到指定阈值。

可选地，所述生产状态包括负荷指令、主蒸汽压力、主蒸汽流量、给水流量、给水温度、给煤量、总风量、燃料主指令、机组负荷、A侧一级减温器入口温度、A侧一级减温水流量、A侧一级减温水调节阀门开度、A侧一级减温器出口温度、B侧一级减温器入口温度、B侧一级减温水流量、B侧一级减温水调节阀门开度、B侧一级减温器出口温度、A侧二级减温器入口温度、A侧二级减温水流量、A侧二级减温水调节阀门开度、A侧二级减温器出口温度、B侧二级减温器入口温度、B侧二级减温水流量、B侧二级减温水调节阀门开度、B侧二级减温器出口温度、A侧末级过热器出口温度、B侧末级过热器出口温度中的至少一个的状态。

可选地，根据所述燃煤机组出口的实际温度、标准设定温度及实际设定温度获取各个所述生产状态对应的奖励值。

可选地，所述各个生产状态对应的奖励值的计算公式包括：

其中，reward为所述奖励值；t为所述燃煤机组出口的实际温度；T_set为所述燃煤机组出口的标准设定温度，T为所述燃煤机组出口的实际设定温度。

可选地，所述优化模型基于所述当前生产状态获取所述奖励值的计算公式包括：

若所述当前生产状态为最终生产状态，则

Q_t(s_j,a_j)＝r_j

其中，Q_t(S_j，a_j)为生产状态S_j及阀门开度动作a_j对应的奖励值，r_j为生产状态S_j对应的reward；

若所述当前生产状态为非最终生产状态，则

Q_t(s_j,a_j)＝r_j+γmaxQ_t(s_j,a′,θ′)

其中，Q_t(S_j，a_j)为生产状态S_j及阀门开度动作a_j对应的奖励值，r_j为生产状态S_j对应的reward，γ为折扣因子，θ′为当前选中的阀门开度动作a′被选中大的概率；maxQ_t(s_j，a′，θ′)为生产状态s_j及阀门开度动作a′对应的最大奖励值，α为学习速率，

为第t轮行为收益，H为新状态

的历史最大奖励值。

根据本公开实施例的第二方面，提供一种阀门开度控制装置，包括：训练模块，用于根据历史样本数据及时间标签训练初始优化模型，得到优化模型；所述历史样本数据中包括燃煤机组的多个生产状态与阀门开度动作的对应关系，以及所述多个生产状态中每个生产状态对应的奖励值；处理模块，用于将所述燃煤机组的当前状态输入所述优化模型，得到基于所述当前生产状态获取的最大奖励值的控制指令；调整模块，用于根据所述控制指令调整所述燃煤机组的阀门开度。

可选地，所述训练模块，还用于根据所述历史样本数据及所述时间标签迭代更新所述初始优化模型的参数，直到迭代次数达到指定阈值。

根据本公开实施例的第三方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现前述的阀门开度控制方法的步骤。

根据本公开实施例的第四方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现前述的阀门开度控制方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：本公开能够根据历史样本数据及时间标签训练初始优化模型，得到优化模型，历史样本数据中包括燃煤机组的多个生产状态与阀门开度动作的对应关系，以及多个生产状态中每个生产状态对应的奖励值，将燃煤机组的当前状态输入优化模型，得到基于当前生产状态获取的最大奖励值的控制指令，根据控制指令调整燃煤机组的阀门开度；根据燃煤机组的历史生产状态及各个生产状态对应的奖励值得到优化模型，根据优化模型获取到对应的控制指令，根据控制指令调节燃煤机组的阀门开度，可以使得燃煤机组在线燃烧的汽温维持在最优范围内，从而取得当前生产状态的最优控制效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是本公开示例性实施例示出的计算机系统的结构示意图。

图2是本公开示例性实施例示出的一种阀门开度控制方法的流程图。

图3是本公开示例性实施例示出的一种阀门开度控制装置框图。

图4是本公开示例性实施例示出的一种电子设备的框图。

图5是本公开示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是本公开示例性实施例示出的计算机系统的结构示意图，该计算机系统包括终端120和服务器140。

终端120与服务器140之间通过有线或者无线网络相互连接。

终端120为搭载自动控制系统(Distributed control system，DCS)的终端设备。

终端120包括显示器；显示器用于显示燃煤机组的各个生产状态。

终端120包括第一存储器和第一处理器。第一存储器中存储有第一程序；上述第一程序被第一处理器调用执行以实现本公开提供的阀门开度控制方法。第一存储器可以包括但不限于以下几种：随机存取存储器(Random Access Memory，RAM)、只读存储器(ReadOnly Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)、以及电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)。

第一处理器可以是一个或者多个集成电路芯片组成。可选地，第一处理器可以是通用处理器，比如，中央处理器(Central Processing Unit，CPU)或者网络处理器(NetworkProcessor，NP)。

服务器140包括第二存储器和第二处理器。第二存储器中存储有第二程序，上述第二程序被第二处理器调用来实现本公开提供的阀门开度控制方法。可选地，第二存储器可以包括但不限于以下几种：RAM、ROM、PROM、EPROM、EEPROM。可选地，第二处理器可以是通用处理器，比如，CPU或者NP。

服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是搭载自动控制系统(Distributed control system，DCS)的终端设备，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本公开在此不做限制。

本公开的目的在于克服相关技术中，由于目前燃煤机组主汽温优化控制手段单一、宽负荷工况下适应能力不强，造成燃煤机组经济性安全性难以保障的弊端，因此本公开提供一种阀门开度控制方法，用于控制燃煤机组的阀门开度，进而控制燃煤机组的主汽温。

请参阅图2，图2是本公开示例性实施例示出的一种阀门开度控制方法的流程图。该方法由计算机设备来执行，例如，由图1所述的计算机系统中的终端或服务器来执行。图2所示的阀门开度控制方法包括以下步骤：

在步骤S101中，根据历史样本数据及时间标签训练初始优化模型，得到优化模型。

历史样本数据中包括燃煤机组的多个历史生产状态与阀门开度动作的对应关系，以及多个生产状态中每个生产状态对应的奖励值，生产状态为燃煤机组燃烧发电时的各个状态数据，示例性的，生产状态可以包括但不限于负荷指令、主蒸汽压力、主蒸汽流量、给水流量、给水温度、给煤量、总风量、燃料主指令、机组负荷、A侧一级减温器入口温度、A侧一级减温水流量、A侧一级减温水调节阀门开度、A侧一级减温器出口温度、B侧一级减温器入口温度、B侧一级减温水流量、B侧一级减温水调节阀门开度、B侧一级减温器出口温度、A侧二级减温器入口温度、A侧二级减温水流量、A侧二级减温水调节阀门开度、A侧二级减温器出口温度、B侧二级减温器入口温度、B侧二级减温水流量、B侧二级减温水调节阀门开度、B侧二级减温器出口温度、A侧末级过热器出口温度、B侧末级过热器出口温度中的至少一个的状态数据。

其中， 阀门开度的取值范围为0-100％，0表示阀门全关， 100％表示阀门全开，示例性的，可以每隔5％作为一个状态点，共计20个状态点。状态与阀门开度(策略a)之间的对应关系如下表所示：

其中，状态s₁对应的阀门开度为a₁，对应的奖励值记为Q(s₁, a₁)；状态s₂和a₂对应的奖励值记为Q(s₂, a₂)，以此类推，表中其他状态与策略对应的奖励值，在此不在赘述。

生产状态为燃煤机组燃烧发电时的各个状态数据，即各个状态数据的取值，而各个状态数据的取值分别对应一个生产状态，一个生产状态对应一个奖励值(reward)，reward可以根据燃煤机组的出口温度确定，示例性的，可以根据燃煤机组出口的实际温度、标准设定温度及实际设定温度确定各个生产状态对应的奖励值，燃煤机组出口的实际温度包括上述的A侧一级减温器出口温度、B侧一级减温器出口温度、A侧二级减温器出口温度、B侧二级减温器出口温度。一种实施方式中，在出口的实际温度等于标准设定温度的情况下，reward最大，此时的reward等于0；在出口的实际温度小于标准设定温度的情况下，reward为负，但比较接近0；在出口的实际温度小于标准设定温度的情况下，reward为负且较小，即远小于0，实际生产过程中不希望发生此类情况，惩罚较大，出口的实际温度越接近标准设定温度，reward就越大。

一种实施方式中，各个生产状态对应的奖励值的计算公式包括：

其中，reward为奖励值；t为燃煤机组出口的实际温度；T_set为燃煤机组出口的标准设定温度，T为燃煤机组出口的实际设定温度。

由DCS获取历史样本数据，将历史样本数据转化为样本向量，并加入时间标签，用于训练初始优化模型，时间标签为获取到各个生产状态的时间。一种实施方式中，初始优化模型为基于深度强化学习算法的DQN网络(Deep Q Networks)。根据历史样本数据及时间标签迭代更新初始优化模型的参数，直到迭代次数达到指定阈值N，从而得到优化模型，N可以基于经验数据确定，或是基于其他可行的方式确定，本公开对此不做限制。

优化模型基于所述当前生产状态获取所述奖励值的计算公式包括：

若当前生产状态为最终生产状态，则

Q_t(s_j,a_j)＝r_j

其中，Q_t(S_j，a_j)为生产状态S_j及阀门开度动作a_j对应的奖励值，r_j为生产状态S_j对应的reward；

若当前生产状态为非最终生产状态，则

Q_t(s_j,a_j)＝r_j+γmaxQ_t(s_j,a′,θ′)

其中，Q_t(S_j，a_j)为生产状态S_j及阀门开度动作a_j对应的奖励值，r_j为生产状态S_j对应的reward，γ为折扣因子，θ′为当前选中的阀门开度动作a′被选中大的概率；maxQ_t(s_j，a′，θ′)为生产状态s_j及阀门开度动作a′对应的最大奖励值，α为学习速率，

为第t轮行为收益，H为新状态

的历史最大奖励值。

在步骤S102中，将燃煤机组的当前状态输入优化模型，得到基于当前生产状态获取的最大奖励值的控制指令。

示例性的，可以由DCS获取燃煤机组的当前状态，当前状态为上述的各个状态数据的具体取值，优化模型可以基于当前状态计算出使燃煤机组在线燃烧的汽温维持在最优范围内的阀门开度，并以控制指令的方式输出该阀门开度。

在步骤S103中，根据控制指令调整燃煤机组的阀门开度。

在前述步骤中得到阀门开度后，根据控制指令调整燃煤机组的阀门开度，进而使燃煤机组在线燃烧的汽温维持在最优范围内。

综上所述，本公开提供的阀门开度控制方法，包括根据历史样本数据及时间标签训练初始优化模型，得到优化模型，历史样本数据中包括燃煤机组的多个生产状态与阀门开度动作的对应关系，以及多个生产状态中每个生产状态对应的奖励值，将燃煤机组的当前状态输入优化模型，得到基于当前生产状态获取的最大奖励值的控制指令，根据控制指令调整燃煤机组的阀门开度；根据燃煤机组的历史生产状态及各个生产状态对应的奖励值得到优化模型，根据优化模型获取到对应的控制指令，根据控制指令调节燃煤机组的阀门开度，可以使得燃煤机组在线燃烧的汽温维持在最优范围内，从而取得当前生产状态的最优控制效果。

图3是本公开示例性实施例示出的一种阀门开度控制装置框图。参照图3，阀门开度控制装置20包括训练模块201，处理模块202和调整模块203。

该训练模块201，用于根据历史样本数据及时间标签训练初始优化模型，得到优化模型；所述历史样本数据中包括燃煤机组的多个生产状态与阀门开度动作的对应关系，以及所述多个生产状态中每个生产状态对应的奖励值；

该处理模块202，用于将所述燃煤机组的当前状态输入所述优化模型，得到基于所述当前生产状态获取的最大奖励值的控制指令；

该调整模块203，用于根据所述控制指令调整所述燃煤机组的阀门开度。

可选地，该该训练模块201，还用于根据所述历史样本数据及所述时间标签迭代更新所述初始优化模型的参数，直到迭代次数达到指定阈值。

可选地，所述生产状态包括负荷指令、主蒸汽压力、主蒸汽流量、给水流量、给水温度、给煤量、总风量、燃料主指令、机组负荷、A侧一级减温器入口温度、A侧一级减温水流量、A侧一级减温水调节阀门开度、A侧一级减温器出口温度、B侧一级减温器入口温度、B侧一级减温水流量、B侧一级减温水调节阀门开度、B侧一级减温器出口温度、A侧二级减温器入口温度、A侧二级减温水流量、A侧二级减温水调节阀门开度、A侧二级减温器出口温度、B侧二级减温器入口温度、B侧二级减温水流量、B侧二级减温水调节阀门开度、B侧二级减温器出口温度、A侧末级过热器出口温度、B侧末级过热器出口温度中的至少一个的状态。

可选地，该处理模块202，还用于根据所述燃煤机组出口的实际温度、标准设定温度及实际设定温度获取各个所述生产状态对应的奖励值。

可选地，所述各个生产状态对应的奖励值的计算公式包括：

其中，reward为所述奖励值；t为所述燃煤机组出口的实际温度；T_set为所述燃煤机组出口的标准设定温度，T为所述燃煤机组出口的实际设定温度。

可选地，所述优化模型基于所述当前生产状态获取所述奖励值的计算公式包括：

若所述当前生产状态为最终生产状态，则

Q_t(s_j,a_j)＝r_j

其中，Q_t(S_j，a_j)为生产状态S_j及阀门开度动作a_j对应的奖励值，r_j为生产状态S_j对应的reward；

若所述当前生产状态为非最终生产状态，则

Q_t(s_j,a_j)＝r_j+γmaxQ_t(s_j,a′,θ′)

其中，Q_t(S_j，a_j)为生产状态S_j及阀门开度动作a_j对应的奖励值，r_j为生产状态S_j对应的reward，γ为折扣因子，θ′为当前选中的阀门开度动作a′被选中大的概率；maxQ_t(s_j，a′，θ′)为生产状态s_j及阀门开度动作a′对应的最大奖励值，α为学习速率，

为第t轮行为收益，H为新状态

的历史最大奖励值。

综上所述，本公开提供的阀门开度控制装置，包括根据历史样本数据及时间标签训练初始优化模型，得到优化模型，历史样本数据中包括燃煤机组的多个生产状态与阀门开度动作的对应关系，以及多个生产状态中每个生产状态对应的奖励值，将燃煤机组的当前状态输入优化模型，得到基于当前生产状态获取的最大奖励值的控制指令，根据控制指令调整燃煤机组的阀门开度；根据燃煤机组的历史生产状态及各个生产状态对应的奖励值得到优化模型，根据优化模型获取到对应的控制指令，根据控制指令调节燃煤机组的阀门开度，可以使得燃煤机组在线燃烧的汽温维持在最优范围内，从而取得当前生产状态的最优控制效果。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备400可以被提供为一燃煤机组。如图4所示，该电子设备400可以包括：处理器401，存储器402。该电子设备400还可以包括多媒体组件403，输入/输出(I/O)接口404，以及通信组件405中的一者或多者。

其中，处理器401用于控制该电子设备400的整体操作，以完成上述的阀门开度控制方法中的全部或部分步骤。存储器402用于存储各种类型的数据以支持在该电子设备400的操作，这些数据例如可以包括用于在该电子设备400上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器402可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件403可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器402或通过通信组件405发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口404为处理器401和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件405用于该电子设备400与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件405可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备400可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的阀门开度控制方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的阀门开度控制方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器402，上述程序指令可由电子设备400的处理器401执行以完成上述的阀门开度控制方法。

图5是根据一示例性实施例示出的另一种电子设备的框图。例如，电子设备500可以被提供为一服务器。参照图5，电子设备500包括处理器522，其数量可以为一个或多个，以及存储器532，用于存储可由处理器522执行的计算机程序。存储器532中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器522可以被配置为执行该计算机程序，以执行上述的阀门开度控制方法。

另外，电子设备500还可以包括电源组件526和通信组件550，该电源组件526可以被配置为执行电子设备500的电源管理，该通信组件550可以被配置为实现电子设备500的通信，例如，有线或无线通信。此外，该电子设备500还可以包括输入/输出(I/O)接口558。电子设备500可以操作基于存储在存储器532的操作系统。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的阀门开度控制方法的步骤。例如，该非临时性计算机可读存储介质可以为上述包括程序指令的存储器532，上述程序指令可由电子设备500的处理器522执行以完成上述的阀门开度控制方法。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的阀门开度控制方法的代码部分。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种阀门开度控制方法，其特征在于，包括：

根据历史样本数据及时间标签训练初始优化模型，得到优化模型；所述历史样本数据中包括燃煤机组的多个生产状态与阀门开度动作的对应关系，以及所述多个生产状态中每个生产状态对应的奖励值；

将所述燃煤机组的当前状态输入所述优化模型，得到基于所述当前生产状态获取的最大奖励值的控制指令；

根据所述控制指令调整所述燃煤机组的阀门开度。

2.根据权利要求1所述的方法，其特征在于，所述根据历史样本数据及时间标签训练初始优化模型，得到优化模型，包括：

根据所述历史样本数据及所述时间标签迭代更新所述初始优化模型的参数，直到迭代次数达到指定阈值。

3.根据权利要求1所述的方法，其特征在于，所述生产状态包括负荷指令、主蒸汽压力、主蒸汽流量、给水流量、给水温度、给煤量、总风量、燃料主指令、机组负荷、A侧一级减温器入口温度、A侧一级减温水流量、A侧一级减温水调节阀门开度、A侧一级减温器出口温度、B侧一级减温器入口温度、B侧一级减温水流量、B侧一级减温水调节阀门开度、B侧一级减温器出口温度、A侧二级减温器入口温度、A侧二级减温水流量、A侧二级减温水调节阀门开度、A侧二级减温器出口温度、B侧二级减温器入口温度、B侧二级减温水流量、B侧二级减温水调节阀门开度、B侧二级减温器出口温度、A侧末级过热器出口温度、B侧末级过热器出口温度中的至少一个的状态。

4.根据权利要求1所述的方法，其特征在于，还包括：根据所述燃煤机组出口的实际温度、标准设定温度及实际设定温度获取各个所述生产状态对应的奖励值。

5.根据权利要求4所述的方法，其特征在于，所述各个生产状态对应的奖励值的计算公式包括：

其中，reward为所述奖励值；t为所述燃煤机组出口的实际温度；T_set为所述燃煤机组出口的标准设定温度，T为所述燃煤机组出口的实际设定温度。

6.根据权利要求5所述的方法，其特征在于，所述优化模型基于所述当前生产状态获取所述奖励值的计算公式包括：

若所述当前生产状态为最终生产状态，则

Q_t(s_j,a_j)＝r_j

其中，Q_t(S_j，a_j)为生产状态S_j及阀门开度动作a_j对应的奖励值，r_j为生产状态S_j对应的reward；

若所述当前生产状态为非最终生产状态，则

Q_t(s_j,a_j)＝r_j+γmaxQ_t(s_j,a′,θ′)

其中，Q_t(S_j，a_j)为生产状态S_j及阀门开度动作a_j对应的奖励值，r_j为生产状态S_j对应的reward，γ为折扣因子，θ′为当前选中的阀门开度动作a′被选中大的概率；maxQ_t(s_j，a′，θ′)为生产状态s_j及阀门开度动作a′对应的最大奖励值，α为学习速率，

为第t轮行为收益，H为新状态

的历史最大奖励值。

7.一种阀门开度控制装置，其特征在于，包括：

训练模块，用于根据历史样本数据及时间标签训练初始优化模型，得到优化模型；所述历史样本数据中包括燃煤机组的多个生产状态与阀门开度动作的对应关系，以及所述多个生产状态中每个生产状态对应的奖励值；

处理模块，用于将所述燃煤机组的当前状态输入所述优化模型，得到基于所述当前生产状态获取的最大奖励值的控制指令；

调整模块，用于根据所述控制指令调整所述燃煤机组的阀门开度。

8.根据权利要求7所述的装置，其特征在于，所述训练模块，还用于根据所述历史样本数据及所述时间标签迭代更新所述初始优化模型的参数，直到迭代次数达到指定阈值。

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。

Images