CN118232333A - 一种基于深度强化学习的电网断面调控方法和装置 - Google Patents

Abstract

本申请涉及一种基于深度强化学习的电网断面调控方法和装置。所述方法包括：获取目标电网的初始电网状态数据以及电网调控智能模型；将初始电网状态数据输入至电网调控智能模型，确定针对目标电网的电网调控方式以及电网调控数据；根据电网调控方式以及电网调控数据，对目标电网的电网参数进行调整，输出调控电网状态数据；将调控电网状态数据反馈至电网调控智能模型，直到目标电网的电网断面数据的扰动小于扰动阈值。采用本方法能够实现对电网运行状态的实时监测和调整，保障电网的稳定运行，并最大程度地减少了人工干预的需求，提高了电网调控的效率和准确性。

Description

一种基于深度强化学习的电网断面调控方法和装置

技术领域

本申请涉及智能电网技术领域，特别是涉及基于深度强化学习的电网断面调控方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

电力系统是一个复杂的非线性系统，对于单个断面的控制策略不一定适用于其他断面，因此多断面控制问题是电网自动控制领域的难题。传统的生产实践中通常有电力操作员根据日常调度经验对断面进行修改，一方面严重依赖专家经验，另一方面难以应对复杂多变的大型电网，使得对电网的断面的控制精确度低下。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高对电网的断面的控制精确度的基于深度强化学习的电网断面调控方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种基于深度强化学习的电网断面调控方法，包括：

获取目标电网的初始电网状态数据以及电网调控智能模型；

将所述初始电网状态数据输入至所述电网调控智能模型，确定针对所述目标电网的电网调控方式以及电网调控数据；

根据所述电网调控方式以及所述电网调控数据，对所述目标电网的电网参数进行调整，输出调控电网状态数据；

将所述调控电网状态数据反馈至所述电网调控智能模型，直到所述目标电网的电网断面数据的扰动小于扰动阈值。

第二方面，本申请还提供了一种基于深度强化学习的电网断面调控装置，包括：

电网数据获取模块，用于获取目标电网的初始电网状态数据以及电网调控智能模型；

调控方式确定模块，用于将所述初始电网状态数据输入至所述电网调控智能模型，确定针对所述目标电网的电网调控方式以及电网调控数据；

调控数据输出模块，用于根据所述电网调控方式以及所述电网调控数据，对所述目标电网的电网参数进行调整，输出调控电网状态数据；

电网断面调控模块，用于将所述调控电网状态数据反馈至所述电网调控智能模型，直到所述目标电网的电网断面数据的扰动小于扰动阈值。

第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取目标电网的初始电网状态数据以及电网调控智能模型；

将所述初始电网状态数据输入至所述电网调控智能模型，确定针对所述目标电网的电网调控方式以及电网调控数据；

根据所述电网调控方式以及所述电网调控数据，对所述目标电网的电网参数进行调整，输出调控电网状态数据；

将所述调控电网状态数据反馈至所述电网调控智能模型，直到所述目标电网的电网断面数据的扰动小于扰动阈值。

第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取目标电网的初始电网状态数据以及电网调控智能模型；

将所述初始电网状态数据输入至所述电网调控智能模型，确定针对所述目标电网的电网调控方式以及电网调控数据；

根据所述电网调控方式以及所述电网调控数据，对所述目标电网的电网参数进行调整，输出调控电网状态数据；

将所述调控电网状态数据反馈至所述电网调控智能模型，直到所述目标电网的电网断面数据的扰动小于扰动阈值。

第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取目标电网的初始电网状态数据以及电网调控智能模型；

将所述初始电网状态数据输入至所述电网调控智能模型，确定针对所述目标电网的电网调控方式以及电网调控数据；

根据所述电网调控方式以及所述电网调控数据，对所述目标电网的电网参数进行调整，输出调控电网状态数据；

将所述调控电网状态数据反馈至所述电网调控智能模型，直到所述目标电网的电网断面数据的扰动小于扰动阈值。

上述一种基于深度强化学习的电网断面调控方法、装置、计算机设备、存储介质和计算机程序产品，通过获取目标电网的初始电网状态数据以及电网调控智能模型；将初始电网状态数据输入至电网调控智能模型，确定针对目标电网的电网调控方式以及电网调控数据；根据电网调控方式以及电网调控数据，对目标电网的电网参数进行调整，输出调控电网状态数据；将调控电网状态数据反馈至电网调控智能模型，直到目标电网的电网断面数据的扰动小于扰动阈值。

通过获取目标电网的初始状态数据和电网调控智能模型，系统能够全面了解电网的实时情况和特征，这种基于数据驱动的方法，使得电网调控过程不再依赖于静态规则或人工干预，而是能够根据实际情况动态调整和优化。将初始状态数据输入至电网调控智能模型，系统能够通过模型的智能分析和学习，确定最佳的电网调控方式和参数设置，这种基于智能模型的决策能力，使得系统能够更快速、更准确地做出决策，并适应电网运行状态的变化。根据模型输出的调控方式和数据，对目标电网的参数进行调整，实现对电网运行状态的优化。将调控后的数据反馈至电网调控智能模型，系统能够持续监测电网运行状态，并根据反馈信息进行进一步的优化和调整，以确保电网的稳定运行，这种循环反馈的机制，使得系统能够不断学习和提升自身的调控能力，逐步适应复杂多变的电网环境，提高电网调控的效率和可靠性。这一过程将实现对电网运行状态的实时监测和调整，保障电网的稳定运行，并最大程度地减少了人工干预的需求，提高了电网调控的效率和准确性。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中一种基于深度强化学习的电网断面调控方法的应用环境图；

图2为一个实施例中一种基于深度强化学习的电网断面调控方法的流程示意图；

图3为一个实施例中电网调控方式以及电网调控数据确定方法的流程示意图；

图4为一个实施例中电网调控数据检查方法的流程示意图；

图5为一个实施例中调控电网状态数据输出方法的流程示意图；

图6为一个实施例中调控数据反馈方法的流程示意图；

图7为一个实施例中电网断面数据检查方法的流程示意图；

图8为一个实施例中一种基于深度强化学习的电网断面调控方法的系统示意图；

图9为一个实施例中一种基于深度强化学习的电网断面调控装置的结构框图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的一种基于深度强化学习的电网断面调控方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104通过终端102获取目标电网的初始电网状态数据以及电网调控智能模型；将初始电网状态数据输入至电网调控智能模型，确定针对目标电网的电网调控方式以及电网调控数据；根据电网调控方式以及电网调控数据，对目标电网的电网参数进行调整，输出调控电网状态数据；将调控电网状态数据反馈至电网调控智能模型，直到目标电网的电网断面数据的扰动小于扰动阈值。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个示例性的实施例中，如图2所示，提供了一种基于深度强化学习的电网断面调控方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤202至步骤208。其中：

步骤202，获取目标电网的初始电网状态数据以及电网调控智能模型。

其中，目标电网可以是需要进行电网断面调控的部分电网。

其中，初始电网状态数据可以是从电网中直接读取的到的数据，反映当前电网的运行状态的数据，例如：节点的电压、电流、功率等信息，以及线路的负载情况、变压器的状态等。数据可以通过传感器、监控设备或现有的电网监控系统实时获取。

其中，电网调控智能模型可以是通过训练得到神经网络调度智能体，在复杂电网环境下实现对电力系统实时调度指令的快速决策，兼顾电力系统运行的安全性和经济性的双重诉求。

具体地，通过电网监测系统获取目标电网的初始电网状态数据，包括各节点的电压、电流、负荷等信息，同时也调取目标电网对应的电网调控智能模型；其中，电网调控智能模型是通过利用样本数据进行深度强化学习等方法构建调控智能模型，通过对电网调控智能模型的训练，使其能够根据当前电网状态做出相应的调控动作，以确保电网的稳定运行和故障恢复。

步骤204，将初始电网状态数据输入至电网调控智能模型，确定针对目标电网的电网调控方式以及电网调控数据。

其中，电网调控方式可以是对电网的参数进行调控的具体方式。

其中，电网调控数据可以是对电网的参数进行调控的参考数据。

具体地，对获取到的初始电网状态数据进行预处理，包括数据清洗、去除异常值、数据插值填充等处理，以确保数据的准确性和完整性。然后，对数据进行归一化处理，将各个特征的取值范围映射到相同的尺度，以便于电网调控智能模型的训练和处理。将经过预处理的电网状态数据输入至预先训练好的电网调控智能模型中，通过智能模型可以是基于深度学习的神经网络模型，也可以是其他类型的模型，如强化学习模型或规则引擎，电网调控智能模型会对输入的电网状态数据进行分析和处理，以确定最优的电网调控方式。基于输入的电网状态数据，智能模型会确定针对目标电网的电网调控方式，这包括确定需要调整的节点参数，如发电机输出功率、变压器变比等，以及需要调整的线路开关状态，如闭合或断开某些线路等，电网调控方式的确定通常是通过模型内部的策略网络或价值函数来实现的。一旦确定了电网调控方式，电网调控智能模型将生成相应的电网调控数据。电网调控数据包括调整的参数值和开关状态，以及相应的调控策略和建议，电网调控数据可以直接应用于实际电网中，由电网控制系统执行相应的调控动作，实现电网的稳定运行和优化。

步骤206，根据电网调控方式以及电网调控数据，对目标电网的电网参数进行调整，输出调控电网状态数据。

其中，调控电网状态数据对目标电网进行调控后输出的状态数据。

具体地，根据确定的电网调控方式，对目标电网的电网参数进行相应的调整，这涉及调整发电机输出功率、变压器的变比、线路的开关状态等操作。在应用电网调控数据之后，使用仿真工具或仿真环境模拟电网的运行情况。通过潮流计算等方法，评估调控操作对电网状态的影响，以验证调控的有效性和安全性。根据模拟结果，生成调控后的电网状态数据，包括调整后的各节点的电压、电流、负荷等信息，以及线路的负载情况、变压器的状态等，这些数据可以用于实际电网的操作和监控。

步骤208，将调控电网状态数据反馈至电网调控智能模型，直到目标电网的电网断面数据的扰动小于扰动阈值。

其中，扰动阈值可以是针对电网断面数据的扰动进行评价的数据。

具体地，在目标电网的电网断面数据的扰动大于扰动阈值的情况下，表明目标电网的调控并未达到预设的状态，因此将经过调控的调控电网状态数据反馈至电网调控智能模型，这包括调整后的各节点电压、电流、负荷等信息，以及线路的负载情况、变压器状态等。电网调控智能模型将使用这些调控电网状态数据，或者结合那个时刻新的初始电网状态数据来评估调控效果，并进一步优化调控策略。在电网调控智能模型接收到反馈数据重新进行调控后，再次对电网断面数据的扰动进行评估，扰动可以通过计算电网断面数据与目标状态数据之间的差异来衡量，如节点电压的偏差、线路负载的变化等。将评估得到的扰动与预先设定的扰动阈值进行比较。如果电网断面数据的扰动小于扰动阈值，则说明电网已经达到了稳定状态，调控过程结束；否则，继续反馈调控电网状态数据至电网调控智能模型，进行下一轮的调控，不断重复以上步骤，直到电网断面数据的扰动小于扰动阈值为止。这意味着电网已经达到了稳定状态，调控过程结束。通过迭代的方式，可以确保电网调控智能模型能够持续优化调控策略，使电网能够快速稳定并保持稳定状态。

上述一种基于深度强化学习的电网断面调控方法中，通过获取目标电网的初始电网状态数据以及电网调控智能模型；将初始电网状态数据输入至电网调控智能模型，确定针对目标电网的电网调控方式以及电网调控数据；根据电网调控方式以及电网调控数据，对目标电网的电网参数进行调整，输出调控电网状态数据；将调控电网状态数据反馈至电网调控智能模型，直到目标电网的电网断面数据的扰动小于扰动阈值。如图8所示，为一种基于深度强化学习的电网断面调控系统的示意图。

通过获取目标电网的初始状态数据和电网调控智能模型，系统能够全面了解电网的实时情况和特征，这种基于数据驱动的方法，使得电网调控过程不再依赖于静态规则或人工干预，而是能够根据实际情况动态调整和优化。将初始状态数据输入至电网调控智能模型，系统能够通过模型的智能分析和学习，确定最佳的电网调控方式和参数设置，这种基于智能模型的决策能力，使得系统能够更快速、更准确地做出决策，并适应电网运行状态的变化。根据模型输出的调控方式和数据，对目标电网的参数进行调整，实现对电网运行状态的优化。将调控后的数据反馈至电网调控智能模型，系统能够持续监测电网运行状态，并根据反馈信息进行进一步的优化和调整，以确保电网的稳定运行，这种循环反馈的机制，使得系统能够不断学习和提升自身的调控能力，逐步适应复杂多变的电网环境，提高电网调控的效率和可靠性。这一过程将实现对电网运行状态的实时监测和调整，保障电网的稳定运行，并最大程度地减少了人工干预的需求，提高了电网调控的效率和准确性。

在一个示例性的实施例中，如图3所示，将初始电网状态数据输入至电网调控智能模型，确定针对目标电网的电网调控方式以及电网调控数据，包括步骤302至步骤304。其中：

步骤302，将初始电网状态数据输入至电网调控智能模型，确定目标电网的连续调控动作和离散调控动作。

其中，连续调控动作可以是对电网进行不间断调控的调控指令。

其中，离散调控动作可以是对电网进行点断式调控的调控指令。

具体地，将获取到的初始电网状态数据经过预处理和归一化处理后，输入至电网调控智能模型中，通过电网调控智能模型，确定连续调控动作，如发电机输出功率的连续调整、变压器的变比调整等，这些动作通常可以在一个连续的范围内进行调整，例如发电机输出功率可以在一定范围内增加或减少。同时，也通过电网调控智能模型确定离散调控动作，如切换线路、开关断路器等，这些动作是一些离散的操作，只能在有限的几种状态中选择。在其中一种情况下，根据电网调控智能模型确定的连续调控动作，直接对目标电网进行相应的调整，这涉及到调整发电机输出功率、变压器的变比等操作，以实现对电网状态的精细调控；同时，根据电网调控智能模型确定的离散调控动作，直接对目标电网进行相应的操作，这包括切换线路、开关断路器等操作，以实现对电网拓扑结构的调整。根据实施的调控动作，生成调控后的调控电网状态数据，包括调整后的各节点的电压、电流、负荷等信息，以及线路的负载情况、变压器的状态等。

步骤304，根据连续调控动作和离散调控动作，确定针对目标电网的电网调控方式以及电网调控数据。

具体地，根据确定的连续调控动作和离散调控动作，综合考虑电网的运行状态和调控目标，确定针对目标电网的电网调控方式，这包括连续动作和离散动作的组合使用，以实现对电网状态的全面调控和优化。根据确定的电网调控方式，生成相应的电网调控数据，这些数据包括需要调整的节点参数、线路的开关状态等信息。连续调控动作的数据可以是一系列连续的数值，如发电机输出功率的具体值；离散调控动作的数据则是一组离散的状态，如线路的开关状态等。电网调控方式的确定通常是通过模型内部的策略网络或价值函数来实现的。一旦确定了电网调控方式，电网调控智能模型将根据连续调控动作和离散调控动作生成相应的电网调控数据。

本实施例中，通过将初始电网状态数据输入至电网调控智能模型，系统能够综合考虑电网的实时状态和各种调控手段，从而确定适用于目标电网的连续调控动作和离散调控动作。连续调控动作指的是可以平滑调整的参数，如发电机输出功率的微调；而离散调控动作则是离散的操作，例如线路的开关状态变更。通过这种方式，系统能够根据实际情况和需求，灵活选择合适的调控方式，并生成相应的电网调控数据。这使得电网调控更加精细化和个性化，能够更好地应对电网运行中的各种挑战和变化，提高了电网的稳定性和可靠性。

在一个示例性的实施例中，如图4所示，在根据连续调控动作和离散调控动作，确定针对目标电网的电网调控方式以及电网调控数据之后，方法还包括步骤402至步骤406。其中：

步骤402，根据电网调控方式以及电网调控数据进行潮流计算，得到电网调控模拟数据。

其中，电网调控模拟数据可以是使用电网调控方式以及电网调控数据进行模拟的到的模拟数据。

具体地，根据预先确定的电网调控方式和生成的电网调控数据，包括调整的节点参数、线路的开关状态等，利用电力系统的潮流计算工具，如牛顿-拉夫逊法或直流潮流计算方法等，对电网进行潮流计算。在计算过程中，考虑电网的拓扑结构、各节点的电压、电流等参数，以及调控数据中涉及的节点参数调整、线路开关状态变化等信息。根据潮流计算结果，生成电网调控模拟数据。电网调控模拟数据包括调整后的各节点的电压、电流、功率等信息，以及线路的负载情况、变压器的状态等，反映了电网在应用调控方式和数据后的实际运行状态。在其中一种可行的方式下，分析电网调控模拟数据，评估调控效果，通过比较模拟数据与目标电网运行要求的符合度，以及调控前后电网参数的变化情况，来判断电网调控的有效性和优化性。如果调控效果满足预期要求，则说明电网调控方式和数据是合理有效的；否则，可能需要进一步调整调控策略或数据，进行优化。

步骤404，根据电网调控方式以及电网调控数据进行安全性检查，得到电网调控安全数据。

其中，电网调控安全数据可以是表示电网调控方式以及电网调控数据的安全性的检查数据。

具体地，利用电力系统安全性评估工具，如潮流计算软件、短路分析工具等，对运用了电网调控方式和生成的电网调控数据的电网进行安全性检查。在检查过程中，考虑电网的拓扑结构、各节点的电压、电流等参数，以及调控数据中涉及的节点参数调整、线路开关状态变化等信息。根据安全性检查的结果，生成电网调控安全数据。电网调控安全数据反映了应用调控方式和数据后，电网的安全性情况，包括各节点电压是否在安全范围内、线路负载是否超过额定值、设备是否存在过载等情况。在一个可选择的实施例中，分析电网调控安全数据，评估调控的安全性。通过比较电网调控安全数据与电网安全标准的符合度，以及调控前后电网安全情况的变化，来判断调控的安全性和风险程度。如果调控后电网的安全性得到保障，符合预期要求，则说明电网调控方式和数据是合理有效的；否则，可能需要进一步调整调控策略或数据，以确保电网的安全运行。

步骤406，在电网调控模拟数据或者电网调控安全数据未能满足目标电网的电网调控标准的情况下，返回执行将初始电网状态数据输入至电网调控智能模型，确定针对目标电网的电网调控方式以及电网调控数据的步骤，直到电网调控模拟数据或者电网调控安全数据满足电网调控标准。

具体地，在电网调控模拟数据或者电网调控安全数据未能满足目标电网的电网调控标准的情况下，返回执行“将初始电网状态数据输入至电网调控智能模型，确定针对目标电网的电网调控方式以及电网调控数据”的步骤，直到评估生成的电网调控模拟数据或电网调控安全数据满足目标电网的电网调控标准，则结束调控过程；如果评估生成的电网调控模拟数据或电网调控安全数据依然不满足标准，则继续返回执行“将初始电网状态数据输入至电网调控智能模型，确定针对目标电网的电网调控方式以及电网调控数据”的步骤，重新确定电网调控方式和数据，直到生成的电网调控模拟数据或电网调控安全数据满足电网调控标准为止。

本实施例中，通过进行潮流计算和安全性检查，系统能够准确评估电网调控方式和数据的影响，得到电网调控模拟数据和安全数据，在这个基础上，系统会检查这些数据是否满足预设的电网调控标准，若满足标准，则说明当前的电网调控方案有效可行，但如果未能满足标准，系统将自动返回到初始状态，重新运行电网调控智能模型，确定新的电网调控方式和数据，直至满足电网调控标准为止。这一循环过程保证了电网调控的持续优化和自我修正，提高了电网运行的稳定性和安全性，同时降低了人为干预的需求，使得电网调控更加智能、高效和可靠。

在一个示例性的实施例中，如图5所示，根据电网调控方式以及电网调控数据，对目标电网的电网参数进行调整，输出调控电网状态数据，包括步骤502至步骤506。其中：

步骤502，根据电网调控方式以及电网调控数据，对目标电网的电网参数进行调整，输出中间电网状态数据。

其中，中间电网状态数据可以是对目标电网进行调控的中间输出参数。

具体地，根据电网调控方式和生成的电网调控数据，对目标电网的电网参数进行相应的调整，这涉及到调整发电机输出功率、变压器的变比、线路的开关状态等操作。将调整后的电网参数应用于目标电网中，实施相应的调整动作。这包括对电网设备的实际操作，如调整发电机输出功率、切换线路状态等。对调整后的电网进行潮流计算，以评估电网的运行状态。潮流计算可以利用电力系统仿真软件或工具进行，考虑电网的拓扑结构、设备参数、负荷情况等。根据潮流计算结果，生成中间电网状态数据。中间电网状态数据反映了调整后的电网参数在实际运行中的状态，包括各节点的电压、电流、功率等信息，以及线路的负载情况、设备的状态等。

步骤504，根据中间电网状态数据，生成电网调控智能模型的调控策略更新信息和价值函数更新信息，以及输出调控电网状态数据。

其中，调控策略更新信息可以是指引电网调控智能模型进行调整的方向的信息。

其中，价值函数更新信息可以是价值函数计算得到的信息，用于指引电网调控智能模型进行调整的具体参数。

具体地，利用生成的中间电网状态数据，生成对电网调控智能模型的调控策略更新信息，调控策略更新信息包括根据当前电网状态调整调控动作的选择和执行顺序等信息，更新过程可以基于强化学习算法，通过评估当前状态的价值和执行动作的优劣，更新模型中的策略信息；其中，策略更新信息的生成方式可以是基于梯度的方法，比如使用强化学习算法中的Q-learning、Policy Gradient等算法。同时，根据生成的中间电网状态数据，生成电网调控智能模型中的价值函数信息。价值函数信息通过价值函数反映了不同状态下的预期收益或奖励，通过学习和更新价值函数，电网调控智能模型可以更好地指导调控决策的制定和执行，更新过程可以通过强化学习算法中的值函数更新方法进行。根据中间电网状态数据对目标电网的电网参数进行调整，生成相应的调控电网状态数据。

步骤506，将调控策略更新信息和价值函数更新信息反馈至电网调控智能模型。

具体地，将获取到的调控策略更新信息和价值函数更新信息反馈至电网调控智能模型，这可以通过更新模型的参数、权重或其他相关变量来实现。在电网调控智能模型中，利用反馈的调控策略更新信息和价值函数更新信息，更新电网调控智能模型的调整策略和价值函数，这涉及到调整模型的神经网络结构、更新模型参数等操作，以提升模型在后续决策中的准确性和效果。在更新电网调控智能模型后，需要对模型进行重新训练，以进一步提升其性能和适应性。这可以通过使用反馈的调控策略更新信息和价值函数更新信息来构建训练样本集，然后利用样本集对电网调控智能模型进行重新训练。

本实施例中，通过根据电网调控方式和数据调整目标电网的电网参数，系统能够实时响应电网状态的变化，优化电网运行的参数设置，从而生成中间电网状态数据，利用这些中间状态数据，系统能够对电网调控智能模型进行更新，包括调控策略和价值函数的更新，这些更新信息能够反映当前电网运行的实际情况和需要，从而使得电网调控智能模型更加准确地指导电网调控操作，将这些调控策略更新信息和价值函数更新信息反馈至电网调控智能模型，不断优化模型的性能和适应性。这一过程实现了电网调控策略的动态调整和优化，提高了电网调控的智能化水平和适应性，从而保障了电网的稳定运行和安全性。

在一个示例性的实施例中，如图6所示，将调控策略更新信息和价值函数更新信息反馈至电网调控智能模型，包括步骤602至步骤606。其中：

步骤602，根据调控策略更新信息和价值函数更新信息，从电网调控智能模型中选取随机调控数据对电网调控智能模型进行更新，得到更新后电网调控智能模型。

其中，随机调控数据可以是电网调控智能模型中存储的电网调控数据任意选取的部分数据。

具体地，在电网调控智能模型的原本的数据集中，随机选择一部分数据作为随机调控数据，随机调控数据包括电网状态数据和对应的调控动作数据，用于更新电网调控智能模型的调整策略和价值函数。根据获得的调控策略更新信息和价值函数更新信息，结合选取的随机调控数据对电网调控智能模型的参数进行更新，这包括调整模型的权重、偏置、激活函数等参数，以使电网调控智能模型更好地适应最新的调控策略和价值函数。通过采用增量学习技术，将更新后的模型具有的数据集与原有的模型具有的训练数据集进行合并，然后重新训练模型，得到更新后的电网调控智能模型。

步骤604，对更新后电网调控智能模型的执行方式和执行效率进行优化，得到优化后电网调控智能模型。

具体地，采用模型压缩和量化技术，减少更新后电网调控智能模型的参数数量和计算量，提高模型在实时调控过程中的执行效率。进一步使用优化措施对更新后的电网调控智能模型进行改进和优化，综合考虑执行方式和执行效率的优化策略，对模型的结构、参数和计算过程进行调整，得到优化后电网调控智能模型。其中，优化的过程中需要探索新的动作以发现更好的策略，同时也要利用已知的策略来最大程度地提高效率，这可以通过使用ε-greedy策略等方法来实现，其中ε代表探索的概率，可以随着不断优化的进行逐渐减小。优化措施包括：1、利用硬件加速器（如GPU、TPU等）加速模型推理过程，提高模型的执行速度；2、通过并行计算技术，将模型的计算过程拆分为多个并行任务，在多个处理单元上同时执行，提高执行效率；3、利用缓存技术减少模型参数和数据的读取时间，提高数据访问效率；4、针对电网调控的特点，优化模型的算法设计，减少不必要的计算和内存开销，提高模型的执行效率；5、采用批处理技术，将多个调控任务合并为一个批次同时处理，减少模型调用和计算的开销，提高执行效率。

步骤606，将优化后电网调控智能模型作为电网调控智能模型。

具体地，将优化后的电网调控智能模型作为电网调控智能模型，这通过将优化后的模型文件或参数加载到电网调控系统中来实现。对替换后的电网调控智能模型进行验证，确保其在功能和性能上与原有模型相匹配，并且在实际应用中能够达到预期的效果。在实际调控场景中对替换后的模型进行测试和调优。通过模拟或实际的电网调控任务，评估优化后模型的性能和效果，并根据测试结果进行必要的调整和优化一旦确认优化后的模型能够满足电网调控需求并达到预期的效果，就可以将其部署到实际的电网调控系统中，并应用于实际的电网调控任务中。

本实施例中，根据调控策略更新信息和价值函数更新信息，从电网调控智能模型中选取随机调控数据进行更新，使得模型能够及时反映最新的调控策略和价值函数，对更新后的电网调控智能模型进行执行方式和执行效率的优化，包括模型的压缩、硬件加速、并行计算等技术，从而提高模型的运行速度和效率，将经过优化后的电网调控智能模型应用于实际的电网调控任务中，以取代原有的模型。通过这一过程可以使电网调控智能模型具备更强的实时性、准确性和适应性，为电网调控决策提供更为可靠和高效的支持，从而提升电网的稳定性和可靠性。

在一个示例性的实施例中，如图7所示，将调控电网状态数据反馈至电网调控智能模型，直到目标电网的电网断面数据的扰动小于扰动阈值，包括步骤702至步骤704。其中：

步骤702，在电网断面数据的扰动大于扰动阈值且目标电网的调整步数小于步数阈值的情况下，将调控电网状态数据作为初始电网状态数据。

具体地，在每次电网调控后，检查电网断面数据的扰动是否大于预先设定的扰动阈值，这通过比较当前电网状态数据与前一时刻数据之间的差异来确定；同时，检查目标电网的调整步数是否小于预先设定的步数阈值，调整步数是指电网进行调控的次数或轮数。在电网断面数据的扰动大于扰动阈值且目标电网的调整步数小于步数阈值的情况下，将当前的调控电网状态数据作为新的初始电网状态数据，以便下一轮电网调控过程的开始，否则，结束本次调控过程。

步骤704，返回执行将初始电网状态数据输入至电网调控智能模型，确定针对目标电网的电网调控方式以及电网调控数据的步骤，直到电网断面数据的扰动小于扰动阈值。

具体地，将调控电网状态数据作为输入，重新执行“将初始电网状态数据输入至电网调控智能模型，确定针对目标电网的电网调控方式以及电网调控数据”过程，在每次电网调控后，均检查电网断面数据的扰动是否小于预先设定的扰动阈值。这可以通过比较当前电网状态数据与前一时刻数据之间的差异来确定。如果电网断面数据的扰动仍大于扰动阈值，则继续进行电网调控操作，直到电网断面数据的扰动小于扰动阈值为止。

本实施例中，当电网断面数据的扰动超过设定的阈值且目标电网的调整步数尚未达到阈值时，系统会将当前的调控电网状态数据视为新的初始电网状态数据，随后系统会返回执行初始状态数据输入至电网调控智能模型的步骤，重新确定针对目标电网的电网调控方式和数据，这样的循环过程将持续进行，直到电网断面数据的扰动降低到预设的扰动阈值以下为止。这一机制能够及时应对电网运行中的异常情况，保障电网的稳定性和可靠性，同时也提高了电网调控系统的自主性和实时性，使得电网调控能够更加灵活和智能地应对各种突发情况，确保电网的安全运行。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于深度强化学习的电网断面调控方法的一种基于深度强化学习的电网断面调控装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于深度强化学习的电网断面调控装置实施例中的具体限定可以参见上文中对于一种基于深度强化学习的电网断面调控方法的限定，在此不再赘述。

在一个示例性的实施例中，如图9所示，提供了一种基于深度强化学习的电网断面调控装置，包括：电网数据获取模块902、调控方式确定模块904、调控数据输出模块906和电网断面调控模块908，其中：

电网数据获取模块902，用于获取目标电网的初始电网状态数据以及电网调控智能模型；

调控方式确定模块904，用于将初始电网状态数据输入至电网调控智能模型，确定针对目标电网的电网调控方式以及电网调控数据；

调控数据输出模块906，用于根据电网调控方式以及电网调控数据，对目标电网的电网参数进行调整，输出调控电网状态数据；

电网断面调控模块908，用于将调控电网状态数据反馈至电网调控智能模型，直到目标电网的电网断面数据的扰动小于扰动阈值。

在一个实施例中，调控方式确定模块904，还用于将初始电网状态数据输入至电网调控智能模型，确定目标电网的连续调控动作和离散调控动作；根据连续调控动作和离散调控动作，确定针对目标电网的电网调控方式以及电网调控数据。

在一个实施例中，调控方式确定模块904，还用于根据电网调控方式以及电网调控数据进行潮流计算，得到电网调控模拟数据；根据电网调控方式以及电网调控数据进行安全性检查，得到电网调控安全数据；在电网调控模拟数据或者电网调控安全数据未能满足目标电网的电网调控标准的情况下，返回执行将初始电网状态数据输入至电网调控智能模型，确定针对目标电网的电网调控方式以及电网调控数据的步骤，直到电网调控模拟数据或者电网调控安全数据满足电网调控标准。

在一个实施例中，调控数据输出模块906，还用于根据电网调控方式以及电网调控数据，对目标电网的电网参数进行调整，输出中间电网状态数据；根据中间电网状态数据，生成电网调控智能模型的调控策略更新信息和价值函数更新信息，以及输出调控电网状态数据；将调控策略更新信息和价值函数更新信息反馈至电网调控智能模型。

在一个实施例中，调控数据输出模块906，还用于根据调控策略更新信息和价值函数更新信息，从电网调控智能模型中选取随机调控数据对电网调控智能模型进行更新，得到更新后电网调控智能模型；对更新后电网调控智能模型的执行方式和执行效率进行优化，得到优化后电网调控智能模型；将优化后电网调控智能模型作为电网调控智能模型。

在一个实施例中，电网断面调控模块908，还用于在电网断面数据的扰动大于扰动阈值且目标电网的调整步数小于步数阈值的情况下，将调控电网状态数据作为初始电网状态数据；返回执行将初始电网状态数据输入至电网调控智能模型，确定针对目标电网的电网调控方式以及电网调控数据的步骤，直到电网断面数据的扰动小于扰动阈值。

上述一种基于深度强化学习的电网断面调控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储服务器数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度强化学习的电网断面调控方法。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要符合相关规定。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于深度强化学习的电网断面调控方法，其特征在于，所述方法包括：

获取目标电网的初始电网状态数据以及电网调控智能模型；

将所述初始电网状态数据输入至所述电网调控智能模型，确定针对所述目标电网的电网调控方式以及电网调控数据；

根据所述电网调控方式以及所述电网调控数据，对所述目标电网的电网参数进行调整，输出调控电网状态数据；

将所述调控电网状态数据反馈至所述电网调控智能模型，直到所述目标电网的电网断面数据的扰动小于扰动阈值。

2.根据权利要求1所述的方法，其特征在于，所述将所述初始电网状态数据输入至所述电网调控智能模型，确定针对所述目标电网的电网调控方式以及电网调控数据，包括：

将所述初始电网状态数据输入至所述电网调控智能模型，确定所述目标电网的连续调控动作和离散调控动作；

根据所述连续调控动作和所述离散调控动作，确定针对所述目标电网的电网调控方式以及电网调控数据。

3.根据权利要求2所述的方法，其特征在于，在所述根据所述连续调控动作和所述离散调控动作，确定针对所述目标电网的电网调控方式以及电网调控数据之后，所述方法还包括：

根据所述电网调控方式以及所述电网调控数据进行潮流计算，得到电网调控模拟数据；

根据所述电网调控方式以及所述电网调控数据进行安全性检查，得到电网调控安全数据；

在所述电网调控模拟数据或者所述电网调控安全数据未能满足所述目标电网的电网调控标准的情况下，返回执行所述将所述初始电网状态数据输入至所述电网调控智能模型，确定针对所述目标电网的电网调控方式以及电网调控数据的步骤，直到所述电网调控模拟数据或者所述电网调控安全数据满足所述电网调控标准。

4.根据权利要求1所述的方法，其特征在于，所述根据所述电网调控方式以及所述电网调控数据，对所述目标电网的电网参数进行调整，输出调控电网状态数据，包括：

根据所述电网调控方式以及所述电网调控数据，对所述目标电网的电网参数进行调整，输出中间电网状态数据；

根据所述中间电网状态数据，生成所述电网调控智能模型的调控策略更新信息和价值函数更新信息，以及输出所述调控电网状态数据；

将所述调控策略更新信息和所述价值函数更新信息反馈至所述电网调控智能模型。

5.根据权利要求4所述的方法，其特征在于，所述将所述调控策略更新信息和所述价值函数更新信息反馈至所述电网调控智能模型，包括：

根据所述调控策略更新信息和所述价值函数更新信息，从所述电网调控智能模型中选取随机调控数据对所述电网调控智能模型进行更新，得到更新后电网调控智能模型；

对所述更新后电网调控智能模型的执行方式和执行效率进行优化，得到优化后电网调控智能模型；

将所述优化后电网调控智能模型作为所述电网调控智能模型。

6.根据权利要求1所述的方法，其特征在于，所述将所述调控电网状态数据反馈至所述电网调控智能模型，直到所述目标电网的电网断面数据的扰动小于扰动阈值，包括：

在所述电网断面数据的扰动大于所述扰动阈值且所述目标电网的调整步数小于步数阈值的情况下，将所述调控电网状态数据作为所述初始电网状态数据；

返回执行所述将所述初始电网状态数据输入至所述电网调控智能模型，确定针对所述目标电网的电网调控方式以及电网调控数据的步骤，直到所述电网断面数据的扰动小于扰动阈值。

7.一种基于深度强化学习的电网断面调控装置，其特征在于，所述装置包括：

电网数据获取模块，用于获取目标电网的初始电网状态数据以及电网调控智能模型；

调控方式确定模块，用于将所述初始电网状态数据输入至所述电网调控智能模型，确定针对所述目标电网的电网调控方式以及电网调控数据；

调控数据输出模块，用于根据所述电网调控方式以及所述电网调控数据，对所述目标电网的电网参数进行调整，输出调控电网状态数据；

电网断面调控模块，用于将所述调控电网状态数据反馈至所述电网调控智能模型，直到所述目标电网的电网断面数据的扰动小于扰动阈值。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。