CN113554280B - 电网系统调度模型的训练方法、装置、设备和存储介质 - Google Patents

电网系统调度模型的训练方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113554280B
CN113554280B CN202110735962.1A CN202110735962A CN113554280B CN 113554280 B CN113554280 B CN 113554280B CN 202110735962 A CN202110735962 A CN 202110735962A CN 113554280 B CN113554280 B CN 113554280B
Authority
CN
China
Prior art keywords
state information
matching degree
scheduling model
action
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110735962.1A
Other languages
English (en)
Other versions
CN113554280A (zh
Inventor
曾宏生
周波
李科浇
王凡
陈永锋
何径舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110735962.1A priority Critical patent/CN113554280B/zh
Publication of CN113554280A publication Critical patent/CN113554280A/zh
Priority to JP2022003836A priority patent/JP7314330B2/ja
Priority to US17/684,131 priority patent/US20220231504A1/en
Application granted granted Critical
Publication of CN113554280B publication Critical patent/CN113554280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/04—Circuit arrangements for ac mains or ac distribution networks for connecting networks of the same frequency but supplied from different sources
    • H02J3/06—Controlling transfer of power between connected networks; Controlling sharing of load between connected networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/28—Arrangements for balancing of the load in a network by storage of energy
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Power Engineering (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Supply And Distribution Of Alternating Current (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了电网系统调度模型的训练方法、装置、设备和存储介质，涉及计算机领域，尤其涉自然语言处理、深度学习技术等人工智能领域。实现方案为：基于第一初始调度模型，生成与其网络结果相同的多个第一子调度模型，将历史运行状态信息输入每个第一子调度模型，以获取历史运行状态信息与各候选动作的第一匹配度，基于多个第一子调度模型分别对应的第一匹配度，对第一初始调度模型进行修正，以生成第二初始调度模型，可基于第二初始调度模型，返回执生成多个第一子调度模型的操作，直至第二初始调度模型输出的匹配度满足收敛条件时，得到电网系统调度模型。由此，通过对第一初始调度模型进行大规模进化学习，可得到电网系统调度模型。

Description

电网系统调度模型的训练方法、装置、设备和存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及自然语言处理、深度学习技术等人工智能领域，具体涉及电网系统调度模型的训练方法、装置、设备和存储介质。
背景技术
电能是现代化的重要标志之一，与人们的日常生活息息相关。电网是配电的中坚力量，通过向工业和消费者提供可靠的电力来发挥重要的经济和社会作用。由于受突发状况、自然灾害和人为灾害等不确定性因素的影响，电网系统需要大量的监控人员和电网专家，结合领域知识和历史经验，针对不同突发场景进行干预和维护。
可见，如何提高电网系统调度的自动化程度，是亟待解决的问题
发明内容
本申请提供了一种电网系统调度模型的训练方法、装置、设备和存储介质。
根据本申请的一方面，提供了一种电网系统调度模型的训练方法，包括：
获取训练数据集和第一初始调度模型，其中，所述训练数据集中包括电网系统历史运行状态信息；
基于所述第一初始调度模型，生成多个第一子调度模型，其中，每个所述第一子调度模型与所述第一初始调度模型的网络结构相同；
将所述历史运行状态信息输入每个所述第一子调度模型，以获取每个所述第一子调度模型输出的所述历史运行状态信息与各候选动作的第一匹配度；
基于所述多个第一子调度模型分别对应的第一匹配度，对所述第一初始调度模型进行修正，以生成第二初始调度模型；
基于所述第二初始调度模型，返回执行所述生成多个第一子调度模型的操作，直至在所述第二初始调度模型确定的所述历史运行状态信息与各候选动作间的第二匹配度与所述第一初始调度模型确定的所述历史运行状态信息与各候选动作间的第三匹配度之差，在预设范围内的情况下，确定所述第二初始调度模型为电网系统调度模型。
根据本申请的另一方面，提供了一种电网系统调度模型的训练装置
第一获取模块，用于获取训练数据集和第一初始调度模型，其中，所述训练数据集中包括电网系统历史运行状态信息；
生成模块，用于基于所述第一初始调度模型，生成多个第一子调度模型，其中，每个所述第一子调度模型与所述第一初始调度模型的网络结构相同；
第二获取模块，用于将所述历史运行状态信息输入每个所述第一子调度模型，以获取每个所述第一子调度模型输出的所述历史运行状态信息与各候选动作的第一匹配度；
第一训练模型，用于基于所述多个第一子调度模型分别对应的第一匹配度，对所述第一初始调度模型进行修正，以生成第二初始调度模型；基于所述第二初始调度模型，返回执行所述生成多个第一子调度模型的操作，直至在所述第二初始调度模型确定的所述历史运行状态信息与各候选动作间的第二匹配度与所述第一初始调度模型确定的所述历史运行状态信息与各候选动作间的第三匹配度之差，在预设范围内的情况下，确定所述第二初始调度模型为电网系统调度模型。
根据本申请的另一方面，提供了一种计算机设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例所述的方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述实施例所述的方法。
根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述实施例所述的方法。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例提供的一种电网系统调度模型的训练方法的流程示意图；
图2为本申请实施例提供的另一种电网系统调度模型的训练方法的流程示意图；
图3为本申请实施例提供的另一种电网系统调度模型的训练方法的流程示意图；
图4为本申请实施例提供的另一种电网系统调度模型的训练方法的流程示意图；
图5为本申请实施例提供的一种利用电网系统对应的模型确定执行动作的示意图；
图6为本申请实施例提供的另一种电网系统调度模型的训练方法的流程示意图；
图7为本申请实施例提供的一种第一初始调度模型的输入输出示意图；
图8为本申请实施例提供的另一种电网系统调度模型的训练方法的流程示意图；
图9为本申请实施例提供的一种电网系统调度模型的训练过程示意图；
图10为本申请实施例提供的一种电网系统调度模型的训练装置的结构示意图；
图11是用来实现本申请实施例的电网系统调度模型的训练方法的计算机设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的电网系统调度模型的训练方法、装置、计算机设备和存储介质。
人工智能是研究使用计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术领域也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术包括计算机视觉技术、语音识别技术、自然语言处理技术以及深度学习、大数据处理技术、知识图谱技术等几大方向。
NLP(Natural Language Processing，自然语言处理)是计算机科学领域与人工智能领域中的一个重要方向，NLP研究的内容包括但不限于如下分支领域：文本分类、信息抽取、自动摘要、智能问答、话题推荐、机器翻译、主题词识别、知识库构建、深度文本表示、命名实体识别、文本生成、文本分析(词法、句法、语法等)、语音识别与合成等。
深度学习是机器学习领域中一个新的研究方向。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
计算机视觉是一门研究如何使机器“看”的科学，是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
图1为本申请实施例提供的一种电网系统调度模型的训练方法的流程示意图。
如图1所示，该电网系统调度模型的训练方法包括：
步骤101，获取训练数据集和第一初始调度模型，其中，训练数据集中包括电网系统历史运行状态信息。
本申请中，可获取电网系统的历史运行状态信息，从而得到训练数据集。其中，历史运行状态信可以是某时刻的运行状态信息，也可以是某时间段内的运行状态信息，也可以是多个时间段内的运行状态信息等。
本申请中的运行状态信息可包括：发电厂的有功功率、无功功率和电压；负荷的有功功率、无功功率和电压；电线源头和终点的有功功率、无功功率、电压和电流；限制电流；变电站的拓扑结构；母线开关状态；时间信息等。其中，时间信息可以包括月份、周几、第几个小时等信息。
在获取训练数据集时，还可获取初始调度模型，为了便于区分，可称为第一初始调度模型。这里的第一初始调度模型可以是初始的网络模型，也可以是对初始网络模型预训练得到的。
步骤102，基于第一初始调度模型，生成多个第一子调度模型。
本申请中，可基于第一初始调度模型，生成多个子模型，为了便于区分，这里称为第一子调度模型。其中，每个第一子调度模型与第一初始调度模型的网络结构相同。
在生成多个第一子调度模型时，可以通过对第一初始调度模型的参数进行不同的高斯噪声扰动，比如第一初始调度模型的参数加上噪声，可生成多个第一子调度模型。
步骤103，将历史运行状态信息输入每个第一子调度模型，以获取每个第一子调度模型输出的历史运行状态信息与各候选动作的第一匹配度。
本申请中，可将历史运行状态信息输入每个第一子调度模型，以利用第一子调度模型对历史运行状态信息进行处理，以获取历史运行状态信息与各候选动作的匹配度，为了便于区分，这里称为第一匹配度。
其中，候选动作可以有多个，动作可以理解为对电网系统进行调度所采取的动作。比如，动作可包括发电厂功率调节、母线开关切换和变电站拓扑结构改变等三类。
本申请中的第一匹配度，可用于衡量在电网系统处于历史运行状态信息下，执行各候选动作时的运行稳定性程度，也可以理解为在电网系统处于历史运行状态信息下，预测的每个候选动作的分数。其中，第一匹配度越高，说明在历史运行状态信息下执行对应的动作，电网系统的运行稳定性越好。
比如，第一子调度模型有200个，候选动作有100个，可将某时刻的运行状态信息输入每个第一子调度模型，每个第一子调度模型可输出该运行状态信息与每个候选动作的第一匹配度。
可以理解的是，若历史运行状态信息为某一个时间段内的运行状态信息，那么历史运行状态信息与各候选动作的第一匹配度，包括该时间段内抽取出的每个时刻的运行状态信息与各候选动作的第一匹配度。
为了便于第一子调度模型处理，本申请中，可对历史运行状态信息进行归一化预处理，比如，可对时间信息进行离散化和嵌入式表示等。
步骤104，基于多个第一子调度模型分别对应的第一匹配度，对第一初始调度模型进行修正，以生成第二初始调度模型。
在获取每个第一子调度模型输出的运行状态信息与各候选动作的匹配度之后，可根据多个第一子调度模型分别对应的第一匹配度，对第一初始调度模型进行修正，以生成第二初始调度模型。
在进行修正时，可根据每个第一子调度模型的输出，确定电网系统处于该历史运行状态信息时执行的动作，根据该动作与历史运行状态信息的第一匹配度，可确定参数调整值，根据参数调整值对第一初始调度模型参数进行修正，可以生成第二初始调度模型。
步骤105，基于第二初始调度模型，返回执行生成多个第一子调度模型的操作，直至在第二初始调度模型确定的历史运行状态信息与各候选动作间的第二匹配度与第一初始调度模型确定的历史运行状态信息与各候选动作间的第三匹配度之差，在预设范围内的情况下，确定第二初始调度模型为电网系统调度模型。
在获取第二初始调度模型后，可基于第二初始调度模型，生成多个第二子调度模型，其中，第二子调度模型与第二初始调度模型的网络结构相同。之后，将历史运行状态信息输入每个第二子调度模型，以获取历史运行状态信息与各候选动作的匹配度，并将多个第二子调度模型分别对应的匹配度，对第二初始调度模型进行修正，直至第二初始调度模型收敛，生成电网系统调度模型。
这里的收敛可以是，第二初始调度模型确定的历史运行状态信息与各候选动作间的第二匹配度与第一初始调度模型确定的历史运行状态信息与各候选动作间的第三匹配度之差，在预设范围内。也就是，当前的初始调度模型确定的历史运行状态信息与各候选动作间的匹配度，与前一个初始调度模型确定的历史运行状态信息与各候选动作间的匹配度之差，在预设范围内。
这里的第二匹配度与第三匹配度之差，可以是将每个候选动作对应的第二匹配度与第三匹配度的差值求和，也可以是所有候选动作的第二匹配度之和与所有动作的第三匹配度之和的差值。
为了提高模型训练速度，本申请中，可对第一初始调度模型并行训练。比如，第一初始调度模型包括500万参数，那么可同时在上千CPU(Central Processing Unit，中央处理器)上对500万参数的第一初始调度模型进行进化学习。
本申请实施例中，通过基于第一初始调度模型，生成与其网络结果相同的多个第一子调度模型，将历史运行状态信息输入每个第一子调度模型，以获取每个第一子调度模型输出的历史运行状态信息与各候选动作的第一匹配度，并基于多个第一子调度模型分别对应的第一匹配度，对第一初始调度模型进行修正，以生成第二初始调度模型，可基于第二初始调度模型，返回执生成多个第一子调度模型的操作，直至第二初始调度模型输出的匹配度满足收敛条件时，得到电网系统调度模型。由此，通过对第一初始调度模型进行大规模进化学习，可得到电网系统调度模型，利用电网系统调度模型对电网系统进行调度，从而可以提高电网系统调度的自动化程度。
为了提高模型的准确性，在本申请的一个实施例中，历史运行状态信息可包括多个时间段内的运行状态信息，可将每个时间段内的运行状态信息与对应的第一子调度模型进行交互，基于交互结果，进行模型训练。下面结合图2进行说明，图2为本申请实施例提供的另一种电网系统调度模型的训练方法的流程示意图。
如图2所示，该电网系统调度模型的训练方法包括：
步骤201，获取训练数据集和第一初始调度模型，其中，训练数据集中包括电网系统历史运行状态信息。
步骤202，基于第一初始调度模型，生成多个第一子调度模型。
本申请中，步骤201-步骤202与上述步骤101-步骤102类似，故在此不再赘述。
步骤203，将每个时间段内的运行状态信息输入第一初始调度模型，以获取每个时段内的运行状态信息与各候选动作的第三匹配度。
本申请中，历史运行状态信息可包括多个时间段内的运行状态信息，比如，包括某月1号内电网系统的运行状态信息、2号内电网系统的运行状态信息、3号内的电网系统的运行状态信息等。
本申请中，可将每个时段内的输入第一初始调度模型，以获取每个时段内的运行状态信息与各候选动作的第三匹配度。这里每个时段内的运行状态信息与各候选动作的第三匹配度，可以是该时段内某个时刻的运行状态信息与各候选动作的第三匹配度，也可以是多个时刻的运行状态信息分别与各候选动作的第三匹配度等。
步骤204，根据每个时间段第一初始调度模型对应的第三匹配度，获取每个时间段第一初始调度模型对应的第一奖励值。
本申请中，可将每个时间段第一初始调度模型对应的多个第三匹配度中最大的第三匹配度，作为每个时间段第一初始调度模型对应的奖励值，为了便于区分，可称为第一奖励值。或者，也可以将第一初始调度模型输出的每个时间段内的运行状态信息与各候选动作的第三匹配度之和，作为每个时间段第一初始调度模型对应的第一奖励值。
步骤205，将每个时间段内的运行状态信息输入对应的第一子调度模型，以获取每个时间段内的运行状态信息与各候选动作的第一匹配度。
本申请中，可将每个时段内的运行状态信息输入对应的第一子调度模型，以获取对应的第一子调度模型输出的每个时间段的运行状态信息与各候选动作的第一匹配度。
也就是说，输入每个第一子调度模型的运行状态信息所属的时间段不同。
本申请中，时间段与各个第一子调度模型的对应关系，可以是根据需要设定的，或者随机方式确定的。比如，可规定时间段的早晚顺序，将每个时间段的运行状态信息，分别输入至编号从小到大的第一子调度模型中。
又如，随机选择一个时间段的运行状态信息，分别一个第一子调度模型。
步骤206，根据每个时间段对应的第一子调度模型对应的第一匹配度，获取每个时间段对应的第一子调度模型对应的第二奖励值。
本申请中，步骤206与上述步骤204类似，故在此不再赘述。
步骤207，根据多个时间段分别对应的第一奖励值和第二奖励值，对第一初始调度模型进行修正，以生成第二初始调度模型。
针对每个时间段，可将第二子调度模型对应的第二奖励值减去第一子调度模型对应的第一奖励值，得到每个时段度内第二子调度模型归一化后的奖励值。也就是说，可将相同时段内第一子调度模型对应的奖励值与第一初始调度模型对应的奖励值之差，作为第一子调度模型归一化后的奖励值。
在获取每个第一子调度模型对应的归一化后的奖励值后，可对多个第一子调度模型分别对应的归一化后的奖励值进行整合比如相加，根据整合得到的奖励值，确定网络参数的调整值，利用调整值调整第一初始调度模型的参数，生成第二初始调度模型。
本申请中，可多个第一子调度模型分别对应的归一化后的奖励值，确定第一初始网络模型的网络参数的进化方向，从而对第一初始调度模型进行修正，生成第二初始调度模型。
步骤208，基于第二初始调度模型，返回执行生成多个第一子调度模型的操作，直至在第二初始调度模型确定的历史运行状态信息与各候选动作间的第二匹配度与第一初始调度模型确定的历史运行状态信息与各候选动作间的第三匹配度之差，在预设范围内的情况下，确定第二初始调度模型为电网系统调度模型。
本申请中，步骤208与上述步骤105类似，故在此不再赘述。
本申请实施例中，历史状态信息可包括多个时间段内的运行状态信息，可将将每个时间段内的运行状态信息输入第一初始调度模型，以获取每个时段内的运行状态信息与各候选动作的第三匹配度，并基于每个时间段第一初始调度对应的第三匹配，确定每个时间段第一初始调度对应的第一奖励值，并将每个时间段内的运行状态信息输入对应的第一子调度模型，以获取每个时间段内的运行状态信息与各候选动作的第一匹配度，并根据对应每个时间段第一子调度模型对应的第一匹配度，确定对应每个时间段第一子调度模型对应的第二奖励值，基于多个时间分别对应的第一奖励值和第二奖励值，对第一初始调度模型进行修正，生成第二初始调度模型以继续进行训练，最后生成电网系统调度模型。由此，通过将每个第一子调度模型分别与不同时间段内的电网系统进行交互，从而对第一初始调度模型进行训练，提高了模型的准确性。
在本申请的一个实施例中，还可通过图3所示的方式获取第一奖励值。图3为本申请实施例提供的另一种电网系统调度模型的训练方法的流程示意图。
如图3所示，上述获取每个时间段第一初始调度模型对应的第一奖励值，包括：
步骤301，从每个时间段内的运行状态信息中，抽取多个时刻的运行状态信息。
本申请中，可从每个时间段的运行状态信息中，抽取多个时刻的运行状态信息。比如，可从某一天电网系统的运行状态信息中，抽取1000个时刻的运行状态信息。
步骤302，将每个时刻的运行状态信息输入第一初始调度模型，以获取每个时刻的运行状态信息与每个候选动作的第三匹配度。
在获取多个时刻的运行状态信息后，可将每个时刻的运行状态信息，输入第一初始调度模型，以获取每个时刻的运行状态信息与每个候选动作的第三匹配度。也就是说，将每个时刻的运行状态信息输入第一初始调度模型，可获取每个时刻的运行状态信息下各个候选动作的分数。
步骤303，根据每个第三匹配度，从各候选动作中抽取第一目标动作。
针对每个时刻的运行状态信息，可根据每个时刻的运行状态信息与每个候选动作的第三匹配度，可从各候选动作中抽取第一目标动作。由此，每个时刻的运行状态信息，可获取到对应的第一目标动作。
本申请中，可从多个候选动作中抽取第三匹配度最高的候选动作，作为第一目标动作。
步骤304，根据多个时刻的运行状态信息分别与第一目标动作的第三匹配度，确定第一奖励值。
在基于每个时刻的运行状态信息与各候选动作的第三匹配度，抽取第一目标动作后，可根据多个时刻的运行状态信息分别与第一目标动作的第一匹配度，确定第一奖励值。
比如，可将所有第一目标动作对应的第一匹配度之和，作为第一奖励值。也就是说，对于某时间段内的每个时刻的运行状态信息，可基于第一初始调度模型的输出，确定电网系统执行的动作，可将该时间段内每次确定的动作对应的第三匹配度累加和，作为第一奖励值。
或者，对于某时间段内的每个时刻的运行状态信息，也可基于获取的第一目标动作，控制由与电网系统对应的模型进行运行，基于运行状态，确定第一目标动作的得分，并将该时间段内所有时刻分别对应的第一目标动作的得分之和，作为第一奖励值。
可以理解的是，在获取第二奖励值时，也可采用与图3类似的方式获取，在此不再赘述。
本申请实施例中，在获取每个时间段内第一初始调度模型对应的第一奖励值时，可通过对从每个时间段内的运行状态信息中，抽取多个时刻的运行状态信息，将每个时刻的运行状态信息输入第一初始调度模型，以获取每个时刻的运行状态信息与每个候选动作的第三匹配度，并从候选动作中抽取第一目标动作，基于多个时刻的运行状态信息分别与第一目标动作的第三匹配度，确定第一奖励值。由此，可基于时间段内多个时刻累计确定的第一目标动作对应的匹配度，确定第一奖励值。
上述实施例描述了，可直接根据第三匹配度抽取第一目标动作，在本申请的一个实施例中，也可以结合电网系统对应的模型的运行状态，确定的匹配度，抽取第一目标动作。下面结合图4进行说明，图4为本申请实施例提供的另一种电网系统调度模型的训练方法的流程示意图。
如图4所示，上述根据每个第三匹配度，从多个候选动作中抽取第一目标动作，包括：
步骤401，根据每个第三匹配度，从各候选动作中抽取多个参考动作。
本申请中，针对每个时刻的运行状态信息，可根据每个时刻的运行状态信息与各候选动作分别对应的第三匹配度，从多个候选动作中抽取多个动作，这里称为参考动作。
步骤402，基于每个参考动作，控制由电网系统对应的模型运行，以根据模型的运行状态，确定每个时刻的运行状态信息与每个参考动作的第一参考匹配度。
本申请中，可将每个时刻的运行状态信息输入电网系统对应的模型中，并基于每个参考动作，控制由模型运行，以根据模型的运行状态，确定每个时刻的运行状态信息与每个参考动作的匹配度。为了便于区分，这里称为第一参考匹配度。其中，电网系统对应的模型，可以是基于专家知识预先构建的电网系统仿真模型。
为了便于理解，可将某一个时刻的运行状态信息看作一个场景，针对每个运行场景，基于每个参考动作，可控制电网系统对应的模型运行，由此，根据模型的运行状态，可确定每个场景与每个参考动作的第一参考匹配度。
在实际应用中，也可基于电网系统对应的模型，选择执行的动作。如图5所示，以电网系统母线是否过载的情况为例，判断电网系统的母线是否存在过载。当电网系统有母线存在过载情况时，基于各候选动作，可控制电网系统对应的模型运行，基于模型运行结果，可选择分数(即匹配度)最高的动作进行执行，之后进入下一个状态。若当电网系统没有母线存在过载的情况，则不采取动作，直接进入下一个状态。
步骤403，根据每个第一参考匹配度，从多个参考动作中抽取第一目标动作。
在确定每个时刻的运行状态信息与每个参考动作的第一参考匹配度之后，可从多个参考动作中抽取第一参考匹配度最高的动作，作为第一目标动作。
本申请实施例中，在抽取第一目标动作时，可基于第一初始调度模型确定的第三匹配度，先从各个候选动作中抽取多个参考动作，再基于电网系统对应的模型，从多个参考动作中抽取第一目标动作。由此，基于第一初始调度模型和电网系统对应的模型，确定每个时刻的运行状态信息对应的第一目标动作，从而提高了确定第一目标动作的准确性。
在本申请的一个实施例中，可通过图6所示的方法，训练得到第一初始调度模型。图6为本申请实施例提供的另一种电网系统调度模型的训练方法的流程示意图。
如图6所述，在获取训练数据集和第一初始调度模型之前，该方法还包括：
步骤601，基于每个候选动作，控制由电网系统对应的模型运行，以确定每个时刻的运行状态信息与每个候选动作的第二参考匹配度。
本申请中，可预先获取多个时刻的运行状态作为训练数据集。在获取多个时刻的运行状态信息后，可基于每个候选动作，控制电网系统对应的模型运行，根据模型的运行状态，可以确定每个时刻的运行状态信息与每个候选动作的第二参考匹配度。
步骤602，将每个时刻的运行状态信息输入初始网络模型，以获取每个时刻的运行状态信息与每个候选动作的第四匹配度。
本申请中，可将每个时刻的运行状态信息输入初始网络模型，利用初始网络模型对每个时刻的运行状态信息进行处理，以获取每个时刻运行状态信息与每个候选动作的第四匹配度。也就是说，可以获取每个候选动作在每个时刻的运行状态信息下的分数。
假设候选动作的数量为N，如图7所示，将某时刻的运行状态信息输入模型中，模型可输出动作1的分数至动作N的分数，这里的分数可用于衡量该时刻的运行状态信息与动作的匹配度。
步骤603，根据每个时刻的运行状态信息下，每个第四匹配度与对应的第二参考匹配度之间的差异，对初始网络模型进行修正，直至基于修正后的初始网络模型确定的每个时刻的运行状态信息与各候选动作的第四匹配度与第二参考匹配度之间的差值在预设范围内，确定修正后的初始网络模型为第一初始调度模型。
本申请中，根据每个时刻的运行状态信息下，可根据每个第四匹配度与对应的第二参考匹配度之间的差异，对初始网络模型进行修正，然后利用修正后的初始网络模型继续训练，直至基于修正后的初始网络模型确定的每个时刻的运行状态信息与各候选动作的第四匹配度与第二参考匹配度之间的差值在预设范围内，确定修正后的初始网络模型为第一初始调度模型。
这里，每个时刻的运行状态信息与各候选动作的第四匹配度与第二参考匹配度之间的差值在预设范围内，可以是每个候选动作对应的第四匹配度与第二参考匹配度之间的差值均在预设范围内，也可以是所有候选动作对应的第四匹配度之和，与所有候选动作对应的第二参考匹配度之和之间的差值，在预设范围内。
本申请中，在训练第一初始调度模型时，可采用深度学习的方式进行训练。
本申请实施例中，在获取训练数据集和第一初始调度模型之前，可基于每个候选动作，控制由电网系统对应的模型运行，以确定每个时刻的运行状态信息与每个候选动作的第二参考匹配度，并将每个时刻的运行状态信息输入初始网络模型，以获取每个时刻的运行状态信息与每个候选动作的第四匹配度，基于每个时刻的运行状态信息下，各候选动作对应的第四匹配度与参考匹配度之间的差异，训练初始网络模型，以生成第一初始调度模型。由此，通过利用专家知识构建的仿真模型得到的参考匹配度，使得训练得到的第一初始调度模型融合了专家知识，在训练得到第一初始调度模型的基础上继续训练得到电网系统调度模型，不仅提高了电网系统调度模型的训练速度，而且提高了模型的准确性。
在实际应用中，由于一般电网的拓扑结构比较复杂，因此电网系统的可调度动作的数量极大。在本申请的一个实施例中，上述训练初始网络模型得到第一初始调度模型的过程中，在确定每个时刻的运行状态信息与每个候选动作的第二参考匹配度之前，可从大量的动作中筛选出执行频率较高的动作，作为候选动作。下面结合图8进行说明，图8为本申请实施例提供的另一种电网系统调度模型的训练方法的流程示意图。
如图8所述，在确定每个时刻的运行状态信息与每个候选动作的第二参考匹配度之前，还包括：
步骤801，基于每个动作，控制由电网系统对应的模型运行，以确定每个时刻的运行状态信息与每个动作的第三参考匹配度。
本申请中，步骤801与上述步骤601类似，故在此不再赘述。
步骤802，根据每个第三参考匹配度，确定与每个时刻的运行状态信息的第三参考匹配度最高的动作。
本申请中，根据每个时刻的运行状态信息与每个动作的第三参考匹配度，可确定与每个时刻的运行状态信息的第三参考匹配度最高的动作。
步骤803，根据与每个时刻的运行状态信息的第三参考匹配度最高的动作，确定每个动作第三参考匹配度最高的次数。
在确定与每个时刻的运行状态信息的第三参考匹配度最高的动作后，可根据与每个时刻的运行状态信息的第三参考匹配度最高的动作，可确定每个动作第三参考匹配度最高的次数。
若将一个时刻的运行状态信息看作一个场景，根据每个场景下确定的第三参考匹配度最高的动作，那么可以确定每个动作第三参考匹配度最高的次数。
步骤804，根据每个动作第三参考匹配度最高的次数，从各动作中抽取多个候选动作。
本申请中，可将第三参考匹配度最高的次数大于阈值的动作，作为候选动作。
本申请实施例中，在确定每个时刻的运行状态信息与每个候选动作的第二参考匹配度之前，可基于每个动作，控制由电网系统对应的模型运行，以确定每个时刻的运行状态信息与每个动作的第三参考匹配度，根据每个时刻的运行状态信息下，每个动作对应的第三参考匹配度，从各动作中筛选出多个候选动作。由此，通过利用专家知识构建的仿真模型，可以从大量动作中筛选出被执行次数较高的动作作为候选动作。
图9为本申请实施例提供的一种电网系统调度模型的训练过程示意图。
如图9所示，可对一个神经网络模型进行噪声扰动，得到n+1个带有噪声的子模型，Nosie0、Nosie1、…、Nosien-1、Nosien，并将获取的n+1个时间段内的运行状态信息Env0、Env1、…、Envn-1、Envn，分别输入对应的噪声的子模型中，每个子模型会确定出动作提供给电网系统。
针对每个子模型，将对应时间段内的运行状态信息输入子模型，会得到子模型对应归一化后的奖励值。比如，R0＝EP_LENNosiypolicy-EP_LENoriginpolicy为子模型Nosie0对应的归一化后的奖励值，其中，EP_LENNosiypolicy表示子模型Nosie0对应的第一奖励值，EP_LENoriginpolicy表示初始调度模型对应的第二奖励值；R1＝EP_LENNosiypolicy-EP_LENoriginpolicy为子模型Nosie1对应的归一化后的奖励值，其中，EP_LENNosiypolicy表示子模型Nosie1对应的第一奖励值，EP_LENoriginpolicy表示初始调度模型对应的第二奖励值。其余子模型对应归一化后的奖励值类似，故在此再赘述。
在获取n+1子模型分别对应的归一化的奖励值后，可基于n+1个归一化后的奖励值，生成新的初始调度模型。
在本申请的一个实施例中，在获取电网系统调度模型后，可利用电网系统调度模型，进行电网系统调度。
本申请中，可获取电网系统的当前运行状态信息，并将当前运行状态信息输入电网系统调度模型，以获取电网系统调度模型输出的当前运行状态信息与每个候选动作的匹配度。
在获取当前运行状态信息与每个候选动作的匹配度后，可根据当前运行状态信息与每个候选动作的匹配度，从各候选动作中抽取第二目标动作。比如，可直接选取匹配度最高的候选动作，作为第二目标动作，或者，从各候选动作中选取多个动作，再基于选取的每个动作，控制由电网系统对应的模型的运行，以确定选取的每个动作与当前运行状态信息的匹配度，选取匹配度最高的动作，作为第二目标动作。在确定第二目标动作后，可基于第二目标动作，对电网系统进行调度。
比如，候选动作有100个，基于电网系统调度模型输出的匹配度，可从中抽取前20个匹配度较高的动作，再基于电网系统对应的模型得到的匹配度，从中抽取一个与当前运行状态信息匹配度最高的动作，进行电网系统调度。
本申请实施例中，在确定第二初始调度模型为电网系统调度模型之后，可将电网系统的当前运行状态信息输入电网系统调度模，以获取当前运行状态信息与每个候选动作的匹配度，基于获取的每个候选动作对应的匹配度，确定用于电网系统调度的动作。由此，利用电网系统调度模型，确定当前运行状态信息下，进行电网系统调度的动作，提高了电网系统调度的自动化程度。
为了实现上述实施例，本申请实施例还提出一种电网系统调度模型的训练装置。图10为本申请实施例提供的一种电网系统调度模型的训练装置的结构示意图。
如图10所示，该电网系统调度模型的训练装置1000包括：
第一获取模块1010，用于获取训练数据集和第一初始调度模型，其中，所述训练数据集中包括电网系统历史运行状态信息；
生成模块1020，用于基于所述第一初始调度模型，生成多个第一子调度模型，其中，每个所述第一子调度模型与所述第一初始调度模型的网络结构相同；
第二获取模块1030，用于将所述历史运行状态信息输入每个所述第一子调度模型，以获取每个所述第一子调度模型输出的所述历史运行状态信息与各候选动作的第一匹配度；
第一训练模型1040，用于基于所述多个第一子调度模型分别对应的第一匹配度，对所述第一初始调度模型进行修正，以生成第二初始调度模型；基于所述第二初始调度模型，返回执行所述生成多个第一子调度模型的操作，直至在所述第二初始调度模型确定的所述历史运行状态信息与各候选动作间的第二匹配度与所述第一初始调度模型确定的所述历史运行状态信息与各候选动作间的第三匹配度之差，在预设范围内的情况下，确定所述第二初始调度模型为电网系统调度模型。
在本申请实施例的一种可能的实现方式中，所述历史状态信息包括多个时间段内的运行状态信息，所述第二获取模块1030，用于：
将每个时间段内的运行状态信息输入对应的第一子调度模型，以获取每个时间段内的运行状态信息与所述各候选动作的第一匹配度；
所述第一训练模块1040，包括：
第一获取单元，用于将每个时间段内的运行状态信息输入所述第一初始调度模型，以获取每个时段内的运行状态信息与各候选动作的第三匹配度；
第二获取单元，用于根据每个时间段所述第一初始调度模型对应的第三匹配度，获取每个时间段所述第一初始调度模型对应的第一奖励值；
所述第二获取单元，还用于根据每个时间段所述对应的第一子调度模型对应的第一匹配度，获取每个时间段所述对应的第一子调度模型对应的第二奖励值；
训练单元，用于根据所述多个时间段分别对应的第一奖励值和第二奖励值，对所述第一初始调度模型进行修正，以生成所述第二初始调度模型。
在本申请实施例的一种可能的实现方式中，所述第一获取单元，用于：
从每个时间段内的运行状态信息中，抽取多个时刻的运行状态信息；
将每个时刻的运行状态信息输入所述第一初始调度模型，以获取每个时刻的运行状态信息与每个候选动作的第三匹配度；
所述第二获取单元，还用于：
根据每个所述第三匹配度，从所述各候选动作中抽取第一目标动作；
根据所述多个时刻的运行状态信息分别与第一目标动作的第三匹配度，确定所述第一奖励值。
在本申请实施例的一种可能的实现方式中，所述第二获取单元，还用于：
根据每个所述第三匹配度，从所述各候选动作中抽取多个参考动作；
基于每个所述参考动作，控制由所述电网系统对应的模型运行，以根据所述模型的运行状态，确定所述每个时刻的运行状态信息与每个所述参考动作的第一参考匹配度；
根据每个所述第一参考匹配度，从所述多个参考动作中抽取所述第一目标动作。
在本申请实施例的一种可能的实现方式中，该装置还可包括：
第一确定模块，用于基于每个候选动作，控制由所述电网系统对应的模型运行，以确定每个时刻的运行状态信息与每个所述候选动作的第二参考匹配度；
第三获取模块，用于将所述每个时刻的运行状态信息输入初始网络模型，以获取所述每个时刻的运行状态信息与每个所述候选动作的第四匹配度；
第二训练模块，用于根据所述每个时刻的运行状态信息下，每个所述第四匹配度与对应的所述第二参考匹配度之间的差异，对所述初始网络模型进行修正，直至基于修正后的初始网络模型确定的所述每个时刻的运行状态信息与各候选动作的第四匹配度与第二参考匹配度之间的差值在预设范围内，确定所述修正后的初始网络模型为所述第一初始调度模型。
在本申请实施例的一种可能的实现方式中，所述第一确定模块，还用于基于每个动作，控制由所述电网系统对应的模型运行，以确定每个时刻的运行状态信息与每个所述动作的第三参考匹配度；
该装置还可包括：
第二确定模块，用于根据每个所述第三参考匹配度，确定与所述每个时刻的运行状态信息的第三参考匹配度最高的动作；
第三确定模块，用于根据与所述每个时刻的运行状态信息的第三参考匹配度最高的动作，确定每个所述动作第三参考匹配度最高的次数；
第一抽取模块，用于根据每个所述动作第三参考匹配度最高的次数，从各动作中抽取多个候选动作。
在本申请实施例的一种可能的实现方式中，该装置还可包括：
第四获取模块，用于获取所述电网系统的当前运行状态信息；
第五获取模块，用于将所述当前运行状态信息输入所述电网系统调度模型，以获取所述当前运行状态信息与每个所述候选动作的匹配度；
第二抽取模块，用于根据所述当前运行状态信息与每个所述候选动作的匹配度，从所述各候选动作中抽取第二目标动作；
调度模块，用于基于所述第二目标动作，对所述电网系统进行调度。
需要说明的是，前述电网系统调度模型的训练方法实施例的解释说明，也适用于该实施例的电网系统调度模型的训练装置，故在此不再赘述。
本申请实施例中，通过基于第一初始调度模型，生成与其网络结果相同的多个第一子调度模型，将历史运行状态信息输入每个第一子调度模型，以获取每个第一子调度模型输出的历史运行状态信息与各候选动作的第一匹配度，并基于多个第一子调度模型分别对应的第一匹配度，对第一初始调度模型进行修正，以生成第二初始调度模型，可基于第二初始调度模型，返回执生成多个第一子调度模型的操作，直至第二初始调度模型输出的匹配度满足收敛条件时，得到电网系统调度模型。由此，通过对第一初始调度模型进行大规模进化学习，可得到电网系统调度模型，利用电网系统调度模型对电网系统进行调度，从而可以提高电网系统调度的自动化程度。
根据本申请的实施例，本申请还提供了一种计算机设备、一种可读存储介质和一种计算机程序产品。
图11示出了可以用来实施本申请的实施例的示例计算机设备1100的示意性框图。计算机设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。计算机设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图11所示，设备1100包括计算单元1101，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)1102中的计算机程序或者从存储单元1108加载到RAM(Random AccessMemory，随机访问/存取存储器)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。I/O(Input/Output，输入/输出)接口1105也连接至总线1104。
设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如电网系统调度模型的训练方法。例如，在一些实施例中，电网系统调度模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的电网系统调度模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行电网系统调度模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(Application Specific StandardProduct，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(VirtualPrivate Server，虚拟专用服务器)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本申请的实施例，本申请还提供了一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行本申请上述实施例提出的电网系统调度模型的训练方法。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种电网系统调度模型的训练方法，包括：
获取训练数据集和第一初始调度模型，其中，所述训练数据集中包括电网系统历史运行状态信息；
基于所述第一初始调度模型，生成多个第一子调度模型，其中，每个所述第一子调度模型与所述第一初始调度模型的网络结构相同；
将所述历史运行状态信息输入每个所述第一子调度模型，以获取每个所述第一子调度模型输出的所述历史运行状态信息与各候选动作的第一匹配度，其中，所述各候选动作为对电网系统进行调度所采取的动作，所述第一匹配度为衡量在所述电网系统处于所述历史运行状态信息下，执行所述各候选动作时的运行稳定性程度或者在所述电网系统处于所述历史运行状态信息下，预测的每个所述候选动作的分数；
基于所述多个第一子调度模型分别对应的第一匹配度，对所述第一初始调度模型进行修正，以生成第二初始调度模型，其中，将所述历史运行状态信息中每个时间段内的运行状态信息输入所述第一初始调度模型，以获取每个时段内的运行状态信息与各候选动作的第三匹配度；根据每个时间段所述第一初始调度模型对应的第三匹配度，获取每个时间段所述第一初始调度模型对应的第一奖励值；根据每个时间段所述对应的第一子调度模型对应的第一匹配度，获取每个时间段所述对应的第一子调度模型对应的第二奖励值；根据多个时间段分别对应的第一奖励值和第二奖励值，对所述第一初始调度模型进行修正，以生成所述第二初始调度模型；
基于所述第二初始调度模型，生成多个第二子调度模型，其中，所述第二子调度模型与所述第二初始调度模型的网络结构相同，将所述历史运行状态信息输入每个所述第二子调度模型，以获取所述历史运行状态信息与各候选动作的匹配度，并将所述多个第二子调度模型分别对应的匹配度，对所述第二初始调度模型进行修正，直至第二初始调度模型收敛，生成电网系统调度模型，其中，所述第二初始调度模型收敛是指所述第二初始调度模型确定的所述历史运行状态信息与所述各候选动作间的第二匹配度与所述第一初始调度模型确定的所述历史运行状态信息与所述各候选动作间的第三匹配度之差，在预设范围内。
2.如权利要求1所述的方法，其中，所述历史运行状态信息包括多个时间段内的运行状态信息，所述获取每个所述第一子调度模型输出的所述历史运行状态信息与各候选动作的第一匹配度，包括：
将每个时间段内的运行状态信息输入对应的第一子调度模型，以获取每个时间段内的运行状态信息与所述各候选动作的第一匹配度。
3.如权利要求1所述的方法，其中，所述将每个时间段内的运行状态信息输入所述第一初始调度模型，以获取每个时段内的运行状态信息与各候选动作的第三匹配度，包括：
从每个时间段内的运行状态信息中，抽取多个时刻的运行状态信息；
将每个时刻的运行状态信息输入所述第一初始调度模型，以获取每个时刻的运行状态信息与每个候选动作的第三匹配度；
所述根据每个时间段所述第一初始调度模型对应的第三匹配度，获取每个时间段所述第一初始调度模型对应的第一奖励值，包括：
根据每个所述第三匹配度，从所述各候选动作中抽取第一目标动作；
根据所述多个时刻的运行状态信息分别与第一目标动作的第三匹配度，确定所述第一奖励值。
4.如权利要求3所述的方法，其中，所述根据每个所述第三匹配度，从多个候选动作中抽取第一目标动作，包括：
根据每个所述第三匹配度，从所述各候选动作中抽取多个参考动作；
基于每个所述参考动作，控制由所述电网系统对应的模型运行，以根据所述模型的运行状态，确定所述每个时刻的运行状态信息与每个所述参考动作的第一参考匹配度；
根据每个所述第一参考匹配度，从所述多个参考动作中抽取所述第一目标动作。
5.如权利要求1所述的方法，其中，在所述获取训练数据集和第一初始调度模型之前，还包括：
基于每个候选动作，控制由所述电网系统对应的模型运行，以确定每个时刻的运行状态信息与每个所述候选动作的第二参考匹配度；
将所述每个时刻的运行状态信息输入初始网络模型，以获取所述每个时刻的运行状态信息与每个所述候选动作的第四匹配度；
根据所述每个时刻的运行状态信息下，每个所述第四匹配度与对应的所述第二参考匹配度之间的差异，对所述初始网络模型进行修正，直至基于修正后的初始网络模型确定的所述每个时刻的运行状态信息与各候选动作的第四匹配度与第二参考匹配度之间的差值在预设范围内，确定所述修正后的初始网络模型为所述第一初始调度模型。
6.如权利要求5所述的方法，其中，在所述确定每个时刻的运行状态信息与每个所述候选动作的第二参考匹配度之前，还包括：
基于每个动作，控制由所述电网系统对应的模型运行，以确定每个时刻的运行状态信息与每个所述动作的第三参考匹配度；
根据每个所述第三参考匹配度，确定与所述每个时刻的运行状态信息的第三参考匹配度最高的动作；
根据与所述每个时刻的运行状态信息的第三参考匹配度最高的动作，确定每个所述动作第三参考匹配度最高的次数；
根据每个所述动作第三参考匹配度最高的次数，从各动作中抽取多个候选动作。
7.如权利要求1-6任一所述的方法，其中，在所述确定所述第二初始调度模型为电网系统调度模型之后，还包括：
获取所述电网系统的当前运行状态信息；
将所述当前运行状态信息输入所述电网系统调度模型，以获取所述当前运行状态信息与每个所述候选动作的匹配度；
根据所述当前运行状态信息与每个所述候选动作的匹配度，从所述各候选动作中抽取第二目标动作;
基于所述第二目标动作，对所述电网系统进行调度。
8.一种电网系统调度模型的训练装置，包括：
第一获取模块，用于获取训练数据集和第一初始调度模型，其中，所述训练数据集中包括电网系统历史运行状态信息；
生成模块，用于基于所述第一初始调度模型，生成多个第一子调度模型，其中，每个所述第一子调度模型与所述第一初始调度模型的网络结构相同；
第二获取模块，用于将所述历史运行状态信息输入每个所述第一子调度模型，以获取每个所述第一子调度模型输出的所述历史运行状态信息与各候选动作的第一匹配度，其中，所述各候选动作为对电网系统进行调度所采取的动作，所述第一匹配度为衡量在所述电网系统处于所述历史运行状态信息下，执行所述各候选动作时的运行稳定性程度或者在所述电网系统处于所述历史运行状态信息下，预测的每个所述候选动作的分数；
第一训练模块，用于基于所述多个第一子调度模型分别对应的第一匹配度，对所述第一初始调度模型进行修正，以生成第二初始调度模型；基于所述第二初始调度模型，生成多个第二子调度模型，其中，所述第二子调度模型与所述第二初始调度模型的网络结构相同，将所述历史运行状态信息输入每个所述第二子调度模型，以获取所述历史运行状态信息与各候选动作的匹配度，并将所述多个第二子调度模型分别对应的匹配度，对所述第二初始调度模型进行修正，直至第二初始调度模型收敛，生成电网系统调度模型，其中，所述第二初始调度模型收敛是指所述第二初始调度模型确定的所述历史运行状态信息与所述各候选动作间的第二匹配度与所述第一初始调度模型确定的所述历史运行状态信息与所述各候选动作间的第三匹配度之差，在预设范围内；
所述第一训练模块包括：第一获取单元，用于将所述历史运行状态信息中每个时间段内的运行状态信息输入所述第一初始调度模型，以获取每个时段内的运行状态信息与各候选动作的第三匹配度；第二获取单元，用于根据每个时间段所述第一初始调度模型对应的第三匹配度，获取每个时间段所述第一初始调度模型对应的第一奖励值；所述第二获取单元，还用于根据每个时间段所述对应的第一子调度模型对应的第一匹配度，获取每个时间段所述对应的第一子调度模型对应的第二奖励值；训练单元，用于根据多个时间段分别对应的第一奖励值和第二奖励值，对所述第一初始调度模型进行修正，以生成所述第二初始调度模型。
9.如权利要求8所述的装置，其中，所述历史运行状态信息包括多个时间段内的运行状态信息，所述第二获取模块，用于：
将每个时间段内的运行状态信息输入对应的第一子调度模型，以获取每个时间段内的运行状态信息与所述各候选动作的第一匹配度。
10.如权利要求8所述的装置，其中，所述第一获取单元，用于：
从每个时间段内的运行状态信息中，抽取多个时刻的运行状态信息；
将每个时刻的运行状态信息输入所述第一初始调度模型，以获取每个时刻的运行状态信息与每个候选动作的第三匹配度；
所述第二获取单元，还用于：
根据每个所述第三匹配度，从所述各候选动作中抽取第一目标动作；
根据所述多个时刻的运行状态信息分别与第一目标动作的第三匹配度，确定所述第一奖励值。
11.如权利要求10所述的装置，其中，所述第二获取单元，还用于：
根据每个所述第三匹配度，从所述各候选动作中抽取多个参考动作；
基于每个所述参考动作，控制由所述电网系统对应的模型运行，以根据所述模型的运行状态，确定所述每个时刻的运行状态信息与每个所述参考动作的第一参考匹配度；
根据每个所述第一参考匹配度，从所述多个参考动作中抽取所述第一目标动作。
12.如权利要求8所述的装置，所述装置还包括：
第一确定模块，用于基于每个候选动作，控制由所述电网系统对应的模型运行，以确定每个时刻的运行状态信息与每个所述候选动作的第二参考匹配度；
第三获取模块，用于将所述每个时刻的运行状态信息输入初始网络模型，以获取所述每个时刻的运行状态信息与每个所述候选动作的第四匹配度；
第二训练模块，用于根据所述每个时刻的运行状态信息下，每个所述第四匹配度与对应的所述第二参考匹配度之间的差异，对所述初始网络模型进行修正，直至基于修正后的初始网络模型确定的所述每个时刻的运行状态信息与各候选动作的第四匹配度与第二参考匹配度之间的差值在预设范围内，确定所述修正后的初始网络模型为所述第一初始调度模型。
13.如权利要求12所述的装置，其中，所述第一确定模块，还用于基于每个动作，控制由所述电网系统对应的模型运行，以确定每个时刻的运行状态信息与每个所述动作的第三参考匹配度；
所述装置还包括：
第二确定模块，用于根据每个所述第三参考匹配度，确定与所述每个时刻的运行状态信息的第三参考匹配度最高的动作；
第三确定模块，用于根据与所述每个时刻的运行状态信息的第三参考匹配度最高的动作，确定每个所述动作第三参考匹配度最高的次数；
第一抽取模块，用于根据每个所述动作第三参考匹配度最高的次数，从各动作中抽取多个候选动作。
14.如权利要求8-13任一所述的装置，所述装置还包括：
第四获取模块，用于获取所述电网系统的当前运行状态信息；
第五获取模块，用于将所述当前运行状态信息输入所述电网系统调度模型，以获取所述当前运行状态信息与每个所述候选动作的匹配度；
第二抽取模块，用于根据所述当前运行状态信息与每个所述候选动作的匹配度，从所述各候选动作中抽取第二目标动作;
调度模块，用于基于所述第二目标动作，对所述电网系统进行调度。
15.一种计算机设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
CN202110735962.1A 2021-06-30 2021-06-30 电网系统调度模型的训练方法、装置、设备和存储介质 Active CN113554280B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110735962.1A CN113554280B (zh) 2021-06-30 2021-06-30 电网系统调度模型的训练方法、装置、设备和存储介质
JP2022003836A JP7314330B2 (ja) 2021-06-30 2022-01-13 送電網システムディスパッチングモデルのトレーニング方法、装置、機器及び記憶媒体
US17/684,131 US20220231504A1 (en) 2021-06-30 2022-03-01 Method, device and storage medium for training power system scheduling model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110735962.1A CN113554280B (zh) 2021-06-30 2021-06-30 电网系统调度模型的训练方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113554280A CN113554280A (zh) 2021-10-26
CN113554280B true CN113554280B (zh) 2023-06-16

Family

ID=78131131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110735962.1A Active CN113554280B (zh) 2021-06-30 2021-06-30 电网系统调度模型的训练方法、装置、设备和存储介质

Country Status (3)

Country Link
US (1) US20220231504A1 (zh)
JP (1) JP7314330B2 (zh)
CN (1) CN113554280B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115529324B (zh) * 2022-08-16 2023-12-15 无锡市恒通电器有限公司 一种智能物联电表在物联网通信场景下的数据转发方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598211A (zh) * 2020-04-13 2020-08-28 北京百度网讯科技有限公司 电梯调度模型训练方法、装置、电子设备和存储介质
CN112182126A (zh) * 2020-09-18 2021-01-05 北京三快在线科技有限公司 用于确定匹配度的模型训练方法、装置、电子设备及可读存储介质
CN112791394A (zh) * 2021-02-02 2021-05-14 腾讯科技（深圳）有限公司 游戏模型训练方法、装置、电子设备及存储介质
CN113033801A (zh) * 2021-03-04 2021-06-25 北京百度网讯科技有限公司 神经网络模型的预训练方法、装置、电子设备和介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569696B1 (en) * 2015-08-12 2017-02-14 Yahoo! Inc. Media content analysis system and method
US10309372B2 (en) * 2017-05-25 2019-06-04 Hitachi, Ltd. Adaptive power generation management
JP6973625B2 (ja) * 2018-03-29 2021-12-01 日本電気株式会社 学習装置、学習方法および学習プログラム
US11568324B2 (en) * 2018-12-20 2023-01-31 Samsung Display Co., Ltd. Adversarial training method for noisy labels

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598211A (zh) * 2020-04-13 2020-08-28 北京百度网讯科技有限公司 电梯调度模型训练方法、装置、电子设备和存储介质
CN112182126A (zh) * 2020-09-18 2021-01-05 北京三快在线科技有限公司 用于确定匹配度的模型训练方法、装置、电子设备及可读存储介质
CN112791394A (zh) * 2021-02-02 2021-05-14 腾讯科技（深圳）有限公司 游戏模型训练方法、装置、电子设备及存储介质
CN113033801A (zh) * 2021-03-04 2021-06-25 北京百度网讯科技有限公司 神经网络模型的预训练方法、装置、电子设备和介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种权重自适应的强化学习云资源调度算法;李成严等;哈尔滨理工大学学报;17-25 *
基于深度学习的含风电电力系统实时调度模型研究;于杰;陈新建;朱轶伦;王彬任;;机电信息(第18期);7-9 *

Also Published As

Publication number Publication date
CN113554280A (zh) 2021-10-26
JP7314330B2 (ja) 2023-07-25
US20220231504A1 (en) 2022-07-21
JP2022050615A (ja) 2022-03-30

Similar Documents

Publication Publication Date Title
Yan et al. Fast transient stability batch assessment using cascaded convolutional neural networks
CN112507040B (zh) 多元关系生成模型的训练方法、装置、电子设备及介质
CN113553864B (zh) 翻译模型的训练方法、装置、电子设备及存储介质
CN112560985B (zh) 神经网络的搜索方法、装置及电子设备
CN114416934B (zh) 多模态的对话生成模型的训练方法、装置及电子设备
CN113450759A (zh) 语音生成方法、装置、电子设备以及存储介质
CN115114439B (zh) 多任务模型推理、多任务信息处理的方法和装置
CN114202076A (zh) 深度学习模型的训练方法、自然语言处理方法和装置
CN114494776A (zh) 一种模型训练方法、装置、设备以及存储介质
CN113554280B (zh) 电网系统调度模型的训练方法、装置、设备和存储介质
CN113807515A (zh) 模型训练的方法、装置、计算机设备及存储介质
CN113392920B (zh) 生成作弊预测模型的方法、装置、设备、介质及程序产品
CN113361363A (zh) 人脸图像识别模型的训练方法、装置、设备及存储介质
CN114783597B (zh) 多类疾病诊断的诊断方法及装置、电子设备和存储介质
CN115470798A (zh) 意图识别模型的训练方法、意图识别方法、装置及设备
CN113222414B (zh) 模型稳定性的评估方法、装置、电子设备和存储介质
CN113961765A (zh) 基于神经网络模型的搜索方法、装置、设备和介质
CN114298389A (zh) 一种臭氧浓度预报方法及装置
CN114267375A (zh) 音素检测方法及装置、训练方法及装置、设备和介质
CN113408632A (zh) 提高图像分类准确性的方法、装置、电子设备及存储介质
CN113112311A (zh) 训练因果推断模型的方法、信息提示方法以装置
JP7395811B2 (ja) 負荷予測方法、装置、電子機器、及び記憶媒体
CN114580448B (zh) 一种手语翻译方法、装置、电子设备及存储介质
CN115983445A (zh) Pue预测方法、pue预测模型的训练方法、装置及设备
CN113836418A (zh) 数据的推送方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant