CN115952958A - 基于maddpg强化学习的水库群联合优化调度方法 - Google Patents

基于maddpg强化学习的水库群联合优化调度方法 Download PDF

Info

Publication number
CN115952958A
CN115952958A CN202310238977.6A CN202310238977A CN115952958A CN 115952958 A CN115952958 A CN 115952958A CN 202310238977 A CN202310238977 A CN 202310238977A CN 115952958 A CN115952958 A CN 115952958A
Authority
CN
China
Prior art keywords
reservoir
group
reservoir group
reward
flood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310238977.6A
Other languages
English (en)
Other versions
CN115952958B (zh
Inventor
丁武
宋利祥
杨芳
王汉岗
张炜
何用
刘晋
查大伟
胡豫英
杨滨
李东豪
沈灿诚
李文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pearl River Hydraulic Research Institute of PRWRC
Original Assignee
Pearl River Hydraulic Research Institute of PRWRC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pearl River Hydraulic Research Institute of PRWRC filed Critical Pearl River Hydraulic Research Institute of PRWRC
Priority to CN202310238977.6A priority Critical patent/CN115952958B/zh
Publication of CN115952958A publication Critical patent/CN115952958A/zh
Application granted granted Critical
Publication of CN115952958B publication Critical patent/CN115952958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于水库群联合调度技术领域，尤其是涉及一种基于MADDPG强化学习的水库群联合优化调度方法。所述方法包括以下步骤：获取区域水库集雨范围信息数据，根据区域水库集雨范围信息数据构建水库群调度控制模型；获取水库群联合调控信息数据，通过对水库群联合调控信息数据进行水库群设备联动调控目标处理，生成水库群联合调控目标数据，利用水库群联合调控奖励函数对水库群联合调控目标数据进行水库群联合调控奖励计算，生成水库群联合调控奖励数据。本发明能够解决现有水库群调度方法无法兼顾调度效果和计算效率的难题。

Description

基于MADDPG强化学习的水库群联合优化调度方法
技术领域
本发明属于水库群联合调度技术领域，尤其是涉及一种基于MADDPG强化学习的水库群联合优化调度方法。
背景技术
水库群联合优化调度可为水库群发挥防洪、灌溉、发电、供水等巨大社会经济效益提供技术支撑，但由于水库群调度控制系统机理的复杂性和决策的非线性，目前基于传统优化算法的系统实时控制方法仍难以同时兼顾调度效果和优化效率。同时，目前利用强化学习算法实现水库调度的方法，往往只是优化单一目标或者只针对单一水库的优化调度。然而，水库群联合优化调度通常具有控制变量高维、多目标调控的特点，现有的水库群联合调度方案所面临的调度效果和计算效率无法兼顾的难题，难以实现水库群的多目标联合优化调度，阻碍水库群联合调度的发展。
发明内容
本发明提供一种基于MADDPG强化学习的水库群联合优化调度方法，以解决至少一个上述技术问题。
为实现上述目的，一种基于MADDPG强化学习的水库群联合优化调度方法，包括以下步骤：
步骤S1：获取区域水库集雨范围信息数据，根据区域水库集雨范围信息数据构建水库群调度控制模型；
步骤S2：获取水库群联合调控信息数据，通过对水库群联合调控信息数据进行水库群设备联动调控目标处理，生成水库群联合调控目标数据，利用水库群联合调控奖励函数对水库群联合调控目标数据进行水库群联合调控奖励计算，从而生成水库群联合调控奖励数据；
步骤S3：根据MADDPG算法构建MADDPG强化学习模型，利用水库群联合调控奖励数据对MADDPG强化学习模型进行学习模型优化处理，得到水库群智能体模型，利用水库群智能体模型对水库群调度控制模型进行水库群优化调度强化学习处理，从而生成水库群最优调度方案策略；
步骤S4：对水库群最优调度方案策略进行水库群保障程度评估处理，生成水库群保障程度评估信息，从而实现水库联合优化调度任务。
本实施例通过获取某个城市的水库集雨范围信息数据，运用高精度数值模拟方法构建水库群调度控制模型，达到物理流域的数值仿真效果，实现高保真的调度控制模型，并利用通过获取到的某个城市的水库群联合调控信息数据设立水库群联合调控奖励数据，构建MADDPG强化学习模型，利用水库群联合调控奖励数据对MADDPG强化学习模型进行优化，得到多个水库群智能体，并利用多个水库群智能体同时和调度控制模型进行水库群优化调度强化学习，将优化时间转化为离线学习成本的同时还有效提升了模型的优化效率，针对各调度目标构造相应奖励函数，实现水库群的联合优化调度，并对水库群的联合优化调度进行保障程度评估，观察进行水库群联合优化调度后的效果。综上，基于MADDPG强化学习的水库群联合优化调度方法通常具有控制变量高维、多目标调控的特点，并且能有效解决目前水库群实时调度所面临的调度效果和计算效率无法兼顾的难题，实现水库群的多目标联合优化调度，对其进行发展是十分必要的。
在本说明书的一个实施例中，步骤S1具体包括：
步骤S11：获取区域水库集雨范围信息数据；
步骤S12：根据区域水库集雨范围信息数据通过集总式水文模型建模方式进行建模，从而构建集雨范围内的区域集总式水文模型；
步骤S13：根据区域水库集雨范围信息数据通过水库调洪计算瞬态法计算方式进行建模，从而构建库区调洪演算模型；
步骤S14：根据区域水库集雨范围信息数据通过圣维南方程组及Preissmann格式离散计算方式进行建模，从而构建库区下游河道一维水动力模型；
步骤S15：根据区域水库集雨范围信息数据通过WRF-Hydro分布式水文模型建模方式进行建模，从而构建区下游区间入流分布式水文模型；
步骤S16：收集区域实测雨洪过程信息，利用GA遗传算法对区域实测雨洪过程信息进行雨洪过程预测处理，从而生成区域预测雨洪信息；
步骤S17：利用区域预测雨洪信息对区域集总式水文模型、库区调洪演算模型、库区下游河道一维水动力模型、区下游区间入流分布式水文模型进行参数自动率定处理，从而生成区域总式水文率定信息、库区调洪演算率定信息、库区下游河道一维水动力率定信息以及区下游区间入流分布式水文率定信息；
步骤S18：根据区域总式水文率定信息、库区调洪演算率定信息、库区下游河道一维水动力率定信息以及区下游区间入流分布式水文率定信息构建水库群调度控制模型。
本实施例获取区域水库集雨范围信息数据，为后续提供建模的数据基础，通过不同的建模方式对水文、水动力、下游河道流量、雨水流量等进行建模，为水库群调度提供基础模型，提高调度的科学性和精准性，利用遗传算法对实测雨洪过程信息进行预测处理，为水库群调度提供更准确的雨洪信息，利用预测雨洪信息对水文模型等进行参数自动率定，提高了模型的精度和可靠性，基于水文模型等构建水库群调度控制模型，实现对水库群最优调度方案的生成。
在本说明书的一个实施例中，步骤S13中的水库调洪计算瞬态法计算方式与步骤S14中的圣维南方程组及Preissmann格式离散计算方式分别如下所示：
水库调洪计算瞬态法计算方式如下：
Figure SMS_1
其中，
Figure SMS_3
为计算时段中的水库平均入库流量，
Figure SMS_4
为计算时段中的下游河道的平均下泄流量，
Figure SMS_6
为计算时段初的水库入库流量，
Figure SMS_7
为计算时段末的水库入库流量，
Figure SMS_8
为计算时段初的下游河道下泄流量，
Figure SMS_9
为计算时段末的下游河道下泄流量，
Figure SMS_11
为计算时段初水库的蓄水量，
Figure SMS_2
为计算时段末水库的蓄水量，
Figure SMS_5
为计算时段初与末的水库之差的蓄水量，
Figure SMS_10
为水库调洪计算时段长；
基于圣维南方程组及Preissmann格式离散计算方式如下：
Figure SMS_12
Figure SMS_13
其中，
Figure SMS_15
为水库群调度系统总防洪控制断面数，
Figure SMS_18
为水库群调度系统中水库个数的数量，
Figure SMS_19
为水库基于构建下游河道所需要的时间，
Figure SMS_20
为计算时段中的水库入库流量，
Figure SMS_21
为下游河道下泄速度，
Figure SMS_22
为下游河道的下泄流量，
Figure SMS_23
为计算时段中的水库入库流量的常数调整项，
Figure SMS_14
为水库防洪控制断的权重信息，
Figure SMS_16
为下游河道的蓄水量，
Figure SMS_17
为下游河道蓄水量造成的压力。
本实施例中利用水库调洪计算瞬态法来计算时段初与末的水库之差的蓄水量
Figure SMS_25
与水库调洪计算时段长
Figure SMS_26
之比
Figure SMS_27
，利用水库群中的时段初、末的入库流量总和
Figure SMS_29
与时段初、末下泄流量之差
Figure SMS_30
，利用圣维南方程组及Preissmann格式离散对区域水库集雨范围信息数据进行数据建模，通过水库群调度系统总防洪控制断面数
Figure SMS_31
、水库个数的数量
Figure SMS_32
、水库基于构建下游河道所需要的时间
Figure SMS_24
、计算时段中的水库入库流量
Figure SMS_28
以及下游河道下泄速度
Figure SMS_33
的关系，得到下游河道的下泄流量
Figure SMS_34
。
在本说明书的一个实施例中，其中，步骤S2中的水库群设备联动调控目标处理包括水库下游防洪安全奖励计算、系统保证自身防洪安全奖励计算、系统保障水库发电奖励计算以及系统保障水生态环境奖励计算，步骤S2具体包括：
步骤S21：获取水库群联合调控信息数据；
步骤S22：利用水库下游防洪安全计算公式对水库群联合调控信息数据进行水库下游防洪安全奖励计算，从而生成水库下游防洪安全奖励数据；
步骤S23：利用系统保障水库自身防洪安全计算公式对水库群联合调控信息数据进行系统保证自身防洪安全奖励计算，从而生成系统保障水库自身防洪安全奖励数据；
步骤S24：利用系统保障水库发电公式对水库群联合调控信息数据进行系统保障水库发电奖励计算，从而生成系统保障水库发电奖励数据；
步骤S25：利用系统保障水生态环境公式对水库群联合调控信息数据进行系统保障水生态环境奖励计算，从而生成系统保障水生态环境奖励数据；
步骤S26：将水库下游防洪安全奖励数据、系统保障水库自身防洪安全奖励数据、系统保障水库发电奖励数据、系统保障水生态环境奖励数据进行数据分类整合，得到水库群联合调控目标数据；
步骤S27：利用水库群联合调控奖励函数对水库群联合调控目标数据进行水库群联合调控奖励计算，从而生成水库群联合调控奖励数据。
本实施例通过获取某个地区的水库群联合调控信息数据，并利用数学公式得到不同调控的水库群设备进行奖励数据计算，对这些奖励数据进行整合得到水库群联合调控奖励数据，水库群联合调控奖励数据是利用水库下游防洪安全，水库自身防洪安全，水库发电，水库水生态环境这些因素形成一种优化水库群联合调度的方法，利用水库群联合调控奖励数据去对水库群调度模型进行相应的模型改进，使水库群调度模型可以发挥更大的作用，提高了水库群联合调度的效率和准确性，为实现水资源的高效利用和生态保护提供了支持。
在本说明书的一个实施例中，其中，步骤S22中的水库下游防洪安全计算公式、步骤S23中的系统保障水库自身防洪安全计算公式、步骤S24中的系统保障水库发电公式、步骤S25中的系统保障水生态环境公式以及步骤S27中的水库群联合调控奖励函数公式分别如下所示：
水库下游防洪安全计算公式如下：
Figure SMS_35
其中，
Figure SMS_37
为
Figure SMS_39
时刻水库群调度系统保障下游防洪安全所获得的奖励，
Figure SMS_40
为水库调度时间，
Figure SMS_41
为水库群调度系统总防洪控制断面数，
Figure SMS_42
为第
Figure SMS_43
个防洪控制断面的防洪要求流量，
Figure SMS_44
为
Figure SMS_36
时刻第
Figure SMS_38
个防洪控制断面的实时流量；
系统保障水库自身防洪安全计算公式如下：
Figure SMS_45
其中，
Figure SMS_47
为
Figure SMS_48
时刻水库群调度系统保障水库自身防洪安全所获得的奖励，
Figure SMS_50
为水库调度时间，
Figure SMS_54
为水库群调度系统中水库个数，
Figure SMS_55
为第
Figure SMS_57
个水库水位低于正常蓄水位的安全风险系数，
Figure SMS_58
为第
Figure SMS_46
个水库水位高于防洪高水位的安全风险系数，
Figure SMS_49
为第
Figure SMS_51
个水库的正常蓄水位，
Figure SMS_52
为第
Figure SMS_53
个水库的防洪高水位，
Figure SMS_56
为第
Figure SMS_59
个水库在第
Figure SMS_60
时段的实时水位；
系统保障水库发电公式如下：
Figure SMS_61
其中，
Figure SMS_67
为
Figure SMS_69
时刻水库群调度系统保障水库发电所获得的奖励，
Figure SMS_71
为水库调度时间，
Figure SMS_72
为水库群调度系统中水库个数，
Figure SMS_73
为第
Figure SMS_74
个水库的出力系数，
Figure SMS_75
为
Figure SMS_62
个水库在第
Figure SMS_63
时段的机组过流流量，
Figure SMS_65
为第
Figure SMS_66
个水库在第
Figure SMS_68
时段的实时水位，
Figure SMS_70
为第
Figure SMS_76
个水库在第
Figure SMS_77
时段的尾水位，
Figure SMS_64
为水库群调度系统保障水库发电所获得的奖励的异常调整值；
系统保障水生态环境公式如下：
Figure SMS_78
其中，
Figure SMS_80
为
Figure SMS_82
时刻水库群调度系统保障下游水生态环境所获得的奖励，
Figure SMS_83
为水库调度时间，
Figure SMS_84
为水库群调度系统总防洪控制断面数，
Figure SMS_85
为
Figure SMS_86
时刻第
Figure SMS_87
个防洪控制断面的实时流量，
Figure SMS_79
为第
Figure SMS_81
个防洪控制断面维持水生态环境所需流量；
水库群联合调控奖励函数公式如下：
Figure SMS_88
其中，
Figure SMS_90
为水库群调度系统在时段
Figure SMS_91
的总奖励值，
Figure SMS_93
为水库调度时间，
Figure SMS_94
为水库下游防洪安全奖励数据的权重信息，
Figure SMS_96
为系统保障水库自身防洪安全奖励数据的权重信息，
Figure SMS_98
为水系统保障水库发电奖励数据的权重信息，
Figure SMS_100
为系统保障水生态环境奖励数据的权重信息，
Figure SMS_89
为
Figure SMS_92
时刻水库群调度系统保障下游防洪安全所获得的奖励，
Figure SMS_95
为
Figure SMS_97
时刻水库群调度系统保障水库自身防洪安全所获得的奖励，
Figure SMS_99
为
Figure SMS_101
时刻水库群调度系统保障水库发电所获得的奖励，
Figure SMS_102
为
Figure SMS_103
时刻水库群调度系统保障下游水生态环境所获得的奖励。
本实施例为计算水库群调度系统中所获得的各项奖励与水库群调度系统的总奖励，在
Figure SMS_117
时刻水库群调度系统保障下游防洪安全所获得的奖励
Figure SMS_118
中，当
Figure SMS_119
时刻第
Figure SMS_120
个防洪控制断面的实时流量
Figure SMS_121
小于第
Figure SMS_124
个防洪控制断面的防洪要求流量
Figure SMS_126
，则不获得奖励，当
Figure SMS_127
时刻第
Figure SMS_129
个防洪控制断面的实时流量
Figure SMS_138
大于第
Figure SMS_139
个防洪控制断面的防洪要求流量
Figure SMS_140
，则获得奖励；在
Figure SMS_141
时刻水库群调度系统保障水库自身防洪安全所获得的奖励
Figure SMS_142
中，当水库的实时水位高于水库的正常蓄水位并且小于水库的防洪高水位，则不获得奖励，当水库的实时水位低于水库的正常蓄水位或者高于水库的防洪高水位，则获得奖励；在
Figure SMS_143
时刻水库群调度系统保障水库发电所获得的奖励
Figure SMS_104
中，每个水库处理系数
Figure SMS_107
、机组过流流量
Figure SMS_108
以及水库的实时水位
Figure SMS_110
与水库的尾水位
Figure SMS_122
之差，三者之间的得到
Figure SMS_123
，并利用水库群调度系统保障水库发电所获得的奖励的异常调整值
Figure SMS_125
调整水库群系统保障水库发电获得的奖励；在
Figure SMS_128
时刻水库群调度系统保障下游水生态环境所获得的奖励
Figure SMS_130
中，当
Figure SMS_131
时刻第
Figure SMS_132
个防洪控制断面的实时流量大于第
Figure SMS_133
个防洪控制断面维持水生态环境所需流量，则不获得奖励，当
Figure SMS_134
时刻第
Figure SMS_135
个防洪控制断面的实时流量小于第
Figure SMS_136
个防洪控制断面维持水生态环境所需流量，则获得奖励；利用上述中得到各项奖励对应的权重信息
Figure SMS_137
、
Figure SMS_105
、
Figure SMS_106
以及
Figure SMS_109
对所获得的奖励
Figure SMS_111
、
Figure SMS_112
、
Figure SMS_113
以及
Figure SMS_114
进行水库群调度系统奖励调整，最终得到水库群调度系统在时段
Figure SMS_115
的总奖励值
Figure SMS_116
。
在本说明书的一个实施例中，步骤S3具体包括：
步骤S31：对区域水库集雨范围信息数据进行历史特征数据提取处理，从而得到历史区域水库集雨范围特征信息数据；
步骤S32：根据历史区域水库集雨范围特征信息数据通过MADDPG算法构建MADDPG强化学习模型；
步骤S33：利用水库群联合调控奖励对MADDPG强化学习模型进行学习模型优化处理，从而生成水库群智能体模型；
步骤S34：利用水库群智能体模型对水库群调度控制模型进行优化调度强化学习处理，从而生成水库群最优调度方案策略。
本实施例通过区域水库集雨范围信息中的历史特征数据构建MADDPG强化学习模型，MADDPG强化学习模型是通过水位、流量、雨量等关系的影响对水库群调度生成更优的方案策略，在MADDPG随着不同的水库群联合调控奖励生成多种水库群智能体模型，并利用这些水库群智能体模型对相应的水库群调度控制模型利用现代信息技术，如人工智能、强化学习等，进行水库群的联合调度优化，提高水库调度效率和水资源利用，是效益得到最大化，从而生成水库群最优调度方案策略。
在本说明书的一个实施例中，步骤S31中的MADDPG算法包括Critic损失函数构建水库群智能体公式、Actor网络参数梯度下降算法构建水库群智能体公式，Critic损失函数构建水库群智能体公式、Actor网络参数梯度下降算法构建水库群智能体公式分别如下所示：
Critic损失函数构建水库群智能体公式为：
Figure SMS_144
其中，
Figure SMS_146
为各水库群智能体当前所处状态的真实价值评估值，
Figure SMS_147
为各水库群智能体网络的参数，
Figure SMS_154
为水库群智能体个数，
Figure SMS_155
为从样本池中采样的个数，每个样本以元组的形式给出，如第
Figure SMS_156
个样本的形式为：{
Figure SMS_157
，
Figure SMS_158
，
Figure SMS_145
}，
Figure SMS_148
为所有水库群智能体的观测集合，
Figure SMS_149
为所有水库群智能体的动作集合，
Figure SMS_150
为所有水库群智能体的奖励集合，
Figure SMS_151
为第
Figure SMS_152
个样本中各水库群智能体当前所处状态的真实价值评估值，
Figure SMS_153
为各水库群智能体中心化的动作价值函数；
Actor网络参数梯度下降算法构建水库群智能体公式为：
Figure SMS_159
其中，
Figure SMS_160
为各水库群智能体当前所处状态的策略价值评估值，
Figure SMS_161
为水库群智能体的策略参数，
Figure SMS_162
为从样本池中采样的个数，
Figure SMS_163
为水库群智能体的策略函数，
Figure SMS_164
为水库群智能体的策略价值函数。
在本说明书的一个实施例中，步骤S33具体包括：
预设水库群联合调控奖励阈值；
将水库群联合调控奖励数据与水库群联合调控奖励阈值进行阈值比对处理，筛选出面向奖励最大方向的水库群联合调控奖励数据，从而生成奖励最大化水库群联合调控奖励数据；
获取实时区域水库水文数据；
利用区域水库水文数据对最大化水库群联合调控奖励数据进行水库群联合调控奖励优化处理，从而生成优化水库群联合调控奖励数据；
利用优化水库群联合调控奖励数据对MADDPG强化学习模型进行学习模型优化处理，从而生成水库群智能体模型。
本实施例通过设立水库群联合调控奖励阈值并且进行阈值比对处理可以筛选得到最大化的水库群联合调控奖励数据，并且通过水库的水文数据对奖励数据进行优化处理可以更好地适应当前的环境和需求，提高调度控制模型的效率和性能，优化水库群联合调控奖励数据对MADDPG强化学习模型进行学习模型优化处理可以生成更优秀的水库群智能体模型，从而实现更优的水库群联合调控方案。
在本说明书的一个实施例中，其中，步骤S4中的水库群保障程度评估处理包括行下游防洪安全及水生态环境保障程度评估处理、水库自身防洪安全保障程度评估处理以及水库系统发电保障程度评估处理，步骤S4具体包括：
步骤S41：利用下游防洪安全及水生态环境算法对水库群最优调度方案策略进行下游防洪安全及水生态环境保障程度评估处理，从而生成下游防洪安全及水生态环境保障程度；
步骤S42：利用水库自身防洪安全算法对水库群最优调度方案策略进行水库自身防洪安全保障程度评估处理，从而生成水库自身防洪安全保障程度；
步骤S43：利用水库系统发电算法对水库群最优调度方案策略进行水库系统发电保障程度评估处理，从而生成水库系统发电保障程度；
步骤S44：将下游防洪安全及水生态环境保障程度、水库自身防洪安全保障程度、水库系统发电保障程度进行水库群联合保障程度整合，生成水库群保障程度评估信息，从而实现水库联合优化调度方法。
本实施例通过多因素综合考虑和评估，为水库调度提供全面的保障程度信息，有利于决策者做出更加科学的决策，提高了水库调度决策的可靠性和准确性，在满足下游防洪安全、水生态环境保障、水库自身防洪安全和水库系统发电等要求的前提下，实现了水库群联合最优调度，提高了水库群的整体效率和优化程度，此外，通过整合各项保障程度评估信息，可以生成水库群保障程度评估信息，为水库调度提供全面的考虑，通过多因素综合考虑和评估，为水库调度提供全面的保障程度信息，有利于决策者做出更加科学的决策，提高了水库调度决策的可靠性和准确性。
在本说明书的一个实施例中，步骤S41中的下游防洪安全及水生态环境算法、步骤S42中的水库自身防洪安全算法、步骤S43中的水库系统发电算法分别如下所示：
下游防洪安全及水生态环境算法如下：
Figure SMS_165
Figure SMS_166
其中，
Figure SMS_168
为下游防洪安全及水生态环境保障程度，
Figure SMS_169
为水库群调度系统总防洪控制断面数，
Figure SMS_174
为水库群调度系统中调度总时长，
Figure SMS_175
为水库调度时间，
Figure SMS_176
为
Figure SMS_178
时刻中随防洪控制断改变的下游安全防洪的权重信息，
Figure SMS_179
为
Figure SMS_167
时刻第
Figure SMS_170
个防洪控制断面的实时流量，
Figure SMS_171
为第
Figure SMS_172
个防洪控制断面维持水生态环境所需流量，
Figure SMS_173
为第
Figure SMS_177
个防洪控制断面的防洪要求流量；
水库自身防洪安全算法如下：
Figure SMS_180
Figure SMS_181
其中，
Figure SMS_183
为水库自身防洪安全保障程度，
Figure SMS_189
为水库群调度系统中水库个数，
Figure SMS_190
为水库群调度系统中调度总时长，
Figure SMS_191
为水库调度时间，
Figure SMS_192
为
Figure SMS_193
时刻中随水库蓄水量改变的水库蓄水的权重信息，
Figure SMS_194
为第
Figure SMS_182
个水库在第
Figure SMS_184
时段的实时水位，
Figure SMS_185
为第
Figure SMS_186
个水库的正常蓄水位，
Figure SMS_187
为第
Figure SMS_188
个水库的防洪高水位；
水库系统发电算法如下：
Figure SMS_195
其中，
Figure SMS_196
为水库系统发电保障程度，
Figure SMS_197
为水库群调度系统中调度总时长，
Figure SMS_198
为水库调度时间，
Figure SMS_199
为
Figure SMS_200
时刻水库群调度系统保障水库发电所获得的奖励。
本实施例讲述水库调度系统相关的各项保障程度，在下游防洪安全及水生态环境保障程度
Figure SMS_202
中，需要考虑
Figure SMS_203
时刻第
Figure SMS_204
个防洪控制断面的实时流量
Figure SMS_209
是否在第
Figure SMS_210
个防洪控制断面的防洪要求流量
Figure SMS_212
与第
Figure SMS_214
个防洪控制断面维持水生态环境所需流量
Figure SMS_216
区间范围，如果不在区间范围，则不具备任何下游防洪安全及水生态环境保障程度，如果在区间范围，则下游防洪安全及水生态环境保障程度与水库群调度系统总防洪控制断面数
Figure SMS_217
以及水库群调度系统中调度总时长
Figure SMS_219
为反比关系；在水库自身防洪安全保障程度
Figure SMS_220
中，需要考虑第
Figure SMS_221
个水库在第
Figure SMS_222
时段的实时水位
Figure SMS_223
是否在第
Figure SMS_224
个水库的防洪高水位
Figure SMS_201
与第
Figure SMS_205
个水库的正常蓄水位
Figure SMS_206
区间范围，如果不在区间范围，则不具备任何水库自身防洪安全保障程度，如果在区间范围，则库自身防洪安全保障程度与水库群调度系统中水库个数
Figure SMS_207
以及水库群调度系统中调度总时长
Figure SMS_208
为反比关系；水库系统发电保障程度
Figure SMS_211
与
Figure SMS_213
时刻水库群调度系统保障水库发电所获得的奖励
Figure SMS_215
为正比关系，与水库群调度系统中调度总时长
Figure SMS_218
为反比关系。
本申请实施例中，通过获取区域水库集雨范围信息数据来构建水库群调度控制模型，其中水库群调度控制模型包括区域总式水文模型、库区调洪演算模型、库区下游河道一维水动力模型以及区间入流分布式水文模型，各模型互相调配，帮助调度水库群中的各水库，再利用获取的水库群联合调控信息数据进行水库群联动调控目标处理，生成的水库群联合调控目标数据为水库群调控要优化需要达到的目标，利用水库群联合调控奖励函数对水库群联合调控目标数据进行水库群联合调控奖励计算，生成水库群联合调控奖励数据，利用水库群联合调控奖励数据去优化水库群调度控制模型，该优化为水库群调度控制模型需要经过水库群联合调控奖励数据的要求去调度，从而得到水库群最优调度方案策略，并对水库群最有策略进行水库群保障程度评估处理，评估水库群最有调度方案策略是否满足各项水库群的安全保障，从而实现水库联合优化调度任务。综上，基于MADDPG强化学习的水库群联合优化调度方法通常具有控制变量高维、多目标调控的特点，并且能有效解决目前水库群实时调度所面临的调度效果和计算效率无法兼顾的难题，实现水库群的多目标联合优化调度，对其进行发展是十分必要的。
附图说明
图1为本发明一种基于MADDPG强化学习的水库群联合优化调度方法的步骤流程示意图；
图2为本发明的利用MADDPG强化学习智能体得到最优调度策略去指导水库群调控操作方法示意图；
图3为a地、b地以及c地三大库的集总式水文模型率定过程示意图；
图4为图1中步骤S2的详细实施步骤流程示意图；
图5为图1中步骤S3的详细实施步骤流程示意图；
图6为基于MADPG强化学习模型优化调度控制模型示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种基于MADDPG强化学习的水库群联合优化调度方法。所述基于MADDPG强化学习的水库群联合优化调度方法执行主体包括但不限于搭载该系统的：机械设备、云服务器、网络传输设备等可看作本申请的通用计算节点，执行的区域水库包括但不限于：a地、b地以及c地。
本发明提供一种基于MADDPG强化学习的水库群联合优化调度方法，包括以下步骤：
步骤S1：获取区域水库集雨范围信息数据，根据区域水库集雨范围信息数据构建水库群调度控制模型；
步骤S2：获取水库群联合调控信息数据，通过对水库群联合调控信息数据进行水库群设备联动调控目标处理，生成水库群联合调控目标数据，利用水库群联合调控奖励函数对水库群联合调控目标数据进行水库群联合调控奖励计算，从而生成水库群联合调控奖励数据；
步骤S3：根据MADDPG算法构建MADDPG强化学习模型，利用水库群联合调控奖励数据对MADDPG强化学习模型进行学习模型优化处理，得到水库群智能体模型，利用水库群智能体模型对水库群调度控制模型进行水库群优化调度强化学习处理，从而生成水库群最优调度方案策略；
步骤S4：对水库群最优调度方案策略进行水库群保障程度评估处理，生成水库群保障程度评估信息，从而实现水库联合优化调度任务。
本实施例通过获取某个城市的水库集雨范围信息数据，运用高精度数值模拟方法构建水库群调度控制模型，达到物理流域的数值仿真效果，实现高保真的调度控制模型，并利用通过获取到的某个城市的水库群联合调控信息数据设立水库群联合调控奖励数据，构建MADDPG强化学习模型，利用水库群联合调控奖励数据对MADDPG强化学习模型进行优化，得到多个水库群智能体，并利用多个水库群智能体同时和调度控制模型进行水库群优化调度强化学习，将优化时间转化为离线学习成本的同时还有效提升了模型的优化效率，针对各调度目标构造相应奖励函数，实现水库群的联合优化调度，并对水库群的联合优化调度进行保障程度评估，观察进行水库群联合优化调度后的效果。综上，基于MADDPG强化学习的水库群联合优化调度方法通常具有控制变量高维、多目标调控的特点，并且能有效解决目前水库群实时调度所面临的调度效果和计算效率无法兼顾的难题，实现水库群的多目标联合优化调度，对其进行发展是十分必要的。
本发明实施例中，参考图1所述，为本发明一种基于MADDPG强化学习的水库群联合优化调度方法的步骤流程示意图，在本实例中，所述基于MADDPG强化学习的水库群联合优化调度方法的步骤包括：
步骤S1：获取区域水库集雨范围信息数据，根据区域水库集雨范围信息数据构建水库群调度控制模型；
本发明实施例中，利用GIS（地理信息系统）技术获取区域水库集雨范围信息数据，包括水库的地理位置、蓄水量、调度规划、水文数据，水库集雨区域、集雨面积、集雨特征等，基于水文数据和集雨范围信息数据，构建水库群调度控制模型，建立相关的数学模型和算法，包括线性规划、动态规划、遗传算法、模拟退火等，利用该模型对水库群进行调度规划，以实现下游防洪、水库蓄水、生态环境保护、水力发电等目标的平衡。
步骤S2：获取水库群联合调控信息数据，通过对水库群联合调控信息数据进行水库群设备联动调控目标处理，生成水库群联合调控目标数据，利用水库群联合调控奖励函数对水库群联合调控目标数据进行水库群联合调控奖励计算，从而生成水库群联合调控奖励数据；
本发明实施例中，收集水库群中各个水库的水位、流量、发电量等相关数据，并将其整合为一份数据集，根据水库群各设备的物理特征与收集到的数据集，计算出水库群联合调控的目标数据，使用水库群联合调控奖励函数对水库群联合调控目标数据进行奖励计算，以评估水库群联合调控的效果。例如，对于防洪目标，可以设置一个奖励函数，对于超出防洪容量的水库会受到负面奖励，而对于正常运营的水库会获得正面奖励，将生成的水库群联合调控奖励数据反馈到水库群联合调控系统中，作为评估水库群联合调控效果的指标，为后续水库群联合优化调度提供依据。
步骤S3：根据MADDPG算法构建MADDPG强化学习模型，利用水库群联合调控奖励数据对MADDPG强化学习模型进行学习模型优化处理，得到水库群智能体模型，利用水库群智能体模型对水库群调度控制模型进行水库群优化调度强化学习处理，从而生成水库群最优调度方案策略；
本发明实施例中，根据MADDPG算法构建MADDPG强化学习模型，并且利用上述步骤得到的水库群联合调控奖励数据对MADDPG强化学习模型进行学习模型优化处理，基于水库群联合调控奖励数据，对MADDPG强化学习模型进行训练，构建多个优化后的水库群智能体模型，每个智能体负责控制一个水库，智能体之间可以相互交互，让智能体通过相互博弈和学习来优化自身策略，利用优化后的水库群智能体模型对水库群调度控制模型进行水库群优化调度强化学习处理，从而生成水库群最优调度方案策略。
步骤S4：对水库群最优调度方案策略进行水库群保障程度评估处理，生成水库群保障程度评估信息，从而实现水库联合优化调度任务。
本发明实施例中，对上述得到的水库群最有调度方案策略进行水库群保障程度评估，观察得到的水库群最有调度方案策略中各条件是否满足保障策略，从而实现水库联合优化调度任务。
本发明实施例中，参考图2所述，为本发明的利用MADDPG强化学习智能体得到最优调度策略去指导水库群调控操作方法示意图，在本实施例中，如图所示包括：
该图首先通过学习让强化模型具有智慧，利用水库群调度控制模型模拟使得状态
Figure SMS_225
转变为
Figure SMS_226
，即模拟下一个水库群调度控制模型的状态，通过计算从状态
Figure SMS_227
转变为
Figure SMS_228
的区别得到奖励函数，在利用前面的步骤去训练MADDPG强化学习智能体，MADDPG强化学习智能体反馈回给水库群调度控制模型知道水库群新的调度方案
Figure SMS_229
，并且MADDPG强化学习智能体习得的最优调度策略指导水库群调控操作，使得强化学习模型充当控制设施的大脑。
在本说明书的一个实施例中，步骤S1具体包括：
步骤S11：获取区域水库集雨范围信息数据；
步骤S12：根据区域水库集雨范围信息数据通过集总式水文模型建模方式进行建模，从而构建集雨范围内的区域集总式水文模型；
步骤S13：根据区域水库集雨范围信息数据通过水库调洪计算瞬态法计算方式进行建模，从而构建库区调洪演算模型；
步骤S14：根据区域水库集雨范围信息数据通过圣维南方程组及Preissmann格式离散计算方式进行建模，从而构建库区下游河道一维水动力模型；
步骤S15：根据区域水库集雨范围信息数据通过WRF-Hydro分布式水文模型建模方式进行建模，从而构建区下游区间入流分布式水文模型；
步骤S16：收集区域实测雨洪过程信息，利用GA遗传算法对区域实测雨洪过程信息进行雨洪过程预测处理，从而生成区域预测雨洪信息；
步骤S17：利用区域预测雨洪信息对区域集总式水文模型、库区调洪演算模型、库区下游河道一维水动力模型、区下游区间入流分布式水文模型进行参数自动率定处理，从而生成区域总式水文率定信息、库区调洪演算率定信息、库区下游河道一维水动力率定信息以及区下游区间入流分布式水文率定信息；
步骤S18：根据区域总式水文率定信息、库区调洪演算率定信息、库区下游河道一维水动力率定信息以及区下游区间入流分布式水文率定信息构建水库群调度控制模型。
本实施例获取区域水库集雨范围信息数据，为后续提供建模的数据基础，通过不同的建模方式对水文、水动力、下游河道流量、雨水流量等进行建模，为水库群调度提供基础模型，提高调度的科学性和精准性，利用遗传算法对实测雨洪过程信息进行预测处理，为水库群调度提供更准确的雨洪信息，利用预测雨洪信息对水文模型等进行参数自动率定，提高了模型的精度和可靠性，基于水文模型等构建水库群调度控制模型，实现对水库群最优调度方案的生成。
本发明实施例中，通过调查研究、现场勘测、卫星遥感等方式收集建模区域1959年、1964年、1979年、2005年等典型年份a地水库站、b地水库站、c地水库站等水文站实测洪水流量过程及降雨数据作为获取的区域水库集雨范围信息数据，根据区域水库集雨范围信息数据，通过集总式水文模型建模方式进行建模，可以使用HEC-HMS、SWMM等软件，得到区域集总式水文模型，通过水库调洪计算瞬态法计算方式进行建模，可以使用HEC-ResSim、HEC-RAS等软件，得到库区调洪演算模型，通过圣维南方程组及Preissmann格式离散计算方式进行建模，可以使用MIKE11、MIKE21等软件，得到库区下游河道一维水动力模型，通过WRF-Hydro分布式水文模型建模方式进行建模，可以使用WRF-Hydro、MIKE SHE等软件，得到区下游区间入流分布式水文模型，收集区域实测雨洪过程信息，可以通过监测站点、卫星遥感等方式获取，利用GA遗传算法对区域实测雨洪过程信息进行雨洪过程预测处理，可以使用MATLAB等软件，得到区域预测雨洪信息，利用区域预测雨洪信息对区域集总式水文模型、库区调洪演算模型、库区下游河道一维水动力模型、区下游区间入流分布式水文模型进行参数自动率定处理，可以使用Pest、Calib、Invers等软件，得到区域总式水文率定信息、库区调洪演算率定信息、库区下游河道一维水动力率定信息以及区下游区间入流分布式水文率定信息，根据区域总式水文率定信息、库区调洪演算率定信息、库区下游河道一维水动力率定信息以及区下游区间入流分布式水文率定信息构建水库群调度控制模型。
本发明实施例中，参考图3所述，为a地、b地以及c地三大库的集总式水文模型率定过程示意图，在本实施例中，如图所示包括：
在a地、b地、c地的水库群调度控制模型中，随着水库的蓄水量的变化，水库群调度控制模型的率定值也随着变化，在图中横坐标表示水库的蓄水量，纵坐标表示水库群调度控制模型的率定值。在a地水库站中，水库的蓄水量为0、20、40、60、80、100、120以及140，水库群调度控制模型的率定值为0.065、0.07、0.075、0.08、0.085以及0.09；在b地水库站中，水库的蓄水量为0、50以及100，水库群调度控制模型的率定值为0.32、0.34以及0.36；在c地水库站中，水库的蓄水量为0、50以及100，水库群调度控制模型的率定值为15、20、25、30以及35。三地的水库的蓄水量与水库群调度控制模型的率定值呈现反比。
在本说明书的一个实施例中，步骤S13中的水库调洪计算瞬态法计算方式与步骤S14中的圣维南方程组及Preissmann格式离散计算方式分别如下所示：
水库调洪计算瞬态法计算方式如下：
Figure SMS_230
其中，
Figure SMS_232
为计算时段中的水库平均入库流量，
Figure SMS_234
为计算时段中的下游河道的平均下泄流量，
Figure SMS_235
为计算时段初的水库入库流量，
Figure SMS_237
为计算时段末的水库入库流量，
Figure SMS_238
为计算时段初的下游河道下泄流量，
Figure SMS_239
为计算时段末的下游河道下泄流量，
Figure SMS_240
为计算时段初水库的蓄水量，
Figure SMS_231
为计算时段末水库的蓄水量，
Figure SMS_233
为计算时段初与末的水库之差的蓄水量，
Figure SMS_236
为水库调洪计算时段长；
基于圣维南方程组及Preissmann格式离散计算方式如下：
Figure SMS_241
Figure SMS_242
其中，
Figure SMS_244
为水库群调度系统总防洪控制断面数，
Figure SMS_246
为水库群调度系统中水库个数的数量，
Figure SMS_248
为水库基于构建下游河道所需要的时间，
Figure SMS_249
为计算时段中的水库入库流量，
Figure SMS_250
为下游河道下泄速度，
Figure SMS_251
为下游河道的下泄流量，
Figure SMS_252
为计算时段中的水库入库流量的常数调整项，
Figure SMS_243
为水库防洪控制断的权重信息，
Figure SMS_245
为下游河道的蓄水量，
Figure SMS_247
为下游河道蓄水量造成的压力。
本实施例中利用水库调洪计算瞬态法来计算时段初与末的水库之差的蓄水量
Figure SMS_254
与水库调洪计算时段长
Figure SMS_255
之比
Figure SMS_256
，利用水库群中的时段初、末的入库流量总和
Figure SMS_260
与时段初、末下泄流量之差
Figure SMS_261
，利用圣维南方程组及Preissmann格式离散对区域水库集雨范围信息数据进行数据建模，通过水库群调度系统总防洪控制断面数
Figure SMS_262
、水库个数的数量
Figure SMS_263
、水库基于构建下游河道所需要的时间
Figure SMS_253
、计算时段中的水库入库流量
Figure SMS_257
以及下游河道下泄速度
Figure SMS_258
的关系，得到下游河道的下泄流量
Figure SMS_259
。
在本说明书的一个实施例中，其中，步骤S2中的水库群设备联动调控目标处理包括水库下游防洪安全奖励计算、系统保证自身防洪安全奖励计算、系统保障水库发电奖励计算以及系统保障水生态环境奖励计算，步骤S2具体包括：
步骤S21：获取水库群联合调控信息数据；
步骤S22：利用水库下游防洪安全计算公式对水库群联合调控信息数据进行水库下游防洪安全奖励计算，从而生成水库下游防洪安全奖励数据；
步骤S23：利用系统保障水库自身防洪安全计算公式对水库群联合调控信息数据进行系统保证自身防洪安全奖励计算，从而生成系统保障水库自身防洪安全奖励数据；
步骤S24：利用系统保障水库发电公式对水库群联合调控信息数据进行系统保障水库发电奖励计算，从而生成系统保障水库发电奖励数据；
步骤S25：利用系统保障水生态环境公式对水库群联合调控信息数据进行系统保障水生态环境奖励计算，从而生成系统保障水生态环境奖励数据；
步骤S26：将水库下游防洪安全奖励数据、系统保障水库自身防洪安全奖励数据、系统保障水库发电奖励数据、系统保障水生态环境奖励数据进行数据分类整合，得到水库群联合调控目标数据；
步骤S27：利用水库群联合调控奖励函数对水库群联合调控目标数据进行水库群联合调控奖励计算，从而生成水库群联合调控奖励数据。
本实施例通过获取某个地区的水库群联合调控信息数据，并利用数学公式得到不同调控的水库群设备进行奖励数据计算，对这些奖励数据进行整合得到水库群联合调控奖励数据，水库群联合调控奖励数据是利用水库下游防洪安全，水库自身防洪安全，水库发电，水库水生态环境这些因素形成一种优化水库群联合调度的方法，利用水库群联合调控奖励数据去对水库群调度模型进行相应的模型改进，使水库群调度模型可以发挥更大的作用，提高了水库群联合调度的效率和准确性，为实现水资源的高效利用和生态保护提供了支持。
作为本发明的一个实例，参考图4所示，为图1中步骤S2的详细实施步骤流程示意图，在本实例中所述内容包括：
步骤S21：获取水库群联合调控信息数据；
本发明实施例中，从水文水资源部门和电力公司获取水库群联合调控信息数据，包括各水库当前的水位、进出水流量、调度计划等。
步骤S22：利用水库下游防洪安全计算公式对水库群联合调控信息数据进行水库下游防洪安全奖励计算，从而生成水库下游防洪安全奖励数据；
本发明实施例中，利用设计洪水、安全水位、运行洪水等参数，通过水库下游防洪安全计算公式计算出水库下游防洪安全奖励数据。
步骤S23：利用系统保障水库自身防洪安全计算公式对水库群联合调控信息数据进行系统保证自身防洪安全奖励计算，从而生成系统保障水库自身防洪安全奖励数据；
本发明实施例中，利用水库的调度计划、水库调度能力等参数，通过系统保障水库自身防洪安全计算公式计算出系统保障水库自身防洪安全奖励数据。
步骤S24：利用系统保障水库发电公式对水库群联合调控信息数据进行系统保障水库发电奖励计算，从而生成系统保障水库发电奖励数据；
本发明实施例中，利用水库的水位、进出水流量等参数，通过系统保障水库发电公式计算出系统保障水库发电奖励数据。
步骤S25：利用系统保障水生态环境公式对水库群联合调控信息数据进行系统保障水生态环境奖励计算，从而生成系统保障水生态环境奖励数据；
本发明实施例中，利用水库的水位、进出水流量等参数，通过系统保障水生态环境公式计算出系统保障水生态环境奖励数据。
步骤S26：将水库下游防洪安全奖励数据、系统保障水库自身防洪安全奖励数据、系统保障水库发电奖励数据、系统保障水生态环境奖励数据进行数据分类整合，得到水库群联合调控目标数据；
本发明实施例中，将水库下游防洪安全奖励数据、系统保障水库自身防洪安全奖励数据、系统保障水库发电奖励数据、系统保障水生态环境奖励数据进行整合，并对不同类型的奖励数据进行加权处理，得到水库群联合调控目标数据。
步骤S27：利用水库群联合调控奖励函数对水库群联合调控目标数据进行水库群联合调控奖励计算，从而生成水库群联合调控奖励数据。
本发明实施例中，将水库群联合调控目标数据代入水库群联合调控奖励函数进行计算，得到水库群联合调控奖励数据，根据奖励数据，优化调整水库群的调度计划，以实现水库群联合优化调度任务。
在本说明书的一个实施例中，其中，步骤S22中的水库下游防洪安全计算公式、步骤S23中的系统保障水库自身防洪安全计算公式、步骤S24中的系统保障水库发电公式、步骤S25中的系统保障水生态环境公式以及步骤S27中的水库群联合调控奖励函数公式分别如下所示：
水库下游防洪安全计算公式如下：
Figure SMS_264
其中，
Figure SMS_266
为
Figure SMS_268
时刻水库群调度系统保障下游防洪安全所获得的奖励，
Figure SMS_269
为水库调度时间，
Figure SMS_270
为水库群调度系统总防洪控制断面数，
Figure SMS_271
为第
Figure SMS_272
个防洪控制断面的防洪要求流量，
Figure SMS_273
为
Figure SMS_265
时刻第
Figure SMS_267
个防洪控制断面的实时流量；
系统保障水库自身防洪安全计算公式如下：
Figure SMS_274
其中，
Figure SMS_276
为
Figure SMS_278
时刻水库群调度系统保障水库自身防洪安全所获得的奖励，
Figure SMS_280
为水库调度时间，
Figure SMS_281
为水库群调度系统中水库个数，
Figure SMS_282
为第
Figure SMS_284
个水库水位低于正常蓄水位的安全风险系数，
Figure SMS_286
为第
Figure SMS_275
个水库水位高于防洪高水位的安全风险系数，
Figure SMS_277
为第
Figure SMS_279
个水库的正常蓄水位，
Figure SMS_283
为第
Figure SMS_285
个水库的防洪高水位，
Figure SMS_287
为第
Figure SMS_288
个水库在第
Figure SMS_289
时段的实时水位；
系统保障水库发电公式如下：
Figure SMS_290
其中，
Figure SMS_294
为
Figure SMS_296
时刻水库群调度系统保障水库发电所获得的奖励，
Figure SMS_299
为水库调度时间，
Figure SMS_301
为水库群调度系统中水库个数，
Figure SMS_303
为第
Figure SMS_305
个水库的出力系数，
Figure SMS_306
为
Figure SMS_291
个水库在第
Figure SMS_293
时段的机组过流流量，
Figure SMS_295
为第
Figure SMS_297
个水库在第
Figure SMS_298
时段的实时水位，
Figure SMS_300
为第
Figure SMS_302
个水库在第
Figure SMS_304
时段的尾水位，
Figure SMS_292
为水库群调度系统保障水库发电所获得的奖励的异常调整值；
系统保障水生态环境公式如下：
Figure SMS_307
其中，
Figure SMS_309
为
Figure SMS_311
时刻水库群调度系统保障下游水生态环境所获得的奖励，
Figure SMS_312
为水库调度时间，
Figure SMS_313
为水库群调度系统总防洪控制断面数，
Figure SMS_314
为
Figure SMS_315
时刻第
Figure SMS_316
个防洪控制断面的实时流量，
Figure SMS_308
为第
Figure SMS_310
个防洪控制断面维持水生态环境所需流量；
水库群联合调控奖励函数公式如下：
Figure SMS_317
其中，
Figure SMS_319
为水库群调度系统在时段
Figure SMS_321
的总奖励值，
Figure SMS_322
为水库调度时间，
Figure SMS_324
为水库下游防洪安全奖励数据的权重信息，
Figure SMS_326
为系统保障水库自身防洪安全奖励数据的权重信息，
Figure SMS_328
为水系统保障水库发电奖励数据的权重信息，
Figure SMS_330
为系统保障水生态环境奖励数据的权重信息，
Figure SMS_318
为
Figure SMS_320
时刻水库群调度系统保障下游防洪安全所获得的奖励，
Figure SMS_323
为
Figure SMS_325
时刻水库群调度系统保障水库自身防洪安全所获得的奖励，
Figure SMS_327
为
Figure SMS_329
时刻水库群调度系统保障水库发电所获得的奖励，
Figure SMS_331
为
Figure SMS_332
时刻水库群调度系统保障下游水生态环境所获得的奖励。
本实施例为计算水库群调度系统中所获得的各项奖励与水库群调度系统的总奖励，在
Figure SMS_350
时刻水库群调度系统保障下游防洪安全所获得的奖励
Figure SMS_352
中，当
Figure SMS_356
时刻第
Figure SMS_358
个防洪控制断面的实时流量
Figure SMS_360
小于第
Figure SMS_363
个防洪控制断面的防洪要求流量
Figure SMS_364
，则不获得奖励，当
Figure SMS_365
时刻第
Figure SMS_366
个防洪控制断面的实时流量
Figure SMS_367
大于第
Figure SMS_368
个防洪控制断面的防洪要求流量
Figure SMS_369
，则获得奖励；在
Figure SMS_370
时刻水库群调度系统保障水库自身防洪安全所获得的奖励
Figure SMS_371
中，当水库的实时水位高于水库的正常蓄水位并且小于水库的防洪高水位，则不获得奖励，当水库的实时水位低于水库的正常蓄水位或者高于水库的防洪高水位，则获得奖励；在
Figure SMS_372
时刻水库群调度系统保障水库发电所获得的奖励
Figure SMS_333
中，每个水库处理系数
Figure SMS_336
、机组过流流量
Figure SMS_338
以及水库的实时水位
Figure SMS_340
与水库的尾水位
Figure SMS_342
之差，三者之间的得到
Figure SMS_344
，并利用水库群调度系统保障水库发电所获得的奖励的异常调整值
Figure SMS_346
调整水库群系统保障水库发电获得的奖励；在
Figure SMS_348
时刻水库群调度系统保障下游水生态环境所获得的奖励
Figure SMS_351
中，当
Figure SMS_353
时刻第
Figure SMS_354
个防洪控制断面的实时流量大于第
Figure SMS_355
个防洪控制断面维持水生态环境所需流量，则不获得奖励，当
Figure SMS_357
时刻第
Figure SMS_359
个防洪控制断面的实时流量小于第
Figure SMS_361
个防洪控制断面维持水生态环境所需流量，则获得奖励；利用上述中得到各项奖励对应的权重信息
Figure SMS_362
、
Figure SMS_334
、
Figure SMS_335
以及
Figure SMS_337
对所获得的奖励
Figure SMS_339
、
Figure SMS_341
、
Figure SMS_343
以及
Figure SMS_345
进行水库群调度系统奖励调整，最终得到水库群调度系统在时段
Figure SMS_347
的总奖励值
Figure SMS_349
。
本发明实施例中，如得到d地、e地、f地、g地以及h地t时刻的防洪要求流量，见表1：
表1
Figure SMS_373
由此可以计算出t时刻水库群调度系统保障下游防洪安全所获得的奖励
Figure SMS_374
；
如得到a地、b地以及c地t时刻水各水库正常蓄水位、防洪高水位、安全风险系数见表2：
表2
Figure SMS_375
由此可计算出t时刻水库群调度系统保障水库自身防洪安全所获得的奖励
Figure SMS_376
。
如得到d地、e地、f地、g地以及h地t时刻的生态流量，见下表3：
表3
Figure SMS_377
由此可计算
Figure SMS_378
时刻水库群调度系统保障下游水生态环境所获得的奖励
Figure SMS_379
。
在本说明书的一个实施例中，步骤S3具体包括：
步骤S31：对区域水库集雨范围信息数据进行历史特征数据提取处理，从而得到历史区域水库集雨范围特征信息数据；
步骤S32：根据历史区域水库集雨范围特征信息数据通过MADDPG算法构建MADDPG强化学习模型；
步骤S33：利用水库群联合调控奖励对MADDPG强化学习模型进行学习模型优化处理，从而生成水库群智能体模型；
步骤S34：利用水库群智能体模型对水库群调度控制模型进行优化调度强化学习处理，从而生成水库群最优调度方案策略。
本实施例通过区域水库集雨范围信息中的历史特征数据构建MADDPG强化学习模型，MADDPG强化学习模型是通过水位、流量、雨量等关系的影响对水库群调度生成更优的方案策略，在MADDPG随着不同的水库群联合调控奖励生成多种水库群智能体模型，并利用这些水库群智能体模型对相应的水库群调度控制模型利用现代信息技术，如人工智能、强化学习等，进行水库群的联合调度优化，提高水库调度效率和水资源利用，是效益得到最大化，从而生成水库群最优调度方案策略。
作为本发明的一个实例，参考图5所示，为图1中步骤S2的详细实施步骤流程示意图，在本实例中所述内容包括：
步骤S31：对区域水库集雨范围信息数据进行历史特征数据提取处理，从而得到历史区域水库集雨范围特征信息数据；
本发明实施例中，提取上述步骤中区域水库集雨范围信息数据的历史相关的特征信息，如水库的平均入库流量、出库流量、最大水位、最小水位、水库存储量等，这些特征信息可以反映水库的水文变化情况。
步骤S32：根据历史区域水库集雨范围特征信息数据通过MADDPG算法构建MADDPG强化学习模型；
本发明实施例中，通过上述步骤得到的数据，利用MADDPG算法构建MADDPG强化学习模型，以此来用于强化水库群调度控制模型；
步骤S33：利用水库群联合调控奖励对MADDPG强化学习模型进行学习模型优化处理，从而生成水库群智能体模型；
本发明实施例中，利用水库群联合调控奖励对MADDOG强化学习模型进行优化，选取水库群联合调控奖励最大化对MADDPG学习模型改进，生成多个对应不同奖励与不同调度方案的智能体模型；
步骤S34：利用水库群智能体模型对水库群调度控制模型进行优化调度强化学习处理，从而生成水库群最优调度方案策略。
本发明实施例中，每个水库群智能体模型对应不同的水库进行优化调度，使水库调度方法得到提高，利用MADDPG强化学习模型其主要思想是每个智能体都有自己的策略网络和值网络，同时还有一个公共的价值网络，用于评估每个智能体的动作效果。通过多智能体的协作学习，可以得到最优的水库群调度方案。
本发明实施例中，参考图6所述，为基于MADPG强化学习模型优化调度控制模型示意图，在本实施例中，如图所示包括：
在调度控制模型中，收集降雨信息、水库集雨区信息以及库区信息，通过这些数据并利用数学算法建立对应的集总式水文模型，一维河道水动力模型，分布式水文模型以及水库调洪模型，通过这些模型共同构建调度控制模型；在MADDPG强化学习模型中，基于智能体1、智能体i以及智能体N的Actor网络1、Actor网络i以及Actor网络N，并且由调度控制模型中的水力状态1、水力状态i以及水力状态N，通过Actor网络与水力状态得到到偏低方案1、调度方案以及调度方案N，多种调度方案搭配得到多种价值评估，如价值评估1、价值评估i以及价值评估N，价值评估在反馈回给智能体实现优化，MADDPG强化学习模型通过中心Critic网络实现。
在本说明书的一个实施例中，步骤S31中的MADDPG算法包括Critic损失函数构建水库群智能体公式、Actor网络参数梯度下降算法构建水库群智能体公式，Critic损失函数构建水库群智能体公式、Actor网络参数梯度下降算法构建水库群智能体公式分别如下所示：
Critic损失函数构建水库群智能体公式为：
Figure SMS_380
其中，
Figure SMS_382
为各水库群智能体当前所处状态的真实价值评估值，
Figure SMS_383
为各水库群智能体网络的参数，
Figure SMS_385
为水库群智能体个数，
Figure SMS_387
为从样本池中采样的个数，每个样本以元组的形式给出，如第
Figure SMS_389
个样本的形式为：{
Figure SMS_391
，
Figure SMS_393
，
Figure SMS_381
}，
Figure SMS_384
为所有水库群智能体的观测集合，
Figure SMS_386
为所有水库群智能体的动作集合，
Figure SMS_388
为所有水库群智能体的奖励集合，
Figure SMS_390
为第
Figure SMS_392
个样本中各水库群智能体当前所处状态的真实价值评估值，
Figure SMS_394
为各水库群智能体中心化的动作价值函数；
Actor网络参数梯度下降算法构建水库群智能体公式为：
Figure SMS_395
其中，
Figure SMS_396
为各水库群智能体当前所处状态的策略价值评估值，
Figure SMS_397
为水库群智能体的策略参数，
Figure SMS_398
为从样本池中采样的个数，
Figure SMS_399
为水库群智能体的策略函数，
Figure SMS_400
为水库群智能体的策略价值函数。
在本说明书的一个实施例中，步骤S33具体包括：
预设水库群联合调控奖励阈值；
将水库群联合调控奖励数据与水库群联合调控奖励阈值进行阈值比对处理，筛选出面向奖励最大方向的水库群联合调控奖励数据，从而生成奖励最大化水库群联合调控奖励数据；
获取实时区域水库水文数据；
利用区域水库水文数据对最大化水库群联合调控奖励数据进行水库群联合调控奖励优化处理，从而生成优化水库群联合调控奖励数据；
利用优化水库群联合调控奖励数据对MADDPG强化学习模型进行学习模型优化处理，从而生成水库群智能体模型。
本实施例通过设立水库群联合调控奖励阈值并且进行阈值比对处理可以筛选得到最大化的水库群联合调控奖励数据，并且通过水库的水文数据对奖励数据进行优化处理可以更好地适应当前的环境和需求，提高调度控制模型的效率和性能，优化水库群联合调控奖励数据对MADDPG强化学习模型进行学习模型优化处理可以生成更优秀的水库群智能体模型，从而实现更优的水库群联合调控方案。
本发明实施例中，预设一个用于比对水库群联合调控奖励数据的水库群联合调控奖励阈值，通过水库群联合调控奖励数据与水库群联合调控奖励阈值进行阈值比对处理，可以筛选出最大化的水库群联合调控奖励数据，获取最新的区域水库水文数据，通过实时水库群水文数据与多个最大化的水库群联合调控奖励数据对MADDPG强化学习模型生成国歌水库群智能体模型。
在本说明书的一个实施例中，其中，步骤S4中的水库群保障程度评估处理包括行下游防洪安全及水生态环境保障程度评估处理、水库自身防洪安全保障程度评估处理以及水库系统发电保障程度评估处理，步骤S4具体包括：
步骤S41：利用下游防洪安全及水生态环境算法对水库群最优调度方案策略进行下游防洪安全及水生态环境保障程度评估处理，从而生成下游防洪安全及水生态环境保障程度；
步骤S42：利用水库自身防洪安全算法对水库群最优调度方案策略进行水库自身防洪安全保障程度评估处理，从而生成水库自身防洪安全保障程度；
步骤S43：利用水库系统发电算法对水库群最优调度方案策略进行水库系统发电保障程度评估处理，从而生成水库系统发电保障程度；
步骤S44：将下游防洪安全及水生态环境保障程度、水库自身防洪安全保障程度、水库系统发电保障程度进行水库群联合保障程度整合，生成水库群保障程度评估信息，从而实现水库联合优化调度方法。
本实施例通过多因素综合考虑和评估，为水库调度提供全面的保障程度信息，有利于决策者做出更加科学的决策，提高了水库调度决策的可靠性和准确性，在满足下游防洪安全、水生态环境保障、水库自身防洪安全和水库系统发电等要求的前提下，实现了水库群联合最优调度，提高了水库群的整体效率和优化程度，此外，通过整合各项保障程度评估信息，可以生成水库群保障程度评估信息，为水库调度提供全面的考虑，通过多因素综合考虑和评估，为水库调度提供全面的保障程度信息，有利于决策者做出更加科学的决策，提高了水库调度决策的可靠性和准确性。
本发明实施例中，针对步骤S41、S42、S43生成的下游防洪安全及水生态环境保障程度、水库自身防洪安全保障程度、水库系统发电保障程度数据，设置相应的权重系数，用于整合水库群保障程度评估信息。例如，可以设置下游防洪安全及水生态环境保障程度的权重系数为0.4，水库自身防洪安全保障程度的权重系数为0.3，水库系统发电保障程度的权重系数为0.3；根据权重系数对生成的下游防洪安全及水生态环境保障程度、水库自身防洪安全保障程度、水库系统发电保障程度数据进行加权平均，得到水库群保障程度评估信息。例如，可以按照以下公式计算水库群保障程度评估信息：
水库群保障程度评估信息= 0.4 * 下游防洪安全及水生态环境保障程度+ 0.3 *水库自身防洪安全保障程度+ 0.3 * 水库系统发电保障程度。
将水库群保障程度评估信息作为评价指标，用于评估水库群最优调度方案策略的保障程度，根据评估结果，可以对水库群最优调度方案策略进行优化和改进，以进一步提高水库群的保障程度。
在本说明书的一个实施例中，步骤S41中的下游防洪安全及水生态环境算法、步骤S42中的水库自身防洪安全算法、步骤S43中的水库系统发电算法分别如下所示：
下游防洪安全及水生态环境算法如下：
Figure SMS_401
Figure SMS_402
其中，
Figure SMS_404
为下游防洪安全及水生态环境保障程度，
Figure SMS_406
为水库群调度系统总防洪控制断面数，
Figure SMS_407
为水库群调度系统中调度总时长，
Figure SMS_409
为水库调度时间，
Figure SMS_411
为
Figure SMS_413
时刻中随防洪控制断改变的下游安全防洪的权重信息，
Figure SMS_415
为
Figure SMS_403
时刻第
Figure SMS_405
个防洪控制断面的实时流量，
Figure SMS_408
为第
Figure SMS_410
个防洪控制断面维持水生态环境所需流量，
Figure SMS_412
为第
Figure SMS_414
个防洪控制断面的防洪要求流量；
水库自身防洪安全算法如下：
Figure SMS_416
Figure SMS_417
其中，
Figure SMS_419
为水库自身防洪安全保障程度，
Figure SMS_421
为水库群调度系统中水库个数，
Figure SMS_423
为水库群调度系统中调度总时长，
Figure SMS_425
为水库调度时间，
Figure SMS_428
为
Figure SMS_429
时刻中随水库蓄水量改变的水库蓄水的权重信息，
Figure SMS_430
为第
Figure SMS_418
个水库在第
Figure SMS_420
时段的实时水位，
Figure SMS_422
为第
Figure SMS_424
个水库的正常蓄水位，
Figure SMS_426
为第
Figure SMS_427
个水库的防洪高水位；
水库系统发电算法如下：
Figure SMS_431
其中，
Figure SMS_432
为水库系统发电保障程度，
Figure SMS_433
为水库群调度系统中调度总时长，
Figure SMS_434
为水库调度时间，
Figure SMS_435
为
Figure SMS_436
时刻水库群调度系统保障水库发电所获得的奖励。
本实施例讲述水库调度系统相关的各项保障程度，在下游防洪安全及水生态环境保障程度
Figure SMS_438
中，需要考虑
Figure SMS_439
时刻第
Figure SMS_441
个防洪控制断面的实时流量
Figure SMS_448
是否在第
Figure SMS_450
个防洪控制断面的防洪要求流量
Figure SMS_451
与第
Figure SMS_452
个防洪控制断面维持水生态环境所需流量
Figure SMS_453
区间范围，如果不在区间范围，则不具备任何下游防洪安全及水生态环境保障程度，如果在区间范围，则下游防洪安全及水生态环境保障程度与水库群调度系统总防洪控制断面数
Figure SMS_454
以及水库群调度系统中调度总时长
Figure SMS_455
为反比关系；在水库自身防洪安全保障程度
Figure SMS_456
中，需要考虑第
Figure SMS_457
个水库在第
Figure SMS_458
时段的实时水位
Figure SMS_459
是否在第
Figure SMS_460
个水库的防洪高水位
Figure SMS_437
与第
Figure SMS_440
个水库的正常蓄水位
Figure SMS_442
区间范围，如果不在区间范围，则不具备任何水库自身防洪安全保障程度，如果在区间范围，则库自身防洪安全保障程度与水库群调度系统中水库个数
Figure SMS_443
以及水库群调度系统中调度总时长
Figure SMS_444
为反比关系；水库系统发电保障程度
Figure SMS_445
与
Figure SMS_446
时刻水库群调度系统保障水库发电所获得的奖励
Figure SMS_447
为正比关系，与水库群调度系统中调度总时长
Figure SMS_449
为反比关系。
本实施通过获取区域水库集雨范围信息数据来构建水库群调度控制模型，其中水库群调度控制模型包括区域总式水文模型、库区调洪演算模型、库区下游河道一维水动力模型以及区间入流分布式水文模型，各模型互相调配，帮助调度水库群中的各水库，再利用获取的水库群联合调控信息数据进行水库群联动调控目标处理，生成的水库群联合调控目标数据为水库群调控要优化需要达到的目标，利用水库群联合调控奖励函数对水库群联合调控目标数据进行水库群联合调控奖励计算，生成水库群联合调控奖励数据，利用水库群联合调控奖励数据去优化水库群调度控制模型，该优化为水库群调度控制模型需要经过水库群联合调控奖励数据的要求去调度，从而得到水库群最优调度方案策略，并对水库群最有策略进行水库群保障程度评估处理，评估水库群最有调度方案策略是否满足各项水库群的安全保障，从而实现水库联合优化调度任务。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于MADDPG强化学习的水库群联合优化调度方法，其特征在于，包括以下步骤：
步骤S1：获取区域水库集雨范围信息数据，根据区域水库集雨范围信息数据构建水库群调度控制模型；
步骤S2：获取水库群联合调控信息数据，通过对水库群联合调控信息数据进行水库群设备联动调控目标处理，生成水库群联合调控目标数据，利用水库群联合调控奖励函数对水库群联合调控目标数据进行水库群联合调控奖励计算，从而生成水库群联合调控奖励数据；
步骤S3：根据MADDPG算法构建MADDPG强化学习模型，利用水库群联合调控奖励数据对MADDPG强化学习模型进行学习模型优化处理，得到水库群智能体模型，利用水库群智能体模型对水库群调度控制模型进行水库群优化调度强化学习处理，从而生成水库群最优调度方案策略；
步骤S4：对水库群最优调度方案策略进行水库群保障程度评估处理，生成水库群保障程度评估信息，从而实现水库联合优化调度任务。
2.根据权利要求1所述的基于MADDPG强化学习的水库群联合优化调度方法，其特征在于，步骤S1具体包括：
步骤S11：获取区域水库集雨范围信息数据；
步骤S12：根据区域水库集雨范围信息数据通过集总式水文模型建模方式进行建模，从而构建集雨范围内的区域集总式水文模型；
步骤S13：根据区域水库集雨范围信息数据通过水库调洪计算瞬态法计算方式进行建模，从而构建库区调洪演算模型；
步骤S14：根据区域水库集雨范围信息数据通过圣维南方程组及Preissmann格式离散计算方式进行建模，从而构建库区下游河道一维水动力模型；
步骤S15：根据区域水库集雨范围信息数据通过WRF-Hydro分布式水文模型建模方式进行建模，从而构建区下游区间入流分布式水文模型；
步骤S16：收集区域实测雨洪过程信息，利用GA遗传算法对区域实测雨洪过程信息进行雨洪过程预测处理，从而生成区域预测雨洪信息；
步骤S17：利用区域预测雨洪信息对区域集总式水文模型、库区调洪演算模型、库区下游河道一维水动力模型、区下游区间入流分布式水文模型进行参数自动率定处理，从而生成区域总式水文率定信息、库区调洪演算率定信息、库区下游河道一维水动力率定信息以及区下游区间入流分布式水文率定信息；
步骤S18：根据区域总式水文率定信息、库区调洪演算率定信息、库区下游河道一维水动力率定信息以及区下游区间入流分布式水文率定信息构建水库群调度控制模型。
3.根据权利要求2所述的基于MADDPG强化学习的水库群联合优化调度方法，其特征在于，步骤S13中的水库调洪计算瞬态法计算方式与步骤S14中的圣维南方程组及Preissmann格式离散计算方式分别如下所示：
水库调洪计算瞬态法计算方式如下：
Figure QLYQS_1
其中，
Figure QLYQS_3
为计算时段中的水库平均入库流量，
Figure QLYQS_5
为计算时段中的下游河道的平均下泄流量，
Figure QLYQS_7
为计算时段初的水库入库流量，
Figure QLYQS_8
为计算时段末的水库入库流量，
Figure QLYQS_9
为计算时段初的下游河道下泄流量，
Figure QLYQS_10
为计算时段末的下游河道下泄流量，
Figure QLYQS_11
为计算时段初水库的蓄水量，
Figure QLYQS_2
为计算时段末水库的蓄水量，
Figure QLYQS_4
为计算时段初与末的水库之差的蓄水量，
Figure QLYQS_6
为水库调洪计算时段长；
基于圣维南方程组及Preissmann格式离散计算方式如下：
Figure QLYQS_12
Figure QLYQS_13
其中，
Figure QLYQS_15
为水库群调度系统总防洪控制断面数，
Figure QLYQS_17
为水库群调度系统中水库个数，
Figure QLYQS_19
为水库基于构建下游河道所需要的时间，
Figure QLYQS_20
为计算时段中的水库入库流量，
Figure QLYQS_21
为下游河道下泄速度，
Figure QLYQS_22
为下游河道的下泄流量，
Figure QLYQS_23
为计算时段中的水库入库流量的常数调整项，
Figure QLYQS_14
为水库防洪控制断的权重信息，
Figure QLYQS_16
为下游河道的蓄水量，
Figure QLYQS_18
为下游河道蓄水量造成的压力。
4.根据权利要求2所述的基于MADDPG强化学习的水库群联合优化调度方法，其特征在于，其中，步骤S2中的水库群设备联动调控目标处理包括水库下游防洪安全奖励计算、系统保证自身防洪安全奖励计算、系统保障水库发电奖励计算以及系统保障水生态环境奖励计算，步骤S2具体包括：
步骤S21：获取水库群联合调控信息数据；
步骤S22：利用水库下游防洪安全计算公式对水库群联合调控信息数据进行水库下游防洪安全奖励计算，从而生成水库下游防洪安全奖励数据；
步骤S23：利用系统保障水库自身防洪安全计算公式对水库群联合调控信息数据进行系统保证自身防洪安全奖励计算，从而生成系统保障水库自身防洪安全奖励数据；
步骤S24：利用系统保障水库发电公式对水库群联合调控信息数据进行系统保障水库发电奖励计算，从而生成系统保障水库发电奖励数据；
步骤S25：利用系统保障水生态环境公式对水库群联合调控信息数据进行系统保障水生态环境奖励计算，从而生成系统保障水生态环境奖励数据；
步骤S26：将水库下游防洪安全奖励数据、系统保障水库自身防洪安全奖励数据、系统保障水库发电奖励数据、系统保障水生态环境奖励数据进行数据分类整合，得到水库群联合调控目标数据；
步骤S27：利用水库群联合调控奖励函数对水库群联合调控目标数据进行水库群联合调控奖励计算，从而生成水库群联合调控奖励数据。
5.根据权利要求4所述的基于MADDPG强化学习的水库群联合优化调度方法，其特征在于，其中，步骤S22中的水库下游防洪安全计算公式、步骤S23中的系统保障水库自身防洪安全计算公式、步骤S24中的系统保障水库发电公式、步骤S25中的系统保障水生态环境公式以及步骤S27中的水库群联合调控奖励函数公式分别如下所示：
水库下游防洪安全计算公式如下：
Figure QLYQS_24
其中，
Figure QLYQS_26
为
Figure QLYQS_27
时刻水库群调度系统保障下游防洪安全所获得的奖励，
Figure QLYQS_29
为水库调度时间，
Figure QLYQS_30
为水库群调度系统总防洪控制断面数，
Figure QLYQS_31
为第
Figure QLYQS_32
个防洪控制断面的防洪要求流量，
Figure QLYQS_33
为
Figure QLYQS_25
时刻第
Figure QLYQS_28
个防洪控制断面的实时流量；
系统保障水库自身防洪安全计算公式如下：
Figure QLYQS_34
其中，
Figure QLYQS_36
为
Figure QLYQS_38
时刻水库群调度系统保障水库自身防洪安全所获得的奖励，
Figure QLYQS_40
为水库调度时间，
Figure QLYQS_43
为水库群调度系统中水库个数，
Figure QLYQS_46
为第
Figure QLYQS_48
个水库水位低于正常蓄水位的安全风险系数，
Figure QLYQS_49
为第
Figure QLYQS_35
个水库水位高于防洪高水位的安全风险系数，
Figure QLYQS_37
为第
Figure QLYQS_39
个水库的正常蓄水位，
Figure QLYQS_41
为第
Figure QLYQS_42
个水库的防洪高水位，
Figure QLYQS_44
为第
Figure QLYQS_45
个水库在第
Figure QLYQS_47
时段的实时水位；
系统保障水库发电公式如下：
Figure QLYQS_50
其中，
Figure QLYQS_54
为
Figure QLYQS_56
时刻水库群调度系统保障水库发电所获得的奖励，
Figure QLYQS_59
为水库调度时间，
Figure QLYQS_60
为水库群调度系统中水库个数，
Figure QLYQS_63
为第
Figure QLYQS_65
个水库的出力系数，
Figure QLYQS_66
为
Figure QLYQS_51
个水库在第
Figure QLYQS_53
时段的机组过流流量，
Figure QLYQS_55
为第
Figure QLYQS_57
个水库在第
Figure QLYQS_58
时段的实时水位，
Figure QLYQS_61
为第
Figure QLYQS_62
个水库在第
Figure QLYQS_64
时段的尾水位，
Figure QLYQS_52
为水库群调度系统保障水库发电所获得的奖励的异常调整值；
系统保障水生态环境公式如下：
Figure QLYQS_67
其中，
Figure QLYQS_70
为
Figure QLYQS_71
时刻水库群调度系统保障下游水生态环境所获得的奖励，
Figure QLYQS_72
为水库调度时间，
Figure QLYQS_73
为水库群调度系统总防洪控制断面数，
Figure QLYQS_74
为
Figure QLYQS_75
时刻第
Figure QLYQS_76
个防洪控制断面的实时流量，
Figure QLYQS_68
为第
Figure QLYQS_69
个防洪控制断面维持水生态环境所需流量；
水库群联合调控奖励函数公式如下：
Figure QLYQS_77
其中，
Figure QLYQS_79
为水库群调度系统在时段
Figure QLYQS_81
的总奖励值，
Figure QLYQS_83
为水库调度时间，
Figure QLYQS_85
为水库下游防洪安全奖励数据的权重信息，
Figure QLYQS_87
为系统保障水库自身防洪安全奖励数据的权重信息，
Figure QLYQS_89
为水系统保障水库发电奖励数据的权重信息，
Figure QLYQS_92
为系统保障水生态环境奖励数据的权重信息，
Figure QLYQS_78
为
Figure QLYQS_80
时刻水库群调度系统保障下游防洪安全所获得的奖励，
Figure QLYQS_82
为
Figure QLYQS_84
时刻水库群调度系统保障水库自身防洪安全所获得的奖励，
Figure QLYQS_86
为
Figure QLYQS_88
时刻水库群调度系统保障水库发电所获得的奖励，
Figure QLYQS_90
为
Figure QLYQS_91
时刻水库群调度系统保障下游水生态环境所获得的奖励。
6.根据权利要求4所述的基于MADDPG强化学习的水库群联合优化调度方法，其特征在于，步骤S3具体包括：
步骤S31：对区域水库集雨范围信息数据进行历史特征数据提取处理，从而得到历史区域水库集雨范围特征信息数据；
步骤S32：根据历史区域水库集雨范围特征信息数据通过MADDPG算法构建MADDPG强化学习模型；
步骤S33：利用水库群联合调控奖励对MADDPG强化学习模型进行学习模型优化处理，从而生成水库群智能体模型；
步骤S34：利用水库群智能体模型对水库群调度控制模型进行优化调度强化学习处理，从而生成水库群最优调度方案策略。
7.根据权利要求6所述的基于MADDPG强化学习的水库群联合优化调度方法，其特征在于，步骤S31中的MADDPG算法包括Critic损失函数构建水库群智能体公式、Actor网络参数梯度下降算法构建水库群智能体公式，Critic损失函数构建水库群智能体公式、Actor网络参数梯度下降算法构建水库群智能体公式分别如下所示：
Critic损失函数构建水库群智能体公式为：
Figure QLYQS_93
其中，
Figure QLYQS_95
为各水库群智能体当前所处状态的真实价值评估值，
Figure QLYQS_96
为各水库群智能体网络的参数，
Figure QLYQS_98
为水库群智能体个数，
Figure QLYQS_101
为从样本池中采样的个数，每个样本以元组的形式给出，如第
Figure QLYQS_102
个样本的形式为：{
Figure QLYQS_104
，
Figure QLYQS_106
，
Figure QLYQS_94
}，
Figure QLYQS_97
为所有水库群智能体的观测集合，
Figure QLYQS_99
为所有水库群智能体的动作集合，
Figure QLYQS_100
为所有水库群智能体的奖励集合，
Figure QLYQS_103
为第
Figure QLYQS_105
个样本中各水库群智能体当前所处状态的真实价值评估值，
Figure QLYQS_107
为各水库群智能体中心化的动作价值函数；
Actor网络参数梯度下降算法构建水库群智能体公式为：
Figure QLYQS_108
其中，
Figure QLYQS_109
为各水库群智能体当前所处状态的策略价值评估值，
Figure QLYQS_110
为水库群智能体的策略参数，
Figure QLYQS_111
为从样本池中采样的个数，
Figure QLYQS_112
为水库群智能体的策略函数，
Figure QLYQS_113
为水库群智能体的策略价值函数。
8.根据权利要求6所述的基于MADDPG强化学习的水库群联合优化调度方法，其特征在于，步骤S33具体包括：
预设水库群联合调控奖励阈值；
将水库群联合调控奖励数据与水库群联合调控奖励阈值进行阈值比对处理，筛选出面向奖励最大方向的水库群联合调控奖励数据，从而生成奖励最大化水库群联合调控奖励数据；
获取实时区域水库水文数据；
利用区域水库水文数据对最大化水库群联合调控奖励数据进行水库群联合调控奖励优化处理，从而生成优化水库群联合调控奖励数据；
利用优化水库群联合调控奖励数据对MADDPG强化学习模型进行学习模型优化处理，从而生成水库群智能体模型。
9.根据权利要求7所述的基于MADDPG强化学习的水库群联合优化调度方法，其特征在于，水库群保障程度评估处理包括行下游防洪安全及水生态环境保障程度评估处理、水库自身防洪安全保障程度评估处理以及水库系统发电保障程度评估处理，步骤S4具体包括：
步骤S41：利用下游防洪安全及水生态环境算法对水库群最优调度方案策略进行下游防洪安全及水生态环境保障程度评估处理，从而生成下游防洪安全及水生态环境保障程度；
步骤S42：利用水库自身防洪安全算法对水库群最优调度方案策略进行水库自身防洪安全保障程度评估处理，从而生成水库自身防洪安全保障程度；
步骤S43：利用水库系统发电算法对水库群最优调度方案策略进行水库系统发电保障程度评估处理，从而生成水库系统发电保障程度；
步骤S44：将下游防洪安全及水生态环境保障程度、水库自身防洪安全保障程度、水库系统发电保障程度进行水库群联合保障程度整合，生成水库群保障程度评估信息，从而实现水库联合优化调度方法。
10.根据权利要求9所述基于MADDPG强化学习的水库群联合优化调度方法，其特征在于，步骤S41中的下游防洪安全及水生态环境算法、步骤S42中的水库自身防洪安全算法、步骤S43中的水库系统发电算法分别如下所示：
下游防洪安全及水生态环境算法如下：
Figure QLYQS_114
Figure QLYQS_115
其中，
Figure QLYQS_117
为下游防洪安全及水生态环境保障程度，
Figure QLYQS_118
为水库群调度系统总防洪控制断面数，
Figure QLYQS_120
为水库群调度系统中调度总时长，
Figure QLYQS_122
为水库调度时间，
Figure QLYQS_124
为
Figure QLYQS_126
时刻中随防洪控制断改变的下游安全防洪的权重信息，
Figure QLYQS_128
为
Figure QLYQS_116
时刻第
Figure QLYQS_119
个防洪控制断面的实时流量，
Figure QLYQS_121
为第
Figure QLYQS_123
个防洪控制断面维持水生态环境所需流量，
Figure QLYQS_125
为第
Figure QLYQS_127
个防洪控制断面的防洪要求流量；
水库自身防洪安全算法如下：
Figure QLYQS_129
Figure QLYQS_130
其中，
Figure QLYQS_132
为水库自身防洪安全保障程度，
Figure QLYQS_134
为水库群调度系统中水库个数，
Figure QLYQS_136
为水库群调度系统中调度总时长，
Figure QLYQS_140
为水库调度时间，
Figure QLYQS_141
为
Figure QLYQS_142
时刻中随水库蓄水量改变的水库蓄水的权重信息，
Figure QLYQS_143
为第
Figure QLYQS_131
个水库在第
Figure QLYQS_133
时段的实时水位，
Figure QLYQS_135
为第
Figure QLYQS_137
个水库的正常蓄水位，
Figure QLYQS_138
为第
Figure QLYQS_139
个水库的防洪高水位；
水库系统发电算法如下：
Figure QLYQS_144
其中，
Figure QLYQS_145
为水库系统发电保障程度，
Figure QLYQS_146
为水库群调度系统中调度总时长，
Figure QLYQS_147
为水库调度时间，
Figure QLYQS_148
为
Figure QLYQS_149
时刻中水库系统发电的权重信息。
CN202310238977.6A 2023-03-14 2023-03-14 基于maddpg强化学习的水库群联合优化调度方法 Active CN115952958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310238977.6A CN115952958B (zh) 2023-03-14 2023-03-14 基于maddpg强化学习的水库群联合优化调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310238977.6A CN115952958B (zh) 2023-03-14 2023-03-14 基于maddpg强化学习的水库群联合优化调度方法

Publications (2)

Publication Number Publication Date
CN115952958A true CN115952958A (zh) 2023-04-11
CN115952958B CN115952958B (zh) 2023-07-11

Family

ID=85906985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310238977.6A Active CN115952958B (zh) 2023-03-14 2023-03-14 基于maddpg强化学习的水库群联合优化调度方法

Country Status (1)

Country Link
CN (1) CN115952958B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102817335A (zh) * 2012-07-12 2012-12-12 贵州乌江水电开发有限责任公司 一种梯级水库群联合防洪优化调度的方法及系统
CN106951985A (zh) * 2017-03-06 2017-07-14 河海大学 一种基于改进人工蜂群算法的梯级水库多目标优化调度方法
CN112036633A (zh) * 2020-08-26 2020-12-04 三峡大学 一种水库生态发电多目标中长期随机调度模型的构建方法以及优化调度方法
CN112966445A (zh) * 2021-03-15 2021-06-15 河海大学 一种基于强化学习模型fqi的水库防洪优化调度方法
CN113469528A (zh) * 2021-06-30 2021-10-01 河海大学 一种考虑时空关联多维不确定性的水库群多目标防洪调度风险分析方法
CN113741449A (zh) * 2021-08-30 2021-12-03 南京信息工程大学 一种面向海空协同观测任务的多智能体控制方法
WO2021252932A1 (en) * 2020-06-12 2021-12-16 Saudi Arabian Oil Company Methods and systems for genarating graph neural networks for reservoir grid models
CN115049292A (zh) * 2022-06-28 2022-09-13 中国水利水电科学研究院 一种基于dqn深度强化学习算法的单一水库智能防洪调度方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102817335A (zh) * 2012-07-12 2012-12-12 贵州乌江水电开发有限责任公司 一种梯级水库群联合防洪优化调度的方法及系统
CN106951985A (zh) * 2017-03-06 2017-07-14 河海大学 一种基于改进人工蜂群算法的梯级水库多目标优化调度方法
WO2021252932A1 (en) * 2020-06-12 2021-12-16 Saudi Arabian Oil Company Methods and systems for genarating graph neural networks for reservoir grid models
CN112036633A (zh) * 2020-08-26 2020-12-04 三峡大学 一种水库生态发电多目标中长期随机调度模型的构建方法以及优化调度方法
CN112966445A (zh) * 2021-03-15 2021-06-15 河海大学 一种基于强化学习模型fqi的水库防洪优化调度方法
CN113469528A (zh) * 2021-06-30 2021-10-01 河海大学 一种考虑时空关联多维不确定性的水库群多目标防洪调度风险分析方法
CN113741449A (zh) * 2021-08-30 2021-12-03 南京信息工程大学 一种面向海空协同观测任务的多智能体控制方法
CN115049292A (zh) * 2022-06-28 2022-09-13 中国水利水电科学研究院 一种基于dqn深度强化学习算法的单一水库智能防洪调度方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄庶;林舜江;刘明波;: "含风电场和抽水蓄能电站的多目标安全约束动态优化调度", 中国电机工程学报, no. 01 *

Also Published As

Publication number Publication date
CN115952958B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
García et al. Modeling and real-time control of urban drainage systems: A review
CN107992961B (zh) 一种自适应的流域中长期径流预报模型架构方法
Azamathulla et al. Comparison between genetic algorithm and linear programming approach for real time operation
Eum et al. Optimal drought management using sampling stochastic dynamic programming with a hedging rule
JP4807565B2 (ja) 流量予測装置
CN107609787A (zh) 基于自动生成预案的闸泵群联合自动调度方法
KR20170005553A (ko) 지능형 정보제공을 위한 홍수, 가뭄정보의 평가 및 예측 기법 개발
CN112801342A (zh) 一种基于降雨径流相似性的自适应径流预报方法
CN109063905B (zh) 一种适应气候变化的水资源随机规划方法
Tang et al. Value of medium-range precipitation forecasts in inflow prediction and hydropower optimization
Ghose et al. Prediction and optimization of runoff via ANFIS and GA
CN112686426B (zh) 一种基于水电站流域关键点的来水量预警方法及系统
CN116050628A (zh) 一种基于数字孪生的考虑预报不确定性的水库防洪优化调度方法
Ferreira et al. Optimal and adaptive operation of a hydropower system with unit commitment and water quality constraints
Ashrafi et al. Developing a semi-distributed decision support system for great Karun water resources system
Giudici et al. Descriptive or normative: How does reservoir operations modeling influence hydrological simulations under climate change?
CN114819322B (zh) 湖泊入湖流量的预报方法
JP2023169099A (ja) 流入量予測システム
CN115238513A (zh) 一种考虑气候与土地利用变化的流域径流集合预报方法
JP4399318B2 (ja) ポンプ制御装置
CN117744501A (zh) 考虑生态流量的水网系统调蓄节点优化调度与决策方法
CN115952958A (zh) 基于maddpg强化学习的水库群联合优化调度方法
CN113836807B (zh) 一种基于熵值法和长短期记忆神经网络的河湖生态流量预报预警方法
Churiulin et al. Research of opportunities of combined use of the runoff formation ECOMAG model and mesoscale atmosphere circulation COSMO-Ru model (on the example of floods on the Sukhona River at the Velikiy Ustyug)
CN111047213B (zh) 基于多要素联合判别的中长期水资源量临界预警指标方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant