CN118014325B - 水网系统中调蓄工程调度规则提取方法及系统 - Google Patents

水网系统中调蓄工程调度规则提取方法及系统 Download PDF

Info

Publication number
CN118014325B
CN118014325B CN202410420839.4A CN202410420839A CN118014325B CN 118014325 B CN118014325 B CN 118014325B CN 202410420839 A CN202410420839 A CN 202410420839A CN 118014325 B CN118014325 B CN 118014325B
Authority
CN
China
Prior art keywords
scheduling
extracting
engineering
regulation
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410420839.4A
Other languages
English (en)
Other versions
CN118014325A (zh
Inventor
郭旭宁
李云玲
刘为锋
吴凤燕
刘路广
王敬
孙素艳
侯煜
邵文伟
江晨辉
耿晓君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Renewable Energy Engineering Institute
Original Assignee
China Renewable Energy Engineering Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Renewable Energy Engineering Institute filed Critical China Renewable Energy Engineering Institute
Priority to CN202410420839.4A priority Critical patent/CN118014325B/zh
Publication of CN118014325A publication Critical patent/CN118014325A/zh
Application granted granted Critical
Publication of CN118014325B publication Critical patent/CN118014325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313—Resource planning in a project environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Probability & Statistics with Applications (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种水网系统中调蓄工程调度规则提取方法及系统，构建纲、目、结关系矩阵；构建时变优化调度模型并以纲作为输入数据，采用弗雷歇距离计算水库水位变化，识别出敏感纲，得到敏感纲及对应的目和结；提取调蓄工程本身水位、调度目标、水库工况分布数据和敏感纲、目、结，拟合多维联合概率分布，构建多维联合分布函数，对多维联合分布函数随机抽样生成海量情景，采用优化后的Dueling DQN规则模型提取水网系统中调蓄工程调度规则。本发明与传统方法相比，能够制定更加符合实际情况的方案，制定出的调度方案在实际生产应用中可操作性更强，提高了水资源的效益。

Description

水网系统中调蓄工程调度规则提取方法及系统
技术领域
本发明涉及水网系统中调蓄工程调度规则提取方法。
背景技术
水网系统是以自然河湖为基础、引调排水工程为通道、调蓄工程为结点、智慧调控为手段，集水资源优化配置、流域防洪减灾、水生态系统保护等功能于一体的综合体系，是解决水资源空间分布不均、提高受水区水资源保证率、缓解缺水地区水资源供需矛盾、实现水资源合理配置的有效措施，是促进缺水地区经济发展与水资源综合开发利用的重要途径。
水网系统中调蓄工程调度规则是指针对水库、水电站、重要闸门等调蓄工程的水量调度和管理规则，旨在实现水资源的合理利用、保障供水安全、防洪减灾和生态环境保护，随着人口增长、城市化进程加快和气候变化等因素的影响，水资源供需矛盾日益突出，水网系统中的调蓄工程调度规则的制定和优化可以有效调节水资源的供需关系，满足不同用水需求，降低洪水、干旱等水灾风险，保持水体生态平衡，维护生态系统的健康，通过调蓄工程的合理调度规则，可以实现水资源的经济效益最大化，降低运行成本，提高资源利用效率，促进水资源可持续利用。
目前常用的规则提取方法需要大量的历史数据和实时监测数据，提取规则的准确性和可靠性不高，同时无法完全覆盖水网系统中的各种情况和复杂性，提取的规则不够全面，适用性不足，并且往往只关注单一指标或特定目标的优化，忽略了水网系统中多个因素之间的综合影响和权衡，使得提取的调度规则局限于特定情况下的最优解。
本发明提出水网系统中调蓄工程调度规则提取方法及系统，解决目前存在的上述问题，综合考虑所有影响调蓄工程调度的因素，提高了调蓄工程调度规则提取方法的全面性和准确度。
发明内容
发明目的，提供一种水网系统中调蓄工程调度规则提取方法，以解决现有技术存在的上述问题。另一方面提供水网系统中调蓄工程调度规则提取系统。
技术方案，根据本申请的一个方面，水网系统中调蓄工程调度规则提取方法，包括如下步骤：
步骤S1、收集水网统资料、调蓄工程资料和历史实测数据，提取水网系统中的要素资料，要素资料包括纲、目和结；拟合纲目结三维联合概率分布，构建纲、目、结关系矩阵；
步骤S2、构建时变优化调度模型并以纲作为输入数据，采用弗雷歇距离计算水库水位变化，识别出敏感纲，基于纲、目、结关系矩阵，去除不隶属于任一敏感纲的目和结，得到敏感纲及其对应的目和结；
步骤S3、提取调蓄工程本身水位、调度目标、水库工况分布数据，以及敏感纲及其对应的目和结，构建并拟合多维联合分布函数，对多维联合分布函数随机抽样生成海量情景；
步骤S4、将海量情景输入时变优化调度模型，获得调蓄工程调度过程和综合效益，基于海量情景、调蓄工程调度过程和综合效益构建训练集，构建并训练Dueling DQN规则模型，通过训练好的Dueling DQN规则模型提取初始调蓄工程调度规则；
步骤S5、提取历史实测数据并输入时变优化调度模型和训练好的Dueling DQN规则模型，分别计算得到历史最优调度过程和综合效益，以及预测最优调度过程和综合效益；并基于二者计算综合效益失准的风险，采用弗雷歇距离法找到风险位置，在风险位置对Dueling DQN规则模型进行优化，采用优化后的Dueling DQN规则模型提取水网系统中调蓄工程调度规则。
根据本申请的一个方面，所述步骤S1进一步为：
步骤S11、收集水网统资料、调蓄工程资料和历史实测数据，提取水网系统中的要素资料，要素资料包括纲、目和结，所述调蓄工程资料包括：调蓄工程本身水位、调度目标和水库工况分布；
步骤S12、提取出所有的纲、目和结，并分别记作G、M、J，采用混合高斯模型拟合纲目结三维联合概率分布；
步骤S13、基于纲目结三维联合概率分布构建纲目结关系矩阵。
根据本申请的一个方面，所述步骤S12进一步为：
步骤S12a、选择N个混合高斯模型，初始化N个混合高斯模型的均值向量、协方差矩阵和混合系数，采用随机初始化法确定初始参数；N为大于2的自然数；
步骤S12b、依次计算每一纲、目、结的数据点属于每个高斯分布的后验概率，基于后验概率更新每个高斯分布的均值向量、协方差矩阵和混合系数，将其记为一次迭代；
步骤S12c、对N个高斯分布多次迭代，直到似然函数收敛时停止迭代；
步骤S12d、迭代停止后的混合高斯模型即为纲目结的三维联合概率分布。
根据本申请的一个方面，所述步骤S2进一步为：
步骤S21、构建时变优化调度模型，基于调度需求，将一年划分为P个调度期，对应P个调度目标，P为大于2的自然数；
步骤S22、依次将P个调度期对应的纲要素输入时变优化调度模型，计算得到P条水位变化线，采用弗雷歇距离计算P条水位变化线之间的距离得到水库水位变化量，将水库水位变化量大于阈值的纲判定为敏感纲；
步骤S23、基于纲、目、结关系矩阵，去除不隶属于任一敏感纲的目和结，得到敏感纲及其对应的目和结。
根据本申请的一个方面，所述步骤S3和步骤S4进一步为：
步骤S31、提取调蓄工程本身水位、调度目标、水库工况分布数据和敏感纲、目、结，拟合多维联合概率分布，构建多维联合分布函数；
步骤S32、对多维联合分布函数随机抽样生成海量情景；
步骤S41、将海量情景输入时变优化调度模型，获得调蓄工程调度过程和综合效益；
步骤S42、基于海量情景、调蓄工程调度过程和综合效益构建训练集，构建并训练Dueling DQN规则模型，通过训练好的Dueling DQN规则模型提取初始调蓄工程调度规则。
根据本申请的一个方面，所述步骤S31进一步为：
步骤S31a、提取调蓄工程本身水位、调度目标、水库工况分布数据和敏感纲、目、结，确定调蓄工程本身水位、调度目标、水库工况分布、敏感纲、目、结对应的马尔可夫势能函数；
步骤S31b、采用概率分布的形式将马尔可夫势能函数转化为联合概率分布；
步骤S31c、采用最大似然估计势能函数的参数，包括：局部势能函数参数、成对势能函数参数、高阶势能函数参数、结构参数、正则化参数和约束参数；
步骤S31d、依次计算构建的多维联合概率分布的所有模型的信息准则值，对比所有模型的信息准则值，选择信息准则值最小的模型作为多维联合概率分布的最优模型，得到最终的多维联合概率分布函数。
根据本申请的一个方面，所述步骤S42进一步为：
步骤S42a、采用PyTorch构建神经网络架构，包括：共享的卷积层和分开的全连接层；
步骤S42b、基于Q-learning的损失函数计算目标Q值；
步骤S42c、基于Q-learning算法训练Dueling DQN，更新神经网络参数将损失函数最小化；
步骤S42d、基于海量情景、调蓄工程调度过程和综合效益构建训练集，训练Dueling DQN规则模型，得到训练后的Dueling DQN规则模型。
根据本申请的一个方面，所述步骤S5进一步为：
步骤S51、提取历史实测数据输入时变优化调度模型，计算得到历史最优调度过程和综合效益，记为测试集；
步骤S52、提取海量情景下的调蓄工程调度过程和对应的综合效益作为样本集，将测试集与样本集之间的差异作为综合效益失准的风险，采用弗雷歇距离溯源到风险发生位置；
步骤S53、在风险发生位置采用ε-greedy策略对Dueling DQN规则模型进行优化，得到优化后的Dueling DQN规则模型；
步骤S54、将海量情景输入优化后的Dueling DQN规则模型，得到海量情景下的调蓄工程调度过程和对应的综合效益，提取最终的调度规则，即为水网系统中调蓄工程调度规则。
根据本申请的一个方面，所述步骤S52进一步为：
步骤S52a、将历史最优调度过程和综合效益，以及预测最优调度过程和综合效益的差异超过阈值作为综合效益失准风险，从样本集中提取已知风险点，从测试集中提取潜在风险点；
步骤S52b、计算所有潜在风险点轨迹与已知风险点轨迹之间弗雷歇距离，弗雷歇距离小于阈值的潜在风险点确认为风险点，该已知风险点为潜在风险点的来源；
步骤S52c、基于已知风险点的位置信息确定风险发生位置。
根据本申请的一个方面，所述步骤S54进一步为：
步骤S54a、设定ε的初始值为a,a为大于0小于1的正数；
步骤S54b、收集M个Dueling DQN规则模型优化策略，记为空间动作集，每一个优化策略作为一个动作，M为正整数；
步骤S54c、以ε为概率随机选择一个动作，使用选择的动作优化Dueling DQN规则模型，使用结果更新Q值；
步骤S54d、以1-ε为概率选择在Q值函数中最高值对应的动作，使用选择的动作化Dueling DQN规则模型，得到最终优化后的Dueling DQN规则模型。
根据本申请的一个方面，还提供一种水网系统中调蓄工程调度规则提取系统，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述任一项技术方案所述的水网系统中调蓄工程调度规则提取方法。
有益效果，采用水网系统中调蓄工程调度规则提取方法，提取准确、实时和全面的调度规则，优化水网系统的调度策略，提高水资源的利用效率和调度效率。
附图说明
图1是本发明的流程图。
图2是本发明步骤S1的流程图。
图3是本发明步骤S2的流程图。
图4是本发明步骤S3的流程图。
图5是本发明步骤S4的流程图。
具体实施方式
如图1所示，提出如下技术方案。根据本申请的一个方面，提供一种水网系统中调蓄工程调度规则提取方法，其特征在于，包括如下步骤：
步骤S1、收集水网统资料、调蓄工程资料和历史实测数据，提取水网系统中的要素资料，要素资料包括纲、目和结；拟合纲目结三维联合概率分布，构建纲、目、结关系矩阵；
步骤S2、构建时变优化调度模型并以纲作为输入数据，采用弗雷歇距离计算水库水位变化，识别出敏感纲，基于纲、目、结关系矩阵，去除不隶属于任一敏感纲的目和结，得到敏感纲及其对应的目和结；
步骤S3、提取调蓄工程本身水位、调度目标、水库工况分布数据，以及敏感纲及其对应的目和结，构建并拟合多维联合分布函数，对多维联合分布函数随机抽样生成海量情景；
步骤S4、将海量情景输入时变优化调度模型，获得调蓄工程调度过程和综合效益，基于海量情景、调蓄工程调度过程和综合效益构建训练集，构建并训练Dueling DQN规则模型，通过训练好的Dueling DQN规则模型提取初始调蓄工程调度规则；
步骤S5、提取历史实测数据并输入时变优化调度模型和训练好的Dueling DQN规则模型，分别计算得到历史最优调度过程和综合效益，以及预测最优调度过程和综合效益；并基于二者计算综合效益失准的风险，采用弗雷歇距离法找到风险位置，在风险位置对Dueling DQN规则模型进行优化，采用优化后的Dueling DQN规则模型提取水网系统中调蓄工程调度规则。
根据本申请的一个方面，所述步骤S1进一步为：
步骤S11、收集水网统资料、调蓄工程资料和历史实测数据，提取水网系统中的要素资料，要素资料包括纲、目和结，所述调蓄工程资料包括：调蓄工程本身水位、调度目标和水库工况分布；
步骤S12、提取出所有的纲、目和结，并分别记作G、M、J，采用混合高斯模型拟合纲目结三维联合概率分布；
步骤S13、基于纲目结三维联合概率分布构建纲目结关系矩阵。水网中有纲、目、结等要素，是一个相互影响的整体，在制定调蓄工程的调度规则时，必然要考虑这些纲目结要素对其的影响，但是由于要素过多，状态复杂，组合起来更加复杂，因此需要把敏感性强的要素找出来，常用的控制变量法的敏感性分析由于纲目结要素过多，逐一操作难度太大，同时纲目结影响因子分布是不均匀的，彼此的影响更加不均匀，因此无法适用，在本实施例中，通过计算机自动识别敏感因子，能够考虑到不同要素的分布，然后根据分布抽样计算变化来评估敏感性。
在某个实施例中，概化出水网系统中所有纲、目、结等要素分别记作Gi、Mj、Jk，指第i、j、k个纲、目、结要素，识别他们直接的联系和隶属关系，构建关系矩阵，考虑到纲、目、结要素之间直接的水力联系对调蓄工程调度的影响，因此进一步根据纲、目、结历史资料来拟合它们的概率分布。
根据本申请的一个方面，所述步骤S12进一步为：
步骤S12a、选择N个混合高斯模型，初始化N个混合高斯模型的均值向量、协方差矩阵和混合系数，采用随机初始化法确定初始参数；N为大于2的自然数；
步骤S12b、依次计算每一纲、目、结的数据点属于每个高斯分布的后验概率，基于后验概率更新每个高斯分布的均值向量、协方差矩阵和混合系数，将其记为一次迭代；
步骤S12c、对N个高斯分布多次迭代，直到似然函数收敛时停止迭代；
步骤S12d、迭代停止后的混合高斯模型即为纲目结的三维联合概率分布。混合高斯模型能够灵活地拟合复杂的数据分布，适用于各种不规则的数据集，能偶有效地对多模态数据进行建模，可以捕捉数据中存在的多个不同的簇或集群，对比其他拟合方法，混合高斯模型能够更好地描述数据的复杂结构，同时混合高斯模型提供了对数据的概率性解释，可以计算每个数据点属于每个混合成分的概率，这种概率性解释有助于更好地理解数据的分布特征和数据点之间的关系。
混合高斯模型在训练充分的情况下还具有很强的泛化能力，模型参数具有直观的物理含义，其均值和协方差矩阵可以提供对数据的直观理解。
因此，在本实施例中，选择用混合高斯模型拟合纲、目、结要素三维联合概率分布，相对于其他方法具有更好的灵活性、多模态建模能力、概率性解释、泛化能力和参数可解释性。
根据本申请的一个方面，所述步骤S2进一步为：
步骤S21、构建时变优化调度模型，基于调度需求，将一年划分为P个调度期，对应P个调度目标，P为大于2的自然数；
在本实施例中，考虑到不同时间阶段水网系统中调蓄工程调度目标不一样，因此根据调度需求把一整年划分成P个调度期，每个调度期对应一套权重，将所有调度目标的权重相加成为一个综合目标，采用基于博弈论的协调方法确定权重。
步骤S22、依次将P个调度期对应的纲要素输入时变优化调度模型，计算得到P条水位变化线，采用弗雷歇距离计算P条水位变化线之间的距离得到水库水位变化量，将水库水位变化量大于阈值的纲判定为敏感纲；
在某个实施例中，具体为：
将水位变化数据视为一个路径，可以是水位随时间变化的曲线，将不同纲对水位变化的影响视为不同的路径；
采用弗雷歇距离计算两条路径之间的相似度，即路径间的最短距离，计算过程为：
F(P、Q)=infα∈[0,1]maxt∈[0,1]{ ||P(α)-Q(t)||；
其中，P(α)和Q(t)分别是两个路径上的点，α和t是路径上的参数，inf表示取最小值，max表示取最大值；
弗雷歇距离越小表示两个路径越相似，即该纲对水位变化的影响越大，反之影响越小。
步骤S23、基于纲、目、结关系矩阵，去除不隶属于任一敏感纲的目和结，得到敏感纲及其对应的目和结。
在本实施例中，判定不敏感目和结时，由于同一个目或结可能跟多个纲有隶属关系，因此需要该目或结所隶属的所有纲都属于不敏感纲时才能判定该目或结为不敏感目或结。
根据本申请的一个方面，所述步骤S3和步骤S4进一步为：
步骤S31、提取调蓄工程本身水位、调度目标、水库工况分布数据和敏感纲、目、结，拟合多维联合概率分布，构建多维联合分布函数；
步骤S32、对多维联合分布函数随机抽样生成海量情景；
调蓄工程调度除了受纲、目、结影响之外，还受调蓄工程本身水位、调度目标和水库工况影响，在本实施例中，首先根据历史资料把调蓄工程本身水位、调度目标和水库工况分布联合纲目结拟合，构建多维联合分布函数，再对多维联合分布函数抽样生成海量情景。
步骤S41、将海量情景输入时变优化调度模型，获得调蓄工程调度过程和综合效益；
步骤S42、基于海量情景、调蓄工程调度过程和综合效益构建训练集，构建并训练Dueling DQN规则模型，通过训练好的Dueling DQN规则模型提取初始调蓄工程调度规则。
Dueling DQN是一种深度强化学习算法，用于解决离散动作空间下的Q-learning问题，Dueling DQN模型结合了价值函数和优势函数的概念，能够更有效地学习状态的价值和不同动作之间的优势，在Dueling DQN中，神经网络被设计为两个部分：值函数和优势函数，值函数表示状态的价值，即在给定状态下的预期回报；优势函数表示每个动作相对于平均值的优势，即动作对状态的相对价值。
Dueling DQN的核心思想是将神经网络分解为值函数和优势函数两部分，这样可以更好地估计每个动作的相对价值，提高学习的效率和稳定性。
Dueling DQN在处理具有大型状态空间和离散动作空间的问题时表现出色，因此在本实施例中，采用Dueling DQN规则模型来提取调蓄工程调度规则。
根据本申请的一个方面，所述步骤S31进一步为：
步骤S31a、提取调蓄工程本身水位、调度目标、水库工况分布数据和敏感纲、目、结，确定调蓄工程本身水位、调度目标、水库工况分布、敏感纲、目、结对应的马尔可夫势能函数；
步骤S31b、采用概率分布的形式将马尔可夫势能函数转化为联合概率分布；
步骤S31c、采用最大似然估计势能函数的参数，包括：局部势能函数参数、成对势能函数参数、高阶势能函数参数、结构参数、正则化参数和约束参数；
步骤S31d、依次计算构建的多维联合概率分布的所有模型的信息准则值，对比所有模型的信息准则值，选择信息准则值最小的模型作为多维联合概率分布的最优模型，得到最终的多维联合概率分布函数。马尔可夫随机场是一种用于建模联合概率分布的概率图模型，描述了一组随机变量之间的关系，其中每个变量表示一个节点，边表示节点之间的依赖关系，马尔可夫随机场通常使用势函数来描述节点之间的关系，势函数定义了变量之间的相互作用，通过定义合适的势函数，可以捕捉数据之间的依赖关系和约束关系。
马尔可夫随机场能够灵活地建模复杂的数据关系，包括非线性关系和高维数据之间的相互作用，具有局部性质，每个节点的状态仅与其相邻的节点状态相关，这种局部性质在处理大规模数据时可以有效减少计算复杂度，提高模型的效率。
因此在本实施例中，选用马尔可夫随机场来构建多维联合概率分布，相对于其他方法具有局部性质、灵活性、结构化建模、推断效率和参数共享的优势，能够更好地处理具有复杂结构和相互依赖关系的数据。
在某个实施例中，具体为：
将多维数据中的每个变量视为一个节点，节点之间的关系表示为边；
采用马尔可夫随机场模型定义节点之间的潜在依赖关系，捕捉数据变量之间的相互作用和关联，使用势能函数表示联合概率分布，过程为：
P(X)=（1/Z）exp（-E(X) ）；
其中，X是多维数据变量的取值，Z是归一化常数，E(X)是势能函数；
采用贝叶斯推断优化马尔可夫随机场模型参数。
根据本申请的一个方面，所述步骤S42进一步为：
步骤S42a、采用PyTorch构建神经网络架构，包括：共享的卷积层和分开的全连接层；
步骤S42b、基于Q-learning的损失函数计算目标Q值；
步骤S42c、基于Q-learning算法训练Dueling DQN，更新神经网络参数将损失函数最小化；
步骤S42d、基于海量情景、调蓄工程调度过程和综合效益构建训练集，训练Dueling DQN规则模型，得到训练后的Dueling DQN规则模型。根据本申请的一个方面，所述步骤S5进一步为：
步骤S51、提取历史实测数据输入时变优化调度模型，计算得到历史最优调度过程和综合效益，记为测试集；
步骤S52、提取海量情景下的调蓄工程调度过程和对应的综合效益作为样本集，将测试集与样本集之间的差异作为综合效益失准的风险，采用弗雷歇距离溯源到风险发生位置；
步骤S53、在风险发生位置采用ε-greedy策略对Dueling DQN规则模型进行优化，得到优化后的Dueling DQN规则模型；
步骤S54、将海量情景输入优化后的Dueling DQN规则模型，得到海量情景下的调蓄工程调度过程和对应的综合效益，提取最终的调度规则，即为水网系统中调蓄工程调度规则。效益失准的存在说明原有训练得到的经验不足以完全覆盖可能的映射，因此使用ε-greedy策略来确保代理模型在容易产生效益失准的风险点能够尝试新的动作，以发现潜在的更优策略。
根据本申请的一个方面，所述步骤S52进一步为：
步骤S52a、将历史最优调度过程和综合效益，以及预测最优调度过程和综合效益的差异超过阈值作为综合效益失准风险，从样本集中提取已知风险点，从测试集中提取潜在风险点；
步骤S52b、计算所有潜在风险点轨迹与已知风险点轨迹之间弗雷歇距离，弗雷歇距离小于阈值的潜在风险点确认为风险点，该已知风险点为潜在风险点的来源；
步骤S52c、基于已知风险点的位置信息确定风险发生位置。
弗雷歇距离是一种用于度量两条曲线之间的相似性的距离度量方法，将潜在风险点的轨迹视为一条曲线，已知风险点的轨迹视为另一条曲线，在计算出潜在风险点和已知风险点轨迹曲线之间的弗雷歇距离后，通过比较两条轨迹之间的最优匹配路径找到潜在风险点的位置。
在某个实施例中，具体为：
已知的两个风险点轨迹曲线为：已知风险点轨迹1: [(0,0),(1,1),(2,2,(3,3),(4,4)] ；已知风险点轨迹2：[(0,0),(1,2),(2,4),(3,6),(4,8)];
潜在风险点轨迹：[(0,0),(1,1.5),(2,3),(3,4.5),(4,6)];
将潜在风险点轨迹分别于已知风险点轨迹1和已知风险点轨迹2进行对比，计算它们之间的弗雷歇距离，得到结果为：潜在风险点轨迹与已知风险点轨迹1之间的弗雷歇距离为2.83；潜在风险点轨迹与已知风险点轨迹2之间的弗雷歇距离为3.54；
通过对比弗雷歇距离大小得出与潜在风险点轨迹最小的已知风险点轨迹为已知风险点轨迹1，因此潜在风险点的位置可能在已知风险点轨迹1上。
根据本申请的一个方面，所述步骤S54进一步为：
步骤S54a、设定ε的初始值为a,a为大于0小于1的正数；
步骤S54b、收集M个Dueling DQN规则模型优化策略，记为空间动作集，每一个优化策略作为一个动作，M为正整数；
步骤S54c、以ε为概率随机选择一个动作，使用选择的动作优化Dueling DQN规则模型，使用结果更新Q值；
步骤S54d、以1-ε为概率选择在Q值函数中最高值对应的动作，使用选择的动作化Dueling DQN规则模型，得到最终优化后的Dueling DQN规则模型。ε-greedy策略的优势在于能够在探索和利用之间取得平衡，既能够尝试新的动作以发现更优的策略，又能够利用已知的最优策略来获取更多奖励，相较于其他策略方法，ε-greedy策略只需要设置一个ε值，不需要复杂的参数调整和计算，同时其对参数的选择不敏感，即使ε的值设置不够精确，也能够保证相对稳定的性能，在本实施例中，训练过程中通过逐步减少ε值，能够逐渐增加对最优动作的选择，提高学习的效率和性能。
在本发明中，将水网的纲、目、结等层级结构与调蓄工程的实际调度决策有机结合。传统调度方法往往基于局部或割裂的视角,忽视了水网的整体性和层次性。而本实施例通过混合高斯模型等方法,刻画了纲目结间的概率依赖关系,进而通过关系矩阵串联起从流域到工程的各空间尺度。这种网络化的系统级建模思想,在多时空尺度上实现水资源配置的协同优化,从而在流域整体层面提升资源利用效率。
利用弗雷歇距离等指标,从时变的角度刻画了各影响因素的敏感性差异。传统敏感性分析往往基于静态视角,难以反映因素重要性的动态演变。而本实施例充分考虑了水文过程的时变特性,通过计算不同时段因素扰动引起的水位变化,动态筛选出了对调度规则制定最为关键的敏感因子。通过时变视角，使调度方案更好地适应不同时段的需求侧重,提高调度的精准性和灵活性。
采用马尔可夫随机场建模多维联合分布,并结合蒙特卡罗抽样生成调度情景。一方面,将随机场引入调度领域,使得模型能够灵活地捕捉调度决策变量间的复杂关联和约束。相比于一般的独立性假设,随机场能够刻画更真实的物理图景。另一方面,海量情景的生成有助于全面探索调度规则的适用边界。在现实中,各类极端工况和小概率事件往往对工程安全构成严峻挑战。这个方实施例中的情景生成和规则验证环节,使得能够提前对规则的抗风险能力进行评估,并据此调整完善。这种"生成+验证"架构，提升了调度方案应对复杂情景的鲁棒性。
通过Dueling DQN架构和ε-greedy策略,将决策网络解耦为值函数和优势函数,大幅提高了状态价值估计的准确性。无论在当前状态还是长远未来,系统都能更精准地权衡不同调度动作的利弊得失。一方面,它利用了已知的最优策略,专注于眼下利益的最大化;另一方面,它又保留了一定的探索概率,积极尝试新的可能性,以发掘更优的调度路径。这两大机制的协同作用,使得系统能在海量调度情景中不断学习迭代,持续优化调度规则。可以预见,经过足够的训练,该系统有望在陌生甚至对抗性场景下表现出色,成为名副其实的"调度智能体"。
总之，在空间尺度上实现了流域-水网-工程的一体化协同调度;在时间尺度上刻画了调度因素和目标的动态权重转移;在不确定性描述上采用了随机场等前沿模型,克服了传统参数化方法的局限;在调度规则生成上实现了从海量情景到关键节点再到整体策略的递进强化;在系统的智能进化上,通过深度强化学习实现了调度经验的持续学习和策略迭代优化。从时空和逻辑的多个维度来共同赋能调度系统的智能进化。在流域水资源优化配置、水旱灾害防御、生态需水保障等方面实现了显著的技术效果提升。
根据本申请的另一个方面，提供一种水网系统中调蓄工程调度规则提取系统，其特征在于，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述任一项所述的水网系统中调蓄工程调度规则提取方法。
以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (6)

1.水网系统中调蓄工程调度规则提取方法，其特征在于，包括如下步骤：
步骤S1、收集水网系统资料、调蓄工程资料和历史实测数据，提取水网系统中的要素资料，要素资料包括纲、目和结；拟合纲目结三维联合概率分布，构建纲、目、结关系矩阵；
步骤S2、构建时变优化调度模型并以纲作为输入数据，采用弗雷歇距离计算水库水位变化，识别出敏感纲，基于纲、目、结关系矩阵，去除不隶属于任一敏感纲的目和结，得到敏感纲及其对应的目和结；
步骤S31、提取调蓄工程本身水位、调度目标、水库工况分布数据和敏感纲、目、结，拟合多维联合概率分布，构建多维联合分布函数；
步骤S32、对多维联合分布函数随机抽样生成海量情景；
步骤S41、将海量情景输入时变优化调度模型，获得调蓄工程调度过程和综合效益；
步骤S42、基于海量情景、调蓄工程调度过程和综合效益构建训练集，构建并训练Dueling DQN规则模型，通过训练好的Dueling DQN规则模型提取初始调蓄工程调度规则；
步骤S5、提取历史实测数据并输入时变优化调度模型和训练好的Dueling DQN规则模型，分别计算得到历史最优调度过程和综合效益，以及预测最优调度过程和综合效益；并基于二者计算综合效益失准的风险，采用弗雷歇距离法找到风险位置，在风险位置对DuelingDQN规则模型进行优化，采用优化后的Dueling DQN规则模型提取水网系统中调蓄工程调度规则；
所述步骤S1具体为：
步骤S11、收集水网系统资料、调蓄工程资料和历史实测数据，提取水网系统中的要素资料，要素资料包括纲、目和结，所述调蓄工程资料包括：调蓄工程本身水位、调度目标和水库工况分布；
步骤S12、提取出所有的纲、目和结，并分别记作G、M、J，采用混合高斯模型拟合纲目结三维联合概率分布；
步骤S13、基于纲目结三维联合概率分布构建纲目结关系矩阵；
所述步骤S2具体为：
步骤S21、构建时变优化调度模型，基于调度需求，将一年划分为P个调度期，对应P个调度目标，P为大于2的自然数；
步骤S22、依次将P个调度期对应的纲要素输入时变优化调度模型，计算得到P条水位变化线，采用弗雷歇距离计算P条水位变化线之间的距离得到水库水位变化量，将水库水位变化量大于阈值的纲判定为敏感纲；
步骤S23、基于纲、目、结关系矩阵，去除不隶属于任一敏感纲的目和结，得到敏感纲及其对应的目和结；
所述步骤S31具体为：
步骤S31a、提取调蓄工程本身水位、调度目标、水库工况分布数据和敏感纲、目、结，确定调蓄工程本身水位、调度目标、水库工况分布、敏感纲、目、结对应的马尔可夫势能函数；
步骤S31b、采用概率分布的形式将马尔可夫势能函数转化为联合概率分布；
步骤S31c、采用最大似然估计势能函数的参数，包括：局部势能函数参数、成对势能函数参数、高阶势能函数参数、结构参数、正则化参数和约束参数；
步骤S31d、依次计算构建的多维联合概率分布的所有模型的信息准则值，对比所有模型的信息准则值，选择信息准则值最小的模型作为多维联合概率分布的最优模型，得到最终的多维联合概率分布函数；
所述步骤S5具体为：
步骤S51、提取历史实测数据输入时变优化调度模型，计算得到历史最优调度过程和综合效益，记为测试集；
步骤S52、提取海量情景下的调蓄工程调度过程和对应的综合效益作为样本集，将测试集与样本集之间的差异作为综合效益失准的风险，采用弗雷歇距离溯源到风险发生位置；
步骤S53、在风险发生位置采用ε-greedy策略对Dueling DQN规则模型进行优化，得到优化后的Dueling DQN规则模型；
步骤S54、将海量情景输入优化后的Dueling DQN规则模型，得到海量情景下的调蓄工程调度过程和对应的综合效益，提取最终的调度规则，即为水网系统中调蓄工程调度规则。
2.如权利要求1所述的水网系统中调蓄工程调度规则提取方法，其特征在于，所述步骤S12具体为：
步骤S12a、选择N个混合高斯模型，初始化N个混合高斯模型的均值向量、协方差矩阵和混合系数，采用随机初始化法确定初始参数；N为大于2的自然数；
步骤S12b、依次计算每一纲、目、结的数据点属于每个高斯分布的后验概率，基于后验概率更新每个高斯分布的均值向量、协方差矩阵和混合系数，将其记为一次迭代；
步骤S12c、对N个高斯分布多次迭代，直到似然函数收敛时停止迭代；
步骤S12d、迭代停止后的混合高斯模型即为纲目结的三维联合概率分布。
3.如权利要求1所述的水网系统中调蓄工程调度规则提取方法，其特征在于，所述步骤S42中，基于海量情景、调蓄工程调度过程和综合效益构建训练集，构建并训练Dueling DQN规则模型，通过训练好的Dueling DQN规则模型提取初始调蓄工程调度规则的过程，具体为：
步骤S42a、采用PyTorch构建神经网络架构，包括：共享的卷积层和分开的全连接层；
步骤S42b、基于Q-learning的损失函数计算目标Q值；
步骤S42c、基于Q-learning算法训练Dueling DQN，更新神经网络参数将损失函数最小化；
步骤S42d、基于海量情景、调蓄工程调度过程和综合效益构建训练集，训练DuelingDQN规则模型，得到训练后的Dueling DQN规则模型。
4.如权利要求3所述的水网系统中调蓄工程调度规则提取方法，其特征在于，所述步骤S52具体为：
步骤S52a、将历史最优调度过程和综合效益，以及预测最优调度过程和综合效益的差异超过阈值作为综合效益失准风险，从样本集中提取已知风险点，从测试集中提取潜在风险点；
步骤S52b、计算所有潜在风险点轨迹与已知风险点轨迹之间弗雷歇距离，弗雷歇距离小于阈值的潜在风险点确认为风险点，该已知风险点为潜在风险点的来源；
步骤S52c、基于已知风险点的位置信息确定风险发生位置。
5.如权利要求4所述的水网系统中调蓄工程调度规则提取方法，其特征在于，所述步骤S54具体为：
步骤S54a、设定ε的初始值为a,a为大于0小于1的正数；
步骤S54b、收集M个Dueling DQN规则模型优化策略，记为空间动作集，每一个优化策略作为一个动作，M为正整数；
步骤S54c、以ε为概率随机选择一个动作，使用选择的动作优化Dueling DQN规则模型，使用结果更新Q值；
步骤S54d、以1-ε为概率选择在Q值函数中最高值对应的动作，使用选择的动作化Dueling DQN规则模型，得到最终优化后的Dueling DQN规则模型。
6.水网系统中调蓄工程调度规则提取系统，其特征在于，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1至5任一项所述的水网系统中调蓄工程调度规则提取方法。
CN202410420839.4A 2024-04-09 2024-04-09 水网系统中调蓄工程调度规则提取方法及系统 Active CN118014325B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410420839.4A CN118014325B (zh) 2024-04-09 2024-04-09 水网系统中调蓄工程调度规则提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410420839.4A CN118014325B (zh) 2024-04-09 2024-04-09 水网系统中调蓄工程调度规则提取方法及系统

Publications (2)

Publication Number Publication Date
CN118014325A CN118014325A (zh) 2024-05-10
CN118014325B true CN118014325B (zh) 2024-05-31

Family

ID=90943458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410420839.4A Active CN118014325B (zh) 2024-04-09 2024-04-09 水网系统中调蓄工程调度规则提取方法及系统

Country Status (1)

Country Link
CN (1) CN118014325B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102102375A (zh) * 2009-12-18 2011-06-22 上海颛桥建筑工程有限公司 雨水集蓄利用工艺
CN117575297A (zh) * 2024-01-16 2024-02-20 水利部水利水电规划设计总院 区域水网系统调水受水区供水水源组成的识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966954B (zh) * 2021-03-15 2022-10-18 河海大学 一种基于时间卷积网络的防洪调度方案优选方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102102375A (zh) * 2009-12-18 2011-06-22 上海颛桥建筑工程有限公司 雨水集蓄利用工艺
CN117575297A (zh) * 2024-01-16 2024-02-20 水利部水利水电规划设计总院 区域水网系统调水受水区供水水源组成的识别方法及系统

Also Published As

Publication number Publication date
CN118014325A (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
Tikhamarine et al. Rainfall-runoff modelling using improved machine learning methods: Harris hawks optimizer vs. particle swarm optimization
Baillieul et al. Encyclopedia of systems and control
Garzón et al. Machine learning‐based surrogate modeling for urban water networks: review and future research directions
Jain et al. Application of ANN for reservoir inflow prediction and operation
Giuliani et al. Assessing the value of cooperation and information exchange in large water resources systems by agent‐based optimization
Dembo Scenario optimization
Shiri et al. Estimation of daily suspended sediment load by using wavelet conjunction models
Allawi et al. Novel reservoir system simulation procedure for gap minimization between water supply and demand
CN116090839B (zh) 水资源耦合系统多重风险分析与评估方法及系统
Donyaii et al. Water reservoir multiobjective optimal operation using Grey Wolf optimizer
Karimi et al. Forecasting water level fluctuations of Urmieh Lake using gene expression programming and adaptive neuro-fuzzy inference system
Adeyemo et al. River flow forecasting using an improved artificial neural network
Zhang et al. Downstream water level prediction of reservoir based on convolutional neural network and long short-term memory network
Yi et al. Intelligent prediction of transmission line project cost based on least squares support vector machine optimized by particle swarm optimization
Triki et al. An artificial intelligence approach for the stochastic management of coastal aquifers
Sørensen Dynamic positioning control systems for ships and underwater vehicles
Zhu et al. Quantitative evaluation of the impact of hydrological forecasting uncertainty on reservoir real-time optimal operation
Lafortune Diagnosis of discrete event systems
Suzuki et al. Automated parameter estimation for geothermal reservoir modeling using machine learning
Tadokoro Disaster response robot
CN117291069A (zh) 一种基于改进de与注意力机制的lstm污水水质预测方法
CN118014325B (zh) 水网系统中调蓄工程调度规则提取方法及系统
He et al. A stochastic simulation-based method for predicting the carrying capacity of agricultural water resources
Castañón Dynamic noncooperative games
Bar-Shalom et al. Data association

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant