CN115526504A - 泵站供水系统节能调度方法、系统、电子设备及存储介质 - Google Patents

泵站供水系统节能调度方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN115526504A
CN115526504A CN202211211325.5A CN202211211325A CN115526504A CN 115526504 A CN115526504 A CN 115526504A CN 202211211325 A CN202211211325 A CN 202211211325A CN 115526504 A CN115526504 A CN 115526504A
Authority
CN
China
Prior art keywords
pump
flow
water supply
supply system
demand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211211325.5A
Other languages
English (en)
Inventor
张小磊
陈财会
张天宇
黄健康
金典
王卓悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202211211325.5A priority Critical patent/CN115526504A/zh
Publication of CN115526504A publication Critical patent/CN115526504A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • E—FIXED CONSTRUCTIONS
    • E03—WATER SUPPLY; SEWERAGE
    • E03B—INSTALLATIONS OR METHODS FOR OBTAINING, COLLECTING, OR DISTRIBUTING WATER
    • E03B5/00—Use of pumping plants or installations; Layouts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Hydrology & Water Resources (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Control Of Positive-Displacement Pumps (AREA)

Abstract

本发明公开一种泵站供水系统节能调度方法、系统、电子设备及存储介质，涉及供水技术领域，利用训练和优化后的DQN模型确定不同用水需求对应的最佳动作组合，按最佳动作组合对泵站供水系统中各个泵的流量进行调控，从而实现各个泵调控后的流量中各非零流量均在泵的高效段对应的流量区间内，当泵的流量在高效段对应的流量区间内时，泵能够高效工作，由于泵的流量调控是通过调节变频泵的运行转速以及控制工频泵的启停实现的，因此本发明能够根据最佳动作组合自动调节各变频泵的运行转速以及控制各工频泵的启停，从而使泵站达到供水流量要求和扬程要求，同时有效提高供水泵站总体运行效率。

Description

泵站供水系统节能调度方法、系统、电子设备及存储介质
技术领域
本发明涉及供水技术领域，特别是涉及一种泵站供水系统节能调度方法、系统、电子设备及存储介质。
背景技术
随着城镇化的不断深入推进，中国城区人口由1981年的1.4亿人增长至如今的4.4亿人。为保障城区人口的用水需求，城镇供水系统投资规模日益扩大。据中国统计年鉴数据，2020年底全国供水总量达到586亿立方米，供水投资749亿元。供水企业每年需要投入大量的能源成本，以维持庞大供水体系，其中高达90％的电耗用于维持水泵的运转。
泵站供水的方式普遍采用并联式供水，即泵站中水泵(包括变频泵和工频泵)并联工作，所有水泵的扬程是相同的，但是各水泵的流量不同，各水泵的流量之和是泵站总的流量。在中国的城市供水体系中，泵站大多采用人工调节的方式，其往往根据历史经验制定各变频泵的运行转速和各工频泵的启停方案，从而使得泵站达到供水流量要求和扬程要求，虽然可满足当前用户端的用水需求(包括供水流量需求和扬程需求)，但未考虑供水泵站总体运行效率，存在运行效率低下、能量浪费等问题。
发明内容
本发明的目的是提供一种泵站供水系统节能调度方法、系统、电子设备及存储介质，能够自动调节各变频泵的运行转速以及控制各工频泵的启停，从而使泵站达到供水流量要求和扬程要求，同时有效提高供水泵站总体运行效率。
为实现上述目的，本发明提供了如下方案：
一种泵站供水系统节能调度方法，所述方法包括：
步骤S1：获取不同的用水需求；所述用水需求包括流量总需求和扬程需求；
步骤S2：构建DQN模型；
步骤S3：针对每一所述用水需求，将所述用水需求输入所述DQN模型中，利用所述DQN模型将所述流量总需求随机分配给泵站供水系统中各个泵，得到所述用水需求对应的状态空间；
步骤S4：利用所述DQN模型得到所述状态空间对应的多种动作组合的效率；所述动作组合包括针对所述泵站供水系统中各个泵的调控动作；
步骤S5：按所述状态空间对应的效率最高的动作组合对所述泵站供水系统中各个泵的流量进行调控，得到所述泵站供水系统中各个泵调控后的流量；
步骤S6：判断各个泵调控后的流量中各非零流量是否均在所述非零流量对应的泵的设定流量区间内；所述设定流量区间为泵的高效段对应的流量区间；
若步骤S6的输出结果为否，则执行步骤S7：以各个泵调控后的流量更新所述状态空间中各个泵的流量，返回步骤S4，直至步骤S6的输出结果为是；
若步骤S6的输出结果为是，则执行步骤S8：记录所述状态空间对应的效率最高的动作组合为所述用水需求对应的最佳动作组合；
步骤S9：利用不同的所述用水需求以及所述用水需求对应的最佳动作组合，构建训练数据集；
步骤S10：利用所述训练数据集训练和优化所述DQN模型，得到优化后的DQN模型；
步骤S11：将实际的用水需求输入所述优化后的DQN模型中，得到所述实际的用水需求对应的最佳动作组合；
步骤S12：按所述实际的用水需求对应的最佳动作组合对所述泵站供水系统进行节能调度；所述节能调度包括按所述实际的用水需求对应的最佳动作组合对所述泵站供水系统中各个泵的流量进行调控。
可选地，所述状态空间包括所述泵站供水系统中各个泵的流量和所述扬程需求；所述泵站供水系统中各个泵的流量之和等于所述流量总需求。
可选地，所述泵站供水系统包括多个变频泵和多个工频泵；所述变频泵的调控动作包括调低转速、转速保持不变和调高转速；所述工频泵的调控动作包括开启和关闭。
本发明还提供了如下方案：
一种泵站供水系统节能调度系统，所述系统包括：
用水需求获取模块，用于获取不同的用水需求；所述用水需求包括流量总需求和扬程需求；
模型构建模块，用于构建DQN模型；
状态空间得到模块，用于针对每一所述用水需求，将所述用水需求输入所述DQN模型中，利用所述DQN模型将所述流量总需求随机分配给泵站供水系统中各个泵，得到所述用水需求对应的状态空间；
多种动作组合的效率得到模块，用于利用所述DQN模型得到所述状态空间对应的多种动作组合的效率；所述动作组合包括针对所述泵站供水系统中各个泵的调控动作；
泵的流量调控模块，用于按所述状态空间对应的效率最高的动作组合对所述泵站供水系统中各个泵的流量进行调控，得到所述泵站供水系统中各个泵调控后的流量；
判断模块，用于判断各个泵调控后的流量中各非零流量是否均在所述非零流量对应的泵的设定流量区间内；所述设定流量区间为泵的高效段对应的流量区间；
流量更新模块，用于当所述判断模块的输出结果为否时，以各个泵调控后的流量更新所述状态空间中各个泵的流量，返回所述多种动作组合的效率得到模块，直至所述判断模块的输出结果为是；
最佳动作组合记录模块，用于当所述判断模块的输出结果为是时，记录所述状态空间对应的效率最高的动作组合为所述用水需求对应的最佳动作组合；
训练数据集构建模块，用于利用不同的所述用水需求以及所述用水需求对应的最佳动作组合，构建训练数据集；
模型训练和优化模块，用于利用所述训练数据集训练和优化所述DQN模型，得到优化后的DQN模型；
最佳动作组合得到模块，用于将实际的用水需求输入所述优化后的DQN模型中，得到所述实际的用水需求对应的最佳动作组合；
泵站供水系统节能调度模块，用于按所述实际的用水需求对应的最佳动作组合对所述泵站供水系统进行节能调度；所述节能调度包括按所述实际的用水需求对应的最佳动作组合对所述泵站供水系统中各个泵的流量进行调控。
可选地，所述状态空间包括所述泵站供水系统中各个泵的流量和所述扬程需求；所述泵站供水系统中各个泵的流量之和等于所述流量总需求。
可选地，所述泵站供水系统包括多个变频泵和多个工频泵；所述变频泵的调控动作包括调低转速、转速保持不变和调高转速；所述工频泵的调控动作包括开启和关闭。
本发明还提供了如下方案：
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行所述的泵站供水系统节能调度方法。
本发明还提供了如下方案：
一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现所述的泵站供水系统节能调度方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开的泵站供水系统节能调度方法、系统、电子设备及存储介质，利用训练和优化后的DQN模型确定不同用水需求对应的最佳动作组合，按最佳动作组合对泵站供水系统中各个泵的流量进行调控，从而实现各个泵调控后的流量中各非零流量均在泵的高效段对应的流量区间内，当泵的流量在高效段对应的流量区间内时，泵能够高效工作(运行效率高)，由于泵的流量调控是通过调节变频泵的运行转速以及控制工频泵的启停实现的，因此本发明能够根据最佳动作组合自动调节各变频泵的运行转速以及控制各工频泵的启停，从而使泵站达到供水流量要求(流量总需求)和扬程要求(扬程需求)，同时有效提高供水泵站总体运行效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明泵站供水系统节能调度方法实施例一的流程图；
图2为本发明变频泵的高效区示意图；
图3为本发明DQN算法原理图；
图4为本发明基于DQN算法的泵组运行状态调控的训练过程示意图；
图5为本发明神经网络工作原理示意图；
图6为本发明型号500*350CW11GM的水泵效率η-流量Q和扬程H拟合关系示意图；
图7为本发明型号GSC400/500-500/7的水泵效率η-流量Q和扬程H拟合关系示意图；
图8为本发明型号GSC400/500-500/6的水泵效率η-流量Q和扬程H拟合关系示意图；
图9为本发明型号600*400CW10GM的水泵效率η-流量Q和扬程H拟合关系示意图；
图10为本发明DQN调控结果与人工调控结果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种泵站供水系统节能调度方法、系统、电子设备及存储介质，能够自动调节各变频泵的运行转速以及控制各工频泵的启停，从而使泵站达到供水流量要求和扬程要求，同时有效提高供水泵站总体运行效率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
图1为本发明泵站供水系统节能调度方法实施例一的流程图。如图1所示，本实施例提供了一种泵站供水系统节能调度方法，包括以下步骤：
步骤S1：获取不同的用水需求；用水需求包括流量总需求和扬程需求。
步骤S2：构建DQN模型。
步骤S3：针对每一用水需求，将用水需求输入DQN模型中，利用DQN模型将流量总需求随机分配给泵站供水系统中各个泵，得到用水需求对应的状态空间。
步骤S4：利用DQN模型得到状态空间对应的多种动作组合的效率；动作组合包括针对泵站供水系统中各个泵的调控动作。
步骤S5：按状态空间对应的效率最高的动作组合对泵站供水系统中各个泵的流量进行调控，得到泵站供水系统中各个泵调控后的流量。
步骤S6：判断各个泵调控后的流量中各非零流量是否均在非零流量对应的泵的设定流量区间内；设定流量区间为泵的高效段对应的流量区间。
若步骤S6的输出结果为否，则执行步骤S7：以各个泵调控后的流量更新状态空间中各个泵的流量，返回步骤S4，直至步骤S6的输出结果为是。
若步骤S6的输出结果为是，则执行步骤S8：记录状态空间对应的效率最高的动作组合为用水需求对应的最佳动作组合。
步骤S9：利用不同的用水需求以及用水需求对应的最佳动作组合，构建训练数据集。
步骤S10：利用训练数据集训练和优化DQN模型，得到优化后的DQN模型。
步骤S11：将实际的用水需求输入优化后的DQN模型中，得到实际的用水需求对应的最佳动作组合。
步骤S12：按实际的用水需求对应的最佳动作组合对泵站供水系统进行节能调度；节能调度包括按实际的用水需求对应的最佳动作组合对泵站供水系统中各个泵的流量进行调控。
具体的，状态空间包括泵站供水系统中各个泵的流量和扬程需求；泵站供水系统中各个泵的流量之和等于流量总需求。
泵站供水系统包括多个变频泵和多个工频泵；变频泵的调控动作包括调低转速、转速保持不变和调高转速；工频泵的调控动作包括开启和关闭。
下面以一个具体实施例说明本发明的技术方案：
本发明提供的泵站供水系统节能调度方法，是一种基于DQN算法的泵站供水系统节能调度方法，其对水泵组状态优化问题进行了数学描述和马尔可夫决策过程描述，同时定义了水泵组运行时的状态空间、动作空间和即时奖励值，构建DQN网络，提高水泵组的整体效率。
本发明提供的一种基于DQN算法的泵站供水系统节能调度方法具体包括如下步骤：
步骤1：将水泵运行状态转化为数学描述。
该步骤1包括建立目标函数和设置约束条件，具体如下：
①界定水泵的高效区
确定水泵的最高效率(通常取η>90％)，然后根据水泵的特性曲线界定水泵的高效区，如图2所示。
②建立目标函数：
设泵组中含有x台变频泵，y台工频泵，各泵的泵型确定，管路特性曲线确定，且采用并联供水方式。已知供水流量要求Qsum和扬程要求He，求得水泵的运行组合以及各水泵的调速比ki，在泵站达到供水要求并且各个水泵均处于高效运行状态的前提下，使泵站达到最高总效率。水泵的运行组合以及各水泵的调速比ki的确定需要根据各个水泵特性曲线画出串联后的特性曲线(采用各个水泵相同扬程下流量叠加法)，水泵的调速比是根据调节后水泵转速除以设计转速得到的。
基于该问题描述，泵站供水时，系统优化的目标函数如下：
Figure BDA0003875217340000081
该目标函数是针对扬程和流量需求确定的目标函数，该目标函数是基于DQN算法确定的，能够尽可能保证每台泵在它的高效段工作。其中，η为泵组总效率；γ为水的容重；Qsum为供水总流量要求(供水流量要求)，即泵站提供的总流量；He为供水扬程要求，即泵站提供的扬程；Ni为第i台泵的功率。
③设置约束条件：水泵的工况点必须在其高效区内，以此为约束条件，数学描述如下：
Figure BDA0003875217340000082
约束条件即在要求的Q和H下，保证水泵N(效率)应该是它的高效段。其中，Hx为虚总扬程；Sx为泵体内虚阻耗系数；x表示x台变频泵；kmin表示泵的最小调速比；Qi为任意转速下流量；Qmin、Qmax表示高效区限制，表达式如下：
Figure BDA0003875217340000083
Figure BDA0003875217340000084
其中，QA和HA分别为水泵在额定转数下高效段工作对应的最小流量及在最小流量下的扬程；HC为水泵在最低转数下高效段工作对应的最小流量；QB和HB分别为水泵在额定转数下高效段工作对应的最大流量及在最大流量下的扬程。
步骤2：将水泵运行问题表述为马尔可夫决策过程，并对马尔可夫决策模型(根据状态空间S、动作空间A、状态转移函数和即时奖励构建马尔可夫决策模型)参数进行定义。
马尔可夫决策过程(Markov Decision Process，MDP)为强化学习算法提供框架，其模型可用元组(S，A，T，R，γ)表示。其中S表示系统的状态空间；A表示动作空间；T代表状态转移矩阵，即从某一状态执行特定动作后转变为另一状态的概率；R为执行特定动作后获得的即时奖励；γ为折扣系数，即未来奖励的重要程度。
在供水系统中，由于供水流量要求Qsum和扬程要求He是随机量，故优化水泵组运行状态问题可视为不确定条件下的贯序决策问题，本发明将其表述为马尔可夫决策过程，并对模型中的参数进行定义，包括：状态空间S，动作空间A，状态转移函数，即时奖励。
①状态空间S(各个水泵的工作下的流量，扬程)
在某一时间步(step)中，智能体将观测环境的状态，该状态包括各个水泵的运行状态(其描述的是各个变频泵的运行状态)，包括流量、扬程等参数，其表达式如下式所示(由于泵站供水的方式普遍采用并联式供水，各个水泵的扬程视为相同)：
S＝[Q1，Q2，…，Qx+y，H]
其中，Q1，Q2，…，Qx+y表示各个泵的供水流量，H表示泵站供水扬程。
②动作空间A(各个变频泵的调速及启闭)
当智能体获取环境状态S后会给出动作A，其包括调控各变频泵的转速以及各工频泵的启闭状态。水泵组运行状态调控问题的目标就是最优地确定各变频泵的转速以及各工频泵的启闭状态。本发明将对变频泵和工频泵的调控分别划分为动作空间Av和Ag，表达式如下：
Figure BDA0003875217340000101
Figure BDA0003875217340000102
则智能体的动作可表示为：
Figure BDA0003875217340000103
其中各参数含义如下：a∈A，i∈[1，x]，j∈[1，y]。Av表示智能体对变频泵的调控，
Figure BDA0003875217340000107
表示智能体对第x台变频泵的调控，具体的，“0”为调低转速，“1”为转速保持不变，“2”为调高转速。Ag表示智能体对工频泵的开闭状态，
Figure BDA0003875217340000108
表示智能体对第y台工频泵的开闭状态，具体的，“0”为开启，“1”为关闭。
③状态转移函数(泵从一个工作状态转为另一个工作状态)
传统的马尔可夫模型通过状态转移矩阵预测未来的状态，但当状态空间为高维连续时，可采用状态转移函数进行预测，即：
Figure BDA0003875217340000104
状态转移函数
Figure BDA0003875217340000105
可通过神经网络学习而得(通过DQN网络得到)，其中，f表示函数。
④即时奖励(即当泵在高效率段工作获得奖励被记录)
智能体在状态s时执行动作a，会获得即时奖励r。因为优化水泵组运行状态问题的目标为最大化泵站总效率，设电机效率不变，则即时奖励r可设置为：
Figure BDA0003875217340000106
步骤3：构建DQN算法流程，总体过程为：智能体基于环境反馈的奖励，学习出每个状态下的最优动作。
DQN算法是在马尔科夫决策过程提供的框架下求解强化学习问题的算法之一，需满足马尔科夫决策过程的假设条件。因此，可在上述马尔可夫决策过程描述的基础上，构建如图3所示的DQN算法流程，具体的步骤为：泵站是水泵并联工作(所有水泵扬程是相同的，但是流量不同，流量和是总的流量)，这样就用了DQN进行调节，调节的过程就是在给定扬程的情况下，确定每个泵的流量分配，每个泵的流量之和等于总的流量需求，如果总的流量需求改变了，首先将总流量随机分配，然后agent会根据当前的扬程和每个泵的流量，决定每个泵该怎么调，最后调到agent认为效率最高的方案为止，每个泵的调法是一小步一小步地增大或者减小流量，同时保证它们的流量加起来是一个定值，如果过程中某个泵的效率太低了就会直接关掉泵，也就是流量变为0，这里只有第6、7、8步才是调节的过程。在这之前是初始化，也就是准备阶段，在这之后是优化网络的参数。根据上述步骤一步一步得到结果。智能体在需求改变后自动调整各变频泵的转速，在满足供水需求的基础上，使得泵组总效率尽可能高。
DQN算法原理如图3所示，其总体过程为：智能体基于环境反馈的奖励，学习出每个状态下的最优行为(即在给定需求工作状态下，每个泵都会等到在相互组合下的自己效率高的状态，然后就被记忆在系统内)。相较于传统强化学习方法Q-Learning而言，DQN算法采用神经网络替代Q-table，并引入经验回放池(即每台泵不同工作状态下的效率被记忆并放到回收池中)，以解决状态空间连续高维和灾难性遗忘的问题。
如图4所示，基于DQN算法，泵组运行状态调控的训练过程如下(即对于并联下的流量需求，先为每台泵设置一个初始Q，然后开始迭代计算，直到流量达到目标的Q值，然后各个泵就会有对应的流量，在这个流量下时刚好是处于高效段)，这个过程中先设定一个流量：
(1)初始化估值网络(Q)，初始化目标网络(targetQ)。
(2)初始化经验回放池(replay_memory)。
(3)初始化环境状态(environment)。
(4)开启第一个回合(episode)。
(5)由step＝1开始迭代。
(6)智能体(agent)观测环境并获得状态St(在需求的总流量下的每台泵的流量和扬程)。
(7)将状态St作为估值网络(Q)的输入，输出当前状态下所有动作的动作价值，再采用ε-greedy策略选取并执行动作At(即这个流量扬程下是否需要调速或者启闭泵)。
(8)智能体获得新的状态St+1和即时奖励rt(得到新的流量扬程，以及奖励就是是否在高效区，在高效区就有奖励大)。
(9)将(St，At，St+1，rt)存入经验回放池(将得到的值存储在系统内)。
(10)从经验回放池中随机抽取一批样本，作为目标网络和估值网络的输入，再输出各自的Q值(重新设置新的流量需求和目标流量)。
(11)以两者Q值之差计算损失函数，并通过反向传播更新估值网络权重(即接近的程度)。
(12)判断是否经过N个step，若是，则将估值网络的权重赋值到目标网络中。
(13)判断是否经过M个step，若是，则回合数加1并返回至步骤(3)；若不是，则step数加1并返回步骤(5)。
(14)判断回合数是否等于max_episode，若是，则结束训练。
步骤4：搭建仿真环境；
①设置供水场景
设定供水总流量与扬程，泵组的额定功率、额定电压、额定流量、额定扬程、转速范围、效率等参数(根据供水需求就会有这些参数，有了这些参数，模型就可以判断如何组合可以水泵尽量在高效段工作以节能)。
②确定供水过程中各个水泵的功率N和效率η(计算各个水泵的功率N和效率η的作用是判断每台水泵是否在高效段工作)
评估DQN算法在该问题中的优劣性的基础是仿真环境能否准确的模拟供水需求和水泵组运行状态。若模拟变频泵的工作状态，则需要得到在任意转速下变频泵的功率N关于流量Q和扬程H的定量关系式(即对变频泵的模拟需要其在任意转速下功率N关于流量Q和扬程H的关系式)。对于已投入运营的中大型泵而言，通过现场测试得出实际运行中，各参数之间的关系较为困难。因此，其关系式须通过泵的性能曲线图而得。
简单来说，先通过分析水泵的性能曲线图得到在任意转速下变频泵的功率N关于流量Q和扬程H的定量关系式，即额定转速下，水泵的一系列(m个)效率η0、流量Q0、扬程H0以及由此计算出的功率N0的离散值，如下式所示：
η0＝[η0 1,η0 2,…,η0 m]
Q0＝[Q0 1,Q0 2,…,Q0 m]
N0＝[N0 1,N0 2,…,N0 m]
H0＝[H0 1,H0 2,…,H0 m]
根据相似定律，可以得到任意调速比ki下，各水泵的功率Ni、流量Qi、扬程Hi，即：
Figure BDA0003875217340000131
Figure BDA0003875217340000132
Figure BDA0003875217340000133
然后再搭建监督学习神经网络：在PyTorch框架下，搭建2层全连接层，各层的神经元个数为128，各层间激活函数为ReLU函数，其工作原理如图5所示。
从而可得到功率关于流量和扬程的非线性关系模型，即：
N＝f(Q，H)
③设置DQN参数(DQN参数用于模拟实际情况)
采用实际水泵站的运行数据，以PyTorch为深化学习工具，设置的状态空间S包括各水泵的流量Q和水泵组提供的扬程H，动作空间A为调节各个水泵的转速。采用深度神经网络(DNN)结构，隐藏层层数为三层，每层128个神经元，层与层之间的激活函数采用ReLU函数，并设置超参数。
步骤5：获取水泵实际运行数据，包括随着时间和用水量的变化，水泵开启数量及各水泵的流量、扬程、功率、效率等数据。
步骤6：DNN网络训练；
用获取的既往运行数据(步骤5获取的随着时间和用水量的变化，水泵开启数量及各水泵的流量、扬程、功率、效率等数据)进行网络训练。
步骤7：输入供水需求，智能调度各水泵的转速，实现泵站供水系统节能调度(输入供水需求，水泵就会自动调节转速使其在高效段工作)。
下面以本发明泵站供水系统节能调度方法应用于某给水厂对其负责片区的供水为例，对本发明泵站供水系统节能调度方法进行进一步说明：
选取的场景为该给水厂对其负责片区进行供水，以该给水厂及其负责片区的供水情况为训练场景。总流量与扬程数据源于给水厂提供的周供水数据，其中前5天的数据用于训练，剩下天数的数据用于结果评估。供水所用的泵组中，设置5台变频泵，采用并联供水方式，其具体参数见表1：
表1水泵性能参数表
Figure BDA0003875217340000141
通过步骤4中第②部分所述的方法确定供水过程中各个水泵的功率N和效率η。
为验证模型效果，本发明通过下式计算出每台水泵在不同流量与扬程下的效率η：
Figure BDA0003875217340000151
其中，g表示重力加速度，ρ表示水的密度，N表示水泵的功率，Q表示水泵的流量，H表示水泵组提供的扬程；并在Matlab软件中绘制曲面图，其结果如图6、图7、图8和图9所示。
由图6、图7、图8和图9可知，水泵的效率均位于40％～90％之间，结果符合实际情况；而水泵高效区要求效率为70％以上，为程序调节水泵至高效运行区提供了操作空间。
使用PyTorch作为深化学习工具，设置的状态空间包括5台泵的流量和泵组提供的扬程H，动作空间为调节各个泵的转速，估值网络和目标网络均采用深度神经网络(DNN)结构，隐藏层层数为三层，每层128个神经元，层与层之间的激活函数采用ReLU函数。超参数设置如表2所示：
表2超参数设置表
Figure BDA0003875217340000152
以水厂获取的周供水数据，其中前5天的数据用于训练，后2天的数据用于结果评估。在相同供水需求的前提下，将人工调控与DQN调控两种方式下的水泵组在不同时间段的功率消耗进行对比，如图10所示。
根据计算可得，采用现行人工调控方法的水泵组平均损失功率为143.67kW，而采用DQN算法调控的水泵组平均损失功率为130.96W，相较于人工调控降低了8.84％的功率损失。由此可见DQN算法调控在优化水泵组运行状态问题上，具有良好的经济效能，可有效提高水泵站运行效率。
本发明基于在满足城镇居民用水需求的前提下，提升供水泵站中的泵组总体效率所带来的节能效益十分可观，研究出现实可行的系统优化算法是解决供水系统能量浪费问题的重要方向之一，提出引入一种深度强化学习算法—DQN算法，将水泵组运行状态作为估值网络的输入，在用户需求量改变的情况下，自动调节泵的转速，使泵能在所需工况下实现高效工作，从而实现高效利用能量、降低成本的目标。由于泵站中水泵组运行状态的节能优化问题，可抽象为在供水需求不断变化的情况下，以水泵组总效率为优化目标，水泵高效区为约束条件的动态规划问题。而深度强化学习既具有良好的感知能力，又具有良好的决策能力，在动态规划问题上具有很好的适用性，已广泛应用于工业制造、优化调度、游戏博弈等领域，在中国供水领域中暂无应用。目前成熟的深度强化学习算法中，DQN算法更适应于连续状态空间，具有良好的研究前景。因此，本发明基于DQN算法实现泵站供水系统节能调度，本发明泵站供水系统节能调度方法能够自动调节各变频泵的运行转速以及控制各工频泵的启停，从而使泵站达到供水流量要求和扬程要求，同时有效提高供水泵站总体运行效率。
与现有技术相比，本发明的优点在于：
(1)节能减排效果更佳
首次将DQN算法应用在给水领域，节能效果良好，不仅满足用户端的用水需求，且使各泵机以及泵站都处于高效率的工况中，降低泵站运行能耗。
(2)实现水泵组状态自动调控
根据用户的实时用水需求，快速求解出最优的水泵组合与各自的转速，节省人力资源，同时减少操作人员未即时调控的风险，提高供水服务水平。
(3)自适应更新算法
该算法可采用在线学习的方式，对网络权重进行更新，即使出现异常的供水需求，或者水泵组的特性曲线发生改变，也可自适应变化。
实施例二
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供了一种泵站供水系统节能调度系统。该系统包括：
用水需求获取模块，用于获取不同的用水需求；用水需求包括流量总需求和扬程需求。
模型构建模块，用于构建DQN模型。
状态空间得到模块，用于针对每一用水需求，将用水需求输入DQN模型中，利用DQN模型将流量总需求随机分配给泵站供水系统中各个泵，得到用水需求对应的状态空间。
多种动作组合的效率得到模块，用于利用DQN模型得到状态空间对应的多种动作组合的效率；动作组合包括针对泵站供水系统中各个泵的调控动作。
泵的流量调控模块，用于按状态空间对应的效率最高的动作组合对泵站供水系统中各个泵的流量进行调控，得到泵站供水系统中各个泵调控后的流量。
判断模块，用于判断各个泵调控后的流量中各非零流量是否均在非零流量对应的泵的设定流量区间内；设定流量区间为泵的高效段对应的流量区间。
流量更新模块，用于当判断模块的输出结果为否时，以各个泵调控后的流量更新状态空间中各个泵的流量，返回多种动作组合的效率得到模块，直至判断模块的输出结果为是。
最佳动作组合记录模块，用于当判断模块的输出结果为是时，记录状态空间对应的效率最高的动作组合为用水需求对应的最佳动作组合。
训练数据集构建模块，用于利用不同的用水需求以及用水需求对应的最佳动作组合，构建训练数据集。
模型训练和优化模块，用于利用训练数据集训练和优化DQN模型，得到优化后的DQN模型。
最佳动作组合得到模块，用于将实际的用水需求输入优化后的DQN模型中，得到实际的用水需求对应的最佳动作组合。
泵站供水系统节能调度模块，用于按实际的用水需求对应的最佳动作组合对泵站供水系统进行节能调度；节能调度包括按实际的用水需求对应的最佳动作组合对泵站供水系统中各个泵的流量进行调控。
其中，状态空间包括泵站供水系统中各个泵的流量和扬程需求；泵站供水系统中各个泵的流量之和等于流量总需求。
具体的，泵站供水系统包括多个变频泵和多个工频泵；变频泵的调控动作包括调低转速、转速保持不变和调高转速；工频泵的调控动作包括开启和关闭。
实施例三
本发明实施例三提供了一种存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一的泵站供水系统节能调度方法。
上述电子设备可以是服务器。
实施例四
本发明实施例四提供了一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的泵站供水系统节能调度方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种泵站供水系统节能调度方法，其特征在于，所述方法包括：
步骤S1：获取不同的用水需求；所述用水需求包括流量总需求和扬程需求；
步骤S2：构建DQN模型；
步骤S3：针对每一所述用水需求，将所述用水需求输入所述DQN模型中，利用所述DQN模型将所述流量总需求随机分配给泵站供水系统中各个泵，得到所述用水需求对应的状态空间；
步骤S4：利用所述DQN模型得到所述状态空间对应的多种动作组合的效率；所述动作组合包括针对所述泵站供水系统中各个泵的调控动作；
步骤S5：按所述状态空间对应的效率最高的动作组合对所述泵站供水系统中各个泵的流量进行调控，得到所述泵站供水系统中各个泵调控后的流量；
步骤S6：判断各个泵调控后的流量中各非零流量是否均在所述非零流量对应的泵的设定流量区间内；所述设定流量区间为泵的高效段对应的流量区间；
若步骤S6的输出结果为否，则执行步骤S7：以各个泵调控后的流量更新所述状态空间中各个泵的流量，返回步骤S4，直至步骤S6的输出结果为是；
若步骤S6的输出结果为是，则执行步骤S8：记录所述状态空间对应的效率最高的动作组合为所述用水需求对应的最佳动作组合；
步骤S9：利用不同的所述用水需求以及所述用水需求对应的最佳动作组合，构建训练数据集；
步骤S10：利用所述训练数据集训练和优化所述DQN模型，得到优化后的DQN模型；
步骤S11：将实际的用水需求输入所述优化后的DQN模型中，得到所述实际的用水需求对应的最佳动作组合；
步骤S12：按所述实际的用水需求对应的最佳动作组合对所述泵站供水系统进行节能调度；所述节能调度包括按所述实际的用水需求对应的最佳动作组合对所述泵站供水系统中各个泵的流量进行调控。
2.根据权利要求1所述的泵站供水系统节能调度方法，其特征在于，所述状态空间包括所述泵站供水系统中各个泵的流量和所述扬程需求；所述泵站供水系统中各个泵的流量之和等于所述流量总需求。
3.根据权利要求1所述的泵站供水系统节能调度方法，其特征在于，所述泵站供水系统包括多个变频泵和多个工频泵；所述变频泵的调控动作包括调低转速、转速保持不变和调高转速；所述工频泵的调控动作包括开启和关闭。
4.一种泵站供水系统节能调度系统，其特征在于，所述系统包括：
用水需求获取模块，用于获取不同的用水需求；所述用水需求包括流量总需求和扬程需求；
模型构建模块，用于构建DQN模型；
状态空间得到模块，用于针对每一所述用水需求，将所述用水需求输入所述DQN模型中，利用所述DQN模型将所述流量总需求随机分配给泵站供水系统中各个泵，得到所述用水需求对应的状态空间；
多种动作组合的效率得到模块，用于利用所述DQN模型得到所述状态空间对应的多种动作组合的效率；所述动作组合包括针对所述泵站供水系统中各个泵的调控动作；
泵的流量调控模块，用于按所述状态空间对应的效率最高的动作组合对所述泵站供水系统中各个泵的流量进行调控，得到所述泵站供水系统中各个泵调控后的流量；
判断模块，用于判断各个泵调控后的流量中各非零流量是否均在所述非零流量对应的泵的设定流量区间内；所述设定流量区间为泵的高效段对应的流量区间；
流量更新模块，用于当所述判断模块的输出结果为否时，以各个泵调控后的流量更新所述状态空间中各个泵的流量，返回所述多种动作组合的效率得到模块，直至所述判断模块的输出结果为是；
最佳动作组合记录模块，用于当所述判断模块的输出结果为是时，记录所述状态空间对应的效率最高的动作组合为所述用水需求对应的最佳动作组合；
训练数据集构建模块，用于利用不同的所述用水需求以及所述用水需求对应的最佳动作组合，构建训练数据集；
模型训练和优化模块，用于利用所述训练数据集训练和优化所述DQN模型，得到优化后的DQN模型；
最佳动作组合得到模块，用于将实际的用水需求输入所述优化后的DQN模型中，得到所述实际的用水需求对应的最佳动作组合；
泵站供水系统节能调度模块，用于按所述实际的用水需求对应的最佳动作组合对所述泵站供水系统进行节能调度；所述节能调度包括按所述实际的用水需求对应的最佳动作组合对所述泵站供水系统中各个泵的流量进行调控。
5.根据权利要求4所述的泵站供水系统节能调度系统，其特征在于，所述状态空间包括所述泵站供水系统中各个泵的流量和所述扬程需求；所述泵站供水系统中各个泵的流量之和等于所述流量总需求。
6.根据权利要求4所述的泵站供水系统节能调度系统，其特征在于，所述泵站供水系统包括多个变频泵和多个工频泵；所述变频泵的调控动作包括调低转速、转速保持不变和调高转速；所述工频泵的调控动作包括开启和关闭。
7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1-3中任一项所述的泵站供水系统节能调度方法。
8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-3中任一项所述的泵站供水系统节能调度方法。
CN202211211325.5A 2022-09-30 2022-09-30 泵站供水系统节能调度方法、系统、电子设备及存储介质 Pending CN115526504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211211325.5A CN115526504A (zh) 2022-09-30 2022-09-30 泵站供水系统节能调度方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211211325.5A CN115526504A (zh) 2022-09-30 2022-09-30 泵站供水系统节能调度方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115526504A true CN115526504A (zh) 2022-12-27

Family

ID=84701177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211211325.5A Pending CN115526504A (zh) 2022-09-30 2022-09-30 泵站供水系统节能调度方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115526504A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117588394A (zh) * 2024-01-18 2024-02-23 华土木(厦门)科技有限公司 基于AIoT的真空泵智能联动控制方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117588394A (zh) * 2024-01-18 2024-02-23 华土木(厦门)科技有限公司 基于AIoT的真空泵智能联动控制方法及系统
CN117588394B (zh) * 2024-01-18 2024-04-05 华土木(厦门)科技有限公司 基于AIoT的真空泵智能联动控制方法及系统

Similar Documents

Publication Publication Date Title
Li et al. Coordinated load frequency control of multi-area integrated energy system using multi-agent deep reinforcement learning
CN107292766B (zh) 面向风电消纳的电力系统调峰手段经济性评估方法与系统
CN111242443B (zh) 基于深度强化学习的能源互联网中虚拟电厂经济调度方法
CN103683337B (zh) 一种互联电网cps指令动态分配优化方法
CN114322208B (zh) 基于深度强化学习的智能园区空调负荷调控方法和系统
CN114623569B (zh) 一种基于深度强化学习的集群空调负荷差异化调控方法
CN102734890A (zh) 中央空调冷冻水的模糊控制方法、装置及中央空调系统
CN115526504A (zh) 泵站供水系统节能调度方法、系统、电子设备及存储介质
CN115207977A (zh) 一种有源配电网深度强化学习实时调度方法及系统
CN115544899A (zh) 基于多智能体深度强化学习的水厂取水泵站节能调度方法
CN110535142B (zh) 基于改进离散型pso算法的用电智能控制方法及计算机可读存储介质
CN115345380A (zh) 一种基于人工智能的新能源消纳电力调度方法
CN113852080A (zh) 一种智能电网的潮流优化方法、系统、设备及存储介质
CN110808579A (zh) 主动配电网源网荷协调运行方法
CN116227883A (zh) 一种基于深度强化学习的智能家庭能量管理系统预测决策一体化调度方法
CN113435042B (zh) 一种建筑空调系统需求响应的强化学习建模方法
CN114841595A (zh) 一种基于深度强化算法的水电站厂内实时优化调度方法
CN114123175A (zh) 考虑广义需求侧资源联盟特性的配电网分布式控制方法
CN118066651B (zh) 一种基于人工智能的智慧园区空气调节方法及系统
Xin et al. Genetic based fuzzy Q-learning energy management for smart grid
CN111275572A (zh) 一种基于粒子群和深度强化学习的机组调度系统及方法
CN112665159B (zh) 基于需求响应的负荷反弹量优化、负荷调节方法及系统
Nan et al. Research on Demand Response Strategy of HVAC Based on Deep Reinforcement Learning
CN117190405A (zh) 一种基于强化学习的除湿机组系统的节能优化控制方法
CN117277301A (zh) 一种多电能路由器系统能量调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination