CN114942596B - 一种城市防洪排水智能控制系统 - Google Patents
一种城市防洪排水智能控制系统 Download PDFInfo
- Publication number
- CN114942596B CN114942596B CN202210881230.8A CN202210881230A CN114942596B CN 114942596 B CN114942596 B CN 114942596B CN 202210881230 A CN202210881230 A CN 202210881230A CN 114942596 B CN114942596 B CN 114942596B
- Authority
- CN
- China
- Prior art keywords
- catchment area
- acquiring
- catchment
- drainage
- agent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003795 chemical substances by application Substances 0.000 claims abstract description 102
- 239000013598 vector Substances 0.000 claims abstract description 89
- 239000013257 coordination network Substances 0.000 claims abstract description 36
- 230000009471 action Effects 0.000 claims abstract description 29
- 238000011156 evaluation Methods 0.000 claims abstract description 26
- 238000010586 diagram Methods 0.000 claims abstract description 22
- 230000001105 regulatory effect Effects 0.000 claims abstract description 21
- 230000002787 reinforcement Effects 0.000 claims abstract description 14
- 230000001276 controlling effect Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 45
- 238000000034 method Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000001556 precipitation Methods 0.000 claims description 14
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 230000008020 evaporation Effects 0.000 claims description 4
- 238000001704 evaporation Methods 0.000 claims description 4
- 230000035699 permeability Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 46
- 230000008859 change Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012876 topography Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000009916 joint effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000002352 surface water Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003673 groundwater Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Sewage (AREA)
Abstract
本发明涉及城市排水技术领域，具体涉及一种城市防洪排水智能控制系统，该系统包括：数据获取模块，用于构建城市的排水系统模型，获取管网分布图；数据处理模块，用于获取管网分布图上各汇水区的第一、第二和第三特征，并获取状态向量和排水程度评价值；智能调控模块，用于构建强化学习模型，通过环境获取设定时间段内的状态向量、动作信息以及局部奖励构成智能体的向量串，并获取全局奖励；将所述向量串、全局奖励和排水程度评价值输入中心协调网络输出调控向量；将调控向量与智能体的状态向量拼接后输入各智能体得到智能体在下一设定时间段对应的动作信息，根据所述动作信息对调节参数进行控制调节。本发明能够实时调控排水系统，精确度较高。
Description
技术领域
本发明涉及城市排水技术领域，具体涉及一种城市防洪排水智能控制系统。
背景技术
城市内涝和洪水危机会给人们带来极大的生命和财产损失，由于现代的城市路面几乎全是硬质下垫面，加上全球变暖等因素，导致极端降雨事件不可避免，我们需要加强城市防洪排水系统的建设。目前主流的解决方案有两大类，一是扩建排水管道，二是水文专家们控制排水系统，对雨水进行合理的引流调度。
由于城市的地下建筑，地铁等地下设施的存在，扩建排水管道工程量巨大，且原有的管道难以更改。另一方面，由水文专家实时检测降水情况难以搜集和处理整个城市的信息，且延迟比较大，受主观因素影响较大，准确率也有待提高。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种城市防洪排水智能控制系统，所采用的技术方案具体如下：
数据获取模块，用于根据城市信息构建排水系统模型，获取城市管网数据和地形图并构建管网分布图；所述管网分布图包括汇水区以及每个汇水区与主管道之间的可调节对象；根据可调节对象中阀门的开合度和调控水泵的功率得到调节参数；
数据处理模块，用于获取管网分布图上每个汇水区包含的建筑类型标签，根据所述建筑类型标签获取汇水区的第一特征值；根据每个汇水区的溢流量获取汇水区的第二特征值；对每个汇水区进行径流演算获取汇水区的第三特征值；将各汇水区在设定时间段内的第一、第二和第三特征值构成汇水区的状态向量；根据相邻两个汇水区的高度信息计算排水程度评价值；
智能调控模块，用于构建强化学习模型，该模型以排水系统模型为环境，以可调节对象的控制系统为智能体，包括中心协调网络；通过环境获取设定时间段内的状态向量、动作信息以及局部奖励构成智能体的向量串，并获取设定时间段内汇水区的降水量构建全局奖励；将所述向量串、全局奖励和排水程度评价值输入中心协调网络输出调控向量；将调控向量与智能体的状态向量拼接后输入各智能体得到智能体在下一设定时间段对应的动作信息，根据所述动作信息对调节参数进行控制调节。
优选地，所述将所述向量串、全局奖励和排水程度评价值输入中心协调网络输出调控向量具体为：
将向量串、全局奖励和排水程度评价值输入中心协调网络，利用向量串和排水程度评价值获取中心协调网络聚合层对向量串进行聚合的权重，根据所述权重和向量串通过中心协调网络得到各智能体对应的调控向量；
其中，所述权重具体为：
其中，
表示智能体a对应的权重，
为激活函数，
表示智能体a的向量串，
表示智能体b的向量串，
为通过中心协调网络中获取的线性变化矩阵，
为通过中心协调网络中获取的差异性向量，
表示汇水区b对应的智能体b向汇水区a对应的智能体a排水的排水程度评价值，
表示智能体b对应的局部奖励，U表示所有与智能体a对应的汇水区相邻的智能体对应的汇水区的集合，
和
表示权重系数，
表示向量拼接操作。
优选地，所述第一特征值的获取方法具体为：
根据城市规划图获取管网分布图上每个汇水区包含的建筑类型，人为的为各种建筑类型进行标注得到建筑类型标签，对建筑类型标签进行加权求和得到汇水区的建筑类型特征值；获取中心地铁站的地理坐标在管网分布图上的对应位置为城市中心点，获取每个汇水区的最小外接圆的圆心，根据各汇水区对应的圆心到城市中心点的距离得到汇水区的距离特征值；所述建筑类型特征值和距离特征值构成汇水区的第一特征值。
优选地，所述第三特征值的获取方法具体为：
获取一个设定时间段的时间长度作为演算时间，并获取汇水区的降雨强度、雨水渗透率以及蒸发率，对每个汇水区进行径流演算得到径流预测值，所述径流预测值为汇水区的第三特征值。
优选地，所述根据相邻两个汇水区的高度信息计算排水程度评价值具体为：
从地形图中分割出相邻两个汇水区的高度图像，并对其进行灰度化处理得到高度灰度图像，将两个汇水区相接的边界两个端点用直线相连，再将该直线旋转至与水平方向夹角为45度的方向得到地表流向地形图；计算所述地表流向地形图的灰度共生矩阵，进而计算灰度共生矩阵的能量和对比度，根据所述能量和对比度的比值得到流水阻力；获取这两个汇水区内所有建筑地表的平均高度，根据两个汇水区的平均高度之差、以及流水阻力得到排水程度评价值。
优选地，所述全局奖励的获取方法具体为：获取并根据雨水重现期和汇水区的总数量确定基线值，根据基线值和设定时间段内城市降水量计算全局奖励。
优选地，所述局部奖励的获取方法具体为：
获取汇水区的降水量，并根据降水量计算汇水区的雨水溢出量，获取城市在设定时间段内的雨水重现期，计算局部奖励用公式表示为：
其中，
表示智能体a对应的局部奖励，
表示智能体a对应的局部基线值，
表示智能体a对应的汇水区a的雨水溢出量，
表示智能体a对应的汇水区a的第二特征值，
表示当前设定时间段内的雨水重现期，
为权重系数。
优选地，所述智能体具体为深度Q网络。
优选地，所述智能体在下一设定时间段对应的动作信息具体为：智能体在下一设定时间段对应的对可调节对象的调节动作信息。
本发明实施例至少具有如下有益效果：
本发明通过构建排水系统模型以获取训练强化学习模型需要的相关数据，并在强化学习模型中增加了中心协调网络，通过结合每个汇水区的建筑类型、雨水的溢流量和径流流量来获取各汇水区的状态，并利用中心协调网络聚合与各汇水区相邻的汇水区的状态，进行全局监控，以每个汇水区的可调节对象的调控系统为智能体，共同协作，以达到实时控制城市的排水系统的目的，且根据雨水的重现期构建奖励函数达到全局最优的情况。本发明能够及时的根据城市的降水等情况进行调控城市的排水系统，考虑了多方面的因素，使得调控结果较为精确，能够有效防止城市的洪水灾害，保障了城市的安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明的一种城市防洪排水智能控制系统的系统框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种城市防洪排水智能控制系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
实施例：
下面结合附图具体的说明本发明所提供的一种城市防洪排水智能控制系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种城市防洪排水智能控制系统的系统框图，该系统包括：
数据获取模块，用于根据城市信息构建排水系统模型，获取城市管网数据和地形图并构建管网分布图；所述管网分布图包括汇水区以及每个汇水区与主管道之间的可调节对象；根据可调节对象中阀门的开合度和调控水泵的功率得到调节参数。
具体地，利用山脉科技（SUMMIT）的水文产品获取相关数据，并根据城市信息结合SWMM模型构建城市的排水系统模型，用来模拟城市的排水系统运行情况。其中，SWMM模型为公知技术，在此只做简单的介绍。SWMM模型能够在虚拟环境中仿真模拟城市径流和地下排水系统，在1971年由美国环境保护局开发。在本实施例中，使用5.1版本的SWMM模型软件进行模拟，在SWMM模型中根据芝加哥模型得到各种降雨时间序列，用以在计算机中模拟真实的城市降雨情况。
通过官方的气象网站和地理网站获取城市管网数据和地形图，利用数字高程图自动划分法，根据地形高低自动划分每一个雨水下水口的汇水区。其中，高程图自动划分法为公知技术，常用于水文分析，例如汇水区分析。根据所有汇水区构建管网分布图，且每个汇水区的总管道均与城市的主管道相连，然后流向自然界，自然界的水系可以看作一个容量无限大的大型蓄水池。需要说明的是，管网分布图中相连的两个汇水区互为相邻的汇水区。
在每个汇水区的总管道与主管道之间设有可调节对象，可调节对象包括调节阀和调控水泵。主管道有着预设的倾斜角，一般是由中心城区至外环城区向下倾斜，保证雨水能够流向自然界，调节阀的阀门也有着预设的角度以控制水流流向，但可以通过调控水泵来逆转流向，所以一个调节阀两端的汇水区的流向是可以人为控制的。当一个汇水区向主管道的排水量变小了，周围的排水区的下水管道受到的阻力就会变小，排水速度就会加快。
根据可调节对象中调节阀阀门的开合度和调控水泵的功率得到调节参数。由于会存在城市的主管道比汇水区的总管道高的情况，要想实现汇水区内的水经总管道流向城市主管道，则需要通过调控水泵来运送。因此可以通过控制调节阀阀门的开合度改变量，以及调控水泵功率的改变量，达到控制城市地下水流向的目的。
数据处理模块，用于获取管网分布图上每个汇水区包含的建筑类型标签，根据所述建筑类型标签获取汇水区的第一特征值；根据每个汇水区的溢流量获取汇水区的第二特征值；对每个汇水区进行径流演算获取汇水区的第三特征值；将各汇水区在设定时间段内的第一、第二和第三特征值构成汇水区的状态向量；根据相邻两个汇水区的高度信息计算排水程度评价值。
首先，根据城市规划图获取管网分布图上每个汇水区包含的建筑类型，人为的为各种建筑类型进行标注得到建筑类型标签，对建筑类型标签进行加权求和得到汇水区的建筑类型特征值；获取中心地铁站的地理坐标在管网分布图上的对应位置为城市中心点，获取每个汇水区的最小外接圆的圆心，根据各汇水区对应的圆心到城市中心点的距离得到汇水区的距离特征值；所述建筑类型特征值和距离特征值构成汇水区的第一特征值。
具体地，根据城市规划图，获取管网分布图上每个汇水区内包含的建筑类型，在本实施例中，每个汇水区内包含的建筑类型包括交通枢纽、下沉建筑、住宅区、商业区、工业区、绿化区域、地表水系和城市外环。用数字代码人为的为每种建筑类型进行标注得到建筑类型标签，并且将其按照重要程度分配不同大小的数字。即将建筑类型标签按照重要程度排序可表示为交通枢纽
、下沉建筑
、住宅区
、商业区
、工业区
、绿化区域
、地表水系
和城市外环
。同时，获取汇水区中每种建筑类型的面积占该汇水区总面积的比值，利用所述比值与建筑类型标签进行加权求和得到建筑类型特征值，用公式表示为：
其中，Ds表示汇水区的建筑类型特征值，
表示第i个建筑类型的面积占该汇水区总面积的比值，
表示第i个建筑类型对应的建筑类型标签。
根据城市规划图获取城市中心地铁站的地理坐标，根据其地理坐标获取城市中心地铁站在管网分布图上的对应位置，将该位置设置为城市中心点，并以城市中心点为坐标原点构建直角坐标系。获取每个汇水区的最小外接圆的圆心坐标，根据所述圆心坐标与城市中心点的坐标计算各汇水区最小外接圆的圆心到城市中心点的距离，得到汇水区的距离特征值。综合汇水区的建筑类型特征值和距离特征值得到汇水区的第一特征值，记为
，其中Ds表示汇水区的建筑类型特征值，d表示汇水区的距离特征值。
然后，根据每个汇水区的溢流量获取汇水区的第二特征值。在本实施例中，获取汇水区内每个建筑类型区域的雨水的溢流量上限值，将其中最低的溢流量上限值作为该汇水区的溢流量上限值，则该汇水区的溢流量上限值即为汇水区的第二特征值。需要说明的是，在一个汇水区内包含的不同建筑类型区域内的溢流量上限也是不同的，为了最大限度的保护重要的区域，将汇水区内包含的建筑类型区域的最低的溢流量上限作为汇水区的溢流量上限。
进一步的，获取一个设定时间段的时间长度作为演算时间，并获取汇水区的降雨强度、雨水渗透率以及蒸发率，对每个汇水区进行径流演算得到径流预测值，所述径流预测值为汇水区的第三特征值。
具体地，在设定时间段内对每一个汇水区进行监测，在本实施例中设定时间段的取值为一个小时，实施者也可根据实际情况进行设置。进而对每个汇水区进行径流演算，径流计算公式为：
其中，Z表示径流预测值，j为汇水区的降雨强度，单位为mm/h，f为汇水区的雨水渗透率，单位为mm/h，其取值与土壤性质相关。
为演算时间，在本实施例中以一个设定时间段的时间长度作为演算时间，e为汇水区的雨水蒸发量。将径流预测值作为汇水区的第三特征值。
需要说明的是，径流计算公式是基于水文学获取的，为公知技术，在此不再过多赘述。在后续实际使用的过程中，可以采用山脉科技研发的SUMMIT-W4000型一体化雨量遥测装置获取降雨强度数值，其他数据可以从当地的气象或地质网站获取。
综合汇水区在设定时间段内的第一、第二和第三特征值得到汇水区的状态向量，即
，其中，X为第一特征值，Y为第二特征值，Z为第三特征值，所述状态向量可以表示汇水区在一个设定时间段内的状态。
最后，从地形图中分割出相邻两个汇水区的高度图像，并对其进行灰度化处理得到高度灰度图像，将两个汇水区相接的边界两个端点用直线相连，再将该直线旋转至与水平方向夹角为45度的方向得到地表流向地形图；计算所述地表流向地形图的灰度共生矩阵，进而计算灰度共生矩阵的能量和对比度，根据所述能量和对比度的比值得到流水阻力；获取这两个汇水区内所有建筑地表的平均高度，根据两个汇水区的平均高度之差、以及流水阻力得到排水程度评价值。
具体地，针对两个相邻的汇水区，在地形图中将汇水区a和与它相邻的一个汇水区b分割出来，得到只包含这两个相邻的汇水区的高度图像，并对高度图像进行灰度化处理得到高度灰度图像，即将高度图像中高度的取值投影到[0,255]区间内，从而转化为灰度图像。
由于汇水区a和汇水区b为相邻的区域，则在高度灰度图像中，汇水区a和汇水区b存在相接壤的边界，获取边界上的两个端点，并将两个端点用直线连接，然后旋转高度灰度图像使得该直线与水平方向的夹角为45度，得到地表流向地形图。
计算所述地表流向地形图的灰度共生矩阵，进而计算灰度共生矩阵的能量和对比度，根据所述能量和对比度的比值得到流水阻力，用公式表示为：
其中，
表示汇水区a和汇水区b对应的流水阻力，ASM为灰度共生矩阵的能量，CON为灰度共生矩阵的对比度，
和
为权重系数，实施者可根据实际情况进行设置。
能量ASM是灰度共生矩阵中每个元素的平方和，反应了各种地形起伏的分布均匀程度，如果地势越不平坦，那么能量ASM的值越大，水流越难移动到另一个汇水区。对比度CON反应灰度共生矩阵的对角线上元素的变化，反应了对角线两端元素值的变化，对角线上的元素值变化越大，对比度CON越小。如果两个汇水区接壤的部分地势越高，对比度CON越小，水流越难跨过接壤地区移动到另一个汇水区，更容易移动到其他汇水区。
获取两个相邻的汇水区内包含的所有建筑类型区域的高度的平均值得到汇水区的平均高度，根据两个汇水区的平均高度之差、以及流水阻力得到排水程度评价值，用公式表示为：
其中，
表示汇水区b向汇水区a排水的排水程度评价值，
和
分别为汇水区a和汇水区b的平均高度，
表示汇水区a和汇水区b对应的流水阻力，
为权重系数，实施者可根据实际情况进行设置。
因为城市的地势一般较为平坦，一个汇水区内的地形很难有较大的起伏，地势越低，越容易积水。当地表的溢流量大于一定的程度时，汇水区之间的地表水和地下浅层水和地下连同管道内的水会跨区域流动。
如果一个汇水区的周围全是比它地势更高的汇水区，那么与其相邻的汇水区的雨水会经由地表流向该汇水区，因此它需要加大泄洪力度；如果一个汇水区的周围全是比它地势更低的汇水区，同理，它可能需要减少泄洪力度，更复杂的情况则通过后续强化学习模型结合全局信息进行控制。
智能调控模块，用于构建强化学习模型，该模型以排水系统模型为环境，以可调节对象的控制系统为智能体，包括中心协调网络；通过环境获取设定时间段内的状态向量、动作信息以及局部奖励构成智能体的向量串，并获取设定时间段内汇水区的降水量构建全局奖励；将所述向量串、全局奖励和排水程度评价值输入中心协调网络输出调控向量；将调控向量与智能体的状态向量拼接后输入各智能体得到智能体在下一设定时间段对应的动作信息，根据所述动作信息对调节参数进行控制调节。
首先，构建强化学习模型，该模型以排水系统模型为环境，以可调节对象中调节阀和调控水泵的控制系统为智能体，具体为一种深度Q网络，包括中心协调网络，所述中心协调网络的深度网络类型在本实施例中为全连接神经网络。
在本实施例中，利用基于DQN的强化学习算法构建强化学习模型，主体包括智能体和环境。强化学习模型的核心思想在于训练多个智能体，使它们在与环境的交互过程中不断学习，最终获得能够达到最优效果的中心协调网络，以及多个智能体的深度Q网络。
通过中心协调网络的设计，对排水管道信息进行集中收集分发，对通信次数和复杂度进行有效控制，以使算法更好的缓解环境非平稳造成的多智能体策略不协调的问题。算法的网络模型顶层是中心协调网络，底层是每一个智能体的深度Q网络，通过这种通信学习的方法，智能体之间通过显式的通信来沟通各自的当前状态和策略产生的对应的动作信息，可以减少由马尔科夫决策过程和非平稳环境引起的问题，使智能体的联合动作更协调。其中，智能体的联合动作为每个智能体的动作的集合。
需要说明的是，通过环境观测获取当前设定时间段内智能体的状态，但是不直接输入智能体的深度Q网络中，而是由中心协调网络统一处理，经中心协调网络处理后为每个智能体下发调控向量，智能体获取到调控向量后与其状态向量进行拼接后输入深度Q网络中，最终得到该智能体在下一个设定时间段内应该执行的动作对应的动作信息。按照该动作信息对可调节对象进行调控后会引发智能体对应的新的状态，并得到环境给予的全局奖励。全局奖励最终也由中心协调网络直接获取，每一个智能体对应的局部奖励最终包含在调控向量中。奖励值能够指示整个强化学习模型的优化方向，在本实施例中具体使用的优化算法为时间差分算法，实施者也可根据实际情况进行选择。
根据获得的新的状态，即可进入下一时段的循环。由上一设定时间段的状态至当前设定时间段的状态的改变是一个未知的马尔科夫过程，因此需要通过学习到一个策略模型来应对状态的变化。为了避免延迟和没有考虑到全局信息就进行决策的问题，在本实施例中使用当前一个设定时间段内的相关信息作为聚合对象。
即通过环境获取当前一个设定时间段内各智能体对应的状态向量、动作信息和局部奖励，构成智能体的向量串。其中，由于智能体为可调节对象中调节阀和调控水泵的控制系统，同时，每个汇水区对应一个可调节对象，进而可知一个智能体对应一个汇水区。
其中，所述动作信息指的是对各智能体对应的可调节对象的调节动作信息，例如具体为可调节对象中的调节阀阀门为全开，可调节对象中的调控水泵给予正向的排水压力。
所述局部奖励的获取方法具体为：
获取各汇水区的监测降水量，根据该降水量计算汇水区的雨水溢出量，具体计算方法为公知技术。其中，降水量的实际数据可以使用山脉科技研发的SMT-RW100型雷达水位计实时监测水位。
获取城市的雨水重现期，根据雨水的重现期构建不同的基线，从而产生不同的奖励函数。雨水的重现期指的是在一定的统计期内，等于或大于某统计对象出现一次的平均间隔时间，重现期越大的雨的降水量越大，例如重现期为100年的大雨也称“百年一遇的大雨”。
同时，为了避免奖励值正负值数量失衡，添加基线值，基线值与雨水重现期的值相关，雨水重现期的取值越大，基线值越大，甚至大于积水限度。
具体地，计算局部奖励用公式表示为：
其中，
表示智能体a对应的局部奖励，
表示智能体a对应的局部基线值，
表示智能体a对应的汇水区a的雨水溢出量，
表示智能体a对应的汇水区的溢流量上限值即汇水区a的第二特征值，
表示当前设定时间段内的雨水重现期，
为权重系数，经验取值为
，实施者也可根据实际情况进行选择。
需要说明的是，在本实施例中采用的是一种中心化决策，去中心化执行的方式。从环境中得到的奖励只反馈给中心协调网络，再通过中心协调网络反馈给智能体。而普通的强化学习，智能体的奖励由环境获取，同时智能体可以与环境进行交互。
然后，获取并根据雨水重现期和汇水区的总数量确定基线值，根据基线值和设定时间段内城市降水量计算全局奖励。
具体地，获取汇水区对应的可调节对象中调节阀阀门的数量，该数量取值越小，执行成功的可能性越高，消耗的成本越低，并且可以增强模型的鲁棒性。计算全局奖励用公式表示为：
其中，R表示全局奖励，
表示全局基线值，
表示智能体a对应的汇水区a的雨水溢出量，
表示所有汇水区对应的可调节对象中调节阀阀门的总数量，N表示汇水区的总数量，
表示智能体a对应的汇水区的溢流量上限值即汇水区a的第二特征值，
表示当前设定时间段内的雨水重现期。
将向量串、全局奖励和排水程度评价值输入中心协调网络，利用向量串和排水程度评价值获取中心协调网络聚合层对向量串进行聚合的权重，根据所述权重和向量串通过中心协调网络各智能体对应的调控向量；
其中，所述权重具体为：
其中，
表示智能体a对应的权重，
为激活函数，
表示智能体a的向量串，
表示智能体b的向量串，
表示汇水区b对应的智能体b向汇水区a对应的智能体a排水的排水程度评价值，
表示智能体b对应的局部奖励，U表示所有与智能体a对应的汇水区a相邻的智能体对应的汇水区的集合，
表示向量拼接操作。
越是差异较大的两个相邻的汇水区，越是需要给予更大的关注。因为相邻的两个汇水区只有具有差异性，才有可调控的空间，若两个汇水区的情况是十分相似的，在实际中不需要通过调控一个区域来影响另一个区域。对于与汇水区a相邻的汇水区b来说，汇水区b对应的局部奖励的取值越高，说明汇水区b对应的动作是有益的，在下一时间段需要对其进行改变的可能性就越小，权重
的取值就越小，因此给予较低的关注度。
进一步的，对各个智能体的信息进行聚合得到局部信息向量，用公式表示为：
其中，
表示智能体a对应的局部信息向量，
表示智能体a对应的权重，
表示智能体b的向量串，U表示所有与智能体a相邻的智能体的集合。
将各智能体对应的局部信息向量经过中心协调网络的全连接层，得到每个智能体的调控向量，将每个智能体的调控向量与智能体对应的汇水区在当前设定时间段内的状态向量进行拼接操作后，输入各自智能体对应的深度Q网络中，得到下一设定时间段内的动作信息。
最后，根据下一设定时间段内的动作信息对调节参数进行控制调节可调节对象中的调节阀和调控水泵，实现智能控制。
具体地，在本实施例中，最理想的情况是靠近中心城区的各个汇水区的径流流量相似，则减少其地表的水流动。靠近郊区的各个汇水区的径流流量偏高，则可利用非硬化的下垫面吸收雨水。
例如，针对一个包含大部分居民区的汇水区，当该汇水区在一个设定时间段内的状态显示径流流量较大，利用中心协调网络进行聚合，感知该汇水区周围相邻的汇水区的地势均比该汇水区的地势高，而且周围相邻的各个汇水区的地势较为平缓。则下一时间段该汇水区很有可能出现排水不及时而导致地面积水过多，可能会带来巨大的社会损失。那么该汇水区的调控向量偏向于将动作设置为全面开放排水，根据该汇水区对应的智能体的调控向量和状态向量得到的动作信息，并根据所述动作信息对调节参数进行控制调节具体为：将该汇水区的可调节对象中的调节阀阀门的开合度调节至全开，调控水泵给予正向的排水压力，以促进排水。对于该汇水区周围相邻的汇水区的调控向量偏向于减少排水量，为了给该汇水区让出城市主管道的排水空间，以此来保护该汇水区，达到智能控制的目的。
需要说明的是，在本实施例中分别采用雨水重现期为5年至100年的降雨模型，利用数据获取模块获取10万次数据，对强化学习模型进行训练，最终获得能够根据一个设定时间段内的降雨量预测情况和各个汇水区的属性进行控制调节的智能体，即其内在的深度Q网络。
在训练初期，可以通过人工启动该模型，根据当前的状态，人为的做出决策，并给予较低的且取值为正值的局部奖励和全局奖励，以满足初始时间段的中心协调网络的输入。在对模型进行训练时采用的相关数据是基于排水系统模型进行获取的，在实际使用时需要的相关数据可以根据实际情况进行获取，例如可以利用山脉科技的相关产品获取实际的数据，得到实时的控制参数，以防止城市发生洪水等自然灾害。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (8)
1.一种城市防洪排水智能控制系统，其特征在于，该系统包括：
数据获取模块，用于根据城市信息构建排水系统模型，获取城市管网数据和地形图并构建管网分布图；所述管网分布图包括汇水区以及每个汇水区与主管道之间的可调节对象；根据可调节对象中阀门的开合度和调控水泵的功率得到调节参数；
数据处理模块，用于获取管网分布图上每个汇水区包含的建筑类型标签，根据所述建筑类型标签获取汇水区的第一特征值；根据每个汇水区的溢流量获取汇水区的第二特征值；对每个汇水区进行径流演算获取汇水区的第三特征值；将各汇水区在设定时间段内的第一、第二和第三特征值构成汇水区的状态向量；根据相邻两个汇水区的高度信息计算排水程度评价值，具体为：从地形图中分割出相邻两个汇水区的高度图像，并对其进行灰度化处理得到高度灰度图像，将两个汇水区相接的边界两个端点用直线相连，再将该直线旋转至与水平方向夹角为45度的方向得到地表流向地形图；计算所述地表流向地形图的灰度共生矩阵，进而计算灰度共生矩阵的能量和对比度，根据所述能量和对比度的比值得到流水阻力；获取这两个汇水区内所有建筑地表的平均高度，根据两个汇水区的平均高度之差、以及流水阻力得到排水程度评价值；
智能调控模块，用于构建强化学习模型，该模型以排水系统模型为环境，以可调节对象的控制系统为智能体，包括中心协调网络；通过环境获取设定时间段内的状态向量、动作信息以及局部奖励构成智能体的向量串，并获取设定时间段内汇水区的降水量构建全局奖励；将所述向量串、全局奖励和排水程度评价值输入中心协调网络输出调控向量；将调控向量与智能体的状态向量拼接后输入各智能体得到智能体在下一设定时间段对应的动作信息，根据所述动作信息对调节参数进行控制调节。
2.根据权利要求1所述的一种城市防洪排水智能控制系统，其特征在于，所述将所述向量串、全局奖励和排水程度评价值输入中心协调网络输出调控向量具体为：
将向量串、全局奖励和排水程度评价值输入中心协调网络，利用向量串和排水程度评价值获取中心协调网络聚合层对向量串进行聚合的权重，根据所述权重和向量串通过中心协调网络得到各智能体对应的调控向量；
其中，所述权重具体为：
其中，
表示智能体a对应的权重，
为激活函数，
表示智能体a的向量串，
表示智能体b的向量串，
为通过中心协调网络中获取的线性变化矩阵，
为通过中心协调网络中获取的差异性向量，
表示汇水区b对应的智能体b向汇水区a对应的智能体a排水的排水程度评价值，
表示智能体b对应的局部奖励，U表示所有与智能体a对应的汇水区相邻的智能体对应的汇水区的集合，
和
表示权重系数，
表示向量拼接操作。
3.根据权利要求1所述的一种城市防洪排水智能控制系统，其特征在于，所述第一特征值的获取方法具体为：
根据城市规划图获取管网分布图上每个汇水区包含的建筑类型，人为的为各种建筑类型进行标注得到建筑类型标签，对建筑类型标签进行加权求和得到汇水区的建筑类型特征值；获取中心地铁站的地理坐标在管网分布图上的对应位置为城市中心点，获取每个汇水区的最小外接圆的圆心，根据各汇水区对应的圆心到城市中心点的距离得到汇水区的距离特征值；所述建筑类型特征值和距离特征值构成汇水区的第一特征值。
4.根据权利要求1所述的一种城市防洪排水智能控制系统，其特征在于，所述第三特征值的获取方法具体为：
获取一个设定时间段的时间长度作为演算时间，并获取汇水区的降雨强度、雨水渗透率以及蒸发率，对每个汇水区进行径流演算得到径流预测值，所述径流预测值为汇水区的第三特征值。
5.根据权利要求1所述的一种城市防洪排水智能控制系统，其特征在于，所述全局奖励的获取方法具体为：
获取并根据雨水重现期和汇水区的总数量确定基线值，根据基线值和设定时间段内城市降水量计算全局奖励。
6.根据权利要求1所述的一种城市防洪排水智能控制系统，其特征在于，所述局部奖励的获取方法具体为：
获取汇水区的降水量，并根据降水量计算汇水区的雨水溢出量，获取城市在设定时间段内的雨水重现期，计算局部奖励用公式表示为：
其中，
表示智能体a对应的局部奖励，
表示智能体a对应的局部基线值，
表示智能体a对应的汇水区a的雨水溢出量，
表示智能体a对应的汇水区a的第二特征值，
表示当前设定时间段内的雨水重现期，
为权重系数。
7.根据权利要求1所述的一种城市防洪排水智能控制系统，其特征在于，所述智能体具体为深度Q网络。
8.根据权利要求1所述的一种城市防洪排水智能控制系统，其特征在于，所述智能体在下一设定时间段对应的动作信息具体为：智能体在下一设定时间段对应的对可调节对象的调节动作信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210881230.8A CN114942596B (zh) | 2022-07-26 | 2022-07-26 | 一种城市防洪排水智能控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210881230.8A CN114942596B (zh) | 2022-07-26 | 2022-07-26 | 一种城市防洪排水智能控制系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114942596A CN114942596A (zh) | 2022-08-26 |
| CN114942596B true CN114942596B (zh) | 2022-11-18 |
Family
ID=82910166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210881230.8A Active CN114942596B (zh) | 2022-07-26 | 2022-07-26 | 一种城市防洪排水智能控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114942596B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115185190B (zh) * | 2022-09-13 | 2023-06-20 | 清华大学 | 基于多智能体强化学习的城市排水系统控制方法和装置 |
| CN116795148B (zh) * | 2023-06-26 | 2024-01-26 | 河北省水利工程局集团有限公司 | 一种远程智能排水系统 |
| CN118469267A (zh) * | 2024-07-15 | 2024-08-09 | 南通西屋智能科技有限公司 | 一种基于远程控制的水务泵站维护管理系统 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1312629C (zh) * | 2005-11-11 | 2007-04-25 | 杭州电子科技大学 | 城市排水系统不确定水力学模型建模方法 |
| CN102183972B (zh) * | 2011-03-24 | 2012-09-05 | 杭州电子科技大学 | 一种城市排水系统蓄水池水位的控制方法 |
| CN103472792B (zh) * | 2013-09-09 | 2015-07-01 | 上海水顿智能科技有限公司 | 一种智能排水系统 |
| CN109919372A (zh) * | 2019-02-28 | 2019-06-21 | 武汉大学 | 一种基于全时空的城市暴雨积水评估建模方法 |
| CN110838079A (zh) * | 2019-10-18 | 2020-02-25 | 南京中科智慧生态科技有限公司 | 一种智慧城市防洪排水远程监控系统及方法 |
| CN111613017A (zh) * | 2020-04-26 | 2020-09-01 | 李海波 | 一种城市洪涝灾害紧急预警处理方法及系统 |
| CN111829527B (zh) * | 2020-07-23 | 2021-07-20 | 中国石油大学(华东) | 一种基于深度强化学习且顾及海洋环境要素的无人船路径规划方法 |
| CN112068420A (zh) * | 2020-07-30 | 2020-12-11 | 同济大学 | 一种排水系统实时控制方法与装置 |
| US11948079B2 (en) * | 2020-10-19 | 2024-04-02 | Tsinghua University | Multi-agent coordination method and apparatus |
| CN112364984A (zh) * | 2020-11-13 | 2021-02-12 | 南京航空航天大学 | 一种协作多智能体强化学习方法 |
| CN113128705B (zh) * | 2021-03-24 | 2024-02-09 | 北京科技大学顺德研究生院 | 一种智能体最优策略获取方法及装置 |
| CN113050430B (zh) * | 2021-03-29 | 2023-05-02 | 浙江大学 | 一种基于鲁棒强化学习的排水系统控制方法 |
| CN113658608B (zh) * | 2021-08-27 | 2022-03-25 | 中关村科学城城市大脑股份有限公司 | 路面积水监测方法、装置、存储介质及电子设备 |
-
2022
- 2022-07-26 CN CN202210881230.8A patent/CN114942596B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114942596A (zh) | 2022-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114942596B (zh) | 一种城市防洪排水智能控制系统 | |
| Shao et al. | Remote sensing monitoring of multi-scale watersheds impermeability for urban hydrological evaluation | |
| CN109543275B (zh) | 一种城区地表径流二维数值模拟方法 | |
| CN113723024B (zh) | 一种适用于滨海地区的“溪流”-“河道”-“河口”分布式洪水过程模拟方法 | |
| Noymanee et al. | Flood forecasting with machine learning technique on hydrological modeling | |
| CN114240119A (zh) | 基于数字孪生的国土空间全域全要素防洪防涝系统及预警方法 | |
| CN106780089B (zh) | 基于神经网络元胞自动机模型的永久性基本农田划定方法 | |
| CN107832931A (zh) | 一种平原水网地区内涝风险的模块化分析方法 | |
| CN107590354A (zh) | 基于稳定水流场的流域地表径流汇流模拟方法 | |
| CN115358650B (zh) | 一种洪涝灾害应急避险与物资实时调配方法 | |
| Chhuon et al. | Application of integrated hydrologic and river basin management modeling for the optimal development of a multi-purpose reservoir project | |
| CN112052561A (zh) | 一种排水系统防涝应急预案制定方法 | |
| CN114492233B (zh) | 一种基于webGIS平台及考虑综合利用要求的流域水模拟方法 | |
| Fang et al. | Application of long short-term memory (LSTM) on the prediction of rainfall-runoff in karst area | |
| Cai et al. | Application of artificial neural network and Soil and Water Assessment Tools in evaluating power generation of small hydropower stations | |
| CN111898911A (zh) | 一种排水防涝应急方案设计系统 | |
| CN115730739A (zh) | 一种基于lstm神经网络的城市内涝积水预测方法 | |
| Cherif et al. | Erosion potential model-based ANN-MLP for the spatiotemporal modeling of soil erosion in wadi Saida watershed | |
| Athira et al. | Flood modelling and inundation mapping of Meenachil River using HEC-RAS and HEC-HMS software | |
| Cherinet et al. | Flood inundation mapping of Jigjiga-town and its surrounding environment: Using GIS & HEC-Ras Model | |
| CN116523189A (zh) | 一种考虑水文特征的墒情站点规划方法、装置及存储介质 | |
| Chen et al. | The development of a real-time flooding operation model in the Tseng-Wen Reservoir | |
| CN115130264B (zh) | 一种基于径流耦合仿真的城市内涝预测方法及系统 | |
| Subramanian | Implementation of neural networks in flood forecasting | |
| Hoseini | Comparison of uniform and SCS unit hydrograph methods to estimate maximum flood discharge of Amughin Basin |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: An Intelligent Control System for Urban Flood Control and Drainage Effective date of registration: 20230704 Granted publication date: 20221118 Pledgee: Xi'an innovation financing Company limited by guarantee Pledgor: Mountain Technology Co.,Ltd. Registration number: Y2023610000517 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |