CN105843942B - 一种基于大数据技术的城市防汛决策支持方法 - Google Patents

一种基于大数据技术的城市防汛决策支持方法 Download PDF

Info

Publication number
CN105843942B
CN105843942B CN201610205441.4A CN201610205441A CN105843942B CN 105843942 B CN105843942 B CN 105843942B CN 201610205441 A CN201610205441 A CN 201610205441A CN 105843942 B CN105843942 B CN 105843942B
Authority
CN
China
Prior art keywords
data
water level
survey station
time
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610205441.4A
Other languages
English (en)
Other versions
CN105843942A (zh
Inventor
陈观林
杨太萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University City College ZUCC
Original Assignee
Zhejiang University City College ZUCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University City College ZUCC filed Critical Zhejiang University City College ZUCC
Priority to CN201610205441.4A priority Critical patent/CN105843942B/zh
Publication of CN105843942A publication Critical patent/CN105843942A/zh
Application granted granted Critical
Publication of CN105843942B publication Critical patent/CN105843942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Abstract

本发明公开了一种基于大数据技术的城市防汛决策支持系统，包括如下步骤：步骤一、构建历史水情数据库；步骤二、实时水情数据采集与存储；步骤三、建立组合水位预测模型；步骤四、实时水情展示和水位预报；步骤五、历史水情数据统计分析。本发明的有益效果是：能对1到6小时的水位提供有效的预测，从而在城市汛期来临时为防洪减灾工作提供决策支持。系统采用分布式数据库HBase，能有效地存储海量水情数据并应对数据的快速增长，同时利用大数据分析引擎Impala对海量历史水情数据进行实时处理分析，应用数据可视化技术发掘历史数据的内在价值，为防汛工作提供信息指导。

Description

一种基于大数据技术的城市防汛决策支持方法
技术领域
本发明涉及城市防汛决策支持方法，更具体说，它涉及一种基于大数据技术的城市防汛决策支持方法。
背景技术
近年来，随着经济的快速发展，我国的城市化进程一直呈加速发展的态势，城市的数量在不断增多，城市的规模也在不断扩大。城市化进程在促进社会文明进步的同时，也给城市带来了很多问题与挑战，城市突发洪涝灾害就是其中之一。每当汛期来临，不断有城市遭受洪涝灾害的新闻见诸报端。
由于城市突发洪涝灾害所造成的后果极其严重，人们在抵御洪水上做了很多努力。六十年代以前，人们在抵御洪水所做的工作上侧重于采取工程措施。随着社会经济的发展、人口的不断增长和城市化进程的加快，防洪工程的减灾效益越来越少；七十年代，美国首先找到了抵御洪水的新方法，提出了非工程措施的概念，此后世界各国在防洪减灾规划上同时采用工程措施和非工程措施相结合的办法。洪水无法完全避免，防洪工程并不能完全消除洪水的威胁，采取有效措施减少城市洪涝灾害所造成的经济损失和人员伤亡是城市防汛的重点研究内容。非工程措施在防洪减灾中扮演着重要角色，主要包括，对城市土地进行合理规划、建立有效的洪水预报预警体系、提高人们的防洪意识、制定可行的疏散方案等。防汛决策支持系统就是一种有效地非工程措施。
随着水利信息化建设的不断完善，物联网传感器设备不断增加，城市防洪减灾相关数据呈爆炸式增长，步入了大数据时代。利用大数据技术对城市防汛工作中采集到的数据进行挖掘分析，为城市突发洪涝灾害的预防与预警提供了一条新途径，具有重要的理论和现实意义。近年来，云计算技术发展迅猛，而传统的数据处理方式已无法应对大数据的快速增长，云计算技术的成熟为大数据技术提供了强大的技术支持。在大数据时代背景下，如何利用大数据和云计算技术处理海量城市水情数据，为城市的防汛工作提供指导，是一项具有重要研究意义的课题。
专利2015104969095“一种防汛调度决策支持系统”提出了一种根据水文遥测数据进行洪水预测模拟的方法,该系统包括：在线模型服务器，用于接收水文遥测数据，并根据水文遥测数据进行洪水预测模拟，还包括：数据库，与各水文遥测设备连接，用于存储水文遥测设备采集的水文遥测数据；数据接口及WEB应用服务器，分别于数据库和在线模型服务器连接，用于将数据库中的水文遥测数据推送至在线模型服务器，并接收预测模拟结果，向远程网络终端发布。该系统可以根据降雨情况，实时模拟降雨积水情况，预报积水点位置、积水深度和退水时间，为排水应急抢救和泵站优化运行提供决策支持。专利201520604493X“一种远程防汛控制系统”提供了一种利用视频监控装置对水库水情进行实时动态监视以确保水库安全运行的方法，该系统包括：监控装置、交换机和防汛指挥中心，防汛指挥中心包括视频服务器、管理服务器、监控显示装置和预警装置，监控装置获取的监控信息与交换机之间采用微波定向无线传输方式传送，交换机与防汛指挥中心采用VPN专网连接，监控显示装置经解码服务器与管理服务器相连。该系统结构简单，可及时对水库水情进行实时动态监控，以便采取相应的预防和补救措施确保水库安全运行，且采用无线方式传输数据，施工周期短、线路铺设成本低。这些方法和系统只是实现了对某一方面数据信息的利用，并没有充分利用海量历史水情数据和城市中多源异构的数据。
发明内容
本发明的目的是克服现有技术中未对海量历史水情数据进行充分利用的不足，提供一种基于大数据技术的城市防汛决策支持系统。
这种基于大数据技术的城市防汛决策支持方法，包括如下步骤：
步骤一、构建历史水情数据库：采用基于Hadoop的分布式数据库HBase对历史水情数据进行存储；
步骤二、实时水情数据采集与存储：采用物联网技术将传感器与服务器相连，从而使服务器能获取各测站的实时水情信息；
步骤三、建立组合水位预测模型：城市水情数据是时空序列数据，对测站水位的预测从时间和空间两个角度进行；将不同角度预测的结果进行动态组合；
步骤四、实时水情展示和水位预报：服务器根据城市的历史水情数据和实时水情数据，应用步骤三得到的组合水位预测模型对未来1-6小时的水位进行预测；客户端访问服务器获得JSON格式的每个测站的地理位置信息、实时水情数据和水位预测结果，并将获得的数据展示以可视化的方式展示在电子地图上；
步骤五、历史水情数据统计分析：客户端向服务器端发起指定时间范围的水情数据查询请求，服务器端将接收到的查询请求转换为相应的JDBC方法，利用大数据分析引擎Impala进行分布式查询，并将查询的结果封装成JSON格式返回给客户端，客户端将接收的数据结合数据可视化工具进行展示。
所述步骤一具体包含：HBase表设计Code和Value两个列簇分别存储以上两类数据，新增的数据类型在相应列簇中添加；城市水情数据都是增量式数据，这些数据都与时间相关，HBase提供一个时间戳来存储数据的相应版本；HBase数据库只为行键这一个属性建立索引，为了查询相应时间范围内的数据，数据的时间属性添加到行键中；数据库的表采用了以小时为“bucket”的结构,将时间精确到小时TM.hour与测站编码STCD组成行键，同一小时内的数据以不同的时间版本存储在同一数据单元中。
所述步骤二具体包含：传感器每5分钟采集一次数据，并通过HTTP协议的POST方法将数据和测站编号以JSON格式传送到服务器端，服务器端将数据写入HBase数据库中，服务器同时将每个测站的最近24小时水位以小时为间隔存储在内存中，以快速响应实时水情查询和方便应用于水位预报。
所述步骤三具体包含：
时间水位预测模型：
模型的输入数据有：1)所预测监测站点的最近6小时的水位观测值；2)最近1小时该站点所在地的降雨量；对1-6小时的每一个时间间隔建立一个预测模型；设当前时间为tc，时间相关水位预测模型将以tc-5，tc-4，tc-3，tc-2，tc-1，时刻该站点的水位观测值和tc时刻一小时内的降雨量为输入，对未来tc+1，tc+2，tc+3，tc+4，tc+5，tc这些时刻的水位值进行预测，每个时刻都有一个对应的预测模型，即每个站点都有6个时间相关水位预测模型；
时间水位预测模型采用线性回归进行建模，如公式3.1所示：
Sc+i为需要预测的tc+i时刻的水位，Sc-j为tc-j时刻的历史水位，θij为相对应的系数，Rc为tc时刻最近一小时的累积降雨量，E为常数；
空间相关水位预测模型：
采用BP神经网络，将指定水位测站附近测站和雨量传感器的观测值作为输入，以BP神经网络处理后的输出作为预测结果；R1，R2，...，Rm是测站附近雨量传感器的观测值，S1，S2，...，Sn是测站附近水位测站的观测值；经过归一化处理转换为[0,1]范围内的数值；神经网络的输出为预报时刻水位与当前水位的差值ΔS，输出神经元的激活函数为线性函数；该模型只有一层隐含层，隐含层神经元的激活函数为正切双曲函数tanh；
组合水位预测模型：
时间水位预测模型反映的是局部的单站点的水位变化趋势，空间水位预测模型反映的是空间上站点之间的隐含关系，采用一个分类回归树模型用于动态组合两个模型；分类回归树是决策树和线性回归的结合，它根据数据属性将数据集划分为不同的子集，并在每个叶节点的数据子集上建立一个线性回归模型；分类回归树的节点分裂的步骤与决策树一样，但是分类回归树既能处理离散值也能处理连续值；在处理连续值时，分类回归树模型采用线性回归模型的方差的减小来决定节点是否要分类；能够提供最大的方差减小的属性将作为节点的分割依据；在水位组合预报中应用分类回归树时，先将时间预测模型的预测结果Stemporal、空间预测模型的预测结果Sspatial、当前水位Scurrent和最近一小时的累计降雨量Rcurrent以及预测时段的真实水位Sground_truth组成数据集Set(Stemporal，Sspatial，Scurrent，Rcurrent，Sground_truth)；树节点可依据两个模型预测结果、当前水位和最近一小时累计降雨量决定是否分裂节点，在叶节点上，将利用叶节点的数据集为预测时段的水位值Spredict相对时间、空间两个模型的预测结果建立线性回归模型Spredict＝f(Stemporal，Sspatial)。
所述步骤四具体包含：客户端向服务器端请求所有测站的实时水情数据，服务器端将步骤二中采集到的实时水情数据以JSON格式返回给客户端，客户端对数据进行解析并将数据绑定到相应测站标记上；客户端的测站标记绑定了鼠标点击监听器，实现了相应的交互逻辑，当用户点击一个测站时，将弹出该测站最近24小时的水位过程线；服务器端将最近1-6小时的水情数据输入步骤三建立的组合水位预测模型，从而得出测站未来1-6小时的预测水位；如果测站的预测值超过水位警戒线，测站标记上将会展现警告信息，为防汛工作提供参考。
所述步骤五具体包含：在服务器端，将对用户需要的数据处理操作进行功能分解，并为这些功能提供RESTful API的web services；客户端通过ajax调用这些API接口获取处理后的数据，再利用这些数据进行渲染、显示；客户端将测站编号和时间范围作为参数向服务器发起请求，服务器对接收到的参数进行解析处理，调用相应的业务层方法，利用大数据分析引擎Impala对历史水情数据库进行相应查询，查询结果以JSON格式返回到客户端，客户端对范围结果进行解析，并通过数据可视化工具进行展示。
本发明的有益效果是：本发明提出了一种基于大数据技术的城市防汛决策支持方法，该方法利用大数据分析技术挖掘海量历史水情数据的隐含价值，可以为城市防汛工作提供有效参考。本专利提出了一个综合考虑时间相关性和空间相关性的组合水位预测模型，能对1到6小时的水位提供有效的预测，从而在城市汛期来临时为防洪减灾工作提供决策支持。系统采用分布式数据库HBase，能有效地存储海量水情数据并应对数据的快速增长，同时利用大数据分析引擎Impala对海量历史水情数据进行实时处理分析，应用数据可视化技术发掘历史数据的内在价值，为防汛工作提供信息指导。
附图说明
图1是本发明提出的基于大数据技术的城市防汛决策支持系统总体结构图；
图2是本发明使用的河道水情表的结构图；
图3是本发明建立的河道水情HBase表；
图4是本发明描述的时间预测模型示意图；
图5是本发明描述的空间预测模型示意图；
图6是本发明描述的组合水位预测模型示意图；
图7是本发明实现的城市防汛决策支持系统界面；
图8是本发明实现的测站24小时水位过程线示意图；
图9是本发明实现的测站预测结果示意图；
图10是本发明实现的历史水情数据统计分析示意图；
图11是本发明的时间预测模型的训练数据；
图12是本发明的空间预测模型的训练数据；
图13是本发明的操作界面示意图一；
图14是本发明的操作界面示意图二。
具体实施方式
下面结合附图和实施例对本发明做进一步描述。虽然本发明将结合较佳实施例进行描述，但应知道，并不表示本发明限制在所述实施例中。相反，本发明将涵盖可包含在有附后权利要求书限定的本发明的范围内的替换物、改进型和等同物。
该系统的总体结构如图1所示，具体实现步骤如下：
步骤一、构建历史水情数据库
通过对城市水情数据的深入研究可以发现，城市水情数据主要包括代码类和数值类两种，如图2所示的河道水情表中，河流特征码、水势、潮流方法、测积方法、测速方法等为代码类数据，水位、流量、断面过水面积、断面平均流速、断面最大流速等为数值类数据。因此HBase表将设计Code和Value两个列簇分别存储以上两类数据，新增的数据类型可在相应列簇中添加。城市水情数据都是增量式数据，这些数据都与时间相关，而HBase已提供一个时间戳来存储数据的相应版本。HBase数据库只为行键这一个属性建立索引，为了查询相应时间范围内的数据，数据的时间属性应当添加到行键中。城市防汛决策支持系统的用户对数据进行统计分析时，往往都是以小时为最小单位。因此数据库的表将采用了以小时为“bucket”的结构,将时间精确到小时(TM.hour)与测站编码(STCD)组成行键，同一小时内的数据以不同的时间版本存储在同一数据单元中，这样可以获得更高的查询效率，河道水情数据的HBase表如图3所示。
步骤二、实时水情数据采集与存储
传感器每5分钟采集一次数据，并通过HTTP协议的POST方法将数据和测站编号以JSON格式传送到服务器端，服务器端将数据写入HBase数据库中，服务器同时将每个测站的最近24小时水位以小时为间隔存储在内存中，以快速响应实时水情查询和方便应用于水位预报。
步骤三、建立组合水位预测模型
(一)空间水位预测模型
时间水位预测模型可以预测单个监测站点随时间的变化趋势，用于预测未来6小时的测站水位，模型的输入数据有：(1)所预测监测站点的最近6小时的水位观测值；(2)最近1小时该站点所在地的降雨量。这些数据对未来不同时间长度的预测水位有着不同的影响因子，因此需要对1-6小时的每一个时间间隔建立一个预测模型。图4是时间相关水位预测模型的基础框架，假如当前时间为tc，时间相关水位预测模型将以tc-5，tc-4，tc-3，tc-2，tc-1，时刻该站点的水位观测值和tc时刻一小时内的降雨量为输入，对未来tc+1，tc+2，tc+3，tc+4，tc+5，tc这些时刻的水位值进行预测，每个时刻都有一个对应的预测模型，即每个站点都有6个时间相关水位预测模型。本文没有采用预测水位作为输入对下一时刻进行预测的方法，因为预测值具有不确定性，将预测值作为输入会造成不确定性的叠加。
时间水位预测模型采用线性回归进行建模，如公式3.1所示：
Sc+i为需要预测的tc+i时刻的水位，Sc-j为tc-j时刻的历史水位，θij为相对应的系数，Rc为tc时刻最近一小时的累积降雨量，E为常数。
(二)空间水位预测模型
空间相关水位预测模型采用BP神经网络，将指定水位测站附近测站和雨量传感器的观测值作为输入，以BP神经网络处理后的输出作为预测结果。图5是空间相关水位预测模型的框架。R1，R2，...，Rm是测站附近雨量传感器的观测值，S1，S2，...，Sn是测站附近水位测站的观测值。因为水位数据和雨量数据的单位和大小范围都不相同，需要经过归一化处理转换为[0,1]范围内的数值。水位是相对于高程基准面，变化范围较大，而水位相邻时刻变化的差值则变化较小。因此，神经网络的输出为预报时刻水位与当前水位的差值ΔS，输出神经元的激活函数为线性函数。该模型只有一层隐含层，隐含层神经元的激活函数为正切双曲函数tanh。
(三)组合水位预测模型
时间相关水位预测模型和空间相关水位预测模型的预测角度各不相同。时间水位预测模型反映的是局部的单站点的水位变化趋势，空间水位预测模型反映的是空间上站点之间的隐含关系，在不同的水文条件下，应当给两个模型赋予不同的权重。本文采用了一个分类回归树模型用于动态组合两个模型。分类回归树是决策树和线性回归的结合，它根据数据属性将数据集划分为不同的子集，并在每个叶节点的数据子集上建立一个线性回归模型。分类回归树的节点分裂的步骤与决策树一样，但是分类回归树既能处理离散值也能处理连续值。在处理连续值时，分类回归树模型采用线性回归模型的方差的减小来决定节点是否要分类。能够提供最大的方差减小的属性将作为节点的分割依据。在水位组合预报中应用分类回归树时，先将时间预测模型的预测结果Stemporal、空间预测模型的预测结果Sspatial、当前水位Scurrent和最近一小时的累计降雨量Rcurrent以及预测时段的真实水位Sground_truth组成数据集Set(Stemporal，Sspatial，Rcurrent，Rcurrent，Sground_truth)。树节点可依据两个模型预测结果、当前水位和最近一小时累计降雨量决定是否分裂节点，在叶节点上，将利用叶节点的数据集为预测时段的水位值Spredict相对时间、空间两个模型的预测结果建立线性回归模型Spredict＝f(Stemporal，Sspatial)。图6是一个测站的组合预报模型。
步骤四、实时水情展示和水位预报
客户端向服务器端请求所有测站的实时水情数据，服务器端将步骤二中采集到的实时水情数据以JSON格式返回给客户端，客户端对数据进行解析并将数据绑定到相应测站标记上。客户端的测站标记绑定了鼠标点击监听器，实现了相应的交互逻辑，当用户点击一个测站时，将弹出该测站最近24小时的水位过程线。测站绑定鼠标点击监听器的关键代码如下：
图7是实时水情的操作界面，每个测站都标注了测站编号和最近观测水位。图8是点击测站后弹出的24小时水位过程线。
服务器端将最近1-6小时的水情数据输入步骤三建立的组合水位预测模型，从而得出测站未来1-6小时的预测水位。如果测站的预测值超过水位警戒线，测站标记上将会展现警告信息，为防汛工作提供参考。图9是展示的是测站1-6小时水位预测结果。
步骤五、历史水情数据统计分析
本专利实现了对海量历史水情数据的存储方案，对历史水情数据进行统计分析可以把握防汛工作的总体形势，为防汛工作提供指导。在服务器端，将对用户需要的数据处理操作进行分解成最基础的功能，并为这些功能提供RESTful API的web services。客户端通过ajax调用这些API接口获取处理后的数据，再利用这些数据进行渲染、显示。客户端将测站编号和时间范围作为参数向服务器发起请求，服务器对接收到的参数进行解析处理，调用相应的业务层方法，利用大数据分析引擎Impala对历史水情数据库进行相应查询，查询结果以JSON格式返回到客户端，客户端对范围结果进行解析，并通过数据可视化工具进行展示。图10是历史水情统计分析的结果展示。
图2是河道水情表的结构图，其他水情表有相似的结构，可以用类似的方式建立相应的HBase水情表。之前的历史水情数据是存放在传统的数据库中，通过Sqoop工具将历史数据导入到HBase数据库中。
将历史数据以每个测站一个文件的方式将数值类字段导出为CSV格式，对每个文件中的缺失数据进行补偿，之后再将数据以小时为单位进行聚合，水位、流速等数据取平均值，流量、降雨量等数据取累加和。按图11中的方式将1-6小时的水情数据组织到同一行，为时间预测模型准备训练数据。对每个测站找出其相邻5km内的所有测站，并将这些测站的数据按图12中的方式整合到一个文件中，为空间预测模型准备训练数据。分别利用准备好的数据训练时间预测模型和空间预测模型，将每个测站的两个预测模型的预测结果和真实观测值组织到一个文件中，为组合预测模型准备训练数据。利用上一步准备的训练数据训练组合预测模型。
测站传感器将采集的数据传送到服务器端，服务器端利用数据库的存储接口将数据存储到服务器上，同时更新内存中保存的最近24小时水情数据。服务器端将最近24小时的水情数据输入时间和空间预测模型，得到两个模型的预测值，再将两个模型的预测值输入组合预测模型得到最终预测结果并保存在内容中以供客户端请求数据。服务器端每1小时对预测结果进行一次重新计算更新。用户点击进入实时水情查询模块后，客户端以测站编号作为参数向服务器端请求实时水情数据，服务器端将相应的数据以JSON格式返回给客户端，客户端将数据解析之后再电子地图的相应位置上展示测站标记。用户鼠标移动到测站标记上时，如图8所示将测站的24小时水位过程线展现给用户。用户点击进入水位预报模块后，客户端以测站编号作为参数向服务器端请求水位预测结果，服务器端将预测结果以JSON格式返回给客户端，客户端解析数据并将数据绑定到相应测站标记上，如果测站的预测结果超出了测站的警戒值，相应的测站标记上将显示警告信息。用户鼠标移动到测站标记上时，如图9所示将测站1-6小时的预测结果展示给用户。
用户点击进入统计分析模块后，通过如图13的界面选择要查询的测站，之后通过如图14的界面选择要查询的时间范围，客户端将用户选择的测站编号和时间范围以参数方式发送到服务器端，服务器对接收到的参数进行解析，调用相应的数据查询方法，利用Impala大数据分析引擎对历史水情数据库进行查询统计，查询的结果以JSON格式返回到客户端。客户端将返回的结果通过数据可视化工具如图10进行渲染、展示。

Claims (5)

1.一种基于大数据技术的城市防汛决策支持方法，其特征在于：包括如下步骤：
步骤一、构建历史水情数据库：采用基于Hadoop的分布式数据库HBase对历史水情数据进行存储；所述步骤一具体包含：HBase表设计Code和Value两个列簇分别存储Code和Value数据，新增的数据类型在相应列簇中添加；城市水情数据都是增量式数据，这些数据都与时间相关，HBase提供一个时间戳来存储数据的相应版本；HBase数据库只为行键这一个属性建立索引，为了查询相应时间范围内的数据，数据的时间属性添加到行键中；数据库的表采用了以小时为“bucket”的结构,将时间精确到小时TM.hour，TM.hour与测站编码STCD组成行键，同一小时内的数据以不同的时间版本存储在同一数据单元中；
步骤二、实时水情数据采集与存储：采用物联网技术将传感器与服务器相连，从而使服务器能获取各测站的实时水情信息；
步骤三、建立组合水位预测模型：城市水情数据是时空序列数据，对测站水位的预测从时间和空间两个角度进行；将不同角度预测的结果进行动态组合；
步骤四、实时水情展示和水位预测：服务器根据城市的历史水情数据和实时水情数据，应用步骤三得到的组合水位预测模型对未来1-6小时的水位进行预测；客户端访问服务器获得JSON格式的每个测站的地理位置信息、实时水情数据和水位预测结果，并将获得的数据以可视化的方式展示在电子地图上；
步骤五、历史水情数据统计分析：客户端向服务器端发起指定时间范围的水情数据查询请求，服务器端将接收到的查询请求转换为相应的JDBC方法，利用大数据分析引擎Impala进行分布式查询，并将查询的结果封装成JSON格式返回给客户端，客户端将接收的数据结合数据可视化工具进行展示。
2.根据权利要求1所述的基于大数据技术的城市防汛决策支持方法，其特征在于：所述步骤二具体包含：传感器每5分钟采集一次数据，并通过HTTP协议的POST方法将数据和测站编号以JSON格式传送到服务器端，服务器端将数据写入HBase数据库中，服务器同时将每个测站的最近24小时水位以小时为间隔存储在内存中，以快速响应实时水情查询和方便应用于水位预测。
3.根据权利要求1所述的基于大数据技术的城市防汛决策支持方法，其特征在于：所述步骤三具体包含：
时间水位预测模型：
模型的输入数据有：1)测测站的最近6小时的水位观测值；2)最近1小时该测站所在地的降雨量；对1-6小时的每一个时间间隔建立一个预测模型；设当前时间为tc，时间水位预测模型将以tc-5，tc-4，tc-3，tc-2，tc-1，时刻该测站的水位观测值和tc时刻一小时内的降雨量为输入，对未来tc+1，tc+2，tc+3，tc+4，tc+5，tc这些时刻的水位值进行预测，每个时刻都有一个对应的预测模型，即每个测站都有6个时间水位预测模型；
时间水位预测模型采用线性回归进行建模，如公式3.1所示：
Sc+i为需要预测的tc+i时刻的水位，Sc-j为tc-j时刻的历史水位，θij为相对应的系数，Rc为tc时刻最近一小时的累计降雨量，E为常数；
空间水位预测模型：
采用BP神经网络，将指定水位测站附近测站和雨量传感器的观测值作为输入，以BP神经网络处理后的输出作为预测结果；R1，R2，...，Rm是测站附近雨量传感器的观测值，S1，S2，...，Sn是指定水位测站附近测站的观测值；经过归一化处理转换为[0,1]范围内的数值；神经网络的输出为预测时刻水位与当前水位的差值ΔS，输出神经元的激活函数为线性函数；该模型只有一层隐含层，隐含层神经元的激活函数为正切双曲函数tanh；
组合水位预测模型：
时间水位预测模型反映的是局部的单测站的水位变化趋势，空间水位预测模型反映的是空间上测站之间的隐含关系，采用一个分类回归树模型用于动态组合两个模型；分类回归树是决策树和线性回归的结合，它根据数据属性将数据集划分为不同的子集，并在每个叶节点的数据子集上建立一个线性回归模型；分类回归树的节点分类的步骤与决策树一样，但是分类回归树既能处理离散值也能处理连续值；在处理连续值时，分类回归树模型采用线性回归模型的方差的减小来决定节点是否要分类；能够提供最大的方差减小的属性将作为节点的分类依据；在水位组合预测中应用分类回归树时，先将时间预测模型的预测结果Stemporal、空间预测模型的预测结果Sspatial、当前水位Scurrent和最近一小时的累计降雨量Rcurrent以及预测时段的真实水位Sground_truth组成数据集Set(Stemporal，Sspatial，Scurrent，Rcurrent，Sground_truth)；树节点依据两个模型预测结果、当前水位和最近一小时累计降雨量决定是否分类节点，在叶节点上，将利用叶节点的数据集为预测时段的水位值Spredict相对时间、空间两个模型的预测结果建立线性回归模型Spredict＝f(Stemporal，Sspatial)。
4.根据权利要求1所述的基于大数据技术的城市防汛决策支持方法，其特征在于：所述步骤四具体包含：客户端向服务器端请求所有测站的实时水情数据，服务器端将步骤二中采集到的实时水情数据以JSON格式返回给客户端，客户端对数据进行解析并将数据绑定到相应测站标记上；客户端的测站标记绑定了鼠标点击监听器，实现了相应的交互逻辑，当用户点击一个测站时，将弹出该测站最近24小时的水位过程线；服务器端将最近1-6小时的水情数据输入步骤三建立的组合水位预测模型，从而得出测站未来1-6小时的预测水位；如果测站的预测值超过水位警戒线，测站标记上将会展现警告信息，为防汛工作提供参考。
5.根据权利要求1所述的基于大数据技术的城市防汛决策支持方法，其特征在于：所述步骤五具体包含：在服务器端，将对用户需要的数据处理操作进行功能分解，并为这些功能提供RESTful API的web services；客户端通过ajax调用这些API接口获取处理后的数据，再利用这些数据进行渲染、显示；客户端将测站编号和时间范围作为参数向服务器发起请求，服务器对接收到的参数进行解析处理，调用相应的业务层方法，利用大数据分析引擎Impala对历史水情数据库进行相应查询，查询结果以JSON格式返回到客户端，客户端对范围结果进行解析，并通过数据可视化工具进行展示。
CN201610205441.4A 2016-04-01 2016-04-01 一种基于大数据技术的城市防汛决策支持方法 Active CN105843942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610205441.4A CN105843942B (zh) 2016-04-01 2016-04-01 一种基于大数据技术的城市防汛决策支持方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610205441.4A CN105843942B (zh) 2016-04-01 2016-04-01 一种基于大数据技术的城市防汛决策支持方法

Publications (2)

Publication Number Publication Date
CN105843942A CN105843942A (zh) 2016-08-10
CN105843942B true CN105843942B (zh) 2019-03-29

Family

ID=56596686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610205441.4A Active CN105843942B (zh) 2016-04-01 2016-04-01 一种基于大数据技术的城市防汛决策支持方法

Country Status (1)

Country Link
CN (1) CN105843942B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815654A (zh) * 2016-12-20 2017-06-09 大唐软件技术股份有限公司 一种基于排水工程的数据处理方法和系统
CN106682415A (zh) * 2016-12-23 2017-05-17 中国科学院深圳先进技术研究院 一种业务数据显示方法及装置
CN106709012A (zh) * 2016-12-26 2017-05-24 北京锐安科技有限公司 一种大数据分析方法及装置
CN106844531B (zh) * 2016-12-29 2020-05-05 四创科技有限公司 一种基于网格的防汛指挥研判系统
CN106874381B (zh) * 2017-01-09 2020-12-22 重庆邮电大学 一种基于Hadoop的无线电环境地图数据处理系统
CN106643920B (zh) * 2017-01-09 2019-03-22 泰华智慧产业集团股份有限公司 检测积水点退水时间的方法及系统
CN106677314B (zh) * 2017-01-09 2019-01-04 泰华智慧产业集团股份有限公司 自动提供积水点处置建议的方法及系统
CN107092663B (zh) * 2017-03-30 2020-11-13 山大鲁能信息科技有限公司 基于gis水位预警地图绘制系统和方法
CN107145567A (zh) * 2017-05-04 2017-09-08 山大鲁能信息科技有限公司 基于gis的水利信息地图快速展示方法及系统
CN107220496B (zh) * 2017-05-26 2020-06-12 上海市气象灾害防御技术中心 一种城市暴雨内涝评估建模方法
CN107515913A (zh) * 2017-08-16 2017-12-26 武汉智丽丰信息科技有限公司 一种多变量数据模型集成构建方法及其可视化交互系统
CN107357941A (zh) * 2017-09-01 2017-11-17 浙江省水文局 一种可实时对水雨情数据进行检验的系统和方法
CN107609707B (zh) * 2017-09-20 2021-02-02 四创科技有限公司 一种洪水预报、防灾决策方法及系统
CN107656325B (zh) * 2017-11-10 2023-01-10 北京瀚禹信息科技有限公司 一种城市内涝自动预警系统及预警方法
CN108182178B (zh) * 2018-01-25 2021-06-18 刘广泽 基于事件文本数据挖掘的地下水水位分析方法与系统
CN108984795B (zh) * 2018-08-13 2021-07-27 浙江大学城市学院 一种基于数据挖掘技术的街面序化决策支持系统及方法
CN109299078B (zh) * 2018-11-28 2019-11-05 哈尔滨工业大学 一种基于人群行为的体育中心疏散数据库建立方法
CN109696218A (zh) * 2018-12-24 2019-04-30 耿毅 一种水情水库堤坝远程自动测报系统
CN110191148B (zh) * 2019-03-29 2020-11-03 中国科学院计算技术研究所 一种面向边缘计算的统计函数分布式执行方法及系统
CN110608719A (zh) * 2019-09-24 2019-12-24 浙江省河海测绘院 基于遥测数据确定水位标准高程的方法及系统、辅助装置
CN111027193A (zh) * 2019-12-02 2020-04-17 浙江工业大学 一种基于回归模型的短期水位预测方法
CN112734091A (zh) * 2020-12-30 2021-04-30 中水智联(深圳)技术有限公司 一种水库水位模型预测方法
CN113570150A (zh) * 2021-08-03 2021-10-29 河海大学 一种基于json的洪水预报方法
CN113916318A (zh) * 2021-08-31 2022-01-11 福建枋洋水利投资发展有限公司 一种基于水情监测的大坝安全监测方法
CN115546374B (zh) * 2022-11-28 2023-04-07 山东捷瑞数字科技股份有限公司 一种数字孪生的三维场景渲染方法、装置及设备和介质
CN115879747B (zh) * 2023-02-24 2023-05-16 南京恒创智云计算科技有限公司 一种数字化防汛抗旱调度方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559775A (zh) * 2013-11-12 2014-02-05 武汉大学 城市洪涝灾害预警系统及方法
CN105046445A (zh) * 2015-08-13 2015-11-11 上海市城市排水有限公司 一种防汛调度决策支持系统
CN105046321A (zh) * 2015-06-25 2015-11-11 河海大学 一种基于相似性搜索的组合模型预测水位的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559775A (zh) * 2013-11-12 2014-02-05 武汉大学 城市洪涝灾害预警系统及方法
CN105046321A (zh) * 2015-06-25 2015-11-11 河海大学 一种基于相似性搜索的组合模型预测水位的方法
CN105046445A (zh) * 2015-08-13 2015-11-11 上海市城市排水有限公司 一种防汛调度决策支持系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Big-Data-Based Urban Flood Defense Decision Support System;Taimeng Yang et al;《International Journal of Smart Home》;20151231;第9卷(第12期);第81-90页
云存储在黄河防汛系统中的应用;于珊珊;《万方中国学位论文全文数据库》;20150401;摘要，第29-32页

Also Published As

Publication number Publication date
CN105843942A (zh) 2016-08-10

Similar Documents

Publication Publication Date Title
CN105843942B (zh) 一种基于大数据技术的城市防汛决策支持方法
KR101937096B1 (ko) 3차원 bim 객체 모델을 이용한 3차원 모니터링 서버 및 이를 포함하는 3차원 모니터링 시스템
CN108170714A (zh) 一种台风灾害监测与评估的三维模拟系统
Li et al. A household-level approach to staging wildfire evacuation warnings using trigger modeling
CN113434565A (zh) 基于cim平台的水利防洪抗旱防涝综合减灾平台系统
EP2963595A1 (en) Crime risk forecasting
Guney et al. Tailoring a geomodel for analyzing an urban skyline
CN104933829A (zh) 一种地质灾害预测预警系统的构建方法
CN105246033A (zh) 一种基于终端定位的人群状态监测方法和监测装置
CN108268597A (zh) 一种动目标活动概率图谱构建及行为意图识别方法
CN113762090B (zh) 一种特高压密集输电通道灾害监测预警方法
Li et al. Webvrgis based city bigdata 3d visualization and analysis
CN110716935A (zh) 基于网约车出行的轨迹数据分析与可视化方法及系统
CN116109462B (zh) 一种自然灾害后饮水水源地污染监测预警方法及系统
CN103186575B (zh) 一种传感数据的聚类分析方法和系统
CN109241227A (zh) 基于stacking集成学习算法的时空数据预测建模方法
CN111340394B (zh) 流域梯级电站环境管理信息系统
CN109933637A (zh) 一种洪水风险动态展示及分析系统
Guo et al. Monitoring and simulation of dynamic spatiotemporal land use/cover changes
KR101846294B1 (ko) 기상 레이더 기반 강우중심 추적방법
CN116011322A (zh) 基于数字孪生的城市信息展示方法、装置、设备及介质
CN109145175A (zh) 基于stacking集成学习算法的时空数据预测方法
CN115049158B (zh) 城市系统运行状态的预测方法、系统、存储介质及终端
Su et al. Applying cloud computing and internet of things technologies to develop a hydrological and subsidence monitoring platform
Hudson Urban Characterisation; Expanding Applications for, and New Approaches to Building Attribute Data Capture

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant