CN110414027A - 一种适用于洪涝预测系统的数据处理方法 - Google Patents

一种适用于洪涝预测系统的数据处理方法 Download PDF

Info

Publication number
CN110414027A
CN110414027A CN201910000704.1A CN201910000704A CN110414027A CN 110414027 A CN110414027 A CN 110414027A CN 201910000704 A CN201910000704 A CN 201910000704A CN 110414027 A CN110414027 A CN 110414027A
Authority
CN
China
Prior art keywords
data
ponding
information
processing method
forecasting system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910000704.1A
Other languages
English (en)
Inventor
徐宇迪
申正如
苏腾飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910000704.1A priority Critical patent/CN110414027A/zh
Publication of CN110414027A publication Critical patent/CN110414027A/zh
Pending legal-status Critical Current

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及数据处理领域,具体涉及一种适用于洪涝预测系统的数据处理方法。本发明是通过以下技术方案得以实现的:一种适用于洪涝预测系统的数据处理方法,包含如下步骤;积水点降水量估算步骤:在该步骤中,估算得出某一积水点的时降水量数值A;积水点水位信息处理步骤:在该步骤中,得出某一单位时间段对应的水位信息数值B;输入数据切割步骤:整合所述数值A和数据B,且按指定长度切割,形成数据E,数据E中包含了历史数据长度和预测数据长度;预测计算步骤。本发明的目的是提供一种适用于洪涝预测系统的数据处理方法,对数据的筛选、处理、解析计算采用了全新的方式,提升预测效果的精确性和可靠度。

Description

一种适用于洪涝预测系统的数据处理方法
技术领域
本发明涉及数据处理领域,具体涉及一种适用于洪涝预测系统的数据处理方法。
背景技术
自然灾害,例如火灾、台风、地震、洪水等,都会对人们的生命安全和财产安全带来一定的伤害和威胁。随着技术的进步,人们对自然灾害的管理要求也提出了更高的要求。自然灾害的管理包括了灾前预测、灾中处理、灾后重建等多个方面,而灾前预测能给人们争取到面对自然事件的时间预备值,为更好的应对处理方式提供了可能,从而得到了更高的关注。
我国东部沿海,广东,福建,浙江各省大量城市每年夏季多受台风强降雨困扰。而与之对应的是我国高速发展的城市化进程。高速发展的城市化进程引起城市水文特征的显著变化,市区房屋建筑密集,混凝土覆盖面积增大,雨水渗透减少,雨水滞留与调蓄功能下降。由于雨量过多,地势低洼,积水不能及时排除就形成了暴雨内涝灾害。基于此,为了解决城市内涝,减少内涝灾害降低其造成的损失,采用科学方法建立城市暴雨洪涝监测、预报、灾害风险评估一体话的防汛风险信息系统是十分有必要。
现有的城市洪涝预测系统的智能程度有限,数据参考值不强,预测精准程度不高。
发明内容
本发明的目的是提供一种适用于洪涝预测系统的数据处理方法,对数据的筛选、处理、解析计算采用了全新的方式,提升预测效果的精确性和可靠度。
本发明的上述技术目的是通过以下技术方案得以实现的:一种适用于洪涝预测系统的数据处理方法,包含如下步骤;
积水点降水量估算步骤:
在该步骤中,估算得出某一积水点的时降水量数值A;
积水点水位信息处理步骤:
在该步骤中,得出某一单位时间段对应的水位信息数值B;
输入数据切割步骤:
整合所述数值A和数据B,且按指定长度切割,形成数据E,数据E中包含了历史数据长度和预测数据长度;
预测计算步骤:
在该步骤中,将所述数据E,放入神经卷积网络,计算得出最终结果,某一积水点未来时刻的预测积水数值,所述预测积水数值存在于所述数据E中的预测数据长度中。
作为本发明的优选,在积水点降水量估算步骤中,具体包含以下步骤,
步骤一:直线距离计算步骤,
在该步骤中,将目标积水点的经纬度数据调出,计算其与周边各个降水测量站点的直线距离;
步骤二:排序步骤,
在该步骤中,根据上文一种的直线距离,从近到远排序,并选择距离最小的N个降水测量点;
步骤三:计算步骤,
在该步骤中,计算每个积水点的对应时降水量,即数值A。
作为本发明的优选,在所述步骤三,计算步骤中,以距离的权重,即距离越大,权重越小,计算每个积水点的对应时降水量。
作为本发明的优选,所述积水点水位信息处理步骤具体包含以下步骤:
步骤一:时间切割步骤,将每个小时切分为若干个时间段;
步骤二:收集每个时间段的水位信息,
步骤三:特征量增加步骤,将原本只记录单一水位值信息的数据转变为存在多个特征量的数据,所述存在多个特征量的数据即为B数据。
作为本发明的优选,在所述特征三:特征量增加步骤,增加的特征量包含水质的平均值数据、方差数据、最大值数据。
作为本发明的优选,在所述积水点水位信息处理步骤中还包含填补步骤,在该步骤中,将某一积水点的积水值的空值用其临近点的平均值填补。
作为本发明的优选,在所述积水点水位信息处理步骤中还包含过滤步骤,在该步骤中,设置积水值阈值,将某一积水点的高于积水值阈值的数值筛选出进行人工盘查,若是真实数据则予以保留,若是错误数据则被剔除,由平均值所取代。
作为本发明的优选,在所述步骤三:特征量增加步骤中,还包含地理数据特征增加步骤,所述地理数据特征包含地理信息和位置特征信息。
作为本发明的优选,所述地理信息包含某一积水点与周边指定区域的海拔信息差数据。
作为本发明的优选,所述位置特征信息包含周边的交通及城市信息,包含立交桥信息、住宅区信息、是否餐饮行业聚集地信息。
综上所述,本发明具有如下有益效果:
1、通过深度学习的序列对序列,即seq2seq的算法对积水点状况进行实时预测,为有关部门和用户面对城市内涝时提前做出决策提供数据参考。
2、每一个积水点的历史积水信息都存在特征量增加步骤,使得历史数据丰满,参考性强。
3、技术方案中包含了城市各点的历史降水信息和气象预测数据,可靠性高。
4、数据输入模型中包含了数据扩展模块,可输入积水点的地理特征数据,整个模型可基于积水点的历史积水数据和地理信息数据来进行积水预测,扩展性好,通用性高。
具体实施方式
本具体实施例仅仅是对本发明的解释,其并不是对本发明的限制,本领域技术人员在阅读完本发明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本发明的权利要求范围内都受到专利法的保护。
实施例1,一种适用于洪涝预测系统的数据处理方法,首先,存在积水点时降水量A估算步骤。在该步骤中,存在首先根据降水测量站点及积水点的经纬度,计算任意降水测量站点与积水点组合的直线距离。这里所述的积水点是某一指定位置,而降水测量站点为多个,遍布城市各个位置,每个降水测量站点中都有传感器可感应出该降水测量站点对应的时降水量。
随后,通过排序找到每个积水点的直接距离最小的多个降水测量点。这里的多个不限定数量,一般的,可选出距离最小的三个降水测量点即可。
该步骤的第三步,以距离的权重,即距离越大,权重越小,计算每个积水点的对应时降水量,公式:,其中为积水点也降水测量点的距离,n可以自定义,在本实施例中,可以设n=3,即最近的三个降水测量点。
通过以上的三个步骤,得到了某一积水点的时降水量,本文中以A值表示。
还存在积水点的水位信息处理搜集步骤。在该步骤中,目的为取到某一积水点的水位信息,这个数据与现有技术不同,不是一个扁平、单一的数值,而是一个立体化的多维序列信息,本文中该序列信息以B值表示。
这个数值的处理具体包含以下步骤:
第一步,将每个小时切分为若干个时间段,每个时间段的时间长度相同。切分方式可自定义,本实施例中,按10分钟为一段,每个小时切分为6个时间段。
第二步,收集到每个时间段对应的水位信息,此处的水位信息可以直接由传感器和后台系统记录统计得到,由于上文提到每个小时切分为6个时间段,则此处每个积水点的时水位信息是一个长度为6的有序数列。
此处需要说明的是,在本技术方案中,存在填补技术和过滤技术。
填补技术是指,在某些时候,会根据水位变化而改变数据采集的频率。例如,这一时间段是干旱时间,积水值长时间为零,出于系统成本考虑,则无需传感器每10分钟再采集一次数据然后上报。系统在这种情况用它的临近点的平均值填补空值。
过滤技术的目的是为了过滤掉明显错误或不合理的数据。例如系统实现设置一个阈值,例如水位值的阈值设定为200。当出现了220、300、400这样的数值,就会被系统检测并挑选出来进行人工盘查。审核人员审核之后发现确实是真实数据则得以保留,若是由于系统故障,例如感应器错误,则删除这些过高数据,这些异常值同样被平均值所取代。
第三步为本步骤的关键步骤之一,水位值信息只是一个单一的信息值,扁平化,在大数据处理中的数据反映作用单一,参考度不全面。在本实施例中,存在特征值增加步骤。把一个原本只有一列的水位值信息转变为多列数值,在实际应用中,总共存在12个特征值,例如除了本身的水位值数据,还有平均值、方差、最大值等信息。
经过这样的三步操作,原本一个行数为6,列数为1的数据序列,变成一个行数为1,列数为12的数列信息,该信息即为上文中提到的B数据。原本6行代表60分钟,此刻以小时为计算基数,该数据为一个小时计算的统计值。B数据更为立体和系统的反映了一小时内某一积水点的水位信息。
作为优选,本技术方案还存在地理数据特征引入步骤。
地理数据特征主要包含两方面的特征,分别是地理信息和位置特征信息,这两种数据下文分别以C数据和D数据表示。
地理信息,即C数据,可利用地图类软件,例如google map api获取海拔信息,获取积水点及周边一定距离,比如500米东西南北四个位置的海拔信息。随后,将积水点的海拔信息和周围的四个点的海拔信息求差值,得到C1,C2,C3,C4这四个差值,这四个数据可以反映这一积水点是否容易积水,比如低洼的地段更容易积水。
位置特征信息,即D数据,同样可利用地图类软件,获取积水点附近的交通及城市信息。例如是否附近有立交桥,是否是餐饮行业聚集地区,是否是居民住宅区等作为特征量数据。
C数据和D数据共同从积水点的具体地理位置和周边情况,来反映出积水点的具体地理特征,扩充了数据的客观性和丰富度。
综上,已经得到了A、B、C、D四种数据,这种数据整合为大数据运算系统的输入数据E。
具体的,选择相应的神经网络模型,如LSTM模型。LSTM(Long Short-Term Memory)是长短期记忆网络,是一种时间递归神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。LSTM 已经在科技领域有了多种应用。基于 LSTM 的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等等任务。在本实施例中,同样采用LSTM网络作为运算模型。
在输入之前,需要进入输入数据的整合步骤。
具体为,对数据进行制定长度的切割,长度的设定可以自定义,本实施例以15小时为长度进行切割。需要指出的是,这个输入长度包含了历史数据长度E1和预测结果E2的长度。如上文提到的15小时,可包含12个小时的历史数据加3个小时的预测结果数据,最终的目的是通过大数据计算,计算出这3个小时的某一指定地点的积水情况。
E1已经在前文中详细阐述,其可看做为一份完整的某一积水点的特征信息,结合了上文的ABCD四项数据。具体的,其行数可看做历史数据的时间分割,例如上文以距离按60分钟为一个统计行,则12个小时为12行。每一行都有多列数据,这些数据中,包含了A的时降水量,包含了B的水位信息,包含了C和D的地理位置信息和周边情况信息。
E2当中虽然是之后3个小时的预测部分,但同样也是具有输入功能,例如E2当中的A的部分,是可以根据气象系统的降水量的发布情况自动导入,而C和D的部分,则是基本不变的,也是可以预先填入。整个E进入到LSTM系统后,通过系统的学习和运算,E2当中的B部分被计算出来,而这个部分,即为本技术方案所需要的水位信息的预测。城市管理部门就可以根据这个结果来为之后的抗灾应对工作提供数据参考。

Claims (10)

1.一种适用于洪涝预测系统的数据处理方法,其特征在于:包含如下步骤; 积水点降水量估算步骤: 在该步骤中,估算得出某一积水点的时降水量数值A; 积水点水位信息处理步骤: 在该步骤中,得出某一单位时间段对应的水位信息数值B; 输入数据切割步骤:整合所述数值A和数据B,且按指定长度切割,形成数据E,数据E中包含了历史数据长度和预测数据长度; 预测计算步骤: 在该步骤中,将所述数据E,放入神经卷积网络,计算得出最终结果,某一积水点未来时刻的预测积水数值,所述预测积水数值存在于所述数据E中的预测数据长度中。
2.根据权利要求1所述的一种适用于洪涝预测系统的数据处理方法,其特征在于:在积水点降水量估算步骤中,具体包含以下步骤, 步骤一:直线距离计算步骤, 在该步骤中,将目标积水点的经纬度数据调出,计算其与周边各个降水测量站点的直线距离; 步骤二:排序步骤, 在该步骤中,根据上文一种的直线距离,从近到远排序,并选择距离最小的N个降水测量点; 步骤三:计算步骤, 在该步骤中,计算每个积水点的对应时降水量,即数值A。
3.根据权利要求2所述的一种适用于洪涝预测系统的数据处理方法,其特征在于:在所述步骤三,计算步骤中,以距离的权重,即距离越大,权重越小,计算每个积水点的对应时降水量。
4.根据权利要求1所述的一种适用于洪涝预测系统的数据处理方法,其特征在于:所述积水点水位信息处理步骤具体包含以下步骤: 步骤一:时间切割步骤,将每个小时切分为若干个时间段; 步骤二:收集每个时间段的水位信息, 步骤三:特征量增加步骤,将原本只记录单一水位值信息的数据转变为存在多个特征量的数据,所述存在多个特征量的数据即为B数据。
5.根据权利要求4所述的一种适用于洪涝预测系统的数据处理方法,其特征在于:在所述特征三:特征量增加步骤,增加的特征量包含水质的平均值数据、方差数据、最大值数据。
6.根据权利要求4所述的一种适用于洪涝预测系统的数据处理方法,其特征在于:在所述积水点水位信息处理步骤中还包含填补步骤,在该步骤中,将某一积水点的积水值的空值用其临近点的平均值填补。
7.根据权利要求4所述的一种适用于洪涝预测系统的数据处理方法,其特征在于:在所述积水点水位信息处理步骤中还包含过滤步骤,在该步骤中,设置积水值阈值,将某一积水点的高于积水值阈值的数值筛选出进行人工盘查,若是真实数据则予以保留,若是错误数据则被剔除,由平均值所取代。
8.根据权利要求4所述的一种适用于洪涝预测系统的数据处理方法,其特征在于:在所述步骤三:特征量增加步骤中,还包含地理数据特征增加步骤,所述地理数据特征包含地理信息和位置特征信息。
9.根据权利要求8所述的一种适用于洪涝预测系统的数据处理方法,其特征在于:所述地理信息包含某一积水点与周边指定区域的海拔信息差数据。
10.根据权利要求8所述的一种适用于洪涝预测系统的数据处理方法,其特征在于:所述位置特征信息包含周边的交通及城市信息,包含立交桥信息、住宅区信息、是否餐饮行业聚集地信息。
CN201910000704.1A 2019-01-02 2019-01-02 一种适用于洪涝预测系统的数据处理方法 Pending CN110414027A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910000704.1A CN110414027A (zh) 2019-01-02 2019-01-02 一种适用于洪涝预测系统的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910000704.1A CN110414027A (zh) 2019-01-02 2019-01-02 一种适用于洪涝预测系统的数据处理方法

Publications (1)

Publication Number Publication Date
CN110414027A true CN110414027A (zh) 2019-11-05

Family

ID=68357524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910000704.1A Pending CN110414027A (zh) 2019-01-02 2019-01-02 一种适用于洪涝预测系统的数据处理方法

Country Status (1)

Country Link
CN (1) CN110414027A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382838A (zh) * 2020-01-15 2020-07-07 南宁市勘察测绘地理信息院 城市液位高程的内涝预测方法、装置和设备
CN111882138A (zh) * 2020-08-07 2020-11-03 中国农业大学 基于时空融合的水质预测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235981A (zh) * 2013-04-10 2013-08-07 东南大学 一种风电电能质量趋势预测方法
CN104408900A (zh) * 2014-11-10 2015-03-11 柳州师范高等专科学校 基于动态优化的神经网络洪水预警装置及其方法
CN105046321A (zh) * 2015-06-25 2015-11-11 河海大学 一种基于相似性搜索的组合模型预测水位的方法
CN105243444A (zh) * 2015-10-09 2016-01-13 杭州尚青科技有限公司 一种基于在线多核回归的城市监测站点空气质量预测方法
CN108364097A (zh) * 2018-02-07 2018-08-03 国家海洋局北海预报中心 基于生成对抗网络的台风云系预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235981A (zh) * 2013-04-10 2013-08-07 东南大学 一种风电电能质量趋势预测方法
CN104408900A (zh) * 2014-11-10 2015-03-11 柳州师范高等专科学校 基于动态优化的神经网络洪水预警装置及其方法
CN105046321A (zh) * 2015-06-25 2015-11-11 河海大学 一种基于相似性搜索的组合模型预测水位的方法
CN105243444A (zh) * 2015-10-09 2016-01-13 杭州尚青科技有限公司 一种基于在线多核回归的城市监测站点空气质量预测方法
CN108364097A (zh) * 2018-02-07 2018-08-03 国家海洋局北海预报中心 基于生成对抗网络的台风云系预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李娟: "《变化环境下的小流域地表径流模拟预报及坝库功能转换研究》", 31 October 2016 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382838A (zh) * 2020-01-15 2020-07-07 南宁市勘察测绘地理信息院 城市液位高程的内涝预测方法、装置和设备
CN111882138A (zh) * 2020-08-07 2020-11-03 中国农业大学 基于时空融合的水质预测方法、装置、设备及存储介质
CN111882138B (zh) * 2020-08-07 2024-02-23 中国农业大学 基于时空融合的水质预测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Ravankhah et al. Integrated assessment of natural hazards, including climate change’s influences, for cultural heritage sites: The case of the historic centre of Rethymno in Greece
CN106651211B (zh) 一种不同尺度区域洪水灾害风险评估的方法
Pellicani et al. Assessing landslide exposure in areas with limited landslide information
Daly et al. Physiographically sensitive mapping of climatological temperature and precipitation across the conterminous United States
Mani et al. Flood hazard assessment with multiparameter approach derived from coupled 1D and 2D hydrodynamic flow model
CN101673369A (zh) 基于投影寻踪的排水管网洪涝风险评价方法
CN102999694A (zh) 一种山地灾害频发区泥石流风险评价方法
Arianpour et al. Flood hazard zonation using spatial multi-criteria evaluation (SMCE) in GIS (Case study: Omidieh-Khuzestan)
CN110414027A (zh) 一种适用于洪涝预测系统的数据处理方法
Akbar et al. Multi-hazard susceptibility mapping for disaster risk reduction in Kargil-Ladakh Region of Trans-Himalayan India
Persendt et al. Identifying hydro-meteorological events from precipitation extremes indices and other sources over northern Namibia, Cuvelai Basin
Khaddari et al. A comparative analysis of analytical hierarchy process and fuzzy logic modeling in flood susceptibility mapping in the Assaka Watershed, Morocco
Davis et al. Post-hurricane michael damage assessment using ADCIRC storm surge hindcast, image classification, and LiDAR
Goudarzi et al. Examination of relationship between teleconnection indexes on temperature and precipitation components (Case Study: Karaj Synoptic Stations)
Cao et al. Exploring spatially varying relationships between forest fire and environmental factors at different quantile levels
Haile Integrating hydrodynamic models and high resolution DEM LIDAR for flood modelling
Van Westen et al. National Scale Landslide Susceptibility Assessment for Saint Lucia
Ndolo Goy et al. GIS-based soil erosion modeling and sediment yield of the N’djili River Basin, Democratic Republic of Congo
Hedger et al. Mapping natural and artificial migration hindrances for fish using LiDAR remote sensing
Schaffner et al. Application of the KINEROS2 site specific model to south-central NY and northeast PA: forecasting gaged and ungaged fast responding watersheds
Laka et al. A multicriteria GIS-based analysis modelling and Analytical Hierarchical Process (AHP) for flood risk mapping in the Delimi catchment, Jos, Plateau state, Nigeria
Al-Sababhah Detection of flood-hazard-prone zones using GIS modeling and AHP method in urban areas: the case of Amman Governorate
Martinić INOPIA model for drought forecast and its consequences on water resources–example of the City of Foligno in Italy
Kewessa Evaluation of flood mitigation alternatives for flood prone area of upper awash sub-basin (upstream of Koka Dam) a master’s thesis
Wambua et al. Drought indices assessment for sustainable water resources management-a case review for upper Tana River Basin, Kenya

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191105