CN112819340A - 一种基于多源数据的城市洪涝灾害动态评估方法 - Google Patents

Abstract

本发明涉及一种基于多源数据的城市洪涝灾害动态评估方法，包括：实时数据采集；空间化处理；建立洪涝灾害承灾体数据集；模拟淹没过程；人口受灾模拟；计算暴雨洪涝时的通行速度；分析差异；生成动态评估结果。本发明充分利用了大数据技术的优越性，基于网络爬虫技术实施获取城市人口和交通状况，通过构建的承灾体数据集，结合城市雨洪模型模拟结果，实现了洪涝灾害损失的动态评估，本发明克服了传统数据难获取、时空分辨率较差的缺点，实现了大数据技术与城市水文领域的交叉研究，能够捕捉洪涝发生不同时间点承灾体的损失差别，较真实的反应洪涝灾害对社会的影响。本发明能够与任意的城市雨洪模型结合，指导防灾减灾工作，增强了城市的韧性。

Description

一种基于多源数据的城市洪涝灾害动态评估方法

技术领域

本发明涉及一种基于多源数据的城市洪涝灾害动态评估方法，是一种数字计算应用于水文计算的方法，是一种洪涝灾害损失的评估方法，是一种洪涝灾害对人口、交通影响的动态评估方法。

背景技术

受全球气候异常变化和人类社会经济活动的影响，极端降水事件频发，洪涝灾害己成为世界上最频繁的自然灾害。而高度城镇化带来的人口大量汇集和社会经济活动的高度集中，也加大了洪涝灾害的损失。合理、有效的评估洪涝灾害损失，对于城市洪涝灾害预警预报、灾情管理等方面具有重要意义。现有洪涝灾害损失的评估方法多为静态评估，即通过特定年份的经济、人口等承灾体的空间展布数据，将之与淹没区相叠加，对相应的损失进行评估。这类方法存在一定的局限性，在某种给定的暴雨情景下，无论洪涝灾害发生在什么时刻，所得损失均为定值。实际上，洪涝灾害发生的时间点(日间/夜间、工作日/非工作日、高峰期/平峰期)不同，所造成的损失也必然有所差异，如何全面的动态的评估洪涝灾害是一个需要解决的问题。

发明内容

为了克服现有技术的问题，本发明提出了一种基于多源数据的城市洪涝灾害动态评估方法。所述的动态评估方法可以减少因洪涝灾害发生时间不同所带来了评估误差，有效提高评估精度，有助于防灾减灾的决策部署，提高城市韧性。

本发明的目的是这样实现的：一种基于多源数据的城市洪涝灾害动态评估方法，包括以下步骤：

步骤1，实时数据采集：对多种承灾体采用网络爬虫从至少两个数字地图供应商处进行实时数据采集；

步骤2，空间化处理：对数据进行空间化处理，包括：人口热力图分区与空间展布、道路分级处理与通行速度空间展布；

步骤3，建立洪涝灾害承灾体数据集：建立不同时刻人口热力图数据集和通行速度的空间分布数据集；

步骤4，模拟淹没过程：利用城市雨洪模型模拟洪涝淹没过程；

步骤5，人口受灾模拟：根据淹没水深分布计算不同时刻热力值分区的人口受灾面积；

步骤6，计算暴雨洪涝时的通行速度：根据淹没水深分布计算暴雨洪涝影响下不同时刻的通行速度；

步骤7，分析差异：分析不同时刻洪涝灾害对于人口、交通影响的差异；

步骤8，生成动态评估结果：将分析数据汇总，生成洪涝灾害损失的动态评估结果。

进一步的，步骤3中所述的人口热力图数据集采集流程包括以下子步骤：

①手机操作系统模拟器使用http协议调试代理工具进行数字地图数据抓取的操作；

②分析http协议调试代理工具回传的数据；

③设置采集范围的坐标、地图放大级别以及定时采集时间；

④取得数字地图供应商服务器缓存中的瓦片文件，回传保存到本地；

⑤自动拼接瓦片形成完整热力图。

进一步的，步骤3中所述的通行速度的空间分布数据集，包括以下子步骤：

路网获取：采用开源地图OSM数据作为道路数据的来源，根据遥感影像资料并利用地理信息系统，修复道路通行方向和连通性；

OD点(起点-终点)获取：根据开源地图数据的相关属性将研究区的道路划分为5类：快速路、一级路、二级路、三级路和支路，并获取OD点经纬坐标；

通行速度定时获取：通过编制定时器和设置参数，利用至少两家数字地图供应商所提供的API开放平台获得途经路段长度及相应的通行时间，并进一步的计算各个时段的通行速度，所述的参数包括：OD点经纬度、坐标类型、返回类型、AK密钥。

进一步的，步骤5中所述的人口受灾模拟包括如下子步骤：

重采样：利用重采样工具，将矢量化的人口热力图与淹没水深图重采样成像元大小一致的栅格数据；

淹没区划分：根据淹没水深的大小划定不同的洪涝风险等级；

计算受灾人口：利用栅格计算器工具，将淹没风险分区图和人口热力图叠加，统计不同淹没风险分区下，不同热力值分区的受灾面积。

进一步的，步骤6所述的计算暴雨洪涝时的通行速度包括如下子步骤：

栅格化处理：利用折线转栅格工具，根据淹没图层对道路图层进行栅格化处理，获得栅格化的通行速度图层；

计算通行速度：根据速度衰减模型，获得洪涝影响下的通行速度：

式中，v是行车速度；v₀是该地点的设计车速；x是积水深度；a是使车辆停滞的临界积水深度的中值；b是衰减弹性系数。

本发明的优点和有益效果是：本发明提出的城市洪涝灾害动态评估方法，充分利用了大数据技术的优越性，基于网络爬虫技术实时获取城市人口和交通状况，通过构建的承灾体数据集，结合城市雨洪模型模拟结果，实现了洪涝灾害损失的动态评估，本发明克服了传统数据难获取、时空分辨率较差的缺点，实现了大数据技术与城市水文领域的交叉研究，能够捕捉洪涝发生不同时间点承灾体的损失差别，较真实的反应洪涝灾害对社会的影响。本发明具有普适性，能够与任意的城市雨洪模型结合，指导防灾减灾工作的正确部署，提高城市抗击洪涝灾害的韧性。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明实施例所述装置方法的流程图。

具体实施方式

实施例一：

本实施例是一种基于多源数据的城市洪涝灾害动态评估方法。本实施例为实现动态评估，首要解决的问题是承灾体的数据获取问题，传统数据时空分辨率差、获取难度大等缺点都在制约着动态评估技术的发展。而随着大数据技术的广泛应用以及数据的快速增长，则有效解决了上述问题，为洪涝灾害的动态评估提供了可能，也推进了大数据技术在城市水文领域的应用，实现了学科间的交叉融合。本实施例采用网络爬虫技术，从多个数字地图供应商的数字地图数据中实时的获取人口和车辆的时间和空间变化状态，形成数据集，再通过对洪水的模拟，与数据集结合实现的对洪涝灾害的实时评估。

本实施例包括以下具体步骤，流程如图1所示：

步骤1，实时数据采集：对多种承灾体采用网络爬虫从至少两个数字地图供应商处进行实时数据采集。

本步骤采用大数据技术对多种承灾体的实时数据进行采集,采集获取方可以是各个数字地图供应商所提供的开放数字地图平台，例如百度地图APP、百度地图API、高德地图API等，利用网络爬虫技术按照一定规则，对这些数字地图平台所提供的数据进行自动抓取实时采集。

抓取数据：

HTTP是一个基于“请求与响应”模式的/无状态的应用层协议，URL是通过HTTP协议存取资源的Internet路径，利用网络爬虫技术按照一定规则实时获取开放数字地图平台供应商存储在URL中的数据资源，对于百度地图APP来说，抓取数据为人口热力图的瓦片数据，对于百度地图API/高德地图API来说，抓取数据为车辆途经道路的长度与耗时。

抓取规则：

本专利使用Request库实现对http拼接而成的URL接口的反复调用，调用过程需要使用get方法，即构造一个向服务器请求资源的Requests对象,并返回一个包含服务器资源的Response对象，抓取规则为：

1)构造一个控制器，控制器是网络爬虫的中央控制器，它主要是负责根据系统传过来的URL链接，分配一线程，然后启动线程调用爬虫爬取网页的过程；

2)人为给定一个URL作为入口，从这里开始爬取；

3)用运行队列和完成队列来保存不同状态的链接；

4)线程从运行队列读取队首URL，如果存在，则继续执行，反之则停止爬取；

5)构造一个解析器，解析器是负责网络爬虫的主要部分，其负责的工作主要有：下载网页的功能，对网页的文本进行处理，如过滤功能，抽取特殊HTML标签的功能，分析数据功能，本专利用到的解析器是Request库；

6)每处理完一个URL，将其放入完成队列，防止重复访问；

7)将网页中下载下来的数据存储在资源库中；

8)重复步骤3)、4)、5)、6)、7)。

步骤2，空间化处理：对数据进行空间化处理，包括：人口热力图分区与空间展布、道路分级处理与通行速度空间展布。

热力图分区是指当前在某一区域内人口的密集程度，其空间展布则是将人口密集程度在地图中进行用颜色变化进行展示，类似于以颜色变化表达的海拔高度图。而道路分级则是根据某一区域的道路中车辆运行的速度变化进行分级，并使用颜色在地图中予以表达，实现通行速度的空间展布。

空间化处理可以采用各种地理信息系统工具软件进行，例如可以利用ArcGIS中的各种工具对数据进行空间化处理。

步骤3，建立洪涝灾害承灾体数据集：建立不同时刻人口热力图数据集和通行速度的空间分布数据集。

人口热力图数据集：数据可以来源于一些数字地图供应商会提供基于位置的服务(LBS)，例如百度地图，这一服务通过多种定位手段，将位置呈现在百度构建的坐标系中，供人们使用。数据本身是实时回传的，也就是定位数据在不断的积累和更新，热力图可以来源于一些数字地图供应商APP中的人口热力图层，例如百度地图APP中人口热力图图层，通过放大缩小可以看到不同层级的热力图，较小的缩放级别下，热力相对集中，在较大的缩放级别下，热力会相对分散且精准到具体建筑或地块。

采集流程：由于热力图层目前只少数地图供应商的APP中有开放，多数网页版地图没有开放，也没有提供开放API供开发者使用，所以需要通过对APP数据的抓取。

通行速度的空间分布数据集：数据来源，可以采用从开源地图中获取数据的方法。

步骤4，模拟淹没过程：利用城市雨洪模型模拟洪涝淹没过程。

可以利用TELEMAC模型、MIKE URBAN模型、Inforworks模型等城市雨洪模型模拟淹没水深的空间分布。

步骤5，人口受灾模拟：根据淹没水深分布计算不同时刻热力值分区的人口受灾面积；

本步骤通过模拟洪水的淹没情况，淹没过程中的各个时刻人口密集程度进行淹没对人群分布的影响，这种分析可以有多种方式，可以采用：重采样、淹没区划分、计算受灾人口的步骤解决这个问题。

步骤6，计算暴雨洪涝时的通行速度：根据淹没水深分布计算暴雨洪涝影响下不同时刻的通行速度。

本步骤评估的是洪水淹没对行车的影响，评估的方式有多种，可以采用路网获取、OD点(起点-终点)获取、通行速度定时获取等几个步骤解决这个问题。

步骤7，分析差异：分析不同时刻洪涝灾害对于人口、交通影响的差异。

分析不同时刻洪涝灾害对于人口、交通影响的差异，根据上述计算的洪涝发生不同时刻的受灾人口面积与通行速度，对比洪涝灾害造成损失时空分布差异，具体为不同热力值区间受灾人口面积差异、通行速度差异、道路中断长度差异。

步骤8，生成动态评估结果：将分析数据汇总，生成洪涝灾害损失的动态评估结果。

根据步骤8损失差异，系统评估洪涝发生不同时刻的对于承灾体的影响程度。

实施例二：

本实施例是实施例一的改进，是实施例一关于步骤3的细化。本实施例关于步骤3中所述的人口热力图数据集采集流程包括以下子步骤：

①手机操作系统模拟器使用http协议调试代理工具进行数字地图数据抓取的操作。例如，安卓模拟器使用代理连接fiddler并进行操作。本采集流程主要针对的是手机中的操作，因此以手机操作系统为解释对象。

②分析http协议调试代理工具回传的数据。分析的内容包括：获取APP内的数据缓存文件和索引文件，筛选需要使用到的数据。

③设置采集范围的坐标、地图放大级别以及定时采集时间。

采集范围的坐标：采集范围为矩形范围，设置矩形范围的四点坐标，即矩形左下角的经纬度，右上角的经纬度；

放大级别：设置地图数据放大级别，通常为17级，也就是最大放大级别，17个放大级别的空间分辨率范围为20m——2000km；

采集时间：根据需求制定，可以为实时，可以通过定时器给定未来某时刻的时间，也可以通过定时器设置采集的间隔时间如1分钟、10分钟、30分钟等(注意：无法设定历史时刻，只能为现在及未来)

④取得数字地图供应商服务器缓存中的瓦片文件，回传保存到本地，即传到手机的缓存中。

⑤自动拼接瓦片形成完整热力图。通常情况下，一般网络版数字地图都具有瓦片自动拼接功能，因此在手机中能够自动完成拼接。

人口热力图数据的使用方法：已知采集范围及数字地图供应商所对应的坐标，程序拼接后可以转换为WGS_84坐标，方便更广泛的使用。

在图片处理工件中展示：一般情况下，一些图片处理工件具有多层显示的功能，如果想要直观的观察区域热力图，只需要将获取到的热力图与地图同时放到具有多层显示功能的图片处理软件中，如Photoshop，热力图适当调低透明度，即可完美叠合并观察。

如果需要更加专业的分析，则需要将热力图置入地理信息系统，如ArcGIS中，首先进行栅格计算器操作，之后根据需要可以进行重分类以及栅格转面的矢量化等操作，方便使用者更好的利用热力图层进行相关分析和多源使用。

实施例三：

本实施例是上述实施例的改进，是上述实施例关于步骤3的细化。本实施例所述步骤3中所述的通行速度的空间分布数据集，包括以下子步骤：

1.路网获取：采用开源地图OSM数据作为道路数据的来源，根据遥感影像资料并利用地理信息系统，例如ArcGIS工具，进行拓扑检查，修复道路通行方向和连通性，以满足研究精度的要求。

2.OD点(起点-终点)获取：根据开源地图数据的相关属性将研究区的道路划分为5类：快速路、一级路、二级路、三级路和支路，并利用地理信息系统，例如ArcGIS工具，获取每条道路的OD点的经纬坐标。

3.通行速度定时获取：通过编制定时器和设置参数，利用至少两家数字地图供应商所提供的API开放平台获得途经路段长度和相应的通行时间，并进一步的计算各个时段的通行速度，所述的参数包括：OD点经纬度、坐标类型、返回类型、AK密钥。

针对百度和高德地图，通行速度定时获取可以采用以下方式：

1)在百度地图API/高德地图API开放平台申请“Web服务API”密钥。

2)在Python程序中设置密钥、OD点的经纬度、坐标类型、返回类型等参数。

3)拼接HTTP请求URL。

4)利用Python编写定时器，每30分钟抓取一次数据，并为每次抓取的数据设置一个批次号，记录抓取时间。

5)接收HTTP请求返回的json/xml格式数路并解析，获得途经路段长度和通行时间，进一步的计算通行速度，存入数据库归档。

实施例四：

本实施例是上述实施例的改进，是上述实施例关于步骤5的细化。本实施例所述步骤5中所述的受灾模拟包括如下子步骤：

重采样：利用重采样工具，将矢量化的人口热力图与淹没水深图重采样成像元大小一致的栅格数据。

所述的重采样工具是指一些地理信息系统供应商，例如ArcGIS，在软件中所提供的重采样工具。

淹没区划分：根据淹没水深的大小划定不同的洪涝风险等级。

本实施例拟定了5个风险等级，分别为无风险(0m)、低风险(0,0.1m]、中风险(0.1m,0.5m]、高风险(0.5m,1m]、重风险(＞1m)，利用ArcGIS软件中的重分类工具将淹没水深进行重新划分，分别对应淹没风险等级1-5，其中等级1为无风险，等级5为重风险。

计算受灾人口：利用栅格计算器工具，将淹没风险分区图和人口热力图叠加，统计不同淹没风险分区下，不同热力值分区的受灾面积。

实施例五：

本实施例是上述实施例的改进，是上述实施例关于步骤6的细化。本实施例所述步骤6所述的计算暴雨洪涝时的通行速度包括如下子步骤：

1)栅格化处理：利用折线转栅格工具，根据淹没图层对道路图层进行栅格化处理，获得栅格化的通行速度图层；

所述的折线转栅格工具是指一些地理信息系统供应商，例如ArcGIS，在GIS应用软件中所提供的折线转栅格工具。

2)计算通行速度：根据速度衰减模型，利用ArcGIS软件中的栅格计算器工具计算每个栅格对应的通行速度衰减率，获得速度衰减率的栅格数据，利用ArcGIS软件中的栅格计算器工具，将速度衰减率图层与无雨条件下栅格化的通行速度图层相乘，获得洪涝影响下的通行速度：

式中，v是行车速度，km/h；v₀是该地点的设计车速，km/h；x是积水深度，cm；a是使车辆停滞的临界积水深度的中值，cm；b是衰减弹性系数，表示车速随水深衰减的速率，一般取3～5，b的取值越小则速度衰减越快。

应用实例：

前山河流域横跨中山市和珠海市，属于城镇建设密集区，流域总集水面积约为328km²，多年平均降雨量为2065mm，据资料统计，2015年流域常驻人口总数为93.74万人，地区总产值为1611.5亿元，其中第一产业产值为12.05亿元，第二产业产值为677.78亿元，第三产业产值为921.68亿元。流域属于中珠联围汇水区，由于特殊的地理位置和地形条件，常遭受台风暴潮、外江洪水和当地降雨洪水带来的洪涝灾害。为了对该区域的洪涝灾害损失进行动态评估，利用大数据技术对百度地图API中的热力图服务和路线规划服务进行了调用，建立了洪涝灾害的承灾体数据集，结合TELEMAC模型，对该区域的不同时刻洪涝损失差异进行了分析，具体操作如下：

1)受灾人口的动态评估：根据研究区域的四角坐标(左下：113.3579，22.1768；右上：113.5659，22.4343)，设置定时采集时间为1小时，采集了不同时刻的百度人口热力图(工作日/非工作日、日间/夜间)，利用ArcGIS软件中的栅格计算器及重分类工具对热力图进行了矢量化处理，结合TELEMAC模拟的50年一遇暴雨情景下的洪涝淹没水深，对不同时刻人口的受灾情况进了统计，见表1、表2。

表1 50年一遇设计暴雨下非工作日日间与夜间受灾人口统计(km²)

注：带口字体代表日间与夜间相比数值更大，带横向字体则代表更小。

表2 50年一遇设计暴雨下工作日日间与夜间受灾人口统计(km²)

注：带口字体代表日间与夜间相比数值更大，带横向字体则代表更小。

2)交通影响的动态评估：采用OSM路网数据，经修正后，利用ArcGIS工具获取每条道路的OD点经纬坐标，基于百度地图API中的路线规划服务接口，利用Python编写调用程序，设置定时采集时间为30分钟，获得不同时刻的通行距离与通行时间，计算通行速度，建立通行速度数据集，包括通行速度时间变化图和通行速度空间分布图，包括；基于TELEMAC模拟的50年一遇暴雨条件下的淹没水深，根据速度衰减模型，计算每个淹没水深栅格对应的速度衰减率，将其与无雨日通行速度的栅格数据进行相乘，获得暴雨洪涝影响下的通行速度：

式中，v是行车速度，km/h；v₀是该地点的设计车速，km/h；x是积水深度，cm；a是使车辆停滞的临界积水深度的中值，cm；b是衰减弹性系数，表示车速随水深衰减的速率，一般取3～5，b的取值越小则速度衰减越快。

许多城市规定当道路积水深度超过30cm时，就需要进行相应的警戒，甚至进行必要的交通管制。参考有关文献，本研究根据积水深度的不同，将积水深度大于30cm视为禁止通行，即道路中断。在50年一遇极端降雨的情景下，将城市洪涝淹没模拟结果与城市路网进行空间整合，获得道路中断情况(表3)和各级道路通行速度衰减情况(表4)。

表3 50年一遇暴雨情景下的各个等级道路的中断长度

表4 50年一遇暴雨情景下的各个等级道路速度减少值

最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案(比如网络采集数据集的方式、各种公式的运用、步骤的先后顺序等)进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (5)

1.一种基于多源数据的城市洪涝灾害动态评估方法，其特征在于，包括以下步骤：

步骤1，实时数据采集：对多种承灾体采用网络爬虫从至少两个数字地图供应商处进行实时数据采集；

步骤2，空间化处理：对数据进行空间化处理，包括：人口热力图分区与空间展布、道路分级处理与通行速度空间展布；

步骤3，建立洪涝灾害承灾体数据集：建立不同时刻人口热力图数据集和通行速度的空间分布数据集；

步骤4，模拟淹没过程：利用城市雨洪模型模拟洪涝淹没过程；

步骤5，人口受灾模拟：根据淹没水深分布计算不同时刻热力值分区的人口受灾面积；

步骤6，计算暴雨洪涝时的通行速度：根据淹没水深分布计算暴雨洪涝影响下不同时刻的通行速度；

步骤7，分析差异：分析不同时刻洪涝灾害对于人口、交通影响的差异；

步骤8，生成动态评估结果：将分析数据汇总，生成洪涝灾害损失的动态评估结果。

2.根据权利要求1所述的方法，其特征在于，步骤3中所述的人口热力图数据集采集流程包括以下子步骤：

①手机操作系统模拟器使用http协议调试代理工具进行数字地图数据抓取的操作；

②分析http协议调试代理工具回传的数据；

③设置采集范围的坐标、地图放大级别以及定时采集时间；

④取得数字地图供应商服务器缓存中的瓦片文件，回传保存到本地；

⑤自动拼接瓦片形成完整热力图。

3.根据权利要求1所述的方法，其特征在于，步骤3中所述的通行速度的空间分布数据集，包括以下子步骤：

路网获取：采用开源地图OSM数据作为道路数据的来源，根据遥感影像资料并利用地理信息系统，修复道路通行方向和连通性；

OD点获取：根据开源地图数据的相关属性将研究区的道路划分为5类：快速路、一级路、二级路、三级路和支路，并获取OD点经纬坐标；

通行速度定时获取：通过编制定时器和设置参数，利用至少两家数字地图供应商所提供的API开放平台获得途径路段长度及相应的通行时间，并进一步的计算各个时段的通行速度，所述的参数包括：OD点经纬度、坐标类型、返回类型、AK密钥。

4.根据权利要求1所述的方法，其特征在于，步骤5中所述的人口受灾模拟包括如下子步骤：

重采样：利用重采样工具，将矢量化的人口热力图与淹没水深图重采样成像元大小一致的栅格数据；

淹没区划分：根据淹没水深的大小划定不同的洪涝风险等级；

计算受灾人口：利用栅格计算器工具，将淹没风险分区图和人口热力图叠加，统计不同淹没风险分区下，不同热力值分区的受灾面积。

5.根据权利要求1所述的方法，其特征在于，步骤6所述的计算暴雨洪涝时的通行速度包括如下子步骤：

栅格化处理：利用折线转栅格工具，根据淹没图层对道路图层进行栅格化处理，获得栅格化的通行速度图层；

计算通行速度：根据速度衰减模型，获得洪涝影响下的通行速度：

式中，v是行车速度；v₀是该地点的设计车速；x是积水深度；a是使车辆停滞的临界积水深度的中值；b是衰减弹性系数。

Images