CN106970986B - 基于深度学习的城市内涝影响程度挖掘方法及系统 - Google Patents
基于深度学习的城市内涝影响程度挖掘方法及系统 Download PDFInfo
- Publication number
- CN106970986B CN106970986B CN201710199233.2A CN201710199233A CN106970986B CN 106970986 B CN106970986 B CN 106970986B CN 201710199233 A CN201710199233 A CN 201710199233A CN 106970986 B CN106970986 B CN 106970986B
- Authority
- CN
- China
- Prior art keywords
- waterlogging
- influence degree
- point
- data
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013135 deep learning Methods 0.000 title claims description 20
- 238000012549 training Methods 0.000 claims abstract description 64
- 238000012360 testing method Methods 0.000 claims abstract description 35
- 239000000284 extract Substances 0.000 claims abstract description 17
- 238000011156 evaluation Methods 0.000 claims abstract description 13
- 239000012141 concentrate Substances 0.000 claims abstract description 6
- 238000012797 qualification Methods 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 241001269238 Data Species 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 5
- 238000007619 statistical method Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000011218 segmentation Effects 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 28
- 238000010606 normalization Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000005065 mining Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Biophysics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出一种基于聚类的点云分割方法及系统，包括在城市大数据中提取与内涝点影响程度相关的空间数据，分为训练样本集和测试样本集；利用内涝影响程度综合评价指标，判定内涝点的影响程度等级，作为标签；构建栈式自编码网络，利用训练样本集中训练样本及相应标签对栈式自编码网络进行训练；对于测试样本集提取特征数据，并将数据输入训练完成的栈式自编码网络，计算测试样本内涝点影响程度等级，并对训练完成的栈式自编码网络进行精度评定，当精度合格时根据所得栈式自编码网络，对潜在内涝点影响等级进行预测。本发明实现了内涝对居民工作生活影响程度的预测，将内涝点影响程度分级显示，具有重要的经济指导意义，能够提供重要的市场价值。
Description
技术领域
本发明属于数据挖掘技术领域，涉及一种基于深度学习的城市内涝影响程度挖掘方法及系统。
背景技术
近年来，由于夏季暴雨频繁出现和城市地区不透水率增加，城市地区内涝现象时有发生，内涝的影响不仅仅体现在居民工作生活上，还体现在物资运输、物资短缺等方面，而这些不利影响正是城市管理部门想要快速解决的。但是，由于城市内涝点较多，而城市相关部门能配置的紧急物资和人力资源均有限，因此，提前了解各个内涝点不同的影响程度，在政府管理部门人才、资金的调度以及内涝灾害防治长期规划方面中是必不可少的。然而，内涝点的影响程度是一个定性指标，一般情况下只能定性判断，那么，如何定量描述和预测各内涝点影响程度显得尤为重要。
随着大数据时代的到来，如何在众多数据中找到与研究相关的数据，并挖掘出数据内部的深层联系，已成为大数据研究应用中至关重要的一部分。目前，我国大多数城市都已建立基础数据库，该数据库中不仅仅包含经济、人口数据信息，还包含了城市的地理空间数据信息。在城市内涝频繁发生的情况下，想要分析并预测每个内涝点的影响程度，关键在于提取该范围内与影响程度相关的空间特征数据，以及挖掘出特征数据内部的深层联系。考虑到内涝点的影响只局限于一定区域，因此，在统计提取与内涝影响程度相关的空间数据方面，可根据城市汇水区限定一定的范围，再根据内涝点周围的居住环境信息，对每一类空间数据进行统计并作为该内涝点的特征之一。
深度学习是机器学习领域的一个新的分支，它是由人工神经网络不断发展形成的，是一个包含多层次的复杂学习结构。深度学习的目的是通过对底层特征的层次学习和组合，得到更为深层意义、更加抽象的高层特征。目前，深度学习在语音、图像和自然语言处理方向上已经得到了广泛的应用，并取得了较好的成绩。在内涝点影响程度挖掘分析中，与内涝点影响程度相关的空间特征数据较多，数据量较大，同时，数据间的关系较为复杂。因此，想要从特征学习的方面挖掘出更多特征之间隐藏的深层次的内在联系，深度学习是不可或缺的一部分。
在内涝点影响程度挖掘研究中，想建立多个复杂特征数据与影响程度的联系，则需要在多层神经网络的基础上，提取特征数据内部特征。同时，为了提高内涝影响程度预测精度，可将神经网络与softmax分类器结合，利用softmax的多分类功能分级表示影响程度。通过自编码算法，网络将从第一层开始自编码训练，每一层学习到的隐藏特征作为下一层的输入，然后下一层再进行自编码训练，对每层网络都进行逐层无监督训练，可达到提取输入数据特征的目的。栈式自编码网络是在自编码算法无监督训练完成的基础上，进一步进行有监督微调。根据已有的训练样本标签，结合微调算法，不断调整模型参数，使得模型计算结果与标签一致。在栈式自编码网络完成监督训练的情况下，输入测试样本集，可得到测试样本影响程度的预测值。通过比较测试样本预测值与标签值之间的差异，可以计算出训练完成的栈式自编码网络精度。在网络模型精度较高的情况下，可以输入其他潜在内涝点的特征数据，从而进行潜在内涝点的影响等级预测。
发明内容
针对现有技术的不足，本发明提供一种利用栈式自编码网络模型，挖掘出内涝点影响程度及其相关空间数据之间深层关联的技术方案，快速地构建相关数据内部的关联模型，并有效地挖掘出潜在内涝点影响程度等级。
为实现上述目的，本发明的技术方案提供一种基于深度学习的城市内涝影响程度挖掘方法，包括以下步骤，
步骤a，在城市大数据中提取与内涝点影响程度相关的空间数据，分为训练样本集和测试样本集；
步骤b，根据提取的各类空间数据，利用内涝影响程度综合评价指标，判定内涝点的影响程度等级，作为标签；
步骤c，构建栈式自编码网络，利用训练样本集中训练样本及相应标签对栈式自编码网络进行训练；
步骤d，对于测试样本集，以步骤b的方式提取特征数据，并将数据输入步骤c中训练完成的栈式自编码网络，计算测试样本内涝点影响程度等级，并对训练完成的栈式自编码网络进行精度评定，当精度合格时根据所得栈式自编码网络，对潜在内涝点影响等级进行预测。
而且，所述步骤a中，考虑到内涝点的区域影响效应，在统计提取与内涝影响程度相关的空间数据方面，根据城市汇水区限定一定的范围，逐步统计此范围内每一类空间数据，并将其作为内涝点特征输入数据之一。
而且，所述步骤b中，对不同类空间特征数据进行归一化处理；考虑到步骤c中分类效果和结果输出形式，将影响程度定为若干等级，利用内涝影响程度综合评价指标，判定每一个内涝点的影响程度等级，并将其作为样本标签。
而且，所述步骤c中，构建含有多个隐含层的自编码网络，通过自编码算法，网络将从第一层开始自编码训练，每一层学习到的隐藏特征作为下一层的输入，然后下一层再进行自编码训练，通过逐层的无监督训练，实现输入数据的特征提取。
而且，所述步骤c中，构建两个隐含层的自编码网络，将第二层特征输出作为分类器的输入，并利用softmax分类器进行分类，分类结果形式与样本标签相同，均为正整数。
而且，所述步骤c中，采用微调算法对栈式自编码网络进行参数训练；损失函数为：
Loss＝∑p(output(p)-label(p))2 (1)
其中，p是内涝点的空间特征输入数据，output(p)为栈式自编码网络计算出的内涝点影响等级输出值，label(p)为点p所属的真实类别标签，训练网络参数使得(1)中的损失函数Loss达到极小。
而且，所述步骤d中，通过比较每个测试样本内涝点的网络预测值及其真实标签是否相等，计算出训练完成的栈式自编码网络精度。
而且，所述步骤d中，当模型精度达到要求时，通过众源信息平台发布的历年内涝点分布信息，确定潜在内涝点的地理位置；按照步骤a中的空间数据统计方法，提取潜在内涝点的模型输入数据，并通过高精度的栈式自编码网络模型，实现潜在内涝点影响等级的预测。
本发明相应提供一种基于深度学习的城市内涝影响程度挖掘系统，包括以下模块，
第一模块，用于在城市大数据中提取与内涝点影响程度相关的空间数据，分为训练样本集和测试样本集；
第二模块，用于根据提取的各类空间数据，利用内涝影响程度综合评价指标，判定内涝点的影响程度等级，作为标签；
第三模块，用于构建栈式自编码网络，利用训练样本集中训练样本及相应标签对栈式自编码网络进行训练；
第四模块，用对于测试样本集，以第二模块的工作方式提取特征数据，并将数据输入第三模块中训练完成的栈式自编码网络，计算测试样本内涝点影响程度等级，并对训练完成的栈式自编码网络进行精度评定，当精度合格时根据所得栈式自编码网络，对潜在内涝点影响等级进行预测。
本发明提供的技术方案的有益效果为：
(1)引入了栈式自编码网络模型，挖掘出内涝影响程度与内涝点空间数据间的深层联系，实现内涝对居民工作生活影响程度的预测；
(2)实现了基于深度学习的城市内涝影响程度挖掘方案的构建，将内涝点影响程度分级显示，为城市决策部门的内涝灾害防治工作提供参考，具有重要的经济指导意义，能够提供重要的市场价值。
附图说明
图1为本发明实施例的流程图。
图2为本发明实施例中栈式自编码网络结构示意图。
图3为本发明实施例的层次模型结构图。
具体实施方式
本发明提出的基于深度学习的城市内涝影响程度挖掘方法和系统先对数据库中与内涝影响程度相关的空间数据类型进行统计分析，根据城市汇水区限定一定的范围，并提取每类空间数据在该范围内的数值之和，每类空间数据归一化处理后，均作为内涝点的空间特征输入数据之一。然后根据层次分析法的方法原理，确定每个层次模型的判断矩阵，通过矩阵特征向量的计算，可以得到每类空间数据对内涝影响程度的权重，再结合归一化空间数据具体数值，综合评定每一内涝点对周围居民工作生活的影响程度等级。每一个内涝点均可看作一个样本，每个样本包括了内涝影响等级相关的特征输入数据及其影响等级标签。接着，通过栈式自编码网络结合微调算法，利用训练样本对栈式自编码网络进行监督训练。对于训练完成的栈式自编码网络，输入测试样本数据，得到测试样本内涝影响等级输出值，通过测试样本的输出值及其标签值的对比结果，评价训练完成的栈式自编码网络模型精度。其中主要包括内涝点特征数据提取、标签评定、栈式自编码网络训练过程。
为详细说明本发明技术方案，参见图1，实施例流程如下：
步骤a，内涝点影响程度的相关特征数据提取：在城市大数据中寻找与已知内涝点影响程度相关的空间数据并提取，分为训练样本集和测试样本集。考虑到内涝点的影响只局限于一定区域，因此，在统计提取与内涝影响程度相关的空间数据方面，可根据城市汇水区限定一定的范围，逐步统计此范围内每一类空间数据，并作为内涝点特征输入数据。具体实施时，本领域技术人员可预设范围。
具体内容包括：准备训练样本集和测试样本集需要的空间数据，数据主要来源于城市已有的时空大数据；分析数据库中所有与内涝对居民工作生活影响程度相关的空间数据，并进行数据统计提取；归一化处理已提取的每一类空间数据，将其作为内涝点的特征输入数据。
根据城市建设数据库的差异，具体的内涝影响程度相关因素类别可调整，本实施例对武汉市数据库中已有的相关数据进行筛选，主要考虑内涝点一定范围交通网、企业、商业服务、教育机构、居住面积等方面的相关数据对内涝点影响等级的影响,汇总结果见下表：
表1实施例内涝影响程度相关数据类别列举表
具体实施时，可以预先采集内涝点影响程度的相关特征数据。
步骤b，标签评定：由于不同类型空间数据间的量纲不同，所以需对不同类空间特征数据进行归一化处理。根据提取的各类空间数据，利用层次分析法，确定每个层次模型的判断矩阵，通过矩阵特征向量的计算，获得每类空间数据对于影响程度的权重，并结合每个内涝点归一化数值，综合评价每个内涝点影响程度，并将该结果作为标签。不同数据库统计的相关空间数据类别会存在差异，层次分析法的层次模型和权重值将有所不同，可根据实际情况调整。
具体实现包括：根据空间数据的层次关系构建层次模型；两两比较每个层次模型的下层元素对上层元素的重要程度，构建判断矩阵；求解判断矩阵最大特征值对应的特征向量，并进行矩阵的一致性检验；计算每类空间数据对于影响程度的权重，确定标签值。
实施例的实现如下：
(1)层次模型构建：在实施例中，表1的21类相关数据分为7类，包括居住相关B1(房屋面积C11)、教育辅助B2(图书馆C21、博物馆C22、文物保护单位C23)、学校面积B3(小学C31、中学C32)、车站B4(公交C41、汽车C42、火车C43、地铁C44)、交通道路B5(桥类C51、主干道C52、次干道C53、乡村内部路C54、小路支路C55)、服务设施B6(服务中心C61、停车场C62、快递点C63、医疗C64)、企业相关B7(企业数量C71)。上述分类方式可以得到8个层次模型，即内涝影响程度到中间层的层次模型(A-Bm)和中间层到底层的层次模型(Bm-Cmn)，详细的层次模型结构示意图可参见图3。
(2)判断矩阵的确定：在实施例中，每一个层次模型对应一个判断矩阵，所以实例中包括一个A-Bm的判断矩阵和7个Bm-Cmn的判断矩阵。每个判断矩阵均为方阵，其维数是由层次模型子元素的个数决定。判断矩阵中的每个具体数值代表着两个子元素相比的重要性，具体的优选确定规则见表2。具体实施时，本领域技术人员可根据具体情况设定合理的判断矩阵元素值。
表2判断矩阵的确定规则
(3)判断矩阵求解：对每个判断矩阵求解最大特征值对应的特征向量，向量归一化后可作为每一子元素相对于上层元素的权重结果。为保证判断矩阵构造的合理性，需要计算一致性检验指标CI。
CI＝(λmax–n)/(n‐1) (1)
其中，λmax是判断矩阵的最大特征根，n是判断矩阵维数。由于判断矩阵阶数n越大，
其CI值就越大。为了度量不同阶判断矩阵的一致性，引入了判断矩阵的平均随机一致性指标RI，RI值通常通过查表获取，如表3所示。
表3 RI值
在获取判断矩阵的CI和RI值后，通过CI和RI的比值可计算出随机一致性比例CR，当CR的值小于0.1时，认为该判断矩阵的构造合理，通过了一致性检验。
(4)获取标签：在实施例中，判断矩阵均通过一致性检验。由每个判断矩阵的特征向量归一化结果，可以得到子元素相对于其上层元素的权重(B-A，C-B)。利用权重乘积可以计算出21类相关空间数据对于影响程度的权重(C-A)，实施例权重计算结果如下表所示。
表4层次分析法权重结果
实施例中，根据每类空间数据对内涝影响程度的权重，结合每类空间数据归一化数值，计算每个内涝点的影响程度数值。考虑到步骤c中分类效果和结果输出形式，根据数值大小将影响程度用1—10的自然数表示，该结果直接作为内涝点影响程度标签，例如：0—0.1标签为1，0.1—0.2标签为2，0.9—1.0标签为10。
步骤c，栈式自编码网络构建及训练：构建含有多个隐含层的栈式自编码网络，根据自编码算法原理，网络将从第一层开始自编码训练，每一层学习到的隐藏特征作为下一层的输入，逐步对每层网络进行无监督训练，从而得到栈式自编码网络模型的初始参数。利用训练样本数据和网络模型初始参数，可以计算出训练样本的分类结果，由于分类结果与训练样本标签之间会存在较大差异，因此，还需要采用微调算法对网络参数进行整体调整。损失函数为：
Loss＝∑p(output(p)-label(p))2 (2)
其中，p是内涝点的空间特征输入数据，output(p)为栈式自编码网络计算出的内涝点影响等级输出值，label(p)为点p所属的真实类别标签，训练网络参数使得(2)中的损失函数Loss达到极小。
实施例是构建包含两个隐含层的栈式自编码网络，所构建的网络结构如图2中所示，21个相关数据类别决定输入层数为21，输出层层数由softmax分类器的分类数目决定，两个隐含层层数是隐藏特征的数量，其层数在模型中可自由调整。
步骤d，模型精度评定及影响程度预测：在训练完成的栈式自编码网络中输入测试样本数据，通过比较每个测试样本内涝点的预测值及其标签值是否相等，计算出训练完成的栈式自编码网络精度。在精度可靠的情况下，可将模型同样用于其他数据，获得相应内涝点影响等级输出值。
具体实施时，可由本领域技术人员采用计算机软件技术实现以上流程的自动运行，还可以采用模块化方式提供相应系统。本发明实施例提供一种基于深度学习的城市内涝影响程度挖掘系统，包括以下模块，
第一模块，用于在城市大数据中提取与内涝点影响程度相关的空间数据，分为训练样本集和测试样本集；
第二模块，用于根据提取的各类空间数据，利用内涝影响程度综合评价指标，判定内涝点的影响程度等级，作为标签；
第三模块，用于构建栈式自编码网络，利用训练样本集中训练样本及相应标签对栈式自编码网络进行训练；
第四模块，用对于测试样本集，以第二模块的工作方式提取特征数据，并将数据输入第三模块中训练完成的栈式自编码网络，计算测试样本内涝点影响程度等级，并对训练完成的栈式自编码网络进行精度评定，当精度合格时根据所得栈式自编码网络，对潜在内涝点影响等级进行预测。
各模块实现可参见相应步骤，本发明不予赘述。
具体实施时，本领域技术人员还可以提供相应应用软件系统，以便于供用户使用。首先，通过已知城市内涝点的分布建立缓冲区，并根据城市大数据，提取内涝点缓冲区内的交通网、企业、商业服务、教育机构、居住面积等土地利用信息；然后，利用城市内涝影响程度综合评价指标，评判出已有内涝点对周围居民工作生活影响程度等级，并制成标签；随后，将内涝点特征数据及标签作为深度学习模型的输入，进行训练，挖掘城市内涝对居民工作生活影响程度与内涝点周围环境因素的深层联系，并应用于其他潜在内涝点对居民工作生活影响等级的预测。训练完成后，利用测试样本内涝点进行模型精度的评定和验证，最后，利用上述的深度学习算法原理，构建出城市内涝影响程度挖掘系统。通过在系统中给定训练样本输入数据和训练样本标签数据文件，并输入栈式自编码网络模型结构参数，进行模型训练。在模型训练过程完成后，输入测试样本，系统将对模型精度进行评价，并绘制测试样本输出与标签的对比分析图。实现利用城市大数据，提取出与内涝点影响程度等级相关的周围环境数据，并利用深度学习模型，挖掘出潜在内涝点周围环境数据和内涝对居民工作生活影响程度等级之间的关系，并构建出城市内涝影响程度挖掘分析软件系统。
这样软件系统可提供包括数据输入、栈式自编码网络结构相关参数设定、模型构建、精度评定、绘图等功能。在训练完成的栈式自编码精度较高的情况下，可以通过互联网众源信息，找到城市潜在内涝点，并对潜在内涝点的影响等级进行预测。具体使用时，可通过众源信息平台发布的历年内涝点分布信息，确定潜在内涝点的地理位置；按照步骤a中的空间数据统计方法，提取潜在内涝点的模型输入数据，并通过高精度的栈式自编码网络模型，实现潜在内涝点影响等级的预测。
以下通过实验来验证本发明的有效性：
实验采用2016年武汉市165个内涝点及内涝点影响程度相关的21类空间特征数据为例，在构建完成的系统中进行城市内涝影响程度的挖掘分析。
本实验中，系统随机选择了165个内涝点中的7/10作为训练样本，剩下的作为测试样本。每一个样本包括了序列号、标签及其归一化后的21类特征数据。接着，通过输入两层隐含层中提取特征数目的参数，可以确定栈式自编码网络结构，这里，设定第一层隐含层特征数量为21，第二层隐含层为18。系统利用选择的训练样本对网络进行训练，同时，利用测试样本评定模型精度。最后，系统通过绘图功能，显示测试样本影响等级预测值与影响等级标签值之间的差异。
通过上述操作，实验最终获得的模型精度达到95.9184％，模型精度很高，通过绘图可看到，测试样本模型输出结果与测试样本标签之间基本重合，只有极个别存在微小差异，说明训练的栈式自编码网络模型能够很好地用于城市内涝对周围居民工作生活影响程度的挖掘分析工作中。
根据武汉市众源数据发布平台，可以确定5个潜在内涝点位置信息，通过上述内涝点影响程度的相关数据采集方法，采集这5个潜在内涝点的21类特征输入数据，并归一化。将上述潜在内涝点特征数据输入到高精度栈式自编码网络模型中，系统可预测出每个潜在内涝点对居民工作生活的影响程度等级，结果如表5。
表5潜在内涝点影响程度相关数据归一化成果表
以上内容是结合最佳实施方案对本发明所做的进一步详细说明，不能认定本发明的具体实施只限于这些说明。本领域的技术人员应能理解，在不脱离由所附权利要求书限定的情况下，可以在细节上进行各种修改，都应当视为本发明的保护范围。
Claims (7)
1.一种基于深度学习的城市内涝影响程度挖掘方法，其特征在于：包括以下步骤，
步骤a，在城市大数据中提取与内涝点影响程度相关的空间数据，分为训练样本集和测试样本集；
所述步骤a中，考虑到内涝点的区域影响效应，在统计提取与内涝影响程度相关的空间数据方面，根据城市汇水区限定一定的范围，逐步统计此范围内每一类空间数据，并将其作为内涝点特征输入数据之一；
步骤b，根据提取的各类空间数据，利用内涝影响程度综合评价指标，判定内涝点的影响程度等级，作为标签；
所述步骤b中，对不同类空间特征数据进行归一化处理；考虑到步骤c中分类效果和结果输出形式，将影响程度定为若干等级，利用内涝影响程度综合评价指标，判定每一个内涝点的影响程度等级，并将其作为样本标签；
步骤c，构建栈式自编码网络，利用训练样本集中训练样本及相应标签对栈式自编码网络进行训练；
步骤d，对于测试样本集，以步骤b的方式提取特征数据，并将数据输入步骤c中训练完成的栈式自编码网络，计算测试样本内涝点影响程度等级，并对训练完成的栈式自编码网络进行精度评定，当精度合格时根据所得栈式自编码网络，对潜在内涝点影响等级进行预测。
2.根据权利要求1或所述的基于深度学习的城市内涝影响程度挖掘方法，其特征在于：所述步骤c中，构建含有多个隐含层的自编码网络，通过自编码算法，网络将从第一层开始自编码训练，每一层学习到的隐藏特征作为下一层的输入，然后下一层再进行自编码训练，通过逐层的无监督训练，实现输入数据的特征提取。
3.根据权利要求2所述的基于深度学习的城市内涝影响程度挖掘方法，其特征在于：所述步骤c中，构建两个隐含层的自编码网络，将第二层特征输出作为分类器的输入，并利用softmax分类器进行分类，分类结果形式与样本标签相同，均为正整数。
4.根据权利要求3所述的基于深度学习的城市内涝影响程度挖掘方法，其特征在于：所述步骤c中，采用微调算法对栈式自编码网络进行参数训练；损失函数为：
Loss＝∑p(output(p)-label(p))2 (1)
其中，p是内涝点的空间特征输入数据，output(p)为栈式自编码网络计算出的内涝点影响等级输出值，label(p)为点p所属的真实类别标签，训练网络参数使得(1)中的损失函数Loss达到极小。
5.根据权利要求4所述的基于深度学习的城市内涝影响程度挖掘方法，其特征在于：所述步骤d中，通过比较每个测试样本内涝点的网络预测值及其真实标签是否相等，计算出训练完成的栈式自编码网络精度。
6.根据权利要求5所述的基于深度学习的城市内涝影响程度挖掘方法，其特征在于：所述步骤d中，当模型精度达到要求时，通过众源信息平台发布的历年内涝点分布信息，确定潜在内涝点的地理位置；按照步骤a中的空间数据统计方法，提取潜在内涝点的模型输入数据，并通过高精度的栈式自编码网络模型，实现潜在内涝点影响等级的预测。
7.一种基于深度学习的城市内涝影响程度挖掘系统，其特征在于：包括以下模块，
第一模块，用于在城市大数据中提取与内涝点影响程度相关的空间数据，分为训练样本集和测试样本集；
在第一模块工作过程中，考虑到内涝点的区域影响效应，在统计提取与内涝影响程度相关的空间数据方面，根据城市汇水区限定一定的范围，逐步统计此范围内每一类空间数据，并将其作为内涝点特征输入数据之一；
第二模块，用于根据提取的各类空间数据，利用内涝影响程度综合评价指标，判定内涝点的影响程度等级，作为标签；
在第二模块工作过程中，对不同类空间特征数据进行归一化处理；考虑到步骤c中分类效果和结果输出形式，将影响程度定为若干等级，利用内涝影响程度综合评价指标，判定每一个内涝点的影响程度等级，并将其作为样本标签；
第三模块，用于构建栈式自编码网络，利用训练样本集中训练样本及相应标签对栈式自编码网络进行训练；
第四模块，用对于测试样本集，以第二模块的工作方式提取特征数据，并将数据输入第三模块中训练完成的栈式自编码网络，计算测试样本内涝点影响程度等级，并对训练完成的栈式自编码网络进行精度评定，当精度合格时根据所得栈式自编码网络，对潜在内涝点影响等级进行预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710199233.2A CN106970986B (zh) | 2017-03-29 | 2017-03-29 | 基于深度学习的城市内涝影响程度挖掘方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710199233.2A CN106970986B (zh) | 2017-03-29 | 2017-03-29 | 基于深度学习的城市内涝影响程度挖掘方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106970986A CN106970986A (zh) | 2017-07-21 |
| CN106970986B true CN106970986B (zh) | 2019-10-15 |
Family
ID=59335763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710199233.2A Active CN106970986B (zh) | 2017-03-29 | 2017-03-29 | 基于深度学习的城市内涝影响程度挖掘方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106970986B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107656325B (zh) * | 2017-11-10 | 2023-01-10 | 北京瀚禹信息科技有限公司 | 一种城市内涝自动预警系统及预警方法 |
| CN109033561A (zh) * | 2018-07-05 | 2018-12-18 | 平安煤炭开采工程技术研究院有限责任公司 | 矿井通风系统抗灾能力评价方法及装置 |
| CN109816040B (zh) * | 2019-02-01 | 2022-10-14 | 四创科技有限公司 | 基于深度学习的城市内涝水深检测的方法 |
| CN109919372A (zh) * | 2019-02-28 | 2019-06-21 | 武汉大学 | 一种基于全时空的城市暴雨积水评估建模方法 |
| CN110738355B (zh) * | 2019-09-19 | 2023-07-04 | 河源职业技术学院 | 一种基于神经网络的城市内涝预测方法 |
| CN112417148A (zh) * | 2020-11-11 | 2021-02-26 | 北京京航计算通讯研究所 | 一种城市内涝舆情结果获得方法及装置 |
| CN112528563B (zh) * | 2020-12-08 | 2024-04-19 | 丹华水利环境技术(上海)有限公司 | 一种基于svm算法的城市内涝预警方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103279671A (zh) * | 2013-06-03 | 2013-09-04 | 南京大学 | 基于rbf神经网络-云模型的城市水灾害风险预测方法 |
| CN103955702A (zh) * | 2014-04-18 | 2014-07-30 | 西安电子科技大学 | 基于深度rbf网络的sar图像地物分类方法 |
| CN105913081A (zh) * | 2016-04-08 | 2016-08-31 | 西安电子科技大学 | 基于改进的PCAnet的SAR图像分类方法 |
-
2017
- 2017-03-29 CN CN201710199233.2A patent/CN106970986B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103279671A (zh) * | 2013-06-03 | 2013-09-04 | 南京大学 | 基于rbf神经网络-云模型的城市水灾害风险预测方法 |
| CN103955702A (zh) * | 2014-04-18 | 2014-07-30 | 西安电子科技大学 | 基于深度rbf网络的sar图像地物分类方法 |
| CN105913081A (zh) * | 2016-04-08 | 2016-08-31 | 西安电子科技大学 | 基于改进的PCAnet的SAR图像分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| 东莞市内涝预报模型研究;陈洋波 等;《武汉大学学报(工学版)》;20151001;第48卷(第5期);第608-614页，第1-3节 * |
| 北京城区内涝的空间分布特征研究及风险分析;查力;《中国优秀硕士学位论文全文数据库 基础科学辑》;20141015(第10(2014)期);第A008-43页 * |
| 城市自然灾害风险评估与实证研究;尹占娥;《中国博士学位论文全文数据库 工程科技Ⅰ辑》;20091215(第12(2009)期);第B026-2页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106970986A (zh) | 2017-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106970986B (zh) | 基于深度学习的城市内涝影响程度挖掘方法及系统 | |
| Foroozesh et al. | Assessment of sustainable urban development based on a hybrid decision-making approach: Group fuzzy BWM, AHP, and TOPSIS–GIS | |
| Tang et al. | Flood susceptibility assessment based on a novel random Naïve Bayes method: A comparison between different factor discretization methods | |
| Chakraborti et al. | A neural network and landscape metrics to propose a flexible urban growth boundary: A case study | |
| Eghtesadifard et al. | An integrated approach to the selection of municipal solid waste landfills through GIS, K-Means and multi-criteria decision analysis | |
| Musa et al. | A review of geospatial-based urban growth models and modelling initiatives | |
| Tayyebi et al. | An urban growth boundary model using neural networks, GIS and radial parameterization: An application to Tehran, Iran | |
| CN108280553A (zh) | 基于gis-神经网络集成的山洪灾害风险区划及预测方法 | |
| Hu et al. | A modified particle swarm optimization algorithm for optimal allocation of earthquake emergency shelters | |
| Kantakumar et al. | SUSM: a scenario-based urban growth simulation model using remote sensing data | |
| Tang et al. | Evaluating landslide susceptibility based on cluster analysis, probabilistic methods, and artificial neural networks | |
| Song et al. | Developing sustainable road infrastructure performance indicators using a model-driven fuzzy spatial multi-criteria decision making method | |
| Xing et al. | Large-scale landslide susceptibility mapping using an integrated machine learning model: A case study in the Lvliang mountains of China | |
| CN110188209A (zh) | 基于层次标签的跨模态哈希模型构建方法、搜索方法及装置 | |
| CN104881689A (zh) | 一种多标签主动学习分类方法及系统 | |
| CN103839183A (zh) | 智能授信方法及智能授信装置 | |
| Ranjbar et al. | A GIS-based approach for earthquake loss estimation based on the immediate extraction of damaged buildings | |
| Rodrigues et al. | Automatic classification of points-of-interest for land-use analysis | |
| CN111797188B (zh) | 一种基于开源地理空间矢量数据的城市功能区定量识别方法 | |
| Pourghasemi et al. | Flood, landslides, forest fire, and earthquake susceptibility maps using machine learning techniques and their combination | |
| CN104318515A (zh) | 基于nnia进化算法的高光谱图像波段降维方法 | |
| CN117274650A (zh) | 基于遥感-众源语义深度聚类的城市功能区识别方法 | |
| Bui et al. | Landslide susceptibility prediction mapping with advanced ensemble models: Son La province, Vietnam | |
| Shafie et al. | Modeling land use/cover change based on LCM model for a semi-arid area in the Latian Dam Watershed (Iran) | |
| Jian et al. | CA-based urban land use prediction model: A case study on orange county, Florida, US |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |