CN113256019A - 一种基于无监督表征学习的地质灾害隐患敏感性预测方法 - Google Patents
一种基于无监督表征学习的地质灾害隐患敏感性预测方法 Download PDFInfo
- Publication number
- CN113256019A CN113256019A CN202110658121.5A CN202110658121A CN113256019A CN 113256019 A CN113256019 A CN 113256019A CN 202110658121 A CN202110658121 A CN 202110658121A CN 113256019 A CN113256019 A CN 113256019A
- Authority
- CN
- China
- Prior art keywords
- data
- disaster
- training
- model
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000035945 sensitivity Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012512 characterization method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 50
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 238000010206 sensitivity analysis Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 34
- 238000011156 evaluation Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 7
- 238000011160 research Methods 0.000 claims description 7
- 230000006978 adaptation Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 4
- 238000013508 migration Methods 0.000 claims description 4
- 230000005012 migration Effects 0.000 claims description 4
- 230000008485 antagonism Effects 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 3
- 239000004927 clay Substances 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 238000013075 data extraction Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 238000004162 soil erosion Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000011835 investigation Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 5
- 230000003042 antagnostic effect Effects 0.000 abstract description 2
- 238000013526 transfer learning Methods 0.000 abstract description 2
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013530 stochastic neural network Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Marketing (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Development Economics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Primary Health Care (AREA)
- Educational Administration (AREA)
- Remote Sensing (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于无监督表征学习的地质灾害隐患敏感性预测方法，包括以下步骤：步骤1，训练区数据特征提取；步骤2，无监督表征学习机制构建；步骤3，地灾敏感性分析模型训练；步骤4，地灾敏感性预测评估。本发明的模型生成部分由两个玻尔兹曼机（RBMs）和一个去噪自动编码机（DAE）堆叠而成，并由逐层贪婪预训练方法初始化。然后，提出一种基于对抗机制的迁移学习策略提高孕灾环境知识的可迁移性。基于以上两个表征学习过程，最后应用元学习思想训练一种适于小样本学习的通用中间模型。同时，模型的元训练过程时保证了小样本学习模型的预测精度，实现了区域局部的精准快速预测，并提升了模型对新任务场景的泛化性。
Description
技术领域
本发明属于地理空间数据处理技术领域，特别涉及一种基于无监督表征学习的地质灾害隐患敏感性预测方法。
背景技术
我国地灾危害涵盖范围广，孕灾环境复杂，潜在隐患威胁着国家重大建设项目实施安全，精准评估广域范围滑坡易滑性，变“被动救灾避灾”为“主动防灾减灾”是国家重大项目全生命周期建设亟需克服的难题！滑坡敏感图(LSM)等方法评估了研究区域每一个位置上发生地灾的可能性高低，对风险识别和防控具有重要借鉴意义。近十年，数据驱动方法在地灾敏感性分析方面逐渐崭露头角，但在面对复杂广域滑坡场景任务时，仍面临数据获取不全、质量差、标记不准确、孕灾环境知识可迁移性差等问题。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于无监督表征学习的地质灾害隐患敏感性预测方法。
为了实现上述发明的目的，本发明采用以下技术方案：
一种基于无监督表征学习的地质灾害隐患敏感性预测方法，包括以下步骤：
步骤1，训练区数据特征提取：执行训练区原始地灾数据预处理，提取致灾因子，构成未标记样本向量；
步骤2，无监督表征学习机制构建：以未标记样本向量代入受限玻尔兹曼机并在深度玻尔兹曼机中进行训练，将训练完成的转换结果输入去噪的自动编码器，通过部分破坏输入数据，重构数据的学习表示，构建可迁移特征学习模块；
步骤3，地灾敏感性分析模型训练：耦合可迁移特征学习模块与回归模块构建模型并输入部分标记数据训练，对不可见数据进行微调和适应，输出地灾敏感性预测模型；
步骤4，地灾敏感性预测评估：将测评区域栅格化，采集样本向量，将交叉熵定义为判别模型的目标函数，该函数测量训练标签与模型分布之间的接近度，并将输入向量转置到softmax分类器函数中输出预测地灾敏感性图谱，最终获得测评区地灾敏感性预测结果。
作为优选方案：所述步骤1中包括以下子步骤：
步骤1.1，训练区原始地灾数据预处理：
步骤1.1.1，原始数据的矢量化和其他资料数据的录入：将不同比例尺的地质图、地形图数据矢量化；对野外勘察报告、典型地质灾害监测报告文件资料中对研究区内的地质灾害体基本信息进行数据提取和综合分析，并最终将结果录入到研究区地质灾害分布文件中；
步骤1.1.2，GIS软件的选择和数据导入：在准备完成GIS软件分析所需的多源数据后，选择ArcGIS软件作为最终的多源数据整合GIS平台；
步骤1.1.3，建立统一坐标系：多源数据的原始数据的坐标系统并不统一，选择西安80坐标系作为标准坐标系，并在ArcGIS软件环境下，对所有数据赋以西安80坐标系，使坐标系统得到统一；
步骤1.1.4，数据校正和配准：对导入到ArcGIS软件中的多源数据进行数据校正和拼接，以消除由于数据形变和位置偏移所造成的数据错误，并以经过相关遥感图像处理软件进行遥感数据预处理操作的遥感影像为本底数据，进行多源数据的校正与配准，保证多源数据中同名点的空间位置一致性；
步骤1.1.5，数据格式转换：多源数据在GIS平台上的最终数据格式采用栅格数据，将经过上述步骤处理的多源数据矢量数据利用ArcGIS软件提供的数据转换功能转换为栅格数据，并选择一种格式作为数据组织的标准格式；
步骤1.1.6，多源数据叠加选择：在完成了多源数据格式转换和重采样工作之后，选择相应的多源数据集合，实现多源数据叠加，为后续多尺度下地质灾害隐患提取模型的建立提供数据支持；
步骤1.2，提取致灾因子，由致灾因子构成未标记样本向量：收集点位清单，包括已发生和可能发生地灾的地点，对于每个危险位置，要考虑可能导致地灾发生的因素，这些因素包括敏感性等级、土地利用、地层、数字高程模型、坡向、坡度、曲率、归一化植被指数、砂分布、粘土分布、泥沙分布、植被、土壤侵蚀、地形湿度指数、河流功率指数以及到排水的距离和到道路的距离。
作为优选方案：所述步骤2中，无监督表征学习机制构建包括以下子步骤：
步骤2.1，多层RBM训练：受限玻尔兹曼机是一种由两层结构组成的随机神经网络，m和n为可见层和隐含层单元数；v表示输入可见单位的状态向量，h表示推断隐藏单位的状态向量；a，b分别表示可见单元和隐藏单元的偏差；w表示权重矩阵，并引入了一个基于能量的模式来描述状态v，h的联合概率分布，如下所示：
下式给出训练目标，它的目的是最大化给定样本集
：
模型参数数值迭代采用梯度上升法，如下：
式中，
表示学习率；显然，关键是计算log概率除以
的偏导数，对于集合中的每个样本，其导数为下式：
其中包含两个期望，一个称为模型期望，另一个称为依赖数据的期望，上式表示单样本
的导数，集合S的导数如下式累积和展开：
其中
表示
的jth节点状态；
步骤2.2，DAE训练包括以下子步骤：
步骤2.2.1，输入经过深度玻尔兹曼机训练后的样本特征状态向量x，通过部分破坏输入数据得到x’，促使训练模型成为抗噪声的；
步骤2.2.2，将x’映射到一个隐藏层y，隐层特征维度一般低于原始特征维度，降维的同时学习更稠密更有意义的表示；
步骤2.2.3，将隐藏层y解码重构为z，以最小化重构误差为目标进行模型训练，最终获得具有对抗性的样本特征。
作为优选方案：所述步骤3中，地灾敏感性分析模型训练包括以下子步骤：
步骤3.1，回归预测：回归预测部分为预测概率的全连接层，将上述经过表征学习后高度抽象化的特征进行整合，然后进行归一化，对各种分类情况输出一个概率；
步骤3.2，特征迁移：输入测评区地灾数据进行可迁移的特征学习，将交叉熵定义为回归预测的目标函数，通过测评区部分标记样本对不可见模型参数进行微调和适应。
作为优选方案：所述步骤4中，地灾敏感性预测评估包括以下内容：将测评区域栅格化，通过属性采集方法生成样本向量，并将向量输入到步骤3训练的模型中，最终获得测评区地灾敏感性预测结果。
本发明设计了一种无监督模块堆叠的表征学习方法。模型生成部分由两个玻尔兹曼机（RBMs）和一个去噪自动编码机（DAE）堆叠而成，并由逐层贪婪预训练方法初始化。然后，提出一种基于对抗机制的迁移学习策略提高孕灾环境知识的可迁移性。基于以上两个表征学习过程，最后应用元学习思想训练一种适于小样本学习的通用中间模型。同时，模型的元训练过程时保证了小样本学习模型的预测精度，实现了区域局部的精准快速预测，并提升了模型对新任务场景的泛化性。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的限定。
图1为本发明方法原理示意图；
图2为本发明方法步骤流程图；
图3为本发明方法的测评区地灾敏感性预测结果示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、部件和/或它们的组合。
下面结合附图与实施例对本发明作进一步说明：
如图1和图2所示的一种基于无监督表征学习的地质灾害隐患敏感性预测方法，包括以下步骤：
步骤1，训练区数据特征提取：执行训练区原始地灾数据预处理，提取致灾因子，构成未标记样本向量；所述步骤1中包括以下子步骤：
步骤1.1，训练区原始地灾数据预处理：
步骤1.1.1，原始数据的矢量化和其他资料数据的录入：在地质灾害隐患识别中，需要用到不同比例尺的地质图、地形图等的矢量化数据，涉及到这些收集到的图件资料的矢量化工作；同时，地质灾害体的基本信息来源广泛但是较为分散，需要从野外勘察报告、典型地质灾害监测报告等多种文件资料中对研究区内的地质灾害体基本信息进行数据提取和综合分析，并最终将结果录入到研究区地质灾害分布文件中。
步骤1.1.2，GIS软件的选择和数据导入：在准备完成GIS软件分析所需的多源数据后，选择ArcGIS软件作为最终的多源数据整合GIS平台。
步骤1.1.3，建立统一坐标系：多源数据的原始数据的坐标系统并不统一，选择西安80坐标系作为标准坐标系，并在ArcGIS软件环境下，对所有数据（栅格数据与矢量数据）赋以西安80坐标系，使坐标系统得到统一。
步骤1.1.4，数据校正和配准：对导入到ArcGIS软件中的多源数据进行数据校正和拼接，以消除由于数据形变和位置偏移所造成的数据错误，并以经过相关遥感图像处理软件进行遥感数据预处理操作的遥感影像为本底数据，进行多源数据的校正与配准，保证多源数据中同名点的空间位置一致性。
步骤1.1.5，数据格式转换：多源数据在GIS平台上的最终数据格式采用栅格数据。将经过上述步骤处理的多源数据矢量数据利用ArcGIS软件提供的数据转换功能（ToRaster）转换为栅格数据，并选择一种格式作为数据组织的标准格式。例如以Landsat-8遥感卫星OLI传感器获取的影像数据为参照数据，对其余所有的栅格数据进行栅格重采样操作（Resample），从而可以得到栅格大小统一、位置对应的不同数据层。
步骤1.1.6，多源数据叠加选择：在完成了多源数据格式转换和重采样工作之后，选择相应的多源数据集合，实现多源数据叠加，为后续多尺度下地质灾害隐患提取模型的建立提供数据支持。
步骤1.2，提取致灾因子，由致灾因子构成未标记样本向量：收集点位清单，包括已发生和可能发生地灾的地点，对于每个危险位置，要考虑可能导致地灾发生的因素，这些因素对地灾发生的影响用主题信息表示。它们包括敏感性等级、土地利用、地层、数字高程模型（DEM）、坡向、坡度、曲率、归一化植被指数（Normalized Difference Vegetation Index，NDVI）、砂分布、粘土分布、泥沙分布、植被、土壤侵蚀、地形湿度指数（TopographicHumidity Index，TWI）、河流功率指数（SPI）、到排水的距离和到道路的距离等相关内容。
步骤2，无监督表征学习机制构建：以未标记样本向量代入受限玻尔兹曼机（Restricted Boltzmann Machine，RBM），并在deepBM（深度玻尔兹曼机）中进行训练，将训练完成的转换结果输入去噪的自动编码器（Denoising Autoencoder，DAE），通过部分破坏输入数据，重构数据的学习表示，构建可迁移特征学习模块；所述步骤2中，无监督表征学习机制构建包括以下子步骤：
步骤2.1，多层RBM训练：受限玻尔兹曼机（Restricted Boltzmann Machine，RBM）是一种由两层结构组成的随机神经网络。m和n为可见层和隐含层单元数；v表示输入可见单位的状态向量，h表示推断隐藏单位的状态向量；a，b分别表示可见单元和隐藏单元的偏差，w表示权重矩阵。并引入了一个基于能量的模式来描述状态v，h的联合概率分布，如下所示：
下式给出训练目标，它的目的是最大化给定样本集
：
模型参数数值迭代采用梯度上升法，如下：
式中，
表示学习率；显然，关键是计算log概率除以
的偏导数，对于集合中的每个样本，其导数为下式：
其中包含两个期望，一个称为模型期望，另一个称为依赖数据的期望，上式表示单样本
的导数，集合S的导数如下式累积和展开：
其中
表示
的jth节点状态；
步骤2.2，DAE训练包括以下子步骤：
步骤2.2.1，输入经过深度玻尔兹曼机训练后的样本特征状态向量x，通过部分破坏输入数据得到x’，促使训练模型成为抗噪声的；
步骤2.2.2，将x’映射到一个隐藏层y，隐层特征维度一般低于原始特征维度，降维的同时学习更稠密更有意义的表示；
步骤2.2.3，将隐藏层y解码重构为z，以最小化重构误差为目标进行模型训练，最终获得具有对抗性的样本特征。
步骤3，地灾敏感性分析模型训练：耦合可迁移特征学习模块与回归模块构建模型并输入部分标记数据训练，对不可见数据进行微调和适应，输出地灾敏感性预测模型；所述步骤3中，地灾敏感性分析模型训练包括以下子步骤：
步骤3.1，回归预测：回归预测部分为预测概率的全连接层（FC），其作用是将上述经过表征学习后高度抽象化的特征进行整合，然后进行归一化，对各种分类情况输出一个概率；
步骤3.2，特征迁移：输入测评区地灾数据进行可迁移的特征学习，将交叉熵定义为回归预测的目标函数，通过测评区部分标记样本对不可见模型参数进行微调和适应。
步骤4，地灾敏感性预测评估：将测评区域栅格化，采集样本向量，将交叉熵定义为判别模型的目标函数，该函数测量训练标签与模型分布之间的接近度，并将输入向量转置到softmax分类器函数中输出预测地灾敏感性图谱，最终获得测评区地灾敏感性预测结果。所述步骤4中，地灾敏感性预测包括以下内容：将测评区域栅格化，通过属性采集方法生成样本向量，并将向量输入到步骤3训练的模型中，最终获得测评区地灾敏感性预测结果，如图3所示。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (5)
1.一种基于无监督表征学习的地质灾害隐患敏感性预测方法，其特征在于，包括以下步骤：
步骤1，训练区数据特征提取：执行训练区原始地灾数据预处理，提取致灾因子，构成未标记样本向量；
步骤2，无监督表征学习机制构建：以未标记样本向量代入受限玻尔兹曼机并在深度玻尔兹曼机中进行训练，将训练完成的转换结果输入去噪的自动编码器，通过部分破坏输入数据，重构数据的学习表示，构建可迁移特征学习模块；
步骤3，地灾敏感性分析模型训练：耦合可迁移特征学习模块与回归模块构建模型并输入部分标记数据训练，对不可见数据进行微调和适应，输出地灾敏感性预测模型；
步骤4，地灾敏感性预测评估：将测评区域栅格化，采集样本向量，将交叉熵定义为判别模型的目标函数，该函数测量训练标签与模型分布之间的接近度，并将输入向量转置到softmax分类器函数中输出预测地灾敏感性图谱，最终获得测评区地灾敏感性预测结果。
2.根据权利要求1所述的一种基于无监督表征学习的地质灾害隐患敏感性预测方法，其特征在于：所述步骤1中包括以下子步骤：
步骤1.1，训练区原始地灾数据预处理：
步骤1.1.1，原始数据的矢量化和其他资料数据的录入：将不同比例尺的地质图、地形图数据矢量化；对野外勘察报告、典型地质灾害监测报告文件资料中对研究区内的地质灾害体基本信息进行数据提取和综合分析，并最终将结果录入到研究区地质灾害分布文件中；
步骤1.1.2，GIS软件的选择和数据导入：在准备完成GIS软件分析所需的多源数据后，选择ArcGIS软件作为最终的多源数据整合GIS平台；
步骤1.1.3，建立统一坐标系：多源数据的原始数据的坐标系统并不统一，选择西安80坐标系作为标准坐标系，并在ArcGIS软件环境下，对所有数据赋以西安80坐标系，使坐标系统得到统一；
步骤1.1.4，数据校正和配准：对导入到ArcGIS软件中的多源数据进行数据校正和拼接，以消除由于数据形变和位置偏移所造成的数据错误，并以经过相关遥感图像处理软件进行遥感数据预处理操作的遥感影像为本底数据，进行多源数据的校正与配准，保证多源数据中同名点的空间位置一致性；
步骤1.1.5，数据格式转换：多源数据在GIS平台上的最终数据格式采用栅格数据，将经过上述步骤处理的多源数据矢量数据利用ArcGIS软件提供的数据转换功能转换为栅格数据，并选择一种格式作为数据组织的标准格式；
步骤1.1.6，多源数据叠加选择：在完成了多源数据格式转换和重采样工作之后，选择相应的多源数据集合，实现多源数据叠加，为后续多尺度下地质灾害隐患提取模型的建立提供数据支持；
步骤1.2，提取致灾因子，由致灾因子构成未标记样本向量：收集点位清单，包括已发生和可能发生地灾的地点，对于每个危险位置，要考虑可能导致地灾发生的因素，这些因素包括敏感性等级、土地利用、地层、数字高程模型、坡向、坡度、曲率、归一化植被指数、砂分布、粘土分布、泥沙分布、植被、土壤侵蚀、地形湿度指数、河流功率指数以及到排水的距离和到道路的距离。
3.根据权利要求1所述的一种基于无监督表征学习的地质灾害隐患敏感性预测方法，其特征在于：所述步骤2中，无监督表征学习机制构建包括以下子步骤：
步骤2.1，多层RBM训练：受限玻尔兹曼机是一种由两层结构组成的随机神经网络，m和n为可见层和隐含层单元数；v表示输入可见单位的状态向量，h表示推断隐藏单位的状态向量；a，b分别表示可见单元和隐藏单元的偏差；w表示权重矩阵，并引入了一个基于能量的模式来描述状态v，h的联合概率分布，如下所示：
下式给出训练目标，它的目的是最大化给定样本集
：
模型参数数值迭代采用梯度上升法，如下：
式中，
表示学习率；显然，关键是计算log概率除以
的偏导数，对于集合中的每个样本，其导数为下式：
其中包含两个期望，一个称为模型期望，另一个称为依赖数据的期望，上式表示单样本
的导数，集合S的导数如下式累积和展开：
其中
表示
的jth节点状态；
步骤2.2，DAE训练包括以下子步骤：
步骤2.2.1，输入经过深度玻尔兹曼机训练后的样本特征状态向量x，通过部分破坏输入数据得到x’，促使训练模型成为抗噪声的；
步骤2.2.2，将x’映射到一个隐藏层y，隐层特征维度一般低于原始特征维度，降维的同时学习更稠密更有意义的表示；
步骤2.2.3，将隐藏层y解码重构为z，以最小化重构误差为目标进行模型训练，最终获得具有对抗性的样本特征。
4.根据权利要求1所述的一种基于无监督表征学习的地质灾害隐患敏感性预测方法，其特征在于：所述步骤3中，地灾敏感性分析模型训练包括以下子步骤：
步骤3.1，回归预测：回归预测部分为预测概率的全连接层，将上述经过表征学习后高度抽象化的特征进行整合，然后进行归一化，对各种分类情况输出一个概率；
步骤3.2，特征迁移：输入测评区地灾数据进行可迁移的特征学习，将交叉熵定义为回归预测的目标函数，通过测评区部分标记样本对不可见模型参数进行微调和适应。
5.根据权利要求1所述的一种基于无监督表征学习的地质灾害隐患敏感性预测方法，其特征在于：所述步骤4中，地灾敏感性预测评估包括以下内容：将测评区域栅格化，通过属性采集方法生成样本向量，并将向量输入到步骤3训练的模型中，最终获得测评区地灾敏感性预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110658121.5A CN113256019A (zh) | 2021-06-15 | 2021-06-15 | 一种基于无监督表征学习的地质灾害隐患敏感性预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110658121.5A CN113256019A (zh) | 2021-06-15 | 2021-06-15 | 一种基于无监督表征学习的地质灾害隐患敏感性预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113256019A true CN113256019A (zh) | 2021-08-13 |
Family
ID=77188074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110658121.5A Pending CN113256019A (zh) | 2021-06-15 | 2021-06-15 | 一种基于无监督表征学习的地质灾害隐患敏感性预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113256019A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113688944A (zh) * | 2021-09-29 | 2021-11-23 | 南京览众智能科技有限公司 | 一种基于元学习的图像识别方法 |
| CN114330500A (zh) * | 2021-11-30 | 2022-04-12 | 南京国电南自电网自动化有限公司 | 基于storm平台的电网电力设备在线并行诊断方法及系统 |
| CN117172561A (zh) * | 2023-11-03 | 2023-12-05 | 广东新禾道信息科技有限公司 | 基于智能模型算法的地质灾害风险隐患预测方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127804A (zh) * | 2016-06-17 | 2016-11-16 | 淮阴工学院 | 基于稀疏深度去噪自编码器的rgb‑d数据跨模式特征学习的目标跟踪方法 |
| CN108182514A (zh) * | 2017-12-13 | 2018-06-19 | 国网湖南省电力有限公司 | 一种电网覆冰舞动风险预测方法、系统及存储介质 |
| CN110782012A (zh) * | 2019-10-21 | 2020-02-11 | 衢州学院 | 一种危化品车辆运输状态自学习预警模型的搭建方法 |
| CN112036424A (zh) * | 2020-04-30 | 2020-12-04 | 自然资源部第一海洋研究所 | 基于无监督机器学习的海底滑坡危险性分析方法 |
| CN112257956A (zh) * | 2020-11-10 | 2021-01-22 | 国网湖南省电力有限公司 | 预测输电线路遭受暴雨灾害的方法、装置和设备 |
| CN112764110A (zh) * | 2020-07-09 | 2021-05-07 | 五季数据科技(北京)有限公司 | 一种基于限制波尔兹曼机特征编码的聚类地震相分析方法 |
| CN112949189A (zh) * | 2021-03-07 | 2021-06-11 | 湖南安全技术职业学院（长沙煤矿安全技术培训中心） | 一种基于深度学习的多因素诱发滑坡预测的建模方法 |
-
2021
- 2021-06-15 CN CN202110658121.5A patent/CN113256019A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127804A (zh) * | 2016-06-17 | 2016-11-16 | 淮阴工学院 | 基于稀疏深度去噪自编码器的rgb‑d数据跨模式特征学习的目标跟踪方法 |
| CN108182514A (zh) * | 2017-12-13 | 2018-06-19 | 国网湖南省电力有限公司 | 一种电网覆冰舞动风险预测方法、系统及存储介质 |
| CN110782012A (zh) * | 2019-10-21 | 2020-02-11 | 衢州学院 | 一种危化品车辆运输状态自学习预警模型的搭建方法 |
| CN112036424A (zh) * | 2020-04-30 | 2020-12-04 | 自然资源部第一海洋研究所 | 基于无监督机器学习的海底滑坡危险性分析方法 |
| CN112764110A (zh) * | 2020-07-09 | 2021-05-07 | 五季数据科技(北京)有限公司 | 一种基于限制波尔兹曼机特征编码的聚类地震相分析方法 |
| CN112257956A (zh) * | 2020-11-10 | 2021-01-22 | 国网湖南省电力有限公司 | 预测输电线路遭受暴雨灾害的方法、装置和设备 |
| CN112949189A (zh) * | 2021-03-07 | 2021-06-11 | 湖南安全技术职业学院（长沙煤矿安全技术培训中心） | 一种基于深度学习的多因素诱发滑坡预测的建模方法 |
Non-Patent Citations (2)
| Title |
|---|
| 博客园: "深度学习方法：受限玻尔兹曼机RBM（三）模型求解，GIbbs sampling", 《HTTPS://WWW.CNBLOGS.COM/GCCBUAA/P/7230965.HTML》 * |
| 尹主峰等: "基于DAE-ＲBM-PLDA 的说话人确认信道补偿技术", 《微型机与应用》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113688944A (zh) * | 2021-09-29 | 2021-11-23 | 南京览众智能科技有限公司 | 一种基于元学习的图像识别方法 |
| CN113688944B (zh) * | 2021-09-29 | 2022-12-27 | 南京览众智能科技有限公司 | 一种基于元学习的图像识别方法 |
| CN114330500A (zh) * | 2021-11-30 | 2022-04-12 | 南京国电南自电网自动化有限公司 | 基于storm平台的电网电力设备在线并行诊断方法及系统 |
| CN114330500B (zh) * | 2021-11-30 | 2024-04-26 | 南京国电南自电网自动化有限公司 | 基于storm平台的电网电力设备在线并行诊断方法及系统 |
| CN117172561A (zh) * | 2023-11-03 | 2023-12-05 | 广东新禾道信息科技有限公司 | 基于智能模型算法的地质灾害风险隐患预测方法及系统 |
| CN117172561B (zh) * | 2023-11-03 | 2024-01-02 | 广东新禾道信息科技有限公司 | 基于智能模型算法的地质灾害风险隐患预测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113256019A (zh) | 一种基于无监督表征学习的地质灾害隐患敏感性预测方法 | |
| Dinda et al. | An integrated simulation approach to the assessment of urban growth pattern and loss in urban green space in Kolkata, India: A GIS-based analysis | |
| Dhali et al. | Assessing spatio-temporal growth of urban sub-centre using Shannon’s entropy model and principle component analysis: A case from North 24 Parganas, lower Ganga River Basin, India | |
| Wan et al. | A knowledge-based decision support system to analyze the debris-flow problems at Chen-Yu-Lan River, Taiwan | |
| CN102222313B (zh) | 基于核主成分分析的城市演化模拟元胞模型处理方法 | |
| CN111539904B (zh) | 一种基于降雨量的灾害易发性预测方法 | |
| CN114898212B (zh) | 一种高分辨率遥感图像多地物变化信息提取方法 | |
| CN112560215B (zh) | 一种基于深度强化学习的电力选线方法 | |
| CN112700104A (zh) | 一种基于多模态分类的震区滑坡易发性评价方法 | |
| Shen et al. | Multi-layer perceptron neural network and Markov chain based geospatial analysis of land use and land cover change | |
| CN102646164A (zh) | 一种结合空间滤波的土地利用变化建模方法及其系统 | |
| CN111383273B (zh) | 一种基于改进结构推理网络的高铁接触网零部件定位方法 | |
| CN114463932B (zh) | 非接触式施工安全距离主动动态识别预警系统及方法 | |
| Liu et al. | Using the ART-MMAP neural network to model and predict urban growth: a spatiotemporal data mining approach | |
| CN107967454B (zh) | 顾及空间邻域关系的双路卷积神经网络遥感分类方法 | |
| CN111310623B (zh) | 基于遥感数据与机器学习对泥石流敏感性地图分析的方法 | |
| CN111216126B (zh) | 基于多模态感知的足式机器人运动行为识别方法及系统 | |
| CN115980745A (zh) | 地下开采沉陷区智能识别方法、装置、电子设备及存储介质 | |
| CN116563672B (zh) | 一种岩土体分类模型构建方法及岩土体分类方法 | |
| Abedi et al. | Infrastructure damage assessment via machine learning approaches: a systematic review | |
| Chen et al. | The application of the genetic adaptive neural network in landslide disaster assessment | |
| CN110784228B (zh) | 一种基于lstm模型的地铁结构振动信号的压缩方法 | |
| CN117197661A (zh) | 一种利用激光雷达点云数据识别黄土落水洞的方法 | |
| CN112241844A (zh) | 饮用水水源地环境风险源本底清单确定及更新方法和装置 | |
| Cui et al. | An optimized neural network with a hybrid GA-ResNN training algorithm: applications in foundation pit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210813 |