CN116244661A - 基于空-天-地多源异构监测数据的边坡滑动面识别方法 - Google Patents
基于空-天-地多源异构监测数据的边坡滑动面识别方法 Download PDFInfo
- Publication number
- CN116244661A CN116244661A CN202310047619.7A CN202310047619A CN116244661A CN 116244661 A CN116244661 A CN 116244661A CN 202310047619 A CN202310047619 A CN 202310047619A CN 116244661 A CN116244661 A CN 116244661A
- Authority
- CN
- China
- Prior art keywords
- data
- slope
- monitoring data
- source heterogeneous
- heterogeneous monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Pit Excavations, Shoring, Fill Or Stabilisation Of Slopes (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明公开了一种基于空‑天‑地多源异构监测数据的边坡滑动面识别方法，所述方法包括如下步骤：步骤S1：建立边坡空‑天‑地多源异构监测数据的关键词表，进行数据识别与分类；步骤S2：对边坡空‑天‑地多源异构监测数据中的冗杂信息和错误数据进行剔除与过滤；步骤S3：对边坡空‑天‑地多源异构监测数据进行数据降维；步骤S4：提取边坡空‑天‑地多源异构监测数据的统计特征向量和时间序列特征向量，对统计特征向量向量与时间序列特征向量进行多源数据特征融合，利用融合后的特征向量作为机器学习方法的输入，实现对边坡滑动面的建模。该方法有效改善了滑坡监测数据的可靠性，提高了滑坡监测数据的利用率。
Description
技术领域
本发明属于大数据处理技术领域，涉及一种边坡滑动面识别方法，具体涉及一种基于空-天-地多源异构监测数据的边坡滑动面识别方法。
背景技术
利用多传感器感知滑坡，可以获取更全面、有效的数据和信息，多源异构数据融合与边坡监测数据特征提取技术逐渐成为滑坡变形数据分析的一个重要研究方向。这些数据和信息具有异构性、多态性、数据离散但又具有一定的相关性、随机性、模糊性以及数据量庞大等特征。现有数据预处理技术无法全面满足功能与性能的要求，如何对这些数据和信息进行有效处理是现阶段滑坡感知预警的一个难点。为提高多源异构数据质量，有效改善滑坡监测数据的可靠性，提高滑坡监测数据的利用率，进而建立行之有效的滑坡变形监测数据治理新模式，实现边坡空-天-地多源异构监测数据融合与特征提取是其中的关键。
发明内容
为了解决边坡空-天-地多源异构监测数据融合与特征识别的问题，本发明提供了一种基于空-天-地多源异构监测数据的边坡滑动面识别方法。该方法通过对边坡空-天-地多源异构监测数据进行特征提取和融合，有效改善了滑坡监测数据的可靠性，提高了滑坡监测数据的利用率。
本发明的目的是通过以下技术方案实现的：
一种基于空-天-地多源异构监测数据的边坡滑动面识别方法，包括如下步骤：
步骤S1：建立边坡空-天-地多源异构监测数据的关键词表，进行数据识别与分类；
步骤S2：对边坡空-天-地多源异构监测数据中的冗杂信息和错误数据进行剔除与过滤；
步骤S3：对边坡空-天-地多源异构监测数据进行数据降维；
步骤S4：提取边坡空-天-地多源异构监测数据的统计特征向量和时间序列特征向量，对统计特征向量向量与时间序列特征向量进行多源数据特征融合，利用融合后的特征向量作为机器学习方法的输入，实现对边坡滑动面的建模。
相比于现有技术，本发明具有如下优点：
边坡的监测数据具有异构性、多态性、数据离散但又具有一定的相关性、随机性、模糊性以及数据量庞大等特征，本发明通过数据识别与分类、数据剔除与过滤、数据降维，对获取的初始数据进行分类清洗，将结构性复杂、内容杂乱的边坡监测大数据转化为统一标准形式，并筛查过滤掉冗余信息和误差数据，通过数据处理获取边坡监测数据的时间序列特征向量和统计特征向量，进而获得边坡监测数据的融合特征向量，有效提高了边坡监测数据的准确性和利用效率。
附图说明
图1为本发明基于空-天-地多源异构监测数据的边坡滑动面识别方法的流程图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
本发明提供了一种基于空-天-地多源异构监测数据的边坡滑动面识别方法，所述方法包括边坡空-天-地多源异构监测数据的数据识别与分类、边坡空-天-地多源异构监测数据的剔除与过滤、边坡空-天-地多源异构监测数据的降维、边坡空-天-地多源异构监测数据的特征提取与融合，如图1所示，具体步骤如下：
步骤S1：边坡空-天-地多源异构监测数据的数据识别与分类
建立边坡空-天-地多源异构监测数据的关键词表，进行数据识别与分类，其中：边坡空-天-地多源异构监测数据包括但不限于由各种形式的数据观测采集设备获得的地球物理场数据、航拍图像数据、气象数据等，其识别与分类具体包括以下步骤：
步骤S11：建立边坡空-天-地多源异构监测数据的关键词表
所述关键词表由数据源确定，数据源的关键词包括输出数据关键词、设备关键词、数据结构性信息等；
步骤S12：对边坡空-天-地多源异构监测数据进行标记
根据关键词表的关键词，针对数据的种类、输出设备、结构性等进行数据标记；
步骤S13：对边坡空-天-地多源异构监测数据进行识别与分类
根据数据特征和数据分析需求，针对边坡空-天-地多源异构监测数据的类别、结构性等进行数据分类。
步骤S2：边坡空-天-地多源异构监测数据的剔除与过滤
针对边坡空-天-地多源异构监测数据复杂性高、精度不一、质量问题复杂的特点，对边坡空-天-地多源异构监测数据中的冗杂信息和错误数据进行剔除与过滤，具体包括以下步骤：
步骤S21：获取边坡空-天-地多源异构监测数据
设置预设数据标准格式，预设数据标准格式根据实际使用需求设定，包括结构化、非结构化以及半结构化的标准格式；
步骤S22：对边坡空-天-地多源异构监测数据的质量进行评估
边坡空-天-地多源异构监测数据的质量评估主要包括数据的完整性、一致性、时效性、有效性等质量维度，针对质量维度之间的条件、组成、并发等复杂关系，确定边坡空-天-地多源异构监测数据的可靠性指标和阈值；
步骤S23：对边坡空-天-地多源异构监测数据进行劣质多源异构数据定位与识别
对不同类型数据质量问题实例进行特征提取和模式生成，基于统计指标及违反模式信息筛选并定位疑似劣质数据，保证检测方法的有效性和可靠性。
步骤S3：边坡空-天-地多源异构监测数据降维
对边坡空-天-地多源异构监测数据进行数据降维，具体包括以下步骤：选取部分已知数据集进行标记，对有标记的训练集学习生成一个随机森林，然后对未标记的训练集进行学习标注，标记过程中，样本的预测结果越一致表面置信度越高，最后取出置信度最小的N个样本，并把这类样本剔除，接着重新训练这颗随机森林，直到未标记训练集里的置信值都在置信阈值之内。
步骤S4：边坡空-天-地多源异构监测数据的特征提取与融合
包括统计特征向量提取、时间序列特征向量提取和数据特征融合，具体步骤如下：
步骤S41：统计特征向量提取
步骤S411：定义统计特征向量类别，各帧数据的统计特征包括：平均值、方差、众数、中位数、上边缘、上四分位点、下四分位点和下边缘；
步骤S412：考虑到各帧数据存在离群数据，提取上边缘、上四分位点、下四分位点和下边缘作为统计特征向量；
步骤S413：以上四分位点、下四分位点的差值定义二者之间的间隔，进而确定帧内数据的上边缘和下边缘；
步骤S42：时间序列特征向量提取
采用聚类方法提取帧内数据的时间序列特征向量；
步骤S43：数据特征融合
对统计特征向量向量与时间序列特征向量进行数据特征融合，所述特征融合，即将得到的各帧数据统计特征向量与时间序列特征向量进行合并，得到融合后的特征向量；
步骤S44：利用步骤S43得到的融合后的特征向量作为机器学习方法的输入，实现对边坡滑动面的建模，从而实现边坡滑动面识别。
Claims (6)
1.一种基于空-天-地多源异构监测数据的边坡滑动面识别方法，其特征在于所述方法包括如下步骤：
步骤S1：建立边坡空-天-地多源异构监测数据的关键词表，进行数据识别与分类；
步骤S2：对边坡空-天-地多源异构监测数据中的冗杂信息和错误数据进行剔除与过滤；
步骤S3：对边坡空-天-地多源异构监测数据进行数据降维；
步骤S4：提取边坡空-天-地多源异构监测数据的统计特征向量和时间序列特征向量，对统计特征向量向量与时间序列特征向量进行多源数据特征融合，利用融合后的特征向量作为机器学习方法的输入，实现对边坡滑动面的建模。
2.根据权利要求1所述的基于空-天-地多源异构监测数据的边坡滑动面识别方法，其特征在于所述步骤S1中，边坡空-天-地多源异构监测数据包括由各种形式的数据观测采集设备获得的地球物理场数据、航拍图像数据、气象数据。
3.根据权利要求1或2所述的基于空-天-地多源异构监测数据的边坡滑动面识别方法，其特征在于所述步骤S1的具体步骤如下：
步骤S11：建立边坡空-天-地多源异构监测数据的关键词表
所述关键词表由数据源确定，数据源的关键词包括输出数据关键词、设备关键词、数据结构性信息；
步骤S12：对边坡空-天-地多源异构监测数据进行标记
根据关键词表的关键词，针对数据的种类、输出设备、结构性进行数据标记；
步骤S13：对边坡空-天-地多源异构监测数据进行识别与分类
根据数据特征和数据分析需求，针对边坡空-天-地多源异构监测数据的类别、结构性进行数据分类。
4.根据权利要求1所述的基于空-天-地多源异构监测数据的边坡滑动面识别方法，其特征在于所述步骤S2的具体步骤如下：
步骤S21：获取边坡空-天-地多源异构监测数据
设置预设数据标准格式，预设数据标准格式根据实际使用需求设定，包括结构化、非结构化以及半结构化的标准格式；
步骤S22：对边坡空-天-地多源异构监测数据的质量进行评估
边坡空-天-地多源异构监测数据的质量评估主要包括数据的完整性、一致性、时效性、有效性质量维度，针对质量维度之间的条件、组成、并发关系，确定边坡空-天-地多源异构监测数据的可靠性指标和阈值；
步骤S23：对边坡空-天-地多源异构监测数据进行劣质多源异构数据定位与识别
对不同类型数据质量问题实例进行特征提取和模式生成，基于统计指标及违反模式信息筛选并定位疑似劣质数据，保证检测方法的有效性和可靠性。
5.根据权利要求1所述的基于空-天-地多源异构监测数据的边坡滑动面识别方法，其特征在于所述S3的具体步骤如下：
选取部分已知数据集进行标记，对有标记的训练集学习生成一个随机森林，然后对未标记的训练集进行学习标注，标记过程中，样本的预测结果越一致表面置信度越高，最后取出置信度最小的N个样本，并把这类样本剔除，接着重新训练这颗随机森林，直到未标记训练集里的置信值都在置信阈值之内。
6.根据权利要求1所述的基于空-天-地多源异构监测数据的边坡滑动面识别方法，其特征在于所述步骤S4的具体步骤如下：
步骤S41：统计特征向量提取
步骤S411：定义统计特征向量类别，各帧数据的统计特征包括：平均值、方差、众数、中位数、上边缘、上四分位点、下四分位点和下边缘；
步骤S412：考虑到各帧数据存在离群数据，提取上边缘、上四分位点、下四分位点和下边缘作为统计特征向量；
步骤S413：以上四分位点、下四分位点的差值定义二者之间的间隔，进而确定帧内数据的上边缘和下边缘；
步骤S42：时间序列特征向量提取
采用聚类方法提取帧内数据的时间序列特征向量；
步骤S43：数据特征融合
对统计特征向量向量与时间序列特征向量进行数据特征融合，所述特征融合，即将得到的各帧数据统计特征向量与时间序列特征向量进行合并，得到融合后的特征向量；
步骤S44：利用步骤S43得到的融合后的特征向量作为机器学习方法的输入，实现对边坡滑动面的建模，从而实现边坡滑动面识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310047619.7A CN116244661A (zh) | 2023-01-31 | 2023-01-31 | 基于空-天-地多源异构监测数据的边坡滑动面识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310047619.7A CN116244661A (zh) | 2023-01-31 | 2023-01-31 | 基于空-天-地多源异构监测数据的边坡滑动面识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116244661A true CN116244661A (zh) | 2023-06-09 |
Family
ID=86628993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310047619.7A Pending CN116244661A (zh) | 2023-01-31 | 2023-01-31 | 基于空-天-地多源异构监测数据的边坡滑动面识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116244661A (zh) |
-
2023
- 2023-01-31 CN CN202310047619.7A patent/CN116244661A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109189767B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN111538741A (zh) | 一种面向警情大数据的深度学习分析方法及系统 | |
| CN114003791A (zh) | 基于深度图匹配的医疗数据元自动化分类方法及系统 | |
| CN112836067B (zh) | 基于知识图谱的智能搜索方法 | |
| CN111797772B (zh) | 发票图像自动分类方法、系统、装置 | |
| CN110188092A (zh) | 一种挖掘人民调解中新型矛盾纠纷的系统及方法 | |
| CN104866606B (zh) | 一种MapReduce并行化大数据文本分类方法 | |
| CN118296164A (zh) | 基于知识图谱的农产信息自动采集与更新方法及系统 | |
| CN101968797A (zh) | 一种基于镜头间上下文的视频概念标注方法 | |
| CN105677723B (zh) | 一种用于工业信号源的数据标签建立与检索方法 | |
| CN114491081A (zh) | 基于数据血缘关系图谱的电力数据溯源方法及系统 | |
| CN117371531A (zh) | 一种碳政策知识图谱构建系统 | |
| CN109829887B (zh) | 一种基于深度神经网络的图像质量评估方法 | |
| CN116244661A (zh) | 基于空-天-地多源异构监测数据的边坡滑动面识别方法 | |
| CN114417974B (zh) | 模型训练方法、信息处理方法、装置、电子设备和介质 | |
| CN109684479A (zh) | 一种基于人工智能来实现业务分析的方法 | |
| CN113869355B (zh) | 一种基于XGBoost的人员危险性评估方法 | |
| CN112541075A (zh) | 一种警情文本的标准案发时间提取方法及系统 | |
| CN117556256B (zh) | 一种基于大数据的私域业务标签筛选系统及其方法 | |
| CN111125345A (zh) | 数据应用方法和装置 | |
| CN116777243B (zh) | 居民出行指标的评估方法、装置及计算机可读存储介质 | |
| Pratheesh et al. | Feature Extraction to Evaluate the Quality of Data Using Machine Learning Technique | |
| CN116108253A (zh) | 基于大数据分析平台的网络数据处理系统 | |
| CN117708720B (zh) | 一种基于知识图谱的设备故障诊断系统 | |
| CN114638558B (zh) | 一种综合能源系统运行事故分析的数据集分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |