CN116244661A - 基于空-天-地多源异构监测数据的边坡滑动面识别方法 - Google Patents
基于空-天-地多源异构监测数据的边坡滑动面识别方法 Download PDFInfo
- Publication number
- CN116244661A CN116244661A CN202310047619.7A CN202310047619A CN116244661A CN 116244661 A CN116244661 A CN 116244661A CN 202310047619 A CN202310047619 A CN 202310047619A CN 116244661 A CN116244661 A CN 116244661A
- Authority
- CN
- China
- Prior art keywords
- data
- air
- slope
- source heterogeneous
- monitoring data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000013598 vector Substances 0.000 claims abstract description 43
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 230000009467 reduction Effects 0.000 claims abstract description 7
- 238000010801 machine learning Methods 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 6
- 238000007637 random forest analysis Methods 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 238000001303 quality assessment method Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 1
- 230000008030 elimination Effects 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Pit Excavations, Shoring, Fill Or Stabilisation Of Slopes (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明公开了一种基于空‑天‑地多源异构监测数据的边坡滑动面识别方法，所述方法包括如下步骤：步骤S1：建立边坡空‑天‑地多源异构监测数据的关键词表，进行数据识别与分类；步骤S2：对边坡空‑天‑地多源异构监测数据中的冗杂信息和错误数据进行剔除与过滤；步骤S3：对边坡空‑天‑地多源异构监测数据进行数据降维；步骤S4：提取边坡空‑天‑地多源异构监测数据的统计特征向量和时间序列特征向量，对统计特征向量向量与时间序列特征向量进行多源数据特征融合，利用融合后的特征向量作为机器学习方法的输入，实现对边坡滑动面的建模。该方法有效改善了滑坡监测数据的可靠性，提高了滑坡监测数据的利用率。
Description
技术领域
本发明属于大数据处理技术领域，涉及一种边坡滑动面识别方法，具体涉及一种基于空-天-地多源异构监测数据的边坡滑动面识别方法。
背景技术
利用多传感器感知滑坡，可以获取更全面、有效的数据和信息，多源异构数据融合与边坡监测数据特征提取技术逐渐成为滑坡变形数据分析的一个重要研究方向。这些数据和信息具有异构性、多态性、数据离散但又具有一定的相关性、随机性、模糊性以及数据量庞大等特征。现有数据预处理技术无法全面满足功能与性能的要求，如何对这些数据和信息进行有效处理是现阶段滑坡感知预警的一个难点。为提高多源异构数据质量，有效改善滑坡监测数据的可靠性，提高滑坡监测数据的利用率，进而建立行之有效的滑坡变形监测数据治理新模式，实现边坡空-天-地多源异构监测数据融合与特征提取是其中的关键。
发明内容
为了解决边坡空-天-地多源异构监测数据融合与特征识别的问题，本发明提供了一种基于空-天-地多源异构监测数据的边坡滑动面识别方法。该方法通过对边坡空-天-地多源异构监测数据进行特征提取和融合，有效改善了滑坡监测数据的可靠性，提高了滑坡监测数据的利用率。
本发明的目的是通过以下技术方案实现的：
一种基于空-天-地多源异构监测数据的边坡滑动面识别方法，包括如下步骤：
步骤S1：建立边坡空-天-地多源异构监测数据的关键词表，进行数据识别与分类；
步骤S2：对边坡空-天-地多源异构监测数据中的冗杂信息和错误数据进行剔除与过滤；
步骤S3：对边坡空-天-地多源异构监测数据进行数据降维；
步骤S4：提取边坡空-天-地多源异构监测数据的统计特征向量和时间序列特征向量，对统计特征向量向量与时间序列特征向量进行多源数据特征融合，利用融合后的特征向量作为机器学习方法的输入，实现对边坡滑动面的建模。
相比于现有技术，本发明具有如下优点：
边坡的监测数据具有异构性、多态性、数据离散但又具有一定的相关性、随机性、模糊性以及数据量庞大等特征，本发明通过数据识别与分类、数据剔除与过滤、数据降维，对获取的初始数据进行分类清洗，将结构性复杂、内容杂乱的边坡监测大数据转化为统一标准形式，并筛查过滤掉冗余信息和误差数据，通过数据处理获取边坡监测数据的时间序列特征向量和统计特征向量，进而获得边坡监测数据的融合特征向量，有效提高了边坡监测数据的准确性和利用效率。
附图说明
图1为本发明基于空-天-地多源异构监测数据的边坡滑动面识别方法的流程图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
本发明提供了一种基于空-天-地多源异构监测数据的边坡滑动面识别方法，所述方法包括边坡空-天-地多源异构监测数据的数据识别与分类、边坡空-天-地多源异构监测数据的剔除与过滤、边坡空-天-地多源异构监测数据的降维、边坡空-天-地多源异构监测数据的特征提取与融合，如图1所示，具体步骤如下：
步骤S1：边坡空-天-地多源异构监测数据的数据识别与分类
建立边坡空-天-地多源异构监测数据的关键词表，进行数据识别与分类，其中：边坡空-天-地多源异构监测数据包括但不限于由各种形式的数据观测采集设备获得的地球物理场数据、航拍图像数据、气象数据等，其识别与分类具体包括以下步骤：
步骤S11：建立边坡空-天-地多源异构监测数据的关键词表
所述关键词表由数据源确定，数据源的关键词包括输出数据关键词、设备关键词、数据结构性信息等；
步骤S12：对边坡空-天-地多源异构监测数据进行标记
根据关键词表的关键词，针对数据的种类、输出设备、结构性等进行数据标记；
步骤S13：对边坡空-天-地多源异构监测数据进行识别与分类
根据数据特征和数据分析需求，针对边坡空-天-地多源异构监测数据的类别、结构性等进行数据分类。
步骤S2：边坡空-天-地多源异构监测数据的剔除与过滤
针对边坡空-天-地多源异构监测数据复杂性高、精度不一、质量问题复杂的特点，对边坡空-天-地多源异构监测数据中的冗杂信息和错误数据进行剔除与过滤，具体包括以下步骤：
步骤S21：获取边坡空-天-地多源异构监测数据
设置预设数据标准格式，预设数据标准格式根据实际使用需求设定，包括结构化、非结构化以及半结构化的标准格式；
步骤S22：对边坡空-天-地多源异构监测数据的质量进行评估
边坡空-天-地多源异构监测数据的质量评估主要包括数据的完整性、一致性、时效性、有效性等质量维度，针对质量维度之间的条件、组成、并发等复杂关系，确定边坡空-天-地多源异构监测数据的可靠性指标和阈值；
步骤S23：对边坡空-天-地多源异构监测数据进行劣质多源异构数据定位与识别
对不同类型数据质量问题实例进行特征提取和模式生成，基于统计指标及违反模式信息筛选并定位疑似劣质数据，保证检测方法的有效性和可靠性。
步骤S3：边坡空-天-地多源异构监测数据降维
对边坡空-天-地多源异构监测数据进行数据降维，具体包括以下步骤：选取部分已知数据集进行标记，对有标记的训练集学习生成一个随机森林，然后对未标记的训练集进行学习标注，标记过程中，样本的预测结果越一致表面置信度越高，最后取出置信度最小的N个样本，并把这类样本剔除，接着重新训练这颗随机森林，直到未标记训练集里的置信值都在置信阈值之内。
步骤S4：边坡空-天-地多源异构监测数据的特征提取与融合
包括统计特征向量提取、时间序列特征向量提取和数据特征融合，具体步骤如下：
步骤S41：统计特征向量提取
步骤S411：定义统计特征向量类别，各帧数据的统计特征包括：平均值、方差、众数、中位数、上边缘、上四分位点、下四分位点和下边缘；
步骤S412：考虑到各帧数据存在离群数据，提取上边缘、上四分位点、下四分位点和下边缘作为统计特征向量；
步骤S413：以上四分位点、下四分位点的差值定义二者之间的间隔，进而确定帧内数据的上边缘和下边缘；
步骤S42：时间序列特征向量提取
采用聚类方法提取帧内数据的时间序列特征向量；
步骤S43：数据特征融合
对统计特征向量向量与时间序列特征向量进行数据特征融合，所述特征融合，即将得到的各帧数据统计特征向量与时间序列特征向量进行合并，得到融合后的特征向量；
步骤S44：利用步骤S43得到的融合后的特征向量作为机器学习方法的输入，实现对边坡滑动面的建模，从而实现边坡滑动面识别。
Claims (6)
1.一种基于空-天-地多源异构监测数据的边坡滑动面识别方法，其特征在于所述方法包括如下步骤：
步骤S1：建立边坡空-天-地多源异构监测数据的关键词表，进行数据识别与分类；
步骤S2：对边坡空-天-地多源异构监测数据中的冗杂信息和错误数据进行剔除与过滤；
步骤S3：对边坡空-天-地多源异构监测数据进行数据降维；
步骤S4：提取边坡空-天-地多源异构监测数据的统计特征向量和时间序列特征向量，对统计特征向量向量与时间序列特征向量进行多源数据特征融合，利用融合后的特征向量作为机器学习方法的输入，实现对边坡滑动面的建模。
2.根据权利要求1所述的基于空-天-地多源异构监测数据的边坡滑动面识别方法，其特征在于所述步骤S1中，边坡空-天-地多源异构监测数据包括由各种形式的数据观测采集设备获得的地球物理场数据、航拍图像数据、气象数据。
3.根据权利要求1或2所述的基于空-天-地多源异构监测数据的边坡滑动面识别方法，其特征在于所述步骤S1的具体步骤如下：
步骤S11：建立边坡空-天-地多源异构监测数据的关键词表
所述关键词表由数据源确定，数据源的关键词包括输出数据关键词、设备关键词、数据结构性信息；
步骤S12：对边坡空-天-地多源异构监测数据进行标记
根据关键词表的关键词，针对数据的种类、输出设备、结构性进行数据标记；
步骤S13：对边坡空-天-地多源异构监测数据进行识别与分类
根据数据特征和数据分析需求，针对边坡空-天-地多源异构监测数据的类别、结构性进行数据分类。
4.根据权利要求1所述的基于空-天-地多源异构监测数据的边坡滑动面识别方法，其特征在于所述步骤S2的具体步骤如下：
步骤S21：获取边坡空-天-地多源异构监测数据
设置预设数据标准格式，预设数据标准格式根据实际使用需求设定，包括结构化、非结构化以及半结构化的标准格式；
步骤S22：对边坡空-天-地多源异构监测数据的质量进行评估
边坡空-天-地多源异构监测数据的质量评估主要包括数据的完整性、一致性、时效性、有效性质量维度，针对质量维度之间的条件、组成、并发关系，确定边坡空-天-地多源异构监测数据的可靠性指标和阈值；
步骤S23：对边坡空-天-地多源异构监测数据进行劣质多源异构数据定位与识别
对不同类型数据质量问题实例进行特征提取和模式生成，基于统计指标及违反模式信息筛选并定位疑似劣质数据，保证检测方法的有效性和可靠性。
5.根据权利要求1所述的基于空-天-地多源异构监测数据的边坡滑动面识别方法，其特征在于所述S3的具体步骤如下：
选取部分已知数据集进行标记，对有标记的训练集学习生成一个随机森林，然后对未标记的训练集进行学习标注，标记过程中，样本的预测结果越一致表面置信度越高，最后取出置信度最小的N个样本，并把这类样本剔除，接着重新训练这颗随机森林，直到未标记训练集里的置信值都在置信阈值之内。
6.根据权利要求1所述的基于空-天-地多源异构监测数据的边坡滑动面识别方法，其特征在于所述步骤S4的具体步骤如下：
步骤S41：统计特征向量提取
步骤S411：定义统计特征向量类别，各帧数据的统计特征包括：平均值、方差、众数、中位数、上边缘、上四分位点、下四分位点和下边缘；
步骤S412：考虑到各帧数据存在离群数据，提取上边缘、上四分位点、下四分位点和下边缘作为统计特征向量；
步骤S413：以上四分位点、下四分位点的差值定义二者之间的间隔，进而确定帧内数据的上边缘和下边缘；
步骤S42：时间序列特征向量提取
采用聚类方法提取帧内数据的时间序列特征向量；
步骤S43：数据特征融合
对统计特征向量向量与时间序列特征向量进行数据特征融合，所述特征融合，即将得到的各帧数据统计特征向量与时间序列特征向量进行合并，得到融合后的特征向量；
步骤S44：利用步骤S43得到的融合后的特征向量作为机器学习方法的输入，实现对边坡滑动面的建模，从而实现边坡滑动面识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310047619.7A CN116244661A (zh) | 2023-01-31 | 2023-01-31 | 基于空-天-地多源异构监测数据的边坡滑动面识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310047619.7A CN116244661A (zh) | 2023-01-31 | 2023-01-31 | 基于空-天-地多源异构监测数据的边坡滑动面识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116244661A true CN116244661A (zh) | 2023-06-09 |
Family
ID=86628993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310047619.7A Pending CN116244661A (zh) | 2023-01-31 | 2023-01-31 | 基于空-天-地多源异构监测数据的边坡滑动面识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116244661A (zh) |
-
2023
- 2023-01-31 CN CN202310047619.7A patent/CN116244661A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105653444B (zh) | 基于互联网日志数据的软件缺陷故障识别方法和系统 | |
| CN109086756A (zh) | 一种基于深度神经网络的文本检测分析方法、装置及设备 | |
| CN112990282B (zh) | 一种细粒度小样本图像的分类方法及装置 | |
| CN110503025B (zh) | 一种基于半监督协同训练的模拟电路早期故障诊断方法 | |
| CN107273295A (zh) | 一种基于文本混乱度的软件问题报告分类方法 | |
| CN109086794B (zh) | 一种基于t-lda主题模型的驾驶行为模式识方法 | |
| CN112529678B (zh) | 一种基于自监督判别式网络的金融指数时序异常检测方法 | |
| CN111538741A (zh) | 一种面向警情大数据的深度学习分析方法及系统 | |
| Rigaud et al. | What do we expect from comic panel extraction? | |
| CN108737193A (zh) | 一种故障预测方法及装置 | |
| CN105786903B (zh) | 一种对电能质量扰动事件分类的方法 | |
| CN104537392A (zh) | 一种基于判别性语义部件学习的对象检测方法 | |
| Ghanmi et al. | Table detection in handwritten chemistry documents using conditional random fields | |
| CN105335758A (zh) | 一种基于视频费舍尔向量描述符的车型识别方法 | |
| CN111753713B (zh) | 基于稀疏表示和深度级联的心电信号身份识别方法和系统 | |
| CN109829887B (zh) | 一种基于深度神经网络的图像质量评估方法 | |
| CN116244661A (zh) | 基于空-天-地多源异构监测数据的边坡滑动面识别方法 | |
| CN114742803B (zh) | 一种结合深度学习与数字图像处理算法的血小板聚集检测方法 | |
| CN113158878B (zh) | 一种基于子空间的异构迁移故障诊断方法、系统和模型 | |
| CN115147703B (zh) | 一种基于GinTrans网络的垃圾分割方法及系统 | |
| CN117216264A (zh) | 一种基于bert算法的机床设备故障分析方法和系统 | |
| CN114880584B (zh) | 一种基于社区发现的发电机组故障分析方法 | |
| CN116204844B (zh) | 一种基于不确定性的电气设备异常数据清洗方法 | |
| CN117556256B (zh) | 一种基于大数据的私域业务标签筛选系统及其方法 | |
| CN116777243B (zh) | 居民出行指标的评估方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |