CN112883075B - 一种滑坡普适型地表位移监测数据缺失及异常值处理方法 - Google Patents
一种滑坡普适型地表位移监测数据缺失及异常值处理方法 Download PDFInfo
- Publication number
- CN112883075B CN112883075B CN202110086757.7A CN202110086757A CN112883075B CN 112883075 B CN112883075 B CN 112883075B CN 202110086757 A CN202110086757 A CN 202110086757A CN 112883075 B CN112883075 B CN 112883075B
- Authority
- CN
- China
- Prior art keywords
- data
- landslide
- abnormal
- surface displacement
- displacement monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 58
- 238000006073 displacement reaction Methods 0.000 title claims abstract description 40
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 230000002159 abnormal effect Effects 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000001502 supplementing effect Effects 0.000 claims abstract description 15
- 230000008521 reorganization Effects 0.000 claims abstract description 7
- 230000006798 recombination Effects 0.000 claims abstract description 5
- 238000005215 recombination Methods 0.000 claims abstract description 5
- 230000035772 mutation Effects 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000012217 deletion Methods 0.000 abstract description 7
- 230000037430 deletion Effects 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 description 8
- 238000011160 research Methods 0.000 description 5
- 239000013589 supplement Substances 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000009469 supplementation Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 238000000692 Student's t-test Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012353 t test Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Quality & Reliability (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Pit Excavations, Shoring, Fill Or Stabilisation Of Slopes (AREA)
Abstract
本发明公开了一种滑坡普适型地表位移监测数据缺失及异常值处理方法。该方法先将监测数据中的异常数据进行初剔除后进行分段，之后对分段数据进行异常数据再剔除对分段数据进行数据重组，最后对重组后的数据进行数据缺失判断，当判定数据存在缺失时对重组后的数据进行补充，最终得到目标数据。对应上述技术路线，该方法包括以下五个步骤：步骤S1，异常数据初剔除；步骤S2，数据分段；步骤S3，异常数据再剔除；步骤S4，数据重组；步骤S5，数据缺失补充。本发明的方法既解决了因滑坡地表位移监测仪器不稳定、仪器故障和线路故障等导致监测数据缺失、存在毛刺和噪声等问题，又保证了滑坡地表位移预测结果的准确性。
Description
技术领域
本发明涉及一种滑坡普适型地表位移监测数据缺失及异常值处理方法。
背景技术
滑坡指斜坡上的土体或者岩体，受自然或人为因素影响，在重力作用下，沿着一定的软弱面或软弱带，顺斜坡向下滑移的自然现象。滑坡灾害在我国十分常见，尤其多见于低山、丘陵地区。我国正在经济发展和城市建设的高速时期，伴随人类活动对地形地貌的改造，人工切坡增多，滑坡风险加大。滑坡灾害威胁着人民的生命财产安全，因此需要对滑坡进行充分的数据监测、机理研究和形变预测，避免滑坡灾害造成的生命财产损害。
地表裂缝计、GNSS等滑坡地表位移监测仪器提供了实时的滑坡地表位移监测数据，是滑坡形变分析及滑坡预测的基础。但由于偶发性的仪器问题，如仪器不稳定、设备故障和线路故障等，会造成数据缺失、毛刺和噪声。同时，仪器检修带来的监测数值跳跃式变化会直接导致模型的预测结果出现严重错误。
发明内容
本发明目的在于提供一种滑坡普适型地表位移监测数据缺失及异常值处理方法，该方法能够解决因滑坡地表位移监测仪器不稳定、仪器故障和线路故障等原因导致监测数据缺失、存在毛刺和噪声等问题，从而保证进一步预测和分析结果的准确性。
本发明提供的滑坡普适型地表位移监测数据缺失及异常值处理方法涵盖以下主要功能：剔除数据中的异常数据、补充缺失的数据部分、将数据规则化为基于固定时间频率的时序监测数据，具体包括以下步骤：
步骤S1：异常数据初剔除，剔除超出仪器测量数值范围或显示为仪器设置的错误代码的数据；
步骤S2：数据分段，将经所述步骤S1处理后的数据进行数据分段；
步骤S3：异常数据再剔除，对分段数据分别进行异常数据判断，如判定为异常数据则将其剔除，反之则执行步骤S4；
步骤S4：数据重组，将经所述步骤S3处理后的分段数据进行拼接，并将拼接后的数据转变为基于时间间隔频率的规则化时间序列数据；
步骤S5：数据缺失补充，判断所述步骤S4重组的时间序列数据是否存在缺失，如存在，对数据进行补充，得到目标数据，结束处理；反之则以所述步骤 S4重组的时间序列数据为目标数据，结束处理。
在一些实施方式中，基于上述技术方案，所述步骤S2数据分段采用变点识别将数据拆分为统计指标稳定的不同数据段。
在一些实施方式中，基于上述技术方案，所述步骤S3异常数据再剔除的具体步骤为：判断所述分段数据中的某一时间点数据是否超出阈值判定范围，若超出，则判定为异常数据，作为异常剔除待选项；针对异常剔除待选项进一步进行局部突变判断，若满足局部突变判断，则所述异常剔除待选项确定为异常数据，剔除；反之执行所述步骤S4。
在一些实施方式中，基于上述技术方案，所述分段数据中的某一时间点数据满足以下条件时，判定为该某一时间点数据超出阈值判定范围：
其中，A表示分段数据中的某一时间点数据；Q(i),i∈[0,1]表示分段后的段内数据中占比为i的数据小于Q(i)；high和low分别为设置的样本置信比例区间，N表示两置信比例区间的特征值差值的比例倍数。
在一些实施方式中，基于上述技术方案，所述局部突变判断的具体判断过程为：如果所述异常剔除待选项同时大于或同时小于前序时间点记录和后序时间点记录，则所述异常剔除待选项确定为异常数据。
在一些实施方式中，基于上述技术方案，所述步骤S4数据重组的具体步骤包括：
步骤S41：数据拼接，将完成异常数据剔除的分段数据按照时间顺序拼接；
步骤S42：确定时间间隔，时间间隔的选取结合业务需求和研究对象的特点，采用符合自然计时规律的时间间隔作为切分单元，将经拼接后的数据切分为落在不同时间段内的数据组；
步骤S43：确定同一时间间隔内的代表性数据的选取规则，并依据规则得到组内代表性数据，各组间组成等时间间隔的规则化时序数据。
在一些实施方式中，基于上述技术方案，在数据重组步骤中，在同一个研究中，针对同一个滑坡宜采用同一套规则进行数据重采样，中途一般不变更代表性数据的选取规则。
在一些实施方式中，基于上述技术方案，当存在数据缺失时，通过插值补充方法对所述步骤S4重组的规则化时间序列数据中缺失的时间点进行数据补充。
在一些实施方式中，基于上述技术方案，当存在数据缺失时，通过预测补充方法对所述步骤S4重组的规则化时间序列数据中缺失的时间点进行数据补充。
本发明的有益效果：本发明的方法可以针对滑坡普适型地表位移监测设备，将监测数据由存在噪声缺失的非稳定频率采样数据转换为完整的稳定间隔时间序列数据，作为开展滑坡普适型地表位移机理分析和位移预测的基础，既解决了因滑坡地表位移监测仪器不稳定、仪器故障和线路故障等导致监测数据缺失、存在毛刺和噪声等问题，又保证了滑坡地表位移预测结果的准确性。
附图说明
图1为本发明滑坡普适型地表位移监测数据缺失及异常值处理方法的原理框图；
图2为本发明滑坡普适型地表位移监测数据缺失及异常值处理方法的具体流程图；
图3为本发明滑坡普适型地表位移监测数据缺失及异常值处理方法异常数据再剔除步骤的具体流程图；
图4为本发明滑坡普适型地表位移监测数据缺失及异常值处理方法数据重组步骤的具体流程图；
图5为本发明滑坡普适型地表位移监测数据缺失及异常值处理方法数据缺失补充步骤的具体流程图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
在普适型滑坡监测工作中，地表裂缝计、GNSS等滑坡地表位移监测仪器不稳定、设备故障和线路故障等是难以避免的，这会带来数据缺失、存在毛刺和噪声等问题。同时，仪器检修带来的监测数值跳跃式变化会直接导致模型的预测结果出现严重错误。
因此数据预处理中需要完成数据清洗、异常识别、毛刺平滑、缺失补充等工作。并且由于原始采集数据的时间间隔不稳定，为了进行进一步的时间序列预测工作，需对数据进行时序重采样。
本发明提供的滑坡普适型地表位移监测数据缺失及异常值处理方法解决了因地表裂缝计、GNSS等滑坡地表位移监测仪器原因而导致监测数据缺失、存在毛刺和噪声等问题，以及仪器检修带来的监测数值跳跃式变化会直接导致模型的预测结果出现严重错误的问题，得到稳定的监测数据作为后续预测分析基础，保证了预测结果的准确性。
参照图1所示，该方法先将监测数据中的异常数据进行初剔除后进行分段，再对分段数据进行异常数据再剔除后对分段数据进行数据重组，最后对重组后的数据进行数据缺失判断，并根据判断结果得出是否需要对重组后的数据进行补充，最终得到目标数据。
结合图2-图5，该滑坡普适型地表位移监测数据缺失及异常值处理方法具体包括以下步骤：
步骤S1：剔除超出仪器量程或显示为仪器设置的错误代码的数据
在普适型滑坡的监测中，针对单个滑坡的监测数据间断式地记录了滑坡的形变，监测数据存在由于仪器不稳定、设备故障、线路故障、仪器检修等带来的监测数值跳跃式变化，故需删除由设备仪器异常导致的错误记录，该错误记录即为异常值，一般为突变性的高值或低值。
普适型滑坡地表位移监测仪器有其可测度的范围，对采集到的数据中，超出范围或输出指向仪器异常的特殊代码(如雨量计的负数等)，根据仪器的说明即可进行剔除清洗。
步骤S2：数据分段
在普适型滑坡的监测中，针对单个滑坡的监测数据间断式地记录了滑坡的形变，涵盖了滑坡的不同形变过程。不同的形变过程的特征在于，在不同的时间段，滑坡形变速度在数据统计指标上表现不同，因此需要对数据进行拆分处理，故在此对完成步骤S1后的数据进行数据分段。在此采用变点识别技术将步骤S1处理后的原始数据拆分为统计指标稳定的不同数据段。
变点识别可采用Mann-Kendall、Pettitt、Buishand U test、Standard NormalHomogeneity Test(SNHT)、Yamamoto、非平稳时间序列突变检测的启发式分割算法等突变点识别方法。
在本实施例中，以Yamamoto方法为例，Yamamoto方法是对滑动t检验的一种改进。该方法将数据分割成长度相同的子序列，对不同的子序列，其分割参考点定义的信号噪音比为当RSN大于阈值时，则证明参考点前后的子序列发生了突变。其中，分子为两段数据的期望差值的绝对值，分母为两段数据的方差之和。
利用变点识别方法识别出数据中变点，并将识别得到的变点作为数据切分点，将数据切分为统计指标稳定的数据段。
步骤S3：异常数据再剔除，判断分段数据是否存在异常，若存在，则剔除，反之顺次执行后续步骤
判断分段数据中的某一时间点数据是否超出阈值判定范围，若是，则判定该某一时间点数据为异常数据，作为异常剔除待选项；针对异常剔除待选项进一步进行局部突变判断，若满足局部突变判断，则剔除；反之顺次执行后续步骤；
对分段后的分段数据分别进行异常识别，分段后的数据分布规律较为一致，结合统计学中对异常值的一般公式及滑坡数据的特点(一般与前后形变大规律不一致的突变数据)，当分段数据中某一时间点数据超出阈值判定范围时，判定为异常数据，视为异常剔除待选项。
其中，阈值的取值由研究对象和普适型滑坡地表位移监测仪器的情况确定，如可以将异常数据判断条件设定为：
其中：A表示分段数据中的某一时间点数据，满足上述条件是为异常数据，作为异常剔除待选项；Q(i),i∈[0,1]表示分段后的段内数据中占比为i的数据小于Q(i)。high和low分别为设置的样本置信比例区间，N表示两置信比例区间的特征值差值的比例倍数。下面为该式子的一个示例：
为更准确地确定异常数据，在分数数据中的某一点数据判定为异常剔除待选项时，对该异常剔除待选项进一步进行局部突变判断，若满足局部突变判断，则剔除；反之顺次执行后续步骤。
本实施例中，局部突变判断的具体判断过程为：如果该异常剔除待选项与前后数据的差异是同向的，即该异常剔除待选项同时大于或同时小于前序时间点记录和后序时间点记录，则确认为异常数据，予以剔除。
步骤S4：数据重组
在普适型滑坡的监测中，针对单个滑坡的监测数据间断式地记录了滑坡的形变，其采样的频率并不稳定，不规则采样频率的数据对直观了解滑坡的形变规律和后续的数据分析及建模研究造成障碍。
为此，对完成异常数据剔除的分段数据进行拼接和使用统一的时间间隔重新采样，获得时间间隔一致的规则化时间序列数据。将不规则采样数据重新采样为时间间隔相等的数据，其中涵盖三个步骤：
步骤S41：数据拼接
将完成异常剔除的分段数据按照时间顺序拼接起来。
步骤S42：确定时间间隔
时间间隔的选取结合业务需求和研究对象的特点，采用符合自然计时规律的时间间隔作为切分单元，例如一小时、六小时、十二小时、一日等，将采集到的数据切分为落在不同时间段内的数据组。其中需要明确的是，采用的时间间隔不能明显小于设备正常运行状态下的最大采样间隔，可能会造成过多需要插补的数据，使得模拟数据过度失真。
步骤S43：确定同一时间间隔内的代表性数据的选取规则，并遵照规则得到相应代表性数据
针对在同一时间段内的采样数据组，可以选取最大值、最后一个观测值、平均值、众数、求和等对作为该时段的观测代表值，以满足不同的研究需求。
例如针对雨量数据进行处理时，采用时间段内求和来表达该时间内的累计降雨。在同一个研究中，针对同一个滑坡宜采用同一套规则进行数据重采样，中途一般不变更代表性数据的选取规则。
步骤S5：数据缺失补充
在普适型滑坡的监测中，针对单个滑坡的监测数据间断式地记录了滑坡的形变，存在由于电池供电不足、设备离线等原因造成的缺失值。本步骤的特征在于，判断经数据重组得到的时间序列数据是否存在数据缺失，对其中缺失的时间点进行数据补充，最终得到无缺失的等时间间隔数据。缺失补充的方法有多种，本专利中分为以下两类：
第一种，插值补充方法
插值补充为使用上下文的数据，对空缺部分进行插值，使得数据连续且符合整体的数据统计规律，适用于短时、少量的缺失。其中插值补充可以使用线性插值以及三次样条插值等插值方法。
第二种，预测补充方法
预测补充为使用时间序列数据或多序列数据，构建模型来模拟数据间的关系，用已知数据预测缺失事件段的数据的方法，适用于有较长的观测数据，多时间段连续缺失的情况。可以使用ARIMA、VAR等模型建立时序自回归的模拟，对缺失部分进行预测补充。
本发明公开的方法面向滑坡普适型地表位移监测实践中，因滑坡地表位移监测仪器不稳定、仪器故障和线路故障等原因，导致的监测数据缺失、存在毛刺和噪声等问题：应用数据值域分析和时序变换等技术，对数据中的不合理极值进行识别和去除，可以有效消除测试仪器不稳定带来的影响；应用变点识别方法对滑坡变形过程进行分解，结合不同阶段的地质活动特点，再次审视不同阶段数据的合理性，剔除其中不合理的数值；面对后续滑坡地表位移数据分析建模工作的需要，对数据进行等时间间距离散化，将其转化为等差离散的数据集合；最后，对于工程实践中可能存在甚至是普遍存在的数据缺失问题，提供基于数值分析或时序分析模型的缺失数据补充。应用上述技术手段对滑坡普适型地表位移监测原始数据进行处理，可以形成一套值域合理、时相连续、间隔均匀、顾及专业特点的滑坡普适型地表位移数据集，该数据集可为后续可能开展的基于概率统计、机器学习乃至深度学习模型的研究分析和预警预报工作提供可靠的数据支持。
本公开已由上述相关实施例加以描述，然而上述实施例仅为实施本公开的范例。必需指出的是，已揭露的实施例并未限制本公开的范围。相反，在不脱离本公开的精神和范围内所作的变动与润饰，均属本公开的专利保护范围。
Claims (7)
1.一种滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于，该方法包括以下步骤：
步骤S1：异常数据初剔除，将采集到的数据中超出普适型滑坡地表位移监测仪器的可测度范围或输出指向仪器异常的特殊代码的数据进行剔除，从而剔除超出仪器测量数值范围或显示为仪器设置的错误代码的数据；
步骤S2：数据分段，将经所述步骤S1处理后的数据进行数据分段；
步骤S3：异常数据再剔除，对分段数据分别进行异常数据判断，判断所述分段数据中的某一时间点数据是否超出阈值判定范围，若超出，则判定为异常数据，作为异常剔除待选项，且所述分段数据中的某一时间点数据满足以下条件时，判定为该某一时间点数据超出阈值判定范围：
其中，A表示分段数据中的某一时间点数据；Q(i),i∈[0,1]表示分段后的段内数据中占比为i的数据小于Q(i)；high和low分别为设置的样本置信比例区间，N表示两置信比例区间的特征值差值的比例倍数；
针对异常剔除待选项进一步进行局部突变判断，若满足局部突变判断，则所述异常剔除待选项确定为异常数据，剔除；反之执行所述步骤S4；
步骤S4：数据重组，将经所述步骤S3处理后的分段数据进行拼接，并将拼接后的数据转变为基于时间间隔频率的规则化时间序列数据；
步骤S5：数据缺失补充，判断所述步骤S4重组的时间序列数据是否存在缺失，如存在，对数据进行补充，得到目标数据，结束处理；反之则以所述步骤S4重组的时间序列数据为目标数据，结束处理。
2.根据权利要求1所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：所述步骤S2数据分段采用变点识别将数据拆分为统计指标稳定的不同数据段。
3.根据权利要求1所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：所述局部突变判断的具体判断过程为：如果所述异常剔除待选项同时大于或同时小于前序时间点记录和后序时间点记录，则所述异常剔除待选项确定为异常数据。
4.根据权利要求1所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：所述步骤S4数据重组的具体步骤包括：
步骤S41：数据拼接，将完成异常数据剔除的分段数据按照时间顺序拼接；
步骤S42：确定时间间隔，时间间隔的选取结合业务需求和研究对象的特点，采用符合自然计时规律的时间间隔作为切分单元，将经拼接后的数据切分为落在不同时间段内的数据组；
步骤S43：确定同一时间间隔内的代表性数据的选取规则，并依据规则得到组内代表性数据，各组间组成等时间间隔的规则化时序数据。
5.根据权利要求4所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：在数据重组步骤中，在同一个研究中，针对同一个滑坡宜采用同一套规则进行数据重采样，中途一般不变更代表性数据的选取规则。
6.根据权利要求1所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：当存在数据缺失时，通过插值补充方法对所述步骤S4重组的规则化时间序列数据中缺失的时间点进行数据补充。
7.根据权利要求1所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：当存在数据缺失时，通过预测补充方法对所述步骤S4重组的规则化时间序列数据中缺失的时间点进行数据补充。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110086757.7A CN112883075B (zh) | 2021-01-22 | 2021-01-22 | 一种滑坡普适型地表位移监测数据缺失及异常值处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110086757.7A CN112883075B (zh) | 2021-01-22 | 2021-01-22 | 一种滑坡普适型地表位移监测数据缺失及异常值处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112883075A CN112883075A (zh) | 2021-06-01 |
| CN112883075B true CN112883075B (zh) | 2024-04-05 |
Family
ID=76050012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110086757.7A Active CN112883075B (zh) | 2021-01-22 | 2021-01-22 | 一种滑坡普适型地表位移监测数据缺失及异常值处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112883075B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113609207B (zh) * | 2021-08-03 | 2023-06-23 | 招商局重庆交通科研设计院有限公司 | 一种边坡形变监测数据的数据预处理方法 |
| CN113609115A (zh) * | 2021-08-03 | 2021-11-05 | 招商局重庆交通科研设计院有限公司 | 一种边坡形变监测数据的数据清洗方法 |
| CN113806347A (zh) * | 2021-09-18 | 2021-12-17 | 浙江知水信息技术有限公司 | 一种多种计算方法的水文资料数据插补整编方法与终端 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101667327A (zh) * | 2008-09-03 | 2010-03-10 | 中国石油天然气股份有限公司 | 管道滑坡深部位移监测预警方法和系统及系统的构建方法 |
| WO2015188781A1 (zh) * | 2014-06-13 | 2015-12-17 | 海克斯康方案应用与系统集成（青岛）有限公司 | 信息处理方法、装置和系统 |
| CN106595563A (zh) * | 2016-12-13 | 2017-04-26 | 青岛理工大学 | 一种滑坡变形滑移周期显著性参数的测定方法 |
| CN106649579A (zh) * | 2016-11-17 | 2017-05-10 | 苏州航天系统工程有限公司 | 一种用于管网建模的时序数据清洗方法 |
| CN106897394A (zh) * | 2017-02-06 | 2017-06-27 | 浙江漫思网络科技有限公司 | 一种基于几何方法的gps数据去噪与分段方法 |
| CN110470259A (zh) * | 2019-07-09 | 2019-11-19 | 西安工程大学 | 基于lstm的滑坡位移动态预测方法 |
| CN110895526A (zh) * | 2019-11-29 | 2020-03-20 | 南京信息工程大学 | 一种大气监测系统中数据异常的修正方法 |
| CN111784070A (zh) * | 2020-07-09 | 2020-10-16 | 中国地质环境监测院 | 一种基于XGBoost算法的滑坡短临智能预警方法 |
-
2021
- 2021-01-22 CN CN202110086757.7A patent/CN112883075B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101667327A (zh) * | 2008-09-03 | 2010-03-10 | 中国石油天然气股份有限公司 | 管道滑坡深部位移监测预警方法和系统及系统的构建方法 |
| WO2015188781A1 (zh) * | 2014-06-13 | 2015-12-17 | 海克斯康方案应用与系统集成（青岛）有限公司 | 信息处理方法、装置和系统 |
| CN106649579A (zh) * | 2016-11-17 | 2017-05-10 | 苏州航天系统工程有限公司 | 一种用于管网建模的时序数据清洗方法 |
| CN106595563A (zh) * | 2016-12-13 | 2017-04-26 | 青岛理工大学 | 一种滑坡变形滑移周期显著性参数的测定方法 |
| CN106897394A (zh) * | 2017-02-06 | 2017-06-27 | 浙江漫思网络科技有限公司 | 一种基于几何方法的gps数据去噪与分段方法 |
| CN110470259A (zh) * | 2019-07-09 | 2019-11-19 | 西安工程大学 | 基于lstm的滑坡位移动态预测方法 |
| CN110895526A (zh) * | 2019-11-29 | 2020-03-20 | 南京信息工程大学 | 一种大气监测系统中数据异常的修正方法 |
| CN111784070A (zh) * | 2020-07-09 | 2020-10-16 | 中国地质环境监测院 | 一种基于XGBoost算法的滑坡短临智能预警方法 |
Non-Patent Citations (2)
| Title |
|---|
| "数据预处理在滑坡位移相关分析中的应用";龙悦等;《地质科技情报》;文章第1部分 * |
| 黄小研等."基于三次样条插值法的滑坡变形阶段分析".《科技与创新》.全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112883075A (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460144B (zh) | 一种基于机器学习的煤炭设备故障预警系统及方法 | |
| CN112883075B (zh) | 一种滑坡普适型地表位移监测数据缺失及异常值处理方法 | |
| CN106779505B (zh) | 一种基于大数据驱动的输电线路故障预警方法及系统 | |
| CN108375715B (zh) | 一种配电网线路故障风险日预测方法及系统 | |
| CN106600447B (zh) | 一种变电站巡检机器人集中监控系统大数据云分析方法 | |
| CN103264317B (zh) | 一种铣削加工刀具运行可靠性的评估方法 | |
| CN112633781B (zh) | 一种基于车联网大数据的车辆能耗评价方法 | |
| CN114781476B (zh) | 一种量测设备故障分析系统和方法 | |
| CN111414571A (zh) | 一种大气污染物监测方法 | |
| CN111027193A (zh) | 一种基于回归模型的短期水位预测方法 | |
| CN115100819B (zh) | 基于大数据分析的滑坡灾害预警方法、装置及电子设备 | |
| CN114330120B (zh) | 一种基于深度神经网络预测24小时pm2.5浓度的方法 | |
| CN113420162A (zh) | 一种基于知识图谱的设备运行链状态监测方法 | |
| CN117670256B (zh) | 基于bim技术的工程造价精准控制系统及方法 | |
| CN110968703A (zh) | 基于lstm端到端抽取算法的异常计量点知识库构建方法及系统 | |
| CN113592308A (zh) | 一种基于常态模型的监测数据告警阈值提取方法 | |
| CN112926656A (zh) | 一种核电厂循环水泵状态预测方法、系统及设备 | |
| CN116862109A (zh) | 一种区域碳排放态势感知预警方法 | |
| CN116956132A (zh) | 一种确定风力涡轮机积冰情况的方法 | |
| CN109299080B (zh) | 一种电力生产运行数据的清洗方法及计算设备 | |
| CN116243103A (zh) | 基于多源数据的输变电设备状态智能感知预警方法 | |
| CN116433218A (zh) | 基于自组织映射聚类的矿井机械设备在线健康评估方法 | |
| CN115424415A (zh) | 一种基于gnss实时监测的滑坡灾害智能预警方法 | |
| CN113516406B (zh) | 一种基于实时观测分析的高铁沿线降水测点布置方法 | |
| CN111914490B (zh) | 一种基于深度卷积随机森林自编码的泵站机组状态评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |