CN116595327A - 水闸变形监测数据预处理系统及方法 - Google Patents
水闸变形监测数据预处理系统及方法 Download PDFInfo
- Publication number
- CN116595327A CN116595327A CN202310888479.6A CN202310888479A CN116595327A CN 116595327 A CN116595327 A CN 116595327A CN 202310888479 A CN202310888479 A CN 202310888479A CN 116595327 A CN116595327 A CN 116595327A
- Authority
- CN
- China
- Prior art keywords
- data
- sluice
- missing
- deformation
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000007781 pre-processing Methods 0.000 title claims abstract description 35
- 238000004140 cleaning Methods 0.000 claims abstract description 35
- 230000002159 abnormal effect Effects 0.000 claims abstract description 34
- 238000006073 displacement reaction Methods 0.000 claims abstract description 6
- 239000000306 component Substances 0.000 claims description 21
- 238000013500 data storage Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 14
- 238000012806 monitoring device Methods 0.000 claims description 13
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 13
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000011144 upstream manufacturing Methods 0.000 claims description 6
- 239000004567 concrete Substances 0.000 claims description 5
- 238000001363 water suppression through gradient tailored excitation Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 239000008358 core component Substances 0.000 claims description 2
- 238000006467 substitution reaction Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 4
- 239000002699 waste material Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000013450 outlier detection Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011150 reinforced concrete Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
- G01B7/16—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring the deformation in a solid, e.g. by resistance strain gauge
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/20—Hydro energy
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明公开了一种水闸变形监测数据预处理系统及方法，该系统包括数据采集模块、数据存储模块、数据清洗模块和数据重构模块。通过数据采集模块中的所有位移传感器实时监测水闸的变形情况，并定期将采集的数据传送给数据清洗模块，数据清洗模块对收到的水闸变形原始数据进行分析和计算，识别出异常数据，并剔除；数据重构模块对经数据清洗模块处理后的数据序列和/或原始缺失数据序列进行缺失值插补。该方法预处理效率高，且数据重构结果精准、可靠性强。解决了原始监测数据杂乱，预处理费时费力、准确性低、可靠性差的技术问题，有效提高了水闸安全监测数据的利用程度。
Description
技术领域
本发明属于水利工程安全监测技术领域，具体涉及一种水闸变形监测数据预处理系统及方法。
背景技术
水闸运行过程中会受到外部荷载、突发事件等多重风险威胁，在运行期对水闸进行监测是保障工程安全运行的有效手段。其中，变形监测数据是直观反映水闸健康状态的综合效应量，也是评判水闸结构运行形态的重要监控指标。
现阶段水闸变形监测方法主要为自动化观测方式，虽然自动化观测数据采集频次较高，但容易受外界因素影响，在外部环境变化、监测仪器故障和人为操作失误等因素的作用下，可能导致监测数据存在异常值和缺失值，这不仅破坏了监测资料的真实性和连续性，在一定程度上还会影响水闸安全评价的效果。
传统的异常值识别方法需要利用环境量（如水位、温度、时间等）建立预测模型来判断异常值，在数据真实性未知的情况下建立预测模型，其准确性低、可靠性差。
传统的缺失值补全方法主要关注的重点是局部测点或强关联测点对目标测点的影响。而水闸作为一个整体，其变形整体性较强，测点之间均有不同程度的关联性，在进行缺失值插补时，有必要考虑水闸整体变形或者所有测点间的空间关联性。
因此，需要采用科学合理的方法对异常数据和缺失数据进行处理，以获取完整可靠的监测数据，对保障水闸长效稳定运行及其综合效益的充分发挥具有重要的意义。
发明内容
本发明目的在于提供一种水闸变形监测数据预处理系统及方法，解决现有技术中对水闸监测数据处理中存在准确性低、可靠性差的技术问题。
为了解决上述技术问题，本发明采用如下方案实现：
水闸变形监测数据预处理系统，包括：
数据采集模块，所述数据采集模块用于采集水闸混凝土结构温度、水闸上下游水位、不同测点的变形数据信息；
数据清洗模块，所述数据清洗模块用于对数据采集模块所采集的原始数据进行分析和计算，以识别并剔除异常值；
数据重构模块，所述数据重构模块用于对经数据清洗模块处理后的数据序列和/或原始缺失数据序列进行缺失值插补，并将插补后的数据存储于数据存储模块中；
数据存储模块，所述数据存储模块包括原始数据库和预处理数据库，原始数据库用于存储采集模块所采集的原始数据；预处理数据库用于存储经过数据清洗与重构处理后的数据。
进一步优化，所述数据采集模块包括布置在水闸上的温度传感器，布置于水闸上、下游水域中的水位传感器，以及布置在水闸不同部位的多个监测设备，每个监测设备对应一个唯一的编号，所述监测设备以位移传感器为核心部件。
水闸变形监测数据预处理方法，基于上所述的水闸变形监测数据预处理系统，具体包括如下步骤：
步骤S1：数据采集模块通过监测设备实时监测水闸的变形情况，并将所采集的数据存储于数据存储模块的原始数据库中，定期将采集的数据传送给数据清洗模块；
步骤S2：数据清洗模块对收到的水闸变形原始数据进行分析和计算，识别出异常数据，并剔除；
步骤S3：数据重构模块对经数据清洗模块处理后的数据序列和/或原始数据中缺失的数据序列进行缺失值插补，并将插补后的监测数据存储于数据存储模块的预处理数据库中。
进一步优化，所述步骤S2中，识别异常数据，包括如下步骤：
步骤S2.1：设定在一段时间内，数据采集模块采集并向数据清洗模块定期发送了T次水闸变形监测数据，T为大于等于3的正整数；则每个变形测点共有T个监测数据，记第i个测点的变形监测序列为；通过经验模态分解算法将该测点采集的变形监测序列分为若干组高频分量、若干组低频分量以及一组剩余分量；
步骤S2.2：将分解所得到的低频分量与剩余分量之和用于模拟趋势项，将高频分量之和记为序列，并进行异常值检测；
步骤S2.3：计算序列y i 的期望E y 和熵En：
；
将落在区间内的变形监测数据标记为正常；将落在区间外的变形监测数据标记为异常；
步骤S2.4：在变形监测序列x i 中，将标记为异常的数据点进行剔除，并赋予缺失值的属性。
进一步优化，所述步骤S3中，对经数据清洗模块处理后的数据序列和/或原始缺失数据序列进行缺失值插补。如果原始数据存在缺失，则对原始数据所缺失序列进行插补；如果经数据清洗模块处理后的数据存在缺失，则对数据清洗模块处理后的数据进行缺失值插补；如果二者均有缺失，则均需要进行缺失值插补，即只要存在缺失就要进行缺失值插补。具体步骤如下：
步骤S3.1：设定水闸上共有n个变形测点，根据水闸变形测点的位置分布，绘制测点之间的拓扑关系，构建相应的空间权重矩阵W，矩阵中的每个元素w ij 表达式如下：
；
式中，i、j表示测点编号，i∈[1,n]，j∈[1,n]；
步骤S3.2：根据测点变形数据计算G指数，以检验测点之间的空间自相关性；在t时刻，G指数表达式如下：
；
式中， 和 /> 分别表示t时刻第i和j个测点的监测数据。
并判断G指数与预设阈值Q的关系，当|G|＞Q，则认为水闸整体变形存在空间正自相关效应，转至步骤S3.3；反之则采用传统方法构建缺失数据插补模型。统计模型见吴中如等著作的《水工建筑物安全监控理论及其应用》中第三章第一节，不再赘述。
步骤S3.3：检索原始数据库中被标记为空缺值的时间点或时间段，以及检索经数据清洗模块处剔除异常数据而产生的空缺值，确定需要进行插补的缺失数据集，分别选取缺失数据集前、后时段的完整监测数据作为训练集，采用下述公式进行拟合：
；
式中，，即空间权重矩阵W第i行对应的向量；，即t时刻下不同测点的监测数据；τ为回归系数，用来度量纯动态效应；λ为空间自回归系数，用来度量测点间的空间效应；μ为滞后一阶空间自回归系数，用来度量测点间的时空效应；c为截距项。
然后分别代入缺失数据集前、后时段的完整监测数据求解缺失数据集前、后时段的回归参数，将两组回归参数的平均值作为缺失数据集的模型参数，记为；
步骤S3.4：将步骤S3.3中获得的模型参数代入上述公式中，得到缺失数据，并插补到对应的序列中。
进一步优化，所述步骤S3.2中，预设阈值Q的表达式如下：
。
进一步优化，所述步骤S3.4中，缺失数据分为单值缺失和多值缺失，针对单值缺失情况，通过回代参数进行单步预测即可；针对多值缺失情况，将上一步的获取测预测值代入到下一步的预测之中，循环预测直至填补完成所有缺失值。
与现有技术相比，本发明具有如下有益效果：
1、本发明所述水闸变形监测数据预处理系统，通过设置数据采集模块、数据存储模块、数据清洗模块和数据重构模块，无需建立预测模型就能够对监测数据异常值进行处理，该系统智能化程度高，预处理效率快。
2、本发明所述的水闸变形监测数据预处理方法，通过采集模块中的所有位移传感器实时监测水闸的变形情况，并定期将采集的数据传送给数据清洗模块，数据清洗模块对收到的水闸变形原始数据进行分析和计算，识别出异常数据，并剔除；数据重构模块对经数据清洗模块处理后的数据序列和/或原始缺失数据序列进行缺失值插补。该方法预处理效率高，且数据重构结果精准、可靠性强。解决了原始监测数据杂乱，预处理费时费力、准确性低、可靠性差的技术问题，有效提高了水闸安全监测数据的利用程度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述水闸变形监测数据预处理系统的框图；
图2为变形测点布置示意图；
图3为识别异常监测数据的流程图；
图4为1#测点变形监测序列分解后的高频分量图；
图5为1#测点变形监测序列分解后的低频分量和剩余分量图；
图6为异常值检测结果图；
图7为缺失数据插补方法流程图；
图8为变形测点间的拓扑关系图；
图9为不同时间下的G指数图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，水闸变形监测数据预处理系统，包括数据采集模块、数据存储模块、数据清洗模块和数据重构模块。
所述数据采集模块用于采集水闸的原始监测数据，包括水闸混凝土结构温度、水闸上游水位、水闸下游水位、不同测点的变形数据信息。所述采集模块包括布置在水闸上的温度传感器、布置于水闸上、下游水域中的水位传感器，以及布置在水闸不同部位的多个以位移传感器为核心的监测设备，每个监测设备对应一个唯一的编号。
所述数据存储模块包括原始数据库和预处理数据库，原始数据库用于存储采集模块的原始数据，包括不同时刻下的混凝土结构温度、上下游水位、各测点变形值等数据，预处理数据库用于存储经过数据清洗与重构处理后的数据；
所述数据清洗模块用于对数据采集模块所采集的原始数据进行分析和计算，以识别原始数据库中的异常数据，并剔除异常值；
所述数据重构模块用于对经数据清洗模块处理后的数据序列和/或原始缺失数据序列进行缺失值插补，并将插补后的数据存储于数据存储模块中。
在本实施例中，以江苏省某水闸为例，闸身为钢筋混凝土结构，共4块底板，底板高程7.5 m，宽18 m。为监测水闸的变形情况，分别在水闸上下游翼墙、闸室、岸墙等部位布置了44台GNSS监测设备，各测点位置分布如图2所示，图中的数据为对应监测设备的编号。
所述GNSS监测设备采用太阳能电池板和蓄电池供电，不需要额外供能，每一台GNSS监测设备包括一组太阳能模组。GNSS监测设备为现有技术，具体工作原理不再赘述。
实施例2：
水闸变形监测数据预处理方法，基于上所述的水闸变形监测数据预处理系统，具体包括如下步骤：
步骤S1：数据采集模块通过监测设备实时监测水闸的变形情况，并将所采集的数据存储于数据存储模块的原始数据库中，定期将采集的数据传送给数据清洗模块。本实施例中，监测时期为2022年10月17日至2023年4月5日，监测频率为每日一次，共有171组数据，每组监测数据中包括有混凝土结构内部温度数据、上下游水位数据以及44个测点对应的变形监测值。
步骤S2：数据清洗模块对收到的水闸变形原始数据进行分析和计算，识别出异常数据，并剔除。如图3所示，具体包括如下步骤：
步骤S2.1：设定在一段时间内，数据采集模块采集并向数据清洗模块发送了T次水闸变形监测数据。以1#测点为例，其变形监测序列记为 ，限于篇幅仅列出部分监测数据，见表1。通过经验模态分解算法将该测点采集的变形监测序列分为2组高频分量、2组低频分量以及1组剩余分量，如图4、5所示。
表1 1#测点监测数据
步骤S2.2：将分解所得到的低频分量与剩余分量之和用于模拟趋势项，将高频分量之和记为序列 ，并进行异常值检测；
步骤S2.3：计算序列y 1的期望E y 和熵En：
；
将落在区间内变形监测数据标记为正常；将落在区间外的变形监测数据标记为异常；即将落在[-0.756, 0.756]区间内变形监测数据视为正常；落在[-0.756, 0.756]区间外的变形监测数据视为异常。异常值检测如图6所示，共检测到4个异常值，如四个圆圈所对应的顶点，具体结果见表2。
表2 异常值检测结果
步骤S2.4：在变形监测序列x 1中，将时间点2022/10/25、2022/12/5、2023/1/13、2023/2/24的数据点标记为异常进行剔除，并赋予缺失值的属性。
步骤S3：数据重构模块对经数据清洗模块处理后的数据序列和/或原始缺失数据序列进行缺失值插补，并将插补后的监测数据存储于数据存储模块的预处理数据库中，具体流程如图7所示。
为了验证申请中所述插值方法的有效性，在本实施例中以6#测点为例，假设6#测点在2022年12月1日~2022年12月31日的变形监测数据缺失，采用该方法进行缺失值插补，并将计算得出的插补值与实测值进行比较（实际上6#测点并没有缺失数据现象，有实测值），具体包括如下步骤：
步骤S3.1：根据水闸变形测点的位置分布，绘制测点之间的拓扑关系，如图8所示。然后根据测点间的拓扑关系构建相应的空间权重矩阵。
步骤S3.2：根据测点变形数据计算不同时间下的G指数以检验测点之间的空间自相关性，计算结果如图9所示。可以看出，在每一个时间下的G指数均大于阈值（Q= 0.059），表明水闸变形具有显著的空间正自相关效应，则转至步骤S3.3。
步骤S3.3：分别选取缺失段前（2022年11月）和缺失段后（2023年1月）的监测数据作为训练集，对下述公式进行回归拟合：
；
式中，，即空间权重矩阵W第i行对应的向量；，即t时刻下不同测点的监测数据；τ为回归系数，用来度量纯动态效应；λ为空间自回归系数，用来度量测点间的空间效应；μ为滞后一阶空间自回归系数，用来度量测点间的时空效应；c为截距项；
通过代入2022年11月和2023年1月的监测数据来求解缺失数据集前、后时段的回归参数值，结果如表3所示。取两组模型回归参数的平均值作为缺失数据集的模型参数。
表3 缺失集前、后段的模型回归参数
步骤S3.4：将上述模型参数代入步骤S3.3中，插补缺失数据。本次插补为多值连续缺失，因此需将上一步的预测值代入下一步预测之中，循环预测直至填补所有缺失值。插补结果见表4。
表4 插补值与实测值对比
由表4的插补结果可知，6#测点的插补值与实测值之间的最大残差值为1.07 mm，满足SL768-2018《水闸安全监测技术规范》中规定的水闸水平/垂直位移量误差限值(±2mm)，说明插补的数据有效。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明专利技术思想的范围内，进行多样的变更以及修改。本项发明专利的保护范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其保护范围。
Claims (7)
1.水闸变形监测数据预处理系统，其特征在于，包括：
数据采集模块，所述数据采集模块用于采集水闸混凝土结构温度、水闸上下游水位、不同测点的变形数据信息；
数据清洗模块，所述数据清洗模块用于对数据采集模块所采集的原始数据进行分析和计算，以识别并剔除异常值；
数据重构模块，所述数据重构模块用于对经数据清洗模块处理后的数据序列和/或原始缺失数据序列进行缺失值插补，并将插补后的数据存储于数据存储模块中；
数据存储模块，所述数据存储模块包括原始数据库和预处理数据库，原始数据库用于存储采集模块所采集的原始数据；预处理数据库用于存储经过数据清洗与重构处理后的数据。
2.根据权利要求1所述的水闸变形监测数据预处理系统，其特征在于，所述数据采集模块包括布置在水闸上的温度传感器，布置于水闸上、下游水域中的水位传感器，以及布置在水闸不同部位的多个监测设备，每个监测设备对应一个唯一的编号，所述监测设备以位移传感器为核心部件。
3.水闸变形监测数据预处理方法，其特征在于，基于权利要求1、2中任一项所述的水闸变形监测数据预处理系统，具体包括如下步骤：
步骤S1：数据采集模块通过监测设备实时监测水闸的变形情况，并将所采集的数据存储于数据存储模块的原始数据库中，定期将采集的数据传送给数据清洗模块；
步骤S2：数据清洗模块对收到的水闸变形原始数据进行分析和计算，识别出异常数据，并剔除；
步骤S3：数据重构模块对经数据清洗模块处理后的数据序列和/或原始数据中缺失的数据序列进行缺失值插补，并将插补后的监测数据存储于数据存储模块的预处理数据库中。
4.根据权利要求3所述的水闸变形监测数据预处理方法，其特征在于，所述步骤S2中，识别异常数据，包括如下步骤：
步骤S2.1：设定在一段时间内，数据采集模块采集并向数据清洗模块定期发送了T次水闸变形监测数据，T为大于等于3的正整数；则每个变形测点共有T个监测数据，记第i个测点的变形监测序列为 ；通过经验模态分解算法将该测点采集的变形监测序列分为若干组高频分量、若干组低频分量以及一组剩余分量；
步骤S2.2：将分解所得到的低频分量与剩余分量之和用于模拟趋势项，将高频分量之和记为序列 ，并进行异常值检测；
步骤S2.3：计算序列y i 的期望E y 和熵En：
；
将落在 区间内的变形监测数据标记为正常；将落在区间外的变形监测数据标记为异常；
步骤S2.4：在变形监测序列x i 中，将标记为异常的数据点进行剔除，并赋予缺失值的属性。
5.根据权利要求4所述的水闸变形监测数据预处理方法，其特征在于，所述步骤S3中，对经数据清洗模块处理后的数据序列和/或原始缺失数据序列进行缺失值插补，具体步骤如下：
步骤S3.1：设定水闸上共有n个变形测点，根据水闸变形测点的位置分布，绘制测点之间的拓扑关系，构建相应的空间权重矩阵W，矩阵中的每个元素w ij 表达式如下：
；
式中，i、j表示测点编号，i∈[1, n]，j∈[1, n]；
步骤S3.2：根据测点变形数据计算G指数，以检验测点之间的空间自相关性；在t时刻，G指数表达式如下：
；
式中，和/>分别表示t时刻第i和j个测点的监测数据；
并判断G指数与预设阈值Q的关系，当|G|＞Q，则认为水闸整体变形存在空间正自相关效应，转至步骤S3.3；反之则采用传统方法构建缺失数据插补模型；
步骤S3.3：检索原始数据库中被标记为空缺值的时间点或时间段，以及检索经数据清洗模块处剔除异常数据而产生的空缺值，确定需要进行插补的缺失数据集，分别选取缺失数据集前、后时段的完整监测数据作为训练集，采用下述公式进行拟合：
；
式中，，即空间权重矩阵W第i行对应的向量；，即t时刻下不同测点的监测数据；τ为回归系数，用来度量纯动态效应；λ为空间自回归系数，用来度量测点间的空间效应；μ为滞后一阶空间自回归系数，用来度量测点间的时空效应；c为截距项；
然后分别代入缺失数据集前、后时段的完整监测数据求解缺失数据集前、后时段的回归参数，将两组回归参数的平均值作为缺失数据集的模型参数，记为 ；
步骤S3.4：将步骤S3.3中获得的模型参数代入上述公式中，得到缺失数据，并插补到对应的序列中。
6.根据权利要求5所述的水闸变形监测数据预处理方法，其特征在于，所述步骤S3.2中，预设阈值Q的表达式如下：
。
7.根据权利要求5所述的水闸变形监测数据预处理方法，其特征在于，所述步骤S3.4中，缺失数据分为单值缺失和多值缺失，针对单值缺失情况，通过回代参数进行单步预测即可；针对多值缺失情况，将上一步的获取测预测值代入到下一步的预测之中，循环预测直至填补完成所有缺失值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310888479.6A CN116595327B (zh) | 2023-07-19 | 2023-07-19 | 水闸变形监测数据预处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310888479.6A CN116595327B (zh) | 2023-07-19 | 2023-07-19 | 水闸变形监测数据预处理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116595327A true CN116595327A (zh) | 2023-08-15 |
| CN116595327B CN116595327B (zh) | 2023-09-29 |
Family
ID=87606723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310888479.6A Active CN116595327B (zh) | 2023-07-19 | 2023-07-19 | 水闸变形监测数据预处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116595327B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117592013A (zh) * | 2024-01-12 | 2024-02-23 | 水利部交通运输部国家能源局南京水利科学研究院 | 水闸建筑物变形实时风险率量化与预警方法 |
| CN117725538A (zh) * | 2024-02-07 | 2024-03-19 | 河海大学 | 水闸变形多测点联合诊断系统及方法 |
| CN117743808A (zh) * | 2024-02-20 | 2024-03-22 | 中铁西南科学研究院有限公司 | 一种隧道变形预测方法、系统、设备及介质 |
| CN117851907A (zh) * | 2024-01-10 | 2024-04-09 | 山东省水利勘测设计院有限公司 | 一种基于物联网技术的水闸渗流监测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080082470A1 (en) * | 2006-09-29 | 2008-04-03 | Ehsan Sobhani Tehrani | Infrastructure health monitoring and analysis |
| CN106649966A (zh) * | 2016-10-18 | 2017-05-10 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种基于多测点特征信息的大坝变形性态诊断方法 |
| CN109101638A (zh) * | 2018-08-20 | 2018-12-28 | 河海大学 | 一种大坝变形监测连续性缺失数据补全方法 |
| CN111080002A (zh) * | 2019-12-10 | 2020-04-28 | 华南理工大学 | 基于深度学习的建筑用电负荷多步预测方法及系统 |
| CN113760880A (zh) * | 2021-09-07 | 2021-12-07 | 天津大学 | 一种水质自动监测数据的预处理方法 |
| CN115545112A (zh) * | 2022-10-17 | 2022-12-30 | 水利部信息中心 | 一种大量地下水实时自动监测数据自动识别和处理的方法 |
| CN115545265A (zh) * | 2022-06-10 | 2022-12-30 | 四川大学 | 一种基于数据修复和分解序列预测的售电量预测方法 |
| CN115905916A (zh) * | 2022-06-07 | 2023-04-04 | 河海大学 | 一种拱坝变形监测有效信息提取方法 |
-
2023
- 2023-07-19 CN CN202310888479.6A patent/CN116595327B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080082470A1 (en) * | 2006-09-29 | 2008-04-03 | Ehsan Sobhani Tehrani | Infrastructure health monitoring and analysis |
| CN106649966A (zh) * | 2016-10-18 | 2017-05-10 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种基于多测点特征信息的大坝变形性态诊断方法 |
| CN109101638A (zh) * | 2018-08-20 | 2018-12-28 | 河海大学 | 一种大坝变形监测连续性缺失数据补全方法 |
| CN111080002A (zh) * | 2019-12-10 | 2020-04-28 | 华南理工大学 | 基于深度学习的建筑用电负荷多步预测方法及系统 |
| CN113760880A (zh) * | 2021-09-07 | 2021-12-07 | 天津大学 | 一种水质自动监测数据的预处理方法 |
| CN115905916A (zh) * | 2022-06-07 | 2023-04-04 | 河海大学 | 一种拱坝变形监测有效信息提取方法 |
| CN115545265A (zh) * | 2022-06-10 | 2022-12-30 | 四川大学 | 一种基于数据修复和分解序列预测的售电量预测方法 |
| CN115545112A (zh) * | 2022-10-17 | 2022-12-30 | 水利部信息中心 | 一种大量地下水实时自动监测数据自动识别和处理的方法 |
Non-Patent Citations (2)
| Title |
|---|
| HAO GU等: "A Completion Method for Missing Concrete Dam Deformation Monitoring Data Pieces", 《APPLIED SCIENCES》, vol. 11, no. 1, pages 1 - 18 * |
| 马福恒等: "水闸安全监测技术规范关键要素研究水闸安全监测技术规范关键要素研究", 《水利水电技术》, vol. 50, no. 4, pages 90 - 94 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117851907A (zh) * | 2024-01-10 | 2024-04-09 | 山东省水利勘测设计院有限公司 | 一种基于物联网技术的水闸渗流监测方法 |
| CN117592013A (zh) * | 2024-01-12 | 2024-02-23 | 水利部交通运输部国家能源局南京水利科学研究院 | 水闸建筑物变形实时风险率量化与预警方法 |
| CN117592013B (zh) * | 2024-01-12 | 2024-03-29 | 水利部交通运输部国家能源局南京水利科学研究院 | 水闸建筑物变形实时风险率量化与预警方法 |
| CN117725538A (zh) * | 2024-02-07 | 2024-03-19 | 河海大学 | 水闸变形多测点联合诊断系统及方法 |
| CN117725538B (zh) * | 2024-02-07 | 2024-04-16 | 河海大学 | 水闸变形多测点联合诊断系统及方法 |
| CN117743808A (zh) * | 2024-02-20 | 2024-03-22 | 中铁西南科学研究院有限公司 | 一种隧道变形预测方法、系统、设备及介质 |
| CN117743808B (zh) * | 2024-02-20 | 2024-05-14 | 中铁西南科学研究院有限公司 | 一种隧道变形预测方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116595327B (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116595327B (zh) | 水闸变形监测数据预处理系统及方法 | |
| CN109298697B (zh) | 基于动态基线模型的火电厂系统各部件工作状态评估方法 | |
| CN105718715A (zh) | 异常检测方法和设备 | |
| CN109359698A (zh) | 基于长短时记忆神经网络模型的漏损识别方法 | |
| CN109948860A (zh) | 一种机械系统剩余寿命预测方法及系统 | |
| CN109813544B (zh) | 一种基于在线监测的旋转机械早期故障诊断方法及系统 | |
| KR100867938B1 (ko) | 종속변수 유사도와 커널 회귀법을 이용한 발전소 계측기성능감시용 예측방법 | |
| CN113036913B (zh) | 一种综合能源设备状态监测方法及装置 | |
| CN111275255A (zh) | 一种混凝土坝变形监测预报模型的构建方法 | |
| CN117235649B (zh) | 一种基于大数据的工业设备状态智能监测系统及方法 | |
| CN111191191A (zh) | 一种精准预测混凝土坝变形效应的组合模型的构建方法 | |
| CN112000654B (zh) | 一种高速铁路大风监测数据质量控制方法和装置 | |
| CN114519923A (zh) | 一种电厂智能诊断预警方法和系统 | |
| CN111312414B (zh) | 核电厂疲劳监测和寿命评估系统的疲劳评价方法 | |
| CN112580858A (zh) | 设备参数预测分析方法及系统 | |
| Liao et al. | Nonparametric and semi-parametric sensor recovery in multichannel condition monitoring systems | |
| CN103353295A (zh) | 一种精确预测大坝坝体垂直变形量的方法 | |
| CN113128098B (zh) | 基于de-lof的混凝土坝奇异值检测方法和设备 | |
| CN112926656A (zh) | 一种核电厂循环水泵状态预测方法、系统及设备 | |
| CN108171408B (zh) | 一种污水来水与出水量建模方法 | |
| CN110956281A (zh) | 一种基于Log分析的电力设备异常检测报警系统 | |
| CN117592013B (zh) | 水闸建筑物变形实时风险率量化与预警方法 | |
| CN104697585A (zh) | 冷却塔塔筒强度预测控制系统及其方法 | |
| Jiang et al. | A new early warning method for dam displacement behavior based on non-normal distribution function | |
| CN114442543A (zh) | 一种适用于水电站故障预警的计算机监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |