CN110580328B - 一种地下水位监测值缺失的修复方法 - Google Patents
一种地下水位监测值缺失的修复方法 Download PDFInfo
- Publication number
- CN110580328B CN110580328B CN201910856403.9A CN201910856403A CN110580328B CN 110580328 B CN110580328 B CN 110580328B CN 201910856403 A CN201910856403 A CN 201910856403A CN 110580328 B CN110580328 B CN 110580328B
- Authority
- CN
- China
- Prior art keywords
- data
- space
- time
- water level
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 74
- 238000012544 monitoring process Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 238000010801 machine learning Methods 0.000 claims abstract description 25
- 238000011160 research Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 26
- 239000003673 groundwater Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 14
- 230000008439 repair process Effects 0.000 claims description 8
- 238000005065 mining Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000008021 deposition Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005067 remediation Methods 0.000 description 2
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000013505 freshwater Substances 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
- G06F17/12—Simultaneous equations, e.g. systems of linear equations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Operations Research (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明公开了一种地下水位监测值缺失的修复方法，对地下水位时空序列特性分析结果为基础，围绕时空缺失值混合修复算法原理展开研究，抽象出顾及时空相关性的缺失修复混合模型。通过分析地统计学方法和机器学习算法的特点，选取适合地下水位监测数据的泛克里金空间插值法和时间缺失修复算法，并根据时空要素扩展理论，将单一的空间、时间缺失修复算法融合，构建时空缺失数据修复混合模型。
Description
技术领域
本发明涉及地下水位监测的技术，尤其涉及到水位监测值缺失的修复方法。
背景技术
水是生命之源，是动植物赖以生存和发展的基础。一直以来，地下水作为重要的供水资源受到过采、污染等问题困扰，导致地下水位降落、地面沉降、淡水咸化等一系列环境地质问题频发。地下水位长期监测是了解地下水开发利用现状，进行水资源可持续发展规划的重要依据。地下水监测水位数据作为典型的时空序列数据，具有非线性、不稳定性、强时空相关性等特点，是地下水动态分析、地下水位模拟、水文地质三维建模等工作的基础。然而，由于人为或自然因素的影响，地下水位长期监测数据往往存在不同程度的缺失，如图1所示，从热力图中可以直观地看到，造成地下水位监测站点存在缺失数据的原因各有不同。有的监测井因前期正常工作而后出现仪器故障和损坏，导致前几年数据完整，从某一月开始缺失数据；有的监测井为重建的新监测井，所以前几年的数据缺失，但后面的数据完整；还有的监测井因工作中出现故障等原因遗漏部分数据，经过修复后继续使用，导致数据中间部分缺失；还有的监测井同时存在上述情况导致的数据缺失。
与此同时，不同水位序列的数据缺失比也有所不同，缺失数据个数由十几个到几十个不等，较不理想的情况达到半数以上。在不同的地下水位监测时间节点，水位数据的缺失情况也不同。而现有地下水位缺失数据的传统修复方法在效率和准确率上表现较差，基于时空地统计学和基于机器学习的修复方法在时空序列数据修复时往往只关注时间或空间要素，对时空相关性的考量较为欠缺，地下水位数据既具有明显的时序特征，又具有较规律的空间特性，水位数据随时间和位置的改变而变化，是典型的时空序列数据。时空缺失数据的存在，直接导致研究样本时空信息量的减少，降低了数据集的完整度和可靠性，严重影响了人们对研究对象时空动态特征进行分析和建模工作的科学合理性。因此设计高适用性、高精度的地下水位时空序列数据缺失修复模型，成为地下水资源分析研究、水文地质资源保护工作中亟待解决的问题。
发明内容
为了解决现有技术中存在的问题，本发明构建了一种基于泛克里金法和支持向量回归的地下水位时空修复模型。
一、空间插值
(一)使用泛克里金插值对地下水位监测缺失值进行空间插值的具体步骤如下：
步骤1：确定需要进行修复的时刻t，从地下水位时空数据集中选定该时刻已知的监测点的位置数据和水位数据，以及需要进行修复的目标点的位置数据；
步骤2：假设非平稳的水位数据存在非平稳的数据期望和非平稳的方差函数，将非平稳的数学期望和方差函数代入，计算水位数据的协方差函数和变异函数；
步骤3：使用无偏性条件和最优性条件进行约束，计算水位数据的泛克里金估计方差，求解得到泛克里金方程组中位置的权重系数；
步骤4：将权重系数代入泛克里金方程组，将泛克里金方程组转化为普通克里金方程组，并求解；
步骤5：使用泛克里金方程组计算目标监测点的水位值；
步骤6：更换时刻t，重复上述过程，直至求出所有缺失值的空间修复结果。
(二)泛克里金插值基于的原理
1、协方差函数和变异函数
(1)协方差函数
协方差为统计学常用概念，是用于衡量两个变量间总体误差的值。对于空间变量S(x)存在两个随机变量S(x)和S(x+h)，这两个变量分别位于x(x为空间中点的位置)和x+h(h为向量)处，则该空间变量的协方差函数可以写为：
上式可简记为C(x,x+h)，即为空间变量S(x)的自协方差函数，简称为协方差函数。一般情况下，空间变量S(x)的协方差函数是依赖于空间中随机变量的空间位置的函数。
(2)变异函数
变异函数又叫变差函数、结构函数，是地统计学特有的计算工具，也是许多地统计学计算的基础。变异函数可以反映空间变量的空间变化特征，其值为空间变量中两个随机变量的差值的方差。对于空间变量S(x)中位于点x和x+h位置的点，其变异函数记为：
式中
是为了方便计算引入的参数，不具有实际意义，因此地统计学最初将2γ(x,h)定义为变异函数，γ(x,h)为半变异函数，但是由于γ(x,h)书写更为简单，且不改变变异函数性质，故而越来越多地将γ(x,h)成为变异函数，本论文也直接记为变异函数，后文不做过多阐释。
2、克里金法
克里金法又叫空间局部估计或空间局部插值法，该方法建立在变异函数理论的基础上，从观测点的整体空间分布情况出发，能够在有限的区域内对空间变量中待估计点的取值进行一种无偏最优估计。克里金插值过程可分为四个步骤，分别是数据检查、模型拟合、模型诊断和模型比较。以普通克里金插值法为例，对于空间变量S(x)，假设其满足二阶平稳假设或内蕴假设，协方差函数C(x,x+h)和变异函数γ(x,h)存在且平稳，那么在待估值区域V内的某一点x的无偏估计值为：
式中，S(xi)为待估计区域V内的n个采样点xi(i＝1,2,Λ,n)的监测值，λi(i＝1,2,Λ,n)为每个已知监测点的权重系数，权重系数未知。现根据克里金的无偏向和最优性条件，引入变异函数，得到普通克里金方程组(2.12)和普通克里金估计方差公式(2.13)。通过普通克里金方程组和普通克里金估计方差公式可以求得克里金插值公式中的权重系数，从而可以计算得到空间变量在点x位置处的无偏估计值。
二、时间插值
(一)所述时间缺失修复方法基于机器学习算法，机器学习算法采用基于支持向量回归(SVR)算法，步骤如下：
步骤1：使用任意方法收集监测点历年的水位数据，整理数据值并提取样本所需的地下水位时间序列数据集；
步骤2：对样本数据集进行整理划分，分成训练样本集和检验样本集；
步骤3：确定机器学习的模型SVR，初始化模型参数、松弛变量、核函数；
步骤4：对训练样本集进行训练，将归一化的数据导入SVR模型中，通过挖掘各序列时间变化趋势和序列间相关关系，通过交叉验证算法计算模型误差，不断调节SVR模型中的各项参数，最终确定SVR算法的核函数和松弛因子，得到缺失数据修复模型SVR；
步骤5：使用SVR模型对检验样本集中的水位缺失数据进行修复，得到完整地下水位时空数据集。
(二)支持向量回归
支持向量回归是基于支持向量机(Support Vector Machine,SVM)的一种改进算法。支持向量机是监督学习方法的广义线性分类器，是一种有坚实理论基础的小样本学习方法，不同于现有的统计方法，基本不涉及概率测定、大数定律等，实现了高效的从训练样本到预报样本的“转导推理”，大大简化了通常的分类和回归问题，随后经过改进扩展到回归问题，形成支持向量回归算法。该算法的核心思想是将样本数据以非线性变换的方式映射到高维特征空间，并基于映射后的数据构造最优决策函数，利用原空间的核函数对现有的数据样本进行训练学习，最后求解函数解获得全局最优解。以线性回归函数f(x)＝wx+b为例，对数据集S(x)划分为完整的训练集和含有缺失值测试集，对训练集中的数据(xi,yi)，进行拟合时的约束条件为：
其中ε为拟合精度，ξi和
是顾及拟合误差的松弛因子，松弛因子不小于零。将约束条件代入线性回归函数，可以将回归估计转化为约束条件下的最小值求解问题，即求(3.6)的最小值。
式中，C为控制超出精度ε的样本的惩罚系数。在(3.7)中，引入拉格朗日函数，将拉格朗日因子αi和
代入公式使目标函数最大化，并计算和化简可以得到最终的回归函数为(3.8)：
将训练集代入上式即可得到该回归函数的未知参数。此时通过该支持向量回归函数计算测试集，即可补全缺失数据，从而实现地下水位监测值时间序列的缺失值修复。
三、时空缺失数据修复混合模型
(一)时空数据缺失修复混合模型
对于地下水水位数据集Si(t)＝{Idi,L(xi,yi),Ti(t)}(i＝1,2,Λ,n；t＝1,2,Λ,m)，构建的时空混合修复模型Fi(t)可以表达为以下形式：
式中，
为目标监测点i在t时刻的缺失数据的克里金空间插值函数，
为目标监测点i利用机器学习对缺失值时间序列进行修复的最优结果，函数fML为机器学习拟合训练函数，Fi(t)为监测点i在t时刻最佳的时空缺失修复混合模型。
(二)基于时空数据缺失修复混合模型的方法，其包括如下步骤：
步骤1：整合地下水位时空数据集，编制数据集，将其分为有经纬度信息的时空序列数据集和无经纬度信息时间序列数据集；
步骤2：以时空数据集为基础数据，选取空间数据集中含有缺失值的序列为目标序列，使用泛克里金法对除目标序列外的所有序列进行空间插值，在插值结果中中输入目标序列坐标值，得到目标序列缺失值的空间修复结果，并重复上述过程，直至将所有空间缺失值修复完整；
步骤3：以时间序列数据集为基础数据，判断数据集中序列是否存在缺失值，以此为依据将数据集划分为训练集和目标集，使用训练集对机器学习算法进行训练，挖掘时间序列的变化趋势和序列间的相关关系，训练获得时间序列缺失修复的机器学习模型，并对目标集进行修复；
步骤4：将空间修复结果导入机器学习算法中与时间修复结果和实际监测数据进行训练学习，通过机器学习不断调整时空要素权重，构建地下水位时空序列缺失数据的混合修复模型；
步骤5：以地下水位时空监测数据集为研究对象，使用地下水位时空序列缺失值混合修复模型对地下水位时空监测数据集中的缺失数据进行修复，从而得到完整连续的地下水位观测数据。
有益效果
对地下水位时空序列特性分析结果为基础，围绕时空缺失值混合修复算法原理展开研究，抽象出估计时空相关性的缺失修复混合模型。通过分析地统计学方法和机器学习算法的特点，选取适合地下水位监测数据的泛克里金空间插值法和时间缺失修复算法，并根据时空要素扩展理论，将单一的空间、时间缺失修复算法融合，构建时空缺失数据修复混合模型。
附图说明
图1为原始地下水位时空序列矩阵热力图。
图2为时空数据缺失修复混合模型构建流程。
图3为基于泛克里金插值的地下水位监测值空间缺失修复流程。
图4为基于SVR的地下水位监测值时间缺失修复流程。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的说明。
南通城市处于长江三角洲主体区的沉积环境，以河床相沉积为主，砂层特别发育，不仅厚度大，且颗粒也粗，对孔隙地下水的富集、运移十分有利。且南通市属于亚热带季风气候，雨热同期，降水丰富，且地势平缓，便于地表水下渗，同时研究区内水系发达，为地下水的补给提供了充足的资源，本实施例使用的南通地区第Ⅲ承压地下水位时空监测数据，共19个监测点的5年时间跨度的月水位记录，全部水位时空序列数据为缺失数据修复实证数据源，如图1所示，监测数据中，S1-S6,S9、S10、S12、S13、S16这11个检测井的数据完整，其余8个监测井的数据不完整，以上述11个完整数据为基础，对其余8个数据缺失的监测井的数据进行修复。
如图3所示，为基于泛克里金插值的地下水位监测值空间缺失修复流程：
导入时空数据，划分T个时空子集，T为所有的监测时刻，确定需要进行修复的时刻t，另t＝1,0<t<T+1,从地下水位时空数据集中选定该时刻已知的监测点的位置数据和水位数据，以及需要进行修复的目标点的位置数据；抽取第t个时空子集；
计算时空子集保护的监测点水位值的空间趋势，用泛克里金插值法计算缺失监测点在t时刻的水位值Zt；更换时刻t，重复上述过程，直至求出所有缺失值的空间修复结果。
如图4所示，为基于SVR的地下水位监测值时间缺失修复流程，机器学习算法采用基于支持向量回归(SVR)算法：
导入时序数据，对样本数据集进行整理划分，分成训练样本集和检验样本集；确定机器学习的模型SVR，初始化模型参数、松弛变量、核函数；对训练样本集进行训练，将归一化的数据导入SVR模型中，通过挖掘各序列时间变化趋势和序列间相关关系，通过交叉验证算法计算模型误差，不断调节SVR模型中的各项参数，最终确定SVR算法的核函数和松弛因子，得到缺失数据修复模型SVR；使用SVR模型对检验样本集中的水位缺失数据进行修复，得到完整地下水位时空数据集。
如图2所示，为时空数据缺失修复混合模型构建流程，整合地下水位时空数据集，编制数据集，将其分为有经纬度信息的时空序列数据集和无经纬度信息时间序列数据集。
以时空数据集为基础数据，选取空间数据集中含有缺失值的序列为目标序列，使用泛克里金法对除目标序列外的所有序列进行空间插值，在插值结果中中输入目标序列坐标值，得到目标序列缺失值的空间修复结果，并重复上述过程，直至将所有空间缺失值修复完整。
以时间序列数据集为基础数据，判断数据集中序列是否存在缺失值，以此为依据将数据集划分为训练集和目标集，使用训练集对机器学习算法进行训练，挖掘时间序列的变化趋势和序列间的相关关系，训练获得时间序列缺失修复的机器学习模型，并对目标集进行修复。
将空间修复结果导入机器学习算法中与时间修复结果和实际监测数据进行训练学习，通过机器学习不断调整时空要素权重，构建地下水位时空序列缺失数据的混合修复模型。
以地下水位时空监测数据集为研究对象，使用地下水位时空序列缺失值混合修复模型对地下水位时空监测数据集中的缺失数据进行修复，从而得到完整连续的地下水位观测数据。
下面对修复前和修复后的结果采用相关系数理论进行比对：
对于时空序列中任意两序列Sx和Sy，其相关系数为：
rxy为相关系数，及大小介于-1～1之间，rxy为正时表示序列正相关，反之表示负相关。rxy的绝对值越大，相关关系越强。可以通过公式(1.9)可以计算得到研究区地下水位19个序列间的相关系数阵列，由于篇幅关系，这里仅展示前10个序列的相关关系(表1)。
表1研究区地下水位相关系数阵列(部分)
在相关系数阵列中，对角线上的系数均为1，因为每个阵列都与自身绝对相关。整个相关关系表中，完整序列间的相关系数绝大部分大于0.8，序列间具有高度相关性。而对于存在缺失值的序列，由于其参与计算的样本数据缺失，因此相关系数相对较低，多大多介于0.5到0.8之间，表现为中度相关。
表2为修复后地下水位时间序列相关系数矩阵，对比修复前的相关系数可以发现，序列间相关系数得到大幅度提高，多数时间序列由之前弱相关或一般相关变为强相关关系，且整体相关矩阵系数分布与完整的地下水位序列间的分布特征相似。
表2修复后水位序列相关系数阵列
Claims (1)
1.一种地下水位监测值缺失的修复方法，其包括如下步骤：
步骤1：整合地下水位时空数据集，编制数据集，将其分为有经纬度信息的时空序列数据集和无经纬度信息时间序列数据集；
步骤2：以时空序列数据集为基础数据，选取时空序列数据集中含有缺失值的序列为目标序列，使用泛克里金法对除目标序列外的所有序列进行空间插值，在插值结果中输入目标序列坐标值，得到目标序列缺失值的空间修复结果，并重复上述过程，直至将所有空间缺失值修复完整；
步骤3：以时间序列数据集为基础数据，判断时间序列数据集中序列是否存在缺失值，以此为依据将数据集划分为训练集和目标集，使用训练集对机器学习算法进行训练，挖掘时间序列的变化趋势和序列间的相关关系，训练获得时间序列缺失修复的机器学习模型，并对目标集进行修复；
步骤4：将空间修复结果导入机器学习算法中与时间修复结果和实际监测数据进行训练学习，通过机器学习不断调整时空要素权重，构建地下水位时空序列缺失数据的混合修复模型；
步骤5：以地下水位时空数据集为研究对象，使用地下水位时空序列缺失值混合修复模型对地下水位时空数据集中的缺失数据进行修复，从而得到完整连续的地下水位监测数据；
使用泛克里金插值对地下水位监测缺失值进行空间插值的具体步骤如下：
步骤a：确定需要进行修复的时刻t，从地下水位时空序列数据集中选定该时刻已知的监测点的位置数据和水位数据，以及需要进行修复的目标点的位置数据；
步骤b：假设非平稳的水位数据存在非平稳的数据期望和非平稳的方差函数，将非平稳的数学期望和方差函数代入，计算水位数据的协方差函数和变异函数；
步骤c：使用无偏性条件和最优性条件进行约束，计算水位数据的泛克里金估计方差，求解得到泛克里金方程组中位置的权重系数；
步骤d：将权重系数代入泛克里金方程组，将泛克里金方程组转化为普通克里金方程组，并求解；
步骤e：使用泛克里金方程组计算目标监测点的水位值；
步骤f：更换时刻t，重复上述过程，直至求出所有缺失值的空间修复结果；
时间缺失修复方法基于机器学习算法，机器学习算法采用基于支持向量回归（SVR）算法，步骤如下：
步骤Ⅰ：使用任意方法收集监测点历年的水位数据，整理数据值并提取样本所需的地下水位时间序列数据集；
步骤Ⅱ：对样本数据集进行整理划分，分成训练样本集和检验样本集；
步骤Ⅲ：确定机器学习的模型SVR，初始化模型参数、松弛变量、核函数；
步骤Ⅳ：对训练样本集进行训练，将归一化的数据导入SVR模型中，通过挖掘各序列时间变化趋势和序列间相关关系，通过交叉验证算法计算模型误差，不断调节SVR模型中的各项参数，最终确定SVR算法的核函数和松弛因子，得到缺失数据修复模型SVR；
步骤Ⅴ：使用SVR模型对检验样本集中的水位缺失数据进行修复，得到完整地下水位时空数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910856403.9A CN110580328B (zh) | 2019-09-11 | 2019-09-11 | 一种地下水位监测值缺失的修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910856403.9A CN110580328B (zh) | 2019-09-11 | 2019-09-11 | 一种地下水位监测值缺失的修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110580328A CN110580328A (zh) | 2019-12-17 |
| CN110580328B true CN110580328B (zh) | 2022-12-13 |
Family
ID=68812864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910856403.9A Active CN110580328B (zh) | 2019-09-11 | 2019-09-11 | 一种地下水位监测值缺失的修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110580328B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111060069B (zh) * | 2019-12-24 | 2022-04-12 | 河南理工大学 | 一种构筑物缺失监测点的沉降量获取方法和装置 |
| CN111141254B (zh) * | 2019-12-24 | 2022-04-12 | 河南理工大学 | 建筑物变形监测边点沉降缺失信息的获取方法和装置 |
| CN111143344A (zh) * | 2019-12-31 | 2020-05-12 | 新奥数能科技有限公司 | 一种用于时间序列数据缺失的补全方法及装置 |
| CN111475496B (zh) * | 2020-03-26 | 2023-07-21 | 深圳先进技术研究院 | 基于多条件约束的时间序列数据生成方法、装置及介质 |
| US11797372B2 (en) * | 2020-03-26 | 2023-10-24 | Shenzhen Institutes Of Advanced Technology | Method and apparatus for generating time series data based on multi-condition constraints, and medium |
| CN111597080A (zh) * | 2020-05-22 | 2020-08-28 | 广东省生态环境技术研究所 | 基于地统计和神经网络的地下水位缺失数据的修复方法 |
| CN111963146B (zh) * | 2020-07-14 | 2021-10-08 | 临沂矿业集团菏泽煤电有限公司 | 工业广场井筒偏斜地下水位监测网 |
| CN112577671B (zh) * | 2020-11-27 | 2022-11-01 | 武汉工程大学 | 一种利用克里金法的井盖监测方法及系统 |
| CN113554105B (zh) * | 2021-07-28 | 2023-04-18 | 桂林电子科技大学 | 一种基于时空融合的物联网缺失数据补全方法 |
| CN113792754A (zh) * | 2021-08-12 | 2021-12-14 | 国网江西省电力有限公司电力科学研究院 | 一种先除异后修复的换流变dga在线监测数据处理方法 |
| CN113495913B (zh) * | 2021-09-07 | 2021-12-21 | 中国科学院地理科学与资源研究所 | 一种空气质量数据缺失值插补方法及装置 |
| CN114970302B (zh) * | 2022-05-10 | 2024-03-15 | 沈阳工业大学 | 一种基于地下水监测系统的区域地下水情预测方法 |
| CN116627953B (zh) * | 2023-05-24 | 2023-10-27 | 首都师范大学 | 一种地下水位监测数据缺失的修复方法 |
| CN117293826B (zh) * | 2023-11-27 | 2024-04-05 | 山东大学 | 一种分布式光伏缺失功率实时预测方法、系统、介质及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473408A (zh) * | 2013-08-28 | 2013-12-25 | 河南大学 | 一种融合时空信息的气温缺失记录重建方法 |
| CN106714336A (zh) * | 2016-10-25 | 2017-05-24 | 南京邮电大学 | 一种基于改进克里金算法的无线传感网温度监测方法 |
| CN108446489A (zh) * | 2018-03-17 | 2018-08-24 | 北京师范大学 | 海岸线变迁对湿地地下水影响的测量方法及其处理装置 |
| CN109902259A (zh) * | 2019-02-25 | 2019-06-18 | 中国科学院地理科学与资源研究所 | 一种轻量级的缺失时空数据的重构方法 |
-
2019
- 2019-09-11 CN CN201910856403.9A patent/CN110580328B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473408A (zh) * | 2013-08-28 | 2013-12-25 | 河南大学 | 一种融合时空信息的气温缺失记录重建方法 |
| CN106714336A (zh) * | 2016-10-25 | 2017-05-24 | 南京邮电大学 | 一种基于改进克里金算法的无线传感网温度监测方法 |
| CN108446489A (zh) * | 2018-03-17 | 2018-08-24 | 北京师范大学 | 海岸线变迁对湿地地下水影响的测量方法及其处理装置 |
| CN109902259A (zh) * | 2019-02-25 | 2019-06-18 | 中国科学院地理科学与资源研究所 | 一种轻量级的缺失时空数据的重构方法 |
Non-Patent Citations (2)
| Title |
|---|
| Porous groundwater optimal pumping based on GIS: A case study in Su Xi Chang area, China;Jian An等;《IEEE》;20110624;全文 * |
| 基于时间序列的时空插值算法改进研究;李彦等;《计算机科学》;20140615(第S1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110580328A (zh) | 2019-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110580328B (zh) | 一种地下水位监测值缺失的修复方法 | |
| Ghosh et al. | Future rainfall scenario over Orissa with GCM projections by statistical downscaling | |
| Todini | A model conditional processor to assess predictive uncertainty in flood forecasting | |
| Fan et al. | Temporal and spatial change detecting (1998–2003) and predicting of land use and land cover in Core corridor of Pearl River Delta (China) by using TM and ETM+ images | |
| KR100982447B1 (ko) | 지공간 상관관계 통합기법을 이용한 산사태 발생 예측시스템 및 이를 이용한 산사태 발생 예측방법 | |
| Lacirignola et al. | A simplified model for the estimation of life-cycle greenhouse gas emissions of enhanced geothermal systems | |
| Torrens | Calibrating and validating cellular automata models of urbanization | |
| Lan et al. | A clustering preprocessing framework for the subannual calibration of a hydrological model considering climate‐land surface variations | |
| CN111199298B (zh) | 基于神经网络的洪水预报方法与系统 | |
| Mouatadid et al. | A machine learning approach to non-uniform spatial downscaling of climate variables | |
| Feng et al. | Cross trajectory gaussian process regression model for battery health prediction | |
| Bulut | Generation of typical solar radiation data for Istanbul, Turkey | |
| CN117113854B (zh) | 一种基于ConvLSTM和三维数值模拟的咸潮预报方法 | |
| CN114676621A (zh) | 基于深度学习权重负载提高陆地水储量异常准确性方法 | |
| Ibbitt et al. | Channel network simulation models compared with data from the Ashley River, New Zealand | |
| Hong et al. | Spatial interpolation of annual runoff in ungauged basins based on the improved information diffusion model using a genetic algorithm | |
| Nawab et al. | Comparison of ANN global horizontal irradiation predictions with satellite global horizontal irradiation using statistical evaluation | |
| Shenoy et al. | Lion algorithm-optimized long short-term memory network for groundwater level forecasting in Udupi District, India | |
| Ali et al. | Data-Driven Based Modelling of Pressure Dynamics in Multiphase Reservoir Model | |
| Xinyuan et al. | Research on regional economic transformation from the perspective of ecological environment protection | |
| Abidemi et al. | Small Hydro Power Turbine Location based on Water Height and Discharges | |
| Guo-an et al. | Landform classification of the loess plateau based on slope spectrum from grid DEMs | |
| Martirosyan et al. | The Complex Control System Functionality Development for the Sophisticated Object State | |
| León et al. | The Prediction of Hydrometeorology Variables Using the Method of Recurrent Neuronal Networks | |
| Patidar | Data Assimilation in Groundwater Modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |