CN106971076B - 一种河流水质监测数据序列加密方法 - Google Patents
一种河流水质监测数据序列加密方法 Download PDFInfo
- Publication number
- CN106971076B CN106971076B CN201710200998.3A CN201710200998A CN106971076B CN 106971076 B CN106971076 B CN 106971076B CN 201710200998 A CN201710200998 A CN 201710200998A CN 106971076 B CN106971076 B CN 106971076B
- Authority
- CN
- China
- Prior art keywords
- water quality
- data
- value
- loadest
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
- G16Z99/00—Subject matter not provided for in other main groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2219/00—Indexing scheme relating to application aspects of data processing equipment or methods
- G06F2219/10—Environmental application, e.g. waste reduction, pollution control, compliance with environmental legislation
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明提供了一种河流水质监测数据序列加密方法,首先通过LOADEST模型优选出污染物通量与流量之间的回归方程,通过高频次的流量监测数据预估出初次加密的水质序列,将流量过程的波动特性通过回归方程传递给水质过程,从而弥补线性插补法不能刻画水质变化过程波动特性的不足;再通过卡尔曼滤波校正模型对初次加密的水质序列进行校正,将水质实测值与基于LOADEST模型的水质预估值进行数据同化,因而可有效减小最终估算值与实测值之间的误差,从而弥补相关模型插补法误差较大的不足;最终获得的水质加密数据序列既能刻画出2个实测点之间水质过程的波动变化特性,同时也能有效减小估算值与实测值之间的误差,弥补了现有方法的缺陷。
Description
技术领域
本发明涉及水质监测和模拟分析领域,具体涉及一种河流水质监测数据插补和加密方法。
背景技术
水环境的污染与破坏是当今世界面临的主要问题之一,对水质进行监测是掌握河流水环境质量的基本手段,但受限于当前水质监测手段的技术经济水平,水质常规监测频率通常为1-3次/月,其中1月/次占绝大多数。
1-3次/月的实测水质数据序列,由于数据点之间的时间跨度大、分布离散,因而仅能反映河流水质的宏观变化趋势,难以反映水质的真实变化过程。因此,在开展污染负荷通量精确计算、水量水质耦合模拟中需要对低频次的实测水质数据序列进行插补和加密。如何使加密后的水质数据序列能更真实的反映实际的水质变化过程,是其中的重点和难点。
目前,对实测水质数据序列进行加密的方法主要有线性插补和相关模型插补2类,其中线性插补是最简单也是最常用的方法。
线性插补加密法认为2个实测数据点之间的水质状况服从线性变化规律,无需用到实测水质数据以外的其它数据,因此非常简单;这种处理方法对于人类活动干扰不大、水质过程变化缓慢的河流是适用的。但是对于水资源高度开发下的流域,人类活动干扰大,河流水质过程变化剧烈,由于线性变化的假设严重偏离实际情况,因而基于此法加密出的水质序列无法刻画出2个实测点之间水质过程的波动变化特性,会导致河流污染负荷通量计算、水量水质耦合模拟出现很大偏差,相关成果难以支撑水环境管理与决策。
为弥补线性插补法的不足,相关模型插补法被提出,即通过建立河流水质与可高频次监测的河流因子(通常为流量)之间的相关关系,据此利用高频次的流量监测数据来插补2个实测水质点之间的水质浓度,从而获得与流量监测频次一样高的水质序列数据。通过相关模型插补法加密的水质序列可一定程度刻画出2个实测点之间水质过程的波动变化特性;但由于数据不完备、模型参数非最优等影响,利用相关模型估算出的水质与实测值之间不可避免存在误差,很多情况下误差较大,这同样会导致河流污染负荷通量计算、水量水质耦合模拟出现较大偏差,相关成果难以支撑水环境管理与决策。
发明内容
发明目的:本发明的目的在于针对现有技术的不足,提供了一种河流水质监测数据序列加密方法,将LOADEST污染负荷估算模型和卡尔曼滤波校正模型相结合,对河流水质监测数据序列进行插补和加密。
技术方案:本发明提供了一种河流水质监测数据序列加密方法,包括以下步骤:
(1)基于LOADEST污染通量模型的水质加密数据预估:以河流污染物浓度监测数据及同步的流量数据为输入,运行LOADEST模型优选出污染物通量与流量之间最佳的回归方程;基于优选出的通量回归方程,LOADEST模型根据输入的日流量数据估算污染物的日通量,将污染物日通量除以日流量即得到加密后的日水质浓度预估值;
(2)基于卡尔曼滤波模型的水质加密数据校正:以实测水质数据及同步的基于LOADEST模型预估的水质数据为输入,按照卡尔曼滤波递推算法计算经过校正的实测时刻水质最优估计值,最优估计值与实测值之差即为实测时刻的误差校正值;基于误差线性分布的假设,将实测误差校正值插值拓展至每日从而获得日水质误差校正值,将日水质浓度预估值加上日水质误差校正值即得到经过校正的高精度日水质数据序列。
进一步,步骤(1)LOADEST模型污染物通量回归方程中的参数a0、aj采用以下参数估值方法:
当污染物通量残差服从正态分布时,删失型水质数据采用渐进极大似然估计法AMLE:
非删失型水质数据采用最小方差无偏估计法MVUE:
当污染物通量残差不服从正态分布时,无论水质数据是否删失均采用最小绝对偏差方法LAD:
式中,分别为利用AMLE、MVUE、LAD估算的污染物通量,Xj为回归方程中第j个变量,NV为回归方程变量的总数,a0、aj为通过不同方法计算出的回归方程参数;H(a,b,s2,α,κ)为无穷级数的似然逼近函数,gm(m,s2,V)为Bessel函数,α,κ为gamma分布的函数,a,b,V为自变量函数,m为自由度,s2为残差方差,ek为残差误差,n为用于方程率定的数据中删失型数据的个数。
进一步,步骤(1)对LOADEST模型回归方程中的参数a0、aj采用以下方法检验有效性:
A、利用判定系数R2检验回归方程的拟合性,方程的回归判定系数R2>80%说明拟合程度较好,R2>90%则拟合程度非常好;
B、利用残差序列相关系数(Serial Correlation ofResiduals,SCR)检验残差是否存在序列相关性,SCR值越小,则方程各残差之间相对越独立;对于非删失型水质数据,用概率曲线相关系数(Probability Plot Correlation Coefficient,PPCC)来检验优化出的回归方程残差是否符合正态分布,PPCC值大于0.9表明残差服从正态分布;对于删失型水质数据,则利用Turnbull-Weiss Statistic法检验优化出的回归方程残差是否符合正态分布,P值小于0.05表明残差服从正态分布。
进一步,步骤(1)LOADEST模型回归方程通过AIC准则和SPPC准则进行优选:
对回归方程进行优选时,首先通过AIC信息准则和SPPC准则表达方程式,求出每个回归方程的AIC值和SPPC值,其中AIC值和SPPC值最小的方程即为最优的污染物通量回归方程:
式中,SSR为残差平方和,ko为方程参数个数,mo为用于方程参数估值的数据组数。
进一步,步骤(2)针对水质数据的校正,构建如下的预估一校正过程来实现水质加密数据的校正:
①预估:
X0=AXL+w
Xk=AXk-1+w (6)
式中,X0为基于LOADEST模型水质预估值的卡尔曼滤波迭代初始值;XL是经LOADEST模型预估的水质浓度;A为状态转换参数,取水质实测值与LOADEST模型预估值的线性相关系数;w为模型噪声,其服从均值为0、方差为D的正态分布,D依据基于LOADEST的水质预估值误差的方差给定;Xk为第k迭代步的水质预估值;Xk-1为第k-1迭代步的水质校正值;
②校正:
状态预估误差协方差更新:
Pk=APk-1AT+D (7)
式中,Pk为第k迭代步的预估协方差;Pk-1为第k-1迭代步的校正协方差,其迭代初始值P0可参考LOADEST的水质预估值误差的方差给定,一般不取0;
卡尔曼增益计算:
式中,Kk为第k迭代步的卡尔曼增益;H是为1的量测转换参数矩阵;B为量测噪声的方差,依据水质因子测验分析手册给定;
滤波校正:
Xk=Xk+Kk(Y-HXk) (9)
式中,Xk为第k迭代步的水质校正值;Y为实测水质。
状态滤波误差协方差更新:
Pk=(I-KkH)Pk (10)
式中,I为1的矩阵;
按式(6)~(10)依次执行自回归迭代计算,Pk收敛为常值后即获得经过校正的实测时刻水质最优估计值,其与基于LOADEST的实测时刻水质预估值之差即为实测时刻误差校正值。假定误差的时间分布服从线性变化规律,从而插补出加密时刻的水质误差校正值;将基于LOADEST的水质加密数据预估值加上误差校正值即获得最终加密的水质数据序列。
有益效果:本发明首先通过LOADEST模型优选出污染物通量与流量之间的回归方程,通过高频次的流量监测数据预估出初次加密的水质序列,将流量过程的波动特性通过回归方程传递给水质过程,从而弥补线性插补法不能刻画水质变化过程波动特性的不足;再通过卡尔曼滤波校正模型对初次加密的水质序列进行校正,将水质实测值与基于LOADEST模型的水质预估值进行数据同化,因而可有效减小最终估算值与实测值之间的误差,从而弥补相关模型插补法误差较大的不足;最终获得的水质加密数据序列既能刻画出2个实测点之间水质过程的波动变化特性,同时也能有效减小估算值与实测值之间的误差,弥补了现有方法的缺陷。
附图说明
图1为本发明方法的流程图;
图2为日流量数据与常规水质监测数据的变化图;
图3为预估日水质/校正日水质/常规实测水质对比图;
图4为效果对比图。
具体实施方式
下面对本发明技术方案进行详细说明,但是本发明的保护范围不局限于所述实施例。
实施例:一种河流水质监测数据序列加密方法,如图1所示,具体操作如下:
步骤1,数据收集。收集某河流监测断面2012年的日流量数据、1次/月的常规水质监测数据(高锰酸盐指数),如图2所示。
步骤2,污染物通量回归方程优选。以收集到的日流量数据、1次/月的高锰酸盐指数监测数据为输入,运行LOADEST模型对内置的11个通量回归方程进行参数估值与检验,并依据AIC信息准则和SPPC准则,优选出该监测断面最佳的高锰酸盐指数通量回归方程,如下:
式中,L为污染物通量,Q为流量。上述方程的参数检验结果为:R2=0.9967,PPCC=0.9655,SCR=-0.1098;表明方程拟合效果好,残差不存在序列相关性、并服从正态分布。因而,LOADEST模型优选出的污染物通量回归方程能够用于该站高锰酸盐指数通量的估算。
步骤3,水质加密数据预估。基于步骤2优选出的通量回归方程,LOADEST模型根据输入的日流量数据估算出该站2012年高锰酸盐指数的日通量;将污染物日通量除以日流量即得到该站逐日的高锰酸盐指数预估值,如图3虚线所示。
步骤4,水质加密数据校正。以该站1次/月的高锰酸盐指数实测浓度(表1)以及同步的基于LOADEST模型预估的高锰酸盐指数浓度(表1)为输入,按照卡尔曼滤波递推算法(式6-式10)计算实测时刻该站高锰酸盐指数的校正值(表1);校正值与基于LOADEST模型的预估值之差即为实测时刻的误差校正值(表1),基于误差线性分布的假设将1次/月的实测误差校正值插值拓展至每日,从而获得该站2012年逐日的高锰酸盐指数误差校正值;将逐日的误差校正值与基于LOADEST模型预估的逐日高锰酸盐指数浓度相加即得到最终加密的该站2012年逐日的高锰酸盐指数浓度,如图3实线所示。本例中:A=1.05,D=0.48,B=0.5,P0=1。
表1预估水质的校正
时间 | 实测水质 | 预估水质 | 校正水质 | 误差校正值 |
2012/1/11 | 3.50 | 3.37 | 3.46 | 0.09 |
2012/2/8 | 3.60 | 3.25 | 3.55 | 0.30 |
2012/3/19 | 3.00 | 3.25 | 3.07 | -0.18 |
2012/4/13 | 3.00 | 3.25 | 3.04 | -0.21 |
2012/5/9 | 3.50 | 3.25 | 3.46 | 0.21 |
2012/6/6 | 3.30 | 3.25 | 3.28 | 0.03 |
2012/7/11 | 3.80 | 4.19 | 3.88 | -0.31 |
2012/8/8 | 4.20 | 4.31 | 4.23 | -0.08 |
2012/9/12 | 5.90 | 5.54 | 5.84 | 0.30 |
2012/10/11 | 3.40 | 3.25 | 3.38 | 0.13 |
2012/11/7 | 3.10 | 3.40 | 3.13 | -0.27 |
2012/12/12 | 3.30 | 3.26 | 3.29 | 0.03 |
为说明本发明的效果,将本法加密得到的高锰酸盐指数值(图4实线)与1周/次的联防监测高锰酸盐指数值(图4点)进行对比,可见采用本发明计算的水质过程与实测水质过程吻合较好,总体平均偏差为9.92%;说明采用本发明进行水质监测数据序列的加密,既能反映水质过程的波动特性,同时精度也较高。此外,本例也与传统的线性插补法和相关模型法进行了对比:线性插补法(图4点虚线)总体平均偏差为10.68%,但其完全无法反映实测点之间水质过程的波动特性;相关模型法(图4长虚线)总体平均偏差为11.16%,能一定程度反映实测点之间水质过程的波动特性。对比结果表明,本发明提出的方法既能提高水质加密数据的精度,同时也能更好的反映水质过程的波动特性。
如上,尽管参照特定的优选实施例已经表示和表述了本发明,但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明精神和范围前提下,可对其在形式上和细节上做出各种变化。
Claims (4)
1.一种河流水质监测数据序列加密方法,其特征在于:包括以下步骤:
(1)基于LOADEST污染通量模型的水质加密数据预估:以河流污染物浓度监测数据及同步的流量数据为输入,运行LOADEST模型优选出污染物通量与流量之间最佳的回归方程;基于优选出的通量回归方程,LOADEST模型根据输入的日流量数据估算污染物的日通量,将污染物日通量除以日流量即得到加密后的日水质浓度预估值;
(2)基于卡尔曼滤波模型的水质加密数据校正:以实测水质数据及同步的基于LOADEST模型预估的水质数据为输入,按照卡尔曼滤波递推算法计算经过校正的实测时刻水质最优估计值,经过校正的实测时刻水质最优估计值与基于LOADEST的实测时刻水质预估值之差即为实测时刻的误差校正值;基于误差线性分布的假设,将实测误差校正值插值拓展至每日从而获得日水质误差校正值,将日水质浓度预估值加上日水质误差校正值即得到经过校正的高精度日水质数据序列;
具体步骤如下:
步骤(2)针对水质数据的校正,构建如下的预估-校正过程来实现水质加密数据的校正:
①预估:
X0=AXL+w
式中,X0为基于LOADEST模型水质预估值的卡尔曼滤波迭代初始值;XL是经LOADEST模型预估的水质浓度;A为状态转换参数,取水质实测值与LOADEST模型预估值的线性相关系数;w为模型噪声,其服从均值为0、方差为D的正态分布,D依据基于LOADEST的水质预估值误差的方差给定;为第k迭代步的水质预估值;Xk-1为第k-1迭代步的水质校正值;
②校正:
状态预估误差协方差更新:
式中,为第k迭代步的预估协方差;Pk-1为第k-1迭代步的校正协方差,其迭代初始值P0可参考LOADEST的水质预估值误差的方差给定,一般不取0;
卡尔曼增益计算:
式中,Kk为第k迭代步的卡尔曼增益;H是为1的量测转换参数矩阵;B为量测噪声的方差,依据水质因子测验分析手册给定;
滤波校正:
式中,Xk为第k迭代步的水质校正值;Y为实测水质;
状态滤波误差协方差更新:
式中,I为1的矩阵;
按式(6)~(10)依次执行自回归迭代计算,Pk收敛为常值后即获得经过校正的实测时刻水质最优估计值,其与基于LOADEST的实测时刻水质预估值之差即为实测时刻误差校正值,假定误差的时间分布服从线性变化规律,从而插补出加密时刻的水质误差校正值;将基于LOADEST的水质加密数据预估值加上误差校正值即获得最终加密的水质数据序列。
2.根据权利要求1所述的河流水质监测数据序列加密方法,其特征在于:步骤(1)LOADEST模型污染物通量回归方程中的参数a0、aj采用以下参数估值方法:
当污染物通量残差服从正态分布时,删失型水质数据采用渐进极大似然估计法AMLE:
非删失型水质数据采用最小方差无偏估计法MVUE:
当污染物通量残差不服从正态分布时,无论水质数据是否删失均采用最小绝对偏差方法LAD:
式中,分别为利用AMLE、MVUE、LAD估算的污染物通量,Xj为回归方程中第j个变量,NV为回归方程变量的总数,a0、aj为通过不同方法计算出的回归方程参数;H(a,b,s2,α,κ)为无穷级数的似然逼近函数,gm(m,s2,V)为Bessel函数,α,κ为gamma分布的函数,a,b,V为自变量函数,m为自由度,s2为残差方差,ek为残差误差,n为用于方程率定的数据中删失型数据的个数。
3.根据权利要求1或2所述的河流水质监测数据序列加密方法,其特征在于:步骤(1)对LOADEST模型回归方程中的参数a0、aj采用以下方法检验有效性:
A、利用判定系数R2检验回归方程的拟合性,方程的回归判定系数R2>80%说明拟合程度较好,R2>90%则拟合程度非常好;
B、利用残差序列相关系数检验残差是否存在序列相关性,残差序列相关系数越小,则方程各残差之间相对越独立;对于非删失型水质数据,用概率曲线相关系数来检验优化出的回归方程残差是否符合正态分布,概率曲线相关系数大于0.9表明残差服从正态分布;对于删失型水质数据,则利用Turnbull-Weiss Statistic法检验优化出的回归方程残差是否符合正态分布,P值小于0.05表明残差服从正态分布。
4.根据权利要求1所述的河流水质监测数据序列加密方法,其特征在于:步骤(1)LOADEST模型回归方程通过AIC准则和SPPC准则进行优选:
对回归方程进行优选时,首先通过AIC信息准则和SPPC准则表达方程式,求出每个回归方程的AIC值和SPPC值,其中AIC值和SPPC值最小的方程即为最优的污染物通量回归方程:
式中,SSR为残差平方和,ko为方程参数个数,mo为用于方程参数估值的数据组数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710200998.3A CN106971076B (zh) | 2017-03-30 | 2017-03-30 | 一种河流水质监测数据序列加密方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710200998.3A CN106971076B (zh) | 2017-03-30 | 2017-03-30 | 一种河流水质监测数据序列加密方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106971076A CN106971076A (zh) | 2017-07-21 |
CN106971076B true CN106971076B (zh) | 2018-06-29 |
Family
ID=59335678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710200998.3A Active CN106971076B (zh) | 2017-03-30 | 2017-03-30 | 一种河流水质监测数据序列加密方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106971076B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108982890A (zh) * | 2018-06-29 | 2018-12-11 | 西安思坦科技有限公司 | 水质自动质控系统及功能配方方法、数据审核方法 |
CN108984792B (zh) * | 2018-08-02 | 2021-12-14 | 中国科学院地理科学与资源研究所 | 利用alpha不变法插补地面缺失的涡动通量观测数据的方法 |
CN110460354B (zh) * | 2019-08-07 | 2022-05-10 | 桂林电子科技大学 | 一种伪码序列盲估计系统 |
CN110726445A (zh) * | 2019-11-04 | 2020-01-24 | 国家海洋技术中心 | 一种感潮河段污染物通量在线监测系统及方法 |
CN112199847B (zh) * | 2020-10-15 | 2023-07-14 | 国能大渡河流域水电开发有限公司 | 基于时域和量级的水电出力波动频次识别方法及系统 |
CN116933982B (zh) * | 2023-09-15 | 2023-11-28 | 北京金水永利科技有限公司 | 一种降雨对河流水质影响的评估方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104280526B (zh) * | 2014-10-23 | 2016-04-27 | 北京理工大学 | 水质自动在线监测设备测量误差的分析和估计方法 |
-
2017
- 2017-03-30 CN CN201710200998.3A patent/CN106971076B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN106971076A (zh) | 2017-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106971076B (zh) | 一种河流水质监测数据序列加密方法 | |
CN109298136A (zh) | 空气质量评价方法、装置、设备和存储介质 | |
CN112054943B (zh) | 一种移动网络基站流量预测方法 | |
CN107436963A (zh) | 一种基于Copula函数多元退化的O型橡胶密封圈寿命预测方法 | |
Yin | Quantized identification with dependent noise and Fisher information ratio of communication channels | |
CN107886160B (zh) | 一种bp神经网络区间需水预测方法 | |
CN108009972A (zh) | 一种基于多源数据校核的多方式出行o-d需求估计方法 | |
Akpinar et al. | Naive forecasting of household natural gas consumption with sliding window approach | |
CN110632625B (zh) | 一种gnss时间序列阶跃探测与修复方法 | |
CN112948757A (zh) | 一种基于改进皮尔逊相关系数的低压台区拓扑校验方法 | |
Lindau et al. | The joint influence of break and noise variance on the break detection capability in time series homogenization | |
Maag et al. | Enhancing multi-hop sensor calibration with uncertainty estimates | |
Wolf et al. | Stochastic efficiency of Bayesian Markov chain Monte Carlo in spatial econometric models: an empirical comparison of exact sampling methods | |
CN106972949A (zh) | 一种基于自适应补偿技术的分数阶网络系统状态估计方法 | |
CN116467551B (zh) | 一种基于相关系数的供水管网漏损定位方法及系统 | |
Valdez-Cepeda et al. | Fractality of monthly extreme minimum temperature | |
CN113283784A (zh) | 基于区间优化算法的可靠性逆问题模型及其求解方法 | |
CN114611832B (zh) | 一种基于贝叶斯多模型集对分析的海水入侵预测方法 | |
CN114236236A (zh) | 一种基于区间动态状态估计的谐波源定位方法 | |
CN113837887A (zh) | 养老保险基金收支数据精准预测方法、装置、介质及设备 | |
Yilmaz et al. | Fast and accurate DPPM computation using model based filtering | |
Li et al. | Bayesian estimation analysis of Bernoulli measurement error model for longitudinal data | |
CN116305593B (zh) | 一种具有强可移植性的全局敏度分析方法 | |
CN115542238B (zh) | 超差表检测方法及装置 | |
Xu et al. | Improving the real-time probabilistic channel flood forecasting by incorporating the uncertainty of inflow using the particle filter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |