CN108510072A - 一种基于混沌神经网络的河道流量监测数据质量控制方法 - Google Patents

Abstract

本发明公开了一种基于混沌神经网络的河道流量监测数据质量控制方法，包括以下步骤：a、将历史流量数据按时间顺序排序得到时间序列数据；b、将时间序列数据进行归一化处理；c、计算最佳时滞τ和最优嵌入维数m，将一维的时间序列数据转化为多维空间样本数据；d、将多维空间样本数据按比例分为多维空间训练样本数据和测试样本数据；e、利用多维空间训练样本数据训练和构建GMDH神经网络，利用多维空间测试样本数据对GMDH神经网络进行测试，得到GMDH神经网络模型；f、对河道流量监测数据异常值进行检测；g、检查当天24小时内数据的完整度；h、将修正后的河道流量监测数据入库。本发明具有能够提高河道流量监测数据质量的特点。

Description

一种基于混沌神经网络的河道流量监测数据质量控制方法

技术领域

本发明涉及一种河道流量监测方法，特别是一种基于混沌神经网络的河道流量监测数据质量控制方法。

背景技术

水文数据是整个水文行业的核心，随着社会经济的发展，人民生活水平不断提高，人民对水旱灾害预防、气象灾害防治、水土植被保持、水环境保护、水资源检测等方面的要求越来越高，对水文数据分析处理、交换、储存、保护、信息公开的标准也相应提高。由于历史水文数据量庞大，资料繁杂且质量参差不齐，加上管理缺失，水文数据质量难以得到控制。目前水文数据质量控制的方法仍处于初级阶段，主要针对明显错误情况进行数据过滤和有效范围筛选，如数据格式错误、取位错误、超出有效范围等情况。对水文站流量监测数据缺失的控制方法主要有人工填补法、均值法、数学统计等方法，然而上述方法并没有充分耦合水文历史数据的变化规律，方法本身存在着一定的缺陷；水文站流量监测数据异常值的检测方法通常采用控制图监控模式，通过分析控制图上点的分布特征,来判断数据的合理性以及是否需要对数据进行修正，然而控制图监控模式没有考虑流量时间序列数据的时序变化特征，而是从数据的全集考虑，失真较为明显的数据容易被发现，而失真不明显的数据却难以辨别。因此，现有的技术存在着河道流量监测数据质量不佳的问题。

发明内容

本发明的目的在于，提供一种基于混沌神经网络的河道流量监测数据质量控制方法。本发明具有能够提高河道流量监测数据质量的特点。

本发明的技术方案：一种基于混沌神经网络的河道流量监测数据质量控制方法，包括以下步骤：

a、获取区域河道流量站及其上下游相关站多年的历史流量数据，并按时间顺序进行排序，得到时间序列数据{x₁,x₂,x₃,x₄,x₅......x_n}；

b、将时间序列数据{x₁,x₂,x₃,x₄,x₅......x_n}进行归一化处理，得到归一化时间序列数据{a₁,a₂,a₃,a₄......a_n}；

c、计算出归一化时间序列数据的最佳时滞τ和最优嵌入维数m，并利用相空间重构理论将一维的归一化时间序列数据转化为多维空间样本数据；

d、将多维空间样本数据按比例分为多维空间训练样本数据和多维空间测试样本数据；

e、利用多维空间训练样本数据训练和构建GMDH神经网络，利用多维空间测试样本数据对GMDH神经网络进行测试，得到GMDH神经网络模型；

f、对河道流量监测数据异常值进行检测；利用GMDH神经网络模型对t时刻河道流量监测数据进行预测，将预测值a_t与河道流量实时监测数据k_t进行异常数据检测，若为异常数据，则将a_t代替k_t，并将a_t标识为修正数据；若为正常数据则保留k_t；

g、检查当天24小时内数据的完整度；若完整度<100％，用GMDH神经网络模型对缺失值进行修正，且将修正后的河道流量数据进行特殊标识，以与原始监测数据加以区别；

h、将修正后的河道流量监测数据入库。

前述的一种基于混沌神经网络的河道流量监测数据质量控制方法中，所述步骤b中归一化处理的公式为：其中x_i为选取的历史时间序列河道流量数据，x_min为历史时间序列河道流量数据的最小值，x_max为历史时间序列河道流量数据的最大值。

前述的一种基于混沌神经网络的河道流量监测数据质量控制方法中，所述步骤c中最佳时滞τ的计算方法为：利用公式进行计算，取I(t)第一次取得极小值时的t作为最佳时滞τ；

其中，I(X,Y)表示X、Y的互信息，X为河道流量站及其上下游相关站多年的历史流量数据的时间序列数据[x₁,x₂,x₃......x_n]；Y为延时时间t的时间序列[y₁，y₂,y₃......y_n]，其中y_i＝x_i+t；P_X(x_i)为时间序列X中x_i的概率，P_Y(y_i)为延迟时间t的时间序列Y中yi的概率，P_XY(x_i,y_i)为时间序列X在状态i和延时时间t的时间序列Y处在状态i中x_i和y_i的联合概率。

前述的一种基于混沌神经网络的河道流量监测数据质量控制方法中，所述步骤c中最优嵌入维数m的计算步骤：先定义y_i为重构后的m维空间中的一个矢量，即y_i＝[x_i,x_i+t,......,x_i+(m-1)t]，并设y_i在某距离内的最邻近点为y_i ^NN(m)；再根据公式进行计算，当m增大到某一值时，E₁(m)不再随着m的增大而变化时，E₁(m)将趋近于1，则该m值即为最优嵌入维数m；所述其中，N为时间序列的长度。

前述的一种基于混沌神经网络的河道流量监测数据质量控制方法中，所述步骤c中多维空间样本数据如下所示，

前述的一种基于混沌神经网络的河道流量监测数据质量控制方法中，所述步骤d中的多维空间训练样本数据的输入信号为：

所述步骤d中多维空间训练样本数据的输出导师信号为：

K₁₂＝[a_1+(m-1)τ a_2+(m-1)τ a_3+(m-1)τ … a_n]

前述的一种基于混沌神经网络的河道流量监测数据质量控制方法中，所述步骤e中的GMDH神经网络模型的构建过程：

1)确定GMDH神经网络模型的输入信号数为m-1，相对应的神经元数为C² _m-1，神经元类型为y_k＝1/(1+exp(-z_k))，z_k的计算公式为

其中u_i和u_j为神经元输入，y_k为神经元输出，w_i为神经元权值。

2)将各个神经元权值w_i的初始值设置为0；

3)所述多维空间训练样本数据作用于GMDH神经网络模型的输入层；

4)在时刻k取y_(k-1)(k＝1,2,3,4,.......,)作为输入信号,y_k为期望输出,计算每一神经元的输出误差并修正其神经元权值和均方误差和,当均方差和大于上一循环计算值时,训练停止；

5)输入选择数据,计算每一神经元的输出均方差，根据差值确定一个阈值,选择方差小于阈值的神经元作为下一层神经元；

6)当本层最小均方差大于前一层神经元的最小均方差或本层仅有一个神经元时,停止训练过程；如果训练是由于最小方差偏大而停止的,则将前一层神经元作为输出层,并重新整理网络；若训练是因本层仅有一个神经元而停止且本次方差小于前一层时,则以本层神经元作为输出层并重新整理网络；所谓重新整理就是指舍去那些与输出神经元没有联系的神经元。

前述的一种基于混沌神经网络的河道流量监测数据质量控制方法中，所述步骤g中对t时刻k_t值进行实时异常数据检测的具体步骤为：将流量时间序列{a_t-(m-1)τ,a_t-(m-2)τ,a_t-(m-3)τ,……，a_t-τ}作为GMDH神经网络模型的输入计算出t时刻河道流量监测数据的预测值a_t；

计算河道流量实时监测数据k_t与GMDH神经网络模型预测值a_t的相对误差u_t；

设定u_t误差阈值u₀,若相对误差u_t≤u₀,则河道流量实时监测数据k_t为正常数据，则保留k_t；

若u_t>u₀，则判断k_t为异常可疑数据；进一步将k_t与上下游相邻流量站数据进行比较，若不符合规律则将k_t判断为异常数据，将a_t代替k_t，并将a_t标识为修正数据；若符合规律则将k_t判断为正常数据，保留k_t。

前述的一种基于混沌神经网络的河道流量监测数据质量控制方法中，所述步骤h中数据完整度的计算公式为：其中：C表示遥测站每天24小时河道流量监测数据的完整度，D表示一天24小时河道流量监测数据实际数据个数。

前述的一种基于混沌神经网络的河道流量监测数据质量控制方法中，所述步骤d中多维空间样本数据按8:2比例分为多维空间训练样本数据和多维空间测试样本数据。

与现有技术相比，本发明通过混沌神经网络将区域河道流量站与其上下游相关站多年的历史流量数据进行比较和结合，利用混沌GMDH神经网络模型在训练过程中能够自动调整网络层数和神经元数，在处理复杂非线性数据时有非常好的映射能力和逼近能力，混沌GMDH神经网络模型在充分利用了本站历史流量数据的变化规律、上下游流量涨落趋势和峰现时间等规律后，能够有效提高河道流量监测数据检测及缺失值修正的可靠性和准确性，保证流量入库数据质量；而且，通过将混沌神经网络和上下游流量上下游相邻流量站数据比较相结合，进一步的提高数据质量的准确性，能够提高对失真不明显数据的辨别能力，从而有效的提高了检测数据质量。综上所述，本发明具有能够提高河道流量监测数据质量的特点。

附图说明

图1是本发明的工作流程图；

图2是GMDH神经网络模型图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。

实施例。一种基于混沌神经网络的河道流量监测数据质量控制方法，构成如图1所示，包括以下步骤：

a、获取区域河道流量站及其上下游相关站多年的历史流量数据，并按时间顺序进行排序，得到时间序列数据{x₁,x₂,x₃,x₄,x₅......x_n}；

b、将时间序列数据{x₁,x₂,x₃,x₄,x₅......x_n}进行归一化处理，得到归一化时间序列数据{a₁,a₂,a₃,a₄......a_n}；

c、计算出归一化时间序列数据的最佳时滞τ和最优嵌入维数m，并利用相空间重构理论将一维的归一化时间序列数据转化为多维空间样本数据；

d、将多维空间样本数据按比例分为多维空间训练样本数据和多维空间测试样本数据；

e、利用多维空间训练样本数据训练和构建GMDH神经网络，利用多维空间训练样本数据训练和构建GMDH神经网络，利用多维空间测试样本数据对GMDH神经网络进行测试，得到GMDH神经网络模型；在训练过程中构建GMDH神经网络模型的过程中，不断调整各个神经元权值和网络层数，直到构建满足一定的精度要求，停止训练过程。

f、对于河道流量监测数据异常值进行检测；利用GMDH神经网络模型对t时刻河道流量监测数据进行预测，将预测值a_t与河道流量实时监测数据k_t进行异常数据检测，若为异常数据，则将a_t代替k_t，并将a_t标识为修正数据；若为正常数据则保留k_t；

g、检查当天24小时内数据的完整度；若完整度<100％，用GMDH神经网络模型对缺失值进行修正，且将修正后的河道流量数据进行特殊标识，以与原始监测数据加以区别；

h、将修正后的河道流量监测数据入库。

所述步骤b中归一化处理的公式为：其中x_i为选取的历史时间序列河道流量数据，x_min为历史时间序列河道流量数据的最小值，x_max为历史时间序列河道流量数据的最大值。

所述步骤c中最佳时滞τ的计算方法为：利用公式进行计算，取I(t)第一次取得极小值时的t作为最佳时滞τ；

其中，I(X,Y)表示X、Y互信息，X为河道流量站及其上下游相关站多年的历史流量数据的时间序列数据[x₁,x₂,x₃......x_n]；Y为延时时间t的时间序列[y₁，y₂,y₃......y_n]，其中y_i＝x_i+t；P_X(x_i)为时间序列X中x_i的概率，P_Y(y_i)为延迟时间t的时间序列Y中y_i的概率，P_XY(x_i,y_i)为时间序列X在状态i和延时时间t的时间序列Y处在状态i中x_i和y_i的联合概率。

所述步骤c中最优嵌入维数m的计算步骤：先定义y_i为重构后的m维空间中的一个矢量，即y_i＝[x_i,x_i+t,......,x_i+(m-1)t]，并设y_i在某距离内的最邻近点为y_i ^NN(m)；再根据公式进行计算，当m增大到某一值时，E₁(m)不再随着m的增大而变化时，E₁(m)将趋近于1，则该m值即为最优嵌入维数m；所述其中，N为时间序列的长度。

所述步骤c中多维空间样本数据如下所示，

所述步骤d中的多维空间训练样本数据的输入信号为：

所述步骤d中多维空间训练样本数据的输出导师信号为：

K₁₂＝[a_1+(m-1)τ a_2+(m-1)τ a_3+(m-1)τ … a_n]

所述步骤e中的GMDH神经网络模型的构建过程：

1)确定GMDH神经网络模型的输入信号数为m-1，相对应的神经元数为C² _m-1，神经元类型为y_k＝1/(1+exp(-z_k))，z_k的计算公式为

其中u_i和u_j为神经元输入，y_k为神经元输出，w_i为神经元权值。

2)将各个神经元权值w_i的初始值设置为0；

3)所述多维空间训练样本数据作用于GMDH神经网络模型的输入层；

4)在时刻k取y_(k-1)(k＝1,2,3,4,.......,)作为输入信号,y_k为期望输出,计算每一神经元的输出误差并修正其神经元权值和均方误差和(这是在训练神经网络过程中计算机自动修正的),当均方差和大于上一循环计算值时,训练停止；

5)输入选择数据,计算每一神经元的输出均方差，根据差值确定一个阈值(阈值是根据历史数据的变化规律来确定，是一个动态的阈值),选择方差小于阈值的神经元作为下一层神经元；

6)当本层最小均方差大于前一层神经元的最小均方差或本层仅有一个神经元时,停止训练过程；如果训练是由于最小方差偏大而停止的,则将前一层神经元作为输出层,并重新整理网络；若训练是因本层仅有一个神经元而停止且本次方差小于前一层时,则以本层神经元作为输出层并重新整理网络；所谓重新整理就是指舍去那些与输出神经元没有联系的神经元。

所述步骤g中对t时刻k_t值进行实时异常数据检测的具体步骤为：将流量时间序列{a_t-(m-1)τ,a_t-(m-2)τ,a_t-(m-3)τ,……，a_t-τ}作为GMDH神经网络模型的输入计算出t时刻河道流量监测数据的预测值a_t；

计算河道流量实时监测数据k_t与GMDH神经网络模型预测值a_t的相对误差u_t；

设定u_t误差阈值u₀,若相对误差u_t≤u₀,则河道流量实时监测数据k_t为正常数据，则保留k_t；

若u_t>u₀，则判断k_t为异常可疑数据；进一步将k_t与上下游相邻流量站数据进行比较，将k_t与上下游相邻流量站数据进行比较指的是比较本站流量过程与上下游流量涨落趋势是否一致、涨落率是否符合渐变性规律、峰现时间是否合理和峰形变化是否流域特性；若不符合规律则将k_t判断为异常数据，将a_t代替k_t，并将a_t标识为修正数据；若符合规律则将k_t判断为正常数据，保留k_t。

所述步骤h中数据完整度的计算公式为：其中：C表示遥测站每天24小时河道流量监测数据的完整度，D表示一天24小时河道流量监测数据实际数据个数。

所述步骤d中多维空间样本数据按8:2比例分为多维空间训练样本数据和多维空间测试样本数据。

最佳时滞τ的具体计算方法：

河道流量站及其上下游相关站多年的历史流量数据。X＝[x1,x2,x3,......xn]

延时时间t后的时间序列Y＝[y1，y2,y3......yn]其中yi＝xi+t

给定X时的Y的信息为：

H(Y|X)＝∑P_X(x_i)H(Y|x_i)

其中，P_X(x_i)为时间序列X中x_i的概率，P_Y(y_i)为延迟时间t的时间序列Y中y_i的概率，P_XY(x_i,y_i)为时间序列X在状态i和延时时间t的时间序列Y处在状态i中x_i和y_i的联合概率。

X,Y互信息为：

4、计算I(t)第一次取得极小值时的t作为最佳时滞τ。

最佳维度m的确定：

1、河道流量站及其上下游相关站多年的历史流量X＝[x₁,x₂,x₃......x_n]

2、重构后在m维空间中的一个矢量为：y_i＝[x_i,x_i+t,......,x_i+(m-1)t]

3、设y_i在某距离内的最邻近点y_i ^NN(m)

定义：

其中：

当m增大到某一值时，E1(m)不再随着m的增大而变化，它将趋近于1；则存在一个最优嵌入维数m；

对异常数据实时检测，具体为：

获取研究区域河道流量站及其上下游相关站多年的历史数据利用相空间重构理论将一维的流量时间序列转化为多维的空间样本数据。

将流量时间序列{a_t-(m-1)τ,a_t-(m-2)τ,a_t-(m-3)τ,……，a_t-τ}作为GMDH神经网络的输入，对t时刻河道流量监测数据进行预测，设t时刻预测值为a_t，并将第t时刻预测值a_t与河道流量实时监测数据k_t进行异常数据检测。

计算河道流量实时监测数据k_t与GMDH神经网络预测值a_t的相对误差u_t，设定u_t误差阈值u₀,若相对误差u_t≤u₀,则河道流量实时监测数据k_t为正常数据，若u_t>u₀，则判断k_t为异常可疑数据。

进一步将k_t与上下游相邻流量站数据进行比较，比较本站流量过程与上下游流量涨落趋势是否一致、涨落率是否符合渐变性规律、峰现时间是否合理、峰形变化是否流域特性等。若为异常数据，则将a_t代替k_t，并将a_t进行特殊标识，以与原始数据加以区别，若为正常数据则保留k_t。

Claims (10)

1.一种基于混沌神经网络的河道流量监测数据质量控制方法，其特征在于，包括以下步骤：

a、获取区域河道流量站及其上下游相关站多年的历史流量数据，并按时间顺序进行排序，得到时间序列数据{x₁,x₂,x₃,x₄,x₅......x_n}；

b、将时间序列数据{x₁,x₂,x₃,x₄,x₅......x_n}进行归一化处理，得到归一化时间序列数据{a₁,a₂,a₃,a₄......a_n}；

c、计算出归一化时间序列数据的最佳时滞τ和最优嵌入维数m，并利用相空间重构理论将一维的归一化时间序列数据转化为多维空间样本数据；

d、将多维空间样本数据按比例分为多维空间训练样本数据和多维空间测试样本数据；

e、利用多维空间训练样本数据训练和构建GMDH神经网络，利用多维空间测试样本数据对GMDH神经网络进行测试，得到GMDH神经网络模型；

f、对河道流量监测数据异常值进行检测；利用GMDH神经网络模型对t时刻河道流量监测数据进行预测，将预测值a_t与河道流量实时监测数据k_t进行异常数据检测，若为异常数据，则将a_t代替k_t，并将a_t标识为修正数据；若为正常数据则保留k_t；

g、检查当天24小时内数据的完整度；若完整度<100％，用GMDH 神经网络模型对缺失值进行修正，且将修正后的河道流量数据进行特殊标识，以与原始监测数据加以区别；

h、将修正后的河道流量监测数据入库。

2.根据权利要求1所述的一种基于混沌神经网络的河道流量监测数据质量控制方法，其特征在于：所述步骤b中归一化处理的公式为：其中x_i为选取的历史时间序列河道流量数据，x_min为历史时间序列河道流量数据的最小值，x_max为历史时间序列河道流量数据的最大值。

3.根据权利要求1所述的一种基于混沌神经网络的河道流量监测数据质量控制方法，其特征在于：所述步骤c中最佳时滞τ的计算方法为：利用公式进行计算，取I(t)第一次取得极小值时的t作为最佳时滞τ；

其中，I(X,Y)为X、Y的互信息，X为河道流量站及其上下游相关站多年的历史流量数据的时间序列数据[x₁,x₂,x₃......x_n]；Y为延时时间t的时间序列[y₁，y₂,y₃......y_n]，其中y_i＝x_i+t；P_X(x_i)为时间序列X中x_i的概率，P_Y(y_i)为延迟时间t的时间序列Y中y_i的概率，P_XY(x_i,y_i)为时间序列X在状态i和延时时间t的时间序列Y处在状态i中x_i和y_i的联合概率。

4.根据权利要求1所述的一种基于混沌神经网络的河道流量监测数据质量控制方法，其特征在于：所述步骤c中最优嵌入维数m的计算步骤：先定义y_i为重构后的m维空间中的一个矢量，即y_i＝[x_i,x_i+t,......,x_i+(m-1)t]，并设y_i在某距离内的最邻近点为y_i ^NN(m)；再根据公式进行计算，当m增大到某一值时，E₁(m)不再随着m的增大而变化时，E₁(m)将趋近于1，则该m值即为最优嵌入维数m；所述其中，N为时间序列的长度。

5.根据权利要求1所述的一种基于混沌神经网络的河道流量监测数据质量控制方法，其特征在于：所述步骤c中多维空间样本数据如下所示，

6.根据权利要求1所述的一种基于混沌神经网络的河道流量监测数据质量控制方法，其特征在于：所述步骤d中的多维空间训练样本数据的输入信号为：

所述步骤d中多维空间训练样本数据的输出导师信号为：

K₁₂＝[a_1+(m-1)τ a_2+(m-1)τ a_3+(m-1)τ … a_n]。

7.根据权利要求1所述的一种基于混沌神经网络的河道流量监测数据质量控制方法，其特征在于：所述步骤e中的GMDH神经网络模型的构建过程：

1)确定GMDH神经网络模型的输入信号数为m-1，相对应的神经元数为C² _m-1，神经元类型为y_k＝1/(1+exp(-z_k))，z_k的计算公式为

其中u_i和u_j为神经元输入，y_k为神经元输出，w_i为神经元权值。

2)将各个神经元权值w_i的初始值设置为0；

3)所述多维空间训练样本数据作用于GMDH神经网络模型的输入层；

4)在时刻k取y_(k-1)(k＝1,2,3,4,.......,)作为输入信号,y_k为期望输出,计算每一神经元的输出误差，并修正其神经元权值和均方误差和,当均方差和大于上一循环计算值时,训练停止；

5)输入选择的多维空间训练样本数据,计算每一神经元的输出均方差，根据差值确定一个阈值,选择方差小于阈值的神经元作为下一层神经元；

6)当本层最小均方差大于前一层神经元的最小均方差或本层仅有一个神经元时,停止训练过程；如果训练是由于最小方差偏大而停止的,则将前一层神经元作为输出层,并重新整理网络；若训练是因本层仅有一个神经元而停止且本次方差小于前一层时,则以本层神经元作为输出层并重新整理网络；所谓重新整理就是指舍去那些与输出神经元没有联系的神经元。

8.根据权利要求1所述的一种基于混沌神经网络的河道流量监测数据质量控制方法，其特征在于：所述步骤g中对t时刻k_t值进行实时异常数据检测的具体步骤为：将流量时间序列{a_t-(m-1)τ,a_t-(m-2)τ,a_t-(m-3)τ,……，a_t-τ}作为GMDH神经网络模型的输入计算出t时刻河道流量监测数据的预测值a_t；

计算河道流量实时监测数据k_t与GMDH神经网络模型预测值a_t的相对误差u_t；

设定u_t误差阈值u₀,若相对误差u_t≤u₀,则河道流量实时监测数据k_t为正常数据，则保留k_t；

若u_t>u₀，则判断k_t为异常可疑数据；进一步将k_t与上下游相邻流量站数据进行比较，若不符合规律则将k_t判断为异常数据，将a_t代替k_t，并将a_t标识为修正数据；若符合规律则将k_t判断为正常数据，保留k_t。

9.根据权利要求1所述的一种基于混沌神经网络的河道流量监测数据质量控制方法，其特征在于：所述步骤h中数据完整度的计算公式为：其中：C表示遥测站每天24小时河道流量监测数据的完整度，D表示一天24小时河道流量监测数据实际数据个数。

10.根据权利要求1所述的一种基于混沌神经网络的河道流量监测数据质量控制方法，其特征在于：所述步骤d中多维空间样本数据按8:2比例分为多维空间训练样本数据和多维空间测试样本数据。