CN105046321B - 一种基于相似性搜索的组合模型预测水位的方法 - Google Patents
一种基于相似性搜索的组合模型预测水位的方法 Download PDFInfo
- Publication number
- CN105046321B CN105046321B CN201510360109.0A CN201510360109A CN105046321B CN 105046321 B CN105046321 B CN 105046321B CN 201510360109 A CN201510360109 A CN 201510360109A CN 105046321 B CN105046321 B CN 105046321B
- Authority
- CN
- China
- Prior art keywords
- data
- water level
- sequence
- predicted
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开一种基于相似性搜索的组合模型预测水位的方法，利用相关系数确定与待预测日相关的前几日水位作为待匹配序列，基于相似性搜索从历史数据中搜索出与待匹配序列不相似的一系列水位时间序列，将其从原始时间序列中排除后作为预测模型的训练集。该方法主要包括数据预处理，旨在填补空缺数据以及修复错误数据等；相似性搜索，利用动态弯曲距离和固定的滑动窗口技术，从往年的历史数据中剔除与待匹配序列不相似的一系列时间序列；组合预测模型，有两个基本模型：LM算法改进的BP神经网络和支持向量机，利用贝叶斯定理根据各基本模型在前一时刻的预测表现动态的调整其在当前预测中所占的比重。本发明能够实现防洪抗灾所需的高精度和实时性要求。
Description
技术领域
本发明涉及一种基于相似性搜索的组合模型预测水位的方法，尤其涉及对水文水位数据的预处理、利用相似性搜索有效的降低训练集的维度以及基于LM算法改进的BP神经网络和支持向量机的组合预测方法，属于信息技术领域。
背景技术
随着时代的进步以及计算机的广泛应用，存储在计算机上的内容越来越多，如何从这些海量的历史数据中挖掘出有用的信息服务于对未来的预测，同时还不会被历史数据中的冗余、空缺和错误的信息干扰，成为人们比较关注的话题。尤其在水文领域，中国有大量的水文测站，每个测站都有海量的历史数据，合理的利用这些历史数据能够有助于水文的预测，从而为防洪调度等提供有力的技术支持。
目前存在很多预测水位的方法，但是他们都有一些缺陷。使用最广的是一些针对特定流域所建立的水文方面的预测模型，比如新安江模型等，这些模型都有一定的适用范围，并且只能被一些专业人员所掌握，因此适应性不强。其他就是一些主要针对水位数据本身进行预测的方法，例如神经网络、支持向量机等。但这些模型的建立都依赖于训练集的选取，由于神经网络的黑盒特性，想提高预测精度，更改神经网络本身比较困难，针对这种缺陷，本发明对训练集进行优化，去除其中的冗余错误信息；而支持向量机不适用于大数据集，本发明在不损失有用信息的基础上降低训练集的维度。利用相似性搜索对训练集进行优化，还可以降低预测所需的时间，从而增强预测的实时性。
发明内容
发明目的：针对现有技术中存在的问题与不足，为提高预测的精度、实时性以及适应性，本发明提供一种基于相似性搜索的组合模型预测水位的方法。
技术方案：一种基于相似性搜索的组合模型预测水位的方法，包括：
a)数据预处理部分：主要包括处理空缺和错误数据。填补空缺数据时按照空缺数据的种类分为四种，分别进行不同的填补操作；修正错误数据时，首先通过3σ准则判断出错误数据，然后根据错误数据的特征按照填补空缺数据的方法进行修正。
b)确定待匹配序列部分：利用相关系数从待预测日前几日的水位中挑选出与待预测日相关的连续几日水位作为待匹配序列。
c)相似性搜索部分：将待预测日前的往年历史水位时间序列作为待搜索序列，利用动态弯曲距离从待搜索序列中查找与待匹配序列距离大于阈值的一系列序列，将这些序列及其后一日水位从训练集中剔除，剩下的序列将作为降维后的训练集输入到组合预测模型中。
d)组合预测模型部分：组合预测模型有两个基本模型，分别是基于LM算法改进的BP神经网络模型以及支持向量机模型。分别将训练集输入到这两个模型中进行训练，确定好模型后，将待匹配序列的水位分别输入这两个基本模型，得到两个模型的预测值；然后根据贝叶斯定理，根据这两个基本模型上一时刻的预测表现分别赋予它们权重，最后的预测值则是两个基本模型的预测值分别乘以它们各自的权重后相加的结果。
有益效果：与现有技术相比，本发明所提供的一种基于相似性搜索的组合模型预测水位的方法针对水文数据有较好的预处理方法，利用相似性搜索有效的降低了训练集的维度并且没有丢失有利于预测的信息，本发明将基于LM算法改进的BP神经网络与支持向量机模型相组合，让它们相互弥补，从而达到更好的预测效果，并且降低了预测时间。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例的相似性搜索模块流程图；
图3为本发明实施例的基于LM算法改进的BP神经网络训练流程图；
图4为本发明实施例的支持向量机训练流程图；
图5为本发明实施例的组合预测模型流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1为方法流程，包括以下部分：
a)数据预处理部分：主要包括处理空缺和错误数据。根据水文水位数据的特性，空缺数据可以分为四种：数据连续缺失超过15天、连续缺失8-15天、连续缺失4-7天和连续缺失低于4天。第一种情况则删除当月的记录，第二种情况利用前后各两年的同期历史水位的平均值代替，第三种情况用当月的平均值填补，第四种用近一周的平均值补充。对于错误数据的修正，首先根据3σ准则判断出错误数据，大约所有的正确数据(99.74％)都在区间(μ-3σ，μ+3σ)内，其中μ是数据的平均值，σ是数据的标准差，那么在这个区间范围外的就有理由认为是错误数据了，找出错误数据后，判断出它们属于上述四种情况的哪一个，再进行修正。
b)确定待匹配序列部分：利用相关系数从待预测日前几日的水位中挑选出与待预测日相关的连续几日水位作为待匹配序列。例如求待预测日前一日与待预测日的相关性，从待预测日所在年的前十年中分别找出待预测日前一日及待预测日同期的水位值，相关系数计算公式如公式(1)所示，其中n＝10，xi代表前i年与待预测日前一日同期的水位，yi代表前i年与待预测日同期的水位，代表这n年待预测日前一日同期水位的平均值，代表这n年待预测日同期水位的平均值，r就是x与y的相关系数。取r大于0.7视为与待预测日相关，从待预测日前一日开始往前寻找，当遇到第一个小于0.7时停止，得到的那几个大于0.7的即为待匹配序列所对应的日期。
c)相似性搜索部分：将待预测日前的往年历史水位时间序列作为待搜索序列，利用动态弯曲距离从待搜索序列中查找与待匹配序列距离大于阈值的一系列序列，将这些序列及其后一日水位从训练集中剔除，剩下的序列将作为降维后的训练集输入到组合预测模型中。
d)组合预测模型模块：组合预测模型有两个基本模型，分别是基于LM算法改进的BP神经网络模型以及支持向量机模型。分别将训练集输入到这两个模型中进行训练，确定好模型后，将待匹配序列的水位分别输入这两个基本模型，得到两个模型的预测值；然后根据贝叶斯定理，根据这两个基本模型上一时刻的预测表现分别赋予它们权重，最后的预测值则是两个基本模型的预测值分别乘以它们各自的权重后相加的结果。
如图2为相似性搜索模块示意图。包括如下步骤：
步骤101，按照上述步骤确定好待匹配序列后，将待预测日前的往年历史水位时间序列作为待搜索序列，将这两个序列进行Min-Max标准化，将数据映射到[0,1]之间，标准化公式如(2)所示，其中max代表数据中的最大值，min代表数据中的最小值，x是原始时间序列，x’是标准化后的时间序列：
步骤102，确定滑动窗口的长度为待匹配序列的长度，起始位置为所使用的历史数据的起始时间；
步骤103，对于两个时间序列X＝{x1,x2,…,xn}与Y＝{y1,y2,…,yn}(其中n为待匹配序列的长度)，建立X与Y之间的距离矩阵D，其中d(xi,yj)代表的是xi与yj之间的距离：
步骤104，计算动态弯曲(DTW)距离填充矩阵，并标记对应序列的起始终止时间。其中计算公式如下：
di,j＝d(xi,yj)+min{di-1,j-1,di-1,j,di,j-1}
步骤105，判断滑动窗口的末尾是否到达了待预测日的前一日，如果没有则将滑动窗口向后移一位继续步骤104，否则向下执行步骤106；
步骤106，比较得出大于阈值的距离，并记录对应的起始终止时间，阈值需根据所选用的历史数据的数量决定，当数据量不大时可将阈值定为所有距离的中位数，当数据量较大时，可将阈值定义为1(所有的数据都已经标准化到(0,1)之间，当DTW距离达到1时证明两个序列已经有很大差异了)。
如图3为基于LM算法改进的BP神经网络训练流程图。包括如下步骤：
步骤201，初始化网络的权值阈值，并给定训练允许误差ε，以及常数μ0和β(0<β<1)，令k＝0，μ＝μ0，其中k是指第k次迭代，μ是用户定义的学习率；
步骤202，针对第k次迭代求出对应的输出以及误差指标函数E(w)；
其中，y是期望的输出，是实际的输出，P是样本总数，w是权值和阈值组成的向量，e(w)是误差。
步骤203，判断此时的训练误差是否小于允许误差ε，若是则训练结束，模型确立即进入步骤205，否则进入下一步骤204，利用LM算法调整网络的权值和阈值；
步骤204，利用LM算法调整网络的权值和阈值的步骤如下：
1)计算Jacobian矩阵：
其中，N是神经网络的层数减一，n是每一层的神经元个数即权值和阈值的总数。
2)计算权值增量Δw：
Δw＝[JT(w)J(w)+μI]-1JT(w)e(w) (7)
其中，I是单位矩阵。
3)以wk+1＝wk+Δw作为新一次迭代的权值和阈值向量，计算E(wk+1)，若E(wk+1)<E(wk)，则令k＝k+1，μ＝μβ，继续步骤202，否则μ＝μ/β，继续步骤2)。
步骤205，训练结束，模型确立。
如图4为支持向量机训练流程图。包括如下步骤：
步骤301，将输入空间转换到特征空间[X,Y]，选择惩罚参数C>0，构造凸二次规划问题，利用间隔最大化求最解优分离超平面。其中构造的凸二次规划问题如公式8所示。
其中(xi,yi)为特征空间中的一个特征向量，α为各个需要求解的拉格朗日乘子,α＝[α1,α2,…,αi,…,αj,…]，并满足以及0≤αi≤C，称为二次规划问题的目标函数；
步骤302，通过启发式方法选择参数，并计算目标函数的偏移量；
步骤303，将选择的参数代入到二次规划问题中并计算结果，如果选择的参数不满足条件，则转到步骤305，否则转到304；
步骤304，判断当前解是否为最优解，如果是，则求取分离超平面和分类决策函数。否则，计算误差项，按照收敛的方向选择参数；
步骤305，计算为当前迭代过程中得到的阿格朗日系数，选择适合条件并计算求得分离超平面为w*·x+b*＝0，分类决策函数为f(x)＝sign(w*·x+b*)；
如图5为组合预测模型流程图。包括如下步骤：
步骤401，上一时刻预测表现是指上一时刻两个基本预测模型(基于LM算法改进的BP神经网络和支持向量机)的预测值与实际值之间的误差；
步骤402，根据贝叶斯定理确定两个基本模型的预测值在最终的预测值中所占的比重，其基本原理如下：
若xt是由前m个时间序列预测而来的，即
其中，xt是实际值，是第n个基本模型的预测值，n＝{1,2}，是第n个基本模型的误差，它是服从均值为0，方差为σn的白噪声。
在前m个时间序列为已知的条件下，第n个基本模型的预测值接近实际值的概率为：
其中ξ表示n的不确定性。
由贝叶斯定理得：
其中
由公式(11)和(12)可得：
即为第n个基本预测模型在t+1时刻的最终预测值中所占的比重，即权值。
步骤403，将两个基本预测模型的预测值和上一步所得的权值相乘得到最终的预测值；
步骤404，最终的预测值为：
Claims (2)
1.一种基于相似性搜索的组合模型预测水位的方法，其特征在于，包括：
a)数据预处理模块：包括处理空缺和错误数据；填补空缺数据时按照空缺数据的种类分为四种，分别进行不同的填补操作；修正错误数据时，首先通过3σ准则判断出错误数据，然后根据错误数据的特征按照填补空缺数据的方法进行修正；
b)确定待匹配序列模块：利用相关系数从待预测日前几日的水位中挑选出与待预测日相关的连续几日水位作为待匹配序列；
相关系数计算公式如公式(1)所示：
<mrow>
<mi>r</mi>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mover>
<mi>x</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mover>
<mi>y</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
</mrow>
<msqrt>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mover>
<mi>x</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mover>
<mi>y</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
xi代表前i年与待预测日前一日同期的水位，yi代表前i年与待预测日同期的水位，代表这n年待预测日前一日同期水位的平均值，代表这n年待预测日同期水位的平均值，r就是x与y的相关系数；
c)相似性搜索模块：将待预测日前的往年历史水位时间序列作为待搜索序列，利用动态弯曲距离从待搜索序列中查找与待匹配序列距离大于阈值的一系列序列，将这些序列及其后一日水位从训练集中剔除，剩下的序列将作为降维后的训练集输入到组合预测模型中；
相似性搜索模块执行流程包括如下步骤：
步骤101，确定好待匹配序列后，将待预测日前的往年历史水位时间序列作为待搜索序列，将这两个序列进行Min-Max标准化，将数据映射到[0,1]之间，标准化公式如(2)所示，其中max代表数据中的最大值，min代表数据中的最小值，x是原始时间序列，x’是标准化后的时间序列：
<mrow>
<msup>
<mi>x</mi>
<mo>,</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mi>x</mi>
<mo>-</mo>
<mi>min</mi>
</mrow>
<mrow>
<mi>max</mi>
<mo>-</mo>
<mi>min</mi>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
步骤102，确定滑动窗口的长度为待匹配序列的长度，起始位置为所使用的历史数据的起始时间；
步骤103，对于两个时间序列X＝{x1,x2,…,xn}与Y＝{y1,y2,…,yn}，其中n为待匹配序列的长度，建立X与Y之间的距离矩阵D，其中d(xi,yj)代表的是xi与yj之间的距离：
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
步骤104，计算动态弯曲距离填充矩阵，并标记对应序列的起始终止时间；其中计算公式如下：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>d</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>=</mo>
<mi>d</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>d</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>d</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>min</mi>
<mo>{</mo>
<msub>
<mi>d</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>}</mo>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
步骤105，判断滑动窗口的末尾是否到达了待预测日的前一日，如果没有则将滑动窗口向后移一位继续步骤104，否则向下执行步骤106；
步骤106，比较得出大于阈值的距离，并记录对应的起始终止时间；
d)组合预测模型模块：组合预测模型有两个基本模型，分别是基于LM算法改进的BP神经网络模型以及支持向量机模型；分别将训练集输入到这两个模型中进行训练，确定好模型后，将待匹配序列的水位分别输入这两个基本模型，得到两个模型的预测值；然后根据贝叶斯定理，根据这两个基本模型上一时刻的预测表现分别赋予它们权重，最后的预测值则是两个基本模型的预测值分别乘以它们各自的权重后相加的结果；
基于LM算法改进的BP神经网络训练流程包括如下步骤：
步骤201，初始化网络的权值阈值，并给定训练允许误差ε，以及常数μ0和β，0<β<1，令k＝0，μ＝μ0，其中k是指第k次迭代，μ是用户定义的学习率；
步骤202，针对第k次迭代求出对应的输出以及误差指标函数E(w)；
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>P</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>-</mo>
<mover>
<mi>y</mi>
<mo>^</mo>
</mover>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>P</mi>
</munderover>
<msup>
<mi>e</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，y是期望的输出，是实际的输出，P是样本总数，w是权值和阈值组成的向量，e(w)是误差；
步骤203，判断此时的训练误差是否小于允许误差ε，若是则训练结束，模型确立即进入步骤205，否则进入下一步骤204，利用LM算法调整网络的权值和阈值；
步骤204，利用LM算法调整网络的权值和阈值的步骤如下：
1)计算Jacobian矩阵：
<mrow>
<mi>J</mi>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>e</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>w</mi>
<mn>1</mn>
</msub>
</mrow>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>e</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>w</mi>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>e</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>w</mi>
<mi>n</mi>
</msub>
</mrow>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>e</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>w</mi>
<mn>1</mn>
</msub>
</mrow>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>e</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>w</mi>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>e</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>w</mi>
<mi>n</mi>
</msub>
</mrow>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>e</mi>
<mi>N</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>w</mi>
<mn>1</mn>
</msub>
</mrow>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>e</mi>
<mi>N</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>w</mi>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>e</mi>
<mi>N</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>w</mi>
<mi>n</mi>
</msub>
</mrow>
</mfrac>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，N是神经网络的层数减一，n是每一层的神经元个数即权值和阈值的总数；
2)计算权值增量Δw：
Δw＝[JT(w)J(w)+μI]-1JT(w)e(w) (7)
其中，I是单位矩阵；
3)以wk+1＝wk+Δw作为新一次迭代的权值和阈值向量，计算E(wk+1)，若E(wk+1)<E(wk)，则令k＝k+1，μ＝μβ，继续步骤202，否则μ＝μ/β，继续步骤2)；
步骤205，训练结束，模型确立。
2.如权利要求1所述的基于相似性搜索的组合模型预测水位的方法，其特征在于，数据预处理方法为：根据水文水位数据的特性，空缺数据可以分为四种：数据连续缺失超过15天、连续缺失8-15天、连续缺失4-7天和连续缺失低于4天；第一种情况则删除当月的记录，第二种情况利用前后各两年的同期历史水位的平均值代替，第三种情况用当月的平均值填补，第四种用近一周的平均值补充；对于错误数据的修正，首先根据3σ准则判断出错误数据，99.74％的正确数据都在区间(μ-3σ，μ+3σ)内，其中μ是数据的平均值，σ是数据的标准差，那么在这个区间范围外的就有理由认为是错误数据了，找出错误数据后，判断出它们属于上述四种情况的哪一个，再进行修正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510360109.0A CN105046321B (zh) | 2015-06-25 | 2015-06-25 | 一种基于相似性搜索的组合模型预测水位的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510360109.0A CN105046321B (zh) | 2015-06-25 | 2015-06-25 | 一种基于相似性搜索的组合模型预测水位的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105046321A CN105046321A (zh) | 2015-11-11 |
| CN105046321B true CN105046321B (zh) | 2018-01-19 |
Family
ID=54452850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510360109.0A Expired - Fee Related CN105046321B (zh) | 2015-06-25 | 2015-06-25 | 一种基于相似性搜索的组合模型预测水位的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105046321B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105843942B (zh) * | 2016-04-01 | 2019-03-29 | 浙江大学城市学院 | 一种基于大数据技术的城市防汛决策支持方法 |
| CN107357941A (zh) * | 2017-09-01 | 2017-11-17 | 浙江省水文局 | 一种可实时对水雨情数据进行检验的系统和方法 |
| CN108228832B (zh) * | 2018-01-04 | 2022-04-22 | 南京大学 | 一种基于距离矩阵的时间序列数据补全方法 |
| CN109101884B (zh) * | 2018-07-10 | 2021-05-04 | 北京大学 | 一种脉冲阵列预测方法 |
| CN109241077A (zh) * | 2018-08-30 | 2019-01-18 | 东北大学 | 基于相似性的生产指标变化趋势可视化查询系统及方法 |
| CN109376478A (zh) * | 2018-11-28 | 2019-02-22 | 中铁大桥（南京）桥隧诊治有限公司 | 桥梁健康监测故障数据修复方法及系统 |
| CN110414027A (zh) * | 2019-01-02 | 2019-11-05 | 徐宇迪 | 一种适用于洪涝预测系统的数据处理方法 |
| CN110427663A (zh) * | 2019-07-17 | 2019-11-08 | 武汉大学 | 基于时间序列网络的面降水-水位模拟方法 |
| CN111401599B (zh) * | 2019-08-01 | 2022-08-26 | 河海大学 | 一种基于相似性搜索和lstm神经网络的水位预测方法 |
| CN110849444A (zh) * | 2019-11-20 | 2020-02-28 | 武汉世纪水元科技股份有限公司 | 一种基于机器视觉的视频水位测量方法 |
| CN112179455A (zh) * | 2020-08-26 | 2021-01-05 | 浙江工业大学 | 一种基于双向lstm的超声波水表数据修复方法 |
| CN114113516A (zh) * | 2021-10-27 | 2022-03-01 | 内蒙古工业大学 | 一种基于gan的水质异常数据检测方法 |
| CN115265707B (zh) * | 2022-05-20 | 2024-08-09 | 中核武汉核电运行技术股份有限公司 | 一种核电大修水位图构建方法 |
| CN118035760A (zh) * | 2024-01-18 | 2024-05-14 | 河北省水资源研究与水利技术试验推广中心 | 灌渠水流量确定、模型构建及标准流量信息提取方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002039254A1 (en) * | 2000-11-09 | 2002-05-16 | Spss Inc. | System and method for building a time series model |
| CN104239489A (zh) * | 2014-09-05 | 2014-12-24 | 河海大学 | 利用相似性搜索和改进bp神经网络预测水位的方法 |
-
2015
- 2015-06-25 CN CN201510360109.0A patent/CN105046321B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002039254A1 (en) * | 2000-11-09 | 2002-05-16 | Spss Inc. | System and method for building a time series model |
| CN104239489A (zh) * | 2014-09-05 | 2014-12-24 | 河海大学 | 利用相似性搜索和改进bp神经网络预测水位的方法 |
Non-Patent Citations (4)
| Title |
|---|
| 变权组合预测模型在地下水水位预测中的应用;王新民等;《吉林大学学报（地球科学报）》;20091130;第39卷(第6期);正文第1节 * |
| 基于神经网络与支持向量机的组合预测模型——以房地产价格预测为例;徐富强等;《巢湖学院学报》;20120630;第14卷(第6期);全文 * |
| 灰色系统与神经网络组合模型在地下水水位预测中的应用;冯羽等;《中国地质灾害与防治学报》;20110930;第22卷(第3期);全文 * |
| 非负变权组合预测的贝叶斯极大似然估计;杨松华等;《预测》;19990430;第1999年卷(第4期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105046321A (zh) | 2015-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105046321B (zh) | 一种基于相似性搜索的组合模型预测水位的方法 | |
| CN110414788B (zh) | 一种基于相似日和改进lstm的电能质量预测方法 | |
| CN111401599B (zh) | 一种基于相似性搜索和lstm神经网络的水位预测方法 | |
| CN110580496A (zh) | 一种基于熵最小化的深度迁移学习系统及方法 | |
| CN114386324A (zh) | 一种基于转折性时段识别的超短期风电功率分段预测方法 | |
| CN114255616A (zh) | 一种无动力船舶轨迹预测方法、装置、设备及存储介质 | |
| CN111652264A (zh) | 基于最大均值差异的负迁移样本筛选方法 | |
| CN109492816B (zh) | 一种基于混合智能的煤与瓦斯突出动态预测方法 | |
| CN112860895B (zh) | 一种基于多级生成模型的纳税人行业分类方法 | |
| CN113449919B (zh) | 一种基于特征和趋势感知的用电量预测方法及系统 | |
| CN116720620A (zh) | 一种基于IPSO算法优化CNN-BiGRU-Attention网络模型的储粮通风温度预测方法 | |
| CN116187835A (zh) | 一种基于数据驱动的台区理论线损区间估算方法及系统 | |
| CN114548373A (zh) | 一种基于特征区域分割的差分隐私深度学习方法 | |
| CN117892886A (zh) | 基于置信区间的船舶运动极短期概率预报方法及系统 | |
| CN116341558A (zh) | 一种基于多层级图神经网络的多模态情感识别方法及模型 | |
| CN116933946A (zh) | 一种基于客流去向结构的轨道交通od客流预测方法及系统 | |
| CN115905855A (zh) | 一种改进的元学习算法MG-Reptile | |
| CN113656707A (zh) | 一种理财产品推荐方法、系统、存储介质及设备 | |
| CN106067075B (zh) | 一种建筑用能负荷预测模型建立、负荷预测方法及其装置 | |
| CN117291295A (zh) | 一种基于改进鲸鱼算法的JMIMHA-BiGRU船轨迹预测方法及系统 | |
| Mohd Lip et al. | Comparative study of smoothing methods and box-jenkins model in forecasting unemployment rate in Malaysia | |
| CN117094431A (zh) | 一种多尺度熵门控的DWTformer气象数据时序预测方法及设备 | |
| CN109033413B (zh) | 一种基于神经网络的需求文档和服务文档匹配方法 | |
| Pawar et al. | A comprehensive survey on online anomaly detection | |
| CN111460974A (zh) | 一种基于优化的散乱点云数据全局特征提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180119 Termination date: 20210625 |