CN112330073B - 长距离调水工程监测数据关键效应量预测方法 - Google Patents

Abstract

本公开提供了一种长距离调水工程监测数据关键效应量预测方法，包括：获取残差数据点的异常可能性；将异常可能性作为数据预测权重与数据同步输入设置初始超参数的长短期记忆神经网络；利用融合莱维飞行的双种群遗传算法对长短期记忆神经网络超参数寻优；当达到最优预测精度时，输出当前预测值。本公开考虑了监测数据中异常数据和长短期记忆神经网络模型超参数对数据预测的影响，量化了数据的异常可能性，利用莱维飞行策略实现了对超参数更为广泛的全局寻优能力，提高了预测模型的精度。

Description

长距离调水工程监测数据关键效应量预测方法

技术领域

本公开涉及调水工程监测数据预测领域，尤其涉及一种长距离调水工程监测数据关键效应量预测方法。

背景技术

对水工结构监测数据的准确预测是了解水工建筑物结构安全状态的重要依据，监测数据预处理和准确预测是两个重要环节。实测数据是存在粗差的，零星或者成片出现的粗差点也统称为野值。大型水利工程的安全监测系统具有监测点位多、仪器种类多、测量频率高的特点。调水工程相比大坝而言，建筑基础面成条状，规模较大，结构复杂，结构所处的地质条件复杂，气象条件复杂。为有效预测结构性态，需要更多传感器和更加准确的非线性预测方法。

传统预处理方法，例如3σ原则、罗曼诺夫斯基准则和狄克松准则等基于统计学的准则需要对数据分布做出假设。而实际监测数据分布难以满足这样的假设。胡德秀等人则是将抗差理论的极大似然估计与极限机器学习方法相结合，获得了鲁棒性较高的模型。基于抗差理论的预测模型虽然能削弱野值对模型参数的干扰，获得一定精度的预测效果，但模型对野值比例有一定的限制，例如Theil-Sen回归只能处理数据占比约29.3％的野值。超出这一比例，异常数据会降低预测模型精度，不利于分析水工结构安全状态。数据分布的假设和处理异常数据有限，限制了监测数据预测模型的效果。

结构规模和服役环境使得监测数据效应量和自变量存在复杂的非线性关系。长短期记忆神经网络由循环神经网络改进得到，继承了对非线性关系的拟合能力，同时也做出了更适合时间序列预测的改进。但预测复杂的非线性关系需要合适的网络结构，即超参数。遗传方法是一种典型的元启发式随机优化方法，在神经网络超参数寻优方面收到了有益的效果，但仍然存在容易陷入局部最优和不能快速收敛的问题。

发明内容

(一)要解决的技术问题

本公开提供了一种长距离调水工程监测数据关键效应量预测方法，以解决以上所提出的技术问题。

(二)技术方案

根据本公开的一个方面，提供了一种长距离调水工程监测数据关键效应量预测方法，包括：

步骤A：利用移动平均方法获取归一化的长距离调水工程监测数据效应值和自变量趋势，使用改进的局部异常系数计算残差数据点的异常可能性；

步骤B，将所述异常可能性作为数据预测权重与长距离调水工程监测数据同步输入设置初始超参数的长短期记忆神经网络；

步骤C，利用融合莱维飞行的双种群遗传方法对长短期记忆神经网络的超参数寻优；

步骤D，当长短期记忆神经网络的预测值与实测值差值最小时，停止超参数寻优，以当前超参数构建长短期记忆神经网络，输出当前预测值。

在本公开的一些实施例中，所述步骤A包括：

步骤A1，利用移动平均方法获取归一化的长距离调水工程监测数据效应值和自变量趋势；

步骤A2，分别计算长距离调水工程监测数据效应值与效应值趋势的差值以及自变量与自变量趋势的差值，得到效应量残差和自变量残差；

步骤A3，根据改进的局部异常系数，计算残差数据点的异常可能性。

在本公开的一些实施例中，所述步骤A1包括：

步骤A11，对效应量和自变量使用下式归一化处理：

其中，x_t为当前数据值，t为数据点标号；X为长距离调水工程监测数据列；N为长距离调水工程监测数据列长度；min(X)为数据列最小值；max(X)为数据列最大值；x_t′为已归一化的数据列；

步骤A12，对效应量和自变量选择合适的窗口，分别计算窗口移动后的效应量趋势和自变量趋势：

其中，n为窗口长度；t为数据点标号；x_t为当前数据值；x_t+1为移动平均后的数据值。

在本公开的一些实施例中，所述步骤A3包括：

步骤A31，根据步骤A2所述的效应量残差和自变量残差，构建残差数据集；将每个数据点O周围m个数据点P作为该数据点的领域，其中，m≥1；计算每个数据点O到其它各点P领域范围的可达方差：

d(O，P)＝max{var(O)，var(O，P)}

其中，var(O)为点O领域内所有点到点O距离的方差，var(O，P)为O领域内所有点，包括点P到点O距离的方差；

步骤A32，计算数据点O的领域中各个数据点P的局部可达密度构成数据集：

其中，

为数据点O领域内所有点的可达距离之和；

步骤A33，升序排列所述数据集中数据点O的领域中各个数据点P的局部可达密度，按照局部可达密度的大小将所述数据集分为极端簇、异常簇和正常簇；

步骤A34，将极端簇内数据点的异常可能性设置为1；正常簇内数据点的异常可能性设置为0；将异常簇内数据点的异常可能性设置为异常簇内各个数据点P的异常系数，分别计算异常簇内各个数据点P的异常系数：

其中，N(O)为数据点O领域内的数据点数量；lrd(P)为数据点P的局部可达密度；lrd(O)为数据点O的局部可达密度；

将数据集按照时间顺序拼接极端簇、异常簇和正常簇的异常可能性，构建异常可能性的时间序列。

在本公开的一些实施例中，所述步骤B包括：

步骤B1，设置初始化长短期记忆神经网络的隐藏层个数为m，每个隐藏层的神经元个数为k_j；

步骤B2，将异常可能性作为长距离调水工程监测数据预测权重与长距离调水工程监测数据输入经过步骤B1设置初始超参数的长短期记忆神经网络。

在本公开的一些实施例中，所述步骤C包括：

步骤C1，根据服从莱维分布的莱维飞行策略，产生两个初始种群；

步骤C2，利用实数编码方法将长短期记忆神经网络隐藏层个数和神经元个数编码成染色体，初始化初始种群；

步骤C3，计算初始化参数神经网络预测的均方误差，以衡量该初始化参数组成的个体适应度；

步骤C4，重复迭代计算，更新初始化参数以形成不同个体使得初始种群迭代更新为达到最优种群，其中，所述最优种群表征为种群内部所有个体对应的神经网络预测均方误差之和最小，执行步骤D。

在本公开的一些实施例中，所述步骤C3后还包括：

步骤C5，初始种群未达到最优，对两个初始种群进行选择、交叉、变异中的一种或多种操作；

步骤C6，随机选择种群中的任一个体和最优个体与另一个种群交换，如果初始种群达到最优，则执行步骤D。

在本公开的一些实施例中，所述效应值表征为位移值，所述自变量趋势表征为温度值趋势。

在本公开的一些实施例中，窗口长度n为20。

(三)有益效果

从上述技术方案可以看出，本公开长距离调水工程监测数据关键效应量预测方法至少具有以下有益效果其中之一或其中一部分：

(1)本公开考虑了长距离调水工程监测数据中异常数据和长短期记忆神经网络模型超参数对数据预测的影响，量化了数据的异常可能性。

(2)本公开利用莱维飞行策略实现了对长短期记忆神经网络模型超参数更为广泛的全局寻优能力，提高了预测模型的精度。

附图说明

图1为本公开实施例长距离调水工程监测数据关键效应量预测方法的示意图。

图2a为位移残差序列图。

图2b为温度残差序列图。

图3为分离趋势的监测数据位移效应量残差和温度变量残差散点图。

图4a为位移数据对应的异常可能性时序图。

图4b为位移数据序列图。

图5为长短期记忆神经网络预测效果图。

具体实施方式

本公开提供了一种长距离调水工程监测数据关键效应量预测方法，包括：获取残差数据点的异常可能性；将异常可能性作为数据预测权重与数据同步输入设置初始超参数的长短期记忆神经网络；利用融合莱维飞行的双种群遗传方法对长短期记忆神经网络超参数寻优；当达到最优预测精度时，输出当前预测值。本公开考虑了监测数据中异常数据和长短期记忆神经网络模型超参数对数据预测的影响，量化了数据的异常可能性，利用莱维飞行策略实现了对超参数更为广泛的全局寻优能力，提高了预测模型的精度。

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

本公开某些实施例于后方将参照所附附图做更全面性地描述，其中一些但并非全部的实施例将被示出。实际上，本公开的各种实施例可以许多不同形式实现，而不应被解释为限于此数所阐述的实施例；相对地，提供这些实施例使得本公开满足适用的法律要求。

在本公开的第一个示例性实施例中，提供了一种长距离调水工程监测数据关键效应量预测方法。图1为本公开实施例长距离调水工程监测数据关键效应量预测方法的示意图。如图1所示，本公开长距离调水工程监测数据关键效应量预测方法包括：

步骤A：利用移动平均方法获取归一化的长距离调水工程监测数据效应值和自变量趋势，使用改进的局部异常系数计算残差数据点的异常可能性。进一步地，步骤A包括：

步骤A1，利用移动平均方法获取归一化的长距离调水工程监测数据效应值和自变量趋势，使用改进的局部异常系数计算残差数据点的异常可能性。在本实施例中效应值表征为位移值，自变量趋势表征为温度值趋势。具体包括：

步骤A11，对效应量和自变量使用下式归一化处理：

其中，x_t为当前数据值，t为数据点标号；X为长距离调水工程监测数据列；N为长距离调水工程监测数据列长度；min(X)为数据列最小值；max(X)为数据列最大值；x_t′为已归一化的数据列。

步骤A12，对效应量和自变量选择合适的窗口，分别计算窗口移动后的效应量趋势和自变量趋势：

其中，n为窗口长度；t为数据点标号；x_t为当前数据值；x_t+1为移动平均后的数据值。

步骤A2，分别计算长距离调水工程监测数据位移值与位移值趋势的差值以及温度值与温度值趋势的差值，得到位移残差和温度残差。

步骤A3，根据改进的局部异常系数，计算残差数据点的异常可能性。进一步地，步骤A3包括：

步骤A31，根据步骤A2所述的位移残差和温度残差，构建残差数据集；将每个数据点O周围m个数据点P作为该数据点的领域，计算每个数据点O到其它各点P领域范围的可达方差：

d(O，P)＝max{var(O)，var(O，P)}

其中，var(O)为点O领域内所有点到点O距离的方差，var(O，P)为O领域内所有点，包括点P到点O距离的方差。

步骤A32，计算数据点O的领域中各个数据点P的局部可达密度构成数据集：

其中，

为数据点O领域内所有点的可达距离之和。

步骤A33，升序排列所述数据集中数据点O的领域中各个数据点P的局部可达密度，按照局部可达密度的大小将所述数据集分为极端簇、异常簇和正常簇。

步骤A34，将极端簇内数据点的异常可能性设置为1；正常簇内数据点的异常可能性设置为0；将异常簇内数据点的异常可能性设置为异常簇内各个数据点P的异常系数，分别计算异常簇内各个数据点P的异常系数：

其中，N(O)为数据点O领域内的数据点数量；lrd(P)为数据点P的局部可达密度；lrd(O)为数据点O的局部可达密度；

将数据集按照时间顺序拼接极端簇、异常簇和正常簇的异常可能性，构建异常可能性的时间序列。

步骤B，将所述异常可能性作为数据预测权重与长距离调水工程监测数据同步输入设置初始超参数的长短期记忆神经网络，还包括：

步骤B1，设置初始化长短期记忆神经网络的隐藏层个数为m，每个隐藏层的神经元个数为k_j。

步骤B2，将异常可能性作为长距离调水工程监测数据预测权重与长距离调水工程监测数据输入经过步骤B1设置初始超参数的长短期记忆神经网络。

步骤C，利用融合莱维飞行的双种群遗传方法对长短期记忆神经网络的超参数寻优，还包括：

步骤C1，根据服从莱维分布的莱维飞行策略，产生两个初始种群。

步骤C2，利用实数编码方法将长短期记忆神经网络隐藏层个数和神经元个数编码成染色体，初始化初始种群。

步骤C3，计算初始化参数神经网络预测的均方误差，以衡量该初始化参数组成的个体适应度。

步骤C4，重复迭代计算，更新初始化参数以形成不同个体使得初始种群迭代更新为达到最优种群，其中，所述最优种群表征为种群内部所有个体对应的神经网络预测均方误差之和最小，执行步骤D。

或者执行步骤C5，初始种群未达到最优，对两个初始种群进行选择、交叉、变异中的一种或多种操作。

步骤C6，随机选择种群中的任一个体和最优个体与另一个种群交换，如果初始种群达到最优，则执行步骤D。

步骤D，当长短期记忆神经网络的预测值与实测值差值最小时，停止超参数寻优，以当前超参数构建长短期记忆神经网络，输出当前预测值。

实施例

选取某实际调水工程的位移监测数据和与之对应的温度监测数据，该数据集包含长达八年的周期。如图4b所示，数据多出含有偏离趋势的异常值，需要量化数据点异常可能性，增加数据分析模型预测准确性。利用所述的长距离调水工程监测数据异常处理与关键效应量预测方法对位移数据预测。根据步骤A，对监测数据位移效应量和温度自变量使用移动平均法分离趋势，移动窗口大小选取为20，图3为分离趋势的监测数据位移效应量残差和温度变量残差。随后将位移残差和温度残差构建为图4a、图4b所示的散点图，根据步骤A计算数据点的异常可能性，以时间顺序组成图5所示位移数据异常可能性时序图。执行步骤B，将异常可能性与位移、温度监测数据上输入隐藏层个数为3，每层神经元个数分别为3、2、4的初始化长短期记忆神经网络。根据步骤C，以莱维飞行策略设置两个种群，双种群中选择个体数k＝5、交叉概率为Pc＝0.7、变异概率为Pe＝0.001，计算每个个体预测均方误差，选择出最优个体并标记，随机选择种群中的个体和最优个体与另一个个体交换，判断均方误差是否达到最优。根据步骤D，隐藏层个数为1，神经元个数为5时达到最优预测精度，图5为预测效果图。

至此，已经结合附图对本公开实施例进行了详细描述。需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

依据以上描述，本领域技术人员应当对本公开长距离调水工程监测数据关键效应量预测方法有了清楚的认识。

综上所述，本公开提供一种长距离调水工程监测数据关键效应量预测方法，提高对复杂环境下调水工程监测数据预测的精度，了解调水工程运行安全状况。

除非有所知名为相反之意，本说明书及所附权利要求中的数值参数是近似值，能够根据通过本公开的内容所得的所需特性改变。具体而言，所有使用于说明书及权利要求中表示组成的含量、反应条件等等的数字，应理解为在所有情况中是受到「约」的用语所修饰。一般情况下，其表达的含义是指包含由特定数量在一些实施例中±10％的变化、在一些实施例中±5％的变化、在一些实施例中±1％的变化、在一些实施例中±0.5％的变化。

再者，单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。

此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的启示一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的内容，并且上面对特定语言所做的描述是为了披露本公开的最佳实施方式。

本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开实施例的相关设备中的一些或者全部部件的一些或者全部功能。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。并且，在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。

类似地，应当理解，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，公开方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的单独实施例。

以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (3)

1.一种长距离调水工程监测数据关键效应量预测方法，包括：

步骤A：利用移动平均方法获取归一化的长距离调水工程监测数据效应值和自变量趋势，使用改进的局部异常系数计算残差数据点的异常可能性；

步骤B，将所述异常可能性作为数据预测权重与长距离调水工程监测数据同步输入设置初始超参数的长短期记忆神经网络；

步骤C，利用融合莱维飞行的双种群遗传方法对长短期记忆神经网络的超参数寻优；

步骤D，当长短期记忆神经网络的预测值与实测值差值最小时，停止超参数寻优，以当前超参数构建长短期记忆神经网络，输出当前预测值；

其中，所述步骤A包括：

步骤A1，利用移动平均方法获取归一化的长距离调水工程监测数据效应值和自变量趋势；

步骤A2，分别计算长距离调水工程监测数据效应值与效应值趋势的差值以及自变量与自变量趋势的差值，得到效应量残差和自变量残差；

步骤A3，根据改进的局部异常系数，计算残差数据点的异常可能性；

其中，所述步骤A1包括：

步骤A11，对效应量和自变量使用下式归一化处理：

其中，x_t为当前数据值，t为数据点标号；X为长距离调水工程监测数据列；N为长距离调水工程监测数据列长度；min(X)为数据列最小值；max(X)为数据列最大值；x_t′为已归一化的数据列；

步骤A12，对效应量和自变量选择的窗口，分别计算所述窗口移动后的效应量趋势和自变量趋势：

其中，n为窗口长度；t为数据点标号；x_t为当前数据值；x_t+1为移动平均后的数据值；

其中，所述步骤A3包括：

步骤A31，根据步骤A2所述的效应量残差和自变量残差，构建残差数据集；将每个数据点O周围m个数据点P作为数据点O的领域，其中，m≥1；计算每个数据点O到周围各个数据点P领域范围的可达方差：

d(O，P)＝max{var(O)，var(O，P)}

其中，var(O)为数据点O的领域内所有数据点到数据点O距离的方差，var(O，P)为数据点O的领域内所有数据点，包括数据点P到数据点O距离的方差；

步骤A32，计算数据点O的领域中各个数据点P的局部可达密度构成数据集：

其中，

为数据点O的领域内所有点的可达距离之和；lrd(O)为数据点O的领域中各个数据点P的局部可达密度构成数据集；

步骤A33，升序排列所述数据集中数据点O的领域中各个数据点P的局部可达密度，按照局部可达密度的大小将所述数据集分为极端簇、异常簇和正常簇；

步骤A34，将极端簇内数据点的异常可能性设置为1；正常簇内数据点的异常可能性设置为0；将异常簇内数据点的异常可能性设置为异常簇内各个数据点P的异常系数，分别计算异常簇内各个数据点P的异常系数：

其中，N(O)为数据点O的领域内的数据点数量；lrd(P)为数据点P的局部可达密度；lrd(O)为数据点O的局部可达密度；LOF(O)为异常簇内各个数据点P的异常系数；

将数据集按照时间顺序拼接极端簇、异常簇和正常簇的异常可能性，构建异常可能性的时间序列；

其中，所述步骤B包括：

步骤B1，设置初始化长短期记忆神经网络的隐藏层个数为m₁，每个隐藏层的神经元个数为k_j；

步骤B2，将异常可能性作为长距离调水工程监测数据预测权重与长距离调水工程监测数据输入经过步骤B1设置初始超参数的长短期记忆神经网络；

其中，所述步骤C包括：

步骤C1，根据服从莱维分布的莱维飞行策略，产生两个初始种群；

步骤C2，利用实数编码方法将长短期记忆神经网络隐藏层个数和神经元个数编码成染色体，初始化初始种群；

步骤C3，计算初始化参数神经网络预测的均方误差，以衡量该初始化参数组成的个体适应度；

步骤C4，重复迭代计算，更新初始化参数以形成不同个体使得初始种群迭代更新为达到最优种群，其中，所述最优种群表征为种群内部所有个体对应的神经网络预测均方误差之和最小，执行步骤D；

其中，所述步骤C3后还包括：

步骤C5，初始种群未达到最优，对两个初始种群进行选择、交叉、变异中的一种或多种操作；

步骤C6，随机选择种群中的任一个体和最优个体与另一个种群交换，如果初始种群达到最优，则执行步骤D。

2.根据权利要求1所述的长距离调水工程监测数据关键效应量预测方法，其中，所述效应值表征为位移值，所述自变量趋势表征为温度值趋势。

3.根据权利要求1所述的长距离调水工程监测数据关键效应量预测方法，其中，所述窗口长度n为20。

Images