CN114446033A - 一种动态报警阈值确定方法 - Google Patents

Abstract

本发明提供了一种动态报警阈值确定方法，包括：首先，通过历史数据得到各个阶段的带宽系数和贝叶斯估计的样本信息。其次，为了更新模型参数，在过渡过程采用基于蒙特卡罗方法的贝叶斯参数参数估计方法，利用后验分布函数的均值和方差，并在稳定过程采用递推迭代公式更新均值和方差。针对整个过程得到自适应的报警阈值，以此减小产生误报警和漏报警的数量。

Description

一种动态报警阈值确定方法

技术领域

本发明涉及地质监控技术领域，具体涉及一种动态报警阈值确定方法。

背景技术

(1)动态阈值调整国内外研究现状

对于预报警系统，报警阈值的合理设置直接影响报警系统的运行效率。由于过渡阶段与稳定阶段不同，如果将过渡阶段和稳定阶段一起处理，会降低报警的准确性，易产生误报警和漏报警。在设定值切换过程或过渡过程中，如果报警阈值不进行相应改变，会发生大量的误报率；而较为宽松的报警阈值也会造成对过程的扰动不敏感，由此出现漏报警。

针对报警阈值优化问题，国外研究团队Izadi提出以误报率、漏报率和检测延迟为目标的基于操作特性曲线报警阈值的设计方法。动态阈值调整需要基于报警滤波、报警死区、报警延时3种优化方法中与报警阈值设计之间的关系，使得报警阈值能够处在一个最佳状态。Yang等提出基于报警数据和过程数据的一致相关性分析实现报警阈值优化设计。目前，大多数研究都是针对固定阈值的设计，由于阈值的选择随着系统的状态、噪声的变化而变化，而固定阈值的设计方法不能适应这些变化，因此需要使报警阈值能够适应这些变化。Beebe等提出了基于状态改变的报警泛滥合理化方法，但是需要过程知识来确定模式的改变。Zhu等提出的动态阈值方法没有考虑最新数据的随机性变化。

目前学术界中动态阈值调整的方法是基于阈值监测的优化改进思路，即采用滑动窗口算法训练历史数据，得到初始化最优窗口长度和过渡过程的先验信息。由于过渡过程是一个动态变化过程，基于贝叶斯估计理论，结合历史数据和新数据来推测下一时刻的数据得到报警阈值；在稳态过程中，采用改进的递推公式实时估计的均值、方差得到报警阈值，建立阈值监测与运行工况或运行瞬态的映射关系，使报警阈值能够根据历史数据和工况自动调整。

(2)异常值消除和过滤方法研究现状

从目前的研究情况来看，根据数据集是否有标签(正常/异常)，异常检测算法可以被分为：基于有监督学习的异常检测算法、基于半监督学习的异常检测算法、基于无监督学习的异常检测算法。

另外在系统框架层面，目前一些已有的针对时间序列的异常检测算法的实现。

我们可以看到，目前面向时间序列的异常检测算法实现一方面主要是针对单维度时间序列，不能有效的对多维度时间序列进行处理。另一方面是部分考虑多维度时间序列的算法仅仅是对序列进行了比较单一的处理，没有对序列进行更深层次的挖掘，如特征抽取、上下文信息处理等。

(3)缺失值填补法研究现状

目前常用的缺失数据处理方法可分为2类，一类是基于统计学的方法，另一类是基于机器学习的方法。

在基于统计学的方法中，均值填补在缺失数据小于5％时是一种有效的差填补方法。国外学者Little和Rubin等针对传统的缺失值填补方法做了详细论述，传统方法仅仅适用于缺失率较低的情况，随着缺失率不断提高，对缺失值数据处理的要求不断提高，传统的缺失值处理方法己经逐渐失去了其应用价值。

第二类是基于机器学习的方法。目前常用的机器学习方法大多是采用最大期望法(Expectation Maximization，EM)结合聚类方法，或者是朴素贝叶斯、贝叶斯网络结合支持向量机或者决策树方法进行缺失数据填补。

可知，目前现有的地质灾害预警预报技术尚存在以下不足：(1)预警阈值设置不合理，人为因素干扰大，缺乏自学习过程；(2)预警阈值设置时间不智能，不能自适应根据监测数据的变化而调整、缺乏自修正过程。

发明内容

本发明的目的在于提供一种动态报警阈值确定方法。以期解决背景技术中存在的技术问题。

为了实现上述目的，本发明采用以下技术方案：

一种动态报警阈值确定方法，包括：

获取历史数据及待测时间段的实时监测数据；

基于所述历史数据，采用滑动窗口算法提取先验数据；

基于所述实时监测数据及所述先验数据，确定贝叶斯估计滑动窗口；

基于所述历史数据训练带宽系数；

确定所述实时监测数据的数据初始点；

基于贝叶斯估计估算初始第一参数和初始第二参数；

基于监测模型更新第一参数和第二参数；

判断所述第一参数和所述第二参数是否满足预设条件；

响应于是，返回获取下一待测时间段的实时监测数据；

响应于否，利用均值和方差的递推公式实时更新第一参数和第二参数；

基于更新后的第一参数和第二参数确定动态报警阈值。

在一些实施例中，获取实时监测数据时，还包括：对获取到的实时监测数据进行数据异常值消除和过滤处理。

在一些实施例中，所述数据异常值消除和过滤处理基于拉依达原则和/或卡尔曼滤波算法实现。

在一些实施例中，获取实时监测数据时，还包括：对获取到的实时监测数据进行数据缺失值填补处理。

在一些实施例中，所述数据缺失值填补处理包括：插值及归一化和/或LSSVM处理。

在一些实施例中，所述待测时间段包括过渡过程的时间段和稳态过程的时间段，所述监测模型的参数包括后验分布函数的均值和方差；

在所述过渡过程时间段，采用基于蒙特卡罗方法的贝叶斯参数参数估计方法，结合所述历史数据和所述实时监测数据来推测下一待测时间段的实时监测数据得到报警阈值；

在所述稳态过程中，采用改进的递推公式实时估计的均值、方差得到报警阈值。

在一些实施例中，所述后验分布函数的均值和方差的计算方式如下：

若y为实时监测数据，假设均值E(y)＝μ，方差D(y)＝σ²，根据切比雪夫不等式，对于任意y，可得：

P(|y-μ|≥ε)≤σ²/ε² (1)

令ε＝nσ，则上式可以变换为：

P(|y-μ|≥nσ)≤1/n² (2)

由此可以得到参数y的报警阈值的正常区间为：

[μ-nσ,μ+nσ] (3)

实时监测数据的均值为：

其中y_i为实时监测数据，m为测量数据的均值；

对于N时刻方差估计为S，计算公式为：

以m、S分别代替μ、σ，可得：

[m-nS,m+nS] (6)

其中，式(6)中确定的空间范围对于任意的随机变量都是成立的，且为最大的正常区间。

在一些实施例中，所述训练带宽系数包括：

正常情况下，根据切比雪夫不等式，对于任意ε＞0，可得：

P(y-m|≥ε)≤RFAR (7)

Pr(y＞m+ε)≤RFAR (8)

令ε＝nS，有：

Pr(y＞m+nS)≤RFAR (9)

同理，在不正常情况下，有：

Pr(y＞m+nS)≤RMAR (11)

RFAR、RMAR分别为误报警率和漏报警率的最大上限值，m和S为实时数据估计的均值和方差；

初始系数在训练过程中不断进行调整，采用最速下降法对系数n进行修正，有：

n_N+1＝n_N+ηe_N (13)

式中：e_N为N时刻的修正量，η为调整系数，0＜η＜1/y_N，且有：

为阈值的上限，

为阈值的下限。

在一些实施例中，所述确定动态报警阈值包括：

对[t₁,t_n]的时间序列基于数据拟合建立测量变量回归模型：

y_i＝a+bt_i (17)

进而把对变量的估计转化为对斜率b和截断误差a的估计；

假设每个测量变量的噪声服从独立同分布，因此得到测量变量的模型为：

y_i＝a+bt_i+ε (18)

其中ε是随机误差，服从均值为0、方差为δ²的正态分布，记为ε～N(0,δ²)，将报警阈值的概率模型描述为均值为a+bt_i，方差为δ²，记为：

y_i～N(a+bt_i,δ²) (19)

基于贝叶斯的线性方程估计对参数a和b进行预测；

采用最小二乘估计方法，估计参数b、a，记估计值为

其中：

其中：

是b、a的无偏估计，且

服从正态分布：

由贝叶斯估计可以得到b和a的后验概率分布函数为：

g(a,b∣t,y)∝f(t,y∣a,b)×g(a,b)

∝[f(t,y∣b)×g(b)]×[f(t,y∣a)×g(a)]

∝g(b∣t,y)×g(a∣t,y) (24)

设b和a的先验概率分布函数为：

b和a后验概率分布函数为：

根据贝叶斯估计可以求出b和a的均值和方差：

从而可以求得对监测设备的预测值均值和方差：

因此，得到残差平方和公式为：

若残差平方和的值小于容许误差β，即可求出此时的动态阈值；但若残差平方和的值大于容许误差β，则重新设定窗口大小；

使用迭代递推公式：

方差的迭代递推公式为：

T+1时刻的方差可以由T时刻的均值和方差以及T+1时刻的监测数据求出；即T+1时刻的动态阈值范围：

在一些实施例中，所述动态报警阈值的确定步骤包括：

步骤1，提取先验知识，进行贝叶斯估计；

步骤2，基于历史数据离线训练带宽系数n；

步骤3，输入一段监测数据，选择数据的初始点；

步骤4，利用贝叶斯估计来估算a和b；

步骤5，基于构建好的模型，通过式

和式

不断更新参数b，通过式

和式

不断更新参数a；

步骤6，判断残差平方和

是否大于容许误差，若大于，则重新转到步骤3，若小于则进入步骤7；

步骤7，利用均值和方差的递推公式

实时更新数据，确定新的均值和方差；

步骤8，将均值和方差的大小进行比较，确定新的监测数据的动态阈值；

步骤9，返回步骤1，继续迭代。

同时，本发明还公开了一种动态报警阈值确定系统，包括：

获取模块，用于获取历史数据及待测时间段的实时监测数据；

提取模块，用于基于所述历史数据，采用滑动窗口算法提取先验数据；

第一确定模块，用于基于所述实时监测数据及所述先验数据，确定贝叶斯估计滑动窗口；

训练模块，用于基于所述历史数据训练带宽系数；

第二确定模块，用于确定所述实时监测数据的数据初始点；

估算模块，用于基于贝叶斯估计估算初始第一参数和初始第二参数；

第一更新模块，用于基于监测模型更新第一参数和第二参数；

判断模块，用于判断所述第一参数和所述第二参数是否满足预设条件；

第二更新模块，利用均值和方差的递推公式实时更新第一参数和第二参数；

第三确定模块，用于基于更新后的第一参数和第二参数确定动态报警阈值。

同时，本发明还公开了一种动态报警阈值确定装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，所述指令被所述处理器执行时，导致所述装置实现上述任一项所述动态报警阈值确定方法。

同时，本发明还公开了一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机运行上述任一项所述动态报警阈值确定方法。

有益效果

本发明与现有技术相比，其显著优点是：

本发明的方案对基于实时监测数据的自学习自修正预警预报算法模型研究，解决地质灾害预警预报阈值科学化设定，从方法上规避人为设置固定阈值而造成的大量误报错报现象，以期大幅降低地质灾害监测预警预报工作中误报错报频率，形成基于实时监测数据自学习自修正的预警预报模型。能够进一步提前发现并预测风险，减少误报、漏报的概率，需要开展基于实时监测数据自学习自修正预警预报模型的研究工作。该项研究对于地质灾害风险管控有着重要的指导作用，可以提供第一手数据，对加强地质灾害风险控制，减少地质灾害造成的影响等方面有着十分重要的意义。

附图说明

图1是本实施例涉及动态报警阈值确定系统示意图；

图2是本实施例涉及的动态报警阈值确定方法流程示意图；

图3为本实施例涉及的动态报警阈值确定方法流程示意图；

图4为采用现有的固定报警阈值时的报警次数统计示意图；

图5为本实施例中涉及的滑动窗口长度示意图；

图6为采用本实施例的动态报警阈值的报警次数统计示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

相反，本申请涵盖任何由权利要求定义的在本申请的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本申请有更好的了解，在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。

以下将结合图1-3对本申请实施例所涉及的一种动态报警阈值确定方法进行详细说明。值得注意的是，以下实施例仅仅用于解释本申请，并不构成对本申请的限定。

对于地质灾害预警系统，报警阈值的合理设置直接影响报警系统的运行效率。通过监测数据手动配置报警的阈值，根据配置的阈值推送和保存报警信息。报警信息可以人为处理，判断是否为真实报警。根据人为处理后的结果，动态推算报警阈值，自动设置报警阈值。按月为周期重新训练模型，进行阈值调整。

如图1所示，一种动态报警阈值确定系统100，包括：

获取模块101，用于获取历史数据及待测时间段的实时监测数据；

提取模块102，用于基于所述历史数据，采用滑动窗口算法提取先验数据；

第一确定模块103，用于基于所述实时监测数据及所述先验数据，确定贝叶斯估计滑动窗口；

训练模块104，用于基于所述历史数据训练带宽系数；

第二确定模块105，用于确定所述实时监测数据的数据初始点；

估算模块106，用于基于贝叶斯估计估算初始第一参数和初始第二参数；

第一更新模块107，用于基于监测模型更新第一参数和第二参数；

判断模块108，用于判断所述第一参数和所述第二参数是否满足预设条件；

第二更新模块109，利用均值和方差的递推公式实时更新第一参数和第二参数；

第三确定模块110，用于基于更新后的第一参数和第二参数确定动态报警阈值。

如图2所示，一种动态报警阈值确定方法，流程200包括：

步骤201，获取历史数据及待测时间段的实时监测数据；

步骤202，基于所述历史数据，采用滑动窗口算法提取先验数据；

步骤203，基于所述实时监测数据及所述先验数据，确定贝叶斯估计滑动窗口；

步骤204，基于所述历史数据训练带宽系数；

步骤205，确定所述实时监测数据的数据初始点；

步骤206，基于贝叶斯估计估算初始第一参数和初始第二参数；

步骤207，基于监测模型更新第一参数和第二参数；

步骤208，判断所述第一参数和所述第二参数是否满足预设条件；

步骤209，响应于是，返回获取下一待测时间段的实时监测数据；

步骤210，响应于否，利用均值和方差的递推公式实时更新第一参数和第二参数；

步骤211，基于更新后的第一参数和第二参数确定动态报警阈值。

异常值是指样本中的个别值，其数值明显偏离其余的观测值。由于设备或者现场信号因素等的影响，监测数据不可避免的会出现跳数情况，在进行下一步预警或预测之前，要将异常值进行剔除，否则会一定程度影响预警预报的判断。在一些实施例中，获取实时监测数据时，还包括：对获取到的实时监测数据进行数据异常值消除和过滤处理。在一些实施例中，所述数据异常值消除和过滤处理基于拉依达原则(3σ原则)和/或卡尔曼滤波算法实现。

对于异常值的处理，3σ原则是最常使用的一种处理数据异常值的方法。3σ原则，或称拉依达原则，它是指假设一组检测数据中只含有随机误差，需要对其进行计算得到标准偏差，按一定概率确定一个区间，对于超过这个区间的误差，就不属于随机误差而是粗大误差，需要将含有该误差的数据进行剔除。

3σ原则的具体说明如下：

数值分布在(μ-σ,μ+σ)中的概率为0.6827

数值分布在(μ-2σ,μ+2σ)中的概率为0.9545

数值分布在(μ-3σ,μ+3σ)中的概率为0.9973

其中，μ为平均值，σ为标准差。一般可以认为，数据Y的取值几乎全部集中在(μ-3σ,μ+3σ)区间内，超出这个范围的可能性仅占不到0.3％。

3σ原则仅局限于对正态或近似正态分布的样本数据处理，它是以测量次数充分大为前提(样本>10)，当测量次数少的情形用准则剔除粗大误差是不够可靠的。在测量次数较少的情况下，最好不要选用该准则。

卡尔曼滤波算法也是一种常用的异常值过滤算法。卡尔曼滤波是一种高效率的递归滤波器(自回归滤波器),它能够从一系列的不完全及包含噪声的测量中，估计动态系统的状态。卡尔曼滤波的一个典型实例是从一组有限的，包含噪声的，对物体位置的观察序列(可能有偏差)预测出物体的位置的坐标及速度。卡尔曼滤波，其本质是对于每个时刻的系统扰动和观测误差(即噪声)，对它们的统计性质作某些适当的假定，通过对含有噪声的观测信号进行处理，就能在平均的意义上，求得误差为最小的真实信号的估计值。但实际上，这些异常值是不具有实际意义的，可以认为是错误值，如果采用卡尔曼滤波对监测的测量值(其中包含异常值)进行处理，则会影响整个异常值过滤效果。

从考虑实际出发，对异常值的剔除算法先选择最常用的3sigma，其简单、快速，能迅速剔除掉异常值，剔除后产生的缺失值则可以在后文算法中对其进行填补，再使用卡尔曼滤波算法将3σ区间内，3σ处理不了的异常值进行再一次消除，减小数据的异常震荡，使数据看起来趋势更加直观。

由于设备或者现场信号因素等的影响，监测数据不可避免的会出现缺失情况，会一定程度影响预警预报的判断，因此，在进行下一步预警或预测之前，需要对缺失数据进行补全。在一些实施例中，获取实时监测数据时，还包括：对获取到的实时监测数据进行数据缺失值填补处理。在一些实施例中，所述数据缺失值填补处理包括：插值及归一化和/或LSSVM处理。

插值及归一化处理包括：首先通过不同的插值方法对序列数据进行增补，一般选择拉格朗日插值法进行插值；然后通过归一化消除数据间由于量纲不同引起的数值差别，常用的归一化方法有Min-Max归一化(Min-Max Normalization)和Z-score归一化(Z-scoreNormalization)；再通过正则化处理尽量避免过拟合的发生，最常用的正则化技术就是L2正则，L2正则的思想是，在代价函数中加入一个额外的正则化项；最后通过最小二乘支持向量机(LSSVM)，构建一个适合于处理数据的整体框架。

LSSVM处理和SVM的区别就在于，LSSVM把原方法的不等式约束变为等式约束，从而大大方便了Lagrange乘子alpha的求解，原问题是QP问题，而在LSSVM中则是一个解线性方程组的问题。

由于是解线性方程组，LSSVM的求解显然更快，但标准基本形式的LSSVM的预测精准度比SVM稍差一些。

在一些实施例中，所述待测时间段包括过渡过程的时间段和稳态过程的时间段，所述监测模型的参数包括后验分布函数的均值和方差；

在所述过渡过程时间段，采用基于蒙特卡罗方法的贝叶斯参数参数估计方法，结合所述历史数据和所述实时监测数据来推测下一待测时间段的实时监测数据得到报警阈值；

在所述稳态过程中，采用改进的递推公式实时估计的均值、方差得到报警阈值。

由于过渡阶段与稳定阶段不同，如果将过渡阶段和稳定阶段一起处理，会降低报警的准确性，易产生误报警和漏报警。在设定值切换过程或过渡过程中，如果报警阈值不进行相应改变，会发生大量的误报率；而较为宽松的报警阈值也会造成对过程的扰动不敏感，由此出现漏报警。传统的报警阈值只是针对单个模式而设定，当变量从一个稳定状态到另一个稳定状态时，会产生误报警和漏报警，于是提出了一种报警阈值自适应预测方法。

首先，通过历史数据得到各个阶段的带宽系数和贝叶斯估计的样本信息。其次，为了更新模型参数，在过渡过程采用基于蒙特卡罗方法的贝叶斯参数参数估计方法，利用后验分布函数的均值和方差，并在稳定过程采用递推迭代公式更新均值和方差。针对整个过程得到自适应的报警阈值，以此减小产生误报警和漏报警的数量。

滑动窗口为固定窗口的改良版，解决了固定窗口在窗口切换时会受到两倍于阈值数量的请求，滑动窗口在固定窗口的基础上，将一个窗口分为若干个等份的小窗口，每个小窗口对应不同的时间点，拥有独立的计数器，当请求的时间点大于当前窗口的最大时间点时，则将窗口向前平移一个小窗口(将第一个小窗口的数据舍弃，第二个小窗口变成第一个小窗口，当前请求放在最后一个小窗口)，整个窗口的所有请求数相加不能大于阀值。

采用滑动窗口算法训练历史数据，得到带宽系数和过渡过程的先验信息。由于过渡过程是一个动态变化过程，基于贝叶斯估计理论，结合历史数据和新数据来推测下一时刻的数据得到报警阈值^[12]；在稳态过程中，采用改进的递推公式实时估计的均值、方差得到报警阈值，建立阈值监测与运行瞬态的映射关系，使报警阈值能够根据历史数据自动调整。

为了更好地对过程变量进行动态报警阈值设计，在建立的回归模型基础上用新的数据扩大现有的数据段建立新的回归模型。若该模型的拟合误差大于预先设定的分割点误差，则将新的数据归入新的数据段，用新的模型进行分析；若上述分割点误差小于设定误差值，则继续分析下一个数据。为了提高报警系统的性能，建立的动态阈值应该同时重视均值和方差的变化，使得到的阈值具有更好的适用性。

Y为测量值，假设数学均值E(y)＝μ，方差D(y)＝σ²，根据切比雪夫不等式，对于任意y，可得：

P(|y-μ|≥ε)≤σ²/ε² (1)

令ε＝nσ，则上式可以变换为：

P(|y-μ|≥nσ)≤1/n² (2)

由此可以得到参数y的报警阈值的正常区间为：

[μ-nσ,μ+nσ] (3)

测量数据的均值为：

其中y_i为实际测量数据，m为测量数据的均值。对于N时刻方差估计为S，计算公式为：

以m、S分别代替μ、σ，可得：

[m-nS,m+nS] (6)

式(6)中确定的空间范围对于任意的随机变量都是成立的，且为最大的正常区间。报警的动态阈值根据式(3)中的检测区间的均值μ、方差σ和带宽系数n的变化而改变。对于带宽系数n难以实现自适应计算，一般利用离线数据进行训练，并在在线监控过程中取定值。对于均值μ、方差σ，可用在线计算实时数据来代替。

在一些实施例中，宽带系数训练具体如下：

正常情况下，根据切比雪夫不等式，对于任意ε＞0，可得：

P(|y-m|≥ε)≤RFAR (7)

Pr(y＞m+ε)≤RFAR (8)

令ε＝nS，有：

Pr(y＞m+nS)≤RFAR (9)

同理，在不正常情况下，有：

Pr(y＞m+nS)≤RMAR (11)

RFAR、RMAR为误报警率(False Alarm Rate，FAR)和漏报警率(Missing AlarmRate，MAR)的最大上限值，m和S为实时数据估计的均值和方差。初始系数在训练过程中不断进行调整，采用最速下降法对系数n进行修正，有：

n_N+1＝n_N+ηe_N (13)

式中：e_N为N时刻的修正量，η为调整系数，0＜η＜1/y_N，且有：

为阈值的上限，

为阈值的下限。

在一些实施例中，动态阈值计算如下：

为了更好地对变量进行动态报警阈值设计，采用滑动窗口算法对连续数据进行分割，在建立的回归模型基础上用新的数据扩大现有的数据段建立新的回归模型^[13]。若该模型的拟合误差大于预先设定的分割点误差，则将新的数据归入新的数据段，用新的模型进行分析；若上述分割点误差小于设定误差值，则继续分析下一个数据。

对[t₁,t_n]的时间序列基于数据拟合建立测量变量回归模型：

y_i＝a+bt_i (17)

因此，把对变量的估计转化为对斜率b和截断误差a的估计。考虑到测量变量受到噪声的影响，假设每个测量变量的噪声服从独立同分布，因此得到测量变量的模型为：

y_i＝a+bt_i+ε (18)

其中ε是随机误差，服从均值为0、方差为δ²的正态分布，记为ε～N(0,δ²)，因此可以把报警阈值的概率模型描述为均值为a+bt_i，方差为δ²，记为

y_i～N(a+bt_i,δ²) (19)

为了更好地利用历史数据估计参数，提出了基于贝叶斯的线性方程估计对参数a和b进行预测。考虑到""t_(n+1)时刻的数据，能够预测y_n+1的分布函数。

采用最小二乘估计方法，估计参数b、a，记估计值为

其中：

其中：

是b、a的无偏估计，且

服从正态分布：

由贝叶斯估计可以得到b和a的后验概率分布函数为：

g(a,b∣t,y)∝f(t,y∣a,b)×g(a,b)

∝[f(t,y∣b)×g(b)]×[f(t,y∣a)×g(a)]

∝g(b∣t,y)×g(a∣t,y) (24)

设b和a的先验概率分布函数为：

b和a后验概率分布函数为：

根据贝叶斯估计可以求出b和a的均值和方差：

从而可以求得对监测设备的预测值均值和方差：

因此，得到残差平方和公式为：

若残差平方和的值小于容许误差β，即可求出此时的动态阈值；但若残差平方和的值大于容许误差β，此时则要重新设定窗口大小。

但是，若依然按照上式的公式来计算方差和均值，其计算量将随着新的监测数据产生而不断增大，因此可以使用迭代递推公式：

方差的迭代递推公式为：

所以，T+1时刻的方差可以由T时刻的均值和方差以及T+1时刻的监测数据求出。从而推导出T+1时刻的动态阈值范围：

通过综合前述方法可知，动态阈值的计算步骤可以总结如下：

步骤1，提取先验知识，从而可以进行贝叶斯估计；

步骤2，采用历史数据离线训练带宽系数n；

步骤3，输入一段监测数据，选择数据的初始点；

步骤4，利用贝叶斯估计来估算a和b；

步骤5，构建好模型后，通过式

和式

不断更新参数b，通过式

和式

不断更新参数a；

步骤6，判断残差平方和

是否大于容许误差，若大于则重新转到步骤(3)，若小于则进行下一步；

步骤7，利用均值和方差的递推公式

实时更新数据，确定新的均值和方差；

步骤8，均值和方差的大小进行比较，确定新的监测数据的动态阈值；

步骤9，继续迭代，转到步骤1。

基于上述方法，可以实现得到一种有效解决地质灾害预警预报阈值科学化设定的算法模型，从方法上规避人为设置固定阈值而造成的大量误报错报现象，大幅降低地质灾害监测预警预报工作中误报错报频率，形成基于实时监测数据自学习自修正的预警预报模型。

同时，对于异常值消除问题，本发明采用了3sigma方法和卡尔曼滤波方法对数据库SWPMMntData_Public中特征比较充分的3个月的数据进行过滤。数值分布在(μ-3σ,μ+3σ)中的概率为0.9973，超出这个范围的可能性仅占不到0.3％，这些超出该范围的数据认为是异常值，对异常值进行空值处理，视为缺失值。

对于缺失数据补全问题，本发明选用LSSVM最小二乘支持向量机算法进行数据缺失的补全，对所有空缺值进行插值填补。

对于阈值动态调整算法，本发明采用了一种报警阈值自适应预测方法。传统的报警阈值只是针对单个模式而设定，当变量从一个稳定状态到另一个稳定状态时，会产生误报警和漏报警。本发明提出一种报警阈值自适应预测方法，通过历史数据得到各个阶段的带宽系数和贝叶斯估计的样本信息。其次，为了更新模型参数，在过渡过程采用基于蒙特卡罗方法的贝叶斯参数参数估计方法，利用后验分布函数的均值和方差，并在稳定过程采用递推迭代公式更新均值和方差。针对整个过程得到自适应的报警阈值，以此减小产生误报警和漏报警的数量。

以下是将本方案具体应用于实际场景中时获得的相应技术效果说明：

在实际工作中，由于监测设备存在各种外界因素的干扰，监测值产生的错误报警过多，工作人员每次都需要对报警阈值进行手动调整，其阈值将不断变大。但是设备每次受到的干扰都会使变量超过之前手动设置的报警阈值。选择监测数据中的多点位移数据作为实验对象，使用2000组历史数据来进行训练。首先选择传统的固定阈值方法计算得到固定的报警阈值，其结果如图4所示，其结果产生很多的误报警，使得报警数量增多，增加了许多无效的工作量。

而采用本文的动态阈值估算方法，对历史的监测设备监测值进行训练，得到确定带宽系数后，通过选择一段时间序列的监测值，如图5所示，可以确定滑动窗口的长度为190，如图6所示，此时残差平方和符合要求，并根据新的监测值进行实时地更新均值和方差来进行阈值的不断调整，得到如6图所示的结果，并结合表1和表2可以看出，采用滑动窗口算法进行阈值的动态调整，其报警数量得到了进一步的减少，并且报警性能指标得到明显改善。

表1报警次数对比

表2报警性能指标对比

同时，本发明还公开了一种动态报警阈值确定装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，所述指令被所述处理器执行时，导致所述装置实现上述任一项所述动态报警阈值确定方法。

同时，本发明还公开了一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机运行上述任一项所述动态报警阈值确定方法。

综上可知，本申请的技术方案通过将自适应声学特征预测器得到的音素级、音节级、句子级声学特征预测向量加入多说话人动态报警阈值确定模型，在少样本个性化动态报警阈值确定的任务中提升了音质以及自然度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种动态报警阈值确定方法，其特征在于，包括：

获取历史数据及待测时间段的实时监测数据；

基于所述历史数据，采用滑动窗口算法提取先验数据；

基于所述实时监测数据及所述先验数据，确定贝叶斯估计滑动窗口；

基于所述历史数据训练带宽系数；

确定所述实时监测数据的数据初始点；

基于贝叶斯估计估算初始第一参数和初始第二参数；

基于监测模型更新第一参数和第二参数；

判断所述第一参数和所述第二参数是否满足预设条件；

响应于是，返回获取下一待测时间段的实时监测数据；

响应于否，利用均值和方差的递推公式实时更新第一参数和第二参数；

基于更新后的第一参数和第二参数确定动态报警阈值。

2.根据权利要求1所述的方法，其特征在于，获取实时监测数据时，还包括：对获取到的实时监测数据进行数据异常值消除和过滤处理。

3.根据权利要求2所述的方法，其特征在于，所述数据异常值消除和过滤处理基于拉依达原则和/或卡尔曼滤波算法实现。

4.根据权利要求1所述的方法，其特征在于，获取实时监测数据时，还包括：对获取到的实时监测数据进行数据缺失值填补处理。

5.根据权利要求4所述的方法，其特征在于，所述数据缺失值填补处理包括：插值及归一化和/或LSSVM处理。

6.根据权利要求1所述的方法，其特征在于，所述待测时间段包括过渡过程的时间段和稳态过程的时间段，所述监测模型的参数包括后验分布函数的均值和方差；

在所述过渡过程时间段，采用基于蒙特卡罗方法的贝叶斯参数参数估计方法，结合所述历史数据和所述实时监测数据来推测下一待测时间段的实时监测数据得到报警阈值；

在所述稳态过程中，采用改进的递推公式实时估计的均值、方差得到报警阈值。

7.根据权利要求6所述的方法，其特征在于，所述后验分布函数的均值和方差的计算方式如下：

若y为实时监测数据，假设均值E(y)＝μ，方差D(y)＝σ²，根据切比雪夫不等式，对于任意y，可得：

P(|y-μ|≥ε)≤σ²/ε² (1)

令ε＝nσ，则上式可以变换为：

P(|y-μ|≥nσ)≤1/n² (2)

由此可以得到参数y的报警阈值的正常区间为：

[μ-nσ,μ+nσ] (3)

实时监测数据的均值为：

其中y_i为实时监测数据，m为测量数据的均值；

对于N时刻方差估计为S，计算公式为：

以m、S分别代替μ、σ，可得：

[m-nS,m+nS] (6)

其中，式(6)中确定的空间范围对于任意的随机变量都是成立的，且为最大的正常区间。

8.根据权利要求7所述的方法，其特征在于，所述训练带宽系数包括：

正常情况下，根据切比雪夫不等式，对于任意ε＞0，可得：

P(|y-m|≥ε)≤RFAR (7)

Pr(y＞m+ε)≤RFAR (8)

令ε＝nS，有：

Pr(y＞m+nS)≤RFAR (9)

同理，在不正常情况下，有：

Pr(y＞m+nS)≤RMAR (11)

RFAR、RMAR分别为误报警率和漏报警率的最大上限值，m和S为实时数据估计的均值和方差；

初始系数在训练过程中不断进行调整，采用最速下降法对系数n进行修正，有：

n_N+1＝n_N+ηe_N (13)

式中：e_N为N时刻的修正量，η为调整系数，0＜η＜1/y_N，且有：

为阈值的上限，

为阈值的下限。

9.根据权利要求8所述的方法，其特征在于，所述确定动态报警阈值包括：

对[t₁,t_n]的时间序列基于数据拟合建立测量变量回归模型：

y_i＝a+bt_i (17)

进而把对变量的估计转化为对斜率b和截断误差a的估计；

假设每个测量变量的噪声服从独立同分布，因此得到测量变量的模型为：

y_i＝a+bt_i+ε (18)

其中ε是随机误差，服从均值为0、方差为δ²的正态分布，记为ε～N(0,δ²)，将报警阈值的概率模型描述为均值为a+bt_i，方差为δ²，记为：

y_i～N(a+bt_i,δ²) (19)

基于贝叶斯的线性方程估计对参数a和b进行预测；

采用最小二乘估计方法，估计参数b、a，记估计值为

其中：

其中：

是b、a的无偏估计，且

服从正态分布：

由贝叶斯估计可以得到b和a的后验概率分布函数为：

g(a,b∣t,y)∝f(t,y∣a,b)×g(a,b)

∝[f(t,y∣b)×g(b)]×[f(t,y∣a)×g(a)]

∝g(b∣t,y)×g(a∣t,y) (24)

设b和a的先验概率分布函数为：

b和a后验概率分布函数为：

根据贝叶斯估计可以求出b和a的均值和方差：

从而可以求得对监测设备的预测值均值和方差：

因此，得到残差平方和公式为：

若残差平方和的值小于容许误差β，即可求出此时的动态阈值；但若残差平方和的值大于容许误差β，则重新设定窗口大小；

使用迭代递推公式：

方差的迭代递推公式为：

T+1时刻的方差可以由T时刻的均值和方差以及T+1时刻的监测数据求出；即T+1时刻的动态阈值范围：

10.根据权利要求9所述的方法，其特征在于，所述动态报警阈值的确定步骤包括：

步骤1，提取先验知识，进行贝叶斯估计；

步骤2，基于历史数据离线训练带宽系数n；

步骤3，输入一段监测数据，选择数据的初始点；

步骤4，利用贝叶斯估计来估算a和b；

步骤5，基于构建好的模型，通过式

和式

不断更新参数b，通过式

和式

不断更新参数a；

步骤6，判断残差平方和

是否大于容许误差，若大于，则重新转到步骤3，若小于则进入步骤7；

步骤7，利用均值和方差的递推公式

实时更新数据，确定新的均值和方差；

步骤8，将均值和方差的大小进行比较，确定新的监测数据的动态阈值；

步骤9，返回步骤1，继续迭代。

Images