CN112965965A - 一种基于模糊预测系统的野值剔除方法、系统及计算机相关产品 - Google Patents

Abstract

本发明提供一种基于模糊预测系统的野值剔除方法、系统及计算机相关产品，解决现有技术无法适应于飞行参数变化的多样性导致野值识别准确度和实时性仍然不够理想的问题。该基于模糊预测系统的野值剔除方法，包括以下步骤：1)在线构造k时刻的时间序列模糊预测系统；2)基于所述时间序列模糊预测系统获得k+1时刻的预测值，并计算预测值与观测值之间的残差；3)利用k+1时刻之前的残差序列，按照狄克松准则确定k+1时刻的残差是否为异常值；如果k+1时刻的残差为异常值，则当前观测值为野值，予以剔除；否则，保留观测值及残差。该方法对信号没有特殊要求，适合于各类信号的野值剔除，适用范围广。

Description

一种基于模糊预测系统的野值剔除方法、系统及计算机相关 产品

技术领域

本申请主要涉及一种飞行数据的野值剔除方法。

背景技术

由机载传感器测得的速度、位置、高度、加速度、压力等飞行数据，均是在动态测量中完成的，包含着大量被测物理量、测控设备和系统以及外界环境干扰等多方面信息。观测数据中包含了大量的严重偏离被测量真值的数据点，这些异常数据称为野值。野值的存在严重影响信号的读取和分析，特别是在飞行路径和姿态的融合分析中严重影响仿真的计算精度，在实时指挥显示中严重影响飞行轨迹显示效果，引起误判等问题。

金慧琴等在2017年发表的文章“飞机飞行参数数据预处理方法研究”中，针对不满足统计特性的数据误差，总结了飞行参数数据野值剔除三种方法，分别是增量法，差分法，稳健异值检测方法。

增量法对前后帧数据的差值进行阈值判断，计算简单，实时性好，但只能针对一些有确定边界的连续信号进行处理；

差分法是根据n次多项式的n+1阶导数为零，得出的一种处理确定信号的近似方法，野值的鉴别相较于增量法更为精确，但基于统计的基础，前期需要完备的统计数据；

稳健异值检测方法对时序数据按段进行代数多项式与三角多项式的线性组合的一致逼近，使用Huber型或Hampel型函数来构建具有抗异值干扰能力的稳健拟合曲线，相对于差分法有更高的野值检测精度，且不需要前期的统计数据，但是计算量大，对当前拟合的数据段的中点值判断准确，对实时性有显著的影响。

左思佳等在2019年发表的题为“航空发动机试飞数据野值识别与补正算法”的文章中，针对在航空发动机智能实时监视系统中由数据野值导致的虚报警问题，提出了基于最小二乘拟合和莱特准则的野值识别算法，在对原始数据进行最小二乘拟合计算拟合残差后，对拟合残差的标准差进行标准判断，若不达标则调整拟合阶数重新拟合直至残差的标准差在一个设定的合理范围内，通过多次迭代的方式来减少野值本身对数据标准差的干扰，最后根据莱特准则判断是否存在野值。通过选用合适的阶数进行拟合来保证将偏离真实值不大的野值识别出来，与之前的三种方法相对比，这种方法兼顾了野值识别准确度和实时性，但是对于飞参变化的多样性，对于部分情况其残差的标准差值的范围标准无法有效确定。

发明内容

本发明的目的是提出一种数据帧的野值剔除方法，解决现有技术无法适应于飞行参数变化的多样性导致野值识别准确度和实时性仍然不够理想的问题。

为了实现以上目的，本发明提出以下方案：

一种基于模糊预测系统的野值剔除方法，其特殊之处在于，包括以下步骤：

1)在线构造k时刻的时间序列模糊预测系统；

2)基于所述时间序列模糊预测系统获得k+1时刻的预测值，并计算预测值与观测值之间的残差；

3)利用k+1时刻之前的残差序列，按照狄克松准则确定k+1时刻的残差是否为异常值；如果k+1时刻的残差为异常值，则当前观测值为野值，予以剔除；否则，保留观测值及残差。

进一步地，步骤3)中所述按照狄克松准则确定k+1时刻的残差是否为异常值，具体按照以下方式确定：

设k时刻的残差序列为[ε(k-m+1),ε(k-m+2),…,ε(k)]，排序后获得从小到大序列ε'(i),i＝1,2,…,m；计算k+1时刻的残差ε(k+1)，将ε(k+1)与k时刻的残差序列中的最小值ε'(1)和最大值ε'(m)比较，如果ε'(1)≤ε(k+1)≤ε'(m)，则ε(k+1)不是异常值，相应的，k+1时刻所对应的观测值不是野值。

进一步地，在步骤1)之前，还进行：

步骤0)初始参数设置：循环控制参数k＝1，狄克松准则判别野值的残差序列长度K，时间序列模糊预测系统输入维数n，精度控制参数σ，聚类半径r和遗忘因子τ；构造输入－输出数据对

把

设为聚类中心

并令

B¹(1)＝1，A表示模糊系统预测因子，B表示模糊系统单位因子。

进一步地，步骤1)所述在线构造k时刻的时间序列模糊预测系统，是考虑第k对输入-输出数据

根据模糊系统聚类算法构造时间序列模糊预测系统。

进一步地，步骤1)中所述根据模糊系统聚类算法构造时间序列模糊预测系统，具体是：

1.1)聚类

存在M个聚类中心分别为

分别计算

到这M个聚类中心的距离

l＝1,2,…,M；设这些距离中最小的距离为

即

为

的最近邻原则聚类；

如果

则把

作为一个新的聚类中心

令

B^M+1(k)＝1并令A^l(k)＝A^l(k-1),B^l(k)＝B^l(k-1),l＝1,2,…,M；

如果

则做如下计算：

当l≠l_k,l＝1,2,…,M时，令

1.2)模糊系统设计

如果步骤1.1)中

并未建立一个新的聚类，则根据k对输入-输出数据

j＝1,2,…,k，设计如下模糊系统：

如果步骤1.1)中

建立了一个新的聚类，则设计如下模糊系统：

进一步地，当确定当前观测值为野值、予以剔除后，将其替换为前一帧数据。

本发明还提供一种基于模糊预测系统的野值剔除系统，其特殊之处在于，包括以下程序模块：

时间序列模糊预测系统在线构造模块，用于在线构造k时刻的时间序列模糊预测系统；

残差计算模块，用于基于所述时间序列模糊预测系统获得k+1时刻的预测值，并计算预测值与观测值之间的残差；

野值判断模块，用于利用k+1时刻之前的残差序列，按照狄克松准则确定k+1时刻的残差是否为异常值；如果k+1时刻的残差为异常值，则当前观测值为野值，予以剔除；否则，保留观测值及残差。

本发明还提供一种计算机设备，包括处理器和存储器，所述存储器存储有若干程序，其特殊之处在于，所述程序被处理器加载运行时实现上述的一种基于模糊预测系统的野值剔除方法。

本发明还提供一种计算机可读存储介质，存储有若干程序，其特殊之处在于，所述程序被处理器加载运行时实现上述的一种基于模糊预测系统的野值剔除方法。

相比现有技术，本发明具有以下优点：

在线构造的时间序列模糊预测系统能够准确完成一步预测，且能够动态跟踪真实信号系统的变化，具有较强的自适应跟踪能力；聚类算法降低了模糊预测系统的复杂度，计算效率显著提高；模糊系统能动态跟踪数据信号变化，实时更新，具有自适应处理能力；通过调整参数，可以调整模糊系统的预测精度，满足不同条件下的应用要求。

该方法对信号没有特殊要求，适合于各类信号的野值剔除，适用范围广。

附图说明

图1为本发明一个实施例的模糊系统规则库设计流程。

图2为本发明一个实施例的野值判断流程。

图3为狄克松判别准则。

图4为一个飞行参数具体实例的翻滚角(阶跃特性序列)，其中(a)为观测序列，(b)为结果序列，(c)为残差序列。

图5为一个飞行参数具体实例的高度(平滑曲线序列)，其中(a)为观测序列，(b)为结果序列，(c)为残差序列。

具体实施方式

以下结合附图，通过实施例进一步详述本发明。

本实施例提出的一种基于模糊预测系统的野值剔除方法，首先构造k时刻的时间序列模糊预测系统；再基于此系统获得k+1时刻的预测值及预测值与观测值之间的残差；然后，利用k+1时刻之前的n点残差序列，按照狄克松准则确定k+1时刻的残差是否为异常值；如果k+1时刻的残差为异常值，则当前观测值为野值，予以剔除；否则，保留观测值及残差。

设k时刻的残差序列为ε(k-m+1),ε(k-m+2),…,ε(k)，排序后获得从小到大序列ε'(i),i＝1,2,…,m。计算k+1时刻的残差ε(k+1)，将ε(k+1)与最小值ε'(1)和最大值ε'(m)比较:如果ε'(1)≤ε(k+1)≤ε'(m)，则ε(k+1)不是异常值，k+1时刻所对应的观测值不是野值。

具体实现步骤如图1、图2所示：

步骤一：初始化参数。

初始参数设置包括循环控制参数k＝1，狄克松准则判别野值的残差序列长度K，模糊系统输入维数n，精度控制参数σ，聚类半径r和遗忘因子τ。构造输入－输出数据对

把

设为聚类中心

并令

B¹(1)＝1；

步骤二：考虑第k对输入－输出数据

根据模糊系统聚类算法设计模糊系统，具体是：

1)聚类

存在M个聚类中心分别为

分别计算

到这M个聚类中心的距离

设这些距离中最小的距离为

即

为

的最近邻原则聚类。

(1)如果

则把

作为一个新的聚类中心

令

B^M+1(k)＝1并令A^l(k)＝A^l(k-1),B^l(k)＝B^l(k-1)(l＝1,2,…,M)。

(2)如果

则做如下计算：

当l≠l_k,l＝1,2,…,M时，令

2)模糊系统设计

(1)如果

并未建立一个新的聚类，则根据k对输入－输出数据

设计如下系统

(2)如果

建立了一个新的聚类，则所设计的模糊系统为

步骤三：令k＝k+1，获得输入－输出数据对

对于输入

由模糊系统f_k(x)获得k+1时刻的预测值

并计算与k+1时刻观测值

的残差ε(k+1)；

步骤四：由k+1时刻之前的N个残差数据，采用狄克松准则判别ε(k+1)是否为异常值，如图3所示；若ε(k+1)异常，则x(k+1)为野值，并剔除；否则，x(k+1)为正常观测值予以保留；

步骤五：返回步骤二，直到数据结束。

具体实例：

构造模糊系统的规则数目M＝12，利用狄克松准则识别异常值的残差序列个数n＝4，且设ε＝0.02。

选取具有阶跃和连续变化的参数进行预处理，其结果分别如图4、图5所示。图4所示序列具有阶跃特性，其误检概率为0.6％。图5所示序列是连续变化的平滑曲线，其误检概率为6.12％。

Claims (9)

1.一种基于模糊预测系统的野值剔除方法，其特征在于，包括以下步骤：

1)在线构造k时刻的时间序列模糊预测系统；

2)基于所述时间序列模糊预测系统获得k+1时刻的预测值，并计算预测值与观测值之间的残差；

3)利用k+1时刻之前的残差序列，按照狄克松准则确定k+1时刻的残差是否为异常值；如果k+1时刻的残差为异常值，则当前观测值为野值，予以剔除；否则，保留观测值及残差。

2.根据权利要求1所述的一种基于模糊预测系统的野值剔除方法，其特征在于，步骤3)中所述按照狄克松准则确定k+1时刻的残差是否为异常值，具体按照以下方式确定：

设k时刻的残差序列为[ε(k-m+1),ε(k-m+2),…,ε(k)]，排序后获得从小到大序列ε'(i),i＝1,2,…,m；计算k+1时刻的残差ε(k+1)，将ε(k+1)与k时刻的残差序列中的最小值ε'(1)和最大值ε'(m)比较，如果ε'(1)≤ε(k+1)≤ε'(m)，则ε(k+1)不是异常值，相应的，k+1时刻所对应的观测值不是野值。

3.根据权利要求1所述的一种基于模糊预测系统的野值剔除方法，其特征在于，在步骤1)之前，还进行：

步骤0)初始参数设置：循环控制参数k＝1，狄克松准则判别野值的残差序列长度K，时间序列模糊预测系统输入维数n，精度控制参数σ，聚类半径r和遗忘因子τ；构造输入－输出数据对

把

设为聚类中心

并令

A表示模糊系统预测因子，B表示模糊系统单位因子。

4.根据权利要求3所述的一种基于模糊预测系统的野值剔除方法，其特征在于，步骤1)所述在线构造k时刻的时间序列模糊预测系统，是考虑第k对输入-输出数据

根据模糊系统聚类算法构造时间序列模糊预测系统。

5.根据权利要求4所述的一种基于模糊预测系统的野值剔除方法，其特征在于，步骤1)中所述根据模糊系统聚类算法构造时间序列模糊预测系统，具体是：

1.1)聚类

存在M个聚类中心分别为

分别计算

到这M个聚类中心的距离

设这些距离中最小的距离为

即

为

的最近邻原则聚类；

如果

则把

作为一个新的聚类中心

令

B^M+1(k)＝1并令A^l(k)＝A^l(k-1),B^l(k)＝B^l(k-1),l＝1,2,…,M；

如果

则做如下计算：

当l≠l_k,l＝1,2,…,M时，令

1.2)模糊系统设计

如果步骤1.1)中

并未建立一个新的聚类，则根据k对输入-输出数据

设计如下模糊系统：

如果步骤1.1)中

建立了一个新的聚类，则设计如下模糊系统：

6.根据权利要求1所述的一种基于模糊预测系统的野值剔除方法，其特征在于，当确定当前观测值为野值、予以剔除后，将其替换为前一帧数据。

7.一种基于模糊预测系统的野值剔除系统，其特征在于，包括以下程序模块：

时间序列模糊预测系统在线构造模块，用于在线构造k时刻的时间序列模糊预测系统；

残差计算模块，用于基于所述时间序列模糊预测系统获得k+1时刻的预测值，并计算预测值与观测值之间的残差；

野值判断模块，用于利用k+1时刻之前的残差序列，按照狄克松准则确定k+1时刻的残差是否为异常值；如果k+1时刻的残差为异常值，则当前观测值为野值，予以剔除；否则，保留观测值及残差。

8.一种计算机设备，包括处理器和存储器，所述存储器存储有若干程序，其特征在于，所述程序被处理器加载运行时实现权利要求1至6任一所述的一种基于模糊预测系统的野值剔除方法。

9.一种计算机可读存储介质，存储有若干程序，其特征在于，所述程序被处理器加载运行时实现权利要求1至6任一所述的一种基于模糊预测系统的野值剔除方法。

Images