CN111815806A - 一种基于野值剔除和特征提取的飞参数据预处理方法 - Google Patents

Abstract

提供一种基于野值剔除和特征提取的飞参数据预处理方法，具体包括以下步骤：飞参数据采集；搭建卡尔曼滤波器模型；数据预分组；搭建受限去噪玻尔兹曼机模型；剔除野值后的飞参数据训练；飞机参数数据特征的提取。该方法适用于大规模飞参数据处理，给信号特征提取算法提供了一种新的思路，在实现特征提取的同时，能够实现飞参数据的野值剔除和降维处理。

Description

一种基于野值剔除和特征提取的飞参数据预处理方法

技术领域

本发明属于信号处理技术领域，尤其涉及飞行大数据机务外场自主保障信息支持系统的基于野值剔除和特征提取的飞机参数数据预处理方法。

背景技术

从上世纪90年代至今，航空装备技术飞速发展，尤其是在军事战略的调整以及航空装备作战使用样式发生变化的大环境下，作战飞机在使用和维护过程中记录了大量飞参数据，这些数据对于保障飞行安全和评估飞行训练具有极高的使用价值。为更有效地利用飞参数据，数据仓库和数据挖掘技术开始应用于飞参数据的管理和处理。然而，目前飞参数据挖掘的研究主要集中于挖掘算法，对飞参数据的预处理缺乏深入研究，从而导致挖掘结果质量的降低。

飞机飞行中处于高速、高负荷的运动状态，飞行参数记录系统在对各种信号的采集、传输和记录过程中不可避免会受到一些电磁干扰，因此记录的数据中必然混有干扰噪声和奇异点，甚至出现数据紊乱。要正确反映和重现飞机的真实飞行过程，并进一步地把飞参数据作为飞机、发动机及其机载设备工作状态监控、飞行训练质量评估、飞行事故分析的基础，必须对记录数据进行必要的数字滤波，消除干扰噪声，识别和剔除奇异数据点，并对数据进行平滑处理。飞参数据中的奇异点，又称野值点、离群点或跳点，是明显偏离被测信号变化规律的数据点，它不是被测对象本身故障的记录，而是由传感器、变换器及无线电传输中的干扰等造成的异常跳变点。实际情况表明，野点是个别的，但它们对数据分析结果的影响却是严重的。故在进行数据分析前必须通过一定的方法对其加以判别和修正或剔除。

另一方面，飞参数据中包含了大量的参数，而且这些参数之间的关联关系并不明确，如果不针对挖掘任务选择需要的参数就必然会使挖掘工作量巨大，同时也无法保证挖掘结果质量。在这样一个背景下，飞参数据的特征提取预处理研究具有重要的意义。

一种基于野值剔除和特征提取的飞参数据预处理算法，从野值剔除和特征提取两个方面对飞参数据预处理进行研究，并相应地提出了一种基于卡尔曼滤波的野值剔除方法和一种基于受限玻尔兹曼机的特征提取方法，从而为飞参数据的预处理探索了一条有效的途径。利用卡尔曼滤波对记录的动态系统飞参数据估值处理，去除数据中野值；利用受限玻尔兹曼机强大的无监督学习能力对记录的飞参数据从高维可视层的输入值映射到低维隐藏层，从而达到对飞参数据特征提取的目的。

发明内容

本发明提供一种基于野值剔除和特征提取的飞参数据预处理算法，具体包括以下步骤：

(一)飞参数据采集

收集飞参记录系统中的飞机参数数据，获得飞参数据信号；

(二)搭建卡尔曼滤波器模型

利用卡尔曼滤波理论构建滤波器，引入卡尔曼增益对数据进行校正和更新，在时间和状态两个维度出发，递归迭代估算出最优值，剔除飞参数据中的野值；

搭建卡尔曼滤波器模型包括以下步骤：

(1)由前一时刻，也就是k-1时刻的飞机参数估计值

和送给系统的可控制输入来预估计当前时刻，也就是k时刻系统的状态量

A、B、u_k-1分别表示系统矩阵、输入矩阵以及输入；

(2)由上一次的飞机参数误差协方差

和过程噪声Q预测新的误差

其中A^T为系统矩阵的转置矩阵；

(3)计算卡尔曼增益，

其中H是状态变量到测量的转换矩阵，R表示测量噪声协方差；

(4)进行校正更新，

其中y代表对应状态的观测信号，k为卡尔曼增益；

(5)为下一步估计k+1时刻的最优状态的迭代进行更新操作，重复步骤(1)到(4)进行更新迭代操作，及更新P_k值，

(三)数据预分组

将剔除野值后的飞参数据进行分组处理，依据机器学习方法，将总体飞参数据分组，其中训练组数据约占80％，测试组数据占总体数据20％，用于对模型训练效果的检验；

(四)搭建受限去噪玻尔兹曼机模型

针对飞参数据的非线性特点，在传统受限玻尔兹曼机的基础上，将输入节点由二值变量节点拓展为连续输入的实值变量节点，针对复杂的数据建立高斯伯努利受限玻尔兹曼机模型，利用受限玻尔兹曼机优良的无监督学习能力构建学习模型，其模型分为单可视层v和单隐含层h以及标签层；

搭建受限去噪玻尔兹曼机模型包括以下步骤：

(1)训练高斯伯努利受限玻尔兹曼机模型的优化目标，使高斯伯努利受限玻尔兹曼机模型能够最大程度拟合训练数据的分布，也就是经过特征编码再解码后的重构数据误差最小；假设正常情况下的训练数据为X＝[x⁽¹⁾，x⁽²⁾，...，x⁽ⁿ⁾]∈R^m*n，X的每一列x⁽¹⁾…x⁽ⁿ⁾表示一个传感器的n次独立的采样点，每一行表示m个变量；取高斯伯努利受限玻尔兹曼机模型可见层单元节点数等于x⁽ⁱ⁾的变量数m，隐藏层节点个数和可见层节点个数有关的，多数情况下，隐藏层节点个数根据使用确定，或者是在参数一定的情况下，隐藏层节点个数选使得模型能量最小时的隐藏层节点个数；根据高斯伯努利受限玻尔兹曼机的结构特点，给定可见层单元状态，各隐含层的激活状态条件独立；给定隐层单元状态，可见层单元的激活状态也条件独立，有

其中P(v|h，θ)表示(v，h)的联合概率密度分布，v和h分别表示可见单元和隐单元的状态，v_i表示第i个可见单元的状态，示第j个隐单元的状态，其中h＝(h₁，h₂，h₃...h_n)，θ＝{W_ij，a_i，b_j}是受限玻尔兹曼机的参数，W_ij、a_i、b_j均为实数，W_ij为i、j两层之间的连接权重，a_j表示可见单元神经元j的偏置，b_j表示隐藏层单元j的偏置，σ_i为sigmoid函数，sigmoid函数是神经网络中常用的激活函数之一，k为离散时间，k＝1，2，3，...；

(2)取式中各σ_i为1，采用无噪声重构形式，对高斯伯努利受限玻尔兹曼机模型网络参数θ随机初始化，得到网络参数初值θ₀，σ_i为sigmoid函数；

(3)一个受限玻尔兹曼机包含一个由随机的隐单元构成的隐藏层和一个由随机的可见单元构成的可见层；受限玻尔兹曼机可以表示成一个二分图模型，所有可见单元和隐单元之间存在连接，而隐单元两两之间和可见单元两两之间不存在连接，也就是层间全连接，层内无连接；每一个可见层节点和隐藏层节点都有两种状态：处于激活状态时值为1，未被激活状态值为0；节点的激活概率由可见层和隐藏层节点的分布函数计算；将训练数据标准化预处理后，输入高斯伯努利受限玻尔兹曼机模型可见层v，x⁽ⁱ⁾这一列每个变量对应可见层v中的每一个节点，将训练数据X经由可见层，计算隐层节点的激活概率，再对隐层节点随机激活，实现可见层v到隐层h的编码，得到隐层特征；计算重构可见层节点均值，并将该均值输入正态分布随机函数，生成重构数据，实现隐层h至可见层v的解码；此时得到高斯伯努利受限玻尔兹曼机模型模型参数θ下训练数据集X的概率分布如下

其中P(X|θ)表示模型参数下训练数据集X的概率分布，E(x⁽ⁱ⁾，h|θ)为受限玻尔兹曼机的能量公式，Z(θ)为归一化因子，表示对可见层和隐藏层节点集合的所有可能状态的求和；

(4)通过最大化高斯伯努利受限玻尔兹曼机网络在训练数据集X上的对数似然函数学习获得受限玻尔兹曼机模型的参数：

其中P(x⁽ⁱ⁾|θ)为高斯伯努利受限玻尔兹曼机模型模型参数θ下第i个训练数据集x⁽ⁱ⁾的概率分布，θ^*为待求解的受限玻尔兹曼机的参数，l(θ)为最大释然函数，P(x⁽ⁱ⁾，h|θ)为联合概率密度，E(x，h|θ)为变量的数学期望，x为训练数据X的行向量，代表单次数据；其中x＝[x⁽¹⁾，x⁽²⁾，x⁽³⁾...x^(m)]^T；

(5)由于归一化因子Z(θ)的存在，<·>_model为模型定义的分布概率难以计算，因此在通过随机梯度上升算法对参数寻优时，无法直接计算偏导数第二项的值；通过对比散度CD算法，利用单次吉布斯采样得到原始数据重构；用重构数据的联合概率分布近似模型的联合概率分布<·>_P(x，h|θ)来指导参数更新方向，如下面的梯度更新公式所述，将重构数据带入联合概率计算公式<·>_P(x，h|θ)中，<·>符号为关于分布的数学期望，角标P(x，h|θ)表示可见层与隐藏层联合概率分布，在受限玻尔兹曼机中，当只有一个训练样本时，分别用‘data’和‘model’来简记P(x，h|θ)和P(v|h，θ)的概率分布；记重构数据的联合概率为<·>_recon，从而实现快速学习训练高斯伯努利受限玻尔兹曼机模型；根据CD算法，随机梯度上升法的更新准则变为

这里的l是前面的l(θ)，为简单起见，在公式中省略θ；

(6)通过经过多次迭代达到训练终止条件，终止条件即参数收敛到预定目标函数，之后获得高斯伯努利受限玻尔兹曼机模型的最优模型参数θ；

(7)提取测试集飞参数据特征数据，在飞参数据处理系统中获取测试集数据后，将测试数据标准化预处理后，将数据输入高斯伯努利受限玻尔兹曼机模型的高斯可见层，通过编码再解码得到测试集飞参数据的隐层特征，编码过程是将可见层输入的训练样本转变为数字信号进行随机初始化，用sigmoid激活函数σ_i得到隐藏层的神经元的0，1值，解码过程是从隐藏层到可见层的逆过程；

(五)剔除野值后的飞参数据训练

将经过卡尔曼滤波器处理后的训练组数据输入建立高斯伯努利受限玻尔兹曼机模型的单可视层v，输入数据x中的每个变量对应单可视层v的每个节点，将输入数据x经由单可视层v，通过计算隐层节点的激活概率，节点的激活概率由可见层和隐藏层节点的分布函数P(v_i|h，θ)计算；再对隐层节点随机激活，即令对应节点状态值为1；实现单可视层v到单隐含层h的编码，编码过程就是可见层输入的训练样本转变为数字信号后，进行随机初始化，用上面的sigmoid激活函数σ_i得到隐藏层的神经元的0，1值，得到隐层特征；再计算重构可见层节点均值，并将该均值输入正态分布随机函数，生成重构数据，实现单隐含层h到单可视层v的解码，解码即是从隐藏层到可见层的逆过程；通过对比散度算法采用单次吉布斯采样得到原始数据重构，用重构数据带入步骤(四)的联合概率分布计算公式中，得出近似模型的联合概率，以此来指导参数更新方向，从而实现快速学习训练高斯伯努利受限玻尔兹曼机模型；

(六)飞机参数数据特征的提取

将测试组数据送入去噪受限玻尔兹曼机模型，将训练组获得的特征值与本次测试数据获得的特征值进行相似度计算，判断特征提取与聚类结果的准确性。

本发明基于野值剔除和特征提取的飞参数据预处理方法，涉及从野值剔除和特征提取两个方面对飞参数据预处理进行研究，利用卡尔曼滤波对记录的动态系统飞参数据估值处理，去除数据中野值；利用玻尔兹曼机强大的无监督学习能力对记录的飞参数据从高维可视层的输入值映射到低维隐藏层，从而达到对飞参数据特征提取的目的。卡尔曼滤波具有对状态向量的估计是最小二乘准则下的最优估计、对动态过程是平稳随机过程要求不严、递推算法容易实现、可以进行实时预报系统的状态且仅利用部分数据就可进行预测等优点。受限玻尔兹曼机在对模型进行训练过程中为了更快更高效的求取模型的阈值和权值引入了变异算子即以一定概率接受较差解，从而也避免了寻优过程陷入局部最优的问题。本方法适用于大规模飞参数据处理，给信号特征提取算法提供一种新的思路，在实现特征提取的同时，能够实现飞参数据的野值剔除和降维处理。

附图说明

图1为基于野值剔除和特征提取的飞参数据预处理算法流程图；

图2为卡尔曼滤波算法流程图；

图3为高斯伯努利受限玻尔兹曼机网络图。

具体实施方式

以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

如图1所示，一种基于野值剔除和特征提取的飞参数据预处理方法，该方法具体包括以下步骤：

(一)飞参数据采集：收集飞参记录系统中的飞机参数数据，获得飞参数据信号；

具体收集和获取方法为本领域技术人员熟知，不再累述。

(二)搭建卡尔曼滤波器模型：利用卡尔曼滤波理论构建滤波器，引入卡尔曼增益对数据进行校正和更新，在时间和状态两个维度出发，递归迭代估算出最优值，剔除飞参数据中的野值，图2给出了卡尔曼滤波算法的流程图；

搭建卡尔曼滤波器模型包括以下步骤：

(1)由前一时刻(k-1时刻)的飞机参数估计值

和送给系统的可控制输入来预估计当前时刻(k时刻)系统的状态量

A、B、u_k-1分别表示系统矩阵、输入矩阵以及输入。

(2)由上一次的飞机参数误差协方差

和过程噪声Q预测新的误差

其中A^T为系统矩阵的转置矩阵。

(3)计算卡尔曼增益，

其中H是状态变量到测量(观测)的转换矩阵，R表示测量噪声协方差。

(4)进行校正更新，

其中y代表对应状态的观测信号，k为卡尔曼增益。

(5)为下一步估计k+1时刻的最优状态的迭代进行更新操作，重复步骤(1)到(4)进行更新迭代操作，及更新P_k值，

(三)数据预分组：将剔除野值后的飞参数据进行分组处理，依据机器学习方法，将总体飞参数据分组，其中训练组数据约占80％，测试组数据占总体数据20％，用于对模型训练效果的检验；

(四)搭建受限去噪玻尔兹曼机模型：针对飞参数据的非线性特点，在传统受限玻尔兹曼机的基础上，将输入节点由二值变量节点拓展为连续输入的实值变量节点，针对复杂的数据建立高斯伯努利受限玻尔兹曼机模型，利用受限玻尔兹曼机优良的无监督学习能力构建学习模型，如图3所示，其模型分为单可视层v和单隐含层h以及标签层。

搭建受限去噪玻尔兹曼机模型包括以下步骤：

(1)训练高斯伯努利受限玻尔兹曼机模型的优化目标，使高斯伯努利受限玻尔兹曼机模型能够最大程度拟合训练数据的分布，即经过特征编码再解码后的重构数据误差最小。假设正常情况下的训练数据为X＝[x⁽¹⁾，x⁽²⁾，...，x⁽ⁿ⁾]∈R^m*n，X的每一列x⁽¹⁾…x⁽ⁿ⁾表示一个传感器的n次独立的采样点，每一行表示m个变量。取高斯伯努利受限玻尔兹曼机模型可见层单元节点数等于x⁽ⁱ⁾的变量数m，隐藏层节点个数和可见层节点个数有关的，多数情况下，隐藏层节点个数需要根据使用而定，或者是在参数一定的情况下，隐藏层节点个数选使得模型能量最小时的隐藏层节点个数。根据高斯伯努利受限玻尔兹曼机的结构特点，给定可见层单元状态，各隐含层的激活状态条件独立；给定隐层单元状态，可见层单元的激活状态也条件独立，有

其中P(v|h，θ)表示(v，h)的联合概率密度分布，v和h分别表示可见单元和隐单元的状态，v_i表示第i个可见单元的状态，示第j个隐单元的状态，其中h＝(h₁，h₂，h₃...h_n)，θ＝{W_ij，a_i，b_j}是受限玻尔兹曼机的参数，W_ij、a_i、b_j均为实数，W_ij为i、j两层之间的连接权重，a_j表示可见单元神经元j的偏置，b_j表示隐藏层单元j的偏置，σ_i为sigmoid函数，sigmoid函数是神经网络中常用的激活函数之一，k为离散时间，k＝1，2，3，...。

(2)取式中各σ_i为1，采用无噪声重构形式，对高斯伯努利受限玻尔兹曼机模型网络参数θ随机初始化，得到网络参数初值θ₀，σ_i为sigmoid函数。

(3)一个受限玻尔兹曼机包含一个由随机的隐单元构成的隐藏层(一般是伯努利分布)和一个由随机的可见(观测)单元构成的可见(观测)层(一般是伯努利分布或高斯分布)。受限玻尔兹曼机可以表示成一个二分图模型，所有可见单元和隐单元之间存在连接，而隐单元两两之间和可见单元两两之间不存在连接，也就是层间全连接，层内无连接。每一个可见层节点和隐藏层节点都有两种状态：处于激活状态时值为1，未被激活状态值为0。这里的0和1状态的意义是代表了模型会选取哪些节点来使用，处于激活状态的节点被使用，未处于激活状态的节点未被使用。节点的激活概率由可见层和隐藏层节点的分布函数计算。将训练数据标准化预处理后，输入高斯伯努利受限玻尔兹曼机模型可见层v，x⁽ⁱ⁾这一列每个变量对应可见层v中的每一个节点，将训练数据X经由可见层，计算隐层节点的激活概率，再对隐层节点随机激活，实现可见层v到隐层h的编码，得到隐层特征，该方法为本领域技术人员熟知，不再累述。计算重构可见层节点均值，并将该均值输入正态分布随机函数，生成重构数据，实现隐层h至可见层v的解码，其中计算重构可见层节点均值的方法为本领域技术人员熟知，不再累述。此时可以得到高斯伯努利受限玻尔兹曼机模型模型参数θ下训练数据集X的概率分布如下

其中P(X|θ)表示模型参数下训练数据集X的概率分布，E(x⁽ⁱ⁾，h|θ)为受限玻尔兹曼机的能量公式，Z(θ)为归一化因子，表示对可见层和隐藏层节点集合的所有可能状态的(能量指数)求和。

(4)可以通过最大化高斯伯努利受限玻尔兹曼机网络在训练数据集X上的对数似然函数学习获得受限玻尔兹曼机模型的参数：

其中P(x⁽ⁱ⁾|θ)为高斯伯努利受限玻尔兹曼机模型模型参数θ下第i个训练数据集x⁽ⁱ⁾的概率分布，θ^*为待求解的受限玻尔兹曼机的参数，l(θ)为最大释然函数，P(x⁽ⁱ⁾，h|θ)为联合概率密度，E(x，h|θ)为变量的数学期望，x为训练数据X的行向量，代表单次数据，其中x＝[x⁽¹⁾，x⁽²⁾，x⁽³⁾...x^(m)]^T。

(5)由于归一化因子Z(θ)的存在，<·>_model为模型定义的分布概率。难以计算，因此在通过随机梯度上升算法对参数寻优时，无法直接计算偏导数第二项的值。通过对比散度(CD)算法，利用单次吉布斯采样得到原始数据重构，其中计算重构的方法为本领域技术人员熟知，不再累述。可以用重构数据的联合概率分布近似模型的联合概率分布<·>_P(x，h|θ)来指导参数更新方向，如下面的梯度更新公式所述，将重构数据带入联合概率计算公式<·>_P(x，h|θ)中，<·>符号为关于分布的数学期望，角标P(x，h|θ)表示可见层与隐藏层联合概率分布，在受限玻尔兹曼机中，当只有一个训练样本时，分别用‘data’和‘model’来简记P(x，h|θ)和P(v|h，θ)的概率分布。记重构数据的联合概率为<·>_recon，从而实现快速学习训练高斯伯努利受限玻尔兹曼机模型模型。根据CD算法，随机梯度上升法的更新准则变为

这里的l是前面的l(θ)，为简单起见，在公式中省略θ。

(6)通过经过多次迭代达到训练终止条件(终止条件即参数收敛到预定目标函数)后，即可获得高斯伯努利受限玻尔兹曼机模型的最优模型参数θ。

(7)提取测试集飞参数据特征数据，在飞参数据处理系统中获取测试集数据后，将测试数据标准化预处理后(标准化预处理为深度学习处理数据的基本步骤：降噪、平滑等，为本领域技术人员熟知，不再赘述)，将数据输入高斯伯努利受限玻尔兹曼机模型的高斯可见层，同样地通过编码再解码得到测试集飞参数据的隐层特征(通过解码器，将字符转换为字节的方式称为编码，将字节转换为字符的方式称为解码)，编码过程即是将可见层输入的训练样本转变为数字信号进行随机初始化，用sigmoid激活函数σ_i得到隐藏层的神经元的0，1值，解码过程即是从隐藏层到可见层的逆过程，不再赘述。

(五)剔除野值后的飞参数据训练：将经过卡尔曼滤波器处理后的训练组数据输入建立高斯伯努利受限玻尔兹曼机模型的单可视层v，输入数据x中的每个变量对应单可视层v的每个节点，将输入数据x经由单可视层v，通过计算隐层节点的激活概率，节点的激活概率由可见层和隐藏层节点的分布函数P(v_i|h，θ)计算。再对隐层节点随机激活，即令对应节点状态值为1。实现单可视层v到单隐含层h的编码，编码过程即是可见层输入的训练样本转变为数字信号后，进行随机初始化，用上面的sigmoid激活函数σ_i得到隐藏层的神经元的0，1值，得到隐层特征，该方法为本领域技术人员熟知，不再累述。再计算重构可见层节点均值，并将该均值输入正态分布随机函数，生成重构数据，实现单隐含层h到单可视层v的解码，解码即是从隐藏层到可见层的逆过程，不再赘述。通过对比散度算法采用单次吉布斯采样得到原始数据重构，可以用重构数据带入步骤(四)的联合概率分布计算公式中，得出近似模型的联合概率，以此来指导参数更新方向，从而实现快速学习训练高斯伯努利受限玻尔兹曼机模型。

(六)飞机参数数据特征的提取：将测试组数据送入去噪受限玻尔兹曼机模型中，将训练组获得的特征值与本次测试数据获得的特征值进行相似度计算，进而判断特征提取与聚类结果的准确性。该步骤的具体实施方法为本领域技术人员熟知，不再累述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于野值剔除和特征提取的飞参数据预处理算法，其特征在于，具体包括以下步骤：

(一)飞参数据采集

收集飞参记录系统中的飞机参数数据，获得飞参数据信号；

(二)搭建卡尔曼滤波器模型

利用卡尔曼滤波理论构建滤波器，引入卡尔曼增益对数据进行校正和更新，在时间和状态两个维度出发，递归迭代估算出最优值，剔除飞参数据中的野值；

搭建卡尔曼滤波器模型包括以下步骤：

(1)由前一时刻，也就是k-1时刻的飞机参数估计值

和送给系统的可控制输入来预估计当前时刻，也就是k时刻系统的状态量

A、B、u_k-1分别表示系统矩阵、输入矩阵以及输入；

(2)由上一次的飞机参数误差协方差

和过程噪声Q预测新的误差

其中A^T为系统矩阵的转置矩阵；

(3)计算卡尔曼增益，

其中H是状态变量到测量的转换矩阵，R表示测量噪声协方差；

(4)进行校正更新，

其中y代表对应状态的观测信号，k为卡尔曼增益；

(5)为下一步估计k+1时刻的最优状态的迭代进行更新操作，重复步骤(1)到(4)进行更新迭代操作，及更新P_k值，

(三)数据预分组

将剔除野值后的飞参数据进行分组处理，依据机器学习方法，将总体飞参数据分组，其中训练组数据约占80％，测试组数据占总体数据20％，用于对模型训练效果的检验；

(四)搭建受限去噪玻尔兹曼机模型

针对飞参数据的非线性特点，在传统受限玻尔兹曼机的基础上，将输入节点由二值变量节点拓展为连续输入的实值变量节点，针对复杂的数据建立高斯伯努利受限玻尔兹曼机模型，利用受限玻尔兹曼机优良的无监督学习能力构建学习模型，其模型分为单可视层v和单隐含层h以及标签层；

搭建受限去噪玻尔兹曼机模型包括以下步骤：

(1)训练高斯伯努利受限玻尔兹曼机模型的优化目标，使高斯伯努利受限玻尔兹曼机模型能够最大程度拟合训练数据的分布，也就是经过特征编码再解码后的重构数据误差最小；假设正常情况下的训练数据为X＝[x⁽¹⁾，x⁽²⁾，...，x⁽ⁿ⁾]∈R^m*n，X的每一列x⁽¹⁾…x⁽ⁿ⁾表示一个传感器的n次独立的采样点，每一行表示m个变量；取高斯伯努利受限玻尔兹曼机模型可见层单元节点数等于x⁽ⁱ⁾的变量数m，隐藏层节点个数和可见层节点个数有关的，多数情况下，隐藏层节点个数根据使用确定，或者是在参数一定的情况下，隐藏层节点个数选使得模型能量最小时的隐藏层节点个数；根据高斯伯努利受限玻尔兹曼机的结构特点，给定可见层单元状态，各隐含层的激活状态条件独立；给定隐层单元状态，可见层单元的激活状态也条件独立，有

其中P(v|h，θ)表示(v，h)的联合概率密度分布，v和h分别表示可见单元和隐单元的状态，v_i表示第i个可见单元的状态，示第j个隐单元的状态，其中h＝(h₁，h₂，h₃...h_n)，θ＝{W_ij，a_i，b_j}是受限玻尔兹曼机的参数，W_ij、a_ib_j均为实数，W_ij为i、j两层之间的连接权重，a_j表示可见单元神经元j的偏置，b_j表示隐藏层单元j的偏置，σ_i为sigmoid函数，sigmoid函数是神经网络中常用的激活函数之一，k为离散时间，k＝1，2，3，...；

(2)取式中各σ_i为1，采用无噪声重构形式，对高斯伯努利受限玻尔兹曼机模型网络参数θ随机初始化，得到网络参数初值θ₀，σ_i为sigmoid函数；

(3)一个受限玻尔兹曼机包含一个由随机的隐单元构成的隐藏层和一个由随机的可见单元构成的可见层；受限玻尔兹曼机可以表示成一个二分图模型，所有可见单元和隐单元之间存在连接，而隐单元两两之间和可见单元两两之间不存在连接，也就是层间全连接，层内无连接；每一个可见层节点和隐藏层节点都有两种状态：处于激活状态时值为1，未被激活状态值为0；节点的激活概率由可见层和隐藏层节点的分布函数计算；将训练数据标准化预处理后，输入高斯伯努利受限玻尔兹曼机模型可见层v，x⁽ⁱ⁾这一列每个变量对应可见层v中的每一个节点，将训练数据X经由可见层，计算隐层节点的激活概率，再对隐层节点随机激活，实现可见层v到隐层h的编码，得到隐层特征；计算重构可见层节点均值，并将该均值输入正态分布随机函数，生成重构数据，实现隐层h至可见层v的解码；此时得到高斯伯努利受限玻尔兹曼机模型模型参数θ下训练数据集X的概率分布如下

其中P(X|θ)表示模型参数下训练数据集X的概率分布，E(x⁽ⁱ⁾，h|θ)为受限玻尔兹曼机的能量公式，Z(θ)为归一化因子，表示对可见层和隐藏层节点集合的所有可能状态的求和；

(4)通过最大化高斯伯努利受限玻尔兹曼机网络在训练数据集X上的对数似然函数学习获得受限玻尔兹曼机模型的参数：

其中P(x⁽ⁱ⁾|θ)为高斯伯努利受限玻尔兹曼机模型模型参数θ下第i个训练数据集x⁽ⁱ⁾的概率分布，θ^*为待求解的受限玻尔兹曼机的参数，l(θ)为最大释然函数，P(x⁽ⁱ⁾，h|θ)为联合概率密度，E(x，h|θ)为变量的数学期望，x为训练数据X的行向量，代表单次数据；其中x＝[x⁽¹⁾，x⁽²⁾，x⁽³⁾...x^(m)]^T；

(5)由于归一化因子Z(θ)的存在，<·>_model为模型定义的分布概率难以计算，因此在通过随机梯度上升算法对参数寻优时，无法直接计算偏导数第二项的值；通过对比散度CD算法，利用单次吉布斯采样得到原始数据重构；用重构数据的联合概率分布近似模型的联合概率分布<·>_P(x，h|θ)来指导参数更新方向，如下面的梯度更新公式所述，将重构数据带入联合概率计算公式<·>_P(x，h|θ)中，<·>符号为关于分布的数学期望，角标P(x，h|θ)表示可见层与隐藏层联合概率分布，在受限玻尔兹曼机中，当只有一个训练样本时，分别用‘data’和‘model’来简记P(x，h|θ)和P(v|h，θ)的概率分布；记重构数据的联合概率为<·>_recon，从而实现快速学习训练高斯伯努利受限玻尔兹曼机模型；根据CD算法，随机梯度上升法的更新准则变为

这里的l是前面的l(θ)，为简单起见，在公式中省略θ；

(6)通过经过多次迭代达到训练终止条件，终止条件即参数收敛到预定目标函数，之后获得高斯伯努利受限玻尔兹曼机模型的最优模型参数θ；

(7)提取测试集飞参数据特征数据，在飞参数据处理系统中获取测试集数据后，将测试数据标准化预处理后，将数据输入高斯伯努利受限玻尔兹曼机模型的高斯可见层，通过编码再解码得到测试集飞参数据的隐层特征，编码过程是将可见层输入的训练样本转变为数字信号进行随机初始化，用sigmoid激活函数σ_i得到隐藏层的神经元的0，1值，解码过程是从隐藏层到可见层的逆过程；

(五)剔除野值后的飞参数据训练

将经过卡尔曼滤波器处理后的训练组数据输入建立高斯伯努利受限玻尔兹曼机模型的单可视层v，输入数据x中的每个变量对应单可视层v的每个节点，将输入数据x经由单可视层v，通过计算隐层节点的激活概率，节点的激活概率由可见层和隐藏层节点的分布函数P(v_i|h，θ)计算；再对隐层节点随机激活，即令对应节点状态值为1；实现单可视层v到单隐含层h的编码，编码过程就是可见层输入的训练样本转变为数字信号后，进行随机初始化，用上面的sigmoid激活函数σ_i得到隐藏层的神经元的0，1值，得到隐层特征；再计算重构可见层节点均值，并将该均值输入正态分布随机函数，生成重构数据，实现单隐含层h到单可视层v的解码，解码即是从隐藏层到可见层的逆过程；通过对比散度算法采用单次吉布斯采样得到原始数据重构，用重构数据带入步骤(四)的联合概率分布计算公式中，得出近似模型的联合概率，以此来指导参数更新方向，从而实现快速学习训练高斯伯努利受限玻尔兹曼机模型；

(六)飞机参数数据特征的提取

将测试组数据送入去噪受限玻尔兹曼机模型，将训练组获得的特征值与本次测试数据获得的特征值进行相似度计算，判断特征提取与聚类结果的准确性。

Images