CN111241481A - 一种空气动力数据集异常数据检测方法 - Google Patents

Abstract

本发明公开了一种空气动力数据集异常数据检测方法，包括S1、根据界定的自变量、因变量关系对，得到三组自变量和因变量；S2、基于鲁棒最小二乘回归方法，同时对所述三组自变量和因变量进行回归，得到三个β_i，i＝1,2,3，其中β_i为系数；S3、分别计算三组因变量的标准化预测值与标准化残差，得到三组新的二维数据集；S4、分别对S3中所得三组新的二维数据集进行单链接层次聚类，以最大类为纯净数据集进行异常数据集检测，合并三次聚类的异常数据作为整个数据的异常数据。

Description

一种空气动力数据集异常数据检测方法

技术领域

本发明属于气动数据集的技术领域，具体涉及一种空气动力数据集异常数据检测方法。

背景技术

空气动力(简称气动)数据集/数据库(Aerodynamic database)，是指在飞行器气动设计过程中有组织有计划地生产的飞行包线范围的气动数据集，一般通过CFD计算、风洞试验、飞行试验等手段获得。比如文献“Pamadi B N,Brauckmann G J,Ruth M J,etal.Aerodynamic Characteristics,Database Development,and Flight Simulation ofthe X-34Vehicle[J].Journal of Spacecraft and Rockets,2001,38(3):334-344.”中介绍了通过风洞试验、工程计算等多种方法融合建立X-34飞行器的气动数据集；文献“Engelund W C,Holland S D,Cockrell C E,et al.Aerodynamic Database Developmentfor the Hyper-X Airframe-Integrated Scramjet Propulsion Experiments[J].Journal of Spacecraft and Rockets,2001,38(6):803-810.”中介绍了飞行试验获得的气动数据集的过程。无论那种方法获得数据集，因为试验或计算条件设置不正确、传感器异常、人工统计误操作等原因，往往会产生异常数据。异常数据的存在可能对飞行器的设计、建模、控制等各环节产生不利影响，每一个数据集的生产与收集过程将耗费较大的人力排除这些异常数据。

气动数据本质上是一种物理数据，体现物理规律。正常数据分布，在各维度上总能体现较好的分布曲线，异常数据则不符合正常数据的分布规律。为鉴别异常气动数据的难点主要体现在以下几个方面：

1、数据集大、且单条数据维度高，数据计算量呈指数增长。

2、数据项之间存在耦合关系、行数据之间存在共线性，回归模型。

3、数据来源复杂，数据中可能出现重复、非函数映射关系。

目前尚无针对气动数据集专有的异常数据检测分析工具，主要是人工方法，将数据分组拷贝到Excel电子表格，再人工作图、人眼观察，特别依赖专业人员的经验与细心。

发明内容

本发明的目的在于针对现有技术中的上述不足，提供一种空气动力数据集异常数据检测方法，以解决或改善上述的问题。

为达到上述目的，本发明采取的技术方案是：

一种空气动力数据集异常数据检测方法，其包括：

S1、根据界定的自变量、因变量关系对，得到三组自变量和因变量；

S2、基于鲁棒最小二乘回归方法，同时对所述三组自变量和因变量进行回归，得到三个β_i，i＝1,2,3，其中β_i为系数向量；

S3、分别计算三组因变量的标准化预测值与标准化残差，得到三组新的二维数据集；

S4、分别对S3中所得三组新的二维数据集进行单链接层次聚类，以最大类为纯净数据集进行异常数据集检测，合并三次聚类的异常数据作为整个数据的异常数据。

优选地，S1中根据界定的自变量、因变量关系对，得到三组自变量和因变

量为：P_i＝{X_i,Y_i},i＝1,2,3.

Y₁＝{C_L}

Y₂＝{C_D}

Y₃＝{C_m}

其中，M为马赫数，M²为马赫数的平方，α为攻角，α²为攻角的平方，δ_p为舵偏角，

为舵偏角的平方，

为舵偏角的三次方，αδ_p为攻角与舵偏角复合项，H为以千米为单位的海拔高度，C_L为升力系数，C_D为阻力系数，C_m为俯仰力矩系数；P_i为原始数据集上界定的一组关系对，X_i为自变量矩阵，Y_i为因变量向量。

优选地，β_i，满足min||X_iβ_i-Y_i||,i＝1,2,3，||·||为绝对值运行。

优选地，S2中基于鲁棒最小二乘回归方法，同时对所述三组自变量和因变量进行回归，得到三个β_i向量。三组回归方式相同，为表达方法直接以X和Y表示任意一组自变量与因变量，具体步骤包括：

基于SVD分解自变量：

其中X为n×m矩阵，Y为n×1矩阵，U为n×n左奇异矩阵，V为m×m右奇异矩阵为酉矩阵，上标^T为转置运算，∑为n×m奇异值矩阵，∑₁为∑的非零项子矩阵，U₁和U₂是U的子矩阵，V₁和V₂为V的子矩阵，且有∑₁＝diag(σ_i)，

σ_i为∑₁的对角线元素，λ_i为X^TX的特征值；如果X满秩，则∑₁大小为n，否则X为奇异矩阵，∑₁的列数小于n；

构建基于SVD的最小二乘，

获得回归系数的估计

其中

为∑₁的逆矩阵。

优选地，在S2中采用截断最小二乘，从自变量X与因变量Y两个方面同时抵抗异常点的扰动，具体步骤如下：

确定对大数据集进行重复抽样的次数N_s，抽样次数N_s由样本大小n和回归维度k计算，其中，k等于S1中自变量列数；

当n值较小时，如N<30，则直接进行全排列产生样本，即样本数为

当n值较大时，为减小计算时间，则至少保证完全纯净数据集样本的概率接近100％，假设异常数据比例为e＝30％，通过N_s次抽样产生纯净数据集的概率为

令其接近于1，则可反解得N_s；

基于SVD求最小二乘估计参数，对N_s个样本分别计算的带β_i,i＝1,2,…,N_s；

逐一使用β_i,i＝1,2,…,N_s估计所有n个样本的残差平方和矩阵

对r的每一行独立升序排序，并取每一行的前50％求和，得半数残差和向量s＝{s_i,i＝1,…N_s}；

得到LTS回归系数β*，取s中最小值对应到的β*＝β_i。

优选地，S3中标准化预测值与残差形成的数据集

为标准化预测值，r_s为标准化残差，计算具体步骤包括：

S3.1、利用β预测获得气动力系数估计值

并求得残差

其中C为原气动力系数向量，可以S1中任意Y_i；

S3.2、标准化预测值

与残差r_s：

其中，

和

表示预测数据的均值和标准差，

和s_r表示残差的均值和方差。

优选地，S4中分别对S3中所得三组新的二维数据集进行单链接层次聚类，以最大类为纯净数据集进行异常数据集检测，合并三次聚类的异常数据作为整个数据的异常数据的具体步骤包括：

S4.1、剪切高度为

其中，

为聚类树的簇平均高度，s_h为簇高度的标准差，剪枝后的最大簇为纯净集，表示为Sc；

S4.2、通过纯净集Sc建立回归β，并获得该数据集的预测残差的均方根

其中，N_c为纯净集的大小，

为第j条数据的残差平方；

S4.3、将大小为N_e的非纯净集Se的数据逐一放回Sc，计算放回数据m后的数据集残差均方根

S4.4、比较放回后残差变化比

若b_m>ε则认为m是异常数据，否则作为正常数据，其中，ε为异常检测力度因子，由用户设置，默认为0.1。

本发明提供的空气动力数据集异常数据检测方法，具有以下有益效果：

本发明的方法首先根据气动数据特点建立回归关系，为数据建立基本规律，确定了后序大数据下的回归模型的高效性和准确性；其次，根据气动数据特点，将SVD分解与LTS回归结合，形成适用于气动数据集的鲁棒二乘回归方法，算法参数的选取与气动数据特点结合，解决气动数据中重复、非函数映射、共线性等带来的建模困难；利用标准化预测值与标准化残差建立聚类，降低气动数据集高维度带来的计算复杂性。

附图说明

图1为空气动力数据集异常数据检测方法的流程图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

根据本申请的一个实施例，参考图1，本方案的空气动力数据集异常数据检测方法，包括：

S1、根据界定的自变量、因变量关系对，得到三组自变量和因变量；

S2、基于鲁棒最小二乘回归方法，同时对所述三组自变量和因变量进行回归，得到三个β_i，i＝1,2,3，其中β_i为回归系数；

S3、分别计算三组因变量的标准化预测值与标准化残差，得到三组新的二维数据集；

S4、分别对S3中所得三组新的二维数据集进行单链接层次聚类，以最大类为纯净数据集进行异常数据集检测，合并三次聚类的异常数据作为整个数据的异常数据。

根据本申请的一个实施例，以下将对上述步骤进行详细描述。

为便于描述，以纵向气动力数据集为对象，开展本以下描述，首先一个纵向气动力数据集定义为{M,H,α,δ_p,C_L,C_D,C_M}，分别表示马赫数、高度、攻角、俯仰舵偏角、升力、阻力、俯仰力矩。

S1、根据界定的自变量、因变量关系对，获得三组自变量与因变量；三组自变量与因变量表示为P_i＝{X_i,C_i},i＝1,2,3.,其中，

Y₁＝{C_L}，

Y₂＝{C_D},

Y₃＝{C_D}。

其中，M为马赫数，M²为马赫数的平方，α为攻角，α²为攻角的平方，δ_p为舵偏角，

为舵偏角的平方，

为舵偏角的三次方，αδ_p为攻角与舵偏角复合项，H为以千米为单位的海拔高度，C_L为升力系数，C_D为阻力系数，C_m为俯仰力矩系数；P_i为原始数据集上界定的一组关系对，X_i为自变量矩阵，Y_i为因变量向量。

利用建立的基本函数关系，主要是利用了气动数据的物理规律是稳定的且数据项的耦合一般是确定的，以减界定数据训练的维度，一定程度上克服大数据带来的维度灾难。

S2、基于鲁棒最小二乘回归方法，同时对三组数据P_i,i＝1,2,3进行回归，获得三个β_i使之分别满足min||X_iβ-C_i||,i＝1,2,3，其具体步骤如下：

鲁棒截断最小二乘回归，鲁棒性体现在解决气动数据集的数据量大、重复数据、非函数的映射关系等带来的回归困难。首先，对于最小二乘的求解利用SVD分解，一是克服矩阵奇异，同时SVD分解可采用分块分解，克服数据量大问题。其次，截断最小二乘，进行有放回抽样数据集数上进行最小二乘求解，样本数为X_i的列数k(维度)。

S21、利用SVD求最小二乘估计参数；

输入大小为n×m的自变量X,和n×1的因变量Y，求解系数β，具体的步骤如下：

基于SVD分解自变量：

其中，∑₁＝diag(σ_i)，

λ_i为X^TX的特征值；如果X满秩，则∑₁大小为n，否则X为奇异矩阵，∑₁的列数小于n。

建立基于SVD的最小二乘，

获得回归系数的估计

S22、截断最小二乘，是从自变量X与因变量Y两个方面同时抵抗异常点的扰动，是一种稳健的回归估计方法，具体步骤如下：

确定对大数据集进行重复抽样的次数N_s，抽样次数N_s由样本大小n和回归维度k(k等于S1中自变量列数)计算。

当n值较小时，如N<30,则直接进行全排列产生样本，即样本数为

当n值较大时，为减小计算时间，则至少保证完全纯净数据集样本的概率接近100％，假设异常数据为比例为e＝30％,通过N_s次抽样产生纯净数据集的概率为

令其接近于1(如95％)，则可反解得N_s。

对N_s个样本分别采用S21描述的方法求出β_i,i＝1,2,…,N_s。

通过逐一使用β_i,i＝1,2,…,N_s估计所有n个样本的残差平方和矩阵

对r的每一行独立升序排序，并取每一行的前50％求和，得半数残差和向量s＝{s_i,i＝1,…N_s}。

最后，得到LTS回归系数β*，取s中最小值对应到的β*＝β_i。

S3、分别求三组应变量的标准化预测值与标准化残差，获得三组新的二维数据集表示为

i＝1,2,3，其中，标准化预测值与残差形成的数据集

的具体步骤包括：

S3.1、利用β预测获得

并求得残差

S3.2、标准化预测值

与残差r_s：

其中，

和

表示预测数据的均值和标准差，

和s_r表示残差的均值和方差。

S4、分别对P_i,s,i＝1,2,3进行单链接层次聚类，以最大类为纯净数据集进行异常数据集检测，合并三次聚类的异常数据作为整个数据的异常数据。

其中，建立聚类树后的步骤如下：

S4.1、聚类树剪枝界定“纯净集”，剪切高度为

为聚类树的簇平均高度，s_h为簇高度的标准差，剪枝后的最大簇为“纯净集”。

S4.2、通过纯净集Sc建立回归β，并获得该数据集的预测残差的均方根

其中，N_c为纯净集的大小。

S4.3、将大小为N_e的非纯净集Se的数据逐一放回Sc，计算放回数据m后的数据集残差均方根

S4.4、比较放回后残差变化比

若b_m>ε则认为m是异常数据，否则作为正常数据，其中，ε为异常检测力度因子，由用户设置，默认为0.1。

本发明的方法首先根据气动数据特点建立回归关系，为数据建立基本规律，确定了后序大数据下的回归模型的高效性和准确性；其次，根据气动数据特点，将SVD分解与LTS回归结合，形成适用于气动数据集的鲁棒二乘回归方法，算法参数的选取与气动数据特点结合，解决气动数据中重复、非函数映射、共线性等带来的建模困难；利用标准化预测值与标准化残差建立聚类，降低气动数据集高维度带来的计算复杂性。

虽然结合附图对发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。

Claims (7)

1.一种空气动力数据集异常数据检测方法，其特征在于，包括：

S1、根据界定的自变量、因变量关系对，得到三组自变量和因变量；

S2、基于鲁棒最小二乘回归方法，同时对所述三组自变量和因变量进行回归，得到三个β_i，i＝1,2,3，其中β_i为系数向量；

S3、分别计算三组因变量的标准化预测值与标准化残差，得到三组新的二维数据集；

S4、分别对S3中所得三组新的二维数据集进行单链接层次聚类，以最大类为纯净数据集进行异常数据集检测，合并三次聚类的异常数据作为整个数据的异常数据。

2.根据权利要求1所述的空气动力数据集异常数据检测方法，其特征在于：所述S1中根据界定的自变量、因变量关系对，得到三组自变量和因变量为：

P_i＝{X_i,Y_i},i＝1,2,3.

Y₁＝{C_L}

Y₂＝{C_D}

Y₃＝{C_m}

其中，M为马赫数，M²为马赫数的平方，α为攻角，α²为攻角的平方，δ_p为舵偏角，

为舵偏角的平方，

为舵偏角的三次方，αδ_p为攻角与舵偏角复合项，H为以千米为单位的海拔高度，C_L为升力系数，C_D为阻力系数，C_m为俯仰力矩系数；P_i为原始数据集上界定的一组关系对，X_i为自变量矩阵，Y_i为因变量向量。

3.根据权利要求1所述的空气动力数据集异常数据检测方法，其特征在于：所述β_i，满足min||X_iβ_i-Y_i||,i＝1,2,3，||·||为绝对值运行。

4.根据权利要求1所述的空气动力数据集异常数据检测方法，其特征在于：所述S2中基于鲁棒最小二乘回归方法，同时对所述三组自变量和因变量进行回归，得到三个β_i向量。三组回归方式相同，为表达方法直接以X和Y表示任意一组自变量与因变量，具体步骤包括：

基于SVD分解自变量：

其中X为n×m矩阵，Y为n×1矩阵，U为n×n左奇异矩阵，V为m×m右奇异矩阵为酉矩阵，上标^T为转置运算，∑为n×m奇异值矩阵，∑₁为∑的非零项子矩阵，U₁和U₂是U的子矩阵，V₁和V₂为V的子矩阵，且有∑₁＝diag(σ_i)，

σ_i为∑₁的对角线元素，λ_i为X^TX的特征值；如果X满秩，则∑₁大小为n，否则X为奇异矩阵，∑₁的列数小于n；

构建基于SVD的最小二乘，

获得回归系数的估计

其中

为∑₁的逆矩阵。

5.根据权利要求4所述的空气动力数据集异常数据检测方法，其特征在于：在S2中采用截断最小二乘，从自变量X与因变量Y两个方面同时抵抗异常点的扰动，具体步骤如下：

确定对大数据集进行重复抽样的次数N_s，抽样次数N_s由样本大小n和回归维度k计算，其中，k等于S1中自变量列数；

当n值较小时，如N<30，则直接进行全排列产生样本，即样本数为

当n值较大时，为减小计算时间，则至少保证完全纯净数据集样本的概率接近100％，假设异常数据比例为e＝30％，通过N_s次抽样产生纯净数据集的概率为

令其接近于1，则可反解得N_s；

基于SVD求最小二乘估计参数，对N_s个样本分别计算的带β_i,i＝1,2,…,N_s；

逐一使用β_i,i＝1,2,…,N_s估计所有n个样本的残差平方和矩阵

对r的每一行独立升序排序，并取每一行的前50％求和，得半数残差和向量s＝{s_i,i＝1,…N_s}；

得到LTS回归系数β*，取s中最小值对应到的β*＝β_i。

6.根据权利要求1所述的空气动力数据集异常数据检测方法，其特征在于：所述S3中标准化预测值与残差形成的数据集

为标准化预测值，r_s为标准化残差，计算具体步骤包括：

S3.1、利用β预测获得气动力系数估计值

并求得残差

其中C为原气动力系数向量，可以S1中任意Y_i；

S3.2、标准化预测值

与残差r_s：

其中，

和

表示预测数据的均值和标准差，

和s_r表示残差的均值和方差。

7.根据权利要求1所述的空气动力数据集异常数据检测方法，其特征在于：所述S4中分别对S3中所得三组新的二维数据集进行单链接层次聚类，以最大类为纯净数据集进行异常数据集检测，合并三次聚类的异常数据作为整个数据的异常数据的具体步骤包括：

S4.1、剪切高度为

其中，

为聚类树的簇平均高度，s_h为簇高度的标准差，剪枝后的最大簇为纯净集，表示为Sc；

S4.2、通过纯净集Sc建立回归β，并获得该数据集的预测残差的均方根

其中，N_c为纯净集的大小，

为第j条数据的残差平方；

S4.3、将大小为N_e的非纯净集Se的数据逐一放回Sc，计算放回数据m后的数据集残差均方根

S4.4、比较放回后残差变化比

若b_m>ε则认为m是异常数据，否则作为正常数据，其中，ε为异常检测力度因子，由用户设置，默认为0.1。

Images