CN111552921A - 一种用于异常检测的飞行数据预处理方法 - Google Patents

Abstract

本发明一种用于异常检测的飞行数据预处理方法，属于飞行数据监测领域，通过对历史飞行数据依次进行参数截取、去冗余、参数维度统一的处理，形成能够直接用于异常检测算法的数据集，相比于对公开数据集的处理，更加贴合工程实际，且比人工手动截取处理数据效率更高，能够避免数据集截取标准不统一对数据分析及异常检测结果的影响，避免了历史飞行数据包含的信息特别多，数据量特别大，数据形式不适合异常检测算法直接使用的问题。

Description

一种用于异常检测的飞行数据预处理方法

技术领域

本发明涉及飞行数据监测领域，特别涉及一种用于异常检测的飞行数据预处理方法。

背景技术

飞行数据是一系列与飞机飞行状态和运行状态相关的随时间变化的飞行参数，这些参数记录了关键部件的工作状态及飞行员的操作行为，因此，飞行数据在飞机健康状态判断、事故调查、飞行品质评估等方面发挥着巨大的作用。异常检测是指在数据中发现与期望行为不符的数据模式。近年来，随着历史飞行数据的积累，对多架次飞行数据进行分析以检测飞机是否存在异常情况也逐渐成为辅助地勤维护、提高维修效率和保障飞行安全的重要手段。

历史飞行数据包含的信息特别多，数据量特别大，数据形式不适合异常检测算法直接使用，这是因为进行异常检测技术研究时，常常需要提取对所分析问题有用的数据信息（即每个架次飞行数据中某一段时间的某些参数），并对提取的飞行参数时间序列进行预处理，形成异常检测算法可用的数据集。以往对飞行数据预处理过程中，常常出现手动截取，截取标准不统一等情况，影响数据分析及异常检测结果。

当前，关于异常检测的研究通常使用公开数据集验证，目前急需一种针对实际历史飞行数据，形成的数据集能够满足异常检测技术研究和工程化应用，能够推动飞行数据异常检测技术工程化的飞行数据预处理方法。

发明内容

本发明的目的在于：提供了一种用于异常检测的飞行数据预处理方法，通过对历史飞行数据的截取、去冗余、参数维度统一等一系列处理，形成能够直接用于异常检测算法的数据集，相比于对公开数据集的处理，更加贴合工程实际，且比人工手动截取处理数据效率更高，能够避免数据集截取标准不统一对数据分析及异常检测结果的影响，解决了上述问题。

本发明采用的技术方案如下：

一种用于异常检测的飞行数据预处理方法，主要包括依次进行的以下步骤：

S1：飞行数据粗截取：确定需要截取的参数名称、截取的起始条件和终止条件，按照确定的截取逻辑对历史飞行数据进行截取；

S2：数据冗余去除：对步骤S1截取的飞行参数时间序列进行去冗余处理；

S3：数据统计：绘制每个飞机架次截取的时间序列参数的曲线，并统计、计算所述时间序列参数的相关信息；

S4：数据分析：根据曲线和统计值，判断是否存在逻辑问题，如果分析发现存在逻辑问题，则说明步骤S1中确定的截取逻辑和或判断逻辑需要优化调整；若需要优化调整，返回步骤S1，否则，执行下一步；

S5：数据维度统一：根据采样点个数分布，确定所有数据需要统一的维度，将所有数据变换到同一维度，形成一个数据集。

由于飞机结构庞大且复杂，飞机上的监测器件如传感器、各类仪表等众多，这些监测器件监测记录的历史飞行数据众多，且数据形式众多，若需要对飞机的异常检测进行整体的研究时，会采用统一的数据分析方法，那么这个统一的数据分析方法就需要一个统一的标准、统一的数据形式下的检测数据集，本方案为了达成这一需求，首先针对监测记录的历史飞行数据进行粗截取，对于要研究分析的问题，选出与之有关联性的参数，然后对数据进行冗余去除以避免冗余数据对整个数据分析结果带来的误差和干扰，之后进行数据统计和分析，统计计算时间序列参数的相关信息，然后进行数据分析，判断这些数据中是否存在逻辑有问题的数据，对数据进行优化，避免较多明显有问题的数据留在数据集中，对最终形成的数据集中的数据有较大影响，若数据集中存在较多逻辑有问题的数据，则这些数据形成的数据曲线和或统计值会有较大的缺陷，那么在数据分析时不合格时，则证明该数据或者该截取数据的逻辑有问题，需要重新进行步骤S1的飞行数据粗截取，相当于从头再来进行本方案的步骤，若步骤S4证明该数据或者该截取数据的逻辑没有问题，则进行步骤S5的数据维度统一，将数据统一到同一维度，使得这些数据可以形成一个完整的同一维度的数据集，以便后续的数据分析方法对数据集中的数据进行选取、分析等步骤。

为了更好地实现本方案，进一步地，所述步骤S1中需要截取的参数名称、截取的起始条件和终止条件的确定方法如下：

参数名称：选取的参数与需要分析的问题有关联性；

起始条件：以发生一个动作或者一个状态变化作为截取的起始条件；

终止条件：从起始条件开始历时既定时间或者直到起始条件状态发生变化作为数据截取的终止条件。

为了更好地实现本方案，进一步地，所述参数名称的截取与需要分析的问题有关联性的判定方法为选取的参数在变化规律上和需要分析的问题有所反映。

这里所述的关联性，即该参数能够对需要分析的问题产生影响，该参数的变化能导致需要分析的问题的参数产生变化，对参数进行截取时以实际发生动作的起止时间进行截取，或者以发生状态变化的时刻作为起始条件，以该状态变化再次发生变化作为数据截取的终止条件。

为了更好地实现本方案，进一步地，所述步骤S2中的去冗余处理主要包括两种类型：

类型1：系统冗余导致的数据冗余：系统余度导致数据重复采集和或传输的，这种数据需要去除；

类型2：设备间数据流转导致的数据冗余：设备间数据的流转使某个数据出现多次的，这种数据需要去除。

步骤S2中的去冗余处理，主要是对重复的数据进行去除，避免同一数据重复多次导致的该样本权重过大影响正常的数据集进而影响数据分析结果。

为了更好地实现本方案，进一步地，所述步骤S3中数据统计计算的时间序列参数主要包括以下参数：

参数均值：每个飞机架次的时间序列参数采样点的平均值；

参数均方根：每个飞机架次的时间序列参数采样点的均方根；

均值分布：历史飞机架次的时间序列参数采样点平均值的分布；

采样点个数：每个飞机架次的时间序列参数采样点的个数；

采样点个数分布：历史架次的参数时间序列采样点个数的分布。

为了更好地实现本方案，进一步地，所述步骤S4中数据分析中需要判断的逻辑问题主要包括：

问题1：数据变化过程不完整；

问题2：数据统计学特性不强；

问题3：数据截取过长导致存在时间冗余。

为了更好地实现本方案，进一步地，所述步骤S5中确定所有数据统一的维度时，对数据降维时采用随机剔除法，对数据升维采用一维差值法。

数据统计和分析是结合起来判断截取的数据整体逻辑上有无缺陷，我们要求数据的变化过程完整，数据统计学特性强且数据无时间冗余，这三点如果都满足，则表明这些数据形成的数据集的参数的截取逻辑或参数起始条件、终止条件的判断逻辑需要优化调整，或者截取逻辑和判断逻辑都需要优化调整，即，我们需要重新进行步骤S1的飞行数据粗截取。

最后进行数据维度的统一，将所有选取的数据统一到一个维度，低维度的数据采用一维差值法进行升维，高维度的数据采用随机剔除法进行降维，形成一个便于数据分析检测算法的数据库。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明一种用于异常检测的飞行数据预处理方法，通过对历史飞行数据的截取、去冗余、参数维度统一等一系列处理，形成能够直接用于异常检测算法的数据集，相比于对公开数据集的处理，更加贴合工程实际，能够避免数据集截取标准不统一对数据分析及异常检测结果的影响；

2.本发明一种用于异常检测的飞行数据预处理方法，通过对历史飞行数据的截取、去冗余、参数维度统一等一系列处理，形成能够直接用于异常检测算法的数据集，相比于对公开数据集的处理，更加贴合工程实际，比人工手动截取处理数据效率更高。

附图说明

为了更清楚地说明本技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图，其中：

图1是本发明的原理框图；

图2是本发明的放起落架时的液压压力曲线；

图3是本发明的放起落架时的液压压力均值统计柱状图；

图4是本发明的放起落架时的液压压力均方根统计柱状图；

图5是本发明的放起落架时的液压压力均值分布柱状图；

图6是本发明的放起落架时间统计柱状图；

图7是本发明的放起落架截取的采样点个数柱状图；

图8是本发明的放起落架截取的采样点个数分布统计柱状图；

图9是本发明的优化后放起落架时的液压压力曲线；

图10是本发明的优化后放起落架时的液压压力均值统计柱状图；

图11是本发明的优化后放起落架时的液压压力均方根统计柱状图；

图12是本发明的优化后放起落架时的液压压力均值分布柱状图；

图13是本发明的优化后放起落架时间统计柱状图；

图14是本发明的优化后放起落架截取的采样点个数柱状图；

图15是本发明的优化后放起落架截取的采样点个数分布统计柱状图。

具体实施方式

为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合图1至图15对本发明作详细说明。

实施例1：

一种用于异常检测的飞行数据预处理方法，如图1，主要包括依次进行的以下步骤：

S1：飞行数据粗截取：确定需要截取的参数名称、截取的起始条件和终止条件，按照确定的截取逻辑对历史飞行数据进行截取；

S2：数据冗余去除：对步骤S1截取的飞行参数时间序列进行去冗余处理；

S3：数据统计：绘制每个飞机架次截取的时间序列参数的曲线，并统计、计算所述时间序列参数的相关信息；

S4：数据分析：根据曲线和统计值，判断是否存在逻辑问题，如果分析发现存在逻辑问题，则说明步骤S1中确定的截取逻辑和或判断逻辑需要优化调整；若需要优化调整，返回步骤S1，否则，执行下一步；

S5：数据维度统一：根据采样点个数分布，确定所有数据需要统一的维度，将所有数据变换到同一维度，形成一个数据集。

工作原理：由于飞机结构庞大且复杂，飞机上的监测器件如传感器、各类仪表等众多，这些监测器件监测记录的历史飞行数据众多，且数据形式众多，若需要对飞机的异常检测进行整体的研究时，会采用统一的数据分析方法，那么这个统一的数据分析方法就需要一个统一的标准、统一的数据形式下的检测数据集，本方案为了达成这一需求，首先针对监测记录的历史飞行数据进行粗截取，对于要研究分析的问题，选出与之有关联性的参数，然后对数据进行冗余去除以避免冗余数据对整个数据分析结果带来的误差和干扰，之后进行数据统计和分析，统计计算时间序列参数的相关信息，然后进行数据分析，判断这些数据中是否存在逻辑有问题的数据，对数据进行优化，避免较多明显有问题的数据留在数据集中，对最终形成的数据集中的数据有较大影响，若数据集中存在较多逻辑有问题的数据，则这些数据形成的数据曲线和或统计值会有较大的缺陷，那么在数据分析时不合格时，则证明该数据或者该截取数据的逻辑有问题，需要重新进行步骤S1的飞行数据粗截取，相当于从头再来进行本方案的步骤，若步骤S4证明该数据或者该截取数据的逻辑没有问题，则进行步骤S5的数据维度统一，将数据统一到同一维度，使得这些数据可以形成一个完整的同一维度的数据集，以便后续的数据分析方法对数据集中的数据进行选取、分析等步骤。

实施例2：

本发明在上述实施例1的基础上，步骤S1中需要截取的参数名称、截取的起始条件和终止条件的确定方法如下：

参数名称：选取的参数与需要分析的问题有关联性，所述参数名称的截取与需要分析的问题有关联性的判定方法为选取的参数在变化规律上和需要分析的问题有所反映；

起始条件：以发生一个动作或者一个状态变化作为截取的起始条件；

终止条件：从起始条件开始历时既定时间或者直到起始条件状态发生变化作为数据截取的终止条件。

所述步骤S2中的去冗余处理主要包括两种类型：

类型1：系统冗余导致的数据冗余：系统余度导致数据重复采集和或传输的，这种数据需要去除；

类型2：设备间数据流转导致的数据冗余：设备间数据的流转使某个数据出现多次的，这种数据需要去除。

所述步骤S3中数据统计计算的时间序列参数主要包括以下参数：

参数均值：每个飞机架次的时间序列参数采样点的平均值；

参数均方根：每个飞机架次的时间序列参数采样点的均方根；

均值分布：历史飞机架次的时间序列参数采样点平均值的分布；

采样点个数：每个飞机架次的时间序列参数采样点的个数；

采样点个数分布：历史架次的参数时间序列采样点个数的分布。

所述步骤S4中数据分析中需要判断的逻辑问题主要包括：

问题1：数据变化过程不完整；

问题2：数据统计学特性不强；

问题3：数据截取过长导致存在时间冗余。

所述步骤S5中确定所有数据统一的维度时，对数据降维时采用随机剔除法，对数据升维采用一维差值法。

这里所述的关联性，即该参数能够对需要分析的问题产生影响，该参数的变化能导致需要分析的问题的参数产生变化，对参数进行截取时以实际发生动作的起止时间进行截取，或者以发生状态变化的时刻作为起始条件，以该状态变化再次发生变化作为数据截取的终止条件。

步骤S2中的去冗余处理，主要是对重复的数据进行去除，避免同一数据重复多次导致的该样本权重过大影响正常的数据集进而影响数据分析结果。

数据统计和分析是结合起来判断截取的数据整体逻辑上有无缺陷，我们要求数据的变化过程完整，数据统计学特性强且数据无时间冗余，这三点如果都满足，则表明这些数据形成的数据集的参数的截取逻辑或参数起始条件、终止条件的判断逻辑需要优化调整，或者截取逻辑和判断逻辑都需要优化调整，即，我们需要重新进行步骤S1的飞行数据粗截取。

最后进行数据维度的统一，将所有选取的数据统一到一个维度，低维度的数据采用一维差值法进行升维，高维度的数据采用随机剔除法进行降维，形成一个便于数据分析检测算法的数据库。

本实施例的其他部分与上述实施例1相同，故不再赘述。

实施例3：

本实施例结合“飞机放起落架过程”的异常检测为例，结合附图2-15，详细说明本方案

步骤S1：飞行数据粗截取：根据飞机的相关知识，“飞机放起落架过程”的液压压力变化在一定程度上反映了飞机放起落架的过程，通过比对历史飞行数据放起落架过程中液压压力的变化是否符合预期来判断是否有异常。同时，我们知道放起落架的过程一般不会超过30秒。因此，确定需要截取的参数名称为“液压压力”，参数时间序列的起始条件确定为当“放下起落架指令”由“不动作”变为“放下”时，终止条件为起始点时标加30秒。

步骤S2：数据冗余去除：在本实施例中，液压压力参数的采样周期为200ms，在数据中会出现采样间隔十分接近且参数值一致的采样点，这是由于飞机系统本身的总线余度传输引起，数据中的这种采样点需要删除其中一个，防止对异常检测的结果产生影响。综合考虑确定，若两个采样点间时标间隔小于3ms，则删掉其中一个采样点，这样就去除掉了时间序列上冗余的参数；

步骤S3：绘制每个架次截取的“液压压力”时间序列参数的曲线，并统计每个架次放起落架过程中的“液压压力”均值、均方根、放起落架用时、均值分布、采样点个数、采样点个数分布等，分别如图2-图8所示；

步骤S4：数据分析：步骤S3及图2-8中的曲线和统计值，我们判断是否存在如下三类问题：

问题1：数据变化过程不完整；

问题2：数据统计学特性不强；

问题3：数据截取过长，存在时间冗余。

如果分析发现存在上述三类问题之一，说明制定的截取逻辑需要优化调整，即确定截取的参数名，截取起始点、终止点的判断逻辑需要调整。若需要优化调整，返回步骤S1；否则，执行下一步。

从图2可以看出，每个飞行架次液压压力变化的趋势呈自然变化的平滑曲线，证明液压压力变化的趋势均截取出来了，不存在变化过程不完整的架次，同时，通过图3、图4、图5也可以看出液压压力具有统计学特性，截取的数据完整有效，但是，从图6放起落架时间统计图可以看出所有飞行架次放起落架过程都在23秒以内，步骤S1确定的30秒的时间太长，这样会导致数据采样点过多，会影响异常检测算法处理的效率，形成的数据集不利于使用。

因此，本实施例中，需要返回步骤S1，优化调整终止点的判断逻辑。调整后，终止点为起始点时标加23秒，然后，重新执行步骤S1至步骤S3，重新统计数据，统计结果如图9-图15，从图9-15中可以看出，更改后的数据截取和判断逻辑，不存在上述三类问题，满足要求，可以执行下一步。

步骤S5：数据维度统一：根据采样点个数分布，确定所有数据需要统一的维度。

从图15可以看出，大部分架次的采样点个数为115，因此在本实施例中，最终确定将维度统一到115，即每个架次的放起落架过程的液压压力均由115个采样点的时间序列构成，由于各个飞行架次数据的采样点个数差距很小，采样点个数大于115个的数据，我们采用随机剔除法，调整到115；采样点个数小于115个的数据采用一维差值法，调整到115。

这样就形成了最终的数据集，并且最终形成的数据集的数据能够满足飞机异常检测的需求。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (7)

1.一种用于异常检测的飞行数据预处理方法，其特征在于：主要包括依次进行的以下步骤：

S1：飞行数据粗截取：确定需要截取的参数名称、截取的起始条件和终止条件，按照确定的截取逻辑对历史飞行数据进行截取；

S2：数据冗余去除：对步骤S1截取的飞行参数时间序列进行去冗余处理；

S3：数据统计：绘制每个飞机架次截取的时间序列参数的曲线，并统计、计算所述时间序列参数的相关信息；

S4：数据分析：根据曲线和统计值，判断是否存在逻辑问题，如果分析发现存在逻辑问题，则说明步骤S1中确定的截取逻辑和或判断逻辑需要优化调整；若需要优化调整，返回步骤S1，否则，执行下一步；

S5：数据维度统一：根据采样点个数分布，确定所有数据需要统一的维度，将所有数据变换到同一维度，形成一个数据集。

2.根据权利要求1所述的一种用于异常检测的飞行数据预处理方法，其特征在于：所述步骤S1中需要截取的参数名称、截取的起始条件和终止条件的确定方法如下：

参数名称：选取的参数与需要分析的问题有关联性；

起始条件：以发生一个动作或者一个状态变化作为截取的起始条件；

终止条件：从起始条件开始历时既定时间或者直到起始条件状态发生变化作为数据截取的终止条件。

3.根据权利要求2所述的一种用于异常检测的飞行数据预处理方法，其特征在于：所述参数名称的截取与需要分析的问题有关联性的判定方法为选取的参数在变化规律上和需要分析的问题有所反映。

4.根据权利要求1所述的一种用于异常检测的飞行数据预处理方法，其特征在于：所述步骤S2中的去冗余处理主要包括两种类型：

类型1：系统冗余导致的数据冗余：系统余度导致数据重复采集和或传输的，这种数据需要去除；

类型2：设备间数据流转导致的数据冗余：设备间数据的流转使某个数据出现多次的，这种数据需要去除。

5.根据权利要求1所述的一种用于异常检测的飞行数据预处理方法，其特征在于：所述步骤S3中数据统计计算的时间序列参数主要包括以下参数：

参数均值：每个飞机架次的时间序列参数采样点的平均值；

参数均方根：每个飞机架次的时间序列参数采样点的均方根；

均值分布：历史飞机架次的时间序列参数采样点平均值的分布；

采样点个数：每个飞机架次的时间序列参数采样点的个数；

采样点个数分布：历史架次的参数时间序列采样点个数的分布。

6.根据权利要求1所述的一种用于异常检测的飞行数据预处理方法，其特征在于：所述步骤S4中数据分析中需要判断的逻辑问题主要包括：

问题1：数据变化过程不完整；

问题2：数据统计学特性不强；

问题3：数据截取过长导致存在时间冗余。

7.根据权利要求1所述的一种用于异常检测的飞行数据预处理方法，其特征在于：所述步骤S5中确定所有数据统一的维度时，对数据降维时采用随机剔除法，对数据升维采用一维差值法。

Images