CN114118224A - 一种基于神经网络的全系统遥测参数异常检测系统 - Google Patents

Abstract

一种基于神经网络的全系统遥测参数异常检测系统，集试验数据管理、试验数据处理、试验数据挖掘分析等功能于一体，充分利用航天器试验数据。无需具体学习每个遥测参数的判读规则和阈值，直接通过所有参数的遥测历史数据作为输入，进行全系统参数的训练学习，建立用于全系统参数的异常检测知识网络模型，对事后试验数据进行快速判读，对实时试验数据在异常发生之前提前预警，同时系统还能够在数据挖掘算法层面进行扩展，基于海量的试验数据库，支持通过多种算法进行学习处理，解决不同问题，发现潜在知识。

Description

一种基于神经网络的全系统遥测参数异常检测系统

技术领域

本发明涉及一种基于神经网络的全系统遥测参数异常检测系统，属于试验与测试技术领域。

背景技术

航天飞行器的遥测参数可直接反应出飞行器的工作状态和健康情况，针对航天器试验和飞行任务，对遥测参数进行事后和实时的异常检测均为重要环节。传统航天器遥测参数的异常检测手段主要是基于专家系统的异常检测，采用将专家经验梳理成判读规则知识库，通过系统将梳理后的规则进行装订进行异常检测。由于航天器设计愈发复杂，存在参数量大、工况多、梳理难度大、耗时长，且梳理的参数判读门限宽松，存在遗漏情况等问题。

一些航天器遥测参数的异常检测采用机器学习算法对历史数据进行学习，获取每个参数的正常值范围和变化规则，形成规则知识库，对实时试验数据进行监测，对出现的异常进行告警，减少人工梳理判读规则的时间，但检测已经发生的异常具有被动性和滞后性的特点。航天飞行器系统多而复杂，工作模式多而导致数据形态多样，系统间可能存在互相干扰情况，判读规则种类多，很难用一种算法对所有系统参数进行阈值和规则的学习，根据具体航天器任务特点、系统数据形态、存储方式等不同，采用的方法和技术路线也各有差异。目前基于数据挖掘的飞行器异常检测技术更多停留在单独算法应用的层面，没有形成一套统一的基于数据挖掘技术的全系统遥测参数异常检测系统。

发明内容

本发明解决的技术问题是：针对目前现有技术中，缺少完整的基于数据挖掘技术的全系统遥测参数异常检测系统的问题，提出了一种基于神经网络的全系统遥测参数异常检测系统。

本发明解决上述技术问题是通过如下技术方案予以实现的：

一种基于神经网络的全系统遥测参数异常检测系统，包括数据结构管理模块、数据接收导入模块、数据查询模块、数据挖掘模块、异常检测模块、结果显示模块、数据存储模块，其中：

数据结构管理模块：对项目系统层级目录结构树进行管理，支持结构目录节点灵活层级的创建，支持通过新建试验项目自动创建目录层级节点功能；

数据接收导入模块：解析接收外部测发控系统发送的解析后数据帧，进行参数数据的解析获取，并将参数数据存储实时存储至试验数据库中，同时将接收到的解析后数据帧进行解析操作，对数据帧帧头进行判断，获取参数个数标识，并计算各参数的具体波道位置，根据各参数数据信息写入任务并提交至数据缓存池中，当缓存池接收的数据任务达到指定条数后再进行一次数据库的批量写入数据操作；于用户试验结束后，批量上传试验数据，对数据压缩包进行解析，根据压缩包层级结构自动创建系统结构树层级节点；

数据查询模块：对试验数据进行表格化浏览，针对选中结构树中的任意节点，通过表方式查看该节点下的数据信息条目，对挑选的参数试验数据进行比对，并对要开展数据挖掘学习任务的训练数据以及异常检测的输入试验数据进行管理操作，同时可通过选择试验数据的属性及对应属性的关键字或范围进行多条件查找，进行数据文件下载及数据导出；

数据挖掘模块：对数据池中的试验数据进行预处理操作，对时序遥测数据采取数据清洗、周期性分析、特征提取的预处理操作，并对数据池中的试验数据进行训练学习，应用不同的算法获得不同的学习结果知识，其中，在训练学习阶段，输入航天器全系统预处理后的遥测时序数据，数据均为航天器正常状态的遥测数据，针对各参数分别进行BiLSTM模型的训练，获取各时间点的预测值，损失函数采用MSE损失函数，用预测值与实际值之间的偏差进行梯度传播，并于训练结束后将输出模型进行保存；对数据挖掘学习后的知识进过进行存储以供调用；

异常检测模块：选择异常检测算法，加载数据训练学习模块产生的知识，对数据进行异常检测；通过读取数据库中某次全系统试验数据，选择算法和知识模型进行异常检测，并给出异常检测结果；建立数据通信的网络连接，实时接收测发控解析好的数据帧，将全系统参数数据挑出，调用学习训练阶段保存的知识模型，针对各参数进行BiLSTM预测当前时间点的值，预测值采用ewma算法进行平滑处理，然后分别采三倍方差准则判断单个参数的异常概率；并对所有参数的异常概率进行加权求和，获取整体异常概率，输出各时间点的异常概率，根据预设阈值进行判别，产出阈值则视为出现异常；

结果显示模块：对实时试验数据发生异常前存在不正常趋势的提前告警，通过获取实时异常检测结果，在界面上进行黄灯闪烁提醒，若获得异常检测结果中已发生异常，在界面上进行红灯闪烁，并提示异常参数和发生时刻；对事后试验数据的异常检测结果给出统计结果，检测数据量、发生异常个数、发生异常时刻、异常参数信息，将参数的异常时刻前后数据以曲线方式进行显示；并对外部用户所需的参数进行拖拽显示，绘制的数据曲线中可构建辅助线、隐藏、放缩、切换类型操作，选择加载异常检测结果，在数据曲线上标记异常发生时与正常值区间；

数据存储模块：为各模块的输入、输出数据提供数据支撑。

所述数据结构管理模块包括结构树管理模块、数据对象创建模块，其中：

结构树管理模块：对项目系统层级目录结构树进行管理，包括项目根节点、分系统子结点、试验测试项目的创建、编辑、删除操作；

数据对象创建模块：外部用户根据引导式操作创建数据模型，对数据模型进行添加、删除、修改字段操作，并根据常见数据类型及Def.xml遥测参数表配置文件，对待处理的遥测参数自动批量创建数据模型；同时通过FastJson将前端Ajax数据序列化为模型对象，输入至数据模型引擎中，利用维护数据模型获取关系数据库的表数据，并将模型属性管理为数据字段，将模型对象映射为表。

所述数据对象创建模块中，通过新建试验项目自动创建目录层级节点功能，试验项目信息包括试验项名称、试验时间、试验工况、试验人员、参与系统等。创建好的结构树目录，可在任意子结点上导入试验数据。

所述数据对象创建模块中，可对每个字段进行类型、描述、默认值的描述，所述待处理的遥测参数包括各数据模型的字段，字段包括时间、参数值源码、物理量值、判读上限、判读下限、判读位、帧计数。

所述数据接收导入模块包括实时数据解析模块、事后数据导入模块，其中：

实时数据解析模块：解析接收外部测发控系统发送的解析后数据帧，进行参数数据的解析获取，并将参数数据存储实时存储至试验数据库中，与外部测发控系统通过UDP进行数据通信，同时将接收到的解析后数据帧进行解析操作，对数据帧帧头进行判断，获取参数个数标识，并计算各参数的具体波道位置，根据各参数数据信息写入任务并提交至数据缓存池中，当缓存池接收的数据任务达到指定条数后再进行一次数据库的批量写入数据操作；

事后数据导入模块：于用户试验结束后，批量上传试验数据，对数据压缩包进行解析，根据压缩包层级结构自动创建系统结构树层级节点；对于源码及其它文件调用文件存储方法，根据文件类型自动在文件系统中分配位置，并将路径信息存贮至路径数据库，将文件存储至文件系统的对应位置；对于解析后的试验数据文件，系统自动解析并导入试验数据到对应模型中进行持久化存储。

所述各参数的具体波道位置包括：

参数的ID、时间、源码、物理量值、判读上限、判读下限、判读位信息。

所述数据查询模块包括数据浏览模块、数据对比模块、数据池管理模块、数据条件筛选模块、数据下载模块，其中：

数据浏览模块：对试验数据进行表格化浏览，对常用文件格式数据的在线浏览，对外部用户选中的结构树中的任意节点通过列表方式查看该节点下数据信息条目；

数据对比模块：支持对挑选的参数试验数据进行比对，外部用户通过选中结构目录树中节点，选中任意次试验项目中的任意参数加入至对比列表中，选取任意数量参数后，将对比列表中所有参数进行时间对齐，并将所有参数数据绘制于同一曲线图中进行对比查看；

数据池管理模块：对待开展数据挖掘学习任务的训练数据及异常检测的输入试验数据进行管理，进行数据挖掘前，选取训练试验数据加入至数据池中，对各试验参数数据可进行勾选删除；

数据条件筛选模块：通过选择试验数据的属性，并且输入对应属性的关键字或范围，进行指定条件的查找，通过前端组件响应用户输入条件，得到对象化条件，获取全部对象化条件以及约束后，通过试验数据存储引擎，定位较大数据范围，通过sql解释工具，将对象化条件以及约束转换为对应sql语句，通过ORM对象进行检索，获取检索结果，并调用可视化组件对检索结果做可视化输出；

数据下载模块：进行数据文件的下载及导出，将已保存的试验数据源码及其它设计配置文件以文件形式下载，将筛选检索后的试验数据统一导入至指定文件内。

所述数据挖掘模块包括数据预处理模块、数据训练学习模块、数据模型存储模块，其中：

数据预处理模块：对数据池中的试验数据进行预处理操作，对航天器时序遥测数据采取数据清洗、周期性分析、特征提取的预处理操作，所述数据清洗包括空缺值填充、归一化、去噪，对遥测数据中空缺值进行填充，采用上一时间点的数据对当前时间点进行填充，并通过归一化对遥测参数进行无量纲处理，在时间序列数据预处理时采取采用非线性阈值处理法以避免噪声及异常情况；

数据训练学习模块：对数据池中的试验数据进行训练学习，应用不同的算法获得不同的学习结果知识，训练学习阶段，输入航天器全系统预处理后的遥测时序数据，包括m个参数，n个时间步，且数据均为航天器正常状态的遥测数据，对各参数分别进行BiLSTM模型的训练，获取各时间点预测值，损失函数采用MSE损失函数，用预测值和实际值之间的偏差进行梯度传播，并于训练结束后将输出模型进行保存；

数据模型存储模块：对数据挖掘学习后的知识进过进行存储，根据知识模型结构，通过系统自定义数据模型，将知识进行存储以供异常检测模块调用。

所述异常检测模块包括算法选择模块、事后异常检测模块、实时异常检测模块，其中：

算法选择模块：选择异常检测算法，加载数据训练学习模块产生的知识，对数据进行异常检测；

事后异常检测模块：通过读取数据库中某次全系统试验数据，选择算法和知识模型进行异常检测，并给出异常检测结果；

实时异常检测模块：建立数据通信的网络连接，实时接收测发控解析好的数据帧，将全系统参数数据挑出，设置m个参数，n个时间步，调用学习训练阶段保存的知识模型，针对各参数进行BiLSTM预测当前时间点的值，预测值采用ewma算法进行平滑处理，分别采三倍方差准则判断单个参数的异常概率，具体为：

p(i)＝(d(i)-3*sigma(i))/3*sigma(i)

若p(i)>1则取p(i)＝1，i表示第i个参数，d(i)表示预测值和实际值之间的偏差，sigma表示历史的实际参数值的方差，对m个参数的异常概率进行加权求和，得到系统的异常高率p，权重预先设定为该参数对子系统的重要程度，输出各时间点的异常概率p属于0至1间，超过阈值则判为异常。

所述结果显示模块包括实时异常告警模块、事后检测统计模块、数据曲线显示模块，其中：

实时异常告警模块：对实时试验数据发生异常前存在不正常趋势的提前告警，通过获取实时异常检测结果，在界面上进行黄灯闪烁提醒，若获得异常检测结果中已发生异常，在界面上进行红灯闪烁，并提示异常参数和发生时刻；

事后检测统计模块：对事后试验数据的异常检测结果给出统计结果，检测数据量、发生异常个数、发生异常时刻、异常参数等信息，并将参数的异常时刻前后数据以曲线方式进行显示；

数据曲线显示模块：对用户所需参数进行拖拽显示，绘制的数据曲线中可构建辅助线、隐藏、放缩、切换类型操作，将选择加载异常检测结果，在数据曲线上标记异常发生时与正常值区间。

所述数据存储模块提供的数据支撑包括试验数据库、配置文件库、参数库、算法库、知识库，其中，验数据库存储所有的实时及事后导入试验数据，配置文件库通过HDFS系统存储设计文件、试验源码等文件数据，参数库存储航天器所有参数、帧协议的设计信息，算法库存储用于异常检测挖掘的算法，知识库存储挖掘结果知识模型信息。

本发明与现有技术相比的优点在于：

(1)本发明提供的一种基于神经网络的全系统遥测参数异常检测系统，能够弥补目前航天飞行器数据挖掘停留在某个单系统独立算法研究层面的不足，实现航天器全系统遥测试验数据的统一管理与集中挖掘异常检测，不仅能够依据事后试验数据快速给出异常结果，还能在全系统试验过程中预测数据变化趋势，提前对异常数据进行预警，在有效管理试验数据的同时，提高了发现航天器异常状态的响应时间，大幅缩短航天器试验后的系统级判读工作，直接降低人力及时间成本；

(2)本发明系统在算法层面有良好的扩展性，可根据应用场景及使用需求，将算法进行封装集成，实现设计人员从数据获取到数据分析的统一平台操作，采用基于神经网络的全系统遥测参数异常检测算法，无需具体学习每个遥测参数的判读规则和阈值，直接通过所有参数的遥测历史数据作为输入，进行全系统参数的训练学习，建立用于全系统参数的异常检测知识网络模型，从航天器全系统层面实现基于数据驱动的异常检测；

(3)本发明提出系统通用算法集成接口，可为新研算法扩展提供通用接口。实现算法层面统一封装及调用，为算法提供系统应用门户。

附图说明

图1为发明提供的模块组成结构图；

图2为发明提供的基于神经网络的全系统遥测参数异常检测算法示意图；

具体实施方式

一种基于神经网络的全系统遥测参数异常检测系统，充分利用航天器试验数据。无需具体学习每个遥测参数的判读规则和阈值，直接通过所有参数的遥测历史数据作为输入，进行全系统参数的训练学习，建立用于全系统参数的异常检测知识网络模型，对事后试验数据进行快速判读，对实时试验数据在异常发生之前提前预警，同时系统还能够在数据挖掘算法层面进行扩展，基于海量的试验数据库，支持通过多种算法进行学习处理，解决不同问题，发现潜在知识，系统的具体组成如下：

包括数据结构管理模块、数据接收导入模块、数据查询模块、数据挖掘模块、异常检测模块、结果显示模块、数据存储模块，其中：

数据结构管理模块：对项目系统层级目录结构树进行管理，支持结构目录节点灵活层级的创建，支持通过新建试验项目自动创建目录层级节点功能；

数据接收导入模块：解析接收外部测发控系统发送的解析后数据帧，进行参数数据的解析获取，并将参数数据存储实时存储至试验数据库中，同时将接收到的解析后数据帧进行解析操作，对数据帧帧头进行判断，获取参数个数标识，并计算各参数的具体波道位置，根据各参数数据信息写入任务并提交至数据缓存池中，当缓存池接收的数据任务达到指定条数后再进行一次数据库的批量写入数据操作；于用户试验结束后，批量上传试验数据，对数据压缩包进行解析，根据压缩包层级结构自动创建系统结构树层级节点；

数据查询模块：对试验数据进行表格化浏览，针对选中结构树中的任意节点，通过表方式查看该节点下的数据信息条目，对挑选的参数试验数据进行比对，并对要开展数据挖掘学习任务的训练数据以及异常检测的输入试验数据进行管理操作，同时可通过选择试验数据的属性及对应属性的关键字或范围进行多条件查找，进行数据文件下载及数据导出

数据挖掘模块：对数据池中的试验数据进行预处理操作，对时序遥测数据采取数据清洗、周期性分析、特征提取的预处理操作，并对数据池中的试验数据进行训练学习，应用不同的算法获得不同的学习结果知识，其中，在训练学习阶段，输入航天器全系统预处理后的遥测时序数据，数据均为航天器正常状态的遥测数据，针对各参数分别进行BiLSTM模型的训练，获取各时间点的预测值，损失函数采用MSE损失函数，用预测值与实际值之间的偏差进行梯度传播，并于训练结束后将输出模型进行保存；对数据挖掘学习后的知识进过进行存储以供调用；

异常检测模块：选择异常检测算法，加载数据训练学习模块产生的知识，对数据进行异常检测；通过读取数据库中某次全系统试验数据，选择算法和知识模型进行异常检测，并给出异常检测结果；建立数据通信的网络连接，实时接收测发控解析好的数据帧，将全系统参数数据挑出，调用学习训练阶段保存的知识模型，针对各参数进行BiLSTM预测当前时间点的值，预测值采用ewma算法进行平滑处理，然后分别采三倍方差准则判断单个参数的异常概率；并对所有参数的异常概率进行加权求和，获取整体异常概率，输出各时间点的异常概率，根据预设阈值进行判别，产出阈值则视为出现异常；

结果显示模块：对实时试验数据发生异常前存在不正常趋势的提前告警，通过获取实时异常检测结果，在界面上进行黄灯闪烁提醒，若获得异常检测结果中已发生异常，在界面上进行红灯闪烁，并提示异常参数和发生时刻；对事后试验数据的异常检测结果给出统计结果，检测数据量、发生异常个数、发生异常时刻、异常参数信息，将参数的异常时刻前后数据以曲线方式进行显示；并对外部用户所需的参数进行拖拽显示，绘制的数据曲线中可构建辅助线、隐藏、放缩、切换类型操作，选择加载异常检测结果，在数据曲线上标记异常发生时与正常值区间；

数据存储模块：为各模块的输入、输出数据提供数据支撑。

数据结构管理模块包括结构树管理模块、数据对象创建模块，其中：

结构树管理模块：对项目系统层级目录结构树进行管理，包括项目根节点、分系统子结点、试验测试项目的创建、编辑、删除操作；

数据对象创建模块：外部用户根据引导式操作创建数据模型，对数据模型进行添加、删除、修改字段操作，并根据常见数据类型及Def.xml遥测参数表配置文件，对待处理的遥测参数自动批量创建数据模型；同时通过FastJson将前端Ajax数据序列化为模型对象，输入至数据模型引擎中，利用维护数据模型获取关系数据库的表数据，并将模型属性管理为数据字段，将模型对象映射为表。

数据对象创建模块中，通过新建试验项目自动创建目录层级节点功能，试验项目信息包括试验项名称、试验时间、试验工况、试验人员、参与系统等。创建好的结构树目录，可在任意子结点上导入试验数据。

数据对象创建模块中，可对每个字段进行类型、描述、默认值的描述，所述待处理的遥测参数包括各数据模型的字段，字段包括时间、参数值源码、物理量值、判读上限、判读下限、判读位、帧计数。

数据接收导入模块包括实时数据解析模块、事后数据导入模块，其中：

实时数据解析模块：解析接收外部测发控系统发送的解析后数据帧，进行参数数据的解析获取，并将参数数据存储实时存储至试验数据库中，与外部测发控系统通过UDP进行数据通信，同时将接收到的解析后数据帧进行解析操作，对数据帧帧头进行判断，获取参数个数标识，并计算各参数的具体波道位置，根据各参数数据信息写入任务并提交至数据缓存池中，当缓存池接收的数据任务达到指定条数后再进行一次数据库的批量写入数据操作；

事后数据导入模块：于用户试验结束后，批量上传试验数据，对数据压缩包进行解析，根据压缩包层级结构自动创建系统结构树层级节点；对于源码及其它文件调用文件存储方法，根据文件类型自动在文件系统中分配位置，并将路径信息存贮至路径数据库，将文件存储至文件系统的对应位置；对于解析后的试验数据文件，系统自动解析并导入试验数据到对应模型中进行持久化存储。

各参数的具体波道位置包括：

参数的ID、时间、源码、物理量值、判读上限、判读下限、判读位信息。

数据查询模块包括数据浏览模块、数据对比模块、数据池管理模块、数据条件筛选模块、数据下载模块，其中：

数据浏览模块：对试验数据进行表格化浏览，对常用文件格式数据的在线浏览，对外部用户选中的结构树中的任意节点通过列表方式查看该节点下数据信息条目；

数据对比模块：支持对挑选的参数试验数据进行比对，外部用户通过选中结构目录树中节点，选中任意次试验项目中的任意参数加入至对比列表中，选取任意数量参数后，将对比列表中所有参数进行时间对齐，并将所有参数数据绘制于同一曲线图中进行对比查看；

数据池管理模块：对待开展数据挖掘学习任务的训练数据及异常检测的输入试验数据进行管理，进行数据挖掘前，选取训练试验数据加入至数据池中，对各试验参数数据可进行勾选删除；

数据条件筛选模块：通过选择试验数据的属性，并且输入对应属性的关键字或范围，进行指定条件的查找，通过前端组件响应用户输入条件，得到对象化条件，获取全部对象化条件以及约束后，通过试验数据存储引擎，定位较大数据范围，通过sql解释工具，将对象化条件以及约束转换为对应sql语句，通过ORM对象进行检索，获取检索结果，并调用可视化组件对检索结果做可视化输出；

数据下载模块：进行数据文件的下载及导出，将已保存的试验数据源码及其它设计配置文件以文件形式下载，将筛选检索后的试验数据统一导入至指定文件内。

数据挖掘模块包括数据预处理模块、数据训练学习模块、数据模型存储模块，其中：

数据预处理模块：对数据池中的试验数据进行预处理操作，对航天器时序遥测数据采取数据清洗、周期性分析、特征提取的预处理操作，所述数据清洗包括空缺值填充、归一化、去噪，对遥测数据中空缺值进行填充，采用上一时间点的数据对当前时间点进行填充，并通过归一化对遥测参数进行无量纲处理，在时间序列数据预处理时采取采用非线性阈值处理法以避免噪声及异常情况；

数据训练学习模块：对数据池中的试验数据进行训练学习，应用不同的算法获得不同的学习结果知识，训练学习阶段，输入航天器全系统预处理后的遥测时序数据，包括m个参数，n个时间步，且数据均为航天器正常状态的遥测数据，对各参数分别进行BiLSTM模型的训练，获取各时间点预测值，损失函数采用MSE损失函数，用预测值和实际值之间的偏差进行梯度传播，并于训练结束后将输出模型进行保存；

数据模型存储模块：对数据挖掘学习后的知识进过进行存储，根据知识模型结构，通过系统自定义数据模型，将知识进行存储以供异常检测模块调用。

异常检测模块包括算法选择模块、事后异常检测模块、实时异常检测模块，其中：

算法选择模块：选择异常检测算法，加载数据训练学习模块产生的知识，对数据进行异常检测；

事后异常检测模块：通过读取数据库中某次全系统试验数据，选择算法和知识模型进行异常检测，并给出异常检测结果；

实时异常检测模块：建立数据通信的网络连接，实时接收测发控解析好的数据帧，将全系统参数数据挑出，设置m个参数，n个时间步，调用学习训练阶段保存的知识模型，针对各参数进行BiLSTM预测当前时间点的值，预测值采用ewma算法进行平滑处理，分别采三倍方差准则判断单个参数的异常概率，具体为：

p(i)＝(d(i)-3*sigma(i))/3*sigma(i)

若p(i)>1则取p(i)＝1，i表示第i个参数，d(i)表示预测值和实际值之间的偏差，sigma表示历史的实际参数值的方差，对m个参数的异常概率进行加权求和，得到系统的异常高率p，权重预先设定为该参数对子系统的重要程度，输出各时间点的异常概率p属于0至1间，超过阈值则判为异常。

结果显示模块包括实时异常告警模块、事后检测统计模块、数据曲线显示模块，其中：

实时异常告警模块：对实时试验数据发生异常前存在不正常趋势的提前告警，通过获取实时异常检测结果，在界面上进行黄灯闪烁提醒，若获得异常检测结果中已发生异常，在界面上进行红灯闪烁，并提示异常参数和发生时刻；

事后检测统计模块：对事后试验数据的异常检测结果给出统计结果，检测数据量、发生异常个数、发生异常时刻、异常参数等信息，并将参数的异常时刻前后数据以曲线方式进行显示；

数据曲线显示模块：对用户所需参数进行拖拽显示，绘制的数据曲线中可构建辅助线、隐藏、放缩、切换类型操作，将选择加载异常检测结果，在数据曲线上标记异常发生时与正常值区间。

数据存储模块提供的数据支撑包括试验数据库、配置文件库、参数库、算法库、知识库，其中，验数据库存储所有的实时及事后导入试验数据，配置文件库通过HDFS系统存储设计文件、试验源码等文件数据，参数库存储航天器所有参数、帧协议的设计信息，算法库存储用于异常检测挖掘的算法，知识库存储挖掘结果知识模型信息。

下面根据具体实施例进行进一步说明：

在当前实施例中，如图1所示，本发明一种基于神经网络的全系统遥测参数异常检测系统由数据结构管理模块、数据接收导入模块、数据查询模块、数据挖掘模块、异常检测模块、结果显示模块和数据存储模块构成。其中：

数据结构管理模块包括结构树管理模块和数据对象创建模块，其中：结构树管理模块主要完成项目系统层级目录结构树的管理，包括项目根节点、分系统子结点、试验测试项目的创建、编辑、删除等操作。支持结构目录节点灵活层级的创建，并支持通过新建试验项目自动创建目录层级节点功能。试验项目信息包括试验项名称、试验时间、试验工况、试验人员、参与系统等。创建好的结构树目录，可在任意子结点上导入试验数据。

数据对象创建模块：数据对象创建模块用户可根据引导式的操作创建数据模型，对数据模型进行添加、删除、修改字段操作，可对每个字段进行类型、描述、默认值的描述，系统提供了常见的数据类型，达成了简便快捷专业的数据建模方式。用户可以根据Def.xml遥测参数表配置文件，对所有参数自动批量创建数据模型，包括每个数据模型的字段，字段包括时间、参数值源码、物理量值、判读上限、判读下限、判读位、帧计数。通过FastJson将前端Ajax数据序列化为模型对象，输入到数据模型引擎中，数据模型引擎通过维护数据模型成为关系数据库中的表数据，将模型属性管理为数据字段，将模型对象映射为表。

数据接收导入模块：数据接收导入模块包括实时数据解析模块和事后数据导入模块。其中实时数据解析模块主要完成解析接收测发控系统发送过来的解析后数据帧，完成参数数据的解析获取，并将参数数据存储实时存储到试验数据库中。实时数据解析模块与测发控系统的数据通信方式为UDP，实时数据解析模块将收到的数据帧进行解析操作，判断帧头后，获取参数个数标识，计算每个参数的具体波道位置，读取参数的ID、时间、源码、物理量值、判读上限、判读下限、判读位信息，形成数据写入任务提交到数据缓存池中，当缓存池接收的数据任务达到5000条时再进行一次数据库的批量写入数据操作。

事后数据导入模块：事后数据导入模块主要用于用户试验结束后，通过上传数据压缩包的形式，批量上传一次试验数据。数据压缩包的第一层为试验项目，第二层为分系统源码、各分系统和其它文件，其中分系统源码文件夹中包括本次试验的所有源码文件，分系统文件夹中包括解析后的参数数据文件，其它文件中包括与本次试验相关的其它设计或配置文件。用户在上传本压缩包后，系统后台会对压缩包进行解析，根据压缩包层级结构自动创建系统结构树层级节点。对于源码及其它文件会调用文件存储方法，系统会根据文件类型自动在文件系统中分配位置，并将路径信息存贮至路径数据库，将文件存储至文件系统的对应位置。对于解析后的试验数据文件，系统自动解析并导入试验数据到对应模型中进行持久化存储。

数据查询模块：数据查询模块包括数据浏览模块、数据对比模块、数据池管理模块、数据条件筛选模块和数据下载模块。其中数据浏览模块主要实现对试验数据的表格化浏览，对常用文件格式包括txt、xls、word、pdf、png等文件的在线浏览。用户选中结构树中的某个节点，可以列表方式查看该节点下的数据信息条目。

数据对比模块：数据对比模块支持对挑选的参数试验数据进行比对。用户通过选中结构目录树中节点，选中某一次试验项目中的某个参数，加入到对比列表中，支持选取多个参数，系统将会给对比列表中的所有参数进行时间对齐操作，再将所有参数数据绘制到同一张曲线图中，方便用户的对比查看。

数据池管理模块：数据池管理模块主要对要开展数据挖掘学习任务的训练数据以及异常检测的输入试验数据进行管理操作。用户在进行数据挖掘前，需要选取训练试验数据加入到数据池中，数据池支持对各参数试验数据进行勾选删除操作。用户选择数据挖掘训练时系统将把数据池中的所有数据作为输入数据进行预处理和挖掘分析。对于事后试验数据异常检测，也将数据池中的试验数据作为输入进行异常检测分析。

数据条件筛选模块：数据条件筛选模块通过选择试验数据的属性，并且输入对应属性的关键字或范围，进行多条件的查找，并可对多条件进行模糊查找。通过前端组件响应用户输入条件，得到对象化条件，获得全部对象化条件以及约束后，通过试验数据存储引擎，定位较大数据范围，再通过sql解释工具，将对象化条件以及约束转换为对应sql语句，通过ORM对象进行检索，得到检索结果后，返回至用户端。系统可以定义模糊检索、且、或逻辑检索以及索嵌套条件检索，在返回用户端时可以调用可视化组件对检索结果做可视化输出。

数据下载模块：数据下载模块主要完成数据文件的下载以及数据导出。可将保存在系统内的试验数据源码和其它设计配置文件以文件形式下砸，将筛选检索后的试验数据统一导入到指定文件内。

数据挖掘模块:数据挖掘模块包括数据预处理模块、数据训练学习模块、数据模型存储模块。其中数据预处理模块主要对数据池中的试验数据进行预处理操作。针对航天器时序遥测数据高维，高音量和大量噪声、非线性、信噪比高的特点，需要首先对时序遥测数据采取数据清洗、周期性分析和特征提取等预处理操作。

其中数据清洗主要包括空缺值填充、归一化、去噪等手段。其中对遥测数据中空缺值进行填充，采用用上一时间点的数据对当前时间点进行填充。由于遥测参数物理含义不同，具备不同单位和参数范围，需要通过归一化对遥测参数进行无量纲处理，使物理系统数值的绝对值变成某种相对值关系。为避免噪声和异常情况的混淆，在时间序列数据预处理时采取采用非线性阈值处理法。

数据训练学习模块：数据训练学习模块主要对数据池中的试验数据进行训练学习，应用不同的算法获得不同的学习结果知识。本发明主要为一种基于神经网络的全系统遥测数据的挖掘方法，在训练学习阶段，输入航天器全系统预处理后的遥测时序数据，其中包括m个参数，n个时间步，且数据均为航天器正常状态的遥测数据，针对每个参数分别进行BiLSTM模型的训练，得到每个时间点的预测值，损失函数采用MSE损失函数，用预测值和实际值之间的偏差进行梯度传播。训练结束后将输出模型进行保存。。

数据挖掘模块约定了算法的集成接口，以数据字典形式进行数据的通信，可对其它算法进行扩展，系统还集成了基于状态转换提取的关联规则挖掘、基于FPgrowth算法的关联规则挖掘、SPOT参数阈值挖掘算法。

数据模型存储模块：数据模型存储模块主要对数据挖掘学习后的知识进过进行存储。根据知识模型结构，通过系统可自定义数据模型，将知识进行存储，以供异常检测模块的调用。

异常检测模块：异常检测模块包括算法选择模块、事后异常检测模块和实时异常检测模块。其中算法选择模块主要选择异常检测算法，再加载数据训练学习模块产生的知识，对数据进行异常检测。

事后异常检测模块：通过读取数据库中某次全系统试验数据，选择算法和知识模型进行异常检测，并给出异常检测结果。

实时异常检测模块：建立数据通信的网络连接，实时接收测发控解析好的数据帧，将全系统参数数据挑出，设置m个参数，n个时间步，调用学习训练阶段保存的知识模型，针对每个参数进行BiLSTM预测当前时间点的值，预测值采用ewma算法进行平滑处理，然后分别采三倍方差准则判断单个参数的异常概率p(i)＝(d(i)-3*sigma(i))/3*sigma(i).若p(i)>1则取p(i)＝1,i表示第i个参数，d(i)表示预测值和实际值之间的偏差，sigma表示历史的实际参数值的方差。对m个参数的异常概率进行加权求和，得到系统的异常高率p。权重预先设定，表示该参数对子系统的重要程度。最后输出每个时间点的异常概率p属于【0，1】之间，超过阈值则判为异常。如图2所示。

结果显示模块：结果显示模块包括实时异常告警模块、事后检测统计模块和数据曲线显示模块。其中实时异常告警模块主要对实时试验数据发生异常前存在不正常趋势的提前告警，通过获取实时异常检测结果，在界面上进行黄灯闪烁提醒，若获得异常检测结果中已发生异常，在界面上进行红灯闪烁，并提示异常参数和发生时刻。

事后检测统计模块：事后检测统计模块可对事后试验数据的异常检测结果给出统计结果，检测数据量、发生异常个数、发生异常时刻、异常参数等信息，并将参数的异常时刻前后数据以曲线方式进行显示。

数据曲线显示模块：数据曲线显示模块可对用户关心参数进行拖拽显示，绘制的数据曲线中可构建辅助线、隐藏、放缩、切换类型等操作。用户可将选择加载异常检测结果，在数据曲线上标记异常发生时与正常值区间。

数据存储模块：主要为系统的输入输出数据提供数据支撑，包括试验数据库、配置文件库、参数库、算法库、知识库。其中试验数据库存储所有的实时及事后导入试验数据，配置文件库通过HDFS系统存储设计文件、试验源码等文件数据，参数库存储航天器所有参数、帧协议等设计信息，算法库存储用于异常检测挖掘的算法，知识库存储挖掘结果知识模型等信息。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

本发明说明书中未作详细描述的内容属于本领域技术人员的公知技术。

Claims (11)

1.一种基于神经网络的全系统遥测参数异常检测系统，其特征在于：

包括数据结构管理模块、数据接收导入模块、数据查询模块、数据挖掘模块、异常检测模块、结果显示模块、数据存储模块，其中：

数据结构管理模块：对项目系统层级目录结构树进行管理，支持结构目录节点灵活层级的创建，支持通过新建试验项目自动创建目录层级节点功能；

数据接收导入模块：解析接收外部测发控系统发送的解析后数据帧，进行参数数据的解析获取，并将参数数据存储实时存储至试验数据库中，同时将接收到的解析后数据帧进行解析操作，对数据帧帧头进行判断，获取参数个数标识，并计算各参数的具体波道位置，根据各参数数据信息写入任务并提交至数据缓存池中，当缓存池接收的数据任务达到指定条数后再进行一次数据库的批量写入数据操作；于用户试验结束后，批量上传试验数据，对数据压缩包进行解析，根据压缩包层级结构自动创建系统结构树层级节点；

数据查询模块：对试验数据进行表格化浏览，针对选中结构树中的任意节点，通过表方式查看该节点下的数据信息条目，对挑选的参数试验数据进行比对，并对要开展数据挖掘学习任务的训练数据以及异常检测的输入试验数据进行管理操作，同时可通过选择试验数据的属性及对应属性的关键字或范围进行多条件查找，进行数据文件下载及数据导出；

数据挖掘模块：对数据池中的试验数据进行预处理操作，对时序遥测数据采取数据清洗、周期性分析、特征提取的预处理操作，并对数据池中的试验数据进行训练学习，应用不同的算法获得不同的学习结果知识，其中，在训练学习阶段，输入航天器全系统预处理后的遥测时序数据，数据均为航天器正常状态的遥测数据，针对各参数分别进行BiLSTM模型的训练，获取各时间点的预测值，损失函数采用MSE损失函数，用预测值与实际值之间的偏差进行梯度传播，并于训练结束后将输出模型进行保存；对数据挖掘学习后的知识进过进行存储以供调用；

异常检测模块：选择异常检测算法，加载数据训练学习模块产生的知识，对数据进行异常检测；通过读取数据库中某次全系统试验数据，选择算法和知识模型进行异常检测，并给出异常检测结果；建立数据通信的网络连接，实时接收测发控解析好的数据帧，将全系统参数数据挑出，调用学习训练阶段保存的知识模型，针对各参数进行BiLSTM预测当前时间点的值，预测值采用ewma算法进行平滑处理，然后分别采三倍方差准则判断单个参数的异常概率；并对所有参数的异常概率进行加权求和，获取整体异常概率，输出各时间点的异常概率，根据预设阈值进行判别，产出阈值则视为出现异常；

结果显示模块：对实时试验数据发生异常前存在不正常趋势的提前告警，通过获取实时异常检测结果，在界面上进行黄灯闪烁提醒，若获得异常检测结果中已发生异常，在界面上进行红灯闪烁，并提示异常参数和发生时刻；对事后试验数据的异常检测结果给出统计结果，检测数据量、发生异常个数、发生异常时刻、异常参数信息，将参数的异常时刻前后数据以曲线方式进行显示；并对外部用户所需的参数进行拖拽显示，绘制的数据曲线中可构建辅助线、隐藏、放缩、切换类型操作，选择加载异常检测结果，在数据曲线上标记异常发生时与正常值区间；

数据存储模块：为各模块的输入、输出数据提供数据支撑。

2.根据权利要求1所述的一种基于神经网络的全系统遥测参数异常检测系统，其特征在于：

所述数据结构管理模块包括结构树管理模块、数据对象创建模块，其中：

结构树管理模块：对项目系统层级目录结构树进行管理，包括项目根节点、分系统子结点、试验测试项目的创建、编辑、删除操作；

数据对象创建模块：外部用户根据引导式操作创建数据模型，对数据模型进行添加、删除、修改字段操作，并根据常见数据类型及Def.xml遥测参数表配置文件，对待处理的遥测参数自动批量创建数据模型；同时通过FastJson将前端Ajax数据序列化为模型对象，输入至数据模型引擎中，利用维护数据模型获取关系数据库的表数据，并将模型属性管理为数据字段，将模型对象映射为表。

3.根据权利要求2所述的一种基于神经网络的全系统遥测参数异常检测系统，其特征在于：

所述数据对象创建模块中，通过新建试验项目自动创建目录层级节点功能，试验项目信息包括试验项名称、试验时间、试验工况、试验人员、参与系统等。创建好的结构树目录，可在任意子结点上导入试验数据。

4.根据权利要求3所述的一种基于神经网络的全系统遥测参数异常检测系统，其特征在于：

所述数据对象创建模块中，可对每个字段进行类型、描述、默认值的描述，所述待处理的遥测参数包括各数据模型的字段，字段包括时间、参数值源码、物理量值、判读上限、判读下限、判读位、帧计数。

5.根据权利要求4所述的一种基于神经网络的全系统遥测参数异常检测系统，其特征在于：

所述数据接收导入模块包括实时数据解析模块、事后数据导入模块，其中：

实时数据解析模块：解析接收外部测发控系统发送的解析后数据帧，进行参数数据的解析获取，并将参数数据存储实时存储至试验数据库中，与外部测发控系统通过UDP进行数据通信，同时将接收到的解析后数据帧进行解析操作，对数据帧帧头进行判断，获取参数个数标识，并计算各参数的具体波道位置，根据各参数数据信息写入任务并提交至数据缓存池中，当缓存池接收的数据任务达到指定条数后再进行一次数据库的批量写入数据操作；

事后数据导入模块：于用户试验结束后，批量上传试验数据，对数据压缩包进行解析，根据压缩包层级结构自动创建系统结构树层级节点；对于源码及其它文件调用文件存储方法，根据文件类型自动在文件系统中分配位置，并将路径信息存贮至路径数据库，将文件存储至文件系统的对应位置；对于解析后的试验数据文件，系统自动解析并导入试验数据到对应模型中进行持久化存储。

6.根据权利要求5所述的一种基于神经网络的全系统遥测参数异常检测系统，其特征在于：

所述各参数的具体波道位置包括：

参数的ID、时间、源码、物理量值、判读上限、判读下限、判读位信息。

7.根据权利要求6所述的一种基于神经网络的全系统遥测参数异常检测系统，其特征在于：

所述数据查询模块包括数据浏览模块、数据对比模块、数据池管理模块、数据条件筛选模块、数据下载模块，其中：

数据浏览模块：对试验数据进行表格化浏览，对常用文件格式数据的在线浏览，对外部用户选中的结构树中的任意节点通过列表方式查看该节点下数据信息条目；

数据对比模块：支持对挑选的参数试验数据进行比对，外部用户通过选中结构目录树中节点，选中任意次试验项目中的任意参数加入至对比列表中，选取任意数量参数后，将对比列表中所有参数进行时间对齐，并将所有参数数据绘制于同一曲线图中进行对比查看；

数据池管理模块：对待开展数据挖掘学习任务的训练数据及异常检测的输入试验数据进行管理，进行数据挖掘前，选取训练试验数据加入至数据池中，对各试验参数数据可进行勾选删除；

数据条件筛选模块：通过选择试验数据的属性，并且输入对应属性的关键字或范围，进行指定条件的查找，通过前端组件响应用户输入条件，得到对象化条件，获取全部对象化条件以及约束后，通过试验数据存储引擎，定位较大数据范围，通过sql解释工具，将对象化条件以及约束转换为对应sql语句，通过ORM对象进行检索，获取检索结果，并调用可视化组件对检索结果做可视化输出；

数据下载模块：进行数据文件的下载及导出，将已保存的试验数据源码及其它设计配置文件以文件形式下载，将筛选检索后的试验数据统一导入至指定文件内。

8.根据权利要求7所述的一种基于神经网络的全系统遥测参数异常检测系统，其特征在于：

所述数据挖掘模块包括数据预处理模块、数据训练学习模块、数据模型存储模块，其中：

数据预处理模块：对数据池中的试验数据进行预处理操作，对航天器时序遥测数据采取数据清洗、周期性分析、特征提取的预处理操作，所述数据清洗包括空缺值填充、归一化、去噪，对遥测数据中空缺值进行填充，采用上一时间点的数据对当前时间点进行填充，并通过归一化对遥测参数进行无量纲处理，在时间序列数据预处理时采取采用非线性阈值处理法以避免噪声及异常情况；

数据训练学习模块：对数据池中的试验数据进行训练学习，应用不同的算法获得不同的学习结果知识，训练学习阶段，输入航天器全系统预处理后的遥测时序数据，包括m个参数，n个时间步，且数据均为航天器正常状态的遥测数据，对各参数分别进行BiLSTM模型的训练，获取各时间点预测值，损失函数采用MSE损失函数，用预测值和实际值之间的偏差进行梯度传播，并于训练结束后将输出模型进行保存；

数据模型存储模块：对数据挖掘学习后的知识进过进行存储，根据知识模型结构，通过系统自定义数据模型，将知识进行存储以供异常检测模块调用。

9.根据权利要求8所述的一种基于神经网络的全系统遥测参数异常检测系统，其特征在于：

所述异常检测模块包括算法选择模块、事后异常检测模块、实时异常检测模块，其中：

算法选择模块：选择异常检测算法，加载数据训练学习模块产生的知识，对数据进行异常检测；

事后异常检测模块：通过读取数据库中某次全系统试验数据，选择算法和知识模型进行异常检测，并给出异常检测结果；

实时异常检测模块：建立数据通信的网络连接，实时接收测发控解析好的数据帧，将全系统参数数据挑出，设置m个参数，n个时间步，调用学习训练阶段保存的知识模型，针对各参数进行BiLSTM预测当前时间点的值，预测值采用ewma算法进行平滑处理，分别采三倍方差准则判断单个参数的异常概率，具体为：

p(i)＝(d(i)-3*sigma(i))/3*sigma(i)

若p(i)>1则取p(i)＝1，i表示第i个参数，d(i)表示预测值和实际值之间的偏差，sigma表示历史的实际参数值的方差，对m个参数的异常概率进行加权求和，得到系统的异常高率p，权重预先设定为该参数对子系统的重要程度，输出各时间点的异常概率p属于0至1间，超过阈值则判为异常。

10.根据权利要求9所述的一种基于神经网络的全系统遥测参数异常检测系统，其特征在于：

所述结果显示模块包括实时异常告警模块、事后检测统计模块、数据曲线显示模块，其中：

实时异常告警模块：对实时试验数据发生异常前存在不正常趋势的提前告警，通过获取实时异常检测结果，在界面上进行黄灯闪烁提醒，若获得异常检测结果中已发生异常，在界面上进行红灯闪烁，并提示异常参数和发生时刻；

事后检测统计模块：对事后试验数据的异常检测结果给出统计结果，检测数据量、发生异常个数、发生异常时刻、异常参数等信息，并将参数的异常时刻前后数据以曲线方式进行显示；

数据曲线显示模块：对用户所需参数进行拖拽显示，绘制的数据曲线中可构建辅助线、隐藏、放缩、切换类型操作，将选择加载异常检测结果，在数据曲线上标记异常发生时与正常值区间。

11.根据权利要求10所述的一种基于神经网络的全系统遥测参数异常检测系统，其特征在于：

所述数据存储模块提供的数据支撑包括试验数据库、配置文件库、参数库、算法库、知识库，其中，验数据库存储所有的实时及事后导入试验数据，配置文件库通过HDFS系统存储设计文件、试验源码等文件数据，参数库存储航天器所有参数、帧协议的设计信息，算法库存储用于异常检测挖掘的算法，知识库存储挖掘结果知识模型信息。

Images