CN112526974A - 采用插件式管理架构的通用试验数据采集系统 - Google Patents

Abstract

本发明涉及采用插件式管理架构的通用试验数据采集系统，其特征在于，所述通用试验数据采集系统采用并行计算架构和分布式存储相结合的方式，硬件包括：采集设备、前端分析计算机、集群主节点服务器、集群从节点服务器、磁盘阵列、网络交换机和光纤交换机；通用试验数据采集系统的软件包括：插件式通用试验数据前端采集、分析软件和试验数据管理平台软件；并行计算架构由集群主节点服务器和若干集群从节点服务器组成；分布式存储系统包含集群主节点服务器、集群节点机和磁盘阵列。本发明将试验过程中的各种资源和信息有效关联，满足试验数字化管理的需求，保证系统试验可控制、可追溯、可再现。实现对飞机试验数据的通用化、平台化管理。

Description

采用插件式管理架构的通用试验数据采集系统

技术领域

本发明属于飞行控制系统试验数据采集技术。

背景技术

随着新一代有人/无人战斗机飞机研制的不断完善与升级，需要一套通用的、更加便捷、分析功能更强大、资源利用率更高的试验数据采集系统，支持完成新一代有人/无人战斗机的研制、试验和试飞工作。同时，试验数据的处理需求也发生了变化，数据量更大、处理速率更快、数据的交换更复杂，对数据的自动分析、追溯以及数字化管理的要求更高等。

现有的试验数据采集系统根据采集对象的不同，定制性构建数据采集系统，包含采集前端板卡、采集计算机和专用采集软件。故根据机载系统传输总线的不同而有多套专用的采集系统。并且对采集数据的管理为本地化管理，数据的存储及管理局限于于采集计算机的内存限制，不利于试验数据的数字化管理。

发明内容

本发明的目的是为实现试验数据采集系统的通用化、平台化设计，本发明是为多机型试验提供试验数据相关信息、数据、文件、文档的建立、查询、关联、统计、分析、追溯、维护管理等功能。插件式通用试验数据采集系统总体设计架构如图1所示。

技术方案是采用插件式管理架构的通用试验数据采集系统，所述通用试验数据采集系统采用并行计算架构和分布式存储相结合的方式，硬件包括：采集设备、前端分析计算机、集群主节点服务器、集群从节点服务器、磁盘阵列、网络交换机和光纤交换机；通用试验数据采集系统的软件包括：插件式通用试验数据前端采集、分析软件和试验数据管理平台软件；并行计算架构由集群主节点服务器和若干集群从节点服务器组成；分布式存储系统包含集群主节点服务器、集群节点机和磁盘阵列。

采集设备为支持多种数据源的多接口采集设备，数据源包括1394、串口、DFTI、网络、反射内存。

采集设备是与试验数据源的接口，与被测试对象以适应性的总线形式接入；前端分析计算机对采集设备采集的数据进行分析；集群主节点服务器机发起并行计算任务，与集群节点服务器并行计算，操作在分布式存储系统上的数据集；磁盘阵列用于分布式的存储扩展；被测对象的试验数据通过以太网络录入分布式存储系统中，集群主节点服务器和集群从节点服务器通过光纤网络交换数据，进行并行计算，提高了数据吞吐能力和执行速率。

插件式通用试验数据前端采集、分析软件运行在前端分析计算机上，用于对多接口试验数据进行绘图及分析；试验数据管理平台软件运行在主、从集群服务器上，平台软件是前端采集软件的支撑，用来实现海量试验数据的后台高效管理，包括数据的入库、检索、计算、访问接口控制、安全、系统资源调度与调优功能。

插件式通用试验数据前端采集、分析软件采用了插件架构，包括：试验数据采集模块和试验数据处理模块。

试验数据采集模块采用了数据流管理方式，在硬件BSP和驱动的基础上，分别封装为串口数据采集插件、网络数据采集插件、反射内存数据采集插件。试验数据处理模块完成对试验数据的预处理、按需入库和采集过程监控。

预处理用于数据清理和数据时序纠错；按需入库是按用户设定的筛选条件对试验数据进行进行解析和入库，将原始数据将保存在系统中供下次分析使用；采集过程监控用于在试验数据采集过程中对采集过程进行监控，故障时自动报警，以方便使用者及时发现系统故障。试验数据管理平台软件用于完成试验数据的出入库管理及数据的查询与应用。

试验数据管理平台软件的数据处理过程为：

前端分析计算机向集群主、从节点服务器发起计算要求；

集群主、从节点服务器响应请求，并按要求操作分布式存储系统上的数据，进行数据的检索、计算、保存；

集群主、从节点服务器反馈任务执行结果给前端分析计算机；

当需要获取原始试验数据时，前端分析计算机对分布式存储系统发起数据请求；

当需要获取结果型数据时，分布式存储系统向前端分析计算机反馈数据结果。

有益效果：本发明根据试验数据采集及分析的需求，构建了一套通用的试验数据采集系统，实现对多机型试验数据的采集、处理、提取、分析和利用。将试验过程中的各种资源和信息有效关联，满足试验数字化管理的需求，保证系统试验可控制、可追溯、可再现。实现对飞机试验数据的通用化、平台化管理。

附图说明

图1系统总体设计架构图；

图2插件式试验数据采集框架图；

图3插件式试验数据基于数据库的管理数据处理流程图。

具体实施方式

由于单个服务器的计算资源有限，而机载试验数据的量级达到了GB级别，计算速率需求达到了百兆级别，故为实现计算能力的提升，本系统采用了并行计算框架。同时，为提高数据存储量级与存储的安全性，本系统采用了分布式存储系统。

故本系统硬件架构特点为并行计算架构和分布式存储相结合，硬件包括采集设备、前端分析计算机、集群主节点服务器、集群从节点服务器、磁盘阵列、网络交换机和光纤交换机。

并行计算架构由集群主节点服务器和若干集群从节点服务器组成。

分布式存储系统包含集群主节点服务器、集群节点机和磁盘阵列。

采集设备是与试验数据源的接口，与被测试对象以适应性的总线形式接入。为实现多接口采集任务，本系统设计了多接口采集设备以支持多种数据源的采集，包括了串口、网络、反射内存等采集设备。

集群主节点服务器机发起并行计算任务，与集群节点服务器并行计算，操作在分布式存储系统上的数据集。

磁盘阵列用于分布式的存储扩展。

被测对象的试验数据通过以太网络录入分布式存储系统中，集群主节点服务器和集群从节点服务器通过光纤网络交换数据，进行并行计算，提高了数据吞吐能力和执行速率。

插件式通用试验数据采集系统软件包括插件式通用试验数据前端采集、分析软件和试验数据管理平台软件。

插件式通用试验数据前端采集、分析软件运行在前端分析计算机上，用于对多接口试验数据的采集、绘图及分析。试验数据管理平台软件运行在集群服务器上，平台软件是前端采集软件的支撑，用来实现海量试验数据的后台高效管理，包括数据的入库、检索、计算、访问接口控制、安全、系统资源调度与调优等功能。

实施例

具体设计包括：

1)插件式通用试验数据采集设计；

2)插件式通用试验数据处理设计；

3)插件式通用试验数据基于数据库的管理设计。

1.插件式通用试验数据采集设计

插件式通用试验数据采集设计包括框架设计和软件设计。

为保证系统的通用性和扩展性，对多种类型的硬件接口进行有效的管理与与解耦，本系统采用了插件架构。插件架构分为主框架和各个功能子插件。插件式试验数据采集框架图如图2所示。

主框架的基本内容包括：主页及各个窗口的显示切换；软件运行状态显示；子插件的调用；其他需要主框架进行转发或协作的功能。

子插件是各个独立功能的模块化产物，例如网络采集插件、串口采集插件、1394采集插件。插件实现的方式通过定义虚函数来实现接口定义。插件接口定义内容包括：硬件接口描述；硬件资源管理；信息交互管理。其中，硬件资源管理采用了数据流管理方式，在硬件BSP和驱动的基础上，封装各个接口的中间件。这样，从操作“硬件”改为“操作数据”，屏蔽硬件上的差异。中间件在增加硬件接口时，只需修改底层硬件而不会对上层软件造成影响。

2.插件式通用试验数据处理设计

插件式通用试验数据处理包含试验数据预处理、按需入库和采集过程监控。

由于试验数据采集设备故障以及数据传输的错误都会造成试验数据的不完整性、含噪声和不一致性。试验数据预处理主要采用在当前系统中使用的“STOF检测法”、“丢包检测算法”、“多通道头部对齐算法”和“时间对齐算法”等多种手段来保证数据的一致性，提高数据质量和排除数据中的干扰。数据预处理的步骤主要包括数据清理和数据时序纠错。

试验数据清理：试验数据中经常会出现一些变化异常的数据,其主要特征为:单位时间内的信号变化量超出了该信号变化的正常范围、信号的幅值超出规定值、信号的变化规律不符合系统的实际工作情况、飞行参数时序数据流中某个单帧数据的所有参数值在同一时刻出现突变。这些数据点在分析数据的过程中需要加以记录、保存并作进一步分析。

试验数据时序纠错：试验数据中还经常会出现时间参数变化异常的数据,如丢包、多包等现象，这样在做多通道比较时就无法找到对比的起始点。如果不能纠正这些错误，就有可能得出错误的结论。

采集后的数据将按需入库，以便后期分析应用。入库将由数据结构标准化、数据质量检测、数据打包、数据索引(元数据提炼与收集)、数据分布存储、元数据存储等一系列过程组成。

用户事先设计好“分析模型”或“试验模型”后，本次试验中需要关注的变量便确定下来，只需对这部分变量进行解析和入库，以减少对系统硬件的需求。原始数据将保存在系统中供下次分析使用。

用户分析/试验模型读取：在数据采集开始之前，通过数据库查询读取用户的分析模型或查询模型，获得需要解析的变量列表；

试验数据入库：获得变量列表后，在采集过程中根据相应的数据解析规则文件将其解析并保存到实时数据库中供数据分析应用模块使用。

采集过程监控，用以在试验数据采集过程中对采集过程进行监控，故障时自动报警，具体包括：

总线状态监控：在实时试验数据采集过程中，对总线状态、总线消息数据进行初步扫描，分析数据的有效性，及时发现错误数据并加以标记；

总线消息解析：在实时试验数据采集过程中，根据数据解析规则文件库对相应总线消息ID进行解析，获取消息ID对应的物理量及其数值要求，进行物理量的展示，并可将采集数据进行实时比较。

3.插件式通用试验数据基于数据库的管理设计

插件式通用试验数据基于数据库的管理设计是完成试验数据的出入库管理及数据的查询与应用。包括两个主要的调用执行过程：数据计算与入库管理和数据查询与应用。插件式通用试验数据基于数据库的管理数据处理流程如图3所示。

完整的处理过程设计为：

1)前端分析计算机向集群服务器发起计算要求；

2)前端分析计算机响应请求，并按要求操纵分布式计算/存储集群，进行数据的检索、计算、保存；

3)前端分析计算机反馈执行结果和数据句柄(元数据标识)给前端应用；

4)当需要获取原始试验数据时，前端应用根据数据句柄(元数据标识)在关系型数据库中查出具体的访问参数(如文件路径或HBase表名等)，再以此参数调用HDFS API或HBase thrift2 API即可；

5)当需要获取结果型数据时，前端应用根据数据句柄(元数据标识)在关系型数据库中直接查询即可。因此，一个试验数据的查询过程将主要包含上述第4个步骤，即：前端应用在关系型数据库中按条件检索，查出符合要求的“文件路径”或“HBase表名”、“簇名/字段名”等信息，再通过HDFS API或HBase thrift2API获取具体数据。

Claims (10)

1.采用插件式管理架构的通用试验数据采集系统，其特征在于，所述通用试验数据采集系统采用并行计算架构和分布式存储相结合的方式，硬件包括：采集设备、前端分析计算机、集群主节点服务器、集群从节点服务器、磁盘阵列、网络交换机和光纤交换机；通用试验数据采集系统的软件包括：插件式通用试验数据前端采集、分析软件和试验数据管理平台软件；并行计算架构由集群主节点服务器和若干集群从节点服务器组成；分布式存储系统包含集群主节点服务器、集群节点机和磁盘阵列。

2.如权利要求1所述的通用试验数据采集系统，其特征在于，采集设备为支持多种数据源的多接口采集设备，数据源包括串口、网络、反射内存。

3.如权利要求1所述的通用试验数据采集系统，其特征在于，采集设备是与试验数据源的接口，与被测试对象以适应性的总线形式接入；前端分析计算机对采集设备采集的数据进行分析；集群主节点服务器机发起并行计算任务，与集群节点服务器并行计算，操作在分布式存储系统上的数据集；磁盘阵列用于分布式的存储扩展；被测对象的试验数据通过以太网络录入分布式存储系统中，集群主节点服务器和集群从节点服务器通过光纤网络交换数据，进行并行计算，提高了数据吞吐能力和执行速率。

4.如权利要求1所述的通用试验数据采集系统，其特征在于，插件式通用试验数据前端采集、分析软件运行在前端分析计算机上，用于对多接口试验数据进行绘图及分析；试验数据管理平台软件运行在主、从集群服务器上，平台软件是前端采集软件的支撑，用来实现海量试验数据的后台高效管理，包括数据的入库、检索、计算、访问接口控制、安全、系统资源调度与调优功能。

5.如权利要求4所述的通用试验数据采集系统，其特征在于，插件式通用试验数据前端采集、分析软件采用了插件架构，包括：试验数据采集模块和试验数据处理模块。

6.如权利要求5所述的通用试验数据采集系统，其特征在于，试验数据采集模块采用了数据流管理方式，在硬件BSP和驱动的基础上，分别封装为串口数据采集插件、网络数据采集插件、反射内存数据采集插件。

7.如权利要求5所述的通用试验数据采集系统，其特征在于，试验数据处理模块完成对试验数据的预处理、按需入库和采集过程监控。

8.如权利要求7所述的通用试验数据采集系统，其特征在于，预处理用于数据清理和数据时序纠错；按需入库是按用户设定的筛选条件对试验数据进行进行解析和入库，将原始数据将保存在系统中供下次分析使用；采集过程监控用于在试验数据采集过程中对采集过程进行监控，故障时自动报警，以方便使用者及时发现系统故障。

9.如权利要求4所述的通用试验数据采集系统，其特征在于，试验数据管理平台软件用于完成试验数据的出入库管理及数据的查询与应用。

10.如权利要求9所述的通用试验数据采集系统，其特征在于，试验数据管理平台软件的数据处理过程为：

1)前端分析计算机向集群主、从节点服务器发起计算要求；

2)集群主、从节点服务器响应请求，并按要求操作分布式存储系统上的数据，进行数据的检索、计算、保存；

3)集群主、从节点服务器反馈任务执行结果给前端分析计算机；

4)当需要获取原始试验数据时，前端分析计算机对分布式存储系统发起数据请求；

5)当需要获取结果型数据时，分布式存储系统向前端分析计算机反馈数据结果。

Images