CN104252526A - 基于冗余消除的遥测存储方法 - Google Patents

Abstract

基于冗余消除的遥测存储方法，通过遥测帧解析为遥测包、遥测包划分为任务包、解析遥测包的并行操作，完成遥测数据的解析和存储。卫星配置信息和遥测数据保存在本地数据库中，首先从本地数据库中获取配置信息，依据配置信息将遥测帧解析为遥测包，并将遥测帧、遥测包存储到本地数据库中；然后将遥测包解析划分为多个任务包；最后完成任务包在规定范围内的包解析，将遥测包解析为遥测参数并存储到本地数据库中。在遥测包解析之前和解析完后分别识别并去除冗余，减少重复数据的存储，实现节约存储空间的目的。

Description

基于冗余消除的遥测存储方法

技术领域

本发明涉及一种卫星遥测参数的存储方法。

背景技术

遥测数据是卫星上各种被测信息经过传感器变换、采集编排后通过无线信道传达到地面的数据。每颗卫星需要传输的遥测参数多达几千个，直接反映了卫星所有搭载设备的工作状态和健康情况。在卫星电性能测试过程中，设计师主要通过遥测数据来判断卫星状态。

由于传统的测试模式数据存储和应用的局限性，缺乏对测试数据(历史)进行统一、全面的分析，测试历史数据的利用率不高，不容易发现大量测试数据内部隐藏很深的可能存在的偶然或必然的联系，所以在测试深度和广度上受到了一定的限制。因此，利用历史数据存储平台合理管理和存储这些遥测数据显得极为重要。

但是数据容量大是卫星历史数据存储管理面临的主要困难。以常见的小卫星测试加电1000小时为例，假设遥测参数单条记录存储空间为20字节，一个平台速变遥测参数则需要存储空间约72M，一颗卫星需要的存储空间高达几百GB甚至更高。数据容量大也是导致数据查询统计速度慢、图形化处理速度慢的主要原因。

研究发现尽管每颗卫星每秒需要传送的遥测参数多达几千个，但是在稳定状态下，大多遥测参数的值保持不变，或者一阶差分范围不超过3个遥测分层值，存储层次上存在大量重复数据。因此导致小卫星数据容量大的一个重要原因就是重复遥测参数过多，需要一种去除小卫星冗余遥测参数，减少小卫星遥测参数占用存储空间，来加快数据查询速度和处理速度的方法。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种小卫星遥测数据存储方法，使用计算机多线程来使遥测数据解析、存储并行进行，遥测数据解析效率更高，消除了遥测参数的冗余存储，并使所需数据存储空间更少。

本发明的技术解决方案是：一种基于冗余消除的遥测存储方法，包括以下步骤：

(1)从卫星测控系统获取遥测文件，从本地数据库读取存储的配置信息，按照配置信息中指定的遥测帧长度从遥测文件中读取遥测帧，将遥测帧解析为遥测包，并将遥测帧和遥测包同时存储在本地数据库中；所述遥测文件为顺序记录各遥测帧的数据文件，所述配置信息定义了遥测帧的长度、遥测包的类；

(2)从本地数据库中读取存储的遥测包，按照时间片和配置信息中定义的遥测包类型将所有遥测包划分为任务包，使得每一任务包仅包含同一时间片内的同类型的遥测包；所述时间片是指一个连续的时间范围，由起始时间和截止时间两个字段确定，时间范围内的时间点标识了遥测包的获取时间；

(3)对于每一个任务包，对其包含的所有遥测包进行随机排序形成遥测包序列，选取遥测包序列中的第一个遥测包进行解析，得到对应的遥测参数及其源码值并存储在本地数据库中，从遥测包序列中的第二个遥测包开始，比较该遥测包数据与前一遥测包数据是否相同，如果相同则不再解析该遥测包，只记录该遥测包中遥测参数的获取时间，同时建立该遥测包中遥测参数的参数值与本地数据库中存储的前一相同遥测包中包含的遥测参数的参数值的映射关系，不再重复存储该遥测包中遥测参数的参数值；如果不相同，则进入下一步；

(4)解析该遥测包，得到对应的遥测参数及其源码值，并比较该遥测包中每个遥测参数的源码值与前一遥测包解析获得的对应遥测参数的源码值，如果遥测参数及其源码值均相同，则只记录该遥测参数的获取时间，同时建立该遥测参数及其源码值与本地数据库中存储的前一相同遥测参数及其源码值的映射关系，不再重复存储该遥测参数及其源码值；如果遥测参数及其源码值有一项不相同，则将该遥测参数及其源码值存入本地数据库中。

本发明与现有技术相比的优点在于：

(1)同一遥测参数的数值如果在连续一个时间段内保持不变，则会出现重复数据。本发明方法解析遥测包时将同一类型遥测包聚集在一起，更有利于识别重复数据，通过数据共享减少冗余数据存储；

(2)本发明方法能有效去除冗余遥测数据的存储，从而减少数据库插入操作，减少了数据存贮所用空间，进一步提升工作效率；

(3)本发明方法支持并行数据处理，利用线程并行工作优势提高工作效率。相比传统帧解析方法，既实现了帧解析与包解析之间的并行工作，又实现了不同类的遥测包之间的并行工作。

附图说明

图1为本发明遥测数据解析流程图；

图2为本发明帧解析流程图；

图3为本发明包解析流程图。

具体实施方式

如图1所示，本发明方法包括遥测帧解析为遥测包、遥测包划分为任务包、解析遥测包等工作过程，所述的解析和划分过程都需要本地数据库的协作配合。

1)遥测帧解析为遥测包

从遥测文件中读取遥测帧，依据本地数据库中存储的卫星配置信息，按照图2所示流程依次将遥测帧解析为遥测包，并将遥测帧和遥测包存入数据库中。所述配置信息包括遥测帧配置(遥测帧长度、遥测帧格式)、遥测包配置(遥测包类型、遥测包代号)、遥测参数配置(遥测参数类型、遥测参数格式)。

2)遥测包划分为任务包

从本地数据库中读取存储的遥测包，按照时间片和配置信息中定义的遥测包类型将所有遥测包划分为任务包，使得每一任务包仅包含同一时间片内的同类型遥测包的包代号。时间片是指一个连续的时间范围，由起始时间和截止时间两个字段确定，时间范围内的时间点标识了遥测包的获取时间。

3)解析遥测包

解析遥测包。从任务包获取遥测包包代号，根据遥测包包代号从数据库中获取遥测包，并按照图3所示流程依次将遥测包解析为遥测参数，并存储遥测参数及其源码值。

从任务包中的第二个遥测包开始，遥测包解析之前比较该遥测包数据与前一遥测包数据是否相同，如果相同则不再解析该遥测包，只记录该遥测包中遥测参数的获取时间，同时建立该遥测包中遥测参数的参数值与本地数据库中存储的前一相同遥测包中包含的遥测参数的参数值的映射关系，不再重复存储该遥测包中遥测参数的参数值；如果不相同，则解析该遥测包，得到对应的遥测参数及其源码值，并比较该遥测包中每个遥测参数的源码值与前一遥测包解析获得的对应遥测参数的源码值，如果遥测参数及其源码值均相同，则只记录该遥测参数的获取时间，同时建立该遥测参数及其源码值与本地数据库中存储的前一相同遥测参数及其源码值的映射关系，不再重复存储该遥测参数及其源码值；如果遥测参数及其源码值有一项不相同，则将该遥测参数及其源码值存入本地数据库中。所述的遥测包中遥测参数的参数值与本地数据库中存储的前一相同遥测包中包含的遥测参数的参数值的映射关系，使得部分遥测包的遥测参数不再重复存储，节省了存储空间。

所述的遥测帧解析为遥测包的过程、遥测包划分为任务包的过程、解析遥测包的过程采用计算机多线程并行进行。

4)本地数据库

本发明采用SQL Server数据库，它保存两类数据：卫星配置信息和卫星遥测数据。配置信息包括遥测帧配置(遥测帧长度、遥测帧格式)、遥测包配置(遥测包类型、遥测包格式)、遥测参数配置(遥测参数类型、遥测参数格式)。卫星遥测数据按时序进行存储，包括遥测帧和解析得到的遥测包和遥测参数。

表1所示为数据库存储遥测包(Package_Value)和遥测参数(Parameter_Value)的映射模型(使用大写表示关键属性)。遥测包的数据模式由遥测包ID号(Pack_ID)、遥测包计数(Pack_Count)、遥测包内容(Content)和产生时间(GENTIME)四个属性组成。遥测参数的数据模式由遥测参数ID号(PARA_ID)、遥测参数值(Para_Value)、遥测参数工程值(Para_Engivalue)和遥测差值(Difference)四个属性组成。映射模型(Parameter_Map)构建遥测包和遥测参数之间的映射关系。现实工程中，需要根据遥测包中参数个数对映射模型进行扩展，每个遥测参数设置一列，构建遥测包与多个参数之间的映射关系。由于所有遥测参数都是从遥测包中解析得到的，因此，在去除冗余前，遥测包和遥测参数关系表中的记录具有一一对应关系。通过映射模型和遥测参数之间的左连接可以还原遥测参数所有的记录。如表2所示，基于遥测包、映射模型和遥测参数构建视图(View_Parameter_Value)，访问遥测参数可以基于视图进行查询，数据库依据视图与映射模型之间的映射关系，对查询进行重构，得到完整的查询结果。

表1遥测包和遥测参数的数据存储模式

表2遥测参数用户视图

如图2所示，帧解析的主要流程包括以下步骤：

21)从本地数据库读取配置信息；

22)读取遥测帧文件；

23)按照配置信息中指定的帧长读取一个遥测帧，开始帧解析，解析完成以后，将遥测帧和解析得到的遥测包存入本地数据库中；

24)重复步骤23)直到遥测文件结束；

25)重复步骤22)～24)直到遥测文件处理完毕。

如图3所示，包解析的主要流程包括以下步骤：

31)从本地数据库读取配置信息；

32)根据时间片从数据库获取遥测包，得到一个连续的时间范围内的同类型遥测包，时间片时间范围内的时间点标识了遥测包的获取时间；

33)读取一个遥测包，比较本遥测包与时间片内上一遥测包数据是否相同，如果相同，说明本遥测包对应的所有遥测参数值都与上一包相同，属于重复信息，不需要重复存储；如果不同，则依次解析包中遥测参数，对于每个遥测参数，首先比较参数源码值与上一包中该参数的源码值，源码相同，则断定是冗余信息，不重复存储参数值及其源码值，如果不同，则计算参数工程值，与参数源码值一起存入数据库中；

重复步骤33)直到所有遥测包处理完毕。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (1)

1.基于冗余消除的遥测存储方法，其特征在于包括以下步骤：

(1)从卫星测控系统获取遥测文件，从本地数据库读取存储的配置信息，按照配置信息中指定的遥测帧长度从遥测文件中读取遥测帧，将遥测帧解析为遥测包，并将遥测帧和遥测包同时存储在本地数据库中；所述遥测文件为顺序记录各遥测帧的数据文件，所述配置信息定义了遥测帧的长度、遥测包的类型；

(2)从本地数据库中读取存储的遥测包，按照时间片和配置信息中定义的遥测包类型将所有遥测包划分为任务包，使得每一任务包仅包含同一时间片内的同类型的遥测包；所述时间片是指一个连续的时间范围，由起始时间和截止时间两个字段确定，时间范围内的时间点标识了遥测包的获取时间；

(3)对于每一个任务包，对其包含的所有遥测包进行随机排序形成遥测包序列，选取遥测包序列中的第一个遥测包进行解析，得到对应的遥测参数及其源码值并存储在本地数据库中，从遥测包序列中的第二个遥测包开始，比较该遥测包数据与前一遥测包数据是否相同，如果相同则不再解析该遥测包，只记录该遥测包中遥测参数的获取时间，同时建立该遥测包中遥测参数的参数值与本地数据库中存储的前一相同遥测包中包含的遥测参数的参数值的映射关系，不再重复存储该遥测包中遥测参数的参数值；如果不相同，则进入下一步；

(4)解析该遥测包，得到对应的遥测参数及其源码值，并比较该遥测包中每个遥测参数的源码值与前一遥测包解析获得的对应遥测参数的源码值，如果遥测参数及其源码值均相同，则只记录该遥测参数的获取时间，同时建立该遥测参数及其源码值与本地数据库中存储的前一相同遥测参数及其源码值的映射关系，不再重复存储该遥测参数及其源码值；如果遥测参数及其源码值有一项不相同，则将该遥测参数及其源码值存入本地数据库中。