CN105302863B - 一种基于数据对的遥测数据存储方法 - Google Patents

一种基于数据对的遥测数据存储方法 Download PDF

Info

Publication number
CN105302863B
CN105302863B CN201510607928.0A CN201510607928A CN105302863B CN 105302863 B CN105302863 B CN 105302863B CN 201510607928 A CN201510607928 A CN 201510607928A CN 105302863 B CN105302863 B CN 105302863B
Authority
CN
China
Prior art keywords
slice
parts
telemetry
data
denoted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510607928.0A
Other languages
English (en)
Other versions
CN105302863A (zh
Inventor
李强
李晗
颜灵伟
刘鹏
秦巍
王晓晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Spacecraft System Engineering
Original Assignee
Beijing Institute of Spacecraft System Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Spacecraft System Engineering filed Critical Beijing Institute of Spacecraft System Engineering
Priority to CN201510607928.0A priority Critical patent/CN105302863B/zh
Publication of CN105302863A publication Critical patent/CN105302863A/zh
Application granted granted Critical
Publication of CN105302863B publication Critical patent/CN105302863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供一种基于数据对的遥测数据存储方法，其包括：步骤1，对连续的遥测数据对采用等时间间隔切片方法进行分割，形成N组独立数据点群，一组独立数据点群为一个切片；步骤2，将N个切片分成V部分和T部分两个序列，然后压缩N个切片：对N个切片中每个切片的V部分根据规律进行压缩存储：对N个切片中每个切片的T部分进行压缩存储。本发明采用了数据水平分割存储技术和帧结构压缩算法，在数据分割聚合的基础上实现了按帧结构特征压缩，具有检索速度快，数据无损压缩和内存开销低等优点，提高性能输出的同时降低了存储要求。

Description

一种基于数据对的遥测数据存储方法
技术领域
本发明属于航空航天技术领域，尤其涉及一种基于数据对的遥测数据存储方法。
背景技术
在航空航天等领域常常需要对处于工作状态的火箭、飞行器、航天器、设备等设备的状态数据进行存储，用于对目标的运行情况进行监视和分析。这种包含了目标设备的运行状态的数据一般称为遥测数据。遥测参数指设备中的某一个测量或采样点，遥测数据指遥测参数的采样结果。遥测数据一般由连续的数据组成，包含数据采样时刻T和测量结果V。如果目标持续工作，则会从测量位置持续产生遥测数据。当设备长期运行时，其采样数据量可能会达到数十亿。
为了对目标的工作特性进行深入分析，业界开发了多种数据存储系统用于存储和检索遥测数据。但是有如下缺点：
1.现有的遥测数据存储系统多数都是利用关系型数据库进行存储的，可能会因为关系数据库的依赖关系和数据完备性要求导致性能随着数据规模下降。
2.使用额外内存资源索引数据键，系统硬件要求比较高。
3.现有的许多遥测数据存储系统为了达到快速检索和数据压缩的目的，对数值重复的遥测数据进行删除以实现数据压缩，此方式无法精确还原原始数据，无法满足一些特殊数据分析要求；有的系统将数据完整存储于数据库中，由此占用了大量存储设备，并降低了数据检索效率。
发明内容
为解决上述问题，本发明提供一种基于数据对的遥测数据存储方法，其采用了数据水平分割存储技术和帧结构压缩算法，在数据分割聚合的基础上实现了按帧结构特征压缩，具有检索速度快，数据无损压缩和内存开销低等优点，提高性能输出的同时降低了存储要求。
本发明的基于数据对的遥测数据存储方法，其特征在于，包括如下步骤：
步骤1，对连续的遥测数据对采用等时间间隔切片方法进行分割，形成N组独立数据点群，一组独立数据点群为一个切片；所述遥测数据对包含数据采样时刻和测量结果；数据采样时刻记为T部分，测量结果记为V部分；其中，N个切片记为
其中表示第i个切片第k个数据对T/V，即k是数据对在切片中的序号；
步骤2，将N个切片分成V部分和T部分两个序列，V部分记为
T部分记为 然后压缩N个切片；
其中，压缩N个切片的过程为：
步骤21，对N个切片中每个切片的V部分进行压缩存储：
确定V部分的规律为f(k)i，利用该规律和V1 i表示第i个切片的V部分，即N个切片均按此种方式压缩V部分；
步骤22，对N个切片中每个切片的T部分进行压缩存储
将N个切片T部分序列中相同的T部分表示为T1M(1，2，…N)T2M(1，2，…N)…TkM(1，2，…N)…TMM(1，2，…N)；其中，M(1，2，…N)为摘要信息，记录压缩后的T部分包括切片的序列号；
步骤23，将压缩后的V1 1V1 2…V1 i…V1 N和T1M(1，2，…N)T2M(1，2，…N)…TkM(1，2，…N)…TMM(1，2，…N)两个序列进行存储，并记录f(k)1f(k)2…f(k)i…f(k)N。
进一步的，步骤21中任一切片的值点V部分进行压缩时有两种情况：
有益效果：
本发明适应现有的非关系型数据库存储方案，并获得非关系型数据库的高可靠性和低维护成本等优势，相对同等投资条件而言，系统的数据规模扩展既可以纵向进行，也可以横向进行，但一般横向升级的成本要低很多。具体的：
1.为了实现值点的快速定位和检索，需要能够快速求出目标值点所在切片的键值，业界常用的方式是对键值进行索引。本发明则对此进行了改进，将遥测数据按等时间区间进行数据水平分割，并分离聚合整理存储，无需使用额外内存资源索引数据键，由此节约了内存资源，具有降低系统硬件要求，提升系统性能的优点。
2.本发明利用遥测数据帧结构较为稳定的特点，将遥测数据按帧结构特征使用摘要M信息对帧进行替代，通过记录数据帧日志序列实现对T的进行压缩，既减少了存储数据量，同时也保持了数据精度。
具体实施方式
本发明的基于数据对的遥测数据存储方法包括如下步骤：
步骤1，对连续的遥测数据对采用等时间间隔切片方法进行分割，形成N组独立数据点群，一组独立数据点群为一个切片；所述遥测数据对包含数据采样时刻和测量结果；数据采样时刻记为T部分，测量结果记为V部分；其中，N个切片记为
其中表示第i个切片第k个数据对T/V，即k是数据对在切片中的序号。
分割方法为：
采用等时间间隔切片方法对连续的遥测数据T/V进行分割获得切片，并确定切片的键。
其中，时间间隔为设定。键用key表示，为该切片的特征数据，用来索引。
计算键的过程为：对向下进行取整(例如4.7向下取整后为4)后乘以2radius，其中，Ktime表示值点time对应的遥测数据分片的索引键，也即是该值点应存储的切片，radius为时间间隔的半径。
为了实现值点的快速定位和检索，需要能够快速求出目标值点所在切片的键值，业界常用的方式是对键值进行索引。本发明对此进行了改进，发明了等时间间隔切片方法，从而无需使用键索引机制，节约了内存资源。
等时间间隔切片方法利用了遥测参数下传的均匀性，如果进行等时间间隔的切片，也能使各切片的Q数量大致相近。在等时间间隔进行切片时，可以选取切片的中值时间T作为键Key进行索引，此时各个切片的键key形成等差数列(K1 K2 K3 K4 K5 K6…KN)，针对任意一个待查询的目标值点时间t(time)即为下标，无需索引查找，通过计算即可直接求出其所在的键key＝Ktime。
步骤2，将N个切片分成V部分和T部分两个序列，V部分记为
T部分记为 然后压缩N个切片；
其中，压缩N个切片的过程为：
步骤21，对N个切片中每个切片的V部分进行压缩存储：
确定V部分的规律为f(k)i，利用该规律和V1 i表示第i个切片的V部分，即N个切片均按此种方式压缩V部分。
根据经验，稳定运行的设备中，其遥测数据值对分布常常具有一定规律性，为此可以删除多余的值对。实践中常常有两种情况可以压缩。
(1)当遥测数据值V保持稳定时
此时直接有由此原数据片段可以被压缩为V1 i，同时记录f(k)i。
广泛用于一些缓慢变化的测量点，例如测量设备温度的测温点，记录电压或电流的测点，或者表示设备开关机状态的测点。
(2)当遥测数据值V保持恒定增长时
此时有原数据片段同样可以被压缩为V1 i，同时记录f(k)i。
广泛用于计数类型的测量点，例如记录数据采集或者发送数量，记录设备工作次数等等。
事实上T部分也可以去除，步骤4中描述了对T进行压缩的方法。
步骤22，对N个切片中每个切片的T部分进行压缩存储
将N个切片T部分序列中相同的T部分表示为T1M(1，2，…N)T2M(1，2，…N)…TkM(1，2，…N)…TMM(1，2，…N)；其中，M(1，2，…N)为摘要信息，记录压缩后的T部分包括切片的序列号。
本文为了定义清晰，将遥测数据采集过程中，具有相同时标的遥测数据所在的遥测参数组合称为帧。
通过对包括卫星在内的多种遥测数据采集系统数据变化规律的研究，发现多数情况下遥测参数是按帧采样的。即多个遥测参数以固定且有限的多种组合方式构成帧。因此对同一设备而言，帧的组合方式相对较少。(较少是相对数以万亿计的遥测帧数量而言，其组合方式变化非常有限。)利用这个特点，本发明设计了一种称为帧日志的数据结构，用于实现对时间数据序列的压缩。
规定一帧数据内的所有遥测参数P的排列模式称为一种帧结构，对帧结构进行特征摘要计算，可得到用于表征该帧结构特点的特征数，称为摘要M，M表示为：M(1，2，…N)，且在目标设备的遥测参数集合空间内应满足下面两个条件：
(1)相同的帧结构具有相同的M值；
(2)不相同的帧结构M值不相同。
本发明使用摘要M信息对帧进行替代，通过记录数据帧日志序列实现对T的存储，从而达到数据压缩的目的。
步骤23，将压缩后的V1 1V1 2…V1 i…V1 N和T1M(1，2，…N)T2M(1，2，…N)…TkM(1，2，…N)…TMM(1，2，…N)两个序列进行存储，并记录f(k)1f(k)2…f(k)i…f(k)N。
采用这样的存储模式，可以将记录数量减少为Q/N条。Q为要存储的遥测数据总数。N为分割的切片个数。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (2)

1.一种基于数据对的遥测数据存储方法，其特征在于，包括如下步骤：
步骤1，对连续的遥测数据对采用等时间间隔切片方法进行分割，形成N组独立数据点群，一组独立数据点群为一个切片；所述遥测数据对包含数据采样时刻和测量结果；数据采样时刻记为T部分，测量结果记为V部分；其中，N个切片记为
其中表示第i个切片第k个数据对T/V，即k是数据对在切片中的序号；
步骤2，将N个切片分成V部分和T部分两个序列，V部分记为
T部分记为 然后压缩N个切片；
其中，压缩N个切片的过程为：
步骤21，对N个切片中每个切片的V部分进行压缩存储：
确定V部分的规律为f(k)i，利用该规律和V1 i表示第i个切片的V部分，即N个切片均按此种方式压缩V部分；
步骤22，对N个切片中每个切片的T部分进行压缩存储
将N个切片T部分序列中相同的T部分表示为TiM(1，2，…N)T2M(1，2，…N)…TkM(1，2，…N)…TMM(1，2，…N)；其中，M(1，2，…N)为摘要信息，记录压缩后的T部分包括切片的序列号；
步骤23，将压缩后的和T1M(1，2，…N)T2M(1，2，…N)…TkM(1，2，…N)…TMM(1，2，…N)两个序列进行存储，并记录f(k)1f(k)2…f(k)i…f(k)N。
2.如权利要求1所述的基于数据对的遥测数据存储方法，其特征在于，所述步骤21中任一切片的值点V部分进行压缩时有两种情况：
遥测数据值V保持稳定即或者遥测数据值V保持恒定增长即
CN201510607928.0A 2015-09-22 2015-09-22 一种基于数据对的遥测数据存储方法 Active CN105302863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510607928.0A CN105302863B (zh) 2015-09-22 2015-09-22 一种基于数据对的遥测数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510607928.0A CN105302863B (zh) 2015-09-22 2015-09-22 一种基于数据对的遥测数据存储方法

Publications (2)

Publication Number Publication Date
CN105302863A CN105302863A (zh) 2016-02-03
CN105302863B true CN105302863B (zh) 2018-08-14

Family

ID=55200133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510607928.0A Active CN105302863B (zh) 2015-09-22 2015-09-22 一种基于数据对的遥测数据存储方法

Country Status (1)

Country Link
CN (1) CN105302863B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6840013B2 (ja) * 2017-03-31 2021-03-10 アズビル株式会社 時系列データ記録方法および装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101426096A (zh) * 2007-11-02 2009-05-06 联咏科技股份有限公司 用于排列具有水平分割数据的装置及其方法
CN102436465A (zh) * 2011-09-01 2012-05-02 北京空间飞行器总体设计部 一种在轨航天器遥测数据压缩存储与快速查询方法
CN102723954A (zh) * 2012-05-11 2012-10-10 南京恒星自动化设备有限公司 基于动态死区和拐点判断的时标遥测数据压缩算法
CN102882636A (zh) * 2012-09-07 2013-01-16 航天东方红卫星有限公司 一种卫星分包遥测数据无损压缩方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4689545B2 (ja) * 2006-07-05 2011-05-25 富士フイルム株式会社 データ圧縮装置およびデータ圧縮プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101426096A (zh) * 2007-11-02 2009-05-06 联咏科技股份有限公司 用于排列具有水平分割数据的装置及其方法
CN102436465A (zh) * 2011-09-01 2012-05-02 北京空间飞行器总体设计部 一种在轨航天器遥测数据压缩存储与快速查询方法
CN102723954A (zh) * 2012-05-11 2012-10-10 南京恒星自动化设备有限公司 基于动态死区和拐点判断的时标遥测数据压缩算法
CN102882636A (zh) * 2012-09-07 2013-01-16 航天东方红卫星有限公司 一种卫星分包遥测数据无损压缩方法

Also Published As

Publication number Publication date
CN105302863A (zh) 2016-02-03

Similar Documents

Publication Publication Date Title
Manzoor et al. xstream: Outlier detection in feature-evolving data streams
US20200349139A1 (en) Stream selection for multi-stream storage devices
US10706105B2 (en) Merge tree garbage metrics
US10725988B2 (en) KVS tree
Gupta et al. Genic: A single pass generalized incremental algorithm for clustering
US9645736B2 (en) Processing time series data from multiple sensors
Clayton Some odds ratio statistics for the analysis of ordered categorical data
US11036685B2 (en) System and method for compressing data in a database
US20160342667A1 (en) Managing database with counting bloom filters
Zhang et al. TARDIS: Distributed indexing framework for big time series data
CN1783092A (zh) 数据分析装置和数据分析方法
CN105302863B (zh) 一种基于数据对的遥测数据存储方法
CN116954342A (zh) 基于物联网的全方位高效散热主机电源运行监测方法
CN110995461A (zh) 网络故障诊断方法
CN104991741B (zh) 一种基于键值模型的情境适配电网大数据存储方法
Wergen et al. Rounding effects in record statistics
CN115269677A (zh) 一种多维度数据分析方法、装置、设备及计算机程序产品
CN105049286A (zh) 基于层次聚类的云平台测速数据判定方法
KR20130047042A (ko) 분산 데이터 저장소를 위한 데이터 파티셔닝 장치 및 방법
CN109670153A (zh) 一种相似帖子的确定方法、装置、存储介质及终端
KR102027034B1 (ko) 병렬 처리를 통한 다차원 데이터 분석을 지원하는 장치 및 그 방법
CN108154162A (zh) 一种聚类分析方法及装置
CN115862653A (zh) 音频去噪方法、装置、计算机设备和存储介质
Putri et al. Hybrid transformation in privacy-preserving data mining
CN114021699A (zh) 一种基于梯度的卷积神经网络剪枝方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant