CN106844555A - 一种用于电网wams系统的时序数据存储方法 - Google Patents

一种用于电网wams系统的时序数据存储方法 Download PDF

Info

Publication number
CN106844555A
CN106844555A CN201611265625.6A CN201611265625A CN106844555A CN 106844555 A CN106844555 A CN 106844555A CN 201611265625 A CN201611265625 A CN 201611265625A CN 106844555 A CN106844555 A CN 106844555A
Authority
CN
China
Prior art keywords
data
measuring point
file
time series
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611265625.6A
Other languages
English (en)
Inventor
郑晓露
周淳
朱恒
卜芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHINA REALTIME DATABASE Co Ltd
Original Assignee
CHINA REALTIME DATABASE Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHINA REALTIME DATABASE Co Ltd filed Critical CHINA REALTIME DATABASE Co Ltd
Priority to CN201611265625.6A priority Critical patent/CN106844555A/zh
Publication of CN106844555A publication Critical patent/CN106844555A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures

Abstract

本发明公开了一种用于电网WAMS系统的时序数据存储方法，提供测点ID和时序数据结合的存储模型、缓存和文件结合的双层存储架构、按小时独立存储的文件格式以及文件偏移量索引机制；通过缓存与文件结合的双存储架构，并使用测点ID和时序数据结合的存储模型，以及提供的文件偏移量索引，提升高频时序数据的存储效率以及历史数据的查询效率；通过将每个小时的历史数据分文件独立存储，解决历史数据累计后写入和查询效率下降问题。

Description

一种用于电网WAMS系统的时序数据存储方法
技术领域
本发明属于电网广域监测及时序数据处理技术领域，具体是涉及一种用于电网WAMS系统的时序数据存储方法。
背景技术
电网广域监测系统(Wide Area Measurement System，简称WAMS系统)，通过布局全网关键测点的同步相角测量单元(PMU)，实现对电网主要数据的实时高速率采集，并将采集的数据存储在广域监测主站系统中的时序数据库中，从而提供对电网正常运行与事故扰动情况下的实时监测、分析计算、故障繁衍等。
目前WAMS系统发展的主要趋势为：(1)监测节点数量越来越多，由早期的几千测点已扩展至几万点甚至十几万点；(2)采集频率越来越高，目前已支持到最高每秒100帧的采集频率，并且采集频率随着电网负荷的变化可转变；(3)历史数据量越来越大，时序库中一般保存的历史数据都是TB级，对业务的性能冲击越来越大。
WAMS系统的这些特性，对系统中时序库的性能、容量等提出了更高的要求。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种用于电网WAMS系统的时序数据存储方法，该存储方法具备较高的时序数据写入、查询性能，且性能不会因数据规模扩展而降低。
技术方案：为实现上述目的，本发明的一种用于电网WAMS系统的时序数据存储方法，提供测点ID和时序数据结合的存储模型、缓存和文件结合的双层存储架构、按小时独立存储的文件格式以及文件偏移量索引机制；
其中，测点ID和时序数据结合的存储模型：
存储模型结构为：<id,timestamp,<value1,value2,…,valuen>>，其中id表示该段数据对应的测点ID号；timestamp表示该段数据对应的时间标签，即对应的秒数；value1至valuen表示ID号为id的测点在第timestamp秒的n条数据；
缓存和文件结合的双层存储架构：
缓存结构：在计算机内存中预分配的一段物理内存内，采用二维数组形式，其中一个维度表示测点ID，另外一个维度表示最新1分钟的60秒，存储所有测点最新1分钟的数据，二维数组中的每个存储单元存储单个测点1秒中的n条数据；
文件结构：在文件中存储所有测点1个小时的数据，文件中每个存储单元存储单个测点1分钟的压缩数据块；
按小时独立存储的文件格式：设置若干个数据文件，每个数据文件用于存储所有测点1个小时的数据，不同文件中数据时标互相不重复；
文件偏移量索引机制：为每个数据文件生成一个索引文件，即每个小时的数据均存在对应的索引文件，索引文件采用二维数组结构，其中一个维度表示测点ID，另一个维度表示每个小时的60分钟，二维数组中的每个单元存储一个偏移量，该偏移量表示对应测点ID在60分钟中某分钟的数据块；
所述方法包括数据写入和数据查询两个阶段，所述数据写入阶段包括以下步骤：
S11接收测点最新1分钟中第i秒钟的时序数据，i＝(0,2,…,59)；
S12根据测点ID和第i秒钟在缓存结构中找到接收数据缓存位置；
S13将接收到的时序数据复制到对应缓存位置中；
S14判断该测点数据缓存时间是否超过1分钟，如果是则进入S15，否则结束；
S15将缓存结构中该测点最新1分钟内时序数据压缩，形成压缩数据块；
S16根据测点ID和最新1分钟时间在文件结构中找到写入位置；
S17将该测点最新1分钟内时序数据压缩数据块写入到所述步骤S16中写入位置中；
S18将所述步骤S16中写入位置记录到该数据文件对应的索引文件中。
进一步地，所述数据查询阶段包括以下步骤：
S21收到查询请求，查询请求包括测点ID信息和查询时间段信息；
S22判断查询时间段是否在缓存中，如果是则进入S23，如果不是则进入S24；
S23根据查询时间段从缓存中定位数据，返回数据结果，结束；
S24根据查询开始时间找到历史数据文件，读取该历史数据文件对应的索引文件；
S25在索引文件中查询该测点在该时间段显示的分钟时间是否有值，如果没有值则返回无值结束，如果有值则在历史数据文件中根据测点ID信息和查询时间段信息读取数据块；
S26将读取的数据块解压缩，返回数据结果，结束。
有益效果：本发明与现有技术比较，具有的优点是：
(1)通过缓存与文件结合的双存储架构，并使用测点ID和时序数据结合的存储模型，以及提供的文件偏移量索引，提升高频时序数据的存储效率以及历史数据的查询效率；
(2)通过将每个小时的历史数据分文件独立存储，解决历史数据累计后写入和查询效率下降问题。
附图说明
图1是数据写入方法流程图。
图2是数据查询方法流程图
具体实施方式
下面结合附图对本发明作更进一步的说明。
本发明针对电网WAMS系统中时序数据的特征，设计一种满足于智能电网WAMS场景的时序大数据快速加载、查询，以及高可靠的存储方法。
一种用于电网WAMS系统的时序数据存储方法，提供了(1)测点ID和时序数据结合的存储模型；(2)缓存和文件结合的双层存储架构；(3)按小时独立存储的文件格式；(4)文件偏移量索引机制；
测点ID和时序数据结合的存储模型：
电网WAMS系统中时序数据主要特性为：数据依托于测点存在，每个测点独立产生自己的时序数据；数据为周期性产生，且所有测点数据产生周期一致；典型WAMS系统中数据产生频率为每秒50条数据，这里成为此频率为“帧数”，即每秒50帧数据。
根据时序数据的特性，本方法采用测点ID和时序数据结合的存储模型，存储接模型结构为：<id,timestamp,<value1,value2,…,valuen>>，其中，id表示该段数据对应的测点ID号；timestamp表示该段数据对应的时间标签，即对应的秒数；value1至valuen表示ID号为id的测点在第timestamp秒的n条数据；
为了提升时序数据的存储效率，本方法采用基于缓存和文件结合的双层存储架构，其中缓存为计算机内存中预分配的一段物理内存：
缓存结构：
采用二维数组形式，其中一个维度表示测点ID，另一个维度表示最新1分钟(1分钟等于60秒)各个秒数，用于存储所有测点最新1分钟的数据，二维数组中的每个单元存储单个测点1秒中的n条数据，即单个测点最新1分钟内某秒数的n条数据，该秒数为1～60的自然数；
缓存结构如表1所示：
测点ID 0秒 1秒 2秒 … … 59秒
1 valuel-valuen valuel-valuen valuel-valuen … … valuel-valuen
2 valuel-valuen valuel-valuen valuel-valuen … … valuel-valuen
3 valuel-valuen valuel-valuen valuel-valuen … … valuel-valuen
4 valuel-valuen valuel-valuen valuel-valuen … … valuel-valuen
表1
如表1所示，包括4个测点，分别为：ID为1的测点、ID为2的测点、ID为3的测点和ID为4的测点，对4个测点的最新1分钟的数据按秒数分别进行存储到缓存结构中，将最新1分钟(从0秒到59秒)的测点数据存储在对应位置中，例如，对于ID为1的测点在0秒时的数据为value1至valuen，同样，对于ID为4的测点在59秒的数据为value1至valuen，各个侧单按照数据产生频率独立产生自己的时序数据，并存储在缓存结构的相应位置中；
文件结构：
在文件中存储所有测点1个小时的数据，文件中每个存储单元存储单个测点1分钟的压缩数据块，即将如表1所示的缓存的二维数组的一行数据进行压缩存储形成的数据块存储到文件单个存储单元中；
文件结构如表2所示，
表2
表2中，对于4个测点(ID为1的测点、ID为2的测点、ID为3的测点和ID为4的测点)，将每个测点1个小时内(从0分钟到59分钟)产生的数据按分钟分别存储到文件中各存储单元中，文件中每个存储单元存储的是各测点在1分钟内产生的数据，通过表1中各测点在60秒中产生的数据压缩形成数据块，将各测点1分钟的压缩数据块存储到各存储单元中，例如ID为1的测点产生的0分钟的数据块、ID为4的测点产生的59分钟的数据块等分别存储到各存储单元中；
按小时独立存储的文件格式：
为了避免随着历史数据规模不断增大而影响时序数据的存储和查询功能，本方法提出按小时独立存储的文件格式，如文件结构所描述的，每个文件存储所有测点一个小时内产生的数据，这样对于t个小时就对应t个文件，且不同文件中数据时标互相不重复，并且文件以对应的小时数来命名，例如第一个小时所有测点产生的数据均存储到第一个文件中，第t个小时所有测点产生的数据均存储到第t个文件中；该方法在每次数据写入时，只需访问一个文件，根据产生数据的小时数找到对应的文件数；同样后期查询也可以根据要查询的时间段定位到对应的文件，例如查询时间段安排在第i个小时第j分钟第m秒，则找到对应的第i个文件，在第i个文件中找到该测点的j分钟的数据块，最后在缓存结构中找到该测点第j分钟中第m秒的数据，依次解压得等到数据，无论数据量多大，写入和查询所需操作的文件数是一定的，性能不会发生降低。
在本发明中，为了提升时序数据的检索效率，提出了一种文件偏移量索引机制，该索引机制中，具体操作是为了每个数据文件生成一个索引文件，即每个小时所有测点的数据会有对应的索引文件，索引文件如表3所示：
测点ID 0分钟 1分钟 2分钟 … … 59分钟
1 offset offset offset … … offset
2 offset offset offset … … offset
3 offset offset offset … … offset
4 offset offset offset … … offset
表3
表3中，索引文件采用二维数组结构，两个维度分别为测点ID和每个小时的60分钟(从0分钟到59分钟)，二维数组中的每个单元存储一个偏移量(offset)，表示对应测点ID在某分钟数的数据块；通过索引文件可以事先索引到某测点在某分钟是否存在数据值，避免对不存在数据值的测点进行检索，提升了数据的检索效率；
本发明方法通过提供的测点ID和时序数据结合的存储模型、缓存和文件结合的双层存储架构、按小时独立存储的文件格式以及文件偏移量索引机制实现数据的写入和查询；
如图1所示，数据写入阶段包括以下步骤：
计算机内存中接收某个测点最新1分钟内i秒钟的时序数据，i＝(0,2,…,59)；
根据测点ID和i秒钟在缓存结构中找到接收数据的缓存位置，例如ID为1的测点最新1分钟内0秒产生的时序数据的缓存位置应该是测点ID为1，时刻为0秒处；
将接收到的测点最新1分钟内i秒钟的时序数据复制到对应缓存位置中，例如将ID为1的测点最新1分钟内0秒产生的时序数据复制到缓存结构中ID为1，时刻为0秒的位置中；
判断测点产生数据并缓存数据时间是否超过1分钟，如果不是就结束，如果是则进入下一步骤；
将缓存结构中该测点最新1分钟内产生的时序数据进行压缩形成数据块；
根据测点ID和最新1分钟对应的分钟数在文件结构中找到压缩数据块的文件写入位置，例如对于ID为1的测点的1分钟产生的数据写入位置为标签点为1的1分钟数据块；
将该测点最新1分钟内压缩数据块写入到文件结构中对应位置，例如将ID为1的测点的1分钟产生的数据压缩形成的数据块写入到文件中标签点1的1分钟数据块位置处；
将该测点最新1分钟内压缩数据块对应的文件位置记录到对应的索引文件中，例如将ID为1的测点的1分钟产生的数据压缩形成的数据块写入到文件中标签点1的1分钟数据块位置处后，将索引文件中ID为1的测点、1分钟处做offset记录。
如图2所示，数据查询阶段包括以下步骤：
收到查询请求，查询请求中包括测点ID信息和查询时间段信息；
判断查询时间段是否在缓存中，如果是则根据查询时间段从缓存中定位数据，并返回数据结果后结束，例如查询请求为：查询ID为1的测点0秒产生的数据，从缓存结构中测点ID为1、秒数为0的存储单元中找到时序数据；如果不是则根据查询开始时间找到历史数据文件，读取该历史数据文件对应的索引文件，在索引文件中查询该测点在该时间段显示的分钟时间是否有值，如果没有值则返回无值结束，如果有值则在历史数据文件中根据测点ID信息和查询时间段信息读取数据块，最后将读取的数据块解压缩，返回数据结果，结束。
通过将每个小时的所有测点产生的历史数据独立存储，解决历史数据累计后写入和查询效率下降问题。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种用于电网WAMS系统的时序数据存储方法，其特征在于：提供测点ID和时序数据结合的存储模型、缓存和文件结合的双层存储架构、按小时独立存储的文件格式以及文件偏移量索引机制；
其中，测点ID和时序数据结合的存储模型：
存储模型结构为：<id,timestamp,<value1,value2,…,valuen>>，其中id表示该段数据对应的测点ID号；timestamp表示该段数据对应的时间标签，即对应的秒数；value1至valuen表示ID号为id的测点在第timestamp秒的n条数据；
缓存和文件结合的双层存储架构：
缓存结构：采用二维数组形式，其中一个维度表示测点ID，另外一个维度表示最新1分钟的60秒，存储所有测点最新1分钟的数据，二维数组中的每个存储单元存储单个测点1秒中的n条数据；
文件结构：在文件中存储所有测点1个小时的数据，文件中每个存储单元存储单个测点1分钟的压缩数据块；
按小时独立存储的文件格式：设置若干个数据文件，每个数据文件用于存储所有测点1个小时的数据，不同文件中数据时标互相不重复；
文件偏移量索引机制：为每个数据文件生成一个索引文件，即每个小时的数据均存在对应的索引文件，索引文件采用二维数组结构，其中一个维度表示测点ID，另一个维度表示每个小时的60分钟，二维数组中的每个单元存储一个偏移量，该偏移量表示对应测点ID在60分钟中某分钟的数据块；
所述方法包括数据写入和数据查询两个阶段，所述数据写入阶段包括以下步骤：
S11接收测点最新1分钟中第i秒钟的时序数据，i＝(0,2,…,59)；
S12根据测点ID和第i秒钟在缓存结构中找到接收数据缓存位置；
S13将接收到的时序数据复制到对应缓存位置中；
S14判断该测点数据缓存时间是否超过1分钟，如果是则进入S15，否则结束；
S15将缓存结构中该测点最新1分钟内时序数据压缩，形成压缩数据块；
S16根据测点ID和最新1分钟时间在文件结构中找到写入位置；
S17将该测点最新1分钟内时序数据压缩数据块写入到所述步骤S16中写入位置中；
S18将所述步骤S16中写入位置记录到该数据文件对应的索引文件中。
2.根据权利要求1所述的用于电网WAMS系统的时序数据存储方法，其特征在于：所述数据查询阶段包括以下步骤：
S21收到查询请求，查询请求包括测点ID信息和查询时间段信息；
S22判断查询时间段是否在缓存中，如果是则进入S23，如果不是则进入S24；
S23根据查询时间段从缓存中定位数据，返回数据结果，结束；
S24根据查询开始时间找到历史数据文件，读取该历史数据文件对应的索引文件；
S25在索引文件中查询该测点在该时间段显示的分钟时间是否有值，如果没有值则返回无值结束，如果有值则在历史数据文件中根据测点ID信息和查询时间段信息读取数据块；
S26将读取的数据块解压缩，返回数据结果，结束。
CN201611265625.6A 2016-12-30 2016-12-30 一种用于电网wams系统的时序数据存储方法 Pending CN106844555A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611265625.6A CN106844555A (zh) 2016-12-30 2016-12-30 一种用于电网wams系统的时序数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611265625.6A CN106844555A (zh) 2016-12-30 2016-12-30 一种用于电网wams系统的时序数据存储方法

Publications (1)

Publication Number Publication Date
CN106844555A true CN106844555A (zh) 2017-06-13

Family

ID=59117397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611265625.6A Pending CN106844555A (zh) 2016-12-30 2016-12-30 一种用于电网wams系统的时序数据存储方法

Country Status (1)

Country Link
CN (1) CN106844555A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391600A (zh) * 2017-06-30 2017-11-24 北京百度网讯科技有限公司 用于在内存中存取时序数据的方法和装置
CN107577745A (zh) * 2017-08-29 2018-01-12 飞友科技有限公司 一种航班时刻数据的合并与冲突处理的方法
CN107918660A (zh) * 2017-11-21 2018-04-17 清华大学 基于多阶差分网络的高频时序数据处理方法
CN108197181A (zh) * 2017-12-25 2018-06-22 广州亦云信息技术股份有限公司 一种时序数据的压缩存储方法、电子设备及存储介质
CN108399263A (zh) * 2018-03-15 2018-08-14 北京大众益康科技有限公司 时序数据的存储和查询方法及存储和处理平台
CN108563711A (zh) * 2018-03-28 2018-09-21 山东昭元信息科技有限公司 一种基于时间节点的时序数据存储方法
CN109164980A (zh) * 2018-08-03 2019-01-08 北京涛思数据科技有限公司 一种时序数据的聚合优化处理方法
CN109299108A (zh) * 2018-11-05 2019-02-01 江苏瑞中数据股份有限公司 一种可变频率的wams实时数据库管理方法与系统
CN109687875A (zh) * 2018-11-20 2019-04-26 成都四方伟业软件股份有限公司 一种时序数据处理方法
CN109739811A (zh) * 2018-12-11 2019-05-10 河南辉煌科技股份有限公司 支持双维度查询海量监测数据的存储方法
CN110059024A (zh) * 2019-04-19 2019-07-26 中国科学院微电子研究所 一种内存空间数据缓存方法及装置
CN110555010A (zh) * 2019-09-11 2019-12-10 中国南方电网有限责任公司 一种电网实时运行数据存储系统
CN112181973A (zh) * 2019-07-01 2021-01-05 北京涛思数据科技有限公司 一种时序数据的存储方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080167941A1 (en) * 2007-01-05 2008-07-10 Kagarlis Marios A Real Estate Price Indexing
CN104133867A (zh) * 2014-07-18 2014-11-05 中国科学院计算技术研究所 分布式顺序表片内二级索引方法及系统
CN105242882A (zh) * 2015-10-13 2016-01-13 东方网力科技股份有限公司 时序数据的帧存储方法及装置、时序数据查询方法及装置
CN105574074A (zh) * 2015-11-23 2016-05-11 江苏瑞中数据股份有限公司 一种基于智能电网wams的时序大数据存储方法
CN105989129A (zh) * 2015-02-15 2016-10-05 腾讯科技（深圳）有限公司 实时数据统计方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080167941A1 (en) * 2007-01-05 2008-07-10 Kagarlis Marios A Real Estate Price Indexing
CN104133867A (zh) * 2014-07-18 2014-11-05 中国科学院计算技术研究所 分布式顺序表片内二级索引方法及系统
CN105989129A (zh) * 2015-02-15 2016-10-05 腾讯科技（深圳）有限公司 实时数据统计方法和装置
CN105242882A (zh) * 2015-10-13 2016-01-13 东方网力科技股份有限公司 时序数据的帧存储方法及装置、时序数据查询方法及装置
CN105574074A (zh) * 2015-11-23 2016-05-11 江苏瑞中数据股份有限公司 一种基于智能电网wams的时序大数据存储方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩骅宇: "时序数据的高效存储与检索", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11294920B2 (en) 2017-06-30 2022-04-05 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for accessing time series data in memory
CN107391600A (zh) * 2017-06-30 2017-11-24 北京百度网讯科技有限公司 用于在内存中存取时序数据的方法和装置
CN107577745B (zh) * 2017-08-29 2020-08-21 飞友科技有限公司 一种航班时刻数据的合并与冲突处理的方法
CN107577745A (zh) * 2017-08-29 2018-01-12 飞友科技有限公司 一种航班时刻数据的合并与冲突处理的方法
CN107918660A (zh) * 2017-11-21 2018-04-17 清华大学 基于多阶差分网络的高频时序数据处理方法
CN107918660B (zh) * 2017-11-21 2018-12-11 清华大学 基于多阶差分网络的高频时序数据处理方法
CN108197181A (zh) * 2017-12-25 2018-06-22 广州亦云信息技术股份有限公司 一种时序数据的压缩存储方法、电子设备及存储介质
CN108399263A (zh) * 2018-03-15 2018-08-14 北京大众益康科技有限公司 时序数据的存储和查询方法及存储和处理平台
CN108563711A (zh) * 2018-03-28 2018-09-21 山东昭元信息科技有限公司 一种基于时间节点的时序数据存储方法
CN108563711B (zh) * 2018-03-28 2021-02-09 山东昭元信息科技有限公司 一种基于时间节点的时序数据存储方法
CN109164980B (zh) * 2018-08-03 2024-02-02 北京涛思数据科技有限公司 一种时序数据的聚合优化处理方法
US11714554B2 (en) 2018-08-03 2023-08-01 Taos Data Method for aggregation optimization of time series data
WO2020024799A1 (zh) * 2018-08-03 2020-02-06 北京涛思数据科技有限公司 一种时序数据的聚合优化处理方法
CN109164980A (zh) * 2018-08-03 2019-01-08 北京涛思数据科技有限公司 一种时序数据的聚合优化处理方法
US20210333994A1 (en) * 2018-08-03 2021-10-28 Taos Data Method for aggregation optimization of time series data
CN109299108B (zh) * 2018-11-05 2020-05-29 江苏瑞中数据股份有限公司 一种可变频率的wams实时数据库管理方法与系统
CN109299108A (zh) * 2018-11-05 2019-02-01 江苏瑞中数据股份有限公司 一种可变频率的wams实时数据库管理方法与系统
CN109687875A (zh) * 2018-11-20 2019-04-26 成都四方伟业软件股份有限公司 一种时序数据处理方法
CN109739811A (zh) * 2018-12-11 2019-05-10 河南辉煌科技股份有限公司 支持双维度查询海量监测数据的存储方法
CN109739811B (zh) * 2018-12-11 2023-03-14 河南辉煌科技股份有限公司 支持双维度查询海量监测数据的存储方法
CN110059024B (zh) * 2019-04-19 2021-09-21 中国科学院微电子研究所 一种内存空间数据缓存方法及装置
CN110059024A (zh) * 2019-04-19 2019-07-26 中国科学院微电子研究所 一种内存空间数据缓存方法及装置
CN112181973A (zh) * 2019-07-01 2021-01-05 北京涛思数据科技有限公司 一种时序数据的存储方法
CN112181973B (zh) * 2019-07-01 2023-05-30 北京涛思数据科技有限公司 一种时序数据的存储方法
CN110555010B (zh) * 2019-09-11 2022-04-05 中国南方电网有限责任公司 一种电网实时运行数据存储系统
CN110555010A (zh) * 2019-09-11 2019-12-10 中国南方电网有限责任公司 一种电网实时运行数据存储系统

Similar Documents

Publication Publication Date Title
CN106844555A (zh) 一种用于电网wams系统的时序数据存储方法
CN102831222B (zh) 一种基于重复数据删除的差量压缩方法
CN102364474B (zh) 用于机群文件系统的元数据存储系统和管理方法
CN104346357B (zh) 一种嵌入式终端的文件存取方法及系统
CN102222085B (zh) 一种基于相似性与局部性结合的重复数据删除方法
CN102890722B (zh) 应用于时序历史数据库的索引方法
US7418544B2 (en) Method and system for log structured relational database objects
CN100583050C (zh) 基于时间戳日志存储的连续数据保护和恢复方法
CN102663086B (zh) 一种数据块索引的检索方法
CN107423422A (zh) 基于网格的空间数据分布式存储及检索方法和系统
CN107451233B (zh) 时间属性优先的时空轨迹数据文件在辅助存储设备中的存储方法
CN101984421A (zh) 基于实时数据库的气象要素数据组织录入与查询方法
CN102722449A (zh) 基于SSD的Key-Value型本地存储方法及系统
CN102446184B (zh) 一种基于时间序列的工业数据存储及索引方法
CN110196847A (zh) 数据处理方法和装置、存储介质及电子装置
CN103914449A (zh) 一种多源时间序列数据压缩存储方法
CN110309233A (zh) 数据存储的方法、装置、服务器和存储介质
CN102033930A (zh) 分布式内存数据库系统
CN103383690A (zh) 分布式数据存储方法及系统
CN110096509A (zh) 大数据环境下实现历史数据拉链表存储建模处理的系统及方法
CN113704217A (zh) 一种分布式持久性内存文件系统中元数据及数据组织架构方法
CN106844556A (zh) 一种基于HBase的智能电网时标量测数据存储方法
CN107894875B (zh) 一种rtu数据存储方法
CN103853772B (zh) 一种高效倒排索引组织方法
CN107133334A (zh) 基于高带宽存储系统的数据同步方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170613

RJ01 Rejection of invention patent application after publication