CN107894875A - 一种rtu数据存储方法 - Google Patents

一种rtu数据存储方法 Download PDF

Info

Publication number
CN107894875A
CN107894875A CN201711156983.8A CN201711156983A CN107894875A CN 107894875 A CN107894875 A CN 107894875A CN 201711156983 A CN201711156983 A CN 201711156983A CN 107894875 A CN107894875 A CN 107894875A
Authority
CN
China
Prior art keywords
data
rtu
file
byte
bytes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711156983.8A
Other languages
English (en)
Other versions
CN107894875B (zh
Inventor
黄齐雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN DETRAN TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN DETRAN TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN DETRAN TECHNOLOGY Co Ltd filed Critical SHENZHEN DETRAN TECHNOLOGY Co Ltd
Priority to CN201711156983.8A priority Critical patent/CN107894875B/zh
Publication of CN107894875A publication Critical patent/CN107894875A/zh
Application granted granted Critical
Publication of CN107894875B publication Critical patent/CN107894875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理，具体涉及一种RTU数据存储方法，包括以下步骤：S01.采集数据；S02.缓存数据：采集到的每条数据信息上报给业务平台，根据上报结果设置当前数据信息的上报标志位，并将之写入内存，其中，每个独立的数据文件中的每1024条数据为一个数据块，当一个数据块写入内存后，压缩该数据块；S03.写入数据：将压缩后的数据块写入文件系统，清空内存，并重复步骤S02。本发明最大优势在于极高的存储利用率，相比嵌入式数据库方案，本发明占用的存储空间只有数据库的1/20，启用压缩后可以缩小到1/40‑1/80。

Description

一种RTU数据存储方法
技术领域
本发明涉及数据处理方法，尤其涉及一种RTU数据存储方法。
背景技术
RTU是一种采集+传输为一体的物联网设备，将外接的传感器数据读取后，传输到远端业务平台。广泛应用在电力煤气抄表、气象、环保、智能楼宇等各行各业。在部分行业应用中，要求RTU本地带存储功能，传感器采集的数据，除了需要传输到远端平台，还需要在本地保存，以供检索查询。但是处于成本控制角度考虑，RTU硬件性能配置普遍较低，例如某款RTU，CPU频率300M HZ，内置/外接的存储卡容量8GB-16GB，远低于市面上平板电脑等智能硬件设备。而传感器采集数据，具有上报频率密集的特点，累积一段时间后，很容易达到数亿甚至数十亿条。以RTU外接10个传感器为例，每个传感器2秒钟上报一次数据，一年下来:总的数据量＝10*24*365*3600/2，约等于1.6亿条。受限于RTU软硬件平台，无法使用Oracle、Mysql集群等服务器/PC领域常用的技术方案。而sqlite等嵌入式数据库系统，在海量数据下性能表现极低，数据量达到100万条级别后，读取返回时间超过1秒，无法满足性能要求。且由于嵌入式数据库需要保存额外的索引、表结构等结构数据，使得对存储空间利用率低下，这会直接导致硬件成本增加(需要采用更大的内置或外接存储)。
发明内容
针对现有技术中存在的缺陷或不足，本发明所要解决的技术问题是：提供一种针对RTU海量数据的存储、检索算法，在保证海量数据基本的写入、读取性能前提下，能够解决现有技术中数据压缩存储效率低下技术问题的数据存储方法。
为了实现上述目的，本发明采取的技术方案为提供一种RTU数据存储方法，包括以下步骤：
S01.采集数据：RTU上的若干传感器采集周围环境的数据信息，每一个传感器采集的数据信息为一个传感器数据集，每一个传感器数据集包括若干个独立的数据文件，每个独立的数据文件中只保存数据信息中的一个字段，该字段为索引、采集时间、采集数据或上报标志位，即所述独立的数据文件是索引文件、采集时间文件、采集数据文件或上报标记位文件；
S02.缓存数据：采集到的每条数据信息上报给业务平台，根据上报结果设置当前数据信息的上报标志位，并将之写入内存，其中，每个独立的数据文件中的每1024条数据为一个数据块，当一个数据块写入内存后，压缩该数据块；
S03.写入数据：将压缩后的数据块写入文件系统，清空内存，并重复步骤S02。
作为本发明的进一步改进，步骤S02中，每一个数据块中的第一条数据保留原始数据，后续的每一条数据保存的是与上一条数据之间的差值。
作为本发明的进一步改进，每个采集时间文件的第一条数据保存原始数据，后续的每条数据保存的是与上一条数据之间的差值。
作为本发明的进一步改进，每个采集数据文件的第一条数据保存原始数据，后续的每条数据保存的是与上一条数据之间的差值。
作为本发明的进一步改进，采用可变长存储方法对差值进行保存；可变长度存储的字节大小至少为1个字节，最多为4个字节；
第0字节，第0bit，表示是否有后续数据，0表示没有，1表示下一个字节也是属于本条数据；
第0字节，第1bit，表示符号位，0表示正数，1表示负数；
第0字节，第2-7bit，表示数据值；
当且仅当第0字节，第0bit＝1存在时，第1字节，第0bit，表示是否有后续数据，0表示没有，1表示有；
第1字节，第1bit至第7bit，表示数据值；
第2字节与3字节同第1字节，最高bit位表示是否有后续数据，后面7个bit位表示数据值。
作为本发明的进一步改进，所述索引文件：用于保存时间戳与数据起始地址；
每条索引数据，由20个字节组成；
第0-3字节为数据块首条记录时间戳；
第4-7字节为采集时间数据块偏移量地址；
第8-11字节为采集数据值数据块偏移量地址；
剩余字节保留，能够用来记录压缩辅助文件偏移量等数据。
作为本发明的进一步改进，所述上报标记位文件：用于保存是否上报标记位；
每一个数据块为128字节，其中，每个bit位表示某一条数据是否有上报；
0表示没有上报，1表示有上报。
作为本发明的进一步改进，一个或多个所述的传感器数据集为一个RTU数据集。
作为本发明的进一步改进，通过文件前缀或建立子目录区分各个传感器数据集。
作为本发明的进一步改进，步骤S02中，通过霍夫曼编码对数据块进行压缩。
本发明的有益效果是：本发明最大优势在于极高的存储利用率，相比嵌入式数据库方案，本发明占用的存储空间只有数据库的1/20，启用压缩后可以缩小到1/40-1/80。对于嵌入式系统，外置或者自带的存储直接影响硬件成本，以外置U盘为例，8G U盘只需要30元左右售价，而256G则需要高达数百元。因此本发明对于采集频率高，且需要长久本地保存历史数据的物联网应用场合，具有很强的实用价值。值得一提的是，RTU采集项目应用中，读取和写入性能一般不会成为瓶颈。但本发明在读写性能方面，相比嵌入式数据库，也具有较大优势。写入性能提高数千倍。读取性能在数据量较少的情况下，如启用压缩，会有少量下降。在海量数据下，本发明读取时间基本保持不变，而数据库会性能明显下降，此时本发明读取时间也具有一定优势。
附图说明
图1是本发明提供的流程图；
图2是本发明提供的详细方法流程图；
图3是本发明提供的接口初始化流程图；
图4是本发明提供的调用写入数据接口流程图；
图5是本发明提供的读取最新数据流程图；
图6是本发明提供的读取历史数据流程图；
图7是本发明提供的按列存储的示意图；
图8是本发明提供的RTU采集数据集结构示意图。
具体实施方式
下面结合附图说明及具体实施方式对本发明进一步说明。
如图1、7和8所示，本发明S01.采集数据：RTU上的若干传感器采集周围环境的数据信息，每一个传感器采集的数据信息为一个传感器数据集，每一个传感器数据集包括若干个独立的数据文件，每个独立的数据文件中只保存数据信息中的一个字段，该字段为索引、采集时间、采集数据或上报标志位，即所述独立的数据文件是索引文件、采集时间文件、采集数据文件或上报标记位文件；采用按列存储，对于写入速度会有影响，在实际项目中，RTU最多接入数十个传感器，每秒同时写入的并发数据条数，一般不超过10条，因此写入性能足够满足项目需求。而按列存储，最大优势在于检索极为方便，且便于扩展，增加其它列只需要新增一个数据文件即可。
S02.缓存数据：采集到的每条数据信息上报给业务平台，根据上报结果设置当前数据信息的上报标志位，并将之写入内存，其中，每个独立的数据文件中的每1024条数据为一个数据块，当一个数据块写入内存后，压缩该数据块；在实际项目应用中，可以根据不同的采集上报频率，灵活设定数据块的数据条数。对于采集上报频率较高的应用，一个数据块可以包含更多的数据，例如4096或者8192条数据。对于采集频率较低的应用，一个数据块可以只包含64条或者128条数据。本文中以每个数据块1024条数据为例进行描述，且所有整形数据采用本地字节序保存。
所述步骤S02中，每一个数据块中的第一条数据保留原始数据，后续的每一条数据保存的是与上一条数据之间的差值。每个采集时间文件的第一条数据保存原始数据，后续的每条数据保存的是与上一条数据之间的差值。每个采集数据文件的第一条数据保存原始数据，后续的每条数据保存的是与上一条数据之间的差值。
其中，所述索引文件：用于保存时间戳与数据起始地址：每条索引数据，由20个字节组成；各个字节的作用表述如下：
第0-3字节为数据块首条记录时间戳；
第4-7字节为采集时间数据块偏移量地址；
第8-11字节为采集数据值数据块偏移量地址；
其它保留，可以用来记录压缩辅助文件偏移量等数据。
所述上报标记位文件：用于保存是否上报标记位；每128字节为一个数据块，每个bit位表示某一条数据是否有上报。
所述采集时间文件：用于保存采集时间，每个数据块，前4个字节为当前数据块首条记录采集时间戳；后续每个字节(备注，见补充说明)为当前数据采集时间，相对上一条数据采集时间时间差。
所述采集数据文件：用于保存数据值，每个数据块，前4个字节为当前数据块首条记录采集量值；后续每个字节为当前数据采集量值，相对上一条数据的差量。
如图7所示，RTU在实际项目应用中，上报数据时间差和采集数据量偏差，通常在一个很小的范围内。例如温度采集上报，每1分钟上报一次，每分钟温度变化一般在正负5度以内，或者更少。如果所有数据保存实际值，会造成很大的存储空间浪费。本发明中，采用保存偏移量的方式，节省数据存储空间。
对于差量保存，采用可变长存储方法：可变长度存储的字节大小至少为1个字节，最多为4个字节；具体的：
第0字节，第0bit，表示是否有后续数据，0表示没有，1表示下一个字节也是属于本条数据；
第0字节，第1bit，表示符号位，0表示正数，1表示负数；
第0字节，第2-7bit，表示数据值；
当且仅当第0字节，第0bit＝1存在时，第1字节，第0bit，表示是否有后续数据，0表示没有，1表示有；
第1字节，第1bit至第7bit，表示数据值；
第2字节与3字节同第1字节，最高bit位表示是否有后续数据，后面7个bit位表示数据值。
例如：
数值5，表示为1个字节，二进制表示为:00000101；
数值-7，表示为1个字节，二进制表示为：01000111；
数值300000，表示为3个字节，二进制表示为：10100100 11001111 00100000。
RTU在内存中缓存当前数据块的所有上报数据，当上报的采集数据写满一个内存数据块，RTU将数据块压缩后写入到文件系统中，每个RTU上的传感器维护一个内存缓存，保存传感量代号sig_id，以及最多1024条数据采集量。
对于采集时间和采集数据值，每个数据块在写入文件系统前，先在内存中生成记录，首地址4字节为起始值，后续为偏移量。生成的数据块记录，可以采用霍夫曼编码进行压缩。写入文件的数据为压缩后的内容。压缩比根据实际业务应用，达到2：1到4：1左右。对于定时频率上报(例如固定每间隔10秒上报)，且数据变化不频繁的业务应用(例如电梯位置上报，在绝大多数情况下楼层位置始终为1)，霍夫曼编码压缩比可以达到4：1甚至更高。
在实际项目测试中，一个完整的数据块1024条数据，占用的总的存储空间为：
索引数据：20字节
采集时间数据块，最少为：4+1023＝1027字节
采集数据数据块，最少为：4+1023＝1027字节
上报标记位数据块，128字节
总计：2202字节，启用压缩后约500-1000字节。
如图2所示，RTU通电后，首先初始化接口，然后不断读取来自传感器的采集数据。对于每条采集数据，首先上报到业务平台，根据上报结果设置上报标记位。然后将数据写入到RTU内存缓存，如果缓存已满，形成了一个完整数据块，则将缓存中数据调用Write接口，写入到数据文件，并清空缓存，等待下一个数据的写入。如果缓存未满，则写入缓存，等待下一条采集数据。
其中，如图3所示，初始化接口：每个外接的传感器，在接入配置后，首先要调用init接口，生成必要的内存缓存节点和数据文件，初始化的数据，所有文件内容为空，内存缓存record_count及其它字段被清零。等待数据上报写入。
当传感器采集数据到达RTU系统后，调用write接口，写入内存缓存。
如图4所示，写入时，首先进行PV锁定操作，防止并发写入导致数据混乱。判断缓存是否写满，如果未满，写入新数据，计数累加1；否则先将缓存中数据，步骤S01-步骤S03中描述的数据格式，进行整理、压缩，并写入到对应的数据文件，清理缓存后，写入新数据。PV解锁，整个流程结束。
如图5所示，在需要读取某个采集量最新的采集数据时。
RTU首先判断缓存中是否有数据，如果有，则根据缓存计数，返回数组中最后一条数据；否则打开对应的索引文件，读取最后一条索引记录，根据索引，读取采集时间数据块和采集数据数据块。解压后返回最后一条数据。如果缓存为空，且索引为空，说明此传感器为新接入系统，尚未上报过任何数据，返回读取错误。图5中的Read_last接口含义为：最后一条数据采集的数据。
如图6所示，当需要读取某个采集量一段时间的历史数据时，RTU首先判断读取的时间范围，是否在缓存范围内。如果是，则从缓存数据中提取符合要求的数据集合。否则读取索引文件，直到索引数据在读取时间范围内，根据索引，读取相应的采集时间、采集数据、上报标记位数据块，对数据解压后，根据差量进行还原运算，将符合时间范围的数据写入队列返回。其中Read_history接口含义为：历史接口；end_time含义为：数据采集的结束时间。
本发明采用C/C++语言描述，但是不限定只能由C/C++实现。
根据多次试验得出结果，相比文件系统直接保存，或者SQLite等嵌入式数据库文件，本发明能极大提高磁盘空间利用率，且保证读取和写入性能满足项目需求。与SQLite嵌入式数据块系统的对比测试时，测试的配置如下(备注，测试对比基于X64平台，在嵌入式系统上得出的结论类似)：
项目 配置
CPU Intel Core i7-3770@3.4G HZ，4核8线程
内存 8G
硬盘 1TB企业级硬盘，7200转，64MB缓存
操作系统 64位Linux，2.6.32内核(VMware虚拟机)
数据库 sqlite 3.6.20
测试数据结构：
测试方法：随机生成50万条数据，写入到SQLite数据库，根据sig_id，读取某个采集量一个小时段的采集数据siglval值。
测试结论：
通过对比可知，本发明最大优势在于极高的存储利用率，相比嵌入式数据库方案，本发明占用的存储空间只有数据库的1/20，启用压缩后可以缩小到1/40-1/80。对于嵌入式系统，外置或者自带的存储直接影响硬件成本，以外置U盘为例，8G U盘只需要30元左右售价，而256G则需要高达数百元。因此本发明对于采集频率高，且需要长久本地保存历史数据的物联网应用场合，具有很强的实用价值。
值得一提的是，RTU采集项目应用中，读取和写入性能一般不会成为瓶颈。但本发明在读写性能方面，相比嵌入式数据库，也具有较大优势。写入性能提高数千倍。在海量数据下，本发明读取时间基本保持不变，而数据库会性能明显下降，此时本发明读取时间也具有一定优势。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种RTU数据存储方法，其特征在于，包括以下步骤：
S01.采集数据：RTU上的若干传感器采集周围环境的数据信息，每一个传感器采集的数据信息为一个传感器数据集，每一个传感器数据集包括若干个独立的数据文件，每个独立的数据文件中只保存数据信息中的一个字段，该字段为索引、采集时间、采集数据或上报标志位，即所述独立的数据文件是索引文件、采集时间文件、采集数据文件或上报标记位文件；
S02.缓存数据：采集到的每条数据信息上报给业务平台，根据上报结果设置当前数据信息的上报标志位，并将之写入内存，其中，每个独立的数据文件中的每1024条数据为一个数据块，当一个数据块写入内存后，压缩该数据块；
S03.写入数据：将压缩后的数据块写入文件系统，清空内存，并重复步骤S02。
2.根据权利要求1所述的RTU数据存储方法，其特征在于，步骤S02中，每一个数据块中的第一条数据保留原始数据，后续的每一条数据保存的是与上一条数据之间的差值。
3.根据权利要求2所述的RTU数据存储方法，其特征在于,每个采集时间文件的第一条数据保存原始数据，后续的每条数据保存的是与上一条数据之间的差值。
4.根据权利要求3所述的RTU数据存储方法，其特征在于,每个采集数据文件的第一条数据保存原始数据，后续的每条数据保存的是与上一条数据之间的差值。
5.根据权利要求1-3任一项所述的RTU数据存储方法，其特征在于,采用可变长存储方法对差值进行保存；可变长度存储的字节大小至少为1个字节，最多为4个字节；
第0字节，第0bit，表示是否有后续数据，0表示没有，1表示下一个字节也是属于本条数据；
第0字节，第1bit，表示符号位，0表示正数，1表示负数；
第0字节，第2-7bit，表示数据值；
当且仅当第0字节，第0bit = 1存在时，第1字节，第0bit，表示是否有后续数据，0表示没有，1表示有；
第1字节，第1bit至第7bit，表示数据值；
第2字节与3字节同第1字节，最高bit位表示是否有后续数据，后面7个bit位表示数据值。
6.根据权利要求5所述的RTU数据存储方法，其特征在于,所述索引文件：用于保存时间戳与数据起始地址；
每条索引数据，由20个字节组成；
第0-3字节为数据块首条记录时间戳；
第4-7字节为采集时间数据块偏移量地址；
第8-11字节为采集数据值数据块偏移量地址；
剩余字节保留，能够用来记录压缩辅助文件偏移量等数据。
7.根据权利要求6所述的RTU数据存储方法，其特征在于, 所述上报标记位文件：用于保存是否上报标记位；
每一个数据块为128字节，其中，每个bit位表示某一条数据是否有上报；
0表示没有上报，1表示有上报。
8.根据权利要求1所述的RTU数据存储方法，其特征在于，一个或多个所述的传感器数据集为一个RTU数据集。
9.根据权利要求8所述的RTU数据存储方法，其特征在于，通过文件前缀或建立子目录区分各个传感器数据集。
10.根据权利要求1所述的RTU数据存储方法，其特征在于，步骤S02中，通过霍夫曼编码对数据块进行压缩。
CN201711156983.8A 2017-11-20 2017-11-20 一种rtu数据存储方法 Active CN107894875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711156983.8A CN107894875B (zh) 2017-11-20 2017-11-20 一种rtu数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711156983.8A CN107894875B (zh) 2017-11-20 2017-11-20 一种rtu数据存储方法

Publications (2)

Publication Number Publication Date
CN107894875A true CN107894875A (zh) 2018-04-10
CN107894875B CN107894875B (zh) 2020-12-04

Family

ID=61805611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711156983.8A Active CN107894875B (zh) 2017-11-20 2017-11-20 一种rtu数据存储方法

Country Status (1)

Country Link
CN (1) CN107894875B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032531A (zh) * 2018-08-24 2018-12-18 深圳阿弗艾德电子有限公司 温度记录标签设备及记录环境温度的方法
CN109542059A (zh) * 2018-11-19 2019-03-29 国核自仪系统工程有限公司 历史数据压缩装置和方法
CN112702340A (zh) * 2020-12-23 2021-04-23 深圳供电局有限公司 一种历史报文压缩方法及其系统、计算设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104090987A (zh) * 2014-07-28 2014-10-08 华中科技大学 一种历史数据存储及索引方法
EP2806318A1 (en) * 2013-05-20 2014-11-26 LSIS Co., Ltd. Method for storing data
CN105824574A (zh) * 2015-12-07 2016-08-03 国家电网公司 一种内存数据存储方法
CN106557272A (zh) * 2015-09-30 2017-04-05 中国科学院软件研究所 一种高效的传感器历史数据归档方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2806318A1 (en) * 2013-05-20 2014-11-26 LSIS Co., Ltd. Method for storing data
CN104090987A (zh) * 2014-07-28 2014-10-08 华中科技大学 一种历史数据存储及索引方法
CN106557272A (zh) * 2015-09-30 2017-04-05 中国科学院软件研究所 一种高效的传感器历史数据归档方法
CN105824574A (zh) * 2015-12-07 2016-08-03 国家电网公司 一种内存数据存储方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何炎祥,喻涛,陈彦钊,李清安,范通让: "物联网环境中数据存储与查询机制研究", 《计算机科学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032531A (zh) * 2018-08-24 2018-12-18 深圳阿弗艾德电子有限公司 温度记录标签设备及记录环境温度的方法
CN109542059A (zh) * 2018-11-19 2019-03-29 国核自仪系统工程有限公司 历史数据压缩装置和方法
CN112702340A (zh) * 2020-12-23 2021-04-23 深圳供电局有限公司 一种历史报文压缩方法及其系统、计算设备、存储介质

Also Published As

Publication number Publication date
CN107894875B (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN103577339B (zh) 一种数据存储方法及系统
CN101533408B (zh) 一种海量数据的处理方法及处理装置
CN106030498B (zh) 存储装置和数据处理方法以及存储系统
CN109952568B (zh) 用于高速搜索或过滤大数据集的系统和方法
CN101968795B (zh) 一种数据块长度可变的文件系统缓存方法
CN109992530A (zh) 一种固态驱动器设备及基于该固态驱动器的数据读写方法
CN103019887B (zh) 数据备份方法及装置
CN109416666A (zh) 具有压缩数据和标签的缓存
CN104160398B (zh) 用于大对象数据内的结构化内容的方法及其系统
CN107045531A (zh) 一种优化hdfs小文件存取的系统及方法
CN107894875A (zh) 一种rtu数据存储方法
CN101667205A (zh) 一种面向快速回放的实时测点数据存储方法
US20010011321A1 (en) Information storage and retrieval system
CN110196847A (zh) 数据处理方法和装置、存储介质及电子装置
US9280551B2 (en) De-duplication deployment planning
CN112260694B (zh) 一种仿真文件的数据压缩方法
CN110727406A (zh) 一种数据存储调度方法及装置
CN104504116A (zh) 一种实时数据库的存储方法
CN107729406A (zh) 一种数据分类存储方法及装置
CN108572788A (zh) 数据存取方法、装置及系统
CN109408416B (zh) 一种地址映射表项页管理方法及装置
CN103500226A (zh) 一种去除敏感数据敏感性的方法及装置
CN105045540B (zh) 一种固态盘阵列的数据布局方法
CN109508317A (zh) 一种大容量数据和服务管理系统
CN201397674Y (zh) 一种存储设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant