CN107357915A - 一种数据存储方法及系统 - Google Patents

一种数据存储方法及系统 Download PDF

Info

Publication number
CN107357915A
CN107357915A CN201710592198.0A CN201710592198A CN107357915A CN 107357915 A CN107357915 A CN 107357915A CN 201710592198 A CN201710592198 A CN 201710592198A CN 107357915 A CN107357915 A CN 107357915A
Authority
CN
China
Prior art keywords
data
monitoring data
metadata table
detail list
cluster server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710592198.0A
Other languages
English (en)
Inventor
周云锋
逄立业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710592198.0A priority Critical patent/CN107357915A/zh
Publication of CN107357915A publication Critical patent/CN107357915A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据存储方法及系统，所述方法包括：云平台获取各监控指标信息对应的监控数据并写入分布式数据库Hbase中的监控数据明细表中；当确定出存储所述监控数据明细表的集群服务器的存储负载超过预设负载阈值时，新增用于存储所述监控数据明细表的集群服务器。本发明的数据存储方法基于分布式数据库Hbase的存储特性，在集群服务器数据存储负载过高时扩充用于存储数据的集群服务器，实现了存储量的横向扩展，从而满足更高数据存储量的需求，降低了监控数据的存储成本。

Description

一种数据存储方法及系统
技术领域
本发明涉及计算机技术，尤指一种数据存储方法及系统。
背景技术
无论是车间生产流水线，还是大数据云计算等集群类服务，都需要进行系统的监控和告警，从而尽早发现潜在问题，规避风险，保证服务的持续正常运转。
现有监控类系统通常采用采集代理(Agent)进行数据采集、数据库/文件存储、前端报表展现以及触发告警等一系列的串行流程。传统的监控场景，数据量相对较小，往往采用文件存储或者关系型数据库存储即可满足系统要求。随着监控场景的日趋复杂，要求监控时间周期更短，监控环节更多，监控指标更复杂，这些都增加了监控数据的量级，对监控系统的每个环节都提出了新的挑战，尤其监控数据的存储，不仅要满足任意时间点数据的即时可查，而且存储量要能横向扩展，横向扩展就是可以通过增加处理器或服务器来提升运算能力。然而通过文件或关系型数据库存储无法满足存储量的横向扩展。
发明内容
为了解决上述技术问题，本发明提供了一种数据存储方法及系统，可以实现数据存储量的横向扩展。
为了达到本发明目的，本发明提供了一种数据存储方法，所述方法包括：
云平台获取各监控指标信息对应的监控数据并写入分布式数据库Hbase中的监控数据明细表中；
当确定出存储所述监控数据明细表的集群服务器的存储负载超过预设负载阈值时，新增用于存储所述监控数据明细表的集群服务器。
进一步，所述方法还包括：
预先配置所述Hbase中的第一元数据表；所述第一元数据表中存储有所有用于存储监控数据明细表的集群服务器的设备标识信息，所述监控数据明细表与所述第一元数据表通过设备标识信息相关联；
当新增用于存储监控数据明细表的集群服务器时，将所述新增的集群服务器的设备标识信息添加到所述第一数据表中。
进一步，所述方法还包括：
预先配置Hbase中的第二元数据表；所述第二元数据表存储有各监控指标信息，所述监控数据明细表与所述第二元数据表通过监控指标信息相关联；
当新增监控指标信息时，将所述新增的监控指标信息添加到所述第二数据表中。
进一步，所述方法还包括：
将所述第一元数据表、所述第二元数据表或所述监控数据明细表中存储的数据备份到所述Hbase中的分布式文件系统HDFS文件。
进一步，所述方法还包括：
对所述第一元数据表、所述第二元数据表或所述监控数据明细表中存储的数据进行分析操作和/或查询操作。
本发明还提供一种数据存储系统，设置于云平台，所述系统包括：
写入模块，用于获取各监控指标信息对应的监控数据并写入分布式数据库Hbase中的监控数据明细表中；
控制模块，用于当确定出存储所述监控数据明细表的集群服务器的存储负载超过预设负载阈值时，新增用于存储所述监控数据明细表的集群服务器。
进一步，所述系统还包括：
配置模块，用于预先配置所述Hbase中的第一元数据表；所述第一元数据表中存储有所有用于存储监控数据明细表的集群服务器的设备标识信息，所述监控数据明细表与所述第一元数据表通过设备标识信息相关联；
所述写入模块，还用于当新增用于存储监控数据明细表的集群服务器时，将所述新增的集群服务器的设备标识信息添加到所述第一数据表中。
进一步，所述配置模块，还用于预先配置Hbase中的第二元数据表；所述第二元数据表存储有各监控指标信息，所述监控数据明细表与所述第二元数据表通过监控指标信息相关联；
所述写入模块，还用于当新增监控指标信息时，将所述新增的监控指标信息添加到所述第二数据表中。
进一步，所述系统还包括：
备份模块，用于将所述第一元数据表、所述第二元数据表或所述监控数据明细表中存储的数据备份到所述Hbase中的分布式文件系统HDFS文件。
进一步，所述系统还包括：
处理模块，用于对所述第一元数据表、所述第二元数据表或所述监控数据明细表中存储的数据进行分析操作和/或查询操作与现有技术相比，本发明公开了一种数据存储方法，所述方法包括：
云平台获取各监控指标信息对应的监控数据并写入分布式数据库Hbase中的监控数据明细表中；当确定出存储所述监控数据明细表的集群服务器的存储负载超过预设负载阈值时，新增用于存储所述监控数据明细表的集群服务器。本发明的数据存储方法基于分布式数据库Hbase的存储特性，在集群服务器数据存储负载过高时扩充用于存储数据的集群服务器，可以实现存储量的横向扩展，从而满足更高数据存储量的需求，降低了监控数据的存储成本。
同时，本发明可以动态调整被监控对象以及动态调整监控指标，可以满足不同的监控需求；此外，本发明对数据进行查询、备份以及故障分析，从而预测并避免异常的发生。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例一的数据存储方法的流程图；
图2为本发明实施例一的数据存储系统的结构示意图；
图3为本发明实施例一的数据存储方法的数据表示意图；
图4为本发明实施例一的数据存储方法的界面示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
监控类数据具有如下几个特征：
(1)时序性，采集的数据必须加时间戳才有意义
(2)数据一次写入，永不修改
(3)监控指标可动态增减
(4)监控历史数据分析功能重要但非实时性
(5)采集周期相对稳定，数据读写压力均匀，不存在峰值
针对监控数据的上述特性，本发明提出了一种基于分布式存储系统HBase的数据存储方法，通过采用HBase作为监控数据的存储介质，从而实现了监控数据存储的横向扩展，提高了数据监控的性能。
如图1所示，本实施例提供一种数据存储方法，所述方法包括：
步骤S100：云平台获取各监控指标信息对应的监控数据并写入分布式数据库Hbase中的监控数据明细表中；
本实施例中，在向监控数据明细表中新增数据(CREATE)时，可以通过设置时间窗口，将一定时间范围内的监控数据批量插入监控数据明细表中。例如，每一分钟，将采集到的监控数据批量写于监控数据明细表。
步骤S101：当确定出存储所述监控数据明细表的集群服务器的存储负载超过预设负载阈值时，新增用于存储所述监控数据明细表的集群服务器。
本实施例中，可以由云平台的监控系统检测集群服务器的存储负载，当检测到存储监控数据明细表的集群服务器的存储负载超过预设负载阈值时，可以向集群维护人员发送提示。云平台根据集群维护人员选择的集群服务器新增用于存储所述监控数据明细表的集群服务器。
本实施例的数据存储方法基于分布式数据库Hbase的存储特性，在集群服务器数据存储负载过高时扩充用于存储数据的集群服务器，可以实现存储量的横向扩展，从而满足更高数据存储量的需求，降低了监控数据的存储成本。
进一步，所述方法还包括：
预先配置所述Hbase中的第一元数据表；所述第一元数据表中存储有所有用于存储监控数据明细表的集群服务器的设备标识信息，所述监控数据明细表与所述第一元数据表通过设备标识信息相关联；
当新增用于存储监控数据明细表的集群服务器时，将所述新增的集群服务器的设备标识信息添加到所述第一数据表中。
进一步，所述方法还包括：
预先配置Hbase中的第二元数据表；所述第二元数据表存储有各监控指标信息，所述监控数据明细表与所述第二元数据表通过监控指标信息相关联；
当新增监控指标信息时，将所述新增的监控指标信息添加到所述第二数据表中。
本实施例中，对于监控数据明细表，不需要进行更新数据操作(UPDATE)和删除数据操作(DELETE)；对于设备信息表和监控项信息表，则可以通过覆盖写操作实现数据的修改或删除。
本实施例通过动态调整被监控对象以及动态调整监控指标，可以满足不同的监控需求。
进一步，所述方法还包括：
将所述第一元数据表、所述第二元数据表或所述监控数据明细表中存储的数据备份到所述Hbase中的HDFS(Hadoop Distributed File System，分布式文件系统)文件。
本实施例中，可以对监控数据明细表存储的监控数据进行分析，总结异常发生的规律，从而预测并避免部分异常的发生。通常分析类数据需求不需要实时性，所以可以采用编程模型(MapReduce)进行离线数据分析。
本实施例中，监控数据包括生产类数据和分析类数据，由于生产类数据底层存储采用HDFS，且具有WAL(Write-Ahead Logging，预写日志系统)特性，多种机制防止数据的丢失；对于监控数据明细表中已经存储的数据，可以导出到HDFS文件中，从而减少生产系统的压力，同时还能保证生产类数据和分析类数据的关联分析。
进一步，所述方法还包括：
对所述第一元数据表、所述第二元数据表或所述监控数据明细表中存储的数据进行分析操作和/或查询操作。
通过指针或结构化查询语言SQL查找所述第一元数据表、第二元数据表和监控数据明细表中存储的数据。
本实施例中，在读取数据(READ)时，可以通过指定起始指针(startrow)和结束指针(endrow)，快速定位数据集；也可以通过phoenix等类SQL((Structured QueryLanguage，结构化查询语言)工具查询。
本实施例通过对数据进行查询、备份以及故障分析，可以预测并避免异常的发生。
如图2所示，本实施例还提供一种数据存储系统，设置于云平台，所述系统包括：
写入模块11，用于获取各监控指标信息对应的监控数据并写入分布式数据库Hbase中的监控数据明细表中；
控制模块12，用于当确定出存储所述监控数据明细表的集群服务器的存储负载超过预设负载阈值时，新增用于存储所述监控数据明细表的集群服务器。
进一步，所述系统还包括：
配置模块13，用于预先配置所述Hbase中的第一元数据表；所述第一元数据表中存储有所有用于存储监控数据明细表的集群服务器的设备标识信息，所述监控数据明细表与所述第一元数据表通过设备标识信息相关联；
所述写入模块11，还用于当新增用于存储监控数据明细表的集群服务器时，将所述新增的集群服务器的设备标识信息添加到所述第一数据表中。
进一步，所述配置模块13，还用于预先配置Hbase中的第二元数据表；所述第二元数据表存储有各监控指标信息，所述监控数据明细表与所述第二元数据表通过监控指标信息相关联；
所述写入模块11，还用于当新增监控指标信息时，将所述新增的监控指标信息添加到所述第二数据表中。
进一步，所述系统还包括：
备份模块14，用于将所述第一元数据表、所述第二元数据表或所述监控数据明细表中存储的数据备份到所述Hbase中的分布式文件系统HDFS文件。
进一步，所述系统还包括：
处理模块15，用于对所述第一元数据表、所述第二元数据表或所述监控数据明细表中存储的数据进行分析操作和/或查询操作。
本发明的数据存储方法基于分布式数据库Hbase的存储特性，在集群服务器数据存储负载过高时扩充用于存储数据的集群服务器，可以实现存储量的横向扩展，从而满足更高数据存储量的需求，降低了监控数据的存储成本。
同时，本发明可以动态调整被监控对象以及动态调整监控指标，可以满足不同的监控需求；此外，本发明对数据进行查询、备份以及故障分析，从而预测并避免异常的发生。
下面结合示例进一步说明本发明的数据存储方法。
如图3和图4所示，本示例把数据划分为明细数据和元数据两部分，明细数据存储在明细数据表(MonitorDetail)中，明细数据表用于记录每个监控项的所有指标在每个采集周期的明细信息。元数据存储在元数据表中，包括元数据表(MetricInfo)和元数据表(SampleInfo)，分别记录集群服务器的设备标识信息(Metric)和监控指标信息(Sample)。
例如，在云计算管理平台(OpenStack)集群监控中，可以通过Libvirt(开源的支持Linux下主流虚拟化工具的C函数库)对虚拟机的各项指标进行监控。其中，虚拟机的身份标识(id)，名称(name)等Metric信息记录在MetricInfo表中，虚拟机的CPU使用信息、内存使用信息、磁盘使用信息等监控指标信息(Sample)的描述信息记录在SampleInfo表中。
客户端按照定义的采集周期，定时采集所有虚拟机的Sample信息对应的监控数据，上传并写入到MonitorDetail表中。
通过上述数据模型进行监控数据的存储，可以动态增加用于存储数据的集群服务器，从而存储更多的数据；基于LSM(Log-Structured Merge，HBase的存储引擎)的特性，可以动态的增加或删除任意监控指标；基于HBase的rowkey索引具备的时间均匀的特性，可以避免HBase单点过热，同时可以快速定位任一时间任一Metric的监控信息。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种数据存储方法，其特征在于，所述方法包括：
云平台获取各监控指标信息对应的监控数据并写入分布式数据库Hbase中的监控数据明细表中；
当确定出存储所述监控数据明细表的集群服务器的存储负载超过预设负载阈值时，新增用于存储所述监控数据明细表的集群服务器。
2.如权利要求1所述的数据存储方法，其特征在于，所述方法还包括：
预先配置所述Hbase中的第一元数据表；所述第一元数据表中存储有所有用于存储监控数据明细表的集群服务器的设备标识信息，所述监控数据明细表与所述第一元数据表通过设备标识信息相关联；
当新增用于存储监控数据明细表的集群服务器时，将所述新增的集群服务器的设备标识信息添加到所述第一数据表中。
3.如权利要求2所述的数据存储方法，其特征在于，所述方法还包括：
预先配置Hbase中的第二元数据表；所述第二元数据表存储有各监控指标信息，所述监控数据明细表与所述第二元数据表通过监控指标信息相关联；
当新增监控指标信息时，将所述新增的监控指标信息添加到所述第二数据表中。
4.如权利要求3所述的数据存储方法，其特征在于，所述方法还包括：
将所述第一元数据表、所述第二元数据表或所述监控数据明细表中存储的数据备份到所述Hbase中的分布式文件系统HDFS文件。
5.如权利要求3或4所述的数据存储方法，其特征在于，所述方法还包括：
对所述第一元数据表、所述第二元数据表或所述监控数据明细表中存储的数据进行分析操作和/或查询操作。
6.一种数据存储系统，设置于云平台，其特征在于，所述系统包括：
写入模块，用于获取各监控指标信息对应的监控数据并写入分布式数据库Hbase中的监控数据明细表中；
控制模块，用于当确定出存储所述监控数据明细表的集群服务器的存储负载超过预设负载阈值时，新增用于存储所述监控数据明细表的集群服务器。
7.如权利要求6所述的数据存储系统，其特征在于，所述系统还包括：
配置模块，用于预先配置所述Hbase中的第一元数据表；所述第一元数据表中存储有所有用于存储监控数据明细表的集群服务器的设备标识信息，所述监控数据明细表与所述第一元数据表通过设备标识信息相关联；
所述写入模块，还用于当新增用于存储监控数据明细表的集群服务器时，将所述新增的集群服务器的设备标识信息添加到所述第一数据表中。
8.如权利要求7所述的数据存储系统，其特征在于：
所述配置模块，还用于预先配置Hbase中的第二元数据表；所述第二元数据表存储有各监控指标信息，所述监控数据明细表与所述第二元数据表通过监控指标信息相关联；
所述写入模块，还用于当新增监控指标信息时，将所述新增的监控指标信息添加到所述第二数据表中。
9.如权利要求8所述的数据存储系统，其特征在于，所述系统还包括：
备份模块，用于将所述第一元数据表、所述第二元数据表或所述监控数据明细表中存储的数据备份到所述Hbase中的分布式文件系统HDFS文件。
10.如权利要求8或9所述的数据存储系统，其特征在于，所述系统还包括：
处理模块，用于对所述第一元数据表、所述第二元数据表或所述监控数据明细表中存储的数据进行分析操作和/或查询操作。
CN201710592198.0A 2017-07-19 2017-07-19 一种数据存储方法及系统 Pending CN107357915A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710592198.0A CN107357915A (zh) 2017-07-19 2017-07-19 一种数据存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710592198.0A CN107357915A (zh) 2017-07-19 2017-07-19 一种数据存储方法及系统

Publications (1)

Publication Number Publication Date
CN107357915A true CN107357915A (zh) 2017-11-17

Family

ID=60284786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710592198.0A Pending CN107357915A (zh) 2017-07-19 2017-07-19 一种数据存储方法及系统

Country Status (1)

Country Link
CN (1) CN107357915A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359118A (zh) * 2018-08-31 2019-02-19 阿里巴巴集团控股有限公司 一种数据写入方法及装置
CN113641552A (zh) * 2021-07-22 2021-11-12 杭州朗澈科技有限公司 监控数据采集横向扩展方法、系统、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100161565A1 (en) * 2008-12-18 2010-06-24 Electronics And Telecommunications Research Institute Cluster data management system and method for data restoration using shared redo log in cluster data management system
CN102223254A (zh) * 2011-06-17 2011-10-19 南京中兴新软件有限责任公司 监控系统及方法
CN105589910A (zh) * 2014-12-31 2016-05-18 中国银联股份有限公司 基于HBase的海量交易数据检索及系统
CN106021284A (zh) * 2016-04-29 2016-10-12 乐视控股（北京）有限公司 数据查询方法、数据监测方法及装置
CN106503276A (zh) * 2017-01-06 2017-03-15 山东浪潮云服务信息科技有限公司 一种用于实时监控系统的时间序列数据库的方法与装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100161565A1 (en) * 2008-12-18 2010-06-24 Electronics And Telecommunications Research Institute Cluster data management system and method for data restoration using shared redo log in cluster data management system
CN102223254A (zh) * 2011-06-17 2011-10-19 南京中兴新软件有限责任公司 监控系统及方法
CN105589910A (zh) * 2014-12-31 2016-05-18 中国银联股份有限公司 基于HBase的海量交易数据检索及系统
CN106021284A (zh) * 2016-04-29 2016-10-12 乐视控股（北京）有限公司 数据查询方法、数据监测方法及装置
CN106503276A (zh) * 2017-01-06 2017-03-15 山东浪潮云服务信息科技有限公司 一种用于实时监控系统的时间序列数据库的方法与装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359118A (zh) * 2018-08-31 2019-02-19 阿里巴巴集团控股有限公司 一种数据写入方法及装置
CN109359118B (zh) * 2018-08-31 2021-06-01 创新先进技术有限公司 一种数据写入方法及装置
CN113641552A (zh) * 2021-07-22 2021-11-12 杭州朗澈科技有限公司 监控数据采集横向扩展方法、系统、电子设备和存储介质
CN113641552B (zh) * 2021-07-22 2023-12-05 深圳软通动力信息技术有限公司 监控数据采集横向扩展方法、系统、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US10614050B2 (en) Managing object requests via multiple indexes
US10248676B2 (en) Efficient B-Tree data serialization
CN109952564B (zh) 数据库系统中测试数据的形成与操纵
US9606921B2 (en) Granular creation and refresh of columnar data
US20180067962A1 (en) Consistent execution of partial queries in hybrid dbms
US11526465B2 (en) Generating hash trees for database schemas
CN109684416A (zh) 一种高并发实时历史数据存储系统
US20170068675A1 (en) Method and system for adapting a database kernel using machine learning
US10860562B1 (en) Dynamic predicate indexing for data stores
CN111046036A (zh) 数据同步方法、装置、系统及存储介质
WO2023103626A1 (zh) 数据降采样和数据查询方法、系统及存储介质
US20150081745A1 (en) Database insert with deferred materialization
JP2018511861A (ja) 分散データベースにおけるデータブロックを処理する方法およびデバイス
Kalavri et al. Block sampling: Efficient accurate online aggregation in mapreduce
CN106780157B (zh) 基于Ceph的电网多时态模型存储与管理系统及方法
KR20160012388A (ko) 파일 단위 순서 모드 저널링 기법을 이용한 fsync 시스템 호출 처리 장치 및 방법
CN107357915A (zh) 一种数据存储方法及系统
US10558636B2 (en) Index page with latch-free access
US7275065B2 (en) Method and system for supporting per-user-per-row read/unread tracking for relational databases
CN109101644A (zh) 一种动静态日志文件扫描采集方法
Zhou et al. An ETL strategy for real-time data warehouse
CN115470192A (zh) 一种数据库元数据采集与管理的方法
EP4336375A1 (en) Data processing method and apparatus
CN111258977A (zh) 一种税务大数据存储及分析平台
US20220358095A1 (en) Managing data requests to a data shard

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171117

RJ01 Rejection of invention patent application after publication