CN106383893A - 时间序列数据管理方法及系统 - Google Patents

时间序列数据管理方法及系统 Download PDF

Info

Publication number
CN106383893A
CN106383893A CN201610848813.5A CN201610848813A CN106383893A CN 106383893 A CN106383893 A CN 106383893A CN 201610848813 A CN201610848813 A CN 201610848813A CN 106383893 A CN106383893 A CN 106383893A
Authority
CN
China
Prior art keywords
buffering area
data
time series
write
described buffering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610848813.5A
Other languages
English (en)
Inventor
姜宇祥
熊斌
陈寅森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ctrip Business Co Ltd
Original Assignee
Shanghai Ctrip Business Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ctrip Business Co Ltd filed Critical Shanghai Ctrip Business Co Ltd
Priority to CN201610848813.5A priority Critical patent/CN106383893A/zh
Publication of CN106383893A publication Critical patent/CN106383893A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种时间序列数据管理方法及系统，其中时间序列数据管理方法包括：表对象从缓冲区池中获取缓冲区对象；向所述表对象写入数据的数据缓存在缓冲区中，并在所述缓冲区中进行排序；在所述缓冲区写满后，所述缓冲区对象进入插入队列，并将所述缓冲区中的数据写入文件中，并将所述缓冲区对象放回所述缓冲区池。本发明弥补了现有的时间序列数据库使用难度大的不足，利用mysql的框架，实现SQL标准化操作，极好的提高用户使用的感受，极大的提高机器的CPU资源，磁盘资源，极大的降低了程序员的开发难度，所有操作符合mysql存储引擎规范；使用新的存储结构，较好地提高写入和查询效率。

Description

时间序列数据管理方法及系统
技术领域
本发明涉及一种时间序列数据管理方法及系统。
背景技术
现在有很多种时间序列数据库，如：influxDB，opentsdb，graphite，缺点是：非SQL型解决方案，每个时间序列数据库采用独立的接口；部署复杂，需要重新积累运维经验。
发明内容
本发明要解决的技术问题是现有的时间序列数据库使用难度大的缺陷，提供一种时间序列数据管理方法及系统。
本发明是通过以下技术方案解决上述技术问题的：
一种时间序列数据管理方法，包括：
表对象从缓冲区池中获取缓冲区对象；
向所述表对象写入数据的数据缓存在缓冲区中，并在所述缓冲区中进行排序；
在所述缓冲区写满后，所述缓冲区对象进入插入队列，并将所述缓冲区中的数据写入文件中，并将所述缓冲区对象放回所述缓冲区池。
较佳地，所述时间序列数据管理方法还包括：
对所述缓冲区中的数据进行预处理并生成索引。
较佳地，所述时间序列数据管理方法还包括：
在所述缓冲区写满后，向所述表对象写入数据的数据缓存在新的缓冲区。
较佳地，所述时间序列数据管理方法通过以下步骤判断所述缓冲区是否写满：
判断所述缓冲区的数据是否达到阈值，若是，所述缓冲区已写满，若否，所述缓冲区未写满。
一种时间序列数据管理系统，包括：
表对象，用于从所述缓冲区池中获取缓冲区对象；
缓冲区，用于缓存向所述表对象写入数据的数据，并进行排序；
在所述缓冲区写满后，所述缓冲区对象进入插入队列，所述插入队列用于将所述缓冲区中的数据写入文件中，并将所述缓冲区对象放回所述缓冲区池。
较佳地，所述缓冲区还用于对所述缓冲区中的数据进行预处理并生成索引。
较佳地，在所述缓冲区写满后，向所述表对象写入数据的数据缓存在新的缓冲区。
较佳地，所述缓冲区还用于判断所述缓冲区的数据是否达到阈值，若是，所述缓冲区已写满，若否，所述缓冲区未写满。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：本发明能够提高数据插入效率，降低程序员使用时间序列数据库的难度，简化数据操作。
附图说明
图1为本发明实施例的时间序列数据管理方法的示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例
一种时间序列数据管理方法，如图1所示，包括：
表对象1从缓冲区池2中获取缓冲区对象；向所述表对象1写入数据的数据(即图1中的行数据)缓存在缓冲区3中，对所述缓冲区3中的数据进行预处理并生成索引，并在所述缓冲区3中进行排序。若在表对象的数量超过一个，则每个表对象分别从所述缓冲区池2中获取一个缓冲区对象，向各表对象写入数据的数据分别缓存在对应的缓冲区中，然后各缓冲区分别对各自的数据进行预处理并生成索引，以及排序。
通过以下步骤判断所述缓冲区2是否写满：判断所述缓冲区3的数据是否达到阈值，若是，所述缓冲区3已写满，若否，所述缓冲区3未写满。
在所述缓冲区3写满后，所述缓冲区对象进入插入队列4，并将所述缓冲区3中的数据写入文件5中，并将所述缓冲区对象放回所述缓冲区池2，向所述表对象写入数据的数据缓存在新的缓冲区。
本实施例的时间序列数据管理系统，包括：
表对象，用于从所述缓冲区池中获取缓冲区对象；
缓冲区，用于缓存向所述表对象写入数据的数据，对所述缓冲区中的数据进行预处理并生成索引并进行排序；
所述缓冲区还用于判断所述缓冲区的数据是否达到阈值，若是，所述缓冲区已写满，若否，所述缓冲区未写满。
在所述缓冲区写满后，所述缓冲区对象进入插入队列，所述插入队列用于将所述缓冲区中的数据写入文件中，并将所述缓冲区对象放回所述缓冲区池，向所述表对象写入数据的数据缓存在新的缓冲区。
本发明可以利用mysql(一个关系型数据库管理系统)的框架，实现SQL(结构化查询语言)标准化操作，极好的提高用户使用的感受；以表对象和缓冲区为核心，行数据并发写入表对象的缓冲区中，并在缓冲区中进行数据的预处理工作，并发的组织数据，极大的提高机器的CPU资源，磁盘资源。将时间序列的数据操作SQL标准化，极大的降低了程序员的开发难度，所有操作符合mysql存储引擎规范，降低运维人员的工作难度；使用新的存储结构，较好地提高写入和查询效率。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应在理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (8)

1.一种时间序列数据管理方法，其特征在于，包括：
表对象从缓冲区池中获取缓冲区对象；
向所述表对象写入数据的数据缓存在缓冲区中，并在所述缓冲区中进行排序；
在所述缓冲区写满后，所述缓冲区对象进入插入队列，并将所述缓冲区中的数据写入文件中，并将所述缓冲区对象放回所述缓冲区池。
2.如权利要求1所述的时间序列数据管理方法，其特征在于，所述时间序列数据管理方法还包括：
对所述缓冲区中的数据进行预处理并生成索引。
3.如权利要求1所述的时间序列数据管理方法，其特征在于，所述时间序列数据管理方法还包括：
在所述缓冲区写满后，向所述表对象写入数据的数据缓存在新的缓冲区。
4.如权利要求1所述的时间序列数据管理方法，其特征在于，所述时间序列数据管理方法通过以下步骤判断所述缓冲区是否写满：
判断所述缓冲区的数据是否达到阈值，若是，所述缓冲区已写满，若否，所述缓冲区未写满。
5.一种时间序列数据管理系统，其特征在于，包括：
表对象，用于从所述缓冲区池中获取缓冲区对象；
缓冲区，用于缓存向所述表对象写入数据的数据，并进行排序；
在所述缓冲区写满后，所述缓冲区对象进入插入队列，所述插入队列用于将所述缓冲区中的数据写入文件中，并将所述缓冲区对象放回所述缓冲区池。
6.如权利要求5所述的时间序列数据管理系统，其特征在于，所述缓冲区还用于对所述缓冲区中的数据进行预处理并生成索引。
7.如权利要求5所述的时间序列数据管理系统，其特征在于，在所述缓冲区写满后，向所述表对象写入数据的数据缓存在新的缓冲区。
8.如权利要求5所述的时间序列数据管理系统，其特征在于，所述缓冲区还用于判断所述缓冲区的数据是否达到阈值，若是，所述缓冲区已写满，若否，所述缓冲区未写满。
CN201610848813.5A 2016-09-23 2016-09-23 时间序列数据管理方法及系统 Pending CN106383893A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610848813.5A CN106383893A (zh) 2016-09-23 2016-09-23 时间序列数据管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610848813.5A CN106383893A (zh) 2016-09-23 2016-09-23 时间序列数据管理方法及系统

Publications (1)

Publication Number Publication Date
CN106383893A true CN106383893A (zh) 2017-02-08

Family

ID=57935921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610848813.5A Pending CN106383893A (zh) 2016-09-23 2016-09-23 时间序列数据管理方法及系统

Country Status (1)

Country Link
CN (1) CN106383893A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694113A (zh) * 2017-03-31 2018-10-23 阿自倍尔株式会社 时间序列数据记录方法以及装置
CN108959124A (zh) * 2018-05-04 2018-12-07 广东睿江云计算股份有限公司 基于动态缓冲的虚拟机磁盘复制过程写入方法及装置
CN110362572A (zh) * 2019-06-25 2019-10-22 浙江邦盛科技有限公司 一种基于列式存储的时序数据库系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1901548A (zh) * 2006-07-26 2007-01-24 白杰 缓冲区管理方法
CN101834801B (zh) * 2010-05-20 2012-11-21 哈尔滨工业大学 基于缓冲池的数据缓存排序在线处理方法
CN103580910A (zh) * 2012-08-07 2014-02-12 美国博通公司 缓冲区统计数据的跟踪

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1901548A (zh) * 2006-07-26 2007-01-24 白杰 缓冲区管理方法
CN101834801B (zh) * 2010-05-20 2012-11-21 哈尔滨工业大学 基于缓冲池的数据缓存排序在线处理方法
CN103580910A (zh) * 2012-08-07 2014-02-12 美国博通公司 缓冲区统计数据的跟踪

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张元: "《操作系统原理及应用》", 31 July 2013 *
戴则梅 等: "电网广域监测系统的数据库集成方案", 《江苏电机工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694113A (zh) * 2017-03-31 2018-10-23 阿自倍尔株式会社 时间序列数据记录方法以及装置
CN108959124A (zh) * 2018-05-04 2018-12-07 广东睿江云计算股份有限公司 基于动态缓冲的虚拟机磁盘复制过程写入方法及装置
CN110362572A (zh) * 2019-06-25 2019-10-22 浙江邦盛科技有限公司 一种基于列式存储的时序数据库系统
CN110362572B (zh) * 2019-06-25 2022-07-01 浙江邦盛科技股份有限公司 一种基于列式存储的时序数据库系统

Similar Documents

Publication Publication Date Title
US11762882B2 (en) System and method for analysis and management of data distribution in a distributed database environment
CN106168965B (zh) 知识图谱构建系统
CN103714009B (zh) 一种GPU上基于内存统一管理的MapReduce实现方法
CN105373607B (zh) 一种电力业务系统sql访问日志压缩方法
CN104572895A (zh) MPP数据库与Hadoop集群数据互通方法、工具及实现方法
CN108334596B (zh) 一种面向大数据平台的海量关系数据高效并行迁移方法
CN103729453A (zh) 一种HBase表联合查询优化的方法
CN106528898A (zh) 将非关系型数据库数据转换到关系型数据库的方法及装置
WO2019228015A1 (zh) 基于移动端NoSQL数据库的索引创建方法及装置
CN106383893A (zh) 时间序列数据管理方法及系统
Zhang et al. Oceanrt: Real-time analytics over large temporal data
CN112487161A (zh) 一种面向企业需求的专家推荐方法、装置、介质及设备
Li et al. Bohr: similarity aware geo-distributed data analytics
CN108255852B (zh) Sql执行方法及装置
CN103377292B (zh) 数据库结果集缓存方法及设备
KR101955376B1 (ko) 비공유 아키텍처 기반의 분산 스트림 처리 엔진에서 관계형 질의를 처리하는 방법, 이를 수행하기 위한 기록 매체 및 장치
CN102446167A (zh) 一种基于逻辑模板对复杂字符串逻辑处理的方法和装置
CN113468209A (zh) 一种电网监控系统高速内存数据库访问方法
US8832157B1 (en) System, method, and computer-readable medium that facilitates efficient processing of distinct counts on several columns in a parallel processing system
Li et al. Survey of performance comparison based on non relational database
Lou et al. Research on data query optimization based on SparkSQL and MongoDB
Xu et al. Banian: a cross-platform interactive query system for structured big data
CN110349635A (zh) 一种基因测序数据质量分数的并行压缩方法
CN103353891B (zh) 数据库管理系统及其数据处理方法
Wang et al. Event Indexing and Searching for High Volumes of Event Streams in the Cloud

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170208