CN106776823B - 一种时序数据管理方法、设备和装置 - Google Patents

一种时序数据管理方法、设备和装置 Download PDF

Info

Publication number
CN106776823B
CN106776823B CN201611056489.XA CN201611056489A CN106776823B CN 106776823 B CN106776823 B CN 106776823B CN 201611056489 A CN201611056489 A CN 201611056489A CN 106776823 B CN106776823 B CN 106776823B
Authority
CN
China
Prior art keywords
time series
series data
data
storage
storage location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611056489.XA
Other languages
English (en)
Other versions
CN106776823A (zh
Inventor
欧伟杰
陈志标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201611056489.XA priority Critical patent/CN106776823B/zh
Publication of CN106776823A publication Critical patent/CN106776823A/zh
Priority to PCT/CN2017/111921 priority patent/WO2018095299A1/zh
Application granted granted Critical
Publication of CN106776823B publication Critical patent/CN106776823B/zh
Priority to US16/420,482 priority patent/US11269902B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477Temporal data queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2264Multidimensional index structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474Sequence data queries, e.g. querying versioned data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/17Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • G06F17/175Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method of multidimensional data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种时序数据管理方法、设备和装置,属于数据库技术领域。该方法包括:接收用于查询第一对象的时序数据的数据查询请求,数据查询请求包括所述第一对象的标识;根据第一对象的标识,获取目标数据表中第一对象对应的第一时序数据,目标数据表中的多个对象与目标数据表中的时序数据一一对应;确定位置索引表中第一对象对应的第一存储位置中存储的第二存储位置,获取第二存储位置中存储的第一对象的第二时序数据以及第二时序数据对应的第三存储位置;根据第三存储位置,获取第一对象对应的其他时序数据。采用本发明,可以提高查询时序数据的效率。

Description

一种时序数据管理方法、设备和装置
技术领域
本发明涉及数据库技术领域,特别涉及一种时序数据管理方法、设备和装置。
背景技术
在电信业务质量管理、网络性能管理、互联网应用分析等多种领域需要对海量数据进行存储和操作,目前一般会采用数据表的形式对海量数据进行存储,数据表中可以包含非时序数据(比如,某对象对应的用户标识、性别、出生地等数据)和时序数据(比如,某对象在某一时段内的通话时长等数据,其中,某对象往往会对应有不同时段的多个时序数据),对数据的操作可以是数据查询操作。
目前,对时序数据进行存储和查询的方法往往是:每当接收到携带有某对象的时序数据的数据存储指令时,可以在数据表中新增加一行,可以将数据存储指令中携带的时序数据记录在该行中的对应位置,即该对象在数据表中会对应有多行数据,每行中的时序数据对应的时段不同,每当接收到用于查询某对象的时序数据的数据查询请求时,可以从第一行到最后一行查看数据表,确定该对象对应的所有行,并获取每行中的时序数据。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
基于上述查询时序数据的处理方式,查询某对象的时序数据时,需要对数据表进行逐行查看,直到查看到最后一行,往往数据表中的数据量非常大,从而,查询时序数据的效率较低。
发明内容
为了解决查询时序数据的效率较低的问题,本发明实施例提供了一种时序数据管理方法、设备和装置。
该技术方案如下:
第一方面,提供了一种时序数据管理方法,该方法可以用于查询对象的时序数据,该方法包括:接收用于查询第一对象的时序数据的数据查询请求,数据查询请求包括所述第一对象的标识;根据第一对象的标识,获取目标数据表中第一对象对应的第一时序数据,目标数据表中记录有多个对象对应的时序数据,多个对象与目标数据表中的时序数据一一对应;确定位置索引表中第一对象对应的第一存储位置中存储的第二存储位置,位置索引表用于记录目标数据表多个对象对应的多个时序数据的存储位置,其中,对于多个对象中的每一个对象,位置索引表中存储位置所指示的该对象的时序数据的时序在目标数据表中记录的该对象的时序数据之前;获取第二存储位置中存储的第一对象的第二时序数据以及第二时序数据对应的第三存储位置,第二时序数据的时序在第一时序数据之前,第三存储位置用于存储第一对象的第三时序数据以及第三时序数据对应的第四存储位置;根据第三存储位置,获取第一对象对应的其他时序数据。
本发明实施例中,目标数据表中只记录有每个对象的一个时序数据,当接收到用于查询第一对象的时序数据的数据查询请求时,可以在目标数据表中获取第一对象对应的第一时序数据,在位置索引表中第一对象对应的第一存储位置中存储的第二存储位置中,获取第一对象的第二时序数据和第二时序数据对应的第三存储位置,其中,第二时序数据的时序可以在第一时序数据之前,且第二时序数据的时序和第一时序数据的时序是相邻的,进而,根据第三存储位置,获取第一对象对应的其他时序数据。这样,在获取第一对象的时序数据时,只需要在目标数据表中获取到第一对象对应的时序数据,进而,可以直接在位置索引表中第一对象对应的第一存储位置中记录的存储位置,查询第一对象的其他时序数据,无需对数据表进行逐行查看,从而,提高了时序数据的查询效率。
另外,用于查询第一对象的时序数据的数据查询请求中还可以携带有查询时间信息,此种情况下,时序数据管理设备获取到第一对象对应的全部时序数据后,可以从中筛选出时间信息符合数据查询请求中携带的查询时间信息的时序数据。
在一种可能的实现方式中,根据第三存储位置,获取第一对象对应的其他时序数据,包括:获取第三存储位置中存储的第三时序数据和第三时序数据对应的第四存储位置;获取第四存储位置中存储的第四时序数据和第四时序数据对应的第五存储位置,直至获取到第一对象对应的全部时序数据。
本发明实施例中,位置索引表中记录的存储位置可以是与目标数据表中的对象一一对应的,即对于目标数据表中的每一个对象,位置索引表中只记录该对象对应的一个时序数据的存储位置。这样,当需要查找第一对象的时序数据时,根据位置索引表获取到第二时序数据和第三存储位置后,可以在第三存储位置中,获取第一对象的第三时序数据和第四存储位置,进而,可以在第四存储位置中获取第四时序数据和第五存储位置,直到获取到第一对象对应的全部时序数据。
第二方面,提供了一种时序数据管理方法,该方法用于存储各对象的时序数据,该方法包括:接收第一数据存储指令,其中,第一数据存储指令包括待存储的第一对象的第一时序数据以及第一对象的标识;根据第一对象的标识,确定目标数据表中记录的第一对象对应的第二时序数据,目标数据表中记录有多个对象对应的时序数据,多个对象与所述目标数据表中的时序数据一一对应;将目标数据表中的第二时序数据,替换为第一时序数据;将第二时序数据存储入第一数据存储块;在位置索引表中第一对象对应的第一存储位置中,存储第一数据存储块中第二时序数据所在的第二存储位置,第二时序数据的时序在第一时序数据之前,位置索引表用于存储目标数据表中多个对象对应的多个时序数据的存储位置,其中,对于多个对象中的每一个对象,位置索引表中所指示的该对象的时序数据的时序在目标数据表中记录的该对象的时序数据之前。
其中,第一数据存储块可以是目标数据表之外的数据存储块中的任一数据存储块,可以是一段连续的存储空间。
本发明实施例中,在对时序数据进行管理时,不再采用逐一增加的方式将所有时序数据都保存在目标数据表中,而是通过更新替换的方式,在目标数据表中只保存最新的一条时序数据,即每个对象在目标数据表中只对应有一行数据,被最新时序数据替换的时序数据则可以保存在目标数据表之外的至少一个数据存储块中,当需要查询第一对象的时序数据时,只需要在目标数据表中获取到第一对象对应的时序数据,进而,可以直接在位置索引表中第一对象对应的第一存储位置中记录的存储位置,查询第一对象的其他时序数据,无需对目标数据表进行逐行查看,从而,提高了时序数据的查询效率。
另外,第二时序数据的时序可以在第一时序数据之前,且第二时序数据的时序和第一时序数据的时序是相邻的。位置索引表中记录的存储位置可以是与目标数据表中的对象一一对应的,即对于目标数据表中的每一个对象,位置索引表中只记录该对象对应的一个时序数据的存储位置。
在一种可能的实现方式中,接收第一数据存储指令之前,还包括:接收第二数据存储指令,其中,第二数据存储指令包括待存储的第一对象的第二时序数据以及所述第一对象的标识;根据第一对象的标识,确定目标数据表中记录的第一对象对应的第三时序数据;将目标记录表中的第三时序数据替换为第二时序数据;将第三时序数据存储入第二数据存储块;在第一存储位置中,存储第二数据存储块中第三时序数据所在的第三存储位置。
在本发明实施例中,每当接收到携带有待存储的第一对象的时序数据的数据存储指令时,均可以将目标数据表中存储的第一对象对应的时序数据替换为数据存储指令中携带的时序数据。具体的,当目标数据表中第一对象对应的时序数据为第三时序数据,第二数据存储指令中携带的是第一对象的第二时序数据时,时序数据管理设备接收到第二数据存储指令后,可以将目标记录表中的第三时序数据替换为第二时序数据,以及可以将第三时序数据存储入第二数据存储块,其中,第二数据存储块与第一数据存储块可以是同一个数据存储块,也可以是不同的数据存储块,进而,可以在第一存储位置中,存储第二数据存储块中第三时序数据所在的第三存储位置。
在一种可能的实现方式中,将第二时序数据存储入第一数据存储块,包括:将第三存储位置和第二时序数据的映射关系存储入第一数据存储块,其中,映射关系包括所述第三存储位置和所述第二时序数据。
本发明实施例中,各个对象一般对应有的多个时序数据,为了保证可以获取到各个对象对应的全部时序数据,在对第二时序数据进行存储时,同时需要将被第二时序数据替换的第三时序数据的存储位置和第二时序数据的映射关系一起存储入第一数据存储块,确保了第二时序数据和第三时序数据之间的关联关系。这样,在查询第一对象的时序数据时,可以根据时序数据和被该时序数据替换的时序数据之间的关联关系,逐渐查找到第一对象对应的全部时序数据,无需对目标数据表进行逐行查看,从而,提高了时序数据的查询效率。
在一种可能的实现方式中,在位置索引表中第一对象对应的第一存储位置中,存储第一数据存储块中第二时序数据所在的第二存储位置,包括:将第一存储位置中存储的第三存储位置,替换为第二存储位置。
本发明实施例中,将目标数据表中的第三时序数据替换为第二时序数据时,位置索引表中第一对象对应的第一存储位置中可以记录有第三时序数据的存储位置,即第三存储位置,进而,当将目标数据表中的第二时序数据替换为第一时序数据时,可以将第一存储位置中记录的第三存储位置替换为第二时序数据当前的存储位置(即第二存储位置)。这样,位置索引表中只存储第一对象对应的一个时序数据的存储位置,其他时序数据的存储位置存储在数据存储块中,从而,查找第一对象对应的除第一时序数据之外的其他时序数据时,只需要在位置索引表中记录的存储位置中获取到第一对象对应的第二时序数据,进而,可以根据第二时序数据,查询第一对象的其他时序数据,无需对位置索引表进行逐行查看,从而,提高了时序数据的查询效率。
在一种可能的实现方式中,将第二时序数据存储入第一数据存储块,包括:在第一数据存储块的数据存储量达到存储上限的情况下,创建第三数据存储块,以及将第二时序数据存储入第三数据存储块;在第一数据存储块的数据存储量未达到存储上限的情况下,将第二时序数据存储入第一数据存储块。
本发明实施例中,在存储第二时序数据时,可以在第一数据存储块的数据存储量达到存储上限的情况下,创建新的数据存储块(即第三数据存储块),进而,将第二时序数据存储入第三数据存储块,在第一数据存储块的数据存储量未达到存储上限的情况下,可以将第二时序数据存储入第一数据存储块。这样,可以在已创建的数据存储块的数据存储量达到存储上限时,才去新的数据存储模块存储时序数据,已创建的数据存储块的数据存储量未达到存储上限时,依然在该数据存储块存储时序数据,进而,可以避免已创建的数据存储块出现剩余存储空间的问题,从而,可以提高存储空间的利用率。
在一种可能的实现方式中,将第二时序数据存储入第一数据存储块,包括:根据第二时序数据的时间信息,从目标数据表之外的至少一个数据存储块中,确定与第二时序数据的时间信息相匹配的第一数据存储块,至少一个数据块用于存储从目标数据表中替换出的时序数据;将第二时序数据存储入确定出的第一数据存储块。
其中,时间信息可以是时序数据的产生时间,也可以是时序数据的记录时间、也可以是时序数据的编辑时间,即时序数据的时间信息可以是上述三者中的一个。
本发明实施例中,目标数据表之外的至少一个数据存储块本身可以对应有时间信息,进而,在存储第二时序数据时,可以将其存储入与第二时序数据的时间信息相匹配的第一数据存储块。这样,可以将不同时间的时序数据保存在不同的数据存储块中,便于用户对特定时间区间范围内的时序数据的查找。
在一种可能的实现方式中,该方法还包括:每到预设的检测周期,可以对目标数据表之外的至少一个数据存储块中未进行持久化的数据存储块进行数据存储量检测;可以将未进行持久化的数据存储块中的数据存储量达到存储上限的数据存储块中的目标数据,按照更新时间由前至后的顺序,保存至持久化文件中。
其中,持久化可以是将存储在内存空间内的数据存储块中的数据,存储到可永久保存数据的存储设备(比如磁盘)中,持久化文件可以是可永久保存数据的存储设备中的文件。更新时间可以是数据存储块的数据存储量达到存储上限的时间。目标数据可以是数据存储块中存储的时序数据和时序数据对应的存储位置。
本发明实施例中,可以对各个数据存储块中的目标数据进行持久化处理,这样,避免了因系统故障异常原因导致的数据丢失问题,保证了数据存储的安全性和可靠性。
在一种可能的实现方式中,该方法还包括:当接收到数据恢复请求时,可以获取持久化文件中保存的目标数据;将待恢复的目标数据存储入内存中的数据存储块。
在一种可能的实现方式中,该方法还包括:每到预设的检测周期,可以获取位置索引表中相比于前一检测周期发生变化的各索引项;可以将获取的各索引项按更新时间由前至后的顺序依次保存至持久化文件中。
其中,索引项可以包括位置索引表中记录的存储位置与对象的映射关系。更新时间可以是索引项创建的时间,以及索引项中的存储位置的记录时间。
在本发明实施例中,可以对位置索引表中的各个索引项进行可持久化处理,避免了因系统故障异常原因导致的数据丢失问题,保证了数据存储的安全性和可靠性。
在一种可能的实现方式中,该方法还包括:在接收到数据恢复请求时,可以按照根更新时间由后至前的顺序,遍历持久化文件,依次获取持久化文件中保存的至少一个索引项;其中,当持久化文件中包括针对同一对象的多个索引项时,从针对同一对象的多个索引项中获取更新时间最新的索引项;将获取的至少一个索引项恢复至内存中。
第三方面,提供了一种时序数据管理设备,该设备可以包括处理器、存储器、收发器,存储器用于存储程序和数据,处理器被配置为执行存储器中存储的程序;处理器通过执行程序来实现上述第一方面以及第一方面各种可能的实现方式中所提供的时序数据管理方法,相关细节和技术效果参照第一方面及其各种实现方式,此处不再赘述。
第四方面,提供了一种时序数据管理设备,该设备可以包括处理器、存储器、收发器,存储器用于存储程序和数据,处理器被配置为执行存储器中存储的程序;处理器通过执行程序来实现上述第二方面以及第二方面各种可能的实现方式中所提供的时序数据管理方法,相关细节和技术效果参照第二方面及其各种实现方式,此处不再赘述。
第五方面,提供了一种时序数据管理装置,该装置用于查询对象的时序数据,该装置包括:接收模块,用于接收用于查询第一对象的时序数据的数据查询请求,数据查询请求包括第一对象的标识;获取模块,用于根据第一对象的标识,获取目标数据表中第一对象对应的第一时序数据,目标数据表中记录有多个对象对应的时序数据,多个对象与所述目标数据表中的时序数据一一对应;确定模块,用于确定位置索引表中第一对象对应的第一存储位置中存储的第二存储位置,位置索引表用于记录目标数据表多个对象对应的多个时序数据的存储位置,其中,对于多个对象中的每一个对象,位置索引表中存储位置所指示的该对象的时序数据的时序在目标数据表中记录的该对象的时序数据之前;获取模块,还用于获取第二存储位置中存储的第一对象的第二时序数据以及第二时序数据对应的第三存储位置,第二时序数据的时序在第一时序数据之前,第三存储位置用于存储第一对象的第三时序数据以及第三时序数据对应的第四存储位置;根据第三存储位置,获取第一对象对应的其他时序数据。
该装置包括的模块用于实现上述第一方面以及第一方面各种可能的实现方式中所提供的时序数据管理方法,相关细节和技术效果参照第一方面及其各种实现方式,此处不再赘述。
第六方面,提供了一种时序数据管理装置,该装置用于存储各对象的时序数据,该装置包括:接收模块,用于接收第一数据存储指令,其中,第一数据存储指令包括待存储的第一对象的第一时序数据以及第一对象的标识;确定模块,用于根据第一对象的标识,确定目标数据表中记录的第一对象对应的第二时序数据,目标数据表中记录有多个对象对应的时序数据,多个对象与目标数据表中的时序数据一一对应;替换模块,用于将目标数据表中的第二时序数据,替换为第一时序数据;存储模块,用于将第二时序数据存储入第一数据存储块;在位置索引表中第一对象对应的第一存储位置中,存储第一数据存储块中第二时序数据所在的第二存储位置,第二时序数据的时序在第一时序数据之前,位置索引表用于存储目标数据表中多个对象对应的多个时序数据的存储位置,其中,对于多个对象中的每一个对象,位置索引表中所指示的该对象的时序数据的时序在目标数据表中记录的该对象的时序数据之前。
该装置包括的模块用于实现第二方面以及第二方面各种可能的实现方式中所提供的时序数据管理方法,相关细节和技术效果参照第二方面及其各种实现方式,此处不再赘述。
本发明实施例提供的技术方案带来的有益效果是:
在本发明实施例中,在对时序数据进行管理时,不再采用逐一增加的方式将所有时序数据都保存在目标数据表中,而是通过更新替换的方式,在目标数据表中只保存最新的一条时序数据,即每个对象在目标数据表中只对应有一行数据,被替换的时序数据则可以保存在目标数据表之外的至少一个数据存储块中,当需要查询第一对象的时序数据时,只需要在目标数据表中获取到第一对象对应的时序数据,进而,可以直接在位置索引表中第一对象对应的第一存储位置中记录的存储位置,查询第一对象的其他时序数据,无需对目标数据表进行逐行查看,从而,提高了时序数据的查询效率。
附图说明
图1是一种现有的数据表的表结构示意图;
图2是本发明实施例中一种时序数据管理的系统架构图;
图3是本发明实施例中一种时序数据管理设备的结构框图;
图4是本发明实施例中一种时序数据管理方法的步骤流程图;
图5是本发明实施例中一种时序数据管理方法的步骤流程图;
图6是本发明实施例中一种时序数据管理装置的结构框图;
图7是本发明实施例中一种时序数据管理装置的结构框图;
图8是本发明实施例中一种时序数据管理装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
数据库是目前常用的一种数据存储方式,可以但不仅限于通过数据表的形式对各类数据进行存储。其中,按照数据的性质不同,可以但不仅限于将数据分为如下几类:时序数据、位置数据(指示事务坐标的数据,如:事务的二维坐标点、三维坐标点、位置描述信息等)和属性数据(指示事务属性的数据)。其中,所述时序数据(也即,时间序列数据)可以是指:某些与时间有关的属性在不同时间的不同取值,也就是说这些属性的值随着时间的变化而产生变化在不同时间针对同一属性的不同数据。例如,通话时长可以是时序数据的一种,也即,在不同时间针对“通话时长”这同一属性的不同数据记录。在数据库中,时序数据一般存储在数据库的数据表中的同一列中,例如,数据库中的某一列的列属性对应通话时长,则不同时间对应的各条通话时长数据可以保存在该列中。
参照图1,示出了一种现有的数据表的表结构示意图。在图1所示的数据表中,可以对不同用户的性别、年龄、通话时长和归属地等信息进行存储。其中,通话时长可以是时序数据的一种:同一用户在不同时间对应的通话时长不完全相同。而同一用户的性别、年龄和归属地等则可以是固定的数据。
在目前的数据表中,需要对各个用户对应的所有数据进行记录。例如,当新增一条用户A的通话时长,则需要在数据表中新增一行来对通话时长进行保存(如图1所示的数据表中的Row2、Row5和Row7)。
然而,在实际应用中,如在电信业务质量管理、网络性能管理、互联网应用分析等业务中,数据量是异常庞大的,每时每刻都会有大量的新数据产生,采用目前的数据管理方式,需要在数据表中不断的新增大量的行来对新数据进行记录,将导致整个数据表的数据存储量异常庞大、冗余。特别是,即使只是针对某一列中数据的更新,为了保证数据的完整性,也追加一行完整的记录。如图1中的第7行Row7,当用户A的通话时长有更新时,需要增加一个完整的行(Row7)来完成用户A的通话时长的更新,导致数据表中存储了对大量的重复数据,进一步增加了数据表中的数据存储量。
数据表的庞大冗余会导致诸多问题:在基于所述数据表进行数据查询时,需要对数据表进行完整的遍历,冗余的数据表会导致遍历时间的增加,导致查找效率低,且增加了这个系统的运行负担。特别是,当数据表是内存数据库中的数据表时,冗余的数据表会导致内存存储成本的增高,严重影响系统的运行效率。
参照图2,示出了本发明实施例中一种时序数据管理的系统架构图。在本发明的一种应用场景中,时序数据管理的系统架构至少可以包括:目标数据表、至少一个数据存储块(Segment)、位置索引表和持久化文件,其中,目标数据表可以是包含待存储的时序数据所属的属性的任一数据表。
图2中Column A是数据表中用于存储时序数据的时序数据列,Column A中的每一行作为一个对象,用于存储不同人或事务(可称为对象)的一条时序数据。在位置索引表中包括与Column A中各个对象相对应的存储位置,位置索引表可以用于记录目标数据表多个对象对应的多个时序数据的存储位置,其中,对于多个对象中的每一个对象,位置索引表中存储位置所指示的该对象的时序数据的时序在目标数据表中记录的该对象的时序数据之前。各个对象的被替换时序数据分别存储在所述数据表之外的至少一个数据存储块中。持久化文件可以用于对位置索引表中记录的存储位置和至少一个数据存储块中存储的时序数据进行持久化存储,提高了数据存储的安全性。其中,持久化文件可以是磁盘等永久记忆性存储器中的文件。
在本发明的一优选实施例中,该时序数据管理方法可以基于数据库管理系统来实现。其中,该数据库管理系统可以是基于软件实现的功能模块。
在本发明的一实施例中,数据库管理系统具体可以运行在一个时序数据管理设备上,比如可以是具有时序数据管理功能的终端或服务器。参照图3,示出了本发明实施例中一种时序数据管理设备的结构框图。时序数据管理设备至少可以包括:收发器301、处理器302和存储器303,其中,处理器302可以分别与收发器301和存储器303电性连接,图3中的连接方式只是示意性的一种,处理器、存储器和收发器的连接还可以是类似通用计算机架构中的连接,即处理器、存储器和收发器通过总线进行连接,本发明实施例不做限定。收发器301可以用于实现数据的发送和接收。存储器303可用于存储程序以及数据,处理器302通过运行存储在存储器303的程序,执行各种功能应用以及数据处理。存储器303可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据时序数据管理设备的使用所创建的数据(比如音频数据、电话本、时序数据等)等,存储数据区可以包括内存中的用于存储数据的数据存储块。此外,存储器303可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器303还可以包括存储器控制器,以提供处理器301和收发器301对存储器303的访问。处理器302是时序数据管理设备的控制中心,利用各种接口和线路连接整个时序数据管理设备的各个部分,通过运行或执行存储在存储器303内的软件程序和/或模块,以及调用存储在存储器303内的数据,执行时序数据管理设备的各种功能和处理数据,从而对时序数据管理设备进行整体监控。可选的,处理器302可包括一个或多个处理核心;优选的,处理器302可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器302中。
参照图4,示出了本发明实施例中一种时序数据管理方法的步骤流程图,该方法可以用于存储各对象的时序数据。在本本实施例中,所述时序数据管理方法包括:
步骤401,时序数据管理设备接收第一数据存储指令,其中,第一数据存储指令包括待存储的第一对象的第一时序数据以及第一对象的标识。
其中,第一对象可以是目标数据表中包含的多个对象中的一个,第一对象的标识可以目标数据表中记录的用户标识。
在实施中,时序数据管理设备中可以预先存储有目标数据表,其中,目标数据表中包括至少一个时序数据列(其中,时序数据列可以是时序数据所属的属性列)。时序数据管理设备中还预先存储有与目标数据表中的时序数据列相对应的位置索引表。
当有新的数据产生时,用户可以通过终端向时序数据管理设备发送数据存储指令(可以称为第一数据存储指令),其中,第一数据存储指令中可以携带有待存储的第一对象的第一时序数据以及第一对象的标识。时序数据管理设备接收到第一数据存储指令后,可以对其进行解析,获取其中携带的待存储的第一对象的第一时序数据以及第一对象的标识,其中,第一时序数据可以包含第一时序数据所属的属性和时序数据本身。
该步骤具体可以由收发器301实现。
步骤402,时序数据管理设备根据第一对象的标识,确定目标数据表中记录的第一对象对应的第二时序数据,目标数据表中记录有多个对象对应的时序数据,多个对象与目标数据表中的时序数据一一对应。
在实施中,时序数据管理设备获取到第一数据存储指令中携带的第一对象的标识和第一时序数据后,可以在目标数据表中,确定第一对象的标识所在的行,以及第一时序数据所属的属性所在的列,进而,可以将确定出的行和列中记录的数据确定为第一对象对应的第二时序数据。
步骤403,时序数据管理设备将目标数据表中的第二时序数据,替换为第一时序数据。
如前所述,在本实施例中,目标数据表中可以只存储各对象的最新的时序数据。各个对象的被替换数据可以存储在数据表之外的任意适当位置处。故,确定出第二时序数据后,可以将将目标数据表中存储的第一对象的第二时序数据,替换为第一时序数据。
该步骤具体可以由处理器302实现。
步骤404,时序数据管理设备将第二时序数据存储入第一数据存储块。
其中,第一数据存储块可以是内存中一段连续的存储空间。
步骤405,时序数据管理设备在位置索引表中第一对象对应的第一存储位置中,存储第一数据存储块中第二时序数据所在的第二存储位置,第二时序数据的时序在第一时序数据之前,位置索引表用于存储目标数据表中多个对象对应的多个时序数据的存储位置,其中,对于多个对象中的每一个对象,位置索引表中所指示的该对象的时序数据的时序在目标数据表中记录的该对象的时序数据之前。
其中,第一数据存储块可以是时序数据管理设备中包含的任意一个数据存储块。
在实施中,位置索引表中可以包含有目标索引表中各对象对应的索引项,其中,索引项可以包括某对象与该对象对应的其他时序数据的存储位置的映射关系,具体的,各索引项可以包含某对象的标识和该对象的其他时序数据的存储位置,其中,索引项中存储某对象的其他时序数据的存储位置的位置即是位置索引表中该对象对应的存储位置,也就是说,第一对象对应的第一索引项中存储第一对象的时序数据的存储位置的位置即是位置索引表中第一对象对应的第一存储位置。
将第一对象的第二时序数据存储入第一数据存储块后,时序数据管理设备可以确定位置索引表中第一对象的标识对应的第一存储位置,即可以在位置索引表中,确定第一对象的标识所在的索引项,进而,可以将第一数据存储块中第二时序数据所在的第二存储位置存储入第一存储位置。其中,第二时序数据的时序可以在第一时序数据之前,并且与第一时序数据的时序相邻(即在时序上,第二时序数据可以是第一时序数据的前一时序数据),位置索引表用于存储目标数据表中多个对象对应的多个时序数据的存储位置(更进一步的,位置索引表中记录的存储位置可以与各对象一一对应),对于多个对象中的每一个对象,位置索引表中所指示的该对象的时序数据的时序在目标数据表中记录的该对象的时序数据之前,更进一步的,在时序上,位置索引表中所指示的该对象的时序数据可以是目标数据表中记录的该对象的时序数据的前一时序数据。
该步骤具体可以由处理器302实现。
可选的,将第一对象的第二时序数据存储到目标数据表中的处理过程可以如下:接收第二数据存储指令,其中,第二数据存储指令包括待存储的第一对象的第二时序数据以及所述第一对象的标识;根据第一对象的标识,确定目标数据表中记录的第一对象对应的第三时序数据;将目标记录表中的第三时序数据替换为第二时序数据;将第三时序数据存储入第二数据存储块;在第一存储位置中,存储第二数据存储块中第三时序数据所在的第三存储位置。
在实施中,第二数据存储指令的接收时刻早于第一数据存储指令的接收时刻,当接收到第二数据存储指令时,目标数据表中记录的第一对象对应的时序数据为第三时序数据,其中,在时序上,第三时序数据可以是第二时序数据的前一时序数据。接收到第二数据存储指令后,时序数据管理设备可以将目标数据表中的第三时序数据替换为第二时序数据,并将被替换的第三时序数据存储入目标数据表之外的第二数据存储块,其中,第二数据存储块和第一数据存储块可以是同一个数据存储块,也可以是不同的数据存储块。将第三时序数据存储入第二数据存储块后,可以在第一存储位置中,存储第二数据存储块中第三时序数据所在的第三存储位置。
该步骤具体可以由收发器301和处理器302共同实现。
可选的,由于第一对象对应的其他时序数据可以是一个也可以是多个,当第一对象对应的其他时序数据为多个时,为了便于在后续对时序数据进行查询时,可以获取到第一对象的全部时序数据,在对第一对象的其他时序数据进行存储时,除了要对该时序数据本身进行存储之外,还需要对该时序数据在数据存储块中的存储位置进行存储。即在存储第二时序数据时,还可以将第三存储位置存储与其进行对应存储,相应的,步骤404的处理过程可以如下:将第三存储位置和第二时序数据的映射关系存储入第一数据存储块,其中,映射关系包括第三存储位置和第二时序数据。
在实施中,第二时序数据被替换后,时序数据管理设备还可以获取位置索引表中第一存储位置存储的第三存储位置,进而,可以将第三存储位置和第二时序数据的映射关系存储入第一数据存储块,其中,第二时序数据和第三存储位置可以作为一项,存储到第一数据存储块。其中,第三存储位置和第二时序数据可以作为二元组存储入第一数据存储块。
该处理过程具体可以由处理器302实现。
进一步的,在完成对第一对象的第二时序数据的存储之后,还需要对位置索引表中第一存储位置存储的数据进行更新,相应的,步骤405的处理过程可以如下:将第一存储位置中存储的第三存储位置,替换为第二存储位置。也就是说,位置索引表中记录的存储的位置与目标数据表中各对象一一对象,每当接收到对目标数据表中第一对象对应的时序数据更新时,相应的,可以对位置索引表中第一对象对应的第一存储位置中的数据进行更新。
该处理过程具体可以由处理器302实现。
可选的,在存储第二时序数据时,可以将其存储入数据存储量还未达到存储上限的数据存储块,相应的,步骤404的处理过程可以如下:在第一数据存储块的数据存储量达到存储上限的情况下,创建第三数据存储块,以及将第二时序数据存储入第三数据存储块;在第一数据存储块的数据存储量未达到存储上限的情况下,将第二时序数据存储入第一数据存储块。
在实施中,时序数据管理设备在目标数据表外存储第二时序数据时,可以首先判断当前是否存在数据存储量未达到存储上限的数据存储块,即可以判断第一数据存储块的数据存储量是否达到存储上限,若否,可以将第二时序数据存储到第一数据存储块中,若是,则可以创建第三数据存储块,以及将第二时序数据存储在第三数据存储块中。
该处理过程具体可以由处理器302实现。
可选的,图2所示的各个数据存储块可以对应有时间信息。例如,某一数据存储块对应的时间信息为:21:00-22:00,则可以储存在该数据存储块中的时序数据可以是时间信息在21:00-22:00时间区间内的时序数据,相应的,步骤404的处理过程可以如下:根据第二时序数据的时间信息,从目标数据表之外的至少一个数据存储块中,确定与第二时序数据的时间信息相匹配的第一数据存储块,至少一个数据块用于存储从目标数据表中替换出的时序数据;将第二时序数据存储入确定出的第一数据存储块。
其中,时序数据的时间信息可以该时序数据的产生时间(优选的,时序数据的时间信息可以该时序数据的产生时间)、也可以是该时序数据的编辑时间、也可以是该时序数据的记录时间。
在实施中,时序数据管理设备中可以预先存储有各个数据存储块对应的时间信息和时序数据的时间信息,其中,时序数据可以包含时序数据本身和时序数据的时间信息。时序数据管理设备将第二时序数据从目标数据表中替换出后,可以从所有数据存储块中,确定与第二时序数据的时间信息相匹配的第一数据存储块,其中,至少一个数据块用于存储从目标数据表中替换出的时序数据,进而,可以将第二时序数据存储入确定出的第一数据存储块。
该处理过程具体可以由处理器302实现。
进一步的,在本发明实施例中,为了保证数据存储的安全性和可靠性,可以对数据存储块中的目标数据、和/或位置索引表中的各索引项(各对象与时序数据的存储位置的映射关系)进行持久化处理。
具体的,对数据存储块中的目标数据进行持久化处理的处理过程可以如下:每到预设的检测周期,对目标数据表之外的至少一个数据存储块中未进行持久化的数据存储块进行数据存储量检测,将未进行持久化的数据存储块中的数据存储量达到存储上限的数据存储块中的目标数据,按照更新时间由前至后的顺序,保存至持久化文件中。
其中,持久化可以是将存储在内存空间内的数据存储块中的数据,存储到可永久保存数据的存储设备(比如磁盘)中,持久化文件可以是可永久保存数据的存储设备中的文件。更新时间可以是数据存储块的数据存储量达到存储上限的时间。目标数据可以是数据存储块中存储的时序数据和时序数据对应的存储位置。
在实施中,每到预设的检测周期,时序数据管理设备可以对目标数据表之外的至少一个数据存储块中还未进行持久化的数据存储块进行数据存储量检测,也就是说,时序数据管理设备可以对在当前检测周期之前进行过持久化之外的数据存储块进行数据存储量检测,判断这些数据存储块的数据存储量是否达到了存储量上限。当检测到某一数据存储块的数据存储量达到存储上限,则可以确定该某一数据存储块是一个完整的数据存储块,可以将该数据存储块按照该数据存储块中的目标数据对应的更新时间由前至后的顺序,保存至持久化文件中。例如,预设的检测周期为1小时,时序数据管理设备在9:00开始对目标数据表之外的数据存储块的进行数据存储量检测,目前已经存在的数据存储块为a、b、c,其中,a、b的数据存储量已经达到存储量上限,则时序数据管理设备可以在9:00对目标数据表之外的所有数据存储块进行数据存储量检测,此时,将会检测到a、b的数据存储量达到了存储上限,进而,时序数据管理设备可以将a、b中的目标数据保存到持久化文件中。然后,可以在10:00对a、b之外的数据存储块进行数据存储量检测,当检测到有数据存储量达到存储上限的数据存储块时,可以按照更新时间由前至后的顺序,将其存储入持久化文件中,并位于a、b中的数据之后。另外,在对数据存储块中的目标数据进行持久化处理时,还可以将目标数据的存储位置(即目标数据所在的数据存储块)进行持久化处理,即在进行持久化处理时,还可以将数据存储块的标识(即数据存储块对应的地址)进行存储。
该步骤具体可以由处理器302实现。
可选的,时序数据管理设备还可以将持久化文件中的数据恢复到内存中的数据存储块中,相应的,处理过程可以如下:当接收到数据恢复请求时,可以获取持久化文件中保存的目标数据;将待恢复的目标数据存储入内存中的数据存储块。
在本实施例中,当系统故障恢复重启时,可以根据重启时生成的数据恢复请求,从持久化文件中,将待恢复的目标数据存储入内存中的数据存储块。避免了因系统故障异常原因导致的数据丢失问题,保证了数据存储的安全性和可靠性。
该步骤具体可以由处理器302实现。
可选的,数据恢复请求中还可以携带有时间信息,相应的,处理过程可以如下:时序数据管理设备根据待恢复的目标数据的时间信息,从获取的待恢复的目标数据中,筛选得到符合数据恢复请求中携带的时间信息的待恢复的目标数据。其中,目标数据的时间信息可以是目标数据中的时序数据的时间信息。
在本发明的一应用场景中,时序数据管理设备可以直接将获取的目标数据全部恢复至内存中。
在本发明的一应用场景中,为了避免将过期失效的目标数据也恢复至内存的数据存储块中,可以从获取的全部数据中,筛选得到满足数据恢复请求中携带的时间信息的待恢复的目标数据。该步骤具体可以由处理器302实现。
可选的,时序数据管理设备还可以将持久化文件中的索引项恢复到内存中,相应的,处理过程可以如下:时序数据管理设备每到预设的检测周期,获取位置索引表中相比于前一检测周期发生变化的各索引项,将获取的各索引项按更新时间由前至后的顺序依次保存至持久化文件中。该步骤具体可以由处理器302实现。
其中,更新时间可以是索引项创建的时间,以及索引项中的存储位置的记录时间。
如前所述,当有时序数据存储更新时,各对象对应的索引项中的信息也会对应更新,如,在将目标数据表中存储的第一对象的第二时序数据,替换为第一时序数据时,需要将位置索引表中的第一索引项中记录的第三存储位置替换为第二存储位置。也即,针对位置索引表中的某一对象,在不同时间,位置索引表中该对象对应的存储位置可能发生变化。在进行持久化保存时,需要对同一对象的每个存储位置发生变化的索引项分别进行持久化保存。
可选的,在接收到数据恢复请求时,时序数据管理设备按照更新时间由后至前的顺序遍历持久化文件,依次获取持久化文件中保存的至少一个索引项,将获取的至少一个索引项恢复至内存中。该步骤具体可以由处理器302实现。
如前所述,针对同一对象,持久化文件中可能保存有其在多个不同时间的索引项,也即,针对同一对象可以对应有多个不同时间更新的索引项。其中,当持久化文件中包括针对同一对象的多个索引项时,可以从针对同一对象的多个索引项中获取更新时间最新的索引项。
在基于上述步骤401-405实现的时序数据的存储的基础上,用户还可以实现对时序数据的查询。上述时序数据管理方法还可以用于查询对象的时序数据,如图5所示。
步骤501,时序数据管理设备接收用于查询第一对象的时序数据的数据查询请求,数据查询请求包括第一对象的标识。
在实施中,当用户需要查找某对象(即第一对象)的时序数据时,可以通过操作,触发与时序数据管理设备可以通信的终端向时序数据管理设备发送用于查询第一对象的时序数据的数据查询请求,其中,数据查询请求中可以携带有第一对象的标识。相应的,时序数据管理设备可以接收数据查询请求,并对其进行解析,获取其中携带的第一对象的标识。
该步骤具体可以由收发器301实现。
步骤502,时序数据管理设备根据第一对象的标识,获取目标数据表中第一对象对应的第一时序数据,目标数据表中记录有多个对象对应的时序数据,多个对象与目标数据表中的时序数据一一对应。
该步骤具体可以由处理器302实现。
步骤503,时序数据管理设备确定位置索引表中第一对象对应的第一存储位置中存储的第二存储位置,位置索引表用于记录目标数据表多个对象对应的多个时序数据的存储位置,其中,对于多个对象中的每一个对象,位置索引表中存储位置所指示的该对象的时序数据的时序在所述目标数据表中记录的该对象的时序数据之前。
该步骤具体可以由处理器302实现。
步骤504,时序数据管理设备获取第二存储位置中存储的第一对象的第二时序数据以及第二时序数据对应的第三存储位置,第二时序数据的时序在第一时序数据之前,第三存储位置用于存储第一对象的第三时序数据以及第三时序数据对应的第四存储位置。
该步骤具体可以由处理器302实现。
步骤505,时序数据管理设备根据第三存储位置,获取第一对象对应的其他时序数据。
该步骤具体可以由处理器302实现。
可选的,时序数据管理设备可以按照如下处理过程,获取第一对象对应的其他时序数据,具体如下:获取第三存储位置中存储的第三时序数据和第三时序数据对应的第四存储位置;获取第四存储位置中存储的第四时序数据和第四时序数据对应的第五存储位置,直至获取到第一对象对应的全部时序数据。
在实施中,时序数据管理设备获取到第二时序数据对应的第三存储位置后,可以获取第三存储位置中的存储的第三时序数据和第三时序数据对应的第四存储位置,其中,第四存储位置可以用于存储第四时序数据和第四时序数据对应的第五存储位置,第四时序数据可以是被第三时序数据替换的时序数据,在时序上,第四时序数据可以是第三时序数据的前一时序数据。获取到第四存储位置后,可以获取第四存储位置中存储的第四时序数据和第四时序数据对应的第五存储位置,其中,第五时序数据可以是被第四时序数据替换的时序数据,在时序上,第五时序数据可以是第四时序数据的前一时序数据,直至获取到第一对象对应的全部时序数据。
该步骤具体可以由处理器302实现。
可选的,数据查询请求中还可以携带有查询时间信息,相应的处理过程可以如下:从获取的第一对象的第一时序数据、第二时序数据和获取的第一对象的其他时序数据中,筛选出查询结果,其中,查询结果中的时序数据的时间信息符合数据查询请求中携带的查询时间信息。
该步骤具体可以由处理器302实现。
为了便于理解,下面以一个完整的、针对第一对象的时序数据的存储和查询流程为例,对该时序管理方法进行详细说明。其中,第一对象对应的时序数据包括:第一时序数据、第二时序数据、第三时序数据、···、第n-1时序数据和第n时序数据。其中,n可以是大于或等于2的整数。
在存储阶段:
在初始阶段,数据表中存储的第一对象的时序数据为第n时序数据。此时,第一对象在位置索引表中不存在对应的索引项。
在第一次存储更新过程中,接收到携带有待存储的第一对象的第n-1时序数据的数据存储指令。此时,可以将目标数据表中存储的第一对象的第n时序数据,替换为第n-1时序数据,并将第n时序数据存储至数据存储块中(其中,第n时序数据在数据存储块中的存储位置为位置A)。同时,在位置索引表中建立第一对象对应的第一索引项,在第一索引项中存储第一对象与位置A(位置A可以是具体的物理地址信息,也可以是逻辑存储地址信息)的映射关系。其中,需要说明的是,由于在第n时序数据之前不存在其他时序数据,故,在将第n时序数据存储至数据存储块中时,可以只存储第n时序数据本身。或者,也可以存储第n时序数据本身和一个初始地址;其中,初始地址可以为空。
在第二次存储更新过程中,接收到携带有待存储的第一对象的第n-2时序数据的数据存储指令。此时,可以将目标数据表中存储的第一对象的第n-1时序数据,替换为第n-2时序数据,并将第n-1时序数据存储至数据存储块中(其中,第n-1时序数据在数据存储块中的存储位置为位置B)。同时,对第一索引项中的存储位置进行更新:将位置A替换为位置B。其中,需要说明的是,在将第n-1时序数据存储至数据存储块中时,需要将第n-1时序数据本身和位置A的映射关系存储入数据存储块,其中,可以将第n-1时序数据本身和位置A作为二元组,或者将位置A作为第n-1时序数据的追加部分,存储入数据存储块。
参照上述流程,直至完成对第一时序数据的存储。
在查询阶段:
首先,可以直接从目标数据表中获取到第一对象的第一时序数据。
然后,可以根据第一索引项中记录的映射关系,确定映射关系中的第二存储位置,进而,从第二存储位置中获取第二时序数据。在从第二存储位置中获取第二时序数据的同时,获取与第二时序数据对应的用于指示第三时序数据的存储位置的第三存储位置。
再然后,在第三存储位置中,获取第三时序数据。
参照上述流程,直至完成对第n时序数据的获取。
本方案讲述的时序数据管理设备可以同时支持时序数据存储处理和时序数据查询处理。
需要说明的是,本发明实施例所述的时序数据管理方法,可以但不仅限于适用于内存数据库中的时序数据的管理、本发明实施例所述时序数据管理方法也适用于其他存储介质中对时序数据的管理。如,所述其他存储介质包括但不仅限于:磁盘、硬盘、非易失性随机访问存储器等。
本发明实施例中,在对时序数据进行管理时,不再采用逐一增加的方式将所有时序数据都保存在目标数据表中,而是通过更新替换的方式,在目标数据表中只保存最新的一条时序数据,即每个对象在目标数据表中只对应有一行数据,被替换的时序数据则可以保存在目标数据表之外的至少一个数据存储块中,当需要查询第一对象的时序数据时,只需要在目标数据表中获取到第一对象对应的时序数据,进而,可以直接在位置索引表中第一对象对应的第一存储位置中记录的存储位置,查询第一对象的其他时序数据,无需对目标数据表进行逐行查看,从而,提高了时序数据的查询效率。
参照图6,示出了本发明实施例中一种时序数据管理装置的结构框图。在本发明实施例中,所述时序数据管理装置可以通过软件、硬件或者两者的结合实现成为设备中的部分或者全部。本发明实施例提供的时序数据管理装置可以实现本发明实施例图4所述的流程,所述时序数据管理装置包括:
接收模块610,用于接收第一数据存储指令,其中,所述第一数据存储指令包括待存储的第一对象的第一时序数据以及所述第一对象的标识,具体可以实现上述步骤401中的接收功能,以及由设备接收信息的其他隐含步骤;
确定模块620,用于根据所述第一对象的标识,确定目标数据表中记录的所述第一对象对应的第二时序数据,所述目标数据表中记录有多个对象对应的时序数据,所述多个对象与所述目标数据表中的时序数据一一对应,具体可以实现上述步骤402中的确定功能,以及由设备确定信息的其他隐含步骤;
替换模块630,用于将所述目标数据表中的所述第二时序数据,替换为所述第一时序数据,具体可以实现上述步骤403中的替换功能,以及其他隐含步骤;
存储模块640,用于将所述第二时序数据存储入第一数据存储块;在位置索引表中所述第一对象对应的第一存储位置中,存储所述第一数据存储块中所述第二时序数据所在的第二存储位置,所述第二时序数据的时序在所述第一时序数据之前,所述位置索引表用于存储所述目标数据表中多个对象对应的多个时序数据的存储位置,其中,对于所述多个对象中的每一个对象,所述位置索引表中所指示的该对象的时序数据的时序在所述目标数据表中记录的该对象的时序数据之前,具体可以实现上述步骤404、405中的存储功能,以及由设备存储信息的其他隐含步骤。
可选的,所述接收模块610,还用于接收第二数据存储指令,其中,所述第二数据存储指令包括待存储的第一对象的第二时序数据以及所述第一对象的标识;
所述确定模块620,还用于根据所述第一对象的标识,确定所述目标数据表中记录的所述第一对象对应的第三时序数据;
所述替换模块630,还用于将所述目标记录表中的所述第三时序数据替换为所述第二时序数据;
所述存储模块640,还用于将所述第三时序数据存储入第二数据存储块;在所述第一存储位置中,存储所述第二数据存储块中所述第三时序数据所在的第三存储位置。
可选的,所述存储模块640,用于:
将所述第三存储位置和所述第二时序数据的映射关系存储入第一数据存储块,其中,所述映射关系包括所述第三存储位置和所述第二时序数据。
可选的,所述存储模块640,用于:
将所述第一存储位置中存储的所述第三存储位置,替换为所述第二存储位置。
可选的,如图7所示,所述装置还包括:
创建模块650,用于在所述第一数据存储块的数据存储量达到存储上限的情况下,创建第三数据存储块;
所述存储模块640,还用于将所述第二时序数据存储入所述第三数据存储块;在所述第一数据存储块的数据存储量未达到存储上限的情况下,将所述第二时序数据存储入所述第一数据存储块。
可选的,所述确定模块620,还用于:
根据所述第二时序数据的时间信息,从所述目标数据表之外的至少一个数据存储块中,确定与第二时序数据的时间信息相匹配的第一数据存储块,所述至少一个数据块用于存储从所述目标数据表中替换出的时序数据;
所述存储模块640,用于将所述第二时序数据存储入确定出的所述第一数据存储块。
需要说明的是,上述接收模块610可以由收发器实现,确定模块620、替换模块630、存储模块640、创建模块650可以由处理器实现,或者处理器配合存储器来实现,或者,处理器执行存储器中的程序指令来实现。
本发明实施例中,在对时序数据进行管理时,不再采用逐一增加的方式将所有时序数据都保存在目标数据表中,而是通过更新替换的方式,在目标数据表中只保存最新的一条时序数据,即每个对象在目标数据表中只对应有一行数据,被替换的时序数据则可以保存在目标数据表之外的至少一个数据存储块中,当需要查询第一对象的时序数据时,只需要在目标数据表中获取到第一对象对应的时序数据,进而,可以直接在位置索引表中第一对象对应的第一存储位置中记录的存储位置,查询第一对象的其他时序数据,无需对目标数据表进行逐行查看,从而,提高了时序数据的查询效率。
参照图8,示出了本发明实施例中一种时序数据管理装置的结构框图。在本发明实施例中,所述时序数据管理装置可以通过软件、硬件或者两者的结合实现成为设备中的部分或者全部。本发明实施例提供的时序数据管理装置可以实现本发明实施例图5所述的流程,所述时序数据管理装置包括:
接收模块610,用于接收用于查询第一对象的时序数据的数据查询请求,所述数据查询请求包括所述第一对象的标识,具体可以实现上述步骤501中的接收功能,以及由设备接收信息的其他隐含步骤;
获取模块660,用于根据所述第一对象的标识,获取目标数据表中所述第一对象对应的第一时序数据,所述目标数据表中记录有多个对象对应的时序数据,所述多个对象与所述目标数据表中的时序数据一一对应,具体可以实现上述步骤502中的获取功能,以及由设备获取信息的其他隐含步骤;
确定模块620,用于确定位置索引表中所述第一对象对应的第一存储位置中存储的第二存储位置,所述位置索引表用于记录所述目标数据表多个对象对应的多个时序数据的存储位置,其中,对于所述多个对象中的每一个对象,所述位置索引表中存储位置所指示的该对象的时序数据的时序在所述目标数据表中记录的该对象的时序数据之前,具体可以实现上述步骤503中的确定功能,以及由设备确定信息的其他隐含步骤;
获取模块660,还用于获取所述第二存储位置中存储的所述第一对象的第二时序数据以及所述第二时序数据对应的第三存储位置,所述第二时序数据的时序在所述第一时序数据之前,所述第三存储位置用于存储所述第一对象的第三时序数据以及所述第三时序数据对应的第四存储位置;根据所述第三存储位置,获取所述第一对象对应的其他时序数据,具体可以实现上述步骤504、505中的获取功能,以及由设备获取信息的其他隐含步骤。
可选的,所述获取模块660,用于:
获取所述第三存储位置中存储的第三时序数据和所述第三时序数据对应的第四存储位置;
获取所述第四存储位置中存储的第四时序数据和所述第四时序数据对应的第五存储位置,直至获取到所述第一对象对应的全部时序数据。
需要说明的是,上述获取模块660可以由处理器实现,或者处理器配合存储器来实现,或者,处理器执行存储器中的程序指令来实现。
本发明实施例中,在对时序数据进行管理时,不再采用逐一增加的方式将所有时序数据都保存在目标数据表中,而是通过更新替换的方式,在目标数据表中只保存最新的一条时序数据,即每个对象在目标数据表中只对应有一行数据,被替换的时序数据则可以保存在目标数据表之外的至少一个数据存储块中,当需要查询第一对象的时序数据时,只需要在目标数据表中获取到第一对象对应的时序数据,进而,可以直接在位置索引表中第一对象对应的第一存储位置中记录的存储位置,查询第一对象的其他时序数据,无需对目标数据表进行逐行查看,从而,提高了时序数据的查询效率。
需要说明的是:上述实施例提供的时序数据管理装置在实现时序数据管理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的时序数据管理装置与时序数据管理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的一个实施例,并不用以限制本发明,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (24)

1.一种时序数据管理方法,所述方法用于查询对象的时序数据,其特征在于,所述方法包括:
接收用于查询第一对象的时序数据的数据查询请求,所述数据查询请求包括所述第一对象的标识;
根据所述第一对象的标识,获取目标数据表中所述第一对象对应的第一时序数据,所述目标数据表中记录有多个对象对应的时序数据,所述多个对象与所述目标数据表中的时序数据一一对应;
确定位置索引表中所述第一对象对应的第一存储位置中存储的第二存储位置,所述位置索引表用于记录所述目标数据表多个对象对应的多个时序数据的存储位置,其中,对于所述多个对象中的每一个对象,所述位置索引表中存储位置所指示的该对象的时序数据的时序在所述目标数据表中记录的该对象的时序数据之前;
获取所述第二存储位置中存储的所述第一对象的第二时序数据以及所述第二时序数据对应的第三存储位置,所述第二时序数据的时序在所述第一时序数据之前,所述第三存储位置用于存储所述第一对象的第三时序数据以及所述第三时序数据对应的第四存储位置;
根据所述第三存储位置,获取所述第一对象对应的其他时序数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第三存储位置,获取所述第一对象对应的其他时序数据,包括:
获取所述第三存储位置中存储的第三时序数据和所述第三时序数据对应的第四存储位置;
获取所述第四存储位置中存储的第四时序数据和所述第四时序数据对应的第五存储位置,直至获取到所述第一对象对应的全部时序数据。
3.一种时序数据管理方法,所述方法用于存储各对象的时序数据,其特征在于,所述方法包括:
接收第一数据存储指令,其中,所述第一数据存储指令包括待存储的第一对象的第一时序数据以及所述第一对象的标识;
根据所述第一对象的标识,确定目标数据表中记录的所述第一对象对应的第二时序数据,所述目标数据表中记录有多个对象对应的时序数据,所述多个对象与所述目标数据表中的时序数据一一对应;
将所述目标数据表中的所述第二时序数据,替换为所述第一时序数据;
将所述第二时序数据存储入第一数据存储块;
在位置索引表中所述第一对象对应的第一存储位置中,存储所述第一数据存储块中所述第二时序数据所在的第二存储位置,所述第二时序数据的时序在所述第一时序数据之前,所述位置索引表用于存储所述目标数据表中多个对象对应的多个时序数据的存储位置,其中,对于所述多个对象中的每一个对象,所述位置索引表中所指示的该对象的时序数据的时序在所述目标数据表中记录的该对象的时序数据之前。
4.根据权利要求3所述的方法,其特征在于,所述接收第一数据存储指令之前,还包括:
接收第二数据存储指令,其中,所述第二数据存储指令包括待存储的第一对象的第二时序数据以及所述第一对象的标识;
根据所述第一对象的标识,确定所述目标数据表中记录的所述第一对象对应的第三时序数据;
将所述目标数据表中的所述第三时序数据替换为所述第二时序数据;
将所述第三时序数据存储入第二数据存储块;
在所述第一存储位置中,存储所述第二数据存储块中所述第三时序数据所在的第三存储位置。
5.根据权利要求4所述的方法,其特征在于,所述将所述第二时序数据存储入第一数据存储块,包括:
将所述第三存储位置和所述第二时序数据的映射关系存储入第一数据存储块,其中,所述映射关系包括所述第三存储位置和所述第二时序数据。
6.根据权利要求4所述的方法,其特征在于,所述在位置索引表中所述第一对象对应的第一存储位置中,存储所述第一数据存储块中所述第二时序数据所在的第二存储位置,包括:
将所述第一存储位置中存储的所述第三存储位置,替换为所述第二存储位置。
7.根据权利要求3所述的方法,其特征在于,所述将所述第二时序数据存储入第一数据存储块,包括:
在第一数据存储块的数据存储量达到存储上限的情况下,创建第三数据存储块,以及将所述第二时序数据存储入所述第三数据存储块;
在所述第一数据存储块的数据存储量未达到存储上限的情况下,将所述第二时序数据存储入所述第一数据存储块。
8.根据权利要求3所述的方法,其特征在于,所述将所述第二时序数据存储入第一数据存储块,包括:
根据所述第二时序数据的时间信息,从所述目标数据表之外的至少一个数据存储块中,确定与第二时序数据的时间信息相匹配的第一数据存储块,所述至少一个数据块用于存储从所述目标数据表中替换出的时序数据;
将所述第二时序数据存储入确定出的所述第一数据存储块。
9.一种时序数据管理设备,所述设备用于查询对象的时序数据,其特征在于,所述设备包括收发器、存储器和处理器,所述存储器用于存储程序和数据,所述处理器通过调用所述存储器中存储的程序,对所述存储器中的数据进行处理,其中:
所述处理器用于通过所述收发器接收用于查询第一对象的时序数据的数据查询请求,所述数据查询请求包括所述第一对象的标识;
所述处理器还用于根据所述第一对象的标识,获取目标数据表中所述第一对象对应的第一时序数据,所述目标数据表中记录有多个对象对应的时序数据,所述多个对象与所述目标数据表中的时序数据一一对应;
确定位置索引表中所述第一对象对应的第一存储位置中存储的第二存储位置,所述位置索引表用于记录所述目标数据表多个对象对应的多个时序数据的存储位置,其中,对于所述多个对象中的每一个对象,所述位置索引表中存储位置所指示的该对象的时序数据的时序在所述目标数据表中记录的该对象的时序数据之前;
获取所述第二存储位置中存储的所述第一对象的第二时序数据以及所述第二时序数据对应的第三存储位置,所述第二时序数据的时序在所述第一时序数据之前,所述第三存储位置用于存储所述第一对象的第三时序数据以及所述第三时序数据对应的第四存储位置;
根据所述第三存储位置,获取所述第一对象对应的其他时序数据。
10.根据权利要求9所述的设备,其特征在于,所述处理器,用于:
获取所述第三存储位置中存储的第三时序数据和所述第三时序数据对应的第四存储位置;
获取所述第四存储位置中存储的第四时序数据和所述第四时序数据对应的第五存储位置,直至获取到所述第一对象对应的全部时序数据。
11.一种时序数据管理设备,所述设备用于存储各对象的时序数据,其特征在于,所述设备包括收发器、存储器和处理器,所述存储器用于存储程序和数据,所述处理器通过调用所述存储器中存储的程序,对所述存储器中的数据进行处理,所述存储器包括数据存储块,其中:
所述处理器用于通过所述收发器接收第一数据存储指令,其中,所述第一数据存储指令包括待存储的第一对象的第一时序数据以及所述第一对象的标识;
所述处理器还用于根据所述第一对象的标识,确定目标数据表中记录的所述第一对象对应的第二时序数据,所述目标数据表中记录有多个对象对应的时序数据,所述多个对象与所述目标数据表中的时序数据一一对应;
将所述目标数据表中的所述第二时序数据,替换为所述第一时序数据;
将所述第二时序数据存储入第一数据存储块;
在位置索引表中所述第一对象对应的第一存储位置中,存储所述第一数据存储块中所述第二时序数据所在的第二存储位置,所述第二时序数据的时序在所述第一时序数据之前,所述位置索引表用于存储所述目标数据表中多个对象对应的多个时序数据的存储位置,其中,对于所述多个对象中的每一个对象,所述位置索引表中所指示的该对象的时序数据的时序在所述目标数据表中记录的该对象的时序数据之前。
12.根据权利要求11所述的设备,其特征在于,所述处理器,还用于通过所述收发器接收第二数据存储指令,其中,所述第二数据存储指令包括待存储的第一对象的第二时序数据以及所述第一对象的标识;
所述处理器,还用于:根据所述第一对象的标识,确定所述目标数据表中记录的所述第一对象对应的第三时序数据;
将所述目标数据表中的所述第三时序数据替换为所述第二时序数据;
将所述第三时序数据存储入第二数据存储块;
在所述第一存储位置中,存储所述第二数据存储块中所述第三时序数据所在的第三存储位置。
13.根据权利要求12所述的设备,其特征在于,所述处理器,用于:
将所述第三存储位置和所述第二时序数据的映射关系存储入第一数据存储块,其中,所述映射关系包括所述第三存储位置和所述第二时序数据。
14.根据权利要求12所述的设备,其特征在于,所述处理器,用于:
将所述第一存储位置中存储的所述第三存储位置,替换为所述第二存储位置。
15.根据权利要求11所述的设备,其特征在于,所述处理器,用于:
在第一数据存储块的数据存储量达到存储上限的情况下,创建第三数据存储块,以及将所述第二时序数据存储入所述第三数据存储块;
在所述第一数据存储块的数据存储量未达到存储上限的情况下,将所述第二时序数据存储入所述第一数据存储块。
16.根据权利要求11所述的设备,其特征在于,所述处理器,用于:
根据所述第二时序数据的时间信息,从所述目标数据表之外的至少一个数据存储块中,确定与第二时序数据的时间信息相匹配的第一数据存储块,所述至少一个数据块用于存储从所述目标数据表中替换出的时序数据;
将所述第二时序数据存储入确定出的所述第一数据存储块。
17.一种时序数据管理装置,所述装置用于查询对象的时序数据,其特征在于,所述装置包括:
接收模块,用于接收用于查询第一对象的时序数据的数据查询请求,所述数据查询请求包括所述第一对象的标识;
获取模块,用于根据所述第一对象的标识,获取目标数据表中所述第一对象对应的第一时序数据,所述目标数据表中记录有多个对象对应的时序数据,所述多个对象与所述目标数据表中的时序数据一一对应;
确定模块,用于确定位置索引表中所述第一对象对应的第一存储位置中存储的第二存储位置,所述位置索引表用于记录所述目标数据表多个对象对应的多个时序数据的存储位置,其中,对于所述多个对象中的每一个对象,所述位置索引表中存储位置所指示的该对象的时序数据的时序在所述目标数据表中记录的该对象的时序数据之前;
获取模块,还用于获取所述第二存储位置中存储的所述第一对象的第二时序数据以及所述第二时序数据对应的第三存储位置,所述第二时序数据的时序在所述第一时序数据之前,所述第三存储位置用于存储所述第一对象的第三时序数据以及所述第三时序数据对应的第四存储位置;根据所述第三存储位置,获取所述第一对象对应的其他时序数据。
18.根据权利要求17所述的装置,其特征在于,所述获取模块,用于:
获取所述第三存储位置中存储的第三时序数据和所述第三时序数据对应的第四存储位置;
获取所述第四存储位置中存储的第四时序数据和所述第四时序数据对应的第五存储位置,直至获取到所述第一对象对应的全部时序数据。
19.一种时序数据管理装置,所述装置用于存储各对象的时序数据,其特征在于,所述装置包括:
接收模块,用于接收第一数据存储指令,其中,所述第一数据存储指令包括待存储的第一对象的第一时序数据以及所述第一对象的标识;
确定模块,用于根据所述第一对象的标识,确定目标数据表中记录的所述第一对象对应的第二时序数据,所述目标数据表中记录有多个对象对应的时序数据,所述多个对象与所述目标数据表中的时序数据一一对应;
替换模块,用于将所述目标数据表中的所述第二时序数据,替换为所述第一时序数据;
存储模块,用于将所述第二时序数据存储入第一数据存储块;在位置索引表中所述第一对象对应的第一存储位置中,存储所述第一数据存储块中所述第二时序数据所在的第二存储位置,所述第二时序数据的时序在所述第一时序数据之前,所述位置索引表用于存储所述目标数据表中多个对象对应的多个时序数据的存储位置,其中,对于所述多个对象中的每一个对象,所述位置索引表中所指示的该对象的时序数据的时序在所述目标数据表中记录的该对象的时序数据之前。
20.根据权利要求19所述的装置,其特征在于,所述接收模块,还用于接收第二数据存储指令,其中,所述第二数据存储指令包括待存储的第一对象的第二时序数据以及所述第一对象的标识;
所述确定模块,还用于根据所述第一对象的标识,确定所述目标数据表中记录的所述第一对象对应的第三时序数据;
所述替换模块,还用于将所述目标数据表中的所述第三时序数据替换为所述第二时序数据;
所述存储模块,还用于将所述第三时序数据存储入第二数据存储块;在所述第一存储位置中,存储所述第二数据存储块中所述第三时序数据所在的第三存储位置。
21.根据权利要求20所述的装置,其特征在于,所述存储模块,用于:
将所述第三存储位置和所述第二时序数据的映射关系存储入第一数据存储块,其中,所述映射关系包括所述第三存储位置和所述第二时序数据。
22.根据权利要求20所述的装置,其特征在于,所述存储模块,用于:
将所述第一存储位置中存储的所述第三存储位置,替换为所述第二存储位置。
23.根据权利要求19所述的装置,其特征在于,所述装置还包括:
创建模块,用于在第一数据存储块的数据存储量达到存储上限的情况下,创建第三数据存储块;
所述存储模块,还用于将所述第二时序数据存储入所述第三数据存储块;在所述第一数据存储块的数据存储量未达到存储上限的情况下,将所述第二时序数据存储入所述第一数据存储块。
24.根据权利要求19所述的装置,其特征在于,所述确定模块,还用于:
根据所述第二时序数据的时间信息,从所述目标数据表之外的至少一个数据存储块中,确定与第二时序数据的时间信息相匹配的第一数据存储块,所述至少一个数据块用于存储从所述目标数据表中替换出的时序数据;
所述存储模块,用于将所述第二时序数据存储入确定出的所述第一数据存储块。
CN201611056489.XA 2016-11-25 2016-11-25 一种时序数据管理方法、设备和装置 Active CN106776823B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201611056489.XA CN106776823B (zh) 2016-11-25 2016-11-25 一种时序数据管理方法、设备和装置
PCT/CN2017/111921 WO2018095299A1 (zh) 2016-11-25 2017-11-20 一种时序数据管理方法、设备和装置
US16/420,482 US11269902B2 (en) 2016-11-25 2019-05-23 Time series data management method, device, and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611056489.XA CN106776823B (zh) 2016-11-25 2016-11-25 一种时序数据管理方法、设备和装置

Publications (2)

Publication Number Publication Date
CN106776823A CN106776823A (zh) 2017-05-31
CN106776823B true CN106776823B (zh) 2018-12-07

Family

ID=58913075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611056489.XA Active CN106776823B (zh) 2016-11-25 2016-11-25 一种时序数据管理方法、设备和装置

Country Status (3)

Country Link
US (1) US11269902B2 (zh)
CN (1) CN106776823B (zh)
WO (1) WO2018095299A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776823B (zh) 2016-11-25 2018-12-07 华为技术有限公司 一种时序数据管理方法、设备和装置
CN108052599A (zh) * 2017-12-12 2018-05-18 清华大学 一种支持特征查询的时序数据存储的方法和装置
CN108182244B (zh) * 2017-12-28 2019-04-05 清华大学 一种基于多层次列式存储结构的时序数据存储方法
CN110297832B (zh) * 2019-07-01 2021-12-24 联想(北京)有限公司 一种时序数据存储方法及装置、时序数据查询方法及装置
CN110502541A (zh) * 2019-07-26 2019-11-26 联想(北京)有限公司 一种数据处理方法及电子设备
CN111552687B (zh) * 2020-03-10 2023-08-04 远景智能国际私人投资有限公司 时序数据的存储方法、查询方法、装置、设备及存储介质
CN111966695B (zh) * 2020-10-23 2021-01-08 山东鼎滏软件科技有限公司 一种用于油气田生产的时序数据库系统
CN112860769B (zh) * 2021-03-10 2023-01-20 广东电网有限责任公司 一种能源规划数据管理系统
CN117472915B (zh) * 2023-12-27 2024-03-15 中国西安卫星测控中心 一种面向多Key值的时序数据的层级存储方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978794A (en) * 1996-04-09 1999-11-02 International Business Machines Corporation Method and system for performing spatial similarity joins on high-dimensional points
CN102193917A (zh) * 2010-03-01 2011-09-21 中国移动通信集团公司 一种数据处理和查询方法和装置
CN102890722A (zh) * 2012-10-25 2013-01-23 国家电网公司 应用于时序历史数据库的索引方法
CN104156385A (zh) * 2014-06-24 2014-11-19 北京京东尚科信息技术有限公司 一种处理时间序列数据的方法和装置
CN104881481A (zh) * 2015-06-03 2015-09-02 安科智慧城市技术(中国)有限公司 一种存取海量时间序列数据的方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450084B2 (en) * 2004-12-17 2008-11-11 Microsoft Corporation System and method for managing computer monitor configurations
US7836226B2 (en) * 2007-12-06 2010-11-16 Fusion-Io, Inc. Apparatus, system, and method for coordinating storage requests in a multi-processor/multi-thread environment
US8601222B2 (en) * 2010-05-13 2013-12-03 Fusion-Io, Inc. Apparatus, system, and method for conditional and atomic storage operations
US8849834B2 (en) 2010-11-30 2014-09-30 Teradata Us, Inc. Techniques for organizing single or multi-column temporal data in R-tree spatial indexes
US11379494B2 (en) * 2014-08-06 2022-07-05 Sap Se Timeline index for partitioned temporal database tables
US9753816B2 (en) * 2014-12-05 2017-09-05 Commvault Systems, Inc. Synchronization based on filtered browsing
US10067960B2 (en) * 2015-06-04 2018-09-04 Microsoft Technology Licensing, Llc Controlling atomic updates of indexes using hardware transactional memory
CN106776823B (zh) * 2016-11-25 2018-12-07 华为技术有限公司 一种时序数据管理方法、设备和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978794A (en) * 1996-04-09 1999-11-02 International Business Machines Corporation Method and system for performing spatial similarity joins on high-dimensional points
CN102193917A (zh) * 2010-03-01 2011-09-21 中国移动通信集团公司 一种数据处理和查询方法和装置
CN102890722A (zh) * 2012-10-25 2013-01-23 国家电网公司 应用于时序历史数据库的索引方法
CN104156385A (zh) * 2014-06-24 2014-11-19 北京京东尚科信息技术有限公司 一种处理时间序列数据的方法和装置
CN104881481A (zh) * 2015-06-03 2015-09-02 安科智慧城市技术(中国)有限公司 一种存取海量时间序列数据的方法及装置

Also Published As

Publication number Publication date
CN106776823A (zh) 2017-05-31
WO2018095299A1 (zh) 2018-05-31
US11269902B2 (en) 2022-03-08
US20190278770A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
CN106776823B (zh) 一种时序数据管理方法、设备和装置
US10552287B2 (en) Performance metrics for diagnosing causes of poor performing virtual machines
CN103853727B (zh) 提高大数据量查询性能的方法及系统
US8290994B2 (en) Obtaining file system view in block-level data storage systems
CN104090889B (zh) 数据处理方法及系统
CN105308592A (zh) 连续数据流中关于关系的基于值的窗口
US20070124437A1 (en) Method and system for real-time collection of log data from distributed network components
CN107122410A (zh) 一种缓存更新方法及装置
CN101867607A (zh) 一种分布式数据存取方法、装置及系统
EP3316175B1 (en) Methods and apparatus of an immutable threat intelligence system
CN106326499B (zh) 一种数据处理方法及装置
US11176173B2 (en) Arrangement for enriching data stream in a communications network and related method
EP2713555B1 (en) Data configuration method and device, and rollback method and device for data configuration
CN103761102B (zh) 一种统一数据服务平台及其实现方法
CN110505495A (zh) 多媒体资源抽帧方法、装置、服务器及存储介质
CN105159845A (zh) 存储器读取方法
CN109144416A (zh) 查询数据的方法和装置
CN105426375A (zh) 一种关系网络的计算方法及装置
WO2013091167A1 (zh) 日志存储方法及系统
CN104580183B (zh) 一种跨集群的数据同步方法和装置
CN107122437A (zh) 一种支持多条件检索和实时分析的大数据处理方法
CN108228322A (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN108924215A (zh) 一种基于树形结构的服务发现处理方法及装置
CN112528279A (zh) 一种入侵检测模型的建立方法和装置
CN107783850A (zh) 一种节点树勾选记录的解析方法、装置、服务器及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant