CN106777111A - 一种超大规模数据的时序检索索引系统及方法 - Google Patents

一种超大规模数据的时序检索索引系统及方法 Download PDF

Info

Publication number
CN106777111A
CN106777111A CN201611160429.2A CN201611160429A CN106777111A CN 106777111 A CN106777111 A CN 106777111A CN 201611160429 A CN201611160429 A CN 201611160429A CN 106777111 A CN106777111 A CN 106777111A
Authority
CN
China
Prior art keywords
data
time
index
ultra
sequential search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611160429.2A
Other languages
English (en)
Other versions
CN106777111B (zh
Inventor
赵淦森
李振宇
王欣明
张海明
庄序填
唐华
李卓越
林成创
刘创辉
马朝辉
廖智锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN201611160429.2A priority Critical patent/CN106777111B/zh
Publication of CN106777111A publication Critical patent/CN106777111A/zh
Application granted granted Critical
Publication of CN106777111B publication Critical patent/CN106777111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2272—Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种超大规模数据的时序检索索引系统及方法，该系统包括垂直层级索引模块，包括有多层索引，每层索引均包括哈希函数和多个数据集，所述数据集中数据通过下一层级索引哈希函数映射至下一层级数据集中；还包括有对应的时间轴索引模块，用于建立事件列表和时间列表。本发明通过层级索引模块将原始的大数据集经过层层的哈希映射，最终会被分配到若干个相对较小的数据集中去，使每一个小数据集上可以独立执行查询处理、数据加载、存储优化等操作，从而结合时间轴索引模块避免了时序检索操作的过程中进行全表扫描操作的风险，极大地提高了时序检索的速度。本发明作为一种超大规模数据的时序检索索引系统及方法可广泛应用于数据处理领域。

Description

一种超大规模数据的时序检索索引系统及方法
技术领域
本发明涉及数据处理领域，尤其是一种超大规模数据的时序检索索引系统及方法。
背景技术
时序数据库的时序数据管理领域也涉及了对数据库中的数据的时序检索操作。时序数据库内部也是通过对时序数据建立数据索引从而高效地实现各种时序数据管理的功能。总的来说，时序数据库中的这些数据索引主要分成两大类，一类是基于B+树结构的索引，另外一类是基于R树的结构的索引。比如Time Index,Snapshot Index,CheckpointIndex,Archivable Time Index,Overlapping B+树等等几类比较具体的索引结构。
Timeline Index是由Martin Kaufman等人在2013年提出的一种索引结构，它主要服务于时序数据库里的时序数据管理，能够极大地提升时序数据库各种时序检索的效率。
如图1所示为时序数据库中数据格式，参数Start和End表示数据记录的有效时间的起止点，参数Name和Balance分别表示姓名和账目。
如图2所示，Timeline Index主要由图中左边的Version Map和图中右边的EventList两个部分组成。图1中的每条数据记录可以拆分为两个事件：在Start时刻记录被激活；在End时刻记录被撤销。Event List记录了所有的被激活和被撤销的事件(1为激活，0为撤销)。而Version Map记录了所有事件发生的顺序。通过对这两个列表的操作，TimelineIndex能够实现高效的时序检索性能。
对于每张数据表，都需要建立一个对应的Timeline Index。Timeline index比原始的数据表要小很多，尤其是当原始数据表具有很多列属性的时候。
上述提到了各种时序数据库的时序索引都能够有效地解决时序数据库中的各种时序数据管理的问题，但是，它们有个共同的特点是它们都是为传统的关系型时序数据库而设计的，它们所面向处理的是常规规模的数据量，通常为几百万级别的数据，它们无法应对当前大数据时代10亿以上级别的超大规模数据所带来的技术挑战。当待处理的数据集的数据总量越来越大，上述的时序数据库的时序索引就会出现严重的性能和效率问题，导致无法在可接受的时间内返回有效的时序检索的结果。
术语解释
标准化时序数据：R＝(ID,A,T,(S,E))是一条标准化时序数据；其中ID表示记录R在数据表中的行号，A表示时序数据本身的静态属性，T表示时序数据的时间点属性，(S,E)表示时序数据的真实有效时间范围[Start,End)。
静态属性：静态属性是指在时序数据中所有与时间无关的属性。
时序检索：在原始标准化时序数据集中检索满足特定时间约束的数据记录。时序检索主要包含三类：基于时间点条件的检索操作，基于时间段包含关系条件的检索操作和基于时间段相交关系条件的检索操作。
基于时间点条件的检索操作：给定具体的时间点M，找出全集U中的最大子集合D，使得D满足，且
基于时间段包含关系条件的检索操作：给定具体的时间范围[Start,End)，找出全集U中的最大子集合D，使得D满足，且
基于时间段相交关系条件的检索操作：给定具体的时间范围[Start,End)。R＝(ID,A,T,(S,E))是一条标准化时序数据。设L(R)＝Max(Start,S)，V(R)＝Min(End,E)。找出全集U中的最大子集合D，使得D满足，且满足L(R)≤V(R)。
发明内容
为了解决上述技术问题，本发明的目的是：提供一种用于超大规模数据可实现高效返回有效时序检索结果的索引系统。
为了解决上述技术问题，本发明的另一目的是：提供一种用于超大规模数据可实现高效返回有效时序检索结果的索引方法。
本发明所采用的技术方案是：一种超大规模数据的时序检索索引系统，包括有
垂直层级索引模块，包括有多层索引，每层索引均包括有哈希函数和多个数据集，所述原始数据通过第一层级索引的哈希函数映射至数据集中，所述数据集中数据通过下一层级索引的哈希函数映射至下一层级的数据集中；
时间轴索引模块，用于对最下层级索引中数据集的数据建立事件列表和时间列表；所述事件列表用于记录数据对应的事件在某个定点时间的激活状态，所述时间列表用于记录在某个定点时间之前的所发生的事件的总数。
进一步，所述垂直层级索引模块包括有三层索引。
进一步，所述多层索引中，最下层级索引用于存储热点查询信息，其余层级索引只存储映射关系数据。
进一步，所述热点查询信息包括有用户ID、时间属性、时间范围属性。
进一步，所述垂直层级索引模块还用于在原始数据的时间范围属性大于最下层级索引中时间范围属性时，将原始数据映射至其对应的所有数据集中。
进一步，所述时间轴索引模块用于将每一个层级索引中数据集中数据拆分为两个事件，分别用激活时间和撤销时间表示，并根据时间先后进行排序形成事件列表。
进一步，所述时间轴索引模块还用于记录在某个定点时间T之前的所发生的事件的总数，所述定点时间T的取值的间隔时间固定。
本发明所采用的另一技术方案是：一种应用上述超大规模数据的时序检索索引系统的索引方法，根据时间的有效时间起止点，从垂直层级索引模块中的数据集检索所需的信息，并返回所有检索到的数据集中的信息。
本发明的有益效果是：本发明系统通过设置层级索引模块和时间轴索引模块，将原始的大数据集经过层层的哈希映射，最终会被分配到若干个相对较小的数据集中去，使每一个小数据集上可以独立执行查询处理、数据加载、存储优化等操作，从而结合时间轴索引模块避免了时序检索操作的过程中进行全表扫描操作的风险，极大地提高了时序检索的速度。
本发明的有益效果是：由于层级索引模块和时间轴索引模块将原始的大数据集经过层层的哈希映射，最终会被分配到若干个相对较小的数据集中去，使每一个小数据集上可以独立执行查询处理、数据加载、存储优化等操作，从而结合时间轴索引模块使本发明方法避免了时序检索操作的过程中进行全表扫描操作的风险，极大地提高了时序检索的速度。
附图说明
图1为时序数据库追踪的数据格式示例；
图2为图1中数据对应的Timeline Index结构图；
图3为本发明系统的结构示意图；
图4为一对多映射关系示例；
图5为时间轴索引模块示例。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明：
参照图1，一种超大规模数据的时序检索索引系统，包括有：
垂直层级索引模块，包括有多层索引，每层索引均包括有哈希函数和多个数据集，所述原始数据通过第一层级索引的哈希函数映射至数据集中，所述数据集中数据通过下一层级索引的哈希函数映射至下一层级的数据集中；
时间轴索引模块，用于对最下层级索引中数据集的数据建立事件列表和时间列表；所述事件列表用于记录数据对应的事件在某个定点时间的激活状态，所述时间列表用于记录在某个定点时间之前的所发生的事件的总数。
进一步作为优选的实施方式，如图3所示的垂直层级索引模块包括有三层索引，图中每一个层级索引均包括有哈希函数和多个数据集，其中每一个数据集又对应一个下一层级的索引。
垂直层级索引建立的目的在于把大数据变小。每一个层级索引都包括一个哈希函数映射，这个哈希函数的实现具体取决于数据的属性以及查询的需求。原始的大数据集经过层层的哈希映射，最终会被分配到若干个相对较小的数据集中去。在每一个小数据集上，可以独立执行查询处理、数据加载、存储优化等操作。
如图3所示，当原始数据经过第一层索引时，它会根据第一层的哈希函数被映射到若干个数据集中，从而使得一个大数据集分成若干个相对小的数据集。而后，每个数据集的数据都会通过第二层索引，映射到更多更小的数据集中去。如此类推，第二层索引里面的每个数据集的数据都会通过第三层索引，可通过精细条件的哈希函数，映射到更小的数据集中去。通过三层索引的层层转发过滤，一个大数据集最终会变成很多个底层数据集。
进一步作为优选的实施方式，所述多层索引中，最下层级索引用于存储热点查询信息，其余层级索引只存储映射关系数据。如图3所示，第一、二层级的索引中不存储任何的实际数据，只是相当于路由器，用于把数据转发到下一层。
进一步作为优选的实施方式，所述热点查询信息包括有用户ID、时间属性、时间范围属性。层级索引保证每个底层数据集都是按Start时间有序的，虽然会使得建立层级索引的时间开销有所增大，但是它却能极大地提高查询的性能以及降低查询复杂度。
针对不同的时间属性，上述的哈希映射采取的具体映射的策略有所不同。对于时间点属性，它必定会属于特定的某一天，在这种情况下的哈希映射必定是一对一的，也就是说当前的数据记录通过三层索引的层层转发，最终必定会转发到某一个特定的底层数据集中。而对于时间范围属性[S,E)，当这个范围是属于一天之内的时候，其三层哈希映射也是一对一的。但是也有可能出现的一种状况是[S,E)跨越了几天，跨越了几个月甚至跨越了几年的情况。
因此，对于上述时间范围属性跨度较大的情况，进一步作为优选的实施方式，所述垂直层级索引模块还用于在原始数据的时间范围属性大于最下层级索引中时间范围属性时，将原始数据映射至其对应的所有数据集中。
例如，一条数据记录了一位住客在某一家酒店从2014年3月10日开始登记入住一直到2014年5月12日才退房。在这种情况下，哈希映射不再是一对一的了，这条数据记录不会被映射到特定的某一天所对应的底层数据集中。本发明方法采取的是一对多的哈希映射，如图4所示，把这条数据记录映射到从2014年3月10日到2014年5月12日所覆盖的每一天所对应的底层数据集中去。虽然一对多的哈希映射会造成空间信息冗余的产生，但是这些冗余却极大地加速了时间轴索引的索引效率，使得相应的查询算法更加高效更加准确。此外，因为索引里面只会存储数据的时间属性和一些关键的静态属性，因此，其冗余所消耗的空间其实十分有限。
而本发明应用超大规模数据的时序检索索引系统的索引方法，根据时间的有效时间起止点，即参数Start和End，从垂直层级索引模块中的数据集检索所需的信息；例如图4所示的数据记录覆盖了很多天的数据，因此数据将映射到每一天所对应的底层数据集中去，所以需要返回所有检索到的数据集中的信息，虽然这样的数据在建立索引时会造成空间信息冗余的产生，但是本方法进行时序检索时却极大地加速了时间轴索引的索引效率，使得相应的查询算法更加高效更加准确。
进一步作为优选的实施方式，所述时间轴索引模块用于将每一个层级索引中数据集中数据拆分为两个事件，分别用激活时间和撤销时间表示，并根据时间先后进行排序形成事件列表。
设某天所对应的原始数据集为D,|D|＝n。Ri为D数据集里的记录，满足Ri∈D，Ri＝(ID,A,T,(S,E)),i＝1,2,3,…,n则对于每条数据记录Ri，可拆分为两个事件：1、记录Ri在S时间被激活；2、记录Ri在E时间被撤销。然后对所有由D中拆分出来的事件按时间先后顺序进行排序，排序后的结果就是事件列表。因此，事件列表中的每一条数据Evt，其形式化定义如下：
Evt＝(EID,DID,T,V)
其中，EID表示当前时间在事件列表中的ID，此值唯一；DID表示当前事件的数据记录在底层数据集中的ROW_ID；T表示此事件发生的时间；V表示该事件是被激活还是被撤销，1表示被激活，0表示被撤销。
进一步作为优选的实施方式，所述时间轴索引模块还用于记录在某个定点时间T之前的所发生的事件的总数，所述定点时间T的取值的间隔时间固定。
时间列表负责记录在某个定点时间之前的所发生的事件的总数。定点时间T的取值范围是为0:00≤T≤24:00，取值的间隔时间固定。
具体的间隔大小可视具体应用场景的数据量而定，当数据量过大的时候，则调整为更小的时间间隔做一次记录，比如15分钟做一次记录。当数据量小的时候可以调整为更大的时间间隔做一次记录，比如3小时做一次记录。时间列表里存储的数据TM的形式化定义如下：
TM＝(T,EID,[C])
其中T表示整点时间值，EID指向事件列表的EID属性，表示所有EID小于当前EID的事件，都是在T时刻前发生的，即表示截止T时刻前总共有value(EID)个事件发生。[C]表示Checkpoint，是一个列表结构，它记录着到截止某个时刻的所有的有效记录的ROW_ID编号。
如图5所示是一个时间轴模块的具体的应用例子，比如说数据表中的第一条数据(ROW_ID为1)显示陈一在1:03分在就某酒店Check-in，在3:46分的时候Check-out。因此上述数据记录就能被拆分为两个事件：1、ROW_ID为1的数据在1:03被激活；2、ROW_ID为1的数据在3:46被撤销。所述时间轴索引模块将这两个事件记录到事件列表中。对应的时间列表中，其第一条数据表示，截止于2:00为止，最后一个发生的事件是编号为1的事件，仍然处于激活状态的数据记录的集合是{1}。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可以作出种种的等同变换或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种超大规模数据的时序检索索引系统，其特征在于：包括有
垂直层级索引模块，包括有多层索引，每层索引均包括有哈希函数和多个数据集，所述原始数据通过第一层级索引的哈希函数映射至数据集中，所述数据集中数据通过下一层级索引的哈希函数映射至下一层级的数据集中；
时间轴索引模块，用于对最下层级索引中数据集的数据建立事件列表和时间列表；所述事件列表用于记录数据对应的事件在某个定点时间的激活状态，所述时间列表用于记录在某个定点时间之前的所发生的事件的总数。
2.根据权利要求1所述的一种超大规模数据的时序检索索引系统，其特征在于：所述垂直层级索引模块包括有三层索引。
3.根据权利要求1所述的一种超大规模数据的时序检索索引系统，其特征在于：所述多层索引中，最下层级索引用于存储热点查询信息，其余层级索引只存储映射关系数据。
4.根据权利要求3所述的一种超大规模数据的时序检索索引系统，其特征在于：所述热点查询信息包括有用户ID、时间属性、时间范围属性。
5.根据权利要求4所述的一种超大规模数据的时序检索索引系统，其特征在于：所述垂直层级索引模块还用于在原始数据的时间范围属性大于最下层级索引中时间范围属性时，将原始数据映射至其对应的所有数据集中。
6.根据权利要求1所述的一种超大规模数据的时序检索索引系统，其特征在于：所述时间轴索引模块用于将每一个层级索引中数据集中数据拆分为两个事件，分别用激活时间和撤销时间表示，并根据时间先后进行排序形成事件列表。
7.根据权利要求6所述的一种超大规模数据的时序检索索引系统，其特征在于：所述时间轴索引模块还用于记录在某个定点时间T之前的所发生的事件的总数，所述定点时间T的取值的间隔时间固定。
8.一种应用权利要求1所述超大规模数据的时序检索索引系统的索引方法，其特征在于：根据时间的有效时间起止点，从垂直层级索引模块中的数据集检索所需的信息，并返回所有检索到的数据集中的信息。
CN201611160429.2A 2016-12-15 2016-12-15 一种超大规模数据的时序检索索引系统及方法 Active CN106777111B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611160429.2A CN106777111B (zh) 2016-12-15 2016-12-15 一种超大规模数据的时序检索索引系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611160429.2A CN106777111B (zh) 2016-12-15 2016-12-15 一种超大规模数据的时序检索索引系统及方法

Publications (2)

Publication Number Publication Date
CN106777111A true CN106777111A (zh) 2017-05-31
CN106777111B CN106777111B (zh) 2020-08-11

Family

ID=58889276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611160429.2A Active CN106777111B (zh) 2016-12-15 2016-12-15 一种超大规模数据的时序检索索引系统及方法

Country Status (1)

Country Link
CN (1) CN106777111B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144962A (zh) * 2018-08-31 2019-01-04 北京诚志重科海图科技有限公司 一种数据存储方法、查询方法、存储装置及查询装置
CN110109915A (zh) * 2018-01-18 2019-08-09 伊姆西Ip控股有限责任公司 用于管理哈希表的方法、设备和计算机程序产品
CN110297832A (zh) * 2019-07-01 2019-10-01 联想(北京)有限公司 一种时序数据存储方法及装置、时序数据查询方法及装置
CN110580253A (zh) * 2019-09-10 2019-12-17 网易（杭州）网络有限公司 时序数据组的加载方法、装置、存储介质及电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090063151A1 (en) * 2007-08-28 2009-03-05 Nexidia Inc. Keyword spotting using a phoneme-sequence index
CN102073883A (zh) * 2009-11-19 2011-05-25 夏普株式会社 检测时间序列数据中的子序列的方法和设备
CN102254036A (zh) * 2011-08-09 2011-11-23 广东电网公司电力科学研究院 时间序列数据库测试方法及测试系统
CN102360378A (zh) * 2011-10-10 2012-02-22 南京大学 一种时序数据离群点检测方法
CN102495851A (zh) * 2011-11-17 2012-06-13 百度在线网络技术（北京）有限公司 时序数据的存储和查询方法、系统及装置
CN102682016A (zh) * 2011-03-15 2012-09-19 新奥特（北京）视频技术有限公司 一种支持mov/3gp/mp4文件的索引系统及方法
CN102859517A (zh) * 2010-05-14 2013-01-02 株式会社日立制作所 时序数据管理装置、系统、方法以及程序
CN102890722A (zh) * 2012-10-25 2013-01-23 国家电网公司 应用于时序历史数据库的索引方法
CN103198136A (zh) * 2013-04-15 2013-07-10 天津理工大学 一种基于时序关联的个人电脑文件查询方法
CN104750809A (zh) * 2015-03-26 2015-07-01 中国科学院软件研究所 一种支持关系模型和键-值结构的混合数据存储方法
CN105874451A (zh) * 2013-12-31 2016-08-17 谷歌公司 用于呈现对应于点播媒体内容的补充信息的方法、系统和介质
CN105917618A (zh) * 2014-03-18 2016-08-31 株式会社日立制作所 数据转发监视系统、数据转发监视方法以及据点系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090063151A1 (en) * 2007-08-28 2009-03-05 Nexidia Inc. Keyword spotting using a phoneme-sequence index
CN102073883A (zh) * 2009-11-19 2011-05-25 夏普株式会社 检测时间序列数据中的子序列的方法和设备
CN102859517A (zh) * 2010-05-14 2013-01-02 株式会社日立制作所 时序数据管理装置、系统、方法以及程序
CN102682016A (zh) * 2011-03-15 2012-09-19 新奥特（北京）视频技术有限公司 一种支持mov/3gp/mp4文件的索引系统及方法
CN102254036A (zh) * 2011-08-09 2011-11-23 广东电网公司电力科学研究院 时间序列数据库测试方法及测试系统
CN102360378A (zh) * 2011-10-10 2012-02-22 南京大学 一种时序数据离群点检测方法
CN102495851A (zh) * 2011-11-17 2012-06-13 百度在线网络技术（北京）有限公司 时序数据的存储和查询方法、系统及装置
CN102890722A (zh) * 2012-10-25 2013-01-23 国家电网公司 应用于时序历史数据库的索引方法
CN103198136A (zh) * 2013-04-15 2013-07-10 天津理工大学 一种基于时序关联的个人电脑文件查询方法
CN105874451A (zh) * 2013-12-31 2016-08-17 谷歌公司 用于呈现对应于点播媒体内容的补充信息的方法、系统和介质
CN105917618A (zh) * 2014-03-18 2016-08-31 株式会社日立制作所 数据转发监视系统、数据转发监视方法以及据点系统
CN104750809A (zh) * 2015-03-26 2015-07-01 中国科学院软件研究所 一种支持关系模型和键-值结构的混合数据存储方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110109915A (zh) * 2018-01-18 2019-08-09 伊姆西Ip控股有限责任公司 用于管理哈希表的方法、设备和计算机程序产品
CN110109915B (zh) * 2018-01-18 2024-01-05 伊姆西Ip控股有限责任公司 用于管理哈希表的方法、设备和计算机程序产品
CN109144962A (zh) * 2018-08-31 2019-01-04 北京诚志重科海图科技有限公司 一种数据存储方法、查询方法、存储装置及查询装置
CN110297832A (zh) * 2019-07-01 2019-10-01 联想(北京)有限公司 一种时序数据存储方法及装置、时序数据查询方法及装置
CN110297832B (zh) * 2019-07-01 2021-12-24 联想(北京)有限公司 一种时序数据存储方法及装置、时序数据查询方法及装置
CN110580253A (zh) * 2019-09-10 2019-12-17 网易（杭州）网络有限公司 时序数据组的加载方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN106777111B (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
JP3844370B2 (ja) 多次元データを格納しかつアクセスするコンピュータ方法及び格納構造
US7257599B2 (en) Data organization in a fast query system
CN105320775B (zh) 数据的存取方法和装置
US20120197900A1 (en) Systems and methods for search time tree indexes
CN106777111A (zh) 一种超大规模数据的时序检索索引系统及方法
CN109299113B (zh) 具有存储感知的混合索引的范围查询方法
DE112020000749T5 (de) Indexerstellung für sich entwickelnde umfangreiche Datensätze in Hybriden Transaktions- und Analysenverarbeitungssystemen mit mehreren Mastern
US7299404B2 (en) Dynamic maintenance of web indices using landmarks
CN106599043A (zh) 用于多级数据库的中间件和多级数据库系统
CN106599040A (zh) 一种面向云存储的分层索引方法与检索方法
US20130006994A1 (en) System for organizing computer data
CN102722531A (zh) 一种云环境中基于分片位图索引的查询方法
CN111639075B (zh) 一种基于扁平化r树的非关系数据库矢量数据管理方法
CN102890678A (zh) 一种基于格雷编码的分布式数据布局方法及查询方法
US7310719B2 (en) Memory management tile optimization
CN104391908A (zh) 一种图上基于局部敏感哈希的多关键字索引方法
CN103500165B (zh) 一种结合聚类和双key值的高维向量检索方法
CN105787090A (zh) 一种电力数据的olap系统的索引建立方法和系统
CN106294575A (zh) 一种基于Lucene的林地图斑矢量数据查询方法
US7337295B2 (en) Memory management frame handler
CN103034677A (zh) 多时相瓦片数据集组织和游程编码索引方法
CN104408128B (zh) 一种基于b+树异步更新索引的读优化方法
CN109885570A (zh) 一种辅助索引结合散列表的多维范围查询方法
CN107273443A (zh) 一种基于大数据模型元数据的混合索引方法
US20040193565A1 (en) Method for merging information from effective dated base tables

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant