CN112416925B - 基于有序分布式索引结构的查询方法和分布式数据库系统 - Google Patents

基于有序分布式索引结构的查询方法和分布式数据库系统 Download PDF

Info

Publication number
CN112416925B
CN112416925B CN202011203711.0A CN202011203711A CN112416925B CN 112416925 B CN112416925 B CN 112416925B CN 202011203711 A CN202011203711 A CN 202011203711A CN 112416925 B CN112416925 B CN 112416925B
Authority
CN
China
Prior art keywords
data
query
index
distributed database
column
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011203711.0A
Other languages
English (en)
Other versions
CN112416925A (zh
Inventor
陈伟
富浩
臧铖
史册
张云粮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Zheshang Bank Co Ltd
Original Assignee
China Zheshang Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Zheshang Bank Co Ltd filed Critical China Zheshang Bank Co Ltd
Priority to CN202011203711.0A priority Critical patent/CN112416925B/zh
Publication of CN112416925A publication Critical patent/CN112416925A/zh
Application granted granted Critical
Publication of CN112416925B publication Critical patent/CN112416925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于有序分布式索引结构的查询方法和分布式数据库系统,有序分布式索引结构应用于分布式数据库的数据对应的索引库;依据该索引结构,从索引库查询所需数据的基本信息,继而从海量分布式数据库中高效取出所需数据,实现分布式数据库对于点数据和小范围数据的高效查询,并且支持多任务的共同查询,实现查询高并发;基于该索引结构执行查询任务并返回小范围和点的数据,可以得到精确的查询结果。在PB级别的数据中,本发明提出的分布式索引结构能够实现点数据和小范围数据的高效查询和分析。

Description

基于有序分布式索引结构的查询方法和分布式数据库系统
技术领域
本发明属于数据检索技术领域,尤其涉及一种分布式数据库的高效查询方法。
背景技术
随着国内银行间竞争的不断加剧、金融脱媒不断深化、利率市场化等因素的影响,这就要求银行在信息技术领域对其数据的存储、检索和分析进行精耕细作,充分利用海量数据的价值,逐步建成以客户为中心、以产品为导向的经营模式。随着用户数据爆炸式增长,国内银行大都采用分布式数据库进行数据存储,虽然分布式数据库大都支持大批量快速的存储,但是在按条件检索方面却很难快速灵活的获取其中的数据,这导致银行对产品调控不及时,影响银行的业务办理,客户体验变差。
除此之外,由于大数据的搜索、分析效率低下导致的业务开发周期延长,大大制约了银行金融对于市场的敏感性,影响银行的用户分析、精准营销、差异化定价、风险管理等服务,所以分布式数据库的快速检索技术亟待解决。
发明内容
本发明的目的在于针对传统分布式数据库查询小批量数据和点数据缓慢,效率低以及查询缓慢导致的数据分析延迟,对银行业务便捷性和用户体验方面产生不良影响,提供了一种基于有序分布式数据索引结构的查询方法和分布式数据库系统。
本发明的目的是通过以下技术方案来实现的:
本发明一方面提供了一种基于有序分布式索引结构的快速查询方法,该方法适用于分布式数据库系统,包括数据存储部分和数据查询部分;
所述数据存储部分包括:
构建索引库,所述索引库的数据表结构包括主键Key1和值Value1,所述主键为有序分布式索引结构,包括依次排布的表ID、列ID、IndexID、command ID、时间戳、删除标志和RotCount;所述表ID表示键所在表的地址;列ID表示所要存储数据列地址;IndexID表示列簇的id号;Command ID表示记录一个事务中产生写操作的SQL行为;时间戳表示数据存储到分布式数据库的时间;RotCount表示此条记录被查询的次数,默认初始值为0;
接收到用户待记录的数据时,首先申请分布式数据库空间,以行数为主键Key2,将数据存入分布式数据库中,并返回数据基本信息至索引库中,所述数据基本信息包括:行数、表ID、列ID、IndexID、command ID、时间戳和删除标志;
索引库接收到分布式数据库返回的数据基本信息后,将表ID、列ID、IndexID、command ID、时间戳和删除标志按顺序依次存入索引库的主键Key1中,RotCount列默认为0,构建数据自己的主键索引,将行数存入索引库的值Value1中,用来表征分布式数据库中的某一条数据;
所述数据查询部分包括:
获取查询任务,判断查询任务是单点查询还是范围查询;
当查询单点数据时,将查询语句中constant查询条件,先在索引库中查找对应的索引数据,根据查询结果解析出数据基本信息,并且同时RotCount做加1操作,根据解析出的行数继而进入分布式数据库中查表、查行数据,返回查询的某行数据;
当查询范围数据时,将查询语句中分布键的上限和下限取出,在索引库中搜索在范围内的分布键,将取到数据的主键索引中RotCount做加1操作,从分布键中得到的数据基本信息和数据所在行信息,在分布式数据库中查询对应范围内所有的数据量。
进一步地,在数据查询过程中,如果查询条件下索引库没有对应的数据,拒绝访问分布式数据库,直接返回空值。
进一步地,所述索引库支持主键索引、唯一索引和普通索引,不支持表达式索引、部分索引和覆盖索引;支持单列索引,也支持多列组合索引;同时,支持多种数据类型以及它们的任意组合。
进一步地,所述索引库可以根据RotCount定时做批处理,按照RotCount数值从高到低进行排序,并将高RotCount的数据置于索引库的前部。
进一步地,根据查询语句中constant查询条件,在索引库中查找对应的索引数据后,首先判断删除标志列值,若判断数据未删除继续进行数据查询,否则直接返回Null。
本发明另一方面提供了一种分布式数据库系统,包括:索引库、分布式数据库、存储单元和查询单元;
索引库:其数据表结构包括主键Key1和值Value1,所述主键为有序分布式索引结构,包括依次排布的表ID、列ID、IndexID、command ID、时间戳、删除标志和RotCount;所述表ID表示键所在表的地址;列ID表示所要存储数据列地址;IndexID表示列簇的id号;Command ID表示记录一个事务中产生写操作的SQL行为;时间戳表示数据存储到分布式数据库的时间;RotCount表示此条记录被查询的次数;
存储单元:接收到用户待记录的数据时,首先申请分布式数据库空间,以行数为主键Key2,将数据存入分布式数据库中,并返回数据基本信息至索引库中,所述数据基本信息包括:行数、表ID、列ID、IndexID、command ID、时间戳和删除标志,其中表ID、列ID、IndexID、command ID、时间戳和删除标志按顺序依次存入索引库的主键Key1中,行数存入索引库的值Value1中;
查询单元:包括查询任务解析模块、单点查询模块和范围查询模块;
查询任务解析模块:获取查询任务,判断查询任务是单点查询还是范围查询,从而分别调用单点查询模块和范围查询模块;
单点查询模块:将查询语句中constant查询条件,先在索引库中查找对应的索引数据,根据查询结果解析出数据基本信息,并且同时RotCount做加1操作,根据解析出的行数继而进入分布式数据库中查表、查行数据,返回查询的某行数据;
范围查询模块:将查询语句中分布键的上限和下限取出,在索引库中搜索在范围内的分布键,将取到数据的主键索引中RotCount做加1操作,从分布键中得到的数据基本信息和数据所在行信息,在分布式数据库中查询对应范围内所有的数据量。
进一步地,所述单点查询模块和范围查询模块中,如果查询条件下索引库没有对应的数据,拒绝访问分布式数据库,直接返回空值。
进一步地,所述索引库可以根据RotCount定时做批处理,按照RotCount数值从高到低进行排序,并将高RotCount的数据置于索引库的前部。
进一步地,所述单点查询模块中,根据查询语句中constant查询条件,在索引库中查找对应的索引数据后,首先判断删除标志列值,若判断数据未删除继续进行数据查询,否则直接返回Null。
本发明的优点及有益效果是:与现有的分布式数据库查询技术相比,本发明设置先查询的索引库,再进行分布式数据查询,能够避免大量的扫描分布式数据库中原始数据,优化海量大数据下的检索和查询,大幅缩短了查询时间,并且较为完整的数据基本信息保证了查询结果的准确性,RotCount的批处理排序使得常用数据得到优先查询,加快了查询速度。
附图说明
图1为本发明分布式索引结构中分布键图;
图2为本发明分布式索引结构中数据值图;
图3为本发明有序分布式索引结构在分布式数据库中查询原理图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
本发明提出的一种基于有序分布式索引结构的查询方法,如图3所示,包括数据存储部分和数据查询部分;
数据存储部分包括:
(1)构建索引库,所述索引库的数据表结构包括主键Key1和值Value1,所述主键为有序分布式索引结构,包括依次排布的表ID、列ID、IndexID、command ID、时间戳、删除标志和RotCount;所述表ID表示键所在表的地址;列ID表示所要存储数据列地址;IndexID表示列簇的id号;Command ID表示记录一个事务中产生写操作(例如ddl,dml)的SQL行为;时间戳表示数据存储到分布式数据库的时间;RotCount表示此条记录被查询的次数,默认初始值为0;
(2)接收到用户待记录的数据时,首先申请分布式数据库空间,以行数为主键Key2,将数据存入分布式数据库中,并返回数据基本信息至索引库中,所述数据基本信息包括:行数、表ID、列ID、IndexID、command ID、时间戳和删除标志;
(3)索引库接收到分布式数据库返回的数据基本信息后,将表ID、列ID、IndexID、command ID、时间戳和删除标志按顺序依次存入索引库的主键Key1中,如图1所示,RotCount列默认为0,构建数据自己的主键索引,将行数存入索引库的值Value1中,如图2所示,用来表征分布式数据库中的某一条数据;
数据查询部分包括:
获取查询任务,首先使用索引库查询,根据查询条件中indexColumn指定为某个单值,还是一个查询范围,判断查询任务是单点查询还是范围查询;
当查询单点数据时,如图3-1,将查询语句中constant查询条件,先在索引库中查找对应的索引数据,如图3-2,根据查询结果解析出数据基本信息,并且同时RotCount做加1操作,根据解析出的行数继而进入分布式数据库中查表、查行数据,如图3-3,返回查询的某行数据,如果查询条件下索引库没有对应的数据,拒绝访问分布式数据库,直接返回空值;
进一步地,根据查询语句中constant查询条件,在索引库中查找对应的索引数据后,首先判断删除标志列值,若判断数据未删除继续进行数据查询,否则直接返回Null。
当查询范围数据时,将查询语句中分布键的上限和下限取出,在索引库中搜索在范围内的分布键(分布键是一列(或一组列),用于确定存储特定数据行的数据库分区),将取到数据的主键索引中RotCount做加1操作,从分布键中得到的数据基本信息和数据所在行信息,在分布式数据库中查询对应范围内所有的数据量;如果查询条件下索引库没有对应的数据,拒绝访问分布式数据库,直接返回空值。
索引库支持主键索引、唯一索引和普通索引,不支持表达式索引、部分索引和覆盖索引;支持单列索引,也支持多列组合索引;同时,它支持多种数据类型以及它们的任意组合。此外,索引库可以根据RotCount定时做批处理,按照RotCount数值从高到低进行排序,并将高RotCount的数据置于索引库的前部,RotCount的批处理排序使得常用数据得到优先查询,加快了查询速度。
本发明提出的分布式数据库系统,包括:索引库、分布式数据库、存储单元和查询单元;
索引库:其数据表结构包括主键Key1和值Value1,所述主键为有序分布式索引结构,包括依次排布的表ID、列ID、IndexID、command ID、时间戳、删除标志和RotCount;所述表ID表示键所在表的地址;列ID表示所要存储数据列地址;IndexID表示列簇的id号;Command ID表示记录一个事务中产生写操作(例如ddl,dml)的SQL行为;时间戳表示数据存储到分布式数据库的时间;RotCount表示此条记录被查询的次数,默认初始值为0;
存储单元:接收到用户待记录的数据时,首先申请分布式数据库空间,以行数为主键Key2,将数据存入分布式数据库中,并返回数据基本信息至索引库中,所述数据基本信息包括:行数、表ID、列ID、IndexID、command ID、时间戳和删除标志,其中表ID、列ID、IndexID、command ID、时间戳和删除标志按顺序依次存入索引库的主键Key1中,RotCount列默认为0,构建数据自己的主键索引,行数存入索引库的值Value1中,用来表征分布式数据库中的某一条数据;
查询单元:包括查询任务解析模块、单点查询模块和范围查询模块;
查询任务解析模块:获取查询任务,根据查询条件中indexColumn指定为某个单值还是一个查询范围,判断查询任务是单点查询还是范围查询,从而分别调用单点查询模块和范围查询模块;
单点查询模块:将查询语句中constant查询条件,先在索引库中查找对应的索引数据,根据查询结果解析出数据基本信息,并且同时RotCount做加1操作,根据解析出的行数继而进入分布式数据库中查表、查行数据,返回查询的某行数据,如果查询条件下索引库没有对应的数据,拒绝访问分布式数据库,直接返回空值;
范围查询模块:将查询语句中分布键的上限和下限取出,在索引库中搜索在范围内的分布键,将取到数据的主键索引中RotCount做加1操作,从分布键中得到的数据基本信息和数据所在行信息,在分布式数据库中查询对应范围内所有的数据量;如果查询条件下索引库没有对应的数据,拒绝访问分布式数据库,直接返回空值。
以上所述仅是本发明的优选实施方式,虽然本发明已以较佳实施例披露如上,然而并非用以限定本发明。任何熟悉本领域的技术人员,在不脱离本发明技术方案范围情况下,都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。

Claims (9)

1.一种基于有序分布式索引结构的查询方法,其特征在于,包括数据存储部分和数据查询部分;
所述数据存储部分包括:
构建索引库,所述索引库的数据表结构包括主键Key1和值Value1,所述主键为有序分布式索引结构,包括依次排布的表ID、列ID、IndexID、command ID、时间戳、删除标志和RotCount;所述表ID表示键所在表的地址;列ID表示所要存储数据列地址;IndexID表示列簇的id号;Command ID表示记录一个事务中产生写操作的SQL行为;时间戳表示数据存储到分布式数据库的时间;RotCount表示此条记录被查询的次数,默认初始值为0;
接收到用户待记录的数据时,首先申请分布式数据库空间,以行数为主键Key2,将数据存入分布式数据库中,并返回数据基本信息至索引库中,所述数据基本信息包括:行数、表ID、列ID、IndexID、command ID、时间戳和删除标志;
索引库接收到分布式数据库返回的数据基本信息后,将表ID、列ID、IndexID、commandID、时间戳和删除标志按顺序依次存入索引库的主键Key1中,RotCount列默认为0,构建数据自己的主键索引,将行数存入索引库的值Value1中,用来表征分布式数据库中的某一条数据;
所述数据查询部分包括:
获取查询任务,判断查询任务是单点查询还是范围查询;
当查询单点数据时,将查询语句中constant查询条件,先在索引库中查找对应的索引数据,根据查询结果解析出数据基本信息,并且同时RotCount做加1操作,根据解析出的行数继而进入分布式数据库中查表、查行数据,返回查询的某行数据;
当查询范围数据时,将查询语句中分布键的上限和下限取出,在索引库中搜索在范围内的分布键,将取到数据的主键索引中RotCount做加1操作,从分布键中得到的数据基本信息和数据所在行信息,在分布式数据库中查询对应范围内所有的数据量。
2.根据权利要求1所述的一种基于有序分布式索引结构的查询方法,其特征在于,在数据查询过程中,如果查询条件下索引库没有对应的数据,拒绝访问分布式数据库,直接返回空值。
3.根据权利要求1所述的一种基于有序分布式索引结构的查询方法,其特征在于,所述索引库支持主键索引、唯一索引和普通索引,不支持表达式索引、部分索引和覆盖索引;支持单列索引,也支持多列组合索引;同时,支持多种数据类型以及它们的任意组合。
4.根据权利要求1所述的一种基于有序分布式索引结构的查询方法,其特征在于,所述索引库根据RotCount定时做批处理,按照RotCount数值从高到低进行排序,并将高RotCount的数据置于索引库的前部。
5.根据权利要求1所述的一种基于有序分布式索引结构的查询方法,其特征在于,根据查询语句中constant查询条件,在索引库中查找对应的索引数据后,首先判断删除标志列值,若判断数据未删除继续进行数据查询,否则直接返回Null。
6.一种分布式数据库系统,其特征在于,包括:索引库、分布式数据库、存储单元和查询单元;
索引库:其数据表结构包括主键Key1和值Value1,所述主键为有序分布式索引结构,包括依次排布的表ID、列ID、IndexID、command ID、时间戳、删除标志和RotCount;所述表ID表示键所在表的地址;列ID表示所要存储数据列地址;IndexID表示列簇的id号;Command ID表示记录一个事务中产生写操作的SQL行为;时间戳表示数据存储到分布式数据库的时间;RotCount表示此条记录被查询的次数;
存储单元:接收到用户待记录的数据时,首先申请分布式数据库空间,以行数为主键Key2,将数据存入分布式数据库中,并返回数据基本信息至索引库中,所述数据基本信息包括:行数、表ID、列ID、IndexID、command ID、时间戳和删除标志,其中表ID、列ID、IndexID、command ID、时间戳和删除标志按顺序依次存入索引库的主键Key1中,行数存入索引库的值Value1中;
查询单元:包括查询任务解析模块、单点查询模块和范围查询模块;
查询任务解析模块:获取查询任务,判断查询任务是单点查询还是范围查询,从而分别调用单点查询模块和范围查询模块;
单点查询模块:将查询语句中constant查询条件,先在索引库中查找对应的索引数据,根据查询结果解析出数据基本信息,并且同时RotCount做加1操作,根据解析出的行数继而进入分布式数据库中查表、查行数据,返回查询的某行数据;
范围查询模块:将查询语句中分布键的上限和下限取出,在索引库中搜索在范围内的分布键,将取到数据的主键索引中RotCount做加1操作,从分布键中得到的数据基本信息和数据所在行信息,在分布式数据库中查询对应范围内所有的数据量。
7.根据权利要求6所述的一种分布式数据库系统,其特征在于,所述单点查询模块和范围查询模块中,如果查询条件下索引库没有对应的数据,拒绝访问分布式数据库,直接返回空值。
8.根据权利要求6所述的一种分布式数据库系统,其特征在于,所述索引库根据RotCount定时做批处理,按照RotCount数值从高到低进行排序,并将高RotCount的数据置于索引库的前部。
9.根据权利要求6所述的一种分布式数据库系统,其特征在于,所述单点查询模块中,根据查询语句中constant查询条件,在索引库中查找对应的索引数据后,首先判断删除标志列值,若判断数据未删除继续进行数据查询,否则直接返回Null。
CN202011203711.0A 2020-11-02 2020-11-02 基于有序分布式索引结构的查询方法和分布式数据库系统 Active CN112416925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011203711.0A CN112416925B (zh) 2020-11-02 2020-11-02 基于有序分布式索引结构的查询方法和分布式数据库系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011203711.0A CN112416925B (zh) 2020-11-02 2020-11-02 基于有序分布式索引结构的查询方法和分布式数据库系统

Publications (2)

Publication Number Publication Date
CN112416925A CN112416925A (zh) 2021-02-26
CN112416925B true CN112416925B (zh) 2024-04-09

Family

ID=74827833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011203711.0A Active CN112416925B (zh) 2020-11-02 2020-11-02 基于有序分布式索引结构的查询方法和分布式数据库系统

Country Status (1)

Country Link
CN (1) CN112416925B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988907B (zh) * 2021-04-28 2022-01-21 北京卡普拉科技有限公司 一种信息调整方法、系统、电子设备及存储介质
CN117555894A (zh) * 2022-08-05 2024-02-13 华为技术有限公司 一种分布式数据库中创建全局二级索引的方法及装置
CN115576947A (zh) * 2022-10-19 2023-01-06 北京力控元通科技有限公司 一种数据管理方法、装置、组合库、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631910A (zh) * 2013-11-26 2014-03-12 烽火通信科技股份有限公司 一种分布式数据库多列复合查询的系统及方法
CN104850572A (zh) * 2014-11-18 2015-08-19 中兴通讯股份有限公司 HBase非主键索引构建与查询方法及其系统
CN107451214A (zh) * 2016-09-21 2017-12-08 广州特道信息科技有限公司 一种非主键查询方法和分布式NewSQL数据库系统
CN109299102A (zh) * 2018-10-23 2019-02-01 中国电子科技集团公司第二十八研究所 一种基于Elastcisearch的HBase二级索引系统及方法
CN109947729A (zh) * 2017-07-17 2019-06-28 普天信息技术有限公司 一种实时数据分析方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727465B (zh) * 2008-11-03 2011-12-21 中国移动通信集团公司 分布式列存储数据库索引建立、查询方法及装置与系统
WO2016150181A1 (en) * 2015-03-21 2016-09-29 Huawei Technologies Co., Ltd. System, method, and device for index compilation to optimize index usage

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631910A (zh) * 2013-11-26 2014-03-12 烽火通信科技股份有限公司 一种分布式数据库多列复合查询的系统及方法
CN104850572A (zh) * 2014-11-18 2015-08-19 中兴通讯股份有限公司 HBase非主键索引构建与查询方法及其系统
CN107451214A (zh) * 2016-09-21 2017-12-08 广州特道信息科技有限公司 一种非主键查询方法和分布式NewSQL数据库系统
CN109947729A (zh) * 2017-07-17 2019-06-28 普天信息技术有限公司 一种实时数据分析方法及装置
CN109299102A (zh) * 2018-10-23 2019-02-01 中国电子科技集团公司第二十八研究所 一种基于Elastcisearch的HBase二级索引系统及方法

Also Published As

Publication number Publication date
CN112416925A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112416925B (zh) 基于有序分布式索引结构的查询方法和分布式数据库系统
US7756889B2 (en) Partitioning of nested tables
US6182060B1 (en) Method and apparatus for storing, retrieving, and processing multi-dimensional customer-oriented data sets
US5655080A (en) Distributed hash group-by cooperative processing
EP1610235B1 (en) A data processing system and method
US6353820B1 (en) Method and system for using dynamically generated code to perform index record retrieval in certain circumstances in a relational database manager
JP2972928B2 (ja) デジタルデータ処理システム
US6973452B2 (en) Limiting scans of loosely ordered and/or grouped relations using nearly ordered maps
US6546394B1 (en) Database system having logical row identifiers
US6882994B2 (en) Method and system for querying database, as well as a recording medium for storing a database querying program
US7689553B2 (en) Execution cost reduction of sampled queries in a database
US7158996B2 (en) Method, system, and program for managing database operations with respect to a database table
US7680821B2 (en) Method and system for index sampled tablescan
US8086593B2 (en) Dynamic filters for relational query processing
US6389430B1 (en) Real-time database object statistics collection
US20080016322A1 (en) Fast aggregation of compressed data using full table scans
CN103631910A (zh) 一种分布式数据库多列复合查询的系统及方法
JPH09212528A (ja) データベースを記憶する方法、データベースからレコードを検索する方法、および、データベース記憶/検索システム
US7725468B2 (en) Improving efficiency in processing queries directed to static data sets
CN101493824A (zh) 数据库的数据检索方法和装置
US6269359B1 (en) Relational data base system and method for rapidly realizing a query to a database
CN113625967B (zh) 数据存储方法、数据查询方法及服务器
CN110019192B (zh) 数据库的检索方法及装置
US8290935B1 (en) Method and system for optimizing database system queries
US9378229B1 (en) Index selection based on a compressed workload

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant