CN104112013A - HBase二级索引方法及装置 - Google Patents

HBase二级索引方法及装置 Download PDF

Info

Publication number
CN104112013A
CN104112013A CN201410342561.XA CN201410342561A CN104112013A CN 104112013 A CN104112013 A CN 104112013A CN 201410342561 A CN201410342561 A CN 201410342561A CN 104112013 A CN104112013 A CN 104112013A
Authority
CN
China
Prior art keywords
secondary index
index
subscriber
meter
hbase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410342561.XA
Other languages
English (en)
Inventor
王斌
吴楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201410342561.XA priority Critical patent/CN104112013A/zh
Publication of CN104112013A publication Critical patent/CN104112013A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种分布式计算数据库HBase二级索引方法，包括：设置索引说明；根据索引说明，创建HBase用户表的二级索引表。本申请的技术方案对于HBase用户表建立二级索引，给用户的查找提供方便。

Description

HBase二级索引方法及装置
技术领域
本发明涉及大数据软件分布式计算数据库(HBase，Hadoop Database)，具体涉及HBase的二级索引方法及装置。
背景技术
大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce(映射归约)、HBase一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
HBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase是基于列的而不是基于行的模式。
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
与Yonghong Z-Data Mart等商用大数据产品不同，HBase是GoogleBigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用Chubby作为协同服务，HBase利用Zookeeper作为对应。
Hbase是按row key(行键值)排序，value(值)是不能排序的，如果想在rowkey之外构建索引，则需要构建二级甚至多级索引，HBase之前的版本并未支持二级索引，但是很多应用场合需要使用二级索引。故要引入二级索引。
发明内容
为了解决上述技术问题，本发明提供了分布式计算数据库HBase二级索引方法和装置，能够按照用户表的列族排序，给用户查找提供方便。
一种分布式计算数据库HBase二级索引方法，所述方法包括：
设置索引说明；
根据索引说明，创建HBase用户表的二级索引表。
优选地，所述索引说明包括二级索引表的格式、键值、排序方式。
优选地，所述用户表与二级索引表一一对应；所创建的二级索引表存储在对应的用户表所在的区域服务器上。
优选地，该方法还包括，根据用户的请求建立浏览器，在二级索引表中扫描数值，向用户反馈。
优选地，所述二级索引表按照用户表的列族(column Family)排序。
一种分布式计算数据库HBase二级索引装置，该装置包括：
设置模块，用于设置索引说明；
索引协处理器，用于读取所述索引说明，创建HBase用户表的二级索引表。
优选地，所述索引说明包括二级索引表的格式、键值、排序方式。
优选地，所述用户表与二级索引表一一对应；
所述索引协处理器还用于将所创建的二级索引表存储在对应的用户表所在的区域服务器上。
优选地，所述索引协处理器还用于根据用户的请求建立浏览器，所述浏览器用于在二级索引表中扫描数值，向用户反馈。
优选地，所述索引协处理器由HBase协处理器coprocessors实现。
本申请技术方案包括：一种分布式计算数据库HBase二级索引方法，所述方法包括：设置索引说明；根据索引说明，创建HBase用户表的二级索引表。本申请的技术方案对于HBase用户表建立二级索引，二级索引表能够按照用户表的列族排序，使得HBase用户表中原本不能直接查找的值，可以直接进行查找，给用户查找提供方便。特别地，对于Tautus平台的应用提供了实现的具体方案。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例二级索引的架构图；
图2是本发明实施例二级索引工作原理示意图；
图3是本发明实施例二级索引方法流程图；
图4是本发明实施例二级索引装置示意图。
具体实施方式
本发明实施例的主要思想是：针对HBase建立用户表的二级索引，二级索引的索引项对用户表的rowkey的value排序，从而方便根据value对用户表进行查找。每张用户表对应一个二级索引表，且存储时用户表与对应的二级索引表存储在相同的区域服务器上，避免了跨区索引。本发明能够提升查找速度，给用户更好的体验。
下面结合附图及具体实施例对本发明进行详细说明。
本发明使用HBase的协处理器(coprocessors)来实现二级索引。如图1所示，HBase架构包括H主机、多个区域服务器和多个HBase客户端，其中，H主机和区域服务器都配置有相应的协处理器主机，H主机还设置了平衡器以进行负载均衡。客户端应用程序通过外部客户端连接HBase客户端，进行业务操作请求。
按照现有技术，如果用户需要查找用户表的某值，只能按照某个rowkey遍历用户表来进行，费时费力，用户等待时间过长，也可能由于用户表过大而无法反馈，用户体验很差。
本发明实施例增加了索引协处理器，用来对用户表建立二级索引，当需要对于用户表的某一列(Column)建立二级索引时，使用coprocessors中的Put操作，将该列组的相应信息建立到一张二级索引表中。
HBase二级索引完全使用与coprocessors结合的服务器端的方式实现，coprocessers的作用是将索引数据存储到二级索引表上。
二级索引建立的过程智能感知区域(Region)，并且有可定制的加载均衡，可将用户表和对应的二级索引表放在同一个区域服务器上，如附图2所示。当客户端请求建立用户表R1的二级索引时，索引协处理器在用户表R1所在的区域服务器1上建立对应的二级索引表R1，同样，对于用户表R2，索引协处理器感知其位于区域服务器2上，所以在区域服务器2上建立对应的二级索引表R2。
在建立二级索引表时，服务器端读取设置的二级索引表创建时的索引说明，来创建二级索引表。一张用户表只有一个对应的二级索引表，并且一张用户表的所有索引信息都会存储到对应的二级索引表之中。例如：表1所示的原始用户表，包括rowkey和值如下：
rowkey cfl：coll
001 A
002 B
003 Z
004 C
005 A
006 A
… …
表1
对表1建立二级索引表的方式如下，将rowkey+值+列，作为二级索引表的Rowkey，二级索引表的列族则根据需要设置；同时根据用户表的值进行排序，按照值的字典顺序存储，见表2。
Rowkey Colume family(CF列族)
001_A_001
001_A_005
001_A_006
001_B_002
001_C_004
001_Z_003
… …
表2
这样对于值都是A的数据存储在一个区域，当用户请求时，可以一并反馈，提高效率。
当一行需要插入到HBase的用户表之中时，索引协处理器根据索引说明的规则，也对将对应的信息插入到对应的二级索引表之中。对于用户表进行的其他修改或更新，索引协处理器采用coprocessors的delete、get等操作对二级索引表进行相应的操作。
当用户使用表浏览(scan)时，索引协处理器在二级索引表上构建一个浏览器(scanner)，浏览二级索引表并查找用户表的确切的一行。例如：用户需要浏览值为A的数据，则浏览器在二级索引表中找到Rowkey为001_A_001，001_A_005，001_A_006反馈，其代表了值为A的数据位于用户表的第1列第1，5，6行，则用户可以到原始用户表中提取相应的数据。
HBase二级索引是一张用户表对应一张二级索引表，由于HBase本身对用户表也需要按区域存储，所以二级索引表根据用户表的区域分别将对应的二级索引表进行分区域存储。
优选地，对于建立二级索引表时，索引项的选取可以结合用户表数据的特点进行设置，例如，采用rowkey+列+部分值的形式，而排序也可以根据用户使用的需求进行，例如：对列族的部分值进行排序，等等。
二级索引表还可以直接存储用户表的rowkey对应的值，当用户请求时，在二级索引表中找到之后可以直接反馈给用户，而不用再回到用户表中提取。当然，这可能使二级索引表变得庞大，可以根据需要使用。
综上，HBase二级索引可实现在rowkey之外的其他列上构建索引。当需要在其他列上进行操所时，二级索引可以避免全表扫描。二级索引实现的过程借助HBase提供的coprocessor机制，可以提高HBase的查找、浏览速度。
本发明实施例提供的HBase二级索引方法，如图3所示，包括：
步骤301：设置索引说明。
索引说明包括二级索引表的二级索引表的格式、键值、排序方式。
步骤302：读取索引说明，创建HBase用户表的二级索引表。
服务器端根据用户请求，读取索引说明，根据索引说明的设置，创建用户表对应的二级索引表。用户表与二级索引表一一对应，根据索引说明，将所创建的二级索引表存储在用户表所在的区域服务器上。所述二级索引表按照用户表的列族(column Family)排序。
优选地，该方法还包括：当用户表变更时，对二级索引表进行相应的变更。用户表的变更时，索引协处理器根据索引说明，对二级索引表进行相应的变更操作。
优选地，该方法还包括：根据用户的请求建立浏览器，在二级索引表中扫描数值，向用户反馈。可以反馈相应的用户表位置给用户，用户根据所反馈的位置，从用户表中提取所请求的数据。当二级索引表中直接存储了值时，向用户反馈数值。
本发明实施例还提供了对应的HBase二级索引装置，如图4所示，包括：
设置模块，用于设置索引说明；索引说明包括二级索引表的二级索引表的格式、键值、排序方式。
索引协处理器，用于读取索引说明，创建HBase用户表的二级索引表。索引协处理器根据用户请求，读取索引说明，根据索引说明的设置，创建用户表对应的二级索引表。并根据索引说明，将所创建的二级索引表存储在用户表所在的区域服务器上。用户表与二级索引表一一对应。
优选地，索引协处理器，还用于当用户表变更时，对二级索引表进行相应的变更。
优选地，索引协处理器还用于，根据用户的请求建立浏览器，所述浏览器用于在二级索引表中扫描数值，向用户反馈。可以反馈相应的用户表位置给用户，用户根据所反馈的位置，从用户表中提取所请求的数据。当二级索引表中直接存储了值时，向用户反馈数值。
优选地，索引协处理器由HBase协处理器coprocessors实现。
应用实施例
下面说明本发明的技术方案在实际应用中的实现。采用Patch来实现二级索引功能，并将Patch安装到Taurus平台上。具体如下：
一、将Patch(补丁)打入HBase源码包
a)下载HBase0.99-SNAPSHOT.tar.gz和HBASE-secondary-index.patch，放于同一目录。
b)将HBase0.99-SNAPSHOT.tar.gz包解压。
c)进入解压的文件夹并执行如下命令：patch p0<../HBASE-10222.patch(已安装Patch命令，未安装请先安装)
二、编译HBase RPM包
a)首先下载HBase0.98的src.rpm包。
b)通过命令rpm2cpio xx.src.rpm|cpio idv获取其中的Spec等有用文件。
c)通过rpmbuild命令构建打包需要的目录结构，然后将对应文件放入目录之中，并使用rpmbuid开始编译rpm包。
三、在Taurus的安装过程中更换修改的RPM包
a)建立Taurus本地源，部署方法是现有技术。
b)将本地源中的HBase RPM安装包修改为步骤二中已编译好的HBaseRPM包。
c)继续安装并启动Taurus中各组件。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。
以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式计算数据库HBase二级索引方法，其特征在于，所述方法包括：
设置索引说明；
根据索引说明，创建HBase用户表的二级索引表。
2.如权利要求1所述的方法，其特征在于，所述索引说明包括二级索引表的格式、键值、排序方式。
3.如权利要求1所述的方法，其特征在于，所述用户表与二级索引表一一对应；所创建的二级索引表存储在对应的用户表所在的区域服务器上。
4.如权利要求1所述的方法，其特征在于，该方法还包括，根据用户的请求建立浏览器，在二级索引表中扫描数值，向用户反馈。
5.如权利要求1所述的方法，其特征在于，所述二级索引表按照用户表的列族(column Family)排序。
6.一种分布式计算数据库HBase二级索引装置，其特征在于，该装置包括：
设置模块，用于设置索引说明；
索引协处理器，用于读取所述索引说明，创建HBase用户表的二级索引表。
7.如权利要求6所述的装置，其特征在于，所述索引说明包括二级索引表的格式、键值、排序方式。
8.如权利要求6所述的装置，其特征在于，
所述用户表与二级索引表一一对应；
所述索引协处理器还用于将所创建的二级索引表存储在对应的用户表所在的区域服务器上。
9.如权利要求6所述的装置，其特征在于，所述索引协处理器还用于根据用户的请求建立浏览器，所述浏览器用于在二级索引表中扫描数值，向用户反馈。
10.如权利要求6所述的装置，其特征在于，所述索引协处理器由HBase协处理器coprocessors实现。
CN201410342561.XA 2014-07-17 2014-07-17 HBase二级索引方法及装置 Pending CN104112013A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410342561.XA CN104112013A (zh) 2014-07-17 2014-07-17 HBase二级索引方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410342561.XA CN104112013A (zh) 2014-07-17 2014-07-17 HBase二级索引方法及装置

Publications (1)

Publication Number Publication Date
CN104112013A true CN104112013A (zh) 2014-10-22

Family

ID=51708804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410342561.XA Pending CN104112013A (zh) 2014-07-17 2014-07-17 HBase二级索引方法及装置

Country Status (1)

Country Link
CN (1) CN104112013A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834688A (zh) * 2015-04-20 2015-08-12 北京奇艺世纪科技有限公司 一种二级索引建立方法和装置
CN105069151A (zh) * 2015-08-24 2015-11-18 用友网络科技股份有限公司 HBase二级索引构建装置和方法
CN105069665A (zh) * 2015-09-06 2015-11-18 北京京东尚科信息技术有限公司 多渠道站外广告报表数据的排序展示方法及装置
CN105404676A (zh) * 2015-11-20 2016-03-16 中国科学院计算技术研究所 一种基于HFile的HBase二级索引更新方法及系统
CN105740410A (zh) * 2016-01-29 2016-07-06 浪潮电子信息产业股份有限公司 一种基于Hbase二级索引的数据统计方法
WO2016180123A1 (zh) * 2015-09-25 2016-11-17 中兴通讯股份有限公司 HBase二级索引创建方法和装置
CN106294814A (zh) * 2016-08-16 2017-01-04 上海欣方软件有限公司 基于内存数据库的HBase二级索引构建与查询的装置及方法
CN106326374A (zh) * 2016-08-15 2017-01-11 北京集奥聚合科技有限公司 一种从HBase中增量抽取数据的方法及系统
CN106383860A (zh) * 2016-08-31 2017-02-08 无锡雅座在线科技发展有限公司 数据查询方法及装置
CN106503243A (zh) * 2016-11-08 2017-03-15 国网山东省电力公司电力科学研究院 基于HBase二级索引的电力大数据查询方法及系统
CN106777343A (zh) * 2017-01-16 2017-05-31 百融（北京）金融信息服务股份有限公司 增量分布式索引系统和方法
CN106777357A (zh) * 2017-01-19 2017-05-31 郑州云海信息技术有限公司 一种异步构建HBase全文索引的方法
CN107368477A (zh) * 2016-05-11 2017-11-21 北京京东尚科信息技术有限公司 基于HBase协处理器的类SQL查询的方法和系统
CN107704475A (zh) * 2016-08-10 2018-02-16 泰康保险集团股份有限公司 多层分布式非结构化数据存储方法、查询方法及装置
CN105404676B (zh) * 2015-11-20 2018-08-31 中国科学院计算技术研究所 一种基于HFile的HBase二级索引更新方法及系统
CN109299102A (zh) * 2018-10-23 2019-02-01 中国电子科技集团公司第二十八研究所 一种基于Elastcisearch的HBase二级索引系统及方法
CN109977074A (zh) * 2019-03-11 2019-07-05 北京东方国信科技股份有限公司 一种基于hdfs的lob数据处理方法及装置
CN110069451A (zh) * 2019-03-28 2019-07-30 浪潮卓数大数据产业发展有限公司 一种hdfs存储小文件的方法及装置
CN110297832A (zh) * 2019-07-01 2019-10-01 联想(北京)有限公司 一种时序数据存储方法及装置、时序数据查询方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5752243A (en) * 1993-10-20 1998-05-12 Microsoft Corporation Computer method and storage structure for storing and accessing multidimensional data
CN102193917A (zh) * 2010-03-01 2011-09-21 中国移动通信集团公司 一种数据处理和查询方法和装置
CN103020204A (zh) * 2012-12-05 2013-04-03 北京普泽天玑数据技术有限公司 一种对分布式顺序表进行多维区间查询的方法及其系统
CN103116610A (zh) * 2013-01-23 2013-05-22 浙江大学 基于HBase的矢量空间大数据存储方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5752243A (en) * 1993-10-20 1998-05-12 Microsoft Corporation Computer method and storage structure for storing and accessing multidimensional data
CN102193917A (zh) * 2010-03-01 2011-09-21 中国移动通信集团公司 一种数据处理和查询方法和装置
CN103020204A (zh) * 2012-12-05 2013-04-03 北京普泽天玑数据技术有限公司 一种对分布式顺序表进行多维区间查询的方法及其系统
CN103116610A (zh) * 2013-01-23 2013-05-22 浙江大学 基于HBase的矢量空间大数据存储方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卓海艺: ""基于HBase的海量数据实时查询系统设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834688A (zh) * 2015-04-20 2015-08-12 北京奇艺世纪科技有限公司 一种二级索引建立方法和装置
CN105069151A (zh) * 2015-08-24 2015-11-18 用友网络科技股份有限公司 HBase二级索引构建装置和方法
CN105069665A (zh) * 2015-09-06 2015-11-18 北京京东尚科信息技术有限公司 多渠道站外广告报表数据的排序展示方法及装置
CN105069665B (zh) * 2015-09-06 2020-09-01 北京京东尚科信息技术有限公司 多渠道站外广告报表数据的排序展示方法及装置
WO2016180123A1 (zh) * 2015-09-25 2016-11-17 中兴通讯股份有限公司 HBase二级索引创建方法和装置
CN105404676A (zh) * 2015-11-20 2016-03-16 中国科学院计算技术研究所 一种基于HFile的HBase二级索引更新方法及系统
CN105404676B (zh) * 2015-11-20 2018-08-31 中国科学院计算技术研究所 一种基于HFile的HBase二级索引更新方法及系统
CN105740410A (zh) * 2016-01-29 2016-07-06 浪潮电子信息产业股份有限公司 一种基于Hbase二级索引的数据统计方法
CN107368477A (zh) * 2016-05-11 2017-11-21 北京京东尚科信息技术有限公司 基于HBase协处理器的类SQL查询的方法和系统
CN107704475A (zh) * 2016-08-10 2018-02-16 泰康保险集团股份有限公司 多层分布式非结构化数据存储方法、查询方法及装置
CN106326374A (zh) * 2016-08-15 2017-01-11 北京集奥聚合科技有限公司 一种从HBase中增量抽取数据的方法及系统
CN106294814A (zh) * 2016-08-16 2017-01-04 上海欣方软件有限公司 基于内存数据库的HBase二级索引构建与查询的装置及方法
CN106294814B (zh) * 2016-08-16 2019-09-20 上海欣方软件有限公司 基于内存数据库的HBase二级索引构建与查询的装置及方法
CN106383860A (zh) * 2016-08-31 2017-02-08 无锡雅座在线科技发展有限公司 数据查询方法及装置
CN106503243B (zh) * 2016-11-08 2019-08-06 国网山东省电力公司电力科学研究院 基于HBase二级索引的电力大数据查询方法
CN106503243A (zh) * 2016-11-08 2017-03-15 国网山东省电力公司电力科学研究院 基于HBase二级索引的电力大数据查询方法及系统
CN106777343A (zh) * 2017-01-16 2017-05-31 百融（北京）金融信息服务股份有限公司 增量分布式索引系统和方法
CN106777357B (zh) * 2017-01-19 2020-06-02 郑州云海信息技术有限公司 一种异步构建HBase全文索引的方法
CN106777357A (zh) * 2017-01-19 2017-05-31 郑州云海信息技术有限公司 一种异步构建HBase全文索引的方法
CN109299102A (zh) * 2018-10-23 2019-02-01 中国电子科技集团公司第二十八研究所 一种基于Elastcisearch的HBase二级索引系统及方法
CN109299102B (zh) * 2018-10-23 2020-11-13 中国电子科技集团公司第二十八研究所 一种基于Elastcisearch的HBase二级索引系统及方法
CN109977074A (zh) * 2019-03-11 2019-07-05 北京东方国信科技股份有限公司 一种基于hdfs的lob数据处理方法及装置
CN109977074B (zh) * 2019-03-11 2021-04-27 北京东方国信科技股份有限公司 一种基于hdfs的lob数据处理方法及装置
CN110069451A (zh) * 2019-03-28 2019-07-30 浪潮卓数大数据产业发展有限公司 一种hdfs存储小文件的方法及装置
CN110297832A (zh) * 2019-07-01 2019-10-01 联想(北京)有限公司 一种时序数据存储方法及装置、时序数据查询方法及装置
CN110297832B (zh) * 2019-07-01 2021-12-24 联想(北京)有限公司 一种时序数据存储方法及装置、时序数据查询方法及装置

Similar Documents

Publication Publication Date Title
CN104112013A (zh) HBase二级索引方法及装置
Kaur et al. Modeling and querying data in NoSQL databases
CN102193917B (zh) 一种数据处理和查询方法和装置
US9460188B2 (en) Data warehouse compatibility
CN104102710A (zh) 一种海量数据查询方法
US20140258300A1 (en) Independent Table Nodes In Parallelized Database Environments
US20160048584A1 (en) On-the-fly determination of search areas and queries for database searches
CN107391502B (zh) 时间间隔的数据查询方法、装置及索引构建方法、装置
CN103455540A (zh) 从数据仓库模型生成内存模型的系统和方法
CN106294695A (zh) 一种面向实时大数据搜索引擎的实现方法
Konstantinou et al. Distributed indexing of web scale datasets for the cloud
CN105164673A (zh) 跨数据库和文件系统的查询一体化
CN104111936A (zh) 数据查询方法和系统
Caldarola et al. Big data: A survey-the new paradigms, methodologies and tools
CN104503985A (zh) 一种Hbase数据自动化创建Solr索引文件的方法
CN103353901A (zh) 基于Hadoop分布式文件系统的表数据的有序管理方法以及系统
CN114297173A (zh) 一种面向大规模海量数据的知识图谱构建方法和系统
US11514697B2 (en) Probabilistic text index for semi-structured data in columnar analytics storage formats
CN103809915B (zh) 一种磁盘文件的读写方法和装置
US11449511B1 (en) Systems and methods for joining non-relational database search results over multiple database indexes
CN113760966A (zh) 基于异构数据库系统的数据处理方法和装置
CN112817930A (zh) 一种数据迁移的方法和装置
CN113760600A (zh) 一种数据库备份方法、数据库还原方法和相关装置
Zhang et al. The research and design of SQL processing in a data-mining system based on MapReduce
Oleś et al. The performance analysis of distributed storage systems used in scalable web systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141022