CN107273462A - 一种构建HBase集群全文索引方法,数据读取方法以及数据写入方法 - Google Patents
一种构建HBase集群全文索引方法,数据读取方法以及数据写入方法 Download PDFInfo
- Publication number
- CN107273462A CN107273462A CN201710408441.9A CN201710408441A CN107273462A CN 107273462 A CN107273462 A CN 107273462A CN 201710408441 A CN201710408441 A CN 201710408441A CN 107273462 A CN107273462 A CN 107273462A
- Authority
- CN
- China
- Prior art keywords
- node
- hbase
- wal
- daily records
- queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
Claims (7)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710408441.9A CN107273462B (zh) | 2017-06-02 | 2017-06-02 | 一种构建HBase集群全文索引方法,数据读取方法以及数据写入方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710408441.9A CN107273462B (zh) | 2017-06-02 | 2017-06-02 | 一种构建HBase集群全文索引方法,数据读取方法以及数据写入方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107273462A true CN107273462A (zh) | 2017-10-20 |
CN107273462B CN107273462B (zh) | 2020-09-25 |
Family
ID=60064426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710408441.9A Active CN107273462B (zh) | 2017-06-02 | 2017-06-02 | 一种构建HBase集群全文索引方法,数据读取方法以及数据写入方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107273462B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108418859A (zh) * | 2018-01-24 | 2018-08-17 | 华为技术有限公司 | 写数据的方法和装置 |
CN110532123A (zh) * | 2019-08-30 | 2019-12-03 | 北京小米移动软件有限公司 | HBase系统的故障转移方法及装置 |
CN112948378A (zh) * | 2021-02-04 | 2021-06-11 | 上海中通吉网络技术有限公司 | 基于HBase的数据处理方法、装置和设备 |
CN113821492A (zh) * | 2020-06-19 | 2021-12-21 | 北京国电思达科技有限公司 | 一种基于Redis的风机数据读写方法、装置、系统和介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102779185A (zh) * | 2012-06-29 | 2012-11-14 | 浙江大学 | 一种高可用分布式全文索引方法 |
CN103870570A (zh) * | 2014-03-14 | 2014-06-18 | 广州携智信息科技有限公司 | 一种基于远程日志备份的HBase数据可用性及持久性的方法 |
CN105069151A (zh) * | 2015-08-24 | 2015-11-18 | 用友网络科技股份有限公司 | HBase二级索引构建装置和方法 |
CN105138592A (zh) * | 2015-07-31 | 2015-12-09 | 武汉虹信技术服务有限责任公司 | 一种基于分布式架构的日志数据存储和检索方法 |
US20160065627A1 (en) * | 2014-08-29 | 2016-03-03 | Box, Inc. | Configurable metadata-based automation and content classification architecture for cloud-based collaboration platforms |
CN106776795A (zh) * | 2016-11-23 | 2017-05-31 | 黄健文 | 基于Hbase数据库的数据写入方法及装置 |
CN106777357A (zh) * | 2017-01-19 | 2017-05-31 | 郑州云海信息技术有限公司 | 一种异步构建HBase全文索引的方法 |
-
2017
- 2017-06-02 CN CN201710408441.9A patent/CN107273462B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102779185A (zh) * | 2012-06-29 | 2012-11-14 | 浙江大学 | 一种高可用分布式全文索引方法 |
CN103870570A (zh) * | 2014-03-14 | 2014-06-18 | 广州携智信息科技有限公司 | 一种基于远程日志备份的HBase数据可用性及持久性的方法 |
US20160065627A1 (en) * | 2014-08-29 | 2016-03-03 | Box, Inc. | Configurable metadata-based automation and content classification architecture for cloud-based collaboration platforms |
CN105138592A (zh) * | 2015-07-31 | 2015-12-09 | 武汉虹信技术服务有限责任公司 | 一种基于分布式架构的日志数据存储和检索方法 |
CN105069151A (zh) * | 2015-08-24 | 2015-11-18 | 用友网络科技股份有限公司 | HBase二级索引构建装置和方法 |
CN106776795A (zh) * | 2016-11-23 | 2017-05-31 | 黄健文 | 基于Hbase数据库的数据写入方法及装置 |
CN106777357A (zh) * | 2017-01-19 | 2017-05-31 | 郑州云海信息技术有限公司 | 一种异步构建HBase全文索引的方法 |
Non-Patent Citations (1)
Title |
---|
FORBABYX: "HBase-WAL相关线程处理逻辑", 《HTTPS://BLOG.CSDN.NET/CAFEBABYX/ARTICLE/DETAILS/88347306》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108418859A (zh) * | 2018-01-24 | 2018-08-17 | 华为技术有限公司 | 写数据的方法和装置 |
CN108418859B (zh) * | 2018-01-24 | 2020-11-06 | 华为技术有限公司 | 写数据的方法和装置 |
CN110532123A (zh) * | 2019-08-30 | 2019-12-03 | 北京小米移动软件有限公司 | HBase系统的故障转移方法及装置 |
CN110532123B (zh) * | 2019-08-30 | 2023-08-04 | 北京小米移动软件有限公司 | HBase系统的故障转移方法及装置 |
CN113821492A (zh) * | 2020-06-19 | 2021-12-21 | 北京国电思达科技有限公司 | 一种基于Redis的风机数据读写方法、装置、系统和介质 |
CN112948378A (zh) * | 2021-02-04 | 2021-06-11 | 上海中通吉网络技术有限公司 | 基于HBase的数据处理方法、装置和设备 |
Also Published As
Publication number | Publication date |
---|---|
CN107273462B (zh) | 2020-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103020204B (zh) | 一种对分布式顺序表进行多维区间查询的方法及其系统 | |
Phaneendra et al. | Big Data-solutions for RDBMS problems-A survey | |
CN106326381A (zh) | 基于MapDB构建的HBase数据检索方法 | |
CN107402991A (zh) | 一种写入半结构化数据的方法和分布式NewSQL数据库系统 | |
CN107273462A (zh) | 一种构建HBase集群全文索引方法,数据读取方法以及数据写入方法 | |
CN107038162A (zh) | 基于数据库日志的实时数据查询方法和系统 | |
CN106815338A (zh) | 一种大数据的实时存储、处理和查询系统 | |
CN105138661A (zh) | 一种基于Hadoop的网络安全日志k-means聚类分析系统及方法 | |
CN107515927A (zh) | 一种房地产用户行为分析平台 | |
CN109063196A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN111221791A (zh) | 一种多源异构数据导入数据湖的方法 | |
CN106951552A (zh) | 一种基于Hadoop的用户行为数据处理方法 | |
CN101566981A (zh) | 分析处理系统中建立动态虚拟数据仓库的方法 | |
CN107832392A (zh) | 一种元数据管理系统 | |
CN102508913A (zh) | 一种带有数据立方存储索引结构的云计算系统 | |
CN108509437A (zh) | 一种ElasticSearch查询加速方法 | |
Caldarola et al. | Big data: A survey-the new paradigms, methodologies and tools | |
CN103324763A (zh) | 一种手机端树形数据结构的展现方法 | |
CN102279891A (zh) | 一种并行搜索it日志的检索方法、装置及系统 | |
CN102779138A (zh) | 实时数据的硬盘存取方法 | |
CN114218218A (zh) | 基于数据仓库的数据处理方法、装置、设备及存储介质 | |
CN109977125A (zh) | 一种基于网络安全的大数据安全分析平台系统 | |
CN116166191A (zh) | 湖仓一体系统 | |
CN103365987A (zh) | 一种基于共享磁盘架构的集群数据库系统及数据处理方法 | |
CN108959356A (zh) | 一种智能配用电大数据应用系统数据集市建立方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200518 Address after: Building S01, Inspur Science Park, No. 1036, Inspur Road, high tech Zone, Jinan City, Shandong Province, 250000 Applicant after: Tidal Cloud Information Technology Co.,Ltd. Address before: 450000 Henan province Zheng Dong New District of Zhengzhou City Xinyi Road No. 278 16 floor room 1601 Applicant before: ZHENGZHOU YUNHAI INFORMATION TECHNOLOGY Co.,Ltd. |
|
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Building S01, Inspur Science Park, No. 1036, Inspur Road, high tech Zone, Jinan City, Shandong Province, 250000 Applicant after: Inspur cloud Information Technology Co., Ltd Address before: Building S01, Inspur Science Park, No. 1036, Inspur Road, high tech Zone, Jinan City, Shandong Province, 250000 Applicant before: Tidal Cloud Information Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |