CN108763436A - 一种基于ElasticSearch与HBase的分布式数据存储系统 - Google Patents

一种基于ElasticSearch与HBase的分布式数据存储系统 Download PDF

Info

Publication number
CN108763436A
CN108763436A CN201810510959.8A CN201810510959A CN108763436A CN 108763436 A CN108763436 A CN 108763436A CN 201810510959 A CN201810510959 A CN 201810510959A CN 108763436 A CN108763436 A CN 108763436A
Authority
CN
China
Prior art keywords
clusters
data
elasticsearch
hbase
fastdfs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810510959.8A
Other languages
English (en)
Inventor
郭昆
郭文忠
陈羽中
李坤辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201810510959.8A priority Critical patent/CN108763436A/zh
Publication of CN108763436A publication Critical patent/CN108763436A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于ElasticSearch与HBase的分布式数据存储系统，包括客户端以及设在主服务器上的ElasticSearch集群、HBase集群与FastDFS集群；所述ElasticSearch集群用以存储数据的索引信息；所述HBase集群用以存储数据的元数据；所述FastDFS集群用以存储文件。本发明结合了ElasticSearch、HBase和FastDFS各自的优点，实现了数据的快速存储和查询，克服了传统单一式的存储系统的不足。

Description

一种基于ElasticSearch与HBase的分布式数据存储系统
技术领域
本发明涉及计算机技术领域，特别是一种基于ElasticSearch与HBase的分布式数据存储系统。
背景技术
现今全球数据存储量呈现爆炸式增长，企业及互联网数据以每年50%的速率在增长。数据结构变化给存储系统带来新的挑战。非结构化数据在存储系统中所占据比例已接近80%。尤其是在各行业中个人所产生的绝大部分数据均为图片等非结构化数据。
与此同时，各个行业中结构化数据仍然占据重要地位，存储大量的核心信息。随着结构化和非结构化数据业务的急剧增加，传统单一的SAN存储或NAS存储方式已经不适应业务发展需要。
发明内容
有鉴于此，本发明的目的是提出一种基于ElasticSearch与HBase的分布式数据存储系统，能够克服传统单一的SAN存储或NAS存储方式的一系列缺点，实现数据更为高效地存储和读写。
本发明采用以下方案实现：一种基于ElasticSearch与HBase的分布式数据存储系统，包括客户端以及设在主服务器上的ElasticSearch集群、HBase集群与FastDFS集群；
所述ElasticSearch集群用以存储数据的索引信息；
所述HBase集群用以存储数据的元数据；
所述FastDFS集群用以存储文件。
进一步地，在集中式部署架构下，所述客户端只负责数据采集，并将采集的数据上传至主服务器上对应的集群进行存储，客户端本地不保存数据；当需要调阅数据时，所述客户端想主服务器发送请求。
进一步地，所述主服务器还包括区域缓存，所述区域缓存上也设置了一套ElasticSearch集群、HBase集群与FastDFS集群，所述区域缓存用以缓存热数据；所述热数据包括最近访问的索引信息、元数据、以及文件；
在分布式存储架构下，当需要调阅数据时，客户端向最近的区域缓存发送请求。
进一步地，还包括备用服务器，所述备用服务器上也设置了一套与主服务器对应的ElasticSearch集群、HBase集群与FastDFS集群。
进一步地，针对ElasticSearch集群，当进行存储的时候，先将数据的索引信息存入ElasticSearch集群；当进行查询时，ElasticSearch集群返回符合查询条件的数据的索引信息。
进一步地，针对HBase集群，当进行存储的时候，HBase集群存储数据的元数据，在对应的列族存储对应类型的数据；当进行查询时，当所述ElasticSearch集群返回符合条件的数据的索引信息后，所述分布式存储系统根据索引信息对HBase集群进行查询，获取符合条件的索引数据所对应的全部数据。
进一步地，针对FastDFS集群，当进行存储时，将文件上传到FastDFS集群上的各个节点；当进行查询时，如果数据包含有文件的信息，则从FastDFS集群上返回相应的文件。
进一步地，所述主服务器上的ElasticSearch集群、HBase集群与FastDFS集群有对应的监控集群，用以监控所述ElasticSearch集群、HBase集群与FastDFS集群的集群信息，所述集群信息包括吞吐量、内存和CPU占用率。
进一步地，当客户端对ElasticSearch集群、HBase集群和FastDFS集群上的数据进行增加、删除、修改或查询操作时，分布式数据存储系统先对用户进行权限校验，判断用户是否有相应的操作权限，当用户具备相应的操作权限时允许用户进行相应的操作。
进一步地，还包括设置在异地的备份服务器，所述备份服务器上设置有与ElasticSearch集群、HBase集群和FastDFS集群对应的备份集群，用以备份ElasticSearch集群、HBase集群和FastDFS集群上的数据；所述备份服务器在预设的固定的时间点，将主服务器上的数据同步到备份服务器上，实现数据的一致性。
特别的，本发明的系统的逻辑架构包括存储、查询、备份、管理、监控、用户、权限、日志、异常和服务器模块。其中存储主要包括文件存储、内容对象存储、元数据存储；查询主要包括文件查询、内容对象查询、元数据查询；备份主要是定时异地备份；管理包括元数据管理、系统配置管理；监控主要包括服务器、数据库、文件系统监控和服务器、数据库、文件系统预警；用户主要包括注册、修改、删除用户；权限包括权限控制；异常包括异常管理；服务器用来存储索引目录、元数据、文件信息；日志模块主要是记录日志信息。同时对于每个模块系统对外提供统一的接口进行访问。
较佳的，本发明采用的物理架构是在集中式部署架构下，各个应用下的所有索引目录都存在总部的ElasticSearch集群中，元数据存在总部的HBase集群中，文件存在总部的FastDFS集群中，客户端只负责数据的采集，然后上传到总部，本地不保存数据，如果需要调阅数据，需要向总部发送请求。与此同时，架构支持文件异地机房灾备和对总部集群的运行状态、文件进行监控和预警。
较佳的，本发明的区域缓存架构是在分布式部署架构下，总部将所有的索引目录、元数据、文件分别存储ElasticSearch集群、HBase集群、FastDFS集群中，区域只缓存热数据，热数据包括最近访问的索引目录、元数据、文件，区域缓存的数据是总部的一部分，区域缓存需要部署一整套的ElasticSearch、HBase、FastDFS集群。客户端可以向最近的区域缓存进行请求，这样能大大降低总部的带宽压力。与此同时，架构支持文件异地机房灾备和对区域和总部的集群运行状态、文件进行监控和预警。
与现有技术相比，本发明有以下有益效果：本发明的分布式存储系统结合了ElasticSearch、HBase和FastDFS各自的优点，实现了数据的快速存储和查询，克服了传统单一式的存储系统的不足。此外，本发明的分布式系统也实现了异地备份等功能，更有利于增强系统的稳定性、可用性和可靠性。
附图说明
图1为本发明实施例的系统原理框图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本实施例提供了一种基于ElasticSearch与HBase的分布式数据存储系统，包括客户端以及设在主服务器上的ElasticSearch集群、HBase集群与FastDFS集群；
所述ElasticSearch集群用以存储数据的索引信息；
所述HBase集群用以存储数据的元数据；
所述FastDFS集群用以存储文件。
其中，本实施例对以下数据进行说明：
内容对象（ContentObject）：一个内容对象是指一组具有共同业务属性的文件集合，包含了一组业务属性（元数据）以及一组文件。
内容对象类型（ContentObjectType）：内容对象的分类，相同类型的内容对象具有相同的元数据模型（业务属性模型）。
元数据：指由业务系统传入的属性（业务属性，如保单号、投保单号等），区别于系统属性（如文件大小、校验码等）。
内容对象类型元数据模型：该类型的内容对象的元数据（业务属性）字段列表以及可用于搜索的字段。
文件：任何可存储的文件，具有自己的元数据，可以归属于某个内容对象，也可以不属于一个内容对象。
文件类型（FileType）：文件的分类，相同类型的文件具有相同的元数据模型（业务属性模型）。
文件元数据模型：该类型文件的元数据（业务属性）字段列表以及可用于搜索的字段。
在本实施例中，在集中式部署架构下，所述客户端只负责数据采集，并将采集的数据上传至主服务器上对应的集群进行存储，客户端本地不保存数据；当需要调阅数据时，所述客户端想主服务器发送请求。
在本实施例中，所述主服务器还包括区域缓存，所述区域缓存上也设置了一套ElasticSearch集群、HBase集群与FastDFS集群，所述区域缓存用以缓存热数据；所述热数据包括最近访问的索引信息、元数据、以及文件；
在分布式存储架构下，当需要调阅数据时，客户端向最近的区域缓存发送请求。
在本实施例中，还包括备用服务器，所述备用服务器上也设置了一套与主服务器对应的ElasticSearch集群、HBase集群与FastDFS集群。
在本实施例中，针对ElasticSearch集群，当进行存储的时候，先将数据的索引信息存入ElasticSearch集群；当进行查询时，ElasticSearch集群返回符合查询条件的数据的索引信息。
在本实施例中，针对HBase集群，当进行存储的时候，HBase集群存储数据的元数据，在对应的列族存储对应类型的数据；当进行查询时，当所述ElasticSearch集群返回符合条件的数据的索引信息后，所述分布式存储系统根据索引信息对HBase集群进行查询，获取符合条件的索引数据所对应的全部数据。
在本实施例中，针对FastDFS集群，当进行存储时，将文件上传到FastDFS集群上的各个节点；当进行查询时，如果数据包含有文件的信息，则从FastDFS集群上返回相应的文件。
在本实施例中，所述主服务器上的ElasticSearch集群、HBase集群与FastDFS集群有对应的监控集群，用以监控所述ElasticSearch集群、HBase集群与FastDFS集群的集群信息，所述集群信息包括吞吐量、内存和CPU占用率。
在本实施例中，当客户端对ElasticSearch集群、HBase集群和FastDFS集群上的数据进行增加、删除、修改或查询操作时，分布式数据存储系统先对用户进行权限校验，判断用户是否有相应的操作权限，当用户具备相应的操作权限时允许用户进行相应的操作。
在本实施例中，还包括设置在异地的备份服务器，所述备份服务器上设置有与ElasticSearch集群、HBase集群和FastDFS集群对应的备份集群，用以备份ElasticSearch集群、HBase集群和FastDFS集群上的数据；所述备份服务器在预设的固定的时间点，将主服务器上的数据同步到备份服务器上，实现数据的一致性。
特别的，本实施例的系统的逻辑架构包括存储、查询、备份、管理、监控、用户、权限、日志、异常和服务器模块。其中存储主要包括文件存储、内容对象存储、元数据存储；查询主要包括文件查询、内容对象查询、元数据查询；备份主要是定时异地备份；管理包括元数据管理、系统配置管理；监控主要包括服务器、数据库、文件系统监控和服务器、数据库、文件系统预警；用户主要包括注册、修改、删除用户；权限包括权限控制；异常包括异常管理；服务器用来存储索引目录、元数据、文件信息；日志模块主要是记录日志信息。同时对于每个模块系统对外提供统一的接口进行访问。
较佳的，本实施例采用的物理架构是在集中式部署架构下，各个应用下的所有索引目录都存在总部的ElasticSearch集群中，元数据存在总部的HBase集群中，文件存在总部的FastDFS集群中，客户端只负责数据的采集，然后上传到总部，本地不保存数据，如果需要调阅数据，需要向总部发送请求。与此同时，架构支持文件异地机房灾备和对总部集群的运行状态、文件进行监控和预警。
较佳的，本实施例的区域缓存架构是在分布式部署架构下，总部将所有的索引目录、元数据、文件分别存储ElasticSearch集群、HBase集群、FastDFS集群中，区域只缓存热数据，热数据包括最近访问的索引目录、元数据、文件，区域缓存的数据是总部的一部分，区域缓存需要部署一整套的ElasticSearch、HBase、FastDFS集群。客户端可以向最近的区域缓存进行请求，这样能大大降低总部的带宽压力。与此同时，架构支持文件异地机房灾备和对区域和总部的集群运行状态、文件进行监控和预警。
如图1所示，为了更好地帮助本领域的技术人员理解本发明，本实施例现将本发明按模块对查询模块、存储模块、元数据模块、权限模块、监控模块、日志模块、备份模块和异常模块进行描述。
在本实施例中，所述存储模块在存储数据时，根据数据的类型，判断数据是否都存储在ElasticSearch集群、HBase集群、FastDFS集群。如果存储的数据类型如上所述的内容对象，则先根据内容对象是否包含文件选取不同存储方法，如果内容对象包含文件，则将内容对象上传到ElasticSearch集群、HBase集群和FastDFS集群。如果内容对象不包含文件，则将内容对象上传到ElasticSearch集群和HBase集群。然后，将内容对象的索引信息，如行健，存储到ElasticSearch集群。再将内容对象里的所有数据存储到HBase集群，并判断内容对象是否包含文件。如果不包含文件，则不进行FastDFS集群操作。如果包含文件，则文件上传到FastDFS集群，并返回文件的相关数据，如文件大小和文件路径。
在本实施例中，所述查询模块用于查询数据。根据数据的类型，判断数据是否都从ElasticSearch集群、HBase集群、FastDFS集群进行读取操作。如果存储的数据类型如上所述的内容对象，则采用以下两种不同方法。如果包含文件，则需要与FastDFS集群建立连接。如果不包含文件，则不需要与FastDFS集群建立连接。然后，建立查询条件并对查询条件进行校验。根据查询条件对ElasticSearch进行索引查询，返回符合查询条件的数据的索引信息。根据ElasticSearch返回的索引信息，对HBase进行更完整的数据查询。在HBase根据索引信息，返回符合条件的数据的所有元数据。如果内容对象包含文件，则将符合查询条件的文件从FastDFS集群下载下来。
在本实施例中，所述元数据模块用于管理元数据。该模块建立与Mysql数据库的连接。对Mysql数据库的元数据进行元数据管理时，如果是新增元数据，应规范元数据的字段名，数据类型，长度，健别，是否允许为空和中文说明等。如果是修改元数据时，应对修改的操作是否规范进行校验。如果是删除元数据时，应校验已存储的数据是否包含有该字段。如果是查询元数据时，根据条件，返回所需的元数据信息。
在本实施例中，所述权限模块用于管理用户的权限。根据用户类型的不同，对用户的权限进行分配。当用户进行数据操作的时候，对权限进行校验。如果用户不满足操作的权限，则拒绝用户的操作。如果用户满足操作的权限，则允许用户再接着其他操作。
在本实施例中，所述监控模块用于对ElasticSearch集群、HBase集群、FastDFS集群进行监控，共分为存储系统的监控和服务器的监控。对于存储系统的监控，主要是需要监控系统的读写的用户数、读写的文件数、读写的文件数量以及系统的并发用户数等，通过在系统所对应的方法中调用监控指标的收集方法（收集的方法需要采用同步机制避免数据重复记录或丢失），来收集此时系统中的相应的指标数据，并通过封装接口可以实时的获取监控指标的数据。对于服务器的监控，需要监控的有服务器的内存、CPU、存储空间等。通过在存储节点执行shell命令得到服务器节点的相应信息并返回。根据监控的需求，启动对ElasticSearch集群、HBase集群和FastDFS集群的监控功能。从接口返回ElasticSearch集群、HBase集群和FastDFS集群的监控信息。对ElasticSearch集群进行监控，能够获取内存空间、CPU占有率、读写率及集群状态等信息。对HBase集群进行监控，能够获取内存空间、CPU占有率、读写率及集群状态等信息。对FastDFS集群进行监控，能够获取内存空间、CPU占有率、读写率及集群状态等信息。
在本实施例中，所述日志模块主要是记录系统用户的关键性操作和写入系统异常信息到文件中，以便正常运维。当系统运行时，启动对数据库的连接。当用户进行操作的时候，进行记录，并将记录存储到数据库。
在本实施例中，所述备份模块包括对Mysql、ElasticSearch集群、HBase集群和FastDFS集群进行备份。HBase数据库和文件备份采用的方案是第一次进行全备份，后面为永久增量备份。HBase备份采用的是主从模式，通过指定备集群，将HLog里面的数据数据从主集群到备集群延时较低，基本不会产生多少性能的影响，并且主集群的事务在备集群也可以得到保证。通过构造较好的Log系统加上check point来实现，可以实现读写分离，主集群可以担当读写服务，但是备集群一般只承担读服务。备份模块首先根据数据库类型的不同，采取不同的方案进行备份。如果数据库是ElasticSearch，则ElasticSearch采用hdfs方式进行备份，主集群将数据备份到hdfs上，备用集群从hdfs上恢复数据。如果数据库是FastDFS，则FastDFS采用的是Rsync进行备份，Rsync是一个远程数据同步工具，可以镜像整个目录树和文件系统，也可以保持源文件的权限。如果数据库是Mysql，则Mysql数据库是采用Mysqldump工具进行Mysql数据进行备份。Mysqldump是MySQL官方提供的逻辑备份工具。如果数据库是HBase，则HBase数据库是运用HBase的Replication机制，是通过WALEdit和HLog来实现的。当请求发送给master cluster时，HLog日志放入hdfs的同时进入replication队列中，由slave cluster通过zookeeper获取并写入slave的表中。
在本实施例中，所述异常模块由异常管理类、内容管理异常类及其派生的子类构成，描述了系统所有可能发生的异常情况。异常模块的具体操作步骤如下：根据模块的不同，抛出的异常类型等信息也将不同。然后根据抛出的异常，对异常所在的位置进行判断。最后根据异常所在处，判断异常的原因。
本实施例的基于分布式存储系统结合了ElasticSearch、HBase和FastDFS各自的优点，实现了数据的快速存储和查询，克服了传统单一式的存储系统的不足。此外，本实施例的分布式系统也实现异地备份等功能，更有利于增强系统的稳定性、可用性和可靠性。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (10)

1.一种基于ElasticSearch与HBase的分布式数据存储系统，其特征在于：包括客户端以及设在主服务器上的ElasticSearch集群、HBase集群与FastDFS集群；
所述ElasticSearch集群用以存储数据的索引信息；
所述HBase集群用以存储数据的元数据；
所述FastDFS集群用以存储文件。
2.根据权利要求1所述的一种基于ElasticSearch与HBase的分布式数据存储系统，其特征在于：在集中式部署架构下，所述客户端只负责数据采集，并将采集的数据上传至主服务器上对应的集群进行存储，客户端本地不保存数据；当需要调阅数据时，所述客户端想主服务器发送请求。
3.根据权利要求1所述的一种基于ElasticSearch与HBase的分布式数据存储系统，其特征在于：所述主服务器还包括区域缓存，所述区域缓存上也设置了一套ElasticSearch集群、HBase集群与FastDFS集群，所述区域缓存用以缓存热数据；所述热数据包括最近访问的索引信息、元数据、以及文件；
在分布式存储架构下，当需要调阅数据时，客户端向最近的区域缓存发送请求。
4.根据权利要求1所述的一种基于ElasticSearch与HBase的分布式数据存储系统，其特征在于：还包括备用服务器，所述备用服务器上也设置了一套与主服务器对应的ElasticSearch集群、HBase集群与FastDFS集群。
5.根据权利要求1所述的一种基于ElasticSearch与HBase的分布式数据存储系统，其特征在于：针对ElasticSearch集群，当进行存储的时候，先将数据的索引信息存入ElasticSearch集群；当进行查询时，ElasticSearch集群返回符合查询条件的数据的索引信息。
6.根据权利要求5所述的一种基于ElasticSearch与HBase的分布式数据存储系统，其特征在于：针对HBase集群，当进行存储的时候，HBase集群存储数据的元数据，在对应的列族存储对应类型的数据；当进行查询时，当所述ElasticSearch集群返回符合条件的数据的索引信息后，所述分布式存储系统根据索引信息对HBase集群进行查询，获取符合条件的索引数据所对应的全部数据。
7.根据权利要求1所述的一种基于ElasticSearch与HBase的分布式数据存储系统，其特征在于：针对FastDFS集群，当进行存储时，将文件上传到FastDFS集群上的各个节点；当进行查询时，如果数据包含有文件的信息，则从FastDFS集群上返回相应的文件。
8.根据权利要求1所述的一种基于ElasticSearch与HBase的分布式数据存储系统，其特征在于：所述主服务器上的ElasticSearch集群、HBase集群与FastDFS集群有对应的监控集群，用以监控所述ElasticSearch集群、HBase集群与FastDFS集群的集群信息，所述集群信息包括吞吐量、内存和CPU占用率。
9.根据权利要求1所述的一种基于ElasticSearch与HBase的分布式数据存储系统，其特征在于：当客户端对ElasticSearch集群、HBase集群和FastDFS集群上的数据进行增加、删除、修改或查询操作时，分布式数据存储系统先对用户进行权限校验，判断用户是否有相应的操作权限，当用户具备相应的操作权限时允许用户进行相应的操作。
10.根据权利要求1所述的一种基于ElasticSearch与HBase的分布式数据存储系统，其特征在于：还包括设置在异地的备份服务器，所述备份服务器上设置有与ElasticSearch集群、HBase集群和FastDFS集群对应的备份集群，用以备份ElasticSearch集群、HBase集群和FastDFS集群上的数据；所述备份服务器在预设的固定的时间点，将主服务器上的数据同步到备份服务器上，实现数据的一致性。
CN201810510959.8A 2018-05-25 2018-05-25 一种基于ElasticSearch与HBase的分布式数据存储系统 Pending CN108763436A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810510959.8A CN108763436A (zh) 2018-05-25 2018-05-25 一种基于ElasticSearch与HBase的分布式数据存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810510959.8A CN108763436A (zh) 2018-05-25 2018-05-25 一种基于ElasticSearch与HBase的分布式数据存储系统

Publications (1)

Publication Number Publication Date
CN108763436A true CN108763436A (zh) 2018-11-06

Family

ID=64005823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810510959.8A Pending CN108763436A (zh) 2018-05-25 2018-05-25 一种基于ElasticSearch与HBase的分布式数据存储系统

Country Status (1)

Country Link
CN (1) CN108763436A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783535A (zh) * 2018-12-26 2019-05-21 航天恒星科技有限公司 基于ElasticSearch和Hbase技术的网络传输数据检索系统
CN109871367A (zh) * 2019-02-28 2019-06-11 江苏实达迪美数据处理有限公司 一种基于Redis和HBase的分布式冷热数据分离方法
CN110636122A (zh) * 2019-09-11 2019-12-31 中移（杭州）信息技术有限公司 分布式存储方法、服务器、系统、电子设备以及存储介质
CN110688382A (zh) * 2019-09-25 2020-01-14 深圳市赛为智能股份有限公司 数据存储查询方法、装置、计算机设备及存储介质
CN110888839A (zh) * 2019-11-29 2020-03-17 厦门安胜网络科技有限公司 数据存储及数据搜索方法和装置
CN111212111A (zh) * 2019-12-17 2020-05-29 腾讯科技（深圳）有限公司 对象存储服务管理方法及电子设备
CN111367870A (zh) * 2018-12-25 2020-07-03 深圳市优必选科技有限公司 一种绘本共享方法、装置和系统
CN111506646A (zh) * 2020-03-16 2020-08-07 阿里巴巴集团控股有限公司 数据同步方法、装置、系统、存储介质及处理器
CN111737325A (zh) * 2020-05-25 2020-10-02 南京华盾电力信息安全测评有限公司 一种基于大数据技术的电力数据分析方法和装置
CN112003956A (zh) * 2020-10-27 2020-11-27 武汉中科通达高新技术股份有限公司 一种交管系统
CN112307829A (zh) * 2019-07-31 2021-02-02 北京博雅慧视智能技术研究院有限公司 一种数字视网膜海量目标检索时空矩阵呈现方法
CN112463755A (zh) * 2020-12-11 2021-03-09 同济大学 基于hdfs的异构物联网大数据的存储与读取系统及方法
CN112528121A (zh) * 2020-12-31 2021-03-19 河钢数字技术股份有限公司 一种基于分布式存储的爬虫爬取数据统计方法及系统
CN114090589A (zh) * 2022-01-20 2022-02-25 苏州浪潮智能科技有限公司 基于HBase的数据查询方法、装置和计算机设备
CN114428760A (zh) * 2021-12-30 2022-05-03 北京云宽志业网络技术有限公司 集群存储系统和元数据恢复方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997884A (zh) * 2009-08-18 2011-03-30 升东网络科技发展(上海)有限公司 分布式存储系统和方法
CN104462129A (zh) * 2013-09-22 2015-03-25 北大方正集团有限公司 分布式文件存储和查询方法及存取系统
US20150341689A1 (en) * 2011-04-01 2015-11-26 Mixaroo, Inc. System and method for real-time processing, storage, indexing, and delivery of segmented video
US9256761B1 (en) * 2014-08-18 2016-02-09 Yp Llc Data storage service for personalization system
CN106682073A (zh) * 2016-11-14 2017-05-17 上海轻维软件有限公司 基于ElasticSearch的HBase模糊检索系统
CN107577588A (zh) * 2017-09-26 2018-01-12 北京中安智达科技有限公司 一种海量日志数据智能运维系统
CN107729413A (zh) * 2017-09-25 2018-02-23 安徽畅通行交通信息服务有限公司 基于大数据的区域交通智能管理系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997884A (zh) * 2009-08-18 2011-03-30 升东网络科技发展(上海)有限公司 分布式存储系统和方法
US20150341689A1 (en) * 2011-04-01 2015-11-26 Mixaroo, Inc. System and method for real-time processing, storage, indexing, and delivery of segmented video
CN104462129A (zh) * 2013-09-22 2015-03-25 北大方正集团有限公司 分布式文件存储和查询方法及存取系统
US9256761B1 (en) * 2014-08-18 2016-02-09 Yp Llc Data storage service for personalization system
CN106682073A (zh) * 2016-11-14 2017-05-17 上海轻维软件有限公司 基于ElasticSearch的HBase模糊检索系统
CN107729413A (zh) * 2017-09-25 2018-02-23 安徽畅通行交通信息服务有限公司 基于大数据的区域交通智能管理系统
CN107577588A (zh) * 2017-09-26 2018-01-12 北京中安智达科技有限公司 一种海量日志数据智能运维系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JUN BAI: "Feasibility Analysis of Big Log Data Real Time Search Based on Hbase and ElasticSearch", 《IEEE》 *
任鹏彦: "基于分布式架构的物流平台设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
犹锋等: "基于大数据技术的量测数据处理系统设计", 《无线互联科技》 *
田慧生: "《网络教材开发概论》", 28 February 2015, 北京：教育科学出版社 *
董长青等: "基于HBase+ ElasticSearch的海量交通数据实时存取方案设计", 《大数据》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111367870A (zh) * 2018-12-25 2020-07-03 深圳市优必选科技有限公司 一种绘本共享方法、装置和系统
CN109783535A (zh) * 2018-12-26 2019-05-21 航天恒星科技有限公司 基于ElasticSearch和Hbase技术的网络传输数据检索系统
CN109871367A (zh) * 2019-02-28 2019-06-11 江苏实达迪美数据处理有限公司 一种基于Redis和HBase的分布式冷热数据分离方法
CN112307829B (zh) * 2019-07-31 2024-05-03 北京博雅慧视智能技术研究院有限公司 一种数字视网膜海量目标检索时空矩阵呈现方法
CN112307829A (zh) * 2019-07-31 2021-02-02 北京博雅慧视智能技术研究院有限公司 一种数字视网膜海量目标检索时空矩阵呈现方法
CN110636122A (zh) * 2019-09-11 2019-12-31 中移（杭州）信息技术有限公司 分布式存储方法、服务器、系统、电子设备以及存储介质
CN110688382A (zh) * 2019-09-25 2020-01-14 深圳市赛为智能股份有限公司 数据存储查询方法、装置、计算机设备及存储介质
CN110688382B (zh) * 2019-09-25 2022-07-01 深圳市赛为智能股份有限公司 数据存储查询方法、装置、计算机设备及存储介质
CN110888839A (zh) * 2019-11-29 2020-03-17 厦门安胜网络科技有限公司 数据存储及数据搜索方法和装置
CN111212111A (zh) * 2019-12-17 2020-05-29 腾讯科技（深圳）有限公司 对象存储服务管理方法及电子设备
CN111506646A (zh) * 2020-03-16 2020-08-07 阿里巴巴集团控股有限公司 数据同步方法、装置、系统、存储介质及处理器
CN111506646B (zh) * 2020-03-16 2023-05-02 阿里巴巴集团控股有限公司 数据同步方法、装置、系统、存储介质及处理器
CN111737325A (zh) * 2020-05-25 2020-10-02 南京华盾电力信息安全测评有限公司 一种基于大数据技术的电力数据分析方法和装置
CN112003956B (zh) * 2020-10-27 2021-01-15 武汉中科通达高新技术股份有限公司 一种交管系统
CN112003956A (zh) * 2020-10-27 2020-11-27 武汉中科通达高新技术股份有限公司 一种交管系统
CN112463755A (zh) * 2020-12-11 2021-03-09 同济大学 基于hdfs的异构物联网大数据的存储与读取系统及方法
CN112463755B (zh) * 2020-12-11 2023-08-18 同济大学 基于hdfs的异构物联网大数据的存储与读取系统及方法
CN112528121A (zh) * 2020-12-31 2021-03-19 河钢数字技术股份有限公司 一种基于分布式存储的爬虫爬取数据统计方法及系统
CN114428760A (zh) * 2021-12-30 2022-05-03 北京云宽志业网络技术有限公司 集群存储系统和元数据恢复方法
CN114090589A (zh) * 2022-01-20 2022-02-25 苏州浪潮智能科技有限公司 基于HBase的数据查询方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN108763436A (zh) 一种基于ElasticSearch与HBase的分布式数据存储系统
CN111124301B (zh) 一种对象存储设备的数据一致性存储方法及系统
US9785510B1 (en) Variable data replication for storage implementing data backup
CN103109292B (zh) 在容错数据库管理系统中聚集查询结果的系统和方法
US10567500B1 (en) Continuous backup of data in a distributed data store
JP6196368B2 (ja) 分散型データベースシステムのシステム全体のチェックポイント回避
KR101833114B1 (ko) 분산 데이터베이스 시스템들을 위한 고속 장애 복구
CA2906522C (en) Log record management
US7165059B1 (en) Partial file migration mechanism
KR100825721B1 (ko) 객체 기반 스토리지 시스템에서 사용자 파일 관리자 내의시간 기반 캐쉬 일관성 유지 시스템 및 방법
CN109871367A (zh) 一种基于Redis和HBase的分布式冷热数据分离方法
JP5722962B2 (ja) ストレージ性能の最適化
JP2016505935A (ja) 分散オブジェクトストレージエコシステムにおけるコンテンツとメタデータの分離
CN105122241A (zh) 具有数据库引擎和独立分布式存储服务的数据库系统
CN103647797A (zh) 一种分布式文件系统及其数据访问方法
US11157455B2 (en) Inofile management and access control list file handle parity
CN108108476A (zh) 高可靠分布式日志系统的工作方法
US10885023B1 (en) Asynchronous processing for synchronous requests in a database
CN102497428A (zh) 远程存储系统及其进行远程存储的方法
US11907261B2 (en) Timestamp consistency for synchronous replication
CN109542861A (zh) 一种文件管理方法、装置和系统
US10803012B1 (en) Variable data replication for storage systems implementing quorum-based durability schemes
CN111984191A (zh) 一种支持分布式存储的多客户端缓存方法及系统
CN111209259A (zh) Nas分布式文件系统及数据处理方法
Koltsidas et al. Seamlessly integrating disk and tape in a multi-tiered distributed file system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181106