CN112395318B - 一种基于HBase+Redis的分布式存储中间件 - Google Patents

一种基于HBase+Redis的分布式存储中间件 Download PDF

Info

Publication number
CN112395318B
CN112395318B CN202011333445.3A CN202011333445A CN112395318B CN 112395318 B CN112395318 B CN 112395318B CN 202011333445 A CN202011333445 A CN 202011333445A CN 112395318 B CN112395318 B CN 112395318B
Authority
CN
China
Prior art keywords
load
data
redis
hbase
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011333445.3A
Other languages
English (en)
Other versions
CN112395318A (zh
Inventor
郭昆
王钦泽
郭文忠
陈羽中
许玲玲
魏明洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202011333445.3A priority Critical patent/CN112395318B/zh
Publication of CN112395318A publication Critical patent/CN112395318A/zh
Application granted granted Critical
Publication of CN112395318B publication Critical patent/CN112395318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G06F12/0895—Caches characterised by their organisation or structure of parts of caches, e.g. directory or tag array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1021—Hit rate improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/16—General purpose computing application
    • G06F2212/163—Server or database system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/26—Using a specific storage system architecture
    • G06F2212/263—Network storage, e.g. SAN or NAS

Abstract

本发明涉及一种基于HBase+Redis的分布式存储中间件，以HBase集群和Redis作为底层框架，包括存储模块和查询模块，所述存储模块包括负载均衡组件、数据缓存组件和数据同步组件；所述负载均衡组件实现HBase Region和RegionServer的负载均衡，以提高HBase的读写性能；所述数据缓存组件实现基于时间平滑方法计算的热值缓存淘汰策略，以提高缓存命中率；所述数据同步组件实现基于协处理器的HBase和Redis的数据同步，以避免脏数据的产生。该分布式存储中间件有利于提高数据读写速率。

Description

一种基于HBase+Redis的分布式存储中间件
技术领域
本发明属于数据库技术领域，具体涉及一种基于HBase+Redis提高数据读写速率的分布式存储中间件。
背景技术
随着互联网的发展和大数据时代的到来，传统的数据存储、数据处理技术难以适应数据爆炸式的增长，非关系型数据库应运而生。HBase作为NoSQL数据库的典型代表，已被广泛应用于各行各业的数据存储与管理中。在HBase的发展过程中，HBase的负载均衡问题也开始显现。例如，在HBase分布式数据库环境中，由于分布式数据库中节点性能上的差异以及已存储数据量不同和数据库访问请求量不同，经常会出现以下情况：在某一个时刻，分布式数据库中某些节点的访问频率很高，节点负载很重，而另一些节点的访问频率很低，节点负载很低，导致了分布式数据库中节点负载不均衡的情况。负载不均衡就会影响HBase数据读写的性能，所以，需要通过一定的负载均衡策略，来均衡分布式数据库中各个节点的负载，使各个节点的负载达到均衡分配的状态，从而提高数据的读写性能。HBase作为分布式数据库，将数据存储在磁盘上，每次都需要从磁盘读取数据，影响数据读性能。
目前，在HBase上提高读写速度的负载均衡方案有基于子表限制的负载均衡方案，基于热点访问的负载均衡改进算法。在HBase增加数据缓存的方案有基于内存进行缓存的方案、使用原生Redis作为缓存的方案。基于子表限制的负载均衡方案，增加了对表的限制，只能在某些场景下提高系统性能，具有一定局限性；基于热点访问的负载均衡改进算法，在数据写入时需要计算每个Region的负载，再将数据写入Region中，这会影响数据的写性能。基于内存进行缓存的方案，可以提高数据的读性能，但是局限于内存的大小，无法适用于大规模的数据；基于原生Redis进行缓存的方案，使用LRU算法作为缓存淘汰策略，对于周期性、偶发性的批量查询的命中率很低。
发明内容
本发明的目的在于提供一种基于HBase+Redis的分布式存储中间件，该分布式存储中间件有利于提高数据读写速率。
为实现上述目的，本发明采用的技术方案是：一种基于HBase+Redis的分布式存储中间件，以HBase集群和Redis作为底层框架，包括存储模块和查询模块，所述存储模块包括负载均衡组件、数据缓存组件和数据同步组件；所述负载均衡组件实现HBase Region和RegionServer的负载均衡，以提高HBase的读写性能；所述数据缓存组件实现基于时间平滑方法计算的热值缓存淘汰策略，以提高缓存命中率；所述数据同步组件实现基于协处理器的HBase和Redis的数据同步，以避免脏数据的产生。
进一步地，所述负载均衡组件包括Region级别以及RegionServer级别的两种负载均衡策略。
进一步地，所述Region级别的负载均衡策略，根据预分区和带虚拟节点的一致性哈希算法，避免数据写热点，即对HBase进行预分区，获取Region个数，将Region个数作为节点，采用带虚拟节点的一致性哈希算法获取数据存储Rowkey的Startkey。
进一步地，获取Region个数，包括以下步骤：
步骤a1：确定集群的预分区个数，单个节点的预分区个数的计算公式如下：
Figure BDA0002796475450000021
其中，M表示RegionServer的内存大小；F表示RegionServer分给memstore的比例；S表示memstore的大小；A为表中列族的个数；
步骤a2：确定集群的节点个数，集群总的预分区个数的计算公式如下：
R＝P*N (2)
其中，R表示集群预分区的总个数，P表示每个节点的预分区个数，N表示集群中节点的个数。
进一步地，带虚拟节点的一致性哈希算法采用SHA_1算法。
进一步地，所述RegionServer级别的负载均衡策略，使用贪心算法对RegionServer中的Region进行调换，包括如下步骤：
步骤b1：输入RegionServer集合、负载均衡最大执行次数N，计算节点数n；
步骤b2：获取每个RegionServer中每个Region的请求数，统计节点的请求数作为负载load_i，i<n，统计最大负载load_max、最小负载load_min、集群的总负载load_sum和平均负载load_avg；
步骤b3：根据平均负载load_avg计算节点负载的理想上界load_Lmax和下界load_Lmin；
步骤b4：设置i＝1，使用最小最大优先级队列定义超负载队列overload_queue和低负载队列underload_queue；
步骤b5：如果i<＝n，转步骤b6，否则转步骤b11；
步骤b6：如果load_i>load_Lmax，转步骤b7，否则转步骤b8；
步骤b7：将第i个节点加入超负载队列；
步骤b8：如果load_i<load_Lmin，转步骤b9，否则转步骤b10；
步骤b9：将第i个节点加入低负载队列；
步骤b10：i＝i+1，转步骤b5；
步骤b11：设置I＝1，计算当前负载均衡指标current_T＝load_max/load_avg；
步骤b12：如果i<＝N，转步骤b13，否则结束；
步骤b13：搜索可交换Region，从overload_queue中取出最大负载节点为Nmax及负载最大的可交换Region为Rmax，从underload_queue取出最小负载节点为Nmin及负载最小的可交换Region为Rmin；
步骤b14：计算负载load_Nmax和load_Rmax，load_Nmin和load_Rmin；
h＝load_Rmax–load_Rmin
步骤b15：如果Load_Rmax>load_Rmin且load_Nmax-h>load_Lmin且load_Nmin+h<load_Lmax，转步骤b16，否则转步骤b19；
步骤b16：交换Rmax和Rmin的位置，同时更新load_Nmax、load_Nmin、overload_queue、underload_queue，计算当前负载均衡指标new_T；
步骤b17：如果new_T>current_T，转步骤b18，否则转步骤b20；
步骤b18：恢复交换，交换Rmax和Rmin的位置，同时更新load_Nmax、load_Nmin、overload_queue、underload_queue；
步骤b19：i＝i+1，转步骤b12；
步骤b20：current_T＝new_T，转步骤b19。
进一步地，所述数据缓存组件通过对数据访问频率，更新频率进行时间平滑法设计缓存淘汰算法。
进一步地，所述缓存淘汰算法包括以下步骤：
步骤c1：数据写入时，判断Redis是否达到指定阈值，若是，转步骤c2，否则，转步骤c3；
步骤c2：按照热度值计算公式，淘汰值最小的100个数据；所述热度值计算公式为：
Figure BDA0002796475450000041
步骤c3：将数据写入Redis。
进一步地，所述数据同步组件，在数据写入HBase时，根据ObserverCoprocessor同时写入Redis，包括以下步骤：
步骤d1：客户端发出put请求；
步骤d2：该请求被分派给合适的Region；
步骤d3：协处理器拦截put请求，解析put对象，获取数据，并写入Redis。
进一步地，所述查询模块支持批量查询，即在数据查询时，查询模块批量读取查询条件，根据查询条件，先查询Redis，命中则Redis访问次数加1，未命中再查询HBase获取数据，同时将数据写进Redis中。
与现有技术相比，本发明具有以下有益效果：提供了一种基于HBase+Redis的分布式存储中间件，通过设计的负载均衡组件使系统具备良好的数据读写性能，通过设计的数据缓存组件使系统具备良好的缓存命中率，通过设计的数据同步组件保证了HBase和Redis的数据同步，避免脏数据的产生，从而提高了数据批量写入和查询性能。
附图说明
图1是本发明实施例的原理框图。
图2是本发明实施例中存储模块的工作流程图。
图3是本发明实施例中查询模块的工作流程图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本发明提供了一种基于HBase+Redis的分布式存储中间件，其以HBase集群和Redis作为底层框架，所述HBase集群用于底层数据的持久化存储，但由于HBase将数据存储在磁盘中，对数据的访问需要涉及多次的磁盘访问，会造成数据读取效率低下，因此所述Redis用于热点数据缓存。
如图1所示，所述分布式存储中间件包括用于实现存储机制的存储模块和查询模块，所述存储模块包括负载均衡组件、数据缓存组件和数据同步组件；所述负载均衡组件实现HBase Region和RegionServer的负载均衡，以提高HBase的读写性能；所述数据缓存组件实现基于时间平滑方法计算的热值缓存淘汰策略，以提高缓存命中率；所述数据同步组件实现基于协处理器的HBase和Redis的数据同步，以避免脏数据的产生。
其中，所述负载均衡组件包括Region级别以及RegionServer级别的两种负载均衡策略。
所述Region级别的负载均衡策略，根据预分区和带虚拟节点的一致性哈希算法，避免数据写热点，即对HBase进行预分区，获取Region个数，将Region个数作为节点，采用带虚拟节点的一致性哈希算法获取数据存储Rowkey的Startkey。
获取Region个数，包括以下步骤：
步骤a1：确定集群的预分区个数，单个节点的预分区个数的计算公式如下：
Figure BDA0002796475450000051
其中，M表示RegionServer的内存大小；F表示RegionServer分给memstore的比例，HBase中默认为0.4；S表示memstore的大小，单位为M，HBase中的默认值为128；A为表中列族的个数；
步骤a2：确定集群的节点个数，集群总的预分区个数的计算公式如下：
R＝P*N (2)
其中，R表示集群预分区的总个数，P表示每个节点的预分区个数，N表示集群中节点的个数。
在本实施例中，带虚拟节点的一致性哈希算法采用SHA_1算法。
所述RegionServer级别的负载均衡策略，使用贪心算法对RegionServer中的Region进行调换，包括如下步骤：
步骤b1：输入RegionServer集合、负载均衡最大执行次数N，计算节点数n；
步骤b2：获取每个RegionServer中每个Region的请求数，统计节点的请求数作为负载load_i，i<n，统计最大负载load_max、最小负载load_min、集群的总负载load_sum和平均负载load_avg；
步骤b3：根据平均负载load_avg计算节点负载的理想上界load_Lmax和下界load_Lmin；
步骤b4：设置i＝1，使用最小最大优先级队列定义超负载队列overload_queue和低负载队列underload_queue；
步骤b5：如果i<＝n，转步骤b6，否则转步骤b11；
步骤b6：如果load_i>load_Lmax，转步骤b7，否则转步骤b8；
步骤b7：将第i个节点加入超负载队列；
步骤b8：如果load_i<load_Lmin，转步骤b9，否则转步骤b10；
步骤b9：将第i个节点加入低负载队列；
步骤b10：i＝i+1，转步骤b5；
步骤b11：设置I＝1，计算当前负载均衡指标current_T＝load_max/load_avg；
步骤b12：如果i<＝N，转步骤b13，否则结束；
步骤b13：搜索可交换Region，从overload_queue中取出最大负载节点为Nmax及负载最大的可交换Region为Rmax，从underload_queue取出最小负载节点为Nmin及负载最小的可交换Region为Rmin；
步骤b14：计算负载load_Nmax和load_Rmax，load_Nmin和load_Rmin；
h＝load_Rmax–load_Rmin
步骤b15：如果Load_Rmax>load_Rmin且load_Nmax-h>load_Lmin且load_Nmin+h<load_Lmax，转步骤b16，否则转步骤b19；
步骤b16：交换Rmax和Rmin的位置，同时更新load_Nmax、load_Nmin、overload_queue、underload_queue，计算当前负载均衡指标new_T；
步骤b17：如果new_T>current_T，转步骤b18，否则转步骤b20；
步骤b18：恢复交换，交换Rmax和Rmin的位置，同时更新load_Nmax、load_Nmin、overload_queue、underload_queue；
步骤b19：i＝i+1，转步骤b12；
步骤b20：current_T＝new_T，转步骤b19。
所述数据缓存组件通过对数据访问频率，更新频率进行时间平滑法设计缓存淘汰算法。所述缓存淘汰算法包括以下步骤：
步骤c1：数据写入时，判断Redis是否达到指定阈值，若是，转步骤c2，否则，转步骤c3；
步骤c2：按照热度值计算公式，淘汰值最小的100个数据；所述热度值计算公式为：
Figure BDA0002796475450000061
步骤c3：将数据写入Redis。
所述数据同步组件，在数据写入HBase时，根据ObserverCoprocessor同时写入Redis，包括以下步骤：
步骤d1：客户端发出put请求；
步骤d2：该请求被分派给合适的Region；
步骤d3：协处理器拦截put请求，解析put对象，获取数据，并写入Redis。
如图2所示，所述存储模块的工作流程，包括以下步骤：
步骤1：建表时，计算Region的个数，对HBase进行预分区，获取每个Region的Startkey；
步骤2：将Region个数作为带虚拟节点一致性哈希算法中节点个数，通过该算法获取数据写入的Region，得到该Region的Startkey；
步骤3：将Startkey和数据Rowkey拼接，形成数据最终得Rowkey；
步骤4：重写ObserverCoprocessor中preput()函数，通过该函数将数据写入到HBase时同步到Redis；
步骤5：数据写入Redis，进行缓存淘汰策略；
步骤6：重写HBase LoadBalancer类，通过该类实现自定义负载均衡算法。
所述查询模块支持批量查询，即在数据查询时，查询模块批量读取查询条件，根据查询条件，先查询Redis，命中则Redis访问次数加1，未命中再查询HBase获取数据，同时将数据写进Redis中。如图3所示，基于协处理器的HBase二级索引装置查询，即所述查询模块的工作流程，包括以下步骤：
步骤1：客户端设置查询条件，查询组件解析查询条件；
步骤2：查询Redis，若查询结果为空，转步骤3；反之，转步骤4；
步骤3：查询HBase；
步骤4：Redis中该数据访问次数加1；
步骤5：返回查询结果。
需要注意的是，以上所述实施例对本发明其特定的实施例作了描述，然而这不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (6)

1.一种基于HBase+Redis的分布式存储中间件，其特征在于，以HBase集群和Redis作为底层框架，包括存储模块和查询模块，所述存储模块包括负载均衡组件、数据缓存组件和数据同步组件；所述负载均衡组件实现HBaseRegion和RegionServer的负载均衡，以提高HBase的读写性能；所述数据缓存组件实现基于时间平滑方法计算的热值缓存淘汰策略，以提高缓存命中率；所述数据同步组件实现基于协处理器的HBase和Redis的数据同步，以避免脏数据的产生；
所述负载均衡组件包括Region级别以及RegionServer级别的两种负载均衡策略；
Region级别的负载均衡策略，根据预分区和带虚拟节点的一致性哈希算法，避免数据写热点，即对HBase进行预分区，获取Region个数，将Region个数作为节点，采用带虚拟节点的一致性哈希算法获取数据存储Rowkey的Startkey；
获取Region个数，包括以下步骤：
步骤a1：确定集群的预分区个数，单个节点的预分区个数的计算公式如下：
Figure FDA0003802116450000011
其中，M表示RegionServer的内存大小；F表示RegionServer分给memstore的比例；S表示memstore的大小；A为表中列族的个数；
步骤a2：确定集群的节点个数，集群总的预分区个数的计算公式如下：
R＝P*N(2)
其中，R表示集群预分区的总个数，P表示每个节点的预分区个数，N表示集群中节点的个数；
RegionServer级别的负载均衡策略，使用贪心算法对RegionServer中的Region进行调换，包括如下步骤：
步骤b1：输入RegionServer集合、负载均衡最大执行次数N，计算节点数n；
步骤b2：获取每个RegionServer中每个Region的请求数，统计节点的请求数作为负载load_i，i<n，统计最大负载load_max、最小负载load_min、集群的总负载load_sum和平均负载load_avg；
步骤b3：根据平均负载load_avg计算节点负载的理想上界load_Lmax和下界load_Lmin；
步骤b4：设置i＝1，使用最小最大优先级队列定义超负载队列overload_queue和低负载队列underload_queue；
步骤b5：如果i<＝n，转步骤b6，否则转步骤b11；
步骤b6：如果load_i>load_Lmax，转步骤b7，否则转步骤b8；
步骤b7：将第i个节点加入超负载队列；
步骤b8：如果load_i<load_Lmin，转步骤b9，否则转步骤b10；
步骤b9：将第i个节点加入低负载队列；
步骤b10：i＝i+1，转步骤b5；
步骤b11：设置i＝1，计算当前负载均衡指标current_T＝load_max/load_avg；
步骤b12：如果i<＝N，转步骤b13，否则结束；
步骤b13：搜索可交换Region，从overload_queue中取出最大负载节点为Nmax及负载最大的可交换Region为Rmax，从underload_queue取出最小负载节点为Nmin及负载最小的可交换Region为Rmin；
步骤b14：计算负载load_Nmax和load_Rmax，load_Nmin和load_Rmin；
h＝load_Rmax–load_Rmin
步骤b15：如果load_Rmax>load_Rmin且load_Nmax-h>load_Lmin且load_Nmin+h<load_Lmax，转步骤b16，否则转步骤b19；
步骤b16：交换Rmax和Rmin的位置，同时更新load_Nmax、load_Nmin、overload_queue、underload_queue，计算当前负载均衡指标new_T；
步骤b17：如果new_T>current_T，转步骤b18，否则转步骤b20；
步骤b18：恢复交换，交换Rmax和Rmin的位置，同时更新load_Nmax、load_Nmin、overload_queue、underload_queue；
步骤b19：i＝i+1，转步骤b12；
步骤b20：current_T＝new_T，转步骤b19。
2.根据权利要求1所述的一种基于HBase+Redis的分布式存储中间件，其特征在于，带虚拟节点的一致性哈希算法采用SHA_1算法。
3.根据权利要求1所述的一种基于HBase+Redis的分布式存储中间件，其特征在于，所述数据缓存组件通过对数据访问频率，更新频率进行时间平滑法设计缓存淘汰算法。
4.根据权利要求3所述的一种基于HBase+Redis的分布式存储中间件，其特征在于，所述缓存淘汰算法包括以下步骤：
步骤c1：数据写入时，判断Redis是否达到指定阈值，若是，转步骤c2，否则，转步骤c3；
步骤c2：按照热度值计算公式，淘汰值最小的100个数据；所述热度值计算公式为：
Figure FDA0003802116450000031
步骤c3：将数据写入Redis。
5.根据权利要求1所述的一种基于HBase+Redis的分布式存储中间件，其特征在于，所述数据同步组件，在数据写入HBase时，根据ObserverCoprocessor同时写入Redis，包括以下步骤：
步骤d1：客户端发出put请求；
步骤d2：该请求被分派给合适的Region；
步骤d3：协处理器拦截put请求，解析put对象，获取数据，并写入Redis。
6.根据权利要求1所述的一种基于HBase+Redis的分布式存储中间件，其特征在于，所述查询模块支持批量查询，即在数据查询时，查询模块批量读取查询条件，根据查询条件，先查询Redis，命中则Redis访问次数加1，未命中再查询HBase获取数据，同时将数据写进Redis中。
CN202011333445.3A 2020-11-24 2020-11-24 一种基于HBase+Redis的分布式存储中间件 Active CN112395318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011333445.3A CN112395318B (zh) 2020-11-24 2020-11-24 一种基于HBase+Redis的分布式存储中间件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011333445.3A CN112395318B (zh) 2020-11-24 2020-11-24 一种基于HBase+Redis的分布式存储中间件

Publications (2)

Publication Number Publication Date
CN112395318A CN112395318A (zh) 2021-02-23
CN112395318B true CN112395318B (zh) 2022-10-04

Family

ID=74607259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011333445.3A Active CN112395318B (zh) 2020-11-24 2020-11-24 一种基于HBase+Redis的分布式存储中间件

Country Status (1)

Country Link
CN (1) CN112395318B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704542A (zh) * 2019-10-15 2020-01-17 南京莱斯网信技术研究院有限公司 一种基于节点负载的数据动态分区系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8849793B2 (en) * 2007-06-05 2014-09-30 SafePeak Technologies Ltd. Devices for providing distributable middleware data proxy between application servers and database servers
CN104243621A (zh) * 2014-10-17 2014-12-24 浪潮电子信息产业股份有限公司 一种改进的hbase负载均衡策略
CN110022226B (zh) * 2019-01-04 2023-04-04 国网浙江省电力有限公司 一种基于面向对象的数据采集系统及采集方法
CN109871367A (zh) * 2019-02-28 2019-06-11 江苏实达迪美数据处理有限公司 一种基于Redis和HBase的分布式冷热数据分离方法
CN110764912B (zh) * 2019-10-25 2022-09-09 东北大学 一种自适应任务调度器及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704542A (zh) * 2019-10-15 2020-01-17 南京莱斯网信技术研究院有限公司 一种基于节点负载的数据动态分区系统

Also Published As

Publication number Publication date
CN112395318A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
US10853193B2 (en) Database system recovery using non-volatile system memory
CN109240946A (zh) 数据的多级缓存方法及终端设备
CN105518631B (zh) 内存管理方法、装置和系统、以及片上网络
CN103366016A (zh) 基于hdfs的电子文件集中存储及优化方法
CN101916302A (zh) 基于哈希表的三维空间数据自适应缓存管理方法及系统
WO2020073539A1 (zh) 一种分布式缓存服务器集群的性能优化方法
CN101067820A (zh) 预取对象的方法
CN104598394A (zh) 一种可动态分配的数据缓存方法及系统
CN106383792B (zh) 一种基于缺失感知的异构多核缓存替换方法
WO2015100674A1 (zh) 数据迁移方法、装置和处理器
CN110262982A (zh) 一种固态硬盘地址映射的方法
CN106126434B (zh) 中央处理器的缓存区的缓存行的替换方法及其装置
CN104166649B (zh) 一种用于搜索引擎的缓存方法和设备
CN112395318B (zh) 一种基于HBase+Redis的分布式存储中间件
Feng et al. HQ-Tree: A distributed spatial index based on Hadoop
CN108173974B (zh) 一种基于分布式缓存Memcached的HCModel内部缓存数据淘汰方法
US7529891B2 (en) Balanced prefetching exploiting structured data
CN106326252B (zh) 数据库的数据处理方法及装置
CN112817982B (zh) 一种基于lsm树的动态幂律图存储方法
Sinnwell et al. A cost-model-based online method for distributed caching
CN112445794B (zh) 一种大数据系统的缓存方法
Li et al. Real-time data prefetching algorithm based on sequential patternmining in cloud environment
CN111382319B (zh) 一种面向知识图谱的图数据表示和映射方法
CN103281358A (zh) 一种基于一致性hash算法存储资源的方法
Liu et al. Closing the Performance Gap between Leveling and Tiering Compaction via Bundle Compaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant