CN105187498A - HBase表的Region分配方法及系统 - Google Patents

HBase表的Region分配方法及系统 Download PDF

Info

Publication number
CN105187498A
CN105187498A CN201510484069.0A CN201510484069A CN105187498A CN 105187498 A CN105187498 A CN 105187498A CN 201510484069 A CN201510484069 A CN 201510484069A CN 105187498 A CN105187498 A CN 105187498A
Authority
CN
China
Prior art keywords
regionserver
region
hash
train value
pending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510484069.0A
Other languages
English (en)
Other versions
CN105187498B (zh
Inventor
李亚锋
刘钰帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ctrip Computer Technology Shanghai Co Ltd
Original Assignee
Ctrip Computer Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Computer Technology Shanghai Co Ltd filed Critical Ctrip Computer Technology Shanghai Co Ltd
Priority to CN201510484069.0A priority Critical patent/CN105187498B/zh
Publication of CN105187498A publication Critical patent/CN105187498A/zh
Application granted granted Critical
Publication of CN105187498B publication Critical patent/CN105187498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种HBase表的Region分配方法及系统，其中Region分配方法包括：统计每一Region的Hash列值；分别计算每一Hash列值的平均分配数；选取目标RegionServer；统计目标RegionServer的Hash列值分布；将每一Hash列值分别作为待处理Hash列值，并待处理Hash列值对应的Region的数量是否大于该待处理Hash列值的平均分配数，若大于则从该待处理Hash列值对应的Region中选取N个第一Region并移出。本发明能够弥补现有技术中不同Hash列值的Region在集群中分配不均导致容易出现热点的不足，将不同Hash列值的Region均匀分配。

Description

HBase表的Region分配方法及系统
技术领域
本发明涉及互联网大数据领域，尤其涉及一种HBase表(一种分布式的、面向列的开源数据库)的Region分配方法。
背景技术
HBase表中包括有多个Region，每个Region中都存储一定的数据。集群中的RegionServer可能分配到一个或多个Region。
由于一些HBase表的schema最初设计时并没有采用Hash(哈希)，导致数据写入、读取不均。现在在原有schema的基础上，添加了Hash列，并使用Hash的结果集做pre-split(HBase的一种使用方法)。原来的Region由于缺少Hash列，Hash列值都会为零，新的Region则会均分到不同的Hash列值。新的schema上线之后，Hash列值不为零的region数比较少，balancer(HBase自带的功能)不能很好地将Hash列值不为零的region均分到整个集群，容易造成热点。这些热点的出现，会使得数据的请求时间变长，大大影响整个集群的稳定性和可用性，严重时甚至可能造成系统瘫痪。
发明内容
本发明要解决的技术问题是为了克服现有技术中不同Hash列值的Region在集群中分配不均导致容易出现热点的缺陷，提供一种能够使得不同Hash列值的Region均匀分配的HBase表的Region分配方法及系统。
本发明是通过以下技术方案解决上述技术问题的：
本发明提供一种HBase表的Region分配方法，其特点是，该Region分配方法包括：
S1、统计集群的HBase表中的每一Region的Hash列值；
S2、分别计算集群中每一Hash列值的平均分配数，每一Hash列值的平均分配数分别等于该Hash列值对应的Region的总数除以该集群的RegionServer的总数；
S3、从该集群的RegionServer中选取一目标RegionServer；
S4、统计目标RegionServer的Hash列值分布；
S5、将目标RegionServer上每一Hash列值分别作为待处理Hash列值，并判断目标RegionServer上待处理Hash列值对应的Region的数量是否大于该待处理Hash列值的平均分配数，若大于则从该待处理Hash列值对应的Region中选取N个第一Region并将该些第一Region移出，N为大于或等于1的整数。
其中，目标RegionServer可以从集群的RegionServer中随机选取或自主指定；所述Hash列值分布包括目标RegionServer的每个Region的Hash列值。S5对目标RegionServer上每个Hash列值都进行一次判断，例如，若目标RegionServer上Region的Hash列值包括0、1、2和3，那么T2会将0、1、2和3分别作为待处理Hash列值，并判断其对应的Region的数量是否大于其平均分配数，以待处理Hash列值为0为例，若目标RegionServer上Hash列值为0的Region的数量大于集群中Hash列值为0的平均分配数，则从目标RegionServer上Hash列值为0的Region中选取N个Region移出，若目标RegionServer上Hash列值为0的Region的数量小于或等于集群中Hash列值为0的平均分配数，则不需从目标RegionServer上移出Hash列值为0的Region，然后将待处理Hash列值设定为1，再次进行判断。
本技术方案能够使得集群中每个RegionServer上不同Hash列值的Region均匀分布，避免出现某个的RegionServer上的某个Hash列值的Region过多的情况，防止出现热点、影响集群的稳定性和可用性。
较佳地，N大于或等于目标RegionServer上该待处理Hash列值对应的Region的个数与该待处理Hash列值的平均分配数的差值。
通过本技术方案，目标RegionServer上该待处理Hash列值对应的Region的个数小于或等于该待处理Hash列值的平均分配数，避免同一RegionServer上某一种Hash列值的Region过多。
较佳地，S5还包括在目标RegionServer上待处理Hash列值对应的Region的数量大于该待处理Hash列值的平均分配数时执行以下步骤：
S51、将该些第一Region移入该集群的一个或多个非目标RegionServer。
该非目标RegionServer为该集群中不是目标RegionServer的RegionServer，例如，集群中的RegionServerA作为目标RegionServer时RegionServerB即为非目标RegionServer，RegionServerB作为目标RegionServer时RegionServerA即为非目标RegionServer。
较佳地，S51包括：
S511、从该集群的非目标RegionServer中选取一待移入RegionServer，该待移入RegionServer为非目标RegionServer中该待处理Hash列值对应的Region的数量小于该待处理Hash列值的平均分配数的RegionServer；
S512、计算M，M等于该待移入RegionServer上该待处理Hash列值对应的Region的数量与该待处理Hash列值的平均分配数的差值的绝对值；
S513、判断M是否大于或等于N，若是，执行S514，若否，执行S515；
S514、将移出的N个第一Region移入至该待移入RegionServer；
S515、将移出的N个第一Region中选取M个第一Region移入至该待移入RegionServer，将N替换为N-M，然后返回步骤S511。
其中，待移入RegionServer可以从该待处理Hash列值对应的Region的数量小于该待处理Hash列值的平均分配数的非目标RegionServer中随机选择或按照某些要求指定。本技术方案优先将一个待移入RegionServer上该待处理的Hash列值对应的Region数量达到平均分配数，若还有剩余的第一Region，则重新选择一个待移入RegionServer，直至所有的第一Region都移入至非目标RegionServer为止。
较佳地，该Region分配方法还包括：在执行S5之后返回步骤S3，直至遍历该集群的每一RegionServer。
所述遍历该集群的每一RegionServer是指集群中的每一RegionServer均作为过目标RegionServer。再次返回步骤S3时选取的目标RegionServer与前一次选取的目标RegionServer不同。
本发明还提供一种HBase表的Region分配系统，其特点是，该Region分配系统包括：
一第一统计单元，用于统计集群的HBase表中的每一Region的Hash列值；
一计算单元，用于分别计算集群中每一Hash列值的平均分配数，每一Hash列值的平均分配数分别等于该Hash列值对应的Region的总数除以该集群的RegionServer的总数；
一目标单元，用于从该集群的RegionServer中选取一目标RegionServer；
一第二统计单元，用于统计目标RegionServer的Hash列值分布；
一处理单元，用于将目标RegionServer上每一Hash列值分别作为待处理Hash列值，并判断目标RegionServer上待处理Hash列值对应的Region的数量是否大于该待处理Hash列值的平均分配数，若大于则从该待处理Hash列值对应的Region中选取N个第一Region并将该些第一Region移出，N为大于或等于1的整数。
较佳地，N大于或等于目标RegionServer上该待处理Hash列值对应的Region的个数与该待处理Hash列值的平均分配数的差值。
较佳地，该处理单元还用于目标RegionServer上待处理Hash列值对应的Region的数量大于该待处理Hash列值的平均分配数时调用一移入单元；
该移入单元用于将该些第一Region移入该集群的一个或多个非目标RegionServer。
较佳地，该移入单元包括：
一选取模块，用于从该集群的非目标RegionServer中选取一待移入RegionServer，该待移入RegionServer为非目标RegionServer中该待处理Hash列值对应的Region的数量小于该待处理Hash列值的平均分配数的RegionServer；
一计算模块，用于计算M，M等于该待移入RegionServer上该待处理Hash列值对应的Region的数量与该待处理Hash列值的平均分配数的差值的绝对值；
一判断模块，判断M是否大于或等于N，若是，则调用一第一移入模块，若否，则调用一第二移入模块；
该第一移入模块用于将移出的N个第一Region移入至该待移入RegionServer；
该第二移入模块用于将移出的N个第一Region中选取M个第一Region移入至该待移入RegionServer，将N替换为N-M，然后调用该选取模块。
较佳地，该处理单元还用于调用该目标单元，直至遍历该集群的每一RegionServer。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：本发明的HBase表的Region分配方法及系统能够很好地将不同Hash列值的Region均分到整个集群，减少热点的出现，进而减少数据的请求时间，防止影响整个集群的稳定性和可用性，避免造成系统瘫痪。
附图说明
图1为本发明实施例1的HBase表的Region分配方法的流程图。
图2为本发明实施例1的HBase表的Region分配系统的系统框图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
参见图1，一种HBase表的Region分配方法，包括以下步骤：
步骤101、统计集群的HBase表中的每一Region的Hash列值。
步骤102、分别计算集群中每一Hash列值的平均分配数，每一Hash列值的平均分配数分别等于该Hash列值对应的Region的总数除以该集群的RegionServer的总数。
步骤103、从该集群的RegionServer中选取一目标RegionServer。
步骤104、统计目标RegionServer的Hash列值分布。所述Hash列值分布包括目标RegionServer的每个Region的Hash列值。
步骤105、将目标RegionServer上每一Hash列值分别作为待处理Hash列值，并判断目标RegionServer上待处理Hash列值对应的Region的数量是否大于该待处理Hash列值的平均分配数，若大于则执行步骤106。
步骤106、从该待处理Hash列值对应的Region中选取N个第一Region并将该些第一Region移出，N为大于或等于1的整数。优选地，N大于或等于目标RegionServer上该待处理Hash列值对应的Region的个数与该待处理Hash列值的平均分配数的差值。
步骤107、将该些第一Region移入该集群的一个或多个非目标RegionServer。具体地，步骤107包括：
步骤1071、从该集群的非目标RegionServer中选取一待移入RegionServer，该待移入RegionServer为非目标RegionServer中该待处理Hash列值对应的Region的数量小于该待处理Hash列值的平均分配数的RegionServer。
步骤1072、计算M，M等于该待移入RegionServer上该待处理Hash列值对应的Region的数量与该待处理Hash列值的平均分配数的差值的绝对值。
步骤1073、判断M是否大于或等于N，若是，执行步骤1074，若否，执行步骤1075。
步骤1074、将移出的N个第一Region移入至该待移入RegionServer，此时，所有的第一Region都已经移入至非目标RegionServer，然后返回步骤103，直至遍历该集群的每一RegionServer。
步骤1075、将移出的N个第一Region中选取M个第一Region移入至该待移入RegionServer，将N替换为N-M，然后返回步骤1071。
下面以一个具体的集群来进一步说明本实施例的HBase表的Region分配方法：
集群有18个RegionServer，分别为RegionServerA、RegionServerB、RegionServerC、……。
经过步骤101的统计，整个集群中Hash列值为0的Region的总数为19235个，Hash列值为1的Region的总数为57个，Hash列值为2的Region的总数为62个。
通过步骤102计算得到：
Hash列值0的平均分配数＝19235/18＝1069；
Hash列值1的平均分配数＝57/18＝3；
Hash列值2的平均分配数＝62/18＝3。
步骤103中选取RegionServerA作为目标RegionServer。
通过步骤104的统计得到RegionServerA的Hash列值分布：
Hash列值为0的Region的总数为512个；
Hash列值为1的Region的总数为10个；
Hash列值为2的Region的总数为3个。
步骤105先将0作为待处理Hash列值，判断出RegionServerA上Hash列值为0的Region的总数小于步骤102中计算的Hash列值0的平均分配数，所以RegionServerA上Hash列值为0的Region不需要移动；
然后将2作为待处理Hash列值，判断出RegionServerA上Hash列值为2的Region的总数等于步骤102中计算的Hash列值2的平均分配数，所以RegionServerA上Hash列值为2的Region也不需要移动；
再然后将1作为待处理Hash列值，判断出RegionServerA上Hash列值为1的Region的总数大于步骤102中计算的Hash列值1的平均分配数，所以需要执行步骤106，从RegionServerA上移出N个Hash列值为1的第一Region，其中，N优选的范围为大于或等于7。对于本例而言，将N选为7。
步骤107能够将7个第一Region移入至该集群的一个或多个非目标RegionServer。具体地，
通过统计可知，集群中RegionServerB上Hash列值为1的Region的数量为5个，大于Hash列值为1的平均分配数，所以不能选取RegionServerB作为待移入RegionServer；集群中RegionServerC上Hash列值为1的Region的数量为0个，小于Hash列值为1的平均分配数，所以步骤1071选取RegionServerC作为待移入RegionServer。经步骤1072的计算，M等于3。步骤1073判断出M小于N，所以执行步骤1075，从7个第一Region中选取3个第一Region移至RegionServerC，此时N减少为4，返回步骤1071，再次从该集群的非目标RegionServer中选取一个待移入RegionServer，将剩余的4个第一Region移入到新的待移入RegionServer中，直至所有的第一Region全部都移入非目标RegionServer中。
在进行完步骤1074，即对目标RegionServer的处理完毕，再次返回步骤103，从集群中选取重新选取一个新的目标RegionServer，再次进行处理，直至该集群的所有RegionServer都处理完毕为止。
参见图2，本实施例的HBase表的Region分配系统包括：一第一统计单元201、一计算单元202、一目标单元203、一第二统计单元204、一处理单元205和一移入单元206。
该第一统计单元201用于统计集群的HBase表中的每一Region的Hash列值。
该计算单元202用于分别计算集群中每一Hash列值的平均分配数，每一Hash列值的平均分配数分别等于该Hash列值对应的Region的总数除以该集群的RegionServer的总数。
该目标单元203用于从该集群的RegionServer中选取一目标RegionServer。
该第二统计单元204用于统计目标RegionServer的Hash列值分布。所述Hash列值分布包括目标RegionServer的每个Region的Hash列值。
该处理单元205用于将目标RegionServer上每一Hash列值分别作为待处理Hash列值，并判断目标RegionServer上待处理Hash列值对应的Region的数量是否大于该待处理Hash列值的平均分配数，若大于则从该待处理Hash列值对应的Region中选取N个第一Region并将该些第一Region移出以及调用该移入单元206，N为大于或等于1的整数。优选地，N大于或等于目标RegionServer上该待处理Hash列值对应的Region的个数与该待处理Hash列值的平均分配数的差值。
该移入单元206用于将该些第一Region移入该集群的一个或多个非目标RegionServer。具体地，该移入单元206包括：
一选取模块2061，用于从该集群的非目标RegionServer中选取一待移入RegionServer，该待移入RegionServer为非目标RegionServer中该待处理Hash列值对应的Region的数量小于该待处理Hash列值的平均分配数的RegionServer。
一计算模块2062，用于计算M，M等于该待移入RegionServer上该待处理Hash列值对应的Region的数量与该待处理Hash列值的平均分配数的差值的绝对值。
一判断模块2063，用于判断M是否大于或等于N，若是，则调用一第一移入模块2064，若否，则调用一第二移入模块2065。
该第一移入模块2064，用于将移出的N个第一Region移入至该待移入RegionServer，然后调用该目标单元203，直至遍历该集群的每一RegionServer。
该第二移入模块2065，用于将移出的N个第一Region中选取M个第一Region移入至该待移入RegionServer，将N替换为N-M，然后调用该选取模块2061。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种HBase表的Region分配方法，其特征在于，该Region分配方法包括：
S1、统计集群的HBase表中的每一Region的Hash列值；
S2、分别计算集群中每一Hash列值的平均分配数，每一Hash列值的平均分配数分别等于该Hash列值对应的Region的总数除以该集群的RegionServer的总数；
S3、从该集群的RegionServer中选取一目标RegionServer；
S4、统计目标RegionServer的Hash列值分布；
S5、将目标RegionServer上每一Hash列值分别作为待处理Hash列值，并判断目标RegionServer上待处理Hash列值对应的Region的数量是否大于该待处理Hash列值的平均分配数，若大于则从该待处理Hash列值对应的Region中选取N个第一Region并将该些第一Region移出，N为大于或等于1的整数。
2.如权利要求1所述的Region分配方法，其特征在于，N大于或等于目标RegionServer上该待处理Hash列值对应的Region的个数与该待处理Hash列值的平均分配数的差值。
3.如权利要求1所述的Region分配方法，其特征在于，S5还包括在目标RegionServer上待处理Hash列值对应的Region的数量大于该待处理Hash列值的平均分配数时执行以下步骤：
S51、将该些第一Region移入该集群的一个或多个非目标RegionServer。
4.如权利要求3所述的Region分配方法，其特征在于，S51包括：
S511、从该集群的非目标RegionServer中选取一待移入RegionServer，该待移入RegionServer为非目标RegionServer中该待处理Hash列值对应的Region的数量小于该待处理Hash列值的平均分配数的RegionServer；
S512、计算M，M等于该待移入RegionServer上该待处理Hash列值对应的Region的数量与该待处理Hash列值的平均分配数的差值的绝对值；
S513、判断M是否大于或等于N，若是，执行S514，若否，执行S515；
S514、将移出的N个第一Region移入至该待移入RegionServer；
S515、将移出的N个第一Region中选取M个第一Region移入至该待移入RegionServer，将N替换为N-M，然后返回步骤S511。
5.如权利要求1所述的Region分配方法，其特征在于，该Region分配方法还包括：在执行S5之后返回步骤S3，直至遍历该集群的每一RegionServer。
6.一种HBase表的Region分配系统，其特征在于，该Region分配系统包括：
一第一统计单元，用于统计集群的HBase表中的每一Region的Hash列值；
一计算单元，用于分别计算集群中每一Hash列值的平均分配数，每一Hash列值的平均分配数分别等于该Hash列值对应的Region的总数除以该集群的RegionServer的总数；
一目标单元，用于从该集群的RegionServer中选取一目标RegionServer；
一第二统计单元，用于统计目标RegionServer的Hash列值分布；
一处理单元，用于将目标RegionServer上每一Hash列值分别作为待处理Hash列值，并判断目标RegionServer上待处理Hash列值对应的Region的数量是否大于该待处理Hash列值的平均分配数，若大于则从该待处理Hash列值对应的Region中选取N个第一Region并将该些第一Region移出，N为大于或等于1的整数。
7.如权利要求6所述的Region分配系统，其特征在于，N大于或等于目标RegionServer上该待处理Hash列值对应的Region的个数与该待处理Hash列值的平均分配数的差值。
8.如权利要求6所述的Region分配系统，其特征在于，该处理单元还用于在目标RegionServer上待处理Hash列值对应的Region的数量大于该待处理Hash列值的平均分配数时调用一移入单元；
该移入单元用于将该些第一Region移入该集群的一个或多个非目标RegionServer。
9.如权利要求8所述的Region分配系统，其特征在于，该移入单元包括：
一选取模块，用于从该集群的非目标RegionServer中选取一待移入RegionServer，该待移入RegionServer为非目标RegionServer中该待处理Hash列值对应的Region的数量小于该待处理Hash列值的平均分配数的RegionServer；
一计算模块，用于计算M，M等于该待移入RegionServer上该待处理Hash列值对应的Region的数量与该待处理Hash列值的平均分配数的差值的绝对值；
一判断模块，判断M是否大于或等于N，若是，则调用一第一移入模块，若否，则调用一第二移入模块；
该第一移入模块用于将移出的N个第一Region移入至该待移入RegionServer；
该第二移入模块用于将移出的N个第一Region中选取M个第一Region移入至该待移入RegionServer，将N替换为N-M，然后调用该选取模块。
10.如权利要求6所述的Region分配系统，其特征在于，该处理单元还用于调用该目标单元，直至遍历该集群的每一RegionServer。
CN201510484069.0A 2015-08-10 2015-08-10 HBase表的Region分配方法及系统 Active CN105187498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510484069.0A CN105187498B (zh) 2015-08-10 2015-08-10 HBase表的Region分配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510484069.0A CN105187498B (zh) 2015-08-10 2015-08-10 HBase表的Region分配方法及系统

Publications (2)

Publication Number Publication Date
CN105187498A true CN105187498A (zh) 2015-12-23
CN105187498B CN105187498B (zh) 2018-05-08

Family

ID=54909338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510484069.0A Active CN105187498B (zh) 2015-08-10 2015-08-10 HBase表的Region分配方法及系统

Country Status (1)

Country Link
CN (1) CN105187498B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681414A (zh) * 2016-01-14 2016-06-15 深圳市博瑞得科技有限公司 一种避免Hbase数据热点的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130151926A1 (en) * 2011-12-12 2013-06-13 Cleversafe, Inc. Storing Data in a Distributed Storage Network
CN103646073A (zh) * 2013-12-11 2014-03-19 浪潮电子信息产业股份有限公司 一种基于HBase表的条件查询优化方法
CN104216989A (zh) * 2014-09-09 2014-12-17 广东电网公司中山供电局 一种基于HBase的输电线路综合数据存储方法
CN104243621A (zh) * 2014-10-17 2014-12-24 浪潮电子信息产业股份有限公司 一种改进的hbase负载均衡策略

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130151926A1 (en) * 2011-12-12 2013-06-13 Cleversafe, Inc. Storing Data in a Distributed Storage Network
CN103646073A (zh) * 2013-12-11 2014-03-19 浪潮电子信息产业股份有限公司 一种基于HBase表的条件查询优化方法
CN104216989A (zh) * 2014-09-09 2014-12-17 广东电网公司中山供电局 一种基于HBase的输电线路综合数据存储方法
CN104243621A (zh) * 2014-10-17 2014-12-24 浪潮电子信息产业股份有限公司 一种改进的hbase负载均衡策略

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
况亚萍: "云计算技术在协同过滤推荐中的应用研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681414A (zh) * 2016-01-14 2016-06-15 深圳市博瑞得科技有限公司 一种避免Hbase数据热点的方法及系统
CN105681414B (zh) * 2016-01-14 2019-01-01 深圳市博瑞得科技有限公司 一种避免Hbase数据热点的方法及系统

Also Published As

Publication number Publication date
CN105187498B (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
CN109002259B (zh) 一种归置组所属硬盘分配方法、系统、装置及存储介质
KR20190099087A (ko) 서비스 데이터를 블록체인에 기입하기 위한 방법 및 장치, 그리고 서비스 하위세트를 결정하기 위한 방법
CN105243169B (zh) 一种数据查询方法及系统
KR102047900B1 (ko) 분산 데이터베이스의 부하를 레벨링하는 방법 및 장치
CN103379138A (zh) 实现负载均衡的方法及系统和灰度发布的方法及装置
CN110389940B (zh) 一种数据均衡方法、装置和计算机可读存储介质
CN105187498A (zh) HBase表的Region分配方法及系统
CN113641505A (zh) 一种服务器集群的资源分配控制方法和装置
CN107562762A (zh) 数据索引构建方法及装置
CN111324433B (zh) 一种数据计算的方法及相关设备
CN107659415B (zh) 一种云会议的媒体资源管理方法及装置
CN102932389A (zh) 一种请求处理方法、装置及服务器系统
CN108196970A (zh) Spark平台的内存动态管理方法和装置
CN104951561A (zh) HBase热点消除方法及系统
CN107104829B (zh) 一种基于网络拓扑数据的物理设备匹配分配方法及装置
CN109933436B (zh) 处理方法和处理装置
CN114880223A (zh) 基于分桶实验的应用发布方法、装置、电子设备及介质
KR101858593B1 (ko) 단일 머신 기반의 대용량 희소행렬 곱셈을 위한 메모리 할당 장치 및 방법
JP4127056B2 (ja) 並列多目標追尾装置
CN115361340A (zh) Ab实验分流方法、装置、计算机设备和存储介质
CN111988612B (zh) 一种视频编码处理方法、装置及电子设备
CN105096263A (zh) 图像滤波方法和装置
CN109829019B (zh) 一种矢量数据的数据转换方法、装置和电子设备
CN109344131B (zh) 数据存储方法、装置及管理服务器
CN110099082B (zh) 减少Hbase热点的方法、装置及可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant