CN104158902B - 一种基于请求数的Hbase数据块分配方法及装置 - Google Patents
一种基于请求数的Hbase数据块分配方法及装置 Download PDFInfo
- Publication number
- CN104158902B CN104158902B CN201410427565.8A CN201410427565A CN104158902B CN 104158902 B CN104158902 B CN 104158902B CN 201410427565 A CN201410427565 A CN 201410427565A CN 104158902 B CN104158902 B CN 104158902B
- Authority
- CN
- China
- Prior art keywords
- data block
- request
- data
- server
- distributed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种基于请求数的Hbase数据块分配方法及装置，该方法根据数据块服务器的平均请求数，将超过平均请求数的数据块服务器上的数据块按照其对应的请求数从小到大的顺序依次移出，直到每个数据块服务器对应的请求数总数大于等于且最接近所述平均请求数；将移出数据块按照其请求数从大到小排序组成待分配数据块列表；将没有达到平均请求数的数据块服务器按照其请求数总数与平均请求数的差值从小到大排序组成待分配数据块服务器列表；将待分配数据块列表的数据块按照预设策略分配给待分配数据块服务器列表的数据块服务器。本发明还同时公开了实现上述方法的装置。本发明的方法及装置能够基于请求数实现数据块服务器间的负载均衡。
Description
技术领域
本发明属于数据存储技术领域，尤其涉及一种基于请求数的Hbase数据块分配方法及装置。
背景技术
Hbase(Hadoop Database)是一个分布式的、面向列的开源数据库，Hbase以表的形式存储数据，表由行和列组成，如表1所示：
表1
其中Row Key是用来检索记录的主键，访问Hbase表中的行，可以通过单个Row Key来访问，或者通过一个Row Key范围来访问，或者进行全表的扫描。Row Key可以是任意字符串，存储时，表中所有行都按照Row Key的字典序排序存储。Hbase表中每个列都归属于某个列族(Column family)，每个列族可以有多个列。
当Hbase表随着记录数不断增加而变大后，会逐渐分裂为多个数据块(region)，region是Hbase中分布式存储和负载均衡的最小单元，不同的region可以分布在不同的服务器上，但是一个region是不会拆分到多个服务器上的。
现有技术中Hbase具有三种负载均衡策略，分别如下：
简单负载均衡策略，将Hbase中所有的region平均分配到各个服务器上。
最优节点均衡策略，Hbase是基于hadoop的，一个region在hadoop上的数据一般都有多分(这个取决于hadoop备份份数的配置)。例如每个region对应三个最优节点，优先分配到第一优先级的服务器节点上，如果第一优先级服务器节点不存在，那么就会比较第二优先级和第三优先级服务器节点，哪个服务器节点上的region数少就分配到哪个服务器节点上。
随机均衡策略，首先计算整个服务器集群的权重，然后随机挑选出两对region和服务器，尝试移动两者之后，重新计算整个集群的权重，如果变小，那么确认移动，不然撤销。重复处理，直到满足配置的优化条件。
在实际使用中，很多数据的访问经常集中在某几个服务器的某几个region，而其他服务器经常处于空闲状态。而现有技术基本上注重在数据存储的负载均衡，好处就是各个服务器上存储的数据保持平均，不会出现各个服务器数据已经存满，而个别服务器存储空间还剩余很多的情况，总而言之，现有方案保证了数据的平均分布，没有考虑访问量。但是分布式系统中数据的访问及处理速度比存储空间的合理利用更加重要。
公开号为CN102508789A的中国发明专利申请公开了一种系统分级存储的方法，根据数据的重要性、访问频率、保留时间和性能指标，将数据采取不同的存储方式分别存储在不同性能的存储设备上，实现数据客体在存储设备之间的自动迁移。从而将不经常访问的数据自动移到存储层次中较低的层次，释放出较高成本的存储空间给更频繁访问的数据，以获得更好的性价比。然而该方法是应用到存储空间，将经常用到的数据越来越集中到性能高的存储空间，不涉及到服务器对数据的处理能力。显然该方法会进一步加剧频繁使用的数据所在的服务器的繁忙，因此并不能充分解决分布式系统中数据的访问及处理速度问题。
发明内容
本发明的目的是提供一种基于请求数的Hbase数据块分配方法及装置，主要是通过统计Hbase分布式存储系统中各个数据块服务器上数据块(region)的请求数来预测该数据块将来的访问量，然后通过将请求数比较集中的数据块分摊到比较空闲的服务器上，来达到均衡访问量的目的。
为了实现上述目的，本发明技术方案如下：
一种基于请求数的Hbase数据块分配方法，应用于Hbase分布式存储系统，该方法包括步骤：
计算Hbase分布式存储系统中数据块服务器的平均请求数，所述平均请求数是所述Hbase分布式存储系统中所有数据块服务器请求数总和除以数据块服务器个数的商取整数得到，将超过平均请求数的数据块服务器上的数据块按照其对应的请求数从小到大的顺序依次移出，直到每个数据块服务器对应的请求数总数大于等于且最接近所述平均请求数；
将移出数据块按照其请求数从大到小排序组成待分配数据块列表；
将没有达到平均请求数的数据块服务器按照其请求数总数与平均请求数的差值从小到大排序组成待分配数据块服务器列表；
将待分配数据块列表的数据块按照预设策略分配给待分配数据块服务器列表的数据块服务器。
其中所述预设策略具体为：
依次为待分配数据块服务器列表的每个数据块服务器在待分配数据块列表中分配一个数据块，所述数据块为待分配数据块列表中的首个期望数据块，所述期望数据块的请求数与所述数据块服务器的请求数之和大于等于且最接近所述平均请求数。根据本发明的分配方法，能够快速为没有达到平均请求数的数据块服务器分配到合适的数据块，将请求数比较集中的数据块分摊到比较空闲的服务器上，来达到均衡访问量的目的。
进一步地，如果在一次分配后，还有未分配完的移出数据块，则对于分配后还没有达到平均请求数的数据块服务器再次进行分配；如果待分配数据块服务器列表中数据块服务器请求数都达到平均请求数，且还有部分移出数据块未能最终分配，则将其保留在原数据块服务器中。
本发明数据块分配方法还包括：
把具有关联关系的数据块分配给不同数据块服务器，以达到所述数据块所存储数据的并行访问，所述具有关联关系的数据块为请求数增长量同步的数据块。
本发明所述请求数不是即时请求数，而是预设历史时间段内请求数的平均值。
本发明还同时提出了实现上述方法的基于请求数的Hbase数据块分配装置，应用于Hbase分布式存储系统，该装置包括：
数据块移出模块，用于计算Hbase分布式存储系统中数据块服务器的平均请求数，所述平均请求数是所述Hbase分布式存储系统中所有数据块服务器请求数总和除以数据块服务器个数的商取整数得到，将超过平均请求数的数据块服务器上的数据块按照其对应的请求数从小到大的顺序依次移出，直到每个数据块服务器对应的请求数总数大于等于且最接近所述平均请求数；
数据块排序模块，用于将移出数据块按照其请求数从大到小排序组成待分配数据块列表；
数据块服务器排序模块，用于将没有达到平均请求数的数据块服务器按照其请求数总数与平均请求数的差值从小到大排序组成待分配数据块服务器列表；
分配模块，用于将待分配数据块列表的数据块按照预设策略分配给待分配数据块服务器列表的数据块服务器。
本发明提出的一种基于请求数的Hbase数据块分配方法及装置，根据数据块服务器的请求数总数，将超过数据块服务器平均请求数的数据块服务器中的数据块移出，放入没有达到平均请求数的数据块服务器中，从而避免一些数据块服务器访问量过大，而另一些数据块服务器空闲的情况，提高分布式存储系统数据块服务器的性能。同时按照数据块对应的请求数大小，从小到大去除数据块服务器中的数据块，可以最大限度降低数据块移动对用户访问的影响。
附图说明
图1为Hbase分布式存储系统的系统架构图；
图2为本发明一种基于请求数的Hbase数据块分配方法的流程图；
图3为本发明一种基于请求数的Hbase数据块分配装置结构示意图。
具体实施方式
下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。
利用Hbase分布式存储系统可在廉价PC服务器上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；GoogleBigtable利用Chubby作为协同服务，HBase利用Zookeeper作为对应。
Hbase分布式存储系统的系统架构如图1所示，包括管理端和客户端，以及数据块服务器。客户端与管理端进行通信来执行管理类操作，与数据块服务器进行数据读写类操作。管理端主要负责Hbase表和数据块的管理工作，包括对表的增删改查操作，数据块服务器的负载均衡操作，负责新的数据块的分布，失效数据块服务器上数据块的迁移等等。本发明具体的表现形式为软件程序，集成在管理端，用以实现根据数据块region的请求数来衡量该数据块是经常被用到还是比较空闲，并根据平均请求数来预测region的将来请求数，从而在数据块服务器间进行region的迁移。而所谓的请求数是指该数据块在一段时间内的请求数的平均值，不是即时请求数。例如统计2小时内历史请求数，得到请求数的平均值为数据块对应的请求数，而一个数据块服务器上所有数据块请求数的和就是该数据块服务器对应的请求数总数。
图2示出了本发明一种基于请求数的Hbase数据块分配方法，应用于Hbase分布式存储系统，包括如下步骤：
步骤101、计算Hbase分布式存储系统中数据块服务器的平均请求数，将超过平均请求数的数据块服务器上的数据块按照其对应的请求数从小到大的顺序依次移出，直到每个数据块服务器对应的请求数总数大于等于且最接近所述平均请求数。
例如，Hbase分布式存储系统中有n个数据块服务器，如果数据块服务器Si具有的请求数为Requesti，则Hbase分布式存储系统中数据块服务器的平均请求数为：
其中i为数据块服务器Si的序号，i属于1～n。
从而可以根据Hbase分布式存储系统中数据块服务器的平均请求数将Hbase分布式存储系统中数据块服务器分为超过平均请求数的数据块服务器和没有达到平均请求数的数据块服务器。
假设数据块服务器请求数总数Requesti大于平均请求数的数据块服务器有m个，且分别为S1,S2,...,Sm,则超过平均请求数的数据块服务器列表M＝{S1,S2,...,Sm}。而剩下的数据服务器Sm+1,Sm+2,...,Sn则为没有达到平均请求数的数据服务器。
为了降低超过平均请求数的数据块服务器的访问量，避免其过于频繁的被访问而忙碌，一个有效的办法是将该数据库服务器上的一些数据块移出，从而降低该数据块服务器的请求数总数。降低数据块服务器的请求数总数的最有效方法是，直接根据该数据块服务器请求数总数与平均请求数的差值，将该数据块服务器中请求数小于但最接近该差值的某个数据块，或某几个数据块移出，从而快速降低该数据块服务器的请求数总数。
优选地，本实施例对于超过平均请求数的每个数据块服务器，将其所有数据块按照数据块对应的请求数大小排序。
例如，服务器列表M＝{S1,S2,...,Sm}中每个数据块服务器对应的所有数据块按照其请求数从小到大排序后表示如下：
其中j取值为1～m，为数据块服务器Sj中数据块，θj表示数据块服务器Sj中数据块的数量，为数据块对应的请求数。
对于数据块服务器列表M＝{S1,S2,...,Sm}，有：
将数据块服务器中的数据块按照其对应的请求数从小到大顺序排序后，则便于从该数据块服务器中根据请求数的大小，从小到大依次移出一些数据块，从而使该数据块服务器对应的请求数总数降低，直到最接近平均请求数而根据请求数从小到大依次移出数据块，可以最大限度降低数据块移动对用户访问的影响。
在移出数据块时，应使得移出后数据块服务器对应的请求数总数大于等于且最接近平均请求数，即再移出一个数据块该数据块服务器的请求数总数就会小于平均请求数，从而保证每个数据块服务器的请求数总数都接近平均请求数。
步骤102、将移出数据块按照其请求数从大到小排序组成待分配数据块列表。
步骤103、将没有达到平均请求数的数据块服务器按照其请求数总数与平均请求数的差值从小到大排序组成待分配数据块服务器列表。
步骤104、将待分配数据块列表的数据块按照预设策略分配给待分配数据块服务器列表的数据块服务器。
为了将从超过平均请求数的数据块服务器中移出的数据块分配到合适的没有达到平均请求数的数据块服务器中，本实施例根据排序的方法，将移出的数据块按照其请求数从大到小排序，同时对没有达到平均请求数的数据块服务器按照其请求数总数与平均请求数的差值从小到大排序。
然后依次为待分配数据块服务器列表的每个数据块服务器在待分配数据块列表中分配一个数据块，所述数据块为待分配数据块列表中的首个期望数据块，所述期望数据块的请求数与所述数据块服务器的请求数之和大于等于且最接近所述平均请求数。即首先对待分配数据块服务器列表的首个数据块服务器(其还可容纳的请求数最小)，从待分配数据块列表中从大到小依次寻找首个期望数据块，该首个期望数据块的请求数与该首个数据块服务器的请求数之和大于等于且最接近平均请求数。对于待分配数据块服务器列表中的数据块服务器依次进行分配，依次类推。如果在一次分配后，还有未分配完的移出数据块，则对于分配后还没有达到平均请求数的数据块服务器再次进行分配。如果移出数据块未能最终分配，即在没有达到平均请求数的数据块服务器的请求数总数都达到平均请求数时，还有未分配的数据块，则将其保留在原数据块服务器中。
需要说明的是，本发明并不限于按照这样的顺序来分配数据块。本技术领域技术人员还可以根据其他方法来分配移出的数据块，例如根据移出数据块的请求数，将该数据块放入还可以容纳的请求数最接近的数据块服务器，即根据数据块的请求数来寻找可容纳的数据块服务器。本实施例例举的排序方法可以有效降低运算量，达到最快完成数据块分配的目的，并且最大限度降低数据块移动对用户访问的影响。
进一步地，由于数据块之间存在关联，一个用户访问一个数据块的时候，还会同时访问其他数据块，如同时访问A、B、C三个数据块。则本实施例的数据块分配方法，还包括：
把具有关联关系的数据块分配给不同数据块服务器，以达到所述数据块所存储数据的并行访问，其中具有关联关系的数据块为请求数增长量同步的数据块。
在本实施例中，根据移出数据块的请求数增长量历史数据，确定移出数据块中相关联的数据块。数据块是否关联，可以通过一段时间(例如2小时)的统计，如果部分数据块的请求数增长量是同步的，那么可以猜测这些数据块是同一次访问会同时使用到的，为相关联的数据块。例如每次数据块A增长2请求数，数据块B增长3请求数，数据块C增长4请求数，且在统计时间2小时内，基本都是保持如此，那么就认为数据块A、B、C是相关联数据块。最后将移出数据块中相关联的数据块分配到不同的数据块服务器。
本实施例仅考虑移出数据块中是否有相关联的数据块，是为了减少计算量，否则统计数据块服务器中每个数据块的请求数增长量，计算量比较大。当然在允许的情况下，也可以统计数据块服务器中每个数据块的请求数增长量来确定相关联的数据块，并将他们分配到不同的服务器。
图3示出了实现上述方法的基于请求数的Hbase数据块分配装置的结构示意图，应用于Hbase分布式存储系统，该装置包括：
数据块移出模块，用于计算Hbase分布式存储系统中数据块服务器的平均请求数，所述平均请求数是所述Hbase分布式存储系统中所有数据块服务器请求数总和除以数据块服务器个数的商取整数得到，将超过平均请求数的数据块服务器上的数据块按照其对应的请求数从小到大的顺序依次移出，直到每个数据块服务器对应的请求数总数大于等于且最接近所述平均请求数；
数据块排序模块，用于将移出数据块按照其请求数从大到小排序组成待分配数据块列表；
数据块服务器排序模块，用于将没有达到平均请求数的数据块服务器按照其请求数总数与平均请求数的差值从小到大排序组成待分配数据块服务器列表；
分配模块，用于将待分配数据块列表的数据块按照预设策略分配给待分配数据块服务器列表的数据块服务器。
其中，预设策略具体为：
依次为待分配数据块服务器列表的每个数据块服务器在待分配数据块列表中分配一个数据块，所述数据块为待分配数据块列表中的首个期望数据块，所述期望数据块的请求数与所述数据块服务器的请求数之和大于等于且最接近所述平均请求数。
本实施例中分配模块如果在一次分配后，还有未分配完的移出数据块，则对于分配后还没有达到平均请求数的数据块服务器再次进行分配；如果待分配数据块服务器列表中数据块服务器请求数都达到平均请求数，且还有部分移出数据块未能最终分配，则将其保留在原数据块服务器中。
为了实现关联数据块的并行访问，分配模块还用于执行如下操作：把具有关联关系的数据块分配给不同数据块服务器，以达到所述数据块所存储数据的并行访问，所述具有关联关系的数据块为请求数增长量同步的数据块。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (8)
1.一种基于请求数的Hbase数据块分配方法，应用于Hbase分布式存储系统，其特征在于，该方法包括步骤：
计算Hbase分布式存储系统中数据块服务器的平均请求数，所述平均请求数是所述Hbase分布式存储系统中所有数据块服务器请求数总和除以数据块服务器个数的商取整数得到，将超过平均请求数的数据块服务器上的数据块按照其对应的请求数从小到大的顺序依次移出，直到每个数据块服务器对应的请求数总数大于等于且最接近所述平均请求数；
将移出数据块按照其请求数从大到小排序组成待分配数据块列表；
将没有达到平均请求数的数据块服务器按照其请求数总数与平均请求数的差值从小到大排序组成待分配数据块服务器列表；
将待分配数据块列表的数据块按照预设策略分配给待分配数据块服务器列表的数据块服务器；
其中所述数据块服务器请求数是该数据块服务器在预设历史时间段内请求数的平均值。
2.根据权利要求1所述的数据块分配方法，其特征在于，所述预设策略具体为：
依次为待分配数据块服务器列表的每个数据块服务器在待分配数据块列表中分配一个数据块，所述数据块为待分配数据块列表中的首个期望数据块，所述期望数据块的请求数与所述数据块服务器的请求数之和大于等于且最接近所述平均请求数。
3.根据权利要求2所述的数据块分配方法，其特征在于，如果在一次分配后，还有未分配完的移出数据块，则对于分配后还没有达到平均请求数的数据块服务器再次进行分配；如果待分配数据块服务器列表中数据块服务器请求数都达到平均请求数，且还有部分移出数据块未能最终分配，则将其保留在原数据块服务器中。
4.根据权利要求1所述的数据块分配方法，其特征在于，所述数据块分配方法还包括：
把具有关联关系的数据块分配给不同数据块服务器，以达到所述数据块所存储数据的并行访问，所述具有关联关系的数据块为请求数增长量同步的数据块。
5.一种基于请求数的Hbase数据块分配装置，应用于Hbase分布式存储系统，其特征在于，该装置包括：
数据块移出模块，用于计算Hbase分布式存储系统中数据块服务器的平均请求数，所述平均请求数是所述Hbase分布式存储系统中所有数据块服务器请求数总和除以数据块服务器个数的商取整数得到，将超过平均请求数的数据块服务器上的数据块按照其对应的请求数从小到大的顺序依次移出，直到每个数据块服务器对应的请求数总数大于等于且最接近所述平均请求数；
数据块排序模块，用于将移出数据块按照其请求数从大到小排序组成待分配数据块列表；
数据块服务器排序模块，用于将没有达到平均请求数的数据块服务器按照其请求数总数与平均请求数的差值从小到大排序组成待分配数据块服务器列表；
分配模块，用于将待分配数据块列表的数据块按照预设策略分配给待分配数据块服务器列表的数据块服务器；
其中所述数据块服务器请求数是该数据块服务器在预设历史时间段内请求数的平均值。
6.根据权利要求5所述的数据块分配装置，其特征在于，所述预设策略具体为：
依次为待分配数据块服务器列表的每个数据块服务器在待分配数据块列表中分配一个数据块，所述数据块为待分配数据块列表中的首个期望数据块，所述期望数据块的请求数与所述数据块服务器的请求数之和大于等于且最接近所述平均请求数。
7.根据权利要求6所述的数据块分配装置，其特征在于，所述分配模块如果在一次分配后，还有未分配完的移出数据块，则对于分配后还没有达到平均请求数的数据块服务器再次进行分配；如果待分配数据块服务器列表中数据块服务器请求数都达到平均请求数，且还有部分移出数据块未能最终分配，则将其保留在原数据块服务器中。
8.根据权利要求5所述的数据块分配装置，其特征在于，所述分配模块还用于执行如下操作：把具有关联关系的数据块分配给不同数据块服务器，以达到所述数据块所存储数据的并行访问，所述具有关联关系的数据块为请求数增长量同步的数据块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410427565.8A CN104158902B (zh) | 2014-08-27 | 2014-08-27 | 一种基于请求数的Hbase数据块分配方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410427565.8A CN104158902B (zh) | 2014-08-27 | 2014-08-27 | 一种基于请求数的Hbase数据块分配方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104158902A CN104158902A (zh) | 2014-11-19 |
| CN104158902B true CN104158902B (zh) | 2017-09-19 |
Family
ID=51884307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410427565.8A Active CN104158902B (zh) | 2014-08-27 | 2014-08-27 | 一种基于请求数的Hbase数据块分配方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104158902B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106326252B (zh) * | 2015-06-24 | 2020-05-22 | 中兴通讯股份有限公司 | 数据库的数据处理方法及装置 |
| CN104951561B (zh) * | 2015-07-08 | 2018-09-07 | 上海携程商务有限公司 | HBase热点消除方法及系统 |
| CN105681414B (zh) * | 2016-01-14 | 2019-01-01 | 深圳市博瑞得科技有限公司 | 一种避免Hbase数据热点的方法及系统 |
| CN110099082B (zh) * | 2018-01-30 | 2022-03-11 | 浙江宇视科技有限公司 | 减少Hbase热点的方法、装置及可读存储介质 |
| CN110225074B (zh) * | 2019-01-04 | 2023-04-14 | 国网浙江省电力有限公司 | 一种基于设备地址域的通讯报文分发系统及分发方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101645888A (zh) * | 2009-06-02 | 2010-02-10 | 中国科学院声学研究所 | 一种基于访问频度变长逻辑分段的数据分发方法 |
| CN102523279A (zh) * | 2011-12-12 | 2012-06-27 | 云海创想信息技术（无锡）有限公司 | 一种分布式文件系统及其热点文件存取方法 |
| CN103369042A (zh) * | 2013-07-10 | 2013-10-23 | 中国人民解放军国防科学技术大学 | 一种数据处理方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9128949B2 (en) * | 2012-01-18 | 2015-09-08 | Cloudera, Inc. | Memory allocation buffer for reduction of heap fragmentation |
-
2014
- 2014-08-27 CN CN201410427565.8A patent/CN104158902B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101645888A (zh) * | 2009-06-02 | 2010-02-10 | 中国科学院声学研究所 | 一种基于访问频度变长逻辑分段的数据分发方法 |
| CN102523279A (zh) * | 2011-12-12 | 2012-06-27 | 云海创想信息技术（无锡）有限公司 | 一种分布式文件系统及其热点文件存取方法 |
| CN103369042A (zh) * | 2013-07-10 | 2013-10-23 | 中国人民解放军国防科学技术大学 | 一种数据处理方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| "数据传输和存储的关键技术研究";陈媛媛;《中国优秀硕士学位论文全文数据库 信息科技辑》;20131115;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104158902A (zh) | 2014-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tang et al. | An intermediate data placement algorithm for load balancing in spark computing environment | |
| CN107329837B (zh) | 一种负载均衡的方法和单元、分布式NewSQL数据库系统 | |
| CN104158902B (zh) | 一种基于请求数的Hbase数据块分配方法及装置 | |
| CN107430529B (zh) | 大型内存数据库的负载均衡的装置 | |
| CN106161120B (zh) | 动态均衡负载的分布式元数据管理方法 | |
| CN106775594B (zh) | 一种基于申威26010处理器的稀疏矩阵向量乘异构众核实现方法 | |
| CN103473365B (zh) | 一种基于hdfs的文件存储方法、装置及分布式文件系统 | |
| US10356150B1 (en) | Automated repartitioning of streaming data | |
| US20190334991A1 (en) | Systems and methods for balancing storage resources in a distributed database | |
| CN102523158A (zh) | 一种基于权重的元数据服务器集群负载均衡方法 | |
| CN106406987A (zh) | 一种集群中的任务执行方法及装置 | |
| CN107436813A (zh) | 一种元数据服务器动态负载均衡的方法及系统 | |
| CN105915626B (zh) | 一种面向云存储的数据副本初始放置方法 | |
| CN106681823A (zh) | 一种处理MapReduce数据倾斜的负载均衡方法 | |
| CN105975345A (zh) | 一种基于分布式内存的视频帧数据动态均衡存储管理方法 | |
| CN106326012A (zh) | web应用集群缓存利用方法和系统 | |
| Premchaiswadi et al. | Optimizing and tuning MapReduce jobs to improve the large‐scale data analysis process | |
| CN107395708A (zh) | 一种处理下载请求的方法和装置 | |
| CN102970349B (zh) | 一种dht网络的存储负载均衡方法 | |
| CN109313579A (zh) | 低重新分发的负载均衡 | |
| CN105554069B (zh) | 一种大数据处理分布式缓存系统及其方法 | |
| CN104376047B (zh) | 一种基于HBase的大表join方法 | |
| CN108932258A (zh) | 数据索引处理方法及装置 | |
| CN108664322A (zh) | 数据处理方法及系统 | |
| Oonhawat et al. | Hotspot management strategy for real-time log data in MongoDB |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |