CN108255427A - 一种数据存储和动态迁移方法及装置 - Google Patents
一种数据存储和动态迁移方法及装置 Download PDFInfo
- Publication number
- CN108255427A CN108255427A CN201711499342.2A CN201711499342A CN108255427A CN 108255427 A CN108255427 A CN 108255427A CN 201711499342 A CN201711499342 A CN 201711499342A CN 108255427 A CN108255427 A CN 108255427A
- Authority
- CN
- China
- Prior art keywords
- node
- back end
- data
- heavy duty
- load value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据存储和动态迁移方法,该方法包括:在客户端提交数据存储请求后,根据调度评价值的大小依次选取至少一个用于存储数据的数据节点;获取数据节点的相对负载值,以及所有数据节点的平均负载值;若数据节点的相对负载值不小于平均负载值,确定数据节点为重负载节点并按照降序排列方式加入重负载节点集合中;否则,确定数据节点为轻负载节点并按照升序排列方式加入轻负载节点集合中;将重负载节点集合中各重负载节点中的数据迁移到轻负载节点集合中各轻负载节点上。本发明能够帮助提高节点负载均衡时的执行效率,减少对节点硬件资源的消耗,对提高云存储系统的存储效率及减缓带宽压力方面具有重要的现实意义。
Description
技术领域
本发明涉及数据存储技术领域,具体涉及一种数据存储和动态迁移方法及装置。
背景技术
随着互联网的高速发展,当今社会所产生的数据量在急速增长。在互联网中的信息数据大多是以高频率的小文件形式表现出来的,且在一般用户的信息存储访问中对小文件的存储访问的操作相对较多。
在云存储系统中,海量的数据存储、高性能、高扩展性是其主要特点,但是当小文件的数量达到一定程度之后,存储海量小文件会对数据节点带来巨大的内存空间的压力,对海量小文件的频繁且重复的访问也会给数据节点带来性能及负载均衡方面的影响。
在云存储系统中,小文件在存储时采用更为合理的放置方式,且在数据迁移时选择合理的动态迁移目标,能够帮助提高节点负载均衡时的执行效率,减少对节点硬件资源的消耗,对提高云存储系统的存储效率及减缓带宽压力方面具有重要的现实意义。
发明内容
本发明提供一种数据存储和动态迁移方法及装置,以解决现有技术中海量小文件在存储和数据迁移时会带来较大的内存空间压力,以及在访问时会带来性能及负载均衡方面影响的问题。
第一方面,本发明实施例提供一种数据存储和动态迁移方法,包括:
在客户端提交数据存储请求后,根据调度评价值的大小依次选取至少一个用于存储数据的数据节点;
获取所述数据节点的相对负载值,以及所有数据节点的平均负载值;
若所述数据节点的相对负载值不小于所述平均负载值,确定所述数据节点为重负载节点并按照降序排列方式加入重负载节点集合中;否则,确定所述数据节点为轻负载节点并按照升序排列方式加入轻负载节点集合中;
将所述重负载节点集合中各所述重负载节点中的数据迁移到所述轻负载节点集合中各所述轻负载节点上。
第二方面,本发明实施例提供一种数据存储和动态迁移装置,包括:
选取单元,用于在客户端提交数据存储请求后,根据调度评价值的大小依次选取至少一个用于存储数据的数据节点;
获取单元,用于获取所述数据节点的相对负载值,以及所有数据节点的平均负载值;
确定单元,用于若所述数据节点的相对负载值不小于所述平均负载值,确定所述数据节点为重负载节点并按照降序排列方式加入重负载节点集合中;否则,确定所述数据节点为轻负载节点并按照升序排列方式加入轻负载节点集合中;
迁移单元,用于将所述重负载节点集合中各所述重负载节点中的数据迁移到所述轻负载节点集合中各所述轻负载节点上。
本发明提供一种数据存储和动态迁移方法及装置,根据调度评价值作为选择数据存储节点的依据,使小文件在存储时具有更为合理的放置方式,能缓解海量小文件对数据节点带来的内存空间的压力;同时,根据每个数据节点的相对负载值和所有数据节点的平均负载值,来对各个数据节点的负载进行动态的调整,从而将负载较重的数据节点上的数据动态迁移到负载较轻的数据节点上,从而使云存储系统中的各个数据节点的负载更加均衡。
本发明在存储时采用更为合理的放置方式,且在数据迁移时选择合理的动态迁移目标,能够帮助提高节点负载均衡时的执行效率,减少对节点硬件资源的消耗,对提高云存储系统的存储效率及减缓带宽压力方面具有重要的现实意义。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据存储和动态迁移方法的流程示意图;
图2为本发明实施例提供的一种数据存储和动态迁移装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
参照图1所示,本发明实施例提供一种数据动态迁移方法,包括:
101、在客户端提交数据存储请求后,根据调度评价值的大小依次选取至少一个用于存储数据的数据节点。
优选地,在一种可能的实施方式中,步骤101可按照如下步骤具体实现:
1011、在客户端提交数据存储请求后,选取客户端提交请求的当前数据节点以外的其余至少一个分布于不同机架上的数据节点。
本步骤中,在云存储系统中,当客户端提交数据存储请求后,接收该请求的当前的数据节点会随机选取一定数量其余的分布于不同机架上的数据节点。
选取的数据节点的数量一般根据云存储系统的规模大小以及请求存储的数据量来确定,本发明实施例中对数据节点选取的数量和选取的方式不做限定。
1012、获取其余的数据节点在网络拓扑结构中到当前的数据节点的网络距离,以及其余的数据节点当前存储的数据副本量。
本步骤中,选取到一定数量的其余的数据节点后,分别获取在网络拓扑结构中各个其余的数据节点到当前的节点的网络距离,以及各个其余的数据节点当前存储的数据副本量。
1013、根据网络距离和数据副本量,计算其余的数据节点的调度评价值。
本步骤中,根据上述步骤获取的各个其余的数据节点到当前的数据节点的网络距离,以及各个其余的数据节点当前存储的数据副本量,来确定各个其余的数据节点的调度评价值。由于该调度评价值综合了当前的数据节点与其余的数据节点的网络距离以及其余的数据节点的数据负载两方面的因素,评价更为客观。
具体地,计算其余的数据节点的调度评价值的计算式如下:
f(dL,d)=AL+(1-A)×d,
其中,d为距离系数,反比于其余的数据节点到当前的数据节点的网络距离;L为节点负载系数,反比于其余的数据节点当前存储的数据副本量;A为平衡因子,指示距离系数d和节点负载系数L在评价中的比重,其中A∈[0,1]。
1014、根据调度评价值,依次选取其余的数据节点中的一个用于存储数据。
本步骤中,根据上述步骤计算出的各个其余的数据节点的调度评价值,来选取数据存储的节点。
将该调度评价值作为选择数据存储节点的依据,从中选出一个最佳的远程节点来放置数据副本。
具体地,在一种可能的实施方式中,步骤1014可按照如下步骤具体实现:
10141、按照调度评价值从高到低的顺序,对其余的数据节点进行排序,形成数据节点队列;
10142、从数据节点队列中,选取排在首位的数据节点用于存储数据。
依据从高到低的顺序对各个其余的数据节点进行排序,并最终选取排在首位的其余的数据节点作为数据存储的节点。这样,既能缓解海量小文件对数据节点带来的内存空间的压力,又能实现数据存放的负载均衡,还能实现良好的数据传输性。
102、获取数据节点的相对负载值,以及所有数据节点的平均负载值。
本步骤中,当系统运行一段时间后,小文件的频繁访问会导致数据节点的负载出现不均衡的情况,因此有必要对各个数据节点的负载进行均衡操作,即将负载较大的数据节点中的数据动态迁移到负载较小的数据节点上。
先计算出云存储系统中任意一个数据节点的相对负载值,再根据各个数据节点的相对负载值计算出全部数据节点的平均负载值。
103、若数据节点的相对负载值不小于平均负载值,确定数据节点为重负载节点并按照降序排列方式加入重负载节点集合中;否则,确定数据节点为轻负载节点并按照升序排列方式加入轻负载节点集合中。
本步骤中,判断各个数据节点的相对负载值与平均负载值的大小,若数据节点的相对负载值大于等于平均负载值,确定该数据节点为重负载节点,并按照降序排列方式加入重负载节点集合中;若数据节点的相对负载值小于平均负载值,确定该数据节点为轻负载节点,并按照升序排列方式加入轻负载节点集合中。
104、将重负载节点集合中各重负载节点中的数据迁移到轻负载节点集合中各轻负载节点上。
本步骤中,根据上述步骤划分出的重负载节点集合和轻负载节点集合,可以将重负载集合中的负载迁移到轻负载节点集合中,从而使整个云存储系统中的负载更加均衡。
优选地,在一种可能的实施方式中,步骤104可按照如下步骤具体实现:
1041、读取重负载节点集合中排在前面的重负载节点,并将排在前面的重负载节点中的数据块按照负载值降序排列的方式加入数据块队列中,然后将数据块队列中排在前面的数据块的负载值添加到轻负载节点集合中排在前面的轻负载节点上。
本步骤中,依次读取重负载节点集合中排在前面的重负载节点,并把该重负载节点中的数据块抽取出来,根据其各自的负载值大小,将这些数据块按照降序排列的方式加入数据块队列中。
依次从该数据块队列中读取排在前面的数据块,并将该数据块的负载值添加到轻负载节点集合中排在前面的轻负载节点上。
在从数据块队列中读取排在前面的数据块时,需要考虑其是否处于可读状态,只有在可读状态下才可以将数据块上的数据进行迁移。
优选地,在一种可能的实施方式中,将数据块队列中排在前面的数据块的负载值添加到轻负载节点集合中排在前面的轻负载节点上可按照如下步骤具体实现:
a、读取数据块队列中排在前面的数据块;
b、若排在前面的数据块为可读状态,则将排在前面的数据块的负载值添加到轻负载节点集合中排在前面的轻负载节点上;否则,继续读取数据块队列中的下一个数据块。
1042、若排在前面的轻负载节点的相对负载值小于平均负载值,则将排在前面的数据块迁移到排在前面的轻负载节点上,并将排在前面的数据块从数据块队列中删除;否则,继续执行读取数据块队列中排在前面的数据块的步骤,直到排在前面的重负载节点的相对负载值小于平均负载值或者排在前面的轻负载节点的相对负载值不小于平均负载值,则对应从重负载节点集合或者轻负载节点集合中删除。
本步骤中,将数据块队列中排在前面的数据块的负载值添加到轻负载节点集合中排在前面的轻负载节点上后,先判断排在前面的轻负载节点的相对负载值与平均负载值的大小。
若排在前面的轻负载节点的相对负载值小于平均负载值,则将排在前面的数据块迁移到排在前面的轻负载节点上,并将排在前面的数据块从数据块队列中删除;若排在前面的轻负载节点的相对负载值大于等于平均负载值,则继续读取数据块队列中的下一个数据块,看该数据块是否满足迁移的条件,直到排在前面的重负载节点的相对负载值小于平均负载值或者排在前面的轻负载节点的相对负载值不小于平均负载值,则说明此时排在前面的重负载节点的负载已经不需要再迁移了,或者排在前面的轻负载节点的负载已经超出迁移的范围了,无法再接收别的重负载节点的负载了。
针对排在前面的重负载节点或者排在前面的轻负载节点的迁移过程结束后,将该重负载节点从重负载节点集合中删除,或者将该轻负载节点从轻负载节点集合中删除,表示其负载已达到均衡,不需要再进行动态迁移操作了,可以按顺序对着两个集合中的其他节点继续进行动态迁移操作。
1043、判断所述重负载节点集合或者所述轻负载节点集合是否为空;若否,则继续执行读取所述重负载节点集合中排在前面的重负载节点的步骤。
本步骤中,在不断地删除两个集合中的节点后,判断重负载节点集合或者轻负载节点集合之中是否有一个集合为空。若其中有任意一个集合为空,则说明整个动态迁移过程已经完成;若两个集合都不为空,则继续读取重负载节点集合中的重负载节点,将其负载迁移到轻负载节点集合中的轻负载节点上。
参照图2所示,本发明实施例提供一种数据存储和动态迁移装置,包括:
选取单元21,用于在客户端提交数据存储请求后,根据调度评价值的大小依次选取至少一个用于存储数据的数据节点;
获取单元22,用于获取数据节点的相对负载值,以及所有数据节点的平均负载值;
确定单元23,用于若数据节点的相对负载值不小于平均负载值,确定数据节点为重负载节点并按照降序排列方式加入重负载节点集合中;否则,确定数据节点为轻负载节点并按照升序排列方式加入轻负载节点集合中;
迁移单元24,用于将重负载节点集合中各重负载节点中的数据迁移到轻负载节点集合中各轻负载节点上。
优选地,选取单元21具体用于:
在客户端提交数据存储请求后,选取客户端提交请求的当前数据节点以外的其余至少一个分布于不同机架上的数据节点;
获取其余的数据节点在网络拓扑结构中到当前的数据节点的网络距离,以及其余的数据节点当前存储的数据副本量;
根据网络距离和数据副本量,计算其余的数据节点的调度评价值;
根据调度评价值,依次选取其余的数据节点中的一个用于存储数据。
优选地,计算其余的数据节点的调度评价值的计算式如下:
f(dL,d)=AL+(1-A)×d,
其中,d为距离系数,反比于其余的数据节点到当前的数据节点的网络距离;L为节点负载系数,反比于其余的数据节点当前存储的数据副本量;A为平衡因子,指示距离系数d和节点负载系数L在评价中的比重,其中A∈[0,1]。
优选地,选取单元21还具体用于:
按照调度评价值从高到低的顺序,对其余的数据节点进行排序,形成数据节点队列;
从数据节点队列中,选取排在首位的数据节点用于存储数据。
优选地,迁移单元24具体用于:
读取重负载节点集合中排在前面的重负载节点,并将排在前面的重负载节点中的数据块按照负载值降序排列的方式加入数据块队列中,然后将数据块队列中排在前面的数据块的负载值添加到轻负载节点集合中排在前面的轻负载节点上;
若排在前面的轻负载节点的相对负载值小于所述平均负载值,则将排在前面的数据块迁移到排在前面的轻负载节点上,并将排在前面的数据块从数据块队列中删除;否则,继续执行读取数据块队列中排在前面的数据块的步骤,直到排在前面的重负载节点的相对负载值小于平均负载值或者排在前面的轻负载节点的相对负载值不小于平均负载值,则对应从重负载节点集合或者轻负载节点集合中删除;
判断重负载节点集合或者轻负载节点集合是否为空;若否,则继续执行读取重负载节点集合中排在前面的重负载节点的步骤。
优选地,迁移单元24还具体用于:
读取数据块队列中排在前面的数据块;
若排在前面的数据块为可读状态,则将排在前面的数据块的负载值添加到轻负载节点集合中排在前面的轻负载节点上;否则,继续读取数据块队列中的下一个数据块。
需要说明的是,本发明实施例提供的数据存储装置与前述实施例所述的数据存储方法属于相同的技术构思,其具体实施过程可参照前述实施例中对方法步骤的说明,在此不再赘述。
本发明实施例提供的一种数据存储和动态迁移方法及装置,根据调度评价值作为选择数据存储节点的依据,使小文件在存储时具有更为合理的放置方式,能缓解海量小文件对数据节点带来的内存空间的压力;同时,根据每个数据节点的相对负载值和所有数据节点的平均负载值,来对各个数据节点的负载进行动态的调整,从而将负载较重的数据节点上的数据动态迁移到负载较轻的数据节点上,从而使云存储系统中的各个数据节点的负载更加均衡。
本发明实施例在存储时采用更为合理的放置方式,且在数据迁移时选择合理的动态迁移目标,能够帮助提高节点负载均衡时的执行效率,减少对节点硬件资源的消耗,对提高云存储系统的存储效率及减缓带宽压力方面具有重要的现实意义。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种数据存储和动态迁移方法,其特征在于,包括:
在客户端提交数据存储请求后,根据调度评价值的大小依次选取至少一个用于存储数据的数据节点;
获取所述数据节点的相对负载值,以及所有数据节点的平均负载值;
若所述数据节点的相对负载值不小于所述平均负载值,确定所述数据节点为重负载节点并按照降序排列方式加入重负载节点集合中;否则,确定所述数据节点为轻负载节点并按照升序排列方式加入轻负载节点集合中;
将所述重负载节点集合中各所述重负载节点中的数据迁移到所述轻负载节点集合中各所述轻负载节点上。
2.根据权利要求1所述的方法,其特征在于,所述在客户端提交数据存储请求后,根据调度评价值的大小依次选取至少一个用于存储数据的数据节点包括:
在客户端提交数据存储请求后,选取客户端提交请求的当前数据节点以外的其余至少一个分布于不同机架上的数据节点;
获取其余的所述数据节点在网络拓扑结构中到当前的所述数据节点的网络距离,以及其余的所述数据节点当前存储的数据副本量;
根据所述网络距离和所述数据副本量,计算其余的所述数据节点的调度评价值;
根据所述调度评价值,依次选取其余的所述数据节点中的一个用于存储数据。
3.根据权利要求2所述的方法,其特征在于,计算其余的所述数据节点的调度评价值的计算式如下:
f(dL,d)=AL+(1-A)×d,
其中,d为距离系数,反比于其余的所述数据节点到当前的所述数据节点的网络距离;L为节点负载系数,反比于其余的所述数据节点当前存储的数据副本量;A为平衡因子,指示距离系数d和节点负载系数L在评价中的比重,其中A∈[0,1]。
4.根据权利要求2所述的方法,其特征在于,所述根据所述调度评价值,依次选取其余的所述数据节点中的一个用于存储数据包括:
按照所述调度评价值从高到低的顺序,对其余的所述数据节点进行排序,形成数据节点队列;
从所述数据节点队列中,选取排在首位的所述数据节点用于存储数据。
5.根据权利要求1所述的方法,其特征在于,所述将所述重负载节点集合中各所述重负载节点中的数据迁移到所述轻负载节点集合中各所述轻负载节点上包括:
读取所述重负载节点集合中排在前面的重负载节点,并将所述排在前面的重负载节点中的数据块按照负载值降序排列的方式加入数据块队列中,然后将所述数据块队列中排在前面的数据块的负载值添加到所述轻负载节点集合中排在前面的轻负载节点上;
若所述排在前面的轻负载节点的相对负载值小于所述平均负载值,则将所述排在前面的数据块迁移到所述排在前面的轻负载节点上,并将所述排在前面的数据块从所述数据块队列中删除;否则,继续执行读取所述数据块队列中排在前面的数据块的步骤,直到所述排在前面的重负载节点的相对负载值小于所述平均负载值或者所述排在前面的轻负载节点的相对负载值不小于所述平均负载值,则对应从所述重负载节点集合或者所述轻负载节点集合中删除;
判断所述重负载节点集合或者所述轻负载节点集合是否为空;若否,则继续执行读取所述重负载节点集合中排在前面的重负载节点的步骤。
6.根据权利要求5所述的方法,其特征在于,所述将所述数据块队列中排在前面的数据块的负载值添加到所述轻负载节点集合中排在前面的轻负载节点上包括:
读取所述数据块队列中排在前面的数据块;
若所述排在前面的数据块为可读状态,则将所述排在前面的数据块的负载值添加到所述轻负载节点集合中排在前面的轻负载节点上;否则,继续读取所述数据块队列中的下一个数据块。
7.一种数据存储和动态迁移装置,其特征在于,包括:
选取单元,用于在客户端提交数据存储请求后,根据调度评价值的大小依次选取至少一个用于存储数据的数据节点;
获取单元,用于获取所述数据节点的相对负载值,以及所有数据节点的平均负载值;
确定单元,用于若所述数据节点的相对负载值不小于所述平均负载值,确定所述数据节点为重负载节点并按照降序排列方式加入重负载节点集合中;否则,确定所述数据节点为轻负载节点并按照升序排列方式加入轻负载节点集合中;
迁移单元,用于将所述重负载节点集合中各所述重负载节点中的数据迁移到所述轻负载节点集合中各所述轻负载节点上。
8.根据权利要求7所述的装置,其特征在于,所述选取单元具体用于:
在客户端提交数据存储请求后,选取客户端提交请求的当前数据节点以外的其余至少一个分布于不同机架上的数据节点;
获取其余的所述数据节点在网络拓扑结构中到当前的所述数据节点的网络距离,以及其余的所述数据节点当前存储的数据副本量;
根据所述网络距离和所述数据副本量,计算其余的所述数据节点的调度评价值;
根据所述调度评价值,依次选取其余的所述数据节点中的一个用于存储数据。
9.根据权利要求7所述的装置,其特征在于,所述迁移单元具体用于:
读取所述重负载节点集合中排在前面的重负载节点,并将所述排在前面的重负载节点中的数据块按照负载值降序排列的方式加入数据块队列中,然后将所述数据块队列中排在前面的数据块的负载值添加到所述轻负载节点集合中排在前面的轻负载节点上;
若所述排在前面的轻负载节点的相对负载值小于所述平均负载值,则将所述排在前面的数据块迁移到所述排在前面的轻负载节点上,并将所述排在前面的数据块从所述数据块队列中删除;否则,继续执行读取所述数据块队列中排在前面的数据块的步骤,直到所述排在前面的重负载节点的相对负载值小于所述平均负载值或者所述排在前面的轻负载节点的相对负载值不小于所述平均负载值,则对应从所述重负载节点集合或者所述轻负载节点集合中删除;
判断所述重负载节点集合或者所述轻负载节点集合是否为空;若否,则继续执行读取所述重负载节点集合中排在前面的重负载节点的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711499342.2A CN108255427B (zh) | 2017-12-29 | 2017-12-29 | 一种数据存储和动态迁移方法及装置 |
JP2018085842A JP2019121334A (ja) | 2017-12-29 | 2018-04-26 | データストレージとダイナミックマイグレーション方法及びデータストレージとダイナミックマイグレーション装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711499342.2A CN108255427B (zh) | 2017-12-29 | 2017-12-29 | 一种数据存储和动态迁移方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108255427A true CN108255427A (zh) | 2018-07-06 |
CN108255427B CN108255427B (zh) | 2021-01-22 |
Family
ID=62725829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711499342.2A Expired - Fee Related CN108255427B (zh) | 2017-12-29 | 2017-12-29 | 一种数据存储和动态迁移方法及装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2019121334A (zh) |
CN (1) | CN108255427B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109379298A (zh) * | 2018-12-06 | 2019-02-22 | 江苏华生基因数据科技股份有限公司 | 一种大数据系统的负载均衡方法 |
CN109960587A (zh) * | 2019-02-27 | 2019-07-02 | 厦门市世纪网通网络服务有限公司 | 超融合云计算系统的存储资源分配方法和装置 |
CN114064616A (zh) * | 2022-01-17 | 2022-02-18 | 睿至科技集团有限公司 | 一种基于大数据平台的分布式存储方法及系统 |
CN114385088A (zh) * | 2022-01-19 | 2022-04-22 | 中山大学 | 一种对分布式存储系统中数据关联性分析后的布局方法 |
CN114490566A (zh) * | 2021-12-10 | 2022-05-13 | 苏州浪潮智能科技有限公司 | 集群数据迁移方法、装置、计算机设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101610287A (zh) * | 2009-06-16 | 2009-12-23 | 浙江大学 | 一种应用于分布式海量存储系统的负载均衡方法 |
US20120230201A1 (en) * | 2011-03-12 | 2012-09-13 | Thota Saigopal | Load-balancing gateways |
CN103139302A (zh) * | 2013-02-07 | 2013-06-05 | 浙江大学 | 考虑负载均衡的实时副本调度方法 |
CN103595805A (zh) * | 2013-11-22 | 2014-02-19 | 浪潮电子信息产业股份有限公司 | 一种基于分布式集群的数据放置方法 |
CN104298557A (zh) * | 2014-06-05 | 2015-01-21 | 中国人民解放军信息工程大学 | 一种soa动态负载迁移方法与系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014186364A (ja) * | 2013-03-21 | 2014-10-02 | Kddi Corp | 分散システム |
JP5947336B2 (ja) * | 2014-06-03 | 2016-07-06 | 日本電信電話株式会社 | スナップショット制御装置、スナップショット制御方法およびスナップショット制御プログラム |
-
2017
- 2017-12-29 CN CN201711499342.2A patent/CN108255427B/zh not_active Expired - Fee Related
-
2018
- 2018-04-26 JP JP2018085842A patent/JP2019121334A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101610287A (zh) * | 2009-06-16 | 2009-12-23 | 浙江大学 | 一种应用于分布式海量存储系统的负载均衡方法 |
US20120230201A1 (en) * | 2011-03-12 | 2012-09-13 | Thota Saigopal | Load-balancing gateways |
CN103139302A (zh) * | 2013-02-07 | 2013-06-05 | 浙江大学 | 考虑负载均衡的实时副本调度方法 |
CN103595805A (zh) * | 2013-11-22 | 2014-02-19 | 浪潮电子信息产业股份有限公司 | 一种基于分布式集群的数据放置方法 |
CN104298557A (zh) * | 2014-06-05 | 2015-01-21 | 中国人民解放军信息工程大学 | 一种soa动态负载迁移方法与系统 |
Non-Patent Citations (1)
Title |
---|
林伟伟: ""一种改进的Hadoop数据放置策略"", 《华南理工大学学报(自然科学版)》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109379298A (zh) * | 2018-12-06 | 2019-02-22 | 江苏华生基因数据科技股份有限公司 | 一种大数据系统的负载均衡方法 |
CN109960587A (zh) * | 2019-02-27 | 2019-07-02 | 厦门市世纪网通网络服务有限公司 | 超融合云计算系统的存储资源分配方法和装置 |
CN114490566A (zh) * | 2021-12-10 | 2022-05-13 | 苏州浪潮智能科技有限公司 | 集群数据迁移方法、装置、计算机设备及存储介质 |
CN114490566B (zh) * | 2021-12-10 | 2024-01-30 | 苏州浪潮智能科技有限公司 | 集群数据迁移方法、装置、计算机设备及存储介质 |
CN114064616A (zh) * | 2022-01-17 | 2022-02-18 | 睿至科技集团有限公司 | 一种基于大数据平台的分布式存储方法及系统 |
CN114385088A (zh) * | 2022-01-19 | 2022-04-22 | 中山大学 | 一种对分布式存储系统中数据关联性分析后的布局方法 |
CN114385088B (zh) * | 2022-01-19 | 2023-09-01 | 中山大学 | 一种对分布式存储系统中数据关联性分析后的布局方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019121334A (ja) | 2019-07-22 |
CN108255427B (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108255427A (zh) | 一种数据存储和动态迁移方法及装置 | |
CN107426332B (zh) | 一种web服务器集群的负载均衡方法及系统 | |
CN102523158B (zh) | 一种基于权重的元数据服务器集群负载均衡方法 | |
CN106233276B (zh) | 网络可访问块存储装置的协调准入控制 | |
CN105320773B (zh) | 一种基于Hadoop平台的分布式重复数据删除系统和方法 | |
CN108509275B (zh) | 一种目录迁移方法和元数据负载均衡方法 | |
CN107145307A (zh) | 一种基于分布式存储的动态元数据优化方法和系统 | |
CN106161120A (zh) | 动态均衡负载的分布式元数据管理方法 | |
CN107734052A (zh) | 面向组件依赖的负载均衡容器调度方法 | |
CN103647656B (zh) | 计费节点负载控制方法、数据访问控制方法及节点 | |
CN104615726B (zh) | 一种基于缓加载技术展示大量业务对象的方法 | |
CN110308973A (zh) | 一种基于能耗优化的容器动态迁移方法 | |
CN106648456A (zh) | 基于用户访问量以及预测机制的动态副本文件访问方法 | |
CN106528270A (zh) | 一种基于OpenStack云平台的虚拟机自动迁移方法及系统 | |
CN107291539A (zh) | 基于资源重要程度的集群程序调度方法 | |
CN103207920A (zh) | 一种元数据并行采集系统 | |
CN116954929B (zh) | 一种实时迁移的动态gpu调度方法及系统 | |
CN103918239A (zh) | 负载均衡方法、装置、系统及计算机可读介质 | |
CN106534359A (zh) | 一种基于存储熵的存储负载均衡方法 | |
CN114780244A (zh) | 容器云资源弹性分配方法、装置、计算机设备及介质 | |
CN109039933A (zh) | 一种集群网络优化方法、装置、设备及介质 | |
CN106341478A (zh) | 一种基于Hadoop的教育资源共享系统及实现方法 | |
CN102480502A (zh) | 一种i/o负载均衡方法及i/o服务器 | |
CN104391735B (zh) | 虚拟化一体机集群中虚拟机调度方法及系统 | |
CN110471761A (zh) | 服务器的控制方法、用户设备、存储介质及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210122 Termination date: 20211229 |
|
CF01 | Termination of patent right due to non-payment of annual fee |