CN103281374A - 一种云存储中数据快速调度的方法 - Google Patents

一种云存储中数据快速调度的方法 Download PDF

Info

Publication number
CN103281374A
CN103281374A CN2013102086248A CN201310208624A CN103281374A CN 103281374 A CN103281374 A CN 103281374A CN 2013102086248 A CN2013102086248 A CN 2013102086248A CN 201310208624 A CN201310208624 A CN 201310208624A CN 103281374 A CN103281374 A CN 103281374A
Authority
CN
China
Prior art keywords
copy
centroid
regional
node
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013102086248A
Other languages
English (en)
Other versions
CN103281374B (zh
Inventor
李飞
张路桥
王娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Yucun Technology Co ltd
Original Assignee
Chengdu Information Technology Co Ltd of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Information Technology Co Ltd of CAS filed Critical Chengdu Information Technology Co Ltd of CAS
Priority to CN201310208624.8A priority Critical patent/CN103281374B/zh
Publication of CN103281374A publication Critical patent/CN103281374A/zh
Application granted granted Critical
Publication of CN103281374B publication Critical patent/CN103281374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及计算机、通信网络技术领域,具体涉及一种云存储中数据快速调度的方法,包括建立云储存共享系统、副本创建、数据共享调度、数据获取等步骤。本发明能够把传输分解成多个任务,从不同地域的服务器上得到不同的文件,在本地拼装成完整文件,这样可以减少传输时间,也减少了占用网络带宽的时间,同时提高了云系统的数据传输的稳定性,提高用户数据访问的速度,而且可以保证系统的负载均衡。

Description

一种云存储中数据快速调度的方法
技术领域
本发明涉及计算机、通信网络技术领域,具体涉及一种云存储中数据快速调度的方法。
背景技术
随着移动互联网和物联网技术的快速发展,在很多领域中,会产生海量的数据,这些数据量以TB级甚至PB级为单位快速增长,如遍布全世界的各种传感器产生的数据、手机终端用户发送的图片和文字,而数据的产生是为改善我们的生活服务的,如何有效的利用这些海量数据成为当今人们关心的问题之一,因此,实现海量数据的有效管理、共享和数据的快速访问已经成为急需解决且极富有挑战性的问题。
云存储的出现为移动互联网和物联网所产生的海量数据提供了存储的空间,并使得实时在线处理成为可能。云存储作为一种提供海量数据存储服务的平台,创建、查找、传输和删除数据是云存储的基础。由于人们工作和娱乐,要依赖这些数据,如一位居住在成都的人士,想在北京获得单位的数据,如果他能在北京的相关服务器,不用到成都的单位服务器上获得所需数据,就会减少网络传输的时间和占用的网络带宽;又如在成都的用户需要一份数据较大的文件,虽然他可以在成都的服务器上得到,但在重庆、西安和武汉都有同样的文件,且能保证传输速率,这样可以把传输分解成多个任务,从不同地域的服务器上得到不同的文件快,在本地拼装成完整文件,这样可以减少传输时间,也减少了占用网络带宽的时间。
目前云存储中数据大多是同一文件均拷贝副本资源在同一服务器上,虽然能够在多点访问到该服务器,并对该文件进行下载和传输,但其传输速度会受到下载点和服务器之间的网络环境的影响,同时也会受到服务器的输出速度和下载点的下载速度的影响,这样就会对云存储中数据的调度速度造成极大的限制。
发明内容
本发明的目的在于提供一种云存储中数据快速调度的方法,解决目前云存储中数据的调度速度过慢的问题。
为解决上述的技术问题,本发明采用以下技术方案:
一种云存储中数据快速调度的方法,包括以下步骤:
步骤一,建立云储存共享系统,共享系统主要由国家级副本中心节点、中心调度节点、CA安全认证节点、区域子调度节点、区域副本中心节点、用户节点等组成,其中所述国家级副本中心节点、中心调度节点和CA安全认证节点依次相互交流信息,同区域的用户节点依次和该区域的区域副本中心节点、区域子调度节点相互交流信息,所述不同区域的区域子调度节点均和同一CA安全认证节点相互交流信息;所述中心调度节点和区域子调度节点主要负责在副本选择调度过程中对副本选择的控制,所述CA安全认证节点主要负责区域子调度节点在接入中心调度节点的安全认证,所述国家级副本中心节点负责所有区域副本中心节点的副本存储,由高性能计算机和集群组成,所述区域副本中心节点主要由管理员指定的高性能计算机或者集群组成,具有存储空间比较大、带宽比较大、稳定性比较高的特点,所述用户节点是用户自愿加入到云中的计算机,其性能和稳定性比较低;
步骤二,副本创建,分为基于内容分发的副本创建阶段和云副本的快速创建阶段,所述基于内容分发的副本创建阶段主要是根据每个区域副本中心的访问历史记录和区域中心之间的访问代价确定最佳区域副本中心节点,原始区域副本中心将新产生的文件在最佳区域副本中心节点上创建副本;所述云副本的快速创建阶段主要是当用户节点请求某一个不在与之同一区域的区域副本中心节点的文件,该区域的区域子调度节点通过副本定位算法向其它区域子调度节点发送文件请求,该区域副本中心节点保存从其他区域副本中心节点传输过来的文件,并同时传输给请求的用户节点;
步骤三,数据共享调度,利用副本域粒子群调度算法,由用户节点向区域子调度节点或者由区域子调度节点向中心调度节点发送请求,根据调度结果返回最优副本资源;
步骤四,当用户节点执行任务需要文件时,先检查本地是否存在该任务所需要的文件,如果不存在,就向该用户节点所在区域的区域副本中心节点发送文件请求,如果区域副本中心节点检查后发现存在该文件,则将该文件返回给用户节点,如果区域副本中心节点检查后发现不存在该文件,则有两种获取文件的方法:其一是区域副本中心节点向其他区域的区域副本中心节点发送文件请求,如果所请求的区域副本中心节存在数据,就将文件的传送给发出请求的区域副本中心节,同时自身创建文件副本,并把文件发送请求的用户节点;其二是区域副本中心节点通过区域子调度节点,经过CA安全认证节点向中心调度节点发送文件请求,中心调度节点查找最优的副本资源传送给区域副本中心节点,区域副本中心节点自行创建副本同时将文件传输到请求的用户节点。
更进一步的技术方案是,所述步骤二中,所述最佳区域副本中心节点的确定方法是:每个区域副本中心节点记录其他区域副本中心节点对本区域副本中心节点所产生文件的访问次数,形成该区域副本中心节点的历史访问记录,根据历史访问记录选择出前N个最有可能访问该区域副本中心节点数据的其他区域副本中心节点,在这N个区域副本中心节点中选择出1个最佳区域副本中心节点,即确定最佳区域副本中心节点。
更进一步的技术方案是,所述每个区域副本中心节点每隔一段时间T区域中心就清空历史记录,重新选择出新的最佳区域副本中心节点,将产生的新文件传输到该时间段的最佳区域副本中心节点,创建文件副本。
更进一步的技术方案是,所述N个区域副本中心节点中选择出1个最佳区域副本中心节点的方法是:
以该文中使用区域副本中心节点之间的带宽和跳数表示传输代价,带宽越大,跳数越小,则区域副本中心节点之间的传输代价越小,在使用的基本公式
wCost=(220*8)/w;  (2-1)
得出数据传输的宽带代价矩阵,设传输1GB数据文件所花费的带宽代价,带宽的单位是kb/s;
设利用公式
y=(x-minValue)/(maxValue-minValue);  (2-2)
将宽带代价矩阵和跳数矩阵归一化,其中x、y分别为归一化前、后的值,maxValue、minValue别为样本的最大值和最小值;转换后,y为[0,1]之间的一个值;
利用公式
Costi,j=aw+bh,a+b=1;  (2-3)
得出数据传输的代价矩阵Cost,其中Costi,j表示节点i、j之间的传输代价;α,β分别代表区域中心i,j之间带宽、跳数的权重;w,h分别是节点i,j之间的带宽和跳数各自归一化处理后的值;
利用公式
Transcontj=min(Costi,j,Costo,j);  (2-4)
得出区域副本中心节点之间的最小代价,其中Transcostj表示区域中心j到原始区域中心O或区域中心i之间传输代价的较小者;
利用公式
Ei=∑N j=1(Transcostj);  (2-5)
求出每个区域副本中心节点到其他区域副本中心节点的传输代价的期望值,其中Ei表示区域中心i到其他区域中心传输代价的期望值;
期望值最小的区域副本中心节点,即为最佳区域副本中心节点。
与现有技术相比,本发明的有益效果是:能够把传输分解成多个任务,从不同地域的服务器上得到不同的文件,在本地拼装成完整文件,这样可以减少传输时间,也减少了占用网络带宽的时间,同时提高了云系统的数据传输的稳定性,提高用户数据访问的速度,而且可以保证系统的负载均衡。
附图说明
图1为本发明一种云存储中数据快速调度的方法的构架示意图。
图2为本发明一种云存储中数据快速调度的方法中最佳区域副本中心节点确定流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1示出了本发明一种云存储中数据快速调度的方法的一个实施例:一种云存储中数据快速调度的方法,包括以下步骤:
步骤一,建立云储存共享系统,共享系统主要由国家级副本中心节点、中心调度节点、CA安全认证节点、区域子调度节点、区域副本中心节点、用户节点等组成,其中所述国家级副本中心节点、中心调度节点和CA安全认证节点依次相互交流信息,同区域的用户节点依次和该区域的区域副本中心节点、区域子调度节点相互交流信息,所述不同区域的区域子调度节点均和同一CA安全认证节点相互交流信息;所述中心调度节点和区域子调度节点主要负责在副本选择调度过程中对副本选择的控制,所述CA安全认证节点主要负责区域子调度节点在接入中心调度节点的安全认证,所述国家级副本中心节点负责所有区域副本中心节点的副本存储,由高性能计算机和集群组成,所述区域副本中心节点主要由管理员指定的高性能计算机或者集群组成,具有存储空间比较大、带宽比较大、稳定性比较高的特点,所述用户节点是用户自愿加入到云中的计算机,其性能和稳定性比较低;
步骤二,副本创建,分为基于内容分发的副本创建阶段和云副本的快速创建阶段,所述基于内容分发的副本创建阶段主要是根据每个区域副本中心节点的访问历史记录和区域中心之间的访问代价确定最佳区域副本中心节点,原始区域副本中心将新产生的文件在最佳区域副本中心节点上创建副本;所述云副本的快速创建阶段主要是当用户节点请求某一个不在与之同一区域的区域副本中心节点的文件,该区域的区域子调度节点通过副本定位算法向其它区域子调度节点发送文件请求,该区域副本中心节点保存从其他区域副本中心节点传输过来的文件,并同时传输给请求的用户节点;
步骤三,数据共享调度,利用副本域粒子群调度算法,由用户节点向区域子调度节点或者由区域子调度节点向中心调度节点发送请求,根据调度结果返回最优副本资源,所述副本域粒子群调度算法(Replica Domain Particle Swarm Optimization,RDPSO)可以优化调度策略,快速地对副本资源进行定位,并进行数据传输,提高用户QoS和数据的传输效率;
步骤四,当用户节点执行任务需要文件时,先检查本地是否存在该任务所需要的文件,如果不存在,就向该用户节点所在区域的区域副本中心节点发送文件请求,如果区域副本中心节点检查后发现存在该文件,则将该文件返回给用户节点,如果区域副本中心节点检查后发现不存在该文件,则有两种获取文件的方法:其一是区域副本中心节点向其他区域的区域副本中心节点发送文件请求,如果所请求的区域副本中心节存在数据,就将文件的传送给发出请求的区域副本中心节,同时自身创建文件副本,并把文件发送请求的用户节点;其二是区域副本中心节点通过区域子调度节点,经过CA安全认证节点向中心调度节点发送文件请求,中心调度节点查找最优的副本资源传送给区域副本中心节点,区域副本中心节点自行创建副本同时将文件传输到请求的用户节点。
根据本发明一种云存储中数据快速调度的方法的另一个实施例,所述步骤二中,所述最佳区域副本中心节点的确定方法是:每个区域副本中心节点记录其他区域副本中心节点对本区域副本中心节点所产生文件的访问次数,形成该区域副本中心节点的历史访问记录,根据历史访问记录选择出前N个最有可能访问该区域副本中心节点数据的其他区域副本中心节点,在这N个区域副本中心节点中选择出1个最佳区域副本中心节点,即确定最佳区域副本中心节点。
上述副本创建是在区域副本中心节点之间进行的,每个区域副本中心节点只记录其他区域副本中心节点对该区域副本中心节点所产生文件的访问次数,形成该区域副本中心节点的历史访问记录,根据历史记录选择出前N个最有可能访问该区域中心数据的区域副本中心节点,在这N个区域中心中选择出1个最佳区域副本中心节点,每隔一段时间T区域中心就清空历史记录,重新选择出新的最佳区域副本中心节点,将产生的新文件传输到该时间段的最佳区域副本中心节点,创建文件副本。
最佳副本区域中心节点满足两个条件:1,最佳副本区域中心下面的客户节点最有可能访问从原始数据区域副本中心传输过来的文件;2,最佳副本区域中心到其他有可能访问原始数据区域中心中文件的区域中心的传输代价要小。
根据本发明一种云存储中数据快速调度的方法的一个优选实施例,所述每个区域副本中心节点每隔一段时间T区域中心就清空历史记录,重新选择出新的最佳区域副本中心节点,将产生的新文件传输到该时间段的最佳区域副本中心节点,创建文件副本。
图2示出了本发明一种云存储中数据快速调度的方法的另一个优选实施例,所述N个区域副本中心节点中选择出1个最佳区域副本中心节点的方法是:
以该文中使用区域副本中心节点之间的带宽和跳数表示传输代价,带宽越大,跳数越小,则区域副本中心节点之间的传输代价越小,在使用的基本公式
wCost=(220*8)/w;  (2-1)
得出数据传输的宽带代价矩阵,设传输1GB数据文件所花费的带宽代价,带宽的单位是kb/s;
设利用公式
y=(x-minValue)/(maxValue-minValue);  (2-2)
将宽带代价矩阵和跳数矩阵归一化,其中x、y分别为归一化前、后的值,maxValue、minValue别为样本的最大值和最小值;转换后,y为[0,1]之间的一个值;
利用公式
Costi,j=aw+bh,a+b=1;  (2-3)
得出数据传输的代价矩阵Cost,其中Costi,j表示节点i、j之间的传输代价;α,β分别代表区域中心i,j之间带宽、跳数的权重;w,h分别是节点i,j之间的带宽和跳数各自归一化处理后的值;
利用公式
Transcontj=min(Costi,j,Costo,j);  (2-4)
得出区域副本中心节点之间的最小代价,其中Transcostj表示区域中心j到原始区域中心O或区域中心i之间传输代价的较小者;
利用公式
Ei=∑N j=1(Transcostj);  (2-5)
求出每个区域副本中心节点到其他区域副本中心节点的传输代价的期望值,其中Ei表示区域中心i到其他区域中心传输代价的期望值;
期望值最小的区域副本中心节点,即为最佳区域副本中心节点。
该阶段的算法主要是在区域副本中心节点运行,区域副本中心节点每隔时间T就要运行一次该算法,从前一段时间间隔T的历史访问记录中选择出前N个区域副本中心节点,这N个区域副本中心节点就是要查找的区域中心;根据区域中心保存的区域副本中心节点的拓扑图,生成这N个区域中心的网络带宽矩阵和跳数矩阵,根据网络带宽矩阵和跳数矩阵使用上面提到的公式,求出该时间间隔,该区域副本中心所对应的最佳区域副本中心节点。清空该时间间隔的历史访问记录,重新统计该时间段的历史访问记录。
如图2所示,加入某个地方需要某种数据,在时间间隔T内产生一个批处理任务矩阵J,请求数据传输,任务得到CA安全认证节点许可后进入中心调度节点处理,然后分配到各个副本域中的区域子调度节点,区域子调度节点代表一个区域副本中心节点的调度控制枢纽,处理分配到的任务,查找本区域副本中心节点中是否具有任务中所需求的副本进行传输,记录本区域副本中心节点的副本传输到发出请求的区域副本中心节点的时间,在每次传输完成后,最大的时间就是这次调度传输的完成时间,问题就转化为任务在这些区域副本中心节点之间如何分配,从而使得所有任务传输完成需要的时间最小。
我们可以选择以下几种数学模型定义:
定义1用J代表批处理任务矩阵,J=[Sa,Sb,L,Sz],其中,S代表某个区域中心所形成的副本域;a,b,…,z代表所有副本域(副本域是由同一区域的区域子调度节点、区域副本中心节点和用户节点构成)的其中一个。
定义2用矩阵Ca代表请求任务的大小,Ca=[Ca1,Ca2,L,Can],其中,n代表第n个任务,Can表示任务n的资源大小。
定义3用Hs代表域i中对应批任务队列存在的可用副本数,矩阵H[i][m]=[Hs1,Hs2,L,Hsm],任务i在域m中的可用副本数为Hsm
定义4用矩阵Ba代表域中的副本到请求节点的带宽,Ba=[Ba1,Ba2,L,Bak],副本k的到请求节点的带宽是Bak
Figure BDA00003273629000071
其中,B是这个副本的总带宽。
定义5根据每个副本主机的性能和网络状况不同,定义α为性能系数:
α=Dn/Da×Dc,其中,Dn为副本主机的可用缓存;Da为副本主机的总缓存;Dc为副本主机CPU的占用率。
对粒子群进行编码,可以更加直观地描述空间可行解的一种形式。本发明采取以下编码方式:
(1)根据定义1,把批处理任务的J看成任务在副本域的分配的一种可行方案,并转化为空间粒子的位置矢量Xi=J。
(2)定义矩阵编码方式[46]:在一些任务调度矩阵的计算中常采用二进制编码方式,这种编码方式通过0和1来表示,不能清楚地展示粒子分布的位置,需要进行一个乘积计算才能得到所处的位置,所以本发明通过研究数学模型,采用十进制编码,码长为任务数n,使每个粒子可能分配的位置按副本域的编号组成,矩阵中的每一个值都是任务调度中的一种分配方案。根据定义1,Sa表示第1个任务分配在编号为a的副本域中。如一个分配方案的编码为:[5,1,3,1,4,5,2,2,4,1],表示任务1、任务6分配到副本域5中,任务2、任务4、任务10分配到副本域1中,任务3分配到副本域3中,任务5、任务9分配到副本域4中,任务7、任务8分配到副本域2上执行。经过调度计算计算结束后得到的新的矩阵既是最优任务分配策略。
把每个任务分配到相应的副本域中,在每个副本域中寻找自已范围内的可用副本数量Hs,假设域到请求节点的带宽是Ba,一个任务的大小是Ca,性能系数为α(0<α<1),本文未考虑在传输中,请求文件动态分配到副本资源中,本文采用均等分配到各个副本主机中。所以,在每个域中完成传输任务的时间为:
T[i]=max[M[i]]  (3-1)
M[i]=α[j]·Ca[i]/((Hs[i][J[i]])·Ba[j])  (3-2)
j=1,2,L,Hs[i][J[i]]  (3-3)
若在一个副本域中要执行多个任务,则把每个任务执行的时间叠加,得出此域最终的时间Tr=ΣT,一次调度中传输任务完成的时间为
Figure BDA00003273629000081
经过i次迭代,每次新的调度都会产生新的任务调度矩阵,求出所有的任务调度后所消耗的传输时间,最终所求的既是这些传输时间中的最小值,即是所求得最优调度目标函数值为
迭代中可能会出现含有小数的位移矩阵X,因为副本域的编号全是整数,所以小数不符合实际情况,本文采用舍弃小数位取整[45]的方法,每次计算中,只取计算中的整数组成新的X矩阵(新的任务调度分配方案)进行下一次的迭代。
计算中的位移和速度的数值上进行边界修正,速度
Figure BDA00003273629000083
即粒子i的飞翔速度
Figure BDA00003273629000084
被最大速度
Figure BDA00003273629000085
限制,位移即粒子i的飞行位移被边界
Figure BDA00003273629000087
限制,在本文中设定
Figure BDA00003273629000088
在每次迭代中进行修正。
本文算法流程如下:
(1)初始化批处理任务的数量和大小,副本域的各个副本的数量和带宽,随机产生分配矩阵X1
(2)对种群粒子参数进行选取,每个微粒位置矩阵X的每一维随机选取1~n之间的数值(n是副本域的数量),每个速度相量V的选取随机选取-2/n~2/n之间的数值,设置算法的常量参数ω、r1、r2、c1、c2和迭代次数。
(3)若一个任务在一个域中有多个副本,则均等分配任务大小,计算X1所用的时间Tr1
(4)随机产生若干个初始粒子矩阵X,计算这些粒子的pi,粒子群的pg
(5)把初始值带入本文算法得到新的任务调度矩阵,根据修正条件,修正X和V,更新pi、pg
(6)把步骤(5)得出的值作为新一轮的初始值带入步骤(5)中进行i次迭代,得到在i次迭代中的时间Ti迭代结束条件为全局最优20次不变或者完成i次迭代。
(7)求出目标函数F,输出最终的X矩阵即是最佳任务调度分配矩阵。

Claims (4)

1.一种云存储中数据快速调度的方法,其特征在于:包括以下步骤:
步骤一,建立云储存共享系统,共享系统主要由国家级副本中心节点、中心调度节点、CA安全认证节点、区域子调度节点、区域副本中心节点、用户节点等组成,其中所述国家级副本中心节点、中心调度节点和CA安全认证节点依次相互交流信息,同区域的用户节点依次和该区域的区域副本中心节点、区域子调度节点相互交流信息,所述不同区域的区域子调度节点均和同一CA安全认证节点相互交流信息;所述中心调度节点和区域子调度节点主要负责在副本选择调度过程中对副本选择的控制,所述CA安全认证节点主要负责区域子调度节点在接入中心调度节点的安全认证,所述国家级副本中心节点负责所有区域副本中心节点的副本存储,由高性能计算机和集群组成,所述区域副本中心节点主要由管理员指定的高性能计算机或者集群组成,所述用户节点是用户自愿加入到云中的计算机;
步骤二,副本创建,分为基于内容分发的副本创建阶段和云副本的快速创建阶段,所述基于内容分发的副本创建阶段主要是根据每个区域副本中心节点的访问历史记录和区域中心之间的访问代价确定最佳区域副本中心节点,原始区域副本中心将新产生的文件在最佳区域副本中心节点上创建副本;所述云副本的快速创建阶段主要是当用户节点请求某一个不在与之同一区域的区域副本中心节点的文件,该区域的区域子调度节点通过副本定位算法向其它区域子调度节点发送文件请求,该区域副本中心节点保存从其他区域副本中心节点传输过来的文件,并同时传输给请求的用户节点;
步骤三,数据共享调度,利用副本域粒子群调度算法,由用户节点向区域子调度节点或者由区域子调度节点向中心调度节点发送请求,根据调度结果返回最优副本资源;
步骤四,当用户节点执行任务需要文件时,先检查本地是否存在该任务所需要的文件,如果不存在,就向该用户节点所在区域的区域副本中心节点发送文件请求,如果区域副本中心节点检查后发现存在该文件,则将该文件返回给用户节点,如果区域副本中心节点检查后发现不存在该文件,则有两种获取文件的方法:其一是区域副本中心节点向其他区域的区域副本中心节点发送文件请求,如果所请求的区域副本中心节存在数据,就将文件的传送给发出请求的区域副本中心节,同时自身创建文件副本,并把文件发送请求的用户节点;其二是区域副本中心节点通过区域子调度节点,经过CA安全认证节点向中心调度节点发送文件请求,中心调度节点查找最优的副本资源传送给区域副本中心节点,区域副本中心节点自行创建副本同时将文件传输到请求的用户节点。
2.根据权利要求1所述的一种云存储中数据快速调度的方法,其特征在于:所述步骤二中,所述最佳区域副本中心节点的确定方法是:每个区域副本中心节点记录其他区域副本中心节点对本区域副本中心节点所产生文件的访问次数,形成该区域副本中心节点的历史访问记录,根据历史访问记录选择出前N个最有可能访问该区域副本中心节点数据的其他区域副本中心节点,在这N个区域副本中心节点中选择出1个最佳区域副本中心节点,即确定最佳区域副本中心节点。
3.根据权利要求2所述的一种云存储中数据快速调度的方法,其特征在于:所述每个区域副本中心节点每隔一段时间T区域中心就清空历史记录,重新选择出新的最佳区域副本中心节点,将产生的新文件传输到该时间段的最佳区域副本中心节点,创建文件副本。
4.根据权利要求2所述的一种云存储中数据快速调度的方法,其特征在于:所述N个区域副本中心节点中选择出1个最佳区域副本中心节点的方法是:
以该文中使用区域副本中心节点之间的带宽和跳数表示传输代价,带宽越大,跳数越小,则区域副本中心节点之间的传输代价越小,在使用的基本公式
wCost=(220*8)/w;(2-1)
得出数据传输的宽带代价矩阵,设传输1GB数据文件所花费的带宽代价,带宽的单位是kb/s;
设利用公式
y=(x-minValue)/(maxValue-minValue);(2-2)
将宽带代价矩阵和跳数矩阵归一化,其中x、y分别为归一化前、后的值,maxValue、minValue别为样本的最大值和最小值;转换后,y为[0,1]之间的一个值;
利用公式
Costi,j=aw+bh,a+b=1;(2-3)
得出数据传输的代价矩阵Cost,其中Costi,j表示节点i、j之间的传输代价;α,β分别代表区域中心i,j之间带宽、跳数的权重;w,h分别是节点i,j之间的带宽和跳数各自归一化处理后的值;
利用公式
Transcontj=min(Costi,j,Costo,j);(2-4)
得出区域副本中心节点之间的最小代价,其中Transcostj表示区域中心j到原始区域中心O或区域中心i之间传输代价的较小者;
利用公式
E i = Σ N j = 1 ( Trans cos t j ) ; - - - ( 2 - 5 )
求出每个区域副本中心节点到其他区域副本中心节点的传输代价的期望值,其中Ei表示区域中心i到其他区域中心传输代价的期望值;
期望值最小的区域副本中心节点,即为最佳区域副本中心节点。
CN201310208624.8A 2013-05-30 2013-05-30 一种云存储中数据快速调度的方法 Active CN103281374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310208624.8A CN103281374B (zh) 2013-05-30 2013-05-30 一种云存储中数据快速调度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310208624.8A CN103281374B (zh) 2013-05-30 2013-05-30 一种云存储中数据快速调度的方法

Publications (2)

Publication Number Publication Date
CN103281374A true CN103281374A (zh) 2013-09-04
CN103281374B CN103281374B (zh) 2015-12-09

Family

ID=49063819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310208624.8A Active CN103281374B (zh) 2013-05-30 2013-05-30 一种云存储中数据快速调度的方法

Country Status (1)

Country Link
CN (1) CN103281374B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104065663A (zh) * 2014-07-01 2014-09-24 复旦大学 一种基于混合云调度模型的自动伸缩、费用优化的内容分发服务方法
CN108234543A (zh) * 2016-12-14 2018-06-29 中国航空工业集团公司西安航空计算技术研究所 一种多中心的大规模分布式系统管理方法
CN108377245A (zh) * 2018-02-26 2018-08-07 湖南科技学院 一种网络接入请求的优化认证方法及系统
CN110708369A (zh) * 2019-09-25 2020-01-17 深圳市网心科技有限公司 设备节点的文件部署方法、装置、调度服务器及存储介质
CN110928651A (zh) * 2019-10-12 2020-03-27 杭州电子科技大学 一种移动边缘环境下的服务工作流容错调度方法
CN111817938A (zh) * 2020-07-15 2020-10-23 上汽通用五菱汽车股份有限公司 一种汽车can通讯矩阵编制的方法、系统及存储介质
WO2021169397A1 (zh) * 2020-02-27 2021-09-02 华为技术有限公司 镜像存储、下载方法、设备以及系统
CN113992657A (zh) * 2021-10-26 2022-01-28 超越科技股份有限公司 一种基于云平台的共享存储的搭建方法、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873348A (zh) * 2010-06-09 2010-10-27 清华大学 基于网络出口设备的云存储系统及其网络访问方法
CN101877725A (zh) * 2010-06-25 2010-11-03 中兴通讯股份有限公司 分布式存储系统中的副本管理方法及装置
CN102035884A (zh) * 2010-12-03 2011-04-27 华中科技大学 一种云存储系统及其数据部署方法
CN102137157A (zh) * 2011-02-28 2011-07-27 浪潮(北京)电子信息产业有限公司 一种云存储系统及其实现方法
US8281384B2 (en) * 2007-09-05 2012-10-02 Creative Technology Ltd Method of enabling access to data protected by firewall

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8281384B2 (en) * 2007-09-05 2012-10-02 Creative Technology Ltd Method of enabling access to data protected by firewall
CN101873348A (zh) * 2010-06-09 2010-10-27 清华大学 基于网络出口设备的云存储系统及其网络访问方法
CN101877725A (zh) * 2010-06-25 2010-11-03 中兴通讯股份有限公司 分布式存储系统中的副本管理方法及装置
CN102035884A (zh) * 2010-12-03 2011-04-27 华中科技大学 一种云存储系统及其数据部署方法
CN102137157A (zh) * 2011-02-28 2011-07-27 浪潮(北京)电子信息产业有限公司 一种云存储系统及其实现方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104065663A (zh) * 2014-07-01 2014-09-24 复旦大学 一种基于混合云调度模型的自动伸缩、费用优化的内容分发服务方法
CN108234543A (zh) * 2016-12-14 2018-06-29 中国航空工业集团公司西安航空计算技术研究所 一种多中心的大规模分布式系统管理方法
CN108377245A (zh) * 2018-02-26 2018-08-07 湖南科技学院 一种网络接入请求的优化认证方法及系统
CN110708369A (zh) * 2019-09-25 2020-01-17 深圳市网心科技有限公司 设备节点的文件部署方法、装置、调度服务器及存储介质
CN110928651A (zh) * 2019-10-12 2020-03-27 杭州电子科技大学 一种移动边缘环境下的服务工作流容错调度方法
CN110928651B (zh) * 2019-10-12 2022-03-01 杭州电子科技大学 一种移动边缘环境下的服务工作流容错调度方法
WO2021169397A1 (zh) * 2020-02-27 2021-09-02 华为技术有限公司 镜像存储、下载方法、设备以及系统
CN111817938A (zh) * 2020-07-15 2020-10-23 上汽通用五菱汽车股份有限公司 一种汽车can通讯矩阵编制的方法、系统及存储介质
CN111817938B (zh) * 2020-07-15 2022-04-01 上汽通用五菱汽车股份有限公司 一种汽车can通讯矩阵编制的方法、系统及存储介质
CN113992657A (zh) * 2021-10-26 2022-01-28 超越科技股份有限公司 一种基于云平台的共享存储的搭建方法、设备及介质
CN113992657B (zh) * 2021-10-26 2024-04-12 超越科技股份有限公司 一种基于云平台的共享存储的搭建方法、设备及介质

Also Published As

Publication number Publication date
CN103281374B (zh) 2015-12-09

Similar Documents

Publication Publication Date Title
CN103281374B (zh) 一种云存储中数据快速调度的方法
Ning et al. Deep reinforcement learning for intelligent internet of vehicles: An energy-efficient computational offloading scheme
Fu et al. Task scheduling of cloud computing based on hybrid particle swarm algorithm and genetic algorithm
CN110851272A (zh) 基于吞噬的粒子群遗传混合算法的云任务调度方法
Grace et al. Dynamic replica placement and selection strategies in data grids—a comprehensive survey
CN108416465B (zh) 一种移动云环境下的工作流优化方法
CN107770259A (zh) 基于文件热度和节点负载的副本数量动态调整方法
CN105471985A (zh) 负载均衡方法及云平台计算方法、云平台
Gan et al. Vehicle Routing Problem with Time Windows and Simultaneous Delivery and Pick‐Up Service Based on MCPSO
CN109656713B (zh) 一种基于边缘计算框架的容器调度方法
Chen et al. Scheduling independent tasks in cloud environment based on modified differential evolution
Li et al. Scalable and dynamic replica consistency maintenance for edge-cloud system
CN103679564B (zh) 一种用于配电网拓扑分析分布式计算的任务分配方法
Dong et al. Quantum particle swarm optimization for task offloading in mobile edge computing
CN114327811A (zh) 一种任务调度方法、装置、设备及可读存储介质
Jin et al. Cost-effective data placement in edge storage systems with erasure code
CN104283963A (zh) 一种分布合作式的cdn负载均衡方法
Li et al. Data analytics for fog computing by distributed online learning with asynchronous update
CN110167031B (zh) 一种面向集中式基站的资源分配方法、设备及存储介质
Wang et al. Joint service caching, resource allocation and computation offloading in three-tier cooperative mobile edge computing system
CN112631612B (zh) 一种基于遗传算法的kubernetes云平台配置的优化方法
Yuan et al. Efficient computation offloading for service workflow of mobile applications in mobile edge computing
Wang et al. Particle swarm optimization with genetic evolution for task offloading in device-edge-cloud collaborative computing
Abdi et al. The Impact of Data Replicatino on Job Scheduling Performance in Hierarchical data Grid
Tchernykh et al. Toward digital twins' workload allocation on clouds with low-cost microservices streaming interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 610225 Chengdu, Shuangliu County, Southwest Airport Economic Development Zone, a section of the school road, No. 1, Sichuan

Patentee after: CHENGDU University OF INFORMATION TECHNOLOGY

Address before: 610225 Chengdu, Shuangliu County, Southwest Airport Economic Development Zone, a section of the school road, No. 1, Sichuan

Patentee before: Chengdu University of Information Technology

CP01 Change in the name or title of a patent holder
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liu Debin

Inventor after: Chen Wei

Inventor before: Li Fei

Inventor before: Zhang Luqiao

Inventor before: Wang Juan

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20171108

Address after: The middle section of Mount Huangshan road 401121 Chongqing city Yubei District No. 53 of No. 2 C block 9 layer kylin

Patentee after: CHONGQING SOCIALCREDITS BIG DATA TECHNOLOGY CO.,LTD.

Address before: 610225 Chengdu, Shuangliu County, Southwest Airport Economic Development Zone, a section of the school road, No. 1, Sichuan

Patentee before: CHENGDU University OF INFORMATION TECHNOLOGY

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 401121 Chongqing Yubei District Huangshan Avenue No. 53 with No. 2 Kirin C Block 9 Floor

Patentee after: Chongqing Yucun Technology Co.,Ltd.

Country or region after: China

Address before: Floor 9, Block C, Qilin, No. 53-2, Middle Section of Mount Huangshan Avenue

Patentee before: CHONGQING SOCIALCREDITS BIG DATA TECHNOLOGY CO.,LTD.

Country or region before: China