CN104636209A - 基于大数据和云存储系统定向性能优化的资源调度系统和方法 - Google Patents
基于大数据和云存储系统定向性能优化的资源调度系统和方法 Download PDFInfo
- Publication number
- CN104636209A CN104636209A CN201510082522.5A CN201510082522A CN104636209A CN 104636209 A CN104636209 A CN 104636209A CN 201510082522 A CN201510082522 A CN 201510082522A CN 104636209 A CN104636209 A CN 104636209A
- Authority
- CN
- China
- Prior art keywords
- data
- unstructured data
- buffer
- storage unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于大数据和云存储系统定向性能优化的资源调度系统,具有:对象元数据存储单元MSS、对象元数据缓存单元MCS、对象松散数据存储单元OSS、对象松散数据缓存单元OCS;日志存储单元,存储对象松散数据存储单元OSS中的松散数据的操作日志。系统还具有:缓存控制单元,通过分析所述的操作日志,得出当前时刻或一段时间内访问量超过阈值的数据对象m;根据缓存调度模型计算所述数据对象由对象松散数据存储单元OSS转移至对象松散数据缓存单元OCS后的应用性能优化度;若优化度超过缓存门槛,则将该数据对象m转移至对象松散数据缓存单元OCS;若经缓存后优化度低于所述的缓存门槛;则不转移数据对象m。
Description
技术领域
本发明涉及一种资源优化调度系统和方法,尤其涉及基于大数据和云存储系统定向性能优化的资源调度系统和方法。涉及专利分类号G06计算;推算;计数G06F电数字数据处理G06F9/00程序控制装置,例如,控制器G06F9/06应用存入的程序的,即应用处理设备的内部存储来接收程序并保持程序的G06F9/46多道程序装置G06F9/50资源分配,例如,中央处理单元。
背景技术
大数据时代,移动互联、社交网络、物联网、云服务等应用的迅速普及,全世界范围不同的领域内如各大商业网站、政府、医疗、金融、媒体等,都产生了的大量数据,这些数据的容量不断呈指数级增长。这对数据中心提出了革命性的要求,存储基础架构成为核心之一。
通过对之前已公开的专利所述“一种大数据存储系统”(申请号:201410053769,公开号:103812939A)的部署和使用发现,在存储的大量数据中,有一些数据在一段时间被很集中的访问,其他数据很少被访问。当大量这种类型的“高峰时间”的现象同时发生时,许多存储设备,网络,磁盘I/O和CPU都存在访问瓶颈等问题。类似问题也出现在一些大型网站及互联网企业中,如淘宝(taobao.com)和Facebook(脸书)为了解决”高峰时间“问题,均采用缓存系统,比如Memcache来提升网页访问性能。据报道,Facebook使用超过800个Memcache服务器提供的内存超过28TB服务每秒超过200,000UDP请求。
我们之后部署了简单的缓存服务器来试图解决这样的“高峰时间”的问题。但发现,尽管数据存取性能得到了提高,整个系统的I/O(包含磁盘I/O,网络I/O)几乎加倍。这在很大程度上是由于我们的存储服务器和新引入的缓存服务器之间的频繁的数据交换。
因为缓存单元或设备较一般存储设备而言,同等容量下,成本更大,并且,大数据和云存储系统与传统的单用户文件系统相比,采用不同的计价模型,并有着不同的用户使用习惯和方式。
因此,我们需要一个更有效的机制,把最“理想”的对象在最适当的时间放入缓存单元内,并在合适的时间删除它们。这样的机制可以1有效地使用可用的高速缓存单元,从而2提高了数据访问的总体性能,同时也3减少磁盘IO和CPU瓶颈。此外,4通过为用户提供额外的和优越的性能作为一个分离的服务,并相应地对其收费,服务供应商可以产生更大的收入。
尽管一些大型云存储平台提供商如亚马逊(Amazon S3)、谷歌(Google),阿里云(Aliyun)已经在这方面取得了巨大成功,但目前大数据及云存储领域内仍然缺乏合理可用的资源调度及优化方法来将可用的缓存单元或设备用于提升系统性能及提高企业收入。
发明内容
本发明针对以上问题的提出,而研制的一种基于大数据和云存储系统定向性能优化的资源调度系统,具有:
对象元数据存储单元MSS、对象元数据缓存单元MCS、对象松散数据存储单元OSS、对象松散数据缓存单元OCS;日志存储单元,存储对象松散数据存储单元OSS中的松散数据的操作日志。
存储单元指普通类型的存储空间或设备,缓存单元相对于本发明/一般所指的存储单元,读取和存储速度更高,带宽更大,存储于缓存空间中的数据访问速度大大高于存储于普通存储空间。
系统还具有:缓存控制单元,通过分析所述的操作日志,得出当前时刻或一段时间内访问量超过阈值的数据对象m;根据缓存调度模型计算所述数据对象由对象松散数据存储单元OSS转移至对象松散数据缓存单元OCS后的应用性能优化度;
若优化度超过缓存门槛,则将该数据对象m转移至对象松散数据缓存单元OCS;若经缓存后优化度低于所述的缓存门槛;则不转移数据对象m。在本发明中,该缓存门槛设置为全部松散数据对象的总访问量与全部松散数据对象数量。
作为优选的实施方式,所述的缓存调度模型为:
Sm表示所述的数据对象m置于缓存空间的得分,xm为决策变量,Sm至少包含用户使用优化度函数f(m);对于每个数据对象m∈M,xm是一个二元变量,表示是否应将m放入缓存空间内;如果xm=1,则放入缓存空间;xm=0,则不放入缓存空间;f(m)=对象松散数据存储单元OSS数据读取相应时间(m)-对象松散数据缓存单元OCS读取相应时间(m);其中,对象松散数据存储单元MSS数据读取相应时间(m)=PA1·zm+PA2;对象松散数据缓存单元OCS读取相应时间(m)=PA3·zm+PA4;zm为所述数据对象m占用空间大小,m∈M;M为松散数据对象集合。
通过采用所述的缓存调度模型,对松散数据访问的历史情况进行统计,有效的对数据对象m未来的访问情况进行预测,相对于现有的访问机制(注入化简映射等手段可实现),本发明所采用的缓存调度机制调度的数据更为精确。
更进一步的,为了能够协调用户满意度和大数据运营商收入,作为优选的实施方式,所述Sm还包括:数据对象m所产生的预期收益函数E(m)和移动数据对象m的成本函数C(m);
Sm=αf(m)+βE(m)-γC(m);E(m)=VmPr+VmzmPt;
Pt数据传输流量每单位价格Pr数据请求次数每单位价格;Vm数据对象m的所占空间大小,m∈M;zm数据对象m的所占空间大小,m∈M;
其中,Rm为数据对象m被修改的次数;Uc当前CPU负载比率;Ur当前内存使用量;Un当前网络负载比率;α,β,γ,τ,ψ,θ,ι,κ是模型中的常量,反映系统中不同因素对最终得分的影响程度。
α,β,γ,τ,ψ,θ,ι,κ是模型中的常量,它们反映出系统中不同因素对最终得分的影响程度。这样,云存储系统的供应商便可根据各自的需求定义适当的常量值,从而建立不同的缓存机制模型。
比如:以盈利为首要目的的云存储供应商为了实现利润最大化,可将α设为0,β设为1。相反的,对于不以盈利为目的的个体云存储服务供应者,唯一重要的因素是使用的性能如何,因此可将α设为1,β设为0。其他常量γ,τ,ψ,θ,ι,κ,用于控制物理资源(如:CPU,内存,网络)的使用强度。例如:ψ越高意味着缓存高频率更新数据对象的几率越低;τ越大意味着缓存较大文件的几率越低,也可将γ,τ,ψ,θ,ι,κ均设为0则忽略计算成本函数。在本专利所述资源调度方法中,将γ,τ,ψ,θ,ι,κ均设为1。
例如:有些公司的硬件环境所使用的服务器网络按流量计费,那么对于他们来说网络Un权重很大,所以可将κ值设大。有些公司硬件环境内存属于稀缺资源,所以看重内存的负载,所以可将Ur的权重ι设置大。有些公司硬件环境CPU属于稀缺资源,所以看重内存的负载,所以可将Uc的权重θ设置大。有些公司硬件环境磁盘的IO属于稀缺资源,大的话意味着会有频繁读写操作,所以可将ψ设置大。
更进一步的,考虑到实际使用缓存调度模型运算时,可能出现计算对象的总数巨大(总数量可以通过分析访问日志得到。总数量大的,计算时间会慢。评判标准依据不同环境决定,主要取决于可以承受的计算时间。例如如果当前环境(公司/企业)使用模型发现计算时间超过可承受的时间,例如10分钟,便可引入松弛变量)超出运算能力,造成获得0-1整数规划的最优解耗费大量时间的情况。故为了能够在系统的多项式时间内求解模型,作为优选的实施方式,所述的缓存控制单元在所述的缓存调度模型中引入松弛变量,求得原始NP完全问题的最优上限或下限:
引入松弛变量后的缓存调度模型为:
最大化
其中,xm∈(0,1),m∈M。
更进一步的,上述公式的最小上限应为最接近初始规划问题最优解的值。这便需要引入以下拉格朗日对偶函数来求解规划问题:
其中,xm∈(0,1),m∈M。
一种基于大数据和云存储系统定向性能优化的资源调度方法,应用于对象元存储单元MSS、对象元数据缓存单元MCS、对象松散数据存储单元OSS、对象松散数据缓存单元OCS的大数据和存储系统中,具有如下步骤:
—分析对象松散数据存储单元OSS中的松散数据的操作日志,得到当前时刻之前一段时间内数据对象m的访问次数;
—根据缓存调度模型计算所述数据对象m转移至所述对象松散数据存储单元OCS后的应用系能优化度;
—若优化度超过缓存门槛,则将该数据对象m转移至对象松散数据缓存单元OCS;若经缓存后优化度低于所述的缓存门槛;则不转移数据对象m。
所述的缓存调度模型为:
Sm表示所述的数据对象m置于缓存空间的得分,xm为决策变量,Sm至少包含用户使用优化度函数f(m);
对于每个数据对象m∈M,xm是一个二元变量,表示是否应将m放入缓存空间内;如果xm=1,则放入缓存空间;xm=0,则不放入缓存空间;
f(m)=对象松散数据存储单元MSS数据读取相应时间(m)-对象松散数据缓存单元OCS读取相应时间(m);
其中,对象松散数据存储单元MSS数据读取相应时间(m)=PA1*zm+PA2;对象松散数据缓存单元OCS读取相应时间(m)=PA3*zm+PA4;zm为所述数据对象m占用空间大小,m∈M;M为数据对象集合。
所述Sm还包括:数据对象m所产生的预期收益函数E(m)和移动数据对象m的成本函数C(m);
Sm=αf(m)+βE(m)-γC(m);E(m)=VmPr+VmzmPt;
Pt数据传输流量每单位价格Pr数据请求次数每单位价格;Vm数据对象m的所占空间大小,m∈M;zm数据对象m的所占空间大小,m∈M;
其中,Rm为数据对象m被修改的次数;Uc当前CPU负载比率;Ur当前内存使用量;Un当前网络负载比率;α,β,γ,τ,ψ,θ,ι,κ是模型中的常量,反映系统中不同因素对最终得分的影响程度。
当需要计算的对象的总数量超过设定阈值时,所述的缓存控制单元在所述的缓存调度模型中引入松弛变量,求得原始NP完全问题的最优上限或下限:引入松弛变量后的缓存调度模型为:
最大化
其中,xm∈(0,1),m∈M。
在求解过程中,所述的缓存控制单元引入以下拉格朗日对偶函数来求解规划问题;
其中,xm∈(0,1),m∈M。、
附图说明
为了更清楚的说明本发明的实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为对象数据元数据存储空间和空间示意图;
图2为本发明的系统架构示意图
图3为本发明的时序流程图
图4为本发明实施例中映射化简示意图
具体实施方式
为使本发明的实施例的目的、技术方案和优点更加清楚,下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚完整的描述:
如图1-4所示:一种基于大数据和云存储系统定向性能优化的资源调度方法或者系统,主要应用于包含如下单元的大数据和/或云存储系统中。
对象元数据存储单元MSS、
对象元数据缓存单元MCS、
对象松散数据存储单元OSS、
对象松散数据缓存单元OCS;
日志存储单元,存储对象松散数据存储单元OSS中的松散数据的操作日志。
存储单元指普通类型的存储空间或设备,缓存单元相对于本发明/一般所指的存储单元,读取和存储速度更高,带宽更大,存储于缓存空间中的数据访问速度大大高于存储于普通存储空间。
还具有:缓存控制单元/步骤,通过分析所述的操作日志,得出当前时刻或一段时间内访问量超过阈值的数据对象m;根据缓存调度模型计算所述数据对象由对象松散数据存储单元OSS转移至对象松散数据缓存单元OCS后的应用性能优化度。
分析操作日志,主要通过映射和化简的方式进行,在本实施例中,可按如下方法实现(为方便描述,采用伪代码形式)
日志处理流程
映射操作Map(String key,String value)
1.//value:代表每一行日志记录,例如“数据下载2014-11-02 23:27:01容器1/对象1”
2.set n_obj=0,n_meta=0,n_oc=0,n_mc=0//初始化参数
3.emitKey=parseEmitKey(value)//获取容器及对象命名空间从value参数中
4.if(is GetObject request)
5.set n_obj=1,n_meta=1//如果是数据下载操作,更新参数n_obj,n_meta
6.else if(is PutObject request)
7.set n_oc=1,n_mc=1//如果是数据上传操作,更新参数n_oc,n_mc
8.……//更新其他数据操作类型及参数
9.end if
10.将所有参数值写入emitValue
11.emit(emitKey,emitValue)//映射操作完成,将赋值参数返回
化简操作Reduce(String key,iterator values)
1.//输入key为Map操作所传递的emitKey
2.//输入values为Map操作所传递的所有emitKey对应的参数值(emitValue)
1.set n_obj=0,n_meta=0,n_oc=0,n_mc=0//初始化参数
2.foreach(value in values)//遍历每一个值
3.//parse and update request counters
4.n_obj=n_obj+parse_n_obj(value)
5.n_meta=n_meta+parse_n_meta(value)//遍例每种数据操作类型,并更新参数值(更新所有的变量,例如对象松散,元数据下载量,修改量)
6.……
7.end for
8.将所有参数值写入emitValue
9.emit(key,emitValue)///化简操作完成,将赋值参数返回
其中,N_obj为对象分散数据下载次数;N_meta对象元数据下载次数N_oc对象分散数据修改次数;N_mc对象元数据修改次数。
缓存调度模型为:
Sm表示所述的数据对象m置于缓存空间的得分,xm为决策变量,Sm至少包含用户使用优化度函数f(m);对于每个数据对象m∈M,xm是一个二元变量,表示是否应将m放入缓存空间内;如果xm=1,则放入缓存空间;xm=0,则不放入缓存空间;f(m)=对象松散数据存储单元OSS数据读取相应时间(m)-对象松散数据缓存单元OCS读取相应时间(m);其中,对象松散数据存储单元MSS数据读取相应时间(m)=PA1·zm+PA2;对象松散数据缓存单元OCS读取相应时间(m)=PA3·zm+PA4;zm为所述数据对象m占用空间大小,m∈M;M为松散数据对象集合。
在本实施例中,所述Sm还包括:数据对象m所产生的预期收益函数E(m)和移动数据对象m的成本函数C(m);
Sm=αf(m)+βE(m)-γC(m);E(m)=VmPr+VmzmPt;
Pt数据传输流量每单位价格Pr数据请求次数每单位价格;Vm数据对象m的所占空间大小,m∈M;zm数据对象m的所占空间大小,m∈M;
其中,Rm为数据对象m被修改的次数;Uc当前CPU负载比率;Ur当前内存使用量;Un当前网络负载比率;α,β,γ,τ,ψ,θ,ι,κ是模型中的常量,反映系统中不同因素对最终得分的影响程度。
α,β,γ,τ,ψ,θ,ι,κ是模型中的常量,在本实施例中γ,τ,ψ,θ,ι,κ均为1。
使用模型的演算过程如下(采用伪代码形式):
LDC演算流程:
输入:
C全局缓存哈希表<key,
1.开始
2.通过日志处理流程处理ts和te时间段内的日志记录文件
3.创建有新的哈希表C’
4.foreach(log in logs)//遍历每一条访问记录
5.设置对应key从处理后的访问日志记录中,并更新C’
6.end for
7.合并C’和C形成新的C,并更新所有对应的对象访问记录
8.从C中移除低于缓存门槛(threshold)的对象
9.if(size(C)>MAX),then//如果C中对象总数量大于MAX
10.将C转化成排序数组A,最多不超过MAX
11.else
12.将C转化成排序数组A
13.C=使用A作为输入并演算LDC模型解决对象松散数据调度问题
14.C=使用A作为输入并演算LDC模型解决对象数据元数据调度问题
15.结束
数据移动流程
输入:
1.开始
2.初始化参数latestCacheFiles[]
3.foreach(key in C)//遍历C中每个key
4.c=C(key)
5.meta=fetchObjectMetadata(key)///获取对象元数据
6.c.setMetadata(meta)//设置缓存元数据
7.if(c.toObjCache())//判断是否要缓存对象松散数据
8.latest_etag=meta.getEtag()//获取etag,用于表示数据校验值(checksum)
9.cached_etag=c.getEtag()
10.if(cached_etag==latest_etag)//判断etag是否一致
11.latestCacheFiles.add(c.getCacheFile())//更新latestCacheFiles变量
12.else
13.file_id=randomUUID()//生成新的随机字符串作为文件标识
14.etag=copyfile(meta.getFile(),new File(file_id))//移动对象松散数据到缓存空间
15.c.setCachedFile(file_id)
16.c.setEtag(etag)
17.latestCacheFiles.add(c.getCachedFile())//更新latestCacheFiles变量
18.updateCachedHashTable(C,c)//更新全局缓存哈希表C
19.end if
20.end if
21.end for
22.allCacheFiles[]=listAllFiles()//获取目前缓存空间内现有对象列表
23.foreach(file in allCacheFiles)
24.if(!latestCacheFiles.contains(file))//若latestCacheFiles不含有对应file
25.删除file
26.end if
27.end for
28.结束
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于大数据和云存储系统定向性能优化的资源调度系统,包括:
对象元数据存储单元MSS、对象元数据缓存单元MCS、对象松散数据存储单元OSS、对象松散数据缓存单元OCS;日志存储单元,存储对象松散数据存储单元OSS中的松散数据的操作日志;
其特征在于还包括:
缓存控制单元,通过分析所述的操作日志,得出当前时刻访问量超过阈值的数据对象m;根据缓存调度模型计算所述数据对象由对象松散数据存储单元OSS转移至对象松散数据缓存单元OCS后的应用性能优化度;
若优化度超过缓存门槛,则将该数据对象m转移至对象松散数据缓存单元OSS;若经缓存后优化度低于所述的缓存门槛;则不转移数据对象m;所述的缓存门槛为全部松散数据对象的总访问量与全部松散数据对象数量。
2.根据权利要求1所述的基于大数据和云存储系统定向性能优化的资源调度系统,其特征还在于所述的缓存调度模型为:
Sm表示所述的数据对象m置于缓存空间的得分,xm为该线性规划模型最终的输出结果,即决策变量,Sm至少包含用户使用优化度函数f(m);模型的约束变量d为所述对象松散数据缓存空间总容量;
对于每个数据对象m∈M,xm是一个二元变量,表示是否应将m放入缓存空间内;如果xm=1,则放入缓存空间;xm=0,则不放入缓存空间;
f(m)=对象松散数据存储单元OSS数据读取相应时间(m)-对象松散数据缓存单元OCS读取相应时间(m),单位为秒;
其中,对象松散数据存储单元OSS数据读取相应时间(m)=PA1·zm+PA2;对象松散数据缓存单元OCS的读取相应时间(m)=PA3·zm+PA4;zm为所述数据对象m占用空间大小,m∈M;M为松散数据对象集合。
3.根据权利要求2所述的基于大数据和云存储系统定向性能优化的资源调度系统,其特征还在于所述Sm还包括:数据对象m所产生的预期收益函数E(m)和移动数据对象m的成本函数C(m);
Sm=αf(m)+βE(m)-γC(m);E(m)=VmPr+VmzmPt;
Pt数据传输流量每单位价格Pr数据请求次数每单位价格;Vm数据对象m的所占空间大小,m∈M;zm数据对象m的所占空间大小,m∈M;
其中,Rm为数据对象m被修改的次数;Uc当前CPU负载比率;Ur当前内存使用量;Un当前网络负载比率;α,β,γ,τ,ψ,θ,ι,κ是模型中的常量,反映系统中不同因素对最终得分的影响程度。
4.根据权利要求1所述的基于大数据和云存储系统定向性能优化的资源调度系统,其特征还在于:
当需要计算的对象的总数量超过设定阈值时,所述的缓存控制单元在所述的缓存调度模型中引入松弛变量,求得原始NP完全问题的最优上限或下限:引入松弛变量后的缓存调度模型为:
其中,xm∈(0,1),m∈M。
5.根据权利要去4所述的基于大数据和云存储系统定向系能优化的资源调度系统,其特征还在于:在求解过程中,所述的缓存控制单元引入以下拉格朗日对偶函数来求解规划问题;
其中,xm∈(0,1),m∈M。
6.一种基于大数据和云存储系统定向性能优化的资源调度方法,应用于对象元存储单元MCS、对象元数据缓存单元OCS、对象松散数据存储单元MSS、对象松散数据缓存单元OSS的大数据和存储系统中,具有如下步骤:
—分析对象松散数据存储单元MSS中的松散数据的操作日志,得到当前时刻之前一段时间内数据对象m的访问次数;
—根据缓存调度模型计算所述数据对象m转移至所述对象松散数据存储单元OSS后的应用系能优化度;
—若优化度超过缓存门槛,则将该数据对象m转移至对象松散数据缓存单元OSS;若经缓存后优化度低于所述的缓存门槛;则不转移数据对象m。
7.根据权利要求6所述的基于大数据和云存储系统定向性能优化的资源调度方法,其特征还在于所述的缓存调度模型为:
Sm表示所述的数据对象m置于缓存空间的得分,xm为决策变量,Sm至少包含用户使用优化度函数f(m);
对于每个数据对象m∈M,xm是一个二元变量,表示是否应将m放入缓存空间内;如果xm=1,则放入缓存空间;xm=0,则不放入缓存空间;
f(m)=对象松散数据存储单元MSS数据读取相应时间(m)-对象松散数据缓存单元OSS读取相应时间(m);
其中,对象松散数据存储单元MSS数据读取相应时间(m)=PA1·zm+PA2;对象松散数据缓存单元OSS读取相应时间(m)=PA3·zm+PA4;zm为所述数据对象m占用空间大小,m∈M;M为数据对象集合;模型的约束变量d为所述对象松散数据缓存空间总容量。
8.根据权利要去7所述的基于大数据和云存储系统定向性能优化的资源调度方法,其特征还在于:
所述Sm还包括:数据对象m所产生的预期收益函数E(m)和移动数据对象m的成本函数C(m);
Sm=αf(m)+βE(m)-γC(m);E(m)=VmPr+VmzmPt;
Pt数据传输流量每单位价格Pr数据请求次数每单位价格;Vm数据对象m的所占空间大小,m∈M;zm数据对象m的所占空间大小,m∈M;
其中,Rm为数据对象m被修改的次数;Uc当前CPU负载比率;Ur当前内存使用量;Un当前网络负载比率;α,β,γ,τ,ψ,θ,ι,κ是模型中的常量,反映系统中不同因素对最终得分的影响程度。
9.根据权利要求6所述的基于大数据和云存储系统定向性能优化的资源调度方法,其特征还在于:
当需要计算的对象的总数量超过设定阈值时,所述的缓存控制单元在所述的缓存调度模型中引入松弛变量,求得原始NP完全问题的最优上限或下限:引入松弛变量后的缓存调度模型为:
其中,xm∈(0,1),m∈M。
10.根据权利要求9所述的基于大数据和云存储系统定向性能优化的资源调度方法,其特征还在于:在求解过程中,所述的缓存控制单元引入以下拉格朗日对偶函数来求解规划问题;
其中,xm∈(0,1),m∈M。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510082522.5A CN104636209B (zh) | 2015-02-15 | 2015-02-15 | 基于大数据和云存储系统定向性能优化的资源调度系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510082522.5A CN104636209B (zh) | 2015-02-15 | 2015-02-15 | 基于大数据和云存储系统定向性能优化的资源调度系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104636209A true CN104636209A (zh) | 2015-05-20 |
CN104636209B CN104636209B (zh) | 2018-08-24 |
Family
ID=53214998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510082522.5A Active CN104636209B (zh) | 2015-02-15 | 2015-02-15 | 基于大数据和云存储系统定向性能优化的资源调度系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104636209B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106855865A (zh) * | 2015-12-09 | 2017-06-16 | 郑州双杰科技有限公司 | 水利水电大数据架构建设方法 |
CN113627729A (zh) * | 2021-07-09 | 2021-11-09 | 国网冀北电力有限公司物资分公司 | 产品数量的确定方法、装置和电子装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103345514A (zh) * | 2013-07-09 | 2013-10-09 | 焦点科技股份有限公司 | 大数据环境下的流式数据处理方法 |
CN103455579A (zh) * | 2013-08-26 | 2013-12-18 | 西安建筑科技大学 | 一种基于万有引力搜索模型的副本替换方法 |
CN103678579A (zh) * | 2013-12-12 | 2014-03-26 | 浪潮电子信息产业股份有限公司 | 一种小文件存储效率的优化方法 |
CN103942315A (zh) * | 2014-04-22 | 2014-07-23 | 杭州邦盛金融信息技术有限公司 | 一种基于装载因子的缓存数据预加载与替换方法 |
CN104035807A (zh) * | 2014-07-02 | 2014-09-10 | 电子科技大学 | 一种云存储系统的元数据缓存替换方法 |
-
2015
- 2015-02-15 CN CN201510082522.5A patent/CN104636209B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103345514A (zh) * | 2013-07-09 | 2013-10-09 | 焦点科技股份有限公司 | 大数据环境下的流式数据处理方法 |
CN103455579A (zh) * | 2013-08-26 | 2013-12-18 | 西安建筑科技大学 | 一种基于万有引力搜索模型的副本替换方法 |
CN103678579A (zh) * | 2013-12-12 | 2014-03-26 | 浪潮电子信息产业股份有限公司 | 一种小文件存储效率的优化方法 |
CN103942315A (zh) * | 2014-04-22 | 2014-07-23 | 杭州邦盛金融信息技术有限公司 | 一种基于装载因子的缓存数据预加载与替换方法 |
CN104035807A (zh) * | 2014-07-02 | 2014-09-10 | 电子科技大学 | 一种云存储系统的元数据缓存替换方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106855865A (zh) * | 2015-12-09 | 2017-06-16 | 郑州双杰科技有限公司 | 水利水电大数据架构建设方法 |
CN113627729A (zh) * | 2021-07-09 | 2021-11-09 | 国网冀北电力有限公司物资分公司 | 产品数量的确定方法、装置和电子装置 |
CN113627729B (zh) * | 2021-07-09 | 2024-03-15 | 国网冀北电力有限公司物资分公司 | 产品数量的确定方法、装置和电子装置 |
Also Published As
Publication number | Publication date |
---|---|
CN104636209B (zh) | 2018-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11349940B2 (en) | Server side data cache system | |
CN110546628B (zh) | 用有向线缓冲器最小化存储器读取提高神经网络环境性能 | |
CN103136243B (zh) | 基于云存储的文件系统去重方法及装置 | |
US8590050B2 (en) | Security compliant data storage management | |
US20190034833A1 (en) | Model Training Method and Apparatus | |
CN101576918B (zh) | 具备负载均衡功能的数据缓存系统 | |
KR101644894B1 (ko) | 클라우드 스토리지 서비스 장치 및 방법 | |
US9426219B1 (en) | Efficient multi-part upload for a data warehouse | |
CN105051675B (zh) | 复制目标服务 | |
CN103747072A (zh) | 一种读写数据的方法和应用服务器 | |
CN106970929A (zh) | 数据导入方法及装置 | |
CN107506154A (zh) | 一种元数据的读取方法、装置及计算机可读存储介质 | |
CN104158875B (zh) | 一种分摊减轻数据中心服务器任务的方法及系统 | |
CN109471843A (zh) | 一种元数据缓存方法、系统及相关装置 | |
EP4174679A1 (en) | Extending database external functions with user-defined functions | |
CN106021566A (zh) | 一种提高单台数据库并发处理能力的方法、装置及系统 | |
US20210397374A1 (en) | Function processing using storage controllers for load sharing | |
CN106254489A (zh) | 一种无文件传输的云渲染系统及其方法 | |
CN104021088A (zh) | 日志存储方法和装置 | |
CN107145449A (zh) | 存储设备和存储方法 | |
CN103870571A (zh) | 多维联机分析处理系统中的立方体重构方法和装置 | |
CN104636209A (zh) | 基于大数据和云存储系统定向性能优化的资源调度系统和方法 | |
US20140344328A1 (en) | Data collection and distribution management | |
CN103501341A (zh) | 一种Web服务的创建方法及装置 | |
KR101531564B1 (ko) | 네트워크 분산 파일 시스템 기반 iSCSI 스토리지 시스템에서의 부하 분산 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |