CN105743994A - 基于动态用户融合的云计算服务架构方法 - Google Patents

基于动态用户融合的云计算服务架构方法 Download PDF

Info

Publication number
CN105743994A
CN105743994A CN201610204489.3A CN201610204489A CN105743994A CN 105743994 A CN105743994 A CN 105743994A CN 201610204489 A CN201610204489 A CN 201610204489A CN 105743994 A CN105743994 A CN 105743994A
Authority
CN
China
Prior art keywords
user
resource
service
node
data center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610204489.3A
Other languages
English (en)
Other versions
CN105743994B (zh
Inventor
朱文浩
陈洁
郭心怡
刘懿霆
胡冠男
孟爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201610204489.3A priority Critical patent/CN105743994B/zh
Publication of CN105743994A publication Critical patent/CN105743994A/zh
Application granted granted Critical
Publication of CN105743994B publication Critical patent/CN105743994B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/14Payment architectures specially adapted for billing systems
    • G06Q20/145Payments according to the detected use or quantity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/55Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于动态用户融合的云计算服务架构方法,其包括以下步骤:步骤一,搭建基于动态用户融合的云计算框架,该架构利用用户节点的存储能力和计算能力,通过虚拟化融合、存储融合、计算融合,与实云数据中心融合组成虚拟云数据中心,为其他用户提供服务;步骤二,采用新的支付策略;步骤三,采用基于用户行为的存储资源调度算法对该服务进行优化。本发明将用户节点和实云数据中心在一定条件下动态融合,将存储能力、计算能力和实数据中心融合构成虚拟云数据中心,充分利用现有的网络环境和高配置的用户节点为其他用户服务,缓解局部网络环境不佳和数据中心建设资金投入大的问题,逐步扩大虚拟云数据中心规模,提高服务能力和服务质量。

Description

基于动态用户融合的云计算服务架构方法
技术领域
本发明涉及一种架构方法,尤其是涉及一种基于动态用户融合的云计算服务架构方法。
背景技术
云计算是IT产业的第三次变革,已成为互联网信息服务研究的热点,并且各种云计算产品相继出现。云计算大多采用强数据中心和弱终端的架构模式,建设这种架构的云计算中心,需要大量的资金投入并配置高速的网络访问环境。目前典型云计算采用“集中式”服务提供模式,“集中式”典型云计算架构由两个角色组成——使用云服务的用户和提供云服务的云服务提供商。“集中式”典型云计算架构使得云计算对网络连接性能的要求很高,网络连接性能则是限制“边缘”用户使用云服务的关键。虽然云计算产业有着很好的发展机遇,但是中国云计算在网络带宽和数据中心规模上面临严峻挑战。
目前,典型云计算架构模式在实际应用中面临着诸多问题,主要包括以下问题:
(1)网络带宽建设无法满足云计算业务对网络的需求。云计算“集中式”的服务模式使得云计算对网络的要求非常高,云计算发展的基础和前提是有大带宽的、稳定可靠的、低成本的、容易获取的网络带宽资源。
(2)数据中心规模小,能耗高。云数据中心是构建云计算平台的基础。无论是提供哪种云计算服务,在典型云计算架构下实现的云计算都需要规模化的大型数据中心的支持。
发明内容
本发明的目的在于在云数据中心规模小和网络环境不佳的情况下,改善云计算的服务能力和服务质量,为此提供了一种基于动态用户融合的云计算服务架构方法。基于动态用户融合的云计算架构是指用户和云服务提供商之间签订SLA,在用户允许的情况下,将用户节点和实云数据中心(云服务提供商投资建设的云数据中心)在一定条件下动态融合,将存储能力、计算能力和实数据中心融合构成虚拟云数据中心(虚拟云数据中心由实云数据中心和允许动态融合的用户节点组成),充分利用现有的网络环境和高配置的用户节点为其他用户服务,缓解局部网络环境不佳和数据中心建设资金投入大的问题,逐步扩大虚拟云数据中心规模,提高服务能力和服务质量。
应用该架构一方面可以降低建设数据中心的投资规模,同时也能在现有网络环境下,减轻“集中式”服务提供方式造成的网络负担,提高云计算服务能力和服务质量。基于上述云计算架构,提出一种新的支付机制——“按使用付费,按提供收费”。使用该支付机制,可鼓励用户成为“云”的一部分,促使虚拟云数据中心不断壮大,进一步提高服务能力和服务质量。此外,在动态用户融合云计算架构的基础上,本发明提供了一种基于用户行为的存储资源调度方法。该方法可增强数据本地性,提高任务吞吐率,减缓数据传输瓶颈,提高云服务质量。
为达到上述目的,本发明的构思是:首先搭建基于用户动态融合的云计算框架,将有存储能力和计算能力的用户和实云数据中心动态融合,形成虚拟云数据中心,为其他用户提供云服务。基于动态用户融合的云计算架构中,用户既使用云服务,也提供云服务,因此提出“按使用付费,按提供收费”(PUS-CPS,Pay-as-Use-Service,Charge-as-Provide-Service)的支付方式鼓励用户融合提供云服务,减少用户使用云服务的费用,使用户和云服务提供商互惠互利。与典型云数据中心的网络带宽比较,基于动态用户融合的云计算架构中,用户间的网络带宽相对更小,实现数据本地性,减少计算节点和存储节点之间的网络I/O传输,对任务完成质量有显著的影响。为实现数据本地性,基于该架构发明的基于用户行为的存储资源调度算法,通过分析用户行为,对用户兴趣建模,将与用户兴趣相关度高的资源主动推送到用户本地节点或附近节点,在用户使用服务时,尽可能调用本地数据或附近节点数据,提高任务吞吐率和任务完成质量。
根据上述发明构思,本发明基于动态用户融合的云计算服务架构方法包括以下步骤:
步骤一,搭建基于动态用户融合的云计算框架,该架构利用用户节点的存储能力和计算能力,通过虚拟化融合、存储融合、计算融合,与实云数据中心融合组成虚拟云数据中心,为其他用户提供服务;
步骤二,采用新的支付策略“按使用付费,按提供收费”;
步骤三,采用基于用户行为的存储资源调度算法对该服务进行优化。
优选地,所述步骤一包括:
步骤十一,进行虚拟化融合,将实云数据中心和融合的用户的所有IT资源虚拟化为共享资源池。整合虚云数据中心IT资源,在整合的过程中对计算、存储等资源标准化;将资源切割为细粒度的资源单位,在资源调度的过程中提高资源的使用效率;
步骤十二,进行存储融合,将用户节点的存储能力和实云数据中心融合,在用户使用的同时,作为云存储服务提供给其他的用户;
步骤十三,进行计算融合,将用户节点的计算能力和实云数据中心融合,在用户自己使用的同时,也作为云计算服务提供给其他的用户。计算融合采用MapReduce分布式编程模型,将计算任务分配到用户节点上,利用用户节点的计算能力,实现大量普通PC机上的自动并行化和大规模分布式计算。
优选地,所述步骤二的支付策略包括存储服务支付策略和计算服务支付策略,其中:
存储服务支付策略:基于动态用户融合的云计算架构下,用户使用存储服务,数据不仅仅存储在实云数据中心,同时也存储在用户节点上。
数据存储在实云数据中心的费用按照存储容量和存储时间,按照定价标准进行将费用支付给实云数据中心。
数据存储在用户节点的费用计算方法:用户A使用用户B的存储能力主要体现在用户B向用户A提供了多少的数据。如用户B提供了aMB的数据给用户A,按照定价标准,用户A需要支付a*PS*(1-coff)的虚拟货币,用户B收到a*PS*(1-ctax)的虚拟货币。其中PS为定价标准规定的使用提供1MB的费用。coff表示折扣系数,coff∈[0,1],如果数据从实云数据中心获得,coff=0;如果数据从用户节点获得,coff∈[0,1);因此表明,使用用户节点存储数据较实云数据中心存储数据费用低。ctax是税收系数,一般ctax<1。通过选择合适的税收系数,云服务提供商和用户都会获得一定的收益
计算服务支付策略:类似于AmazonEC的machine-instance-hour的收费模式,基于动态用户融合的云计算架构下的计算服务支付是指用户A在用户B节点的虚拟机上运行实例,并根据使用时间以及定价标准,用户A需要支付h*PVM*(1-coff)的虚拟货币,用户B收到h*PVM*(1-ctax)的虚拟货币。其中h为实例运行时间,PVM为虚拟机价格,coff表示折扣系数,coff∈[0,1];如果用户A使用实云数据中心的虚拟机运行实例,coff=0;如果用户A使用用户B节点虚拟机运行实例,coff∈[0,1);因此,使用用户节点提供计算服务比使用实云数据中心提供计算服务费用低。ctax是税收系数,一般ctax<1,ctax来调整云服务提供商和用户之间的收益。
优选地,所述步骤三的基于用户行为的存储资源调度算法包括:
步骤三十一、用户建模
用户建模是个性化推荐的基础。用户建模主要包括用户建模信息的获取、用户建模技术以及用户模型的优化和更新。
用户建模信息的获取:用户模型建立的基础是用户使用云服务的兴趣和行为信息的收集、整理和分析。用户建模信息来源主要有:用户关键字查询,用户使用云服务类型,使用服务时的用户行为(包括用户在每个页面驻留的时间、对页面的操作、鼠标和键盘的操作等),服务器日志(记录用户使用的云服务使用了哪些资源,使用这些资源多长时间等),用户收藏的服务名称、下载保存的数据资源以及用户手工输入的感兴趣的服务和资源等。
在本发明中,用户模型采用的是传统的词频法为基础衡量用户的兴趣。下面是用户模型的各种形式化描述方式。
定义1用户服务向量US由所有云服务组成,表示为US={(S0,V0),(S1,V1),…,(Sm,Vm)},其中Si为云服务名称,Vi为用户对服务Si的使用频率,Vi∈{0,1,2,3,4,5},5表示经常使用,0表示不使用,m为云服务的总数。
定义2任一用户服务资源向量Si表示用户使用该服务时使用的资源信息,由一组特征值及其权值组成,表示为用户服务使用资源特征向量Si={(ki0,wi0),(ki1,wi1),…,(kin,win)}。(kij,wij),(i=0,1,…,m;j=0,1,…,n)表示第i个服务使用资源的第j个特征值及其权重。
特征值向量Ki={ki0,ki1,…,kin},(i=0,1,…,m)由用户使用服务资源时统计特征值得到,计算特征值的权重Wi={wi0,wi1,…,win},(i=0,1,…,m)的方法是TF_IDF,以用户建模信息中使用第i个云服务抽取出的该特征值次数和使用第i个服务所抽取出的所有特征值次数的比值作为该特征值的权重。
用户模型的优化和更新:在用户使用服务或进行相关操作,系统对用户的行为进行隐性的收集,实时的获取最新的有效数据,并根据这些有效数据抽取出关键字,来更新用户模型向量Ki(i=0,1,…,m),并对原有用户模型进行优化和更新。
步骤三十二、建立资源模型
资源模型由传统的特征值向量来描述。下面给出资源模型的形式化描述。
定义3资源R的资源模型由资源服务向量和资源特征向量表示,资源服务向量RS={(S0,C0),(S1,C1),…,(Sm,Cm)}C1表示服务Si使用资源R的次数,m表示提供服务的总数;资源特征向量RK={(r0,wr0),(r1,wr1),…,(rn,wrn)},其中n为资源特征值的维度,rk为可以描述资源内容的特征值。wrk为特征值的权重,wrk∈{0,1},表示rk代表资源特征的程度。
步骤三十三、用户建模与资源模型之间匹配
用户对资源是否感兴趣转变成为用户使用的各个服务模型和资源模型进行相关性计算。
用户模型U由用户服务向量US和用户服务使用资源特征向量Si(i=1,2,…,m)组成,
US={(S0,V0),(S1,V1),…,(Sm,Vm)},Si={(ki0,wi0),(ki1,wi1),…,(kin,win)};资源模型R由资源服务向量RS和资源特征向量RK组成,RS={(S0,C0),(S1,C1),…,(Sm,Cm)},RK={(r0,wr0),(r1,wr1),…,(rn,wrn)}。相似性计算使用计算矢量间的余弦相似度,即用户模型U和资源模型R的相关度,计算公式如下:
sin ( U , R ) = &Sigma; i = 0 m ( C i V i * ( &Sigma; j = 0 n wr j * w i j ) ) &Sigma; i = 0 m C i 2 * &Sigma; i = 0 m V i 2 &Sigma; j = 0 n wr j 2 * &Sigma; j = 0 n w i j 2 , ( r j = k i j )
其中,sim(U,R)表示用户模型U和资源模型R的相关度。
步骤三十四、附近存储节点选择
为提供资源的使用效率,将资源存储在本地节点或附近节点。选择合适附近存储节点的原则是:附近节点选择是由节点的计算能力、剩余存储能力、与用户节点之间的最大网络带宽、节点的平均上传/下载速度以及节点每天的平均在线时长。其评价目标函数是:其中C为节点计算能力,S为节点的剩余存储容量,B为与用户节点之间的最大网络带宽,UD表示节点的平均上传/下载速度,T为节点每天的平均在线时长。α,β,γ,δ,表示计算能力、剩余存储融合、网络带宽、上传/下载平均速度以及每天在线时长的影响因子,影响因子的值可以由用户确定、也可以有系统确定。当β=0,节点没有剩余存储容量时,将采用LRU替换策略将最久未使用数据替换出。
选择评价目标函数值I的前N大的节点组成目标节点列表。一般情况下,用户附近节点的情况不会有大的变化,因此,对用户附近节点周期性进行选择。在周期内,将目标节点列表存储在用户节点,以便直接选择附近存储节点。
步骤三十五、基于用户行为的资源调度
基于用户行为的资源调度算法,收集、整理和分析用户使用服务的行为,为每一个用户建立用户模型U。系统为每个资源建立资源模型R。根据公式(1)计算用户模型U和资源模型R的相关度,根据相关度从大到小排列,得到推荐资源列表。资源服务器根据资源推荐列表将资源主动推送到用户节点或附近节点上。
本发明的方法,与现有技术相比,具有以下突出的实质性特点和显著优点:
一、基于动态用户融合的云计算架构可以降低建设数据中心的投资规模,同时也能在现有网络环境下,减轻“集中式”服务提供方式造成的网络负担,提高云计算服务能力和服务质量。
二、“按使用付费,按提供收费”的新支付策略,既保证云服务提供商的收益,又鼓励用户融合,扩大虚云数据中心的规模。
三、基于用户行为的存储资源调度算法,在用户使用服务前,将用户可能使用的资源主动推送到用户节点和附近节点上,在用户使用服务时,将任务调度到用户本地节点或附近节点,增强数据本地性,从而减少了计算节点和存储节点之间的网络数据传输消耗,提高服务质量。
附图说明
图1为本发明基于动态用户融合的云计算服务架构方法的流程图。
图2为基于用户行为资源调度体系结构图。
具体实施方式
以下结合附图对本发明的优选实施例进一步详细说明。
如图1所示,本发明基于动态用户融合的云计算服务架构方法包括:
步骤一,搭建基于动态用户融合的云计算框架,该架构利用用户节点的存储能力和计算能力,通过虚拟化融合、存储融合、计算融合,与实云数据中心融合组成虚拟云数据中心,为其他用户提供服务;
步骤二,采用新的支付策略“按使用付费,按提供收费”;
步骤三,采用基于用户行为的存储资源调度算法对该服务进行优化。
数据存储在实云数据中心的费用按照存储容量和存储时间,按照定价标准进行将费用支付给实云数据中心。
所述步骤一包括:
步骤十一,进行虚拟化融合,将实云数据中心和融合的用户的所有IT资源虚拟化为共享资源池。整合虚云数据中心IT资源,在整合的过程中对计算、存储等资源标准化;将资源切割为细粒度的资源单位,在资源调度的过程中提高资源的使用效率;
步骤十二,进行存储融合,将用户节点的存储能力和实云数据中心融合,在用户使用的同时,作为云存储服务提供给其他的用户;
步骤十三,进行计算融合,将用户节点的计算能力和实云数据中心融合,在用户自己使用的同时,也作为云计算服务提供给其他的用户。计算融合采用MapReduce分布式编程模型,将计算任务分配到用户节点上,利用用户节点的计算能力,实现大量普通PC机上的自动并行化和大规模分布式计算。
所述步骤二的支付策略包括存储服务支付策略和计算服务支付策略,其中:存储服务支付策略:基于动态用户融合的云计算架构下,用户使用存储服务,数据不仅仅存储在实云数据中心,同时也存储在用户节点上。
数据存储在实云数据中心的费用按照存储容量和存储时间,按照定价标准进行将费用支付给实云数据中心。
数据存储在用户节点的费用计算方法:用户A使用用户B的存储能力主要体现在用户B向用户A提供了多少的数据。如用户B提供了aMB的数据给用户A,按照定价标准,用户A需要支付a*PS*(1-coff)的虚拟货币,用户B收到a*PS*(1-ctax)的虚拟货币。其中PS为定价标准规定的使用提供1MB的费用。coff表示折扣系数,coff∈[0,1],如果数据从实云数据中心获得,coff=0;如果数据从用户节点获得,coff∈[0,1);因此表明,使用用户节点存储数据较实云数据中心存储数据费用低。ctax是税收系数,一般ctax<1。通过选择合适的税收系数,云服务提供商和用户都会获得一定的收益
计算服务支付策略:类似于AmazonEC的machine-instance-hour的收费模式,基于动态用户融合的云计算架构下的计算服务支付是指用户A在用户B节点的虚拟机上运行实例,并根据使用时间以及定价标准,用户A需要支付h*PVM*(1-coff)的虚拟货币,用户B收到h*PVM*(1-ctax)的虚拟货币。其中h为实例运行时间,PVM为虚拟机价格,coff表示折扣系数,coff∈[0,1];如果用户A使用实云数据中心的虚拟机运行实例,coff=0;如果用户A使用用户B节点虚拟机运行实例,coff∈[0,1);因此,使用用户节点提供计算服务比使用实云数据中心提供计算服务费用低。ctax是税收系数,一般ctax<1,ctax来调整云服务提供商和用户之间的收益。
所述步骤三的基于用户行为的存储资源调度算法包括:
步骤三十一、用户建模
用户建模是个性化推荐的基础。用户建模主要包括用户建模信息的获取、用户建模技术以及用户模型的优化和更新。
用户建模信息的获取:用户模型建立的基础是用户使用云服务的兴趣和行为信息的收集、整理和分析。用户建模信息来源主要有:用户关键字查询,用户使用云服务类型,使用服务时的用户行为(包括用户在每个页面驻留的时间、对页面的操作、鼠标和键盘的操作等),服务器日志(记录用户使用的云服务使用了哪些资源,使用这些资源多长时间等),用户收藏的服务名称、下载保存的数据资源以及用户手工输入的感兴趣的服务和资源等。
在本发明中,用户模型采用的是传统的词频法为基础衡量用户的兴趣。下面是用户模型的各种形式化描述方式。
定义1用户服务向量US由所有云服务组成,表示为US={(S0,V0),(S1,V1),…,(Sm,Vm)},其中Si为云服务名称,Vi为用户对服务Si的使用频率,Vi∈{0,1,2,3,4,5},5表示经常使用,0表示不使用,m为云服务的总数。
定义2任一用户服务资源向量Si表示用户使用该服务时使用的资源信息,由一组特征值及其权值组成,表示为用户服务使用资源特征向量Si={(ki0,wi0),(ki1,wi1),…,(kin,win)}。(kij,wij),(i=0,1,…,m;j=0,1,…,n)表示第i个服务使用资源的第j个特征值及其权重。
特征值向量Ki={ki0,ki1,…,kin},(i=0,1,…,m)由用户使用服务资源时统计特征值得到,计算特征值的权重Wi={wi0,wi1,…,win},(i=0,1,…,m)的方法是TF_IDF,以用户建模信息中使用第i个云服务抽取出的该特征值次数和使用第i个服务所抽取出的所有特征值次数的比值作为该特征值的权重。
用户模型的优化和更新:在用户使用服务或进行相关操作,系统对用户的行为进行隐性的收集,实时的获取最新的有效数据,并根据这些有效数据抽取出关键字,来更新用户模型向量Ki(i=0,1,…,m),并对原有用户模型进行优化和更新。
步骤三十二、建立资源模型
资源模型由传统的特征值向量来描述。下面给出资源模型的形式化描述。
定义3资源R的资源模型由资源服务向量和资源特征向量表示,资源服务向量RS={(S0,C0),(S1,C1),…,(Sm,Cm)}C1表示服务Si使用资源R的次数,m表示提供服务的总数;资源特征向量RK={(r0,wr0),(r1,wr1),…,(rn,wrn)},其中n为资源特征值的维度,rk为可以描述资源内容的特征值。wrk为特征值的权重,wrk∈{0,1},表示rk代表资源特征的程度。
步骤三十三、用户建模与资源模型之间匹配
用户对资源是否感兴趣转变成为用户使用的各个服务模型和资源模型进行相关性计算。
用户模型U由用户服务向量US和用户服务使用资源特征向量Si(i=1,2,…,m)组成,
US={(S0,V0),(S1,V1),…,(Sm,Vm)},Si={(ki0,wi0),(ki1,wi1),…,(kin,win)};资源模型R由资源服务向量RS和资源特征向量RK组成,RS={(S0,C0),(S1,C1),…,(Sm,Cm)},RK={(r0,wr0),(r1,wr1),…,(rn,wrn)}。相似性计算使用计算矢量间的余弦相似度,即用户模型U和资源模型R的相关度,计算公式如式(1):
s i m ( U , R ) = &Sigma; i = 0 m ( C i V i * ( &Sigma; j = 0 n wr j * w i j ) ) &Sigma; i = 0 m C i 2 * &Sigma; i = 0 m V i 2 &Sigma; j = 0 n wr j 2 * &Sigma; j = 0 n w i j 2 , ( r j = k i j ) ...... ( 1 )
其中,sim(U,R)表示用户模型U和资源模型R的相关度。
步骤三十四、附近存储节点选择
为提供资源的使用效率,将资源存储在本地节点或附近节点。选择合适附近存储节点的原则是:附近节点选择是由节点的计算能力、剩余存储能力、与用户节点之间的最大网络带宽、节点的平均上传/下载速度以及节点每天的平均在线时长。其评价目标函数是:其中C为节点计算能力,S为节点的剩余存储容量,B为与用户节点之间的最大网络带宽,UD表示节点的平均上传/下载速度,T为节点每天的平均在线时长。α,β,γ,δ,表示计算能力、剩余存储融合、网络带宽、上传/下载平均速度以及每天在线时长的影响因子,影响因子的值可以由用户确定、也可以有系统确定。当β=0,节点没有剩余存储容量时,将采用LRU替换策略将最久未使用数据替换出。
选择评价目标函数值I的前N大的节点组成目标节点列表。一般情况下,用户附近节点的情况不会有大的变化,因此,对用户附近节点周期性进行选择。在周期内,将目标节点列表存储在用户节点,以便直接选择附近存储节点。
步骤三十五、基于用户行为的资源调度
基于用户行为的资源调度算法,收集、整理和分析用户使用服务的行为,为每一个用户建立用户模型U。系统为每个资源建立资源模型R。根据公式(1)计算用户模型U和资源模型R的相关度,根据相关度从大到小排列,得到推荐资源列表。资源服务器根据资源推荐列表将资源主动推送到用户节点或附近节点上。
本实施例为根据动态用户融合云计算框架实现的一个多媒体服务系统。对该实施例进行的具体步骤如下:
步骤一、搭建基于动态用户融合的云计算框架
基于动态用户融合的云计算架构在用户允许融合的情况下,将用户节点的存储能力和计算能力与实云数据中心融合,构成虚拟云数据中心,为其他的用户服务,实线云圈表示实云数据中心,虚线云圈表示融合扩展后的虚拟云数据中心。实云数据中心是云服务提供商投入建设的数据中心,虚拟云数据中心为由实云数据中心和允许动态融合的用户节点组成的云数据中心,融合后的虚拟云数据中心为实云数据中心和用户A、B、C组成。用户节点动态融合后,云数据中心规模扩展,用户节点与云数据中心协同提供云服务。
步骤二、采用新的支付策略“按使用付费,按提供收费”
步骤三、采用基于用户行为的存储资源调度算法对该服务进行优化
步骤三十一,进行用户建模;
步骤三十二,建立资源模型;
步骤三十三,将用户建模与资源模型进行匹配;
步骤三十四,选择附近存储节点;
步骤三十五,基于用户行为进行资源调度。
基于用户行为的资源调度算法,收集、整理和分析用户使用服务的行为,为每一个用户建立用户模型U。系统为每个资源建立资源模型R。根据公式(1)计算用户模型U和资源模型R的相关度,根据相关度从大到小排列,得到推荐资源列表。资源服务器根据资源推荐列表将资源主动推送到用户节点或附近节点上。
基于用户行为资源调度系统体系结构(基于内容过滤)。
各个阶段的工作任务如下:
一、用户端A通过API接口使用云服务和资源;
二、显式的用户的注册信息和感兴趣内容(可修改)以及隐式的收集用户使用资源的信息生成用户模型U;
三、计算用户模型U与资源模型R的相关度得到推荐资源列表;
四、推荐器将相应资源库中的资源与存储有推荐资源的用户节点关联起来;
五、通过分析用户节点服务运行监控器和云数据中心服务运行监控器所收集用户节点和云数据中心服务的运行情况,得到用户节点和云数据中心相对空闲时间段;
六、云数据中心服务监控器通知资源服务器,可以将资源推荐列表的资源推荐给用户端A;
七、资源服务器通知存储推荐资源的用户节点1~n,将推荐资源主动推送给用户节点A以及按附近存储节点选择规则选择出的附近节点B~N。在资源不足的情况下,资源服务器主动将推荐资源推送给用户节点A和附近节点B~N。
本文结合说明书附图和具体实施例进行阐述只是用于帮助理解本发明的方法和核心思想。本发明所述的方法并不限于具体实施方式中所述的实施例,本领域技术人员依据本发明的方法和思想得出的其它实施方式,同样属于本发明的技术创新范围。本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于动态用户融合的云计算服务架构方法,其特征在于,其包括以下步骤:
步骤一,搭建基于动态用户融合的云计算框架,该架构利用用户节点的存储能力和计算能力,通过虚拟化融合、存储融合、计算融合,与实云数据中心融合组成虚拟云数据中心,为其他用户提供服务;
步骤二,采用新的支付策略“按使用付费,按提供收费”;
步骤三,采用基于用户行为的存储资源调度算法对该服务进行优化。
2.根据权利要求1所述的基于动态用户融合的云计算服务架构方法,其特征在于,所述步骤一包括:
步骤十一,进行虚拟化融合,将实云数据中心和融合的用户的所有IT资源虚拟化为共享资源池;整合虚云数据中心IT资源,在整合的过程中对计算、存储等资源标准化;将资源切割为细粒度的资源单位,在资源调度的过程中提高资源的使用效率;
步骤十二,进行存储融合,将用户节点的存储能力和实云数据中心融合,在用户使用的同时,作为云存储服务提供给其他的用户;
步骤十三,进行计算融合,将用户节点的计算能力和实云数据中心融合,在用户自己使用的同时,也作为云计算服务提供给其他的用户;计算融合采用MapReduce分布式编程模型,将计算任务分配到用户节点上,利用用户节点的计算能力,实现大量普通PC机上的自动并行化和大规模分布式计算。
3.根据权利要求1所述的基于动态用户融合的云计算服务架构方法,其特征在于,所述步骤二的支付策略包括存储服务支付策略和计算服务支付策略,其中:
存储服务支付策略:基于动态用户融合的云计算架构下,用户使用存储服务,数据不仅仅存储在实云数据中心,同时也存储在用户节点上;
数据存储在实云数据中心的费用按照存储容量和存储时间,按照定价标准进行将费用支付给实云数据中心;
数据存储在用户节点的费用计算方法:用户A使用用户B的存储能力主要体现在用户B向用户A提供了多少的数据;如用户B提供了aMB的数据给用户A,按照定价标准,用户A需要支付a*PS*(1-coff)的虚拟货币,用户B收到a*PS*(1-ctax)的虚拟货币;其中PS为定价标准规定的使用提供1MB的费用;coff表示折扣系数,coff∈[0,1],如果数据从实云数据中心获得,coff=0;如果数据从用户节点获得,coff∈[0,1);因此表明,使用用户节点存储数据较实云数据中心存储数据费用低;ctax是税收系数,一般ctax<1;通过选择合适的税收系数,云服务提供商和用户都会获得一定的收益;
计算服务支付策略:类似于AmazonEC的machine-instance-hour的收费模式,基于动态用户融合的云计算架构下的计算服务支付是指用户A在用户B节点的虚拟机上运行实例,并根据使用时间以及定价标准,用户A需要支付h*PVM*(1-coff)的虚拟货币,用户B收到h*PVM*(1-ctax)的虚拟货币;其中h为实例运行时间,PVM为虚拟机价格,coff表示折扣系数,coff∈[0,1];如果用户A使用实云数据中心的虚拟机运行实例,coff=0;如果用户A使用用户B节点虚拟机运行实例,coff∈[0,1);因此,使用用户节点提供计算服务比使用实云数据中心提供计算服务费用低;ctax是税收系数,一般ctax<1,ctax来调整云服务提供商和用户之间的收益。
4.根据权利要求1所述的基于动态用户融合的云计算服务架构方法,其特征在于,所述步骤三的基于用户行为的存储资源调度算法包括:
步骤三十一、用户建模
用户建模是个性化推荐的基础;用户建模主要包括用户建模信息的获取、用户建模技术以及用户模型的优化和更新;
用户建模信息的获取:用户模型建立的基础是用户使用云服务的兴趣和行为信息的收集、整理和分析;用户建模信息来源主要有:用户关键字查询,用户使用云服务类型,使用服务时的用户行为,服务器日志,用户收藏的服务名称、下载保存的数据资源以及用户手工输入的感兴趣的服务和资源;
在本发明中,用户模型采用的是传统的词频法为基础衡量用户的兴趣;下面是用户模型的各种形式化描述方式;
用户服务向量US由所有云服务组成,表示为US={(S0,V0),(S1,V1),…,(Sm,Vm)},其中Si为云服务名称,Vi为用户对服务Si的使用频率,Vi∈{0,1,2,3,4,5},5表示经常使用,0表示不使用,m为云服务的总数;
任一用户服务资源向量Si表示用户使用该服务时使用的资源信息,由一组特征值及其权值组成,表示为用户服务使用资源特征向量Si={(ki0,wi0),(ki1,wi1),…,(kin,win)};(kij,wij),(i=0,1,…,m;j=0,1,…,n)表示第i个服务使用资源的第j个特征值及其权重;
特征值向量Ki={ki0,ki1,…,kin},(i=0,1,…,m)由用户使用服务资源时统计特征值得到,计算特征值的权重Wi={wi0,wi1,…,win},(i=0,1,…,m)的方法是TF_IDF,以用户建模信息中使用第i个云服务抽取出的该特征值次数和使用第i个服务所抽取出的所有特征值次数的比值作为该特征值的权重;
用户模型的优化和更新:在用户使用服务或进行相关操作,系统对用户的行为进行隐性的收集,实时的获取最新的有效数据,并根据这些有效数据抽取出关键字,来更新用户模型向量Ki(i=0,1,…,m),并对原有用户模型进行优化和更新;
步骤三十二、建立资源模型
资源模型由传统的特征值向量来描述;
资源R的资源模型由资源服务向量和资源特征向量表示,资源服务向量RS={(S0,C0),(S1,C1),…,(Sm,Cm)}C1表示服务Si使用资源R的次数,m表示提供服务的总数;资源特征向量RK={(r0,wr0),(r1,wr1),…,(rn,wrn)},其中n为资源特征值的维度,rk为可以描述资源内容的特征值;wrk为特征值的权重,wrk∈{0,1},表示rk代表资源特征的程度;
步骤三十三、用户建模与资源模型之间匹配
用户对资源是否感兴趣转变成为用户使用的各个服务模型和资源模型进行相关性计算;
用户模型U由用户服务向量US和用户服务使用资源特征向量Si(i=1,2,…,m)组成,
US={(S0,V0),(S1,V1),…,(Sm,Vm)},Si={(ki0,wi0),(ki1,wi1),…,(kin,win)};资源模型R由资源服务向量RS和资源特征向量RK组成,RS={(S0,C0),(S1,C1),…,(Sm,Cm)},RK={(r0,wr0),(r1,wr1),…,(rn,wrn)};相似性计算使用计算矢量间的余弦相似度,即用户模型U和资源模型R的相关度,计算公式如下:
s i m ( U , R ) = &Sigma; i = 0 m ( C i V i * ( &Sigma; j = 0 n wr j * w i j ) ) &Sigma; i = 0 m C i 2 * &Sigma; i = 0 m V i 2 &Sigma; j = 0 n wr j 2 * &Sigma; j = 0 n w i j 2 , ( r j = k i j )
其中,sim(U,R)表示用户模型U和资源模型R的相关度;
步骤三十四、附近存储节点选择
为提供资源的使用效率,将资源存储在本地节点或附近节点;选择合适附近存储节点的原则是:附近节点选择是由节点的计算能力、剩余存储能力、与用户节点之间的最大网络带宽、节点的平均上传/下载速度以及节点每天的平均在线时长;其评价目标函数是:其中C为节点计算能力,S为节点的剩余存储容量,B为与用户节点之间的最大网络带宽,UD表示节点的平均上传/下载速度,T为节点每天的平均在线时长;表示计算能力、剩余存储融合、网络带宽、上传/下载平均速度以及每天在线时长的影响因子,影响因子的值可以由用户确定、也可以有系统确定;当β=0,节点没有剩余存储容量时,将采用LRU替换策略将最久未使用数据替换出;
选择评价目标函数值I的前N大的节点组成目标节点列表;一般情况下,用户附近节点的情况不会有大的变化,因此,对用户附近节点周期性进行选择;在周期内,将目标节点列表存储在用户节点,以便直接选择附近存储节点;
步骤三十五、基于用户行为的资源调度
基于用户行为的资源调度算法,收集、整理和分析用户使用服务的行为,为每一个用户建立用户模型U;系统为每个资源建立资源模型R;根据公式计算用户模型U和资源模型R的相关度,根据相关度从大到小排列,得到推荐资源列表;资源服务器根据资源推荐列表将资源主动推送到用户节点或附近节点上。
CN201610204489.3A 2016-04-04 2016-04-04 基于动态用户融合的云计算服务架构方法 Expired - Fee Related CN105743994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610204489.3A CN105743994B (zh) 2016-04-04 2016-04-04 基于动态用户融合的云计算服务架构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610204489.3A CN105743994B (zh) 2016-04-04 2016-04-04 基于动态用户融合的云计算服务架构方法

Publications (2)

Publication Number Publication Date
CN105743994A true CN105743994A (zh) 2016-07-06
CN105743994B CN105743994B (zh) 2019-10-11

Family

ID=56252748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610204489.3A Expired - Fee Related CN105743994B (zh) 2016-04-04 2016-04-04 基于动态用户融合的云计算服务架构方法

Country Status (1)

Country Link
CN (1) CN105743994B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106911777A (zh) * 2017-02-24 2017-06-30 郑州云海信息技术有限公司 一种数据处理方法及服务器
CN107451920A (zh) * 2017-08-16 2017-12-08 深圳平安讯科技术有限公司 计算服务器、动态收益处理方法及存储介质
CN108228087A (zh) * 2016-12-21 2018-06-29 伊姆西Ip控股有限责任公司 用于超融合基础架构的装置
CN108616427A (zh) * 2018-05-11 2018-10-02 北京奇虎科技有限公司 一种测速能力确定方法、装置及系统
CN109800076A (zh) * 2017-11-16 2019-05-24 航天信息股份有限公司 存储调度方法及装置
WO2020118531A1 (zh) * 2018-12-11 2020-06-18 西门子股份公司 提供云服务的方法、装置、电子设备、计算机介质以及产品
CN111612553A (zh) * 2020-06-16 2020-09-01 珠海麦宁科技有限公司 一种云服务提供方法、装置、系统、存储介质及服务节点
CN113642806A (zh) * 2021-08-31 2021-11-12 黄杉 一种基于云计算的优化设计服务系统和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969475A (zh) * 2010-11-15 2011-02-09 张军 基于云计算的商业数据可控分发与融合应用系统
CN102739771A (zh) * 2012-04-18 2012-10-17 上海和辰信息技术有限公司 一种支持服务融合的云应用集成管理平台和方法
CN103744714A (zh) * 2011-12-31 2014-04-23 华茂云天科技(北京)有限公司 基于云计算的虚拟机管理平台

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969475A (zh) * 2010-11-15 2011-02-09 张军 基于云计算的商业数据可控分发与融合应用系统
CN103744714A (zh) * 2011-12-31 2014-04-23 华茂云天科技(北京)有限公司 基于云计算的虚拟机管理平台
CN102739771A (zh) * 2012-04-18 2012-10-17 上海和辰信息技术有限公司 一种支持服务融合的云应用集成管理平台和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡冠男等: "《基于动态用户融合的云计算架构》", 《上海大学学报(自然科学版)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108228087A (zh) * 2016-12-21 2018-06-29 伊姆西Ip控股有限责任公司 用于超融合基础架构的装置
CN106911777A (zh) * 2017-02-24 2017-06-30 郑州云海信息技术有限公司 一种数据处理方法及服务器
CN107451920A (zh) * 2017-08-16 2017-12-08 深圳平安讯科技术有限公司 计算服务器、动态收益处理方法及存储介质
CN109800076A (zh) * 2017-11-16 2019-05-24 航天信息股份有限公司 存储调度方法及装置
CN109800076B (zh) * 2017-11-16 2021-09-10 航天信息股份有限公司 存储调度方法及装置
CN108616427A (zh) * 2018-05-11 2018-10-02 北京奇虎科技有限公司 一种测速能力确定方法、装置及系统
WO2020118531A1 (zh) * 2018-12-11 2020-06-18 西门子股份公司 提供云服务的方法、装置、电子设备、计算机介质以及产品
CN111612553A (zh) * 2020-06-16 2020-09-01 珠海麦宁科技有限公司 一种云服务提供方法、装置、系统、存储介质及服务节点
CN113642806A (zh) * 2021-08-31 2021-11-12 黄杉 一种基于云计算的优化设计服务系统和方法

Also Published As

Publication number Publication date
CN105743994B (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN105743994A (zh) 基于动态用户融合的云计算服务架构方法
Tong et al. Dynamic pricing in spatial crowdsourcing: A matching-based approach
CN101329683A (zh) 推荐系统及方法
Van der Mensbrugghe The standard GTAP model in GAMS, version 7
Xiao et al. Promoting social equity with cyclic tradable credits
CN106447403A (zh) 一种大用户直购电环境下用户优先级分类方法
WO2021197001A1 (zh) 一种融合社交关系与自私偏好顺序的群组划分方法
Brando et al. Modelling heterogeneous distributions with an uncountable mixture of asymmetric laplacians
CN105183809A (zh) 一种云平台数据查询方法
CN107194672A (zh) 一种融合学术专长与社会网络的评审分配方法
Yao et al. An incentive-compatible distributed integrated energy market mechanism design with adaptive robust approach
CN103377403B (zh) 企业业务组件建模方法和系统
Choi et al. Quality evaluation and best service choice for cloud computing based on user preference and weights of attributes using the analytic network process
Fu et al. Bike-sharing inventory management for market expansion
Zhou et al. Assessing efficiency of urban land utilisation under environmental constraints in Yangtze River Delta, China
Xie et al. Multi-objective optimization of data deployment and scheduling based on the minimum cost in geo-distributed cloud
CN106294788B (zh) 安卓应用的推荐方法
Zhang et al. Precise marketing of precision marketing value chain process on the H group line based on big data
KR20180080175A (ko) 최적화된 디지털 컴포넌트 분석 시스템
WO2021212444A1 (zh) 边缘网络环境下基于随机森林算法的vod业务缓存替换方法
CN117474622A (zh) 综合能源服务数字商城构建方法、装置、设备及介质
Chuang et al. A practical and economical bayesian approach to gas price prediction
WO2017016403A1 (zh) 确定业务对象品牌指数信息的方法及装置
CN106354886A (zh) 在推荐系统中利用潜在邻居关系图筛选最近邻居的方法
Liu et al. Research on multi-task assignment model based on task similarity in crowdsensing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191011