CN101719931B - 一种基于多智能主体的层次式云端计算模型构建方法 - Google Patents

一种基于多智能主体的层次式云端计算模型构建方法 Download PDF

Info

Publication number
CN101719931B
CN101719931B CN2009102324894A CN200910232489A CN101719931B CN 101719931 B CN101719931 B CN 101719931B CN 2009102324894 A CN2009102324894 A CN 2009102324894A CN 200910232489 A CN200910232489 A CN 200910232489A CN 101719931 B CN101719931 B CN 101719931B
Authority
CN
China
Prior art keywords
node
cloud
task
nodes
clouds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009102324894A
Other languages
English (en)
Other versions
CN101719931A (zh
Inventor
徐小龙
杨庚
程春玲
张旻
陈丹伟
张登银
章韵
熊婧夷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhong Tong clothing consulting and Design Research Institute Co., Ltd.
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN2009102324894A priority Critical patent/CN101719931B/zh
Publication of CN101719931A publication Critical patent/CN101719931A/zh
Application granted granted Critical
Publication of CN101719931B publication Critical patent/CN101719931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提出一种基于多智能主体的层次式云端计算模型构建方法,按照节点的类型将云端计算环境进行分层,模型由稳定的云核心、次稳定的云内层和不稳定的云外层构成,即云核心层由核心节点构成,云内层由集群服务器节点构成,云外层由终端节点构成。目前的云计算应用系统对于终端节点所蕴含的各种可利用的潜在资源考虑并不足够,浪费了接入互联网的海量终端节点所拥有的海量资源。本发明引入多智能主体思想和技术,利用智能主体作为各计算节点行为和资源的代表,实现将作业分割成各种层次的任务动态、有序地部署到核心节点、一般服务器节点和终端节点上,以达到资源利用最大化的目标。

Description

一种基于多智能主体的层次式云端计算模型构建方法
技术领域
本发明是一种用于基于互联网的网络计算环境中,采用多智能主体来实现层次式云端计算系统的构建方法。属于分布式计算、计算机网络、信息系统等信息技术类应用领域。
背景技术
随着互联网技术的广泛应用,涌现出云计算(Cloud Computing)等一系列新型的网络计算技术、平台和应用系统,已逐步成为具有典型性的网络计算模式,基于充分利用网络化计算与存储资源,更好地整合互联网和不同设备上的信息和应用,把所有的计算、存储资源连结在一起,实现最大范围的协作与资源分享,达成高效率、低成本计算目标,按需求解各类复杂的用户问题。其中云计算平台的易编程、高容错、方便扩展等特性,使得处理超大规模数据的分布式计算成为现实。在谷歌、亚马逊、雅虎等公司,云计算已被广泛用于包括数据挖掘在内的大规模数据处理工作。
目前的云计算应用系统虽然也倾向于利用廉价计算和存储设备来提供各种服务,但是都简单认为网络终端节点(用户所有)仅仅是服务的消费者,对于终端节点所蕴含的各种可利用的潜在资源考虑并不足够。事实上,终端节点本身也拥有各种计算、存储甚至信息资源,且常常处于闲置状态,接入互联网的海量终端节点所拥有的海量资源被浪费了。
智能主体是存在于某一环境中的实体,具有自主性、主动性、反应性、社会性、智能性等拟人特征,能根据具有的知识信念以及周围发生的事件进行感知、推理、规划、通信,并反作用于环境。
多智能主体系统是多个智能主体所组成的系统,强调了智能主体社会性特征。多智能主体之间彼此在逻辑上相互独立,通过共享知识、任务和中间结果,协同在工作中形成问题的解决方案,如图1所示,同组(或层)或不同组的多个智能主体之间都可以进行交互。因此,智能主体之间的交互过程不是简单地交换数据,而是参与某种社会行为,具体表现在以下三个方面:
●协调:具有不同目标的多个智能主体对其目标、资源等进行合理安排,以规划各自行为,最大限度地实现各自目标。
●协作:多个智能主体通过协调各自行为,合作完成共同目标。
●协商:多个智能主体借助通信,交换各自目标,直到多智能主体的目标一致或不能达成协作。
引入智能主体和多智能主体技术的目的是为了自然构建出能够较好的反应资源和节点行为,从而充分地控制和协调各节点所拥有的资源,理性的代理节点及其拥有的资源来参与和完成分布式计算环境中的各项任务。
在网络与分布式环境下,每个智能主体是独立自主的,能作用于自身和环境,能操纵环境的部分表示,能对环境的变化作出反映,更重要的是能与其它智能主体通信、交互,彼此协同工作,共同完成任务。在多智能主体系统中,智能主体不是孤立存在的,智能主体的资源和能力都是有限的,多个智能主体在交互时,需要考虑如何在多个可能的行为策略之间作出合理的选择。
发明内容
技术问题:本发明的目的是提出一种基于多智能主体的层次式云端计算模型的构建方法,从宏观上将单一的“云计算”模型,扩展为层次式“云端计算”模型,该模型充分考虑和挖掘了终端节点所蕴含的各种可利用的潜在资源。
技术方案:本发明提出一种基于多智能主体的层次式云端计算模型的构建方法,主要思想是按照节点的类型将云端计算环境进行分层,引入多智能主体思想和技术,利用智能主体作为各计算节点行为和资源的代表,实现将作业分割成各种层次的任务动态、有序地部署到核心节点、一般服务器节点和终端节点上,以达到资源利用最大化的目标。
一、基于多智能主体的层次式云端计算模型
在基于互联网的云端计算环境中,聚合的各种资源(计算、存储、数据等)并不仅仅来自于服务器节点,云端计算环境中的每个“端”节点可以一边获取服务和资源,一边也利用自身的计算存储等能力提供服务。但是,不同于可以稳定运行的高性能服务器节点(核心节点,一般是并行计算设备,可稳定地不间断运行),也不同于系统可直接集中管理控制的集群服务器节点(节点失效可及时更换),大量的终端节点可以动态地、随机地加入和退出云计算环境。
由于终端节点本身也拥有资源,因此当终端节点加入云计算环境时,也有可能贡献自身闲置的资源和提供服务,但这种行为显然是不可靠,服务质量当然难以保障的。即便如此,由于终端节点的数量往往是巨大的(甚至以百万台计),因此以冗余来提高性能是可能的。
因此层次式云端计算模型可由稳定的云核心、次稳定的云内层和不稳定的云外层构成。即云核心层由核心节点构成,云内层由集群服务器节点构成,云外层由终端节点构成,如图2所示。
在由终端节点构成的云外层中,也存在着两种节点,如图3所示:一种是长时间稳定在线、积极提供服务的可信赖的终端节点;一种是具有很强随机性,甚至体现为一种“不负责任”特征的终端节点,即不可信赖。这两类节点也有可能动态交换,出现如图3所示的“对流”情形。
显然,为了提高系统运行的稳定度,必须有一套激励机制促使终端节点能够稳定、诚实地贡献资源和协同工作,即促成节点从不可信赖的终端节点层流向可信赖的终端节点层。
采用多智能主体技术来构建层次式云端计算模型,即在每个节点上构建智能主体与智能主体运行平台。这意味着采用一组分散的、松散耦合的智能主体在分布式的云端计算环境下实现群体间高效率地相互协作、联合求解,解决多种协作策略、方案、意见下的冲突和矛盾,从而模拟人类社会组织机构与社会群体来解决各种问题。
驻留于核心节点、集群服务器节点和终端节点上的智能主体显然有较大的差异,尽管如此,仍然可以抽象定义出通用的云端计算环境中的智能主体模型。
云端计算环境中的智能主体(Cloud Agent,简称为cAgent)模型可被定义为一个7元组:
cAgent=(ID,layer,role,capability,state,policy,credit)
上式表明cAgent由身份标识ID、归属层次layer、角色role、能力capability、状态state、自身策略policy和可信值credit7个部分组成。ID是用来标识网络中的唯一cAgent,由于云端计算环境中的一个节点上可能驻留多个cAgent,因此,该ID可用节点标识与本地cAgent序列号联合构成。
归属层次layer标明cAgent所驻节点是属于云核心层、云内层还是云外层。在云端计算环境中,角色role包含了以下几种:系统管理员、用户、作业分割者、任务调度者和任务执行者。为了增强系统稳定性,常常还需要备份角色,例如系统管理员常常会有其影子系统管理员,在系统管理员发生宕机等系统状况,可以不间断维持系统正常运行。能力capability主要指节点所拥有并可共享的各种资源,包括中央处理器、内存等计算资源,也包括硬盘等存储资源,还包括程序、文件、数据等软件资源。状态state指出了节点当前的工作状态(如“忙”或“闲”)、资源共享的当前情况和历史信息等。策略policy是节点根据自身情况(如状态state和能力capability信息)以及意愿设置的相关策略,决定了节点在当前任务来临时所作出的决策。可信值credit标明了节点可被信赖的程度,重点针对云外层中的节点,影响节点在可信赖的终端节点层和不可信赖的终端节点层之间的对流。
二、基于多智能主体的层次式云端计算模型的工作流程
基于多智能主体的层次式云端计算模型将云计算环境中的节点分成了多个层次,构成一种井然有序的拓扑结构。当某一项任务来临时,基于多智能主体的层次式云端计算模型会将作业(Job)合理分割成若干个任务(Task),然后有序部署到合适的节点上,并达到高性价比的目标,下面将详细描述工作实现流程。
1、cAgent角色分配
为了便于控制和管理网络系统以及提高系统运作的效率,网络的拓扑应趋于“扁平化”为宜。在分布式的云端计算环境中,多个节点及其cAgent的角色分为:系统管理员、用户、作业分割者、任务调度者和任务执行者。
基于高性能的云核心层节点的cAgent一般充当系统管理员的角色,管理整个云端计算环境中的节点情况和资源分布情况。当云内层和云外层节点首次加入云端计算环境时,需在系统管理员处进行注册;系统管理员将负责维护和更新节点和资源目录数据库,以掌握全局情况。当节点再次登录时,将由系统管理员负责验证其身份,并更新其相关信息(在资源等情况有所变更的时候);各节点上的cAgent将通过其通信模块每隔一定时间持续向系统管理员发送“心跳”信息,以让系统管理员掌握其当前是否在线的情况,以及监视当前任务的承担情况。
云核心层节点上的cAgent还将充当作业分割者的角色。当用户向系统提交一项作业时,作业分割者将作业分解成一个个可相对独立执行的任务(即任务之间尽量是松散耦合),并将任务进行封装,并在本地维护任务的执行序列,原因是任务之间可能有先后关联。
云核心层节点上的cAgent还将充当任务调度者的角色,即将任务调度到合适的节点上运行。所谓合适的节点是指拥有的资源符合要求且愿意承担任务的节点。
云内层和云外层节点将充当任务执行者的角色,是实际任务的承担者。云核心层节点因为不参与实际的任务,从而降低其工作量,避免成为性能瓶颈。
2、作业分割与任务分配
基于云核心层节点的系统管理员在接受到用户提交的若干作业请求时,首先会将作业按照作业的需求、作业的提交者身份、作业的工作量等相关信息设定作业的优先级,然后将该作业加入到相应的等待队列中,在此云核心层节点起到了作业调度程序的作用。
作业分割者会分析每个作业的执行流程和结构,然后根据作业的情况将作业分割成若干个任务。作业分割与任务分配是决定系统效率的关键,不合理的作业分割与任务分配,可能会导致网络流量增加、某些任务服务器负载过重效率下降。
任务之间有重要性的差异,显然重要性高的任务应该安排在可直接控制的云内层节点上。但是由于云内层节点的数量与云外层的节点数量相比较少,作业中大量的琐碎任务应该安排到云外层的节点上完成。云外层的节点大都是接入互联网的个人电脑节点,拥有相对弱的计算能力和存储资源,而且不能保证全部资源的投入,因此分配到云外层完成的每个任务的工作量应相对较少为宜。
3、性能提高方法
在云端计算这样动态、分布式的计算环境中联合不同类型、不同所有者的节点来合作完成某一次大规模计算任务,要想达到比采用单个大型机更高的效能和性价比,就需要重点考虑系统的效率和鲁棒性等问题。具体而言就是要提高系统的吞吐量、作业响应时间和完成作业成功率,并降低网络流量和取得负载平衡,最终达到提高整个系统服务质量的目标。
由于云核心层节点担任了系统管理员、作业分割者、任务调度者的重要角色,因此为了避免核心层节点成为系统的单一失效点,必须设置相应的影子核心节点作为核心层节点的后备节点,保存了核心层节点上所有信息,当核心层节点上的信息发生变化影子核心节点上的信息也会实时更新。如果当前核心层节点宕机,影子核心节点可以立刻顶替当前节点并选择自己的影子节点。云核心层节点与影子核心节点之间必须了解彼此当前的情况,可以通过互相定时发送“心跳信息”来确认彼此当前是否在线的信息,如图4所示。
作业分割者将某一次事务分为重要任务和一般任务,目的是重要的任务交给性能高的节点来完成,一般任务交给低性能的节点来完成,并通过冗余机制来进一步提高系统完成任务的成功率。这里存在一个问题,即如果任务之间耦合紧密,这些任务之间相互依赖,需要进行消息传递,协作关系频繁或复杂,因此并不适宜交由多个节点来完成。
相对重要的任务,可倾向于分配至相对稳定的云内层节点上,为了节省资源耗费,在任务调度者初次将任务分配至云内层节点时,并不需要对任务进行备份。但是云内层节点作为任务执行者还是需要向系统管理员发送“心跳信息”以汇报当前工作状态,当完成某一项任务时,将结果及时返回至云核心层节点,或是根据任务调度者指示,将结果发送给另一个(或一群)任务执行者作为输入。如果某一个云内层节点任务调度者未能在规定期限内完成任务或是失效,任务调度者将立刻将任务调度到另一个云内层节点予以执行。为了能够兼顾系统的机动能力,即当某一项作业来临时,有足够的云内层节点可以来承担重要的任务,还可通过资源预留或区分服务等方式来保留相应的资源。
为了尽可能减轻云内层节点的负担,应该将繁重、琐碎的作业进行分割为计算量小的任务并分配至云外层节点来执行。要提高被分配至云外层节点来执行的任务的成功率,并确保任务能够在规定的时间内提交结果,不能采用云内层节点的“心跳”机制,因为数量庞大的云外层节点都向系统管理员发送周期心跳信息将会带来大量额外的网络通信负担。因此要提高云外层节点来执行的任务的成功率可以通过以下两个策略:
(1)优先选择可信赖的节点来担任任务执行者;
(2)通过冗余节点来担任同一个任务的多个任务执行者。
通过增加一定的冗余度,即选取多个云外层节点来同时来执行同一任务,或是采用待定备份的方式,以降低因为某一个任务的未实现而导致整体任务无法达成的概率。具体的步骤是:
步骤1将任务发送至多个端节点上,进行执行;
步骤2当侦听到第1个完成任务的节点提交的结果时,先暂停,继续等待第2个完成任务的节点提交的结果;
步骤3当侦听到第2个完成任务的节点提交的结果时,将结果与第1个完成任务的节点提交的结果进行比对;
步骤4如果相同则采用该结果,如果不同,继续等待第3个完成任务的节点提交的结果;
步骤5当侦听到第3个完成任务的节点提交的结果时,将结果分别与第1个和第2个完成任务的节点提交的结果进行比对;
步骤6采用与之相同的那个结果,如果不同,则回到“步骤5”反复运行,直到找到相同的值为止。
有益效果:一种基于多智能主体的层次式云端计算模型构建方法达到了以下的有益效果:
(1)资源利用最大化:实现将各种层次的任务有序地部署到核心节点、一般服务器节点和终端节点上,以达到资源利用最大化的目标。
(2)系统运行稳定性:利用影子核心节点来提供云核心层的稳定性,利用巨大数量终端节点,以冗余来提高云外层系统运行的稳定性。
(3)任务分配的合理性:任务之间有重要性的差异,重要性高的任务安排在可直接控制的云内层节点上,作业中大量的琐碎任务安排到云外层的节点上完成。
附图说明
图1是多智能主体示意图。
图2是层次式云端计算模型示意图。
图3是云外层中按可信赖程度划分的两个层次示意图。
图4是云核心层节点与影子节点的联系示意图。
图5是cAgent架构与内部模块示意图。
具体实施方式
可在内联网条件下来构建层次式云端计算系统的实验室环境。利用高性能塔式服务器节点作为云核心层节点事实上充当系统管理员、作业分割者、任务调度者的重要角色,及管理包括自身在内的所有计算节点,并负责接受、分解、部署任务以及将结果进行汇总;利用一般性能的塔式服务器作为云内层节点;利用多台个人电脑作为云外层节点。构建层次式云端计算软件应用系统时可选择Linux(内核版本2.6.30)作为操作系统,Java开发工具包选择JDK(Java Developer′s Kit,Java开发工具包,版本1.6),云计算基础平台选择Hadoop平台(版本0.20),智能主体平台采用IKV++公司的Grasshopper,开发语言选用Java,开发工具采用Eclipse 3.3。
依据上述的基于多智能主体的层次式云端计算模型,在Hadoop平台构建的基本云计算环境中,可利用Java语言及其开发工具Eclipse并基于Grasshopper智能主体开发与运行平台构建可以具体构建出如图5所示的cAgent。
1、基于多智能主体的层次式云端计算模型
采用多智能主体技术来构建层次式云端计算模型,模型由稳定的云核心、次稳定的云内层和不稳定的云外层构成,即云核心层由核心节点构成,云内层由集群服务器节点构成,云外层由终端节点构成。在每个节点上构建智能主体与智能主体运行平台。驻留于核心节点、集群服务器节点和终端节点上的智能主体可以定义出通用的云端计算环境中的智能主体模型。云端计算环境中的智能主体(Cloud Agent,简称为cAgent)模型被定义为一个7元组:
cAgent=(ID,layer,role,capability,state,policy,credit)
cAgent由身份标识ID、归属层次layer、角色role、能力capability、状态state、自身策略policy和可信值credit7个部分组成。ID是用来标识网络中的唯一cAgent,由于云端计算环境中的一个节点上也可能驻留多个cAgent,因此,该ID可用节点标识与本地cAgent序列号联合构成。
归属层次layer标明cAgent所驻节点是属于云核心层、云内层还是云外层。在云端计算环境中,角色role包含了以下几种:系统管理员、用户、作业分割者、任务调度者和任务执行者。为了增强系统稳定性,常常还需要备份角色,例如系统管理员常常会有其影子系统管理员,在系统管理员发生宕机等系统状况,可以不间断维持系统正常运行。能力capability主要指节点所拥有并可共享的各种资源,包括中央处理器、内存等计算资源,也包括硬盘等存储资源,还包括程序、文件、数据等软件资源。状态state指出了节点当前的工作状态(如“忙”或“闲”)、资源共享的当前情况和历史信息等。策略policy是节点根据自身情况(如状态state和能力capability信息)以及意愿设置的相关策略,决定了节点在当前任务来临时所作出的决策。可信值credit标明了节点可被信赖的程度。
基于多智能主体的层次式云端计算模型的工作流程是将云计算环境中的节点分成了多个层次。当某一项任务来临时,需将作业进行合理分割成若干个任务,然后有序部署到合适的节点上。
2、基于多智能主体的层次式云端计算模型的工作流程为:
(1)cAgent角色分配
在分布式的云端计算环境中,多个节点及其cAgent的角色分为:系统管理员、用户、作业分割者、任务调度者和任务执行者。
基于高性能的云核心层节点的cAgent充当系统管理员的角色,管理整个云端计算环境中的节点情况和资源分布情况。当云内层和云外层节点首次加入云端计算环境时,需在系统管理员处进行注册;系统管理员将负责维护和更新节点和资源目录数据库,以掌握全局情况。当节点再次登录时,将由系统管理员负责验证其身份,并更新其相关信息(在资源等情况有所变更的时候);各节点上的cAgent将通过其通信模块每隔一定时间持续向系统管理员发送“心跳”信息,以让系统管理员掌握其当前是否在线的情况,以及监视当前任务的承担情况。
云核心层节点上的cAgent还将充当作业分割者的角色。当用户向系统提交一项作业时,作业分割者将作业分解成一个个可相对独立执行的任务(即任务之间尽量是松散耦合),并将任务进行封装,并在本地维护任务的执行序列,原因是任务之间可能有先后关联。
云核心层节点上的cAgent还将充当任务调度者任务调度者的角色,即将任务调度到合适的节点上运行。所谓合适的节点是指拥有的资源符合要求且愿意承担任务的节点。
云内层和云外层节点将充当任务执行者的角色,是实际任务的承担者。云核心层节点因为不参与实际的任务,从而降低其工作量,避免成为性能瓶颈。
(2)作业分割与任务分配
基于云核心层节点的系统管理员在接受到用户提交的若干作业请求时,首先会将作业按照作业的需求、作业的提交者身份、作业的工作量等相关信息设定作业的优先级,然后将该作业加入到相应的等待队列中,在此系统管理员起到了作业调度程序的作用。作业分割者会分析每个作业的执行流程和结构,然后根据作业的情况将作业进行分割成若干个任务。任务之间有重要性的差异,重要性高的任务应该安排在可直接控制的云内层节点上,作业中大量的琐碎任务安排到云外层的节点上完成,并通过冗余机制来提高系统完成任务的成功率。
(3)性能提高方法
设置相应的影子核心节点作为核心层节点的后备节点,保存了核心层节点上所有信息,当核心层节点上的信息发生变化影子核心节点上的信息也会实时更新。如果当前核心层节点宕机,影子核心节点可以立刻顶替当前节点并选择自己的影子节点。云核心层节点与影子核心节点之间必须了解彼此当前的情况,可以通过互相定时发送“心跳信息”来确认彼此当前是否在线的信息。
在任务调度者初次将任务分配至云内层节点时,不对任务进行备份。但是云内层节点作为任务执行者还是需要向系统管理员发送“心跳信息”以汇报当前工作状态,当完成某一项任务时,可以将结果及时返回至云核心层节点,也可以根据任务调度者指示,将结果发送给另一个或一群任务执行者作为输入。如果某一个云内层节点任务调度者未能在规定期限内完成任务或是失效,任务调度者立刻将任务调度到另一个云内层节点予以执行。
将繁重、琐碎的作业分割为计算量小的任务并分配至云外层节点来执行。通过增加一定的冗余度,即选取多个云外层节点来同时来执行同一任务,或是采用待定备份的方式,以降低因为某一个任务的未实现而导致整体任务无法达成的概率。
具体的步骤是:
步骤1将任务发送至多个端节点上,进行执行;
步骤2当侦听到第1个完成任务的节点提交的结果时,先暂停,继续等待第2个完成任务的节点提交的结果;
步骤3当侦听到第2个完成任务的节点提交的结果时,将结果与第1个完成任务的节点提交的结果进行比对;
步骤4如果相同则采用该结果,如果不同,继续等待第3个完成任务的节点提交的结果;
步骤5当侦听到第3个完成任务的节点提交的结果时,将结果分别与第1个和第2个完成任务的节点提交的结果进行比对;
步骤6采用与之相同的那个结果,如果不同,则回到“步骤5”反复运行,直到找到相同的值为止。

Claims (1)

1.一种基于多智能主体的层次式云端计算模型构建方法,其特征在于采用多智能主体技术来构建层次式云端计算模型,模型由稳定的云核心、次稳定的云内层和不稳定的云外层构成,即云核心层由核心节点构成,云内层由集群服务器节点构成,云外层由终端节点构成;在每个节点上构建智能主体与智能主体运行平台;驻留于核心节点、集群服务器节点和终端节点上的智能主体定义出通用的云端计算环境中的智能主体模型,云端计算环境中的智能主体cAgent模型被定义为一个7元组:
cAgent=(ID,layer,role,capability,state,policy,credit)
cAgent由身份标识ID、归属层次layer、角色role、能力capability、状态state、自身策略policy和可信值credit7个部分组成,ID是用来标识网络中的唯一cAgent,由于云端计算环境中的一个节点上也可能驻留多个cAgent,该ID用节点标识与本地cAgent序列号联合构成,
归属层次layer标明cAgent所驻节点是属于云核心层、云内层还是云外层;在云端计算环境中,角色role包含了以下几种:系统管理员、用户、作业分割者、任务调度者和任务执行者;为了增强系统稳定性,还需要备份角色,为系统管理员配置影子系统管理员,在系统管理员发生宕机系统状况,不间断维持系统正常运行;能力capability主要指节点所拥有并可共享的各种资源,包括计算资源、存储资源和软件资源;状态state指出了节点当前“忙”或“闲”的工作状态、资源共享的当前情况和历史信息;策略policy是节点根据自身的状态state和能力capability信息以及意愿设置的相关策略,决定了节点在当前任务来临时所作出的决策;可信值credit标明了节点可被信赖的程度;
基于多智能主体的层次式云端计算模型是将云计算环境中的节点分成了多个层次;当某一项任务来临时,需将作业合理分割成若干个任务,然后有序部署到合适的节点上;
所述的层次式云端计算模型为:
1)cAgent角色分配
在分布式的云端计算环境中,多个节点及其cAgent的角色分为:系统管理员、用户、作业分割者、任务调度者和任务执行者,
基于高性能的云核心层节点的cAgent充当系统管理员的角色,管理整个云端计算环境中的节点情况和资源分布情况,当云内层和云外层节点首次加入云端计算环境时,需在系统管理员处进行注册;系统管理员将负责维护和更新节点和资源目录数据库,以掌握全局情况;当节点再次登录时,将由系统管理员负责验证其身份,并在资源情况有所变更的时候更新其相关信息;各节点上的cAgent将通过其通信模块每隔一定时间持续向系统管理员发送“心跳”信息,以让系统管理员掌握其当前是否在线的情况,以及监视当前任务的承担情况,
云核心层节点上的cAgent还将充当作业分割者的角色,当用户向系统提交一项作业时,作业分割者将作业分解成一个个可相对独立执行的任务,并将任务进行封装,并在本地维护任务的执行序列,原因是任务之间可能有先后关联,
云核心层节点上的cAgent还将充当任务调度者的角色,即将任务调度到合适的节点上运行,所谓合适的节点是指拥有的资源符合要求且愿意承担任务的节点,
云内层和云外层节点将充当任务执行者的角色,是实际任务的承担者,云核心层节点因为不参与实际的任务,从而降低其工作量,避免成为性能瓶颈,
2)作业分割与任务分配
基于云核心层节点的系统管理员在接受到用户提交的若干作业请求时,首先会将作业按照作业的需求、作业的提交者身份、作业的工作量的相关信息设定作业的优先级,然后将该作业加入到相应的等待队列中,在此系统管理员起到了作业调度程序的作用;作业分割者会分析每个作业的执行流程和结构,然后根据作业的情况将作业分割成若干个任务,任务之间有重要性的差异,重要性高的任务应该安排在可直接控制的云内层节点上,作业中大量的琐碎任务安排到云外层的节点上完成,并通过冗余机制来提高系统完成任务的成功率,
3)性能提高方法
设置相应的影子核心节点作为核心层节点的后备节点,保存了核心层节点上所有信息,当核心层节点上的信息发生变化影子核心节点上的信息也会实时更新,如果当前核心层节点宕机,影子核心节点立刻顶替当前节点并选择自己的影子节点,云核心层节点与影子核心节点之间必须了解彼此当前的情况,通过互相定时发送“心跳信息”来确认彼此当前是否在线的信息,
在任务调度者初次将任务分配至云内层节点时,不对任务进行备份,但是云内层节点作为任务执行者还是需要向系统管理员发送“心跳信息”以汇报当前工作状态,当完成某一项任务时,将结果及时返回至云核心层节点,或是根据任务调度者指示,将结果发送给另一个或一群任务执行者作为输入;如果某一个云内层节点任务调度者未能在规定期限内完成任务或是失效,任务调度者立刻将任务调度到另一个云内层节点予以执行,
将繁重、琐碎的作业进行分割为计算量小的任务并分配至云外层节点来执行;通过增加一定的冗余度,即选取多个云外层节点来同时来执行同一任务,或是采用待定备份的方式,以降低因为某一个任务的未实现而导致整体任务无法达成的概率,具体的步骤是:
步骤1将任务发送至多个终端节点上,进行执行;
步骤2当侦听到第1个完成任务的节点提交的结果时,先暂停,继续等待第2个完成任务的节点提交的结果;
步骤3当侦听到第2个完成任务的节点提交的结果时,将结果与第1个完成任务的节点提交的结果进行比对;
步骤4如果相同则采用该结果,如果不同,继续等待第3个完成任务的节点提交的结果;
步骤5当侦听到第3个完成任务的节点提交的结果时,将结果分别与第1个和第2个完成任务的节点提交的结果进行比对;
步骤6采用与之相同的那个结果,如果不同,则回到“步骤5”反复运行,直到找到相同的值为止。
CN2009102324894A 2009-11-27 2009-11-27 一种基于多智能主体的层次式云端计算模型构建方法 Active CN101719931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009102324894A CN101719931B (zh) 2009-11-27 2009-11-27 一种基于多智能主体的层次式云端计算模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009102324894A CN101719931B (zh) 2009-11-27 2009-11-27 一种基于多智能主体的层次式云端计算模型构建方法

Publications (2)

Publication Number Publication Date
CN101719931A CN101719931A (zh) 2010-06-02
CN101719931B true CN101719931B (zh) 2012-08-15

Family

ID=42434446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102324894A Active CN101719931B (zh) 2009-11-27 2009-11-27 一种基于多智能主体的层次式云端计算模型构建方法

Country Status (1)

Country Link
CN (1) CN101719931B (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI425421B (zh) * 2010-07-07 2014-02-01 Univ Shu Te Load Balancing Design Method of Virtual Machine in Cloud Computing Environment
CN101986272A (zh) * 2010-11-05 2011-03-16 北京大学 一种云计算环境下的任务调度方法
CN101977242A (zh) * 2010-11-16 2011-02-16 西安电子科技大学 一种分层分布式云计算体系结构及服务提供方法
CN102073546B (zh) * 2010-12-13 2013-07-10 北京航空航天大学 一种云计算环境中分布式计算模式下的任务动态调度方法
CN102110018B (zh) * 2010-12-23 2013-09-11 山东中创软件工程股份有限公司 一种云应用处理方法及系统
CN102104631B (zh) * 2011-02-28 2014-06-04 南京邮电大学 一种基于云端计算技术的知识系统中的服务质量保障方法
CN102209100B (zh) * 2011-03-15 2013-10-23 国家电网公司 一种任务调度云处理系统及其方法
CN102164184A (zh) * 2011-04-22 2011-08-24 广州杰赛科技股份有限公司 云计算网络中计算机实体的接入和管理方法及云计算网络
US20140181309A1 (en) * 2011-06-14 2014-06-26 Zte Usa Inc. Method and system for cloud-based identity management (c-idm) implementation
CN102915254B (zh) * 2011-08-02 2018-04-06 中兴通讯股份有限公司 任务管理方法及装置
CN102916992B (zh) * 2011-08-03 2016-12-28 世纪恒通科技股份有限公司 一种统一调度云计算远端资源的方法及系统
CN102307241B (zh) * 2011-09-27 2013-12-25 上海忠恕物联网科技有限公司 一种基于动态预测的云计算资源部署方法
CN102394932A (zh) * 2011-11-04 2012-03-28 浪潮(北京)电子信息产业有限公司 一种云海操作系统及其资源调度方法
CN103150304B (zh) * 2011-12-06 2016-11-23 郑红云 云数据库系统
CN102902344A (zh) * 2011-12-23 2013-01-30 同济大学 基于随机任务的云计算系统能耗优化方法
CN102541645B (zh) * 2012-01-04 2013-09-11 北京航空航天大学 一种基于节点状态反馈的节点任务槽动态调整方法
CN102638456B (zh) * 2012-03-19 2015-09-23 杭州海康威视数字技术股份有限公司 基于云计算的海量实时视频码流智能分析方法及其系统
CN102664747B (zh) * 2012-03-27 2015-01-07 易云捷讯科技(北京)有限公司 一种云计算平台系统
US8954529B2 (en) * 2012-09-07 2015-02-10 Microsoft Corporation Smart data staging based on scheduling policy
CN103024080A (zh) * 2013-01-04 2013-04-03 丁卓 基于云架构的分布式金融数据传输控制方法及系统
CN104348886A (zh) * 2013-08-08 2015-02-11 联想(北京)有限公司 一种信息处理的方法及一种电子设备
US9846618B2 (en) * 2013-12-27 2017-12-19 Oracle International Corporation System and method for supporting flow control in a distributed data grid
CN103927232B (zh) * 2014-04-15 2017-08-04 广东电网有限责任公司信息中心 系统处理方法
CN104102949B (zh) * 2014-06-27 2018-01-26 北京奇艺世纪科技有限公司 一种分布式工作流装置及其处理工作流的方法
CN104125294B (zh) * 2014-08-06 2016-03-30 广西电网有限责任公司 一种大数据安全管理方法和系统
CN104461722B (zh) * 2014-12-16 2017-11-10 广东石油化工学院 一种用于云计算系统的作业调度方法
CN106651008A (zh) * 2016-11-23 2017-05-10 长江水利委员会水文局 一种面向水文预报的通用网络服务构建方法
CN107087019B (zh) * 2017-03-14 2020-07-07 西安电子科技大学 一种基于端云协同计算架构的任务调度方法及装置
CN107040406B (zh) * 2017-03-14 2020-08-11 西安电子科技大学 一种端云协同计算系统及其容错方法
CN106789381A (zh) * 2017-03-31 2017-05-31 山东超越数控电子有限公司 一种针对云计算管理平台简单部署和快速配置的方法
CN109274755B (zh) * 2018-10-12 2019-12-10 成都信息工程大学 一种基于多核跨域网络的纵横双向跨节点交叉协同交互方法
CN110033095A (zh) * 2019-03-04 2019-07-19 北京大学 一种高可用分布式机器学习计算框架的容错方法和系统
CN111245958A (zh) * 2020-03-09 2020-06-05 中国能源建设集团陕西省电力设计院有限公司 一种面向泛在电力物联网的统一云计算系统
CN111562981B (zh) * 2020-03-25 2023-06-27 国网辽宁省电力有限公司大连供电公司 基于后端云组件化的继电保护整定计算方法
CN111641671A (zh) * 2020-04-09 2020-09-08 方杰 一种资源矩阵式弹性计算桌面云系统
CN113645262A (zh) * 2020-05-11 2021-11-12 中兴通讯股份有限公司 云计算服务系统和方法
WO2022032442A1 (zh) * 2020-08-10 2022-02-17 深圳技术大学 多智能主体协同搬运物件的方法、系统和计算机可读存储介质
CN113821313A (zh) * 2020-12-28 2021-12-21 京东科技控股股份有限公司 一种任务调度方法、装置及电子设备
CN114500223B (zh) * 2022-01-21 2024-01-16 深圳日浩科技现代服务业有限公司 一种基于云应用的双组织管理系统及其方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
曾诚等.云计算的栈模型研究.《微电子学与计算机》.2009,第26卷(第8期),22-27. *
朱建新.趋于云计算的虚拟服务器集群.《南通大学学报(自然科学版)》.2009,第8卷(第1期),22-25. *
钟晨晖.云计算的主要特征及应用.《软件导刊》.2009,第8卷(第10期),3-5. *

Also Published As

Publication number Publication date
CN101719931A (zh) 2010-06-02

Similar Documents

Publication Publication Date Title
CN101719931B (zh) 一种基于多智能主体的层次式云端计算模型构建方法
Madni et al. Recent advancements in resource allocation techniques for cloud computing environment: a systematic review
Xhafa et al. Computational models and heuristic methods for Grid scheduling problems
Jiang A survey of task allocation and load balancing in distributed systems
Buyya et al. Gridsim: A toolkit for the modeling and simulation of distributed resource management and scheduling for grid computing
Pillai et al. Resource allocation in cloud computing using the uncertainty principle of game theory
CN104040486B (zh) 解耦paas资源、作业和调度
US9086923B2 (en) Autonomic workflow management in dynamically federated, hybrid cloud infrastructures
CN104040485B (zh) Paas分层调度和自动缩放
Najafizadeh et al. Multi-objective Task Scheduling in cloud-fog computing using goal programming approach
Decker et al. Coordinating mutually exclusive resources using GPGP
EP1408407A2 (en) Method and apparatus for task allocation in a distributed computing environment
CN106020966A (zh) 用于将从客户接收的任务智能地分布于多个劳动资源间的系统和方法
Amalarethinam et al. An Overview of the scheduling policies and algorithms in Grid Computing
Jiang et al. The rich get richer: Preferential attachment in the task allocation of cooperative networked multiagent systems with resource caching
Santos et al. Zeus: A resource allocation algorithm for the cloud of sensors
Mahato et al. On scheduling transaction in grid computing using cuckoo search-ant colony optimization considering load
Hsieh et al. A dynamic scheme for scheduling complex tasks in manufacturing systems based on collaboration of agents
Nodehi et al. ICIF: an inter-cloud interoperability framework for computing resource cloud providers in factories of the future
Tripathy et al. M2FBalancer: A mist-assisted fog computing-based load balancing strategy for smart cities
Aron et al. Resource scheduling methods for cloud computing environment: The role of meta-heuristics and artificial intelligence
Mofrad et al. Service level agreement based adaptive Grid superscheduling
CN104869154A (zh) 统筹资源可信度与用户满意度的分布式资源调度方法
CN106921512A (zh) 一种大数据集群租户带宽控制方法及装置
Wang A dynamic resource management in mobile agent by artificial neural network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: JIANGSU POSTS + TELECOMMUNICATIONS PLANNING AND DE

Free format text: FORMER OWNER: NANJING POST + TELECOMMUNICATION UNIV.

Effective date: 20130325

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 210003 NANJING, JIANGSU PROVINCE TO: 210006 NANJING, JIANGSU PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20130325

Address after: 210006 No. 371 South Zhongshan Road, Jiangsu, Nanjing

Patentee after: Jiangsu Posts & Telecommunications Planning and Designing Institute Co., Ltd.

Address before: 210003 Nanjing City, Jiangsu Province, the new model road No. 66

Patentee before: Nanjing Post & Telecommunication Univ.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 210006 Zhongshan South Road, Nanjing, Nanjing, Jiangsu

Patentee after: Zhong Tong clothing consulting and Design Research Institute Co., Ltd.

Address before: 210006 Zhongshan South Road, Nanjing, Nanjing, Jiangsu

Patentee before: Jiangsu Posts & Telecommunications Planning and Designing Institute Co., Ltd.