CN116846979B - 一种云计算环境下资源的调度方法及调度系统 - Google Patents

一种云计算环境下资源的调度方法及调度系统 Download PDF

Info

Publication number
CN116846979B
CN116846979B CN202311091641.8A CN202311091641A CN116846979B CN 116846979 B CN116846979 B CN 116846979B CN 202311091641 A CN202311091641 A CN 202311091641A CN 116846979 B CN116846979 B CN 116846979B
Authority
CN
China
Prior art keywords
resource
resources
request
cloud computing
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311091641.8A
Other languages
English (en)
Other versions
CN116846979A (zh
Inventor
石宏光
曾宪军
李清华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Ruihong Network Technology Co ltd
Original Assignee
Jiangsu Ruihong Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Ruihong Network Technology Co ltd filed Critical Jiangsu Ruihong Network Technology Co ltd
Priority to CN202311091641.8A priority Critical patent/CN116846979B/zh
Publication of CN116846979A publication Critical patent/CN116846979A/zh
Application granted granted Critical
Publication of CN116846979B publication Critical patent/CN116846979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于云计算领域,具体涉及云计算环境下资源的调度方法及调度系统。本发明公开的调度方法包括节点接收资源请求主机发起的第一资源分配请求;根据第一资源分配请求的类型判断节点用于调度第一资源分配请求时,返回包含已分配资源的请求路径;在通过请求路径执行资源的调用时,节点将资源的请求映射至包含第一资源和第二资源的资源池,其中,第一资源的类型和第一资源分配请求的资源类型一致,第二资源的类型为第一资源分配请求的资源类型的替代类型;节点通过第一资源进行直接存取或者调用,通过转换器对第二资源进行存取或调用,转换器将对第一资源的类型的请求转换为第二资源的请求。本发明可以提供对于现有云计算环境下资源的有效调度。

Description

一种云计算环境下资源的调度方法及调度系统
技术领域
本发明属于云计算领域,具体涉及云计算环境下资源的调度方法及调度系统。
背景技术
目前,通过订阅多个云资源服务商的资源来实现不同的功能,但是随着订阅资源的增加和业务的更新,然而部分资源出现闲置,将会带来资源分配的不均匀和资源的浪费。
目前,关于云资源的分配调度的方法主要包括:
CN107018091A公开了一种资源请求的调度方法和装置,包括:接收客户端的资源请求,根据所述客户端的标识信息将所述资源请求分配到对应的配额组;当确定所述资源请求属于刚性资源请求时,将所述资源请求添加到所述配额组的刚性资源请求队列中;按照所述刚性资源请求队列中的顺序,依次为各个刚性资源请求从与所述配额组对应的资源节点中预订资源。此解决方案涉及云资源的重新请求,并不能解决现有资源的空置和不均匀问题。
CN105682242A公开了一种网络资源调度方法、设备、系统以及网络节点,该网络资源调度方法包括:发送节点在有业务发送需求时,向主节点发送资源请求;发送节点接收主节点根据资源请求分配的资源池;其中,资源池包括时间-频率资源;发送节点从资源池中为接收节点分配资源,以利用分配的资源向接收节点发送业务。此解决方案涉及云资源负荷的调整,且针对同类型资源,而并不涉及多云计算资源的均衡问题。
CN110299947A公开了一种系统资源的调度方法、装置、设备及存储介质,涉及无线通信领域,所述方法包括:从接收的资源请求任务中获取资源请求;根据所述资源请求,生成包括独立调度的BBU设备资源和RRU设备资源的调度方案;根据所述调度方案,建立用于执行所述资源请求任务的设备环境;利用所述设备环境,执行所述资源请求任务。此技术方案涉及了无线资源的调度,但是其和云计算关联不高。
CN109298949B公开了一种分布式文件系统的资源调度系统,包括:资源管理节点、与资源管理节点通讯相连的呈分布式布置的多个资源请求器,以及与资源管理节点通讯相连呈分布式布置的多个资源提供节点;资源提供节点定期向资源管理节点发送其所在服务器的资源信息;资源管理节点通过资源分配算法确定将资源提供节点发送的资源信息分配给哪个资源请求器;资源请求器筛选分配到的资源信息,最终使每个任务对应一个资源信息,也对应一个资源提供节点;资源提供节点内部设置任务执行器,任务执行器用于执行其所在的资源提供节点所对应的任务。此技术方案涉及了资源的分配和调布,但是其针对的是文件系统,而并不是云计算资源。
CN108243215A公开了一种CDN服务器的调度方法。所述调度方法包括步骤:接收到终端发送的资源请求,其中,所述资源请求中包括有终端所属网络的网络标记信息及所请求的资源类型;全局负载均衡设备根据所述资源请求中的网络标记信息定位到终端所属网络的CDN节点;所述CDN节点接收所述终端发送的所述资源请求并响应所述资源请求将所述终端所所请求的资源发送给所述终端。此技术方案涉及内容分发网络,而内容分发网络和常规的云计算资源存在区别,并不能提供解决资源不均的问题。
因此,上述的技术方案并不涉及资源类型的重新调配。
发明内容
本发明的一个目的在于克服现有技术的缺陷,提供一种可以根据现有的云计算资源进行灵活的资源调度的方法和系统,从而解决现有技术中资源类型的重新调配,避免云计算资源订阅较多,且存在的资源负荷不均匀以及资源闲置的问题,使得企业对于云计算资源利用更加充分。
根据本发明的一个方面,本发明首先公开了一种云计算环境下资源的调度方法,包括:
节点接收资源请求主机发起的第一资源分配请求;
根据第一资源分配请求的类型判断节点用于调度第一资源分配请求时,返回包含已分配资源的请求路径;
在通过所述请求路径执行资源的调用时,节点将资源的请求映射至包含第一资源和第二资源的资源池,其中,第一资源的类型和第一资源分配请求的资源类型一致,第二资源的类型为第一资源分配请求的资源类型的替代类型;
节点对第一资源进行直接存取或者调用,通过转换器对第二资源进行存取或调用,所述转换器将对第一资源的类型的请求转换为第二资源的请求。
根据本发明的一个实施例,所述第一资源分配请求包括云计算资源的地域、云计算资源的提供商、请求云计算资源的类型、需求额度、资源规格和回调地址。
根据本发明的一个实施例,根据云计算资源的提供商、请求云计算资源的类型、需求额度和资源规格获取第一业务处理器,根据资源规则配置第一业务处理器的驱动程序,第一业务处理器通过驱动程序访问第一资源,根据第一业务处理器的驱动程序获取关联的第二业务处理器,根据第一业务处理器和第二业务处理器构建资源池。
如在存取文件时,通过提供的第一业务处理器可以实现文件的存取,通过第二业务处理器时,需要借助于协议进行不同于原始请求资源类型的存取。
根据本发明的一个实施例,根据云计算资源的地域和请求云计算资源的类型选择第一业务处理器。
根据本发明的一个实施例,将包含已分配资源的请求路径发送至回调地址。
根据本发明的一个实施例,节点根据第一资源和第二资源的额度确定待资源分配的存储位置,并使得第一资源和第二资源消耗的额度比不大于第一资源和第二资源的可用额度比。
根据本发明的一个实施例,所述请求云计算资源的类型为对象存储、二进制对象存储、图像资源和文档存储。
根据本发明的一个实施例,根据第一资源分配请求的类型判断节点用于调度第一资源分配请求包括:
判断节点上是否存在和第一资源分配请求的云计算资源类型和资源规格一致或等效的资源;
如果不存在,则当前节点不用于调度第一资源分配请求;
如果存在,当前节点用于调度第一资源分配请求。
根据本发明的一个实施例,对保存于第一资源和第二资源的标识符引用次数进行计数,执行计划任务,基于引用计数,将第一资源内引用次数最低的资源移动至第二资源内,将第二资源内引用次数最高的资源移动至第一资源内。
根据本发明的另外一个方面,本发明还公开了一种云计算环境下资源的调度系统,包括:
资源分配接收单元,用于接收资源请求主机发起的第一资源分配请求;
资源分配调度单元,用于根据第一资源分配请求的类型判断节点是否用于调度第一资源分配请求;
资源分配单元,用于返回包含回调地址的请求路径;
在通过所述请求路径执行资源的调用时,资源分配单元将资源的请求映射至包含第一资源和第二资源的资源池,其中,第一资源的类型和第一资源分配请求的资源类型一致,第二资源的类型为第一资源分配请求的资源类型的替代类型;
节点通过第一资源进行直接存取或者调用,通过转换器对第二资源进行存取或调用,所述转换器将对第一资源的类型的请求转换为第二资源的请求。
本发明具有如下的有益效果:
1.可以灵活的根据现有的资源以及现有的资源类型获取可分配的资源,从而使得资源分配考虑速度和资源特性,充分利用现有的资源;
2.在存在资源调度的需求时,根据资源的调度需求进行资源的分配;依据资源的类型进行分配,并且分配是基于实际需求的资源类型,且至少分配实际需求的资源类型的替代资源,从而使得资源负载利用了现有的资源,而并不是单纯的依赖于实际的云计算资源类型;
3.通过提供第一分配资源提供了满足基础要求的云计算资源,通过第二资源,提供了满足扩展需求的云计算资源,通过提供替代的资源访问方式,提供了对于现有资源的重复利用率,降低了订阅成本以及变动配置引起的业务暂停;
4.实现了对于资源的替代,例如针对文档既可以通过文档数据库进行,也可以通过文件存储的方式进行。
5.可以根据云计算资源的提供商、需求额度和资源规格提供替代资源。
附图说明
图1示出了一种云计算环境下资源的调度方法示意图;
图2示出了一种云计算环境下应用服务器和节点服务器请求云资源的调度方法示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
在进行详细的对方案的说明之前,对本发明所涉及的部分概念进行概要的说明。
以较为简易的文件存储为例,提供若干种云上的解决方案为例进行说明。
对象存储OSS提供海量、安全、低成本、高可靠的云存储服务,其具有与平台无关的RESTful API接口,因此可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。
OSS通过API提供返回请求者拥有的所有存储空间、创建Bucket、删除Bucket、上传Object、获取Object、拷贝Object、以追加写的方式上传Object、删除单个Object、删除多个Object、只返回某个Object的meta信息,不返回文件内容。
云硬盘CBS是一种高可用、高可靠、低成本和可定制化的块存储设备,可以作为云服务器的独立可扩展硬盘使用,为云服务器实例提供存储设备。云硬盘提供数据块级别的持久性存储,具有高可用、高可靠和高性能的特点。云硬盘虽然运营商不提供API直接访问的方式,但是可以通过SMB协议的方式进行访问,以提供和OSS类似的方法。
MySQL云数据库提供了基于云的数据库服务。BLOB (binary large object),二进制大对象,是一个可以存储二进制文件的容器。在计算机中,BLOB常常是数据库中用来存储二进制文件的字段类型。BLOB是一个大文件,典型的BLOB是一张图片或一个声音文件,由于它们的尺寸,必须使用特殊的方式来处理(例如:上传、下载或者存放到一个数据库)。在使用JDBC存储blob时,可以通过在Statement内建立一个SerialBlob的方式或者直接使用setBytes()来实现对于二进制对象的保存。
如上涉及了三类不同的资源,但是很显然,尽管不同的服务商对于同一类型的服务提供不同的接口,但是通过观察其主要的接口特征,可以设置一些共有的参数可以来提供近似的服务。
为了实现本发明的技术方案,我们首先进行了如下的尝试,即使用不同服务商的对象存储来实现相同的功能,以及使用不同的云资源来实现相同的功能。
对对象存储进行分析,其涉及对象的存取调用均包括公共请求头,而这部分请求和调用需要独立撰写为各个云服务商自有的业务逻辑,而对于其中的上传Object、获取Object、拷贝Object、以追加写的方式上传Object、删除单个Object、删除多个Object则大同小异。
因此,我们参考了File的方式设计了一个业务的处理器MixFile,定义了如下的操作:
public long getCreateTime();
public void write(byte[]bytes);
public byte[] get(int length);
public byte[] get(int offset,int length);
public void copy(String dest);
public void append(byte[]tar);
public void delete();
public Map metaData();
上文是以java语言编写的伪代码,涉及public、long、byte、void标识公开、长整型、比特、方法等原有含义,各行的方法提供了抽象的获取创建时间、写入、获取从0开始的指定长度的二进制序列、获取从指定偏移位置的二进制序列、复制到指定URI(私有协议)、追加写二进制、删除、获取二进制信息。
则对应于对象存储,其实现的功能可以如下等效替代,即:
上传Object相当于MixFile的write;
获取Object相当于MixFile的get;
以追加写的方式上传Object相当于MixFile的append;
删除单个Object相当于MixFile的delete();
返回某个Object的meta信息相当于metaData();
诸如此类不再赘述。
对于云硬盘,其通过SMB挂载时,通过JCIFS,其可以提供较易的访问方式,其提供的接口请参考http://jcifs.org/src/docs/api/。
对于Mysql数据库,对于文件的读取使用对PreparedStatement或者Statement的包装,并借助于事务来实现对于资源的保存。例如上传文件,实际上可以保存在一个表内的BLOB的列内,则创建一个存储资源的过程可以包括:新建一个空白行,获取空白行的标识idt,向标识为idt的空白行写入数据,标记资源为存储完成。
即除底层的账户信息、资源地址以及API外,大多数的资源存储可以被抽象化,基于对现有资源的访问实践的改进,提出了本发明的方法。
请参考图1和图2,本发明提供的一种云计算环境下资源的调度方法,包括:
节点接收资源请求主机发起的第一资源分配请求;
根据第一资源分配请求的类型判断节点用于调度第一资源分配请求时,响应于第一资源分配请求,返回包含已分配资源的请求路径;
在通过所述请求路径执行资源的调用时,节点将资源的请求映射至包含第一资源和第二资源的资源池,其中,第一资源的类型和第一资源分配请求的资源类型一致,第二资源的类型为第一资源分配请求的资源类型的替代类型;
节点对第一资源进行直接存取或者调用,通过转换器对第二资源进行存取或调用,所述转换器将对第一资源的类型的请求转换为第二资源的请求。
所述的节点为调度服务器,其典型的可以为API接口服务器,在约定开发规范的情况下,可以设置一个服务器用于处理多种类型的资源请求,并通过请求内POST的数据来对请求进行区分。
所述的第一资源分配请求优先以POST的格式被请求,为了避免恶意资源分配的请求,可以为请求的实体配置验证参数。
所述的第一资源分配请求中应当包含符合开发规范的资源类型,例如使用KV来指示键值,File来指示文件,并在“ResourceType”内指明。
使用上述的方式可以灵活的根据现有的资源以及现有的资源类型获取可分配的资源,从而使得资源分配考虑速度和资源特性,充分利用现有的资源;
进一步的,在存在资源调度的需求时,根据资源的调度需求进行资源的分配;对资源的分配依据资源的类型进行分配,并且分配是基于实际需求的资源类型,且至少分配实际需求的资源类型的替代资源,从而使得资源负载利用了现有的资源,而并不是单纯的依赖于实际的云计算资源类型;
更进一步的,通过提供第一分配资源提供了满足基础要求的云计算资源,通过第二资源,提供了满足扩展需求的云计算资源,通过提供替代的资源访问方式,提供了对于现有资源的重复利用率,降低了订阅成本以及变动配置引起的业务暂停。例如,预期保存方式为对象存储OSS时,通过提供的云原生API提供存储;否则通过一个中间件进行存储。
上述的方式适用于订阅多种云计算资源的情形,通过进行上述资源的调配,从而获得对和第一类型资源具有近似属性的二次资源,从而提供对于现有资源的重复利用,进一步在降低资源占用的同时提供服务。
提供的转换器可以通过路径转换的形式提供服务,从而使得对于特定云资源的调用实现服务化的提供,例如对于文件的保存时,可以通过提供多个服务进行,此服务可以为直接保存到云硬盘,或者是保存到对象桶,或者是保存到归档存储,或是保存到内容分发网络内。
提供的转换器类型可根据第一类型资源或者第二资源类型进行转换,或者选定终点的类型进行转换,即节点中针对不同的资源构建不同的业务处理器,并配置默认的云资源访问参数,通过重载或者具体语言实现业务处理器实际的业务方法来访问特定的资源。例如,通过保存到SMB协议访问的云硬盘来替代数据库保存的方式提高响应速度。
为了简化配置实现较高的负载,根据第一资源分配请求的类型判断节点用于调度第一资源分配请求时,可以在第一资源分配请求中根据请求的资源类型计算出一个校验码,节点服务器根据此校验码来判断是否为调度所需资源。
例如,针对地域,可以设置一个常量的数组,如0x0到0x10可以标识16个地域的信息;可以根据请求地域的标识和节点所包含的地域标识的按位与&操作产生的数值是否大于0,判断是否满足地域;近似的,如果0x0到0x10可以标识16类不同的文件,则可以根据请求的资源标识和节点所包含的资源表示的按位与&结果来判断是否满足资源类型的需求。如果进一步拓展资源类型的级别,例如使用三组0x0-0xf来表示不同的资源,则使用一个32整数即可以实现常见的资源组合。
进一步的,通过XML、固化的参数或者Restful端口配置云资源的具体参数,当使用的资源为对象存储时,使用的业务处理器所需要的实际参数包括:
{AuthorizationString:"",HostName:"",SecretKey:"",Bucket:""},
其中,AuthorizationString为鉴权字符串,HostName为宿主机的名称,SecretKey为密钥字符串,Bucket为存储桶的名称,上述的一些字段可以为固化的值,也可以是节点侧根据业务调用而从路径获取,通过此方式可以在保障安全性的同时提供对于资源的访问,避免硬编码时泄露云账户的安全信息。
在执行对象的存储时,可以返回对象的tag和校验码VerifyCode,其中前者为在对象存储内的值,后者为在业务处理器内的校验码,在使用和本地一致校验的方式时,可以确定对象是否被对象存储正确存储。
在进行存储时,一个待存储对象可以包括标识符和二进制内容,根据其二进制内容可以获取其校验码,在未进行存储时,对象的标识符为空,在被存储到服务器后,该对象持有和节点返回的tag一致的标识符。
进一步的,当时用的资源为文件存储时,以SMB形式访问为例,使用的业务处理器实际的参数包括:
{AuthorizationString:"",HostName:""},
AuthorizationString为鉴权字符串,具体包括用户名和密码,HostName为宿主机的名称即SMB磁盘的地址,可以通过SMB的API在目标宿主机上写入对应的文件。
基于以上描述可以获取,在针对每一存储的对象设置对应的读写器时,可以借助于将相应的文件转换为中间对象存储,来实现在不同类型云计算资源的存储。
根据本发明的一个实施例,所述第一资源分配请求包括云计算资源的地域、云计算资源的提供商、请求云计算资源的类型、需求额度、资源规格和回调地址。
所述云计算资源的地域用于确定对于资源请求方具有较快相应的服务器,由于在执行资源的分配时,同一云计算提供商在多个地域的资源具备较好的响应的速度以及同一区域内的不同资源具有较快的内网传输速度,因而在存在不同云计算资源的提供商时,优先考虑同一云计算资源的提供商,其次考虑云计算资源的地域;
进一步的,请求云计算资源的类型包括文件存储、对象储存或二进制文件存储。
本发明的一个创新点即实现对于资源的替代,例如针对文档既可以通过文档数据库进行,也可以通过文件存储的方式进行,也可以通过云硬盘的方式进行,也可以通过在数据库内保存二进制对象的形式进行,从而可以实现资源的重复利用;
在请求信息提供云计算资源的类型时,即可以根据类型提供相应的替代方法以及资源地址;
例如:
文件对应的第一存储方案为云硬盘,第二存储方案为对象存储、文档数据库存储和关系数据库存储;
包含多个键值的配置信息的第一存储方案为键值型数据库,第二存储方案为对象存储、关系型数据库。
上述的方式为提供涉及较为基础的云计算资源的请求和分配,对于非底层的应用,例如是针对一个应用进行的,通过对其进行资源进行分解,也可以实现同样的资源的替代。
在进行资源替代时,通过转换器可以实现对于替代资源的读取,实现从第一资源到第二资源的转换。
上述的方案的改进在使用同一业务提供商时,相应的云计算资源的提供商可以被设置为空值。
在使用不同的业务提供商时,可以考虑延时的因素,但是如果考虑存储的内容包含了延时获取,例如即时存入和延时5分钟方可获取的冷档存储,则可以进一步的考虑业务类型的差异,进一步的配置所使用的令牌。
根据本发明的一个实施例,根据云计算资源的提供商、请求云计算资源的类型、需求额度和资源规格获取第一业务处理器,根据资源规则配置第一业务处理器的驱动程序,第一业务处理器通过驱动程序访问第一资源,根据第一业务处理器的驱动程序获取关联的第二业务处理器,根据第一业务处理器和第二业务处理器构建资源池。
如在存取文件时,通过资源请求的参数使用SMB确定了第一业务处理器。以及使用JCIFS访问云硬盘,通过第一业务处理器的驱动可以实现云硬盘文件的存取,通过第二业务处理器时,需要借助于协议进行不同于原始请求资源类型的存取,即服务器更改请求的参数和回调地址类型至Mysql数据库服务器,并通过返回Blob作为响应;此处选择第二业务处理器时,基于第一业务处理器的驱动程序选择,这里第一业务处理的驱动程序为对JCIFS的封装,其通过实现接口的形式来提供实际的服务;第二业务处理器为具有和第一业务处理器一致的接口,并通过是否实现共有的接口来判断第一业务处理器和第二业务处理器是否具有关联。这里使用了接口而并非是通过继承的方式来实现业务逻辑为避免出现预期外的云资源调用,即每个接口的行为应当和具体业务处理器一致对应,在实际进行时,为了避免通过反射构建实例时访问了不安全的代码,我们通过驱动程序的名称进行业务处理器的选择,即构建一个图或者字典,图或字典的键为驱动程序的名称,图或字典的值为一个列表,列表的成员为业务处理器。例如,对于保存二进制文件,可使用MySQL、文件、对象桶,那么对应于Map中键值为mysql的键,其包括如对象存储驱动、文件存储驱动,即在第一业务处理器被默认的配置为mysql的驱动程序时,通过查询图或字典来确定第二业务处理器。应当意识到,此处仅仅是示例性质的,如通过Restful接口也可以查询对应于一个驱动程序的其他业务处理器(输入第一业务处理器类型,由服务器返回第二业务处理器的类型),或者通过关联图(输入第一业务处理器类型,通过设置边的属性来确定下一个连接点)来确定,或者在预配置的文件中(例如在XML中对每个业务处理器进行单独的配置,即在一个元素下设置对应于一个业务处理器的其他可选业务处理器)可以确定,相应的形式可以根据需要灵活选择。
关联的第二业务处理器和第一业务处理器具有一致的请求云计算资源的规格。
在本发明的一个实施例中,假设指定的第一提供商的名称为ISP1,请求的云计算资源的类型为二进制存储、地域为目标地Dest1、需求额度为3Mb、资源规则为File,回调地址为http://server:port/ModuleName,
则一个处理此资源的过程可能包括,应用服务器向节点服务器发起请求,节点服务器首先获取云计算资源的类型,获得其为二进制存储和File类型的数据,根据此可以将其匹配到一个业务处理器中,在此记为第一业务处理器,对应于第一资源;
可以基于节点上注册的业务处理器进行近似业务处理器的选择,例如根据云计算资源的资源规则和云计算资源的提供商组合进行筛选,或者根据云计算资源的地域、请求云计算资源的类型和需求额度进行筛选,通过对第一资源分配请求内的信息进行组合筛选,以获取具有不同目的的云计算资源调度策略。
上述业务处理器的选择过程中,资源规则可以为预制或者设置映射以确定。
应当明白,对于回调地址的使用应当在应用服务器端执行,而避免在用户终端UE侧执行,以避免安全信息的泄露以及用户体验的降低。
例如,请求具有如下的实体:
{IPS:"IPS1",DataType:"BLOB",DesRegion:"ProvinceName1",Data-Length:10254154,GenericType:"File",CallBack:"http://server:port/ModuleName?ProjectName=p"},
其实际请求内容为云计算资源的提供商为"IPS1",数据类型为大二禁制对象"BLOB",目标地域为"ProvinceName1",数据长度为10254154,资源规格为"File",回调地址为"http://server:port/ModuleName?ProjectName=p",
对第一业务处理器的选择过程可能为,获取所有云计算资源的提供商为"IPS1",数据类型为大二禁制对象"BLOB"和资源规格为"File"的业务处理器作为第一业务处理器,此阶段可能获取多个业务处理器作为第一业务处理器,之后基于第一业务处理器进行筛选,如载入所有的业务处理器,将其和第一业务处理器进行比对,选择具有可通过转换器进行云计算资源操作的业务处理器作为第二业务处理器,对应第二资源,并基于此进行后续的资源请求的转换和实际的分配调用。此处的比对可以通过类的反射实现,或者比对第一业务处理器和第二业务处理器是否具有共同的方法名称来比对,或者基于前文列出的基于驱动程序而选择。
在本发明中,通过业务处理器(对第一业务处理器所涉及的第一资源直接进行存储和调用,对第二业务处理器进行转换后调用和存取)进行节点到资源池实际云资源的存取或调用。
根据本发明的一个实施例,根据云计算资源的地域和请求云计算资源的类型选择第一业务处理器。
在同一地域内,通信速度和云计算资源的提供商的来源影响较小时,可以不考虑云计算资源提供商的差异,均将其作为第一业务处理器。
例如,对于同一地域,同时存在两个不同的存储资源时,对节点服务器而言,同一地域的内网带宽显然满足需求,但是对于其他服务商的存储资源,假设不考虑带宽,或者流量消耗在接受的范围内,则将其作为第一业务处理器可以满足成本和功能的需求。
进一步的,可以根据云计算资源的提供商、需求额度和资源规格选择第二业务处理器,从而提供替代的第二资源。
进一步的,可以在筛选第一业务处理器和第二业务处理器时排除临期或者到期时间在预设值之内的云计算资源,例如到期时间6月内的资源不被选择。
在本发明的一个实施例中,将包含已分配资源的请求路径发送至回调地址。
在将已分配资源的请求路径发送至回调地址后,资源分配的发起方可以获取用于保存资源的地址,此地址可以用一令牌和标识符进行组合标识,以确保资源发起方在指定的时间内进行资源的调用。
在本发明的一个实施例中,节点根据第一资源和第二资源的额度确定待资源分配的存储位置,并使得第一资源和第二资源消耗的额度比不大于第一资源和第二资源的可用额度比。
本发明中,第一业务处理器和第二业务处理器均持有资源订阅,此处的资源订阅可以为资源的实际数额,或者函数可以被调用的次数,对于部分后付费的资源,其限额可以设置为已有资源的百分比,例如总是以5%的配额进行增长,如已经使用的空间为100TB时,可以将5TB作为其可以用资源额度。
可以根据第一业务处理器所持有的订阅资源进行统计,获取可用的第一资源总数,根据第二业务处理器所持有的订阅资源进行统计,获取可用的第二资源配额,将其进行比对以获取资源分配的比例,从而使资源请求按照现有的比例进行分配。
根据本发明的一个实施例,所述请求云计算资源的类型为对象存储、二进制对象存储、图像资源和文档存储。
通过此方式可以实现对于文件类型、普通二进制对象和对象的存储。
在本发明的一个实施例中,根据第一资源分配请求的类型判断节点用于调度第一资源分配请求包括:
判断节点上是否存在和第一资源分配请求的云计算资源类型和资源规格一致或等效的资源;
如果不存在,则当前节点不用于调度第一资源分配请求;
如果存在,当前节点用于调度第一资源分配请求。
在当前节点不用于节点调度时,资源分配的请求方可以根据此捕获异常或者错误代码error-code,并进一步采取其他的云资源的请求。
根据本发明的一个实施例,对保存于第一资源和第二资源的标识符引用次数进行计数,执行计划任务,基于引用计数,将第一资源内引用次数最低的资源移动至第二资源内,将第二资源内引用次数最高的资源移动至第一资源内。
通过此方式可以实现对于第一资源和第二资源的动态资源更新,并使得常用的资源总是以预期的形式提供。
在本发明的一个实施例中,一种云计算环境下资源的调度方法,包括:
资源分配接收单元,用于接收资源请求主机发起的第一资源分配请求;
资源分配调度单元,用于根据第一资源分配请求的类型判断节点是否用于调度第一资源分配请求;
资源分配单元,响应于第一资源分配请求,返回包含回调地址的请求路径;
在通过所述请求路径执行资源的调用时,资源分配单元将资源的请求映射至包含第一资源和第二资源的资源池,其中,第一资源的类型和第一资源分配请求的资源类型一致,第二资源的类型为第一资源分配请求的资源类型的替代类型;
节点通过第一资源进行直接存取或者调用,通过转换器对第二资源进行存取或调用,所述转换器将对第一资源的类型的请求转换为第二资源的请求。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种云计算环境下资源的调度方法,其特征在于,包括:
节点接收资源请求主机发起的第一资源分配请求;
根据第一资源分配请求的类型判断节点用于调度第一资源分配请求时,返回包含已分配资源的请求路径;
在通过所述请求路径执行资源的调用时,节点将资源的请求映射至包含第一资源和第二资源的资源池,其中,第一资源的类型和第一资源分配请求的资源类型一致,第二资源的类型为第一资源分配请求的资源类型的替代类型;
节点对第一资源进行直接存取或者调用,通过转换器对第二资源进行存取或调用,所述转换器将对第一资源的类型的请求转换为第二资源的请求;
根据第一资源分配请求的类型判断节点用于调度第一资源分配请求包括:
判断节点上是否存在和第一资源分配请求的云计算资源类型和资源规格一致或等效的资源;
如果不存在,则当前节点不用于调度第一资源分配请求;
如果存在,当前节点用于调度第一资源分配请求;
对保存于第一资源和第二资源的标识符引用次数进行计数,执行计划任务,基于引用计数,将第一资源内引用次数最低的资源移动至第二资源内,将第二资源内引用次数最高的资源移动至第一资源内。
2.如权利要求1所述的一种云计算环境下资源的调度方法,其特征在于,所述第一资源分配请求包括云计算资源的地域、云计算资源的提供商、请求云计算资源的类型、需求额度、资源规格和回调地址。
3.如权利要求2所述的一种云计算环境下资源的调度方法,其特征在于,根据云计算资源的提供商、请求云计算资源的类型、需求额度和资源规格获取第一业务处理器,根据资源规则配置第一业务处理器的驱动程序,第一业务处理器通过驱动程序访问第一资源,根据第一业务处理器的驱动程序获取关联的第二业务处理器,根据第一业务处理器和第二业务处理器构建资源池。
4.如权利要求3所述的一种云计算环境下资源的调度方法,其特征在于,根据云计算资源的地域和请求云计算资源的类型选择第一业务处理器。
5.如权利要求2所述的一种云计算环境下资源的调度方法,其特征在于,将包含已分配资源的请求路径发送至回调地址。
6.如权利要求2所述的一种云计算环境下资源的调度方法,其特征在于,节点根据第一资源和第二资源的额度确定待资源分配的存储位置,并使得第一资源和第二资源消耗的额度比不大于第一资源和第二资源的可用额度比。
7.如权利要求2所述的一种云计算环境下资源的调度方法,其特征在于,所述请求云计算资源的类型为对象存储、二进制对象存储、图像资源和文档存储。
8.一种云计算环境下资源的调度系统,其特征在于,包括:
资源分配接收单元,用于接收资源请求主机发起的第一资源分配请求;
资源分配调度单元,用于根据第一资源分配请求的类型判断节点是否用于调度第一资源分配请求;
资源分配单元,用于返回包含回调地址的请求路径;
在通过所述请求路径执行资源的调用时,资源分配单元将资源的请求映射至包含第一资源和第二资源的资源池,其中,第一资源的类型和第一资源分配请求的资源类型一致,第二资源的类型为第一资源分配请求的资源类型的替代类型;
节点对第一资源进行直接存取或者调用,通过转换器对第二资源进行存取或调用,所述转换器将对第一资源的类型的请求转换为第二资源的请求;
根据第一资源分配请求的类型判断节点用于调度第一资源分配请求包括:
判断节点上是否存在和第一资源分配请求的云计算资源类型和资源规格一致或等效的资源;
如果不存在,则当前节点不用于调度第一资源分配请求;
如果存在,当前节点用于调度第一资源分配请求;
对保存于第一资源和第二资源的标识符引用次数进行计数,执行计划任务,基于引用计数,将第一资源内引用次数最低的资源移动至第二资源内,将第二资源内引用次数最高的资源移动至第一资源内。
CN202311091641.8A 2023-08-29 2023-08-29 一种云计算环境下资源的调度方法及调度系统 Active CN116846979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311091641.8A CN116846979B (zh) 2023-08-29 2023-08-29 一种云计算环境下资源的调度方法及调度系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311091641.8A CN116846979B (zh) 2023-08-29 2023-08-29 一种云计算环境下资源的调度方法及调度系统

Publications (2)

Publication Number Publication Date
CN116846979A CN116846979A (zh) 2023-10-03
CN116846979B true CN116846979B (zh) 2024-03-15

Family

ID=88167415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311091641.8A Active CN116846979B (zh) 2023-08-29 2023-08-29 一种云计算环境下资源的调度方法及调度系统

Country Status (1)

Country Link
CN (1) CN116846979B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101039278A (zh) * 2007-03-30 2007-09-19 华为技术有限公司 数据管理方法及系统
CN102222090A (zh) * 2011-06-02 2011-10-19 清华大学 一种云环境下海量数据资源管理框架
JP2013135284A (ja) * 2011-12-26 2013-07-08 Sharp Corp コンテンツ再生装置、サーバ、コンテンツ再生システム、及びコンテンツ再生方法
CN105956972A (zh) * 2016-06-16 2016-09-21 北京数智源科技股份有限公司 教育资源管理平台
CN106919607A (zh) * 2015-12-25 2017-07-04 华为技术有限公司 一种数据访问方法、装置及系统
CN107743611A (zh) * 2015-04-29 2018-02-27 微软技术许可有限责任公司 动态云计算平台资源的最优分配
CN109918515A (zh) * 2019-03-20 2019-06-21 中原工学院 一种基于大数据的高校图书馆数字资源共享方法
CN109992564A (zh) * 2019-02-20 2019-07-09 深圳大普微电子科技有限公司 文件存储系统及方法
CN115225504A (zh) * 2022-06-10 2022-10-21 中国科学院信息工程研究所 资源配置方法、装置、电子设备及存储介质
WO2023024459A1 (zh) * 2021-08-25 2023-03-02 华为技术有限公司 一种数据处理的方法和装置
CN115883659A (zh) * 2022-12-15 2023-03-31 江苏云工场信息技术有限公司 一种支持cdn缓存批量刷新的方法及装置
CN116166395A (zh) * 2022-12-05 2023-05-26 北京火山引擎科技有限公司 任务调度方法、装置、介质及电子设备
CN116304122A (zh) * 2023-03-14 2023-06-23 抖音视界有限公司 媒体文件生成方法、装置、电子设备以及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7356540B2 (en) * 2002-07-03 2008-04-08 Smith David E A Data storage and retrieval system
US7627530B2 (en) * 2004-04-26 2009-12-01 Amazon Technologies, Inc. Method and system for managing access to media files
JP2005351994A (ja) * 2004-06-08 2005-12-22 Sony Corp コンテンツ配信サーバ,コンテンツ配信方法,プログラム
US8996480B2 (en) * 2011-05-04 2015-03-31 International Business Machines Corporation Method and apparatus for optimizing data storage
US20140181085A1 (en) * 2012-12-21 2014-06-26 Commvault Systems, Inc. Data storage system for analysis of data across heterogeneous information management systems
US9953018B2 (en) * 2015-05-01 2018-04-24 Microsoft Technology Licensing, Llc Transfer of content between documents of different storage types

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101039278A (zh) * 2007-03-30 2007-09-19 华为技术有限公司 数据管理方法及系统
CN102222090A (zh) * 2011-06-02 2011-10-19 清华大学 一种云环境下海量数据资源管理框架
JP2013135284A (ja) * 2011-12-26 2013-07-08 Sharp Corp コンテンツ再生装置、サーバ、コンテンツ再生システム、及びコンテンツ再生方法
CN107743611A (zh) * 2015-04-29 2018-02-27 微软技术许可有限责任公司 动态云计算平台资源的最优分配
CN106919607A (zh) * 2015-12-25 2017-07-04 华为技术有限公司 一种数据访问方法、装置及系统
CN105956972A (zh) * 2016-06-16 2016-09-21 北京数智源科技股份有限公司 教育资源管理平台
CN109992564A (zh) * 2019-02-20 2019-07-09 深圳大普微电子科技有限公司 文件存储系统及方法
CN109918515A (zh) * 2019-03-20 2019-06-21 中原工学院 一种基于大数据的高校图书馆数字资源共享方法
WO2023024459A1 (zh) * 2021-08-25 2023-03-02 华为技术有限公司 一种数据处理的方法和装置
CN115905136A (zh) * 2021-08-25 2023-04-04 华为技术有限公司 一种数据处理的方法和装置
CN115225504A (zh) * 2022-06-10 2022-10-21 中国科学院信息工程研究所 资源配置方法、装置、电子设备及存储介质
CN116166395A (zh) * 2022-12-05 2023-05-26 北京火山引擎科技有限公司 任务调度方法、装置、介质及电子设备
CN115883659A (zh) * 2022-12-15 2023-03-31 江苏云工场信息技术有限公司 一种支持cdn缓存批量刷新的方法及装置
CN116304122A (zh) * 2023-03-14 2023-06-23 抖音视界有限公司 媒体文件生成方法、装置、电子设备以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PBBLOB数据类型的文件操作;邵利平, 方旺盛, 郑剑;兵工自动化(05);全文 *

Also Published As

Publication number Publication date
CN116846979A (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
US9519653B2 (en) Techniques for efficiently enforcing resource quotas in a multi-tenant cloud storage system
US11064041B2 (en) Apparatus for providing cloud service using cloud service brokerage based on multiple clouds and method thereof
US20160378846A1 (en) Object based storage cluster with multiple selectable data handling policies
US10091126B2 (en) Cloud system, control method thereof, management server and control method thereof
KR20040107412A (ko) 네트워크 환경에서의 섀도 카피 노출 메카니즘
CN106713028B (zh) 业务降级方法、装置和分布式任务调度系统
CN113641311B (zh) 一种基于本地盘的容器存储资源动态分配的方法和系统
US8660996B2 (en) Monitoring files in cloud-based networks
US8706856B2 (en) Service directory
US7237235B2 (en) Application distribution system, and distribution server and distribution method thereof
US10565142B2 (en) System and method for supporting user-level direct memory access input/output in distributed file system environment
CN108572991A (zh) 数据库处理方法、装置和存储介质
CN104378452A (zh) 一种用于域名解析的方法、装置及系统
US11546307B2 (en) Method to implement multi-tenant/shared Redis cluster using envoy
WO2022111313A1 (zh) 一种请求处理方法及微服务系统
CN105045762A (zh) 一种配置文件的管理方法及装置
US20100161585A1 (en) Asymmetric cluster filesystem
US20070150448A1 (en) Method and apparatus for optimizing large data set retrieval
US10986065B1 (en) Cell-based distributed service architecture with dynamic cell assignment
US10592469B1 (en) Converting files between thinly and thickly provisioned states
CN111163186A (zh) 一种id生成方法、装置、设备和存储介质
US20190372825A1 (en) Communication apparatus, communication method, and recording medium
KR100985690B1 (ko) 복수의 ess 셀에 다운로드 가능한 콘텐츠를 저장하는 방법, 시스템 및 컴퓨터 판독가능 기록 매체
CN116846979B (zh) 一种云计算环境下资源的调度方法及调度系统
US7441252B2 (en) Cache control device, and method and computer program for the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240222

Address after: Room 308-33, Building A, No. 159 Chengjiang Middle Road, Jiangyin City, Wuxi City, Jiangsu Province, 214000

Applicant after: Jiangsu Ruihong Network Technology Co.,Ltd.

Country or region after: China

Address before: Room 1406, 14th floor, Building 11, Phase 1 (A2 plot), Chuncheng Huigu Community, Haitun Road, Wuhua District, Kunming City, Yunnan Province, 650101

Applicant before: Yunnan Shengshun Technology Co.,Ltd.

Country or region before: China

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant