CN116192870A - 基于镜像级元数据管理和负载感知的p2p下载镜像方法 - Google Patents

基于镜像级元数据管理和负载感知的p2p下载镜像方法 Download PDF

Info

Publication number
CN116192870A
CN116192870A CN202310435308.8A CN202310435308A CN116192870A CN 116192870 A CN116192870 A CN 116192870A CN 202310435308 A CN202310435308 A CN 202310435308A CN 116192870 A CN116192870 A CN 116192870A
Authority
CN
China
Prior art keywords
virtual machine
load
metadata
val
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310435308.8A
Other languages
English (en)
Other versions
CN116192870B (zh
Inventor
李永坤
戚志豪
许胤龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202310435308.8A priority Critical patent/CN116192870B/zh
Publication of CN116192870A publication Critical patent/CN116192870A/zh
Application granted granted Critical
Publication of CN116192870B publication Critical patent/CN116192870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1042—Peer-to-peer [P2P] networks using topology management mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于镜像级元数据管理和负载感知的P2P下载镜像方法，包括：FaaS系统的调度器接收到创建容器的函数请求后，先随机选择一个下游虚拟机，并将容器的镜像标识及下游虚拟机标识发给元数据管理器；元数据管理器查找内部表，并通过负载估算选择器的选择，将最轻负载虚拟机的IP地址和端口返回给调度器；调度器将函数和镜像的标识以及轻负载虚拟机的信息发送给下游虚拟机；下游虚拟机再向轻负载虚拟机发送镜像下载请求后，创建该函数的空闲容器以服务函数的调用请求。本发明通过为每个镜像单独管理元数据以及从P2P分发网络中选择负载最轻的虚拟机，能加快下游虚拟机下载镜像的速度，从而降低系统中创建容器的平均时延。

Description

基于镜像级元数据管理和负载感知的P2P下载镜像方法
技术领域
本发明属于云计算技术领域，具体的说是一种基于镜像级元数据管理和负载感知的P2P下载镜像方法。
背景技术
函数即服务（FaaS）是一种新兴的云计算范式，相较于传统的基础设施即服务(IaaS) 和平台即服务 (PaaS) 模型，FaaS更强调开发人员聚焦于业务逻辑实现，而将底层的服务器、存储和网络等基础设施的管理工作交由云服务提供商来完成，开发人员只需要编写自己的函数代码并上传到云平台。通常情况下，FaaS平台采用容器技术作为云函数运行的环境。而虚拟机创建新容器需要包括从慢速的镜像仓库下载镜像、创建容器实例和初始化语言运行时等步骤，其中拉取镜像特别耗时，尤其是当高并发的拉取镜像时，可能会导致镜像仓库出现网络带宽瓶颈。另外，相关研究表明大多数函数选择使用FaaS平台提供的流行镜像（如：python，nodejs等）来创建容器，而且不同函数需要创建容器的次数严重不均衡，体现在绝大多数函数需要创建容器的次数很少。
传统的P2P技术确实可以利用FaaS系统中虚拟机缓存的镜像数据提供镜像下载服务以加快创建容器的过程。但是，传统的方法为每个函数单独管理P2P下载的元数据对象，会导致绝大多数创建容器次数少的函数由于元数据对象失效而从慢速的镜像仓库拉取镜像，增加了创建容器的时延；而且传统的方法采用二叉平衡树结构组织元数据对象，既缺乏灵活性又不适合快速更新。另外，传统的P2P技术下载镜像数据时，不考虑上游虚拟机负载的高低，选择高负载的虚拟机提供镜像下载服务会导致下游虚拟机创建新容器具有较高的时延。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于镜像级元数据管理和负载感知的P2P下载镜像方法，以期能减少绝大多数创建容器次数少的函数从慢速镜像仓库拉取镜像的次数，并能选择轻负载的虚拟机来提供镜像下载的服务，从而能降低创建新容器的时延。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于镜像级元数据管理和负载感知的P2P下载镜像方法，是应用于通用型FaaS系统中，所述通用型FaaS系统包括：用户Users、调度器、镜像仓库和N台虚拟机，其中，每台虚拟机中均包含一个管理器，令所述镜像仓库的静态参数为Registry={IPreg,Portreg}，IPreg、Portreg分别表示镜像仓库的IP地址和服务端口，令N台虚拟机记为VM={vm1,vm2,...,vmi,...,vmN}，vmi表示第i台虚拟机；1≤i≤N；其特点在于：
令所述第i台虚拟机vmi的静态参数为vali={IPi,Porti}，IPi、Porti分别表示第i台虚拟机vmi的IP地址、管理器监听其他虚拟机下载请求的端口号；
令所述第i台虚拟机vmi在当前时间周期内的动态参数为loadi={Ci,BWi,Di}；Ci、BWi和Di分别表示第i台虚拟机vmi在当前时间周期内的CPU平均负载、上行网络平均速率、待传输的数据量；
令所述第i台虚拟机vmi在当前时间周期内收到的m个P2P下载请求记为P2P_Reqsi={ri1,ri2,...,rij,...,rim}，rij表示第i台虚拟机vmi在当前时间周期收到的第j个P2P下载请求，且rij={dij,tij}；dij、tij分别表示在当前时间周期下第j个P2P下载请求rij的镜像数据量、开始时间，1≤j≤m；
所述通用型FaaS系统中还设置有元数据管理器、负载监控器以及负载估算选择器，所述P2P下载镜像方法是按如下步骤进行：
步骤1、所述调度器接收用户Users发送的函数Functionid的调用请求reqid，并判断所述调度器内用于执行所述函数Functionid的空闲容器所在的队列是否为空，若是，则顺序执行步骤1.1，否则，执行步骤8；
步骤1.1、所述调度器随机选择一个下游虚拟机vmdown，下游虚拟机vmdown从上游虚拟机vmup中下载标识为imageid的镜像，并基于所述imageid的镜像创建函数Functionid的容器，从而利用函数Functionid的空闲容器来服务所述调用请求reqid；
步骤1.2、所述调度器将下游虚拟机vmdown的静态参数valdown和镜像标识imageid作为参数传递给所述元数据管理器以获取上游虚拟机vmup的静态参数valup；
步骤2、所述元数据管理器收到valdown和imageid后，查询内部表1中是否存在表项<valdown-imageid,metadata>，其中，metadata表示元数据对象，且metadata={val1,val2}，val1、val2为两个虚拟机的静态参数；若存在所述表项<valdown-imageid,metadata>，则将所述表项中metadata的val2作为上游虚拟机vmup的静态参数valup返回给调度器，并执行步骤4；若不存在所述表项<valdown-imageid,metadata>，则所述元数据管理器创建元数据对象metadata={valdown,valUnknown}，并向内部表1中添加表项<valdown-imageid,metadata>；其中，valdown表示下游虚拟机vmdown的静态参数，valUnknown表示任一虚拟机vmUnknown的静态参数；
步骤3、所述元数据管理器查询内部表2中是否存在表项<imageid,LinkedList>，其中，LinkedList为镜像imageid的P2P分发网络的链表结构，且LinkedList={hp,tp}，hp和tp分别表示链表LinkedList中指向元数据对象的头指针和尾指针；
若不存在所述表项<imageid,LinkedList>，则所述元数据管理器先创建链表结构LinkedList，再将所述元数据对象metadata中valUnknown的值改为所述镜像仓库的静态参数Registry={IPreg,Portreg}后插入所述链表结构LinkedList中，然后向内部表2中添加表项<imageid,LinkedList>，最后将所述镜像仓库的静态参数Registry作为上游虚拟机vmup的静态参数valup返回给调度器，并执行步骤4；
若存在所述表项<imageid,LinkedList>，则从链表结构LinkedList的头指针hp开始，所述元数据管理器先选择n个元数据对象，并根据元数据对象metadata中val1的参数组成当前时间周期下待选虚拟机集合Set={vmset,1,vmset,2,...,vmset,k,...,vmset,n}，其中，vmset,k表示第k台待选虚拟机；再将Set作为参数传递给所述负载估算选择器以获取待选虚拟机集合Set当前时间周期下最轻负载的虚拟机vmset,lightest；然后先将所述元数据对象metadata中valUnknown的值改为虚拟机vmset,lightest的静态参数valset,lightest，再将元数据对象metadata插入所述链表LinkedList的尾指针tp之后，同时所述链表结构LinkedList的头指针hp适时向后移动；最后将所述虚拟机vmset,lightest的静态参数valset,lightest作为上游虚拟机vmup的静态参数valup返回给调度器；1≤k,lightest≤m；
步骤4、所述调度器接收到上游虚拟机vmup的静态参数valup后，将所述静态参数valup、函数Functionid和镜像标识imageid传递给下游虚拟机vmdown的管理器，并发送创建容器的命令；
步骤5、所述下游虚拟机vmdown中的管理器接收到创建容器的命令后，根据静态参数valup向上游虚拟机vmup发送镜像标识为imageid的镜像下载请求；
步骤6、所述上游虚拟机vmup监听到所述下游虚拟机vmdown发送的镜像下载请求后，采用HTTP协议将标识为imageid的镜像数据传输给所述虚拟机vmdown；
步骤7、所述下游虚拟机vmdown下载标识为imageid的镜像数据完成后，基于所述标识为imageid的镜像创建函数Functionid的空闲容器，并将所述空闲容器添加到调度器内函数Functionid的空闲容器所在的队列中；
步骤8、所述调度器从函数Functionid的空闲容器所在队列的队首中取出空闲容器，并将所述调用请求reqid转发给所述队首的空闲容器来执行，并将执行结果反馈给用户Users。
本发明所述的基于镜像级元数据管理和负载感知的P2P下载镜像方法的特点也在于，步骤3中的所述负载估算选择器是按如下步骤获取最轻负载的虚拟机vmset,lightest：
步骤3.1、所述负载估算选择器接收到待选虚拟机集合Set后，将所述待选虚拟机集合Set传递给所述负载监控器以获取当前时间周期下待选虚拟机集合中所有虚拟机的动态参数loadset={loadset,1,loadset,2,...,loadset,k,...,loadset,n}；loadset,k表示第k台待选虚拟机vmset,k在当前时间周期下的负载；
步骤3.2、所述负载估算选择器根据负载信息loadset，计算待选虚拟机集合Set中各虚拟机在当前时间周期下负载的总得分集合Sset={Sset,1,Sset,2,...,Sset,k,...,Sset,n}；Sset,k表示当前时间周期第k台待选虚拟机vmset,k负载loadset,k的总得分；
步骤3.3、所述负载估算选择器从总得分集合Sset中选择得分最高的虚拟机作为当前时间周期待选虚拟机集合Set中最轻负载的虚拟机vmset,lightest。
步骤3.1中的负载监控器是按如下过程获取待选虚拟机集合中所有虚拟机的动态参数：
所述负载监控器接收到待选虚拟机集合Set后，则判断当前系统时间是否属于当前时间周期；若是，则所述负载监控器根据待选虚拟机集合Set中各虚拟机的标识，从内部的CPU平均负载表TC、上行网络平均速率表TBW和P2P下载请求待传输数据量表TD中查询待选虚拟机集合Set中各虚拟机的动态参数，并组成当前时间周期下待选虚拟机集合所述负载信息loadset，返回给负载估算选择器；
若不是，则表示当前系统时间属于下一个时间周期，先更新新一周期下的CPU平均负载表TC、上行网络平均速率表TBW和待传输数据量表TD，再查询待选虚拟机集合Set中各虚拟机的动态参数，并组成待选虚拟机集合所述负载信息loadset，返回给负载估算选择器。
所述负载监控器是按如下过程更新CPU平均负载表TC、上行网络平均速率表TBW和P2P下载请求待传输数据量表TD：
先记录当前系统时间为下一个时间周期的开始时间；
接着所述监控器通过HTTP请求收集最新时间周期下VM中各虚拟机的待处理的信息I={I1,I2,...,Ii,...IN}，Ii表示最新时间周期下第i台虚拟机待处理的信息，Ii={Ci,Bytesi,2,P2P_Reqsi}，Ci、Bytesi,2和P2P_Reqsi分别表示最新时间周期下的第i台虚拟机vmi的平均CPU负载、网卡已经传输的字节总数和收到的m个P2P下载请求；
负载监控器直接用Ci更新第i台虚拟机vmi的CPU平均负载表TC；
计算最新时间周期下第i台虚拟机vmi的上行网络平均速率BWi=(Bytesi,2－Bytesi,1)/T后更新上行网络平均速率表TBW；Bytesi,1表示虚拟机vmi在上个时间周期下网卡已经传输的字节总数，T表示一个周期的时间长度；
计算最新时间周期下第i台虚拟机vmi待传输的数据量
Figure SMS_1
后更新待传输数据量表TD，其中，dij、tij分别表示上个时间周期下第i台虚拟机vmi第j个P2P下载请求rij的镜像数据量、开始时间；tcur是当前系统时间，P2P_BWdefault是通用型FaaS系统中各台虚拟机间P2P分发默认的最大带宽。
负载估算选择器计算当前时间周期下第k台待选虚拟机vmset,k负载loadset,k的总得分Sset,k=w1×Sset,k,1+w2×Sset,k,2+w3×Sset,k,3，其中，Sset,k,1表示第k台待选虚拟机vmset,k平均CPU负载的得分，且Sset,k,1=1-Cset,k/max{Cset,1,Cset,2,...,Cset,k,...,Cset,n}，Cset,k表示第k台待选虚拟机vmset,k平均CPU负载；Sset,k,2表示第k台待选虚拟机vmset,k的上行网络平均速率负载得分，且Sset,k,2=1－BWset,k/BWdefault，BWset,k表示第k台待选虚拟机vmset,k的上行网络平均速率负载，BWdefault是虚拟机间设置的最大带宽；Sset,k,3表示第k台待选虚拟机vmset,k待传输的数据量负载得分，且Sset,k,3=1－Dset,k/max{Dset,1,Dset,2,...,Dset,k,...,Dset,n}；Dset,k表示第k台待选虚拟机vmset,k待传输的数据量，w1、w2、w3分别为三个得分的权重系数。
与现有技术相比，本发明的有益效果在于：
本发明通过元数据管理器为每个镜像单独管理P2P分发网络中虚拟机的元数据对象，使得绝大多数创建容器次数少的函数可以利用FaaS系统中其他函数缓存的镜像，将许多从慢速镜像仓库的拉取请求转变成FaaS系统内P2P的镜像拉取请求，降低了创建容器的时延。
本发明中，元数据管理器内部采用双向循环链表结构来组织P2P分发网络中虚拟机的元数据对象，与树形结构相比，不仅更具有灵活性，而且降低了单次查找、更新内部表的时间复杂度，从而缩短了关键路径所消耗的时间，降低了创建容器的时延。
本发明通过负载估算选择器引入感知虚拟机负载的机制，使得调度器能为下游虚拟机选择P2P分发网络中负载最轻的虚拟机提供镜像下载服务，可以缩短下游虚拟机下载镜像消耗的时间，从而降低了创建容器的时延。
本发明中通过负载监控器收集并预处理虚拟机的负载信息，当收到负载估算选择器获取待选虚拟机负载信息的请求时，可以快速予以回应，尽量缩短了关键路径所消耗的时间。另外，负载监控器以HTTP请求周期异步的方式收集虚拟机的负载信息，给系统带来的额外开销比较低。
附图说明
图1为本发明在通用FaaS平台上实现的架构图；
图2为本发明元数据管理器内部结构图。
具体实施方式
为将本发明的技术方案描述的更清楚，下面结合附图对本发明的具体实施方式作进一步的详细阐述，在本具体实施方案中，虚拟机的数量可以随着系统整体资源利用情况动态改变。
本实施例中，一种基于镜像级元数据管理和负载感知的P2P下载镜像方法，是应用于通用型FaaS系统中，该通用型FaaS系统包括：用户Users、调度器、镜像仓库和N台虚拟机。如图1所示，各部分的具体描述如下：用户Users通过HTTP或者触发器的方式向FaaS系统发送函数调用请求，等到系统的处理结果；调度器先将用户Users的函数调用请求保存到调用队列中，然后从空闲容器队列中取出空闲容器并将调用请求转发给空闲容器，如果当前空闲容器队列为空，需要创建新的容器来服务调用请求；每台虚拟机中均包含一个管理器，负责接收并响应调度器的命令、函数容器的创建和回收、镜像的下载和删除以及为其他虚拟机提供镜像数据传输的功能。令镜像仓库的静态参数为Registry={IPreg,Portreg}，IPreg、Portreg分别表示镜像仓库的IP地址和服务端口，镜像仓库通常限制了每台虚拟机下载镜像的最大带宽以减少高并发的带宽压力，镜像仓库设置的带宽小于虚拟机之间P2P下载镜像的最大带宽。令虚拟机记为VM={vm1,vm2,...,vmi,...,vmN}，vmi表示第i台虚拟机；1≤i≤N。
令第i台虚拟机vmi的静态参数为vali={IPi,Porti}，IPi、Porti分别表示第i台虚拟机vmi的IP地址、管理器监听其他虚拟机下载请求的端口号；
令第i台虚拟机vmi在当前时间周期内的动态参数为loadi={Ci,BWi,Di}；Ci、BWi和Di分别表示第i台虚拟机vmi在当前时间周期内的CPU平均负载、上行网络平均速率、待传输的数据量；
令第i台虚拟机vmi在当前时间周期内收到的m个P2P下载请求记为P2P_Reqsi={ri1,ri2,...,rij,...,rim}，rij表示第i台虚拟机vmi在当前时间周期收到的第j个P2P下载请求，且rij={dij,tij}；dij、tij分别表示在当前时间周期下第j个P2P下载请求rij的镜像数据量、开始时间，1≤j≤m。
通用型FaaS系统中还设置有元数据管理器、负载监控器以及负载估算选择器，元数据管理器负责为每个镜像单独组织管理P2P分发网络的元数据对象并调用负载估算选择器的接口选择负载最轻的虚拟机提供镜像下载服务。该P2P下载镜像方法是按如下步骤进行：
步骤1、调度器接收用户Users发送的函数Functionid的调用请求reqid，并判断调度器内用于执行函数Functionid的空闲容器所在的队列是否为空，若是，则顺序执行步骤1.1，否则，执行步骤8；
步骤1.1、调度器随机选择一个下游虚拟机vmdown，下游虚拟机vmdown从上游虚拟机vmup中下载标识为imageid的镜像，并基于imageid的镜像创建函数Functionid的容器，从而利用函数Functionid的空闲容器来服务调用请求reqid；
步骤1.2、调度器将下游虚拟机vmdown的静态参数valdown和镜像标识imageid作为参数传递给元数据管理器以获取上游虚拟机vmup的静态参数valup；
具体的说，调度器接收用户发送的函数F1的调用请求req1，函数F1需要镜像image1创建容器，调度器判断出用于执行函数F1的空闲容器所在的队列为空，则随机选择一个下游虚拟机vmd，并将静态参数vald和镜像标识image1作为参数传递给元数据管理器。
步骤2、元数据管理器收到valdown和imageid后，查询内部表1中是否存在表项<valdown-imageid,metadata>，其中，metadata表示元数据对象，且metadata={val1,val2}，val1、val2为两个虚拟机的静态参数；若存在表项<valdown-imageid,metadata>，则将表项中metadata的val2作为上游虚拟机vmup的静态参数valup返回给调度器，并执行步骤4；若不存在表项<valdown-imageid,metadata>，则元数据管理器创建元数据对象metadata={valdown,valUnknown}，并向内部表1中添加表项<valdown-imageid,metadata>；其中，valdown表示下游虚拟机vmdown的静态参数，valUnknown表示任一虚拟机vmUnknown的静态参数；
具体的说，元数据管理器当前状态如图2左图所示，元数据管理器收到参数vald和镜像标识image1参数后，查询内部表1后发现不存在<vald-image1,metadata>表项，元数据管理器先创建元数据对象metadata={vald,valUnknown}，并向内部表1中添加表项<vald-image1,metadata>，如图2右图内部表1所示。
步骤3、元数据管理器查询内部表2中是否存在表项<imageid,LinkedList>，其中，LinkedList为镜像imageid的P2P分发网络的链表结构，且LinkedList={hp,tp}，hp和tp分别表示链表LinkedList中指向元数据对象的头指针和尾指针；
若不存在表项<imageid,LinkedList>，则元数据管理器先创建链表结构LinkedList，再将元数据对象metadata中valUnknown的值改为镜像仓库的静态参数Registry={IPreg,Portreg}后插入链表结构LinkedList中，然后向内部表2中添加表项<imageid,LinkedList>，最后将镜像仓库的静态参数Registry作为上游虚拟机vmup的静态参数valup返回给调度器，如图2元数据管理器内部表1中的<val1-image1,{val1,Registry}>表项所示；之后执行步骤4；
若存在表项<imageid,LinkedList>，则从链表结构LinkedList的头指针hp开始，元数据管理器先选择n个元数据对象，并根据元数据对象metadata中val1的参数组成当前时间周期下待选虚拟机集合Set={vmset,1,vmset,2,...,vmset,k,...,vmset,n}，其中，vmset,k表示第k台待选虚拟机；再将Set作为参数传递给负载估算选择器，并执行步骤3.1；
具体的说，将n的值设为3；如图2左图所示，元数据管理器内部表2中image1链表头指针指向虚拟机vm2的静态参数val2，从头指针开始选择3个元数据对象中的第一个属性，组成待选虚拟机集合Set={val2，val3，val4}，并集合Set传递给负载估算选择器。
步骤3.1、负载估算选择器接收到待选虚拟机集合Set后，将待选虚拟机集合Set传递给负载监控器；负载监控器接收到待选虚拟机集合Set后，则判断当前系统时间是否属于当前时间周期；
若是，则负载监控器根据待选虚拟机集合Set中各虚拟机的标识，从内部的CPU平均负载表TC、上行网络平均速率表TBW和P2P下载请求待传输数据量表TD中查询待选虚拟机集合Set中各虚拟机的动态参数，并组成当前时间周期下待选虚拟机集合负载信息loadset，返回给负载估算选择器，并执行步骤3.2；
若不是，则表示当前系统时间属于下一个时间周期，负载监控器先记录当前系统时间为下一个时间周期的开始时间；接着监控器通过HTTP请求收集最新时间周期下VM中各虚拟机的待处理的信息I={I1,I2,...,Ii,...IN}，Ii表示最新时间周期下第i台虚拟机待处理的信息，Ii={Ci,Bytesi,2,P2P_Reqsi}，Ci、Bytesi,2和P2P_Reqsi分别表示最新时间周期下的第i台虚拟机vmi的平均CPU负载、网卡已经传输的字节总数和收到的m个P2P下载请求；负载监控器直接用Ci更新第i台虚拟机vmi的CPU平均负载表TC；计算最新时间周期下第i台虚拟机vmi的上行网络平均速率BWi=(Bytesi,2－Bytesi,1)/T后更新上行网络平均速率表TBW；Bytesi,1表示虚拟机vmi在上个时间周期下网卡已经传输的字节总数，T表示一个周期的时间长度；计算最新时间周期下第i台虚拟机vmi待传输的数据量
Figure SMS_2
后更新待传输数据量表TD，其中，dij、tij分别表示上个时间周期下第i台虚拟机vmi第j个P2P下载请求rij的镜像数据量、开始时间；tcur是当前系统时间，P2P_BWdefault是通用型FaaS系统中各台虚拟机间P2P分发默认的最大带宽。
具体的说，负载监控器通过HTTP请求收集最新时间周期下各虚拟机的待处理的信息如表1中所示，将时间周期T设置为10s，以此计算各虚拟机上行网络平均速率。需要说明的是，技术人员可以根据实际需求设置不同的时间周期间隔。接着，按照上述公式计算各虚拟机待传输的数据量，最终结果如表1中平均负载信息所示。
表1本发明负载监控器的内部特征表
Figure SMS_3
负载监控器用计算的最终结果更新新周期下的CPU平均负载表TC、上行网络平均速率表TBW和待传输数据量表TD，再查询待选虚拟机集合Set中各虚拟机的动态参数，并组成待选虚拟机集合负载信息loadset，返回给负载估算选择器，并执行步骤3.2。
步骤3.2、负载估算选择器根据负载信息loadset，通过公式Sset,k=w1×Sset,k,1+w2×Sset,k,2+w3×Sset,k,3计算待选虚拟机集合Set中各虚拟机在当前时间周期下负载的总得分Sset={Sset,1,Sset,2,...,Sset,k,...,Sset,n}；Sset,k表示当前时间周期第k台待选虚拟机vmset,k负载loadset,k的总得分；其中，Sset,k,1表示第k台待选虚拟机vmset,k平均CPU负载的得分，且Sset,k,1=1－Cset,k/max{Cset,1,Cset,2,...,Cset,k,...,Cset,n}，Cset,k表示第k台待选虚拟机vmset,k平均CPU负载；Sset,k,2表示第k台待选虚拟机vmset,k的上行网络平均速率负载得分，且Sset,k,2=1－BWset,k/BWdefault，BWset,k表示第k台待选虚拟机vmset,k的上行网络平均速率负载，BWdefault是虚拟机间设置的最大带宽；Sset,k,3表示第k台待选虚拟机vmset,k待传输的数据量负载得分，且Sset,k,3=1－Dset,k/max{Dset,1,Dset,2,...,Dset,k,...,Dset,n}；Dset,k表示第k台待选虚拟机vmset,k待传输的数据量，w1、w2、w3分别为三个得分的权重系数。
具体的说，负载估算选择器待选虚拟机集合Set的负载信息loadset如表2中平均负载所示。将BWdefault设为10000000bps，需要说明的是，真实FaaS系统BWdefault的值更大，通常为500Mbps~1000Mbps。按照公式先分别计算待选虚拟机平均CPU负载得分Sset，1，上行网络平均速率负载得分Sset，2和待传输数据量负载得分Sset，3，计算结果如表2中右半部分前三列所示。然后将三个得分权重系数w1、w2、w3分别设置为0.15、0.65、0.35，再根据公式计算待选集合各虚拟机总得分Sset，计算结果如表2右半部分最后一列所示。需要说明的是，技术人员可以根据实际需求设置不同的得分权重系数，并且系数的值越大表示其对应的负载对镜像下载延迟影响越大。
表2 本发明负载估算选择器计算负载的得分表
Figure SMS_4
步骤3.3、负载估算选择器从总得分集合Sset中选择得分最高的虚拟机返回给元数据管理器，作为当前时间周期待选虚拟机集合Set中最轻负载的虚拟机vmset,lightest。根据表2中最后一列所示结果，虚拟机vmset，2为最轻负载的虚拟机，将其标识信息返回给元数据管理器。
元数据管理器获取待选虚拟机集合Set当前时间周期下最轻负载的虚拟机vmset,lightest后，先将元数据对象metadata中valUnknown的值改为虚拟机vmset,lightest的静态参数valset,lightest，再将元数据对象metadata插入链表LinkedList的尾指针tp之后，同时链表结构LinkedList的头指针hp适时向后移动；最后将虚拟机vmset,lightest的静态参数valset,lightest作为上游虚拟机vmup的静态参数valup返回给调度器；1≤k,lightest≤m；
具体的说，最轻负载的虚拟机vmset，2的静态参数为val3，元数据管理器先将元数据对象metadata中valUnknown的值改为静态参数val3，再将元数据对象metadata插入链表LinkedList的尾指针tp之后，同时链表结构LinkedList的头指针hp向右移动，执行后元数据管理器的最终状态如图2右图所示。
步骤4、调度器接收到上游虚拟机vmup的静态参数valup后，将静态参数valup、函数Functionid和镜像标识imageid传递给下游虚拟机vmdown的管理器，并发送创建容器的命令。
步骤5、下游虚拟机vmdown中的管理器接收到创建容器的命令后，根据静态参数valup向上游虚拟机vmup发送镜像标识为imageid的镜像下载请求。
步骤6、上游虚拟机vmup监听到下游虚拟机vmdown发送的镜像下载请求后，采用HTTP协议将标识为imageid的镜像数据传输给虚拟机vmdown。
步骤7、下游虚拟机vmdown下载标识为imageid的镜像数据完成后，基于标识为imageid的镜像创建函数Functionid的空闲容器，并将空闲容器添加到调度器内函数Functionid的空闲容器所在的队列中。
步骤8、调度器从函数Functionid的空闲容器所在队列的队首中取出空闲容器，并将调用请求reqid转发给队首的空闲容器来执行，并将执行结果反馈给用户Users。
具体的说，调度器收到元数据管理器返回的静态参数val3后，将函数F1和镜像标识image1传递给下游虚拟机vmd的管理器，并发送创建容器的命令；下游虚拟机vmd的管理器根据收到的信息，向虚拟机vm3发送镜像下载请求，下载完后创建函数F1的容器，并通知调度器；调度器将F1的调用请求分配给该容器来执行，并将执行结果反馈给用户。

Claims (5)

1.一种基于镜像级元数据管理和负载感知的P2P下载镜像方法，是应用于通用型FaaS系统中，所述通用型FaaS系统包括：用户Users、调度器、镜像仓库和N台虚拟机，其中，每台虚拟机中均包含一个管理器，令所述镜像仓库的静态参数为Registry={IPreg,Portreg}，
IPreg、Portreg分别表示镜像仓库的IP地址和服务端口，令N台虚拟机记为VM={vm1,vm2,...,vmi,...,vmN}，vmi表示第i台虚拟机；1≤i≤N；其特征在于：
令所述第i台虚拟机vmi的静态参数为vali={IPi,Porti}，IPi、Porti分别表示第i台虚拟机vmi的IP地址、管理器监听其他虚拟机下载请求的端口号；
令所述第i台虚拟机vmi在当前时间周期内的动态参数为loadi={Ci,BWi,Di}；Ci、BWi和Di分别表示第i台虚拟机vmi在当前时间周期内的CPU平均负载、上行网络平均速率、待传输的数据量；
令所述第i台虚拟机vmi在当前时间周期内收到的m个P2P下载请求记为P2P_Reqsi={ri1,ri2,...,rij,...,rim}，rij表示第i台虚拟机vmi在当前时间周期收到的第j个P2P下载请求，且rij={dij,tij}；dij、tij分别表示在当前时间周期下第j个P2P下载请求rij的镜像数据量、开始时间，1≤j≤m；
所述通用型FaaS系统中还设置有元数据管理器、负载监控器以及负载估算选择器，所述P2P下载镜像方法是按如下步骤进行：
步骤1、所述调度器接收用户Users发送的函数Functionid的调用请求reqid，并判断所述调度器内用于执行所述函数Functionid的空闲容器所在的队列是否为空，若是，则顺序执行步骤1.1，否则，执行步骤8；
步骤1.1、所述调度器随机选择一个下游虚拟机vmdown，下游虚拟机vmdown从上游虚拟机vmup中下载标识为imageid的镜像，并基于所述imageid的镜像创建函数Functionid的容器，从而利用函数Functionid的空闲容器来服务所述调用请求reqid；
步骤1.2、所述调度器将下游虚拟机vmdown的静态参数valdown和镜像标识imageid作为参数传递给所述元数据管理器以获取上游虚拟机vmup的静态参数valup；
步骤2、所述元数据管理器收到valdown和imageid后，查询内部表1中是否存在表项<valdown-imageid,metadata>，其中，metadata表示元数据对象，且metadata={val1,val2}，val1、val2为两个虚拟机的静态参数；若存在所述表项<valdown-imageid,metadata>，则将所述表项中metadata的val2作为上游虚拟机vmup的静态参数valup返回给调度器，并执行步骤4；若不存在所述表项<valdown-imageid,metadata>，则所述元数据管理器创建元数据对象metadata={valdown,valUnknown}，并向内部表1中添加表项<valdown-imageid,metadata>；其中，valdown表示下游虚拟机vmdown的静态参数，valUnknown表示任一虚拟机vmUnknown的静态参数；
步骤3、所述元数据管理器查询内部表2中是否存在表项<imageid,LinkedList>，其中，LinkedList为镜像imageid的P2P分发网络的链表结构，且LinkedList={hp,tp}，hp和tp分别表示链表LinkedList中指向元数据对象的头指针和尾指针；
若不存在所述表项<imageid,LinkedList>，则所述元数据管理器先创建链表结构LinkedList，再将所述元数据对象metadata中valUnknown的值改为所述镜像仓库的静态参数Registry={IPreg,Portreg}后插入所述链表结构LinkedList中，然后向内部表2中添加表项<imageid,LinkedList>，最后将所述镜像仓库的静态参数Registry作为上游虚拟机vmup的静态参数valup返回给调度器，并执行步骤4；
若存在所述表项<imageid,LinkedList>，则从链表结构LinkedList的头指针hp开始，所述元数据管理器先选择n个元数据对象，并根据元数据对象metadata中val1的参数组成当前时间周期下待选虚拟机集合Set={vmset,1,vmset,2,...,vmset,k,...,vmset,n}，其中，vmset,k表示第k台待选虚拟机；再将Set作为参数传递给所述负载估算选择器以获取待选虚拟机集合Set当前时间周期下最轻负载的虚拟机vmset,lightest；然后先将所述元数据对象metadata中valUnknown的值改为虚拟机vmset,lightest的静态参数valset,lightest，再将元数据对象metadata插入所述链表LinkedList的尾指针tp之后，同时所述链表结构LinkedList的头指针hp适时向后移动；最后将所述虚拟机vmset,lightest的静态参数valset,lightest作为上游虚拟机vmup的静态参数valup返回给调度器；1≤k,lightest≤m；
步骤4、所述调度器接收到上游虚拟机vmup的静态参数valup后，将所述静态参数valup、函数Functionid和镜像标识imageid传递给下游虚拟机vmdown的管理器，并发送创建容器的命令；
步骤5、所述下游虚拟机vmdown中的管理器接收到创建容器的命令后，根据静态参数valup向上游虚拟机vmup发送镜像标识为imageid的镜像下载请求；
步骤6、所述上游虚拟机vmup监听到所述下游虚拟机vmdown发送的镜像下载请求后，采用HTTP协议将标识为imageid的镜像数据传输给所述虚拟机vmdown；
步骤7、所述下游虚拟机vmdown下载标识为imageid的镜像数据完成后，基于所述标识为imageid的镜像创建函数Functionid的空闲容器，并将所述空闲容器添加到调度器内函数Functionid的空闲容器所在的队列中；
步骤8、所述调度器从函数Functionid的空闲容器所在队列的队首中取出空闲容器，并将所述调用请求reqid转发给所述队首的空闲容器来执行，并将执行结果反馈给用户Users。
2.根据权利要求1所述的基于镜像级元数据管理和负载感知的P2P下载镜像方法，其特征在于，步骤3中的所述负载估算选择器是按如下步骤获取最轻负载的虚拟机vmset,lightest：
步骤3.1、所述负载估算选择器接收到待选虚拟机集合Set后，将所述待选虚拟机集合Set传递给所述负载监控器以获取当前时间周期下待选虚拟机集合中所有虚拟机的动态参数loadset={loadset,1,loadset,2,...,loadset,k,...,loadset,n}；loadset,k表示第k台待选虚拟机vmset,k在当前时间周期下的负载；
步骤3.2、所述负载估算选择器根据负载信息loadset，计算待选虚拟机集合Set中各虚拟机在当前时间周期下负载的总得分集合Sset={Sset,1,Sset,2,...,Sset,k,...,Sset,n}；Sset,k表示当前时间周期第k台待选虚拟机vmset,k负载loadset,k的总得分；
步骤3.3、所述负载估算选择器从总得分集合Sset中选择得分最高的虚拟机作为当前时间周期待选虚拟机集合Set中最轻负载的虚拟机vmset,lightest。
3.根据权利要求2所述的基于镜像级元数据管理和负载感知的P2P下载镜像方法，其特征在于，步骤3.1中的负载监控器是按如下过程获取待选虚拟机集合中所有虚拟机的动态参数：
所述负载监控器接收到待选虚拟机集合Set后，则判断当前系统时间是否属于当前时间周期；若是，则所述负载监控器根据待选虚拟机集合Set中各虚拟机的标识，从内部的CPU平均负载表TC、上行网络平均速率表TBW和P2P下载请求待传输数据量表TD中查询待选虚拟机集合Set中各虚拟机的动态参数，并组成当前时间周期下待选虚拟机集合所述负载信息loadset，返回给负载估算选择器；
若不是，则表示当前系统时间属于下一个时间周期，先更新新一周期下的CPU平均负载表TC、上行网络平均速率表TBW和待传输数据量表TD，再查询待选虚拟机集合Set中各虚拟机的动态参数，并组成待选虚拟机集合所述负载信息loadset，返回给负载估算选择器。
4.根据权利要求3所述的基于镜像级元数据管理和负载感知的P2P下载镜像方法，其特征在于，所述负载监控器是按如下过程更新CPU平均负载表TC、上行网络平均速率表TBW和P2P下载请求待传输数据量表TD：
先记录当前系统时间为下一个时间周期的开始时间；接着所述监控器通过HTTP请求收集最新时间周期下VM中各虚拟机的待处理的信息I={I1,I2,...,Ii,...IN}，Ii表示最新时间周期下第i台虚拟机待处理的信息，Ii={Ci,Bytesi,2,P2P_Reqsi}，Ci、Bytesi,2和P2P_Reqsi分别表示最新时间周期下的第i台虚拟机vmi的平均CPU负载、网卡已经传输的字节总数和收到的m个P2P下载请求；负载监控器直接用Ci更新第i台虚拟机vmi的CPU平均负载表TC；
计算最新时间周期下第i台虚拟机vmi的上行网络平均速率BWi=(Bytesi,2－Bytesi,1)/T后更新上行网络平均速率表TBW；Bytesi,1表示虚拟机vmi在上个时间周期下网卡已经传输的字节总数，T表示一个周期的时间长度；计算最新时间周期下第i台虚拟机vmi待传输的数据量
Figure QLYQS_1
后更新待传输数据量表TD，其中，dij、tij分别表示上个时间周期下第i台虚拟机vmi第j个P2P下载请求rij的镜像数据量、开始时间；tcur是当前系统时间，P2P_BWdefault是通用型FaaS系统中各台虚拟机间P2P分发默认的最大带宽。
5.根据权利要求2所述的基于镜像级元数据管理和负载感知的P2P下载镜像方法，其特征在于，负载估算选择器计算当前时间周期下第k台待选虚拟机vmset,k负载loadset,k的总得分Sset,k=w1×Sset,k,1+w2×Sset,k,2+w3×Sset,k,3，其中，Sset,k,1表示第k台待选虚拟机vmset,k平均CPU负载的得分，且Sset,k,1=1-Cset,k/max{Cset,1,Cset,2,...,Cset,k,...,Cset,n}，Cset,k表示第k台待选虚拟机vmset,k平均CPU负载；Sset,k,2表示第k台待选虚拟机vmset,k的上行网络平均速率负载得分，且Sset,k,2=1－BWset,k/BWdefault，BWset,k表示第k台待选虚拟机vmset,k的上行网络平均速率负载，BWdefault是虚拟机间设置的最大带宽；Sset,k,3表示第k台待选虚拟机vmset,k待传输的数据量负载得分，且Sset,k,3=1－Dset,k/max{Dset,1,Dset,2,...,Dset,k,...,Dset,n}；Dset,k表示第k台待选虚拟机vmset,k待传输的数据量，w1、w2、w3分别为三个得分的权重系数。
CN202310435308.8A 2023-04-21 2023-04-21 基于镜像级元数据管理和负载感知的p2p下载镜像方法 Active CN116192870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310435308.8A CN116192870B (zh) 2023-04-21 2023-04-21 基于镜像级元数据管理和负载感知的p2p下载镜像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310435308.8A CN116192870B (zh) 2023-04-21 2023-04-21 基于镜像级元数据管理和负载感知的p2p下载镜像方法

Publications (2)

Publication Number Publication Date
CN116192870A true CN116192870A (zh) 2023-05-30
CN116192870B CN116192870B (zh) 2023-07-11

Family

ID=86444609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310435308.8A Active CN116192870B (zh) 2023-04-21 2023-04-21 基于镜像级元数据管理和负载感知的p2p下载镜像方法

Country Status (1)

Country Link
CN (1) CN116192870B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160246636A1 (en) * 2015-02-25 2016-08-25 Red Hat Israel, Ltd. Cross hypervisor migration of virtual machines with vm functions
WO2017008584A1 (zh) * 2015-07-15 2017-01-19 中兴通讯股份有限公司 一种虚拟机启动方法、装置及管理节点
CN108076078A (zh) * 2016-11-09 2018-05-25 北京金山云网络技术有限公司 一种云主机创建方法、装置及云服务系统
CN110096333A (zh) * 2019-04-18 2019-08-06 华中科技大学 一种基于非易失内存的容器性能加速方法
CN110399205A (zh) * 2019-07-29 2019-11-01 中国科学技术大学 一种基于状态感知的虚拟机内存动态调节方法
WO2020069196A1 (en) * 2018-09-28 2020-04-02 Amazon Technologies, Inc. Client-side filesystem for a remote repository
CN111340414A (zh) * 2020-02-14 2020-06-26 上海东普信息科技有限公司 云仓大数据处理方法、云仓系统、计算机设备和存储介质
CN112235364A (zh) * 2020-09-29 2021-01-15 石家庄市善理通益科技有限公司 一种对讲服务集群的业务级联拓展方法及其执行单元
US20210089557A1 (en) * 2019-09-20 2021-03-25 Netapp Inc. Dependency aware improvements to support parallel replay or parallel replication of operations which are directed to a common inode
US10970255B1 (en) * 2018-07-27 2021-04-06 Veeva Systems Inc. System and method for synchronizing data between a customer data management system and a data warehouse
CN113220416A (zh) * 2021-04-28 2021-08-06 烽火通信科技股份有限公司 基于云平台的集群节点伸缩系统及实现方法和运行方法
CN113849450A (zh) * 2021-09-30 2021-12-28 联想(北京)有限公司 一种信息处理方法和信息处理装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160246636A1 (en) * 2015-02-25 2016-08-25 Red Hat Israel, Ltd. Cross hypervisor migration of virtual machines with vm functions
WO2017008584A1 (zh) * 2015-07-15 2017-01-19 中兴通讯股份有限公司 一种虚拟机启动方法、装置及管理节点
CN108076078A (zh) * 2016-11-09 2018-05-25 北京金山云网络技术有限公司 一种云主机创建方法、装置及云服务系统
US10970255B1 (en) * 2018-07-27 2021-04-06 Veeva Systems Inc. System and method for synchronizing data between a customer data management system and a data warehouse
WO2020069196A1 (en) * 2018-09-28 2020-04-02 Amazon Technologies, Inc. Client-side filesystem for a remote repository
CN110096333A (zh) * 2019-04-18 2019-08-06 华中科技大学 一种基于非易失内存的容器性能加速方法
US20200334066A1 (en) * 2019-04-18 2020-10-22 Huazhong University Of Science And Technology Nvm-based method for performance acceleration of containers
CN110399205A (zh) * 2019-07-29 2019-11-01 中国科学技术大学 一种基于状态感知的虚拟机内存动态调节方法
US20210089557A1 (en) * 2019-09-20 2021-03-25 Netapp Inc. Dependency aware improvements to support parallel replay or parallel replication of operations which are directed to a common inode
CN111340414A (zh) * 2020-02-14 2020-06-26 上海东普信息科技有限公司 云仓大数据处理方法、云仓系统、计算机设备和存储介质
CN112235364A (zh) * 2020-09-29 2021-01-15 石家庄市善理通益科技有限公司 一种对讲服务集群的业务级联拓展方法及其执行单元
CN113220416A (zh) * 2021-04-28 2021-08-06 烽火通信科技股份有限公司 基于云平台的集群节点伸缩系统及实现方法和运行方法
CN113849450A (zh) * 2021-09-30 2021-12-28 联想(北京)有限公司 一种信息处理方法和信息处理装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GABRIELE PROIETTI MATTIA ET AL.: "P2PFaaS: A framework for FaaS peer-to-peer scheduling and load balancing in Fog and Edge computing", SOFTWAREX *
QIANG ZHANG ET AL.: "The Design and Implementation of UniKV for Mixed Key-Value Storage Workloads", IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING *
汪源;刘传昌;: "云计算环境下业务自动化部署的设计与实现", 软件, no. 09 *

Also Published As

Publication number Publication date
CN116192870B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
WO2019184750A1 (zh) 深度学习作业调度方法、系统和相关设备
US11496546B2 (en) File download manager
US8386512B2 (en) System for managing data collection processes
KR101468201B1 (ko) 문서들로부터 토픽들의 병렬 생성
US10453165B1 (en) Computer vision machine learning model execution service
US10193973B2 (en) Optimal allocation of dynamically instantiated services among computation resources
US20200219028A1 (en) Systems, methods, and media for distributing database queries across a metered virtual network
CN110221901A (zh) 容器资源创建方法、装置、设备及计算机可读存储介质
CN110569252B (zh) 一种数据处理系统及方法
JP2008027442A (ja) サブタスク・プロセッサの分散スケジューリング
CN113760453B (zh) 容器镜像分发系统及容器镜像推送、拉取和删除方法
CN112968959B (zh) 一种资源请求方法及终端
WO2024077736A1 (zh) 一种面向物联网的机器学习容器镜像下载系统及其方法
CN113110800A (zh) 数据处理方法、装置、电子设备及存储介质
CN115185679A (zh) 人工智能算法的任务处理方法、装置、服务器及存储介质
CN108111598B (zh) 云盘数据的下发方法、装置及存储介质
CN116192870B (zh) 基于镜像级元数据管理和负载感知的p2p下载镜像方法
CN110955461B (zh) 计算任务的处理方法、装置、系统、服务器和存储介质
CN116932147A (zh) 流式作业处理方法、装置、电子设备及介质
JP2007200128A (ja) 計算機システム、管理サーバ、計算機設定時間を低減する方法およびプログラム
CN114610719B (zh) 跨集群数据处理方法、装置、电子设备以及存储介质
CN110300168A (zh) 一种基于多边缘服务器协作的并发任务优化方法
CN102957733A (zh) 一种动态调优的内容发布方法及系统
KR101694301B1 (ko) 스토리지 시스템의 파일 처리 방법 및 그 방법에 따른 데이터 서버
CN116185578A (zh) 计算任务的调度方法和计算任务的执行方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant