CN108965364A - 资源配置方法、装置及系统 - Google Patents

资源配置方法、装置及系统 Download PDF

Info

Publication number
CN108965364A
CN108965364A CN201710364676.2A CN201710364676A CN108965364A CN 108965364 A CN108965364 A CN 108965364A CN 201710364676 A CN201710364676 A CN 201710364676A CN 108965364 A CN108965364 A CN 108965364A
Authority
CN
China
Prior art keywords
task
gpu
type
ratio
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710364676.2A
Other languages
English (en)
Other versions
CN108965364B (zh
Inventor
叶航
浦世亮
周明耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201710364676.2A priority Critical patent/CN108965364B/zh
Publication of CN108965364A publication Critical patent/CN108965364A/zh
Application granted granted Critical
Publication of CN108965364B publication Critical patent/CN108965364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明是关于一种资源配置方法、装置及系统,属于云计算技术领域。所述方法包括:接收客户端提交的多种不同类型的任务;获取每种类型的任务占所有任务的任务比例;根据所述任务比例为每种类型的任务配置资源,不同类型的任务被配置的资源不同。本发明解决了手动配置资源的配置过程费时费力,且效率较低的问题,实现了简化配置过程,提高处理任务的效率的效果,本发明用于云服务端的资源配置。

Description

资源配置方法、装置及系统
技术领域
本发明涉及云计算技术领域,特别涉及一种资源配置方法、装置及系统。
背景技术
随着大数据时代的到来,用户对云服务端处理大数据的能力的要求越来越高。云服务端采用预先配置的资源(也即算法)对客户端提交的各种类型的任务(比如车辆图片任务、人脸图片任务及视频任务等)进行处理。
相关技术中,云服务端主要包括服务调度模块和任务处理模块。任务处理模块包括多个图形处理单元(Graphics Processing Unit,GPU),每一个GPU配置有一种资源。其中,服务调度模块用于接收客户端提交的任务,GPU用于采用配置的资源处理任务。处理不同类型的任务所需的资源不同。
在实现本发明的过程中,发明人发现相关技术至少存在以下问题:
云服务端在处理多种不同类型的任务时,为了实现资源的合理配置,需要用户根据任务类型的比例,手动为所有GPU配置资源,配置过程费时费力,且效率较低。
发明内容
为了解决相关技术中手动配置资源的配置过程费时费力,且效率较低的问题,本发明实施例提供了一种资源配置方法、装置及系统。所述技术方案如下:
根据本发明实施例的第一方面,提供一种资源配置方法,所述方法包括:
接收客户端提交的多种不同类型的任务;
获取每种类型的任务占所有任务的任务比例;
根据所述任务比例为每种类型的任务配置资源,不同类型的任务被配置的资源不同。
可选的,所述根据所述任务比例为每种类型的任务配置资源,包括:
根据所述任务比例确定每种类型的任务所需的图形处理单元GPU的数目n,n≥1;
为每种类型的任务对应的n个GPU配置用于处理相应类型任务的目标资源。
可选的,每个GPU预先存储有多个不同的资源,
所述为每种类型的任务对应的n个GPU配置用于处理相应类型任务的目标资源,包括:
指示所述n个GPU中每个GPU从预先存储的多个不同的资源中调用用于处理相应类型任务的目标资源。
可选的,所述获取每种类型的任务占所有任务的任务比例,包括:
每隔预设时长获取每种类型的任务占所述所有任务的任务比例。
可选的,所述根据所述任务比例为每种类型的任务配置资源,包括:
当所述任务比例发生变化时,根据变化后的任务比例为每种类型的任务配置资源。
可选的,所述当所述任务比例发生变化时,根据变化后的任务比例为每种类型的任务配置资源,包括:
当所述任务比例发生变化时,判断第一任务的优先级等级是否高于预设等级,所述第一任务为当前被处理的所有任务中的任一任务;
当所述第一任务的优先级等级高于所述预设等级时,待所述第一任务被第一GPU处理完之后,根据所述变化后的任务比例为所述第一GPU配置对应的目标资源;
当所述第一任务的优先级等级不高于所述预设等级时,指示所述第一GPU暂停处理所述第一任务,并根据所述变化后的任务比例为所述第一GPU配置对应的目标资源。
可选的,所述根据所述任务比例为每种类型的任务配置资源,包括:
当所述任务比例发生变化时,判断参与第一任务的用户数量是否大于预设数量阈值,所述第一任务为当前被处理的所有任务中的任一任务;
当参与所述第一任务的用户数量大于所述预设数量阈值时,待所述第一任务被第一GPU处理完之后,根据变化后的任务比例为所述第一GPU配置对应的目标资源;
当参与所述第一任务的用户数量不大于所述预设数量阈值时,指示所述第一GPU暂停处理所述第一任务,并根据所述变化后的任务比例为所述第一GPU配置对应的目标资源。
可选的,所述根据所述任务比例为每种类型的任务配置资源,包括:
当所述任务比例发生变化时,判断第一任务是否满足预设条件,所述第一任务为当前被处理的所有任务中的任一任务;
当所述第一任务满足所述预设条件时,待所述第一任务被第一GPU处理完之后,根据变化后的任务比例为所述第一GPU配置对应的目标资源;
当所述第一任务不满足所述预设条件时,指示所述第一GPU暂停处理所述第一任务,并根据所述变化后的任务比例为所述第一GPU配置对应的目标资源;
其中,所述预设条件为所述第一任务的类型为预设类型,且所述第一任务的处理进度大于预设进度阈值。
可选的,所述当所述任务比例发生变化时,根据变化后的任务比例为每种类型的任务配置资源,包括:
当所述任务比例发生变化时,按照已调用的目标资源发生变化的GPU数目最少为原则的配置策略,根据所述变化后的任务比例为每种类型的任务配置资源。
可选的,所述获取每种类型的任务占所有任务的任务比例,包括:
获取每个任务的任务数据段中的目标参数;
根据所述目标参数的值确定对应任务的类型;
根据每个任务的类型确定每种类型的任务占所述所有任务的任务比例。
可选的,所述接收客户端提交的多种不同类型的任务,包括:
通过网络服务接收所述客户端提交的多种不同类型的任务。
根据本发明实施例的第二方面,提供一种资源配置装置,所述装置包括:
接收模块,用于接收客户端提交的多种不同类型的任务;
获取模块,用于获取每种类型的任务占所有任务的任务比例;
配置模块,用于根据所述任务比例为每种类型的任务配置资源,不同类型的任务被配置的资源不同。
可选的,所述配置模块,包括:
确定子模块,用于根据所述任务比例确定每种类型的任务所需的图形处理单元GPU的数目n,n≥1;
第一配置子模块,用于为每种类型的任务对应的n个GPU配置用于处理相应类型任务的目标资源。
可选的,每个GPU预先存储有多个不同的资源,
所述第一配置子模块,用于:
指示所述n个GPU中每个GPU从预先存储的多个不同的资源中调用用于处理相应类型任务的目标资源。
可选的,所述获取模块,用于:
每隔预设时长获取每种类型的任务占所述所有任务的任务比例。
可选的,所述配置模块,包括:
第二配置子模块,用于在所述任务比例发生变化时,根据变化后的任务比例为每种类型的任务配置资源。
可选的,所述第二配置子模块,用于:
当所述任务比例发生变化时,判断第一任务的优先级等级是否高于预设等级,所述第一任务为当前被处理的所有任务中的任一任务;
当所述第一任务的优先级等级高于所述预设等级时,待所述第一任务被第一GPU处理完之后,根据所述变化后的任务比例为所述第一GPU配置对应的目标资源;
当所述第一任务的优先级等级不高于所述预设等级时,指示所述第一GPU暂停处理所述第一任务,并根据所述变化后的任务比例为所述第一GPU配置对应的目标资源。
可选的,所述配置模块,用于:
当所述任务比例发生变化时,判断参与第一任务的用户数量是否大于预设数量阈值,所述第一任务为当前被处理的所有任务中的任一任务;
当参与所述第一任务的用户数量大于所述预设数量阈值时,待所述第一任务被第一GPU处理完之后,根据变化后的任务比例为所述第一GPU配置对应的目标资源;
当参与所述第一任务的用户数量不大于所述预设数量阈值时,指示所述第一GPU暂停处理所述第一任务,并根据所述变化后的任务比例为所述第一GPU配置对应的目标资源。
可选的,所述配置模块,用于:
当所述任务比例发生变化时,判断第一任务是否满足预设条件,所述第一任务为当前被处理的所有任务中的任一任务;
当所述第一任务满足所述预设条件时,待所述第一任务被第一GPU处理完之后,根据变化后的任务比例为所述第一GPU配置对应的目标资源;
当所述第一任务不满足所述预设条件时,指示所述第一GPU暂停处理所述第一任务,并根据所述变化后的任务比例为所述第一GPU配置对应的目标资源;
其中,所述预设条件为所述第一任务的类型为预设类型,且所述第一任务的处理进度大于预设进度阈值。
可选的,所述第二配置子模块,用于:
当所述任务比例发生变化时,按照已调用的目标资源发生变化的GPU数目最少为原则的配置策略,根据所述变化后的任务比例为每种类型的任务配置资源。
可选的,所述获取模块,用于:
获取每个任务的任务数据段中的目标参数;
根据所述目标参数的值确定对应任务的类型;
根据每个任务的类型确定每种类型的任务占所述所有任务的任务比例。
可选的,所述接收模块,用于:
通过网络服务接收所述客户端提交的多种不同类型的任务。
根据本发明实施例的第三方面,提供一种资源配置装置,所述装置包括:处理器、存储器、网络接口和总线;
所述总线用于连接所述处理器、所述存储器和所述网络接口,所述处理器用于执行所述存储器中存储的程序,所述程序包括第一方面所述的资源配置方法。
根据本发明实施例的第四方面,提供一种资源配置系统,所述系统包括:云服务端和客户端,
所述云服务端包括第二方面或第三方面所述的资源配置装置;
所述客户端用于向所述云服务端提交多种不同类型的任务。
根据本发明实施例的第五方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当该计算机可读存储介质在计算机上运行时,使得计算机执行上述第一方面所提供的资源配置方法。
根据本发明实施例的第六方面,提供了一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述第一方面所提供的资源配置方法。
本发明实施例提供的技术方案可以包括以下有益效果:
本发明实施例提供的资源配置方法、装置及系统,云服务端接收客户端提交的多种不同类型的任务,再获取每种类型的任务占所有任务的任务比例,之后,根据任务比例为每种类型的任务配置资源,其中,不同类型的任务被配置的资源不同,实现了资源的自动配置和调整,无需用户手动配置资源,简化了配置过程,提高了处理任务的效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
为了更清楚地说明本发明的实施例,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1-1是本发明部分实施例中提供的资源配置方法所涉及的实施环境示意图;
图1-2是云服务端的结构示意图;
图2是根据一示例性实施例示出的一种资源配置方法的方法流程图;
图3是根据一示例性实施例示出的另一种资源配置方法的方法流程图;
图4-1是根据一示例性实施例示出的另一种资源配置方法的方法流程图;
图4-2是图4-1所示实施例中为每种类型的任务配置资源的方法流程图;
图5-1是根据一示例性实施例示出的一种资源配置装置的框图;
图5-2是图5-1所示实施例中一种配置模块的框图;
图5-3是图5-1所示实施例中一种配置模块的框图;
图6是根据一示例性实施例示出的再一种资源配置装置的框图。
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参见图1-1,其示出了本发明部分实施例中提供的资源配置方法所涉及的实施环境示意图。如图1-1所示,该实施例环境包括云服务端01和至少一个客户端02。云服务端01是一个云计算服务中心。客户端02可以是具有网络连接功能的设备,比如智能手机、平板电脑、便携式计算机或个人计算机等。云服务端01与客户端02之间可以通过有线网络或无线网络建立连接。客户端02用于向云服务端01提交多种不同类型的任务。示例的,客户端提交的任务可以是车辆图片任务、人脸图片任务及视频任务等。云服务端01用于基于云计算服务,采用配置的资源(例如,算法)处理客户端02提交的多种不同类型的任务。
图1-2示例性地示出了云服务端的结构示意图。如图1-2所示,云服务端可以包括调度服务设备100和图片服务器200。其中,调度服务设备100包括服务调度模块110,服务调度模块110用于通过网络服务(web service)接收客户端提交的多种不同类型的任务。示例的,客户端提交的任务可以是车辆图片任务、人脸图片任务及视频任务等。图片服务器200包括任务处理模块210,该任务处理模块210包括两个计算单元:第一计算单元211和第二计算单元212。第二计算单元212包括多个GPU。服务调度模块110将客户端提交的任务存储于数据库中,并将这些任务转换为图片服务器可执行的任务。之后,服务调度模块110将可执行的任务插入等待队列中,可执行的任务等待被处理。图片服务器200的第一计算单元211获取待处理的任务,并将获取的任务发送至第二计算单元212,第二计算单元212通过GPU处理任务。处理完之后,第二计算单元212输出处理结果。由于每一个GPU配置有一种资源,而不同类型的任务所需的资源不同,所以当图片服务器需要处理多种不同类型的任务时,需要用户根据任务类型的比例,手动为所有GPU配置资源。如果不进行资源配置,可能会导致某种类型的任务大量堆积,无法得到有效处理,或者已有资源无任务处理,最终造成云服务端的资源闲置或者性能下降。
比如,图片服务器需要处理三种类型的任务,这三种类型的任务分别是车辆图片任务、人脸图片任务和视频任务。其中,车辆图片任务所需的资源为算法A,人脸图片任务所需的资源为算法B,视频任务所需的资源为算法C,且第一种类型的任务(即车辆图片任务)占所有任务的任务比例是1:6,第二种类型的任务(即人脸图片任务)占所有任务的任务比例是1:3,第三种类型的任务(即视频任务)占所有任务的任务比例是1:2。假设第二计算单元212包括60个GPU,那么用户需要手动为这60个GPU中的10个GPU配置算法A,用于处理车辆图片任务,为20个GPU配置算法B,用于处理人脸图片任务,为30个GPU配置算法C,用于处理视频任务。该配置过程费时费力,处理任务的效率较低。
而本发明实施例提供的资源配置方法,能够实时获取每种类型的任务占所有任务的任务比例,根据任务比例为每种类型的任务配置资源,能够实现资源的自动配置,无需用户手动配置资源,简化了配置过程,提高了处理任务的效率。
图2是根据一示例性实施例示出的一种资源配置方法的方法流程图,该资源配置方法可以由图1-1所示实施环境中的云服务端01来执行。参见图2,该方法流程可以包括如下几个步骤:
步骤201、接收客户端提交的多种不同类型的任务。
步骤202、获取每种类型的任务占所有任务的任务比例。
步骤203、根据任务比例为每种类型的任务配置资源,不同类型的任务被配置的资源不同。
综上所述,本发明实施例提供的资源配置方法,云服务端接收客户端提交的多种不同类型的任务,再获取每种类型的任务占所有任务的任务比例,之后,根据任务比例为每种类型的任务配置资源,其中,不同类型的任务被配置的资源不同,实现了资源的自动配置,无需用户手动配置资源,简化了配置过程,提高了处理任务的效率。
可选的,步骤203中根据任务比例为每种类型的任务配置资源,包括:根据任务比例确定每种类型的任务所需的GPU的数目n,n≥1;为每种类型的任务对应的n个GPU配置用于处理相应类型任务的目标资源。
其中,每个GPU预先存储有多个不同的资源,相应的,为每种类型的任务对应的n个GPU配置用于处理相应类型任务的目标资源,包括:指示n个GPU中每个GPU从预先存储的多个不同的资源中调用用于处理相应类型任务的目标资源。
可选的,步骤202包括:每隔预设时长获取每种类型的任务占所有任务的任务比例。步骤203包括:当任务比例发生变化时,根据变化后的任务比例为每种类型的任务配置资源。
可选的,当任务比例发生变化时,根据变化后的任务比例为每种类型的任务配置资源,包括:当任务比例发生变化时,判断第一任务的优先级等级是否高于预设等级,该第一任务为当前被处理的所有任务中的任一任务;当第一任务的优先级等级高于预设等级时,待第一任务被第一GPU处理完之后,根据变化后的任务比例为第一GPU配置对应的目标资源;当第一任务的优先级等级不高于预设等级时,指示第一GPU暂停处理第一任务,并根据变化后的任务比例为第一GPU配置对应的目标资源。
可选的,步骤203包括:当任务比例发生变化时,判断参与第一任务的用户数量是否大于预设数量阈值,该第一任务为当前被处理的所有任务中的任一任务;当参与第一任务的用户数量大于预设数量阈值时,待第一任务被第一GPU处理完之后,根据变化后的任务比例为第一GPU配置对应的目标资源;当参与第一任务的用户数量不大于预设数量阈值时,指示第一GPU暂停处理第一任务,并根据变化后的任务比例为第一GPU配置对应的目标资源。
可选的,步骤203包括:当任务比例发生变化时,判断第一任务是否满足预设条件,该第一任务为当前被处理的所有任务中的任一任务;当第一任务满足预设条件时,待第一任务被第一GPU处理完之后,根据变化后的任务比例为第一GPU配置对应的目标资源;当第一任务不满足预设条件时,指示第一GPU暂停处理第一任务,并根据变化后的任务比例为第一GPU配置对应的目标资源;其中,预设条件为第一任务的类型为预设类型,且第一任务的处理进度大于预设进度阈值。
可选的,当任务比例发生变化时,根据变化后的任务比例为每种类型的任务配置资源,包括:当任务比例发生变化时,按照已调用的目标资源发生变化的GPU数目最少为原则的配置策略,根据变化后的任务比例为每种类型的任务配置资源。
可选的,步骤202包括:获取每个任务的任务数据段中的目标参数;根据目标参数的值确定对应任务的类型;根据每个任务的类型确定每种类型的任务占所有任务的任务比例。
可选的,步骤201可以包括:通过网络服务接收客户端提交的多种不同类型的任务。
图3是根据一示例性实施例示出的另一种资源配置方法的方法流程图,该资源配置方法可以由图1-1所示实施环境中的云服务端01来执行。参见图3,该方法流程可以包括如下几个步骤:
步骤301、通过网络服务接收客户端提交的多种不同类型的任务。
参见图1-1和图1-2,云服务端的调度服务设备通过web service接收客户端提交的多种不同类型的任务。之后,开启包括用于处理任务的云计算服务的多个服务。
步骤302、获取每个任务的任务数据段中的目标参数。
示例的,每个任务都可以采用可扩展标记语言(Extensible Markup Language,XML)文档来表示,该XML文档中的内容为任务对应的任务数据段。该任务数据段中的目标参数(algorithmtypeid)用于指示该任务的类型。不同类型的任务的任务数据段中的目标参数不同。示例的,车辆图片任务的任务数据段中的目标参数为x,人脸图片任务的任务数据段中的目标参数为y,视频任务的任务数据段中的目标参数为z。云服务端的调度服务设备获取每个任务的任务数据段中的目标参数,以便于根据目标参数的值确定对应任务的类型。
步骤303、根据目标参数的值确定对应任务的类型。
本发明实施例以云服务端包括一个图片服务器为例进行说明。
示例的,客户端提交了60个任务,其中,10个任务的任务数据段中的目标参数为x,那么云服务端可以确定该10个任务为车辆图片任务;20个任务的任务数据段中的目标参数为y,那么云服务端可以确定该20个任务为人脸图片任务;其余30个任务的任务数据段中的目标参数为z,那么云服务端可以确定该30个任务为视频任务。
步骤304、根据每个任务的类型确定每种类型的任务占所有任务的任务比例。
云服务端根据每个任务的类型确定每种类型的任务占所有任务的任务比例。现以步骤303中的60个任务为例进行说明,由于该60个任务中,10个任务为车辆图片任务,20个任务为人脸图片任务,30个任务为视频任务,因此,云服务端可以确定车辆图片任务类型的任务占所有任务的任务比例为1:6,人脸图片任务类型的任务占所有任务的任务比例为1:3,视频任务类型的任务占所有任务的任务比例为1:2。进一步的,云服务端可以确定三种类型的任务的比例为1:2:3。
需要说明的是,实际应用中,客户端提交的任务数目可能会远大于60,示例的,客户端可以提交10000个任务,其中,4500个任务为车辆图片任务,3500个任务为人脸图片任务,2000个任务为视频任务。这三种类型的任务的比例为9:7:4。
云服务端通过服务调度模块确定每种类型的任务占所有任务的任务比例,并确定多种类型的任务的比例。
步骤305、根据任务比例确定每种类型的任务所需的GPU的数目n,n≥1。
可选的,云服务端的服务调度模块确定了每种类型的任务占所有任务的任务比例后,将任务比例(或者多种类型的任务的比例)发送至第一计算单元,第一计算单元再将该任务比例(或者多种类型的任务的比例)发送至第二计算单元。参见图1-2,示例的,第二计算单元包括60个GPU,假设三种类型(如车辆图片任务类型、人脸图片任务类型和视频任务类型)的任务的比例为1:2:3,那么第二计算单元可以确定车辆图片任务类型的任务需要10个GPU,人脸图片任务类型的任务需要20个GPU,视频任务类型的任务需要30个GPU。
又比如,第二计算单元包括16个GPU,假设三种类型(如车辆图片任务类型、人脸图片任务类型和视频任务类型)的任务的比例为9:7:4,采用四舍五入法可以得到车辆图片任务类型的任务所需的GPU的数目、人脸图片任务类型的任务所需的GPU的数目和视频任务类型所需的GPU的数目的比例为7:6:3,也即是,处理车辆图片任务类型的任务需要7个GPU,处理人脸图片任务类型的任务需要6个GPU,处理视频任务类型的任务需要3个GPU。
本发明实施例对客户端提交的任务数目和第二计算单元包括的GPU的数目不做限定。
在本发明实施例中,即使客户端提交的10000个任务中只有一个车辆图片任务,云服务端也会为该车辆图片任务分配一个GPU,提高了云服务端的性能。
步骤306、为每种类型的任务对应的n个GPU配置用于处理相应类型任务的目标资源。
不同类型的任务被配置的资源不同。
其中,每个GPU预先存储有多个不同的资源,步骤306可以包括:指示n个GPU中每个GPU从预先存储的多个不同的资源中调用用于处理相应类型任务的目标资源。
示例的,每个GPU预先存储有三个算法:算法A、算法B和算法C。云服务端确定车辆图片任务类型的任务需要10个GPU,人脸图片任务类型的任务需要20个GPU,视频任务类型的任务需要30个GPU。之后,云服务端指示10个GPU中每个GPU调用算法A,指示20个GPU中每个GPU调用算法B,指示30个GPU中每个GPU调用算法C。这样一来,每个GPU可以采用相应算法处理相应类型任务。
进一步的,当云服务端包括多个图片服务器时,在调度服务设备接收客户端提交的多种不同类型的任务,根据目标参数的值确定对应任务的类型,并根据每个任务的类型确定每种类型的任务占所有任务的任务比例之后,每个图片服务器的第一计算单元获取一部分待处理任务。比如,客户端提交了100个任务,云服务端包括两个图片服务器:第一图片服务器和第二图片服务器。第一图片服务器的第一计算单元获取60个待处理的任务,第二图片服务器的第一计算单元获取其余40个待处理的任务。之后,每个图片服务器执行步骤305和步骤306,以完成资源的配置。
综上所述,本发明实施例提供的资源配置方法,云服务端接收客户端提交的多种不同类型的任务,再获取每种类型的任务占所有任务的任务比例,之后,根据任务比例为每种类型的任务配置资源,其中,不同类型的任务被配置的资源不同。该方法实现了资源的自动配置,无需用户手动配置资源,简化了配置过程,提高了处理任务的效率。
图4-1是根据一示例性实施例示出的另一种资源配置方法的方法流程图,该资源配置方法可以由图1-1所示实施环境中的云服务端01来执行。参见图4-1,该方法流程可以包括如下几个步骤:
步骤401、通过网络服务接收客户端提交的多种不同类型的任务。
云服务端的调度服务设备通过web service接收客户端提交的多种不同类型的任务。之后,开启包括用于处理任务的云计算服务的多个服务。本发明实施例以云服务端包括一个图片服务器为例进行说明。
步骤402、每隔预设时长获取每种类型的任务占所有任务的任务比例。
实际应用中,客户端可能会每隔一段时间提交一批任务,每次提交的任务的类型可能会发生变化。比如,客户端当前提交的三种类型(如车辆图片任务类型、人脸图片任务类型和视频任务类型)的任务的比例为1:2:3,半个小时之后,客户端提交的三种类型的任务的比例变为了2:3:1。此时,云服务端则需要根据变化后的任务比例重新为每种类型的任务配置资源。
在本发明实施例中,云服务端每隔预设时长获取每种类型的任务占所有任务的任务比例。具体的,云服务端可以获取客户端提交的每个任务的任务数据段中的目标参数,并根据该目标参数的值确定对应任务的类型,之后,再根据每个任务的类型确定每种类型的任务占所有任务的任务比例。进一步的,可以确定多种类型的任务的比例,具体过程可以参考步骤302至步骤304。
步骤403、当任务比例发生变化时,根据变化后的任务比例为每种类型的任务配置资源。
不同类型的任务被配置的资源不同。
在一种可实现方式中,如图4-2所示,步骤403包括:
步骤4033、当任务比例发生变化时,判断第一任务的优先级等级是否高于预设等级。当第一任务的优先级等级高于预设等级时,执行步骤4034;当第一任务的优先级等级不高于预设等级时,执行步骤4035。
该第一任务为当前被处理的所有任务中的任一任务。
示例的,云服务端当前获取车辆图片任务类型的任务占所有任务的任务比例为1:6,人脸图片任务类型的任务占所有任务的任务比例为1:3,视频任务类型的任务占所有任务的任务比例为1:2。进一步的,云服务端可以获取三种类型的任务的比例为1:2:3。半个小时之后,云服务端获取三种类型的任务的比例为2:3:1,如客户端提交了60个任务,其中,20个任务为车辆图片任务,30个任务为人脸图片任务,10个任务为视频任务。任务比例发生了变化,但云服务端当前仍然在处理上一次客户端提交的任务,此时,云服务端可以根据预设处理策略确定是否暂停处理当前任务,并重新为第二次接收的每种类型的任务配置资源。
例如,假设云服务端的预设处理策略可以是:云服务端判断当前被处理的任务的优先级等级是否高于预设等级。在当前被处理的任务的优先级等级高于预设等级时,待该任务被GPU处理完之后,云服务端再为第二次接收的每种类型的任务配置资源;在当前被处理的任务的优先级等级不高于预设等级时,云服务端指示GPU暂停处理该任务,然后为第二次接收的每种类型的任务配置资源。
示例的,实时性要求高的任务的优先级等级高于实时性要求低的任务的优先级等级。如果云服务端当前处理的是实时性要求较高的任务,那么云服务端会在该任务被GPU处理完之后,再为第二次接收的每种类型的任务配置资源。如果云服务端当前处理的是实时性要求较低的任务,那么云服务端会指示GPU暂停处理该任务,接着为第二次接收的每种类型的任务配置资源。
步骤4034、待第一任务被第一GPU处理完之后,根据变化后的任务比例为第一GPU配置对应的目标资源。
当第一任务的优先级等级高于预设等级时,待第一任务被第一GPU处理完之后,云服务端根据变化后的任务比例为第一GPU配置对应的目标资源。具体的,云服务端根据变化后的任务比例确定每种类型的任务所需的GPU的数目n,n≥1。之后,云服务端为每种类型的任务对应的n个GPU配置用于处理相应类型任务的目标资源。示例的,云服务端可以指示n个GPU中每个GPU从预先存储的多个资源中调用用于处理相应类型任务的目标资源,具体配置过程可以参考步骤305和步骤306。
步骤4035、指示第一GPU暂停处理第一任务,并根据变化后的任务比例为第一GPU配置对应的目标资源。
当第一任务的优先级等级不高于预设等级时,云服务端指示第一GPU暂停处理第一任务,并根据变化后的任务比例为第一GPU配置对应的目标资源。具体配置过程可以参考步骤305和步骤306。
在本发明实施例中,当所有GPU处理的任务的优先级等级都相同时,云服务端可以指示所有GPU暂停处理对应的任务,或者,待所有任务被对应的GPU处理完之后,根据变化后的任务比例为每个GPU配置对应的目标资源。当某个或者某些GPU处理的任务的优先级等级与其余GPU处理的任务的优先级等级不同时,云服务端可以根据实际需求,暂停处理优先等级低于预设等级的任务,并根据变化后的任务比例为暂停处理任务的GPU配置对应的目标资源,使得暂停处理任务的GPU能够处理第二次接收到的客户端提交的任务。
为了进一步简化配置过程,提高任务的处理效率,步骤403可以包括:当任务比例发生变化时,按照已调用的目标资源发生变化的GPU数目最少为原则(该原则称为最小变化原则)的配置策略,根据变化后的任务比例为每种类型的任务配置资源。具体的,云服务端按照最小变化原则,指示n个GPU中每个GPU从预先存储的多个不同的资源中调用用于处理相应类型任务的目标资源。也即是,以资源合理配置为前提,减少GPU调用目标资源的次数。
示例的,假设上一次有10个GPU采用算法A处理车辆图片任务,有20个GPU采用算法B处理人脸图片任务,有30个GPU采用算法C处理视频任务。云服务端根据变化后的任务比例为GPU配置对应的目标资源时,假设三种类型的任务的比例变为2:3:1,那么云服务端可以将上一次采用算法C的30个GPU中的10个GPU分配给车辆图片任务,并指示该10个GPU中每个GPU调用算法A,使得该10个GPU与上一次处理车辆图片任务的10个GPU共同处理车辆图片任务。云服务端还可以将上一次采用算法C的30个GPU中的10个GPU分配给人脸图片任务,并指示该10个GPU中每个GPU调用算法B,使得该10个GPU与上一次处理人脸图片任务的20个GPU共同处理人脸图片任务。该过程中,为了简化配置过程,基于最小变化原则,对上一次处理车辆图片任务的GPU的算法和处理人脸图片任务的GPU的算法未做改变。
在一种可实现方式中,当任务比例发生变化时,云服务端可以判断参与第一任务的用户数量是否大于预设数量阈值,该第一任务为当前被处理的所有任务中的任一任务;当参与该第一任务的用户数量大于预设数量阈值时,待该第一任务被第一GPU处理完之后,云服务端根据变化后的任务比例为该第一GPU配置对应的目标资源;当参与该第一任务的用户数量不大于预设数量阈值时,云服务端指示该第一GPU暂停处理第一任务,并根据变化后的任务比例为该第一GPU配置对应的目标资源。其中,预设数量阈值可以根据实际需求来确定,本发明实施例对此不做限定。
在本发明实施例中,云服务端可以根据参与当前被处理的任务的用户数量来确定是否暂停处理当前任务。当参与当前被处理的任务的用户较多时,待该任务被GPU处理完之后,云服务端再为第二次接收的每种类型的任务配置资源;当参与当前被处理的任务的用户较少时,云服务端指示GPU暂停处理该任务,然后为第二次接收的每种类型的任务配置资源。这样,可以尽可能地减少受影响的用户数量。
在一种可实现方式中,当任务比例发生变化时,云服务端也可以判断第一任务是否满足预设条件,该第一任务为当前被处理的所有任务中的任一任务;当第一任务满足预设条件时,待第一任务被第一GPU处理完之后,云服务端根据变化后的任务比例为第一GPU配置对应的目标资源;当第一任务不满足预设条件时,云服务端指示第一GPU暂停处理第一任务,并根据变化后的任务比例为第一GPU配置对应的目标资源;其中,预设条件为第一任务的类型为预设类型,且第一任务的处理进度大于预设进度阈值。示例的,预设类型可以为视频类型,预设进度阈值为进度百分比,该进度百分比可以为80%。
在本发明实施例中,云服务端可以根据当前被处理的任务的类型和处理进度来确定是否暂停处理当前任务。例如,假设当前被处理的任务为视频任务,且该视频任务的90%已被处理。由于处理视频任务所需的时间较长,所以,如果此时暂停处理了该视频任务,那么下次则需要从头开始处理该视频任务,代价较大,用户体验较差。因此,云服务端此时可以待该视频任务被GPU处理完之后,再为第二次接收的每种类型的任务配置资源。
进一步的,当云服务端包括多个图片服务器时,每个图片服务器可以执行步骤403来实现资源的自动配置和调整。
综上所述,本发明实施例提供的资源配置方法,云服务端接收客户端提交的多种不同类型的任务,再获取每种类型的任务占所有任务的任务比例,之后,根据任务比例为每种类型的任务配置资源,其中,不同类型的任务被配置的资源不同。该方法实现了资源的自动配置和调整,无需用户手动配置资源,简化了配置过程,提高了处理任务的效率。
图5-1是根据一示例性实施例示出的一种资源配置装置500的框图,该资源配置装置用于图1-1所示实施环境中的云服务端。该资源配置装置500包括:
接收模块510,用于接收客户端提交的多种不同类型的任务。
获取模块520,用于获取每种类型的任务占所有任务的任务比例。
配置模块530,用于根据任务比例为每种类型的任务配置资源,不同类型的任务被配置的资源不同。
综上所述,本发明实施例提供的资源配置装置,云服务端接收客户端提交的多种不同类型的任务,再获取每种类型的任务占所有任务的任务比例,之后,根据任务比例为每种类型的任务配置资源,其中,不同类型的任务被配置的资源不同。该方法实现了资源的自动配置和调整,无需用户手动配置资源,简化了配置过程,提高了处理任务的效率。
可选的,如图5-2所示,配置模块530,包括:
确定子模块531,用于根据任务比例确定每种类型的任务所需的GPU的数目n,n≥1。
第一配置子模块532,用于为每种类型的任务对应的n个GPU配置用于处理相应类型任务的目标资源。
可选的,每个GPU预先存储有多个不同的资源,相应的,第一配置子模块532,用于:
指示n个GPU中每个GPU从预先存储的多个不同的资源中调用用于处理相应类型任务的目标资源。
可选的,获取模块520,用于:
每隔预设时长获取每种类型的任务占所有任务的任务比例。
可选的,如图5-3所示,配置模块530,包括:
第二配置子模块533,用于在任务比例发生变化时,根据变化后的任务比例为每种类型的任务配置资源。
可选的,第二配置子模块533,用于:
当任务比例发生变化时,判断第一任务的优先级等级是否高于预设等级,第一任务为当前被处理的所有任务中的任一任务;
当第一任务的优先级等级高于预设等级时,待第一任务被第一GPU处理完之后,根据变化后的任务比例为第一GPU配置对应的目标资源;
当第一任务的优先级等级不高于预设等级时,指示第一GPU暂停处理第一任务,并根据变化后的任务比例为第一GPU配置对应的目标资源。
可选的,配置模块530,用于:
当任务比例发生变化时,判断参与第一任务的用户数量是否大于预设数量阈值,该第一任务为当前被处理的所有任务中的任一任务;
当参与该第一任务的用户数量大于预设数量阈值时,待该第一任务被第一GPU处理完之后,根据变化后的任务比例为第一GPU配置对应的目标资源;
当参与该第一任务的用户数量不大于预设数量阈值时,指示第一GPU暂停处理第一任务,并根据变化后的任务比例为第一GPU配置对应的目标资源。
可选的,配置模块530,用于:
当任务比例发生变化时,判断第一任务是否满足预设条件,该第一任务为当前被处理的所有任务中的任一任务;
当该第一任务满足预设条件时,待该第一任务被第一GPU处理完之后,根据变化后的任务比例为第一GPU配置对应的目标资源;
当该第一任务不满足预设条件时,指示第一GPU暂停处理该第一任务,并根据变化后的任务比例为第一GPU配置对应的目标资源;
其中,预设条件为第一任务的类型为预设类型,且第一任务的处理进度大于预设进度阈值。
可选的,第二配置子模块533,用于:
当任务比例发生变化时,按照已调用的目标资源发生变化的GPU数目最少为原则的配置策略,根据变化后的任务比例为每种类型的任务配置资源。
可选的,获取模块520,用于:
获取每个任务的任务数据段中的目标参数;
根据目标参数的值确定对应任务的类型;
根据每个任务的类型确定每种类型的任务占所有任务的任务比例。
可选的,接收模块510,用于:
通过网络服务接收客户端提交的多种不同类型的任务。
综上所述,本发明实施例提供的资源配置装置,云服务端接收客户端提交的多种不同类型的任务,再获取每种类型的任务占所有任务的任务比例,之后,根据任务比例为每种类型的任务配置资源,其中,不同类型的任务被配置的资源不同,实现了资源的自动配置和调整,无需用户手动配置资源,简化了配置过程,提高了处理任务的效率。
图6是根据一示例性实施例示出的再一种资源配置装置的框图,该资源配置装置用于图1-1所示实施环境中的云服务端。该资源配置装置包括:
处理器601、存储器602、网络接口603和总线604。总线604用于连接处理器601、存储器602和网络接口603,处理器601用于执行存储器602中存储的程序6021。
存储器602可能包含高速随机存取存储器,也可能包含非不稳定的存储器,例如至少一个磁盘存储器。通过网络接口603(可以是有线或者无线)实现该资源配置装置与客户端的通信连接。处理器601用于执行存储器602中存储的程序6021来实现云服务端,并使得云服务端执行下述资源配置方法:
接收客户端提交的多种不同类型的任务;
获取每种类型的任务占所有任务的任务比例;
根据任务比例为每种类型的任务配置资源,不同类型的任务被配置的资源不同。
可选的,根据任务比例为每种类型的任务配置资源,包括:
根据任务比例确定每种类型的任务所需的GPU的数目n,n≥1;
为每种类型的任务对应的n个GPU配置用于处理相应类型任务的目标资源。
可选的,每个GPU预先存储有多个不同的资源,
为每种类型的任务对应的n个GPU配置用于处理相应类型任务的目标资源,包括:
指示n个GPU中每个GPU从预先存储的多个不同的资源中调用用于处理相应类型任务的目标资源。
可选的,获取每种类型的任务占所有任务的任务比例,包括:
每隔预设时长获取每种类型的任务占所有任务的任务比例。
可选的,根据任务比例为每种类型的任务配置资源,包括:
当任务比例发生变化时,根据变化后的任务比例为每种类型的任务配置资源。
可选的,当任务比例发生变化时,根据变化后的任务比例为每种类型的任务配置资源,包括:
当任务比例发生变化时,判断第一任务的优先级等级是否高于预设等级,第一任务为当前被处理的所有任务中的任一任务;
当第一任务的优先级等级高于预设等级时,待第一任务被第一GPU处理完之后,根据变化后的任务比例为第一GPU配置对应的目标资源;
当第一任务的优先级等级不高于预设等级时,指示第一GPU暂停处理第一任务,并根据变化后的任务比例为第一GPU配置对应的目标资源。
可选的,根据任务比例为每种类型的任务配置资源,包括:
当任务比例发生变化时,判断参与第一任务的用户数量是否大于预设数量阈值,第一任务为当前被处理的所有任务中的任一任务;
当参与第一任务的用户数量大于预设数量阈值时,待第一任务被第一GPU处理完之后,根据变化后的任务比例为第一GPU配置对应的目标资源;
当参与第一任务的用户数量不大于预设数量阈值时,指示第一GPU暂停处理第一任务,并根据变化后的任务比例为第一GPU配置对应的目标资源。
可选的,根据任务比例为每种类型的任务配置资源,包括:
当任务比例发生变化时,判断第一任务是否满足预设条件,第一任务为当前被处理的所有任务中的任一任务;
当第一任务满足预设条件时,待第一任务被第一GPU处理完之后,根据变化后的任务比例为第一GPU配置对应的目标资源;
当第一任务不满足预设条件时,指示第一GPU暂停处理第一任务,并根据变化后的任务比例为第一GPU配置对应的目标资源;
其中,预设条件为第一任务的类型为预设类型,且第一任务的处理进度大于预设进度阈值。
可选的,当任务比例发生变化时,根据变化后的任务比例为每种类型的任务配置资源,包括:
当任务比例发生变化时,按照已调用的目标资源发生变化的GPU数目最少为原则的配置策略,根据变化后的任务比例为每种类型的任务配置资源。
可选的,获取每种类型的任务占所有任务的任务比例,包括:
获取每个任务的任务数据段中的目标参数;
根据目标参数的值确定对应任务的类型;
根据每个任务的类型确定每种类型的任务占所有任务的任务比例。
可选的,接收客户端提交的多种不同类型的任务,包括:
通过网络服务接收客户端提交的多种不同类型的任务。
综上所述,本发明实施例提供的资源配置装置,云服务端接收客户端提交的多种不同类型的任务,再获取每种类型的任务占所有任务的任务比例,之后,根据任务比例为每种类型的任务配置资源,其中,不同类型的任务被配置的资源不同,实现了资源的自动配置和调整,无需用户手动配置资源,简化了配置过程,提高了处理任务的效率。
本发明实施例还提供了一种资源配置系统,该系统资源配置包括:云服务端和客户端。
云服务端包括图5-1或图6所示的资源配置装置。
客户端用于向云服务端提交多种不同类型的任务。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机的可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质,或者半导体介质(例如固态硬盘)等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域技术人员在考虑说明书及实践这里发明的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (23)

1.一种资源配置方法,其特征在于,所述方法包括:
接收客户端提交的多种不同类型的任务;
获取每种类型的任务占所有任务的任务比例;
根据所述任务比例为每种类型的任务配置资源,不同类型的任务被配置的资源不同。
2.根据权利要求1所述的方法,其特征在于,所述根据所述任务比例为每种类型的任务配置资源,包括:
根据所述任务比例确定每种类型的任务所需的图形处理单元GPU的数目n,n≥1;
为每种类型的任务对应的n个GPU配置用于处理相应类型任务的目标资源。
3.根据权利要求2所述的方法,其特征在于,每个GPU预先存储有多个不同的资源,
所述为每种类型的任务对应的n个GPU配置用于处理相应类型任务的目标资源,包括:
指示所述n个GPU中每个GPU从预先存储的多个不同的资源中调用用于处理相应类型任务的目标资源。
4.根据权利要求2所述的方法,其特征在于,所述获取每种类型的任务占所有任务的任务比例,包括:
每隔预设时长获取每种类型的任务占所述所有任务的任务比例。
5.根据权利要求4所述的方法,其特征在于,所述根据所述任务比例为每种类型的任务配置资源,包括:
当所述任务比例发生变化时,根据变化后的任务比例为每种类型的任务配置资源。
6.根据权利要求5所述的方法,其特征在于,所述当所述任务比例发生变化时,根据变化后的任务比例为每种类型的任务配置资源,包括:
当所述任务比例发生变化时,判断第一任务的优先级等级是否高于预设等级,所述第一任务为当前被处理的所有任务中的任一任务;
当所述第一任务的优先级等级高于所述预设等级时,待所述第一任务被第一GPU处理完之后,根据所述变化后的任务比例为所述第一GPU配置对应的目标资源;
当所述第一任务的优先级等级不高于所述预设等级时,指示所述第一GPU暂停处理所述第一任务,并根据所述变化后的任务比例为所述第一GPU配置对应的目标资源。
7.根据权利要求2所述的方法,其特征在于,所述根据所述任务比例为每种类型的任务配置资源,包括:
当所述任务比例发生变化时,判断参与第一任务的用户数量是否大于预设数量阈值,所述第一任务为当前被处理的所有任务中的任一任务;
当参与所述第一任务的用户数量大于所述预设数量阈值时,待所述第一任务被第一GPU处理完之后,根据变化后的任务比例为所述第一GPU配置对应的目标资源;
当参与所述第一任务的用户数量不大于所述预设数量阈值时,指示所述第一GPU暂停处理所述第一任务,并根据所述变化后的任务比例为所述第一GPU配置对应的目标资源。
8.根据权利要求2所述的方法,其特征在于,所述根据所述任务比例为每种类型的任务配置资源,包括:
当所述任务比例发生变化时,判断第一任务是否满足预设条件,所述第一任务为当前被处理的所有任务中的任一任务;
当所述第一任务满足所述预设条件时,待所述第一任务被第一GPU处理完之后,根据变化后的任务比例为所述第一GPU配置对应的目标资源;
当所述第一任务不满足所述预设条件时,指示所述第一GPU暂停处理所述第一任务,并根据所述变化后的任务比例为所述第一GPU配置对应的目标资源;
其中,所述预设条件为所述第一任务的类型为预设类型,且所述第一任务的处理进度大于预设进度阈值。
9.根据权利要求5所述的方法,其特征在于,所述当所述任务比例发生变化时,根据变化后的任务比例为每种类型的任务配置资源,包括:
当所述任务比例发生变化时,按照已调用的目标资源发生变化的GPU数目最少为原则的配置策略,根据所述变化后的任务比例为每种类型的任务配置资源。
10.根据权利要求1所述的方法,其特征在于,所述获取每种类型的任务占所有任务的任务比例,包括:
获取每个任务的任务数据段中的目标参数;
根据所述目标参数的值确定对应任务的类型;
根据每个任务的类型确定每种类型的任务占所述所有任务的任务比例。
11.根据权利要求1所述的方法,其特征在于,
所述接收客户端提交的多种不同类型的任务,包括:
通过网络服务接收所述客户端提交的多种不同类型的任务。
12.一种资源配置装置,其特征在于,所述装置包括:
接收模块,用于接收客户端提交的多种不同类型的任务;
获取模块,用于获取每种类型的任务占所有任务的任务比例;
配置模块,用于根据所述任务比例为每种类型的任务配置资源,不同类型的任务被配置的资源不同。
13.根据权利要求12所述的装置,其特征在于,所述配置模块,包括:
确定子模块,用于根据所述任务比例确定每种类型的任务所需的图形处理单元GPU的数目n,n≥1;
第一配置子模块,用于为每种类型的任务对应的n个GPU配置用于处理相应类型任务的目标资源。
14.根据权利要求13所述的装置,其特征在于,每个GPU预先存储有多个不同的资源,
所述第一配置子模块,用于:
指示所述n个GPU中每个GPU从预先存储的多个不同的资源中调用用于处理相应类型任务的目标资源。
15.根据权利要求13所述的装置,其特征在于,所述获取模块,用于:
每隔预设时长获取每种类型的任务占所述所有任务的任务比例。
16.根据权利要求15所述的装置,其特征在于,所述配置模块,包括:
第二配置子模块,用于在所述任务比例发生变化时,根据变化后的任务比例为每种类型的任务配置资源。
17.根据权利要求16所述的装置,其特征在于,所述第二配置子模块,用于:
当所述任务比例发生变化时,判断第一任务的优先级等级是否高于预设等级,所述第一任务为当前被处理的所有任务中的任一任务;
当所述第一任务的优先级等级高于所述预设等级时,待所述第一任务被第一GPU处理完之后,根据所述变化后的任务比例为所述第一GPU配置对应的目标资源;
当所述第一任务的优先级等级不高于所述预设等级时,指示所述第一GPU暂停处理所述第一任务,并根据所述变化后的任务比例为所述第一GPU配置对应的目标资源。
18.根据权利要求13所述的装置,其特征在于,所述配置模块,用于:
当所述任务比例发生变化时,判断参与第一任务的用户数量是否大于预设数量阈值,所述第一任务为当前被处理的所有任务中的任一任务;
当参与所述第一任务的用户数量大于所述预设数量阈值时,待所述第一任务被第一GPU处理完之后,根据变化后的任务比例为所述第一GPU配置对应的目标资源;
当参与所述第一任务的用户数量不大于所述预设数量阈值时,指示所述第一GPU暂停处理所述第一任务,并根据所述变化后的任务比例为所述第一GPU配置对应的目标资源。
19.根据权利要求13所述的装置,其特征在于,所述配置模块,用于:
当所述任务比例发生变化时,判断第一任务是否满足预设条件,所述第一任务为当前被处理的所有任务中的任一任务;
当所述第一任务满足所述预设条件时,待所述第一任务被第一GPU处理完之后,根据变化后的任务比例为所述第一GPU配置对应的目标资源;
当所述第一任务不满足所述预设条件时,指示所述第一GPU暂停处理所述第一任务,并根据所述变化后的任务比例为所述第一GPU配置对应的目标资源;
其中,所述预设条件为所述第一任务的类型为预设类型,且所述第一任务的处理进度大于预设进度阈值。
20.根据权利要求16所述的装置,其特征在于,所述第二配置子模块,用于:
当所述任务比例发生变化时,按照已调用的目标资源发生变化的GPU数目最少为原则的配置策略,根据所述变化后的任务比例为每种类型的任务配置资源。
21.根据权利要求12所述的装置,其特征在于,所述获取模块,用于:
获取每个任务的任务数据段中的目标参数;
根据所述目标参数的值确定对应任务的类型;
根据每个任务的类型确定每种类型的任务占所述所有任务的任务比例。
22.根据权利要求12所述的装置,其特征在于,
所述接收模块,用于:
通过网络服务接收所述客户端提交的多种不同类型的任务。
23.一种资源配置系统,其特征在于,所述系统包括:云服务端和客户端,
所述云服务端包括权利要求12至22任一所述的资源配置装置;
所述客户端用于向所述云服务端提交多种不同类型的任务。
CN201710364676.2A 2017-05-22 2017-05-22 资源配置方法、装置及系统 Active CN108965364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710364676.2A CN108965364B (zh) 2017-05-22 2017-05-22 资源配置方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710364676.2A CN108965364B (zh) 2017-05-22 2017-05-22 资源配置方法、装置及系统

Publications (2)

Publication Number Publication Date
CN108965364A true CN108965364A (zh) 2018-12-07
CN108965364B CN108965364B (zh) 2021-06-11

Family

ID=64462341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710364676.2A Active CN108965364B (zh) 2017-05-22 2017-05-22 资源配置方法、装置及系统

Country Status (1)

Country Link
CN (1) CN108965364B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111190712A (zh) * 2019-12-25 2020-05-22 北京推想科技有限公司 一种任务调度方法、装置、设备及介质
CN112579281A (zh) * 2019-09-27 2021-03-30 杭州海康威视数字技术股份有限公司 资源分配方法、装置、电子设备及存储介质
CN112988360A (zh) * 2021-05-10 2021-06-18 杭州绿城信息技术有限公司 一种基于大数据分析的任务分发系统
CN115190017A (zh) * 2022-07-01 2022-10-14 深圳致星科技有限公司 基于隐私计算平台的资源调整方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101009642A (zh) * 2006-12-31 2007-08-01 华为技术有限公司 一种基于任务分组的资源分配方法和装置
US20090251475A1 (en) * 2008-04-08 2009-10-08 Shailendra Mathur Framework to integrate and abstract processing of multiple hardware domains, data types and format
CN101706741A (zh) * 2009-12-11 2010-05-12 中国人民解放军国防科学技术大学 一种基于负载平衡的cpu和gpu两级动态任务划分方法
CN102567072A (zh) * 2010-12-20 2012-07-11 中国移动通信集团公司 一种资源分配方法、装置及系统
CN103002043A (zh) * 2012-12-14 2013-03-27 百度在线网络技术(北京)有限公司 用于云环境的资源管理方法和系统
CN106686352A (zh) * 2016-12-23 2017-05-17 北京大学 多gpu平台的多路视频数据的实时处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101009642A (zh) * 2006-12-31 2007-08-01 华为技术有限公司 一种基于任务分组的资源分配方法和装置
US20090251475A1 (en) * 2008-04-08 2009-10-08 Shailendra Mathur Framework to integrate and abstract processing of multiple hardware domains, data types and format
CN101706741A (zh) * 2009-12-11 2010-05-12 中国人民解放军国防科学技术大学 一种基于负载平衡的cpu和gpu两级动态任务划分方法
CN102567072A (zh) * 2010-12-20 2012-07-11 中国移动通信集团公司 一种资源分配方法、装置及系统
CN103002043A (zh) * 2012-12-14 2013-03-27 百度在线网络技术(北京)有限公司 用于云环境的资源管理方法和系统
CN106686352A (zh) * 2016-12-23 2017-05-17 北京大学 多gpu平台的多路视频数据的实时处理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579281A (zh) * 2019-09-27 2021-03-30 杭州海康威视数字技术股份有限公司 资源分配方法、装置、电子设备及存储介质
CN112579281B (zh) * 2019-09-27 2023-10-10 杭州海康威视数字技术股份有限公司 资源分配方法、装置、电子设备及存储介质
CN111190712A (zh) * 2019-12-25 2020-05-22 北京推想科技有限公司 一种任务调度方法、装置、设备及介质
CN112988360A (zh) * 2021-05-10 2021-06-18 杭州绿城信息技术有限公司 一种基于大数据分析的任务分发系统
CN115190017A (zh) * 2022-07-01 2022-10-14 深圳致星科技有限公司 基于隐私计算平台的资源调整方法及装置

Also Published As

Publication number Publication date
CN108965364B (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN107688492B (zh) 资源的控制方法、装置和集群资源管理系统
CN107341050B (zh) 基于动态线程池的服务处理方法和装置
CN108667748B (zh) 一种控制带宽的方法、装置、设备和存储介质
CN108965364A (zh) 资源配置方法、装置及系统
US20200348977A1 (en) Resource scheduling methods, device and system, and central server
CN106330987A (zh) 动态负荷均衡方法
CN107688495A (zh) 调度处理器的方法及设备
CN109995817A (zh) 一种服务调度方法及装置
CN109729106A (zh) 处理计算任务的方法、系统和计算机程序产品
TW202121274A (zh) 雲端資源管理方法、裝置、電子設備及電腦可讀儲存媒體
CN106331192B (zh) 网络协议ip地址分配方法及装置
US20150113542A1 (en) Knapsack-based sharing-aware scheduler for coprocessor-based compute clusters
CN107544845B (zh) Gpu资源调度方法及装置
CN108234242A (zh) 一种基于流的压力测试方法和装置
CN107579924A (zh) 一种流量调拨方法和装置
CN111580974B (zh) Gpu实例分配方法、装置、电子设备和计算机可读介质
CN114116173A (zh) 动态调整任务分配的方法、装置和系统
CN111078516A (zh) 分布式性能测试方法、装置、电子设备
CN109144846B (zh) 用于测试服务器的测试方法和装置
CN109428926A (zh) 一种调度任务节点的方法和装置
CN110113176B (zh) 用于配置服务器的信息同步方法及装置
Vardi et al. Dynamic fair resource division
CN110290228A (zh) 一种互联网协议ip地址分配方法及装置
CN115640113A (zh) 多平面弹性调度方法
CN112561301A (zh) 工单分配方法、装置、设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant