CN113238852B - 一种任务分配方法、装置、电子设备及存储介质 - Google Patents
一种任务分配方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113238852B CN113238852B CN202110613170.7A CN202110613170A CN113238852B CN 113238852 B CN113238852 B CN 113238852B CN 202110613170 A CN202110613170 A CN 202110613170A CN 113238852 B CN113238852 B CN 113238852B
- Authority
- CN
- China
- Prior art keywords
- data
- algorithm
- information
- processing
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 462
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 373
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 313
- 238000004891 communication Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本申请实施例提供了一种任务分配方法、装置、电子设备及存储介质，涉及计算机技术领域，所述方法包括：获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息；根据所述资源信息和数据信息，确定所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率，其中，所述处理效率用于表征所述AI算法单位时间所能够处理的数据的数据量；根据所述AI算法的处理效率，为所述AI算法分配任务。应用本申请实施例提供的任务分配方案，可以提高AI算法的数据处理效率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种任务分配方法、装置、电子设备及存储介质。
背景技术
随着AI(Artificial Intelligence，人工智能)技术的快速发展，AI算法的应用也越来越广泛。利用AI算法可以快速高效地执行任务，上述任务可以是检测图像中车辆的车牌号码、识别图像中的人脸等。
相关技术中，不同AI算法的数据处理能力不同，例如，通常复杂的AI算法处理数据的速度较慢，简单的AI算法处理数据的速度较快。不同的AI算法通常预先设定有固定的数据处理能力，根据AI算法所设定的数据处理能力，可以为AI算法分配相匹配的任务，例如，AI算法的数据处理能力越强，可以为AI算法分配待处理的数据的数据量越大的任务。
应用上述方案虽然可以实现为不同的算法分配不同的任务，但AI算法实际的数据处理能力受到应用环境的影响，从而导致AI算法实际的数据处理能力并不是固定的。这样基于固定的数据处理能力向AI算法分配任务，可能会导致所分配的任务与AI算法实际的数据处理能力不匹配，进而影响数据处理效率。
发明内容
本申请实施例的目的在于提供一种任务分配方法、装置、电子设备及存储介质，以提高AI算法的数据处理效率。具体技术方案如下：
第一方面，本申请实施例提供了一种任务分配方法，所述方法包括：
获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息；
根据所述资源信息和数据信息，确定所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率，其中，所述处理效率用于表征所述AI算法单位时间所能够处理的数据的数据量；
根据所述AI算法的处理效率，为所述AI算法分配任务。
本申请的一个实施例中，所述方法还包括：
获得所述AI算法的处理模式信息，并获得所述数据源中待处理的对象的规模信息；
所述根据所述资源信息和数据信息，确定所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率，包括：
根据所述资源信息、数据信息、处理模式信息、规模信息，确定所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率。
本申请的一个实施例中，所述根据所述资源信息、数据信息、处理模式信息、规模信息，确定所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率，包括：
通过以下公式，计算所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率t：
其中，所述z表示所述数据处理平台提供的计算资源的资源信息，反映所述数据处理平台单位时间内支持的计算量；所述r为：基于所述处理模式信息确定的计算系数，用于表征所述AI算法的复杂度；所述x为：基于所述资源信息和规模信息确定的、待处理的数据中对象的规模量；所述y为：基于所述处理模式信息确定的、所述AI算法单位时间内消耗的计算量；所述K表示所述数据处理平台对所述数据源中数据进行数据解码时，单位时间内所能够解码的数据的数据量。
本申请的一个实施例中，在存在多个AI算法的情况下，所述根据所述资源信息和数据信息，确定所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率，包括：
根据所述资源信息和数据信息，分别确定各个AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率；
所述根据所述AI算法的处理效率，为所述AI算法分配任务，包括：
根据各个AI算法的处理效率和待分配的任务的任务需求，从所述多个AI算法中选择满足所述任务需求的AI算法，将所述待分配的任务分配至所选择的AI算法。
本申请的一个实施例中，在所述数据处理平台提供有多种型号的计算资源的情况下，所述获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，包括：
分别获得所述数据处理平台提供的不同的计算资源的资源信息；
所述根据所述资源信息和数据信息，确定所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率，包括：
根据所述数据信息和各个资源信息，分别确定所述AI算法在所述数据处理平台使用不同型号的计算资源支持下对所述数据源中数据进行处理的处理效率；
所述根据所述AI算法的处理效率，为所述AI算法分配任务，包括：
根据所述AI算法在所述数据处理平台使用不同型号的计算资源支持下对所述数据源中数据进行处理的处理效率和待分配的任务的任务需求，从所述多种型号的计算资源中选择所支持的AI算法满足所述任务需求的计算资源，将所述待分配的任务分配至所选择的计算资源所支持的AI算法。
第二方面，本申请实施例提供了另一种任务分配方法，所述方法包括：
获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息；
获得待分配任务，确定为满足所述待分配任务的任务需求、所述AI算法单位时间所需处理的数据源的数据量，作为目标处理效率；
根据所述数据信息、资源信息，确定所述AI算法为实现所述目标处理效率所需的计算资源量；
为所述AI算法分配所述计算资源量，并将所述待分配任务分配至所述AI算法。
本申请的一个实施例中，所述根据所述数据信息、资源信息，确定所述AI算法为实现所述目标处理效率所需的计算资源量，包括：
根据所述资源信息和数据信息，确定所述AI算法在单位计算资源下对所述数据源中数据进行处理的单位处理效率；
根据所述单位处理效率和目标处理效率，确定所述AI算法为实现所述目标处理效率所需的计算资源量。
第三方面，本申请实施例提供了一种任务分配装置，所述装置包括：
第一信息获得模块，用于获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息；
效率确定模块，用于根据所述资源信息和数据信息，确定所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率，其中，所述处理效率用于表征所述AI算法单位时间所能够处理的数据的数据量；
第一任务分配模块，用于根据所述AI算法的处理效率，为所述AI算法分配任务。
本申请的一个实施例中，所述装置还包括：
第二信息获得模块，用于获得所述AI算法的处理模式信息，并获得所述数据源中待处理的对象的规模信息；
所述效率确定模块，具体用于：
根据所述资源信息、数据信息、处理模式信息、规模信息，确定所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率。
本申请的一个实施例中，所述效率确定模块，具体用于：
通过以下公式，计算所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率t：
其中，所述z表示所述数据处理平台提供的计算资源的资源信息，反映所述数据处理平台单位时间内支持的计算量；所述r为：基于所述处理模式信息确定的计算系数，用于表征所述AI算法的复杂度；所述x为：基于所述资源信息和规模信息确定的、待处理的数据中对象的规模量；所述y为：基于所述处理模式信息确定的、所述AI算法单位时间内消耗的计算量；所述K表示所述数据处理平台对所述数据源中数据进行数据解码时，单位时间内所能够解码的数据的数据量。
本申请的一个实施例中，在存在多个AI算法的情况下，所述效率确定模块，具体用于：
根据所述资源信息和数据信息，分别确定各个AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率；
所述第一任务分配模块，具体用于：
根据各个AI算法的处理效率和待分配的任务的任务需求，从所述多个AI算法中选择满足所述任务需求的AI算法，将所述待分配的任务分配至所选择的AI算法。
本申请的一个实施例中，在所述数据处理平台提供有多种型号的计算资源的情况下，所述第一信息获得模块，具体用于：
分别获得所述数据处理平台提供的不同的计算资源的资源信息，并获得待处理的数据源的数据信息；
所述效率确定模块，具体用于：
根据所述数据信息和各个资源信息，分别确定所述AI算法在所述数据处理平台使用不同型号的计算资源支持下对所述数据源中数据进行处理的处理效率；
所述第一任务分配模块，具体用于：
根据所述AI算法在所述数据处理平台使用不同型号的计算资源支持下对所述数据源中数据进行处理的处理效率和待分配的任务的任务需求，从所述多种型号的计算资源中选择所支持的AI算法满足所述任务需求的计算资源，将所述待分配的任务分配至所选择的计算资源所支持的AI算法。
第四方面，本申请实施例提供了另一种任务分配装置，所述装置包括：
第三信息获得模块，用于获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息；
目标处理效率确定模块，用于获得待分配任务，确定为满足所述待分配任务的任务需求、所述AI算法单位时间所需处理的数据源的数据量，作为目标处理效率；
资源量确定模块，用于根据所述数据信息、资源信息，确定所述AI算法为实现所述目标处理效率所需的计算资源量；
第二任务分配模块，用于为所述AI算法分配所述计算资源量，并将所述待分配任务分配至所述AI算法。
本申请的一个实施例中，所述资源量确定模块，具体用于：
根据所述资源信息和数据信息，确定所述AI算法在单位计算资源下对所述数据源中数据进行处理的单位处理效率；
根据所述单位处理效率和目标处理效率，确定所述AI算法为实现所述目标处理效率所需的计算资源量。
第五方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面或第二方面任一所述的方法步骤。
第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面或第二方面任一所述的方法步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或第二方面任一所述的方法步骤。
本申请实施例有益效果：
本申请实施例提供的方案中，首先获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息；根据资源信息和数据信息，确定AI算法在数据处理平台下对数据源中数据进行处理的处理效率，其中，处理效率用于表征AI算法单位时间所能够处理的数据的数据量；根据AI算法的处理效率，为AI算法分配任务。这样可以根据数据处理平台所提供的计算资源和待处理的数据源的信息，确定AI算法在数据处理平台的支持下对上述数据源进行处理时实际的数据处理效率，然后按照AI算法实际的数据处理效率为该AI算法分配任务，从而使得所分配的任务与AI算法实际的处理效率相匹配，能够充分利用AI算法的处理能力并且避免任务超载。由此可见，应用本申请实施例提供的任务分配方案，可以提高AI算法的数据处理效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的一种任务分配方法的流程示意图；
图2为本申请实施例提供的另一种任务分配方法的流程示意图；
图3为本申请实施例提供的一种任务分配系统的结构示意图；
图4为本申请实施例提供的一种任务分配装置的结构示意图；
图5为本申请实施例提供的另一种任务分配装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
为了提高数据处理效率，本申请实施例提供了一种任务分配方法、装置、电子设备及存储介质，下面分别进行详细介绍。
参见图1，图1为本申请实施例提供的一种任务分配方法的流程示意图，该方法可以应用于电子计算机、服务器等电子设备，上述任务分配方法包括如下步骤S101-S103：
S101，获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息。
其中，上述数据处理平台可以用于提供计算资源，并支持部署AI算法。利用数据处理平台所提供的计算资源，部署于上述平台的AI算法可以完成数据处理的任务。
上述计算资源为：用于提供计算能力的资源。例如，可以是GPU(GraphicsProcessing Unit，图形处理器)、CPU(Central Processing Unit，中央处理器)等。
计算资源的资源信息可以包括以下信息中的一种或多种：型号信息、标识信息、运算能力信息等。上述型号信息用于表征计算资源所属的型号，以计算资源为GPU为例，GPU包括T4、P4、P40、V100、HISI等型号。上述标识信息可以是计算资源的型号、序列号、生产编号等。上述运算能力信息可以是：GLOPS(floating-point operations per second，每秒浮点运算次数)、计算资源支持同步处理的线程数量、计算资源的内存大小、数据读取速度、主频等。
上述数据源可以是：图像采集设备所采集的图像或视频、音频设备采集的音频、获得的字符信息等。例如，在视频监控场景中，上述数据源可以是各路监控设备所采集的监控图像或监控视频。
数据源的数据信息可以包括以下信息中的一种或多种：数据类型、数据属性、数据规模等。上述数据类型包括：图像、视频、音频、字符等。在数据类型为图像或视频的情况下，数据源的数据属性可以包括分辨率、像素、位深、饱和度、色彩通道等。数据规模可以包括数据量的大小等。
具体的，数据处理平台可以提供CPU、GPU等计算资源，可以获得上述计算资源的资源信息，该资源信息可以反映AI算法所运行的环境的配置信息，并且还可以获得待处理的数据源的数据信息，该数据信息可以反映AI算法所要处理的数据的复杂度。
S102，根据资源信息和数据信息，确定AI算法在数据处理平台下对数据源中数据进行处理的处理效率。
其中，处理效率用于表征AI算法单位时间所能够处理的数据的数据量。
具体的，可以确定AI算法在数据处理平台所提供的计算资源的支持下、对待处理的数据源进行处理时，单位时间内所能够处理的数据的数据量大小，作为该AI算法的处理效率。
例如，假设上述计算资源为T4型号的GPU，数据源为1080P的图像，若上述情况下AI算法每秒能够处理100帧图像，则可以确定该AI算法的处理效率为：在T4型号的GPU的支持下、单位时间内能够处理100帧1080P的图像。
本申请的一个实施例中，可以预先设定资源信息、数据信息与处理效率的对应关系，这样在确定AI算法的处理效率时，可以从上述对应关系中查找S101中所获得的资源信息、数据信息对应的处理效率，将查找到的处理效率作为该AI算法在数据处理平台下对数据源中数据进行处理的处理效率。
S103，根据AI算法的处理效率，为AI算法分配任务。
具体的，在确定AI算法的处理效率后，由于该处理效率可以反映AI算法在数据处理平台的支持下单位时间内所能够处理的数据的数据量，因此可以按照上述处理效率为该AI算法分配相匹配的任务，以使得该AI算法的数据处理效率能够满足所分配的任务的需求。
例如，在视频监控场景中，待分配的任务可以为：处理各个监控点位的监控设备所采集的监控图像。这种情况下，可以根据AI算法的处理效率，为该AI算法分配监控点位，由该AI算法处理所分配的监控点位的监控图像。
本申请的一个实施例中，在为AI算法分配任务时，可以根据AI算法的处理效率，为AI算法分配目标任务。
其中，目标任务要求单位时间需处理的数据的数据量小于等于AI算法单位时间能够处理的数据的数据量。
具体的，上述目标任务要求单位时间需处理的数据的数据量，可以理解为任务需求。一种情况下，为AI算法所分配的任务的任务需求可以与AI算法的处理效率一致，例如，假设AI算法单位时间内能够处理20条数据，则向该AI算法所分配的任务的任务需求同样为：单位时间内要求对20条数据进行处理。这样可以充分利用AI算法的数据处理效率，从而保证AI算法能够高效地执行任务，提高数据处理效率。
另一种情况下，为AI算法所分配的任务的任务需求可以小于AI算法的处理效率，例如，假设AI算法单位时间内能够处理200条数据，则向该AI算法所分配的任务的任务需求单位时间内所处理的数据小于200条。这样可以保证AI算法执行任务时存在冗余，防止AI算法超载，提高数据处理的可靠性。
上述实施例提供的方案中，首先获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息；根据资源信息和数据信息，确定AI算法在数据处理平台下对数据源中数据进行处理的处理效率，其中，处理效率用于表征AI算法单位时间所能够处理的数据的数据量；根据AI算法的处理效率，为AI算法分配任务。这样可以根据数据处理平台所提供的计算资源和待处理的数据源的信息，确定AI算法在数据处理平台的支持下对上述数据源进行处理时实际的数据处理效率，然后按照AI算法实际的数据处理效率为该AI算法分配任务，从而使得所分配的任务与AI算法实际的处理效率相匹配，能够充分利用AI算法的处理能力并且避免任务超载。由此可见，应用上述实施例提供的任务分配方案，可以提高AI算法的数据处理效率。
本申请的一个实施例中，还可以获得AI算法的处理模式信息，并获得数据源中待处理的对象的规模信息。
其中，上述处理模式信息用于反映AI算法对数据进行处理的模式，该模式包括分类、检测、分类和检测。例如，假设AI算法用于检测摔倒事件，则该AI算法对数据进行处理的模式为检测；假设AI算法用于识别图像中目标对象，则该AI算法对数据进行处理的模式为分类。
上述数据源中待处理的对象可以是车辆、人脸、动物、事件等。上述规模信息用于表征：数据源中待处理的对象的规模程度，可以反映数据源的复杂度。例如，假设上述对象为车辆，数据源为用于进行车辆检测的图像，若该图像中车辆的数量较多，则可以认为该数据的复杂度较高，进而可以认为数据源中待处理的对象的规模越大。
本申请的一个实施例中，上述规模信息可以采用评分的形式进行表示，例如，在评分越高的情况下，表征数据源中待处理的对象的规模越大，在评分越低的情况下，表征数据源中待处理的对象的规模越小。除此之外，上述规模信息也可以采用等级的方式进行表示等，本申请实施例并不对此进行限定。
本申请的一个实施例中，可以获得外部设备输入的规模信息，作为数据源中待处理的对象的规模信息。具体的，用户可以设定数据源中待处理的对象的规模信息，并通过外部设备输入所设定的规模信息，从而电子设备可以获得数据源中待处理的对象的规模信息。
相应地，在S102确定AI算法的处理效率时，可以根据资源信息、数据信息、处理模式信息、规模信息，确定AI算法在数据处理平台下对数据源中数据进行处理的处理效率。
具体的，数据处理平台的计算资源、待处理的数据源、AI算法的处理模式、数据源的规模均会对AI算法的数据处理效率造成影响，基于上述信息，可以进一步确定AI算法在数据处理平台下对数据源中数据进行处理的实际处理效率，所确定的处理效率的准确度更高。
本申请的一个实施例中，可以预先设定资源信息、数据信息、处理模式信息、规模信息与处理效率的对应关系，这样在确定AI算法的处理效率时，可以从上述对应关系中查找上述资源信息、数据信息、处理模式信息、规模信息对应的处理效率，将查找到的处理效率作为该AI算法在数据处理平台下对数据源中数据进行处理的处理效率。
本申请的一个实施例中，在确定AI算法的处理效率时，还可以通过以下公式，计算AI算法在数据处理平台下对数据源中数据进行处理的处理效率t：
其中，z表示数据处理平台提供的计算资源的资源信息，反映数据处理平台单位时间内支持的计算量，例如，可以是数据处理平台所提供的计算资源单位时间内支持的计算次数等。
上述r为：基于处理模式信息确定的计算系数，用于表征AI算法的复杂度。该系数可以预先设定，例如，假设AI算法的数据处理模式为分类，则上述计算系数r可以是3；若AI算法的数据处理模式为分类和检测，则上述计算系数r可以是7。可以预先设定计算系数与处理模式信息之间的对应关系，在获得AI算法的处理模型信息后，可以从上述对应关系中查找该处理模式信息对应的计算系数。除此之外，也可以接收用户通过外部输入设备输入的计算系数。
上述x为：基于资源信息和规模信息确定的、待处理的数据中对象的规模量。上述资源信息可以反映待处理的数据的规模，上述规模信息可以反映每一待处理的数据中对象的规模，基于上述资源信息和规模信息，可以确定单位时间内待处理的所有数据中对象的总规模，在上述对象的总规模越大的情况下，所消耗的计算量越大。
上述y为：基于处理模式信息确定的、AI算法单位时间内消耗的计算量，与AI算法的复杂程度相关。可以预先设定所消耗的计算量与处理模式信息之间的对应关系，在获得AI算法的处理模型信息后，可以从上述对应关系中查找该处理模式信息对应的计算量，作为AI算法单位时间内消耗的计算量。除此之外，也可以接收用户通过外部输入设备输入的、AI算法单位时间内消耗的计算量。
上述K表示数据处理平台对数据源中数据进行数据解码时，单位时间内所能够解码的数据的数据量。数据处理平台中可以包含运行组件，该运行组件可以对数据源中数据进行数据解码，并将解码后的数据发送到AI算法，以便于AI算法对解码后的数据进行处理。
具体的，利用上述公式中的z/(r*x*y)，可以计算理论上AI算法在数据处理平台所提供的计算资源的支持下，对数据源中数据进行处理时，单位时间内所能够处理的数据量，然后判断上述数据量与K的大小，由于K反映数据处理平台单位时间内所能够解码的数据量，而数据处理平台对数据进行处理的处理速度，受限于数据处理平台对数据进行解码的解码速度，因此，在上述基于资源信息、数据信息、处理模式信息、规模信息计算得到的、AI算法理论上的处理效率小于K的情况下，可以判断该AI算法能够达到上述计算的处理效率，因此确定AI算法的处理效率t为z/(r*x*y)，否则，认为AI算法的处理效率为K。
本申请的一个实施例中，所提供的任务分配方法可以应用在多算法智能调度的场景中，下面进行详细介绍。
在存在多个AI算法的情况下，可以根据资源信息和数据信息，分别确定各个AI算法在数据处理平台下对数据源中数据进行处理的处理效率。
具体的，若存在多个待执行任务的AI算法，则可以分别确定各个AI算法的处理效率，便于后续从上述多个AI算法中选择AI算法执行任务。
在上述方案的基础上，在分配任务时，可以根据各个AI算法的处理效率和待分配的任务的任务需求，从多个AI算法中选择满足任务需求的AI算法，将待分配的任务分配至所选择的AI算法。
其中，上述任务需求可以是：单位时间内要求处理的数据的数据量。
具体的，在存在多个待执行任务的AI算法的情况下，可以获得待分配的任务的任务需求，然后从上述多个AI算法中选择处理效率满足该任务需求的AI算法，从而将任务分配至该AI算法。
本申请的一个实施例中，在数据处理平台提供有多种型号的计算资源的情况下，可以分别获得数据处理平台提供的不同的计算资源的资源信息。
然后可以根据数据信息和各个资源信息，分别确定AI算法在数据处理平台使用不同型号的计算资源支持下对数据源中数据进行处理的处理效率。
从而在分配任务时，可以根据AI算法在数据处理平台使用不同型号的计算资源支持下对数据源中数据进行处理的处理效率和待分配的任务的任务需求，从多种型号的计算资源中选择所支持的AI算法满足任务需求的计算资源，将待分配的任务分配至所选择的计算资源所支持的AI算法。
具体的，数据处理平台可以提供多种型号的计算资源，例如，假设上述计算资源为GPU，数据处理平台中可以提供T4、P4、P40、V100、HISI等型号的GPU。这种情况下，可以分别计算上述AI算法在不同型号的GPU下的处理效率。从而在分配任务时，选择所支持的AI算法满足任务需求的计算资源，进而将任务分配至所选择的计算资源所支持的AI算法。
上述实施例提供的方案中，首先获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息；根据资源信息和数据信息，确定AI算法在数据处理平台下对数据源中数据进行处理的处理效率，其中，处理效率用于表征AI算法单位时间所能够处理的数据的数据量；根据AI算法的处理效率，为AI算法分配任务。这样可以根据数据处理平台所提供的计算资源和待处理的数据源的信息，确定AI算法在数据处理平台的支持下对上述数据源进行处理时实际的数据处理效率，然后按照AI算法实际的数据处理效率为该AI算法分配任务，从而使得所分配的任务与AI算法实际的处理效率相匹配，能够充分利用AI算法的处理能力并且避免任务超载。由此可见，应用上述实施例提供的任务分配方案，可以提高AI算法的数据处理效率。
与上述任务分配方法相对应地，本申请实施例还提供了另一种任务分配方法，下面进行介绍。
参见图2，图2为本申请实施例提供的另一种任务分配方法的流程示意图，该方法包括如下步骤S201-S204：
S201，获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息。
该步骤与上述步骤S101类似，在此不作赘述。
S202，获得待分配任务，确定为满足待分配任务的任务需求、AI算法单位时间所需处理的数据源的数据量，作为目标处理效率。
具体的，上述任务需求指的是待分配任务要求单位时间需处理的数据的数据量。在获得待分配任务后，可以确定该任务的任务需求，进而确定为满足该任务需求，AI算法单位时间内应该处理的数据量的大小，作为AI算法的目标处理效率。
S203，根据数据信息、资源信息，确定AI算法为实现目标处理效率所需的计算资源量。
其中，上述计算资源量可以包括核心数量、线程数量、内存数量等。
具体的，可以根据上述数据信息、资源信息，反向推算出为实现上述目标处理效率，AI算法所需要的计算资源量。
本申请的一个实施例中，可以预先设定资源信息、数据信息与处理效率的对应关系，这样在确定AI算法所需的计算资源量时，可以从上述对应关系中查找上述目标处理效率、数据信息对应的资源信息，计算所查找的资源信息占数据处理平台所提供的所有计算资源的资源信息的比例，进而确定上述AI算法所需的计算资源量。
本申请的一个实施例中，也可以根据资源信息和数据信息，确定AI算法在单位计算资源下对数据源中数据进行处理的单位处理效率；根据单位处理效率和目标处理效率，确定AI算法为实现目标处理效率所需的计算资源量。
其中，上述单位计算资源可以指单位核心、单位线程等。
具体的，可以根据资源信息和数据信息，确定AI算法在单位计算资源的支持下进行数据处理的处理效率，作为单位处理效率，然后将上述目标处理效率除以该单位处理效率，将所得到的商值作为AI算法所需的单位计算资源的数量，从而获得AI算法所需的计算资源量。
S204，为AI算法分配计算资源量，并将待分配任务分配至AI算法。
具体的，在计算得到AI算法所需的计算资源量后，可以控制数据处理平台为该AI算法分配对应的计算资源量，例如，假设数据处理平台中包含30个核心，上述S102中计算得到AI算法所需的计算资源量为10核心，则可以为该AI算法分配10核心，用于支持AI算法运行。将上述待分配任务分配至该AI算法，以使得该AI算法在所分配的计算资源量的支持下，能够完成所分配的任务。
上述方案中，可以根据待分配的任务的任务需求，为AI算法分配对应的计算资源，这样在高性能计算场景中，可以保证AI算法在所分配的计算资源的支持下能够完成任务，并且可以避免为AI算法所分配的计算资源溢出，防止造成资源浪费。
参见图3，图3为本申请实施例提供的一种任务分配系统的结构示意图，上述系统可以包括AI算法开放平台、中央处理设备和应用平台，AI算法开放平台可以训练得到多种不同的AI算法，并得到AI算法的处理模式信息，还可以得到该算法的算法标识、所支持的GPU平台、功能信息、描述信息、规则信息等，然后可以将上述信息及AI算法发送至中央处理设备；
该中央处理设备可以接收应用平台下发的待分配任务，基于上述待分配任务，获得所要处理的数据源的数据信息、数据源中待处理的对象的规模信息，然后针对每一AI算法，根据上述资源信息、数据信息、规模信息、该AI算法的处理模式信息，分别确定该AI算法在GPU1、GPU2、GPU3……GPUn等计算资源的支持下对上述数据源中数据进行处理的处理效率，然后基于所确定的处理效率，为各个AI算法分配任务。
除此之外，上述应用平台还可以利用中央处理设备查询AI算法的信息，例如，可以查询各个AI算法的算法标识、所支持的GPU平台、功能信息、描述信息、规则信息、处理效率、处理模式信息等，便于用户利用应用平台获得各个AI算法的详细信息。
参见图4，图4为本申请实施例提供的一种任务分配装置的结构示意图，所述装置包括：
第一信息获得模块401，用于获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息；
效率确定模块402，用于根据所述资源信息和数据信息，确定所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率，其中，所述处理效率用于表征所述AI算法单位时间所能够处理的数据的数据量；
第一任务分配模块403，用于根据所述AI算法的处理效率，为所述AI算法分配任务。
本申请的一个实施例中，所述装置还包括：
第二信息获得模块，用于获得所述AI算法的处理模式信息，并获得所述数据源中待处理的对象的规模信息；
所述效率确定模块402，具体用于：
根据所述资源信息、数据信息、处理模式信息、规模信息，确定所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率。
本申请的一个实施例中，所述效率确定模块402，具体用于：
通过以下公式，计算所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率t：
其中，所述z表示所述数据处理平台提供的计算资源的资源信息，反映所述数据处理平台单位时间内支持的计算量；所述r为：基于所述处理模式信息确定的计算系数，用于表征所述AI算法的复杂度；所述x为：基于所述资源信息和规模信息确定的、待处理的数据中对象的规模量；所述y为：基于所述处理模式信息确定的、所述AI算法单位时间内消耗的计算量；所述K表示所述数据处理平台对所述数据源中数据进行数据解码时，单位时间内所能够解码的数据的数据量。
本申请的一个实施例中，在存在多个AI算法的情况下，所述效率确定模块402，具体用于：
根据所述资源信息和数据信息，分别确定各个AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率；
所述第一任务分配模块403，具体用于：
根据各个AI算法的处理效率和待分配的任务的任务需求，从所述多个AI算法中选择满足所述任务需求的AI算法，将所述待分配的任务分配至所选择的AI算法。
本申请的一个实施例中，在所述数据处理平台提供有多种型号的计算资源的情况下，所述第一信息获得模块401，具体用于：
分别获得所述数据处理平台提供的不同的计算资源的资源信息，并获得待处理的数据源的数据信息；
所述效率确定模块402，具体用于：
根据所述数据信息和各个资源信息，分别确定所述AI算法在所述数据处理平台使用不同型号的计算资源支持下对所述数据源中数据进行处理的处理效率；
所述第一任务分配模块403，具体用于：
根据所述AI算法在所述数据处理平台使用不同型号的计算资源支持下对所述数据源中数据进行处理的处理效率和待分配的任务的任务需求，从所述多种型号的计算资源中选择所支持的AI算法满足所述任务需求的计算资源，将所述待分配的任务分配至所选择的计算资源所支持的AI算法。
上述实施例提供的方案中，首先获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息；根据资源信息和数据信息，确定AI算法在数据处理平台下对数据源中数据进行处理的处理效率，其中，处理效率用于表征AI算法单位时间所能够处理的数据的数据量；根据AI算法的处理效率，为AI算法分配任务。这样可以根据数据处理平台所提供的计算资源和待处理的数据源的信息，确定AI算法在数据处理平台的支持下对上述数据源进行处理时实际的数据处理效率，然后按照AI算法实际的数据处理效率为该AI算法分配任务，从而使得所分配的任务与AI算法实际的处理效率相匹配，能够充分利用AI算法的处理能力并且避免任务超载。由此可见，应用上述实施例提供的任务分配方案，可以提高AI算法的数据处理效率。
参见图5，图5为本申请实施例提供的另一种任务分配装置的结构示意图，所述装置包括：
第三信息获得模块501，用于获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息；
目标处理效率确定模块502，用于获得待分配任务，确定为满足所述待分配任务的任务需求、所述AI算法单位时间所需处理的数据源的数据量，作为目标处理效率；
资源量确定模块503，用于根据所述数据信息、资源信息，确定所述AI算法为实现所述目标处理效率所需的计算资源量；
第二任务分配模块504，用于为所述AI算法分配所述计算资源量，并将所述待分配任务分配至所述AI算法。
本申请的一个实施例中，所述资源量确定模块503，具体用于：
根据所述资源信息和数据信息，确定所述AI算法在单位计算资源下对所述数据源中数据进行处理的单位处理效率；
根据所述单位处理效率和目标处理效率，确定所述AI算法为实现所述目标处理效率所需的计算资源量。
上述方案中，可以根据待分配的任务的任务需求，为AI算法分配对应的计算资源，这样可以保证AI算法在所分配的计算资源的支持下能够完成任务，并且可以避免为AI算法所分配的计算资源溢出，防止造成资源浪费。
本申请实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现上述任一任务分配方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一任务分配方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一任务分配方法。
上述实施例提供的方案中，首先获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息；根据资源信息和数据信息，确定AI算法在数据处理平台下对数据源中数据进行处理的处理效率，其中，处理效率用于表征AI算法单位时间所能够处理的数据的数据量；根据AI算法的处理效率，为AI算法分配任务。这样可以根据数据处理平台所提供的计算资源和待处理的数据源的信息，确定AI算法在数据处理平台的支持下对上述数据源进行处理时实际的数据处理效率，然后按照AI算法实际的数据处理效率为该AI算法分配任务，从而使得所分配的任务与AI算法实际的处理效率相匹配，能够充分利用AI算法的处理能力并且避免任务超载。由此可见，应用上述实施例提供的任务分配方案，可以提高AI算法的数据处理效率。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、计算机可读存储介质实施例、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (11)
1.一种任务分配方法，其特征在于，所述方法包括：
获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息；
获得所述AI算法的处理模式信息，并获得所述数据源中待处理的对象的规模信息；
根据所述资源信息、数据信息、处理模式信息、规模信息，确定所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率，其中，所述处理效率用于表征所述AI算法单位时间所能够处理的数据的数据量；
根据所述AI算法的处理效率，为所述AI算法分配任务；
其中，所述根据所述资源信息、数据信息、处理模式信息、规模信息，确定所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率，包括：
通过以下公式，计算所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率t：
其中，所述z表示所述数据处理平台提供的计算资源的资源信息，反映所述数据处理平台单位时间内支持的计算量；所述r为：基于所述处理模式信息确定的计算系数，用于表征所述AI算法的复杂度；所述x为：基于所述资源信息和规模信息确定的、待处理的数据中对象的规模量；所述y为：基于所述处理模式信息确定的、所述AI算法单位时间内消耗的计算量；所述K表示所述数据处理平台对所述数据源中数据进行数据解码时，单位时间内所能够解码的数据的数据量。
2.根据权利要求1所述的方法，其特征在于，在存在多个AI算法的情况下，所述根据所述资源信息和数据信息，确定所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率，包括：
根据所述资源信息和数据信息，分别确定各个AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率；
所述根据所述AI算法的处理效率，为所述AI算法分配任务，包括：
根据各个AI算法的处理效率和待分配的任务的任务需求，从所述多个AI算法中选择满足所述任务需求的AI算法，将所述待分配的任务分配至所选择的AI算法。
3.根据权利要求1所述的方法，其特征在于，在所述数据处理平台提供有多种型号的计算资源的情况下，所述获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，包括：
分别获得所述数据处理平台提供的不同的计算资源的资源信息；
所述根据所述资源信息和数据信息，确定所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率，包括：
根据所述数据信息和各个资源信息，分别确定所述AI算法在所述数据处理平台使用不同型号的计算资源支持下对所述数据源中数据进行处理的处理效率；
所述根据所述AI算法的处理效率，为所述AI算法分配任务，包括：
根据所述AI算法在所述数据处理平台使用不同型号的计算资源支持下对所述数据源中数据进行处理的处理效率和待分配的任务的任务需求，从所述多种型号的计算资源中选择所支持的AI算法满足所述任务需求的计算资源，将所述待分配的任务分配至所选择的计算资源所支持的AI算法。
4.一种任务分配方法，其特征在于，所述方法包括：
获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息；
获得待分配任务，确定为满足所述待分配任务的任务需求、所述AI算法单位时间所需处理的数据源的数据量，作为目标处理效率；
根据所述数据信息、资源信息，确定所述AI算法为实现所述目标处理效率所需的计算资源量；
为所述AI算法分配所述计算资源量，并将所述待分配任务分配至所述AI算法；
其中，确定为满足所述待分配任务的任务需求、所述AI算法单位时间所需处理的数据源的数据量的方式，包括：
通过以下公式，计算用于表征为满足所述待分配任务的任务需求，所述AI算法单位时间所需处理的数据的数据量的处理效率t：
其中，所述z表示所述数据处理平台提供的计算资源的资源信息，反映所述数据处理平台单位时间内支持的计算量；所述r为：基于所述AI算法的处理模式信息确定的计算系数，用于表征所述AI算法的复杂度；所述x为：基于所述资源信息和所述数据源中待处理的对象的规模信息确定的、待处理的数据中对象的规模量；所述y为：基于所述处理模式信息确定的、所述AI算法单位时间内消耗的计算量；所述K表示所述数据处理平台对所述数据源中数据进行数据解码时，单位时间内所能够解码的数据的数据量。
5.根据权利要求4所述的方法，其特征在于，所述根据所述数据信息、资源信息，确定所述AI算法为实现所述目标处理效率所需的计算资源量，包括：
根据所述资源信息和数据信息，确定所述AI算法在单位计算资源下对所述数据源中数据进行处理的单位处理效率；
根据所述单位处理效率和目标处理效率，确定所述AI算法为实现所述目标处理效率所需的计算资源量。
6.一种任务分配装置，其特征在于，所述装置包括：
第一信息获得模块，用于获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息；
第二信息获得模块，用于获得所述AI算法的处理模式信息，并获得所述数据源中待处理的对象的规模信息；
效率确定模块，用于根据所述资源信息、数据信息、处理模式信息、规模信息，确定所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率，其中，所述处理效率用于表征所述AI算法单位时间所能够处理的数据的数据量；
第一任务分配模块，用于根据所述AI算法的处理效率，为所述AI算法分配任务；
所述效率确定模块，具体用于：
通过以下公式，计算所述AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率t：
其中，所述z表示所述数据处理平台提供的计算资源的资源信息，反映所述数据处理平台单位时间内支持的计算量；所述r为：基于所述处理模式信息确定的计算系数，用于表征所述AI算法的复杂度；所述x为：基于所述资源信息和规模信息确定的、待处理的数据中对象的规模量；所述y为：基于所述处理模式信息确定的、所述AI算法单位时间内消耗的计算量；所述K表示所述数据处理平台对所述数据源中数据进行数据解码时，单位时间内所能够解码的数据的数据量。
7.根据权利要求6所述的装置，其特征在于，在存在多个AI算法的情况下，所述效率确定模块，具体用于：
根据所述资源信息和数据信息，分别确定各个AI算法在所述数据处理平台下对所述数据源中数据进行处理的处理效率；
所述第一任务分配模块，具体用于：
根据各个AI算法的处理效率和待分配的任务的任务需求，从所述多个AI算法中选择满足所述任务需求的AI算法，将所述待分配的任务分配至所选择的AI算法；
在所述数据处理平台提供有多种型号的计算资源的情况下，所述第一信息获得模块，具体用于：
分别获得所述数据处理平台提供的不同的计算资源的资源信息，并获得待处理的数据源的数据信息；
所述效率确定模块，具体用于：
根据所述数据信息和各个资源信息，分别确定所述AI算法在所述数据处理平台使用不同型号的计算资源支持下对所述数据源中数据进行处理的处理效率；
所述第一任务分配模块，具体用于：
根据所述AI算法在所述数据处理平台使用不同型号的计算资源支持下对所述数据源中数据进行处理的处理效率和待分配的任务的任务需求，从所述多种型号的计算资源中选择所支持的AI算法满足所述任务需求的计算资源，将所述待分配的任务分配至所选择的计算资源所支持的AI算法。
8.一种任务分配装置，其特征在于，所述装置包括：
第三信息获得模块，用于获得用于部署人工智能AI算法的数据处理平台提供的计算资源的资源信息，并获得待处理的数据源的数据信息；
目标处理效率确定模块，用于获得待分配任务，确定为满足所述待分配任务的任务需求、所述AI算法单位时间所需处理的数据源的数据量，作为目标处理效率；
资源量确定模块，用于根据所述数据信息、资源信息，确定所述AI算法为实现所述目标处理效率所需的计算资源量；
第二任务分配模块，用于为所述AI算法分配所述计算资源量，并将所述待分配任务分配至所述AI算法；
其中，确定为满足所述待分配任务的任务需求、所述AI算法单位时间所需处理的数据源的数据量的方式，包括：
通过以下公式，计算用于表征为满足所述待分配任务的任务需求，所述AI算法单位时间所需处理的数据的数据量的处理效率t：
其中，所述z表示所述数据处理平台提供的计算资源的资源信息，反映所述数据处理平台单位时间内支持的计算量；所述r为：基于所述AI算法的处理模式信息确定的计算系数，用于表征所述AI算法的复杂度；所述x为：基于所述资源信息和所述数据源中待处理的对象的规模信息确定的、待处理的数据中对象的规模量；所述y为：基于所述处理模式信息确定的、所述AI算法单位时间内消耗的计算量；所述K表示所述数据处理平台对所述数据源中数据进行数据解码时，单位时间内所能够解码的数据的数据量。
9.根据权利要求8所述的装置，其特征在于，所述资源量确定模块，具体用于：
根据所述资源信息和数据信息，确定所述AI算法在单位计算资源下对所述数据源中数据进行处理的单位处理效率；
根据所述单位处理效率和目标处理效率，确定所述AI算法为实现所述目标处理效率所需的计算资源量。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-3或4-5任一所述的方法步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-3或4-5任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110613170.7A CN113238852B (zh) | 2021-06-02 | 2021-06-02 | 一种任务分配方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110613170.7A CN113238852B (zh) | 2021-06-02 | 2021-06-02 | 一种任务分配方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113238852A CN113238852A (zh) | 2021-08-10 |
| CN113238852B true CN113238852B (zh) | 2023-11-03 |
Family
ID=77136332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110613170.7A Active CN113238852B (zh) | 2021-06-02 | 2021-06-02 | 一种任务分配方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113238852B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107810480A (zh) * | 2015-06-26 | 2018-03-16 | 微软技术许可有限责任公司 | 根据性能度量的指令块分配 |
| CN108205469A (zh) * | 2016-12-20 | 2018-06-26 | 华为技术有限公司 | 一种基于MapReduce的资源分配方法及服务器 |
| US10715387B1 (en) * | 2018-06-08 | 2020-07-14 | Amazon Technologies, Inc. | System for dynamic provisioning of host devices |
| CN112116636A (zh) * | 2019-06-19 | 2020-12-22 | 华为技术有限公司 | 目标分析方法、装置、系统、节点设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9430286B2 (en) * | 2011-12-12 | 2016-08-30 | International Business Machines Corporation | Authorizing distributed task processing in a distributed storage network |
| US10621044B2 (en) * | 2012-04-25 | 2020-04-14 | Pure Storage, Inc. | Mapping slice groupings in a dispersed storage network |
-
2021
- 2021-06-02 CN CN202110613170.7A patent/CN113238852B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107810480A (zh) * | 2015-06-26 | 2018-03-16 | 微软技术许可有限责任公司 | 根据性能度量的指令块分配 |
| CN108205469A (zh) * | 2016-12-20 | 2018-06-26 | 华为技术有限公司 | 一种基于MapReduce的资源分配方法及服务器 |
| US10715387B1 (en) * | 2018-06-08 | 2020-07-14 | Amazon Technologies, Inc. | System for dynamic provisioning of host devices |
| CN112116636A (zh) * | 2019-06-19 | 2020-12-22 | 华为技术有限公司 | 目标分析方法、装置、系统、节点设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| ANFIS with natural language processing and gray relational analysis based cloud computing framework for real time energy efficient resource allocation;Xiang Wu;Computer Communications;第150卷;122-130 * |
| 移动边缘计算资源分配综述;梁广俊等;信息安全学报;第6卷(第03期);227-256 * |
| 面向优先级任务的移动边缘计算资源分配方法;董思岐;吴嘉慧;李海龙;屈毓锛;胡磊;;计算机工程;第46卷(第03期);18-23 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113238852A (zh) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107968810B (zh) | 一种服务器集群的资源调度方法、装置和系统 | |
| CN109697468B (zh) | 样本图像的标注方法、装置及存储介质 | |
| WO2017166643A1 (zh) | 一种任务资源的量化方法和装置 | |
| CN109445527B (zh) | 平板电脑数据转存系统 | |
| CN114416352A (zh) | 算力资源分配方法、装置、电子设备及储存介质 | |
| CN108701026A (zh) | 用于在存储器约束下管理进程的方法和装置 | |
| CN112148468A (zh) | 一种资源调度方法、装置、电子设备及存储介质 | |
| US11048557B2 (en) | Methods and modules relating to allocation of host machines | |
| CN113238852B (zh) | 一种任务分配方法、装置、电子设备及存储介质 | |
| CN111246214B (zh) | 一种视频解码方法、装置 | |
| CN115293076B (zh) | 生成电路的方法、电子设备及存储介质 | |
| CN111399832B (zh) | 一种页面编辑方法及装置 | |
| EP3296878B1 (en) | Electronic device and page merging method therefor | |
| CN113485835B (zh) | 一种多场景下共享内存的实现方法、系统、设备及介质 | |
| CN113434436B (zh) | 测试用例的生成方法、装置、电子设备及存储介质 | |
| CN112070144A (zh) | 图像聚类方法、装置、电子设备以及存储介质 | |
| CN113568733A (zh) | 资源分配方法、装置、电子设备及存储介质 | |
| CN116107761B (zh) | 性能调优方法、系统、电子设备及可读存储介质 | |
| CN113568578B (zh) | 一种图片处理方法、装置、电子设备和可读存储介质 | |
| CN111625358B (zh) | 一种资源分配方法、装置、电子设备及存储介质 | |
| CN112035232B (zh) | 一种作业运行优先级确定方法及相关设备 | |
| CN111866527B (zh) | 基于姿态检测的资源分配系统 | |
| CN117785486B (zh) | 环境资源调配方法、装置、设备和介质 | |
| CN115421910A (zh) | 一种多维度数据处理方法、装置、系统、设备及存储介质 | |
| CN117234734A (zh) | 加速卡负载均衡调度方法、装置、通信设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |