CN116107724A - 一种ai加速核调度管理方法、装置、设备及存储介质 - Google Patents
一种ai加速核调度管理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116107724A CN116107724A CN202310349640.2A CN202310349640A CN116107724A CN 116107724 A CN116107724 A CN 116107724A CN 202310349640 A CN202310349640 A CN 202310349640A CN 116107724 A CN116107724 A CN 116107724A
- Authority
- CN
- China
- Prior art keywords
- acceleration
- subtasks
- core
- cores
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001133 acceleration Effects 0.000 title claims abstract description 223
- 238000007726 management method Methods 0.000 title claims abstract description 62
- 238000005516 engineering process Methods 0.000 title abstract description 6
- 238000004364 calculation method Methods 0.000 claims abstract description 59
- 238000004590 computer program Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 29
- 238000012545 processing Methods 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5017—Task decomposition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种AI加速核调度管理方法、装置、设备及存储介质，涉及计算机技术及AI加速计算领域，包括：接收上层应用发送的加速计算的总任务，并根据预设拆分规则将总任务进行拆分，以得到若干个子任务；根据预设拆分规则确定若干个子任务之间的关系；关系包括与若干个子任务对应的参与计算的加速核的信息、加速核的上下级关系以及加速核之间数据的流转关系；基于预设规则以及关系调用与若干个子任务分别对应的加速核对若干个子任务进行分级执行，直至若干个子任务全部完成得到目标结果，并将目标结果返回至预设区域。本申请通过对加速核的调度管理可以优化计算资源的分配、提高加速核的使用效率，进而可以提升AI计算的处理速度。
Description
技术领域
本发明涉及计算机技术及AI加速计算领域，特别涉及一种AI加速核调度管理方法、装置、设备及存储介质。
背景技术
随着技术的不断进步，传统的基于MCU（Micro Control Unit，微控制单元）的边缘设备的AI计算正在遇到性能瓶颈，面对大量数据计算时的性能表现不佳。MCU在面对数据流计算、向量计算、AI算法运算时无法并行处理、负载加重、运算时间缓慢等现象几乎无计可施。由此提出了使用异构计算来解决上述性能瓶颈问题，通常会根据算法的计算特征专门设计加速核，通过不断的调度加速核来完成复杂的计算任务。当涉及到多个计算任务时，加速核的复用及多加速核调度又会影响到计算的速度。
发明内容
有鉴于此，本发明的目的在于提供一种AI加速核调度管理方法、装置、设备及存储介质，能够实现对加速核的调度管理，提高加速计算性能。其具体方案如下：
第一方面，本申请公开了一种AI加速核调度管理方法，包括：
接收上层应用发送的加速计算的总任务，并根据预设拆分规则将所述总任务进行拆分，以得到若干个子任务；
根据所述预设拆分规则确定所述若干个子任务之间的关系；所述关系包括与所述若干个子任务对应的参与计算的加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系；
基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部完成得到目标结果，并将所述目标结果返回至预设区域。
可选的，所述根据预设拆分规则将所述总任务进行拆分，以得到若干个子任务，包括：
根据预设规则将所述总任务进行拆分，以得到单个所述加速核能够执行的所述若干个子任务。
可选的，所述预设拆分规则包括所述若干个子任务的任务优先级、任务类型、任务复杂度以及相互依赖关系。
可选的，所述根据所述预设拆分规则确定所述若干个子任务之间的关系，包括：
根据所述若干个子任务的所述任务类型确定参与计算的所述加速核的信息；
根据所述任务优先级对所述若干个子任务进行排序得到与所述若干个子任务相对应的所述加速核的调用优先级，以确定所述加速核的上下级关系；
根据所述任务复杂度确定所述若干个子任务的计算时间；
根据所述相互依赖关系确定所述加速核调用的先后关系以及所述加速核之间数据的流转关系。
可选的，所述基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部执行结束得到目标结果，包括：
基于参与计算的所述加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系将当前待执行子任务发送至与其对应的加速核；
若所述当前待执行子任务执行完成，则接收相应的加速核发送的执行成功的反馈结果；
从其他未执行子任务中确定出新的当前待执行子任务，并向下一级加速核发送新的所述当前待执行子任务，直至所述若干个子任务全部执行结束得到目标结果。
可选的，所述方法还包括：
若所述加速核的子任务执行失败，则接收所述加速核发送的执行失败的返回结果；
根据所述执行失败的返回结果分析失败原因，以基于所述失败原因对所述若干个子任务之间的关系进行更新，以得到更新后关系；
根据所述更新后关系重新调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行。
可选的，所述基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行的过程中，还包括：
若与目标子任务对应的目标加速核处于非空闲状态，则查找与所述目标加速核的功能类型相同的其他加速核；所述目标子任务为所述若干个子任务中的任一子任务；
若所述其他加速核均处于非空闲状态，则基于所述目标子任务的所述计算时间以及所述其他加速核的当前任务的结束时间，从所述其他加速核中筛选出一个加速核作为用于执行所述目标子任务的加速核。
第二方面，本申请公开了一种AI加速核调度管理装置，包括：
任务拆分模块，用于接收上层应用发送的加速计算的总任务，并根据预设拆分规则将所述总任务进行拆分，以得到若干个子任务；
关系确定模块，用于根据所述预设拆分规则确定所述若干个子任务之间的关系；所述关系包括与所述若干个子任务对应的参与计算的加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系；
任务执行模块，用于基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部完成得到目标结果，并将所述目标结果返回至预设区域。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序以实现前述的AI加速核调度管理方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的AI加速核调度管理方法。
可见，本申请首先接收上层应用发送的加速计算的总任务，并根据预设拆分规则将所述总任务进行拆分，以得到若干个子任务；根据所述预设拆分规则确定所述若干个子任务之间的关系；所述关系包括与所述若干个子任务对应的参与计算的加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系；最后基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部完成得到目标结果，并将所述目标结果返回至预设区域。由此可知，本申请的有益效果在于通过对加速核的调度管理可以优化计算资源的分配、提高加速核的使用效率，进而可以提升AI计算的处理速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种AI加速核调度管理方法流程图；
图2为本申请公开的一种具体的AI加速核调度管理方法流程图；
图3为本申请公开的一种加速核调度管理方法示意图；
图4为本申请公开的一种加速核调度管理方法示意图；
图5为本申请公开的一种AI加速核调度管理装置结构示意图；
图6为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
MCU在面对数据流计算、向量计算、AI算法运算时无法并行处理、负载加重、运算时间缓慢等现象几乎无计可施。由此提出了使用异构计算来解决上述性能瓶颈问题，通常会根据算法的计算特征专门设计加速核，通过不断的调度加速核来完成复杂的计算任务。当涉及到多个计算任务时，加速核的复用及多加速核调度又会影响到计算的速度。为解决上述问题，本申请提供了一种AI加速核调度管理方法，能够实现对加速核的调度管理，提高加速计算性能。
参见图1所示，本发明实施例公开了一种AI加速核调度管理方法，包括：
步骤S11、接收上层应用发送的加速计算的总任务，并根据预设拆分规则将所述总任务进行拆分，以得到若干个子任务。
本实施例中，加速核管理模块接收来自上层应用的加速计算任务之后，根据预设规则将所述总任务进行拆分，以得到单个所述加速核能够执行的所述若干个子任务。所述预设拆分规则包括所述若干个子任务的任务优先级、任务类型、任务复杂度以及相互依赖关系。其中加速核管理模块是运行于边缘设备底层驱动接口程序，对上可以接收上层用户的计算需求，对下可以向异构处理器下发计算指令。异构处理器中的加速核是针对具体的AI算法抽象出来的计算单元。
步骤S12、根据所述预设拆分规则确定所述若干个子任务之间的关系；所述关系包括与所述若干个子任务对应的参与计算的加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系。
本实施例中，根据所述预设拆分规则确定所述若干个子任务之间的关系，所述关系包括与所述若干个子任务对应的参与计算的加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系。根据所述若干个子任务的所述任务类型确定参与计算的所述加速核的信息；根据所述任务优先级对所述若干个子任务进行排序得到与所述若干个子任务相对应的所述加速核的调用优先级，以确定所述加速核的上下级关系；根据所述任务复杂度确定所述若干个子任务的计算时间；根据所述相互依赖关系确定所述加速核调用的先后关系以及所述加速核之间数据的流转关系。这样一来，加速核管理模块可以生成任务依赖关系层级表，层级表中明确了本次任务需要哪些加速核参与计算、加速核的上下级关系、加速核之间数据的流转关系，这样一来，方便下一步实现对加速核的调度管理。
步骤S13、基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部完成得到目标结果，并将所述目标结果返回至预设区域。
本实施例中，基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，即根据依赖关系将任务下发到第一级加速核，第一级加速核计算完成后，加速核管理模块分别向第二级加速核下发计算任务；第二级加速核计算完成后，加速核管理模块向下一级加速核下发计算任务；当最后第N级加速核计算完成后，通知加速核管理模块任务执行完成，并将计算结果返回到指定区域。由此，通过对所述若干个子任务进行分级执行，实现对加速核的调度管理，提高加速计算性能。
可见，本申请首先接收上层应用发送的加速计算的总任务，并根据预设拆分规则将所述总任务进行拆分，以得到若干个子任务；根据所述预设拆分规则确定所述若干个子任务之间的关系；所述关系包括与所述若干个子任务对应的参与计算的加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系；最后基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部完成得到目标结果，并将所述目标结果返回至预设区域。由此可知，本申请的有益效果在于通过对加速核的调度管理可以优化计算资源的分配、提高加速核的使用效率，进而可以提升AI计算的处理速度。
基于上述实施例可知，本申请公开了一种AI加速核调度管理方法，能够提高加速核的使用效率，进而可以提升AI计算的处理速度。接下来，将针对若干个子任务分级执行的过程进行具体的描述。参见图2所示，本发明实施例公开了一种具体的AI加速核调度管理方法，包括：
步骤S21、基于参与计算的加速核的信息、加速核的上下级关系以及加速核之间数据的流转关系将当前待执行子任务发送至与其对应的加速核。
本实施例中，加速核管理模块接收来自上层用户的任务，根据任务的类型、优先级、复杂度以及相互依赖关系将任务拆分成多个相互独立的可执行子任务。在一种具体的实施例中，如示意图3中的K11、K12 、K13、K14、K15、K16为第一级子任务的加速核，K21、K22、K23为第二级子任务的加速核，K31为第三级子任务的加速核。各个子任务的加速核的相互关系为K11、K12 、K13的输出为K21的输入，K14 、K15输出为K22输入，K16输出为K23输入，K21、K22、K23的输出为K31的输入，K31将最终执行结果传回到加速核管理模块。在另一种具体的实施例中，如图4所示，加速核管理模块将任务分成最大4级进行计算处理，K11、K12 、K13、K14、K15、K16为第一级子任务的加速核，K21、K22、K23为第二级子任务的加速核，K31、K32为第三级子任务的加速核，K41为最后一级任务的加速核。相比上一实施例的依赖关系和数据输入输出关系更加复杂，比如K13的输出同时是K21、K22的输入，K16、K23、K41是本次任务的最小路径。明确关系之后，便可基于参与计算的所述加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系将当前待执行子任务发送至与其对应的加速核，从而使得能够对加速核进行调度管理，且不会发生系统混乱的情况，基于每个加速核之间的关系，准确快速地进行计算，从而提高加速计算性能。
步骤S22、若所述当前待执行子任务执行完成，则接收相应的加速核发送的执行成功的反馈结果。
本实施例中，加速核管理模块根据任务依赖关系层级表即根据所述关系将任务下发到第一级加速核，加速核执行完成后向管理模块反馈执行结果，如果成功，管理模块通知下一级加速核继续执行。同时，还包括：若所述加速核的子任务执行失败，则接收所述加速核发送的执行失败的返回结果；根据所述执行失败的返回结果分析失败原因，以基于所述失败原因对所述若干个子任务之间的关系进行更新，以得到更新后关系；根据所述更新后关系重新调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行。
步骤S23、从其他未执行子任务中确定出新的当前待执行子任务，并向下一级加速核发送新的所述当前待执行子任务，直至若干个子任务全部执行结束得到目标结果。
本实施例中，可以理解的是，加速核管理模块根据依赖关系将任务下发到第一级加速核；第一级加速核计算完成后，加速核管理模块分别向第二级加速核下发计算任务；第二级加速核计算完成后，加速核管理模块向下一级加速核下发计算任务；当最后第N级加速核计算完成后，通知加速核管理模块任务执行完成，并将计算结果返回到指定区域。即从其他未执行子任务中确定出新的当前待执行子任务，并向下一级加速核发送新的所述当前待执行子任务，直至所述若干个子任务全部执行结束得到目标结果。其中，所述基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行的过程中，还包括：若与目标子任务对应的目标加速核处于非空闲状态，则查找与所述目标加速核的功能类型相同的其他加速核；所述目标子任务为所述若干个子任务中的任一子任务；若所述其他加速核均处于非空闲状态，则基于所述目标子任务的所述计算时间以及所述其他加速核的当前任务的结束时间，从所述其他加速核中筛选出一个加速核作为用于执行所述目标子任务的加速核。即加速核管理模块在运行过程中实时标记各个加速核的运行状态，在加速核的运算过程中标记为busy态，在运算完成加速核空闲后标记为idle态。加速核管理模块可以根据加速核的状态调度计算资源，当检测到即将使用的加速核状态为busy时，管理模块首先寻找功能相同的其他加速核进行替代，如果所有功能相同的加速核都在参与计算，则管理模块选取即将最先结束的加速核并等待其执行完成。需要指出的是，加速核管理模块可管理多达128个功能不同或者相同的加速核，可进行多任务的并行处理，大大提高了运算效率。同时子任务加速核在执行完成将数据传递给下一级后立即将自身占用资源释放并把状态改为idle以供其他任务使用。
由上可知，本申请的有益效果在于通过对加速核的调度管理可以优化计算资源的分配、提高加速核的使用效率，进而可以提升AI计算的处理速度。
参见图5所示，本发明实施例公开了一种AI加速核调度管理装置，包括：
任务拆分模块11，用于接收上层应用发送的加速计算的总任务，并根据预设拆分规则将所述总任务进行拆分，以得到若干个子任务；
关系确定模块12，用于根据所述预设拆分规则确定所述若干个子任务之间的关系；所述关系包括与所述若干个子任务对应的参与计算的加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系；
任务执行模块13，用于基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部完成得到目标结果，并将所述目标结果返回至预设区域。
可见，本申请首先接收上层应用发送的加速计算的总任务，并根据预设拆分规则将所述总任务进行拆分，以得到若干个子任务；根据所述预设拆分规则确定所述若干个子任务之间的关系；所述关系包括与所述若干个子任务对应的参与计算的加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系；最后基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部完成得到目标结果，并将所述目标结果返回至预设区域。由此可知，本申请的有益效果在于通过对加速核的调度管理可以优化计算资源的分配、提高加速核的使用效率，进而可以提升AI计算的处理速度。
在一些具体的实施例中，所述任务拆分模块11，可以包括：
任务拆分单元，用于根据预设规则将所述总任务进行拆分，以得到单个所述加速核能够执行的所述若干个子任务。
在一些具体的实施例中，所述关系确定模块12，可以包括：
加速核信息确定单元，用于根据所述若干个子任务的所述任务类型确定参与计算的所述加速核的信息；
上下级关系确定单元，用于根据所述任务优先级对所述若干个子任务进行排序得到与所述若干个子任务相对应的所述加速核的调用优先级，以确定所述加速核的上下级关系；
计算时间确定单元，用于根据所述任务复杂度确定所述若干个子任务的计算时间；
关系确定单元，用于根据所述相互依赖关系确定所述加速核调用的先后关系以及所述加速核之间数据的流转关系。
在一些具体的实施例中，所述任务执行模块13，可以包括：
子任务发送单元，用于基于参与计算的所述加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系将当前待执行子任务发送至与其对应的加速核；
反馈结果接收单元，用于若所述当前待执行子任务执行完成，则接收相应的加速核发送的执行成功的反馈结果；
目标结果获取单元，用于从其他未执行子任务中确定出新的当前待执行子任务，并向下一级加速核发送新的所述当前待执行子任务，直至所述若干个子任务全部执行结束得到目标结果。
在一些具体的实施例中，所述装置，还可以包括：
结果接收模块，用于若所述加速核的子任务执行失败，则接收所述加速核发送的执行失败的返回结果；
更新模块，用于根据所述执行失败的返回结果分析失败原因，以基于所述失败原因对所述若干个子任务之间的关系进行更新，以得到更新后关系；
分级执行模块，用于根据所述更新后关系重新调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行。
在一些具体的实施例中，所述任务执行模块13，还可以包括：
加速核查找单元，用于若与目标子任务对应的目标加速核处于非空闲状态，则查找与所述目标加速核的功能类型相同的其他加速核；所述目标子任务为所述若干个子任务中的任一子任务；
加速核筛选单元，用于若所述其他加速核均处于非空闲状态，则基于所述目标子任务的所述计算时间以及所述其他加速核的当前任务的结束时间，从所述其他加速核中筛选出一个加速核作为用于执行所述目标子任务的加速核。
进一步的，本申请实施例还公开了一种电子设备，图6是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图6为本申请实施例提供的一种电子设备20的结构示意图。该电子设备 20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的AI加速核调度管理方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进 行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、 磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222 等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算 机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的AI加速核调度管理方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的AI加速核调度管理方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种AI加速核调度管理方法，其特征在于，包括：
接收上层应用发送的加速计算的总任务，并根据预设拆分规则将所述总任务进行拆分，以得到若干个子任务；
根据所述预设拆分规则确定所述若干个子任务之间的关系；所述关系包括与所述若干个子任务对应的参与计算的加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系；
基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部完成得到目标结果，并将所述目标结果返回至预设区域。
2.根据权利要求1所述的AI加速核调度管理方法，其特征在于，所述根据预设拆分规则将所述总任务进行拆分，以得到若干个子任务，包括：
根据预设规则将所述总任务进行拆分，以得到单个所述加速核能够执行的所述若干个子任务。
3.根据权利要求1所述的AI加速核调度管理方法，其特征在于，所述预设拆分规则包括所述若干个子任务的任务优先级、任务类型、任务复杂度以及相互依赖关系。
4.根据权利要求3所述的AI加速核调度管理方法，其特征在于，所述根据所述预设拆分规则确定所述若干个子任务之间的关系，包括：
根据所述若干个子任务的所述任务类型确定参与计算的所述加速核的信息；
根据所述任务优先级对所述若干个子任务进行排序得到与所述若干个子任务相对应的所述加速核的调用优先级，以确定所述加速核的上下级关系；
根据所述任务复杂度确定所述若干个子任务的计算时间；
根据所述相互依赖关系确定所述加速核调用的先后关系以及所述加速核之间数据的流转关系。
5.根据权利要求4所述的AI加速核调度管理方法，其特征在于，所述基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部执行结束得到目标结果，包括：
基于参与计算的所述加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系将当前待执行子任务发送至与其对应的加速核；
若所述当前待执行子任务执行完成，则接收相应的加速核发送的执行成功的反馈结果；
从其他未执行子任务中确定出新的当前待执行子任务，并向下一级加速核发送新的所述当前待执行子任务，直至所述若干个子任务全部执行结束得到目标结果。
6.根据权利要求5所述的AI加速核调度管理方法，其特征在于，还包括：
若所述加速核的子任务执行失败，则接收所述加速核发送的执行失败的返回结果；
根据所述执行失败的返回结果分析失败原因，以基于所述失败原因对所述若干个子任务之间的关系进行更新，以得到更新后关系；
根据所述更新后关系重新调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行。
7.根据权利要求4至6任一项所述的AI加速核调度管理方法，其特征在于，所述基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行的过程中，还包括：
若与目标子任务对应的目标加速核处于非空闲状态，则查找与所述目标加速核的功能类型相同的其他加速核；所述目标子任务为所述若干个子任务中的任一子任务；
若所述其他加速核均处于非空闲状态，则基于所述目标子任务的所述计算时间以及所述其他加速核的当前任务的结束时间，从所述其他加速核中筛选出一个加速核作为用于执行所述目标子任务的加速核。
8.一种AI加速核调度管理装置，其特征在于，包括：
任务拆分模块，用于接收上层应用发送的加速计算的总任务，并根据预设拆分规则将所述总任务进行拆分，以得到若干个子任务；
关系确定模块，用于根据所述预设拆分规则确定所述若干个子任务之间的关系；所述关系包括与所述若干个子任务对应的参与计算的加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系；
任务执行模块，用于基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部完成得到目标结果，并将所述目标结果返回至预设区域。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的AI加速核调度管理方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的AI加速核调度管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310349640.2A CN116107724B (zh) | 2023-04-04 | 2023-04-04 | 一种ai加速核调度管理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310349640.2A CN116107724B (zh) | 2023-04-04 | 2023-04-04 | 一种ai加速核调度管理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116107724A true CN116107724A (zh) | 2023-05-12 |
| CN116107724B CN116107724B (zh) | 2023-07-18 |
Family
ID=86254668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310349640.2A Active CN116107724B (zh) | 2023-04-04 | 2023-04-04 | 一种ai加速核调度管理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116107724B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017070900A1 (zh) * | 2015-10-29 | 2017-05-04 | 华为技术有限公司 | 多核数字信号处理系统中处理任务的方法和装置 |
| CN107315629A (zh) * | 2017-06-14 | 2017-11-03 | 北京小米移动软件有限公司 | 任务处理方法、装置及存储介质 |
| CN111813554A (zh) * | 2020-07-17 | 2020-10-23 | 济南浪潮数据技术有限公司 | 一种任务调度处理方法、装置及电子设备和存储介质 |
| CN113238838A (zh) * | 2021-04-22 | 2021-08-10 | 中国银联股份有限公司 | 一种任务调度方法、装置及计算机可读存储介质 |
| CN113626173A (zh) * | 2021-08-31 | 2021-11-09 | 阿里巴巴（中国）有限公司 | 调度方法、装置及存储介质 |
| WO2022111453A1 (zh) * | 2020-11-24 | 2022-06-02 | 北京灵汐科技有限公司 | 任务处理方法及装置、任务分配方法、电子设备、介质 |
-
2023
- 2023-04-04 CN CN202310349640.2A patent/CN116107724B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017070900A1 (zh) * | 2015-10-29 | 2017-05-04 | 华为技术有限公司 | 多核数字信号处理系统中处理任务的方法和装置 |
| CN108351783A (zh) * | 2015-10-29 | 2018-07-31 | 华为技术有限公司 | 多核数字信号处理系统中处理任务的方法和装置 |
| CN107315629A (zh) * | 2017-06-14 | 2017-11-03 | 北京小米移动软件有限公司 | 任务处理方法、装置及存储介质 |
| CN111813554A (zh) * | 2020-07-17 | 2020-10-23 | 济南浪潮数据技术有限公司 | 一种任务调度处理方法、装置及电子设备和存储介质 |
| WO2022111453A1 (zh) * | 2020-11-24 | 2022-06-02 | 北京灵汐科技有限公司 | 任务处理方法及装置、任务分配方法、电子设备、介质 |
| CN113238838A (zh) * | 2021-04-22 | 2021-08-10 | 中国银联股份有限公司 | 一种任务调度方法、装置及计算机可读存储介质 |
| CN113626173A (zh) * | 2021-08-31 | 2021-11-09 | 阿里巴巴（中国）有限公司 | 调度方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 戴翠琴;李慧鹏;: "基于分层禁忌遗传算法的卫星任务调度方案", 重庆邮电大学学报(自然科学版), no. 05, pages 124 - 133 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116107724B (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Han et al. | Tailored learning-based scheduling for kubernetes-oriented edge-cloud system | |
| CN111367630A (zh) | 一种基于云计算的多用户多优先级的分布式协同处理方法 | |
| CN107679625B (zh) | 针对数据记录执行机器学习的分布式系统及其方法 | |
| CN113535367A (zh) | 任务调度方法及相关装置 | |
| WO2023066084A1 (zh) | 算力分配方法、装置及算力服务器 | |
| CN114610474A (zh) | 一种异构超算环境下多策略的作业调度方法及系统 | |
| CN112988344A (zh) | 分布式批量任务调度方法、装置、设备及存储介质 | |
| CN115292039A (zh) | 一种面向异构计算平台的多任务分布式调度负载均衡方法 | |
| Badri et al. | A sample average approximation-based parallel algorithm for application placement in edge computing systems | |
| CN111857984A (zh) | 银行系统中的作业调用处理方法、装置和计算机设备 | |
| CN111158800A (zh) | 基于映射关系构建任务dag的方法及装置 | |
| CN114169801A (zh) | 工作流调度方法和装置 | |
| CN112463334B (zh) | 一种训练任务排队原因分析方法、系统、设备以及介质 | |
| CN116107724B (zh) | 一种ai加速核调度管理方法、装置、设备及存储介质 | |
| CN113986534A (zh) | 任务调度方法、装置、计算机设备和计算机可读存储介质 | |
| Wang et al. | In stechah: An autoscaling scheme for hadoop in the private cloud | |
| CN116821187A (zh) | 基于数据库的数据处理方法、装置、介质和电子设备 | |
| CN113485828B (zh) | 基于quartz的分布式任务调度系统及方法 | |
| CN109032779A (zh) | 任务处理方法、装置、计算机设备及可读存储介质 | |
| CN113010290A (zh) | 一种任务管理方法、装置、设备及存储介质 | |
| Yu et al. | Infusing human factors into algorithmic crowdsourcing | |
| Yan et al. | Dueling-DDQN Based Virtual Machine Placement Algorithm for Cloud Computing Systems | |
| US9747131B1 (en) | System and method for variable aggregation in order for workers in a data processing to share information | |
| Lim et al. | A run time technique for handling error in user-estimated execution times on systems processing MapReduce jobs with deadlines | |
| CN116089021B (zh) | 面向深度学习的大规模负载混部调度方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |