CN113687936B - 在tvm中加速调优收敛的调度方法、存储介质和电子设备 - Google Patents

在tvm中加速调优收敛的调度方法、存储介质和电子设备 Download PDF

Info

Publication number
CN113687936B
CN113687936B CN202111082553.2A CN202111082553A CN113687936B CN 113687936 B CN113687936 B CN 113687936B CN 202111082553 A CN202111082553 A CN 202111082553A CN 113687936 B CN113687936 B CN 113687936B
Authority
CN
China
Prior art keywords
scheduling
weight
time consumption
task
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111082553.2A
Other languages
English (en)
Other versions
CN113687936A (zh
Inventor
姜枞聪
樊一超
曹航
李冠华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yunqi Smart Vision Technology Co ltd
Original Assignee
Hangzhou Yunqi Smart Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yunqi Smart Vision Technology Co ltd filed Critical Hangzhou Yunqi Smart Vision Technology Co ltd
Publication of CN113687936A publication Critical patent/CN113687936A/zh
Application granted granted Critical
Publication of CN113687936B publication Critical patent/CN113687936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种在TVM中加速调优收敛的调度方法，包括以下步骤：统计调度任务的类型，确定同类型调度任务的数量；首轮遍历调优，记录调度任务对应的耗时；按照耗时长短为调度任务附上调度权重；计算同类型调度任务的得分；以所有调度任务的得分之和作为目标函数值与设定的目标阈值作比较，若目标函数值大于目标阈值，则进行调度权重反馈；调度权重反馈，进行再次调优，并判断调优前后的耗时比较调整调度权重；本发明还同步公开一种、存储介质和电子设备。本发明对调优后的耗时与调优前进行比较，并进行相应的调度权重奖励与惩罚，使调度能够更加快速地收敛。

Description

在TVM中加速调优收敛的调度方法、存储介质和电子设备
相关申请的交叉引用
本申请要求申请号为：2021106047694，申请日为：2021年5月31日，发明名称为：在TVM中加速调优收敛的调度方法、存储介质和电子设备的中国专利申请的优先权。
技术领域
本发明涉及计算机技术领域，尤其涉及一种在TVM中加速调优收敛的调度方法、存储介质和电子设备。
背景技术
在图像的深度学习网络中，通常包含多种任务，为了使整体网络性能更优，通常需要对任务进行调度。如文献：Zheng L,Jia C,Sun M,et al.Ansor:Generating High-Performance Tensor Programs for Deep Learning[J].2020即提出了两种策略用于调优任务的调度，分别是round-robin、gradient。其中Round-robin是类枚举调度方法，使用该方法每个任务都能够调度到，对于优化权重低和优化权重高的任务被调度的机会是一样的，这会导致非常耗时。gradient是基于梯度思想的调度策略，这种策略的收敛速度较快，但易陷入局部最优，不利于进一步的调度优化。
发明内容
本发明的目的在于提供一种在TVM中加速调优收敛的调度方法，以解决背景技术中提到的至少一种技术问题。
为实现上述目的，本发明提供如下技术方案：
一种在TVM中加速调优收敛的调度方法，包括以下步骤：
S1，统计调度任务的类型，确定同类型调度任务的数量；
S2，首轮遍历调优，依次对调度任务进行首轮调优，记录调度任务对应的耗时；
S3，按照耗时长短为调度任务附上调度权重，耗时越长调度权重越重；
S4，计算耗时、同类型调度任务的数量、调度权重三者的乘积为同类型调度任务的得分；
S5，以所有调度任务的得分之和作为目标函数值与设定的目标阈值作比较，若目标函数值大于目标阈值，则跳至S6进行调度权重反馈，否则结束调优；
S6，调度权重反馈，对得分最大的同类型调度任务进行再次调优，并判断调优前后的耗时，若调优后的耗时比调优前的耗时短，则加重其调度权重作为奖励，否则减轻其调度权重作为惩罚；跳回至S4。
进一步的，所述S2中，首轮遍历调优的具体内容为：初始化首轮遍历索引；对所述首轮遍历索引累加1，并依次对所述首轮遍历索引对应的调度任务进行调优直至所有调度任务完成首轮遍历调优。
进一步的，所述S6中，调度权重反馈的具体内容为：
S61，选取得分最大的同类型调度任务，将其索引值赋给任务调度索引，将得分最大值赋给中间判断值；
S62，对所述得分最大的同类型调度任务进行再次调优，并记录调优后的耗时；
S63，将调优后的耗时与中间判断值进行比较，若调优后的耗时比中间判断值短，则加重对应的调度权重作为奖励，否则将减轻对应的调度权重作为惩罚。
进一步的，所述奖励值大于惩罚值。
进一步的，所述奖励内容为，在原调度权重的基础上加0.3；所述惩罚内容为，在原调度权重的基础上减0.2。
进一步的，在所述S63中，还包括边界防护，当出现任一调度权重小于设定权重阈值时，进行调度任务进行重新洗牌。
进一步的，所述重新洗牌的内容为：按照S3的方法，对当前的调度任务按照耗时长短为调度任务重新附上调度权重，耗时越长调度权重越重。
进一步的，所述S1之前还包括：
S0，加载深度学习网络，并输入待检测图像，生成若干调度任务。
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的调度方法。
一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述的调度方法。
与现有技术相比，本发明的有益效果是：本发明引入调度权重反馈的设计，对调优后的耗时与调优前进行比较，并进行相应的调度权重奖励与惩罚，使的图像检测过程中，调度能够更加快速地收敛。另一方面，本发明还引入边界防护，在调度权重低于设定权重阈值的情况下，进行重新洗牌，防止陷入局部最优。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，本实施例提供一种在TVM中加速调优收敛的调度方法。
调度目标函数及得分列表score[]设计：
(1)得分列表score[i]计算方式如下：
score[i]＝task_costs[i]*task_wgts[i]*sort_wgts[i]
其中：task_costs[i]是记录调度任务耗时的列表，task_wgts[i]是记录同类型调度任务数量的列表，sort_wgts[i]是记录调度权重的列表，i是列表的索引。
(2)调度目标函数Fscore计算方式如下：
Fscore＝sum(task_costs[i]*task_wgts[i]*sort_wgts[i])
初始化操作。初始化首轮遍历调度索引idx＝0，调度权重反馈的中间判断值m_adj＝0，选择任务调度索引task_id＝-1，调度任务task对应的耗时列表task_costs[i]根据len(tasks)赋0初始化，调度权重列表sort_wgts[i]根据任务列表的长度len(tasks)赋0初始化；调度任务数量的列表Task_wgts[i]中记载的待调优的同类型子任务的个数，在深度学习网络定了之后也就固定了，跟调度调优过程无关。
子任务的确定方式根据是否要对网络进行算子融合分为两种：(1)逐算子模式；(2)算子融合模式。
(1)逐算子模式：
根据深度学习网络中包含的算子类型生成Task_wgts，此时每个算子为一个子任务，支持的算子包括卷积(conv2d)、池化(pool)、归一化(bn/in)、全连接(linear)、激活(relu)等常见算子。
(2)算子融合模式：
支持卷积(conv2d)+归一化(bn)+激活(relu)融合成大算子(fused-conv2d-bn-relu)，则此时的大算子(fused-conv2d-bn-relu)为一个独立子任务，其余未融合的算子为其他子任务。
统计调度任务列表中属于同一类型(如卷积、池化、归一等等)的子任务数量，即构成同类型调度任务数量的列表Task_wgts[i]。
具体包括以下步骤：
S0，加载深度学习网络，并输入待检测图像，生成若干调度任务；所述待检测图像可以应用于目标检测、人脸识别/检测、形体识别等。
S1，统计调度任务的类型，确定同类型调度任务的数量，构建同类型调度任务数量的列表Task_wgts[i]；
S2，首轮遍历调优，依次对调度任务进行首轮调优，记录调度任务对应的耗时；具体为：
(1)当idx<len(tasks)时，对idx做+1操作，依次对任务进行调优，一轮下来得到填充满的记录每个任务task对应耗时的列表task_costs[i]；
(2)当idx>＝len(tasks)时，跳出循环，对调度权重列表sort_wgts进行初始化；
S3，考虑到耗时更长的调度任务应该给予更大的调优机会，按照耗时长短为调度任务附上调度权重，耗时越长调度权重越重；
如某一实施例中，涉及10种调度任务，其索引i为0-9，对应的耗时(单位/s)分别为0.2，0.5，0.3，0.4，1.1，0.6，2.3，0.9，1.4，1.8；
预先设定调度权重1至10。
按照耗时的长短排序，其调度权重列表sort_wgts为[1，4，2，3，7，5，10，6，8，9]。
S4，计算耗时、同类型调度任务的数量、调度权重三者的乘积为同类型调度任务的得分score[i]；
score[i]＝task_costs[i]*task_wgts[i]*sort_wgts[i]
S5，以所有调度任务的得分之和作为目标函数值Fscore与设定的目标阈值α作比较，若目标函数值Fscore大于目标阈值α，则跳至S6进行调度权重反馈，否则达到预期调优效果，跳出循环，结束调优；值得一提的是，目标阈值α为用户期望达到的网络推理效率，不同网络/不同硬件平台的设置数值不固定，由用户主观设定。
S6，调度权重反馈，对得分最大的同类型调度任务进行再次调优，并判断调优前后的耗时，若调优后的耗时比调优前的耗时短，则加重其调度权重作为奖励，否则减轻其调度权重作为惩罚；跳回至S4。
调度权重反馈的具体内容为：
S61，选取得分score[i]最大的同类型调度任务，将其索引值i赋给任务调度索引task_id，将得分最大值score[task_id]赋给中间判断值m_adj；
S62，对所述得分最大的同类型调度任务进行再次调优，并记录调优后的耗时task_costs[task_id]；
S63，将调优后的耗时task_costs[task_id]与中间判断值m_adj进行比较，若调优后的耗时比中间判断值短，说明在对这个task_id的调度任务进行调优后，获得了性能的提升，则加重对应的调度权重作为奖励，否则说明在对这个task_id的调度任务进行调优后，并没有获得性能的提升，将减轻对应的调度权重作为惩罚。另外考虑到调度的大部分轮次其实并不会对性能的提升有积极作用，所以奖励值略大于惩罚值，这样会让有希望性能提升的任务获得更多的调优机会。于一实施例中，所述奖励内容为，在原调度权重的基础上加0.3；所述惩罚内容为，在原调度权重的基础上减0.2。
于一实施例中，为了避免调优陷入局部最优，还包括边界防护，当出现任一调度权重小于设定权重阈值时，进行调度任务进行重新洗牌，权重阈值优选为0.3。所述重新洗牌的内容为：按照S3的方法，对当前的调度任务按照耗时长短为调度任务重新附上调度权重[1-10]，耗时越长调度权重越重，重新进行调优。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台电子设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (10)

1.一种在TVM中加速调优收敛的调度方法，其特征在于，包括以下步骤：
S1，统计调度任务的类型，确定每一类型调度任务的数量；
S2，首轮遍历调优，依次对调度任务进行首轮调优，记录调度任务对应的耗时；
S3，按照耗时长短为调度任务附上调度权重，耗时越长调度权重越重；
S4，计算耗时、每一类型调度任务的数量、调度权重三者的乘积为该类型调度任务的得分；
S5，以所有调度任务的得分之和作为目标函数值与设定的目标阈值作比较，若目标函数值大于目标阈值，则跳至S6进行调度权重反馈，否则结束调优；
S6，调度权重反馈，对得分最大的该类型调度任务进行再次调优，并判断调优前后的耗时，若调优后的耗时比调优前的耗时短，则加重其调度权重作为奖励，否则减轻其调度权重作为惩罚；跳回至S4。
2.根据权利要求1所述的在TVM中加速调优收敛的调度方法，其特征在于，所述S2中，首轮遍历调优的具体内容为：初始化首轮遍历索引；对所述首轮遍历索引累加1，并依次对所述首轮遍历索引对应的调度任务进行调优直至所有调度任务完成首轮遍历调优。
3.根据权利要求1所述的在TVM中加速调优收敛的调度方法，其特征在于，所述S6中，调度权重反馈的具体内容为：
S61，选取得分最大的该类型调度任务，将其索引值赋给任务调度索引，将得分最大值赋给中间判断值；
S62，对所述得分最大的该类型调度任务进行再次调优，并记录调优后的耗时；
S63，将调优后的耗时与中间判断值进行比较，若调优后的耗时比中间判断值短，则加重对应的调度权重作为奖励，否则将减轻对应的调度权重作为惩罚。
4.根据权利要求3所述的在TVM中加速调优收敛的调度方法，其特征在于，所述奖励值大于惩罚值。
5.根据权利要求4所述的在TVM中加速调优收敛的调度方法，其特征在于，所述奖励内容为，在原调度权重的基础上加0.3；所述惩罚内容为，在原调度权重的基础上减0.2。
6.根据权利要求3所述的在TVM中加速调优收敛的调度方法，其特征在于，在所述S63中，还包括边界防护，当出现任一调度权重小于设定权重阈值时，进行调度任务进行重新洗牌。
7.根据权利要求6所述的在TVM中加速调优收敛的调度方法，其特征在于，所述重新洗牌的内容为：按照S3的方法，对当前的调度任务按照耗时长短为调度任务重新附上调度权重，耗时越长调度权重越重。
8.根据权利要求1所述的在TVM中加速调优收敛的调度方法，其特征在于，所述S1之前还包括：
S0，加载深度学习网络，并输入待检测图像，生成若干调度任务。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的调度方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述的调度方法。
CN202111082553.2A 2021-05-31 2021-09-15 在tvm中加速调优收敛的调度方法、存储介质和电子设备 Active CN113687936B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110604769 2021-05-31
CN2021106047694 2021-05-31

Publications (2)

Publication Number Publication Date
CN113687936A CN113687936A (zh) 2021-11-23
CN113687936B true CN113687936B (zh) 2024-07-30

Family

ID=78586442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111082553.2A Active CN113687936B (zh) 2021-05-31 2021-09-15 在tvm中加速调优收敛的调度方法、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN113687936B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955409A (zh) * 2014-05-04 2014-07-30 广东怡创科技股份有限公司 作业调度方法
CN106469352A (zh) * 2016-08-31 2017-03-01 航天恒星科技有限公司 任务决策的调度方法和系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130268672A1 (en) * 2012-04-05 2013-10-10 Valerie D. Justafort Multi-Objective Virtual Machine Placement Method and Apparatus
CN108256671A (zh) * 2017-12-26 2018-07-06 佛山科学技术学院 一种基于学习型遗传算法的多任务多资源滚动分配方法
CN109767094B (zh) * 2018-12-27 2022-08-30 南京邮电大学 智慧云制造任务调度装置
CN110163469A (zh) * 2019-04-02 2019-08-23 北京云迹科技有限公司 调度任务排序方法及装置
US12468929B2 (en) * 2019-08-12 2025-11-11 University Of Southern California Self-optimizing and self-programming computing systems: a combined compiler, complex networks, and machine learning approach
CN111625337A (zh) * 2020-05-28 2020-09-04 浪潮电子信息产业股份有限公司 一种任务调度方法、装置、电子设备和可读存储介质
CN111949932A (zh) * 2020-07-10 2020-11-17 苏州浪潮智能科技有限公司 一种在TVM中实现TensorCore卷积计算的方法及系统
CN111860650A (zh) * 2020-07-21 2020-10-30 苏州浪潮智能科技有限公司 一种基于tvm的并行卷积融合的方法和设备
CN111860838B (zh) * 2020-07-24 2022-12-20 苏州浪潮智能科技有限公司 一种神经网络的全连接层计算方法和装置
CN111858540B (zh) * 2020-07-28 2024-10-15 昆明大棒客科技有限公司 带权重的分布式数据存储方法、系统和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955409A (zh) * 2014-05-04 2014-07-30 广东怡创科技股份有限公司 作业调度方法
CN106469352A (zh) * 2016-08-31 2017-03-01 航天恒星科技有限公司 任务决策的调度方法和系统

Also Published As

Publication number Publication date
CN113687936A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN113064879B (zh) 数据库参数调整方法、装置及计算机可读存储介质
US8364618B1 (en) Large scale machine learning systems and methods
US7925651B2 (en) Ranking items by optimizing ranking cost function
KR102878575B1 (ko) 애플리케이션의 스토리지 로드를 결정하는 방법 및 장치
CN108595526A (zh) 资源推荐方法及装置
CN111680085A (zh) 数据处理任务分析方法、装置、电子设备和可读存储介质
CN119762081A (zh) 一种基于自然语言处理的智能客服系统优化方法及系统
CN118797652A (zh) 计算信息获取方法、装置、设备及介质
CN120743550B (zh) 基于Node环境的多策略缓存与自动数据生成方法及系统
CN113687936B (zh) 在tvm中加速调优收敛的调度方法、存储介质和电子设备
CN120491935B (zh) 基于人工智能的软件开发上下游任务参数传递与优化方法
CN120803657A (zh) 一种分布式计算的数据分配方法、系统、设备及介质
CN110648103B (zh) 用于选择仓库中的货品的方法、装置、介质和计算设备
CN113128217B (zh) 一种基于网络孪生空间的舆情处置决策方法
CN117951639A (zh) 多级能耗预测方法、装置、设备及存储介质
CN113077059A (zh) 在tvm中加速调优收敛的调度方法、存储介质和电子设备
KR100926876B1 (ko) 랭크 발생 확률을 이용한 랭크 학습 모델 생성 방법 및랭크 학습 모델 생성 시스템
KR20030005409A (ko) 이미지 품질에 대한 알고리즘들의 랜덤 시스템을최적화하기 위한 스케일러블 확장형 시스템 및 방법
CN110134575B (zh) 一种服务器集群的服务能力计算方法及装置
CN113850497A (zh) 一种电力能源调度方法、装置、存储介质及平台
CN120233997B (zh) 一种适配多硬件平台的软件开发模型的构建方法
CN120029436B (zh) 一种并行处理器功耗动态优化方法和系统
CN119357311B (zh) 数据更新的方法、装置及存储介质
CN120803672B (zh) 面向营销场景的ai智能体任务调度执行方法
CN120762919B (zh) 服务器任务分配方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant