CN112379998B - 一种基于任务融合和任务调度的切换时延优化方法 - Google Patents

Abstract

本发明提供了一种基于任务融合和任务调度的切换时延优化方法，所述方法首先分析应用主函数的调用关系，构建初始任务图，并测量初始任务图中每个任务的计算时间及整个应用的完成时间；利用拓扑排序获得任务的可执行顺序，根据可执行顺序对任务进行调度，为任务选择完成时间最短的设备；计算任务融合效率决定当前任务与前驱任务是否合并，并记录融合策略；根据融合策略获得重构任务图，计算出任务调度融合后的完成时间；对比进行任务调度融合前后的应用完成时间，决定是否保留融合操作，确定出最终任务图；根据最终任务图将任务部署到相应设备上执行。本发明结合了任务调度和任务融合两种方法的优点，有效减少了任务上下文切换时延。

Description

一种基于任务融合和任务调度的切换时延优化方法

技术领域

本发明涉及多任务计算领域，更具体地，涉及一种基于任务融合和任务调度的切换时延优化方法。

背景技术

在移动边缘计算场景中，深度学习应用的执行通常需要多个执行设备进行协同执行。因此，边缘服务器及云服务器上通常部署着一个多任务多设备的系统。终端用户在需要执行计算量较大的任务时，可以选择将其迁移到该任务系统中。深度学习应用作为一种典型的计算密集型应用，终端在执行此类应用的过程中会选择将任务迁移到边缘服务器及云服务器组成的多任务系统。深度学习可以通过转换为计算图的方式(tensorflow)将整个计算任务划分为细粒度更小的子任务执行。然而，数据密集导致任务计算过程中需要频繁的从内存及缓存中进行数据搬运，多任务系统从计算一个任务切换到计算另外一个任务的过程中，会产生较大的上下文切换时延。任务融合是指将两个任务融合成为一个任务。通过将两个计算任务的函数代码合并为一个函数，通过编译器自动优化可复用变量及内存使用，将两个计算任务编译成为一个计算任务。目前的技术一般通过将任务分配给不同的处理机进行处理(即任务调度)，利用处理机的空闲时间，提高科任务执行的并行性，缩短任务的完成时间。

2017年8月4日公布的中国专利CN107015856A公开了一种云环境下科学工作流中的任务调度方案生成方法及装置，该方法包括如下步骤，步骤1，获取所有待被调度的任务；步骤2，通过带权值的有向无环图描述待被调度的任务；步骤3，在所述有向无环图中，自开始节点向结束节点遍历，获得所有路径；步骤4，计算各路径的时间消耗，根据所述时间消耗由大到小的顺序将所有路径降序排序、确定路径的优先级；步骤5，根据路径的优先级顺序生成任务调度方案；该发明通过任务分配的方法，利用处理机的空闲时间，提高处理机利用率，缩短了任务完成的总时间，没有针对任务切换时延提出解决方法。

发明内容

本发明为克服上述现有技术所述的任务上下文切换时延较大的缺陷，提供一种基于任务融合和任务调度的切换时延优化方法。

本发明的技术方案如下：

本发明提供一种基于任务融合和任务调度的切换时延优化方法，所述方法包括以下步骤：

S1：分析应用主函数的调用关系，构建初始任务图G(V,E)，其中V表示存在依赖关系的任务节点集合，E代表边集合，边集合中的每条边代表任务之间的依赖性；

S2：预执行初始任务图：计算所述初始任务图中每个任务i在设备j的计算时间

和整个应用在计算能力最强的设备j_max上的完成时间T，其中i∈V,j∈M,j_max∈M，M为执行任务的计算设备集合；

S3：获得任务的可执行顺序N；

S4：对任务进行调度：根据可执行顺序N，从第一任务开始遍历，为每个任务在M中选择完成时间最短的设备作为任务的执行设备，并将所述执行设备信息记录记为x_j＝1；

S5：对任务进行融合：合并当前任务与其前驱任务，计算任务的融合效益Q_i，根据融合效益Q_i决定是否融合；其中，前驱任务为当前任务的上个任务；

若Q_i<0，当前任务与其前驱任务不融合；

若Q_i≥0，当前任务与其前驱任务融合；

S6：若S5中当前任务与前驱任务进行融合，融合策略记为z_i＝1，则将融合后的任务作为新任务执行S4；若S5中当前任务与前驱任务不进行融合，融合策记为略z_i＝0，则撤销融合操作；直到遍历完所有任务；

S7：所有任务遍历完，根据融合策略z_i获得重构任务图；根据重构任务图计算任务融合调度后的应用完成时间T′；

S8：对比任务融合调度前后的应用完成时间T和T′；

若T′>T，则舍弃记录的执行设备信息，撤销所有的融合操作和重构任务图，将初始任务图作为最终任务图；

若T′<T，用S7中的重构任务图更新初始任务图，作为最终任务图；

S9：将最终任务图保存在应用配置文件当中，根据配置文件对代码进行编译优化，并将任务根据最终任务图部署到相应设备上执行。

优选地，所述S2中的

由下面公式计算得出：

其中W_i为任务i的时钟周期，f_j为设备j的CPU频率。

优选地，所述时钟周期W_i通过clock_gettime函数获得。

优选地，所述S2中的T由下面公式计算得出：

其中c_i为任务i的上下文切换时延。

优选地，所述c_i具体数值由以下方法求出：

利用一个线程轮流执行任务i和任务i的前驱任务，得到执行完成时间t_i1，利用两个线程分别执行任务i和任务i的前驱任务，得到执行完成时间t_i2，则：c_i＝t_i1-t_i2。

优选地，所述S3中的可执行顺序N由拓扑排序获得。

优选地，所述S4中的执行设备通过下式求解得出：

其中，T_j为设备j执行当前分配的任务所需的时间。

优选地，所述S5中的融合效益Q_i由下面公式求出：Q_i＝α(H+c_i)-(1-α)Γ，其中α为权重因子，H为任务融合后任务i的计算时间减少量，Γ为任务融合产生的额外任务的计算时间。

优选地，所述S7中的重构任务图包括可执行顺序N和任务执行设备信息x_j。

优选地，所述S7中的T′有以下限制条件：

minT′

s.t.∑x_j＝1

z_i∈{0,1}

其中，∑x_j＝1表示一个任务只能分配到一个执行设备上执行。

与现有技术相比，本发明技术方案的有益效果是：

本发明通过任务调度将任务分配到计算时间最短的设备上执行，减少任务计算时间；通过寻找可融合任务进行任务融合，减少任务上下文切换时间；本发明结合了任务调度和任务融合两种方法的优点，有效减少了任务上下文切换时延。

附图说明

图1为实施例1所述的一种基于任务融合和任务调度的切换时延优化方法的流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

本实施例提供一种基于任务融合和任务调度的切换时延优化方法，如图1所示，所述方法包括以下步骤：

S1：分析应用主函数的调用关系，构建初始任务图G(V,E)，其中V表示存在依赖关系的任务节点集合，E代表边集合，边集合中的每条边代表任务之间的依赖性；

S2：预执行初始任务图：计算所述初始任务图中每个任务i在设备j的计算时间

和整个应用在计算能力最强的设备j_max上的完成时间T，其中i∈V,j∈M,j_max∈M，M为执行任务的计算设备集合；

S3：获得任务的可执行顺序N；

S4：对任务进行调度：根据可执行顺序N，从第一任务开始遍历，为每个任务在M中选择完成时间最短的设备作为任务的执行设备，并记录所述执行设备信息x_j＝1；

S5：对任务进行融合：合并当前任务与其前驱任务，计算任务的融合效益Q_i，根据融合效益Q_i决定是否融合；其中，前驱任务为当前任务的上个任务；

若Q_i<0，当前任务与其前驱任务不融合；

若Q_i≥0，当前任务与其前驱任务融合；

S6：若S5中当前任务与前驱任务进行融合，融合策略记为z_i＝1，则将融合后的任务作为新任务执行S4；若S5中当前任务与前驱任务不进行融合，融合策略记为z_i＝0，则撤销融合操作，根据可执行顺序N对下一个任务重复S4；直到遍历完所有任务；

S7：所有任务遍历完，根据z_i获得重构任务图；根据重构任务图计算任务融合调度后的应用完成时间T′；

S8：对比任务融合调度前后的应用完成时间T和T′；

若T′>T，则舍弃记录的执行设备信息，撤销所有的融合操作和重构任务图，将初始任务图作为最终任务图；

若T′<T，用S7中的重构任务图更新初始任务图，作为最终任务图；

S9：将最终任务图保存在应用配置文件当中，根据配置文件对代码进行编译优化，并将任务根据最终任务图部署到相应设备上执行。

所述S2中的

由下面公式计算得出：

其中W_i为任务i的时钟周期，f_j为设备j的CPU频率。

所述时钟周期W_i通过clock_gettime函数获得。

所述S2中的T由下面公式计算得出：

其中c_i为任务i的上下文切换时延。

所所述c_i具体数值由以下方法求出：

利用一个线程轮流执行任务i和任务i的前驱任务，得到执行完成时间t_i1，利用两个线程分别执行任务i和任务i的前驱任务，得到执行完成时间t_i2，则：c_i＝t_i1-t_i2。

所述S3中的可执行顺序N由拓扑排序获得。

所述S4中的执行设备通过下式求解得出：

其中，T_j为设备j执行当前分配的任务所需的时间。

所述S5中的融合效益Q_i由下面公式求出：Q_i＝α(H+c_i)-(1-α)Γ，其中α为权重因子，H为任务融合后任务i的计算时间减少量，Γ为任务融合产生的额外任务的计算时间。

所述S7中的重构任务图包括可执行顺序N和任务执行设备信息x_j。

所述S7中的T′有以下限制条件：

minT′

s.t.∑x_j＝1

z_i∈{0,1}

其中，∑x_j＝1表示一个任务只能分配到一个执行设备上执行。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于任务融合和任务调度的切换时延优化方法，其特征在于，所述方法包括以下步骤：

S1：分析应用主函数的调用关系，构建初始任务图G(V,E)，其中V表示存在依赖关系的任务节点集合，E代表边集合，边集合中的每条边代表任务之间的依赖性；

S2：预执行初始任务图：计算所述初始任务图中每个任务i在设备j的计算时间

和整个应用在计算能力最强的设备j_max上的完成时间T，其中i∈V,j∈M,j_max∈M，M为执行任务的计算设备集合；其中，

其中，W_i为任务i的时钟周期，f_j设备j的CPU频率，c_i为任务i的上下文切换时延；

所述c_i的具体数值由以下方法求出：

利用一个线程轮流执行任务i和任务i的前驱任务，得到执行完成时间t_i1，利用两个线程分别执行任务i和任务i的前驱任务，得到执行完成时间t_i2，则：c_i＝t_i1-t_i2；

S3：获得任务的可执行顺序N；

S4：对任务进行调度：根据可执行顺序N，从第一任务开始遍历，为每个任务在M中选择完成时间最短的设备作为任务的执行设备，并记录所述执行设备信息x_j＝1；

S5：对任务进行融合：合并当前任务与前驱任务，计算任务的融合效益Q_i，根据融合效益Q_i决定是否融合；其中，前驱任务为当前任务的上个任务；

若Q_i＜0，当前任务与前驱任务不融合；

若Q_i≥0，当前任务与前驱任务融合；

融合效益Q_i由下面公式求出:

Q_i＝α(H+c_i)-(1-α)Γ

其中，α为权重因子，H为任务融合后任务i的计算时间减少量，Γ为任务融合产生的额外任务的计算时间；

S6：若S5中当前任务与前驱任务进行融合，融合策略记为z_i＝1，则将融合后的任务作为新任务执行S4；若S5中当前任务与前驱任务不进行融合，融合策略记为z_i＝0，则撤销融合操作；直到遍历完所有任务；

S7：所有任务遍历完，根据融合策略z_i获得重构任务图；根据重构任务图计算任务融合调度后的应用完成时间T′；

S8：对比任务融合调度前后的应用完成时间T和T′；

若T′＞T，则舍弃记录的执行设备信息，撤销所有的融合操作和重构任务图，将初始任务图作为最终任务图；

若T′＜T，用S7中的重构任务图更新初始任务图，作为最终任务图；

S9：将最终任务图保存在应用配置文件当中，根据配置文件对代码进行编译优化，并将任务根据最终任务图部署到相应设备上执行。

2.根据权利要求1所述的一种基于任务融合和任务调度的切换时延优化方法，其特征在于，所述时钟周期W_i通过clock_gettime函数获得。

3.根据权利要求1所述的一种基于任务融合和任务调度的切换时延优化方法，其特征在于，所述S3中的可执行顺序N由拓扑排序获得。

4.根据权利要求3所述的一种基于任务融合和任务调度的切换时延优化方法，其特征在于，所述S4中的执行设备通过下式求解得出：

其中，T_j为设备j执行当前分配的任务所需的时间。

5.根据权利要求1所述的一种基于任务融合和任务调度的切换时延优化方法，其特征在于，所述S7中的重构任务图包括可执行顺序N和任务执行设备信息x_j。

6.根据权利要求5所述的一种基于任务融合和任务调度的切换时延优化方法，其特征在于，所述S7中的T′有以下限制条件：

min T′

s.t.∑x_j＝1

z_i∈{0,1}。

Images