CN108845873A - 一种低功耗的自适应流水线并行方法 - Google Patents

Abstract

本发明属于计算机技术领域，具体为一种低功耗的自适应流水线并行方法。本发明方法包括：确定优化目标，建立优化方程；进行状态管理；设计流水线；以及确定线程调度策略。本发明能自动适应工作负载的变化，在保证性能的前提下可以实现更好的计算功耗比。

Description

一种低功耗的自适应流水线并行方法

技术领域

本发明属于计算机技术领域，具体涉及一种低功耗的自适应流水并行方法。

背景技术

在大数据时代，计算机系统处理的数据量越来越大，实时性要求也越来越高。随着多核乃至众核的普及，多核处理器已经成为各种云平台或数据中心的主流硬件。因此，越来越多的研究者试图通过并行化算法，利用多核平台提供的计算资源加速算法的处理速度，实现对数据的实时处理。然而，已有的并行方法对于多核平台的并行计算资源的利用效率较低，并行加速效果并不理想，其性能结果与理想加速效果存在较大差距。这些不同的算法，处理的对象和计算的过程虽然有很多不同，但并行化的过程中存在一些相似的模式。多媒体服务是大数据时代的典型应用，而多媒体检索应用算法是多媒体相关数据服务的基础，有着广泛的应用前景。我们以多媒体检索应用算法的并行化为例，阐述算法并行化过程中的典型问题。

大规模的数据中心和集群服务器中，由于功耗墙的问题，除了传统的处理速度相关的性能指标外，能耗已成为最重要的评测指标之一。即在这些环境中，经常使用计算功耗比代替单一的性能做为整个系统优化的目标。考虑到多媒体检索算法常常被部署在大规模的云环境或者数据中心的集群上，并全天候地为用户提供实时处理服务，其负载压力在不同的时间段区别非常大。简单地提升程序的运行性能实际上不能满足数据中心对于功耗的优化目标。因此，在性能损失很小的前提下，设计和实现适应云计算环境功耗需求目标的，具有更高计算功耗比的功耗优先的多媒体检索并行算法更为重要。

在自适应的流水并行设计中，算法通过检测不同阶段间缓冲区的大小来动态地调整不同阶段的线程分配，达到负载均衡的目标。在这种设计中，在工作负载满的时候可以很好的工作。然而当负载动态变化时，很多线程将频繁的在不同阶段间切换，造成资源的浪费。比如工作负载很轻时，不同阶段的缓冲区会处于空的状态，算法检测缓冲区认为第二阶段的线程过多，逐步调度线程到第一阶段。而随着调度到第一个阶段线程的增多，第二阶段的线程数逐渐减少，共享缓冲区逐渐处于满状态，线程再反向迁移。从而导致颠簸状态。因此，动态流水线并行算法在输入工作集变化的时候不能取得较好的计算功耗比。

对于大型数据中心或云平台的硬件配置一般是为了应对最差的工作负载而设计的。然而这种情况出现的几率并不是很高，或者绝大部分情况并不会出现。以商业购物网站的负载为例，一般在白天时负载相对较高，而进入夜晚则负载会逐渐降低。同样在白天，工作日的负载会小于双休日的负载。由于较小的工作负载仅需要较少的计算资源，冗余的计算资源如果被设置为待机状态或低功耗状态，在负载增加时再唤醒，则可以有效降低能量消耗。为了实现更好的计算功耗比，我们在进行动态流水线并行设计时，需要同时考虑输入的工作负载情况和流水线内部的工作负载情况来统一调度，从而达到节省能源实现更好的计算功耗比的目的。

发明内容

本发明的目的在于克服算法在流水线并行化过程中存在的各种固有限制，提供一种功耗低的自适应流水并行方法。

(一)确定优化目标，建立优化方程

在流水线并行机制中，一个完整的应用被划分为多个功能阶段，各个阶段以相互衔接的并行方式工作，并通过各个阶段间的共享缓冲区交互中间结果。输入数据流经各个阶段并逐个被处理，在这里我们假定所有的阶段在同一台机器上处理。

因此，可用计算核心集合C＝{c₀,c₁,…,c_|c|-1}表示计算平台的计算能力，其中|C|表示集合C中的元素个数。当一个并行程序运行在核心集合C上时，对于每一个计算核心c_i有两种状态：工作状态和空闲状态。对应的时间也就有两种：工作时间和空闲时间此外，整个应用算法在这些计算核心上的执行过程的执行时间可以被划分为k个不重叠的时间区间N＝{n₀,n₁,…,n_k-1}，在每个时间区间n_i内，有两种运行时间，一种是有效的工作时间T_E，这是各个处理器核心实际处理有用工作的时间，如处理图像或者特征点的计算时间；另一种是非有效工作时间，即不必要的冗余时间T_R，比如线程等待和颠簸的时间。在这两个时间中，工作时间T_E中处理器核心消耗的能量是有效能量，而非有效工作时间T_R中处理器核心消耗的能量是无效能量。因此，在整个计算过程中，随着T_R在整个时间比例的增加，整体流水线并行的能源效率会降低，这是因为更多的计算资源被无用工作(等待和线程颠簸等)浪费。因此，对于每个处理器核心在第i个时间段资源浪费率为在该时间段内非有效时间占该段整个时间(有效时间和无效时间之和)的比值。整个资源的浪费可以用所有处理器核心在整个执行过程中资源利用率之和来表示。即整体的资源浪费A可以用公式(4)表示：

为获得最佳的能源利用率，在优化的过程中应当最小化无用的运行时间以降低能源浪费，换言之，应当最小化资源浪费率A：

min(A)→0 ⑸

这里，我们采用贪心算法的理念，为获得全局的最小资源浪费，我们的目标被转换为在每一个时间区间n_i都最小化各个处理器核心资源的浪费率a_i。因此，全局能耗最优问题根据贪心算法被转换为局部最优问题，公式(5)被转换为公式(6)：

为了实现高效的计算功耗比，资源浪费率A→0，即在提供必要的性能保证的前提下提升能源利用率。

(二)进行状态管理

为了适应工作负载的变化，本发明用空闲状态(IdleState)来描述没有处理任务的线程，根据线程状态进行调整从而节省能源。当线程处于空闲状态时，根据不同的硬件设计，执行该线程的CPU会被关闭或处于睡眠状态，以达到节约能耗的目的。随着输入负载的增加，为了平衡工作负载，当我们需要更多的线程时，我们会唤醒处于空闲状态的线程，将它们调度到不同的工作阶段。当输入负载下降时，为了节约能源，我们会将冗余的线程置为空闲状态，并将对应的处理器核处于低功耗状态。

(三)进行流水线设计

本发明提出的低功耗自适应流水线并行方法，算法被划分为多个并行执行的阶段。初始阶段是流水线的开始，是一个虚拟的阶段，不进行任何实质性的工作。初始阶段之后是具体算法的各流水阶段，阶段1、阶段2、…、阶段n；相邻的阶段之间，阶段k-1和阶段k之间，设置了一个缓冲区Buffer k用来通信。缓冲区Buffer k是阶段k-1的输出缓冲区，用来存放输出结果；同时，作为阶段k的输入缓冲区。

基于本发明，阶段k是否可以执行线程，需要检测输入缓冲区和输出缓冲区的状态。除了流水线的初始阶段(第一个阶段)外，并行流水线中的每个阶段需检测自己的输入缓冲区的状态。除了最后一个阶段，每个阶段需检测自己对后继阶段的输出缓冲区的状态。对于输入负载的变化，只有流水线的第一个阶段进行检测并根据情况决定面向低功耗的相关线程调度策略；阶段1通过检测Buffer1，可以获取输入工作负载的状态变化。

(四)线程调度策略

初始阶段是一个特殊的阶段，线程被调度到该阶段，说明该线程处于空闲状态，对应的硬件资源可以调整成低功耗状态，从而节约能源。

在一个时间区间i中，如果输入缓冲区处于满的状态，意味着输入工作负载上升，现有的工作线程不足以应对工作负载，此时，空闲的线程会被唤醒并被调度到流水线的不同阶段。当这些线程进入工作状态后，整个并行流水线处理负载的能力获得提高。当工作负载下降时，输入缓冲区会处于空状态，这意味的工作线程过多，一些线程可能处于空转状态，从而造成能源的浪费。因此这些冗余的线程会被转入空闲状态，以达到节能的目的。这样的设计使得AE-PIPE可以根据输入负载的情况对工作线程进行调度，即不会因为失去太多工作线程而损失执行效率，也不会因为线程空闲而浪费资源。

如图1所示，本发明给出了2个阶段的算法的流水并行框架，第1个是初始阶段，第2个是阶段1，第3个是阶段2；初始阶段和阶段1之间是缓冲区Buffer 1，阶段1和阶段2之间是缓冲区Buffer 2。根据缓冲区的状态，工作线程可以在相邻的阶段之间转移。如图1所示，Buffer 2状态满，需要从阶段1调度线程到阶段2，也就是执行Action 1；或者把阶段1的线程调度到初始阶段，也就是执行Action 4。Buffer 1状态满，可从初始阶段和阶段2调度线程到阶段1，也就是执行Action 2和Action 3。

本发明设计的低功耗的自适应流水并行方法，实现了面向数据中心和云计算环境的高计算功耗比的目标。

附图说明

图1为自适应的低功耗的流水线并行基本框架。

图2为SIFT和SURF的基本流程。

图3为基于本发明的SIFT实现。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，详细说明本发明的优选实施。在此之前需要说明的是，本说明书及权利要求书中所使用的术语或词语不能限定解释为通常的含义或辞典中的含义，而应当立足于为了以最佳方式说明其发明人可以对术语的概念进行适当定义的原则解释为符合本发明技术思想的含义和概念。随之，本说明书所记载的实施例和附图中表示的结构只是本发明最佳实施例之一，并不能完全代表本发明的技术思想，因此应该理解到对于本发明而言可能会存在能够进行替换的各种等同物和变形例。

SIFT是典型的特征提取算法，计算的特征点，被广泛用于描述图像。图2给出了典型的实现方式，可划分为特征检测阶段(DetectionStage)和特征描述阶段(DescriptionStage)两个大的阶段；每个阶段进一步可以再细分为多个阶段，例如特征检测可分为构建图像金字塔和计算特征位置两个小阶段；特征描述可分为计算特征点方向、计算特征窗口两个小阶段。

我们以图像特征计算的方法SIFT为例来说明本发明的具体实施。示例采取粗粒度的流水线划分方式，SIFT的基本工作流程如图3所示。特征检测构成了流水线的阶段1，设立了一个输入缓冲区(Buffer1)，负责检测输入工作负载的变化，并对阶段1的线程做出相应调整。阶段1的输出结果放进了输出缓冲区(Buffer2)，作为第2阶段的输入缓冲区。特征描述形成了流水线的第2阶段，检测输入缓冲区(Buffer2)的工作负载变化，根据负载的变化情况调度工作线程。

当工作负载变化时，特征描述阶段的线程会首先与检测阶段的线程相互转移，其后检测阶段会决定处于该阶段的线程是转移到空闲状态或者从空闲状态唤醒更多线程。特征检测阶段的线程可以被转移至空闲状态或描述阶段。对于特征描述阶段，其仅负责监控自己的工作负载。当工作负载变化时，特征描述阶段的线程会首先与检测阶段的线程相互转移，其后特征检测阶段会决定处于该阶段的线程是转移到空闲状态或者从空闲状态唤醒更多线程。通过这种方式，我们减小每一个时间段i中的并保持

在整个调度过程中，总计涉及四种线程调度，参见表1所示。当Buffer2处于满状态时，说明特征检测的执行速率高于特征描述的执行速率，此时执行Action 1，将特征检测中的一个线程移动到特征描述中，以寻求前后两个阶段的负载平衡。反之，当Buffer2处于空状态时，说明特征检测的执行速率低于特征描述的执行速率，此时执行Action 2，将特征描述中的一个线程移动到特征检测中，以实现两阶段的负载平衡。Action3和Action4用于平衡处于空闲状态和工作状态的线程数目。例如当Buffer1处于空闲状态时，说明输入工作负载处于较低的状态，那么就会执行Action 4，从特征检测阶段中调度一个线程进入空闲状态，从而节省功耗。

表1

Claims (3)

1.一种功耗低的自适应流水并行方法，其特征在于，

首先，确定优化目标，建立优化方程：

在流水线并行机制中，把一个完整的应用划分为多个功能阶段，各个阶段以相互衔接的并行方式工作，并通过各个阶段间的共享缓冲区交互中间结果；输入数据流经各个阶段并逐个被处理，这里假定所有的阶段在同一台机器上处理；

用计算核心集合C＝{c₀,c₁,…,c_|c|-1}表示计算平台的计算能力，这里|C|表示集合C中的元素个数；当一个并行程序运行在核心集合C上时，对于每一个计算核心c_i有两种状态：工作状态和空闲状态；对应的时间也就有两种：工作时间和空闲时间此外，把整个应用算法在这些计算核心上的执行过程的执行时间划分为k个不重叠的时间区间N＝{n₀,n₁,…,n_k-1}，在每个时间区间n_i内，有两种运行时间，一种是有效的工作时间T_E，这是各个处理器核心实际处理有用工作的时间；另一种是非有效工作时间，即不必要的冗余时间T_R；在这两个时间中，工作时间T_E中处理器核心消耗的能量是有效能量，而非有效工作时间T_R中处理器核心消耗的能量是无效能量；记每个处理器核心在第i个时间段资源浪费率为在该时间段内非有效时间占该段整个时间的比值；整个资源的浪费用所有处理器核心在整个执行过程中资源利用率之和来表示，即整体的资源浪费A用公式(1)表示：

为获得最佳的能源利用率，应当最小化无用的运行时间以降低能源浪费，换言之，应当最小化资源浪费率A：

min(A)→0 ⑵

为获得全局的最小资源浪费，将目标转换为在每一个时间区间n_i都最小化各个处理器核心资源的浪费率a_i；根据贪心算法，把全局能耗最优问题转换为局部最优问题，即公式(2)转换为公式(3)：

然后，进行状态管理：

为了适应工作负载的变化，用空闲状态来描述没有处理任务的线程，根据线程状态进行调整从而节省能源；当线程处于空闲状态时，根据不同的硬件设计，使执行该线程的CPU关闭或处于睡眠状态，以节约能耗；随着输入负载的增加，为了平衡工作负载，当需要更多的线程时，唤醒处于空闲状态的线程，将它们调度到不同的工作阶段；当输入负载下降时，为节约能源，将冗余的线程置为空闲状态，并将对应的处理器核处于低功耗状态；

然后，进行流水线设计：

将算法划分为多个并行执行的阶段；阶段1前的初始阶段是一个虚拟的阶段，不进行任何实质性的工作；线程被调度到该阶段，说明该线程处于空闲状态，对应的硬件资源调整成低功耗状态；当阶段1检测到负载增加，则从该虚拟阶段调度唤醒更多睡眠线程；

除了流水线的初始阶段外，并行流水线中的每个阶段只检测自己的输入缓冲区的状态；除了最后一个阶段，每个阶段只检测自己对后继阶段的输出缓冲区的状态；对于输入负载的变化，只有流水线的第一个阶段进行检测并根据情况决定面向低功耗的相关线程调度策略；Buffer1被放在虚拟阶段和阶段1之间，通过检测Buffer1，阶段1获取输入工作负载的状态。

2.根据权利要求1所述的功耗低的自适应流水并行方法，其特征在于，所述线程调度策略，具体如下：在一个时间区间i中，如果输入缓冲区处于满的状态，意味着输入工作负载上升，现有的工作线程不足以应对工作负载，此时，唤醒空闲的线程，并调度到流水线的不同阶段；当这些线程进入工作状态后，整个并行流水线处理负载的能力获得提高；当工作负载下降时，输入缓冲区处于空状态，这意味的工作线程过多，一些线程处于空转状态，将这些冗余的线程转入空闲状态，以达到节能的目的。

3.根据权利要求2所述的功耗低的自适应流水并行方法，其特征在于，对于典型的SIFT特征提取算法，计算的特征点，被广泛用于描述图像；将特征提取算法划分为特征检测阶段和特征描述阶段两个大的阶段；每个阶段进一步再细分为多个阶段：特征检测阶段分为构建图像金字塔和计算特征位置两个小阶段；特征描述阶段分为计算特征点方向、计算特征窗口两个小阶段；

采取粗粒度的流水线划分方式，特征检测构成流水线的阶段1，设立一个输入缓冲区(Buffer1)，负责检测输入工作负载的变化，并对阶段1的线程做出相应调整；阶段1的输出结果放进输出缓冲区(Buffer2)，作为第2阶段的输入缓冲区；特征描述形成流水线的第2阶段，检测输入缓冲区(Buffer2)的工作负载变化，根据负载的变化情况调度工作线程；

当工作负载变化时，特征描述阶段的线程首先与检测阶段的线程相互转移，其后检测阶段决定处于该阶段的线程是转移到空闲状态或者从空闲状态唤醒更多线程；将特征检测阶段的线程转移至空闲状态或描述阶段；对于特征描述阶段，其仅负责监控自己的工作负载；当工作负载变化时，特征描述阶段的线程首先与检测阶段的线程相互转移，其后特征检测阶段决定处于该阶段的线程是转移到空闲状态或者从空闲状态唤醒更多线程；通过这种方式，减小每一个时间段i中的并保持