CN108279981A - 基于访存优先级的gpgpu性能优化方法 - Google Patents

基于访存优先级的gpgpu性能优化方法 Download PDF

Info

Publication number
CN108279981A
CN108279981A CN201810091341.2A CN201810091341A CN108279981A CN 108279981 A CN108279981 A CN 108279981A CN 201810091341 A CN201810091341 A CN 201810091341A CN 108279981 A CN108279981 A CN 108279981A
Authority
CN
China
Prior art keywords
memory access
list item
priority
mshr
gpgpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810091341.2A
Other languages
English (en)
Inventor
张军
何炎祥
何月顺
谭海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Institute of Technology
Original Assignee
East China Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Institute of Technology filed Critical East China Institute of Technology
Priority to CN201810091341.2A priority Critical patent/CN108279981A/zh
Publication of CN108279981A publication Critical patent/CN108279981A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开一种基于访存优先级的GPGPU性能优化方法，以此更好的解决GPGPU上的cache访问竞争问题；包括如下步骤：（1）计算MSHR中每个表项的表项长度；（2）计算MSHR中每个表项的访存离散度；（3）计算MSHR中每个表项的访存优先级；（4）选择步骤（3）中计算所得的访存优先级最高的表项对应的访存请求进行发射；（5）返回至步骤（1），继续下一次访存调度，直至该任务执行结束。

Description

基于访存优先级的GPGPU性能优化方法
技术领域
本发明涉及到高性能处理器性能优化领域，尤其涉及一种基于访存优先级的GPGPU性能优化方法。
背景技术
GPGPU也即通用图形处理器，最初应用于图形图像处理等领域。随着GPGPU体系结构的发展，其独特的并行计算体系结构使其拥有强大计算能力，它已经成为通用计算领域尤其是高性能计算领域最主要的运算加速部件。
GPGPU内部设计了多个可以并发执行的逻辑运算部件以及大容量的寄存器单元。这种硬件结构支持超大规模多线程(并发线程数量通常可以达到105个以上)的并发执行，并采用单指令多数据(SIMD)的程序执行模式。为了高效的调度并发执行的线程，GPGPU将多个连续的线程组织为线程块(thread block,TB)，每个TB包含多个线程组(warp)，每个线程组通常由32或64个连续的线程组成。正因为有这种多级组织的线程层次结构，GPGPU可以通过快速物理切换线程的执行隐藏线程访存产生的长延时。然而，密集的访存仍然会对GPGPU的整体性能产生较大的影响。尽管GPGPU采用多级存储层次结构来解决访存效率问题，但是运行于GPGPU上的线程数量过多，很容易产生对GPGPU片上资源尤其是cache资源的访问竞争，容易导致cache访问产生“抖动”现象。
近几年，国内外不少学者针对GPGPU的片上资源访问竞争问题，主要从线程调度优化和cache绕行两方面开展相关研究工作。其中，cache绕行不在本专利的考虑范围内。线程调度优化解决GPGPU片上资源访问竞争的工作主要包括线程级并行度（TLP）调节、基于优先级的线程调度、混合任务执行等三方面。
（1）TLP调节
2010年，Hsiang-Yun Cheng等针对多核体系结构的处理器，提出了调节发出访存请求的线程数量，当产生访存竞争时，减少此类线程的并发执行数量。2012年，Timothy G.Rogers等提出了Cache-Conscious Wavefront Scheduling(CCWS)线程调度策略，通过检测每个线程组执行过程中的局部性损失评分，动态的限制发射访存指令的线程组数量。2013年，他们提出了另一种动态调节TLP的线程调度策略Divergence-Aware Warp Scheduling(DAWS)。与CCWS被动调节TLP不同的是，该方法通过比较线程组每次访存所需空间与剩余cache空间的大小，决定该线程组是否可以发射访存指令，从而实现对TLP的调节。2013年，Onur Kayran等提出了Dynamic CTA Scheduling Algorithm(DYNCTA)线程调度方法，通过周期性监测空闲线程组数量和GPGPU核的空闲等待周期等参数的变化，动态调节TLP。2014年，国内学者郑重等提出了Adaptive Cacheand Concurrency Allocation(CCA)线程调度策略，该方法根据线程组的cache访问模式和cache使用情况自适应的调节TLP。与以上方法不同的是，同年，Minseok Lee等提出的线程调度方法中采用了静态调节TLP的策略，通过对第一个线程组的执行周期分析，计算出某个计算任务整个执行过程的TLP值。
调节TLP的线程调度策略通常是在发生cache访问竞争时减少并发执行的线程数量，可以有效降低cache访问竞争的程度，但是在一定程度上会减少片上资源尤其是计算资源的利用率，对GPGPU的性能提升也会产生影响。有的方法减少访存线程的数量，在一定程度上也会降低存储子系统和片上网络的效率。
（2）基于优先级的线程调度
2011和2013年，Mark Gebhart等、Veynu Narasiman等和Adwait Jog等均提出了二级线程调度策略，并将二级线程调度策略和其他的线程调度策略进行有机结合。二级线程调度是将线程组分成优先级高的组和优先级低的组，当优先级高的组中有线程组由于长延时操作挂起，则从优先级低的组中选取一个就绪的线程组，并将其加入到优先级高的组中，同时，优先级高的组中被挂起的线程加入到优先级低的组中。2015年，Dong Li等提出的Token-based Priority Cache Allocation(PCAL)策略通过周期性的投票机制动态确定分发的优先级令牌，分配到优先级令牌的线程可以正常访问L1 Dcache，为分配到优先级令牌的线程组可以正常执行，但是无法访问L1 Dcache。另外，PCAL还根据cache的命中率动态调整活跃的线程组数量。
基于优先级的线程调度方法本质上仍然是通过控制并发执行的线程数量来减少片上资源的访问竞争，同样存在第一类方法的不足。另外，PCAL中的优先级令牌机制实现起来相对比较复杂。
（3）混合任务执行
混合任务执行的线程调度方法主要是将不同类型(主要是计算型任务和访存型任务)的任务交替调度，可以有效减少访存任务的聚集，从而有效的防止或减少片上资源访问竞争。2012年，Jacob T. Adriaens等提出在GPGPU上同时执行多个应用的任务kernel，主要通过将GPGPU的多个处理器核资源在不同应用的任务kernel之间进行划分来实现。2013年，Sreepathi Pai等和Mihir Awatramani等提出了在时间上混合执行不同应用的任务kernel。在某个应用kernel执行过程中，如果没有足够的计算型任务进行切换，则切换至其他应用的计算型任务kernel执行。
目前的混合任务执行大多是以任务kernel为粒度进行任务调度，需要有不同的应用同时执行，这使得此类方法有一定的局限性。一是需要有多个不同的应用同时执行；二是大部分粗粒度的任务kernel本身也包含相应的访存操作，当其他任务kernel执行过程中出现片上资源访问竞争，难以对这些粗粒度的任务kernel进行精确调度。
发明内容
本专利发明提出的基于访存优先级的GPGPU性能优化方法，目的在于克服现有优先级技术的不足，在不降低线程级并行度的条件下，通过对访存请求的优先级进行量化分析，优先调度线程组间局部性高的访存请求，以此更好的解决GPGPU上的cache访问竞争问题。
为了实现本发明的目的，本发明所采用的技术方案为：
设计一种基于访存优先级的GPGPU性能优化方法，包括如下步骤：
（1）计算MSHR中每个表项的表项长度；
（2）计算MSHR中每个表项的访存离散度；
（3）计算MSHR中每个表项的访存优先级；
（4）选择步骤（3）中计算所得的访存优先级最高的表项对应的访存请求进行发射；
（5）返回至步骤（1），继续下一次访存调度，直至该任务执行结束。
优选的，步骤（2）中，MSHR中每个表项的访存离散度等于请求该表项对应访存地址的所有线程组的访存离散度之和。
优选的，步骤（3）中，根据公式（1）计算MSHR中每个表项的访存优先级；
访存优先级=EL*MWT/eMDD （1）
其中，MWT为虑每个访存请求的等待时间；EL为MSHR中每个表项的表项长度EL；eMDD为MSHR中每个表项的访存离散度eMDD。
本发明的有益效果在于：
（1）本方法对访存优先级进行了量化计算，能够准确地反映不同访存请求对系统性能的影响。优先调度访存优先级高的访存请求，可以很好的开发出线程组间的数据局部性，有利于线程组间局部性高的线程组快速执行，使得它们占用的资源可以尽早释放，从而有效降低片上cache的访问竞争；
（2）本方法在计算访存优先级的时候，不仅考虑了线程组间的数据局部性，还考虑每个访存请求的等待时间，可以有效防止访存饥饿现象的出现；
（3）本方法无需对现有的物理结构进行大的改动，算法复杂度不高，实现起来软硬件开销小。
附图说明
图1是基准的GPGPU体系结构示意图；
图2是MPWS的逻辑结构示意图；
图3是MPWS的调度算法示意图之一；
图4是MPWS的调度算法另一示意图；
图5是MPWS的调度算法另一示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明：
实施例1：一种基于访存优先级的GPGPU性能优化方法，本方法通过计算MSHR中每个表项对应的访存请求优先级，优先调度访存优先级高的访存请求。
它包含以下步骤：
（1）统计MSHR中每个表项的表项长度EL；
（2）计算MSHR中每个表项的访存离散度eMDD，每个表项的访存离散度等于所有请求该表项对应访存地址的线程组的访存离散度之和；
（3）根据公式（1）计算MSHR中每个表项的访存优先级；
访存优先级=EL*MWT/eMDD （1）
其中，MWT为虑每个访存请求的等待时间，通过计算MWT可防止出现访存饥饿现象。
（4）根据步骤（3）中计算所得的的结果选择访存优先级最大的访存请求进行调度；
（5）返回至步骤（1），继续下一次访存调度，直至该任务执行结束。
本实施例对上述各步骤的解释如下：
1.逻辑结构
本专利发明的基于访存优先级的GPGPU性能优化方法主要对图1中的MSHR部件进行改进，具体的改进方式如图2所示；图2展示了基于访存优先级的GPGPU访存调度器MPWS的逻辑结构；MPWS主要包含三部分：改进的MSHR、线程组访存离散度表WMDDT、最大优先级信息表MPIT。
（1）改进的MSHR
改进后的MSHR增加了四个字段，分别是eMDD、MWT、EL、ischanged。其中，eMDD表示MSHR某个表项的访存离散度；MWT表示该表项的访存等待时间；EL表示该表项的长度；ischanged表示该表项的表项长度和访存离散度是否发生改变，该字段主要用以减少对优先级的计算次数，从而提高优先级计算的效率。
（2）WMDDT
该逻辑结构主要记录了每个线程组的访存离散度，用于计算每个表项的访存离散度。该逻辑结构包含hWID、MDD、MDDm三个字段。其中，hWID表示线程组的哈希编号，可以在WMDDT中快速定位到某个线程组，使得计算每个表项的eMDD时，可以快速获取每个线程组的访存离散度；MDD表示每个线程组的访存离散度；MDDm为一个n位的掩码，用以计算每个线程组的访存离散度，其中的每一位表示每个线程组是否请求了MSHR中某个表项对应的访存地址。
（3）MPIT
MPIT只有一个表项，它总是保存当前访存优先级最高的访存请求信息。它包含表项编号EID、表项访存离散度eMDD、表项长度EL、该表项的访存优先级MRP。每当有新的访存请求到达MSHR，在更新所有表项访存优先级的同时，将访存优先级最高的访存信息更新到MPIT中。
2.调度算法
对应于上述逻辑结构，其主要调度算法如图3、图4和图5所示，分别对应为新的访存请求达到MSHR时表项访存离散度更新算法、发射某个访存请求时表项访存离散度更新算法、访存请求调度算法。
（1）新的访存请求达到MSHR时表项访存离散度更新算法
首先，获取到新达到访存请求的线程组编号，并计算出其对应的哈希编号，该线程组的访存离散度相应加1。同时，该访存请求对应表项的长度也加1，并将所有与该线程组相关的表项的ischanged字段置为1。该算法的for循环主要用以更新新到达线程组对应其他表项的访存离散度。
（2）发射某个访存请求时表项访存离散度更新算法
当某个访存请求调度发射后，更新其对应表项中所有线程组的访存离散度和WMDDT中对应的掩码字段。该算法中的二重for循环中，外循环用于更新每个线程组的访存离散度，内循环则更新每个线程组对应于MSHR中每个表项的访存离散度。
（3）访存请求调度算法
该算法主要由一个for循环组成。该for循环主要用于更新MPIT表。为了减少对访存优先级的计算，满足以下三种情形之一的表项均不用重新计算其访存优先级 ：
a）表项的长度和访存离散度均未发生改变；
b）表项的长度不变，但是表项的访存离散度低于MPIT中访存离散度字段值；
c）表项的访存离散度不变，但是表项的长度大于MPIT中表项长度字段值。
3.实验方法
该方法可以利用目前流行的模拟器GPGPU-sim(3.2.2)进行验证。首先，需要对该模拟器配置基准GPGPU体系结构的参数，具体配置可以参考表1：
表1
其次，在该模拟器中实现MPWS，最后，在修改后的模拟器中执行一组标准的测试程序集，其表2列出了一组标准的测试程序集。
表2
由上述分析可知，本发明专利的方法使用基于访存优先级的线程调度策略，通过量化的方法计算出了每个访存请求的优先级，使得线程组间局部性好的访存请求得以优先调度，可以有效解决GPGPU片上cache访问竞争问题。
基于前文所述可知，本发明提出的基于访存优先级的GPGPU性能优化方法具有如下优点：
（1）本方法对访存优先级进行了量化计算，能够准确地反映不同访存请求对系统性能的影响。优先调度访存优先级高的访存请求，可以很好的开发出线程组间的数据局部性，有利于线程组间局部性高的线程组快速执行，有利于降低片上cache的访问竞争；
（2）本方法在计算访存优先级的时候，不仅考虑了线程组间的数据局部性，还考虑每个访存请求的等待时间，可以有效防止访存饥饿现象的出现；
（3）本方法无需对现有的物理结构进行大的改动，算法复杂度不高，实现起来软硬件开销小。
本发明的实施例公布的是较佳的实施例，但并不局限于此，本领域的普通技术人员，极易根据上述实施例，领会本发明的精神，并做出不同的引申和变化，但只要不脱离本发明的精神，都在本发明的保护范围内。

Claims (3)

1.一种基于访存优先级的GPGPU性能优化方法，其特征在于：包括如下步骤：
(1)计算MSHR中每个表项的表项长度；
(2)计算MSHR中每个表项的访存离散度；
(3)计算MSHR中每个表项的访存优先级；
(4)选择步骤(3)中计算所得的访存优先级最高的表项对应的访存请求进行发射；
(5)返回至步骤(1)，继续下一次访存调度，直至该任务执行结束。
2.如权利要求1所述的基于访存优先级的GPGPU性能方法，其特征在于：步骤(2)中，MSHR中每个表项的访存离散度等于请求该表项对应访存地址的所有线程组的访存离散度之和。
3.如权利要求1所述的基于访存优先级的GPGPU性能方法，其特征在于：步骤(3)中，根据公式(1)计算MSHR中每个表项的访存优先级；
访存优先级＝EL*MWT/eMDD (1)
其中，MWT为虑每个访存请求的等待时间；EL为MSHR中每个表项的表项长度EL；eMDD为MSHR中每个表项的访存离散度eMDD。
CN201810091341.2A 2018-01-30 2018-01-30 基于访存优先级的gpgpu性能优化方法 Pending CN108279981A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810091341.2A CN108279981A (zh) 2018-01-30 2018-01-30 基于访存优先级的gpgpu性能优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810091341.2A CN108279981A (zh) 2018-01-30 2018-01-30 基于访存优先级的gpgpu性能优化方法

Publications (1)

Publication Number Publication Date
CN108279981A true CN108279981A (zh) 2018-07-13

Family

ID=62805802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810091341.2A Pending CN108279981A (zh) 2018-01-30 2018-01-30 基于访存优先级的gpgpu性能优化方法

Country Status (1)

Country Link
CN (1) CN108279981A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110806900A (zh) * 2019-04-30 2020-02-18 海光信息技术有限公司 一种访存指令处理方法及处理器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470678A (zh) * 2007-12-29 2009-07-01 中国科学院声学研究所 基于突发乱序的存储器控制器、系统及其访存调度方法
CN102609312A (zh) * 2012-01-10 2012-07-25 中国科学技术大学苏州研究院 基于公平性考虑的短作业优先内存请求调度方法
US8555001B2 (en) * 2008-08-25 2013-10-08 Nec Corporation Cache memory, including miss status/information and a method using the same
CN104679593A (zh) * 2015-03-13 2015-06-03 浪潮集团有限公司 一种基于smp系统的任务调度优化方法
CN107357652A (zh) * 2017-06-16 2017-11-17 北京邮电大学 一种基于分段排序及标准差调整因子的云计算任务调度方法
CN107577524A (zh) * 2017-08-04 2018-01-12 东华理工大学 非访存任务优先的gpgpu线程调度方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470678A (zh) * 2007-12-29 2009-07-01 中国科学院声学研究所 基于突发乱序的存储器控制器、系统及其访存调度方法
US8555001B2 (en) * 2008-08-25 2013-10-08 Nec Corporation Cache memory, including miss status/information and a method using the same
CN102609312A (zh) * 2012-01-10 2012-07-25 中国科学技术大学苏州研究院 基于公平性考虑的短作业优先内存请求调度方法
CN104679593A (zh) * 2015-03-13 2015-06-03 浪潮集团有限公司 一种基于smp系统的任务调度优化方法
CN107357652A (zh) * 2017-06-16 2017-11-17 北京邮电大学 一种基于分段排序及标准差调整因子的云计算任务调度方法
CN107577524A (zh) * 2017-08-04 2018-01-12 东华理工大学 非访存任务优先的gpgpu线程调度方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANG SONG;ZAI-MING LIU;HONG-SHUAI DAI: "Exact Tail Asymptotics for a Discrete-time Preemptive Priority Queue", 《ACTA MATHEMATICAE APPLICATAE SINICA》 *
何炎祥，张军，沈凡凡，江南，李清安，刘子骏: "通用图形处理器线程调度优化方法研究综述", 《计算机学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110806900A (zh) * 2019-04-30 2020-02-18 海光信息技术有限公司 一种访存指令处理方法及处理器

Similar Documents

Publication Publication Date Title
Ausavarungnirun et al. Exploiting inter-warp heterogeneity to improve GPGPU performance
Pattnaik et al. Scheduling techniques for GPU architectures with processing-in-memory capabilities
Kayiran et al. Managing GPU concurrency in heterogeneous architectures
Sethia et al. Equalizer: Dynamic tuning of gpu resources for efficient execution
Sethia et al. Mascar: Speeding up GPU warps by reducing memory pitstops
Tang et al. Controlled kernel launch for dynamic parallelism in GPUs
Tsai et al. Adaptive scheduling for systems with asymmetric memory hierarchies
CN1981280A (zh) 用于经由资源分配和限制的异构芯片多处理器的装置和方法
CN108595258A (zh) 一种gpgpu寄存器文件动态扩展方法
TW201342030A (zh) 指定應用程式執行緒的效能狀態之指令
Zhang et al. Locality based warp scheduling in GPGPUs
Anantpur et al. PRO: Progress aware GPU warp scheduling algorithm
Chen et al. Balancing scalar and vector execution on gpu architectures
Li et al. Efficient kernel management on GPUs
Sankaranarayanan et al. An energy efficient GPGPU memory hierarchy with tiny incoherent caches
Liang et al. Efficient kernel management on GPUs
Jeon et al. CTA-aware Prefetching for GPGPU
Wang et al. Gpu register packing: Dynamically exploiting narrow-width operands to improve performance
Liang et al. Exploring cache bypassing and partitioning for multi-tasking on GPUs
KR101765830B1 (ko) 멀티 코어 시스템 및 그 구동 방법
CN108279981A (zh) 基于访存优先级的gpgpu性能优化方法
CN107577524A (zh) 非访存任务优先的gpgpu线程调度方法
Huo et al. An energy efficient task scheduling scheme for heterogeneous GPU-enhanced clusters
Yoon et al. Draw: investigating benefits of adaptive fetch group size on gpu
Lal et al. GPGPU workload characteristics and performance analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180713