CN109086137A - Gpu并行计算资源配置方法及装置 - Google Patents

Gpu并行计算资源配置方法及装置 Download PDF

Info

Publication number
CN109086137A
CN109086137A CN201810885539.8A CN201810885539A CN109086137A CN 109086137 A CN109086137 A CN 109086137A CN 201810885539 A CN201810885539 A CN 201810885539A CN 109086137 A CN109086137 A CN 109086137A
Authority
CN
China
Prior art keywords
layering
parameter preset
model
computing meta
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810885539.8A
Other languages
English (en)
Other versions
CN109086137B (zh
Inventor
宋炎侃
陈颖
于智同
黄少伟
沈沉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Sichuan Energy Internet Research Institute EIRI Tsinghua University
Original Assignee
Tsinghua University
Sichuan Energy Internet Research Institute EIRI Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Sichuan Energy Internet Research Institute EIRI Tsinghua University filed Critical Tsinghua University
Priority to CN201810885539.8A priority Critical patent/CN109086137B/zh
Publication of CN109086137A publication Critical patent/CN109086137A/zh
Application granted granted Critical
Publication of CN109086137B publication Critical patent/CN109086137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及计算机技术领域，具体提供一种GPU并行计算资源配置方法及装置，方法包括：获取一计算流程确定的计算任务，对计算任务采用双层并行计算模型在初始参数下进行处理得到一分层有向无环图模型，根据分层有向无环图模型对计算任务采用双层并行计算模型在多个预设参数下进行处理得到一同构图，根据多个预设参数的数量以及各预设参数对应的计算元的数量得到所需的线程块的数量，并根据预设参数及各预设参数对应的计算元对线程块进行标号，将各预设参数对应的计算元根据各线程块的标号进行分配，以使各线程块对分配到的计算元进行计算。通过上述方法，以有效提高并行计算效率。

Description

GPU并行计算资源配置方法及装置
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种GPU并行计算资源配置方法及装置。
背景技术
随着计算机技术的日新月异，传统CPU设计工艺已经逐渐到触碰物理极限，计算能力的增长速度已经远远落后于“摩尔定律”。计算能力的提高逐步转向于依赖多核、众核等新型并行计算技术上来。近年来，图形处理器GPU作为一种先进的众核异构并行计算设备，开始被广泛应用到加速气候模拟、蛋白质折叠、深度学习等大规模计算密集型任务。以支持NVIDIA CUDA架构的GPU为例，在对计算任务进行处理时，计算任务在被组织为一个或多个包含海量线程的Kernel操作系统内核。一个Kernel内部的线程又被分组为多个线程块(block)，每个block内部，以32各线程为一组形成线程束(warp)。在CUDA架构下，计算资源分配的最底层是线程束。
发明人经研究发现，对于海量计算任务，Kernel stream并行在任务级层面仅仅为粗粒度并行，不同Kernel之间并行度有限，实际加速效果较差。特别地，针对流程串行度较高的计算任务(如稀疏矩阵因子分解、稀疏三角方程求解等基于有向图形式的稀疏算法)，上述Kernel内部的并行度很低，而Kernel间并行度仍有限，在实际计算中存在大量空置的计算资源，使得实际并行效率很低。因此，提供一种在对计算任务进行处理时能够有效提高计算效率的方法是亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种GPU并行计算资源配置方法及装置，以有效缓解上述技术问题。
为实现上述目的，本发明实施例采用如下技术方案：
一种GPU并行计算资源配置方法，所述方法包括：
获取一计算流程确定的计算任务；
对所述计算任务采用双层并行计算模型在初始参数下进行处理得到一分层有向无环图模型；
根据所述分层有向无环图模型对所述计算任务采用所述双层并行计算模型在多个预设参数下进行处理得到一同构图，其中，所述同构图中包括各所述预设参数分别对应的计算元；
根据所述多个预设参数的数量以及各所述预设参数对应的计算元的数量得到所需的线程块的数量，并根据所述预设参数及各所述预设参数对应的计算元对所述线程块进行标号；
将各所述预设参数对应的计算元根据各所述线程块的标号进行分配，以使各线程块对分配到的计算元进行计算。
可选的，在上述GPU并行计算资源配置方法中，所述双层并行计算模型包括KPN图模型和LDAG计算模型，对所述计算任务采用双层并行计算模型在初始参数下进行处理得到一分层有向无环图模型的步骤包括：
对所述计算任务采用KPN图模型进行处理得到计算流程有向图，其中，所述计算流程有向图包括多个子流程；
对所述计算流程有向图中的各子流程进行分层，得到每个分层对应的子流程；
对所述计算流程有向图中的各分层对应的子流程采用LDAG计算模型进行处理得到各所述分层对应的子流程的计算元，并根据所述计算流程有向图和各所述分层对应的子流程的计算元得到分层有向无环图模型，以及根据所述初始参数得到各计算元对应的基本指令。
可选的，在上述GPU并行计算资源配置方法中，根据所述分层有向无环图模型对所述计算任务采用所述双层并行计算模型在多个预设参数下进行处理得到一同构图的步骤包括：
基于所述无环图模型对所述计算任务采用所述双层并行计算模型在多个预设参数下进行处理得到一体化同构计算模型，其中，所述一体化同构计算模型包括各所述预设参数对应的分层有向无环图模型，且各所述预设参数对应的分层有向无环图模型与所述初始参数对应的分层有向无环图模型相同；
将所述预设参数、分层有向无环图模型中各计算元对应的层数以及每层对应的计算元数代入所述一体化同构计算模型中得到一同构图以及该构图中各计算元的向量表示。
可选的，在上述GPU并行计算资源配置方法中，GPU中预存有单个线程块中的最大线程数，根据所述多个预设参数的数量以及各所述预设参数对应的计算元的数量得到所需的线程块的数量的步骤包括：
根据所述多个预设参数的数量、最大线程数以及多个计算元的数量按照公式进行计算得到需要的线程块数量，其中，为计算元的数量，Nag为GPU中处理相关操作所需的核心阵列组数，ceil(x)是表示不小于x的最大整数，s为所述多个预设参数的数量，且当所述最大线程数小于所述计算元的数量时，则按照公式进行计算，以将作为所需的线程块，其中，li为Gi的层数，nij为Gi第j层的计算元总数，TPB为单个线程块的最大线程数量。
可选的，在上述GPU并行计算资源配置方法中，根据所述预设参数及各所述预设参数对应的计算元对所述线程块进行标号的步骤包括：
对于图Gi中第h个场景、第j层的第k个计算元的向量表示，其对应的线程块的编号bid和块内线程号tid可用公式以及公式计算得到，其中，为不大于的最大整数，mod(m,n)为整数m与n相除的余数。
可选的，在上述GPU并行计算资源配置方法中，将各所述预设参数对应的计算元根据各所述线程块的标号进行分配的步骤包括：
按照各所述计算元的向量表示和各所述线程块的编号以及块内线程号将各所述计算元分配至各所述线程块。
一种GPU并行计算资源配置装置，所述装置包括：
获取模块，用于获取一计算流程确定的计算任务；
第一处理模块，用于对所述计算任务采用双层并行计算模型在初始参数下进行处理得到一分层有向无环图模型；
第二处理模块，用于根据所述分层有向无环图模型对所述计算任务采用所述双层并行计算模型在多个预设参数下进行处理得到一同构图，其中，所述同构图中包括各所述预设参数分别对应的计算元；
计算模块，用于根据所述多个预设参数的数量以及各所述预设参数对应的计算元的数量得到所需的线程块的数量，并根据所述预设参数及各所述预设参数对应的计算元对所述线程块进行标号；
分配模块，用于将各所述预设参数对应的计算元根据各所述线程块的标号进行分配，以使各线程块对分配到的计算元进行计算。
可选的，在上述GPU并行计算资源配置装置中，所述双层并行计算模型包括KPN图模型和LDAG计算模型，所述第一处理模块包括：
第一处理子模块，用于对所述计算任务采用KPN图模型进行处理得到计算流程有向图，其中，所述计算流程有向图包括多个子流程；
分层子模块，用于对所述计算流程有向图中的各子流程进行分层，得到每个分层对应的子流程；
第二处理子模块，用于对所述计算流程有向图中的各分层对应的子流程采用LDAG计算模型进行处理得到各所述分层对应的子流程的计算元，并根据所述计算流程有向图和各所述分层对应的子流程的计算元得到分层有向无环图模型，以及根据所述初始参数得到各计算元对应的基本指令。
可选的，在上述GPU并行计算资源配置装置中，所述第二处理模块包括：
第三处理子模块，用于基于所述无环图模型对所述计算任务采用所述双层并行计算模型在多个预设参数下进行处理得到一体化同构计算模型，其中，所述一体化同构计算模型包括各所述预设参数对应的分层有向无环图模型，且各所述预设参数对应的分层有向无环图模型与所述初始参数对应的分层有向无环图模型相同；
第四处理子模块，用于将所述预设参数、分层有向无环图模型中各计算元对应的层数以及每层对应的计算元数代入所述一体化同构计算模型中得到一同构图以及该构图中各计算元的向量表示。
可选的，在上述GPU并行计算资源配置装置中，所述计算模块还用于根据所述多个预设参数的数量、最大线程数以及多个计算元的数量按照公式进行计算得到需要的线程块数量，其中，为计算元的数量，Nag为GPU中处理相关操作所需的核心阵列组数，ceil(x)是表示不小于x的最大整数，s为所述多个预设参数的数量，且当所述最大线程数小于所述计算元的数量时，则按照公式进行计算，以将作为所需的线程块，其中，li为Gi的层数，nij为Gi第j层的计算元总数，TPB为单个线程块的最大线程数量。
本发明提供的一种GPU并行计算资源配置方法及装置，通过对计算流程确定的计算任务采用双层并行计算模型在初始参数下进行处理得到分层有向无环图模型，并基于该分层有向无环图模型对对所述计算任务采用所述双层并行计算模型在多个预设参数下进行处理得到一同构图，根据所述多个预设参数的数量以及所述多个计算元的数量得到所需的线程块的数量，并根据所述预设参数及所述预设参数对应的计算元对所述线程块进行标号，并将所述同构图中的各计算元根据各线程块的标号进行分配，以使各线程块对分配到的计算元进行计算，进而极大地提高了并行计算的效率。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1为本发明实施例提供的一种终端设备的连接框图。
图2为本发明实施例提供的GPU并行计算资源配置方法的流程示意图。
图3为步骤S120的流程示意图。
图4为步骤S120的流程示意图。
图5为本发明实施例提供的GPU并行计算资源配置装置的连接框图。
图6为本发明实施例提供的第一处理模块的连接框图。
图7为本发明实施例提供的第二处理模块的连接框图。
图标：10-终端设备；12-存储器；14-处理器；100-GPU并行计算资源配置装置；110-获取模块；120-第一处理模块；122-第一处理子模块；124-分层子模块；126-第二处理子模块；130-第二处理模块；132-第三处理子模块；134-第四处理子模块；140-计算模块；150-分配模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
如图1所示，本发明实施例提供了一种终端设备10，包括处理器14和存储器12，所述存储器12与处理器14相互之间直接或间接地电性连接，以实现数据的传输或交互。存储器12中存储有以软件或固件(Firmware)的形式存储于所述存储器12中的软件功能模块，所述处理器14通过运行存储在存储器12内的软件程序以及模块，如本发明实施例中的GPU并行计算资源配置装置100，从而执行各种功能应用以及数据处理，即实现本发明实施例中的GPU并行计算资源配置方法。
所述存储器12可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器12用于存储程序，所述处理器14在接收到执行指令后，执行所述程序。
所述处理器14可能是一种集成电路芯片，具有信号的处理能力。在本实施例中，上述的处理器14为GPU。
可以理解，图1所示的结构仅为示意，所述终端设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请结合图2，本发明提供的一种可应用于上述终端设备10的GPU并行计算资源配置方法，所述GPU并行计算资源配置方法应用于上述电子设备时实现步骤S110-S150五个步骤。
步骤S110：获取一计算流程确定的计算任务。
其中，获取所述计算任务的方式可以是接收外部设备发送的计算任务，也可以是获取预存的计算任务，在此不作具体限定，根据实际需求进行设置即可。计算流程确定的计算任务可以是计算任务的计算步骤确定的计算任务。
步骤S120：对所述计算任务采用双层并行计算模型在初始参数下进行处理得到一分层有向无环图模型。
其中，所述无环图模型包括多个计算元，每个计算元分别对应一个计算流程。所述初始参数的具体数值在此不作具体限定，根据实际需求进行设置即可。所述计算任务的计算流程中的每个子流程分别对应于所述分层有向无环图模型中的一个节点。
请结合图3，在本实施例中，所述双层并行计算模型可以包括顶层的KPN图模型和底层的LDAG计算模型。步骤S120可以采用以下方式执行：
步骤S122：对所述计算任务采用KPN图模型进行处理得到计算流程有向图，其中，所述计算流程有向图包括多个子流程。
步骤S124：对所述计算流程有向图中的各子流程进行分层，得到每个分层对应的子流程。
需要说明的是，在本实施例中，由于计算任务的计算流程中可能存在并行执行的步骤，通过对所述计算流程有向图中的各子步骤进行分层，以得到每个分层对应的子流程。
步骤S126：对所述计算流程有向图中的各分层对应的子流程采用LDAG计算模型进行处理得到各所述分层对应的子流程的计算元，并根据所述计算流程有向图和各所述分层对应的子流程的计算元得到分层有向无环图模型，以及根据所述初始参数得到各计算元对应的基本指令。
需要说明的是，每个子流程对应的子步骤可以采用一个或多个线程块完成计算，因此针对每个子流程进一步借助分层有向无环图(Layered Directed Acyclic Graph,LDAG)组织细粒度并行计算线程体，即在指令级层面将每个计算流程进一步分解为基本计算元的组合，形成由计算元组成的分层有向无环图模型。
具体的，对于任意一算法A采用KPN图模型得到其计算流程GA由P个子流程图Gi,(i＝1,…,P)的KPN图表示。对GA中的P个流程进行分层，可得到子流程之间的并行关系，采用利用L(Gi),(Gi∈GA)表示第i个流程Gi的层级，需要说明的是，层级相等的子流程可完全并行。之后采用LDAG计算模型对每个子流程进行处理，以使每个子流程图(Gi∈GA)均可由计算元构成的LDAG图进行描述，如公式Gi＝{Lij},j＝1,...,li，以及公式Lij＝{oijk},k＝1,...,nij，其中，lij为第i个流程Gi、第j层计算元构成的集合，li为Gi的层数，oijk为lij层中第k个计算元，该层的计算元总数为nij。
步骤S130：根据所述分层有向无环图模型对所述计算任务采用所述双层并行计算模型在多个预设参数下进行处理得到一同构图，其中，所述同构图中包括各所述预设参数分别对应的计算元。
需要说明的是，由于参数不同的计算任务的计算流程相同，因此，对所述计算任务采用所述双层并行计算模型在多个预设参数下进行处理得到的同构图中可以包括与所述预设参数数量相同的分层有向无环图模型，且各预设参数对应的分层有向无环图模型相同。
请结合图4，在本实施例中，所述步骤S130包括以下步骤：
步骤S132：基于所述无环图模型对所述计算任务采用所述双层并行计算模型在多个预设参数下进行处理得到一体化同构计算模型。
其中，所述一体化同构计算模型包括各所述预设参数对应的分层有向无环图模型，且各所述预设参数对应的分层有向无环图模型与所述初始参数对应的分层有向无环图模型相同。
步骤S134：将所述预设参数、分层有向无环图模型中各计算元对应的层数以及每层对应的计算元数代入所述一体化同构计算模型中得到一同构图以及该构图中各计算元的向量表示。
具体的，在本实施例中，对于一个计算任务，其双层计算模型可用GA＝{Gi}(i＝1,...,p)表示。通过改变双层计算模型中的参数，即采用多个预设参数，构建“多场景”计算任务，由表示。由于场景变化仅由预设参数变化而来，故每个场景的双层计算模型结构完全相同，即对多个场景的一体化同构计算模型表示为GA＝{Gi}(i＝1,...p)，每个子流程的LDAG计算模型Gi∈GA可进一步表示为：Gi＝{Lij}(j＝1,...,l)，Lij＝{oijk}(k＝1,...,nij)以及因此与初始参数对应的LDGA图对应的公式比对可见，多场景计算任务中的每个基本计算元变为长度为s的指令向量。每个计算元oijk所依赖的计算数据由：公式oijk＝f(Inputijk,paramijk),k≠c和公式oijc＝f(Inputijc,paramijc)进行定义，其中，oijc为控制场景数产生的计算元，表示一般计算元。oijk(k≠c)除场景数控制计算元外，其余全部计算元共用同一套参数向量paramijk。paramijc表示场景控制参数相量。值得注意的是，f(x)是指令函数，可定义为对输入x的向量化操作，其中，f(x)＝[f(x)i],i＝1,...,s。
步骤S140：根据所述多个预设参数的数量以及各所述预设参数对应的计算元的数量得到所需的线程块的数量，并根据所述预设参数及各所述预设参数对应的计算元对所述线程块进行标号。
可选的，在本实施例中，所述GPU中预存有单个线程块中的最大线程数，所述步骤S140包括以下步骤：
根据所述多个预设参数的数量、最大线程数以及多个计算元的数量按照公式进行计算得到需要的线程块数量，其中，为计算元的数量，Nag为GPU中单个流多处理器14中的处理相关操作所需的核心阵列组数，ceil(x)是表示不小于x的最大整数，s为所述多个预设参数的数量，且当所述最大线程数小于所述计算元的数量时，则按照公式进行计算，以将作为所需的线程块，其中，li为Gi的层数，nij为Gi第j层的计算元总数，TPB为单个线程块的最大线程数量。
其中，单个线程块的最大线程数量可以是1024个，还可以是2048个，在此不作具体限定。
步骤S150：将各所述预设参数对应的计算元根据各所述线程块的标号进行分配，以使各线程块对分配到的计算元进行计算。
在本实施例中，上述步骤S150可以包括：对于图Gi中第h个场景、第j层的第k个计算元的向量表示，其对应的线程块的编号bid和块内线程号tid可用公式以及公式计算得到，其中，为不大于的最大整数，mod(m,n)为整数m与n相除的余数。
通过上述设置，以在针对同一计算任务采用多场景计算时，Kernel涉及两层计算模型的调度，针对该计算任务采用双层计算图模型进行细粒度建模，从而得多个场景下的子流程、计算指令之间的依赖和并行关系。进而，结合线程体结构和计算Kernel实现了在GPU中对海量场景计算任务的批量并行加速。因此，相对于现有的kernel流式并行方法，本方法可以深入利用不同场景间的指令级并行特性，实现进一步加速，以有效提高同一计算任务在多场景下并行计算的效率。
请结合图5，在上述基础上，本发明还提供一种GPU并行计算资源配置方法，包括：获取模块110、第一处理模块120、第二处理模块130、计算模块140以及分配模块150。
所述获取模块110用于获取一计算流程确定的计算任务。在本实施例中，所述获取模块110可用于执行图2所示的步骤S110，关于所述获取模块110的具体描述可以参照前文对步骤S110的描述。
所述第一处理模块120用于对所述计算任务采用双层并行计算模型在初始参数下进行处理得到一分层有向无环图模型。在本实施例中，所述第一处理模块120可用于执行图2所示的步骤S120，关于所述第一处理模块120的具体描述可以参照前文对步骤S120的描述。
请结合图6，可选的，在本实施例中，所述双层并行计算模型包括KPN图模型和LDAG计算模型，所述第一处理模块120包括：第一处理子模块122、分层子模块124以及第二处理子模块126。
所述第一处理子模块122用于对所述计算任务采用KPN图模型进行处理得到计算流程有向图，其中，所述计算流程有向图包括多个子流程。在本实施例中，所述第一处理子模块122可用于执行图3所示的步骤S122，关于所述第一处理子模块122的具体描述可以参照前文对步骤S122的描述。
所述分层子模块124用于对所述计算流程有向图中的各子流程进行分层，得到每个分层对应的子流程。在本实施例中，所述分层子模块124可用于执行图3所示的步骤S124，关于所述分层子模块124的具体描述可以参照前文对步骤S124的描述。
所述第二处理子模块126用于对所述计算流程有向图中的各分层对应的子流程采用LDAG计算模型进行处理得到各所述分层对应的子流程的计算元，并根据所述计算流程有向图和各所述分层对应的子流程的计算元得到分层有向无环图模型，以及根据所述初始参数得到各计算元对应的基本指令。在本实施例中，所述第二处理子模块126可用于执行图3所示的步骤S126，关于所述第二处理子模块126的具体描述可以参照前文对步骤S126的描述。
所述第二处理模块130用于根据所述分层有向无环图模型对所述计算任务采用所述双层并行计算模型在多个预设参数下进行处理得到一同构图，其中，所述同构图中包括各所述预设参数分别对应的计算元。在本实施例中，所述第二处理模块130可用于执行图2所示的步骤S130，关于所述第二处理模块130的具体描述可以参照前文对步骤S130的描述。
请结合图7，可选的，在本实施例中，所述第二处理模块130包括第三处理子模块132和第四处理子模块134。
所述第三处理子模块132，用于基于所述无环图模型对所述计算任务采用所述双层并行计算模型在多个预设参数下进行处理得到一体化同构计算模型，其中，所述一体化同构计算模型包括各所述预设参数对应的分层有向无环图模型，且各所述预设参数对应的分层有向无环图模型与所述初始参数对应的分层有向无环图模型相同。在本实施例中，所述第三处理子模块132可用于执行图4所示的步骤S132，关于所述第三处理子模块132的具体描述可以参照前文对步骤S132的描述。
所述第四处理子模块134用于将所述预设参数、分层有向无环图模型中各计算元对应的层数以及每层对应的计算元数代入所述一体化同构计算模型中得到一同构图以及该构图中各计算元的向量表示。在本实施例中，所述第四处理子模块134可用于执行图4所示的步骤S134，关于所述第四处理子模块134的具体描述可以参照前文对步骤S134的描述。
所述计算模块140用于根据所述多个预设参数的数量以及各所述预设参数对应的计算元的数量得到所需的线程块的数量，并根据所述预设参数及各所述预设参数对应的计算元对所述线程块进行标号。在本实施例中，所述计算模块140可用于执行图2所示的步骤S140，关于所述计算模块140的具体描述可以参照前文对步骤S140的描述。
所述分配模块150用于将各所述预设参数对应的计算元根据各所述线程块的标号进行分配，以使各线程块对分配到的计算元进行计算。在本实施例中，所述分配模块150可用于执行图2所示的步骤S150，关于所述分配模块150的具体描述可以参照前文对步骤S150的描述。
综上，本发明提供的一种GPU并行计算资源配置方法及装置，通过获取一计算流程确定的计算任务，对计算任务采用双层并行计算模型在初始参数下进行处理得到一分层有向无环图模型，根据分层有向无环图模型对计算任务采用双层并行计算模型在多个预设参数下进行处理得到一同构图，根据多个预设参数的数量以及各所述预设参数对应的计算元的数量得到所需的线程块的数量，并根据所述预设参数及所述预设参数对应的计算元对线程块进行标号，将各所述预设参数对应的计算元根据各线程块的标号进行分配，以使各线程块对分配到的计算元进行计算，从而实现了在GPU中对海量场景计算任务的批量并行加速，且相对于现有的kernel流式并行方法，本方法可以深入利用不同场景间的指令级并行特性，实现进一步加速，以有效提高同一计算任务在多场景下并行计算的效率。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种GPU并行计算资源配置方法，其特征在于，所述方法包括：
获取一计算流程确定的计算任务；
对所述计算任务采用双层并行计算模型在初始参数下进行处理得到一分层有向无环图模型；
根据所述分层有向无环图模型对所述计算任务采用所述双层并行计算模型在多个预设参数下进行处理得到一同构图，其中，所述同构图中包括各所述预设参数分别对应的计算元；
根据所述多个预设参数的数量以及各所述预设参数对应的计算元的数量得到所需的线程块的数量，并根据所述预设参数及各所述预设参数对应的计算元对所述线程块进行标号；
将各所述预设参数对应的计算元根据各所述线程块的标号进行分配，以使各线程块对分配到的计算元进行计算。
2.根据权利要求1所述的GPU并行计算资源配置方法，其特征在于，所述双层并行计算模型包括KPN图模型和LDAG计算模型，对所述计算任务采用双层并行计算模型在初始参数下进行处理得到一分层有向无环图模型的步骤包括：
对所述计算任务采用KPN图模型进行处理得到计算流程有向图，其中，所述计算流程有向图包括多个子流程；
对所述计算流程有向图中的各子流程进行分层，得到每个分层对应的子流程；
对所述计算流程有向图中的各分层对应的子流程采用LDAG计算模型进行处理得到各所述分层对应的子流程的计算元，并根据所述计算流程有向图和各所述分层对应的子流程的计算元得到分层有向无环图模型，以及根据所述初始参数得到各计算元对应的基本指令。
3.根据权利要求2所述的GPU并行计算资源配置方法，其特征在于，根据所述分层有向无环图模型对所述计算任务采用所述双层并行计算模型在多个预设参数下进行处理得到一同构图的步骤包括：
基于所述无环图模型对所述计算任务采用所述双层并行计算模型在多个预设参数下进行处理得到一体化同构计算模型，其中，所述一体化同构计算模型包括各所述预设参数对应的分层有向无环图模型，且各所述预设参数对应的分层有向无环图模型与所述初始参数对应的分层有向无环图模型相同；
将所述预设参数、分层有向无环图模型中各计算元对应的层数以及每层对应的计算元数代入所述一体化同构计算模型中得到一同构图以及该构图中各计算元的向量表示。
4.根据权利要求3所述的GPU并行计算资源配置方法，其特征在于，GPU中预存有单个线程块中的最大线程数，根据所述多个预设参数的数量以及各所述预设参数对应的计算元的数量得到所需的线程块的数量的步骤包括：
根据所述多个预设参数的数量、最大线程数以及多个计算元的数量按照公式进行计算得到需要的线程块数量，其中，为计算元的数量，Nag为GPU中处理相关操作所需的核心阵列组数，ceil(x)是表示不小于x的最大整数，s为所述多个预设参数的数量，且当所述最大线程数小于所述计算元的数量时，则按照公式进行计算，以将作为所需的线程块，其中，li为Gi的层数，nij为Gi第j层的计算元总数，TPB为单个线程块的最大线程数量。
5.根据权利要求4所述的GPU并行计算资源配置方法，其特征在于，根据所述预设参数及各所述预设参数对应的计算元对所述线程块进行标号的步骤包括：
对于图Gi中第h个场景、第j层的第k个计算元的向量表示，其对应的线程块的编号bid和块内线程号tid可用公式以及公式计算得到，其中，为不大于的最大整数，mod(m,n)为整数m与n相除的余数。
6.根据权利要求5所述的GPU并行计算资源配置方法，其特征在于，将各所述预设参数对应的计算元根据各所述线程块的标号进行分配的步骤包括：
按照各所述计算元的向量表示和各所述线程块的编号以及块内线程号将各所述计算元分配至各所述线程块。
7.一种GPU并行计算资源配置装置，其特征在于，所述装置包括：
获取模块，用于获取一计算流程确定的计算任务；
第一处理模块，用于对所述计算任务采用双层并行计算模型在初始参数下进行处理得到一分层有向无环图模型；
第二处理模块，用于根据所述分层有向无环图模型对所述计算任务采用所述双层并行计算模型在多个预设参数下进行处理得到一同构图，其中，所述同构图中包括各所述预设参数分别对应的计算元；
计算模块，用于根据所述多个预设参数的数量以及各所述预设参数对应的计算元的数量得到所需的线程块的数量，并根据所述预设参数及各所述预设参数对应的计算元对所述线程块进行标号；
分配模块，用于将各所述预设参数对应的计算元根据各所述线程块的标号进行分配，以使各线程块对分配到的计算元进行计算。
8.根据权利要求7所述的GPU并行计算资源配置装置，其特征在于，所述双层并行计算模型包括KPN图模型和LDAG计算模型，所述第一处理模块包括：
第一处理子模块，用于对所述计算任务采用KPN图模型进行处理得到计算流程有向图，其中，所述计算流程有向图包括多个子流程；
分层子模块，用于对所述计算流程有向图中的各子流程进行分层，得到每个分层对应的子流程；
第二处理子模块，用于对所述计算流程有向图中的各分层对应的子流程采用LDAG计算模型进行处理得到各所述分层对应的子流程的计算元，并根据所述计算流程有向图和各所述分层对应的子流程的计算元得到分层有向无环图模型，以及根据所述初始参数得到各计算元对应的基本指令。
9.根据权利要求8所述的GPU并行计算资源配置装置，其特征在于，所述第二处理模块包括：
第三处理子模块，用于基于所述无环图模型对所述计算任务采用所述双层并行计算模型在多个预设参数下进行处理得到一体化同构计算模型，其中，所述一体化同构计算模型包括各所述预设参数对应的分层有向无环图模型，且各所述预设参数对应的分层有向无环图模型与所述初始参数对应的分层有向无环图模型相同；
第四处理子模块，用于将所述预设参数、分层有向无环图模型中各计算元对应的层数以及每层对应的计算元数代入所述一体化同构计算模型中得到一同构图以及该构图中各计算元的向量表示。
10.根据权利要求9所述的GPU并行计算资源配置装置，其特征在于，所述计算模块还用于根据所述多个预设参数的数量、最大线程数以及多个计算元的数量按照公式进行计算得到需要的线程块数量，其中，为计算元的数量，Nag为GPU中处理相关操作所需的核心阵列组数，ceil(x)是表示不小于x的最大整数，s为所述多个预设参数的数量，且当所述最大线程数小于所述计算元的数量时，则按照公式进行计算，以将作为所需的线程块，其中，li为Gi的层数，nij为Gi第j层的计算元总数，TPB为单个线程块的最大线程数量。
CN201810885539.8A 2018-08-06 2018-08-06 Gpu并行计算资源配置方法及装置 Active CN109086137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810885539.8A CN109086137B (zh) 2018-08-06 2018-08-06 Gpu并行计算资源配置方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810885539.8A CN109086137B (zh) 2018-08-06 2018-08-06 Gpu并行计算资源配置方法及装置

Publications (2)

Publication Number Publication Date
CN109086137A true CN109086137A (zh) 2018-12-25
CN109086137B CN109086137B (zh) 2020-11-03

Family

ID=64834017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810885539.8A Active CN109086137B (zh) 2018-08-06 2018-08-06 Gpu并行计算资源配置方法及装置

Country Status (1)

Country Link
CN (1) CN109086137B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111078415A (zh) * 2019-12-19 2020-04-28 北京奇艺世纪科技有限公司 数据处理方法、装置、服务器及计算机可读存储介质
WO2023109613A1 (zh) * 2021-12-15 2023-06-22 北京字跳网络技术有限公司 任务执行方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030115639A1 (en) * 2000-01-27 2003-06-19 Jorn Gorlach Expressed sequences of arabidopsis thaliana
US6732140B1 (en) * 2000-02-28 2004-05-04 Northrop Grumman Corporation System and method for dynamic allocation of software resources
CN102156782A (zh) * 2011-04-14 2011-08-17 国电南瑞科技股份有限公司 基于图论的电力系统公式并行运算管理方法
CN102231122A (zh) * 2011-07-13 2011-11-02 武汉理工大学 一种集群环境中基于分簇的节能调度方法
CN102650957A (zh) * 2012-04-09 2012-08-29 武汉理工大学 一种同构集群系统中基于动态电压调节技术的自适应节能调度方法
US20140013159A1 (en) * 2012-07-06 2014-01-09 Nvidia Corporation System, method, and computer program product for testing device parameters
CN105576648A (zh) * 2015-11-23 2016-05-11 中国电力科学研究院 一种基于gpu-cpu异构计算平台的静态安全分析双层并行方法
CN106681697A (zh) * 2016-12-29 2017-05-17 中国电子科技集团公司第五十四研究所 一种cuda架构下目标访问计算并行实现方法
CN107168782A (zh) * 2017-04-24 2017-09-15 复旦大学 一种基于Spark与GPU的并行计算系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030115639A1 (en) * 2000-01-27 2003-06-19 Jorn Gorlach Expressed sequences of arabidopsis thaliana
US6732140B1 (en) * 2000-02-28 2004-05-04 Northrop Grumman Corporation System and method for dynamic allocation of software resources
CN102156782A (zh) * 2011-04-14 2011-08-17 国电南瑞科技股份有限公司 基于图论的电力系统公式并行运算管理方法
CN102231122A (zh) * 2011-07-13 2011-11-02 武汉理工大学 一种集群环境中基于分簇的节能调度方法
CN102650957A (zh) * 2012-04-09 2012-08-29 武汉理工大学 一种同构集群系统中基于动态电压调节技术的自适应节能调度方法
US20140013159A1 (en) * 2012-07-06 2014-01-09 Nvidia Corporation System, method, and computer program product for testing device parameters
CN105576648A (zh) * 2015-11-23 2016-05-11 中国电力科学研究院 一种基于gpu-cpu异构计算平台的静态安全分析双层并行方法
CN106681697A (zh) * 2016-12-29 2017-05-17 中国电子科技集团公司第五十四研究所 一种cuda架构下目标访问计算并行实现方法
CN107168782A (zh) * 2017-04-24 2017-09-15 复旦大学 一种基于Spark与GPU的并行计算系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ANA BALEVIC ET AL: "KPN2GPU：An Approach for Discovery and Exploitation of Fine-Grain Data Parallelism in Process Networks", 《ACM SIGARCH COMPUTER ARCHITECTURE NEWS》 *
MINGXUAN WANG: "GPU-based power flow analysis with continuous Newton"s method", 《2017 IEEE CONFERENCE ON ENERGY INTERNET AND ENERGY SYSTEM INTEGRATION (EI2)》 *
YANKAN SONG ET AL: "Efficient GPU-Based Electromagnetic Transient Simulation for Power Systems With Thread-Oriented Transformation and Automatic Code Generation", 《IEEE ACCESS》 *
YANKAN SONG ET AL: "Fully GPU-based electromagnetic transient simulation considering large-scale control", 《IET GENER. TRANSM. DISTRIB. 2017》 *
刘小豫: "基于GPU并行计算的图像去噪研究", 《微型电脑应用》 *
陈颖等: "基于GPU大规模配电网电磁暂态并行仿真技术", 《电力系统自动化》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111078415A (zh) * 2019-12-19 2020-04-28 北京奇艺世纪科技有限公司 数据处理方法、装置、服务器及计算机可读存储介质
WO2023109613A1 (zh) * 2021-12-15 2023-06-22 北京字跳网络技术有限公司 任务执行方法、装置、设备及介质

Also Published As

Publication number Publication date
CN109086137B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
Keuper et al. Distributed training of deep neural networks: Theoretical and practical limits of parallel scalability
JP6348561B2 (ja) マルチコア最適化リカレントニューラルネットワーク用のシステムおよび方法
CN110447044A (zh) 调度神经网络处理
Wang Sparsert: Accelerating unstructured sparsity on gpus for deep learning inference
Aktulga et al. Topology-aware mappings for large-scale eigenvalue problems
Zhang et al. Poseidon: A system architecture for efficient gpu-based deep learning on multiple machines
CN109255829A (zh) 用于光线跟踪的混合层级
CN105677000B (zh) 动态电压频率调整的系统及方法
CN106951926A (zh) 一种混合架构的深度学习系统方法及装置
CN107301456A (zh) 基于向量处理器的深度神经网络多核加速实现方法
CN108122032A (zh) 一种神经网络模型训练方法、装置、芯片和系统
CN109426553A (zh) 任务切分装置及方法、任务处理装置及方法、多核处理器
CN110516316B (zh) 一种间断伽辽金法求解欧拉方程的gpu加速方法
CN105243185B (zh) 一种基于蒙特卡洛法的张拉整体结构找形方法
CN109086137A (zh) Gpu并行计算资源配置方法及装置
CN109255438A (zh) 调整张量数据的方法和装置
CN108876893A (zh) 三维人脸重建的方法、装置、系统及计算机存储介质
Chakraborty et al. A new framework for solution of multidimensional population balance equations
CN108229536A (zh) 分类预测模型的优化方法、装置及终端设备
Singh et al. Accurate and efficient solution of bivariate population balance equations using unstructured grids
CN106484532B (zh) 面向sph流体模拟的gpgpu并行计算方法
CN110244787A (zh) 转速控制系统的调节方法及装置
CN108615254A (zh) 基于树型结构网格矢量量化的点云渲染方法、系统及装置
CN109542600A (zh) 分布式任务调度系统及方法
CN108879691B (zh) 一种大规模连续潮流计算的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant