CN113687955B - 一种高效处理gpu片内和片间缓存一致性的数字电路设计方法 - Google Patents

Abstract

本发明公开了一种高效处理GPU片内和片间缓存一致性的数字电路设计方法，包括：步骤1：划分地址区域并增加PGL2，实现GPU的缓存一致性具有可扩展性；步骤2：当GPU规模增大或需要支持片间GPU互联或更多片间GPU互联时，同等增加区域和PGL2，实现缓存一致性。本发明通过划分区域，添加的代理PGL2，及互联的数字逻辑电路，仅在第一次跨区域读取和写回时需要发生交互，避免了上述场景反复来回交互的情况，缩短了该场景下的一致性交互时间，减少了数据的流动，提高了完成硬件一致性的效率。

Description

一种高效处理GPU片内和片间缓存一致性的数字电路设计 方法

技术领域

本发明属于数字电路技术领域，具体涉及一种高效处理GPU片内和片间缓存一致性的数字电路设计方法。

背景技术

早期GPU既不频繁同步也不共享数据，而是通过把线程信息和缓存结构暴露给程序员，让程序员在没有硬件一致性的情况下，通过软件实现同步和数据共享。现在，GPGPU越来越流行。技术人员开始用GPU架构做通用的任务(general purpose workloads)。这类任务需要频繁的同步和更普遍的数据共享，因此GPU的架构需要有一个能保证所有线程可以同步的直观、严格的访存一致性(consistency)模型。此外要有又能确保访存一致性正确又能允许数据高效共享和同步的缓存一致性(coherency)协议。同时这个协议要保证足够简单能过够满足图形任务占主导的传统GPU架构。

LRCC(LAZY released consistency-direct coherence)是一种适合GPU实现数据同步和共享的缓存一致性协议。该协议主要基于“生产者-消费者”访存一致性模型，通过acquire-release(消费者-生产者)机制实现片内L1缓存之间的数据共享和同步。同步发生在消费者去试图获取(acquire)生产者已经释放(release)的flag，作为生产者一侧的L1缓存在发生同步时把缓存内已更新的共享数据写回到消费者可见的点(一般是公共可见的L2缓存)，而作为消费者一侧的L1缓存则需要在完成同步时无效缓存内旧的数据，以避免后续访存请求仍旧读到过时的缓存数据，而是可以从同步点读取到最新的数据。L2缓存作为L1缓存共享数据的同步点，负责记录缓存行的状态--归属情况，当发生同步时，作为生产者、消费者的桥梁，通过请求交互，来指示生产者、消费者的L1开始数据同步及完成数据同步。其中L1在LRCC协议中的逻辑行为如图1所示，L2在LRCC协议中的逻辑行为如图2所示。图中的GetV和GetO是LRCC定义的两种类型的读请求，GetV不要求获得该地址的所有权(owner)，GetO需要获得该地址的所有权。具体LRCC协议缓存一致性数据同步流程如图3所示。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种高效处理GPU片内和片间缓存一致性的数字电路设计方法，能够解决一般GPU的数据共享和同步问题。还考虑到随着芯片规模增大或存在GPU-GPU互联时，LRCC协议生产者-消费者的同步路径变得很长，解决缓存一致性可能变得低效，本发明能够提高上述场景下，数据共享和同步的效率，且具有扩展性，是一个可扩展的解决GPU片间及片内一致性的数字设计方法。

为实现上述技术目的，本发明采取的技术方案为：

一种高效处理GPU片内和片间缓存一致性的数字电路设计方法，包括：

步骤1：划分地址区域并增加PGL2，实现GPU的缓存一致性具有可扩展性；

步骤2：当GPU规模增大或需要支持片间GPU互联或更多片间GPU互联时，同等增加区域和PGL2，实现缓存一致性。

为优化上述技术方案，采取的具体措施还包括：

上述的每个或几个GPU内核设有独立的私有缓存，即L1缓存，每个独立L1缓存缓存属于任意设备内存地址空间的数据；

当存在GPU-GPU片间互联时，也包含缓存属于其他GPU设备内存的地址空间的数据。

上述的步骤1所述划分地址区域，具体为：

将整个GPU系统的L2和设备内存都根据地址空间划成N个区域，一个区域一个L2缓存块；

一个区域的L2缓存块与该区域的设备内存地址空间对应，该L2缓存块定义为该区域设备内存地址空间的原始拥有者缓存；

原始拥有者缓存负责记录所有属于该区域设备内存地址空间的数据被缓存的缓存块状态，并负责最终将被缓存的缓存块写回该区域的设备内存。

上述的步骤1所述增加PGL2，具体为：

设置代理二级缓存PGL2；

将PGL2分成若干份，每个区域都有一份PGL2；

一个区域内的PGL2不缓存属于本区域地址空间的数据，而只缓存非本区域地址空间的数据，其所共享的数据需与本区域L1及非本区域的原始拥有者缓存通过设定的逻辑行为完成交互，来实现数据共享和同步。

上述的设定的逻辑行为，包括：L1非占有状态在收到acquire请求发送GetV给L2时带上acquire指示进行拓展。

上述的设定的逻辑行为，包括：

对原本L2和设备内存的访问请求，根据请求地址是否属于本区域，将属于本区域的请求路由到本区域的原始拥有者缓存，而将非属于本区域的请求路由到PGL2；

PGL2与所有其他区域的原始拥有着有一个物理上的连接通路，连接通路基于具体系统架构实际情况而定；

对于存在片内划分的不同设备内存地址区域，PGL2和其他区域的原始拥有者通过新增的片内互联总线直接连接，对与GPU-GPU片间的不同区域，PGL2通过片间互联总线，路由到其他GPU上，再通过特定的连接通路连接到原始拥有者。

本发明具有以下有益效果：

1.原本LRCC一致性协议需要L1(生产者)-L2(地址原始拥有者)-L1(消费者)之间的握手交互，随着GPU的片内规模增大及片间一致性的需求，当需要同步的地址空间属于距离L1较远的L2/设备内存时，可能需要反复来回通过非常长的片内通路或片间通路，如图8所示。本发明通过划分区域，添加的代理PGL2，及互联的数字逻辑电路，仅在第一次跨区域读取和写回时需要发生交互，避免了上述场景反复来回交互的情况，缩短了该场景下的一致性交互时间，减少了数据的流动，提高了完成硬件一致性的效率，如图9所示。

2.本发明划分地址区域增加PGL2的方法来实现GPU的缓存一致性具有可扩展性，当GPU规模增大或需要支持片间GPU互联或更多片间GPU互联时，基于本发明方法只需要同等增加区域和PGL2即仍然可支持它们之间的缓存一致性。

附图说明

图1是LRCC协议，L1缓存的逻辑行为；

图2是LRCC协议，L2缓存的逻辑行为；

图3是LRCC协议缓存一致性数据同步流程；

图4是本发明定义的L1缓存的逻辑行为；

图5是本发明L2和设备主存地址映射关系及区域划分示意图；

图6是本发明定义的PGL2缓存的逻辑行为；

图7是本发明访存子系统互联示意图；

图8基于LRCC的长路径同步示意图；

图9是本发明与图8相同场景下，同步交互示意图；

图10是一例基于本发明数字设计方法的单GPU内划分两个设备区域的，仅展示必要参与缓存一致性模块的同步流程示意图；

图11展示了场景2生产者、消费者属于同一个区域，要同步的数据属于另一个区域的情况下的同步流程示意图；

图12展示了场景3生产者和需同步数据属于同一区域，消费者属于另一个区域的情况下的同步流程示意图；

图14是进一步扩展，一例基于本发明数字设计方法的2个GPU互联下，仅展示必要参与缓存一致性模块的顶层示意框图。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

一种高效处理GPU片内和片间缓存一致性的数字电路设计方法，包括：

步骤1：划分地址区域并增加PGL2，实现GPU的缓存一致性具有可扩展性；

步骤2：当GPU规模增大或需要支持片间GPU互联或更多片间GPU互联时，同等增加区域和PGL2，实现缓存一致性。

实施例中，本发明和一般实现硬件一致性的GPU一样，每个或几个GPU内核都可以有其独立的私有缓存，即L1缓存。每个独立L1缓存都可以缓存属于任意设备内存(即devicememory与CPU主存的host memory对应)地址空间的数据，当存在GPU-GPU片间互联时，也包含缓存属于其他GPU设备内存的地址空间的数据。与一般LRCC协议不同，本发明的拓展协议需要L1非占有状态在收到acquire请求发送GetV给L2时带上acquire指示(acquiqreindicate)，如图4所示，其目的在发明3中描述。

实施例中，L2是二级公共缓存，本发明规定了L2和设备主存地址空间之间的映射关系如图5所示，

首先将整个GPU系统的L2和设备内存都根据地址空间划成N个区域，一个区域一个L2缓存块(数字电路设计上，为了提高带宽可以把一个区域内的L2缓存块根据地址分配再分成若干缓存子块，非本发明描述重点，后续为描述方便，会将一个区域L2只视为一个整体缓存块)。一个区域的L2缓存块与该区域的设备内存地址空间对应，该L2缓存块定义为该区域设备内存地址空间的原始拥有者缓存。原始拥有者缓存需负责记录所有属于该区域设备内存地址空间的数据被缓存的缓存块状态，并负责最终将被缓存的缓存块写回该区域的设备内存。

实施例中，本发明定义了一种特殊的缓存模块，命名为代理二级缓存(PGL2)。PGL2也分成若干份，每个区域都由一份PGL2。一个区域内的PGL2不缓存属于本区域地址空间的数据，而只缓存非本区域地址空间的数据。其所共享的数据需与本区域L1及非本区域的原始拥有者缓存通过本发明定义的逻辑行为完成交互，来实现数据共享和同步。本发明逻辑行为定义如图6所示。区别于普通L2，特别注意PGL2收到GetV(acquire indicate)时的逻辑行为。

实施例中，本发明的访存子系统互联结构如图7所示，对原本L2和设备内存的访问请求，根据请求地址是否属于本区域，将属于本区域的请求路由到本区域的原始拥有者缓存，而将非属于本区域的请求路由到PGL2。PGL2与所有其他区域的原始拥有着有一个物理上的连接通路。连接通路基于具体系统架构实际情况而定。对于存在片内划分的不同设备内存地址区域，PGL2和其他区域的原始拥有者可以通过新增的片内互联总线直接连接，对与GPU-GPU片间的不同区域，PGL2需要通过片间互联总线(如PCIE P2P)，路由到其他GPU上，再通过特定的连接通路连接到原始拥有者。

实施例：

图10是一例基于本发明数字设计方法的单GPU内划分两个设备区域的，仅展示必要参与缓存一致性模块的同步流程示意图，场景1:生产者、消费者及要同步的数据都属于同一个区域的情况。基本同步流程：

①生产者release flag，根据图4的行为逻辑，发送GetO flag请求到互联总线，互联总线根据flag地址属于区域1路由到flag地址的原始拥有者L2。

②消费者acquire flag，根据图4的行为逻辑，发送GetV flag请求到互联总线，互联总线根据flag地址属于区域1路由到flag地址的原始拥有者L2。

③原始拥有者L2根据图2的行为逻辑，发送“请求写回”给生产者。

④生产者根据图4的行为逻辑，写回同步数据和flag。

⑤原始拥有者L2根据图2的行为逻辑，响应消费者的GetV flag请求。消费者收到响应，根据图4的行为逻辑，无效自己的非占有数据，完成数据一致性同步。

图11展示了场景2生产者、消费者属于同一个区域，要同步的数据属于另一个区域的情况下的同步流程示意图。基本同步流程：

①生产者release flag，根据图4的行为逻辑，发送GetO flag请求到区域1互联总线，区域1互联总线根据flag地址属于区域2，路由到区域1的PGL2。

②PGL2根据图6的行为逻辑，将GetO flag请求forward给flag所属区域2的原始拥有者L2缓存。L2根据图2的行为逻辑，更新flag占有状态。

③消费者acquire flag，根据图4的行为逻辑，发送GetV flag请求到区域1互联总线，区域1互联总线根据flag地址属于区域2，路由到区域1的PGL2。

④PGL2根据图6的行为逻辑，发送“请求写回”给生产者。

⑤生产者根据图4的行为逻辑，写回同步数据和flag到PGL2。

⑥PGL2根据图6的行为逻辑，响应消费者的GetV flag请求。消费者收到响应，根据图4的行为逻辑，无效自己的非占有数据，完成数据一致性同步。

图12展示了场景3生产者和需同步数据属于同一区域，消费者属于另一个区域的情况下的同步流程示意图。基本同步流程：

①生产者release flag，根据图4的行为逻辑，发送GetO flag请求到区域1互联总线，互联总线根据flag地址属于区域1路由到flag地址的原始拥有者L2。

②消费者acquire flag，根据图4的行为逻辑，发送GetV flag请求到区域2互联总线，区域2互联总线根据flag地址属于区域1，所以先路由到区域2的PGL2。

③PGL2的flag为无效状态，根据图6的行为逻辑将GetV通过区域1互联总线发给flag的原始拥有者L2。

④原始拥有者L2根据图2的行为逻辑，发送“请求写回”给生产者。

⑤生产者根据图4的行为逻辑，写回同步数据和flag。

⑥原始拥有者L2根据图2的行为逻辑，响应PGL2的GetV flag请求。PGL2收到响应，根据图7的行为逻辑，无效自己的非占有数据。

⑦PGL2完成无效后响应消费者GetV flag请求。消费者收到响应，根据图4的行为逻辑，无效自己的非占有数据。完成整个数据同步。(生产者写回，消费者和PGL2无效旧数据)。

图13展示了场景4，消费者和数据属于同一区域，生产者属于另一个区域的情况下的同步流程示意图。基本同步流程：

①生产者release flag，根据图4的行为逻辑，发送GetO flag请求到区域1互联总线，区域1互联总线根据flag地址属于区域2，路由到区域1的PGL2。

②PGL2根据图6的行为逻辑，将GetO flag请求forward给flag所属区域2的原始拥有者L2缓存。L2根据图2的行为逻辑，更新flag占有状态。

③消费者acquire flag，根据图4的行为逻辑，发送GetV flag请求到区域2互联总线，区域2互联总线根据flag地址属于区域2，路由到区域2的flag原始拥有者L2。

④原始拥有者L2根据图2的行为逻辑，发送“请求写回”给区域1PGL2。

⑤PGL2根据图6的行为逻辑，发送“请求写回”给生产者。

⑥生产者根据图4的行为逻辑，写回同步数据和flag到PGL2。

⑦PGL2根据图6的行为逻辑，在收到生产者写回的flag后，将自己非占有数据也全部写回。再将flag写回原始拥有者L2。

⑧原始拥有者L2收到区域1PGL2写回的flag后，根据图2的行为逻辑，响应消费者的GetV flag请求。消费者收到响应，根据图4的行为逻辑，无效自己的非占有数据，完成数据一致性同步。

图14是进一步扩展，一例基于本发明数字设计方法的2个GPU互联下，仅展示必要参与缓存一致性模块的顶层示意框图，场景5生产者、消费者、和需同步的数据分属于三个不同区域的情况下的同步流程示意图。基本同步流程：

①GPU1区域1生产者release flag，根据图4的行为逻辑，发送GetO flag请求到GPU1区域1互联总线，GPU1区域1互联总线根据flag地址属于GPU1区域2，路由到GPU1区域1的PGL2。

②PGL2根据图6的行为逻辑，将GetO flag请求forward给flag所属GPU1区域2的原始拥有者L2缓存。L2根据图2的行为逻辑，更新flag占有状态。

③GPU2区域2消费者acquire flag，根据图4的行为逻辑，发送GetV flag请求到GPU2区域2互联总线，GPU2区域2互联总线根据flag地址属于GPU1区域2，路由到GPU2区域2的PGL2。

④GPU2区域2的PGL2的flag为无效状态，根据图6的行为逻辑将GetV通过片间互联总线发给flag的原始拥有者GPU1区域2的L2。

⑤原始拥有者L2根据图2的行为逻辑，发送“请求写回”给GPU1区域1PGL2。

⑥GPU1区域1的PGL2根据图6的行为逻辑，发送“请求写回”给生产者。

⑦生产者根据图4的行为逻辑，写回同步数据和flag到PGL2。

⑧GPU1区域1的PGL2根据图6的行为逻辑，在收到生产者写回的flag后，将自己非占有数据也全部写回。再将flag写回原始拥有者L2。

⑨原始拥有者L2收到GPU1区域1PGL2写回的flag后，根据图3的行为逻辑，响应GPU2区域2的PGL2的GetV flag请求。GPU2区域2的PGL2收到响应，根据图6的行为逻辑，无效自己的非占有数据。

①⁰GPU2区域2的PGL2完成无效后响应消费者GetV flag请求。消费者收到响应，根据图4的行为逻辑，无效自己的非占有数据。完成整个数据同步。(生产者写回，消费者和消费者所属区域的PGL2无效旧数据)。

综上所述，原本LRCC一致性协议需要L1(生产者)-L2(地址原始拥有者)-L1(消费者)之间的握手交互，随着GPU的片内规模增大及片间一致性的需求，当需要同步的地址空间属于距离L1较远的L2/设备内存时，可能需要反复来回通过非常长的片内通路或片间通路，如图8所示。本发明通过划分区域，添加的代理PGL2，及互联的数字逻辑电路，仅在第一次跨区域读取和写回时需要发生交互，避免了上述场景反复来回交互的情况，缩短了该场景下的一致性交互时间，减少了数据的流动，提高了完成硬件一致性的效率，如图9所示。

本发明划分地址区域增加PGL2的方法来实现GPU的缓存一致性具有可扩展性，当GPU规模增大或需要支持片间GPU互联或更多片间GPU互联时，基于本发明方法只需要同等增加区域和PGL2即仍然可支持它们之间的缓存一致性。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (2)

1.一种高效处理GPU片内和片间缓存一致性的数字电路设计方法，其特征在于，包括：

步骤1：划分地址区域并增加代理二级缓存PGL2，实现GPU的缓存一致性具有可扩展性；

所述划分地址区域，具体为：

将整个GPU系统的二级公共缓存L2和设备内存都根据地址空间划成N个区域，一个区域一个L2缓存块；

一个区域的L2缓存块与该区域的设备内存地址空间对应，该L2缓存块定义为该区域设备内存地址空间的原始拥有者缓存；

原始拥有者缓存负责记录所有属于该区域设备内存地址空间的数据被缓存的缓存块状态，并负责最终将被缓存的缓存块写回该区域的设备内存；

所述增加PGL2，具体为：

设置代理二级缓存PGL2；

将PGL2分成若干份，每个区域都有一份PGL2；

一个区域内的PGL2不缓存属于本区域地址空间的数据，而只缓存非本区域地址空间的数据，其所共享的数据需与本区域L1缓存及非本区域的原始拥有者缓存通过设定的逻辑行为完成交互，来实现数据共享和同步；

设定的逻辑行为，包括：本区域L1缓存非占有状态在收到acquire请求发送GetV给L2缓存块时带上acquire指示进行拓展；

设定的逻辑行为，还包括：

对原本L2缓存块和设备内存的访问请求，根据请求地址是否属于本区域，将属于本区域的请求路由到本区域的原始拥有者缓存，而将非属于本区域的请求路由到PGL2；

PGL2与所有其他区域的原始拥有着有一个物理上的连接通路，连接通路基于具体系统架构实际情况而定；

对于存在片内划分的不同设备内存地址区域，PGL2和其他区域的原始拥有者通过新增的片内互联总线直接连接，对与GPU-GPU片间的不同区域，PGL2通过片间互联总线，路由到其他GPU上，再通过特定的连接通路连接到原始拥有者；

步骤2：当GPU规模增大或需要支持片间GPU互联或更多片间GPU互联时，同等增加区域和PGL2，实现缓存一致性。

2.根据权利要求1所述的一种高效处理GPU片内和片间缓存一致性的数字电路设计方法，其特征在于，每个或几个GPU内核设有独立的私有缓存，即L1缓存，每个独立L1缓存缓存属于任意设备内存地址空间的数据；

当存在GPU-GPU片间互联时，也包含缓存属于其他GPU设备内存的地址空间的数据。

Images