CN114185705A

CN114185705A - 一种基于PCIe的多核异构同步系统及方法

Info

Publication number: CN114185705A
Application number: CN202210143732.0A
Authority: CN
Inventors: 王少虎; 郑德金; 耿平
Original assignee: Nanjing Semidrive Technology Co Ltd
Current assignee: Nanjing Semidrive Technology Co Ltd
Priority date: 2022-02-17
Filing date: 2022-02-17
Publication date: 2022-03-15

Abstract

一种基于PCIe的多核异构同步系统，包括，PCIe RC端和PCIe EP端，所述PCIe RC端，其将待运算数据和第一中断事务层数据包通过PCIe总线发送给所述PCIe EP端，并等待接收所述PCIe EP端发送的第二中断事务层数据包；所述PCIe EP端，其将收到的待运算数据进行存储，并根据所述第一中断事务层数据包，对待运算数据进行运算；运算结束，向所述PCIe RC端发送第二中断事务层数据包。本发明还提供一种基于PCIe的多核异构同步方法，实现了RC端CPU核向EP端核心发送同步信号。

Description

一种基于PCIe的多核异构同步系统及方法

技术领域

本发明涉及集成电路技术领域，尤其涉及一种基于PCIe的多核异构同步系统及方法。

背景技术

在系统应用不断复杂化的今天，单颗芯片很难满足整个系统的功能。异构系统成为了一种流行的解决方案，不同的芯片拥有自己的功能，然后被耦合到整个系统中。异构系统的实现对芯片互联总线提出了极高的要求，主要表现为：带宽，实时性（延时），功耗以及易于实现。

异构系统通常包含如下独立的芯片模块来支持：控制，计算，存储，数据收集等功能。在这些芯片之间形成了数据流，而且这些芯片内的CPU/AI/GPU等核心需要一些同步机制，才能实现这些数据流的控制。多核心之间的同步即使是在芯片内实现都已经是极具挑战的问题之一。多芯片之间实现核心同步自然引入了更多的挑战。

PCIe是一种典型的芯片互联总线，从PCI总线演变而来。目前PCIe已经演进至PCIe6.0，支持单条Lane 64Gbps的速率，大大满足了如今人工智能，自动驾驶，高性能计算系统带来的需求。PCIe提供的Producer/Consumer model，很好的解决了数据流控制，核心进程同步的问题。

考虑到PCIe系统的生态，目前基于PCIe总线实现的异构互联系统已经是业界主流，然而，在具体同步机制实现方案上，各芯片厂商没有统一的机制，这样造成了不同产商芯片互联实现的困难。

中断机制很好的提供了一种多核（Multi-Core）同步机制。同时PCIe本身提供的中断机制是通过PCIe总线和正常数据读写共享总线带宽，不需要额外引入其他硬件。中断包（MSI packet）和数据读写packet遵守PCIe 序列（ordering）规则。这样子保证了中断与数据读写之间的顺序不会被重新排序（reorder）。但是PCIe协议规范只提供了从EP（Endpoint终端模式）端往RC（Root Complex 根联合体模式）端发送中断的机制，允许EP端向RC端发送MSI中断，但是不允许RC端向EP端发送MSI中断，所以RC端CPU核无法向EP端核心发送同步信号(例如MSI中断)。

发明内容

为了解决现有技术的缺陷，本发明的目的在于提供一种基于PCIe的多核异构同步系统及方法，通过提供EP端检测特定的BAR（Base Address Register，基地址寄存器）空间地址并解析成MSI中断信号，实现了RC端向EP端发送同步信号。

为了实现上述目的，本发明提供的基于PCIe的多核异构同步系统，包括，PCIe RC端和PCIe EP端，其特征在于，

所述PCIe RC端，其将待运算数据和第一中断事务层数据包通过PCIe总线发送给所述PCIe EP端，并等待接收所述PCIe EP端发送的第二中断事务层数据包；

所述PCIe EP端，其将收到的待运算数据进行存储，并根据所述第一中断事务层数据包，对待运算数据进行运算；运算结束，向所述PCIe RC端发送第二中断事务层数据包。

进一步地，所述PCIe RC端，还包括，CPU处理器、PCIe RC控制器，以及中断处理器，其中，

所述CPU处理器，将待运算数据和第一中断事务层数据包通过所述PCIe RC控制器发送给所述PCIe EP端，并等待接收所述中断处理器的中断请求；

所述PCIe RC控制器，用于控制向所述PCIe EP端发送待运算数据和中断事务层数据包；

所述中断处理器，其接收来自所述PCIe EP端的第二中断事务层数据包，并生成中断请求发送给所述CPU处理器，通知所述CPU处理器运算完成。

进一步地，所述PCIe EP端，还包括，PCIe EP控制器、运算处理器、DDR存储控制器，以及DRAM存储器，其中，

所述PCIe EP控制器，其接收所述PCIe RC端发送的待运算数据，并通过所述DDR存储控制器将其发送给所述DRAM存储器存储；接收所述PCIe RC端发送的第一中断事务层数据包，并进行检测，生成中断信号发送给所述运算处理器；接收所述运算处理器发送的运算结束信息后，生成第二中断事务层数据包发送给所述PCIe RC端；

所述运算处理器，其接收所述PCIe EP控制器发送的中断信号，通过所述DDR存储控制器读取所述DRAM存储器中的待运算数据进行运算；运算结束，将运算结束信息发送给所述PCIe EP控制器。

进一步地，所述运算处理器，采用GPU或AI处理器。

更进一步地，所述PCIe EP控制器，检测指定的寄存器地址，将第一中断事务层数据包解析为中断信号发送给所述运算处理器。

为了实现上述目的，本发明还提供一种基于PCIe的多核异构同步方法，包括以下步骤：

PCIe RC端将待运算数据和第一中断事务层数据包发送给PCIe EP端；

PCIe EP端接收并存储所述待运算数据；

PCIe EP端对所述第一中断事务层数据包进行解析，生成中断信号发送给运算处理器；

PCIe EP端对待运算数据进行运算，运算结束将第二中断事务层数据包发送给PCIe RC端；

PCIe RC端接收PCIe EP端发送到第二中断事务层数据包，运算结束。

进一步地，所述PCIe RC端将待运算数据和第一中断事务层数据包发送给PCIe EP端的步骤，还包括，

CPU处理器通过PCIe CR控制器将待运算数据和第一中断事务层数据包发送给PCIe EP端。

进一步地，所述PCIe EP端接收并存储所述待运算数据的步骤，还包括，

PCIe EP控制器将接收的待运算数据，通过DDR存储控制器发送给DRAM存储器存储。

进一步地，所述PCIe EP端对所述第一中断事务层数据包进行解析，生成中断信号发送给运算处理器的步骤，还包括，

PCIe EP控制器对所述第一中断事务层数据包进行解析，生成中断信号发送给运算处理器。

进一步地，所述PCIe EP端对待运算数据进行运算，运算结束将第二中断事务层数据包发送给PCIe RC端的步骤，还包括，

运算处理器接收PCIe EP控制器发送的中断信号，通过DDR存储控制器读取DRAM存储器中的待运算数据进行运算；

运算结束，将运算结束信息发送给PCIe EP控制器；

PCIe EP控制器将第二中断事务层数据包发送给PCIe RC端。

更进一步地，所述PCIe RC端接收PCIe EP端发送到第二中断事务层数据包，运算结束的步骤，还包括，

PCIe RC控制器接收PCIe EP控制器发送的第二中断事务层数据包；

中断处理器根据第二中断事务层数据包生成中断请求发送给CPU处理器，通知CPU处理器运算完成。

为了实现上述目的，本发明还提供一种系统芯片，包括上文所述的基于PCIe的多核异构同步系统。

为了实现上述目的，本发明还提供一种电子设备，包括上文所述的系统芯片。

为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机指令，当计算机指令运行时执行上文所述的基于PCIe的多核异构同步方法的步骤。

本发明提供的基于PCIe的多核异构同步系统及方法，与现有技术相比较具有如下的技术效果：

完全基于PCIe总线结构，不需要引入额外的管脚，降低了成本；

保证Memory一致性（PCIe is strong order）；

软件透明，EP端通过解析内存写入包（Memory Write Packet），自动生成中断信号给EP端核心；

灵活易扩展：可以通过检测BAR空间特需地址空间大小，实现应用所需要的中断数目。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：

图1为根据本发明的基于PCIe的多核异构同步系统结构示意图；

图2为根据本发明的基于PCIe的多核异构同步方法流程图；

图3为根据本发明的基于PCIe的多核异构同步系统又一实施例结构示意图；

图4为根据本发明的中断事务层数据包（MSI TLP）结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

图1为根据本发明的基于PCIe的多核异构同步系统结构示意图，如图1所示，本发明的基于PCIe的多核异构同步系统，包括，PCIe RC端10和PCIe EP端20，其中，

PCIe RC端10，将待运算数据和第一中断事务层数据包通过PCIe总线发送给PCIeEP端20，并等待接收PCIe EP端20发送的第二中断事务层数据包。

PCIe EP端20，将收到的待运算数据进行存储，并根据第一中断事务层数据包对待运算数据进行运算；运算结束，向PCIe RC端10发送第二中断事务层数据包。

本发明实施例中，PCIe RC端10，还包括，CPU处理器11、PCIe RC控制器12，以及中断处理器13，其中，

CPU处理器11，将待运算数据和第一中断事务层数据包通过PCIe RC控制器12发送给PCIe EP端20，并接收中断处理器13的中断请求。

PCIe RC控制器12，其控制向PCIe EP端20发送待运算数据和中断事务层数据包。

中断处理器13，其接收来自PCIe EP端20的第二中断事务层数据包，并生成中断请求发送给CPU处理器11，通知CPU处理器11运算完成。

本发明实施例中，PCIe EP端20，还包括，PCIe EP控制器21、运算处理器22、DDR存储控制器23，以及DRAM存储器24，其中，

PCIe EP控制器21，其接收PCIe RC端10发送的待运算数据和第一中断事务层数据包；通过DDR存储控制器23将待运算数据发送给DRAM存储器24存储；对第一中断事务层数据包进行检测，生成中断信号发送给运算处理器22；接收运算处理器22发送的运算结束信息后生成第二中断事务层数据包发送给PCIe RC端10。

运算处理器22，其接收PCIe EP控制器21发送的中断信号，通过DDR存储控制器23读取DRAM存储器24中的待运算数据并进行运算，将运算结束信息发送给PCIe EP控制器21。

本发明实施例中，PCIe EP控制器21接收第一中断事务层数据包并检测指定的寄存器地址，将第一中断事务层数据包解析为中断信号发送给运算处理器22。

运算处理器22，为GPU或AI处理器。

实施例2

图2为根据本发明的基于PCIe的多核异构同步方法流程图，下面将参考图2 ，对本发明的基于PCIe的多核异构同步方法进行详细描述。

首先，在步骤201， PCIe RC端10将待运算数据和第一中断事务层数据包发送给PCIe EP端20。

本发明实施例中，PCIe RC端10 的CPU处理器11将待运算数据和第一中断事务层数据包通过PCIe RC控制器12发送给PCIe EP端20，并等待PCIe EP端20发送的中断事务层数据包。

在步骤202，PCIe EP端20接收并存储待运算数据。

本发明实施例中，PCIe EP端20的PCIe EP控制器21接收来自PCIe RC端10的待运算数据，并通过DDR存储控制器23将其发送给DRAM存储器24存储。

在步骤203，对中断事务层数据包进行检测，并生成中断信号给运算处理器。

本发明实施例中，PCIe EP端20的PCIe EP控制器21接收到PCIe RC端10的第一中断事务层数据包并进行检测，生成中断信号给运算处理器22。

在步骤204，对待运算数据进行运算。

本发明实施例中，运算处理器22接收到来自PCIe EP控制器21的中断信号后，通过DDR存储控制器23从DRAM存储器24中取出待运算数据并进行运算，运算结束后将运算结束信息发送给PCIe EP控制器21。

在步骤205，接收PCIe EP端20发送到中断事务层数据包，运算结束。

本发明实施例中，PCIe EP端20的PCIe EP控制器21接收到运算处理器22发送到运算结束信息后，生成第二中断事务层数据包并发送给PCIe RC端10；中断处理器13接收第二中断事务层数据包并生成中断请求通知CPU处理器11，运算结束。

实施例3

图3为根据本发明的基于PCIe的多核异构同步系统又一实施例结构示意图，如图3所示，本发明的基于PCIe的多核异构同步系统， PCIe EP端通过检测接收到的WritePacket (也可称为Posted TLP转发事务)，如果匹配BAR0 Space 中最后一段地址空间(大小可自定义)，即认为收到的Packet为PCIe RC端发送的MSI中断。

PCIe EP端检测MSI的逻辑如下：

1.地址位Address Field (Address[63:6])应该匹配所检测的BAR0 保留区域(64byte大小)；

2.数据位Data Field (DATA[5:0])解析为MSI向量编号；

3.长度Length必须为1。

本发明实施例中，PCIe EP端一共有16个功能（Function），每个Function支持64个MSI向量)，如图4所示。

本发明实施例中，中断发送功能实现的同步机制如下：

PCIe RC端发送需要运算的数据到PCIe EP端的DDR Memory，数据流在框图中标识为

。

PCIe RC端在发送完所有运算的数据之后，发送MSI TLP(Transaction LayerPacket)到PCIe EP端，数据流在框图中标识为

。

PCIe EP端检测并且产生中断给GPU/AI Core。

GPU/AI Core从DDR总读取数据进行运算，数据流在框图中标识为

。

结束之后，PCIe EP端向PCIe RC端发送MSI TLP, 通知PCIe RC端的CPU, 数据运算已经结束。

实施例4

本发明的一个实施例中，还提供一种系统芯片，包括上述实施例中基于PCIe的多核异构同步系统，实现多核异构系统的同步。

实施例5

本发明的一个实施例中，还提供一种电子设备，包括上述实施例中的系统芯片。

实施例6

本发明的一个实施例中，还提供一种计算机可读存储介质，其上存储有计算机指令，当计算机指令运行时执行上述实施例的基于PCIe的多核异构同步方法的步骤。

本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1. 一种基于PCIe的多核异构同步系统，包括，PCIe RC端和PCIe EP端，其特征在于，

2.根据权利要求1所述的基于PCIe的多核异构同步系统，其特征在于，所述PCIe RC端，还包括，CPU处理器、PCIe RC控制器，以及中断处理器，其中，

3.根据权利要求1所述的基于PCIe的多核异构同步系统，其特征在于，所述PCIe EP端，还包括，PCIe EP控制器、运算处理器、DDR存储控制器，以及DRAM存储器，其中，

4.根据权利要求3所述的基于PCIe的多核异构同步系统，其特征在于，所述运算处理器，采用GPU或AI处理器。

5.根据权利要求3所述的基于PCIe的多核异构同步系统，其特征在于，所述PCIe EP控制器，检测指定的寄存器地址，将第一中断事务层数据包解析为中断信号发送给所述运算处理器。

6.一种基于PCIe的多核异构同步方法，包括以下步骤：

PCIe EP端接收并存储所述待运算数据；

7.根据权利要求6所述的基于PCIe的多核异构同步方法，其特征在于，所述PCIe RC端将待运算数据和第一中断事务层数据包发送给PCIe EP端的步骤，还包括，

8.根据权利要求6所述的基于PCIe的多核异构同步方法，其特征在于，所述PCIe EP端接收并存储所述待运算数据的步骤，还包括，

9.根据权利要求6所述的基于PCIe的多核异构同步方法，其特征在于，所述PCIe EP端对所述第一中断事务层数据包进行解析，生成中断信号发送给运算处理器的步骤，还包括，

10.根据权利要求6所述的基于PCIe的多核异构同步方法，其特征在于，所述PCIe EP端对待运算数据进行运算，运算结束将第二中断事务层数据包发送给PCIe RC端的步骤，还包括，

运算结束，将运算结束信息发送给PCIe EP控制器；

PCIe EP控制器将第二中断事务层数据包发送给PCIe RC端。

11.根据权利要求6所述的基于PCIe的多核异构同步方法，其特征在于，所述PCIe RC端接收PCIe EP端发送到第二中断事务层数据包，运算结束的步骤，还包括，

12.一种系统芯片，其特征在于，所述系统芯片，包括权利要求1-5任一项所述的基于PCIe多核异构虚同步系统。

13.一种电子设备，其特征在于，所述电子设备，包括权利要求12所述的系统芯片。

14.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，当计算机指令运行时执行权利要求6-11任一项所述的基于PCIe的多核异构同步方法的步骤。