CN113076282B

CN113076282B - 一种面向处理器片上网络的死锁处理方法

Info

Publication number: CN113076282B
Application number: CN202110429945.5A
Authority: CN
Inventors: 石伟; 王蕾; 龚锐; 刘威; 张剑锋; 潘国腾; 冯权友; 罗莉; 周海亮; 张英; 周理
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2021-04-21
Filing date: 2021-04-21
Publication date: 2023-06-02
Anticipated expiration: 2041-04-21
Also published as: CN113076282A

Abstract

针对处理器片上网络中存在维序的要求，维序进一步导致死锁产生的问题，本发明提供一种面向处理器片上网络的死锁处理方法，包括检测片上网络是否存在死锁，若存在死锁则通过写入空数据的方法撤销死锁的事务然后将之前未完成的事务恢复到网络中重新执行，对于不可避免的死锁，本发明首先检测其发生；然后通过特殊方法打破死锁依赖环，让请求能够得以完成，但无需保证事务的正确性；最后将执行有误的事务重新执行。采用本发明的片上网络可以对产生的死锁进行撤销并恢复执行，不需要设计各种限制条件来防止死锁绝对不产生，从而有利于网络性能的提升。

Description

一种面向处理器片上网络的死锁处理方法

技术领域

本发明涉及的领域包括处理器（Processor），片上网络（Network-on-Chip）和性能优化（Performance Optimization），具体涉及一种面向处理器片上网络的死锁处理方法。

背景技术

如图1所示，一个处理器的片上互联结构通常包括处理器簇、PCIe接口、直连接口、DMA设备等通过Cache一致性网络进行互连，通过监听等手段保证各主设备看到相同的数据视图。Cache一致性网络同时还负责地址译码与报文路由的功能，将请求转发到内存空间或I/O空间。I/O网络则负责将I/O请求进一步转发到不同外设。DMA设备可以是一些专门加速模块，比如密码引擎等。网络接口可以直接实现在处理器内部，也可以通过PCIe接口进行协议转换。加速器接口根据加速器的接口协议，可以采用不同的实现方式，在处理内部实现专用加速接口，或直接挂在PCIe上，或复用PCIe部分逻辑。

随着处理器复杂度的不断增加，互连由传统的总线向片上网络演变，片上通信由片上报文完成。不同的网络协议在具体实现方面差别较大，但是其基本流程相近。片上网络需要支持的事务包括DMA（Direct Memory Access）事务、I/O事务、Cache一致性事务等。对于写操作，发送方首先向接收方发出请求报文；接收方如果可以接收写数据，向发送方发送报文可接收的通知；发送方接收到通知后，则向接收方发出数据；最后接收方通知发送方写操作完成。对于读操作，发送方将请求发送给接收方，接收方接收到请求以后准备读数据，读数据转换好以后再返回发送方。

在进行片上网络设计的时候，涉及事务类型、并发度、通道行为、维序方式等多个方面。稍有不慎，将会导致网络性能低或者产生死锁。其中死锁是微处理器网络无法避免的一个问题。在一个处理器中，外设对事物的序有着特殊的要求。比如PCIe协议要求不同事务的写之间必须保证一定的顺序，否则无法保证协议正确性。片上网络必须保证这些序，否则会导致错误；然而为了保证这些序，为片上网络设计提出了众多限制条件，限制条件进一步限制网络性能的提升或导致死锁产生。

发明内容

本发明要解决的技术问题：针对处理器片上网络中存在维序的要求，维序进一步导致死锁产生的问题，提供一种面向处理器片上网络的死锁处理方法，采用本发明的片上网络可以对产生的死锁进行撤销并恢复执行，不需要设计各种限制条件来防止死锁绝对不产生，从而有利于网络性能的提升。

为了解决上述技术问题，本发明采用的技术方案为：

一种面向处理器片上网络的死锁处理方法，包括：

1）检测片上网络是否存在死锁，若存在死锁则跳转执行下一步；

2）通过写入空数据的方法撤销死锁的事务；

3）将之前未完成的事务恢复到网络中重新执行。

可选地，步骤1）中检测片上网络是否存在死锁时，针对写请求进入协议转换模块时，将其记录到向量结构表wrtie_vector中，如果后续写操作完成，则将该请求对应的向量表项清0，使得向量结构表wrtie_vector的表项是否为全0表示目前是否存在写请求还未完成；通过一个计数器表示检测时间，在时钟上升沿执行死锁检测，使得如果协议转换模块中有未完成的事务、且接口及内部状态一直处于不变状态时判定存在死锁。

可选地，所述在时钟上升沿执行死锁检测的步骤包括：

1.1）判断计数器的计数值counter达到预设阈值是否成立，若成立则判定存在死锁则跳转执行步骤2），否则，跳转执行下一步；

1.2）判断向量结构表wrtie_vector的表项为全0是否成立，若成立则将计数器的计数值counter清零，本次检测结束；否则，跳转执行下一步；

1.3）判断协议转换模块的pcie接口有写操作相关报文传输是否成立，若成立则将计数器的计数值counter清零，本次检测结束；否则，跳转执行下一步；

1.4）判断协议转换模块的网路接口有写操作相关报文传输是否成立，若成立则将计数器的计数值counter清零，本次检测结束；否则，跳转执行下一步；

1.5）将计数器的计数值counter自增1，本次检测结束。

可选地，所述计数器为16位计数器。

可选地，所述计数器为软件可配置。

可选地，写请求发出以后，进入写数据Index FIFO，等待数据接收通知，如果FIFO头部的请求接收到写数据可接收的通知，则发出该请求对应的写数据；步骤2）包括：写数据Index FIFO自动移位，接收到数据接收通知的请求移到FIFO头部，并发送空数据给目录控制模块，目录控制接收到空数据操作后，不会将数据写入内存，相当于将当前的写操作撤销，写数据Index FIFO中其他请求在接收到数据接收通知后都进行写空数据操作，从而撤销所有死锁的事务。

可选地，预先在协议转换模块增加一个取消报文Index FIFO，一个请求进来以后，会同时进入取消报文Index FIFO，当请求完成以后，将对应请求的Index从取消报文IndexFIFO弹出，使得取消报文Index FIFO中的请求实际上是当前未完成的请求，也是通过写入空数据的方法撤销死锁的事务；步骤3）包括：将取消报文Index FIFO中的数据写入请求报文Index FIFO；同时再次写入取消报文Index FIFO，防止这些请求再次产生死锁。

此外，本实施例中还提供一种面向处理器片上网络的死锁处理装置，包括片上网络和与片上网络相连的网络协议转换模块，所述网络协议转换模块中包含相互独立的读处理模块与写处理模块，且读处理模块与写处理模块两者共享片上网络通道，其特征在于，所述写处理模块被编程或配置以执行所述面向处理器片上网络的死锁处理方法的步骤。

可选地，所述写处理模块中包含死锁处理状态机，所述死锁处理状态机包括工作/检测模式、撤销模式以及恢复模式，所述工作/检测模式用于执行步骤1），所述撤销模式用于执行步骤2），所述恢复模式用于执行步骤3）。

此外，本实施例中还提供一种计算机设备，包括相互连接的微处理器和存储器，其特征在于，所述微处理器中包含所述的面向处理器片上网络的死锁处理装置。

和现有技术相比，本发明具有下述优点：针对处理器片上网络中存在维序的要求，维序进一步导致死锁产生的问题，提供一种面向处理器片上网络的死锁处理方法，包括检测片上网络是否存在死锁，若存在死锁则通过写入空数据的方法撤销死锁的事务然后将之前未完成的事务恢复到网络中重新执行，对于不可避免的死锁，本发明首先检测其发生；然后通过特殊方法打破死锁依赖环，让请求能够得以完成，但无需保证事务的正确性；最后将执行有误的事务重新执行。采用本发明的片上网络可以对产生的死锁进行撤销并恢复执行，不需要设计各种限制条件来防止死锁绝对不产生，从而有利于网络性能的提升。

附图说明

图1为现有一般处理器的片上互连网络结构示意图。

图2为 PCIe与NoC（片上网络）协议转换模块的结构示意图。

图3为本发明实施例方法的基本流程图。

图4为本发明实施例中死锁检测的原理图。

图5为本发明实施例中死锁撤销的处理原理示意图。

图6为本发明实施例中报文恢复的处理原理示意图。

图7为本发明实施例中死锁处理状态机的模式切换图。

具体实施方式

下文将以PCIe报文为例阐述本发明面向处理器片上网络的死锁处理方法，需要说明的是，在不同的网络中，通道类型或具体转换模块设计会有所不同，但是本发明面向处理器片上网络的死锁处理方法可以用到这些网络中。图2所示为下图为PCIe报文与片上网络协议进行转换的结构图。转换模块分为读处理模块与写处理模块，读处理模块与写处理模块相对独立，但是共享NoC通道。本模块报文的目的模块需要进行配合设计。读请求通道与写请求通道都支持重发功能，报文存储在内部的重发缓冲中，事务完成后才被撤销。

如图3所示，本实施例面向处理器片上网络的死锁处理方法，包括：

2）通过写入空数据的方法撤销死锁的事务；

3）将之前未完成的事务恢复到网络中重新执行。

在工作/检测状态模式下，本实施例中通过检测逻辑一直监听模块的接口与内部状态。如果模块中有未完成的事务，且接口及内部状态一直处于不变状态，我们认为死锁可能发生来了，随即进入撤销模式。本实施例中步骤1）中检测片上网络是否存在死锁时，针对写请求进入协议转换模块时，将其记录到向量结构表wrtie_vector中，如果后续写操作完成，则将该请求对应的向量表项清0，使得向量结构表wrtie_vector的表项是否为全0表示目前是否存在写请求还未完成；通过一个计数器表示检测时间，在时钟上升沿执行死锁检测，使得如果协议转换模块中有未完成的事务、且接口及内部状态一直处于不变状态时判定存在死锁。

如图4所示，本实施例中在时钟上升沿执行死锁检测的步骤包括：

1.5）将计数器的计数值counter自增1，本次检测结束。

作为一种可选的实施方式，本实施例中，计数器为16位计数器。

作为一种可选的实施方式，本实施例中，计数器为软件可配置。

死锁撤销保存现场，以特殊方式完成目前未完成的事务，同时保证特殊完成的事务不影响系统状态，效果上是将目前的事务撤销掉。在通常情况下，写操作发出写请求给目录控制模块，目录控制如果可以接收数据，则向PCIe返回数据可接收标志，然后PCIe发出数据给目录控制模块。为了能够对数据进行撤销，数据的发送需要依照请求发送次序进行，否则可能导致后续数据先于前面数据写入，导致前面数据无法进行撤销。如图5所示，本实施例中写请求发出以后，进入写数据Index FIFO，等待数据接收通知，如果FIFO头部的请求接收到写数据可接收的通知，则发出该请求对应的写数据；步骤2）包括：写数据Index FIFO自动移位，接收到数据接收通知的请求移到FIFO头部，并发送空数据给目录控制模块，目录控制接收到空数据操作后，不会将数据写入内存，相当于将当前的写操作撤销，写数据IndexFIFO中其他请求在接收到数据接收通知后都进行写空数据操作，从而撤销所有死锁的事务。

在死锁解除以后，我们进入恢复模式，将之前撤销掉的请求恢复进入流水线，继续执行。如图6所示，本实施例中预先在协议转换模块增加一个取消报文Index FIFO，一个请求进来以后，会同时进入取消报文Index FIFO，当请求完成以后，将对应请求的Index从取消报文Index FIFO弹出，使得取消报文Index FIFO中的请求实际上是当前未完成的请求，也是通过写入空数据的方法撤销死锁的事务；步骤3）包括：将取消报文Index FIFO中的数据写入请求报文Index FIFO；同时再次写入取消报文Index FIFO，防止这些请求再次产生死锁。

此外，本实施例还提供一种面向处理器片上网络的死锁处理装置，包括片上网络和与片上网络相连的网络协议转换模块，所述网络协议转换模块中包含相互独立的读处理模块与写处理模块，且读处理模块与写处理模块两者共享片上网络通道，所述写处理模块被编程或配置以执行前述面向处理器片上网络的死锁处理方法的步骤。

本实施例中，写处理模块中包含死锁处理状态机，如图7所示，死锁处理状态机包括工作/检测模式、撤销模式以及恢复模式，工作/检测模式用于执行步骤1），所述撤销模式用于执行步骤2），恢复模式用于执行步骤3），其执行模式的切换可参见图7和前文记载。

此外，本实施例还提供一种计算机设备，包括相互连接的微处理器和存储器，该微处理器中包含前述的面向处理器片上网络的死锁处理装置

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种面向处理器片上网络的死锁处理方法，其特征在于，包括：

1）检测片上网络是否存在死锁，若存在死锁则跳转执行下一步；否则跳转步骤1）；

2）通过写入空数据的方法撤销死锁的事务；

3）将之前未完成的事务恢复到网络中重新执行；

步骤1）中检测片上网络是否存在死锁时，针对写请求进入协议转换模块时，将其记录到向量结构表write_vector中，如果后续写操作完成，则将该请求对应的向量表项清0，使得向量结构表write_vector的表项是否为全0表示目前是否存在写请求还未完成；通过一个计数器表示检测时间，在时钟上升沿执行死锁检测，使得如果协议转换模块中有未完成的事务、且接口及内部状态一直处于不变状态时判定存在死锁；

写请求发出以后，进入写数据Index FIFO，等待数据接收通知，如果FIFO头部的请求接收到写数据可接收的通知，则发出该请求对应的写数据；步骤2）包括：写数据Index FIFO自动移位，接收到数据接收通知的请求移到FIFO头部，并发送空数据给目录控制模块，目录控制模块接收到空数据操作后，不会将数据写入内存，相当于将当前的写操作撤销，写数据Index FIFO中其他请求在接收到数据接收通知后都进行写空数据操作，从而撤销所有死锁的事务；

预先在协议转换模块增加一个取消报文Index FIFO，一个请求进来以后，会同时进入取消报文Index FIFO，当请求完成以后，将对应请求的Index从取消报文Index FIFO弹出，使得取消报文Index FIFO中的请求实际上是当前未完成的请求；步骤3）包括：将取消报文Index FIFO中的数据写入请求报文Index FIFO；同时再次写入取消报文Index FIFO，防止这些请求再次产生死锁；

所述在时钟上升沿执行死锁检测的步骤包括：

1.1）判断计数器的计数值counter达到预设阈值是否成立，若成立则判定存在死锁并跳转执行步骤2），否则，跳转执行下一步；

1.2）判断向量结构表write_vector的表项为全0是否成立，若成立则将计数器的计数值counter清零，本次检测结束；否则，跳转执行下一步；

1.4）判断协议转换模块的网络接口有写操作相关报文传输是否成立，若成立则将计数器的计数值counter清零，本次检测结束；否则，跳转执行下一步；

1.5）将计数器的计数值counter自增1，本次检测结束。

2.根据权利要求1所述的面向处理器片上网络的死锁处理方法，其特征在于，所述计数器为16位计数器。

3.根据权利要求2所述的面向处理器片上网络的死锁处理方法，其特征在于，所述计数器为软件可配置。

4.一种面向处理器片上网络的死锁处理装置，包括片上网络和与片上网络相连的协议转换模块，所述协议转换模块中包含相互独立的读处理模块与写处理模块，且读处理模块与写处理模块两者共享片上网络通道，其特征在于，所述写处理模块被编程或配置以执行权利要求1～3中任意一项所述面向处理器片上网络的死锁处理方法的步骤。

5.根据权利要求4所述的面向处理器片上网络的死锁处理装置，其特征在于，所述写处理模块中包含死锁处理状态机，所述死锁处理状态机包括工作/检测模式、撤销模式以及恢复模式，所述工作/检测模式用于执行步骤1），所述撤销模式用于执行步骤2），所述恢复模式用于执行步骤3）。

6.一种计算机设备，包括相互连接的微处理器和存储器，其特征在于，所述微处理器中包含权利要求4或5所述的面向处理器片上网络的死锁处理装置。