CN103052949B - 处理外围设备页错误的机制 - Google Patents

Abstract

从外围设备接收到页服务请求，其请求将存储页载入系统存储器。将对应于接收到的页服务请求的页服务请求信息作为队列条目写入系统存储器中的队列结构。通知处理器队列中存在页请求。可使用新队列条目的中断通知处理器。处理器处理页服务请求，并向外围设备通知请求处理的完成。

Description

处理外围设备页错误的机制

发明背景

技术领域

本发明涉及计算机系统内的页请求，更具体来说，涉及处理来自外围设备的页请求的那些系统。

背景技术

随着外围设备具有更多的功能，被并入外围设备的一种这样的功能是翻译后援缓冲器(TLB)，其向外围设备指示是否可在系统存储器中获得外围设备想要访问的逻辑地址。原先由存储器控制器提供的这样的页请求现在可由具有TLB的外围设备发送。需要以灵活和恰当的方式处理这样的页请求的方法。

发明公开

在一个实施例中，提供了一种方法，其包括从外围设备接收请求将存储页载入系统存储器的页请求。将对应于接收到的页请求的页请求信息作为队列条目写入到系统存储器中的队列结构中。通知处理器队列中存在页请求。在一个实施例中，可使用与新的页请求的存在唯一地相关的中断来通知处理器。

在一个实施例中，提供了一种计算机系统，其包括具有用于从外围设备接收指示需要存储页服务的页请求的第一通信链路接口的集成电路。队列条目产生逻辑通过产生包括来自页请求的信息的队列条目来对接收到页请求作出响应，通过第二通信接口发送队列条目以将队列条目写入到页请求队列中。页请求队列在系统存储器中，系统存储器经由存储器控制器耦合至集成电路。集成电路通知处理器可在队列中获得队列条目。

附图简述

通过参考附图，可以更好地理解本发明并且其大量对象、特征和优势对本领域技术人员将变得显而易见。

图1示出了根据本发明的一个实施例的示例性系统。

图2示出了根据本发明的一个实施例的示例性队列结构。

图3示出了示例性队列条目。

图4示出了如从根据本发明的一个实施例的外围设备接收到的示例性页请求。

图5示出了本发明的一个实施例的示例性流程图。

在不同附图中使用相同参考符号指示相似或相同的元件。

用于实施本发明的模式

页请求向系统指示需要将新的页载入存储器。图1示出了根据本发明的一个实施例的处理来自外围设备的页服务请求的系统。示例性系统包括其包括一个或多个中央处理单元(CPU)和图形处理单元(GPU)的处理器101、系统存储器103、I/O集线器105和107、外围设备111和113。I/O集线器执行计算机体系结构中传统的芯片集功能(在之前的体系结构中称为南桥(South-Bridge))，这些功能包括与具有各种I/O接口的各种I/O设备进行接口连接。在图1所示的实施例中，I/O集线器105和107包括I/O存储管理单元(IOMMU)110，其为将I/O地址映射到系统存储器中的适当物理地址和其它存储管理功能提供支持。在替代实施例中，可以诸如数字信号处理器、微控制器等的其它处理器来实施(在示例性实施例中示出的包括CPU和GPU的)处理器。图1的计算机系统可以在手持设备、PDA、笔记本计算机、台式计算机、平板式计算机、服务器或具有处理器以及具有与本文的教导一致的存储需求的外围设备的任何其它系统中体现。另外，可将I/O集线器105、107并入处理器101。

外围设备111和113包括I/OTLB112并且因此可以确定何时可在系统存储器103中获得虚拟地址。当外围设备111确定不可在系统存储器中获得地址时，该外围设备通过通信链路115向I/O集线器107发出页请求，该请求被IOMMU110接收。为了对该请求提供服务，IOMMU110必须通过通信链路117通信。在通信链路115和117根据不同的通信协议操作的系统中，当外围设备111发出页请求时，必须将该页请求转换到适当的协议。

例如，通信链路115可根据PCIe^TM协议操作，而通信链路117可根据诸如HyperTransportTM协议的另一组通信协议操作。为了正确地对页请求作出响应，需要将页请求转换为处理器101可以正确处理的形式。

在一个实施例中，将用于通信链路115的协议从PCIe^TM语义转换为与HyperTransport^TM或AMD64^TM兼容的语义，以便由系统来处理。在其它实施例中，可涉及其它处理器体系结构和其它通信链路协议。

页请求事务是通信链路115上的瞬时性操作。在一个实施例中，根据为PCIe(PCI通信接口系列之一)定义的页请求接口(PRI)协议在通信链路115上提供页请求。由于页请求是瞬时性的(PRI是提供最新信息的操作)，所以需要捕获信息并将其传递给处理器。此外，该信息中的一些内容包括在对外围设备的PRI响应中。当初始请求被处理时，其它页请求可从其它外围设备发出来由处理器处理，因此需要某种缓冲，使得在整个系统继续操作的同时保留PRI信息。

一种解决方案是创建新的硬件，其带有通过MMIO(存储器映射的I/O)操作访问的一组寄存器。PCIe总线上的新硬件将接受PRI请求、在这组寄存器中存储接收到的信息(请求)并随后使用中断通知处理器。在处理器上运行的系统软件将接收中断、读寄存器、处理请求以及写某些额外的寄存器(或者也许是相同的寄存器)。专用的写操作将使新的硬件将寄存器的内容封装成PCIe总线事务以用信号通知外围设备完成了PRI服务。可以在许多地方定位此新硬件。IOMMU是逻辑位置(即IOMMU已提供I/O相关的服务，因此将新的PRI功能与现有的IOMMU功能整合是合理的)。此解决方案易于以硬件来实现，但不利之处在于PCIe段中的所有外围设备将被串行化在一组寄存器之后。可以使用硬件将设定而软件将清除的“有效”位来让一组寄存器保存多个PRI请求，但这会消耗可观的硬件资源且用软件管理起来较复杂。

在一个实施例中，通信链路117为HyperTransport链路。并非添加上述的一组寄存器，另一解决方案将是将语义添加到如HyperTransport的通信协议以及将把PRI包转换成待由处理器消耗的HyperTransport事务的处理器体系结构。这将需要添加到所有处理器，并且遇到与上面构想的新硬件相同的问题，如硬件资源的消耗、在一组寄存器后面的串行化以及复杂的软件管理。最后，这将非常难以以单深串行化方式以外的方式来实现。

在本发明的一个实施例中，I/O集线器107接收页服务请求(在接口上利用PRI或其它协议)、将信息组装成标准格式并将信息写入系统存储器103中的队列中。图2示出了系统存储器103中的示例性队列结构203。队列的利用提供灵活的容量并允许同时处理多个请求而不丢失任何请求。由于队列在系统存储器中，所以队列可为任意大(或小)，且可基于系统活动或其它考虑通过系统软件来设定大小。本解决方案的可伸缩性不再简单地受硬件资源的限制，并且可根据需要变大。在一个实施例中，用来从接收到的页请求产生队列条目的硬件功能119被集成到IOMMU中(见图1)。在一个实施例中，页服务请求可集成到除了页服务请求之外还提供其它功能(如事件报告)的队列中。事件可以是例如IOMMU检测到的错误状况。在一个实施例中，将页服务请求作为一种类型的事件来处理并将其直接与其它事件一起合并到事件日志(或队列)中。

在另一实施例中，页服务请求具有独特的页服务请求队列。在独特的页服务请求队列(外围设备页请求(PPR)队列或日志)的情况下，可使用中断来通知处理器新的PPR服务请求已到达。此中断可不同于事件中断，且可对PPR队列状态是唯一的，从而允许PPR处理代码被直接调用(而没有一般事件处理的开销)。此外，可将处理PPR请求的代码与事件日志处理隔离，从而通过功能隔离提供更佳的系统安全性。为了简单管理，队列具有头和尾指针。在其它实施例中，可使用消息而非中断来告知处理器新队列条目的存在。

参照图2，IOMMU包含包括尾指针寄存器211、头指针寄存器215、缓冲器大小寄存器217和缓冲器基地址寄存器219的寄存器。在一个实施例中，PPR日志或队列占用从基地址寄存器219中的可编程基地址开始直到在缓冲器大小寄存器217中指定的可编程大小的连续的物理存储器。当主机软件消耗队列条目时，其增大读指针以向IOMMU指示处理器已消耗队列条目。当IOMMU发送新的队列条目时，IOMMU增大尾指针。当除了一个队列槽之外其它队列槽都被使用时队列就满了，当没有槽可用时队列就溢出了。当溢出存在时，主机软件必须消耗队列条目或者增大队列以避免使页请求无法进入页请求队列。

图3中示出了示例性的普通队列条目。该条目包括将该条目标识为PPR队列条目的PPR码。队列条目通过通信接口117发送到存储器控制器102，该存储器控制器102将队列条目写入到系统存储器103中(见图1)。

图4示出了从在PRI包中接收到的外围设备页服务请求产生的PPR队列条目的实施例。进程地址空间ID(PASID)是用来标识客户VM(虚拟机)(如果虚拟化已激活)内的用户进程的字段。如果虚拟化不存在，则PASID标识本机OS(操作系统)中的用户进程。设备ID(DeviceID)标识请求外围设备。PPR码0001b是用来定义此特定格式的值；然而，将包含不同信息或其它格式的其它格式也是可能的。GN位指示PRI请求是用于客户VM还是客户VM内的进程(在一种设置中，可忽略PASID信息；在另一种设置中，PASID信息对于处理请求是必需的)。RZ位指示接收到的包中存在错误且PPR信息可能已损坏。WP、RP和NX位表示PRI包中请求的写、读和执行权限(如果有)。PPR标签(PPRtag)字段将在PRI响应包中返回给外围设备。S和地址字段定义需要服务的页的地址(连同PASID-如果GN指示需要它的话)。计数字段指示请求中有多少连续的页需要服务。可包括用户/主管(US)位以用信号通知请求是用于用户还是主管访问。当图4中所示信息是用于PRI请求时，页服务请求可采用其它格式。然而，通常将在页服务请求中找到诸如设备ID和地址的与页请求相关的信息。

当PRI请求到达时，使用图2中所示的队列结构203，PRI请求中的信息被写入存储器103。然后，使用中断或其它适当的通知技术通知在处理器101上执行的系统软件。然后，系统软件能够在适当的时候消耗PRI请求。

必须为系统软件提供以信号通知外围设备PRI请求已完成的某种方式。这可以几种方式来完成。在一个实施例中，提供带有诸如标签字段、计数和设备ID的PRI请求(图4)的关键部分并指示IOMMU来根据协议要求构造PRI响应包的IOMMU命令。在一个实施例中，IOMMU的命令队列存在于系统存储器中。系统软件将命令写入IOMMU命令队列中并通知IOMMU已将新的命令置于堆栈上。在一个实施例中，软件将PRI恢复命令写入到存储器中的命令队列中。为了通知IOMMU，软件写入存储管理I/O(MMIO)邮箱(由IOMMU公布)以唤醒IOMMU并向其告知其命令队列中存在新的工作。

最后，由于系统中可以有多个IOMMU，每个IOMMU可以服务于不同的外围设备集合，所有IOMMU都独立地操作，所以进一步的并行是可能的。对于多个MMU，存在多个PPR队列，每个IOMMU一个PPR队列。来自每个MMU的中断可间接地指示来源。在一个实施例中，中断被配置来使用八位矢量数将CPU中断。每个矢量数具有唯一的代码入口点。如果软件配置所有IOMMU中断来使用唯一的矢量数，则IOMMU源可根据矢量数来确定。然而，IOMMU中断共享矢量数也是可能的。如果软件这样做，则其无法立即分辨出哪个IOMMU在中断且必须检查映射到中断矢量的每个IOMMU的PPR队列。

图5示出了根据本发明的实施例的示例性流程图。在501中，外围设备111通过通信链路115向IOMMU110发送页服务请求。在503中，IOMMU从页服务请求提取相关信息并构造队列条目。在505中，IOMMU通过存储器控制器102向系统存储器发送队列条目并更新IOMMU中的队列写指针。在507中，IOMMU中断处理器以指示页服务请求已进入系统存储器中的页服务队列。响应于该中断，在509中，处理器处理该中断和页请求、更新IOMMU中的读指针并通过响应包向IOMMU发出命令以确认请求。最后，在511中，IOMMU向外围设备发送响应包。

使用本文描述的队列结构的方法具有几个优势。它是可缩放的，从而能够处理具有最小作用的小系统，但能够缩放到具有许多活动I/O的大系统。软件开发相对简单(相比于开发用于新硬件的新软件)。本发明可以基于对尾指针寄存器的访问通过IOMMU内部的简单争用技术并发地处理多个PRI请求，因此争用解决可以很快。本文描述的方法通过使用诸如中断和系统存储器的现有体系结构机制避免了对处理器和通信链路体系结构进行更改。可将硬件修改限于IOMMU。最后，此队列方法将各种通信和处理器协议实现的机制与策略(由系统软件实现)整洁地分开。因此，此方法可用在处理多个通信协议的多个处理器体系结构上。

可以软件固件、硬件或其组合实现本发明的实施例的各个方面。计算机可读介质可存储可用于实现本发明的各个方面的指令。计算机可读介质为永久地、可拆卸地或远程地耦合至计算机系统的有形计算机可读存储介质。有形计算机可读存储介质可包括例如诸如基于半导体的存储器(如RAM、EEPROM或ROM)、磁存储介质或光学存储介质的有形介质或其它有形存储介质。

虽然在描述本发明的实施例时已大致地阐述了电路和物理结构，但应认识到，在现代半导体设计和制造中，可以适于在后续的设计、模拟、测试或制造阶段中使用的计算机可读描述形式来实施物理结构和电路。可将作为示例性配置中的离散组件呈现的结构和功能实现为组合的结构或组件。本发明的各实施例被构想为包括均如本文所述且如权利要求书所定义的电路、电路系统、相关方法以及其上具有此类电路、系统和方法的编码(如HDL、Verilog、GDSII数据)的有形计算机可读介质。另外，计算机可读介质可存储可用于实现本发明的指令以及数据。这些指令/数据可与硬件、软件、固件或其组合相关。

在本文中阐述的本发明的描述为说明性的，并且不旨在如权利要求书中所阐述的那样限制本发明的范围。例如，虽然本文中描述的实施例利用IOMMU来产生队列条目并发送响应包和中断处理器，但根据每个特定系统的需要和要求，其它实施例可将该功能定位在计算机系统中的其它地方。在不脱离如权利要求书中阐述的本发明的范围的情况下，可根据本文中阐述的描述对本文所公开的实施例进行其它变化和修改。

Claims (11)

1.一种处理页请求的方法，其包括：

从外围设备接收页请求，所述页请求请求将存储页载入系统存储器；

将对应于所述页请求的页请求信息作为队列条目写入所述系统存储器中的队列；以及

通知处理器可在所述队列中获得所述页请求。

2.如权利要求1所述的方法，其还包括使用中断通知所述处理器以向所述处理器指示已接收到所述页请求，所述中断用新页请求的存在来唯一地标识。

3.如权利要求1所述的方法，其还包括在所述处理器已处理所述页请求后用信号通知所述外围设备所述页请求已完成。

4.如权利要求3所述的方法，其还包括：

在输入/输出存储管理单元从所述外围设备接收所述页请求；以及

从所述处理器向所述输入/输出存储管理单元提供指示以产生用来以信号通知所述页请求的完成的消息。

5.如权利要求1所述的方法，其还包括：

在所述处理器上执行的主机软件通过更新用于所述队列的读指针来指示所述队列条目的消耗，所述队列为具有写指针和所述读指针的循环缓冲器。

6.如权利要求1所述的方法，其还包括通过写可编程位置来选择所述队列的大小。

7.一种计算机系统，其包括：

集成电路，以及

经由存储器控制器耦合至所述集成电路的系统存储器，所述系统存储器包括页请求队列，

所述集成电路包括：

第一通信链路接口，其用来从外围设备接收指示需要存储页服务的页请求以将页加载入所述系统存储器；以及

队列条目产生逻辑，其用来响应于接收到所述页请求而产生包括来自所述页请求的信息的队列条目并将所述队列条目通过第二通信接口发送，以便将所述队列条目写入到页请求队列中。

8.如权利要求7所述的计算机系统，其中所述集成电路还被配置来通知处理器可在所述队列中获得所述队列条目。

9.如权利要求8所述的计算机系统，其中：

所述集成电路还包括定义向所述页请求队列中的写入的尾指针和定义向所述页请求队列中的读入的头指针，且其中，

在读取所述系统存储器中的队列条目后，在所述处理器上执行的软件更新所述头指针，且其中在向所述页请求队列写入后，所述集成电路更新所述尾指针。

10.如权利要求7所述的计算机系统，其中所述队列条目包括标识需要存储页服务的所述外围设备的设备标识字段和包含所述外围设备想要访问的虚拟地址的地址字段。

11.如权利要求7所述的计算机系统，其中所述集成电路还包括可编程队列长度寄存器，其用来定义所述页请求队列的大小；和队列基地址寄存器，其用来定义所述页请求队列的基地址。