CN114389995A

CN114389995A - 资源共享的方法、装置以及电子设备

Info

Publication number: CN114389995A
Application number: CN202111470536.6A
Authority: CN
Inventors: 付斌章; 蔡德忠
Original assignee: Alibaba China Co Ltd
Current assignee: Alibaba China Co Ltd
Priority date: 2021-12-03
Filing date: 2021-12-03
Publication date: 2022-04-22

Abstract

本申请提供一种资源共享方法，包括：将源主机和目标主机对应的共享地址空间划分为对应所述源主机的第一地址子空间和对应所述目标主机的第二地址子空间；分别为所述源主机和所述目标主机提供地址翻译表，以使所述源主机发出的用于调用所述目标主机资源的资源调用请求路由至目标主机，其中，为所述源主机提供的地址翻译表存储于所述第一地址子空间，为所述目标主机提供的地址翻译表存储于所述第二地址子空间。

Description

资源共享的方法、装置以及电子设备

技术领域

本发明涉及计算机技术领域，具体涉及一种资源共享的方法、装置以及电子设备。

背景技术

PCIE是当前×86系统中默认的互连总线协议，请参考图1，其为本申请提供的PCIE子系统架构示意图。如图1所示，一个简化系统的拓扑结构由根复杂体101(Root Complex，RC)、端点102(Endpoint，EP)、交换机103(Switch)等部件组成。

其中，根复杂体101对整个PCIE建构实施初始化并配置各链路。根复杂体101通常将中央处理器104(CPU)以及其他功能中的一个或多个(端点102、交换机103)连接起来；交换机103用于将数据路由至下游的多个端口102、将数据从下游的多个端口102路由至根复杂体101以及把数据从下游的一个端口路由至另一个端口。端口102可以理解为外设，但每个端口并不是只存在一个外设，也就是说，端口102与外设并不是一对一映射关系，例如：一个外设可以向系统抽象出多个功能，同时，在虚拟化场景中，外设可以提供多个虚拟功能，在总线系统的拓扑结构中，外设的每个功能都对应可以独立的作为一个端点出现。

这些部件以根复杂体101为根，交换机103为中间节点，端点102为叶子节点构成一棵总线树。在默认的情况下，每个系统总线只能由一个根复杂体101(或者是说，只能由一个中央处理器104)，同时由中央处理器104唯一确定一个主机域。

在一个计算机系统中，可能存在多个主机域，但多个主机域之间是默认无法互通的。

为了实现不同主机域之间的互通，现有技术通过非透明桥(Non-TransparentBridge，NTB)技术实现不同主机域之间的地址映射。请参考图2，其为本申请实施例提供的资源池化地址空间和地址翻译示意图。

如图2所示，系统存在3个主机域以及一个共享地址域204，分别为目标主机域201、以及第一扩展内存域202、第二扩展内存域203。其中，共享地址域204是一个计算机系统中，所有交换机103的共享地址域，同时该计算机系统中，所有非透明桥的outer侧共享该地址域。也就是说，只有指定了共享地址域，才能保证TLP报文在不同主机域之间路由(TLP是事务传输层创制出站及接收入站事务传输数据包，TLP既可以是请求也可以是对请求完成后的响应，其指定了事务类型、地址、路由规则以及其他数据包特征)。

也就是说，在附图2所示的系统中，需要将第一扩展内存域202和第二扩展内存域203中的资源映射到目标主机域201中，以供目标主机域201使用(在实际应用中，资源的映射可以是双向的，为了简化描述并清楚的介绍本申请的背景技术，假设此处是单向映射)。在现有技术中，通常通过NTB实现上述映射，以使目标主机域201可以跨系统域使用扩展内存。

现有技术中，为了实现上述映射，本质上就是完成NTB地址翻译表的填充，以使TLP报文能够被正确路由。

如图2所示，在NTB地址翻译表填充完毕后，当目标主机域201中的CPU想要访问第一扩展内存域202时，由于不同主机域内的内存都是由对应主机域内的NTB代理的，所以，在CPU请求访问第一扩展内存域202时，该请求会路由至目标主机域201内的第一非透明桥205(0×903F0)。

又因为系统软件已经事先完成了地址翻译表的配置，因此，第一非透明桥205会进一步的将请求的地址翻译为0×43F0。

进一步的，在共享地址域204内，由于每个端口的内存已提前配置好，所以共享地址域204内的交换机会将TLP报文正确路由至第一扩展内存域202的第二非透明桥206，以通过所述第二透明桥206将TLP报文进一步翻译为第一扩展内存域202的域内地址(0×63F0)。

之后，报文会在该主机内被正确路由到相应的内存地址。

上述路由方式通过NTB实现跨主机域的资源共享，然而该技术方案在扩展性和灵活性等方面也存在比较明显的局限性。

首先，因为共享地址域204需要维护一个统一的地址空间，那么随着端口数量的增多，每个端口可以分到的扩展内存域的尺寸也就会逐渐变小，从而导致计算机系统整体规模受限。

其次，在目标主机域201使用多个远程内存时，每个远程地址域至少需要占用一个非透明桥(NTB)表项。比如说，如图2所示，目标主机域201使用了第一扩展内存域202和第二扩展内存域203两个远程内存，所以目标主机域内的非透明桥(NTB)需要维护两个出口表项。由于非透明桥(NTB)的出口表项较为稀缺，因此，当计算机系统规模较大时，表项资源极易耗尽。

再次，由于目标主机域201和各个扩展内存域共享一个地址空间，因此，当计算机系统的拓扑关系发生变化时(例如：增加或减少交换机)，需要预留地址段或对地址段进行重新分配。然而，无论何种方式，其实现的复杂度都是极高的，因此，目前大多数系统并不支持动态改变拓扑结构。

发明内容

本申请提供一种资源共享方法、装置以及电子设备，以解决现有技术中存在的上述问题。

本申请实施例提供了一种资源共享方法，包括：

将源主机和目标主机对应的共享地址空间划分为对应所述源主机的第一地址子空间和对应所述目标主机的第二地址子空间；

分别为所述源主机和所述目标主机提供地址翻译表，以使所述源主机发出的用于调用所述目标主机资源的资源调用请求路由至目标主机，其中，为所述源主机提供的地址翻译表存储于所述第一地址子空间，为所述目标主机提供的地址翻译表存储于所述第二地址子空间。

可选的，所述分别为所述源主机和所述目标主机提供地址翻译表，包括：

根据所述源主机和所述目标主机的总线地址类型，为所述源主机和所述目标主机提供对应的地址翻译表；

其中，若所述总线地址类型为内存地址，则提供总线网络地址页表，所述总线网络地址页表用于确定所述资源调用请求访问的第二地址子空间的标识，以及所述资源调用请求访问的资源对应的内存地址信息；若所述总线地址类型为ID路由地址，则提供总线网络地址翻译表，所述总线网络地址翻译表用于确定所述资源调用访问请求访问的第二地址子空间的标识，以及所述资源调用请求访问资源的编号信息。

可选的，所述源主机域所述目标主机与其对应的地址子空间通过非透明桥相连。

可选的，所述总线网络地址页表中包括：所述源主机或所述目标主机的地址子空间对应的子网标识号、所述源主机或所述目标主机的内存地址以及所述内存地址的访问权限信息。

可选的，所述总线网络地址翻译表，包括：所述源主机与所述目标主机的地址子空间对应的子网标识号、所述源主机非透明桥输出侧的BDF编号和目标主机中的空闲BDF编号。

可选的，所述总线网络地址翻译表通过以下方式进行填充：

根据所述源主机发送的所述调用请求，获得所述调用请求中的所述源主机非透明桥输出侧的BDF编号；

获取所述目标主机中空闲的BDF编号；

基于所述源主机非透明桥侧的BDF编号和所述目标主机中的空闲BDF编号，完成对所述总线网络地址翻译表的填充。

可选的，所述总线网络地址页表通过以下方式进行填充：

确定所述源主机或所述目标主机的地址子空间对应的子网标识号；从所述目标主机中选取供所述源主机使用的地址段；

基于所述子网标识号和所述供所述源主机使用的地址段，完成对所述总线网络地址页表的填充。

可选的，所述源主机的内存对应的PCIE子网和目标主机的内存对应的PCIE子网之间通过网络相连。

本申请同时提供一种资源共享的装置，包括：

划分单元，将源主机和目标主机对应的共享地址空间划分为对应所述源主机的第一地址子空间和对应所述目标主机的第二地址子空间；

分配单元，分别为所述源主机和所述目标主机提供地址翻译表，以使所述源主机发出的用于调用所述目标主机资源的资源调用请求路由至目标主机，其中，为所述源主机提供的地址翻译表存储于所述第一地址子空间，为所述目标主机提供的地址翻译表中映存储于所述第二地址子空间。

本申请同时提供一种电子设备，包括：处理器；

存储器，用于存储方法的程序，所述程序被所述处理器读取执行时，执行权利要求1-8任一项所述的方法。

本申请同时提供一种数据共享系统，包括：源主机和至少一个目标主机、总线网络地址翻译管理单元；

所述总线网络地址翻译管理单元，用于将源主机和目标主机对应的共享地址空间划分为对应所述源主机的第一地址子空间和对应所述目标主机的第二地址子空间，以及为所述源主机分配地址翻译表，其中，所述源主机的地址翻译表存储于第一地址子空间，所述目标主机的地址翻译表存储于第二地址子空间；

在所述源主机发送资源调用请求后，通过所述源主机对应地址翻译表将所述资源调用请求路由至所述目标主机；

在所述目标主机接收到所述资源调用请求后，通过所述目标主机对应的地址翻译表向所述源主机返回相应的资源数据。

与现有技术相比，本申请具有以下优点：

本申请实施例提供了一种资源共享方法，包括：将源主机和目标主机对应的共享地址空间划分为对应所述源主机的第一地址子空间和对应所述目标主机的第二地址子空间；分别为所述源主机和所述目标主机提供地址翻译表，以使所述源主机发出的用于调用所述目标主机资源的资源调用请求路由至目标主机，其中，为所述源主机提供的地址翻译表存储于所述第一地址子空间，为所述目标主机提供的地址翻译表存储于所述第二地址子空间。

该方法将各个主机的共享地址域划分为若干互不交叠的地址子空间，每个地址子空间可以维护自己独立的地址空间，由于每个地址子空间的端口数量一定，因此单个端口能够分配到的地址段也足够大，以防止由于端口过多导致的计算机系统整体规模受限的问题。

附图说明

图1为本申请提供的PCIE子系统架构示意图；

图2为本申请实施例提供的资源池化地址空间和地址翻译示意图；

图3为本申请提供的消息请求报头格式示意图；

图4为本申请第一实施例提供的资源共享方法流程图；

图5为本申请第一实施例提供的PCIE address的定义示例图；

图6为本申请第一实施例提供的总线网络地址页表结构示意图；

图7为本申请提供的总线网络地址翻译表结构示意图；

图8为本申请第一实施例提供的NTB配置示意图；

图9为本申请第二实施例提供的资源共享装置结构示意图；

图10为本申请第三实施例提供的电子设备结构示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是，本申请能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此，本申请不受下面公开的具体实施例的限制。

本申请第一实施例提供一种资源共享的方法，其核心在于，在共享地址域内建议一层抽象的地址，即，PCIE子网。其中各个PCIE子网之间不相交叠，且可以维护自己的独立的地址空间。同时相互连接的子网共同一个扩展内存域。

在介绍本申请第一实施例提供的资源共享方法之前，首先引入PCIE子网的概念。首先，同属于一个PCIE子网的任意两个端口之间PCIE路由可达，根据PCIE协议的定义，具体的路由方式包括地址路由、ID路由和隐式路由。对于PCIE子网而言，只要是上述三种路由方式中的任意一种路由可达，就可以定义为路由可达。

其中，地址路由主要用于内存和I/O请求的TLP报文，对于内存读取请求、内存写请求和原子操作请求目前可以支持64位和32位地址路由。但是因为SPEC没有对接收端在收到使用64位地址头索引低4GB地址的行为进行定义，所以为了更好的兼容性，对于低于4GB的地址，TLP请求需要使用32位地址头。I/O读请求和I/O写请求则只能使用32位地址头。

ID路由主要用于配置请求报文、基于ID路由的消息、以及所有完成报文的路由。其中，ID路由的消息一般用于报告错误。ID路由使用总线(Bus)、设备(Device)、功能(Function)三级编址的方式来指定TLP报文的目的地。在ARI(Alternative Routing-ID)模式下，路由ID包括8为BUS号，以及5位Device号和3位Function号组成的新的8位Function号。而在非ARI模式下，路由ID则由8为BUS号，以及5位Device号和3位Function号组成。

除地址路由和ID路由之外，PCIE消息(例如：INTx中断消息、电源管理消息、Error消息等等)还支持隐式路由。隐式路由的具体路由方式由TLP报头中路由类型字段指定。如图3所示，其为本申请提供的消息请求报头格式示意图。其中Type字段中的r2至r0子字段用于指示路由方法，具体的路由策略如表1所示，其中，表1为消息路由定义表。

所述PCIE子网包括：单域PCIE子网和多域PCIE子网。

对于单域PCIE子网，单域PCIE子网是由工作在透明桥(Transparent Bridge)模式的交换机级联构成的。交换机之间支持隧道(例如：TLP over fabric)，但隧道两端共享一个主机域。属于同一单域PCIE子网的任意两个端口之间均可通过上述任意一种路由方式可达。

对于多域PCIE子网，多域PCIE子网是由多个单域PCIE子网通过非透明桥(NTB)通道组合而成。属于同一多域PCIE子网的任意两个端口之间可以通过地址路由或ID路由可达。

本申请第一实施例提供一种资源共享的方法，请参考图4，其为本申请第一实施例提供的资源共享方法流程图。该方法包括以下步骤S401和步骤S402。

步骤S401，将源主机和目标主机对应的共享地址空间划分为对应所述源主机的第一地址子空间和对应所述目标主机的第二地址子空间。

为了解决现有技术中共享地址域的扩展性和灵活性受限的问题。本申请在现有的共享地址域的基础上增加了一层PCIE子网地址域，即，将共享地址域划分为对应目标主机域和内存扩展域的PCIE子网，其中，所述PCIE子网的地址形式为<net-id，PCIE address>，所述目标主机域对应所述源主机的主机域，所述内存拓展域对应所述目标主机的主机域。在本申请第一实施例中，所述第一地址子空间为所述源主机主机域的子网占用空间，所述第二地址子空间为所述目标主机主机域的子网占用空间。

进一步的，所述源主机域所述目标主机与其对应的地址子空间通过非透明桥相连。

为了正确路由目标地址域中的CPU发出的资源调用请求(即，TLP报文)，首先要根据调用请求中的net-id将调用访问请求路由至网络边界，完成第一层地址的路由。之后，资源调用访问请求将采用传统的PCIE路由方式，到达目标内存扩展域的功能端口，实现资源调用。

在PCIE子网的地址形式中，net-id，用于唯一标识一个PCIE子网。在PCIE集群中，每个交换机必然属于一个子网，并且被赋予一个net-id。多个交换机可以属于同一个PCIE子网，属于同一个PCIE子网的交换机之间基于PCIE路由策略可达。不同PCIE子网之间的交换机可以使用“非PCIE网路协议”进行路由。例如：通过使用以太网或者IB网络进行路由。PCIE address用于在一个PCIE子网中标识一个端口。根据前文对路由方式的介绍可知，隐式路由主要用于控制消息的传输，而本申请主要关注点在于资源调用请求(即，TLP报文)的直通传输，因此，隐式路由不再本申请的讨论范围之内。

对于地址路由而言，PCIE address指的是内存扩展域的内存地址，其中包括32位地址和64位地址。对于ID路由而言，PCIE address就是路由ID，即，BDF号(总线、设备、功能三级编址号)。

请参考图5，其为本申请第一实施例提供的PCIE address的定义示例图，图5中net-1代表第一PCIE子网，net-2代表第二PCIE子网。其中，net-1中包括第一内存扩展域501和第二内存扩展域502，第一内存扩展域501与第二内存扩展域502之间通过非透明桥(NTB)连接，且第一PCIE子网通过第一扩展内存域501接入网络503。在附图5中，针对附图5给出的PCIE addresse，由于第一PCIE子网通过第一扩展内存域501接入网络，所以此处仅关心第一内存扩展域501内的地址。而如何在第一内存扩展域501和第二内存扩展域502之间进行路由是由NTB负责处理的，不再本申请请求保护的范围之内。为了便于清楚的阐述本申请第一实施例，在后续的说明中，仅假设每个PCIE子网中只存在一个内存扩展域。

步骤S402，分别为所述源主机和所述目标主机提供地址翻译表，以使所述源主机发出的用于调用所述目标主机资源的资源调用请求路由至目标主机，其中，为所述源主机提供的地址翻译表存储于所述第一地址子空间，为所述目标主机提供的地址翻译表中映存储于所述第二地址子空间。

所述分别为所述源主机和所述目标主机提供地址翻译表，包括：根据所述源主机和所述目标主机的总线地址类型，为所述源主机和所述目标主机提供对应的地址翻译表。

在本申请第一实施例中，所述分别为所述源主机和所述目标主机提供地址翻译表，包括：根据所述源主机和所述目标主机的总线地址类型，为所述源主机和所述目标主机提供对应的地址翻译表。

所述地址翻译表包括：总线网络地址页表和总线网络地址翻译表。

其中，若所述总线地址类型为内存地址，则提供总线网络地址页表，所述总线网络地址页表用于确定所述资源调用请求访问的第二地址子空间的标识，以及所述资源调用请求访问的资源对应的内存地址信息；

若所述总线地址类型为ID路由地址，则提供总线网络地址翻译表，所述总线网络地址翻译表用于确定所述资源调用访问请求访问的第二地址子空间的标识，以及所述资源调用请求访问资源的编号信息。

请参考图6，其为本申请第一实施例提供的总线网络地址页表结构示意图。图6所示的总线网络地址页表为两级页表。

在本申请第一实施例中，所述第一级页表的个数是根据实际情况设定的，可以是一个交换机维护一个总线网络地址一级页表，或者是每个NTB表项对应一个一级页表，对此，本申请不做限制。

在图6中，采用后者的方式设定第一级页表的数据，其中，所述总线网络地址页表包括：第一级页表指针601，即“1^st-level page table address”，当存在多级页表时，所述第一级页表还存储有下一级页表指针的指针602，即“2^nd-level page table address”(下一级页表的基地址)，也就是说，在所述寄地址的基础上偏移“2^nd-level offset”即可获得二级页表的表项地址。因为本申请实施例中仅示出了2级页表，所以在所述二级页表的表项地址，即为最终的页表条目，所述页表条目中不仅包括：net-id、PCIE address，还包括一个permission字段。

所述permission字段用于控制对相应目标主机地址域的访问权项信息。如下表2所示，源主机地址域的当前地址为权项字段预留了8位，其中低两位分别代表该地址是否具有读写权限，高6处于预留状态，以根据实际情况进行设定。

7	6	5	4	3	2	1	0
								reserved	reserved	reserved	reserved	reserved	reserved	write	Read

也就是说，所述总线网络地址页表中至少应包括：所述源主机或所述目标主机的地址子空间对应的子网标识号、所述源主机或所述目标主机的内存地址以及所述内存地址的访问权限信息。

所述总线网络地址翻译表对应的PCIE address类型为ID路由地址，所述总线网络地址翻译表用于进行不同PCIE子网之间的ID翻译，请参考图7，其为本申请提供的总线网络地址翻译表结构示意图。

与图6所示的总线网络地址页表类似的，图7所示的总线网络地址翻译表也采用二级表的结构进行组织，其中，第一级翻译表701按照BUS号进行索引，第二级按照device+function(non-ARI模式下)或function号(ARI模式下)进行索引，因此，只需要取BDF的低八位进行索引即可。其中，function表702的表项内容即为翻译后的信息，包括目标子网编号net-id和目标子网内的BDF号。

需要说明的是，是否采用二级表的格式构造所述总线网络地址翻译表是根据实际情况进行设计的，本申请第一实施例之所以采用图7所示的二级表是为了便于理解本申请，而非对表的结构进行限制。

在具体应用过程中，无论是总线网络地址页表还是总线网络地址翻译表都是按需查询的，一般触发查表操作的流程如下所示：

首先，判断输出端口是否在本地，

若所述输出端口在目标主机域，则进一步确定路由类型。

若所述路由类型为地址路由，则进一步查找总线网络地址页表，完成地址替换，转发TLP报文；

若所述路由类型为ID路由，则进一步查找总线网络地址翻译表，完成地址替换，转发TPL报文。

若所述输出端口不在目标主机域，则通过port转发给与所述目标主机域的交换机相邻的交换机。

根据上述查表操作流程可知，无论是总线网络地址页表还是总线网络地址翻译表，对地址的翻译都需要进行多次查表操作，从而不可避免的带来内存访问的时延和带宽消耗。为了提升地址翻译的性能，也可以设置一个固定大小的缓冲区，用于存放近期完成的地址翻译结果。

一般情况下，PCIE路由是默认路由策略，并且可以确定唯一的交换机输出端口。根据该交换机的输出端口不同，可能需要进行不同的操作。例如：如果端口配置了NTB，那么则需要进行NTB相关地址映射。为了能够快速的识别需要进行的操作，可以为每个交换机端口增加一个属性。在本申请第一实施例中，为所述交换机端口增加了两个属性类型，即：Port.protocol＝enum{pcie,fabric}和Port.location＝enum{inner,outer}。

其中，Port.protocol＝enum{pcie,fabric}定义了该端口和与其相连的对端通信协议。一般来说，交换机端口之间都是通过PCIE协议互通的，但是引入TOF能力后，两个端口之间可以通过fabric协议互通，例如：通过以太网互通。

Port.location＝enum{inner,outer}定义了两个互连端口是否属于同一个PCIE子网。当属于一个PCIE子网时，端口的本地属性为inner，即该端口为内部端口；当不属于一个PCIE子网时，端口的本地属性为outer，即该端口为连接外部网络的端口。

在定义两个端口的属性之后，可以根据两个属性的不同组合来决定进行哪些操作。如下表3所示，表3为端口属性与动作之间的对应关系表。

根据上述表3可以看出，只有通过Fabric连接不同PCIE子网时，才需要进行总线网络地址翻译，因此，本申请第一实施例仅对此种情况下地址翻译表的表项填充进行介绍。

所述地址翻译表的填充是在NTB地址映射完成后触发的。由于地址翻译表的使用只发生在跨越有fabric互连的两个PCIE子网之间(例如：由以太网互联的两个PCIE子网)，所以目标主机域和内存扩展域可能不属于同一地址域。不同地址域之间必然需要NTB的支持。在本申请的一种可选实施例中NTB的功能可以和总线网络地址合并实现，也可以独立实现。

进一步的，所述总线网络地址翻译表通过以下方式进行填充：

根据所述源主机发送的所述调用请求，获得所述调用请求中的所述源主机非透明桥输出侧的BDF编号；获取所述目标主机中空闲的BDF编号；

具体的，请参考图8，其为本申请第一实施例提供的NTB配置示意图。

图8中包括目标主机域801、第一内存扩展域802、第二内存扩展域803、第一PCIE子网804、第二PCIE子网805、第三PCIE子网806，以及以太网807。

其中，所述第一PCIE子网804、第二PCIE子网805、第三PCIE子网806通过以太网相连。所述目标主机域801、第一内存扩展域802、第二内存扩展域803都包括NTB。

目标主机域801，包括CPU801-1、内存管理单元801-2，其中，目标主机域801中的地址翻译表具体为总线网络地址页表；

第一内存扩展域802包括：第一根复杂体802-1、第一内存802-2、第一交换机802-3；第二内存扩展域803包括：第二根复杂体803-1、第二内存803-2、第二交换机803-3，其中，第一内存扩展域802和第二内存扩展域803中的地址翻译表具体为总线网络地址翻译表。

在目标主机域向CPU申请一段远端内存，其内部地址为0×80000～0×91000。

CPU801-1首先从候选节点中选择资源，例如：从第一内存扩展域802中选择地址段0×6000～0×7000供CPU801-1使用。为了让内部资源从外部可以访问，CPU801-1首先设置第一内存扩展域802的入口NTB规则，即，如图所示，将外部地址0×4000～0×5000映射到上述内部地址。同时，CPU保存了第一内存扩展域802对应的PCIE子网ID，即net-id＝1；

同样的，CPU801-1针对第二内存扩展域803做了类似的事情。

当获得了外部资源之后，控制器完成CPU801-1的边界交换机地址翻译表的填充(图8中未示出对permission字段的填充)。

当完成所有的地址翻译表的填充之后，CPU801-1将地址翻译表填充到目标主机域801的NTB出口规则中(将内部地址段0×80000～0×91000映射到页表AT-1中)。

ID路由主要用于配置请求报文、基于ID路由的消息、以及所有完成报文的路由。和NTB一样，ID路由同样不支持跨子网传递基于ID路由的消息，因此，在本申请第一实施例中考虑请求报文和完成报文的两种情况。

具体的，配置请求报文只发生在目标主机域801借用第一内存扩展域802或第二内存扩展域803的远端设备的情况。因此，总线网络地址翻译表可以在映射远端设备时完成，具体步骤如下：

首先，CPU801-1完成了远端设备的NTB映射；

其次，目标主机域的守护进程将设备的本地BDF号，以及本地的子网标识上报给CPU801-1；

第一内存扩展域802和第二内存扩展域803将设备的BDF号以及对应的PCIE子网标识上报给CPU801-1。

CPU801-1在目标主机域节点的边界交换机上完成总线网络地址翻译表的填充，即“本地BDF->(远端net-id，远端BDF)”的映射。

对于完成报文的情况，总线网络地址翻译表可以在收到用于调用所述内存扩展域的内部资源的调用请求的报文时，完成映射，具体步骤如下：

根据所述源主机发送的所述调用请求，获得所述调用请求中的所述源主机非透明桥输出侧的BDF编号；获取所述目标主机中空闲的BDF编号；基于所述源主机非透明桥侧的BDF编号和所述目标主机中的空闲BDF编号，完成对所述总线网络地址翻译表的填充。

如图8所示，net-id＝1的交换机在接收到来自net-id＝0的请求报文，该请求报文的requester-id＝BDF1，即domain-cpu NTB的outer BDF编号

第一内存扩展域802对应的PCIE子网(即，net-id＝1的PCIE子网)的交换机首先在第一扩展内存域内查找空闲的BDF号，假设找到BDF100。

进一步的，将请求报文的requster-id替换为BDF100，然后完成如图所示的ID翻译表填充。

后续当完成报文到达时，其目标ID则为BDF100，那么总线网络地址就可以通过ID翻译表，定位目的地在子网0(即，目标主机域801对应的子网)，BDF1。

也就是说，所述总线网络地址翻译表，包括：所述源主机与所述目标主机的地址子空间对应的子网标识号、所述源主机非透明桥输出侧的BDF编号和目标主机中的空闲BDF编号。

在表项创建的时候，需要根据创建的原因对表项进行标记。对于由控制器创建的表项，需要标记为persistent。这种类型的表项没有超时机制，除非控制器显示的删除，否则表项一直存在。对于由request触发的表项，我们维护一个reference counter。每当一个request命中时，counter加1。当和该request对应的最后一个completion到达时，counter减1。当counter为0时启动计时器，计时器超时候删除表项。

本申请提供的资源共享方法，将共享地址域划分为若干互不交叠的PCIE子网，每个PCIE子网可以维护自己独立的地址空间，由于每个PCIE子网的端口数量较少，因此单个端口能够分配到的地址段也足够大，以防止由于端口过多导致的计算机系统整体规模受限的问题。

进一步的，又因为上述互不交叠的PCIE子网可以抽象为一个连续的地址段以供NTB进行地址映射，从而可以有效降低NTB表项资源的消耗。

为了便于理解本申请，一些结合所述资源共享方法的具体使用场景对本申请进行介绍。

在本申请的第一场景实施例中，具体用法为：在系统初始化时，交换机为每个location＝outer并且protocol＝fabric的端口分配一个总线网络地址页表和翻译表；除了每个端口默认的翻译表之外，系统在运行过程中也可以显式的创建新的翻译表。

之后，设置入参1v1s：对于总线网络地址翻译表，默认采用bus号一级，Device+Function号一级

入参vec_index：长度为lvls向量，每个元素代表地址翻译表在该层级用于索引的地址位长度。例如vec_index[0]＝8表示0级页表使用地址的最高8位进行寻址。向量内所有元素的和不能大于地址域的总位宽。

入参type:总线网络地址翻译表，或者是总线网络地址翻译表；

出参id：所创建的table的id。

返回值：翻译表的起始地址。

在本申请的第二场景实施例中，具体用法为：删除编号为table_id的翻译表。系统为每个location＝outer并且protocol＝fabric的端口分配一个总线网络地址页表和总线网络地址翻译表，上述默认翻译表不能删除。

其中，入参table_id：待删除翻译表编号。

若删除成功则返回true，若删除失败，则返回false。

在本申请的第三场景实施例中，具体用法为：在编号为table_id的总线网络地址翻译表中插入表项。

首先，设置入参table_id：目标翻译表编号；

入参src_address：按页对齐的本地起始地址；

入参net_id：目的子网id；

入参dst_address：按页对齐的目的端起始地址；

入参len：待映射内存段长度，当len大于1个页时，在翻译表中将存在多个条目；

若成功插入所述表项，则返回true，否则返回false。

在本申请的第四场景实施例中，具体用法为：在编号为table_id的总线网络地址翻译表中删除相应表项。

首先，入参table_id：目标翻译表编号；

入参src_address：按页对齐的本地起始地址；

若成功删除所述表项，则返回true，否则返回false。

在本申请第五场景实施例中，具体用法为在编号为table_id的总线网络地址翻译表中更新表项。

首先，设置入参table_id：目标翻译表编号；

入参src_address：按页对齐的本地起始地址；

入参net_id：目的子网id；

入参dst_address：按页对齐的目的端起始地址；

若成功删除所述表项，则返回true，否则返回false。

在本申请第六场景实施例中，具体用法为在编号为table_id的总线网络址翻译表中查找表项。

首先，设置入参table_id：目标翻译表编号；

入参src_address：待查询内存地址；

入参net_id：目的子网id；

出参dst_address：查询到的目的内存地址；

若成功获得目的内存地址，则返回true，否则返回false。

在本申请第七场景实施例中，具体用法为：在编号为table_id的总线网络地址翻译表中插入表项。

首先，设置入参table_id：目标翻译表编号；

入参src_address：按页对齐的本地起始地址；

入参net_id：目的子网id；

入参dst_bdf：目标BDF编号；

若成功插入表项，则返回true，否则返回false。

在本申请第八场景实施例中，具体用法为在编号为table_id的总线网络地址翻译表中删除相应表项；

首先，设置入参table_id：目标翻译表编号；

入参src_bdf：待删除条目的源BDF号；

若成功删除表项则返回true，否则返回false。

在本申请第九场景实施例中，具体用法为在编号为table_id的总线网络地址翻译表中更新表项；

首先，设置入参table_id：目标翻译表编号；

入参src_bdf：本地BDF编号；

入参net_id：目的子网id；

入参dst_bdf：目标BDF编号；

若成功更新拜偶像，则返回true，否则返回false。

在本申请第十场景实施例中，具体用法为在编号为table_id的总线网络地址翻译表中查找表项。

首先，设置入参table_id：目标翻译表编号；

入参src_bdf：待查询BDF编号；

出参net_id：查询到的目的子网id；

出参dst_bdf；查询到的目的BDF编号；

若成功查找到所述表项，则返回true，否则返回false。

与本申请第一实施例对应的，本申请第二实施例提供一种资源共享装置，由于该装置实施例基本相似与上述方法实施例，所以描述的比较简单，相关之处参见上述对本申请第一实施例的介绍即可，此处不再赘述。

请参考图9，其为本申请第二实施例提供的资源共享装置结构示意图。

所述资源共享装置，包括：

子网划分单元901，用于将共享地址域划分为对应目标主机域和内存扩展域的PCIE子网，其中，所述PCIE子网中存储有与所述PCIE子网对应的目标主机域或内存扩展域中的PCIE系统的内存端口标识；

翻译表分配单元902，用于分别为所述目标主机域和所述内存扩展域提供地址翻译表，并根据所述目标主机域的地址编号和所述目标主机域对应的PCIE子网标识号、所述内存扩展域的地址编号和所述内存扩展域对应的PCIE子网标识号完成对所述地址翻译表的填充，以使所述目标主机域发出的用于调用所述内存扩展域的内部资源的调用请求信息能够准确的路由至所述内存扩展域。

可选的，所述分别为所述目标主机域和所述内存扩展域提供地址翻译表，包括：

根据所述目标主机域和所述目标与的地址类型，为所述目标主机域和所述内存扩展域提供所述地址翻译表，其中，若所述地址类型为内存地址，则为所述目标主机域或所述内存扩展域提供总线网络地址页表，若所述地址类型为路由地址，则为所述目标主机域或所述内存扩展域提供总线网络地址翻译表。

可选的，所述总线网络地址页表中包括：PCIE子网标识号、与所述PCIE子网对应的目标主机域或内存扩展域的内存地址以及访问权项信息。

可选的，所述总线网络地址ID地址翻译表，包括：用于确定路由端口的BDF号、路由目标设备的编号和路由目标功能的编号，以及内存扩展域对应的PCIE子网标识号、所述内存扩展域对应的PCIE子网内的BDF号。

可选的，所述目标主机域对应的PCIE子网和内存扩展域对应的PCIE子网之间通过fabric互连。

本申请第三实施例提供一种电子设备，由于该电子设备实施例基本相似与上述方法实施例，所以描述的比较简单，相关之处参见上述对本申请第一实施例的介绍即可，此处不再赘述。

请参考图10，其为本申请第三实施例提供的电子设备结构示意图。

该电子设备包括：处理器1001；

存储器1002，用于存储方法的程序，所述程序在被所述处理器读取执行时，执行上述第一实施例所述的方法。

本申请第四实施例提供一种数据共享系统，由于该系统实施例基本相似与上述方法实施例，所以描述的比较简单，相关之处参见上述对本申请第一实施例的介绍即可，此处不再赘述。

所述数据共享系统，包括：源主机和至少一个目标主机、总线网络地址翻译管理单元；

在所述目标主机接收到所述资源调用请求后，通过所述目标主机对应的地址翻译表向所述源主机返回相应的资源数据。本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitor7 media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为系统或电子设备。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims

1.一种资源共享方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述分别为所述源主机和所述目标主机提供地址翻译表，包括：

3.根据权利要求1所述的方法，其特征在于，所述源主机域所述目标主机与其对应的地址子空间通过非透明桥相连。

4.根据权利要求2所述的方法，其特征在于，所述总线网络地址页表中包括：所述源主机或所述目标主机的地址子空间对应的子网标识号、所述源主机或所述目标主机的内存地址以及所述内存地址的访问权限信息。

5.根据权利要求2所述的方法，其特征在于，所述总线网络地址翻译表，包括：所述源主机与所述目标主机的地址子空间对应的子网标识号、所述源主机非透明桥输出侧的BDF编号和目标主机中的空闲BDF编号。

6.根据权利要求2所述的方法，其特征在于，所述总线网络地址翻译表通过以下方式进行填充：

获取所述目标主机中空闲的BDF编号；

7.根据权利要求2所述的方法，其特征在于，所述总线网络地址页表通过以下方式进行填充：

8.根据权利要求1所述的方法，其特征在于，所述源主机的内存对应的PCIE子网和目标主机的内存对应的PCIE子网之间通过网络相连。

9.一种资源共享的装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：处理器；

11.一种数据共享系统，其特征在于，包括：源主机和至少一个目标主机、总线网络地址翻译管理单元；