CN103905426B - 用于使PCIe构造上的主机到主机消息收发安全和分离的方法和装置 - Google Patents

Abstract

本发明涉及用于使PCIe构造上的主机到主机消息收发安全和分离的方法和装置。PCIe构造包括至少一个PCIe交换机。该构造可以用于连接多个主机。PCIe交换机针对主机到主机消息通信实现安全和分离措施。管理实体定义虚拟PCIe构造ID——VPFID。所述VPFID用于强化安全和分离。构造ID可以被扩展为用在具有其他点对点协议的交换机构造中。

Description

用于使PCIe构造上的主机到主机消息收发安全和分离的方法 和装置

技术领域

本发明总体上涉及交换机和电子通信。更具体地，本发明涉及改进智能PCIe交换机中主机到主机通信的安全和分离。

背景技术

计算机架构多年来已经大有进展。最近，包括外部数据接口(诸如，将通用串行总线(USB)接口控制器包括到其母版中)对芯片设计者来说正在变得越来越普遍。这些接口被称为主机控制器。然后，处理器典型地经由输入/输出(I/O)互连系统连接到计算机系统的其他部件。

存在许多不同的计算机I/O互连标准可用。多年来最受欢迎的标准之一是外围部件互连(PCI)标准。PCI允许总线像桥那样操作，该桥将本地处理器总线与外围隔离，允许计算机的中央处理单元(CPU)通过该互连而连接到IO设备的主机。

近来，PCI的继承者已经被普及，被称作PCI高速(PCI Express)(或简称PCIe)。PCIe在保持与现有PCI应用的软件兼容性的同时，针对下一代系统提供了更高的性能、增强的灵活性和可扩缩性。与传统PCI相比，PCI高速协议显著更复杂，具有三层：事务层、数据链路层和物理层。

在PCI高速系统中，根联合体(root complex)设备将处理器和存储器子系统连接到PCI高速交换机构造，所述PCI高速交换机构造由一个或多个交换机设备组成(然而，实施例也可能没有交换机)。在PCI高速中，使用点对点架构。类似于PCI系统中的主机桥，根联合体代表处理器来生成事务请求，所述处理器通过本地I/O互连而互连。根联合体功能可以被实现为分立的设备，或可以与处理器集成。根联合体可以包含多于一个PCI高速端口，并且多个交换机设备能够连接到根联合体上的端口或者可以级联。

本发明的受让人已经开发了各种各样的PCIe交换机，在下述美国专利申请中描述：13／624,781、13／212,700和12／979,904，这些申请提供了关于PCIe交换机的一般背景信息。作为示例，图1是描绘了具有标准PCIe交换机102的正常共享IO架构的框图，所述标准PCIe交换机102由运行交换机管理软件的管理主机控制。交换机102服务于一个或多个主机，被示为连接主机106和连接主机108(也称作“本地主机”)，例如服务器、PC和其他计算设备。同样连接到交换机102的是一个或多个设备110-116，其典型地针对连接主机提供某种类型的功能和服务。在交换机102内的是虚拟设备118-124。虚拟设备118和120被连接到连接主机106，并且虚拟设备122和124被连接到连接主机108。这些虚拟设备中的一些具有通往物理设备110-114的数据路径。虚拟设备118-124的功能和角色在名称为“MULTI-ROOTSHARING OF SINGLE-ROOT INPUT／OUTPUT VIRTUALIZATION”的共同待审申请美国专利申请No.12／979,904中描述，其中，描述了下述解决方案：该解决方案在使用支持共享I/O机制的PCIe交换机的非透明端口将多个主机相连接时使用了资源重定向方法。

作为另一个示例，图2是描绘了具有逻辑设备的PCIe交换机和具有逻辑设备使能软件的管理主机系统的框图，并在名称为“PCI EXPRESS SWITCH WITH LOGICAL DEVICECAPABILITY”的美国专利申请No.13／624,781中描述，该美国专利申请的内容通过引用而并入。描绘了连接到主机204和三个物理设备206-210的创新PCIe交换机202。具有逻辑设备软件和用于操作管理系统的其他必要软件的管理系统主机212连接到交换机202。逻辑设备使能软件实现了由虚线框描绘的逻辑设备214(也被称作统一虚拟设备)。逻辑设备214虚拟地与连接主机204一起操作。它具有去往物理设备206-210的数据路径。管理系统主机212具有由虚线框描绘的通往实现逻辑设备214的物理设备206-210的控制路径。这些控制路径是虚线的，以指示它们实质上发源于管理系统212中的逻辑设备使能软件，并负责物理地实现逻辑(虚拟)设备214。该逻辑设备还连结到直接存储访问(DMA)引擎。

2011年8月18日提交的名称为“SHARING MULTIPLE VIRTUAL FUNCTIONS TO AHOST USING A PSEUDO PHYSICAL FUNCTION”的美国专利申请13／212,700描述了具有虚拟化物理功能的PCIe交换机。美国专利申请13／212,700的内容通过引用而并入，以提供关于本发明受让人的其他PCIe交换机实现的上下文。

随着PCIe交换机的集群大小和功能持续增长，消息流的安全是潜在的问题。本专利申请的发明人已经意识到，传统的安全方法不足以解决这些问题。

发明内容

本发明的一个方面是一种增强具有点对点协议(诸如PCI高速)的交换机构造的功能的方法。使用虚拟构造ID来强化用于耦合到交换机构造的主机的主机到主机消息流的安全和分离。

在一个实施例中，PCI高速交换机包括管理主机。所述管理主机由管理员使用以定义管理表和关联的虚拟构造ID。主机计算机系统耦合到PCI高速交换机的端口。PCI高速交换机丢弃未利用被批准的虚拟构造ID加标签的消息分组，从而强化了主机到主机消息流的安全和分离。

附图说明

图1是描绘了具有标准PCIe交换机的正常共享IO架构的框图，所述标准PCIe交换机由运行交换机管理软件的系统管理主机控制；

图2是描绘了根据共同待审美国专利申请No.13／624,781的具有逻辑设备的PCIe交换机和具有逻辑设备使能软件的管理主机系统的框图；

图3是描绘了根据本发明一个实施例的支持安全和分离的PCIe交换机的框图；

图4是根据本发明一个实施例的用于虚拟PCIe构造ID的接收处理的流程图；和

图5是根据本发明一个实施例的用于虚拟PCIe构造ID的发送处理的流程图。

具体实施方式

现在将详细参考本发明的特定实施例，包括发明人所想到的用于执行本发明的最佳模式。这些特定实施例的示例在附图中图示。虽然本发明是结合这些特定实施例描述的，但是要理解的是，不意欲将本发明限制于所描述的实施例。相反，意欲覆盖如可被包括在如所附权利要求所限定的本发明精神和范围内的替换、修改和等同物。在下面的描述中，为了提供对本发明的透彻理解，阐述了具体细节。可以在没有这些具体细节中的一些或全部的情况下实施本发明。此外，可能未详细描述公知的特征，以避免不必要地模糊本发明。

根据本发明，部件、处理步骤和／或数据结构可以使用各种类型的操作系统、编程语言、计算平台、计算机程序和／或通用机器实现。此外，本领域普通技术人员将意识到，在不背离这里公开的本发明构思的范围和精神的情况下，也可使用较不通用性质的设备，诸如硬线设备、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等等。本发明还可以被有形地体现为存储在计算机可读介质(诸如存储设备)上的计算机指令的集合。

本专利申请的发明人已经意识到，PCI高速(PCIe)交换机构造架构存在问题。特别地，现有技术未针对经由使用点对点协议(诸如，PCIe)的交换机构造的主机到主机通信提供足够的安全和分离特征。

图3图示了PCIe交换机305。在一个实施方式中，PCI高速305是来自Sunnyvale,California的PLX Technology,Inc.的Capella2交换机，所述Capella2交换机包括下一代硬件和软件钩(hook)，用于如下面更详细地描述的那样实现安全和分离。

PCIe交换机305包括内部虚拟总线、虚拟化DMA引擎和关联的DMA功能。特别地，对于连接主机的每个端口，存在对于多个DMA功能(DMA Fn0…DMA Fn N)的支持，其中，作为示例，DMA功能可以包括复制网络接口卡(NIC)功能或网络存储功能。虚拟化物理功能的附加示例在名称为“SHARING MULTIPLE VIRTUAL FUNCTIONS TO A HOST USING A PSEUDOPHYSICAL FUNCTION”的美国专利申请No.13／212,700中描述，其内容通过引用并入本文。

管理系统显现出连接主机上的多个DMA功能。(附加的管理细节在美国专利申请13／624,781、13／212,700和12／979,904中描述，其内容通过引用而并入)。在一个实施例中，DMA功能存在于交换机中，并得以由管理软件映射，从而主机DMA驱动器在交换机硬件上操作，以在PCIe构造上进行消息传递。

集群中的节点之间的消息收发由各种特征支持。管理CPU(MCPU)能够向任意的连接主机示出若干逻辑DMA功能，并在一个实施例中可以例如使用在专利申请13／624,781、13／212,700和12／979,904中描述的机制。一旦完成这一点，DMA功能就显现为PCIe端点，类似于连接主机上的联网端点。在该端点上加载消息收发驱动器，该消息收发驱动器允许使用由智能交换机提供的DMA功能的消息收发发送／接收操作。每个这种DMA功能都具有唯一标识PCIe构造中的该功能的硬件ID，并且，所有消息收发工作请求都由交换机基于该唯一ID在连接主机之间路由。利用由智能交换机支持的广播消息收发机制的设施，每个连接主机都能使用这些唯一ID发现／识别其他的连接主机。

较高层协议驱动器能基于该唯一硬件ID来针对该消息收发接口／DMA功能构造唯一ID。作为示例，该消息收发接口上的以太网隧道软件能基于DMA接口的唯一24比特PCIe构造ID来针对该DMA接口构造以太网MAC地址。RDMA层驱动器能使用该相同PCIe构造ID来针对DMA接口构造GID(全局ID)。当所有这些映射是利用它们之间的一对一对应性做出的时，所有这些映射将作为用于消息收发协议的寻址机制完美地工作。

一旦完成了发现，不同连接主机上的应用就能够使用由该DMA功能提供的消息收发传输彼此通话。这种应用的示例包括MPI应用或套接字应用，这些应用是针对能够在该DMA消息收发接口上无缝工作的其他构造编写的。

因为现在在多于少数的连接主机之间的PCIe构造上实现该消息收发，所以需要基于网络的使用／部署模型来分离这些连接主机以及提供互连(交换机)级别处的附加安全。本发明的实施例基于虚拟构造ID标签和强化来解决这种安全／分离机制。

DMA功能充当PCIe构造上的连接主机之间的消息收发／主机到主机通信信道。该消息传递功能能够用于实现各种上层协议，所述上层协议是针对其他构造(诸如，基于该PCIe消息收发机制的以太网软件隧道和基于该消息收发机制运行的RDMA／存储协议)而开发的。

根据本发明的实施例，整体上针对消息收发而提供安全——不是基于特定协议的安全机制，而是作为使用虚拟构造ID的基于公共PCIe构造的安全机制。

管理主机310包括CPU和存储器(未示出)，并运行针对PCIe交换机305的管理软件。所述管理软件充当管理实体，并允许管理员管理交换机操作。

多个不同的主机计算机系统(主机1、主机2、…主机M)可以连接到PCI高速交换机，其中每个主机具有关联的CPU和存储器。连接到PCIe构造交换机的端口的主机计算机系统能够在它们之间通信，因为所有主机端口或节点都是由PCIe构造交换机提供的平坦全局空间的一部分。

经由PCIe构造将主机计算机系统连接在一起造成了潜在的安全问题，特别地，随着由该构造连接的主机系统的数量的增加。作为示意性的(但不限制)示例，PCIe构造可以对应于八、十六、三十二或六十四个耦合的主机计算机系统的集群大小。所述集群还可以对应于机架级大小。将所述构造扩展为更大的大小使安全和消息分离成为重要的问题。例如，在许多应用环境中，强化安全和防止对集群内的主机到主机消息流的未授权访问是至关重要的。

管理主机310通过定义虚拟PCIe构造ID(VPFID)，利用存储在存储器(未示出)中的安全和成员表315，以强化安全和分离，这是允许每个主机端口作为端口组的有限集合的一部分的机制。在一个实施例中，(管理软件的)管理实体管理PCIe交换机，并且是能够使用PCIe交换机中的成员表控制该成员身份(membership)的唯一实体。一旦PCIe交换机被配置有基于VPFID的成员身份，PCIe交换机就能够基于该成员身份来强化严格的规则。

针对主机端口之间的主机到主机通信，可以使用供应商定义的消息、利用VPFID给消息流加标签。PCIe规范包括针对供应商定义消息的条款。

在一个实施例中，每个端口可以被管理实体配置为遵照下述规则集中的一个规则：

在硬件中，利用具有该端口的缺省VPFID的VPFID(作为供应商定义消息的一部分)来给每个传出的主机到主机通信分组加标签；和

主机软件利用该端口的所允许的VPFID之一给主机到主机通信加标签(其中，管理实体针对每个端口的一个或多个VPFID设置该成员身份)。

在一个实施例中，可以根据下述规则集、基于VPFID在发送和接收时都过滤主机到主机通信：

端口外的每个主机到主机分组必须被加标签有该端口的有效VPFID之一，否则该分组被丢弃。当分组被丢弃时，可以在该端口上将错误报告给管理实体；和

每个接收端口还检验传入分组中的有效VPFID，并丢弃被加标签有无效VPFID的主机到主机分组。在丢弃的情况下可以将错误报告给管理实体。

在一个实施例中，对这些规则来说存在若干例外。管理实体应该始终被允许具有与任何端口的主机到主机通信，并且因此，可以针对管理通信预留特殊的VPFID。当在PCIe构造中没有使用VPFID时，缺省规则可以是端口被假设为正在使用单个VPFID。此外，要理解的是，这些规则仅是示例，并且这些规则可以针对特定的交换机实现而变化。

图4是更详细地图示了根据本发明的实施例的VPFID的接收处理的流程图。在一个实施方式中，可以以硬件执行接收DMA引擎处理。在405中，接收DMA引擎接收对应于消息的工作请求。在410中，决定是否VPFID与所允许的集合中的一个相匹配。如果是，则在415中决定是否不允许广播消息和DMA功能用于广播。如果否，则在416中执行正常的接收处理。如果是，则在418中静默地丢弃消息。

返回到410，如果消息VPFID与所允许的集合中的任一个都不匹配，那么在420中确定消息是否是单播消息。如果否，则在418中静默地丢弃消息。然而，如果消息是单播消息，那么在422中返回错误码给发送方，以指示VPFID失效。在426中，递减分组丢弃计数器，并且，如果在428中确定计数器等于零，那么在430中向管理员通知存在太多VPFID违反。否则，该过程在432中结束。

图5是更详细地图示了根据本发明的实施例的VPFID的发送处理的流程图，其中存在发送侧软件/硬件处理。在505中，对去往驱动器软件的传出消息请求进行排队。在510中，确定DMA功能是否针对单静态ID模式而配置。如果是，那么在525中，驱动器将没有VPFID的去往硬件的工作请求进行排队。如果否，则在515中，确定是否对于消息存在VPFID。如果是，那么在520中，驱动器利用给定VPFID来给去往硬件的工作请求加标签。如果否，那么在525中，驱动器对没有VPFID的去往硬件的工作请求进行排队。

在530中确定是否在交换机中设置了VPFID的硬件超越(override)。如果是，则硬件盖写工作请求中的配置VPFID。如果否，则(可选地)确定VPFID是否与DMA fn的所允许的集合相匹配。如果是，则在545中发送消息给其目的地。如果否，则在550中可以丢弃工作请求并且生成错误消息。

经由管理实体，PCIe构造管理员能够针对连接端口之间的主机到主机通信定义安全PCIe子网，从而将该构造划分为虚拟且未连接的PCIe网络，其中在软件中有非常小的运行时开销。在一个实施例中，构造管理员(信任实体)建立下述没置：

a.单VPFID／DMA功能，或每DMA功能基础上的多VPFID模式(缺省：单VPFID模式)；

b.缺省地，整个构造使用VPFID1(缺省的VPFID)，并且所有DMA功能都被设置为该设置；

c.管理员能够将该VPFID设置改变为它们依赖于它们在构造中想要的安全子网而想要的设置；和

d.当管理员将该设置改变为DMA功能上的多VPFID模式时，它们的责任是管理使用DMA功能的主机系统，以便还将其软件配置为使用这些多个VPFID。

在一个实施例中，采用VPFID的PCIe构造上的以太网隧道解决方案能够将以太网虚拟局域网(VLAN)转换为对应的VPFID。这主要是为了实现与以太网应用的后向兼容。以类似的方式，无限带宽的pkey(分区密钥)机制也能映射到VPFID。这一点的示例性用例模型是由用于PCIe构造的以太网隧道软件将以太网VLAN映射到对应的VPFID。以太网栈可以被配置为使用多个VLAN(具有对应的VPFID)，并且，主机系统处的以太网隧道软件将在建立工作请求时将该VLAN ID转换为VPFID。类似地，可以通过执行与关于VLAN描述的映射功能类似的相似映射功能来使其他安全措施与VPFID兼容。作为附加示例，RDMA／无限带宽的分区密钥(正像以太网的VLAN和其他协议的其他这种安全ID)可以被映射到对应的VPFID。

VPFID的一个方面是其解决了PCIe构造中的安全和分离的问题。多年来，PCIe构造中的节点的数量已经增长。当PCIe构造扩展到框之外到多个主机系统时，连接端口之间的任何主机到主机通信上安全和接入控制的必要性变成典型数据中心／企业部署中的要求。PCIe是点对点协议。现有技术中不存在对主机到主机通信的PCIe构造代替的这种解决方案，并且VPFID定义了这样的解决方案。它是对基于PCIe的构造的部署的关键问题的新解决方案。

具有点对多点协议的其他构造利用不同技术解决安全问题。作为示例，作为广播介质的以太网具有点对多点协议，并使用VLAN作为用于强化基于成员身份的安全性的机制。然而，VLAN需要通过在每个负载在以太网构造中移动时在该分组中添加／剥除附加VLAN报头来考察以太网有效载荷。VLAN与以太网构造紧密联系，并由此能够仅用于在以太网协议上运行的消息收发应用。VPFID实现在若干关键领域中不同于该VLAN实现：

VPFID被应用在点对点协议上；

PCIe构造的VPFID的实现仅被应用在消息收发工作请求上，而不是在所有分组或由该消息收发工作请求得到的数据业务上都应用。基础PCIe协议确保了该数据业务的安全性，并且因此，所得到的数据业务上的VPFID是冗余的。

虽然已经详细讨论了PCIe构造的特定示例，但是更一般地，本发明可以被扩展为适用于其他点对点协议。大多数点对点联网协议包括类似于PCIe供应商消息收发的特征。也就是说，大多数点对点联网协议能够被适配为包括虚拟构造ID(VFID)。因而，本发明具有针对使用除PCIe的那些构造外的其他交换机构造的潜在应用。

所描述的实施例的各种方面、实施例、实施方式或特征能够被单独使用或以任意组合使用。所描述的实施例的各种方面能够由软件、硬件或软件和硬件的组合实现。所描述的实施例还能够被体现为计算机可读介质上的计算机可读代码。所述计算机可读介质被定义为能够存储此后可由计算机系统读取的数据的任意数据存储设备。计算机可读介质的示例包括只读存储器、随机存取存储器、CD-ROM、DVD、磁带和光学数据存储设备。所述计算机可读介质还能够分布在网络耦合的计算机系统上，从而以分布式的方式存储和执行所述计算机可读代码。

虽然本发明已经参考其特定实施例而特别示出和描述，但是本领域技术人员将理解的是，在不背离本发明的精神或范围的情况下，可以做出对所公开的实施例的形式和细节上的改变。此外，虽然这里已经参考各种实施例讨论了本发明的各种优点、方面和目的，但是要理解的是，不应参考这些优点、方面和目的来限制本发明的范围。更确切地，应该参考所附权利要求来确定本发明的范围。

Claims (12)

1.一种操作具有点对点网络协议的交换机构造的方法，所述方法包括：

从定义子网的交换机构造管理员接收输入；

针对至少一个所定义的子网生成虚拟构造ID(VFID)；

利用所述虚拟构造ID给来自至少一个主机的传出消息的分组加标签；和

确定去往至少一个主机的传入消息是否具有与虚拟构造ID相匹配的标签；

其中如果传入消息的标签与被批准的虚拟构造ID相匹配，则支持针对传入消息的接收处理，并且如果所述标签与被批准的虚拟构造ID不匹配，则在交换机内丢弃所述消息。

2.根据权利要求1所述的方法，其中所述点对点协议是PCI高速。

3.根据权利要求1所述的方法，其中所述加标签是经由供应商定义的消息收发执行的。

4.根据权利要求1所述的方法，其中如果虚拟构造ID不匹配，则将错误码返回到发送方。

5.根据权利要求1所述的方法，其中所述确定包括：检验从端口出来的每个主机到主机分组，并丢弃该分组，直到其已经被加标签有有效虚拟构造ID。

6.根据权利要求5所述的方法，其中所述确定包括：针对有效虚拟构造ID检验每个接收端口处的分组，并丢弃具有无效虚拟构造ID的分组。

7.根据权利要求1所述的方法，其中所述交换机构造包括针对每个端口的虚拟直接存储访问(DMA)引擎，其中对来自定义子网的交换机构造管理员的所述输入的所述接收包括：从构造管理员接收定义VFID和DMA功能之间的关系的一个或多个设置。

8.根据权利要求7所述 的方法，其中所述设置包括：

单VFID/DMA功能；

每DMA功能基础上的多VFID模式；和

具有单VFID的缺省设置，以及所有DMA功能被设置为该设置。

9.根据权利要求1所述的方法，进一步包括：将以太网虚拟局域网(VLAN)ID转换为对应的VFID，以允许在构造交换机上运行以太网VLAN。

10.根据权利要求1所述的方法，进一步包括：至少部分地基于标签与被批准的VFID不匹配来生成至少一个错误消息。

11.根据权利要求10所述的方法，其中所述至少一个错误消息包括安全违反通知。

12.一种与管理系统连接的PCI高速交换机，其中所述管理系统中的存储器存储虚拟构造ID的表，所述虚拟构造ID用于强化耦合到PCI高速交换机的主机的主机到主机消息流的安全和分离，其中所述交换机被配置为执行权利要求1-11所述的方法中的任一个。