CN102694717A - 在pcie总线上传输报文的方法、设备和系统 - Google Patents

在pcie总线上传输报文的方法、设备和系统 Download PDF

Info

Publication number
CN102694717A
CN102694717A CN2011100707786A CN201110070778A CN102694717A CN 102694717 A CN102694717 A CN 102694717A CN 2011100707786 A CN2011100707786 A CN 2011100707786A CN 201110070778 A CN201110070778 A CN 201110070778A CN 102694717 A CN102694717 A CN 102694717A
Authority
CN
China
Prior art keywords
protocol massages
pcie
end equipment
destination end
presets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100707786A
Other languages
English (en)
Other versions
CN102694717B (zh
Inventor
孟健
王雨晨
刘利锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Huawei Technology Co Ltd
Original Assignee
Huawei Symantec Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Symantec Technologies Co Ltd filed Critical Huawei Symantec Technologies Co Ltd
Priority to CN201110070778.6A priority Critical patent/CN102694717B/zh
Priority to PCT/CN2012/072608 priority patent/WO2012126352A1/zh
Publication of CN102694717A publication Critical patent/CN102694717A/zh
Application granted granted Critical
Publication of CN102694717B publication Critical patent/CN102694717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4221—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供一种在PCIE总线上传输报文的方法、装置和系统。方法包括：起始端设备预置的协议报文对预置的协议报文进行处理，得到预置的协议报文；获取到所述目标端设备的PCIE设备ID后，将所述预置的协议报文携带在PCIE协议报文中，并通过PCIE总线将所述PCIE协议报文发送给目标端设备，以使所述目标端设备从所述PCIE协议报文中解析出所述预置的协议报文后根据所述预置的协议报文的指令执行相应操作，其中，所述起始端设备和目标端设备，第三方设备之间通过PCIE总线互连。本发明实施例提供的方案，数据传输的带宽高、处理速度快，通用性好，成本低。

Description

在PCIE总线上传输报文的方法、设备和系统
技术领域
本发明实施例涉及通信技术领域，尤其涉及一种在快速局部(PeripheralComponent Interconnect Express，简称为：PCIE)总线上传输报文的方法、设备和系统。
背景技术
PCIE是最新的总线和接口标准，这个新标准将全面取代现行的PCI和AGP，最终实现总线标准的统一。PCIE的主要优势是数据传输速率高，目前最高的16X 2.0版本可达到16GB/s，而且还有相当大的发展潜力。PCIE作为主板级的交互协议，完成应用程序、CPU和PCIE设备(如NIC，SCSI HBA，FC-HBA等)间的通信。同时，也可以作为系统级的交互协议。
光纤通道(Fibre Channel，FC)协议通常用于存储区域网络上的服务器和存储设备之间的通信，光纤通道基于FC的链路控制和物理层协议，光纤通道的主要特性有热插拔性、高速带宽、远程连接、连接设备数量大等，一般的，业务采用的介质是光纤线缆和铜缆等，然而，FC设备价格昂贵，但采用铜轴电缆的光纤通道有着铜媒介一样的问题，如传输距离短(30米，取决于具体的线缆)以及易受电磁干扰(EMI)影响等，且目前刚光纤通道开始流行的8Gb/s的速率与PCI-Express的最大速率相比有很大差距，不能获得更好的数据传输率。
发明内容
本发明实施例提供一种在PCIE总线上传输报文的方法、设备和系统，用以实现在PCIE总线上直接传输预置的协议报文；
本发明实施例的使用快速局部PCIE总线传输报文的方法，包括：
起始端设备获取预置的协议报文；
在PCIE链路中，获取到所述目标端设备的PCIE设备ID后，将所述预置的协议报文携带在PCIE协议报文中，并通过PCIE总线将所述PCIE协议报文发送给目标端设备，以使所述目标端设备从所述PCIE协议报文中解析出所述预置的协议报文后根据所述预置的协议报文的指令执行相应操作，其中，所述起始端设备和目标端设备，第三方设备之间通过PCIE总线互连。
本发明实施例的在快速局部PCIE总线上传输报文的装置，其特征在于，包括：
封装模块，用于对光纤通道预置的协议报文进行封装，得到预置的协议报文；
收发模块，用于将预置的协议报文携带在PCIE协议报文中，并通过PCIE总线将所述PCIE协议报文发送给目标端设备，以使目标端设备从PCIE协议报文中解析出预置的协议报文后根据预置的协议报文的指令执行相应操作；
解析模块，用于从PCIE协议报文中解析出预置的协议报文；
执行模块，用于根据预置的协议报文的指令执行相应操作。
本发明实施例提供的在PCIE总线上传输报文的方法、设备和系统，通过PCIE总线使得使用FC协议的存储系统进行互连，使得通过PCIE总线建立彼此连接的任意设备之间均可以通过预置的协议报文进行相互的操作，可以利用FC协议已有的功能优势和管理工具，且数据传输的带宽高、处理速度快，可用于全PCIE连接的多主机集群计算系统中，计算节点与存储节点基于FC协议实现互连。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的在PCIE总线上传输报文的方法流程图；
图2为本发明一个实施例提供的在PCIE总线上传输报文的方法流程图；
图3为本发明一个实施例提供的在PCIE总线上传输报文的装置结构示意图；
图4为本发明一个实施例提供的在PCIE总线上传输报文的装置结构示意图；
图5为本发明一个实施例提供的在PCIE总线上传输报文的系统结构示意图；
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一个实施例提供的在PCIE总线上传输报文的方法流程图，如图1所示，该方法包括：
步骤101：起始端设备获取预置的协议报文；
本发明实施例可以根据具体的业务类型将预置的协议报文携带在所述PCIE协议报文的处理层协议TLP包中，获得FC-TLP协议报文，其中，FC-TLP协议报文为FC-TLP帧格式，所述预置的协议报文为FC协议报文；
或将所述预置的协议报文携带在所述PCIE协议报文的处理层协议TLP包中，获得FCoPIP-TLP协议报文，FCoPIP-TLP协议报文为FCoPIP-TLP帧格式，其中，所述预置的协议报文为FCoPIP协议报文。
步骤102：获取到所述目标端设备的PCIE设备ID后，将所述预置的协议报文携带在PCIE协议报文中，并通过PCIE总线将所述PCIE协议报文发送给目标端设备，以使所述目标端设备从所述PCIE协议报文中解析出所述预置的协议报文后根据所述预置的协议报文的指令执行相应操作，其中，所述起始端设备和目标端设备，第三方设备之间通过PCIE总线互连。
其中，本实施例中的第三方设备可以是链路中的特定的网络管理设备。
其中，本实施例中的预置的协议报文为FC协议报文或FCoPIP协议报文；
本实施例中的“携带”也在本领域内也可以称为“封装”，实际上指的是将FCoPIP协议报文或FC协议报文映射为符合PCIE协议报文的形式的一种做法。
其中，可以将预置的协议报文携带在PCIE的处理层协议(TransactionLayer Protocol，简称为：TLP)包中。预置的协议报文在PCIE协议报文中具体的位置可以如表1中所示本发明实施例提供的PCIE协议报文的格式示意图。
表1
  帧开始   DLLP头  TLP头   预置的协议报文   ECRC   LCRC   帧结束
其中，有多种情况可以使得起始端设备将预置的协议报文进行封装后携带在PCIE协议报文中，例如，计算机应用程序或者CPU希望通过PCIE总线对某一设备进行读写操作，则会将读写请求转换为FC读写命令并对其进行封装，然后携带在PCIE协议报文中。或者，某一通过PCIE总线与计算机相连接的设备接收到计算机通过PCIE总线发送的请求报文后需要返回请求响应报文时，该设备会将请求响应报文转换为本发明实施例的协议报文并对其进行封装，然后携带在PCIE协议报文中。
本发明实施例提供的在PCIE总线上传输报文的方法，使得通过PCIE总线建立彼此连接的任意设备之间均可以通过预置的协议报文进行相互的操作，且数据传输的带宽高、处理速度快，可用于全PCIE连接的多主机集群计算系统中，计算节点与存储节点基于FC协议实现互连。
图2是本发明实施例中预置的协议报文进行封装的方法流程图；
本实施例中，获取到所述目标端设备的PCIE设备ID之前，所述将预置的协议报文携带在PCIE协议报文中包括：
首先，步骤1010，起始端设备，和/或，目标端设备发送设备发现请求，获取第三方设备的PCIE设备ID，例如发送0001h，如表1所示：
Figure BDA0000051728110000051
其中，FCoPIP Protocol Code为0001h表示设备发现，Subcode为01h时，表示所述业务类型Operation为Discovery Solicitation，表示所述业务内容Contents of Operation包括为PCIE Device ID，FC WWN，MAX Size等信息；Subcode为02h时，表示业务类型为Discovery Advertisement，表示所述业务内容Contents of Operation为Priority(优先级)，另外，还包括PCIE Device ID，FC WWN，MAX Size等。其中，MAX Size，表示起始端设备可以接收的报文大小；Priority，表示第三方设备的优先级标识，在PCIE链路上也有可能存在多个第三方设备，此时会有多个第三方设备返回第一请求响应消息，这时可以根据第一请求响应信息中的优先级作为参考，从而优选采用第一请求响应信息中优先级标识较高的第三方设备。
具体的，起始端设备需要在PCIE链路中，发送设备发现请求信息，其中，所述设备发现请求信息中携带有起始端设备和目标端设备之间通信需要的光纤通道协议参数；本实施例中，可以在PCIE链路上通过广播或组播的方式发送设备发现请求信息，并接收第三方设备返回的第一请求响应信息。
步骤1011，接收所述第三方设备返回的第一请求响应信息，其中，所述第一请求响应信息中携带有所述第三方设备的PCIE设备ID。需要说明的是，本实施例中第一请求响应信息可以是上述的Discovery Solicitation，表示设备发现请求；
当然，本发明实施例也可以通过其他方式获取第三方设备的PCIE设备ID，例如，在FCoPIP协议报文中，通过封装Subcode为02h的字段，表示Discovery Advertisement，此时，第三方设备主动向PCIE链路上的其他设备公布自己的PCIE设备ID。
步骤1012，获取到第三方设备的PCIE设备ID后，根据所述第三方设备的PCIE设备ID向第三方设备发送虚拟链路实例化请求信息，并接收PCIE链路上第三方设备返回的第二请求响应信息。
其中，虚拟链路实例化请求信息可以是Virtual Link Instantiation Request，
例如，可以是将携带有FLOGI消息的FCoPIP协议报文携带在PCIE协议报文的TLP包中；
第二请求响应信息可以是Virtual Link Instantiation Reply，表示该第二请求响应信息是虚拟链路实例化响应，例如，可以是将携带有FLOGI响应消息的FCoPIP协议报文携带在PCIE协议报文的TLP包中；
其中，本实施例中根据所述第三方设备的PCIE设备ID向第三方设备发送虚拟链路实例化请求信息，并接收PCIE链路上第三方设备返回的第二请求响应信息，具体可以包括：
起始端设备查询到起始端设备的PCIE设备ID后，
将所述起始端设备的PCIE设备ID携带在虚拟链路实例化请求信息中，在本实施例中，是将所述起始端设备的PCIE设备ID携带携带在FCoPIP协议报文中，向第三方设备发送虚拟链路实例化请求信息，并接收PCIE链路上第三方设备返回的第二请求响应信息；
本领域技术人员可以了解，本实施例中也可以是目标端设备查询到第三方设备的PCIE设备ID后，根据所述第三方设备的PCIE设备ID向第三方设备发送虚拟链路实例化请求信息，并接收PCIE链路上第三方设备返回的第二请求响应信息；
需要将所述目标端设备的PCIE设备ID封装在FCoPIP协议报文中，向第三方设备发送虚拟链路实例化请求信息，并接收PCIE链路上第三方设备返回的第二请求响应信息。
本实施例中，虚拟链路实例化请求信息是FCoPIP-TLP帧格式的协议报文，可以通过发送0002h来实现链路和设备的初始化，如表2所示：
Figure BDA0000051728110000071
其中Subcode为01h表示业务类型为Virtual Link Instantiation Request，则所述预置的协议报文中包括FC FLOGI消息和起始端设备的PCIE设备ID；02h表示业务类型为Virtual Link Instantiation Reply，表示虚拟链路实例请求信息的响应，即本发明实施例所述的第二请求响应信息，则所述预置的协议报文中包括FC FLOGI响应消息，例如，FC FLOGI响应消息具体可以是对于Fabric login等结构注册信息的响应信息。
步骤1013，第三方设备返回第二请求响应信息后，在第三方设备中记录所述起始端设备的光纤通道端口ID和目标端设备的光纤通道端口ID，以及起始端设备和目标端设备各自的光纤通道协议参数，所述光纤通道端口ID是在路由配置中确定的与设备唯一对应的地址标识。
如表3中所示本发明实施例提供的FCoPIP-TLP协议报文的格式示意图。
Figure BDA0000051728110000072
Figure BDA0000051728110000081
其中，Type域表示预置的协议报文的数据帧的类型，如FCoPIP TYPE表示该协议报文是FCoPIP-TLP帧格式的协议报文。Version表示版本，Reserved表示预留。Encapsulated FC Frame(n words)表示封装的具体的内容，Type＝FCoPIP_TYPE时，表示该预置的协议报文类型是FCoPIP协议报文。
如表3.1中所示本发明实施例提供的FCoPIP-TLP协议报文的Encapsulated FCoPIP operation所包括的具体的操作内容的示意图，其中的FCoPIP Protocol Code，例如，可以参考表2中所示，对应于0002h，表示链路和设备实例化；Contents of Operation可以是表2中的FC FLOGI消息和PCIE Device ID等。
Figure BDA0000051728110000082
步骤1014，起始端设备发送注册名称服务器请求信息于第三方设备以获取目标端设备的PCIE设备ID；
具体的，起始端设备可以发送封装有目标端设备的光纤通道协议参数和目标端设备的光纤通道端口ID的注册名称服务器请求信息，并接收目标端设备返回的第三请求响应信息。其中，所述注册名称服务器请求信息为FC-TLP协议报文，所述光纤通道端口ID是在路由配置中确定的与设备唯一对应的地址标识。
其中，第三请求响应信息中携带有所述目标端设备的PCIE设备ID。
步骤1015，起始端设备利用获得的目标端设备的PCIE设备ID向目标端设备发送端口注册请求信息，例如，可以是发送PLOGI信息，接收到目标端设备返回的第四请求响应信息后，起始端设备和目标端设备端完成了光纤通道虚拟链路的建立，并通过该光纤通道虚拟链路进行数据的通信。其中，第四请求响应信息是光纤通道虚拟链路的建立完成响应信息。其中，在协议报文传输过程中，所述端口注册请求信息具体为FC-TLP协议报文。
如表4所示，为一个完整的FC-TLP协议报文的格式：
Figure BDA0000051728110000091
其中，Type域表示封装的数据帧的类型，FCoP_TYPE表示该协议报文是FC-TLP帧格式的协议报文。Version表示版本，Reserved表示预留。Encapsulated FC Frame(n words)表示封装的具体的内容；
其中上述步骤中，接收到目标端设备返回的第四请求响应信息后，起始端设备和目标端设备确定当所述链路维护周期到达时，可以发送链路维护信息。链路维护信息中包括起始端设备和目标端设备各自的PCIE设备ID和光纤通道端口ID。
具体示例如下：其中，表5是起始端设备和目标段设备进行链路维护的相关信息：
本发明实施例中，起始端设备和目标端设备可以在PCIE链路上发送链路维护信息，以便于在PCIE链路上的其他设备，可以获知到该起始端设备和目标端设备的存活状态。
本实施例中，例如，可以发送FCoPIP Protocol Code为0003h，其中，如上表所示，Subcode为01h，表示业务类型为Keep Alive；业务内容中携带有FC N_Port ID以及PCIE Device ID；其中，Subcode为02h，表示业务类型为Clear Virtual Links，业务内容中携带有FC N_Port ID，PCIE Device ID，FCWWN；所述链路维护信息将所述已封装的FCoPIP携带在所述PCIE协议报文的处理层协议TLP包中。
其中，Keep Alive用于表示发出Keep Alive消息的起始端设备或目标端设备还处于存活状态；Clear virtual links用于第三方设备在PCIE链路上探测是否有起始端设备或目标端设备已不存在，例如设备出现故障，或设备功能关闭，设备下电拔掉等，如第三方设备确定起始端设备或目标端设备已不存在，则通知与其建立通信链路的另一方设备该链路已不存在，请求释放资源，收回分配给起始端设备和/或目标端设备的光纤通道端口ID。
图3为本发明一个实施例提供的在PCIE总线上传输报文的装置的结构示意图，该装置为上述方法的特定执行主体，因此方法实施例中的内容以引用的方式带入本装置实施例中，此处不做赘述。
如图3所示，该设备包括：
封装模块201，用于获取预置的协议报文；
收发模块202，用于将所述预置的协议报文携带在PCIE协议报文中，并通过PCIE总线将所述PCIE协议报文发送给目标端设备，以使所述目标端设备从所述PCIE协议报文中解析出所述预置的协议报文后根据所述预置的协议报文的指令执行相应操作；
解析模块203，用于从接收到的PCIE协议报文中解析出预置的协议报文；
执行模块204，用于根据预置的协议报文的指令执行相应操作。
所述封装模块201具体用于将预置的协议报文携带在PCIE协议报文的处理层协议TLP包中。
本发明实施例提供的在PCIE总线上传输报文的设备，通过将预置的协议报文携带在PCIE协议报文中，并通过PCIE总线将携带有预置的协议报文的PCIE协议报文传输给目标端设备，实现了在PCIE总线上传输预置的协议报文，使得通过PCIE总线建立彼此连接的任意设备之间均可以通过预置的协议报文进行相互的操作，且数据传输的带宽高、处理速度快，可用于全PCIE连接的多主机集群计算系统中，计算节点与存储节点基于FC协议实现互连。
如图4所示，为本发明一个实施例提供的在PCIE总线上传输报文的装置的结构示意图：
封装模块201，包括：第一封装单元2011，用于当发送设备发现请求信息至第三方设备时，获取预置的协议报文；
本发明实施例可以根据具体的业务类型可以将所述预置的协议报文封装在所述PCIE协议报文的处理层协议TLP包中，获得FC-TLP协议报文；
或将所述预置的协议报文封装在所述PCIE协议报文的处理层协议TLP包中，获得FCoPIP-TLP协议报文；
所述收发模块202，用于获取所述目标端设备的PCIE设备ID，将所述目标端设备的PCIE设备ID封装在预置的协议报文中，并将预置的协议报文携带在PCIE协议报文中，通过PCIE总线将所述PCIE协议报文发送给目标端设备，以使所述目标端设备从所述PCIE协议报文中解析出所述预置的协议报文后根据所述预置的协议报文的指令执行相应操作；
当发送设备发现请求信息时，所述收发模块202具体用于发送设备发现请求信息至第三方设备，接收所述第三方设备返回的第一请求响应信息，其中，所述第一请求响应中携带有所述第三方设备的PCIE设备ID。
其中，本实施例中的第三方设备可以是链路中的特定的网络管理设备。
本实施例中，所述收发模块202发送设备发现请求信息至第三方设备可以通过起始端设备向第三方设备发送，同时，也可以是，通过目标端设备向第三方设备发送设备发现请求信息。
当所述预置的协议报文为虚拟链路实例化请求时，第一封装单元2011，还用于当所述收发模块202向第三方设备发送虚拟链路实例化请求时，将所述起始端设备的PCIE设备ID封装在FCoPIP协议报文中，并将FCoPIP协议报文携带在PCIE协议报文中，获得FCoPIP-TLP协议报文。
收发模块202用于向第三方设备发送虚拟链路实例化请求，该请求信息可以是Virtual Link Instantiation Request；
所述收发模块202发送虚拟链路实例化请求至第三方设备可以通过起始端设备向第三方设备发送，同时，还需要，通过目标端设备向第三方设备发送；收发模块202接收PCIE链路上第三方设备返回的第二请求响应信息；
其中，第二请求响应信息可以是Virtual Link Instantiation Reply，表示虚拟链路实例化响应，所述第二请求响应信息中携带有所述起始端设备和目标端设备各自的光纤通道协议参数和所述第三方设备分配给起始端设备的光纤通道端口ID和目标端设备的光纤通道端口ID。
进一步的，如果所述预置的协议报文为注册名称服务器(PLOGI NS)请求时，该封装模块201还可以包括：
第二封装单元2012，用于当发送注册名称服务器请求信息至第三方设备时，对预置的协议报文进行处理，将第三方设备的光纤通道协议参数和光纤通道端口ID封装在FC协议报文中，并将FC协议报文携带在PCIE协议报文中以获得FC-TLP协议报文；
所述收发模块202还用于发送所述注册名称服务器请求到第三方设备，并接收第三方设备返回的第三请求响应信息。其中，所述注册名称服务器请求信息为FC-TLP协议报文，所述光纤通道端口ID是在路由配置中确定的与设备唯一对应的地址标识。其中，第三请求响应信息中携带有所述目标端设备的PCIE设备ID。
如果发送端口注册请求信息到目标端设备，则第二封装单元2012还用于对预置的协议报文进行处理，将目标端设备的PCIE设备ID封装在FC协议报文中，并将FC协议报文携带在PCIE协议报文中以获得FC-TLP协议报文；
所述收发模块202用于发送所述端口注册请求信息到所述目标端设备，接收从目标端设备返回的第四请求响应信息，从而建立从起始端设备到目标端设备的光纤通道虚拟链路。
所述设备还包括：
配置模块401，用于响应接收到的预置的协议报文，为所述起始端设备和目标端设备分别配置各自的光纤通道端口ID，将所述光纤通道端口ID携带于第一请求响应信息中返回至起始端设备和目标端设备；
记录模块402，用于记录所分配的光纤通道端口ID和PCIE设备ID，以及光纤通道协议参数等相关信息，其中，记录的光纤通道协议参数包括起始端设备的光纤通道端口ID和目标端设备的光纤通道端口ID，以及起始端设备和目标端设备各自的光纤通道协议参数。其中，所述光纤通道端口ID是在路由配置中确定的与设备唯一对应的地址标识。
本发明实施例提供的在PCIE总线上传输报文的设备，通过PCIE总线使得使用FC协议的存储系统进行互连，使得通过PCIE总线建立彼此连接的任意设备之间均可以通过预置的协议报文进行相互的操作，可以利用FC协议已有的功能优势和管理工具，且数据传输的带宽高、处理速度快，可用于全PCIE连接的多主机集群计算系统中，计算节点与存储节点基于FC协议实现互连。
图6为本发明一个实施例提供的在PCIE总线上传输报文的系统结构示意图，如图6所示，
该系统包括：
起始端设备20、目标端设备30、以及第三方设备40，其中，起始端设备20、目标端设备30、以及第三方设备40通过PCIE总线连接并进行数据交互。
这里需要说明的是，起始端设备20和目标端设备30在现有技术中可以是计算机及其相关外部设备，如计算机、服务器、存储阵列等设备，但并不限制在计算机及其相关外部设备上，其他通过PCIE总线连接的特定设备都可以成为起始端设备20或者目标端设备30。
本发明实施例可用于全PCI-E连接的多主机集群计算系统中，计算节点与存储节点基于FC协议实现存储网络的虚拟化。
本发明实施例提供了一种在PCIE总线上传输报文的系统，通过将预置的协议报文携带在PCIE协议报文中，并通过PCIE总线将封装有预置的协议报文的PCIE协议报文传输给目标端设备，实现了在PCIE总线上传输预置的协议报文，使得通过PCIE总线建立彼此连接的任意设备之间均可以通过预置的协议报文进行相互的操作，且数据传输的带宽高、处理速度快，提高了报文的传输速度，降低了设备的成本；同时，通过在PCIE总线上传递预置的协议报文，使得通过PCIE总线连接的两个对端设备之间可以通过预置的协议报文进行相互的操作，而不需要定义各种私有的协议进行相互的操作，通用性好。
另外，采用本方案的存储设备，由于PCIE总线沿用了PCI总线的原理，但抛弃了并行共享总线，采用了目前业内流行的点对点串行连接，每个设备都有自己的专用连接，不需要向整个总线请求带宽，而且可以把数据传输率提高到一个很高的频率，达到PCI所不能提供的高带宽，即所有设备均可通过PCIE进行连接，简化了主板设计上的不必要的麻烦。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种在快速局部PCIE总线传输报文的方法，其特征在于，包括：
获取预置的协议报文；
在PCIE链路中，获取到所述目标端设备的PCIE设备ID后，将所述预置的协议报文携带在PCIE协议报文中，并通过PCIE总线将所述PCIE协议报文发送给目标端设备，以使所述目标端设备从所述PCIE协议报文中解析出所述预置的协议报文后根据所述预置的协议报文的指令执行相应操作，其中，所述起始端设备、目标端设备、第三方设备之间通过PCIE总线互连。
2.根据权利要求1所述的方法，其特征在于，所述将预置的协议报文携带在PCIE协议报文中包括：
将预置的协议报文携带在PCIE协议报文的处理层协议TLP包中，获得FC-TLP协议报文，其中，所述预置的协议报文为FC协议报文；
或者，将预置的协议报文携带在PCIE协议报文的处理层协议TLP包中，获得FCoPIP-TLP协议报文，其中，所述预置的协议报文为FCoPIP协议报文。
3.如权利要求2所述的方法，其特征在于，获取到所述目标端设备的PCIE设备ID之前，所述将预置的协议报文携带在PCIE协议报文中包括：
在PCIE链路中，发送设备发现请求信息，获取第三方设备的PCIE设备ID，其中，设备发现请求信息中包括起始端设备的光纤通道协议参数和目标端设备的光纤通道协议参数，其中，所述设备发现请求信息为FCoPIP-TLP协议报文。
4.如权利要求3所述的方法，其特征在于，
发送设备发现请求信息，获取第三方设备的PCIE设备ID，包括：
通过广播或组播的方式发送设备发现请求信息于第三方设备，并接收第三方设备返回的第一请求响应信息，第一请求响应信息中包括第三方设备PCIE设备ID，或，第三方设备主动在PCIE链路上公布第三方设备的PCIE设备ID。
5.如权利要求1-2中任一项所述的方法，其特征在于，所述将预置的协议报文携带在PCIE协议报文中，包括：
在PCIE链路中，起始端设备获取第三方设备的PCIE设备ID后，将所述起始端设备的PCIE设备ID封装在预置的协议报文中，根据第三方设备的PCIE设备ID向第三方设备发送虚拟链路实例化请求信息，并接收PCIE链路上第三方设备返回的第二请求响应信息；
其中，第二请求响应信息中携带有所述起始端设备和目标端设备各自的光纤通道协议参数和第三方设备分配给起始端设备的光纤通道端口ID和目标端设备的光纤通道端口ID；
其中，虚拟链路实例化请求信息和第二请求响应信息是FCoPIP-TLP协议报文；
第三方设备返回第二请求响应信息后，在第三方设备中记录起始端设备的光纤通道端口ID、目标端设备的光纤通道端口ID、起始端设备和目标端设备各自的光纤通道协议参数。
6.如权利要求1-2中任一项所述的方法，其特征在于，所述将预置的协议报文携带在PCIE协议报文中，还包括：
在PCIE链路中，目标端设备获取第三方设备的PCIE设备ID后，将所述目标端设备的PCIE设备ID携带在预置的协议报文中，根据第三方设备的PCIE设备ID向第三方设备发送虚拟链路实例化请求信息，并接收PCIE链路上第三方设备返回的第二请求响应信息；
其中，第二请求响应信息中携带有所述起始端设备和目标端设备各自的光纤通道协议参数和第三方设备分配给起始端设备的光纤通道端口ID和目标端设备的光纤通道端口ID；
其中，虚拟链路实例化请求信息和第二请求响应信息是FCoPIP-TLP协议报文；
第三方设备返回第二请求响应信息后，在第三方设备中记录起始端设备的光纤通道端口ID、目标端设备的光纤通道端口ID以及起始端设备和目标端设备各自的光纤通道协议参数。
7.如权利要求1-2中任一项所述的方法，其特征在于，所述将预置的协议报文携带在PCIE协议报文中，还包括：
起始端设备发送注册名称服务器请求信息于第三方设备以获取目标端设备的PCIE设备ID，接收目标端设备返回的第三请求响应信息，其中，注册名称服务器请求信息是FC-TLP协议报文，注册名称服务器请求信息中携带有目标端设备的光纤通道端口ID及目标端设备的光纤通道协议参数，第三请求响应信息中携带有目标端设备的PCIE设备ID。
8.如权利要求1-2中任一项所述的方法，其特征在于，
通过PCIE总线将所述PCIE协议报文发送给目标端设备，以使目标端设备从PCIE协议报文中解析出预置的协议报文后根据预置的协议报文的指令执行相应操作，包括：
起始端设备根据所获取到的目标端设备的PCIE设备ID，发送端口注册请求信息于目标端设备，并接收目标端设备返回的第四请求响应信息，其中，端口注册请求信息是FC-TLP协议报文，所述端口注册请求信息中携带有目标端设备的PCIE设备ID。
9.一种在快速局部PCIE总线上传输报文的装置，其特征在于，包括：
封装模块，用于对光纤通道预置的协议报文进行封装，得到预置的协议报文；
收发模块，用于将预置的协议报文携带在PCIE协议报文中，并通过PCIE总线将所述PCIE协议报文发送给目标端设备，以使目标端设备从PCIE协议报文中解析出预置的协议报文后根据预置的协议报文的指令执行相应操作；
解析模块，用于从PCIE协议报文中解析出预置的协议报文；
执行模块，用于根据预置的协议报文的指令执行相应操作。
10.如权利要求9所述的装置，其特征在于，所述封装模块具体用于：
将预置的协议报文携带在PCIE协议报文的处理层协议TLP包中，获得FC-TLP协议报文；或将预置的协议报文携带在PCIE协议报文的处理层协议TLP包中，获得FCoPIP-TLP协议报文。
11.如权利要求9-10中任一项所述的装置，其特征在于，其特征在于，所述封装模块包括：
第一封装单元，用于当发送设备发现请求信息至第三方设备时，对预置的协议报文进行处理，将起始端设备的光纤通道协议参数和目标端设备的光纤通道协议参数封装在FCoPIP协议报文中；
第一封装单元还用于向第三方设备发送虚拟链路实例化请求信息时，对预置的协议报文进行处理，将起始端设备的PCIE设备ID封装在FCoPIP协议报文中，并将FCoPIP协议报文携带在PCIE协议报文中；或者，将目标端设备的PCIE设备ID封装在FCoPIP协议报文中，并将FCoPIP协议报文携带在PCIE协议报文中以获得FCoPIP-TLP协议报文；
第二封装单元，用于当发送注册名称服务器请求信息至第三方设备时，对预置的协议报文进行处理，将第三方设备的光纤通道协议参数和光纤通道端口ID封装在FC协议报文中，并将FC协议报文携带在PCIE协议报文中以获得FC-TLP协议报文；
第二封装单元还用于当发送端口注册请求信息到目标端设备时，对预置的协议报文进行处理，将目标端设备的PCIE设备ID封装在FC协议报文中，并将FC协议报文携带在PCIE协议报文中以获得FC-TLP协议报文；
收发模块，用于发送设备发现请求信息至第三方设备，接收所述第三方设备返回的第一请求响应信息，其中，第一请求响应信息中携带有所述第三方设备的PCIE设备ID；和/或，
收发模块用于向第三方设备发送虚拟链路实例化请求信息，接收PCIE链路上第三方设备返回的第二请求响应信息，所述第二请求响应信息中携带有起始端设备和目标端设备各自的光纤通道协议参数和所述第三方设备分配给起始端设备的光纤通道端口ID和分配给目标端设备的光纤通道端口ID；
和/或，收发模块用于发送注册名称服务器请求到第三方设备，并接收第三方设备返回的第三请求响应信息，其中，注册名称服务器请求信息为FC-TLP协议报文，光纤通道端口ID是在路由配置中确定的与设备唯一对应的地址标识，其中，第三请求响应信息中携带有所述目标端设备的PCIE设备ID；
收发模块用于发送端口注册请求到所述目标端设备，并接收从目标端设备返回的第四请求响应信息。
12.根据权利要求8-11中任一项所述的装置，其特征在于，所述装置还包括：
配置模块，用于响应接收到的设备发现请求信息，为起始端设备和目标端设备分别配置各自的光纤通道端口ID，并将光纤通道端口ID携带于第一请求响应信息中返回至起始端设备和目标端设备；
记录模块，用于记录所分配的光纤通道端口ID和PCIE设备ID，以及光纤通道协议参数等相关信息，其中，记录的光纤通道协议参数包括起始端设备的光纤通道端口ID和目标端设备的光纤通道端口ID，以及起始端设备和目标端设备各自的光纤通道协议参数。
CN201110070778.6A 2011-03-23 2011-03-23 在pcie总线上传输报文的方法、设备和系统 Active CN102694717B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201110070778.6A CN102694717B (zh) 2011-03-23 2011-03-23 在pcie总线上传输报文的方法、设备和系统
PCT/CN2012/072608 WO2012126352A1 (zh) 2011-03-23 2012-03-20 在pcie总线上传输报文的方法、设备和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110070778.6A CN102694717B (zh) 2011-03-23 2011-03-23 在pcie总线上传输报文的方法、设备和系统

Publications (2)

Publication Number Publication Date
CN102694717A true CN102694717A (zh) 2012-09-26
CN102694717B CN102694717B (zh) 2017-04-12

Family

ID=46860006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110070778.6A Active CN102694717B (zh) 2011-03-23 2011-03-23 在pcie总线上传输报文的方法、设备和系统

Country Status (2)

Country Link
CN (1) CN102694717B (zh)
WO (1) WO2012126352A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103931144A (zh) * 2013-07-08 2014-07-16 华为技术有限公司 一种在虚拟域中通信的方法、设备和系统
CN108881450A (zh) * 2018-06-27 2018-11-23 郑州云海信息技术有限公司 一种在存储集群中进行设备发现的方法及装置
CN115865944A (zh) * 2023-02-23 2023-03-28 苏州浪潮智能科技有限公司 设备间点对点通信方法、系统、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227296A (zh) * 2007-12-27 2008-07-23 杭州华三通信技术有限公司 一种pcie数据传输的方法、系统及板卡
US20090006932A1 (en) * 2007-06-29 2009-01-01 International Business Machines Corporation Device, System and Method of Modification of PCI Express Packet Digest
CN101645058A (zh) * 2009-09-04 2010-02-10 成都市华为赛门铁克科技有限公司 命令处理方法、命令发送方法、装置及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7743197B2 (en) * 2006-05-11 2010-06-22 Emulex Design & Manufacturing Corporation System and method for virtualizing PCIe devices
US7617340B2 (en) * 2007-01-09 2009-11-10 International Business Machines Corporation I/O adapter LPAR isolation with assigned memory space
CN101588365B (zh) * 2009-06-18 2012-05-23 杭州华三通信技术有限公司 链路协商的控制方法和光纤通道承载以太协议整合系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090006932A1 (en) * 2007-06-29 2009-01-01 International Business Machines Corporation Device, System and Method of Modification of PCI Express Packet Digest
CN101227296A (zh) * 2007-12-27 2008-07-23 杭州华三通信技术有限公司 一种pcie数据传输的方法、系统及板卡
CN101645058A (zh) * 2009-09-04 2010-02-10 成都市华为赛门铁克科技有限公司 命令处理方法、命令发送方法、装置及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103931144A (zh) * 2013-07-08 2014-07-16 华为技术有限公司 一种在虚拟域中通信的方法、设备和系统
WO2015003295A1 (zh) * 2013-07-08 2015-01-15 华为技术有限公司 一种在虚拟域中通信的方法、设备和系统
CN103931144B (zh) * 2013-07-08 2015-11-25 华为技术有限公司 一种在虚拟域中通信的方法、设备和系统
CN108881450A (zh) * 2018-06-27 2018-11-23 郑州云海信息技术有限公司 一种在存储集群中进行设备发现的方法及装置
CN115865944A (zh) * 2023-02-23 2023-03-28 苏州浪潮智能科技有限公司 设备间点对点通信方法、系统、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2012126352A1 (zh) 2012-09-27
CN102694717B (zh) 2017-04-12

Similar Documents

Publication Publication Date Title
US10241951B1 (en) Device full memory access through standard PCI express bus
US10394723B2 (en) Data accessing method and PCIe storage device
EP3125126B1 (en) Data processing system and data processing method
US20190379586A1 (en) Method for Unified Communication of Server, Baseboard Management Controller, and Server
US7991839B2 (en) Communication between host systems using a socket connection and shared memories
US7860930B2 (en) Communication between host systems using a transaction protocol and shared memories
US7529860B2 (en) System and method for configuring an endpoint based on specified valid combinations of functions
CN109445905B (zh) 虚拟机数据通信方法和系统以及虚拟机配置方法和装置
US7836129B2 (en) Communication between host systems using a queuing system and shared memories
CN103929415A (zh) Rdma下数据读写的方法、装置和网络系统
CN102388357B (zh) 访问存储设备的方法及系统
CN103888293A (zh) 多通道fc网络数据仿真系统的数据通道调度方法
CN102301356A (zh) 通用串行总线主机到主机通信
CN105786752B (zh) 一种计算设备与fpga间的usb通信方法和通信系统
CN103828332A (zh) 数据处理方法、装置、存储控制器和机柜
CN101452430B (zh) 多处理器之间的通信方法与包括多处理器的通信装置
CN103257941A (zh) 多协议存储控制器和系统
CN102843435A (zh) 一种在集群系统中存储介质的访问、响应方法和系统
CN102694717A (zh) 在pcie总线上传输报文的方法、设备和系统
CN105786732A (zh) 数据访问方法及装置
US10176133B2 (en) Smart device with no AP
CN103577469A (zh) 数据库连接复用方法和装置
WO2023186143A1 (zh) 一种数据处理方法、主机及相关设备
CN114445260B (zh) 基于fpga的分布式gpu通信的方法及装置
CN207833500U (zh) 一种支持非标准接口的40g速率网卡

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: High tech Park No. 88 University of Electronic Science and technology of Sichuan province in 611721 Chengdu city high tech Zone West Park area Qingshui River Tianchen Road No. 5 building D

Applicant after: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd.

Address before: High tech Park No. 88 University of Electronic Science and technology of Sichuan province in 611721 Chengdu city high tech Zone West Park area Qingshui River Tianchen Road No. 5 building D

Applicant before: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES Co.,Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES CO., LTD. TO: HUAWEI DIGITAL TECHNOLOGY (CHENGDU) CO., LTD.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220928

Address after: No. 1899 Xiyuan Avenue, high tech Zone (West District), Chengdu, Sichuan 610041

Patentee after: Chengdu Huawei Technologies Co.,Ltd.

Address before: 611721 Area D, Building 5, High-tech Park, University of Electronic Science and Technology of China, No. 88 Tianchen Road, Qingshuihe Area, Western Park, High-tech Zone, Chengdu, Sichuan Province

Patentee before: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd.