CN102314361A - 一种在龙芯刀片服务器上实现Infiniband网络的方法 - Google Patents

一种在龙芯刀片服务器上实现Infiniband网络的方法 Download PDF

Info

Publication number
CN102314361A
CN102314361A CN201110188823A CN201110188823A CN102314361A CN 102314361 A CN102314361 A CN 102314361A CN 201110188823 A CN201110188823 A CN 201110188823A CN 201110188823 A CN201110188823 A CN 201110188823A CN 102314361 A CN102314361 A CN 102314361A
Authority
CN
China
Prior art keywords
infiniband
blade server
equipment
network
kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201110188823A
Other languages
English (en)
Inventor
尹宁宁
郑臣明
邵宗有
刘新春
杨晓君
李永成
李丰旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Co Ltd
Original Assignee
Dawning Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Co Ltd filed Critical Dawning Information Industry Co Ltd
Priority to CN201110188823A priority Critical patent/CN102314361A/zh
Publication of CN102314361A publication Critical patent/CN102314361A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Small-Scale Networks (AREA)

Abstract

本发明提供了一种实现Infiniband网络的方法，具体提供了一种在龙芯刀片服务器上实现Infiniband网络的方法。步骤包括A、在北桥芯片的PCIE通道上扩展Infiniband设备接口；B、服务器启动自检阶段，BIOS对Infiniband设备识别并初始化；C、内核启动阶段判断Infiniband设备接口地址，分配中断号并定义中断方式；D、内核加载Infiniband驱动，实现内核阶段Infiniband设备的初始化；E、操作系统加载Infiniband设备工具包，并开启opensmd服务。本发明很好的实现了龙芯刀片服务器Infiniband网络。

Description

一种在龙芯刀片服务器上实现Infiniband网络的方法
技术领域
本发明提供了一种实现Infiniband网络的方法，具体提供了一种在龙芯刀片服务器上实现Infiniband网络的方法。
背景技术
Infiniband技术通过一种交换式通信组织(Switched CommunicationsFabric)提供了较局部总线技术更高的性能，它通过硬件提供了可靠的传输层级的点到点连接，并在线路上支持消息传递和内存映像技术。不同于PCI，Infiniband允许多个I/O外设无延迟、无拥塞地同时向处理器发出数据请求。目前，Infiniband主要应用于集群计算(Cluster)、存储区域网(SAN)、网格、内部处理器通信(IPC)等高端领域对高带宽、高扩展性、高QoS以及高RAS(Reliability、Availability and Serviceability)等领域。
目前市场上的Infiniband产品包括很多种，如HCA子卡、Infiniband交换模块等。但是他们都主要应用于x86平台的服务器。另一方面，龙芯刀片服务器如果仅仅依赖于千兆以太网络进行交换的话，是无法满足高性能计算的要求，使用Infiniband交换模块是必然选择。
发明内容
一种在龙芯刀片服务器上实现Infiniband网络的方法，包含以下步骤：
A、在北桥芯片的PCIE通道上扩展Infiniband设备接口；
B、服务器启动自检阶段，BIOS对Infiniband设备识别并初始化；
C、内核启动阶段判断Infiniband设备接口地址，分配中断号并定义中断方式；
D、内核加载Infiniband驱动，实现内核阶段Infiniband设备的初始化；
E、操作系统加载Infiniband设备工具包，并开启opensmd服务。
本发明的一种优选方案在于：所述步骤A中的Infiniband设备接口可以从PCIE×2，PCIE×4，PCIE×8通道扩展。
本发明的再一优选方案在于：所述步骤C中的中断方式是指8259A中断方式。
本发明的还一优选方案在于：所述步骤E中的Infiniband设备工具包是指源代码在龙芯平台上重新编译安装的工具包。
附图说明
图1龙芯服务器上Infiniband网络连接框图。
具体实施方式
在本发明上述技术方案的设计思想下，本发明可以有多种，下面通过具体实施例予以说明。
实施例一
本实施例是包括龙芯刀片服务器和Infiniband HCA卡通过龙芯主板上板载的PCIE插槽连接，如图1所示。龙芯刀片服务器的北桥AMD780E芯片包含两个x8GFX信号，两个x4GPP信号，一个x2GPP信号。板载的PCIE插槽是由北桥的GPP x2信号引出来。
在BIOS阶段，主要是对GPP的初始化工作，即北桥PCIE部分的初始化，从而保证该PCIE插槽上的设备都可以正常识别。
在内核阶段，需要做两部分工作。首先，在需要在内核中为板载PCIE插槽上的设备即Infiniband HCA卡分配中断号。由于龙芯刀片采用的是8259A中断方式而非ACPI中断，因此需要在内核中断分配部分定义清楚板载PCIE插槽的中断触发模式和中断号；其次，在内核中添加Infiniband驱动模块，实现内核阶段的Infiniband设备初始化。
进入操作系统后，要使Infiniband正常工作仍需要一些工具包支持。由于龙芯平台和x86平台具有差异性，因此应用在x86平台的Infiniband相关的安装程序无法在龙芯平台上直接使用。只有将安装包的源代码在龙芯平台上重新编译、安装。工具包安装成功，开启opensmd服务后，Infiniband HCA卡便可以正常工作了。
实施例二
本实施例二采用的是Infiniband交换模块插在龙芯刀片服务器的IOE插槽上。如图1所示。其中IOE插槽是由北桥的GFX x8信号引出来的。
在BIOS阶段，本实施例二和实施例一类似，需要对北桥PCIE部分的初始化，从而保证该PCIE插槽上的设备都可以正常识别。由于IOE是由GFX模块引出来的，其初始化过程区别于GPP。
在内核同样需要做两部分工作，即分配Infiniband中断与加载Infiniband设备驱动。加载Infiniband设备驱动的方法与实施例一类似。但是在分配中断号的部分与实施例一存在差异。GFX包括两个x8PCIE信号，也就是可以分为两个设备：dev2和dev3，所以在分配中断号之前，需要指定此插槽的中断是分配给dev2还是dev3的。由于IOE插槽连接的是dev3，所以实施例中首先指定此插槽的中断号是分配给dev3的，接着再分配中断号和定义中断触发模式。
进入操作系统后，本实施例和实施例一类似，即将Infiniband安装包的源代码在龙芯平台上重新编译、安装。工具包安装成功，开启opensmd服务后，Infiniband交换模块便可以正常工作了。

Claims (4)

1.一种在龙芯刀片服务器上实现Infiniband网络的方法，其特征在于：包含以下步骤：
A、在北桥芯片的PCIE通道上扩展Infiniband设备接口；
B、服务器启动自检阶段，BIOS对Infiniband设备识别并初始化；
C、内核启动阶段判断Infiniband设备接口地址，分配中断号并定义中断方式；
D、内核加载Infiniband驱动，实现内核阶段Infiniband设备的初始化；
E、操作系统加载Infiniband设备工具包，并开启opensmd服务。
2.如权利要求1所述的一种在龙芯刀片服务器上实现Infiniband网络的方法，其特征在于：所述步骤A中的Infiniband设备接口可以从PCIE×2，PCIE×4，PCIE×8通道扩展。
3.如权利要求1所述的一种在龙芯刀片服务器上实现Infiniband网络的方法，其特征在于：所述步骤C中的中断方式是指8259A中断方式。
4.如权利要求1所述的一种在龙芯刀片服务器上实现Infiband网络的实现方法，其特征在于：所述步骤E中的Infiniband设备工具包是指源代码在龙芯平台上重新编译安装的工具包。
CN201110188823A 2011-07-07 2011-07-07 一种在龙芯刀片服务器上实现Infiniband网络的方法 Pending CN102314361A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110188823A CN102314361A (zh) 2011-07-07 2011-07-07 一种在龙芯刀片服务器上实现Infiniband网络的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110188823A CN102314361A (zh) 2011-07-07 2011-07-07 一种在龙芯刀片服务器上实现Infiniband网络的方法

Publications (1)

Publication Number Publication Date
CN102314361A true CN102314361A (zh) 2012-01-11

Family

ID=45427555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110188823A Pending CN102314361A (zh) 2011-07-07 2011-07-07 一种在龙芯刀片服务器上实现Infiniband网络的方法

Country Status (1)

Country Link
CN (1) CN102314361A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301037A (zh) * 2016-04-15 2017-10-27 龙芯中科技术有限公司 操作系统内核的加载方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101165667A (zh) * 2006-10-17 2008-04-23 国际商业机器公司 用于在数据处理系统中管理地址转换的方法和装置
US20100064099A1 (en) * 2008-09-08 2010-03-11 Satyanarayana Nishtala Input-output module, processing platform and method for extending a memory interface for input-output operations
CN102023878A (zh) * 2010-11-04 2011-04-20 天津曙光计算机产业有限公司 一种在龙芯刀片服务器上实现Infiniband网络的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101165667A (zh) * 2006-10-17 2008-04-23 国际商业机器公司 用于在数据处理系统中管理地址转换的方法和装置
US20100064099A1 (en) * 2008-09-08 2010-03-11 Satyanarayana Nishtala Input-output module, processing platform and method for extending a memory interface for input-output operations
CN102023878A (zh) * 2010-11-04 2011-04-20 天津曙光计算机产业有限公司 一种在龙芯刀片服务器上实现Infiniband网络的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301037A (zh) * 2016-04-15 2017-10-27 龙芯中科技术有限公司 操作系统内核的加载方法和装置
CN107301037B (zh) * 2016-04-15 2021-03-30 龙芯中科技术股份有限公司 操作系统内核的加载方法和装置

Similar Documents

Publication Publication Date Title
CN102023878A (zh) 一种在龙芯刀片服务器上实现Infiniband网络的方法
US20230176987A1 (en) Many-to-many pcie switch
CN107423169B (zh) 用于测试高速外围设备互连设备的方法和系统
CN112534418B (zh) 通过固定pcie物理传输网络的逻辑传输
WO2016037503A1 (zh) PCIe拓扑的配置方法和装置
EP3582108A1 (en) Ultraconverged systems having multiple availability zones
US20050102454A1 (en) Dynamic reconfiguration of PCI express links
US20170269943A1 (en) USING PERIPHERAL COMPONENT INTERCONNECT EXPRESS VENDOR-DEFINED MESSAGE (PCIe-VDM) AND INTER-INTEGRATED CIRCUIT (I2C) TRANSPORT FOR NETWORK COMMUNICATIONS
US20070214301A1 (en) PCI-E Automatic allocation system
US10372639B2 (en) System and method to avoid SMBus address conflicts via a baseboard management controller
CN101765838B (zh) 用于改善可路由架构的性能的系统和方法
US9524262B2 (en) Connecting expansion slots
US20080228981A1 (en) Design structure for dynamically allocating lanes to a plurality of pci express connectors
US10853213B2 (en) Validation of installation of removeable computer hardware components
US11989548B2 (en) Pushing a firmware update patch to a computing device via an out-of-band path
US7512731B2 (en) Computer system and memory bridge for processor socket thereof
CN101387993A (zh) 对计算机系统中的设备进行动态资源配置的方法及系统
CN112650700A (zh) 一种基于PCIe SWITCH的系统装置及配置方法
CN102314361A (zh) 一种在龙芯刀片服务器上实现Infiniband网络的方法
US20160110136A1 (en) ISOLATED SHARED MEMORY ARCHITECTURE (iSMA)
US10534734B1 (en) Processor/endpoint communication coupling configuration system
US20070153009A1 (en) Display chip sharing method
US12056497B2 (en) Multi-socket computing system employing a parallelized boot architecture with partially concurrent processor boot-up operations, and related methods
WO2013105978A1 (en) Allocation of flow control credits for high performance devices
CN102004716A (zh) 实现设备共享的系统及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120111