CN116401065A - 一种服务器、异构设备及其数据处理装置 - Google Patents

一种服务器、异构设备及其数据处理装置 Download PDF

Info

Publication number
CN116401065A
CN116401065A CN202310403342.7A CN202310403342A CN116401065A CN 116401065 A CN116401065 A CN 116401065A CN 202310403342 A CN202310403342 A CN 202310403342A CN 116401065 A CN116401065 A CN 116401065A
Authority
CN
China
Prior art keywords
expansion card
card
main board
slot
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310403342.7A
Other languages
English (en)
Inventor
张静东
阚宏伟
王江为
郝锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Inspur Smart Computing Technology Co Ltd
Original Assignee
Guangdong Inspur Smart Computing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Inspur Smart Computing Technology Co Ltd filed Critical Guangdong Inspur Smart Computing Technology Co Ltd
Priority to CN202310403342.7A priority Critical patent/CN116401065A/zh
Publication of CN116401065A publication Critical patent/CN116401065A/zh
Priority to PCT/CN2024/080587 priority patent/WO2024212744A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • G06F13/4063Device-to-bus coupling
    • G06F13/4068Electrical coupling
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/42Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4221Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multi Processors (AREA)
  • Power Sources (AREA)

Abstract

本申请公开了一种服务器、异构设备及其数据处理装置,应用于数据处理技术领域,包括:用于向各个扩展卡插槽供电的第一主板,用于进行数据处理的第一扩展卡和第二扩展卡;第一主板中设置有至少1组插槽对,每组插槽对中包括2个扩展卡插槽,且每组插槽对中的2个扩展卡插槽的收发差分线通过第一主板的电路进行连接;第一扩展卡与第一主板的第一扩展卡插槽连接,第二扩展卡与第一主板的第二扩展卡插槽连接,以通过第一主板的电路完成第一扩展卡与第二扩展卡之间的通信。应用本申请的方案,可以有效地利用扩展卡实现数据处理,且实现了与CPU的解耦,不需要占用CPU的资源。

Description

一种服务器、异构设备及其数据处理装置
技术领域
本发明涉及数据处理技术领域,特别是涉及一种服务器、异构设备及其数据处理装置。
背景技术
目前,随着云计算的不断发展,数据中心系统的CPU(CentralProcessing Unit,中央处理器)、GPU(GraphicsProcessingUnit,图形处理器)、FPGA(FieldProgrammableGateArray,现场可编程门阵列)等硬件资源越来越多,提高数据在数据中心的传输效率、数据处理任务的合理卸载,显得尤为重要。FPGA是一种具有高可编程性能的多元异构芯片,内部具有丰富的硬件资源,可以使用这些资源实现各种数据处理引擎、复杂总线协议和网络协议等。GPU则是一种专用的图形处理芯片,目前已经广泛应用于人工智能计算等领域,是一种重要的计算芯片。FPGA卡和GPU卡均属于PCIe(PeripheralComponentInterconnect express,高速串行计算机扩展总线标准)卡,也可以称为扩展卡。目前,可以在主机的PCIe插槽中插入FPGA卡、GPU卡等PCIe卡实现数据处理,PCIe卡之间的通信,需要主机的CPU、内存等部件的参与,CPU开销较大,通信延迟也较高。
综上所述,如何有效地利用扩展卡实现数据处理,降低与CPU的耦合度,降低对CPU的资源占用,是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种服务器、异构设备及其数据处理装置,以有效地利用扩展卡实现数据处理,降低与CPU的耦合度,降低对CPU的资源占用。
为解决上述技术问题,本发明提供如下技术方案:
一种数据处理装置,包括:用于向各个扩展卡插槽供电的第一主板,用于进行数据处理的第一扩展卡和第二扩展卡;
所述第一主板中设置有至少1组插槽对,每组插槽对中包括2个扩展卡插槽,且每组插槽对中的2个扩展卡插槽的收发差分线通过所述第一主板的电路进行连接;
所述第一扩展卡与所述第一主板的第一扩展卡插槽连接,所述第二扩展卡与所述第一主板的第二扩展卡插槽连接,以通过所述第一主板的电路完成所述第一扩展卡与所述第二扩展卡之间的通信;
其中,所述第一主板的第一扩展卡插槽和第二扩展卡插槽为所述第一主板中的1组插槽对。
优选的,还包括:用于进行数据处理的第三扩展卡,并且所述第三扩展卡和所述第二扩展卡均至少具有2个扩展卡接口;
所述第三扩展卡的第一扩展卡接口与所述第一主板的第三扩展卡插槽连接,所述第二扩展卡的第一扩展卡接口与所述第一主板的第二扩展卡插槽连接,所述第三扩展卡的第二扩展卡接口通过外接线缆与所述第二扩展卡的第二扩展卡接口通信连接。
优选的,还包括:用于进行数据处理的第四扩展卡,所述第四扩展卡与所述第一主板的第四扩展卡插槽连接;
其中,所述第一主板的第三扩展卡插槽和第四扩展卡插槽为所述第一主板中的1组插槽对。
优选的,所述第一扩展卡,所述第二扩展卡,所述第三扩展卡以及所述第四扩展卡均为现场可编程门阵列卡。
优选的,还包括:与所述第一主板连接,用于进行数据处理的K张现场可编程门阵列卡,并且通过所述第一主板的电路和外接线缆,K张现场可编程门阵列卡依次通信连接,K为正整数。
优选的,K张所述现场可编程门阵列卡中的一张现场可编程门阵列卡通过外接线缆与所述第四扩展卡通信连接,K张所述现场可编程门阵列卡中的一张现场可编程门阵列卡通过外接线缆与所述第一扩展卡通信连接,以构成所述第一主板中的各张现场可编程门阵列卡的环形通信。
优选的,所述第一扩展卡,所述第二扩展卡,所述第三扩展卡以及所述第四扩展卡均通过自身的光模块接口与交换机连接,以与远程管理平台进行通信。
优选的,所述第一扩展卡和所述第四扩展卡均为图形处理器卡;所述第二扩展卡和所述第三扩展卡均为现场可编程门阵列卡。
优选的,所述第二扩展卡在数据处理过程中,通过自身的直接数据存取模块进行自身的不同接口之间的数据传输;
所述第三扩展卡在数据处理过程中,通过自身的直接数据存取模块进行自身的不同接口之间的数据传输。
优选的,还包括:用于进行数据处理的第五扩展卡和第六扩展卡;
所述第五扩展卡与所述第一主板的第五扩展卡插槽连接,所述第六扩展卡与所述第一主板的第六扩展卡插槽连接,以通过所述第一主板的电路完成所述第五扩展卡与所述第六扩展卡之间的通信;
其中,所述第五扩展卡具体为图形处理器卡,所述第六扩展卡具体为现场可编程门阵列卡;所述第一主板的第五扩展卡插槽和第六扩展卡插槽为所述第一主板中的1组插槽对。
优选的,还包括:用于进行数据处理的第七扩展卡和第八扩展卡;
所述第七扩展卡与所述第一主板的第七扩展卡插槽连接,所述第八扩展卡与所述第一主板的第八扩展卡插槽连接,以通过所述第一主板的电路完成所述第七扩展卡与所述第八扩展卡之间的通信;
其中,所述第七扩展卡具体为图形处理器卡,所述第八扩展卡具体为现场可编程门阵列卡;所述第一主板的第七扩展卡插槽和第八扩展卡插槽为所述第一主板中的1组插槽对。
优选的,所述第六扩展卡和所述第八扩展卡均至少具有2个扩展卡接口;
所述第六扩展卡的第一扩展卡接口与所述第一主板的第六扩展卡插槽连接,所述第八扩展卡的第一扩展卡接口与所述第一主板的第八扩展卡插槽连接,所述第六扩展卡的第二扩展卡接口通过外接线缆与所述第八扩展卡的第二扩展卡接口通信连接。
优选的,所述第八扩展卡和所述第二扩展卡均至少具有3个扩展卡接口;所述第八扩展卡的第三扩展卡接口通过外接线缆与所述第二扩展卡的第三扩展卡接口通信连接。
优选的,还包括第二主板,第九扩展卡以及第十扩展卡;
所述第二主板中设置有至少1组插槽对,每组插槽对中包括2个扩展卡插槽,且每组插槽对中的2个扩展卡插槽的收发差分线通过所述第二主板的电路进行连接;
所述第九扩展卡与所述第二主板的第一扩展卡插槽连接,所述第十扩展卡与所述第二主板的第二扩展卡插槽连接,以通过所述第二主板的电路完成所述第九扩展卡与所述第十扩展卡之间的通信;所述第二主板的第一扩展卡插槽和第二扩展卡插槽为所述第二主板中的1组插槽对;
所述第三扩展卡至少具有3个扩展卡接口,所述第九扩展卡至少具有2个扩展卡接口;
所述第九扩展卡的第一扩展卡接口与所述第一主板的第九扩展卡插槽连接,所述第三扩展卡的第三扩展卡接口通过外接线缆与所述第九扩展卡的第二扩展卡接口通信连接。
优选的,所述第九扩展卡为现场可编程门阵列卡,所述第十扩展卡为图形处理器卡。
优选的,还包括:
设置在所述第一主板上,用于进行所述第一主板的散热的散热装置。
优选的,还包括:
设置在所述第一主板上的监控管理装置,用于监控与所述第一主板连接的各张扩展卡的状态。
优选的,所述监控管理装置还用于:
当监测到任意一张扩展卡的状态异常时,向基板管理控制器输出日志信息。
优选的,针对任意1张扩展卡,当该扩展卡为现场可编程门阵列卡时,在远程管理平台的控制下,该扩展卡通过初始化操作以及地址映射操作,建立与自身相连的扩展卡的通信连接。
一种异构设备,包括如上述所述的数据处理装置。
一种服务器,包括如上述所述的异构设备。
应用本发明实施例所提供的技术方案,第一扩展卡和第二扩展卡均用于进行数据处理,且第一主板中设置有至少1组插槽对,每组插槽对中包括2个扩展卡插槽,第一扩展卡与第一主板的第一扩展卡插槽连接,第二扩展卡与第一主板的第二扩展卡插槽连接,即第一扩展卡和第二扩展卡设置在主板的1组插槽对当中。本申请的方案中,在第一主板的每组插槽对中,将每组插槽对中的2个扩展卡插槽的收发差分线通过第一主板的电路进行连接,因此,第一扩展卡和第二扩展卡可以直接通过第一主板的电路完成相互之间的通信,换句话说,本申请的方案中,第一扩展卡和第二扩展卡之间的通信不需要CPU的参数,使得本申请的方案实现了扩展卡与CPU的解耦。本申请的方案中第一主板上也无需设置CPU,不会出现占用CPU资源的情况。
综上所述,本申请的方案可以有效地利用扩展卡实现数据处理,且实现了与CPU的解耦,不需要占用CPU的资源。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明中数据处理装置的第一结构示意图;
图2为本发明中数据处理装置的第二结构示意图;
图3为本发明中数据处理装置的第三结构示意图;
图4为本发明中数据处理装置的第四结构示意图;
图5为本发明中数据处理装置的第五结构示意图;
图6为本发明中数据处理装置的第六结构示意图;
图7为本发明中一种具体实施方式中的FPGA卡的结构示意图;
图8为本发明中数据处理装置的第七结构示意图;
图9为本发明中数据处理装置的第八结构示意图;
图10为本发明中数据处理装置的第九结构示意图;
图11为本发明中数据处理装置的第十结构示意图;
图12为本发明中数据处理装置的第十一结构示意图;
图13为本发明中数据处理装置的第十二结构示意图。
具体实施方式
本发明的核心是提供一种数据处理装置,可以有效地利用扩展卡实现数据处理,且实现了与CPU的解耦,不需要占用CPU的资源。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,图1为本发明中一种数据处理装置的结构示意图,该数据处理装置包括:用于向各个扩展卡插槽供电的第一主板20,用于进行数据处理的第一扩展卡11和第二扩展卡12;
第一主板20中设置有至少1组插槽对,每组插槽对中包括2个扩展卡插槽,且每组插槽对中的2个扩展卡插槽的收发差分线通过第一主板20的电路进行连接;
第一扩展卡11与第一主板20的第一扩展卡插槽连接,第二扩展卡12与第一主板20的第二扩展卡插槽连接,以通过第一主板20的电路完成第一扩展卡11与第二扩展卡12之间的通信;
其中,第一主板20的第一扩展卡插槽和第二扩展卡插槽为第一主板20中的1组插槽对。
具体的,传统的PCIe卡之间的通信,需要主机的CPU、内存等部件的参与,CPU开销较大,通信延迟也较高。以GPU卡为例,传统的一种方案中,GPU通过DSM(DirectSharedMemory,直接共享存储)的方式将数据从GPU显存拷贝到主机内存,再将数据从主机内存拷贝到另一GPU显存,该过程需要占用CPU资源,且数据通路延时较高,传输效率较低。还有的传统方案是在主机的同一PCIe域下的两个GPU设备之间,通过主机的PCIeChipSet(PCIe芯片组)实现直接互访GPU显存,从而无需将数据拷贝到主机内存里,但是由于PCIe芯片组通常集成在CPU中,导致这样的方案仍然会占用CPU资源,即GPU卡与服务器的CPU紧耦合,且通信也仅限于单节点内的GPU卡。GPUDirect RDMA(RemoteDirectMemoryAccess,远程直接数据存取)是GPU之间远程直接内存访问的技术,需要利用物理网卡和传输网络实现GPU之间显存数据的交互,该过程仍然需要器CPU的帮助,会占用CPU资源,GPU与服务器的CPU之间仍是通过PCIe连接的紧耦合关系。
而本申请的各个实施例中都不需要占用CPU的资源。
本申请的第一主板20可以向第一主板20中的各个扩展卡插槽供电,本申请描述的扩展卡可以均为PCIe扩展卡,因此本申请后文中,均以PCIe为例进行说明,也就是说,后文各个实施方式中描述的扩展卡插槽,可以均为PCIe插槽。后文中描述的第一PCIe卡,便是第一扩展卡11,相应的,后文描述的第二PCIe卡,便是第二扩展卡12。同样的,后文实施方式中描述的第三PCIe卡至第十PCIe卡,依次指的是第三扩展卡13至第十扩展卡10。
PCIe是一种高速串行计算机扩展总线标准,属于高速串行点对点双通道高带宽传输。需要说明的是,本申请的扩展卡均为PCIe扩展卡,指的是硬件链路为PCIe总线标准,至于软件层面的通信协议,可以是PCIe协议或者是其他协议。
PCIe作为一种高速串行计算机扩展总线标准,属于高速串行点对点双通道高带宽传输。PCIe总线使用端到端的连接方式,在一条PCIe链路的两端各连接一个设备,所连接的这两个设备互为数据发送端和数据接收端。PCIe总线除了总线链路外,还具有多个层次,发送端发送数据时将通过这些层次,而接收端接收数据时也使用这些层次,PCIe总线使用的层次结构与网络协议栈较为类似。
第一主板20可以向第一主板20中的各个PCIe插槽供电,实际应用中,第一主板20可以通过供电模块来实现供电,例如供电模块可以接收外部电能,并进行降压,滤波等操作,从而输出所需要的电平等级至第一主板20自身的各个PCIe插槽。图1的实施方式中,便在第一主板20中示出了电源模块。
本申请的方案中,第一主板20上不需要设置CPU、内存等部件,便可以实现第一扩展卡11和第二扩展卡12之间的数据交互,同样的,后文的实施方式中,也仍旧不需要CPU、内存等部件,便可以实现相应扩展卡之间直接或者间接的数据交互,因此,本申请的各个附图中,均未示出CPU、内存,但可以理解的是,如果第一主板20上原本就设置有CPU、内存,并不会影响本申请的实施。
在图1中,第一主板20中设置了1组插槽对,这1组插槽对由第一主板20的第一PCIe插槽和第一主板20的第二PCIe插槽构成,其他实施方式中可以设置有更多组的插槽对,例如图2中,第一主板20中设置了4组PCIe插槽对,当然,图2中并未示出任何与第一主板20连接的PCIe卡。
第一主板20中,每组插槽对由2个PCIe插槽构成,并且在每组插槽对中,这2个PCIe插槽的收发差分线通过第一主板20的电路进行连接,即这2个PCIe插槽的收发差分线通过第一主板20实现了直连,例如图1中第一PCIe卡和第二PCIe卡均为X16的PCIe卡,第一PCIe插槽的X16的收发差分线,与第二PCIe插槽的X16的收发差分线直连。可以理解的是,进行2个PCIe插槽的收发差分线的连接,是将一边的输入/输出连接另一边的输出/输入。
由于第一PCIe卡与第一主板20的第一PCIe插槽连接,第二PCIe卡与第一主板20的第二PCIe插槽连接,第一PCIe插槽和第二PCIe插槽是第一主板20中的1组插槽对,因此,通过第一主板20的电路,便实现了第一PCIe卡与第二PCIe卡之间的通信,即在不需要CPU、内存的参与下,实现了第一PCIe卡与第二PCIe卡之间的数据交互。
第一PCIe卡和第二PCIe卡均可以进行数据处理,当然,具体的数据处理流程,可以根据实际算法来设定,并且可以在远程管理平台中进行调整。例如某个场合中,是由第一PCIe卡通过网络接收远程管理平台的输入数据,第一PCIe卡进行步骤一的计算之后,将计算结果通过第一主板20的电路,即通过收发差分线传输至第二PCIe卡,由第二PCIe卡进行步骤二的计算,并将结果反馈回远程管理平台。当然,该例子仅是简单的举例,实际应用中,第一PCIe卡和第二PCIe卡可以根据需要设计更多轮的数据交互,第一PCIe卡和第二PCIe卡均可以接收远程管理平台的数据并受远程管理平台的控制。
在本发明的一种具体实施方式中,可参阅图3,还可以包括:用于进行数据处理的第三扩展卡13,并且第三扩展卡13和第二扩展卡12均至少具有2个扩展卡接口;
第三扩展卡13的第一扩展卡接口与第一主板20的第三扩展卡插槽连接,第二扩展卡12的第一扩展卡接口与第一主板20的第二扩展卡插槽连接,第三扩展卡13的第二扩展卡接口通过外接线缆与第二扩展卡12的第二扩展卡接口通信连接。
该种实施方式中,在第一主板20的第三扩展卡插槽中插入了第三扩展卡13,第三扩展卡13也可以进行数据处理。并且,第三扩展卡13还需要与第二扩展卡12通信连接,因此,第三扩展卡13和第二扩展卡12均至少具有2个扩展卡接口。
图3中,用1条曲线表示连接第三扩展卡13和第二扩展卡12的线缆,仍以PCIe为例,即第三PCIe卡和第二PCIe卡通过外接线缆实现通信连接。此外需要说明的是,两张PCIe卡之间进行通信时,需要划分二者的主从,因此,该种实施方式中,例如可以将第三PCIe卡的第二PCIe接口设置为RootComplex模式,使得第三PCIe卡的第二PCIe接口作为主设备接口,而将第二PCIe卡的第二PCIe接口设置为Endpoint模式,使得第二PCIe卡的第二PCIe接口作为从设备接口,实现第三PCIe卡和第二PCIe卡之间的主从通信。
第二PCIe卡的第一PCIe接口例如可以设置RootComplex模式,使得第二PCIe卡的第一PCIe接口作为主设备接口,第一PCIe卡用于连接第一PCIe插槽的接口则可以设置Endpoint模式,实现第二PCIe卡和第一PCIe卡之间的主从通信。
可以理解的是,该种实施方式以及后文实施方式描述的PCIe接口也即扩展卡接口,以第三扩展卡13为例,第三扩展卡13的第一扩展卡接口,也就是第三PCIe卡的第一PCIe接口。
该种实施方式中,通过外接线缆实现了第三PCIe卡和第二PCIe卡之间的数据交互,同样不需要CPU、内存的参与,可以看出,该种实施方式中,实现了第一主板20上不同的插槽对之间的PCIe卡的数据交互。
需要说明的是,本申请的实施方式中存在2种通信方式,第1种是扩展卡之间采用的PCIE的硬件链路,该种实施方式中连接2个扩展卡的线缆,上文中描述的第一主板20的各个插槽对之间,以及后文实施例中的第二主板30的各个插槽对之间,均是基于PCIE硬件链路实现的通信。第2种通信方式,是扩展卡与远程管理平台之间的网络通信,例如后文一种实施方式中介绍的通过扩展卡的光模块接口,基于网络实现的与远程管理平台之间的通信。
进一步的,可参与图4,还可以包括:用于进行数据处理的第四扩展卡14,第四扩展卡14与第一主板20的第四扩展卡插槽连接;
其中,第一主板20的第三扩展卡插槽和第四扩展卡插槽为第一主板20中的1组插槽对。
该种实施方式中,第四扩展卡14也可以进行数据处理,仍以PCIe为例,插入第四PCIe卡至第一主板20的第四PCIe插槽之后,便实现了4张PCIe卡插入第一主板20的21组插槽对的情况,并且可以看出,在第一PCIe卡、第二PCIe卡、第三PCIe卡以及第四PCIe卡之间,通过第一主板20的电路以及外接线缆,可以实现直接或者间接的通信连接。
在本发明的一种具体实施方式中,第一PCIe卡,第二PCIe卡,第三PCIe卡以及第四PCIe卡均为现场可编程门阵列卡,即均为FPGA卡,从而实现了全部使用FPGA卡插入第一主板20的实施方式,即实现了全部使用FPGA卡来完成数据处理。
此外可以理解的是,该种实施方式中,对于第三PCIe卡和第二PCIe卡而言,由于既需要插入相应的PCIe插槽,又需要连接外接线缆,因此如上文的描述,第三PCIe卡和第二PCIe卡均至少具有2个PCIe接口。而对于该种实施方式的第一PCIe卡和第四PCIe卡而言,由于只需要插入相应的PCIe插槽,因此具有1个PCIe接口即可。当然,例如另一种实施方式中,还需要通过外接线缆,将第一PCIe卡和第四PCIe卡连接,构成这四张PCIe卡的环形通信,以提高这四张PCIe卡之间的通信效率,则第一PCIe卡和第四PCIe卡也均至少具有2个PCIe接口,并且可以理解的是,在进行接口模式设置时,如上文的描述,需要符合相连接的2个接口一主一从的原则。
进一步的,在本发明的一种具体实施方式中,可参阅图5,还可以包括:与第一主板20连接,用于进行数据处理的K张现场可编程门阵列卡,即K张FPGA卡,并且通过第一主板20的电路和外接线缆,K张现场可编程门阵列卡依次通信连接。
可以理解的是,该种实施方式中还设置了与第一主板20连接的K张现场可编程门阵列卡,即K张FPGA卡,因此第一主板20上至少需要具有足够数量的PCIe插槽来容纳这些FPGA卡。
K为正整数,例如在图5的实施方式中K=4,由于第一PCIe卡,第二PCIe卡,第三PCIe卡以及第四PCIe卡均为FPGA卡,则图5中一共有8张FPGA卡。
K张FPGA卡均可以进行数据处理,并且通过第一主板20的电路和外接线缆,实现了K张FPGA卡依次通信连接,图5中将K张FPGA卡依次标记为FPGA卡5至FPGA卡8,则可以看出,FPGA卡5与FPGA卡6之间通过第一主板20的电路实现通信连接,FPGA卡6与FPGA卡7之间则通过外接线缆实现通信连接,FPGA卡7与FPGA卡8之间则通过第一主板20的电路实现通信连接。
K张FPGA卡中,任意1张FPGA卡均可以通过网络连接至远程管理平台。在实际应用中,例如在远程管理平台的控制下,可以使用图5的FPGA卡5至FPGA卡8,实现远程管理平台的项目1的数据处理,而使用图5的第一PCIe卡,第二PCIe卡,第三PCIe卡以及第四PCIe卡,实现远程管理平台的项目2的数据处理。
进一步地,可参阅图6,K张现场可编程门阵列卡中的一张现场可编程门阵列卡通过外接线缆与第四扩展卡14通信连接,K张现场可编程门阵列卡中的一张现场可编程门阵列卡通过外接线缆与第一扩展卡11通信连接,以构成第一主板中的各张现场可编程门阵列卡的环形通信。
也就是说,图6中,K张FPGA卡中的一张FPGA卡通过外接线缆与第四PCIe卡通信连接,K张FPGA卡中的一张FPGA卡通过外接线缆与第一PCIe卡通信连接,以构成第一主板20中的各张FPGA卡的环形通信。
上文的实施方式中,插入的K张FPGA卡,与第一PCIe卡至第四PCIe卡无数据交互,该种实施方式则考虑到,在部分实施方式中,可能需要K张FPGA卡以及第一PCIe卡至第四PCIe卡共同完成数据处理的工作,即需要实现K张FPGA与第一PCIe卡至第四PCIe卡之间的数据交互,因此,该种实施方式中,选取出K张FPGA卡中的其中一张FPGA卡通过外接线缆与第四PCIe卡通信连接,选取出K张FPGA卡中的其中一张FPGA卡通过外接线缆与第一PCIe卡通信连接,具体选取方式可以有多种,只要能够实现第一主板20中的各张FPGA卡的环形通信即可。
例如图6中,将FPGA卡5通过外接线缆与第四扩展卡14通信连接,将FPGA卡8通过外接线缆与第一扩展卡11通信连接,图6中的各张扩展卡均为FPGA卡,从而实现了第一主板20中的8张FPGA卡的环形通信。相较于链式线路通信,环形通信的效率更高,当然,例如图6这样的环形通信方式,要求图6中的8张FPGA卡均具有2个PCIe接口。
在本发明的一种具体实施方式中,第一扩展卡11,第二扩展卡12,第三扩展卡13以及第四扩展卡14均通过自身的光模块接口与交换机连接,以与远程管理平台进行通信。
以第一PCIe卡为例,第一PCIe卡可能有1个或者多个光模块接口,需要将第一PCIe卡的至少1个光模块连接至交换机,从而实现第一PCIe卡与远程管理平台的通信。例如图7的实施方式中,该PCIe卡便具有2个100G光模块接口。图8则示出了第一主板20中的8块PCIe卡均与100GTOR(TopofRack,架顶式)交换机连接,且图8中,插入第一主板20中插槽的PCIe卡均为FPGA卡,依次标记为FPGA卡1至FPGA卡8。
此外可以理解的是,在其他的实施方式中,对于存在光模块接口的PCIe卡,也均可以通过交换机连接至远程管理平台。
在本发明的一种具体实施方式中,第一扩展卡11和第四扩展卡14均为图形处理器卡,所述第二扩展卡12和第三扩展卡13均为现场可编程门阵列卡。即,第一PCIe卡和第四PCIe卡均为GPU卡;第二PCIe卡和第三PCIe卡均为FPGA卡。
在前文的实施方式中,所使用的PCIe卡为FPGA卡,该种实施方式中,插入第一主板20的PCIe卡既有FPGA卡又有GPU卡,实现了FPGA卡和GPU卡组成的异构系统,满足了部分实施方式中的使用需求,特别是部分场合中,数据处理量较大,而GPU卡能够实现大量计算,FPGA卡则是作为GPU卡的辅助,例如在数据处理过程中,FPGA卡实现一些中间环节的数据预处理工作,例如,FPGA卡向GPU卡发送数据前,以及从GPU卡接收到数据之后,可以对数据进行乘累加运算等预处理工作。
可参阅图9,将第一PCIe卡具体标记为GPU卡1,将第四PCIe具体标记为GPU卡2。将第二PCIe卡具体标记为FPGA卡1,将第三PCIe卡具体标记为FPGA卡2。
在本发明的一种具体实施方式中,第二扩展卡12在数据处理过程中,通过自身的直接数据存取模块进行自身的不同接口之间的数据传输;
第三扩展卡13在数据处理过程中,通过自身的直接数据存取模块进行自身的不同接口之间的数据传输。
本申请的方案中,需要进行不同PCIe卡之间的数据交互,特别是在进行FPGA卡与GPU卡之间的数据交互时,需要实现高速的数据交互以保障本申请方案的数据处理效率,因此,该种实施方式中,第二PCIe卡和第三PCIe卡在数据处理过程中,都是通过自身的直接数据存取模块进行自身的不同接口之间的数据传输,例如,可以通过自身的MFDMA(Multi-FunctionDMA,多功能直接数据存取)模块进行自身的不同接口之间的高速的数据传输。
例如图7的实施方式中,FPGA卡中设置了3个对外接口,分别称为PCIe接口1,PCIe接口2以及PCIe接口3,通过MFDMA模块可以实现这3个接口之间的数据传输。此外MFDMA模块可以基于RoCE协议栈连接光模块接口,例如图7的MFDMA模块可以基于RoCE网络站,该RoCE网络站例如可以支持RoCEv2(RDMAoverConvergedEthernet,第二代基于融合以太网的RDMA)的网络协议,通过2个100G光模块接口,实现与远程管理平台之间的数据传输。
在本发明的一种具体实施方式中,可参阅图9,还可以包括:用于进行数据处理的第五扩展卡15和第六扩展卡16;
第五扩展卡15与第一主板20的第五扩展卡插槽连接,第六扩展卡16与第一主板20的第六扩展卡插槽连接,以通过第一主板20的电路完成第五扩展卡15与第六扩展卡16之间的通信;
其中,第五扩展卡15具体为图形处理器卡,即第五扩展卡15具体为GPU卡,第六扩展卡16具体为现场可编程门阵列卡,即第六扩展卡16具体为FPGA卡;第一主板20的第五扩展卡插槽和第六扩展卡插槽为第一主板20中的1组插槽对。
该种实施方式中,还设置了进行数据处理的第五PCIe卡和第六PCIe卡;并且第五PCIe卡具体为GPU卡,图9中标记为GPU卡3,第六PCIe卡具体为FPGA卡,图9中标记为FPGA卡3。第一主板20的第五PCIe插槽和第一主板20的第六PCIe插槽为第一主板20中的1组插槽对。
该种实施方式中,可以利用不同的GPU卡进行不同数据处理任务,例如一种场合中,在远程管理平台的控制下,可以使用图9的右边的4张PCIe卡实现远程管理平台的项目1的数据处理,而使用图9的第五PCIe卡和第六PCIe卡实现远程管理平台的项目2的数据处理。
在本发明的一种具体实施方式中,还可以包括:用于进行数据处理的第七扩展卡17和第八扩展卡18;
第七扩展卡17与第一主板20的第七扩展卡插槽连接,第八扩展卡18与第一主板20的第八扩展卡插槽连接,以通过第一主板20的电路完成第七扩展卡17与第八扩展卡18之间的通信;
其中,第七扩展卡17具体为GPU卡,第八扩展卡18具体为FPGA卡;第一主板20的第七扩展卡插槽和第八扩展卡插槽为第一主板20中的1组插槽对。
该种实施方式中,考虑到在部分场合中,可能会存在更多的数据处理任务,因此进一步地设置了用于进行数据处理的第七PCIe卡和第八PCIe卡,以进一步地提高本申请方案的灵活性,满足不同场合中的使用需求。
并且第七PCIe卡具体为GPU卡,图9中标记为GPU卡4,第八PCIe卡具体为FPGA卡,图9中标记为FPGA卡4。第一主板20的第七PCIe插槽和第一主板20的第八PCIe插槽是第一主板20中的1组插槽对。
进一步的,在本发明的一种具体实施方式中,可参阅图,第六扩展卡16和第八扩展卡18均至少具有2个扩展卡接口;
第六扩展卡16的第一扩展卡接口与第一主板20的第六扩展卡插槽连接,第八扩展卡18的第一扩展卡接口与第一主板20的第八扩展卡插槽连接,第六扩展卡16的第二扩展卡接口通过外接线缆与第八扩展卡18的第二扩展卡接口通信连接。
该种实施方式中,仍以PCIe为例进行说明,第六PCIe卡的第二PCIe接口通过外接线缆与第八PCIe卡的第二PCIe接口通信连接,可以看出,此时在图10的实施方式中,左侧的4张PCIe卡之间实现了通信连接,右侧的4张PCIe卡之间实现了通信连接,也就是说,本申请的方案中,可以支持在第一板卡内有多个数据处理分区,不同的数据处理分区可以负责不同的数据处理的任务,每个数据处理分区中可以包括1张或者多张GPU卡以满足该数据处理分区的资源需求。
进一步的,可参阅图11,第八扩展卡18和第二扩展卡12均至少具有3个扩展卡接口;第八扩展卡18的第三扩展卡接口通过外接线缆与第二扩展卡12的第三扩展卡接口通信连接。
上文的实施方式中,是考虑到在部分场合中,可能会存在2项或者更多项目的数据处理任务,而该种实施方式则考虑到,在部分实施方式中,可能需要第一主板20中的各张FPGA卡以及GPU卡共同完成一项数据处理的任务,因此,该种实施方式中,将第八PCIe卡的第三PCIe接口通过外接线缆与第二PCIe卡的第三PCIe接口通信连接。
可以看出,该种实施方式中,第八PCIe卡不仅需要插入第一主板20的第八PCIe插槽,还需要通过外接线缆连接第二PCIe卡以及第六PCIe卡,因此第八PCIe卡需要至少具有3个PCIe接口。同样的,第二PCIe卡不仅需要插入第一主板20的第二PCIe插槽,还需要通过外接线缆连接第三PCIe卡以及第八PCIe卡,因此第二PCIe卡需要至少具有3个PCIe接口。
并且可以理解的是,如上文的描述,两张PCIe卡之间进行通信时,需要划分主从设备,以第二PCIe卡为例,例如可以将第三PCIe卡的第二PCIe接口设置为RootComplex模式,使得第三PCIe卡的第二PCIe接口作为主设备接口,而将第二PCIe卡的第二PCIe接口设置为Endpoint模式,使得第二PCIe卡的第二PCIe接口作为从设备接口,实现第三PCIe卡和第二PCIe卡之间的主从通信。
第二PCIe卡的第一PCIe接口例如可以设置RootComplex模式,使得第二PCIe卡的第一PCIe接口作为主设备接口,第一PCIe卡具体为GPU卡1,GPU卡1用于连接第一PCIe插槽的接口则可以设置Endpoint模式,实现第二PCIe卡和第一PCIe卡之间的主从通信。
例如可以将第二PCIe卡的第三PCIe接口设置为RootComplex模式,使得第二PCIe卡的第三PCIe接口作为主设备接口,而将第八PCIe卡的第三PCIe接口设置为Endpoint模式,使得第八PCIe卡的第三PCIe接口作为从设备接口,实现第二PCIe卡和第八PCIe卡之间的主从通信。
可以看出,该种实施方式中,第二PCIe卡具有2个RootComplex模式的接口,1个Endpoint模式的接口。此外需要说明的是,本申请的实际应用中,通常可以采用该种实施方式,而GPU卡由于不便于进行接口调整,因此GPU卡可以设置为仅有1个接口,且为Endpoint模式,因此不同的GPU卡之间需要通过FPGA卡实现数据交互,本申请的图9至图13的实施方式也均是如此,而对于FPGA卡而言,则可以设置为3个接口以满足使用需求。在实际应用中,通过设置3个PCIeHIP(HardIP,硬核IP),便可以使得FPGA卡具有3个PCIe接口,并且可以在初始化时设定各个PCIe接口的模式。
在本发明的一种具体实施方式中,可参阅图12,还可以包括第二主板30,第九扩展卡19以及第十扩展卡10;
第二主板30中设置有至少1组插槽对,每组插槽对中包括2个扩展卡插槽,且每组插槽对中的2个扩展卡插槽的收发差分线通过第二主板30的电路进行连接;
第九扩展卡19与第二主板30的第一扩展卡插槽连接,第十扩展卡10与第二主板30的第二扩展卡插槽连接,以通过第二主板30的电路完成第九扩展卡19与第十扩展卡10之间的通信;
第二主板30的第一扩展卡插槽和第二扩展卡插槽为第二主板30中的1组插槽对;第三扩展卡13至少具有3个扩展卡接口,第九扩展卡19至少具有2个扩展卡接口;
第九扩展卡19的第一扩展卡接口与第一主板20的第九扩展卡插槽连接,第三扩展卡13的第三扩展卡接口通过外接线缆与第九扩展卡19的第二扩展卡接口通信连接。
该种实施方式中,实现了不同节点之间的PCIe卡的数据交互,即可以实现第一主板20中的PCIe卡,与第二主板30中的PCIe卡的数据交互,仍然无需CPU、内存的参与,即本申请的方案既可以使用在单节点的场合中,又可以使用在多个节点的场合中,灵活性很高。
具体的,第二主板30与第一主板20类似,也是设置有至少1组插槽对,第二主板30中,每组插槽对中包括2个PCIe插槽,且第二主板30中的每组插槽对中的2个PCIe插槽的收发差分线通过第二主板30的电路进行连接,由于与上文同理便不再重复说明。
第九PCIe卡以及第十PCIe卡分别连接至第二主板30的第一PCIe插槽以及第二主板30的第二PCIe插槽,因此可以通过第二主板30的电路完成第九PCIe卡与第十PCIe卡之间的通信。
由于第三PCIe卡的第三PCIe接口通过外接线缆与第九PCIe卡的第二PCIe接口通信连接,因此便实现了第一主板20中的PCIe卡,与第二主板30中的PCIe卡的数据交互。
进一步的,在实际应用中,需要进行主板之间的数据交互时,通常是需要进行GPU卡之间的数据交互,因此在本发明的一种具体实施方式中,第九扩展卡19为现场可编程门阵列卡,第十扩展卡10为图形处理器卡,即第九PCIe卡可以具体为FPGA卡,第十PCIe卡可以具体为GPU卡。
当然,其他实施方式中,第二主板30中可以根据需要设置有更多数量的GPU卡和FPGA卡,例如图13的实施方式中,第一主板20的每一组插槽对中均设置了一张FPGA卡和一张GPU卡,第二主板30的每一组插槽对中也均设置了一张FPGA卡和一张GPU卡,通过这2块主板中的FPGA卡实现环形通信连接。
在本发明的一种具体实施方式中,还可以包括:
设置在第一主板20上,用于进行第一主板20的散热的散热装置40。考虑到本申请的第一主板20中,插入的PCIe卡数量较多,需要进行大量的数据运算,因此,该种实施方式中在第一主板20上设置了进行第一主板20的散热的散热装置40,例如具体为风扇散热装置。图2的实施方式中,便示出了散热装置40。
在本发明的一种具体实施方式中,还可以包括:
设置在第一主板20上的监控管理装置50,用于监控与第一主板20连接的各张扩展卡的状态。
该种实施方式中,考虑到第一主板20上虽然不需要设置CPU、内存来实现PCIe卡之间的数据交互,但是,可以通过PCIe的日志,实现各张PCIe卡的状态监控,以便工作人员可以方便地掌控各张PCIe卡的状态。图2的实施方式中,便示出了监控管理装置50。
进一步的,监控管理装置50还可以用于:
当监测到任意一张PCIe卡的状态异常时,向BMC(BoardManagement Controller,基板管理控制器)输出日志信息。
考虑到部分服务器中会设置有BMC,因此,监控管理装置50监测到任意一张PCIe卡的状态时,可以向BMC输出日志信息,已通过BMC实现异常PCIe卡的处理。
在本发明的一种具体实施方式中,针对任意1张扩展卡,当该PCIe卡为现场可编程门阵列卡时,即为FPGA卡时,在远程管理平台的控制下,该扩展卡通过初始化操作以及地址映射操作,建立与自身相连的扩展卡的通信连接。
在上文的不同实施方式中,与某一张PCIe卡直接连接的可能只有一张PCIe卡,也可能有2张或者3张PCIe卡,因此,在上文的不同实施方式中,某一张PCIe卡可能需要不同数量的接口,并且如上文的描述,GPU卡由于不便于进行接口调整,因此GPU卡可以设置为仅有1个接口,FPGA卡则可以根据需要设置有1个或者多个接口。
FPGA卡设置有多个PCIe接口,以通过不同的PCIe接口对外连接时,FPGA卡可能是作为主设备使用,也可能是作为从设备使用,因此,该种实施方式中,可以在上电启动之后进行初始化的设置。
具体的,对于任意1张PCIe卡而言,该PCIe卡可以通过初始化操作以及地址映射操作,建立与自身相连的PCIe卡的通信连接,这一过程通常可以在上电之后进行,并且由于本申请的主板中无需设置CPU,因此该过程可以由远程管理平台进行控制。
例如,PCIe卡可以在远程管理平台的控制下,通过内部的初始化模块来执行初始化操作,例如图7的实施方式中便示出了FPGA卡中的初始化模块,在进行初始化时,需要按照初始化流程实现PCIe枚举初始化,具体是按照顺序进行各个相关寄存器的配置,并且还需进行地址映射操作,即对该PCIe卡本地存储域的地址,与该PCIe卡自身相连接的其他PCIe卡的地址之间进行转换映射,从而使得该PCIe卡可以建立与自身相连的PCIe卡的通信连接。图7中,地址映射操作可以由内存重映射模块执行,内存重映射模块与3个PCIe接口设置在图7的PCIe桥中。
在初始化过程中,进行相关寄存器配置时,具体实现方式有多种,例如首先,远程管理平台可以通过数据中心网络,将配置信息发送给各个FPGA卡的初始化模块。FPGA卡的初始化模块接收了配置信息后,该初始化模块内部的Microblaze内核可以使用setpci命令配置PWR_LIMIT寄存器,配置PWR_LIMIT寄存器的作用是设定设备允许运行的功耗上限。然后配置BDF寄存器,即配置设备BUS、Device、Function三种ID的寄存器。之后配置写基地址寄存器,即,向BaseAddressRegister寄存器写入全FF数值,再读取,然后根据该寄存器格式描述获取BAR上所挂载内存类型、大小等信息。之后可以分配PCIe域基地址给各BAR寄存器。然后,可以配置中断相关寄存器,配置连接控制寄存器,包括控制采用同步时钟还是异步时钟等。最后,配置命令寄存器,包括IO空间使能、内存空间使能、总线主控使能等控制位,至此,便完成了该FPGA扩展卡的初始化操作。
应用本发明实施例所提供的技术方案,第一扩展卡11和第二扩展卡12均用于进行数据处理,且第一主板20中设置有至少1组插槽对,每组插槽对中包括2个扩展卡插槽,第一扩展卡11与第一主板20的第一扩展卡插槽连接,第二扩展卡12与第一主板20的第二扩展卡插槽连接,即第一扩展卡11和第二扩展卡12设置在主板的1组插槽对当中。本申请的方案中,在第一主板20的每组插槽对中,将每组插槽对中的2个扩展卡插槽的收发差分线通过第一主板20的电路进行连接,因此,第一扩展卡11和第二扩展卡12可以直接通过第一主板20的电路完成相互之间的通信,换句话说,本申请的方案中,第一扩展卡11和第二扩展卡12之间的通信不需要CPU的参数,使得本申请的方案实现了扩展卡与CPU的解耦。本申请的方案中第一主板20上也无需设置CPU,不会出现占用CPU资源的情况。
综上所述,本申请的方案可以有效地利用扩展卡实现数据处理,且实现了与CPU的解耦,不需要占用CPU的资源。
相应于上面的数据处理装置的实施例,本发明实施例还提供了一种异构设备以及一种服务器。该异构设备可以包括如上述任一实施例中的数据处理装置,该服务器可以包括上述的异构设备,可与上文相互对应参照,此处不再重复说明。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明的保护范围内。

Claims (21)

1.一种数据处理装置,其特征在于,包括:用于向各个扩展卡插槽供电的第一主板,用于进行数据处理的第一扩展卡和第二扩展卡;
所述第一主板中设置有至少1组插槽对,每组插槽对中包括2个扩展卡插槽,且每组插槽对中的2个扩展卡插槽的收发差分线通过所述第一主板的电路进行连接;
所述第一扩展卡与所述第一主板的第一扩展卡插槽连接,所述第二扩展卡与所述第一主板的第二扩展卡插槽连接,以通过所述第一主板的电路完成所述第一扩展卡与所述第二扩展卡之间的通信;
其中,所述第一主板的第一扩展卡插槽和第二扩展卡插槽为所述第一主板中的1组插槽对。
2.根据权利要求1所述的数据处理装置,其特征在于,还包括:用于进行数据处理的第三扩展卡,并且所述第三扩展卡和所述第二扩展卡均至少具有2个扩展卡接口;
所述第三扩展卡的第一扩展卡接口与所述第一主板的第三扩展卡插槽连接,所述第二扩展卡的第一扩展卡接口与所述第一主板的第二扩展卡插槽连接,所述第三扩展卡的第二扩展卡接口通过外接线缆与所述第二扩展卡的第二扩展卡接口通信连接。
3.根据权利要求2所述的数据处理装置,其特征在于,还包括:用于进行数据处理的第四扩展卡,所述第四扩展卡与所述第一主板的第四扩展卡插槽连接;
其中,所述第一主板的第三扩展卡插槽和第四扩展卡插槽为所述第一主板中的1组插槽对。
4.根据权利要求3所述的数据处理装置,其特征在于,所述第一扩展卡,所述第二扩展卡,所述第三扩展卡以及所述第四扩展卡均为现场可编程门阵列卡。
5.根据权利要求4所述的数据处理装置,其特征在于,还包括:与所述第一主板连接,用于进行数据处理的K张现场可编程门阵列卡,并且通过所述第一主板的电路和外接线缆,K张现场可编程门阵列卡依次通信连接,K为正整数。
6.根据权利要求5所述的数据处理装置,其特征在于,K张所述现场可编程门阵列卡中的一张现场可编程门阵列卡通过外接线缆与所述第四扩展卡通信连接,K张所述现场可编程门阵列卡中的一张现场可编程门阵列卡通过外接线缆与所述第一扩展卡通信连接,以构成所述第一主板中的各张现场可编程门阵列卡的环形通信。
7.根据权利要求4所述的数据处理装置,其特征在于,所述第一扩展卡,所述第二扩展卡,所述第三扩展卡以及所述第四扩展卡均通过自身的光模块接口与交换机连接,以与远程管理平台进行通信。
8.根据权利要求3所述的数据处理装置,其特征在于,所述第一扩展卡和所述第四扩展卡均为图形处理器卡;所述第二扩展卡和所述第三扩展卡均为现场可编程门阵列卡。
9.根据权利要求8所述的数据处理装置,其特征在于,所述第二扩展卡在数据处理过程中,通过自身的直接数据存取模块进行自身的不同接口之间的数据传输;
所述第三扩展卡在数据处理过程中,通过自身的直接数据存取模块进行自身的不同接口之间的数据传输。
10.根据权利要求8所述的数据处理装置,其特征在于,还包括:用于进行数据处理的第五扩展卡和第六扩展卡;
所述第五扩展卡与所述第一主板的第五扩展卡插槽连接,所述第六扩展卡与所述第一主板的第六扩展卡插槽连接,以通过所述第一主板的电路完成所述第五扩展卡与所述第六扩展卡之间的通信;
其中,所述第五扩展卡具体为图形处理器卡,所述第六扩展卡具体为现场可编程门阵列卡;所述第一主板的第五扩展卡插槽和第六扩展卡插槽为所述第一主板中的1组插槽对。
11.根据权利要求10所述的数据处理装置,其特征在于,还包括:用于进行数据处理的第七扩展卡和第八扩展卡;
所述第七扩展卡与所述第一主板的第七扩展卡插槽连接,所述第八扩展卡与所述第一主板的第八扩展卡插槽连接,以通过所述第一主板的电路完成所述第七扩展卡与所述第八扩展卡之间的通信;
其中,所述第七扩展卡具体为图形处理器卡,所述第八扩展卡具体为现场可编程门阵列卡;所述第一主板的第七扩展卡插槽和第八扩展卡插槽为所述第一主板中的1组插槽对。
12.根据权利要求11所述的数据处理装置,其特征在于,所述第六扩展卡和所述第八扩展卡均至少具有2个扩展卡接口;
所述第六扩展卡的第一扩展卡接口与所述第一主板的第六扩展卡插槽连接,所述第八扩展卡的第一扩展卡接口与所述第一主板的第八扩展卡插槽连接,所述第六扩展卡的第二扩展卡接口通过外接线缆与所述第八扩展卡的第二扩展卡接口通信连接。
13.根据权利要求12所述的数据处理装置,其特征在于,所述第八扩展卡和所述第二扩展卡均至少具有3个扩展卡接口;所述第八扩展卡的第三扩展卡接口通过外接线缆与所述第二扩展卡的第三扩展卡接口通信连接。
14.根据权利要求8所述的数据处理装置,其特征在于,还包括第二主板,第九扩展卡以及第十扩展卡;
所述第二主板中设置有至少1组插槽对,每组插槽对中包括2个扩展卡插槽,且每组插槽对中的2个扩展卡插槽的收发差分线通过所述第二主板的电路进行连接;
所述第九扩展卡与所述第二主板的第一扩展卡插槽连接,所述第十扩展卡与所述第二主板的第二扩展卡插槽连接,以通过所述第二主板的电路完成所述第九扩展卡与所述第十扩展卡之间的通信;所述第二主板的第一扩展卡插槽和第二扩展卡插槽为所述第二主板中的1组插槽对;
所述第三扩展卡至少具有3个扩展卡接口,所述第九扩展卡至少具有2个扩展卡接口;
所述第九扩展卡的第一扩展卡接口与所述第一主板的第九扩展卡插槽连接,所述第三扩展卡的第三扩展卡接口通过外接线缆与所述第九扩展卡的第二扩展卡接口通信连接。
15.根据权利要求14所述的数据处理装置,其特征在于,所述第九扩展卡为现场可编程门阵列卡,所述第十扩展卡为图形处理器卡。
16.根据权利要求1所述的数据处理装置,其特征在于,还包括:
设置在所述第一主板上,用于进行所述第一主板的散热的散热装置。
17.根据权利要求1所述的数据处理装置,其特征在于,还包括:
设置在所述第一主板上的监控管理装置,用于监控与所述第一主板连接的各张扩展卡的状态。
18.根据权利要求17所述的数据处理装置,其特征在于,所述监控管理装置还用于:
当监测到任意一张扩展卡的状态异常时,向基板管理控制器输出日志信息。
19.根据权利要求1至18任一项所述的数据处理装置,其特征在于,针对任意1张扩展卡,当该扩展卡为现场可编程门阵列卡时,在远程管理平台的控制下,该扩展卡通过初始化操作以及地址映射操作,建立与自身相连的扩展卡的通信连接。
20.一种异构设备,其特征在于,包括如权利要求1至19任一项所述的数据处理装置。
21.一种服务器,其特征在于,包括如权利要求20所述的异构设备。
CN202310403342.7A 2023-04-14 2023-04-14 一种服务器、异构设备及其数据处理装置 Pending CN116401065A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310403342.7A CN116401065A (zh) 2023-04-14 2023-04-14 一种服务器、异构设备及其数据处理装置
PCT/CN2024/080587 WO2024212744A1 (zh) 2023-04-14 2024-03-07 一种服务器、异构设备及其数据处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310403342.7A CN116401065A (zh) 2023-04-14 2023-04-14 一种服务器、异构设备及其数据处理装置

Publications (1)

Publication Number Publication Date
CN116401065A true CN116401065A (zh) 2023-07-07

Family

ID=87008788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310403342.7A Pending CN116401065A (zh) 2023-04-14 2023-04-14 一种服务器、异构设备及其数据处理装置

Country Status (2)

Country Link
CN (1) CN116401065A (zh)
WO (1) WO2024212744A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117493259A (zh) * 2023-12-28 2024-02-02 苏州元脑智能科技有限公司 一种数据存储系统、方法及服务器
WO2024212744A1 (zh) * 2023-04-14 2024-10-17 广东浪潮智慧计算技术有限公司 一种服务器、异构设备及其数据处理装置
CN119739269A (zh) * 2024-11-07 2025-04-01 苏州元脑智能科技有限公司 一种服务器散热调控方法及装置
CN120371774A (zh) * 2025-06-26 2025-07-25 苏州元脑智能科技有限公司 板卡及互联方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120067024B (zh) * 2025-04-27 2025-08-01 瀚博半导体(上海)有限公司 外围组件快速互连附加卡板及其组合方法以及装置
CN121029542B (zh) * 2025-10-28 2026-02-13 苏州元脑智能科技有限公司 线缆连接检测电路和服务器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080065805A1 (en) * 2006-09-11 2008-03-13 Cameo Communications, Inc. PCI-Express multimode expansion card and communication device having the same
US10296478B1 (en) * 2015-09-11 2019-05-21 Amazon Technologies, Inc. Expansion card configuration of motherboard
CN217113223U (zh) * 2022-04-29 2022-08-02 苏州浪潮智能科技有限公司 一种单槽位扩展卡的供电装置和一种服务器
CN114780472A (zh) * 2022-04-29 2022-07-22 苏州浪潮智能科技有限公司 一种主机与PCIe设备解耦方法、装置、设备及存储介质
CN116401065A (zh) * 2023-04-14 2023-07-07 广东浪潮智慧计算技术有限公司 一种服务器、异构设备及其数据处理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024212744A1 (zh) * 2023-04-14 2024-10-17 广东浪潮智慧计算技术有限公司 一种服务器、异构设备及其数据处理装置
CN117493259A (zh) * 2023-12-28 2024-02-02 苏州元脑智能科技有限公司 一种数据存储系统、方法及服务器
CN117493259B (zh) * 2023-12-28 2024-04-05 苏州元脑智能科技有限公司 一种数据存储系统、方法及服务器
CN119739269A (zh) * 2024-11-07 2025-04-01 苏州元脑智能科技有限公司 一种服务器散热调控方法及装置
CN120371774A (zh) * 2025-06-26 2025-07-25 苏州元脑智能科技有限公司 板卡及互联方法

Also Published As

Publication number Publication date
WO2024212744A1 (zh) 2024-10-17

Similar Documents

Publication Publication Date Title
WO2024212744A1 (zh) 一种服务器、异构设备及其数据处理装置
CN100483373C (zh) Pvdm(分组语音数据模块)通用总线协议
CN117978759B (zh) 一种互联装置、高性能交换装置及大模型一体机
CN202421950U (zh) 一种适用于pci总线板卡的外部扩展装置
TW202005485A (zh) 擴充快捷外設互聯標準兼容性的電路
CN105099776A (zh) 云服务器的管理系统
CN113626363A (zh) 一种面向微纳星载计算机的多总线架构装置及其控制方法
CN114840461B (zh) 服务器的扩展装置和服务器
CN116483753A (zh) 一种服务器监控芯片及系统
TWI760605B (zh) 解聚電腦系統
CN100484003C (zh) 一种服务器
CN113704148B (zh) 一种服务器系统
CN1901530B (zh) 一种服务器系统
CN107980223B (zh) 以太网互联电路及装置
CN220475065U (zh) 一种基于监控网络安全设备的接口转换装置
WO2025139143A1 (zh) 一种数据存储系统、方法及服务器
CN216286659U (zh) 一种基于国产化vpx架构高速数据处理设备
CN207833500U (zh) 一种支持非标准接口的40g速率网卡
CN216352292U (zh) 服务器主板及服务器
CN116126761A (zh) 一种多控制器共享串口的主控系统
CN210324198U (zh) 嵌入式核心板和设备
CN108959165A (zh) 一种gpu整机柜集群的管理系统
CN209265223U (zh) 一种支持二次开发的串/并转化的接口处理板卡
TWI597958B (zh) 遠程式控制系統
CN221927110U (zh) 一种处理器、高速io系统及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination