CN114546913B - 一种基于pcie接口的多主机之间数据高速交互的方法和装置 - Google Patents
一种基于pcie接口的多主机之间数据高速交互的方法和装置 Download PDFInfo
- Publication number
- CN114546913B CN114546913B CN202210074127.2A CN202210074127A CN114546913B CN 114546913 B CN114546913 B CN 114546913B CN 202210074127 A CN202210074127 A CN 202210074127A CN 114546913 B CN114546913 B CN 114546913B
- Authority
- CN
- China
- Prior art keywords
- host
- data
- memory
- pcie
- address
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000000977 initiatory effect Effects 0.000 claims abstract description 19
- 230000004044 response Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 101150043088 DMA1 gene Proteins 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
- G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/382—Information transfer, e.g. on bus using universal interface adapter
- G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
- G06F13/4204—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
- G06F13/4221—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F2213/0026—PCI express
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bus Control (AREA)
Abstract
本发明提供一种基于PCIE接口的多主机之间数据高速交互的方法、系统、设备和存储介质，方法包括：将芯片中不同的直接存储器访问连接到对应主机的PCIe根端口；响应于第一主机向第二主机进行数据交互，通过所述第一主机对应的直接存储器访问发起读请求从所述第一主机的数据源地址内存中读出要发送到所述第二主机的数据；响应于所述第一主机对应的直接存储器接收到所述数据，发起写请求到本地虚拟内存地址空间中；以及响应于所述写请求经过重映射模块，将虚拟地址转换为所述第二主机接收数据的内存物理地址，并根据所述内存物理地址将所述数据发送到所述第二主机。本发明扩展本地高速PCIe接口资源，便捷实现多个PCIe主设备数据交互。
Description
技术领域
本发明涉及服务器应用领域，更具体地，特别是指一种基于PCIE接口的多主机之间数据高速交互的方法、系统、设备和存储介质。
背景技术
随着服务器应用领域的不断发展，高端服务器的应用需求已经进入了一个重要阶段。复杂的体系结构支持高端服务器系统实现高性能指标即高安全性、高可用性、高可靠性等特点。其中，BMC(Baseboard Management Controller，基板管理控制器)作为服务器的带外监控管理核心处理系统，对于服务器系统的稳定运行，维护，管理，系统升级，远程监控等功能都具备不可取代的作用。
随着服务器系统复杂度和性能的不断提升，对于BMC带外管理系统的资源需求也越来越高，BMC管理下多路处理器的数据高速交换的需求也越来越高。但是另一方面，服务器系统的高速PCIe(Peripheral Component Interconnect Express，外围组件互连快速)接口资源受处理器规模和成本的限制，很难有较大数量的提升，因此需要通过BMC本地功能扩展提供额外的高速数据交换能力。
当前使用的本地扩展交换芯片一方面会增加额外的设计和采购成本，另一方面只能提供本地PCIe接口，且处理器只能作为PCIe主设备而无法作为终端存在，因此两个处理器无法通过PCIe接口直接进行数据交互。
发明内容
有鉴于此，本发明实施例的目的在于提出一种基于PCIE接口的多主机之间数据高速交互的方法、系统、计算机设备及计算机可读存储介质，本发明两个主机的PCIe root(根)接口可以直接通过PCIe高速接口互联进行数据通信交互，由于PCIe的高带宽和低延迟特性，同时能够有效保证效率和带宽，从而极大的保证和提升了应用在多个主机设备上共享数据运行的性能；通过DMA(Direct Memory Access，直接存储器存取)重映射功能，实现了两个PCIe root接口的互联，从而为服务器高速接口互联提供了一种新的互联解决方式，为服务器高速互联拓扑提供了一种新的架构和思路。
基于上述目的，本发明实施例的一方面提供了一种基于PCIE接口的多主机之间数据高速交互的方法，包括如下步骤：将芯片中不同的直接存储器访问连接到对应主机的PCIe根端口；响应于第一主机向第二主机进行数据交互，通过所述第一主机对应的直接存储器访问发起读请求从所述第一主机的数据源地址内存中读出要发送到所述第二主机的数据；响应于所述第一主机对应的直接存储器接收到所述数据，发起写请求到本地虚拟内存地址空间中；以及响应于所述写请求经过重映射模块，将虚拟地址转换为所述第二主机接收数据的内存物理地址，并根据所述内存物理地址将所述数据发送到所述第二主机。
在一些实施方式中，所述通过所述第一主机对应的直接存储器访问发起读请求从所述第一主机的数据源地址内存中读出要发送到所述第二主机的数据包括：将要发送到所述第二主机的数据写入内存约定的地址块中，并向芯片发送写入信号；以及响应于芯片接收到写入信号，在所述第一主机对应的直接存储器访问中产生读请求。
在一些实施方式中，所述根据所述内存物理地址将所述数据发送到所述第二主机包括：安装PCIe协议的内存写请求格式，将包含所述内存物理地址和所述数据的PCIe格式包发送给所述第二主机的数据选择器；以及数据选择器对来自所述第二主机的直接存储器访问的读请求和来自所述第一主机的重映射模块的写请求进行调度后经过PCIe链路发送到所述第二主机的内存。
在一些实施方式中，所述方法还包括：响应于所述数据写入所述第二主机，所述第二主机的数据选择器发送信息请求到所述第二主机以通知所述第二主机内存已写入来自所述第一主机的数据；以及响应于读取接收到所述信息请求，所述第二主机应用层读取内存中的所述数据。
本发明实施例的另一方面，提供了一种基于PCIE接口的多主机之间数据高速交互的系统，包括：连接模块，配置用于将芯片中不同的直接存储器访问连接到对应主机的PCIe根端口；读请求模块，配置用于响应于第一主机向第二主机进行数据交互，通过所述第一主机对应的直接存储器访问发起读请求从所述第一主机的数据源地址内存中读出要发送到所述第二主机的数据；写请求模块，配置用于响应于所述第一主机对应的直接存储器接收到所述数据，发起写请求到本地虚拟内存地址空间中；以及执行模块，配置用于响应于所述写请求经过重映射模块，将虚拟地址转换为所述第二主机接收数据的内存物理地址，并根据所述内存物理地址将所述数据发送到所述第二主机。
在一些实施方式中，所述读请求模块配置用于：将要发送到所述第二主机的数据写入内存约定的地址块中，并向芯片发送写入信号；以及响应于芯片接收到写入信号，在所述第一主机对应的直接存储器访问中产生读请求。
在一些实施方式中，所述执行模块配置用于：安装PCIe协议的内存写请求格式，将包含所述内存物理地址和所述数据的PCIe格式包发送给所述第二主机的数据选择器；以及数据选择器对来自所述第二主机的直接存储器访问的读请求和来自所述第一主机的重映射模块的写请求进行调度后经过PCIe链路发送到所述第二主机的内存。
在一些实施方式中，所述系统还包括读取模块，配置用于：响应于所述数据写入所述第二主机，所述第二主机的数据选择器发送信息请求到所述第二主机以通知所述第二主机内存已写入来自所述第一主机的数据；以及响应于读取接收到所述信息请求，所述第二主机应用层读取内存中的所述数据。
本发明实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。
本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
本发明具有以下有益技术效果：两个主机的PCIe root接口可以直接通过PCIe高速接口互联进行数据通信交互，由于PCIe的高带宽和低延迟特性，同时能够有效保证效率和带宽，从而极大的保证和提升了应用在多个主机设备上共享数据运行的性能；通过DMA重映射功能，实现了两个PCIe root接口的互联，从而为服务器高速接口互联提供了一种新的互联解决方式，为服务器高速互联拓扑提供了一种新的架构和思路；本发明实施例既可以灵活的嵌入到当前主机系统中BMC芯片中，也可以应用于智能网卡或者别的系统中存在的设备上，还可以以独立的芯片或者可编程逻辑器件的形式应用在主机系统中。完全可以根据应用需求而定，不需要额外专门增加一个价格昂贵桥接芯片完成PCIe设备的高速互联。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明提供的基于PCIE接口的多主机之间数据高速交互的方法的实施例的示意图；
图2为现有技术的系统架构图；
图3为本发明实施例的系统架构图；
图4为本发明提供的基于PCIE接口的多主机之间数据高速交互的系统的实施例的示意图；
图5为本发明提供的基于PCIE接口的多主机之间数据高速交互的计算机设备的实施例的硬件结构示意图；
图6为本发明提供的基于PCIE接口的多主机之间数据高速交互的计算机存储介质的实施例的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明实施例的第一个方面，提出了一种基于PCIE接口的多主机之间数据高速交互的方法的实施例。图1示出的是本发明提供的基于PCIE接口的多主机之间数据高速交互的方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：
S1、将芯片中不同的直接存储器访问连接到对应主机的PCIe根端口；
S2、响应于第一主机向第二主机进行数据交互，通过所述第一主机对应的直接存储器访问发起读请求从所述第一主机的数据源地址内存中读出要发送到所述第二主机的数据；
S3、响应于所述第一主机对应的直接存储器接收到所述数据，发起写请求到本地虚拟内存地址空间中；以及
S4、响应于所述写请求经过重映射模块，将虚拟地址转换为所述第二主机接收数据的内存物理地址，并根据所述内存物理地址将所述数据发送到所述第二主机。
当前使用的PCIe接口进行高速数据交互的通用解决方案是采用PCIe终端设备交互内存信息的中介，与多个主机端的PCIe接口的数据进行缓存交互：如图2所示，两个主机服务器通过各自的root接口连接到芯片上的PCIe ep端口，通过芯片上的dma引擎与server0和server1进行数据通信，dma引擎将数据从server0的内存搬运到芯片下面内存总线接口下挂载的ddr存储中，完成一次dma操作，实现了将server0的数据读出；dma引擎再发起一次dma操作将ddr(Double Data Rate，双倍数据速率)内存中搬运过来的来自于server0的数据搬运到server1的内存中，实现了将ddr中数据写入到server1的内存。通过以上两步dma的操作，可以完成server0数据到server1数据的搬移。同样，反过来进行两次dma操作也能够实现server1内存数据到server0内存数据的搬移操作。
该方案采用的是标准PCIe协议所定义的PCIe交互规则，PCIe接口在主机server上只能作为root存在，因此dma引擎需要进行2次搬移才能够将数据从一台服务器搬运到另一台服务器的内存中，多次dma搬运增加了数据传输的延时，降低了数据传输效率。该方案需要在chip(芯片)下额外增加一块ddr内存，增加了此功能实现成本，增大了功能实现的开销资源；同时，需要通过ddr接口进行写和读两次片外操作，会大幅度增加数据搬运过程中的延时。在当今服务器更广泛的应用于云计算的场景下，PCIe设备(例如GPU)往往为很多应用所需要，当一个Server主机下的数据需要快速传输到另一台服务器使用时，巨大的数据量和延时开销的增加都会大幅度降低应用的性能，与此同时，使用到的片外资源(ddr)成本也是巨大的。采用此种方案无法满足应用的需求，也无法承担成本上的巨大消耗，大幅度降低了产品的市场有效竞争力。
本发明实施例既能够使用PCIe进行互联，又不改变PCIe多个服务器root端口的设定，还能够不使用额外的DDR存储介质。本发明实施例可以灵活的使用PCIe root端口进行互联，从一个服务器的内存中直接搬移数据到另外一个服务器的内存之中，从而大幅度减少了搬运数据的延时，并且减少了整个功能实现的互联复杂度。本发明实施例，可以直接应用于主机系统的BMC芯片中，从而可以大幅度降低额外使用交换芯片的高昂成本。
将芯片中不同的直接存储器访问连接到对应主机的PCIe根端口。
图3为本发明实施例的系统架构图，如图3所示，Server0和Server1分别通过PCIe的root端口与芯片相连接，由芯片中的DMA功能来实现数据从Server0内存到Server1内存的搬移功能。芯片中的DMA0与主机服务器Server0通过PCIe接口相连接到Server0上的PCIe根端口(root0)，芯片中的DMA1与主机服务器Server1通过PCIe接口相连接到Server1上的PCIe根端口(root1)。芯片中的此功能(两主机内存数据交互通信)不需要再额外添加存储介质在芯片上。本发明实施例中以Server0和Server1两个主机进行说明，但这并不是对主机数量的限制，其他实施例中可以设置其他数量的主机。
EP0接口与Server0相连接，负责传输Server0中的数据，EP1接口与Server1相连接，负责传输Server1中的数据。DMA0和DMA1分别作为读写内存中数据的引擎，通过各自连接的Server0和Server1端口，发起符合PCIe协议标准的内存读请求，获取到对应服务器主机内存中的数据后，再发起写请求到本地虚拟内存地址空间中。当写数据请求经过Remap0和Remap1模块时，DMA0和DMA1所写入数据的地址会被此模块通过重映射功能，将地址修改为另外一个服务器内部存储地址，并通过图二中的电路构成与另外一个DMA引擎的数据通路复用到另外一个PCIe接口，最终将数据写入到另外一个服务器主机的内存中。Remap0和Remap1均是重映射模块。
响应于第一主机向第二主机进行数据交互，通过所述第一主机对应的直接存储器访问发起读请求从所述第一主机的数据源地址内存中读出要发送到所述第二主机的数据。例如，Server0到Server1的数据通信交互：Server0将自己要发送到Server1的数据写入本地服务器内存约定的地址块中，并通过配置芯片上约定的寄存器告知芯片，数据已经写入自己的指定内存中，准备好要被读出发送到Server1。
在一些实施方式中，所述通过所述第一主机对应的直接存储器访问发起读请求从所述第一主机的数据源地址内存中读出要发送到所述第二主机的数据包括：将要发送到所述第二主机的数据写入内存约定的地址块中，并向芯片发送写入信号；以及响应于芯片接收到写入信号，在所述第一主机对应的直接存储器访问中产生读请求。
响应于所述第一主机对应的直接存储器接收到所述数据，发起写请求到本地虚拟内存地址空间中。芯片检测通知寄存器得到主机写入信号后，通过DMA0发起读请求，从Server0中的数据源地址内存中读出要发送到的Server1的数据。DMA0收到数据后，将数据连续写入设定的虚拟地址内存中，虚拟地址随数据连续递增。
响应于所述写请求经过重映射模块，将虚拟地址转换为所述第二主机接收数据的内存物理地址，并根据所述内存物理地址将所述数据发送到所述第二主机。
在一些实施方式中，所述根据所述内存物理地址将所述数据发送到所述第二主机包括：安装PCIe协议的内存写请求格式，将包含所述内存物理地址和所述数据的PCIe格式包发送给所述第二主机的数据选择器；以及数据选择器对来自所述第二主机的直接存储器访问的读请求和来自所述第一主机的重映射模块的写请求进行调度后经过PCIe链路发送到所述第二主机的内存。写请求的地址和数据从DMA0发送到Remap0，Remap0根据Server1中初始化配置的接收数据的内存地址空间设定，将虚拟地址转换为Server1中接收数据的内存物理地址，然后安装PCIe协议的内存写请求格式，将包含地址和数据的PCIe格式包发往Mux1模块。Mux0和Mux1分别是第一主机和第二主机的数据选择器。Mux1模块对来自DMA1的数据读请求和来之Remap0的数据写请求进行调度后发往EP1端口，经过PCIe链路到达Server1的root1端口，最终写入Server1的内存。
在一些实施方式中，所述方法还包括：响应于所述数据写入所述第二主机，所述第二主机的数据选择器发送信息请求到所述第二主机以通知所述第二主机内存已写入来自所述第一主机的数据；以及响应于读取接收到所述信息请求，所述第二主机应用层读取内存中的所述数据。写入完成后，Mux发送MSI或者MSI-X Message请求到Server1，通知Server1内存中已经写入来自Server0的数据，Server1应用层读取内存中数据，完成数据从Srver0到Server1的发送。
与上面描述的Server0到Server1的操作对应的反向操作，就能实现将Server1中的数据写入Server0的内存中。Server0与Server1的读写内存空间独立，互不干扰，从而可以实现读写数据全双工的并行交互。Server0可以向Server1发送数据的同时，接收Server1发送给Server0的数据。
本发明实施例两个主机的PCIe root接口可以直接通过PCIe高速接口互联进行数据通信交互，由于PCIe的高带宽和低延迟特性，同时能够有效保证效率和带宽，从而极大的保证和提升了应用在多个主机设备上共享数据运行的性能。本发明实施例中通过DMA重映射功能，实现了两个PCIe root接口的互联，从而为服务器高速接口互联提供了一种新的互联解决方式，为服务器高速互联拓扑提供了一种新的架构和思路。本发明实施例既可以灵活的嵌入到当前主机系统中BMC芯片中，也可以应用与智能网卡或者别的系统中存在的设备上，还可以以独立的芯片或者可编程逻辑器件的形式应用在主机系统中。完全可以根据应用需求而定，不需要额外专门增加一个价格昂贵桥接芯片完成PCIe设备的高速互联。
本发明不局限于多个服务器之间，也可以适用于其他任何具有PCIe root接口的主设备之间的数据通信，本发明重定向的目的地址可以是其他服务器的内存，也可以是其他设备的内存，比如GPU(Graphics Processing Unit图形处理器)或者cache(缓存)。连接的端口也不只是局限于PCIe接口，也可以是其他具备高带宽的数据接口。本发明实施例中的服务器数量、接口数量、互联互通的地址空间数量都是可以根据实际需要动态扩展的。
需要特别指出的是，上述基于PCIE接口的多主机之间数据高速交互的方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于基于PCIE接口的多主机之间数据高速交互的方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在实施例之上。
基于上述目的，本发明实施例的第二个方面，提出了一种基于PCIE接口的多主机之间数据高速交互的系统。如图4所示，系统200包括如下模块：连接模块，配置用于将芯片中不同的直接存储器访问连接到对应主机的PCIe根端口；读请求模块，配置用于响应于第一主机向第二主机进行数据交互，通过所述第一主机对应的直接存储器访问发起读请求从所述第一主机的数据源地址内存中读出要发送到所述第二主机的数据；写请求模块，配置用于响应于所述第一主机对应的直接存储器接收到所述数据，发起写请求到本地虚拟内存地址空间中；以及执行模块，配置用于响应于所述写请求经过重映射模块，将虚拟地址转换为所述第二主机接收数据的内存物理地址，并根据所述内存物理地址将所述数据发送到所述第二主机。
在一些实施方式中，所述读请求模块配置用于：将要发送到所述第二主机的数据写入内存约定的地址块中，并向芯片发送写入信号；以及响应于芯片接收到写入信号，在所述第一主机对应的直接存储器访问中产生读请求。
在一些实施方式中，所述执行模块配置用于：安装PCIe协议的内存写请求格式，将包含所述内存物理地址和所述数据的PCIe格式包发送给所述第二主机的数据选择器；以及数据选择器对来自所述第二主机的直接存储器访问的读请求和来自所述第一主机的重映射模块的写请求进行调度后经过PCIe链路发送到所述第二主机的内存。
在一些实施方式中，所述系统还包括读取模块，配置用于：响应于所述数据写入所述第二主机，所述第二主机的数据选择器发送信息请求到所述第二主机以通知所述第二主机内存已写入来自所述第一主机的数据；以及响应于读取接收到所述信息请求，所述第二主机应用层读取内存中的所述数据。
基于上述目的，本发明实施例的第三个方面，提出了一种计算机设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行以实现如下步骤：S1、将芯片中不同的直接存储器访问连接到对应主机的PCIe根端口；S2、响应于第一主机向第二主机进行数据交互，通过所述第一主机对应的直接存储器访问发起读请求从所述第一主机的数据源地址内存中读出要发送到所述第二主机的数据；S3、响应于所述第一主机对应的直接存储器接收到所述数据，发起写请求到本地虚拟内存地址空间中；以及S4、响应于所述写请求经过重映射模块，将虚拟地址转换为所述第二主机接收数据的内存物理地址，并根据所述内存物理地址将所述数据发送到所述第二主机。
在一些实施方式中，所述通过所述第一主机对应的直接存储器访问发起读请求从所述第一主机的数据源地址内存中读出要发送到所述第二主机的数据包括：将要发送到所述第二主机的数据写入内存约定的地址块中，并向芯片发送写入信号；以及响应于芯片接收到写入信号，在所述第一主机对应的直接存储器访问中产生读请求。
在一些实施方式中，所述根据所述内存物理地址将所述数据发送到所述第二主机包括：安装PCIe协议的内存写请求格式，将包含所述内存物理地址和所述数据的PCIe格式包发送给所述第二主机的数据选择器；以及数据选择器对来自所述第二主机的直接存储器访问的读请求和来自所述第一主机的重映射模块的写请求进行调度后经过PCIe链路发送到所述第二主机的内存。
在一些实施方式中，所述步骤还包括：响应于所述数据写入所述第二主机，所述第二主机的数据选择器发送信息请求到所述第二主机以通知所述第二主机内存已写入来自所述第一主机的数据；以及响应于读取接收到所述信息请求，所述第二主机应用层读取内存中的所述数据。
如图5所示，为本发明提供的上述基于PCIE接口的多主机之间数据高速交互的计算机设备的一个实施例的硬件结构示意图。
以如图5所示的装置为例，在该装置中包括一个处理器301以及一个存储器302。
处理器301和存储器302可以通过总线或者其他方式连接，图5中以通过总线连接为例。
存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的基于PCIE接口的多主机之间数据高速交互的方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现基于PCIE接口的多主机之间数据高速交互的方法。
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基于PCIE接口的多主机之间数据高速交互的方法的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个基于PCIE接口的多主机之间数据高速交互的方法对应的计算机指令303存储在存储器302中，当被处理器301执行时，执行上述任意方法实施例中的基于PCIE接口的多主机之间数据高速交互的方法。
执行上述基于PCIE接口的多主机之间数据高速交互的方法的计算机设备的任何一个实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时执行基于PCIE接口的多主机之间数据高速交互的方法的计算机程序。
如图6所示，为本发明提供的上述基于PCIE接口的多主机之间数据高速交互的计算机存储介质的一个实施例的示意图。以如图6所示的计算机存储介质为例，计算机可读存储介质401存储有被处理器执行时执行如上方法的计算机程序402。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，基于PCIE接口的多主机之间数据高速交互的方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (8)
1.一种基于PCIE接口的多主机之间数据高速交互的方法，其特征在于，包括如下步骤：
将芯片中不同的直接存储器访问连接到对应主机的PCIe根端口；
响应于第一主机向第二主机进行数据交互，通过所述第一主机对应的直接存储器访问发起读请求从所述第一主机的数据源地址内存中读出要发送到所述第二主机的数据；
响应于所述第一主机对应的直接存储器接收到数据，发起写请求到本地虚拟内存地址空间中；以及
响应于所述写请求经过重映射模块，将虚拟地址转换为所述第二主机接收数据的内存物理地址，并根据所述内存物理地址将数据发送到所述第二主机；
所述根据所述内存物理地址将数据发送到所述第二主机包括：
安装PCIe协议的内存写请求格式，将包含所述内存物理地址和数据的PCIe格式包发送给所述第二主机的数据选择器；以及
数据选择器对来自所述第二主机的直接存储器访问的读请求和来自所述第一主机的重映射模块的写请求进行调度后经过PCIe链路发送到所述第二主机的内存。
2. 根据权利要求1所述的方法，其特征在于，所述通过所述第一主机对应的直接存储器访问发起读请求从所述第一主机的数据源地址内存中读出要发送到所述第二主机的数据包括：
将要发送到所述第二主机的数据写入内存约定的地址块中，并向芯片发送写入信号；以及
响应于芯片接收到写入信号，在所述第一主机对应的直接存储器访问中产生读请求。
3. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于数据写入所述第二主机，所述第二主机的数据选择器发送信息请求到所述第二主机以通知所述第二主机内存已写入来自所述第一主机的数据；以及
响应于读取接收到所述信息请求，所述第二主机应用层读取内存中的数据。
4.一种基于PCIE接口的多主机之间数据高速交互的系统，其特征在于，包括：
连接模块，配置用于将芯片中不同的直接存储器访问连接到对应主机的PCIe根端口；
读请求模块，配置用于响应于第一主机向第二主机进行数据交互，通过所述第一主机对应的直接存储器访问发起读请求从所述第一主机的数据源地址内存中读出要发送到所述第二主机的数据；
写请求模块，配置用于响应于所述第一主机对应的直接存储器接收到数据，发起写请求到本地虚拟内存地址空间中；以及
执行模块，配置用于响应于所述写请求经过重映射模块，将虚拟地址转换为所述第二主机接收数据的内存物理地址，并根据所述内存物理地址将数据发送到所述第二主机；
所述执行模块配置用于：
安装PCIe协议的内存写请求格式，将包含所述内存物理地址和数据的PCIe格式包发送给所述第二主机的数据选择器；以及
数据选择器对来自所述第二主机的直接存储器访问的读请求和来自所述第一主机的重映射模块的写请求进行调度后经过PCIe链路发送到所述第二主机的内存。
5. 根据权利要求4所述的系统，其特征在于，所述读请求模块配置用于：
将要发送到所述第二主机的数据写入内存约定的地址块中，并向芯片发送写入信号；以及
响应于芯片接收到写入信号，在所述第一主机对应的直接存储器访问中产生读请求。
6. 根据权利要求4所述的系统，其特征在于，所述系统还包括读取模块，配置用于：
响应于数据写入所述第二主机，所述第二主机的数据选择器发送信息请求到所述第二主机以通知所述第二主机内存已写入来自所述第一主机的数据；以及
响应于读取接收到所述信息请求，所述第二主机应用层读取内存中的数据。
7. 一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-3任意一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-3任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210074127.2A CN114546913B (zh) | 2022-01-21 | 2022-01-21 | 一种基于pcie接口的多主机之间数据高速交互的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210074127.2A CN114546913B (zh) | 2022-01-21 | 2022-01-21 | 一种基于pcie接口的多主机之间数据高速交互的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114546913A CN114546913A (zh) | 2022-05-27 |
| CN114546913B true CN114546913B (zh) | 2024-05-28 |
Family
ID=81670850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210074127.2A Active CN114546913B (zh) | 2022-01-21 | 2022-01-21 | 一种基于pcie接口的多主机之间数据高速交互的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114546913B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115374046B (zh) * | 2022-10-21 | 2023-03-14 | 山东云海国创云计算装备产业创新中心有限公司 | 一种多处理器数据交互方法、装置、设备及存储介质 |
| CN115543894B (zh) * | 2022-11-30 | 2023-05-26 | 苏州浪潮智能科技有限公司 | 存储系统、数据处理方法及装置、存储介质及电子设备 |
| CN115599729B (zh) * | 2022-12-13 | 2023-04-25 | 南京芯驰半导体科技有限公司 | 一种中央处理器基于PCIe读写数据系统及方法 |
| CN116627867B (zh) * | 2023-07-25 | 2023-11-03 | 苏州浪潮智能科技有限公司 | 数据交互系统、方法、大规模运算处理方法、设备及介质 |
| CN116932229B (zh) * | 2023-09-13 | 2023-12-12 | 新华三信息技术有限公司 | 一种内存分配方法、装置、网络管理器及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10198299B1 (en) * | 2017-10-30 | 2019-02-05 | Vmware, Inc. | Enabling live migration of virtual machines with passthrough PCI devices |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7613847B2 (en) * | 2006-05-16 | 2009-11-03 | Hewlett-Packard Development Company, L.P. | Partially virtualizing an I/O device for use by virtual machines |
| US9734096B2 (en) * | 2013-05-06 | 2017-08-15 | Industrial Technology Research Institute | Method and system for single root input/output virtualization virtual functions sharing on multi-hosts |
| KR20180041037A (ko) * | 2016-10-13 | 2018-04-23 | 삼성전자주식회사 | 멀티 코어 솔리드 스테이트 드라이브의 공유 분산 메모리 관리 방법 |
| US10489881B2 (en) * | 2017-06-30 | 2019-11-26 | H3 Platform Inc. | Direct memory access for co-processor memory |
| US10754802B2 (en) * | 2019-01-09 | 2020-08-25 | Intel Corporation | Dynamically remapping in-process data transfers |
| US11386028B2 (en) * | 2019-03-29 | 2022-07-12 | Teledyne Lecroy, Inc. | Method to test direct memory access (DMA) address capabilities at high address values |
| US11392528B2 (en) * | 2019-10-25 | 2022-07-19 | Cigaio Networks, Inc. | Methods and apparatus for DMA engine descriptors for high speed data systems |
-
2022
- 2022-01-21 CN CN202210074127.2A patent/CN114546913B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10198299B1 (en) * | 2017-10-30 | 2019-02-05 | Vmware, Inc. | Enabling live migration of virtual machines with passthrough PCI devices |
Non-Patent Citations (2)
| Title |
|---|
| 《基于视频编解码的可重构处理器存储系统设计》;戴鹏;《深圳大学学报(理工版)》;第30卷(第2期);150-156 * |
| <可重构高速数据加密系统设计和实现>;王 凯;<《电 子 测 量 技 术》>;第44卷(第19期);8-15 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114546913A (zh) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114546913B (zh) | 一种基于pcie接口的多主机之间数据高速交互的方法和装置 | |
| US9430432B2 (en) | Optimized multi-root input output virtualization aware switch | |
| CN106648896B (zh) | 一种Zynq芯片在异构称多处理模式下双核共享输出外设的方法 | |
| CN114385534B (zh) | 一种数据处理的方法及装置 | |
| US12034604B2 (en) | MQTT protocol simulation method and simulation device | |
| CN106844263B (zh) | 一种基于可配置的多处理器计算机系统及实现方法 | |
| JP2017537404A (ja) | メモリアクセス方法、スイッチ、およびマルチプロセッサシステム | |
| CN112199309B (zh) | 基于dma引擎的数据读取方法、装置和数据传输系统 | |
| US9116881B2 (en) | Routing switch apparatus, network switch system, and routing switching method | |
| CN107209725A (zh) | 处理写请求的方法、处理器和计算机 | |
| CN115374046B (zh) | 一种多处理器数据交互方法、装置、设备及存储介质 | |
| CN117591450B (zh) | 一种数据处理系统、方法、设备及介质 | |
| JP2009282917A (ja) | サーバ間通信機構及びコンピュータシステム | |
| KR20050080704A (ko) | 프로세서간 데이터 전송 장치 및 방법 | |
| CN116204448A (zh) | 一种多端口固态硬盘及其控制方法、装置、介质、服务器 | |
| CN114238156A (zh) | 处理系统以及操作处理系统的方法 | |
| CN116601616A (zh) | 一种数据处理装置、方法及相关设备 | |
| CN115827532B (zh) | 一种PCIe HBA IOC内部总线网络互联方法 | |
| US8054857B2 (en) | Task queuing methods and systems for transmitting frame information over an I/O interface | |
| CN115529275B (zh) | 一种报文处理系统及方法 | |
| CN221768064U (zh) | 一种基于FPGA实现PCIE与RapidIO协议互联的系统 | |
| CN113722110B (zh) | 计算机系统、内存访问方法及设备 | |
| US11537539B2 (en) | Acceleration of data between a network and local I/O in a NUMA system | |
| US20240311217A1 (en) | Data transmission method, computing device, and computing system | |
| CN107911414B (zh) | 数据存取系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240710 Address after: 2324, Building 1, Aosheng Building, No. 1166 Xinluo Street, High tech Zone, Jinan City, Shandong Province, 250000 Patentee after: Inspur Computer Technology Co.,Ltd. Country or region after: China Address before: 250000 floor 35, S01 building, Inspur Science Park, 1036 Inspur Road, Jinan area, China (Shandong) pilot Free Trade Zone, Jinan, Shandong Province Patentee before: Shandong Yunhai guochuang cloud computing equipment industry innovation center Co.,Ltd. Country or region before: China |