CN109032982A - 一种数据处理方法、装置、设备、系统、fpga板卡及其组合 - Google Patents

一种数据处理方法、装置、设备、系统、fpga板卡及其组合 Download PDF

Info

Publication number
CN109032982A
CN109032982A CN201810871133.4A CN201810871133A CN109032982A CN 109032982 A CN109032982 A CN 109032982A CN 201810871133 A CN201810871133 A CN 201810871133A CN 109032982 A CN109032982 A CN 109032982A
Authority
CN
China
Prior art keywords
fpga board
vfpga
data
data processing
fpga
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810871133.4A
Other languages
English (en)
Inventor
张闯
陈继承
阚宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810871133.4A priority Critical patent/CN109032982A/zh
Publication of CN109032982A publication Critical patent/CN109032982A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multi Processors (AREA)

Abstract

本发明实施例公开了一种数据处理方法、装置、设备、计算机可读存储介质、系统、FPGA板卡及其组合。其中，FPGA板卡包括通过内部总线相连的多个vFPGA单元；每个vFPGA单元均包括内存单元，且唯一对应一个标识信息；各vFPGA单元用于单独执行计算任务。本申请提供的技术方案的优点在于，将FPGA板卡以更小粒度划分为多个vFPGA单元，各vFPGA单元单独执行计算任务，即每个vFPGA单元为FPGA板卡上的最小运算单位，从而解决了FPGA板卡作为一个整体单位进行计算资源的划分和调度导致的资源无法充分的利用和发挥的弊端，有效的提升了FPGA板卡的资源利用率；FPGA板卡计算资源池化以更小维度进行，有利于提升整个系统的伸缩性和扩展性。

Description

一种数据处理方法、装置、设备、系统、FPGA板卡及其组合
技术领域
本发明实施例涉及FPGA加速板卡技术领域，特别是涉及一种数据处理方法、装置、设备、系统、计算机可读存储介质、FPGA板卡及其组合。
背景技术
FPGA(Field-Programmable Gate Array，现场可编程门阵列)为在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物，是一种新型的异构计算平台加速器件，由可编程的逻辑块和互联网络组成，可在不同逻辑下执行多个线程，实现流水线并行处理，具有较强的并行处理能力。FPGA在大数据处理领域具有诸多优势，如采用流水线方式实现并行计算、低功耗、动态可重构等。
随着云计算、大数据的快速发展，在FPGA加速云中，FPGA板卡作为一个整体单位进行计算资源的划分和调度，当FPGA板卡有限，而需要调用的FPGA个数较多时，尽管每个FPGA板卡上的资源仍有剩余，但是FPGA为整体单位，导致FPGA计算资源得不到充分的利用和发挥，无法满足现实需求，整个系统的伸缩性和扩展性也较差。
发明内容
本发明实施例的目的是提供一种数据处理方法、装置、设备、系统、计算机可读存储介质、FPGA板卡及其组合，有效的提高了FPGA计算资源的利用率，提升了系统的伸缩性和扩展性。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种FPGA板卡，包括通过内部总线相连的多个vFPGA单元；
每个vFPGA单元均包括内存单元，且唯一对应一个标识信息；
各vFPGA单元用于单独执行计算任务。
本发明实施例还提供了一种FPGA板卡组合，包括第一FPGA板卡和第二FPGA板卡；
所述第一FPGA板卡和所述第二FPGA板卡通过各自的MAC模块互联于网络，且通过各自MAC模块唯一对应的MAC地址进行识别，以实现板间数据的交互；
所述第一FPGA板卡和所述第二FPGA板卡均包括多个通过内部总线相连、用于单独执行计算任务的vFPGA单元；每个vFPGA单元均包括内存单元，且唯一对应一个标识信息。
可选的，所述第一FPGA板卡和第二FPGA板卡通过40G光纤网络光口互连。
本发明实施例另一方面提供了一种数据处理方法，基于FPGA板卡，包括：
获取FPGA板卡的MAC地址和各vFPGA的标识信息；
根据所述MAC地址判断待处理数据是否为所述FPGA板卡的数据；
若是，则根据各vFPGA的标识信息将所述待处理数据发送至所属的vFPGA进行数据处理；
若否，则将所述待处理处理发送至网络，以使相应的目标FPGA板卡对其进行数据处理；
其中，所述FPGA板卡包括多个通过内部总线相连、用于单独执行计算任务的vFPGA单元；每个vFPGA单元均包括内存单元，且唯一对应一个标识信息。
可选的，在所述将所述待处理处理发送至网络之后，还包括：
监测所述目标FPGA板卡对所述待处理数据的处理状态并反馈处理结果，所述处理结果包括处理完成和未完成。
本发明实施例还提供了一种数据处理装置，基于FPGA板卡，包括：
数据获取模块，用于获取FPGA板卡的MAC地址和各vFPGA的标识信息；
判断模块，用于根据所述MAC地址判断待处理数据是否为所述FPGA板卡的数据；
第一数据处理模块，用于当所述待处理数据为所述FPGA板卡的数据，则根据各vFPGA的标识信息将所述待处理数据发送至所属的vFPGA进行数据处理；
第二数据处理模块，用于当所述待处理数据不为所述FPGA板卡的数据，则将所述待处理处理发送至网络，以使相应的目标FPGA板卡对其进行数据处理；
其中，所述FPGA板卡包括多个通过内部总线相连、用于单独执行计算任务的vFPGA单元；每个vFPGA单元均包括内存单元，且唯一对应一个标识信息。
可选的，还包括监测模块，所述监测模块用于监测所述目标FPGA板卡对所述待处理数据的处理状态并反馈处理结果，所述处理结果包括处理完成和未完成。
本发明实施例还提供了一种数据处理设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述数据处理方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如前任一项所述数据处理方法的步骤。
本发明实施例最后还提供了一种数据处理系统，包括多个虚拟机、多个FPGA板卡与数据处理装置；
各FPGA板卡通过各自的MAC模块互联于网络，且通过各自MAC模块唯一对应的MAC地址进行识别，以实现板间数据的交互；
每个FPGA板卡包括多个通过内部总线相连、用于单独分配给虚拟机执行计算任务的vFPGA单元；每个vFPGA单元均包括内存单元，且唯一对应一个标识信息；
所述数据处理装置用于根据MAC地址判断当前FPGA板卡接收的虚拟机数据是否为所述当前FPGA板卡的数据；若是，则根据各vFPGA的标识信息将所述虚拟机数据发送至所属的vFPGA进行数据处理；若否，则将所述虚拟机数据发送至网络，以使相应的目标FPGA板卡对其进行数据处理。
本发明实施例提供了一种FPGA板卡，包括通过内部总线相连的多个vFPGA单元；每个vFPGA单元均包括内存单元，且唯一对应一个标识信息；各vFPGA单元用于单独执行计算任务。本申请提供的技术方案的优点在于，将FPGA板卡以更小粒度划分为多个vFPGA单元，各vFPGA单元单独执行计算任务，每个vFPGA单元为FPGA板卡上的最小运算单位，从而解决了FPGA板卡作为一个整体单位进行计算资源的划分和调度导致的资源无法充分的利用和发挥的弊端，有效的提升了FPGA板卡的资源利用率；FPGA板卡计算资源池化以更小维度进行，有利于提升整个系统的伸缩性和扩展性。
此外，本发明实施例还提供了相应的数据处理方法、装置、设备计算机可读存储介质、系统及FPGA板卡组合，进一步使得所述FPGA板卡更具有实用性和可行性，所述数据处理方法、装置、设备计算机可读存储介质、系统及FPGA板卡组合具有相应的优点。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的FPGA板卡的一种具体实施方式结构图；
图2为本发明实施例提供的FPGA板卡组合的一种具体实施方式结构图；
图3为本发明实施例提供的一种数据处理方法的流程示意图；
图4为本发明实施例提供的另一种数据处理方法的流程示意图；
图5为本发明实施例提供的数据处理装置的一种具体实施方式结构图；
图6为本发明实施例提供的数据处理装置的另一种具体实施方式结构图；
图7为本发明实施例提供的数据处理系统的一种具体实施方式逻辑架构图；
图8为本发明实施例提供的数据处理系统的一种具体实施方式软件架构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图1，图1为本发明实施例提供的一种FPGA板卡在一种具体的实施方式下的结构示意图，本发明实施例可包括以下内容：
FPGA板卡可分为静态区和动态区。其中，动态区被划分为多个vFPGA单元，各vFPGA单元通过内部总线相连，每个vFPGA单元分配自己单独一块内存空间，以进行物理层面的隔离，从而保证数据的安全性。
每个vFPGA单元用于单独执行计算任务，也即可作为一个计算单位单独分配至虚拟机，执行运算任务。每个vFPGA单元唯一对应一个标识信息，从而在FPGA板卡中可通过vFPGA单元的标识信息唯一确定vFPGA单元，实现vFPGA单元的定位。
在静态区，FPGA板卡可包括PCIe(peripheral component interconnectexpress，高速串行计算机扩展总线标准)、QDMA(Quick DMA，快速存储器访问，多通道DMA)、Memory Controller(内存控制器，为计算机系统内部控制内存并且通过内存控制器使内存与CPU之间交换数据的重要组成部分)、MAC、Internal Routing等模块组成。PCIe和QDMA负责和主机内存数据的拷贝，Memory Controller控制FPGA板卡上内存的存取，InternalRouting控制数据的流向，用于将非本机的数据通过MAC模块发送到网络上，以及本机的数据交给相应vFPGA进行处理；MAC模块负责链路层数据包的接收，发送，数据包的拆包和打包。当然，还包括用于负责整块FPGA板卡的管理和配置的PF驱动。
MAC模块有唯一的MAC地址，这样可通过Mac地址和vFPGA单元的标识信息在整个网络中定位vFPGA。
由上可知，本发明实施例将FPGA板卡以更小粒度划分为多个vFPGA单元，各vFPGA单元单独执行计算任务，每个vFPGA单元为FPGA板卡上的最小运算单位，从而解决了FPGA板卡作为一个整体单位进行计算资源的划分和调度导致的资源无法充分的利用和发挥的弊端，有效的提升了FPGA板卡的资源利用率；FPGA板卡计算资源池化以更小维度进行，有利于提升整个系统的伸缩性和扩展性。
应用于大数据、云处理场景中，需要处理的数据较多，通常异构计算平台不仅仅增加一块FPGA板卡进行数据处理，而是多张FPGA板卡共同处理数据。鉴于此，基于上述实施例，本申请还提供了一种一种FPGA板卡组合，请参阅图2所示，具体可包括：
一种FPGA板卡组合可包括第一FPGA板卡21和第二FPGA板卡22；
第一FPGA板卡21和第二FPGA板卡22通过各自的MAC模块互联于网络，且通过各自MAC模块唯一对应的MAC地址进行识别，以实现板间数据的交互。
第一FPGA板卡21和第二FPGA板卡22均包括多个通过内部总线相连、用于单独执行计算任务的vFPGA单元；每个vFPGA单元均包括内存单元，且唯一对应一个标识信息。
可选的，第一FPGA板卡21和第二FPGA板卡22可均接入光纤网络中，即第一FPGA板卡21和第二FPGA板卡22可通过40G光纤网络光口互连。
FPGA板卡组合可包括多个FPGA板卡，多个FPGA板卡构成的网络中，可通过各自的MAC地址来唯一识别FPGA板卡，然后进一步的可通过各FPGA板卡中的标识信息确定vFPGA，整个网络可实现资源共享。举例来说，每个vFPGA可以单独分配到一个虚拟机里执行，板卡上vFPGA间通过内部总线互连，板卡间通过40G光口互连。这样每个虚拟机的数据可以达到网络中任意一块板卡vFPGA上，从而达到计算资源共享的目的。
由上可知，本发明实施例将多块FPGA卡通过网络互联，板卡vFPGA间通过内部总线互连，从横向维度和纵向维度，打通了计算通路，构造了板间和虚拟机间计算网络，实现了网络中的数据共享，有利于提升数据处理效率。
此外，本申请还提供了另外一个实施例，请参见图3，图3为本发明实施例提供的一种数据处理方法的流程示意图，本发明实施例可包括以下内容：
S301：获取FPGA板卡的MAC地址和各vFPGA的标识信息。
S302：根据MAC地址判断待处理数据是否为FPGA板卡的数据，若是，则执行S303，若否，则执行S304。
S303：根据各vFPGA的标识信息将待处理数据发送至所属的vFPGA进行数据处理。
S304：将待处理处理发送至网络，以使相应的目标FPGA板卡对其进行数据处理。
其中，FPGA板卡包括多个通过内部总线相连、用于单独执行计算任务的vFPGA单元；每个vFPGA单元均包括内存单元，且唯一对应一个标识信息。
当有数据到达FPGA板卡内部时，可根据该数据携带的地址信息和本板卡的mac地址进行对比以判断该数据是否为本FPGA板卡中待处理数据。对属于本FPGA板卡上的数据来言，进一步通过该数据中携带的地址信息和本板卡的各vFPGA的标识信息进行对比以判断所属的vFPGA。
在本发明实施例提供的技术方案中，将FPGA板卡以更小粒度划分为多个vFPGA单元，各vFPGA单元单独执行计算任务，每个vFPGA单元为FPGA板卡上的最小运算单位，从而解决了FPGA板卡作为一个整体单位进行计算资源的划分和调度导致的资源无法充分的利用和发挥的弊端，有效的提升了FPGA板卡的资源利用率；FPGA板卡计算资源池化以更小维度进行，有利于提升整个系统的伸缩性和扩展性。
具体的，当到达板卡内部的数据不为该板卡的数据时，通过该板卡mac模块将其发送至网络中，网络中相应的目标FPGA板卡进行接收处理，为了保证该数据被及时转发并处理，基于上述实施例，请参阅图4，还可包括：
S305：监测目标FPGA板卡对待处理数据的处理状态并反馈处理结果，处理结果包括处理完成和未完成。
在将数据转发出去后，可实时监测该数据的处理状态，并当该数据在预设时间内(例如10min)仍没有被处理，可及时反馈未被处理的信息，以及未完成处理的原因(已由目标FPGA板卡处理但失败；或是未及时被目标FPGA板卡处理)，以使用户及时发现问题，从而快速处理，提高数据处理效率。
本发明实施例还针对数据处理方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的数据处理装置进行介绍，下文描述的数据处理装置与上文描述的数据处理方法可相互对应参照。
参见图5，图5为本发明实施例提供的数据处理装置在一种具体实施方式下的结构图，该装置可包括：
数据获取模块501，用于获取FPGA板卡的MAC地址和各vFPGA的标识信息；
判断模块502，用于根据MAC地址判断待处理数据是否为FPGA板卡的数据；
第一数据处理模块503，用于当待处理数据为FPGA板卡的数据，则根据各vFPGA的标识信息将待处理数据发送至所属的vFPGA进行数据处理；
第二数据处理模块504，用于当待处理数据不为FPGA板卡的数据，则将待处理处理发送至网络，以使相应的目标FPGA板卡对其进行数据处理；
其中，FPGA板卡包括多个通过内部总线相连、用于单独执行计算任务的vFPGA单元；每个vFPGA单元均包括内存单元，且唯一对应一个标识信息。
可选的，在本实施例的一些实施方式中，请参阅图6，所述装置例如还可以包括监测模块505，所述监测模块505用于监测目标FPGA板卡对待处理数据的处理状态并反馈处理结果，所述处理结果包括处理完成和未完成。
本发明实施例所述数据处理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例有效的提高了FPGA计算资源的利用率，提升了系统的伸缩性和扩展性。
本发明实施例还提供了一种数据处理设备，具体可包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序以实现如上任意一实施例所述数据处理方法的步骤。
本发明实施例所述数据处理设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例有效的提高了FPGA计算资源的利用率，提升了系统的伸缩性和扩展性。
本发明实施例还提供了一种计算机可读存储介质，存储有数据处理程序，所述数据处理程序被处理器执行时如上任意一实施例所述数据处理方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例有效的提高了FPGA计算资源的利用率，提升了系统的伸缩性和扩展性。
本发明实施例还提供了一种数据处理系统，参见图7(图中，IOMMU为一直虚拟化技术，可以让虚拟机直接访问设备，KVM为基于Linux的一个虚拟机内核模块)，具体可包括：
一种数据处理系统可括多个虚拟机、多个FPGA板卡与数据处理装置。
各FPGA板卡通过各自的MAC模块互联于网络，且通过各自MAC模块唯一对应的MAC地址进行识别，以实现板间数据的交互。
每个FPGA板卡对应多个虚拟机，各FPGA板卡包括多个通过内部总线相连、用于单独分配给虚拟机执行计算任务的vFPGA单元；每个vFPGA单元均包括内存单元，且唯一对应一个标识信息。
数据处理装置用于根据MAC地址判断当前FPGA板卡接收的虚拟机数据是否为当前FPGA板卡的数据；若是，则根据各vFPGA的标识信息将虚拟机数据发送至所属的vFPGA进行数据处理；若否，则将虚拟机数据发送至网络，以使相应的目标FPGA板卡对其进行数据处理。
软件架构如图8所示，数据处理系统还可包括PF驱动，VF驱动，FMM模块构成。PF驱动负责整块FPGA设备的管理和配置，VF的配置和烧写由PF驱动控制；VF驱动是虚拟机中用户使用的驱动，供虚拟机客户操作设备；FMM模块是PF驱动之上管理层(例如客户端应用程序)，提供操控设备的接口。
本发明实施例所述数据处理系统的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例有效的提高了FPGA计算资源的利用率，构造了板间和虚拟机间计算网络，实现了网络资源共享，提升了系统的伸缩性和扩展性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种数据处理方法、装置、设备、计算机可读存储介质、系统、FPGA板卡及其组合进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种FPGA板卡，其特征在于，包括通过内部总线相连的多个vFPGA单元；
每个vFPGA单元均包括内存单元，且唯一对应一个标识信息；
各vFPGA单元用于单独执行计算任务。
2.一种FPGA板卡组合，其特征在于，包括第一FPGA板卡和第二FPGA板卡；
所述第一FPGA板卡和所述第二FPGA板卡通过各自的MAC模块互联于网络，且通过各自MAC模块唯一对应的MAC地址进行识别，以实现板间数据的交互；
所述第一FPGA板卡和所述第二FPGA板卡均包括多个通过内部总线相连、用于单独执行计算任务的vFPGA单元；每个vFPGA单元均包括内存单元，且唯一对应一个标识信息。
3.根据权利要求2所述的FPGA板卡组合，其特征在于，所述第一FPGA板卡和第二FPGA板卡通过40G光纤网络光口互连。
4.一种数据处理方法，其特征在于，基于FPGA板卡，包括：
获取FPGA板卡的MAC地址和各vFPGA的标识信息；
根据所述MAC地址判断待处理数据是否为所述FPGA板卡的数据；
若是，则根据各vFPGA的标识信息将所述待处理数据发送至所属的vFPGA进行数据处理；
若否，则将所述待处理处理发送至网络，以使相应的目标FPGA板卡对其进行数据处理；
其中，所述FPGA板卡包括多个通过内部总线相连、用于单独执行计算任务的vFPGA单元；每个vFPGA单元均包括内存单元，且唯一对应一个标识信息。
5.根据权利要求4所述的数据处理方法，其特征在于，在所述将所述待处理处理发送至网络之后，还包括：
监测所述目标FPGA板卡对所述待处理数据的处理状态并反馈处理结果，所述处理结果包括处理完成和未完成。
6.一种数据处理装置，其特征在于，基于FPGA板卡，包括：
数据获取模块，用于获取FPGA板卡的MAC地址和各vFPGA的标识信息；
判断模块，用于根据所述MAC地址判断待处理数据是否为所述FPGA板卡的数据；
第一数据处理模块，用于当所述待处理数据为所述FPGA板卡的数据，则根据各vFPGA的标识信息将所述待处理数据发送至所属的vFPGA进行数据处理；
第二数据处理模块，用于当所述待处理数据不为所述FPGA板卡的数据，则将所述待处理处理发送至网络，以使相应的目标FPGA板卡对其进行数据处理；
其中，所述FPGA板卡包括多个通过内部总线相连、用于单独执行计算任务的vFPGA单元；每个vFPGA单元均包括内存单元，且唯一对应一个标识信息。
7.根据权利要求6所述的数据处理装置，其特征在于，还包括监测模块，所述监测模块用于监测所述目标FPGA板卡对所述待处理数据的处理状态并反馈处理结果，所述处理结果包括处理完成和未完成。
8.一种数据处理设备，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求4或5所述数据处理方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如权利要求4或5所述数据处理方法的步骤。
10.一种数据处理系统，其特征在于，包括多个虚拟机、多个FPGA板卡与数据处理装置；
各FPGA板卡通过各自的MAC模块互联于网络，且通过各自MAC模块唯一对应的MAC地址进行识别，以实现板间数据的交互；
每个FPGA板卡包括多个通过内部总线相连、用于单独分配给虚拟机执行计算任务的vFPGA单元；每个vFPGA单元均包括内存单元，且唯一对应一个标识信息；
所述数据处理装置用于根据MAC地址判断当前FPGA板卡接收的虚拟机数据是否为所述当前FPGA板卡的数据；若是，则根据各vFPGA的标识信息将所述虚拟机数据发送至所属的vFPGA进行数据处理；若否，则将所述虚拟机数据发送至网络，以使相应的目标FPGA板卡对其进行数据处理。
CN201810871133.4A 2018-08-02 2018-08-02 一种数据处理方法、装置、设备、系统、fpga板卡及其组合 Pending CN109032982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810871133.4A CN109032982A (zh) 2018-08-02 2018-08-02 一种数据处理方法、装置、设备、系统、fpga板卡及其组合

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810871133.4A CN109032982A (zh) 2018-08-02 2018-08-02 一种数据处理方法、装置、设备、系统、fpga板卡及其组合

Publications (1)

Publication Number Publication Date
CN109032982A true CN109032982A (zh) 2018-12-18

Family

ID=64647716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810871133.4A Pending CN109032982A (zh) 2018-08-02 2018-08-02 一种数据处理方法、装置、设备、系统、fpga板卡及其组合

Country Status (1)

Country Link
CN (1) CN109032982A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110597627A (zh) * 2019-08-24 2019-12-20 中国电子科技集团公司第十五研究所 基于虚拟fpga的数据库运算加速装置及加速方法
CN110618956A (zh) * 2019-08-01 2019-12-27 苏州浪潮智能科技有限公司 一种bmc云平台资源池化方法与系统
CN111262917A (zh) * 2020-01-13 2020-06-09 苏州浪潮智能科技有限公司 一种基于fpga云平台的远端数据搬移装置和方法
CN111339030A (zh) * 2020-02-23 2020-06-26 苏州浪潮智能科技有限公司 一种基于fpga的云文件系统及其数据处理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1490978A (zh) * 2003-08-18 2004-04-21 北京港湾网络有限公司 带外通道方案
CN104901905A (zh) * 2015-04-27 2015-09-09 国家电网公司 一种智能变电站专用网络交换机及其数据交换方法
CN104993959A (zh) * 2015-06-29 2015-10-21 山东超越数控电子有限公司 一种管理板与业务板之间网络通讯方法
US9239811B2 (en) * 2009-07-14 2016-01-19 Canon Kabushiki Kaisha Data processing apparatus and data processing method
CN107018093A (zh) * 2017-04-12 2017-08-04 深圳市风云实业有限公司 一种分布式设备中的板间通信装置与方法
CN107402902A (zh) * 2017-07-31 2017-11-28 郑州云海信息技术有限公司 一种异构计算平台与基于异构计算平台的加速方法
CN108055202A (zh) * 2017-12-07 2018-05-18 锐捷网络股份有限公司 一种报文处理设备和方法
CN108153705A (zh) * 2017-12-26 2018-06-12 北京航空航天大学 一种面向异构多源大数据的高效并行采集方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1490978A (zh) * 2003-08-18 2004-04-21 北京港湾网络有限公司 带外通道方案
US9239811B2 (en) * 2009-07-14 2016-01-19 Canon Kabushiki Kaisha Data processing apparatus and data processing method
CN104901905A (zh) * 2015-04-27 2015-09-09 国家电网公司 一种智能变电站专用网络交换机及其数据交换方法
CN104993959A (zh) * 2015-06-29 2015-10-21 山东超越数控电子有限公司 一种管理板与业务板之间网络通讯方法
CN107018093A (zh) * 2017-04-12 2017-08-04 深圳市风云实业有限公司 一种分布式设备中的板间通信装置与方法
CN107402902A (zh) * 2017-07-31 2017-11-28 郑州云海信息技术有限公司 一种异构计算平台与基于异构计算平台的加速方法
CN108055202A (zh) * 2017-12-07 2018-05-18 锐捷网络股份有限公司 一种报文处理设备和方法
CN108153705A (zh) * 2017-12-26 2018-06-12 北京航空航天大学 一种面向异构多源大数据的高效并行采集方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110618956A (zh) * 2019-08-01 2019-12-27 苏州浪潮智能科技有限公司 一种bmc云平台资源池化方法与系统
CN110618956B (zh) * 2019-08-01 2021-06-29 苏州浪潮智能科技有限公司 一种bmc云平台资源池化方法与系统
CN110597627A (zh) * 2019-08-24 2019-12-20 中国电子科技集团公司第十五研究所 基于虚拟fpga的数据库运算加速装置及加速方法
CN110597627B (zh) * 2019-08-24 2023-07-14 中国电子科技集团公司第十五研究所 基于虚拟fpga的数据库运算加速装置及加速方法
CN111262917A (zh) * 2020-01-13 2020-06-09 苏州浪潮智能科技有限公司 一种基于fpga云平台的远端数据搬移装置和方法
US11868297B2 (en) 2020-01-13 2024-01-09 Inspur Suzhou Intelligent Technology Co., Ltd. Far-end data migration device and method based on FPGA cloud platform
CN111339030A (zh) * 2020-02-23 2020-06-26 苏州浪潮智能科技有限公司 一种基于fpga的云文件系统及其数据处理方法

Similar Documents

Publication Publication Date Title
CN109032982A (zh) 一种数据处理方法、装置、设备、系统、fpga板卡及其组合
JP6653366B2 (ja) 計算タスクを処理するためのコンピュータクラスタ構成、およびそれを動作させるための方法
CN107278362B (zh) 云计算系统中报文处理的方法、主机和系统
CN104094230B (zh) 用于支持虚拟化环境中的虚拟机的动态迁移的系统和方法
CN102609298B (zh) 基于硬件队列扩展的网卡虚拟化系统及其方法
US11296956B2 (en) Oversubscribable resource allocation
CN103645957B (zh) 一种虚拟机资源管控方法及装置
CN103942087B (zh) 虚拟机热迁移方法及相关装置和集群系统
CN104994032B (zh) 一种信息处理的方法和装置
CN106844007A (zh) 一种基于空间复用的虚拟化方法与系统
CN103530167A (zh) 一种虚拟机内存数据的迁移方法及相关装置和集群系统
US11269801B2 (en) System decoder for training accelerators
CN107967180B (zh) 基于numa虚拟化环境下资源全局亲和度网络优化方法和系统
CN106462451B (zh) 虚拟化平台处理中断方法和相关设备
CN107491340B (zh) 跨物理机的巨型虚拟机实现方法
CN104102548A (zh) 任务资源调度处理方法和系统
CN103744716A (zh) 一种基于当前vcpu调度状态的动态中断均衡映射方法
CN104615480A (zh) 基于numa高性能网络处理器负载的虚拟处理器调度方法
CN106681793A (zh) 一种基于kvm的加速器虚拟化数据处理系统及方法
CN105210324B (zh) 策略与计费规则功能虚拟化方法、装置及系统
CN105556473A (zh) 一种i/o任务处理的方法、设备和系统
CN112087332A (zh) 一种云边协同下的虚拟网络性能优化系统
TWI414947B (zh) 在包含多個處理節點之計算系統上載入一程式之方法、電腦可讀媒體及平行計算系統
CN108028806A (zh) 网络功能虚拟化nfv网络中分配虚拟资源的方法和装置
CN105653347B (zh) 一种服务器、资源管理方法及虚拟机管理器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181218