CN111722930B - 一种数据预处理系统 - Google Patents
一种数据预处理系统 Download PDFInfo
- Publication number
- CN111722930B CN111722930B CN202010580429.8A CN202010580429A CN111722930B CN 111722930 B CN111722930 B CN 111722930B CN 202010580429 A CN202010580429 A CN 202010580429A CN 111722930 B CN111722930 B CN 111722930B
- Authority
- CN
- China
- Prior art keywords
- data
- preprocessing
- module
- heterogeneous acceleration
- original data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007781 pre-processing Methods 0.000 title claims abstract description 84
- 230000001133 acceleration Effects 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims description 15
- 230000002093 peripheral effect Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 238000013500 data storage Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000013144 data compression Methods 0.000 claims description 4
- 230000006837 decompression Effects 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 abstract description 18
- 238000012423 maintenance Methods 0.000 abstract description 7
- 230000002349 favourable effect Effects 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012942 design verification Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
- G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
- G06F15/17306—Intercommunication techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/177—Initialisation or configuration control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
- H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Stored Programmes (AREA)
- Hardware Redundancy (AREA)
Abstract
本申请公开了一种数据预处理系统，所述数据预处理系统由交换单元、存储单元和处理单元构成，结构较为简单，整体搭建难度较低，有利于提高搭建效率。并且在所述数据预处理系统中，所述处理单元由多个主处理器配合多个异构加速模块构成，其中主处理器用于对原始数据的分发和存储，所述异构加速模块主要用于对原始数据的预处理，所述主处理器和异构加速模块之间相互配合，且分工明确，有利于降低系统管理难度，降低运维难度和成本。另外，所述数据预处理系统可以通过灵活配置处理单元中主处理器和异构加速模块的数量，实现数据预处理系统对应原始数据进行预处理能力的配置，也可以通过配置不同的异构加速模块，满足不同应用的需求。
Description
技术领域
本申请涉及计算机应用技术领域，更具体地说，涉及一种数据预处理系统。
背景技术
网络数据预处理，是指在大数据等和其他相关应用场景下，对海量数据进行高速并行化的数据压缩解压缩、数据加解密、哈希和校验运算、去冗余、排序和查找等运算处理。网络数据预处理是后续数据存储和网络数据还原等应用的基础上。
随着互联网的飞速发展，用户业务数据流量呈爆炸式增加，网络数据与处理系统的重要性日益突出，但现有技术中的网络数据预处理系统大多需要运维人员自行搭建，采购各类不同的设备进行安装调试，不仅搭建效率较低，而且管理难度和运维成本较高。
发明内容
为解决上述技术问题，本申请提供了一种数据预处理系统，以实现提降低数据预处理系统的搭建难度，提高搭建效率，降低管理难度和运维成本的目的。
为实现上述技术目的，本申请实施例提供了如下技术方案：
一种数据预处理系统，包括：交换单元、存储单元和处理单元；其中，
所述处理单元包括多个主处理器和多个与所述主处理器一一对应的异构加速模块；
所述交换单元，用于接收原始数据，并将所述原始数据分发给多个所述主处理器；和用于在接收到第一指令时，接收所述异构加速模块的预处理数据，并将所述预处理数据向外发送；
所述主处理器，用于接收原始数据，并对所述原始数据分发给与所述主处理器对应的异构加速模块；和用于在接收到第二指令时，将所述异构加速模块输出的预处理数据存储在所述存储单元中；
所述异构加速模块，用于对所述原始数据进行数据预处理，以获得所述预处理数据；
所述异构加速模块的功能基于Verilog HDL语言实现；
所述交换单元的接口标准化通过采用OpenCL开源框架实现。
可选的，所述交换单元将所述原始数据分发给多个所述住处立体具体用于，对所述原始数据进行汇聚和负载均衡处理后分发给多个所述主处理器。
可选的，所述交换单元为万兆交换机。
可选的，所述异构加速模块包括：预处理执行模块、预处理存储模块、外围控制模块和数据存储模块；其中，
所述预处理执行模块，用于接收所述原始数据，并调用所述预处理存储模块存储的预设程序，以对所述原始数据进行预处理；
所述外围控制模块，用于对所述异构加速模块进行外围控制监控功能，所述外围控制监控功能至少包括上电、下电和温度监控；
所述数据存储模块，用于为所述预处理执行模块提供预处理过程中初始数据、中间数据和最终数据的存储空间，所述最终数据通过所述预处理执行模块作为所述预处理数据进行输出。
可选的，所述异构加速模块具体用于，对所述原始数据进行数据压缩、数据解压缩、数据加密、数据解密、哈希运算、校验运算、去冗余运算、排序运算和查找运算中的至少一项运算处理。
可选的，所述主处理器还用于以队列的方式排列并缓存所述原始数据，以使得在分发过程中，所述原始数据依序分发给与所述主处理器对应的异构加速模块。
可选的，所述主处理器还用于以队列的方式排列并缓存所述预处理数据，以使得在存储过程中，所述预处理数据依序存储在所述存储单元中。
可选的，所述主处理器包括飞腾ARM处理器。
可选的，所述异构加速模块包括Intel Stratix-V FPGA异构加速模块。
从上述技术方案可以看出，本申请实施例提供了一种数据预处理系统，所述数据预处理系统由交换单元、存储单元和处理单元构成，结构较为简单，整体搭建难度较低，有利于提高搭建效率。并且在所述数据预处理系统中，所述处理单元由多个主处理器配合多个异构加速模块构成，其中主处理器用于对原始数据的分发和存储，所述异构加速模块主要用于对原始数据的预处理，所述主处理器和异构加速模块之间相互配合，且分工明确，有利于降低系统管理难度，降低运维难度和成本。
另外，所述数据预处理系统可以通过灵活配置处理单元中主处理器和异构加速模块的数量，实现数据预处理系统对应原始数据进行预处理能力的配置，也可以通过配置不同的异构加速模块，满足不同应用的需求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请的一个实施例提供的一种数据预处理系统的结构示意图；
图2为本申请的一个具体实施例提供的一种数据预处理系统的结构示意图；
图3为本申请的一个实施例提供的一种异构加速模块的硬件框架示意图；
图4为本申请的一个实施例提供的一种异构加速模块的软件框架示意图；
图5为本申请的一个具体实施例提供的数据预处理系统的外观示意图；
图6为本申请的另一个具体实施例提供的数据预处理系统的外观示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种数据预处理系统，如图1所示，包括：交换单元100、存储单元300和处理单元200；其中，
所述处理单元200包括多个主处理器210和多个与所述主处理器210一一对应的异构加速模块220；
所述交换单元100，用于接收原始数据，并将所述原始数据分发给多个所述主处理器210；和用于在接收到第一指令时，接收所述异构加速模块220的预处理数据，并将所述预处理数据向外发送；
所述主处理器210，用于接收原始数据，并对所述原始数据分发给与所述主处理器210对应的异构加速模块220；和用于在接收到第二指令时，将所述异构加速模块220输出的预处理数据存储在所述存储单元300中；
所述异构加速模块220，用于对所述原始数据进行数据预处理，以获得所述预处理数据；
所述异构加速模块220的功能基于Verilog HDL语言实现；
所述交换单元100的接口标准化通过采用OpenCL开源框架实现。
参考图2，图2示出了一种可行的具体实现方案，在图2中，所述交换单元100可以为万兆交换机，更具体地，所述交换单元100可以为400G全万兆交换机。所述交换单元100将所述原始数据分发给多个所述主处理器210具体用于，对所述原始数据进行汇聚和负载均衡处理后分发给多个所述主处理器210。即原始数据从交换单元100的10GE接口输入，并可通过交换单元100内部进行汇聚、负载均衡后，通过背板600的16个10G通道，分发到处理单元200的多个主处理器210中。
所述主处理器210将接收到的原始数据分发给与其对应的异构加速模块220进行数据预处理，所述异构加速模块220在进行数据预处理获得预处理数据，并接收到所述第一指令后，可以从所述背板600重新返回到交换单元100，所述交换单元100汇聚各个所述异构加速模块220返回的数据后，以负载均衡的方式通过背板600的10GE接口输出到其他节点。同时所述异构加速模块220也可以将预处理数据返回给所述主处理器210，以使所述主处理器210在接收到第二指令时，将所述网络多核处理器输出的还原数据存储在所述存储单元300中。
此外，图2中还示出了电源400和控制单元500，其中，所述电源400用于为所述控制单元500、存储单元300、处理单元200和交换单元100提供工作电源400。
所述控制单元500用于控制电源400、处理单元200和交换单元100100协同工作，同时可以通过用户输入指令确定所述第一指令和/或第二指令向所述处理单元200或交换单元100传输。
可选的，在本申请的一个实施例中，所述异构加速模块220具体用于，对所述原始数据进行数据压缩、数据解压缩、数据加密、数据解密、哈希运算、校验运算、去冗余运算、排序运算和查找运算中的至少一项运算处理。
可选的，在本申请的另一个实施例中，所述主处理器210包括飞腾ARM(AdvancedRISC Machines)处理器。
所述异构加速模块220包括Intel Stratix-V FPGA(Field Programmable GateArray，现场可编程逻辑门阵列)异构加速模块220。
所述异构加速模块220的功能基于Verilog HDL语言实现，有利于实现并行高吞吐的数据预处理。
Verilog HDL是一种硬件描述语言，用于从算法级、门级到开关级的多种抽象设计层次的数字系统建模。被建模的数字系统对象的复杂性可以介于简单的门和完整的电子数字系统之间。数字系统能够按层次描述，并可在相同描述中显式地进行时序建模。
Verilog HDL语言具有下述描述能力：设计的行为特性、设计的数据流特性、设计的结构组成以及包含响应监控和设计验证方面的时延和波形产生机制。所有这些都使用同一种建模语言。此外，Verilog HDL语言提供了编程语言接口，通过该接口可以在模拟、验证期间从设计外部访问设计，包括模拟的具体控制和运行。
所述交换单元100对于主机端的接口标准化通过采用OpenCL(Open ComputingLanguage，开放运算语言)开源框架实现。
OpenCL开源框架是第一个面向异构系统通用目的并行编程的开放式、免费标准，也是一个统一的编程环境，便于软件开发人员为高性能计算服务器、桌面计算系统、手持设备编写高效轻便的代码，而且广泛适用于多核心处理器(CPU)、FPGA、Cell类型架构等其他并行处理器，在游戏、娱乐、科研、医疗等各种领域都有广阔的发展前景。这项技术通过标准的OpenCL编程语言、API、函数库以及运行时系统来支持软件在整个异构平台上的开发。
OpenCL为包括软件库开发人员、中间商和以提升性能为导向的程序开发者提供了一个低级别硬件抽象层和一个编译框架来支持编程，将许多并行硬件设备行为抽象为API(Application Programming Interface，应用程序接口)来引导开发者进一步加速他们的程序。
在上述实施例的基础上，在本申请的一个实施例中，参考图3，所述异构加速模块220包括：预处理执行模块223、预处理存储模块222、外围控制模块221和数据存储模块224；其中，
所述预处理执行模块223，用于接收所述原始数据，并调用所述预处理存储模块222存储的预设程序，以对所述原始数据进行预处理；
所述外围控制模块221，用于对所述异构加速模块220进行外围控制监控功能，所述外围控制监控功能至少包括上电、下电和温度监控；
所述数据存储模块224，用于为所述预处理执行模块223提供预处理过程中初始数据、中间数据和最终数据的存储空间，所述最终数据通过所述预处理执行模块作为所述预处理数据进行输出。
在图3中，除了预处理执行模块223、预处理存储模块222、外围控制模块221和数据存储模块224之外，还示出了PHY226、千兆网口227、QSFP+X1 40G光口228和PCIe连接225等结构，所述PCIe连接225是所述预处理执行模块223与外界通信的接口，所述预处理数据通过所述PCIe连接225输出。
所述PHY(sical layer，物理层芯片)、千兆网口227、QSFP+X1 40G光口228均是负责对外的数据连接，在本实施例中并无实际使用，可作为冗余端口。
所述预处理执行模块223可以具体为FPGA。
所述预处理存储模块222可以具体为FLASH(固态存储器)。
所述外围控制模块221可以具体为CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)。
所述数据存储模块224可以具体为DDR3内存。本申请对所述预处理执行模块223、预处理存储模块222、外围控制模块221和数据存储模块224的具体种类并不做限定，具体视实际情况而定。
图3为所述异构加速模块220的硬件架构示意图，参考图4，图4示出了所述异构加速模块220的软件功能框架示意图，在图4中，所述异构加速模块220为FPGA，其主要包括PCIe、全局内存互联总线、多个外部内存驱动器、多个并行内核、多个片内内存互联接口和多个片内内存构成，其中，
PCIe：是FPGA和飞腾ARM处理器的数据通道，用于预处理数据的传输。
外部内存驱动器：是FPGA中控制外部DDR内存的部分，负责外部DDR内存的初始化和数据传输。
DDR：外部内存，负责为FPGA存储数据预处理时的各种初始数据、中间数据和最终数据。其中最终数据会通过PCIe连接由FPGA传出去。
全局内存互连总线：是外部内存和FPGA内部数据处理单元的连接通道。
并行内核：即FPGA内部的数据处理单元；因为数量上有多个，可以并行运行来做数据预处理，所以叫并行内核。
片内内存互联接口：FPGA内部的并行内核与其片内内存的数据通道。
片内内存：FPGA芯片内部的数据临时存储单元，相比外部DDR内存而言，片内内存的速率更高但容量较小。
在上述实施例的基础上，在本申请的一个可选实施例中，所述主处理器210还用于以队列的方式排列并缓存所述原始数据，以使得在分发过程中，所述原始数据依序分发给与所述主处理器210对应的异构加速模块220。
所述主处理器210还用于以队列的方式排列并缓存所述预处理数据，以使得在存储过程中，所述预处理数据依序存储在所述存储单元300中。
在上述实施例的基础上，本申请的一个具体实施例提供了一种可行的数据预处理系统组装后的外观结构，参考图5和图6，在图5和图6中，所述主处理器210和异构加速模块220的数量均为8个，一个主处理器210和与其对应的一个异构加速模块220构成一个计算处理节点，这8个计算处理节点位于设备下方，竖叉结构，负责系统的计算处理和业务分析。
每个节点可支持配置2TB以上的存储容量，400G全万兆交换网络(交换单元100)位于设备上方，横插接口，对外提供24路万兆光口，背板600提供16路万兆接口，可为每个计算处理节点提供20～40G高速以太网互连带宽。支撑二层、三层交换功能，是异构服务器系统的前端分流、汇聚、负载均衡单元。
图5和图6所示的数据预处理系统在6U空间内集成了上述8个计算处理节点和1个400G全万兆交换网络，整个设备尺寸的长×宽×高＝740mm×447mm×267mm，具有体积小且处理效率高的特点。此外图6中还示出了硬盘槽位。
综上所述，本申请实施例提供的一种数据预处理系统，该数据预处理系统具有以下有益效果：
a)简化了部署，加快了业务上线时间。以前用户在部署自己的IT系统时，往往需要采购不同的设备，安装调试过程比较长，甚至会影响业务的上线时间。有了异构服务器，用户只需要购买一台这样的产品即可，安装和调试过程非常方便，大大简化了部署难度，加快了业务的上线时间；
b)降低了运维难度和成本。以前用户有多少种不同的硬件设备，就需要多少个不同专业的技术人员，采用异构服务器后，系统管理难度降低，一个技术人员就可以轻松搞定，降低了运维的难度和成本；
c)提高了设备的可靠性和可用性。异构服务器在设备故障方面要低很多，即使出现问题，解决起来也相对比较简单和快速，这就很好的提高了它的可靠性和可用性；
d)提高了设备的性能，相比于传统服务器，本技术方案可以灵活配置不同的加速模块，针对不同的应用，性能方面有了很大的提高；
e)节省了开支。相对于多台设备组成的IT系统的采购价格而言，异构服务器的售价会低很多。
本说明书中各实施例中记载的特征可以相互替换或者组合，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (1)
1.一种数据预处理系统，其特征在于，包括：交换单元、存储单元和处理单元；其中，
所述处理单元包括多个主处理器和多个与所述主处理器一一对应的异构加速模块；
所述交换单元，用于接收原始数据，并将所述原始数据分发给多个所述主处理器；和用于在接收到第一指令时，接收所述异构加速模块的预处理数据，并将所述预处理数据向外发送；
所述主处理器，用于接收原始数据，并对所述原始数据分发给与所述主处理器对应的异构加速模块；和用于在接收到第二指令时，将所述异构加速模块输出的预处理数据存储在所述存储单元中；
所述异构加速模块，用于对所述原始数据进行数据预处理，以获得所述预处理数据；
所述异构加速模块的功能基于Verilog HDL语言实现；
所述交换单元的接口标准化通过采用OpenCL开源框架实现；
其中，所述交换单元将所述原始数据分发给多个所述主处理器具体用于，对所述原始数据进行汇聚和负载均衡处理后分发给多个所述主处理器；
其中，所述交换单元为万兆交换机；
其中，所述异构加速模块包括：预处理执行模块、预处理存储模块、外围控制模块和数据存储模块；其中，
所述预处理执行模块，用于接收所述原始数据，并调用所述预处理存储模块存储的预设程序，以对所述原始数据进行预处理；
所述外围控制模块，用于对所述异构加速模块进行外围控制监控功能，所述外围控制监控功能至少包括上电、下电和温度监控；
所述数据存储模块，用于为所述预处理执行模块提供预处理过程中初始数据、中间数据和最终数据的存储空间，所述最终数据通过所述预处理执行 模块作为所述预处理数据进行输出；
其中，所述异构加速模块具体用于，对所述原始数据进行数据压缩、数据解压缩、数据加密、数据解密、哈希运算、校验运算、去冗余运算、排序运算和查找运算中的至少一项运算处理；
其中，所述主处理器还用于以队列的方式排列并缓存所述原始数据，以使得在分发过程中，所述原始数据依序分发给与所述主处理器对应的异构加速模块；
其中，所述主处理器还用于以队列的方式排列并缓存所述预处理数据，以使得在存储过程中，所述预处理数据依序存储在所述存储单元中；
其中，所述主处理器包括飞腾ARM处理器；
其中，所述异构加速模块包括Intel Stratix-V FPGA异构加速模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010580429.8A CN111722930B (zh) | 2020-06-23 | 2020-06-23 | 一种数据预处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010580429.8A CN111722930B (zh) | 2020-06-23 | 2020-06-23 | 一种数据预处理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111722930A CN111722930A (zh) | 2020-09-29 |
| CN111722930B true CN111722930B (zh) | 2024-03-01 |
Family
ID=72568350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010580429.8A Active CN111722930B (zh) | 2020-06-23 | 2020-06-23 | 一种数据预处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111722930B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112491747B (zh) * | 2020-11-25 | 2022-06-14 | 湖南麒麟信安科技股份有限公司 | 一种高可用的数据交换集群的应用方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567944A (zh) * | 2012-03-09 | 2012-07-11 | 中国人民解放军信息工程大学 | 基于fpga的ct图像重建硬件加速方法 |
| CN103699432A (zh) * | 2013-12-17 | 2014-04-02 | 华中科技大学 | 一种异构环境下的多任务运行时协同调度系统 |
| CN108829515A (zh) * | 2018-05-29 | 2018-11-16 | 中国科学院计算技术研究所 | 一种云端平台计算系统及其应用方法 |
| CN108920334A (zh) * | 2018-07-25 | 2018-11-30 | 郑州云海信息技术有限公司 | 一种fpga异构加速卡的监控装置 |
| CN109491599A (zh) * | 2018-10-24 | 2019-03-19 | 山东超越数控电子股份有限公司 | 一种分布式存储系统及其异构加速方法 |
| CN109614293A (zh) * | 2018-12-13 | 2019-04-12 | 广东浪潮大数据研究有限公司 | 一种fpga异构加速卡的管理系统及方法 |
| CN109803068A (zh) * | 2019-01-21 | 2019-05-24 | 郑州云海信息技术有限公司 | 一种基于安防监控的异构混合计算系统和方法 |
| US10540185B1 (en) * | 2019-01-11 | 2020-01-21 | Liqid Inc. | Software deployment in disaggregated computing platforms |
| CN110751676A (zh) * | 2019-10-21 | 2020-02-04 | 中国科学院空间应用工程与技术中心 | 一种基于目标检测的异构计算系统、方法和可读存储介质 |
-
2020
- 2020-06-23 CN CN202010580429.8A patent/CN111722930B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567944A (zh) * | 2012-03-09 | 2012-07-11 | 中国人民解放军信息工程大学 | 基于fpga的ct图像重建硬件加速方法 |
| CN103699432A (zh) * | 2013-12-17 | 2014-04-02 | 华中科技大学 | 一种异构环境下的多任务运行时协同调度系统 |
| CN108829515A (zh) * | 2018-05-29 | 2018-11-16 | 中国科学院计算技术研究所 | 一种云端平台计算系统及其应用方法 |
| CN108920334A (zh) * | 2018-07-25 | 2018-11-30 | 郑州云海信息技术有限公司 | 一种fpga异构加速卡的监控装置 |
| CN109491599A (zh) * | 2018-10-24 | 2019-03-19 | 山东超越数控电子股份有限公司 | 一种分布式存储系统及其异构加速方法 |
| CN109614293A (zh) * | 2018-12-13 | 2019-04-12 | 广东浪潮大数据研究有限公司 | 一种fpga异构加速卡的管理系统及方法 |
| US10540185B1 (en) * | 2019-01-11 | 2020-01-21 | Liqid Inc. | Software deployment in disaggregated computing platforms |
| CN109803068A (zh) * | 2019-01-21 | 2019-05-24 | 郑州云海信息技术有限公司 | 一种基于安防监控的异构混合计算系统和方法 |
| CN110751676A (zh) * | 2019-10-21 | 2020-02-04 | 中国科学院空间应用工程与技术中心 | 一种基于目标检测的异构计算系统、方法和可读存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| Christos Kotselidis，etc.Heterogeneous Managed Runtime Systems: A Computer Vision Case Study.《VEE '17: Proceedings of the 13th ACM SIGPLAN/SIGOPS International Conference on Virtual Execution Environments》.2017,74-82. * |
| 基于嵌入式平台实现的遥感图像城区检测算法;师皓等;《北京理工大学学报》;P524-529 * |
| 基于异构多核构架的红外与可见光实时融合系统;熊伟;杨红雨;袁学东;李晓峰;;四川大学学报(工程科学版)(第S2期);121-127 * |
| 采用多核异构架构实现的JPEG2000无损压缩器设计;李才年;《中国优秀硕士学位论文全文数据库 (基础科学辑)》;I135-154 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111722930A (zh) | 2020-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Putnam et al. | A reconfigurable fabric for accelerating large-scale datacenter services | |
| US11797467B2 (en) | Data processing device with transmission circuit | |
| US20220164285A1 (en) | Compensating for dram activation penalties | |
| Biookaghazadeh et al. | Toward multi-fpga acceleration of the neural networks | |
| US20220058034A1 (en) | Runtime Patching of Configuration Files | |
| US20190094926A1 (en) | Multi-criteria power management scheme for pooled accelerator architectures | |
| US20080126747A1 (en) | Methods and apparatus to implement high-performance computing | |
| JP2019185764A (ja) | Ｎｄｐサーバー―データセンターのストレージサーバーベースのデータ中心のコンピューティングアーキテクチャ― | |
| CN114490023B (zh) | 一种基于arm和fpga的高能物理可计算存储设备 | |
| Zha et al. | Hetero-ViTAL: A virtualization stack for heterogeneous FPGA clusters | |
| CN111722930B (zh) | 一种数据预处理系统 | |
| US20230409395A1 (en) | Runtime Virtualization of Reconfigurable Data Flow Resources | |
| US11487694B1 (en) | Hot-plug events in a pool of reconfigurable data flow resources | |
| CN216352292U (zh) | 服务器主板及服务器 | |
| Borga et al. | Evolution of the ReadOut System of the ATLAS experiment | |
| Afonso et al. | Heterogeneous CPU/FPGA reconfigurable computing system for avionic test application | |
| Song et al. | Two reconfigurable NDP servers: Understanding the impact of near-data processing on data center applications | |
| Yang et al. | On construction of a virtual GPU cluster with InfiniBand and 10 Gb Ethernet virtualization | |
| CN110633493A (zh) | 一种基于Intel FPGA的OpenCL交易数据处理的方法 | |
| CN114063725B (zh) | 用于计算和存储集群的模块化基础设施 | |
| US20230244461A1 (en) | Configurable Access to a Reconfigurable Processor by a Virtual Function | |
| US20240070107A1 (en) | Memory device with embedded deep learning accelerator in multi-client environment | |
| US20230205585A1 (en) | Elevated Isolation of Reconfigurable Data Flow Resources in Cloud Computing | |
| Okafor et al. | Cloud Based Datacenter Network Acceleration Using FPGA for Data-Offloading | |
| Eric et al. | A Reconfigurable Fabric for Accelerating Large-Scale Datacenter Services |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |