CN107124286A - 一种海量数据高速处理、交互的系统及方法 - Google Patents

一种海量数据高速处理、交互的系统及方法 Download PDF

Info

Publication number
CN107124286A
CN107124286A CN201610100626.9A CN201610100626A CN107124286A CN 107124286 A CN107124286 A CN 107124286A CN 201610100626 A CN201610100626 A CN 201610100626A CN 107124286 A CN107124286 A CN 107124286A
Authority
CN
China
Prior art keywords
data
gpu
processing module
packet
central processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610100626.9A
Other languages
English (en)
Other versions
CN107124286B (zh
Inventor
尹博
尹立东
秦明
李静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Know Dome Technology Co Ltd
Original Assignee
Shenzhen Know Dome Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Know Dome Technology Co Ltd filed Critical Shenzhen Know Dome Technology Co Ltd
Priority to CN201610100626.9A priority Critical patent/CN107124286B/zh
Publication of CN107124286A publication Critical patent/CN107124286A/zh
Application granted granted Critical
Publication of CN107124286B publication Critical patent/CN107124286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种海量数据高速处理、交互的系统及方法，其中系统包括数据收发模块、中央处理模块和数据处理模块。数据收发模块用于收发数据，中央处理模块根据GPU的数量n，开辟n块环形缓冲区，缓冲接收的数据，在积攒了一定的数据量后或一定时间内将数据拷贝至系统内存，并事先将系统内存直接映射到各GPU，待GPU处理完毕后将处理后的结果通过数据收发模块发出；数据处理模块通过DMA映射获取内存中对应的数据，控制对应的GPU进行多线程高并发处理，并将处理后的结果返回给中央处理模块。本发明实现了NIC与GPU之间的海量数据高速交互，即提高了系统的海量网络数据处理能力及交互能力，为网络实时分析提供了更可靠的技术支持。

Description

一种海量数据高速处理、交互的系统及方法
技术领域
本发明涉及海量数据的处理及交互技术，尤其涉及海量数据高速处理及交互的系统及方法。
背景技术
目前网卡的数据包处理采用多核多队列架构，线程与核绑定，每个线程处理一个队列中的数据包。内核中先分配一个大的环形缓冲区，该缓冲区切割成若干个内存节点。网卡接收数据包时，从环形缓冲区中获取内存节点，并将数据DMA到内存节点上。并维护一个接收队列环，该环中保存数据包的内存节点地址。当应用程序打开一个接收队列捕包，这个接收队列环和内核先分配好的大的环形缓冲区会映射到应用的进程空间，应用层只需要根据接收队列环就可以获取数据包的内存。这种方式简称零拷贝，能够较大的提高网络数据的捕获性能，数据包的捕获后的处理都是在CPU上，但在高性能的网络中（>40GE），实时网络的分析面临极大的挑战，即使利用多CPU多线程，基于硬件的限制，CPU的核也无法达到足够多来实现高并发，容易出现丢包。
名词解释：
网卡，也叫“网络适配器”，英文全称为“Network Interface Card”，简称NIC。
图形处理器，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上图像运算工作的微处理器，英文全称“Graphics Processing Unit”，简称GPU。
存储器直接访问，是指一种高速的数据传输操作，允许在外部设备和存储器之间直接读写数据，既不通过CPU，也不需要CPU干预，英文全称“Direct Memory Access”，简称DMA。
发明内容
本发明为了解决上述现有技术的问题，提出一种海量数据高速处理、交互的系统，包括：数据收发模块，用于与网络连接接收或发送数据；中央处理模块，根据数据处理模块中GPU的数量n，开辟n块环形缓冲区，缓冲数据收发模块接收的数据，在积攒了一定的数据量后或一定时间内将数据拷贝至系统内存，并事先将系统内存直接映射到各GPU，待GPU处理完毕后将处理后的结果通过数据收发模块发出；数据处理模块，包含至少一个GPU，所述数据处理模块通过DMA映射获取内存中对应的数据，控制对应的GPU进行多线程高并发处理，并将处理后的结果返回给中央处理模块。
同时，本发明还提出了一种海量数据高速处理、交互的方法，包括如下步骤：
步骤1：中央处理模块根据GPU的数量n，开辟n块的环形缓冲区，将每块环形缓冲区分割成若干节点，并将环形缓冲区映射到系统的应用层；
步骤2：中央处理模块将内存映射到GPU；
步骤3：数据到达数据收发模块后，通过分流的机制选择对应的环形缓冲区，通过DMA映射到对应的环形缓冲区的节点中；
步骤4：中央处理模块判断每个环形缓冲区中的数据包是否已经到达了对应的GPU批量处理的数量，若已到达，则执行下一步骤，若未到达，则等待固定的时间后再执行下一步骤；
步骤5：中央处理模块将环形缓冲区内的数据包进行整理，拷贝到事先映射到GPU的系统内存中；
步骤6：GPU开启多线程高并发处理数据包，并将处理后的数据包返回给中央处理模块；
步骤7：中央处理模块根据处理结果指导数据收发模块转发处理后的数据包。
本发明利用了GPU的多线程高并发处理能力，提高了数据包的处理速度，数据包从网卡直接DMA到内存，并且将内存映射到GPU，省去了CPU和GPU的频繁PCI通信内存拷贝，极大的节省了数据包的传输时间，实现了NIC与GPU之间的海量数据高速交互，同时也使得系统极大地提高了网络数据包的处理吞吐量，可以满足高性能的实时网络分析。
附图说明
图1是系统原理图；
图2是本发明的流程图。
具体实施方式
以下结合附图和实施例，详细说明本发明的结构及原理。
图1是本发明一实施例提供的系统原理图。该系统包括数据收发模块、中央处理模块及数据处理模块。通过这三个模块可以实现系统各模块之间以及系统之间的海量数据的处理及交互，本发明所指的海量数据的数量级为大于40GE的数据流量。
数据收发模块所采用的硬件就是网卡，用于与网络连接接收或发送数据。
中央处理模块所涉及到的硬件为CPU，中央处理模块根据数据处理模块中GPU的数量n，开辟n块环形缓冲区，每一块环形缓冲区用来缓冲网卡接收到的至少一个数据流的数据包，中央处理模块等待环形缓冲区内积攒到一定的数据量或者等待一定的时间后，将缓冲的数据包拷贝至系统内存，并事先将系统内存直接映射到各GPU，GPU便获得了数据包，这样省去了CPU频繁的向GPU PCI通信拷贝数据。待GPU处理完毕后将处理后的结果通过数据收发模块发出。
中央处理模块根据GPU的个数n，还会分配n个环形队列，每一个环形队列对应一个环形缓冲区，并且将环形队列映射到用户层，每个环形队列用来保存对应的环形缓冲区中数据包的接收数量情况，以及数据包的内存地址偏移量。数据包到达网卡，通过分流的机制，选择环形缓冲区，通过DMA映射到对应的环形缓冲区的节点中。该分流机制由中央处理模块设置一个哈希表来实现，通过该哈希表将同一个数据流的数据包放到对应的环形缓冲区内。
中央处理模块在缓冲过程中会实时监控缓冲完毕的数据量，当达到批量处理的数据包数量，则中央处理模块将积攒的数据包传输到数据处理模块，如果还是没有积攒到批量处理的数据包数量，在一定时间内有多少数据包就让GPU处理多少。
数据处理模块，包含至少一个GPU，数据处理模块通过DMA映射获取系统内存中对应的数据，控制对应的GPU进行多线程高并发处理，并将处理后的结果返回给中央处理模块。GPU进行多线程高并发处理的过程是基于Aho-Corasick算法加以实现的，即将批量处理的数据包存放于共享内存空间实现所有流处理器对其的并行化处理。在GPU 上实现Aho-Corasick算法时，有限状态机（Deter-ministic Finite Automaton ，DFA）被保存为一个二维数组，数组的大小为状态数和字母集的乘积。每个单元有四个字节，头两个字节表示转移的下一状态，后两个字节用来表示该状态是否是最终状态。
GPU对数据包的处理包含了一个GPU加速库，包括多个CUDA核函数，这些函数以不同的方式结合实现特定的检测和分析任务，主要包括数据包过滤核函数、获取IP地址核函数、利用hash算法构建ip_table核函数、每个IP节点和每种协议流量统计核函数、流量汇聚核函数、tcp吞吐量计算核函数、数据包分类成流核函数、tcp协议分析核函数。
如图2所示，本发明实现海量数据高速处理、交互的方法主要包括以下步骤：
步骤1：中央处理模块根据GPU的数量n，开辟n块的环形缓冲区，将每块环形缓冲区分割成若干节点，并将环形缓冲区映射到系统的应用层；
步骤2：中央处理模块将内存映射到GPU；
步骤3：数据到达数据收发模块后，通过分流的机制选择对应的环形缓冲区，通过DMA映射到对应的环形缓冲区的节点中；
步骤4：中央处理模块判断每个环形换冲区中的数据包是否已经达到了对应的GPU批量处理的数量，若已到达，则执行下一步骤，若未到达，则等待固定的时间后再执行下一步骤；本发明所指的GPU一次处理的数据包达到了批量处理的数量，是指这个数量值至少是满足：GPU并行处理该数量数据包的速度是高于CPU串行处理该数量数据包的速度的；
步骤5：中央处理模块将环形缓冲区内的数据包进行整理，拷贝到事先映射到GPU的系统内存中；
步骤6：GPU开启多线程高并发处理数据包，并将处理后的数据包返回给中央处理模块；在这个步骤中，GPU处理的数据包通过DMA映射获取。
步骤7：中央处理模块根据处理结果指导数据收发模块转发处理后的数据包。
本发明将系统内存直接映射到GPU，这样省去了CPU和GPU之间PCI通讯拷贝，并且在GPU上实现Aho-Corasick算法，实现多个CUDA核函数，充分利用GPU高并发对数据包处理，实现NIC与多GPU之间海量数据高速交互。
应当理解的是，上述针对具体实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本发明的专利保护范围应以所附权利要求为准。

Claims (10)

1.一种海量数据高速处理、交互的方法，其特征在于，包括如下步骤：
步骤1：中央处理模块根据GPU的数量n，开辟n块的环形缓冲区，将每块环形缓冲区分割成若干节点，并将环形缓冲区映射到系统的应用层；
步骤2：中央处理模块将内存映射到GPU；
步骤3：数据到达数据收发模块后，通过分流的机制选择对应的环形缓冲区，通过DMA映射到对应的环形缓冲区的节点中；
步骤4：中央处理模块判断环形换冲区中的数据包是否已经到达了对应的GPU批量处理的数量，若已到达，则执行下一步骤，若未到达，则等待固定的时间后再执行下一步骤；
步骤5：中央处理模块将环形缓冲区内的数据包进行整理，拷贝到事先映射到GPU的系统内存中；
步骤6：GPU开启多线程高并发处理数据包，并将处理后的数据包返回给中央处理模块；
步骤7：中央处理模块根据处理结果指导数据收发模块转发处理后的数据包。
2.如权利要求1所述的方法，其特征在于，所述分流机制通过中央处理模块设置一个哈希表来实现，通过所述哈希表将同一个数据流的数据包放到对应的环形缓冲区内。
3.如权利要求1所述的方法，其特征在于，所述步骤4中，一个GPU一次处理的数据包的数量是否达到GPU批量处理的数量，其判定条件为该数量值至少满足GPU并行处理该数量值的数据包的速度高于CPU串行处理的速度。
4.如权利要求1所述的方法，其特征在于，所述步骤6中，GPU处理的数据包是通过DMA映射获取的。
5.一种海量数据高速处理、交互的系统，其特征在于，包括：
数据收发模块，用于与网络连接接收或发送数据；
中央处理模块，根据数据处理模块中GPU的数量n，开辟n块环形缓冲区，缓冲数据收发模块接收的数据，在积攒了一定的数据量后或一定时间内将数据拷贝至系统内存，并事先将系统内存直接映射到各GPU，待GPU处理完毕后将处理后的结果通过数据收发模块发出；
数据处理模块，包含至少一个GPU，所述数据处理模块通过DMA映射获取内存中对应的数据，控制对应的GPU进行多线程高并发处理，并将处理后的结果返回给中央处理模块。
6.如权利要求5所述的系统，其特征在于，所述中央处理模块通过一个环形队列对一个环形缓冲区进行管理，每个环形队列用来保存数据包的接收数量情况，以及数据包的内存地址偏移量。
7.如权利要求5所述的系统，其特征在于，所述中央处理模块根据环形队列中是否积攒了满足GPU高并发处理的数据包的数量值来判断是否缓冲完毕。
8.如权利要求5所述的系统，其特征在于，所述数据处理模块基于Aho-Corasick算法对数据实现高并发处理，将一个环形缓冲区中待处理的批量数据包存放在对应的一个GPU的共享内存空间中，使一个GPU的所有流处理器对待处理的批量数据包利用Aho-Corasick算法进行并行化处理。
9.如权利要求8所述的系统，其特征在于，所述数据处理模块在GPU 上实现Aho-Corasick算法时，将有限状态机保存为一个二维数组，所述二维数组的大小为状态数和字母集的乘积，所述二维数据的每个单元有四个字节，头两个字节表示转移的下一状态，后两个字节用来表示该状态是否是最终状态。
10.如权利要求5所述的系统，其特征在于，所述数量的数量级为40GE。
CN201610100626.9A 2016-02-24 2016-02-24 一种海量数据高速处理、交互的系统及方法 Active CN107124286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610100626.9A CN107124286B (zh) 2016-02-24 2016-02-24 一种海量数据高速处理、交互的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610100626.9A CN107124286B (zh) 2016-02-24 2016-02-24 一种海量数据高速处理、交互的系统及方法

Publications (2)

Publication Number Publication Date
CN107124286A true CN107124286A (zh) 2017-09-01
CN107124286B CN107124286B (zh) 2020-05-26

Family

ID=59717574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610100626.9A Active CN107124286B (zh) 2016-02-24 2016-02-24 一种海量数据高速处理、交互的系统及方法

Country Status (1)

Country Link
CN (1) CN107124286B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807900A (zh) * 2017-11-14 2018-03-16 浙江亿邦通信科技股份有限公司 数据处理系统及服务器
CN107995061A (zh) * 2017-11-30 2018-05-04 北京卓讯科信技术有限公司 多规格10Gbps网络信号长时采集与回放系统和方法
CN109828940A (zh) * 2019-01-31 2019-05-31 郑州云海信息技术有限公司 一种智能网卡及数据处理系统和方法
CN110888737A (zh) * 2019-11-18 2020-03-17 中国航空工业集团公司西安航空计算技术研究所 一种支持多GPU的Ringbuffer实现系统及方法
CN111158898A (zh) * 2019-11-25 2020-05-15 国网浙江省电力有限公司建设分公司 针对输变电工程场地布置标准化的bim数据处理方法及装置
CN111274175A (zh) * 2020-01-15 2020-06-12 杭州华冲科技有限公司 一种基于数据乒乓填充的dma工作方法
US10795840B2 (en) 2018-11-12 2020-10-06 At&T Intellectual Property I, L.P. Persistent kernel for graphics processing unit direct memory access network packet processing
CN112486406A (zh) * 2019-09-11 2021-03-12 国际商业机器公司 动态调整多个存储器拷贝和存储器映射窗口以优化i/o性能
CN113051212A (zh) * 2021-03-02 2021-06-29 长沙景嘉微电子股份有限公司 图形处理器、数据传输方法、装置、电子设备和存储介质
CN113704520A (zh) * 2021-10-27 2021-11-26 天津(滨海)人工智能军民融合创新中心 利用cuda并行加速Anchor-based数据的处理方法、装置以及电子设备
CN111368974B (zh) * 2020-02-25 2023-11-21 北京声智科技有限公司 一种fsmn数据处理方法、装置、介质和设备
CN117196929A (zh) * 2023-09-25 2023-12-08 沐曦集成电路(上海)有限公司 基于定长数据包的软硬件交互系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101526934A (zh) * 2009-04-21 2009-09-09 浪潮电子信息产业股份有限公司 一种gpu与cpu复合处理器的组建方法
CN101707565A (zh) * 2009-12-04 2010-05-12 曙光信息产业(北京)有限公司 零拷贝网络报文发送、接收方法和装置
US20110157195A1 (en) * 2009-12-31 2011-06-30 Eric Sprangle Sharing resources between a CPU and GPU
CN102244579A (zh) * 2010-05-12 2011-11-16 北京研华兴业电子科技有限公司 网卡及网络数据接收方法
CN102566958A (zh) * 2011-12-23 2012-07-11 广东威创视讯科技股份有限公司 一种基于sgdma的图像分割处理装置
CN102750663A (zh) * 2011-08-26 2012-10-24 新奥特（北京）视频技术有限公司 一种基于gpu的地理信息数据处理的方法、设备和系统
CN103200128A (zh) * 2013-04-01 2013-07-10 华为技术有限公司 一种网络包处理的方法、装置和系统
CN103714511A (zh) * 2013-12-17 2014-04-09 华为技术有限公司 一种基于gpu的分支处理方法及装置
CN104102542A (zh) * 2013-04-10 2014-10-15 华为技术有限公司 一种网络数据包处理方法和装置
CN104410725A (zh) * 2014-09-17 2015-03-11 广州杰赛科技股份有限公司 Gpu的处理方法、系统以及基于gpu的dns解析方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101526934A (zh) * 2009-04-21 2009-09-09 浪潮电子信息产业股份有限公司 一种gpu与cpu复合处理器的组建方法
CN101707565A (zh) * 2009-12-04 2010-05-12 曙光信息产业(北京)有限公司 零拷贝网络报文发送、接收方法和装置
US20110157195A1 (en) * 2009-12-31 2011-06-30 Eric Sprangle Sharing resources between a CPU and GPU
CN102244579A (zh) * 2010-05-12 2011-11-16 北京研华兴业电子科技有限公司 网卡及网络数据接收方法
CN102750663A (zh) * 2011-08-26 2012-10-24 新奥特（北京）视频技术有限公司 一种基于gpu的地理信息数据处理的方法、设备和系统
CN102566958A (zh) * 2011-12-23 2012-07-11 广东威创视讯科技股份有限公司 一种基于sgdma的图像分割处理装置
CN103200128A (zh) * 2013-04-01 2013-07-10 华为技术有限公司 一种网络包处理的方法、装置和系统
CN104102542A (zh) * 2013-04-10 2014-10-15 华为技术有限公司 一种网络数据包处理方法和装置
CN103714511A (zh) * 2013-12-17 2014-04-09 华为技术有限公司 一种基于gpu的分支处理方法及装置
CN104410725A (zh) * 2014-09-17 2015-03-11 广州杰赛科技股份有限公司 Gpu的处理方法、系统以及基于gpu的dns解析方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ROBERTO AMMENDOLA: ""Virtual-to-Physical Address Translation for an"", 《2013 INTERNATIONAL CONFERENCE ON FIELD-PROGRAMMABLE TECHNOLOGY (FPT)》 *
孙江，兰巨龙: "《基于Intel 千兆网卡的高速包》", 《信息工程大学学报》 *
崔雪冰, 张延红，李国徽: "《基于通用计算的GPU-CPU 协作计算模式研究》", 《微电子学与计算机》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807900A (zh) * 2017-11-14 2018-03-16 浙江亿邦通信科技股份有限公司 数据处理系统及服务器
CN107995061A (zh) * 2017-11-30 2018-05-04 北京卓讯科信技术有限公司 多规格10Gbps网络信号长时采集与回放系统和方法
US11321256B2 (en) 2018-11-12 2022-05-03 At&T Intellectual Property I, L.P. Persistent kernel for graphics processing unit direct memory access network packet processing
US10795840B2 (en) 2018-11-12 2020-10-06 At&T Intellectual Property I, L.P. Persistent kernel for graphics processing unit direct memory access network packet processing
CN109828940A (zh) * 2019-01-31 2019-05-31 郑州云海信息技术有限公司 一种智能网卡及数据处理系统和方法
CN112486406A (zh) * 2019-09-11 2021-03-12 国际商业机器公司 动态调整多个存储器拷贝和存储器映射窗口以优化i/o性能
CN110888737A (zh) * 2019-11-18 2020-03-17 中国航空工业集团公司西安航空计算技术研究所 一种支持多GPU的Ringbuffer实现系统及方法
CN111158898B (zh) * 2019-11-25 2022-07-15 国网浙江省电力有限公司建设分公司 针对输变电工程场地布置标准化的bim数据处理方法及装置
CN111158898A (zh) * 2019-11-25 2020-05-15 国网浙江省电力有限公司建设分公司 针对输变电工程场地布置标准化的bim数据处理方法及装置
CN111274175A (zh) * 2020-01-15 2020-06-12 杭州华冲科技有限公司 一种基于数据乒乓填充的dma工作方法
CN111368974B (zh) * 2020-02-25 2023-11-21 北京声智科技有限公司 一种fsmn数据处理方法、装置、介质和设备
CN113051212A (zh) * 2021-03-02 2021-06-29 长沙景嘉微电子股份有限公司 图形处理器、数据传输方法、装置、电子设备和存储介质
CN113051212B (zh) * 2021-03-02 2023-12-05 长沙景嘉微电子股份有限公司 图形处理器、数据传输方法、装置、电子设备和存储介质
CN113704520A (zh) * 2021-10-27 2021-11-26 天津(滨海)人工智能军民融合创新中心 利用cuda并行加速Anchor-based数据的处理方法、装置以及电子设备
CN113704520B (zh) * 2021-10-27 2022-03-08 天津(滨海)人工智能军民融合创新中心 利用cuda并行加速Anchor-based数据的处理方法、装置以及电子设备
CN117196929A (zh) * 2023-09-25 2023-12-08 沐曦集成电路(上海)有限公司 基于定长数据包的软硬件交互系统
CN117196929B (zh) * 2023-09-25 2024-03-08 沐曦集成电路(上海)有限公司 基于定长数据包的软硬件交互系统

Also Published As

Publication number Publication date
CN107124286B (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
CN107124286A (zh) 一种海量数据高速处理、交互的系统及方法
EP3612942B1 (en) Queue management for direct memory access
US9965441B2 (en) Adaptive coalescing of remote direct memory access acknowledgements based on I/O characteristics
US9465662B2 (en) Processor with efficient work queuing
US10079740B2 (en) Packet capture engine for commodity network interface cards in high-speed networks
EP3503507B1 (en) Network interface device
CN112929299B (zh) 基于fpga加速卡的sdn云网络实现方法、装置及设备
US8751701B2 (en) Host channel adapter with pattern-type DMA
CN108268328A (zh) 数据处理装置及数据处理方法
EP3974998A2 (en) Cross network bridging
CN106375241A (zh) 批量数据处理方法、前端系统、主机及批量数据处理系统
Lockwood et al. Implementing ultra low latency data center services with programmable logic
CN109983741A (zh) 经由直接存储器访问设备在虚拟机之间传送分组
CN205983466U (zh) 一种基于fpga的算法加速卡
US7466716B2 (en) Reducing latency in a channel adapter by accelerated I/O control block processing
Zhu et al. Research and implementation of high performance traffic processing based on intel DPDK
Ros-Giralt et al. High-performance many-core networking: design and implementation
CN103440213B (zh) 一种应用于具有多cpu和网卡的系统的网卡驱动方法
CN103916316A (zh) 网络数据包线速捕获方法
CN102495764A (zh) 数据分流的实现方法和装置
CN105516016A (zh) 一种使用Tilera多核加速卡基于流的数据包过滤系统及数据包过滤方法
CN109656705A (zh) 一种数据处理的方法和装置
Jung et al. Gpu-ether: Gpu-native packet i/o for gpu applications on commodity ethernet
Ammendola et al. Real-time heterogeneous stream processing with NaNet in the NA62 experiment
CN101035011A (zh) 以太网驱动级底层过滤方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant