CN106371925A - 一种高速大数据的检测方法及装置 - Google Patents

一种高速大数据的检测方法及装置 Download PDF

Info

Publication number
CN106371925A
CN106371925A CN201610787134.1A CN201610787134A CN106371925A CN 106371925 A CN106371925 A CN 106371925A CN 201610787134 A CN201610787134 A CN 201610787134A CN 106371925 A CN106371925 A CN 106371925A
Authority
CN
China
Prior art keywords
data
network data
network
cpu core
core group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610787134.1A
Other languages
English (en)
Inventor
孙彦钊
凌晨
刘晓晨
赵洪宇
王振远
范汇川
张跃
吴岳峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongce Anhua Technology Co Ltd
Original Assignee
Beijing Zhongce Anhua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongce Anhua Technology Co Ltd filed Critical Beijing Zhongce Anhua Technology Co Ltd
Priority to CN201610787134.1A priority Critical patent/CN106371925A/zh
Publication of CN106371925A publication Critical patent/CN106371925A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation

Abstract

本发明公开了一种高速大数据的检测方法及装置，其方法包括：利用在网卡多个队列与操作系统内核多个内核缓存区之间建立的一一对应的多个第一虚拟数据流传输通道，将网卡每个队列接收的网络数据拷贝到相应内核缓存区中；利用其数量与网卡队列数量相当的多个数据集处理单元处理拷贝到内核缓存区中的网络数据，其每个数据集处理单元处理一个对应的网络队列接收并拷贝到内核缓存区的网络数据；根据每个数据集处理单元对网络数据进行处理所得到的网络数据类型，从多个第二虚拟数据流传输通道中选择相应第二虚拟数据流传输通道，并经由所选择的第二虚拟数据流传输通道将不同网络数据类型的网络数据写入应用层内存。

Description

一种高速大数据的检测方法及装置
技术领域
本发明涉及数据处理技术领域，特别涉及一种高速大数据的检测方法及装置。
背景技术
今天，互联网络的高速应用早已经渗入到了生活的每一个角落。很难想象没有网络该如何生活、如何工作，甚至国家和军队的管理、运行都离不开网络。由此，网络安全已经成为了公众视线的焦点。
网络安全的第一道防线就是网络数据检测，然而随着高速和超高速以太网络的快速发展，传统的千兆网络数据检测的方式已经无法适应现在的高速增长。传统的网络检测系统，从数据获取角度上讲，数据通过物理层的网络适配器通过进入了逻辑硬件层，然后通过设备接口层、网络层、传输层最终到达应用层，数据到达应用层后，操作系统还要对数据进行拆分、分类然后在进行分析。
传统的网络检测系统，如图1所示，从数据获取角度上讲，数据通过物理层的网络适配器通过进入了逻辑硬件层，然后通过设备接口层、网络层、传输层最终到达应用层，数据到达应用层后，操作系统还要对数据进行拆分、分类然后在进行分析，当网络数据流经由网卡流入操作系统的最外层驱动(即网卡驱动)，每个数据包都要经过网卡缓存区、操作系统内核缓存区、TCP(Transmission Control Protocol传输控制协议)/IP协议栈缓存区和应用层缓存区等存储区之间的复制及处理，很影响网络数据流的处理速度，也很消耗CPU的性能。同时当前计算机上的CPU大多是多核心的，最少可达到四核八核，多则三十二核甚至更高，因此很难发挥当前CPU多核的特性。而且现在基于服务器构架的CPU可以同时应用4颗CPU最多可以扩充到128个逻辑核心，因此即使是在应用了网卡多队列、负载均衡等技术之后，因传统的操作系统网络内核的处理机制和传统的网络数据检测方式等诸多原因最终导致了处理效率难以发挥。
发明内容
根据本发明实施例提供的方案解决的技术问题是在万兆(10G)乃至更高速20G以上的带宽下网络数据检测处理效率低。
根据本发明实施例提供的一种高速大数据的检测方法，包括：
利用在网卡多个队列与操作系统内核多个内核缓存区之间建立的一一对应的多个第一虚拟数据流传输通道，将网卡每个队列接收的网络数据拷贝到相应内核缓存区中；
利用其数量与网卡队列数量相当的多个数据集处理单元处理拷贝到内核缓存区中的网络数据，其每个数据集处理单元处理一个对应的网络队列接收并拷贝到内核缓存区的网络数据；
根据每个数据集处理单元对网络数据进行处理所得到的网络数据类型，从多个第二虚拟数据流传输通道中选择相应第二虚拟数据流传输通道，并经由所选择的第二虚拟数据流传输通道将不同网络数据类型的网络数据写入应用层内存，以便应用层对网络数据进行分类检测。
优选地，还包括：通过将CPU的核心进行资源分配，将用于数据传输控制线程赋给数据传输控制CPU核心组，将网络数据分析线程赋给网络数据分析CPU核心组；
其中，由所述数据传输控制CPU核心组建立所述多个第一虚拟数据流传输通道和所述多个第二虚拟通道传输通道；
其中，由网络数据分析CPU核心组建立所述多个数据集处理单元。
优选地，还包括：通过将CPU的核心进行资源分配，将用于数据传输控制线程赋给数据传输控制CPU核心组，将网络数据预处理线程赋给网络数据预处理CPU核心组，将网络数据分析线程赋给网络数据分析CPU核心组；
其中，由所述数据传输控制CPU核心组建立所述多个第一虚拟数据流传输通道和所述多个第二虚拟通道传输通道；
其中，由所述网络数据预处理CPU核心组和网络数据分析CPU核心组建立所述多个数据集处理单元。
优选地，其中，所述每个数据集处理单元包括：
由网络数据预处理CPU核心组中相应核心建立的网络数据预处理子单元；以及
由网络数据分析CPU核心组中相应核心建立的所述网络数据分析子单元。
优选地，所述第二虚拟数据流传输通道是利用操作系统内核缓存区与应用层内存缓存区之间的映射关系所建立的，用于将操作系统每个内核缓存区接收的不同网络数据类型的网络数据写入应用层内存缓存区。
优选地，所述网络数据类型包括传输控制协议TCP网络数据类型和用户数据报协议UDP网络数据类型。
根据本发明实施例提供的一种高速大数据的检测装置，包括：
网络数据拷贝模块，用于利用在网卡多个队列与操作系统内核多个内核缓存区之间建立的一一对应的多个第一虚拟数据流传输通道，将网卡每个队列接收的网络数据拷贝到相应内核缓存区中；
网络数据处理模块，用于利用其数量与网卡队列数量相当的多个数据集处理单元处理拷贝到内核缓存区中的网络数据，其每个数据集处理单元处理一个对应的网络队列接收并拷贝到内核缓存区的网络数据；
网络数据检测模块，用于根据每个数据集处理单元对网络数据进行处理所得到的网络数据类型，从多个第二虚拟数据流传输通道中选择相应第二虚拟数据流传输通道，并经由所选择的第二虚拟数据流传输通道将不同网络数据类型的网络数据写入应用层内存，以便应用层对网络数据进行分类检测。
优选地，还包括：第一资源分配单元，用于通过将CPU的核心进行资源分配，将用于数据传输控制线程赋给数据传输控制CPU核心组，将网络数据分析线程赋给网络数据分析CPU核心组；
其中，由所述数据传输控制CPU核心组建立所述多个第一虚拟数据流传输通道和所述多个第二虚拟通道传输通道；
其中，由网络数据分析CPU核心组建立所述多个数据集处理单元。
优选地，还包括：第二资源分配单元，用于通过将CPU的核心进行资源分配，将用于数据传输控制线程赋给数据传输控制CPU核心组，将网络数据预处理线程赋给网络数据预处理CPU核心组，将网络数据分析线程赋给网络数据分析CPU核心组；
其中，由所述数据传输控制CPU核心组建立所述多个第一虚拟数据流传输通道和所述多个第二虚拟通道传输通道；
其中，由所述网络数据预处理CPU核心组和网络数据分析CPU核心组建立所述多个数据集处理单元。
优选地，其中，所述每个数据集处理单元包括：
由网络数据预处理CPU核心组中相应核心建立的网络数据预处理子单元；以及
由网络数据分析CPU核心组中相应核心建立的所述网络数据分析子单元。
根据本发明实施例提供的方案，在万兆(10G)乃至更高速20G以上的带宽下实现实时网络数据检测，尤其是系统采用虚拟通道队列设计，完全可以兼容更高速和庞大的网络数据流量检测当中，并能保证整体系统的高速稳定的运行。
附图说明
图1是现有技术提供的网络数据检测系统架构图；
图2是本发明实施例提供的一种高速大数据的检测方法的流程图；
图3是本发明实施例提供的一种高速大数据的检测装置的示意图；
图4是本发明实施例提供的网络数据检测系统架构图；
图5是本发明实施例提供的网络数据分析处理流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图2是本发明实施例提供的一种高速大数据的检测方法的流程图，如图2所示，包括：
步骤S201：利用在网卡多个队列与操作系统内核多个内核缓存区之间建立的一一对应的多个第一虚拟数据流传输通道，将网卡每个队列接收的网络数据拷贝到相应内核缓存区中；
步骤S202：利用其数量与网卡队列数量相当的多个数据集处理单元处理拷贝到内核缓存区中的网络数据，其每个数据集处理单元处理一个对应的网络队列接收并拷贝到内核缓存区的网络数据；
步骤S203：根据每个数据集处理单元对网络数据进行处理所得到的网络数据类型，从多个第二虚拟数据流传输通道中选择相应第二虚拟数据流传输通道，并经由所选择的第二虚拟数据流传输通道将不同网络数据类型的网络数据写入应用层内存，以便应用层对网络数据进行分类检测。
其中，所述网络数据类型包括传输控制协议TCP网络数据类型和用户数据报协议UDP网络数据类型。
本发明实施例还包括：通过将CPU的核心进行资源分配，将用于数据传输控制线程赋给数据传输控制CPU核心组，将网络数据分析线程赋给网络数据分析CPU核心组；其中，由所述数据传输控制CPU核心组建立所述多个第一虚拟数据流传输通道和所述多个第二虚拟通道传输通道；其中，由网络数据分析CPU核心组建立所述多个数据集处理单元。
本发明实施例还包括：通过将CPU的核心进行资源分配，将用于数据传输控制线程赋给数据传输控制CPU核心组，将网络数据预处理线程赋给网络数据预处理CPU核心组，将网络数据分析线程赋给网络数据分析CPU核心组；其中，由所述数据传输控制CPU核心组建立所述多个第一虚拟数据流传输通道和所述多个第二虚拟通道传输通道；其中，由所述网络数据预处理CPU核心组和网络数据分析CPU核心组建立所述多个数据集处理单元。
其中，所述每个数据集处理单元包括：由网络数据预处理CPU核心组中相应核心建立的网络数据预处理子单元；以及由网络数据分析CPU核心组中相应核心建立的所述网络数据分析子单元。
其中，所述第二虚拟数据流传输通道是利用操作系统内核缓存区与应用层内存缓存区之间的映射关系所建立的，用于将操作系统每个内核缓存区接收的不同网络数据类型的网络数据写入应用层内存缓存区。
图3是本发明实施例提供的一种高速大数据的检测装置的示意图，如图3所示，包括：网络数据拷贝模块301，用于利用在网卡多个队列与操作系统内核多个内核缓存区之间建立的一一对应的多个第一虚拟数据流传输通道，将网卡每个队列接收的网络数据拷贝到相应内核缓存区中；网络数据处理模块302，用于利用其数量与网卡队列数量相当的多个数据集处理单元处理拷贝到内核缓存区中的网络数据，其每个数据集处理单元处理一个对应的网络队列接收并拷贝到内核缓存区的网络数据；网络数据检测模块303，用于根据每个数据集处理单元对网络数据进行处理所得到的网络数据类型，从多个第二虚拟数据流传输通道中选择相应第二虚拟数据流传输通道，并经由所选择的第二虚拟数据流传输通道将不同网络数据类型的网络数据写入应用层内存，以便应用层对网络数据进行分类检测。
本发明实施例还包括：第一资源分配单元，用于通过将CPU的核心进行资源分配，将用于数据传输控制线程赋给数据传输控制CPU核心组，将网络数据分析线程赋给网络数据分析CPU核心组；其中，由所述数据传输控制CPU核心组建立所述多个第一虚拟数据流传输通道和所述多个第二虚拟通道传输通道；其中，由网络数据分析CPU核心组建立所述多个数据集处理单元。
本发明实施例还包括：第二资源分配单元，用于通过将CPU的核心进行资源分配，将用于数据传输控制线程赋给数据传输控制CPU核心组，将网络数据预处理线程赋给网络数据预处理CPU核心组，将网络数据分析线程赋给网络数据分析CPU核心组；其中，由所述数据传输控制CPU核心组建立所述多个第一虚拟数据流传输通道和所述多个第二虚拟通道传输通道；其中，由所述网络数据预处理CPU核心组和网络数据分析CPU核心组建立所述多个数据集处理单元。
其中，所述每个数据集处理单元包括：由网络数据预处理CPU核心组中相应核心建立的网络数据预处理子单元；以及由网络数据分析CPU核心组中相应核心建立的所述网络数据分析子单元。
图4是本发明实施例提供的网络数据检测系统架构图，如图4所示，包括：
第一步：对CPU的核心进行资源合理分配；
CPU的资源合理分配最终目的是允许把指定的线程赋给预先设定好的CPU核心集去执行。这样就可以将网络数据传输控制、网络数据预处理、网络数据分析以及系统运维分别由指定的CPU核心集来执行，并且可以动态的调整各个CPU核心集中核心的数量，从而平衡的处理所有的数据包分析工作，充分发挥CPU多核多线程的性能。
具体分配如下，
网络数据传输控制线程名:
网络数据预处理线程名:
网络数据分析线程名:
系统运维线程名:
第二步：以多核并行的方式转储数据包至缓存区；
利用万兆网卡的多队列特性和CPU的多核多线程技术，实现真正意义上的并行方式，将网络数据从网卡驱动拷贝至内核中开辟的大片缓存区中。在具体实现上，采用Linux内核中的CPU原子性编程方式实现，万兆网卡的每一个队列对应一个CPU核心和一个数据缓存区组成的链表，这样组成多个独立的数据流传输通道。逻辑实现如下
第三步：数据流分析处理流程；
如图5所示，利用网络数据分析组中的所有CPU核心，以并行多通道处理的方式处理每一个数据流。根据网络数据分析组中的CPU核心建立多个数据集处理单元，每个数据集处理单元处理一个网卡队列接收来的数据流，从而达到从网卡多队列到CPU多核心，再到多处理单元的独立并行处理逻辑，避免CPU及内存切换产生的开销，大大地提高网络处理性能。接下来就是对每个数据包的处理逻辑，包括将根据数据包的网络五元组和数据包的特征码计算得到的数据包指纹存入数据包中，以备优化应用层的数据处理方法。
第四步：建立CPU内核虚拟逻辑映射通道；
首先，将当前所有的CPU核心按功能的不同规划成逻辑运算组，即网络数据传输控制组、网络数据预处理组、网络数据分析组和系统运维组等几个CPU逻辑核心组，每个逻辑核心组的CPU核心负责同一技能，即网络数据传输控制组负责网络数据流从网卡驱动到应用层的虚拟通道内存映射的控制，网络数据预处理组负责网络数据包的分类、拆包等前期处理工作，网络数据分析组负责网络数据流中的数据内容的分析还原及格式化存储等具体工作，系统运维组是留置一部分CPU核心维护操作系统的正常运行，避免操作系统自身的一些功能影响网络数据的处理性能。
其次，由CPU核心网络数据传输控制组启动虚拟通道内存映射模块，使网络数据在网卡缓存区、内核缓存区、应用层缓存区之间复制时采用虚拟通道内存映射原理直接将数据映射到应用层地址空间，避免大量网络数据的拷贝所带来的性能消耗。
然后，网络数据预处理组的CPU核心在接收到由传输控制组传递来的网络数据时，将对网络数据进行拆解，并根据网络数据分析规则进行分类处理，过滤掉规则之外的数据，规则内的数据根据优先级分批次分通道的传递给网络数据分析组，进行进一步分析处理。
最后，网络数据分析组的CPU核心将对网络数据进行数据关联、数据分析、数据格式化处理，形成有效规整的网络数据记录，交由数据传输控制组传递给存储介质保存，以备后期的数据分析及数据统计。
第五步：虚拟通道池多路传输逻辑。
首先建立数据传输控制组在系统启动时，便预先建立了多组内存区块映射的虚拟通道池，并且为每组虚拟通道传输池确定了所要传输数据的类型。在网络数据分析组处理网络数据流的同时，将对每个数据流打标记，即利用每个数据流的五元组进行哈希计算得到一个唯一标识。待数据传输控制组收到分析后的数据流时，把标记值的范围做划分，例如根据取余运算划分阶段性范围，会根据具体的标记值所属范围去指定的虚拟通道池，从而获取特定的虚拟通道中所传输数据流。
其中，采用虚拟通道池进行多路数据并行传输具体逻辑如下：
步骤1，数据传输控制组从预先分配的虚拟通道池获取指定数量(根据数据分析逻辑处理单元数量确定)的虚拟通道，并且初始化获得的所有虚拟通道描述符。然后，数据传输控制组通告应用层虚拟通道描述符在内存的起始地址，并且协商同步机制；
步骤2，该方案根据虚拟通道描述符的起始地址信息和其他相关信息通过内存同步映射的方式下载到该方案当中；
步骤3，当有(预分析过的)网络数据报文到达时，该方案就根据虚拟通道描述符指示的地址触发一次内存映射操作，将到达的(预分析过的)网络数据报文写入应用层内存；
步骤4，数据传输操作完成后，该方案又立即触发另一次内存同步映射操作，回写刚才已使用的虚拟通道描述符中的若干标识(数据长度标识，回写标识，其他标识)；
步骤5，当传输到应用层的数据量达到接收中断的阈值时，该方案通知应用层接收数据，从而应用层高速地处理接收到的网络数据，(当接收数据的数量未到接收中断的阈值，但接收计时器超时的情况下，该方案亦通知应用层接收数据中断，避免应用层的性能消耗)；
步骤6，应用层在完成对数据的处理后，便将此次处理完成事件通知给该方案，该方案根据指示的虚拟通道地址，回收对应的虚拟通道描述符。
根据本发明实施例提供的方案，只要CPU内核和内存空间足够大就可以很方便的扩展到20G乃至更高速的网络流量处理中。系统采用虚拟通道队列设计，完全可以兼容更高速和庞大的网络数据流量检测当中。本系统基于Linux4.0Kernel进行开发，对于网络数据报文是采用数据分光方式进行获取。当获得数据后，采用CPU并行分布的原理进行处理。在防止数据延迟和保证高速处理方面又设计并采用了数据指纹识别原理和设计了一种内存区块映射的虚拟通道技术，从而保证了整体系统的高速稳定的运行。
尽管上文对本发明进行了详细说明，但是本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。

Claims (10)

1.一种高速大数据的检测方法，包括：
利用在网卡多个队列与操作系统内核多个内核缓存区之间建立的一一对应的多个第一虚拟数据流传输通道，将网卡每个队列接收的网络数据拷贝到相应内核缓存区中；
利用其数量与网卡队列数量相当的多个数据集处理单元处理拷贝到内核缓存区中的网络数据，其每个数据集处理单元处理一个对应的网络队列接收并拷贝到内核缓存区的网络数据；
根据每个数据集处理单元对网络数据进行处理所得到的网络数据类型，从多个第二虚拟数据流传输通道中选择相应第二虚拟数据流传输通道，并经由所选择的第二虚拟数据流传输通道将不同网络数据类型的网络数据写入应用层内存，以便应用层对网络数据进行分类检测。
2.根据权利要求1所述的方法，还包括：通过将CPU的核心进行资源分配，将用于数据传输控制线程赋给数据传输控制CPU核心组，将网络数据分析线程赋给网络数据分析CPU核心组；
其中，由所述数据传输控制CPU核心组建立所述多个第一虚拟数据流传输通道和所述多个第二虚拟通道传输通道；
其中，由网络数据分析CPU核心组建立所述多个数据集处理单元。
3.根据权利要求1所述的方法，还包括：通过将CPU的核心进行资源分配，将用于数据传输控制线程赋给数据传输控制CPU核心组，将网络数据预处理线程赋给网络数据预处理CPU核心组，将网络数据分析线程赋给网络数据分析CPU核心组；
其中，由所述数据传输控制CPU核心组建立所述多个第一虚拟数据流传输通道和所述多个第二虚拟通道传输通道；
其中，由所述网络数据预处理CPU核心组和网络数据分析CPU核心组建立所述多个数据集处理单元。
4.根据权利要求3所述的方法，其中，所述每个数据集处理单元包括：
由网络数据预处理CPU核心组中相应核心建立的网络数据预处理子单元；以及
由网络数据分析CPU核心组中相应核心建立的所述网络数据分析子单元。
5.根据权利要求1-4任一所述的方法，所述第二虚拟数据流传输通道是利用操作系统内核缓存区与应用层内存缓存区之间的映射关系所建立的，用于将操作系统每个内核缓存区接收的不同网络数据类型的网络数据写入应用层内存缓存区。
6.根据权利要求5所述的方法，所述网络数据类型包括传输控制协议TCP网络数据类型和用户数据报协议UDP网络数据类型。
7.一种高速大数据的检测装置，包括：
网络数据拷贝模块，用于利用在网卡多个队列与操作系统内核多个内核缓存区之间建立的一一对应的多个第一虚拟数据流传输通道，将网卡每个队列接收的网络数据拷贝到相应内核缓存区中；
网络数据处理模块，用于利用其数量与网卡队列数量相当的多个数据集处理单元处理拷贝到内核缓存区中的网络数据，其每个数据集处理单元处理一个对应的网络队列接收并拷贝到内核缓存区的网络数据；
网络数据检测模块，用于根据每个数据集处理单元对网络数据进行处理所得到的网络数据类型，从多个第二虚拟数据流传输通道中选择相应第二虚拟数据流传输通道，并经由所选择的第二虚拟数据流传输通道将不同网络数据类型的网络数据写入应用层内存，以便应用层对网络数据进行分类检测。
8.根据权利要求7所述的装置，还包括：第一资源分配单元，用于通过将CPU的核心进行资源分配，将用于数据传输控制线程赋给数据传输控制CPU核心组，将网络数据分析线程赋给网络数据分析CPU核心组；
其中，由所述数据传输控制CPU核心组建立所述多个第一虚拟数据流传输通道和所述多个第二虚拟通道传输通道；
其中，由网络数据分析CPU核心组建立所述多个数据集处理单元。
9.根据权利要求7所述的装置，还包括：第二资源分配单元，用于通过将CPU的核心进行资源分配，将用于数据传输控制线程赋给数据传输控制CPU核心组，将网络数据预处理线程赋给网络数据预处理CPU核心组，将网络数据分析线程赋给网络数据分析CPU核心组；
其中，由所述数据传输控制CPU核心组建立所述多个第一虚拟数据流传输通道和所述多个第二虚拟通道传输通道；
其中，由所述网络数据预处理CPU核心组和网络数据分析CPU核心组建立所述多个数据集处理单元。
10.根据权利要求9所述的装置，其中，所述每个数据集处理单元包括：
由网络数据预处理CPU核心组中相应核心建立的网络数据预处理子单元；以及
由网络数据分析CPU核心组中相应核心建立的所述网络数据分析子单元。
CN201610787134.1A 2016-08-31 2016-08-31 一种高速大数据的检测方法及装置 Pending CN106371925A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610787134.1A CN106371925A (zh) 2016-08-31 2016-08-31 一种高速大数据的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610787134.1A CN106371925A (zh) 2016-08-31 2016-08-31 一种高速大数据的检测方法及装置

Publications (1)

Publication Number Publication Date
CN106371925A true CN106371925A (zh) 2017-02-01

Family

ID=57899550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610787134.1A Pending CN106371925A (zh) 2016-08-31 2016-08-31 一种高速大数据的检测方法及装置

Country Status (1)

Country Link
CN (1) CN106371925A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346110A (zh) * 2017-07-03 2017-11-14 上海德衡数据科技有限公司 一种基于多核处理器的运维多模态决策系统原型
CN109525489A (zh) * 2017-09-18 2019-03-26 广东中信通网络工程有限公司 一种融合网关及数据传输方法
CN109756389A (zh) * 2018-11-28 2019-05-14 南京知常容信息技术有限公司 一种万兆网络隐蔽通信检测系统
CN110233705A (zh) * 2019-06-11 2019-09-13 北京深蓝航天科技有限公司 基于无线通信方式的信号传输系统
CN111988244A (zh) * 2020-08-20 2020-11-24 珠海市一知安全科技有限公司 网络数据调度分配方法、计算机装置及计算机可读存储介质
CN112883041A (zh) * 2021-02-23 2021-06-01 北京百度网讯科技有限公司 一种数据更新方法、装置、电子设备及存储介质
CN114201427A (zh) * 2022-02-18 2022-03-18 之江实验室 一种并行式确定性数据处理装置及方法
CN115225430A (zh) * 2022-07-18 2022-10-21 中安云科科技发展(山东)有限公司 一种高性能IPsec VPN CPU负载均衡方法
CN109525489B (zh) * 2017-09-18 2024-05-14 广东中信通网络工程有限公司 一种融合网关及数据传输方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541803A (zh) * 2011-12-31 2012-07-04 曙光信息产业股份有限公司 数据发送方法和计算机
CN102567226A (zh) * 2011-12-31 2012-07-11 曙光信息产业股份有限公司 数据访问的实现方法和装置
CN102904729A (zh) * 2012-10-26 2013-01-30 曙光信息产业(北京)有限公司 根据协议、端口分流支持多应用的智能加速网卡
US20130041934A1 (en) * 2011-03-28 2013-02-14 Saravana Annamalaisami Systems and Methods for Tracking Application Layer Flow Via a Multi-Connection Intermediary Device
CN104904160A (zh) * 2012-11-09 2015-09-09 思杰系统有限公司 用于数据流的应用流的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130041934A1 (en) * 2011-03-28 2013-02-14 Saravana Annamalaisami Systems and Methods for Tracking Application Layer Flow Via a Multi-Connection Intermediary Device
CN102541803A (zh) * 2011-12-31 2012-07-04 曙光信息产业股份有限公司 数据发送方法和计算机
CN102567226A (zh) * 2011-12-31 2012-07-11 曙光信息产业股份有限公司 数据访问的实现方法和装置
CN102904729A (zh) * 2012-10-26 2013-01-30 曙光信息产业(北京)有限公司 根据协议、端口分流支持多应用的智能加速网卡
CN104904160A (zh) * 2012-11-09 2015-09-09 思杰系统有限公司 用于数据流的应用流的系统和方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346110A (zh) * 2017-07-03 2017-11-14 上海德衡数据科技有限公司 一种基于多核处理器的运维多模态决策系统原型
CN109525489A (zh) * 2017-09-18 2019-03-26 广东中信通网络工程有限公司 一种融合网关及数据传输方法
CN109525489B (zh) * 2017-09-18 2024-05-14 广东中信通网络工程有限公司 一种融合网关及数据传输方法
CN109756389A (zh) * 2018-11-28 2019-05-14 南京知常容信息技术有限公司 一种万兆网络隐蔽通信检测系统
CN110233705B (zh) * 2019-06-11 2022-04-26 江苏深蓝航天有限公司 基于无线通信方式的信号传输系统
CN110233705A (zh) * 2019-06-11 2019-09-13 北京深蓝航天科技有限公司 基于无线通信方式的信号传输系统
CN111988244B (zh) * 2020-08-20 2022-10-18 珠海市一知安全科技有限公司 网络数据调度分配方法、计算机装置及计算机可读存储介质
CN111988244A (zh) * 2020-08-20 2020-11-24 珠海市一知安全科技有限公司 网络数据调度分配方法、计算机装置及计算机可读存储介质
CN112883041A (zh) * 2021-02-23 2021-06-01 北京百度网讯科技有限公司 一种数据更新方法、装置、电子设备及存储介质
CN112883041B (zh) * 2021-02-23 2024-03-08 北京百度网讯科技有限公司 一种数据更新方法、装置、电子设备及存储介质
CN114201427A (zh) * 2022-02-18 2022-03-18 之江实验室 一种并行式确定性数据处理装置及方法
CN114201427B (zh) * 2022-02-18 2022-05-17 之江实验室 一种并行式确定性数据处理装置及方法
CN115225430A (zh) * 2022-07-18 2022-10-21 中安云科科技发展(山东)有限公司 一种高性能IPsec VPN CPU负载均衡方法

Similar Documents

Publication Publication Date Title
CN106371925A (zh) 一种高速大数据的检测方法及装置
US20210117360A1 (en) Network and edge acceleration tile (next) architecture
EP3706394A1 (en) Writes to multiple memory destinations
US10229144B2 (en) NSP manager
US9864633B2 (en) Network processor having multicasting protocol
CN105577567B (zh) 基于Intel DPDK的网络数据包并行处理方法
US6957281B2 (en) Ingress processing optimization via traffic classification and grouping
US20060026169A1 (en) Communication method with reduced response time in a distributed data processing system
KR20160040439A (ko) 오프로드 프로세서들을 사용한 스케줄링 및 트래픽 관리
CN106030562A (zh) 网络处理器中的分组整形
CN106031107A (zh) 网络处理器中的分组调度
KR20130087026A (ko) 전기 통신 네트워크 애플리케이션들을 위한 잠금 없는 버퍼 관리 방식
EP4002804A1 (en) Software distributed, hardware aggregated hierarchical traffic management
US20220021629A1 (en) Coalescing packets based on hints generated by network adapter
CN109905329A (zh) 一种虚拟化环境下任务类型感知的流队列自适应管理方法
US20220358002A1 (en) Network attached mpi processing architecture in smartnics
US9906443B1 (en) Forwarding table updates during live packet stream processing
US11343176B2 (en) Interconnect address based QoS regulation
US10616116B1 (en) Network traffic load balancing using rotating hash
Li et al. Improving spark performance with zero-copy buffer management and RDMA
US20220006750A1 (en) Packet transmission scheduling fairness
US20230061794A1 (en) Packet transmission scheduling
Huang et al. FGLB: A fine‐grained hardware intra‐server load balancer based on 100 G FPGA SmartNIC
Zhu et al. Application and analysis of three common high-performance network data processing frameworks
Li et al. Performance of the 25 gbps/100 gbps fullmesh roce network using mellanox connetx-4 lx adapter and ruijie s6500 ethernet switch

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liu Yanzhao

Inventor after: Ling Chen

Inventor after: Liu Xiaochen

Inventor after: Wang Zhenyuan

Inventor after: Zhang Yue

Inventor after: Wu Yuefeng

Inventor before: Sun Yanzhao

Inventor before: Ling Chen

Inventor before: Liu Xiaochen

Inventor before: Zhao Hongyu

Inventor before: Wang Zhenyuan

Inventor before: Fan Huichuan

Inventor before: Zhang Yue

Inventor before: Wu Yuefeng

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170201