CN111628941A - 一种网络流量的分类处理方法、装置、设备及介质 - Google Patents
一种网络流量的分类处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111628941A CN111628941A CN202010461868.7A CN202010461868A CN111628941A CN 111628941 A CN111628941 A CN 111628941A CN 202010461868 A CN202010461868 A CN 202010461868A CN 111628941 A CN111628941 A CN 111628941A
- Authority
- CN
- China
- Prior art keywords
- classification
- cpu logic
- data packets
- network
- logic cores
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 238000003064 k means clustering Methods 0.000 claims abstract description 26
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012423 maintenance Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了网络流量的分类处理方法，包括：利用网卡的多队列，获取当前网络中的各数据包；根据多核处理器系统中CPU逻辑核的数量，确定各数据包的分类数量；根据k均值聚类算法、分类数量和各数据包的特征属性信息，对当前网络中的各数据包进行分类；按照预设的类别与不同CPU逻辑核之间的对应关系，将各类数据包分别分配至对应的目标CPU逻辑核。由此可见，本发明通过利用k均值聚类算法对全部的数据包进行了分类，提升了网络流量分类的普适性；并将相似度高的数据包分为一类，便于后续对数据的集中处理；提升了网络流量的分类处理效率。此外，本发明所提供的一种网络流量的分类处理装置、设备及存储介质与上述方法对应。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种网络流量的分类处理方法、装置、设备及介质。
背景技术
在大数据时代，随着网络带宽的不断提升，已出现了用于对网卡流量进行处理的多核处理器系统。为充分利用多核处理器的性能，通常利用网卡多队列驱动的支持，将多队列获取到的网络流量分配到多核处理器系统中不同的CPU逻辑核上以进行处理。
现有技术中，通常采用哈希算法将获取到的网络流量分配不同的CPU逻辑核上。具体地，通过网络流量的五元组和哈希算法计算出该网络流量对应的哈希标识，五元组包括源IP地址、源四层端口、目的IP地址、目的四层端口和协议。然后，根据预设的哈希标识与各个CPU逻辑核的对应关系，将不同的网络流量分配到各个CPU逻辑核上进行处理。
但是，由于地址解析协议(ARP)或Internet控制报文协议(ICMP)类型的网络流量不具备五元组，因此采用现有技术无法计算出其相应的哈希标识，也就无法根据预设的哈希标识与各个CPU逻辑核的对应关系进行分配。由此可见，现有技术的方法不具有普适性，无法满足不同类型的网络流量的分类，提供一种能够满足不同类型的网络流量的分类处理方法成为当前亟待解决地问题。
发明内容
本发明的目的是提供一种网络流量的分类处理方法、装置、设备及介质，能够根据k均值聚类算法、分类数量和各数据包的特征属性信息，对当前网络中的各数据包进行分类；具有不同协议类型的数据包均可实现分类操作，提升网络流量分类的普适性及网络流量的分类处理效率。
为解决上述技术问题，本发明提供一种网络流量的分类处理方法，包括：
利用网卡的多队列，获取当前网络中的各数据包；
根据多核处理器系统中CPU逻辑核的数量，确定所述各数据包的分类数量；
根据k均值聚类算法、所述分类数量和所述各数据包的特征属性信息，对当前网络中的所述各数据包进行分类；
按照预设的类别与不同所述CPU逻辑核之间的对应关系，将各类数据包分别分配至对应的目标CPU逻辑核。
优选地，在所述利用网卡的多队列，获取当前网络中的各数据包之前，还包括：
查看多所述队列的工作状态，判断多所述队列的工作状态是否均为生效状态；
如果否，则设置全部的所述队列的工作状态为生效状态。
优选地，所述根据多核处理器系统中CPU逻辑核的数量，确定所述各数据包的分类数量具体为：
将所述多核处理器系统中CPU逻辑核的数量确定为所述分类数量。
优选地，所述各数据包的特征属性信息具体为所述各数据包的头部特征值。
优选地，还包括：
判断是否接收到用于更新所述多核处理器系统中CPU逻辑核的数量的更新信息；
如果是，则根据所述更新信息，查看所述多核处理器系统中CPU逻辑核的当前数量，并将所述当前数量作为更新后的所述CPU逻辑核的数量。
优选地，所述查看多所述队列的工作状态具体为：
利用ethtool工具查看多所述队列的工作状态。
优选地，还包括：
生成用于记录各所述数据包的类别及对应的所述目标CPU逻辑核的日志。
为解决上述技术问题，本发明还提供一种网络流量的分类处理装置，包括：
获取模块，用于利用网卡的多队列，获取当前网络中的各数据包；
确定模块，用于根据多核处理器系统中CPU逻辑核的数量，确定所述各数据包的分类数量；
分类模块，用于根据k均值聚类算法、所述分类数量和所述各数据包的特征属性信息，对当前网络中的所述各数据包进行分类；
分配模块，用于按照预设的类别与不同所述CPU逻辑核之间的对应关系，将各类数据包分别分配至对应的目标CPU逻辑核。
为解决上述技术问题，本发明还提供一种网络流量的分类处理设备，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述任一项所述的网络流量的分类处理方法的步骤。
为解决上述技术问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的网络流量的分类处理方法的步骤。
本发明所提供的一种网络流量的分类处理方法，利用网卡的多队列，获取当前网络中的各数据包；根据多核处理器系统中CPU逻辑核的数量，确定各数据包的分类数量；根据k均值聚类算法、分类数量和各数据包的特征属性信息，对当前网络中的各数据包进行分类；具有不同协议类型的数据包均可实现分类操作，并将相似度高的数据包分为一类；进一步地，根据预设的类别与不同CPU逻辑核之间的对应关系，将各类数据包分别分配至对应的目标CPU逻辑核，从而完成后续的数据处理操作。由此可见，本发明通过利用k均值聚类算法对全部的数据包进行了分类，提升了网络流量分类的普适性；并将相似度高的数据包分为一类，便于后续对数据的集中处理；由于k均值聚类算法具有实现简单，收敛速度快的特点，从而提升了网络流量的分类处理效率。
此外，本发明所提供的一种网络流量的分类处理装置、设备及存储介质与上述方法对应，具有同样的有益效果。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种网络流量的分类处理方法的流程图；
图2为本发明实施例提供的一种网络流量的分类处理装置的结构图；
图3为本发明实施例提供的一种网络流量的分类处理设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
本发明的核心是提供一种网络流量的分类处理方法、装置、设备及介质，能够根据k均值聚类算法、分类数量和各数据包的特征属性信息，对当前网络中的各数据包进行分类；具有不同协议类型的数据包均可实现分类操作，提升网络流量分类的普适性及网络流量的分类处理效率。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明实施例提供的一种网络流量的分类处理方法的流程图；如图1所示，本发明实施例提供的一种网络流量的分类处理方法，包括步骤S101-步骤S104：
步骤S101：利用网卡的多队列，获取当前网络中的各数据包；
在一个实施例中，通过网卡中建立的各队列获取当前网络中的数据包。可以理解地，网卡中生效工作的队列数量越多，则获取当前网络中的数据包的效率越高，速度越快。需要说明的是，在本实施例中，生效状态具体指队列处于获取当前网络中的数据包的工作状态。
在具体实施中，为快速获取到当前网络中的各数据包，在利用网卡的多队列，获取当前网络中的各数据包之前，还包括：
查看多队列的工作状态，判断多队列的工作状态是否均为生效状态；
如果否，则设置全部的队列的工作状态为生效状态。
具体地，可利用ethtool工具查看网卡中多队列的工作状态，从而获得网卡建立的队列的总数量及当前有效工作的队列的数量。通过判断总数量与当前有效工作的队列的数量是否一致，来确定是否多队列的工作状态是否均为生效状态。如果二者一致，则说明全部队列用于获取数据包，多队列的工作状态均为生效状态，此时获取数据包的效率最高；如果二者不一致，则说明此时存在工作状态为未生效状态的队列，可通过发送“ethtool-L eth0combined8”指令将全部的队列的工作状态设置为生效状态，以提高获取数据包的效率及网卡的利用率。
步骤S102：根据多核处理器系统中CPU逻辑核的数量，确定各数据包的分类数量；
在具体实施中，可通过发送“cat/proc/cpuinfo|grep"processor"|wc-l”指令，查询多核处理器系统中CPU逻辑核的数量，并根据该数量确定各数据包的分类数量。具体地，将多核处理器系统中CPU逻辑核的数量确定为分类数量，以使多核处理器系统中的每个CPU逻辑核处理一类数据包，提升多核处理器资源的利用率。需要说明的是，本领域技术人员可根据实际应用情况，任意设定分类数量的具体数值，本发明实施例不作限定。
步骤S103：根据k均值聚类算法、分类数量和各数据包的特征属性信息，对当前网络中的各数据包进行分类；
步骤S104：按照预设的类别与不同CPU逻辑核之间的对应关系，将各类数据包分别分配至对应的目标CPU逻辑核。
在一个实施例中，各数据包均具有如头部特征值等特征属性信息，根据该特征属性信息、k均值聚类算法和确定的分类数量，对当前网络中的各数据包进行分类，分类处理的过程可通过预先编写的python脚本实现。需要说明的是，本领域技术人员可根据实际应用情况，确定特征属性信息的具体内容，本发明实施例不作限定。
在具体实施中，分类数量即为k均值聚类算法中需要确定的k值。具体地，k值可为多核处理器系统中CPU逻辑核的数量。在一个实施例中，可随机选取k个获取到的数据包作为k均值聚类算法中初始的质心点，将其他数据包作为k均值聚类算法中的数据点，通过计算质心点与数据点之间的距离对各个数据点进行分类，即通过各数据包的特征属性信息，计算质心点对应的数据包与其他数据点对应的数据包的相似性，根据计算得到的相似性将各数据包分为k类。
在一个实施例中，本领域技术人员可根据实际应用情况，预先设置数据包的类别与不同和之间的对应关系，本发明实施例不作限定。按照对应关系，确定各类数据包对应的目标CPU逻辑核，并相应地将各类数据包分配至目标CPU逻辑核上进行处理。
本发明所提供的一种网络流量的分类处理方法，利用网卡的多队列，获取当前网络中的各数据包；根据多核处理器系统中CPU逻辑核的数量，确定各数据包的分类数量；根据k均值聚类算法、分类数量和各数据包的特征属性信息，对当前网络中的各数据包进行分类；具有不同协议类型的数据包均可实现分类操作，并将相似度高的数据包分为一类；进一步地，根据预设的类别与不同CPU逻辑核之间的对应关系，将各类数据包分别分配至对应的目标CPU逻辑核，从而完成后续的数据处理操作。由此可见，本发明通过利用k均值聚类算法对全部的数据包进行了分类，提升了网络流量分类的普适性；并将相似度高的数据包分为一类，便于后续对数据的集中处理；由于k均值聚类算法具有实现简单，收敛速度快的特点，从而提升了网络流量的分类处理效率。
在一个实施例中，本发明实施例提供的一种网络流量的分类处理方法，还包括：
判断是否接收到用于更新多核处理器系统中CPU逻辑核的数量的更新信息；
如果是，则根据更新信息，查看多核处理器系统中CPU逻辑核的当前数量，并将当前数量作为更新后的CPU逻辑核的数量。
需要说明的是，随着对数据处理速率的要求越来越高，多核处理器系统中CPU逻辑核的数量也越来越多，当多核处理器系统中CPU逻辑核的数量发生变化时，需及时生成更新信息以对多核处理器系统中CPU逻辑核的数量和其它信息进行更新。具体的，当接收到更新信息后，可再次发送“cat/proc/cpuinfo|grep"processor"|wc-l”指令，以查看多核处理器系统中CPU逻辑核的当前数量，并将当前数量作为更新后的CPU逻辑核的数量，以按照更新后的CPU逻辑核的数量确定各数据包的分类数量，从而提高网络流量的分类处理过程的灵活性和适应性。
在一个实施例中，本发明实施例提供的一种网络流量的分类处理方法，还包括：
生成用于记录各数据包的类别及对应的目标CPU逻辑核的日志。
具体地，可生成用于记录各数据包的类别及对应的目标CPU逻辑核的日志，便于数据处理过程出现错误时，运维人员通过日志记录的内容进行检查，为运维人员的工作提供了便利。进一步地，本发明实施例提供的一种网络流量的分类处理方法还包括，当接收到用于表示处理出现故障的异常信息时，可根据预先存储的运维人员的联系方式，如邮箱或电话号码等，通知运维人员对网络流量的分类处理过程进行检查，使运维人员能够及时发现故障情况，提升工作效率。
本发明还提供一种网络流量的分类处理装置和网络流量的分类处理设备对应的实施例。需要说明的是，本发明从两个角度对实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
图2为本发明实施例提供的一种网络流量的分类处理装置的结构图；如图2所示，本发明实施例提供的一种网络流量的分类处理装置，包括：
获取模块10，用于利用网卡的多队列，获取当前网络中的各数据包；
确定模块11，用于根据多核处理器系统中CPU逻辑核的数量，确定各数据包的分类数量；
分类模块12，用于根据k均值聚类算法、分类数量和各数据包的特征属性信息，对当前网络中的各数据包进行分类；
分配模块13，用于按照预设的类别与不同CPU逻辑核之间的对应关系，将各类数据包分别分配至对应的目标CPU逻辑核。
在一个实施例中，本发明实施例提供的一种网络流量的分类处理装置，还包括：
更新模块，用于判断是否接收到用于更新多核处理器系统中CPU逻辑核的数量的更新信息；如果是，则根据更新信息，查看多核处理器系统中CPU逻辑核的当前数量，并将当前数量作为更新后的CPU逻辑核的数量。
在一个实施例中，本发明实施例提供的一种网络流量的分类处理装置，还包括：
生成模块，用于生成用于记录各数据包的类别及对应的目标CPU逻辑核的日志。
由于本部分的实施例与方法部分的实施例相互对应，因此本部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本发明所提供的一种网络流量的分类处理装置，利用网卡的多队列，获取当前网络中的各数据包；根据多核处理器系统中CPU逻辑核的数量，确定各数据包的分类数量；根据k均值聚类算法、分类数量和各数据包的特征属性信息，对当前网络中的各数据包进行分类；具有不同协议类型的数据包均可实现分类操作，并将相似度高的数据包分为一类；进一步地，根据预设的类别与不同CPU逻辑核之间的对应关系，将各类数据包分别分配至对应的目标CPU逻辑核，从而完成后续的数据处理操作。由此可见，本发明通过利用k均值聚类算法对全部的数据包进行了分类，提升了网络流量分类的普适性；并将相似度高的数据包分为一类，便于后续对数据的集中处理；由于k均值聚类算法具有实现简单，收敛速度快的特点，从而提升了网络流量的分类处理效率。
图3为本发明实施例提供的一种网络流量的分类处理设备的结构图。如图3所示，本发明实施例提供的一种网络流量的分类处理设备，包括存储器20，用于存储计算机程序；
处理器21，用于执行计算机程序时实现如上述任一项的网络流量的分类处理方法的步骤。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的网络流量的分类处理方法中的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。
在一些实施例中，网络流量的分类处理设备还可包括有输入输出接口22、通信接口23、电源24以及通信总线25。
本领域技术人员可以理解，图3中示出的结构并不构成对网络流量的分类处理设备的限定，可以包括比图示更多或更少的组件。
由于本部分的实施例与方法部分的实施例相互对应，因此本部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。在本发明的一些实施例中，处理器和存储器可通过总线或其它方式连接。
本发明所提供的一种网络流量的分类处理设备，能够实现如下方法：利用网卡的多队列，获取当前网络中的各数据包；根据多核处理器系统中CPU逻辑核的数量，确定各数据包的分类数量；根据k均值聚类算法、分类数量和各数据包的特征属性信息，对当前网络中的各数据包进行分类；具有不同协议类型的数据包均可实现分类操作，并将相似度高的数据包分为一类；进一步地，根据预设的类别与不同CPU逻辑核之间的对应关系，将各类数据包分别分配至对应的目标CPU逻辑核，从而完成后续的数据处理操作。由此可见，本发明通过利用k均值聚类算法对全部的数据包进行了分类，提升了网络流量分类的普适性；并将相似度高的数据包分为一类，便于后续对数据的集中处理；由于k均值聚类算法具有实现简单，收敛速度快的特点，从而提升了网络流量的分类处理效率。
最后，本发明还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本发明所提供的一种网络流量的分类处理方法、装置、设备及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种网络流量的分类处理方法，其特征在于，包括：
利用网卡的多队列，获取当前网络中的各数据包；
根据多核处理器系统中CPU逻辑核的数量，确定所述各数据包的分类数量；
根据k均值聚类算法、所述分类数量和所述各数据包的特征属性信息，对当前网络中的所述各数据包进行分类；
按照预设的类别与不同所述CPU逻辑核之间的对应关系，将各类数据包分别分配至对应的目标CPU逻辑核。
2.根据权利要求1所述的网络流量的分类处理方法，其特征在于，在所述利用网卡的多队列，获取当前网络中的各数据包之前，还包括：
查看多所述队列的工作状态，判断多所述队列的工作状态是否均为生效状态；
如果否，则设置全部的所述队列的工作状态为生效状态。
3.根据权利要求1所述的网络流量的分类处理方法，其特征在于，所述根据多核处理器系统中CPU逻辑核的数量，确定所述各数据包的分类数量具体为：
将所述多核处理器系统中CPU逻辑核的数量确定为所述分类数量。
4.根据权利要求1所述的网络流量的分类处理方法，其特征在于，所述各数据包的特征属性信息具体为所述各数据包的头部特征值。
5.根据权利要求1所述的网络流量的分类处理方法，其特征在于，还包括：
判断是否接收到用于更新所述多核处理器系统中CPU逻辑核的数量的更新信息；
如果是，则根据所述更新信息，查看所述多核处理器系统中CPU逻辑核的当前数量，并将所述当前数量作为更新后的所述CPU逻辑核的数量。
6.根据权利要求2所述的网络流量的分类处理方法，其特征在于，所述查看多所述队列的工作状态具体为：
利用ethtool工具查看多所述队列的工作状态。
7.根据权利要求1所述的网络流量的分类处理方法，其特征在于，还包括：
生成用于记录各所述数据包的类别及对应的所述目标CPU逻辑核的日志。
8.一种网络流量的分类处理装置，其特征在于，包括：
获取模块，用于利用网卡的多队列，获取当前网络中的各数据包；
确定模块，用于根据多核处理器系统中CPU逻辑核的数量，确定所述各数据包的分类数量；
分类模块，用于根据k均值聚类算法、所述分类数量和所述各数据包的特征属性信息，对当前网络中的所述各数据包进行分类；
分配模块，用于按照预设的类别与不同所述CPU逻辑核之间的对应关系，将各类数据包分别分配至对应的目标CPU逻辑核。
9.一种网络流量的分类处理设备，其特征在于，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的网络流量的分类处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的网络流量的分类处理方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010461868.7A CN111628941A (zh) | 2020-05-27 | 2020-05-27 | 一种网络流量的分类处理方法、装置、设备及介质 |
| PCT/CN2021/073284 WO2021238248A1 (zh) | 2020-05-27 | 2021-01-22 | 一种网络流量的分类处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010461868.7A CN111628941A (zh) | 2020-05-27 | 2020-05-27 | 一种网络流量的分类处理方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111628941A true CN111628941A (zh) | 2020-09-04 |
Family
ID=72273088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010461868.7A Pending CN111628941A (zh) | 2020-05-27 | 2020-05-27 | 一种网络流量的分类处理方法、装置、设备及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111628941A (zh) |
| WO (1) | WO2021238248A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021238248A1 (zh) * | 2020-05-27 | 2021-12-02 | 广东浪潮智慧计算技术有限公司 | 一种网络流量的分类处理方法、装置、设备及介质 |
| CN114666398A (zh) * | 2020-12-07 | 2022-06-24 | 深信服科技股份有限公司 | 应用分类方法、装置、设备及存储介质 |
| CN116668375A (zh) * | 2023-07-31 | 2023-08-29 | 新华三技术有限公司 | 一种报文分流方法、装置、网络设备及存储介质 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114157500A (zh) * | 2021-12-07 | 2022-03-08 | 北京天融信网络安全技术有限公司 | 数据包处理方法及电子设备、存储介质 |
| CN114338436A (zh) * | 2021-12-28 | 2022-04-12 | 深信服科技股份有限公司 | 一种网络流量文件的识别方法、装置、电子设备和介质 |
| CN114640632B (zh) * | 2022-03-25 | 2023-12-15 | 北京奇艺世纪科技有限公司 | 数据聚合方法、系统、装置、设备及存储介质 |
| CN114666169B (zh) * | 2022-05-24 | 2022-08-12 | 杭州安恒信息技术股份有限公司 | 一种扫描探测类型的识别方法、装置、设备及介质 |
| CN115242711A (zh) * | 2022-07-14 | 2022-10-25 | 天翼云科技有限公司 | 一种报文传输方法及装置 |
| CN116155726B (zh) * | 2022-12-06 | 2024-06-25 | 苏州浪潮智能科技有限公司 | Amd平台的网卡性能优化方法及装置、电子设备、存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101656677A (zh) * | 2009-09-18 | 2010-02-24 | 杭州迪普科技有限公司 | 一种报文分流处理方法及装置 |
| CN101964749A (zh) * | 2010-09-21 | 2011-02-02 | 北京网康科技有限公司 | 一种基于多核构架的报文转发方法及系统 |
| US20110161965A1 (en) * | 2009-12-28 | 2011-06-30 | Samsung Electronics Co., Ltd. | Job allocation method and apparatus for a multi-core processor |
| CN106357726A (zh) * | 2016-08-24 | 2017-01-25 | 东软集团股份有限公司 | 负载均衡方法及装置 |
| CN110650058A (zh) * | 2019-10-08 | 2020-01-03 | 河南省云安大数据安全防护产业技术研究院有限公司 | 一种网络流量分析方法、装置、存储介质及设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103067218B (zh) * | 2012-12-14 | 2016-03-02 | 华中科技大学 | 一种高速网络数据包内容分析装置 |
| CN104518984B (zh) * | 2014-12-22 | 2017-08-11 | 北京航空航天大学 | 一种基于多重分类器对数据包进行流量分类的sdn控制器 |
| CN104618253B (zh) * | 2015-01-22 | 2018-08-07 | 大唐移动通信设备有限公司 | 一种动态变更的传输报文处理方法和装置 |
| US10536357B2 (en) * | 2015-06-05 | 2020-01-14 | Cisco Technology, Inc. | Late data detection in data center |
| CN111628941A (zh) * | 2020-05-27 | 2020-09-04 | 广东浪潮大数据研究有限公司 | 一种网络流量的分类处理方法、装置、设备及介质 |
-
2020
- 2020-05-27 CN CN202010461868.7A patent/CN111628941A/zh active Pending
-
2021
- 2021-01-22 WO PCT/CN2021/073284 patent/WO2021238248A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101656677A (zh) * | 2009-09-18 | 2010-02-24 | 杭州迪普科技有限公司 | 一种报文分流处理方法及装置 |
| US20110161965A1 (en) * | 2009-12-28 | 2011-06-30 | Samsung Electronics Co., Ltd. | Job allocation method and apparatus for a multi-core processor |
| CN101964749A (zh) * | 2010-09-21 | 2011-02-02 | 北京网康科技有限公司 | 一种基于多核构架的报文转发方法及系统 |
| CN106357726A (zh) * | 2016-08-24 | 2017-01-25 | 东软集团股份有限公司 | 负载均衡方法及装置 |
| CN110650058A (zh) * | 2019-10-08 | 2020-01-03 | 河南省云安大数据安全防护产业技术研究院有限公司 | 一种网络流量分析方法、装置、存储介质及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 张世海等: "高层结构方案设计的K-Means聚类分析法", 《土木建筑工程信息技术》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021238248A1 (zh) * | 2020-05-27 | 2021-12-02 | 广东浪潮智慧计算技术有限公司 | 一种网络流量的分类处理方法、装置、设备及介质 |
| CN114666398A (zh) * | 2020-12-07 | 2022-06-24 | 深信服科技股份有限公司 | 应用分类方法、装置、设备及存储介质 |
| CN114666398B (zh) * | 2020-12-07 | 2024-02-23 | 深信服科技股份有限公司 | 应用分类方法、装置、设备及存储介质 |
| CN116668375A (zh) * | 2023-07-31 | 2023-08-29 | 新华三技术有限公司 | 一种报文分流方法、装置、网络设备及存储介质 |
| CN116668375B (zh) * | 2023-07-31 | 2023-11-21 | 新华三技术有限公司 | 一种报文分流方法、装置、网络设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021238248A1 (zh) | 2021-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111628941A (zh) | 一种网络流量的分类处理方法、装置、设备及介质 | |
| US10893004B2 (en) | Configurable detection of network traffic anomalies at scalable virtual traffic hubs | |
| CN108776934B (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
| WO2020258920A1 (zh) | 一种网络切片资源管理方法及设备 | |
| CN107547595B (zh) | 云资源调度系统、方法及装置 | |
| US9253157B2 (en) | Dynamically defining rules for network access | |
| US20150215228A1 (en) | Methods, systems, and computer readable media for a cloud-based virtualization orchestrator | |
| CN107104824B (zh) | 一种网络拓扑确定方法和装置 | |
| CN109669835B (zh) | MySQL数据库监控方法、装置、设备及可读存储介质 | |
| CN109189758B (zh) | 运维流程设计方法、装置和设备、运行方法、装置和主机 | |
| US20180054351A1 (en) | Group-based network event notification | |
| US9122546B1 (en) | Rapid processing of event notifications | |
| CN112737800A (zh) | 服务节点故障定位方法、调用链生成方法及服务器 | |
| CN111181800A (zh) | 测试数据处理方法、装置、电子设备及存储介质 | |
| CN110278101A (zh) | 一种资源管理方法及设备 | |
| CN111418187A (zh) | 云网络中的可伸缩统计和分析机制 | |
| CN113872951B (zh) | 混合云安全策略下发方法、装置、电子设备和存储介质 | |
| CN110839007B (zh) | 一种云网络安全处理方法、设备和计算机存储介质 | |
| CN109697117B (zh) | 终端控制方法、装置以及计算机可读存储介质 | |
| US10282245B1 (en) | Root cause detection and monitoring for storage systems | |
| CN107426012B (zh) | 一种基于超融合架构的故障恢复方法及其装置 | |
| CN114513419A (zh) | 安全策略配置方法及系统 | |
| US10223189B1 (en) | Root cause detection and monitoring for storage systems | |
| CN106533882B (zh) | 报文的处理方法及装置 | |
| CN115981950A (zh) | 监控告警方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |