CN106371921B - 一种多线程分析的均衡分流方法 - Google Patents
一种多线程分析的均衡分流方法 Download PDFInfo
- Publication number
- CN106371921B CN106371921B CN201610761812.7A CN201610761812A CN106371921B CN 106371921 B CN106371921 B CN 106371921B CN 201610761812 A CN201610761812 A CN 201610761812A CN 106371921 B CN106371921 B CN 106371921B
- Authority
- CN
- China
- Prior art keywords
- thread
- data packet
- value
- packet
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5018—Thread allocation
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种多线程分析的均衡分流方法。首先查询当前数据包的四元组信息是否在哈希表中，如果是，则在哈希表找到该数据包实际应该对应的线程序列值，将该数据包直接分配给该线程等待处理；如果否，则查询当前数据包的数据包线程序列值，从数组空间中读取其所对应的待处理的数据包个数是不是最多的一个线程，如果不是则直接分配给线程；如果是，则检查该数据包是不是会话的第一个数据包，如果不是，则将该数据包分配给线程；如果是，则将该数据包分配到当前等待处理的数据个数最少的线程。能够实现对待处理数据包高效、均匀的分配。
Description
技术领域
本发明涉及一种多线程分析的均衡分流方法，特别是涉及一种适用于网络通信领域的多线程分析的均衡分流方法。
背景技术
在网络分析领域，通常都是通过采集网络通信中的数据包，然后再通过分析数据包的tcp/ip层及具体的应用层数据，进而得到网络中存在的诸如网络性能问题，网络攻击安全问题等相关信息；
在网络数据包分析中，数据包数据通常能达到100W个每秒到最高1000W个每秒；同时按照数据包的tcp/ip的4层协议属性，将具体相同的ip地址对和端口对的相同的数据包，称之为同一个通信会话的数据包；正常网络中将这些数据按照通信会话数来统计，一般会话数能达到10W到最多1000W，不等；在现有的计算机刀片服务器的架构下，为了保证服务器能够对每秒1000W个数据包及1000W通信会话的状态下能够及时处理分析掉，一般都需要充分的利用CPU（电脑处理器）的多核心特性，通过多线程的方式，将数据以通信会话为单位分散在各个分析线程中；
由于每个分析线程处理能力是有限的，而单位时间内的数据包又需要保证被及时的分析处理完，故而必须保证每个分析线程都处理于均衡的状态，所谓均衡的状态，就是指的将单位时间内的数据包，以通信会话聚合形式，保证具有相同通信会话属性的数据包能够分配给相同的线程，同时，保证每个分析线程都能够在单位时间内分析处理完其被分配的数据包；
若分析线程出现了数据包分配不均衡时，将导致某一些分析线程分析过多的数据包，而某些分析线程将分析较少的数据包，进而出现分析很多数据包的线程占用更多的分析时间，使其不能够在单位时间内分析处理完毕，从而拖慢系统整体的分析性能，出现数据包分析处理不及时的问题，这个问题就是系统分析性能问题。
发明内容
本发明要解决的技术问题是提供一种能够对待处理数据包进行高效、均匀分配的多线程分析的均衡分流方法。
本发明采用的技术方案如下：一种多线程分析的均衡分流方法，具体方法为，对于N个线程，从线程0-(N-1)，依次为每个线程分配一个线程序列值ThreadIndexID；所述N为大于1的整数；所述线程每个线程用于分析分配得到的数据包；
创建一个数组空间，该数组空间包括N个数组，一一对应N个线程；每个线程所对应的那个数组用于存放该线程当前等待处理的数据个数；当向一个线程投递一个数据包时，该线程所对应的那个数组中用于存放该线程当前等待处理的数据个数值自加；当线程分析完一个数据包时，数组中用于存放该线程当前等待处理的数据个数值自减；
数据包采集线程采集到数据包，按照tcp/ip协议的规范，得到每个数据包的四元组信息，即ip地址对和端口对信息，进而通过哈希算法计算得到每个数据包的哈希值；使用得到的哈希值与分析线程个数求模得到每个数据包关于线程的数据包线程序列值ThreadIndex；所述数据包线程序列值ThreadIndex指示该数据包所应该分配到的实际线程，该实际线程的线程序列值ThreadIndexID等于该数据包线程序列值ThreadIndex；
定义一个用于均匀分流的哈希表，将数据包的四元组信息作为哈希表的key值，用于查询，将该数据包的实际分配线程序列值ThreadIndexID作为哈希表的value值写入；
数据包分配的具体方法步骤为：
S1、查询当前数据包的四元组信息是否在哈希表中，如果是，则找到其在哈希表中对应的value值，从而找到该数据包实际应该对应的线程序列值ThreadIndexID，将该数据包直接分配给该线程等待处理；如果否，则进入下一步；
S2查询当前数据包的数据包线程序列值ThreadIndex，从数组空间中读取其所对应的待处理的数据包个数是不是最多的一个线程，如果不是则直接分配给线程；如果是，进入下一步；
S2、检查该数据包是不是会话的第一个数据包，如果不是，则将该数据包分配给线程；如果是，则将该数据包分配到当前等待处理的数据个数最少的线程，并将该数据包的四元组信息作为key值，实际分配的线程序列值ThreadIndexID作为value值记录在哈希表中。
通过创建的数组空间，检查分析线程的负载，解决不能完全保证数据包分配均匀的问题。
哈希值的目的是尽可能将不同的四元组信息经常处理后得到不的整数，并且尽可能的保证这些整数的离散分布率良好。
如果数据包本身的四元组分布是均匀的，那么基本上所有分析线程都可以得到均匀的数据包数量，但是当四元组分布不均匀时，就会出现某些线程被分配的数据包多，某些线程被分配的数据包少，引起性能问题。通过哈希表保证了数据包的均匀分流。如果哈希表的key值中存在某数据包的四元组信息，则说明该数据包所属于的会话所分配的线程不是其哈希值计算出的线程，被更改过，则需要读取该key值所对应的value值，找到其实际应该分配的线程。
数据包要被分配到别的线程上去时，通过检查该数据包是不是会话的第一个数据包，保证所有数据包进入同一个线程。
其中，哈希值的具体算法为：将ip地址（IPv4为4字节长，IPv6为16字节长）对和端口对数据依次赋值到一个连续的内存数组空间HashData中，初始化一个零的哈希初始值，然后将HashData的每一个字节当做一个uint8_t数据处理，具体处理步骤为：
S01、通过让初始的哈希值与一个素数a的乘积结果加上HashData的第一个字节值，然后产生一个新的哈希值；
S02、然后让上一步中产生的新的哈希值再与所述素数a的乘积的结果加上HashData的下一个字节的值，再产生一个新的哈希值；
S03、重复S02的操作，直至处理完所有HashData的字节，最终产生我们需要的哈希值。
对于内存数组空间HashData，IPv4时，其总字节长度为：4+4+2+2=12字节，IPv6时，其总字节长度为：16+16+2+2=36字节。
所述素数a为131或151或191。
所述素数a为131。
与现有技术相比，本发明的有益效果是：通过创建的数组空间，检查分析线程的负载，解决不能完全保证数据包分配均匀的问题；通过计算哈希值，尽可能将不同的四元组信息经常处理后得到不的整数，并且尽可能的保证这些整数的离散分布率良好；通过哈希表保证了数据包的均匀分流。数据包要被分配到别的线程上去时，通过检查该数据包是不是会话的第一个数据包，保证所有数据包进入同一个线程。
附图说明
图1为本发明其中一实施例的原理示意图。
图2为本发明其中一实施例中内存数组空间HashData结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
具体实施例1
如图1所示，一种多线程分析的均衡分流方法，具体方法为，对于N个线程，从线程0-(N-1)，依次为每个线程分配一个线程序列值ThreadIndexID；所述N为大于1的整数；所述线程每个线程用于分析分配得到的数据包；
创建一个数组空间PacketCounters，该数组空间包括N个数组，一一对应N个线程；每个线程所对应的那个数组用于存放该线程当前等待处理的数据个数；当向一个线程投递一个数据包（即根据数据包的数据包线程序列值ThreadIndex值分配了一个数据包）时，该线程所对应的那个数组中用于存放该线程当前等待处理的数据个数值PacketCounters[ThreadIndex]对应自加；当线程分析完一个数据包时，数组中用于存放该线程当前等待处理的数据个数值PacketCounters[ThreadIndex]对应自减；
数据包采集线程采集到数据包，按照tcp/ip协议的规范，得到每个数据包的四元组信息，即ip地址对和端口对信息，进而通过哈希算法计算得到每个数据包的哈希值；使用得到的哈希值与分析线程个数求模得到每个数据包关于线程的数据包线程序列值ThreadIndex；所述数据包线程序列值ThreadIndex指示该数据包所应该分配到的实际线程，该实际线程的线程序列值ThreadIndexID等于该数据包线程序列值ThreadIndex；
定义一个用于均匀分流的哈希表SplitHashTable，将数据包的四元组信息作为哈希表的key值，用于查询，将该数据包的实际分配线程序列值ThreadIndexID作为哈希表的value值写入；
数据包分配的具体方法步骤为：
S1、查询当前数据包的四元组信息是否在哈希表中，如果是，则找到其在哈希表中对应的value值，从而找到该数据包实际应该对应的线程序列值ThreadIndexID，将该数据包直接分配给该线程等待处理；如果否，则进入下一步；
S2查询当前数据包的数据包线程序列值ThreadIndex，从数组空间中读取其所对应的待处理的数据包个数是不是最多的一个线程，如果不是则直接分配给线程；如果是，进入下一步；
S2、检查该数据包是不是会话的第一个数据包（检查方法是传递四元组信息给线程ID为当前数据包ThreadIndex值的线程，处理线程确定是不是会话的第一个数据包），如果不是，为保证所有数据包进入同一个线程，则将该数据包分配给线程；如果是，则将该数据包分配到当前等待处理的数据个数最少的线程，并将该数据包的四元组信息作为key值，实际分配的线程序列值ThreadIndexID作为value值记录在哈希表中。
具体实施例2
在具体实施例1的基础上，其中，哈希值的具体算法为：将ip地址（IPv4为4字节长，IPv6为16字节长）对和端口对数据依次赋值到一个连续的内存数组空间HashData中，初始化一个零的哈希初始值，然后将HashData的每一个字节当做一个uint8_t数据处理，具体处理步骤为：
S01、通过让初始的哈希值与一个素数a的乘积结果加上HashData的第一个字节值，然后产生一个新的哈希值；
S02、然后让上一步中产生的新的哈希值再与所述素数a的乘积的结果加上HashData的下一个字节的值，再产生一个新的哈希值；
S03、重复S02的操作，直至处理完所有HashData的字节，最终产生我们需要的哈希值。
如图2所示，对于内存数组空间HashData，IPv4时，其总字节长度为：4+4+2+2=12字节，IPv6时，其总字节长度为：16+16+2+2=36字节。
具体实施例3
在具体实施例2的基础上，所述素数a为131。
具体实施例4
在具体实施例2的基础上，所述素数a为151。
具体实施例5
在具体实施例2的基础上，所述素数a为191。
Claims (4)
1.一种多线程分析的均衡分流方法，具体方法为，对于N个线程，从线程0-(N-1)，依次为每个线程分配一个线程序列值ThreadIndexID；所述N为大于1的整数；所述线程每个线程用于分析分配得到的数据包；
创建一个数组空间，该数组空间包括N个数组，一一对应N个线程；每个线程所对应的那个数组用于存放该线程当前等待处理的数据个数；当向一个线程投递一个数据包时，该线程所对应的那个数组中用于存放该线程当前等待处理的数据个数值自加；当线程分析完一个数据包时，数组中用于存放该线程当前等待处理的数据个数值自减；
数据包采集线程采集到数据包，按照tcp/ip协议的规范，得到每个数据包的四元组信息，进而得到每个数据包的哈希值；使用得到的哈希值与分析线程个数求模得到每个数据包关于线程的数据包线程序列值ThreadIndex；所述数据包线程序列值ThreadIndex指示该数据包所应该分配到的实际线程，该实际线程的线程序列值ThreadIndexID等于该数据包线程序列值ThreadIndex；
定义一个用于均匀分流的哈希表，将数据包的四元组信息作为哈希表的key值，用于查询，将该数据包的实际分配线程序列值ThreadIndexID作为哈希表的value值写入；
数据包分配的具体方法步骤为：
S1、查询当前数据包的四元组信息是否在哈希表中，如果是，则找到其在哈希表中对应的value值，从而找到该数据包实际应该对应的线程序列值ThreadIndexID，将该数据包直接分配给该线程等待处理；如果否，则进入下一步；
S2查询当前数据包的数据包线程序列值ThreadIndex，从数组空间中读取其所对应的待处理的数据包个数是不是最多的一个线程，如果不是则直接分配给线程；如果是，进入下一步；
S3、检查该数据包是不是会话的第一个数据包，如果不是，则将该数据包分配给线程；如果是，则将该数据包分配到当前等待处理的数据个数最少的线程，并将该数据包的四元组信息作为key值，实际分配的线程序列值ThreadIndexID作为value值记录在哈希表中。
2.根据权利要求1所述的多线程分析的均衡分流方法，其中，哈希值的具体算法为：将ip地址对和端口对数据依次赋值到一个连续的内存数组空间HashData中，其中IPv4为4字节长，IPv6为16字节长，初始化一个零的哈希初始值，然后将HashData的每一个字节当做一个uint8_t数据处理，具体处理步骤为：
S01、通过让初始的哈希值与一个素数a的乘积结果加上HashData的第一个字节值，然后产生一个新的哈希值；
S02、然后让上一步中产生的新的哈希值再与所述素数a的乘积的结果加上HashData的下一个字节的值，再产生一个新的哈希值；
S03、重复S02的操作，直至处理完所有HashData的字节，最终产生我们需要的哈希值。
3.根据权利要求2所述的多线程分析的均衡分流方法，所述素数a为131或151或191。
4.根据权利要求2或3所述的多线程分析的均衡分流方法，所述素数a为131。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610761812.7A CN106371921B (zh) | 2016-08-31 | 2016-08-31 | 一种多线程分析的均衡分流方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610761812.7A CN106371921B (zh) | 2016-08-31 | 2016-08-31 | 一种多线程分析的均衡分流方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106371921A CN106371921A (zh) | 2017-02-01 |
| CN106371921B true CN106371921B (zh) | 2019-10-29 |
Family
ID=57901709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610761812.7A Active CN106371921B (zh) | 2016-08-31 | 2016-08-31 | 一种多线程分析的均衡分流方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106371921B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107222579A (zh) * | 2017-07-25 | 2017-09-29 | 郑州云海信息技术有限公司 | 一种iSCSI协议会话建立的方法及装置 |
| CN108536535A (zh) * | 2018-01-24 | 2018-09-14 | 北京奇艺世纪科技有限公司 | 一种dns服务器及其线程控制方法和装置 |
| CN110688203B (zh) * | 2018-07-05 | 2022-05-13 | 武汉斗鱼网络科技有限公司 | 一种任务执行方法和装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7257633B2 (en) * | 2003-03-03 | 2007-08-14 | Sun Microsystems, Inc. | Dynamic allocation of a pool of threads |
| CN102866922B (zh) * | 2012-08-31 | 2014-10-22 | 河海大学 | 一种海量数据多线程并行处理中的负载均衡方法 |
| CN103179116B (zh) * | 2013-01-18 | 2016-02-03 | 厦门市美亚柏科信息股份有限公司 | 一种万兆协议解析方法及系统 |
| CN104734993B (zh) * | 2013-12-24 | 2018-05-18 | 杭州华为数字技术有限公司 | 数据分流方法及分流器 |
| CN105207946B (zh) * | 2015-08-27 | 2018-05-01 | 国家计算机网络与信息安全管理中心 | 一种网络数据包负载均衡和预解析方法 |
-
2016
- 2016-08-31 CN CN201610761812.7A patent/CN106371921B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106371921A (zh) | 2017-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9397901B2 (en) | Methods, systems, and computer readable media for classifying application traffic received at a network traffic emulation device that emulates multiple application servers | |
| CN103391312B (zh) | 资源离线下载方法及装置 | |
| CN106371921B (zh) | 一种多线程分析的均衡分流方法 | |
| US10795744B2 (en) | Identifying failed customer experience in distributed computer systems | |
| US9692642B2 (en) | Offloading to a network interface card | |
| WO2020224300A1 (zh) | 基于用户态协议栈的报文分流方法、装置及系统 | |
| CN112261094B (zh) | 一种报文处理方法及代理服务器 | |
| CN106357726B (zh) | 负载均衡方法及装置 | |
| CN107465693B (zh) | 请求消息处理方法和装置 | |
| US9680774B2 (en) | Network interface card offloading | |
| CN108933829A (zh) | 一种负载均衡方法及装置 | |
| Saino et al. | Understanding sharded caching systems | |
| CN110719215A (zh) | 虚拟网络的流信息采集方法及装置 | |
| CN109347647A (zh) | 群组消息分发方法及装置 | |
| CN104333483A (zh) | 互联网应用流量识别方法、系统及识别装置 | |
| US10123190B2 (en) | System and method for testing a CoAP server | |
| CN104333461A (zh) | 互联网应用流量识别方法、系统及识别装置 | |
| CN106716974B (zh) | 访问分发方法、装置及系统 | |
| KR101880705B1 (ko) | 인터넷을 이용하여 장치정보를 수집하는 시스템 및 그 방법 | |
| Li et al. | An parallelized deep packet inspection design in software defined network | |
| US10904719B2 (en) | Message shunting method, device and system based on user mode protocol stack | |
| Sharma et al. | Vnf-aap: Accelerator-aware virtual network function placement | |
| US9112766B2 (en) | Method and apparatus having improved line rate IP packet communication | |
| US9509749B2 (en) | Providing transaction identifiers for application performance management in distributed computer systems | |
| US20230370336A1 (en) | Re-simulation of updated sdn connection flows |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210113 Address after: 41401-41406, 14th floor, unit 1, building 4, No. 966, north section of Tianfu Avenue, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu hi tech Zone, Sichuan 610041 Patentee after: Chengdu Kelai Network Technology Co., Ltd Address before: B6-7, Tianfu Software Park, 99 Tianhua 1st Road, high tech Zone, Chengdu, Sichuan 610041 Patentee before: COLASOFT Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CP03 | Change of name, title or address |
Address after: 610041 12th, 13th and 14th floors, unit 1, building 4, No. 966, north section of Tianfu Avenue, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan Patentee after: Kelai Network Technology Co.,Ltd. Address before: 41401-41406, 14th floor, unit 1, building 4, No. 966, north section of Tianfu Avenue, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu hi tech Zone, Sichuan 610041 Patentee before: Chengdu Kelai Network Technology Co.,Ltd. |
|
| CP03 | Change of name, title or address |