CN115484129A - 多进程数据的处理方法、装置、网关及可读存储介质 - Google Patents
多进程数据的处理方法、装置、网关及可读存储介质 Download PDFInfo
- Publication number
- CN115484129A CN115484129A CN202210906664.9A CN202210906664A CN115484129A CN 115484129 A CN115484129 A CN 115484129A CN 202210906664 A CN202210906664 A CN 202210906664A CN 115484129 A CN115484129 A CN 115484129A
- Authority
- CN
- China
- Prior art keywords
- gateway
- data
- core unit
- processing
- flow data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 217
- 238000003672 processing method Methods 0.000 title description 3
- 238000012545 processing Methods 0.000 claims abstract description 118
- 230000015654 memory Effects 0.000 claims description 31
- 238000012544 monitoring process Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 abstract description 15
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
- H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
- H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
- H04L47/6255—Queue scheduling characterised by scheduling criteria for service slots or service orders queue load conditions, e.g. longest queue first
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及通信技术领域,公开了一种多进程数据的处理方法、装置、网关及可读存储介质。其中,该方法包括:获取接入网关的流量数据以及网关对应的多个可运行进程,该网关的中央处理器包括多个核心单元组;按照负载均衡的方式将流量数据负载至各个进程;将各个进程分配至中央处理器的多个核心单元组进行数据处理。通过实施本发明,能够充分利用中央处理器的多核性能,实现了多进程数据的并行处理,提高了数据处理效率,使得网关具有更高的吞吐量,进而能够承受更多用户流量的接入,提升了用户体验。
Description
技术领域
本发明涉及通信技术领域,具体涉及一种多进程数据的处理方法、装置、网关及可读存储介质。
背景技术
随着通信技术的发展,数据的安全性也越来越重要。目前,在用户通过客户端接入云电脑时,为了保证客户端接入的安全性以及数据保密性,通常会在每个资源池部署虚拟专网(Virtual Private Network,VPN)的接入网关,客户端与接入网关之间建立VPN加密通道以保证数据的安全。
但是随着接入用户的增多,对VPN接入网关的安全性能有了更高的要求。通常情况下,虚拟通道(OpenVPN)的程序启动后只会开启一个进程,并不支持多进程。目前绝大多数的网关都是多核的中央处理器(central processing unit,CPU),即CPU具有多个核心单元组进行数据处理,而OpenVPN的接入网关只能进行单进程/单线程的数据处理,难以利用多核来提升数据处理效率,从而难以承受较多用户的接入。
发明内容
有鉴于此,本发明实施例提供了一种多进程数据的处理方法、装置、网关及可读存储介质,以解决现有技术中的接入网关难以利用多核来提升数据处理效率,从而难以承受较多用户的接入的问题。
根据第一方面,本发明实施例提供了一种多进程数据的处理方法,包括:获取接入网关的流量数据以及所述网关对应的多个可运行进程,所述网关的中央处理器包括多个核心单元组;按照负载均衡的方式将所述流量数据负载至各个进程;将各个进程分配至所述中央处理器的多个核心单元组进行数据处理。
本发明实施例提供的多进程数据的处理方法,通过将流量数据负载至多个进程,并将多个进程分配至多个核心单元组进行数据处理,由此能够充分利用中央处理器的多核性能,实现了多进程数据的并行处理,提高了数据处理效率,使得网关具有更高的吞吐量,进而能够承受更多用户流量的接入,提升了用户体验。
结合第一方面,在第一方面第一实施方式,所述按照负载均衡的方式将所述流量数据负载至各个进程,包括:解析所述流量数据对应的五元组信息;对所述五元组信息进行哈希计算,确定所述流量数据对应的第一哈希值;根据所述第一哈希值将所述流量数据均衡负载至各个进程。
本发明实施例提供的多进程数据的处理方法,通过解析流量数据所对应的五元组信息,基于该五元组信息进行哈希计算以将流量数据分配至不同的进程,由此实现了多个进程并行处理,提高了网关的吞吐量。
结合第一方面第一实施方式,在第一方面第二实施方式,所述方法还包括:确定各个进程对应的核心单元组使用率;基于所述核心单元组使用率对所述流量数据进行二次均衡分配。
本发明实施例提供的多进程数据的处理方法,通过各个核心单元组使用率以对流量数据进行二次分配,避免出现某个进程持续进行数据处理而其他进程空闲的情况,最大程度上保证各个进程处于负载均衡的状态,从而保证了各个核心单元组使用率处于均衡状态,实现中央处理器的多核性能的高效利用。
结合第一方面第二实施方式,在第一方面第三实施方式,所述基于所述核心单元组使用率对所述流量数据进行二次均衡分配,包括:对各个所述核心单元组使用率进行排序,确定出最大使用率;将所述最大使用率所对应进程的流量数据分配至其他进程。
本发明实施例提供的多进程数据的处理方法,通过对各个所述核心单元组使用率进行排序,以确定出较为空闲的进程,继而将流量数据分配至较为空闲的进程中,在最大程度上保证了各进程的负载均衡。
结合第一方面第一实施方式至第三实施方式中的任一实施方式,在第一方面第四实施方式,所述五元组信息包括:源地址、源端口、协议类型、目的地址以及目的端口。
结合第一方面,在第一方面第五实施方式,所述获取接入网关的流量数据,包括:创建所述网关的目标监听端口;通过所述目标监听端口监听接入所述网关的流量数据。
本发明实施例提供的多进程数据的处理方法,通过网关的目标监听端口对各个用户接入流量数据进行监听,避免用户接入网关的端口切换而影响网关接入速度。此处通过目标监听端口对所有接入的流量数据进行监听,网关对内则可以将流量数据分配至不同的进程,由此用户对流量数据的分配无感知,在提高用户接入速度以及数据处理速度的同时,进一步提升了用户的体验。同时,目标监听端口的创建无需修改网关源码,网关部署较为方便,节省了人力成本。
结合第一方面,在第一方面第六实施方式,所述可运行进程的数量与所述核心单元组的数量一致,所述方法还包括:绑定各个所述进程与各个所述核心单元组。
本发明实施例提供的多进程数据的处理方法,通过将各个进程与各个核心单元组进行绑定,使得每个进程均对应有相应的处理核心单元组,减少了进程切换的性能损耗。
根据第二方面,本发明实施例提供了一种多进程数据的处理装置,包括:获取模块,用于获取接入网关的流量数据以及所述网关对应的多个可运行进程,所述网关的中央处理器包括多个核心单元组;负载均衡模块,用于按照负载均衡的方式将所述流量数据负载至各个进程;分配模块,用于将各个进程分配至所述中央处理器的多个核心单元组进行数据处理。
根据第三方面,本发明实施例提供了一种网关,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或第一方面任一实施方式所述的多进程数据的处理方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行第一方面或第一方面任一实施方式所述的多进程数据的处理方法。
需要说明的是,本发明实施例提供的多进程数据的处理装置、网关以及计算机可读存储介质的相应有益效果,请参见多进程数据的处理方法中相应内容的描述,在此不再赘述。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了OpenVPN网关的原始接入示意图;
图2示出了本发明实施例中OpenVPN网关的接入示意图;
图3是根据本发明实施例的多进程数据的处理方法的流程图;
图4是根据本发明实施例的多进程数据的处理方法的另一流程图;
图5是根据本发明实施例的多进程数据的处理方法的又一流程图;
图6是根据本发明实施例的多进程数据的处理装置的结构框图;
图7是本发明实施例提供的网关的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
通常情况下,虚拟通道(OpenVPN)的程序启动后只会开启一个进程,并不支持多进程,如图1所示。目前绝大多数的网关都是多核的中央处理器(central processing unit,CPU),即CPU具有多个核心单元组(cpu1、cpu2……cpux)进行数据处理,OpenVPN的接入网关通过监听端口监听各个用户终端的流量数据,但OpenVPN的接入网关只能进行单进程/单线程的数据处理,难以利用多核来提升数据处理效率,从而难以承受较多用户终端的接入。
基于此,本技术方案根据当前网关的CPU核心单元组(cpu1、cpu2……cpux)的数量x来确定当前可运行进程的数量,网关对内采用每个进程监听不同的端口。但是网关对外使用一个共同的监听端口(即同一IP和PORT)进行监听,供所有用户接入,如图2所示。通过将流量数据负载至多个进程,并将多个进程分配至多个核心单元组进行数据处理,使得网关具有更高的吞吐量,进而能够承受更多用户流量的接入。
根据本发明实施例,提供了一种多进程数据的处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种多进程数据的处理方法,可用于网关等网络接入设备,图3是根据本发明实施例的多进程数据的处理方法的流程图,如图3所示,该流程包括如下步骤:
S11,获取接入网关的流量数据以及网关对应的多个可运行进程,该网关的中央处理器包括多个核心单元组。
流量数据为接入网关的用户终端流量,网关对外提供接入端口,用户终端通过该接入端口的IP地址接入网关以请求网络数据。相应地,网关则可以通过该接入端口对接入网关的用户终端进行监听,得到各个用户终端的流量数据。如图2所示,网关通过对外的监听端口对n个用户终端的流量数据进行监听。
可运行进程为当前网关可同时执行的进程,即并行运行的进程。可运行进程的数量可以根据网关的中央处理器(Central Processing Unit,CPU)所具有的独立核心单元组的数量确定。其中,网关的中央处理器所包括的多个核心单元组之间是独立运行的。
S12,按照负载均衡的方式将流量数据负载至各个进程。
网关对外提供接入端口,该接入端口对内连接不同的端口,而每个可运行进程监听不同的端口。网关将其监听到的流量数据均衡分配至不同的端口,以将流量数据均衡负载至各个进程。
在分配流量数据时,可以通过计算各个用户所接入流量数据的哈希值确定其所对应的进程;也可以按照流量数据的接入顺序依次分配至相应的进程,此处以5个进程为例,若当前存在6个用户终端接入网关,对于网关而言,各个用户终端的接入时间总是存在先后顺序的,假设这6个用户终端的接入顺序依次为用户终端1、用户终端3、用户终端4、用户终端2、用户终端5和用户终端6,那么按照该接入顺序可以为各个用户依次分配相对应的进程,具体地,用户终端1对应于进程1、用户终端3对应于进程2、用户终端4对应于进程3、用户终端2对应于进程4、用户终端5对应于进程5,当用户终端6接入时,用户终端6则可以再次对应于进程1。当然还可以通过其他方式将流量数据均衡负载至各个进程,此处不作具体限定,只要保证流量数据并非集中在某个进程进行处理即可。
S13,将各个进程分配至中央处理器的多个核心单元组进行数据处理。
各个进程对应有相应的核心单元组,在将流量数据负载至各个进程时,各个进程可以在其对应的核心单元组中对用户终端的流量数据进行处理,由此即可实现不同进程的并行处理,由此充分利用了中央处理器的多核性能,实现了多进程的数据处理,保证网关能够具有更高的吞吐量。
本实施例提供的多进程数据的处理方法,通过将流量数据负载至多个进程,并将多个进程分配至多个核心单元组进行数据处理,由此能够充分利用中央处理器的多核性能,实现了多进程数据的并行处理,提高了数据处理效率,使得网关具有更高的吞吐量,进而能够承受更多用户流量的接入,提升了用户体验。
在本实施例中提供了一种多进程数据的处理方法,可用于网关等网络接入设备,图4是根据本发明实施例的多进程数据的处理方法的流程图,如图4所示,该流程包括如下步骤:
S21,获取接入网关的流量数据以及网关对应的多个可运行进程,该网关的中央处理器包括多个核心单元组。
详细说明参见上述实施例对应的相关描述,此处不在赘述。
S22,按照负载均衡的方式将流量数据负载至各个进程。
具体地,上述步骤S22可以包括:
S221,解析流量数据对应的五元组信息。
接入网关的用户终端通过其与网关之间的通信协议进行数据通信。网关在监听到来自用户终端的流量数据后,即可根据其与用户终端所约定的通信协议进行数据解析,从流量数据中解析出相应的五元组信息,通过该五元组信息表征用户终端所请求的网络地址。
可选地,该五元组信息包括:源地址、源端口、协议类型、目的地址以及目的端口。其中,源地址为用户终端的网络地址,源端口为用户终端的接入端口,协议类型为用户终端与网关之间所采用的通信协议,目的地址为用户终端所请求的网络地址,目的端口为接入目的地址的端口。
S222,对五元组信息进行哈希计算,确定流量数据对应的第一哈希值。
网关从五元组信息提取出与其相对应的编码,例如源地址为IP1、源端口为20、协议类型为3(不同数字可以对应于不同的通信协议,例如1-TCP,2-FTP,3-HTTP等)、目的地址为IP2以及目的端口为80。
网关对其提取的对应于各个用户终端的五元组信息进行哈希计算,得到各个用户终端对应的第一哈希值。本领域技术人员可以得到根据五元组信息进行哈希计算的方式,此处不再赘述。
S223,根据第一哈希值将流量数据均衡负载至各个进程。
网关基于均衡负载的方式,将其计算得到的第一哈希值将各个用户终端的流量数据映射至对应的进程。
以5个进程(进程1、进程2、进程3、进程4和进程5)为例,若当前存在6个用户终端(用户终端1、用户终端2、用户终端3、用户终端4、用户终端5和用户终端6)接入网关,假设通过哈希计算得到用户终端1-6所对应的第一哈希值分别为2、1、2、5、4、3,则依据该第一哈希值可以将用户终端1和用户终端3的流量数据负载至进程2,将用户终端2的流量数据负载至进程1,将用户终端4的流量数据负载至进程5,将用户终端5的流量数据负载至进程4,将用户终端6的流量数据负载至进程3。
作为一个可选的实施方式,上述步骤S22还可以包括:
S224,确定各个进程对应的核心单元组使用率。
核心单元组使用率根据进程总数以及当前核心单元组所需处理的进程数确定。即,核心单元组使用率P=所需处理的进程数M/进程数进程总数N。
作为一种可选的实施方式,各个进程与各个核心单元组绑定。通过CPU亲和性将各个进程与各个核心单元组进行绑定,使得每个进程均对应有相应的处理核心单元组,减少了进程切换的性能损耗。
S225,基于核心单元组使用率对流量数据进行二次均衡分配。
若是通过计算第一哈希值计算,存在多个用户终端集中在某一个进程的情况,此时为了均衡CPU各个核心单元组的使用,可以结合第一哈希值与核心单元组使用率对流量数据再次进行均衡分配。
具体地,上述步骤S225可以包括:
(1)对各个核心单元组使用率进行排序,确定出最大使用率。
网关将各个核心单元组使用率按照由高至低或由低至高的顺序进行排列,得到各个核心单元组使用率的排序结果。网关根据该排序结果即可确定出最大使用率。
(2)将最大使用率所对应进程的流量数据分配至其他进程。
网关确定对应于最大使用率的核心单元组,根据该核心单元组即可确定与其相绑定的进程,继而将分配至该进程的流量数据进行二次分配,以将流量数据均衡分配至较小的核心单元组使用率所对应的其他进程。
此处以5个核心单元组(cpu1、cpu2、cpu3、cpu4和cpu5)为例,且各个核心单元组分别绑定进程1、进程2、进程3、进程4和进程5。设当前接入网关的用户终端为用户终端1、用户终端2、用户终端3、用户终端4、用户终端5和用户终端6,若通过哈希计算,确定进程1对应于用户终端1-3的流量数据,进程2对应于用户终端4的流量数据,进程3对应于用户终端5的流量数据,进程4对应于用户终端6的流量数据。则进程1对应的cpu1使用率P1为50%,进程2对应的cpu2使用率P2约为16.67%,进程3对应的cpu3使用率P3为16.67%,进程4对应的cpu4使用率P4为16.67%,进程5对应的cpu5使用率P5为0。
由此可见,cpu5的使用率为0,即存在空闲的进程5,而cpu1则需要进行多个流量数据的处理,此时可以根据核心单元组使用率对分配至各个进程的流量数据进行二次分配,以将进程1对应的部分流量数据分配至进程5,减cpu1的处理压力,同时利用cpu5进行数据处理,减少了数据处理时间,提高了数据处理速度。
通过对各个核心单元组使用率进行排序,以确定出较为空闲的进程,继而将流量数据分配至较为空闲的进程中,在最大程度上保证了各进程的负载均衡。
S23,将各个进程分配至中央处理器的多个核心单元组进行数据处理。
详细说明参见上述实施例对应的相关描述,此处不在赘述。
本实施例提供的多进程数据的处理方法,通过解析流量数据所对应的五元组信息,基于该五元组信息进行哈希计算以将流量数据分配至不同的进程,由此实现了多个进程并行处理,提高了网关的吞吐量。通过各个核心单元组使用率以对流量数据进行二次分配,避免出现某个进程持续进行数据处理而其他进程空闲的情况,最大程度上保证各个进程处于负载均衡的状态,从而保证了各个核心单元组使用率处于均衡状态,实现中央处理器的多核性能的高效利用。
在本实施例中提供了一种多进程数据的处理方法,可用于网关等网络接入设备,图5是根据本发明实施例的多进程数据的处理方法的流程图,如图5所示,该流程包括如下步骤:
S31,获取接入网关的流量数据以及网关对应的多个可运行进程。
其中,网关的中央处理器包括多个核心单元组。
具体地,上述步骤S31可以包括:
S311,创建网关的目标监听端口。
目标监听端口为网关的对外接口,目标监听端口的IP地址和Port不变,所有用户均可通过该目标监听端口接入网关以获取网络数据。具体地,技术人员在设置网关时,可以为网关配置一个用于监听外部流量数据的端口,无需修改网关源码,相应地,网关则可以响应技术人员的配置操作,创建一个对外的目标监听端口。
S312,通过目标监听端口监听接入网关的流量数据。
网关通过该目标监听端口对接入网关的各个用户终端进行监听,获取各个用户终端接入网关的流量数据。继而网关将其监听到的流量数据分配至内部的各个端口,再由各个端口将其负载至相对应的各个进程中。
S32,按照负载均衡的方式将流量数据负载至各个进程。
详细说明参见上述实施例对应的相关描述,此处不在赘述。
S33,将各个进程分配至中央处理器的多个核心单元组进行数据处理。
详细说明参见上述实施例对应的相关描述,此处不在赘述。
本实施例提供的多进程数据的处理方法,通过网关的目标监听端口对各个用户接入流量数据进行监听,避免用户接入网关的端口切换而影响网关接入速度。此处通过目标监听端口对所有接入的流量数据进行监听,网关对内则可以将流量数据分配至不同的进程,由此用户对流量数据的分配无感知,在提高用户接入速度以及数据处理速度的同时,进一步提升了用户的体验。同时,目标监听端口的创建无需修改网关源码,网关部署较为方便,节省了人力成本。同时,目标监听端口的创建无需修改网关源码,网关部署较为方便,节省了人力成本。
在本实施例中还提供了一种多进程数据的处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种多进程数据的处理装置,用于网关等网络接入设备,如图6所示,该装置包括:
获取模块41,用于获取接入网关的流量数据以及网关对应的多个可运行进程,该网关的中央处理器包括多个核心单元组。
负载均衡模块42,用于按照负载均衡的方式将流量数据负载至各个进程。
分配模块43,用于将各个进程分配至中央处理器的多个核心单元组进行数据处理。
本实施例提供的多进程数据的处理装置,通过将流量数据负载至多个进程,并将多个进程分配至多个核心单元组进行数据处理,由此能够充分利用中央处理器的多核性能,实现了多进程数据的并行处理,提高了数据处理效率,使得网关具有更高的吞吐量,进而能够承受更多用户流量的接入,提升了用户体验。
可选地,上述负载均衡模块42可以包括:
解析子模块,用于解析流量数据对应的五元组信息。
计算子模块,用于对五元组信息进行哈希计算,确定流量数据对应的第一哈希值。
均衡子模块,用于根据第一哈希值将流量数据均衡负载至各个进程。
可选地,五元组信息包括:源地址、源端口、协议类型、目的地址以及目的端口。
可选地,上述负载均衡模块42还可以包括:
确定子模块,用于确定各个进程对应的核心单元组使用率。
分配子模块,用于基于核心单元组使用率对流量数据进行二次均衡分配。
可选地,上述分配子模块可以包括:
排序单元,用于对各个核心单元组使用率进行排序,确定出最大使用率。
分配单元,用于将最大使用率所对应进程的流量数据分配至其他进程。
可选地,上述获取模块41可以包括:
创建子模块,用于创建网关的目标监听端口。
监听子模块,用于通过目标监听端口监听接入网关的流量数据。
可选地,上述多进程数据的处理装置还可以包括:
绑定模块,用于绑定各个进程与各个核心单元组。
本实施例中的多进程数据的处理装置是以功能单元的形式来呈现,这里的单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
上述各模块的更进一步的功能描述以及效果与上述对应的方法实施例相同,在此不再赘述。
本发明实施例还提供一种网关,具有图6所示的多进程数据的处理装置。
请参阅图7,图7是本发明可选实施例提供的一种网关的结构示意图,如图7所示,该网关可以包括:至少一个处理器501,例如中央处理器(Central Processing Unit,CPU),至少一个通信接口503,存储器504,至少一个通信总线502。其中,通信总线502用于实现这些组件之间的连接通信。其中,通信接口503可以包括显示屏(Display)、键盘(Keyboard),可选通信接口503还可以包括标准的有线接口、无线接口。存储器504可以是高速易挥发性随机存取存储器(Random Access Memory,RAM),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器504可选的还可以是至少一个位于远离前述处理器501的存储装置。其中处理器501可以结合图6所描述的装置,存储器504中存储应用程序,且处理器501调用存储器504中存储的程序代码,以用于执行上述任一方法步骤。
其中,通信总线502可以是外设部件互连标准(peripheral componentinterconnect,PCI)总线或扩展工业标准结构(extended industry standardarchitecture,EISA)总线等。通信总线502可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器504可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器也可以包括非易失性存储器(non-volatilememory),例如快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);存储器504还可以包括上述种类的存储器的组合。
其中,处理器501可以是中央处理器(central processing unit,CPU),网络处理器(network processor,NP)或者CPU和NP的组合。
其中,处理器501还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmablelogic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gatearray,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。
可选地,存储器504还用于存储程序指令。处理器501可以调用程序指令,实现如本申请图3至图5实施例中所示的多进程数据的处理方法。
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的多进程数据的处理方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(HardDisk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种多进程数据的处理方法,其特征在于,包括:
获取接入网关的流量数据以及所述网关对应的多个可运行进程,所述网关的中央处理器包括多个核心单元组;
按照负载均衡的方式将所述流量数据负载至各个进程;
将各个进程分配至所述中央处理器的多个核心单元组进行数据处理。
2.根据权利要求1所述的方法,其特征在于,所述按照负载均衡的方式将所述流量数据负载至各个进程,包括:
解析所述流量数据对应的五元组信息;
对所述五元组信息进行哈希计算,确定所述流量数据对应的第一哈希值;
根据所述第一哈希值将所述流量数据均衡负载至各个进程。
3.根据权利要求2所述的方法,其特征在于,还包括:
确定各个进程对应的核心单元组使用率;
基于所述核心单元组使用率对所述流量数据进行二次均衡分配。
4.根据权利要求3所述的方法,其特征在于,所述基于所述核心单元组使用率对所述流量数据进行二次均衡分配,包括:
对各个所述核心单元组使用率进行排序,确定出最大使用率;
将所述最大使用率所对应进程的流量数据分配至其他进程。
5.根据权利要求2-4任一项所述的方法,其特征在,所述五元组信息包括:源地址、源端口、协议类型、目的地址以及目的端口。
6.根据权利要求1所述的方法,其特征在于,所述获取接入网关的流量数据,包括:
创建所述网关的目标监听端口;
通过所述目标监听端口监听接入所述网关的流量数据。
7.根据权利要求1所述的方法,其特征在于,所述可运行进程的数量与所述核心单元组的数量一致,所述方法还包括:
绑定各个所述进程与各个所述核心单元组。
8.一种多进程数据的处理装置,其特征在于,包括:
获取模块,用于获取接入网关的流量数据以及所述网关对应的多个可运行进程,所述网关的中央处理器包括多个核心单元组;
负载均衡模块,用于按照负载均衡的方式将所述流量数据负载至各个进程;
分配模块,用于将各个进程分配至所述中央处理器的多个核心单元组进行数据处理。
9.一种网关,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-7任一项所述的多进程数据的处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行权利要求1-7任一项所述的多进程数据的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210906664.9A CN115484129A (zh) | 2022-07-29 | 2022-07-29 | 多进程数据的处理方法、装置、网关及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210906664.9A CN115484129A (zh) | 2022-07-29 | 2022-07-29 | 多进程数据的处理方法、装置、网关及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115484129A true CN115484129A (zh) | 2022-12-16 |
Family
ID=84422376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210906664.9A Pending CN115484129A (zh) | 2022-07-29 | 2022-07-29 | 多进程数据的处理方法、装置、网关及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115484129A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116089076A (zh) * | 2022-12-30 | 2023-05-09 | 清华大学 | 数据处理方法、装置、计算机设备和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102394809A (zh) * | 2011-10-13 | 2012-03-28 | 中国人民解放军国防科学技术大学 | 一种多线程边界网关协议并行处理方法 |
CN102866921A (zh) * | 2012-08-29 | 2013-01-09 | 惠州Tcl移动通信有限公司 | 一种多核cpu的调控方法及系统 |
CN104834643A (zh) * | 2014-02-11 | 2015-08-12 | 腾讯科技(深圳)有限公司 | 一种快速公共网关接口文件分析方法和装置 |
CN104901898A (zh) * | 2015-06-08 | 2015-09-09 | 东软集团股份有限公司 | 一种负载均衡方法及装置 |
CN108718268A (zh) * | 2017-04-07 | 2018-10-30 | 格尔软件股份有限公司 | 一种提高vpn服务端并发处理性能的方法 |
CN111835613A (zh) * | 2019-04-23 | 2020-10-27 | 厦门网宿有限公司 | 一种vpn服务器的数据传输方法及vpn服务器 |
CN112799811A (zh) * | 2021-01-26 | 2021-05-14 | 重庆邮电大学 | 一种边缘网关的高并发线程池任务调度方法 |
CN114006863A (zh) * | 2021-11-02 | 2022-02-01 | 北京科东电力控制系统有限责任公司 | 一种多核负载均衡协同处理方法、装置及存储介质 |
-
2022
- 2022-07-29 CN CN202210906664.9A patent/CN115484129A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102394809A (zh) * | 2011-10-13 | 2012-03-28 | 中国人民解放军国防科学技术大学 | 一种多线程边界网关协议并行处理方法 |
CN102866921A (zh) * | 2012-08-29 | 2013-01-09 | 惠州Tcl移动通信有限公司 | 一种多核cpu的调控方法及系统 |
CN104834643A (zh) * | 2014-02-11 | 2015-08-12 | 腾讯科技(深圳)有限公司 | 一种快速公共网关接口文件分析方法和装置 |
CN104901898A (zh) * | 2015-06-08 | 2015-09-09 | 东软集团股份有限公司 | 一种负载均衡方法及装置 |
CN108718268A (zh) * | 2017-04-07 | 2018-10-30 | 格尔软件股份有限公司 | 一种提高vpn服务端并发处理性能的方法 |
CN111835613A (zh) * | 2019-04-23 | 2020-10-27 | 厦门网宿有限公司 | 一种vpn服务器的数据传输方法及vpn服务器 |
CN112799811A (zh) * | 2021-01-26 | 2021-05-14 | 重庆邮电大学 | 一种边缘网关的高并发线程池任务调度方法 |
CN114006863A (zh) * | 2021-11-02 | 2022-02-01 | 北京科东电力控制系统有限责任公司 | 一种多核负载均衡协同处理方法、装置及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116089076A (zh) * | 2022-12-30 | 2023-05-09 | 清华大学 | 数据处理方法、装置、计算机设备和存储介质 |
CN116089076B (zh) * | 2022-12-30 | 2023-11-28 | 清华大学 | 数据处理方法、装置、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190273654A1 (en) | Reconfiguring a server including a reconfigurable adapter device | |
CN111367983A (zh) | 数据库访问方法、系统、设备和存储介质 | |
JP6200497B2 (ja) | 仮想マシンのフローの物理的なキューへのオフロード | |
US9251040B2 (en) | Remote debugging in a cloud computing environment | |
CN107707622B (zh) | 一种访问桌面云虚拟机的方法、装置及桌面云控制器 | |
CN109995814B (zh) | 云主机资源的迁移方法及装置、通信设备、存储介质 | |
CN108491278B (zh) | 一种处理业务数据的方法和网络设备 | |
CN110266761B (zh) | 负载均衡应用创建方法、装置、计算机设备及存储介质 | |
CN112905305A (zh) | 基于vpp的集群式虚拟化数据转发方法、装置及系统 | |
CN111143034B (zh) | 一种控制网络数据转发平面的方法、装置及系统 | |
WO2020151449A1 (zh) | 基于quic协议栈的数据处理方法、系统、设备及存储介质 | |
CN113127192A (zh) | 一种多个服务共享同一个gpu的方法、系统、设备及介质 | |
CN111737022A (zh) | 一种基于微服务的接口调用方法、系统、设备及介质 | |
CN114553780A (zh) | 负载均衡的方法、装置以及网卡 | |
CN115484129A (zh) | 多进程数据的处理方法、装置、网关及可读存储介质 | |
CN114900699A (zh) | 视频编解码卡虚拟化方法、装置、存储介质及终端 | |
CN112003794B (zh) | 一种浮动ip限流方法、系统、终端及存储介质 | |
CN113821174B (zh) | 存储处理方法、装置、网卡设备及存储介质 | |
CN116028290A (zh) | 一种固态硬盘测试方法、装置、设备及介质 | |
CN115904729A (zh) | 一种连接分配的方法、装置、系统、设备及介质 | |
CN105893112B (zh) | 一种虚拟化环境下的数据包处理方法及装置 | |
CN111414200B (zh) | 安装操作系统的方法、装置、电子设备和计算机可读介质 | |
CN110365742B (zh) | 多活负载均衡应用创建方法、装置、计算机设备及存储介质 | |
CN114448909A (zh) | 基于ovs的网卡队列轮询方法、装置、计算机设备及介质 | |
CN110247802B (zh) | 针对云服务单机环境的资源配置方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |