CN113364703A - 网络应用流量的处理方法、装置、电子设备和可读介质 - Google Patents
网络应用流量的处理方法、装置、电子设备和可读介质 Download PDFInfo
- Publication number
- CN113364703A CN113364703A CN202110629014.XA CN202110629014A CN113364703A CN 113364703 A CN113364703 A CN 113364703A CN 202110629014 A CN202110629014 A CN 202110629014A CN 113364703 A CN113364703 A CN 113364703A
- Authority
- CN
- China
- Prior art keywords
- hypersphere
- determining
- application traffic
- preset
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/14—Routing performance; Theoretical aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Abstract
本公开提供一种网络应用流量的处理方法、装置、电子设备和可读介质,其中,网络应用流量的处理方法包括:采集网络交互过程中的应用流量数据包;确定应用流量数据包的特征向量与最小超球面之间的从属关系;根据从属关系确定应用流量数据包的分类信息;根据分类信息对应用流量数据包进行路由处理。通过本公开实施例,降低了对指定应用流量进行识别的训练量,提高了对指定应用流量进行识别的准确性和可靠性,保证了指定应用流量被高质量、高效和低延时地传输,提升了网络服务质量。
Description
技术领域
本公开涉及网络技术领域,具体而言,涉及一种网络应用流量的处理方法、装置、电子设备和可读介质。
背景技术
目前,云计算的发展使越来越多的企业应用上云,客户端可以通过云网关节点实现一站式快速上云访问相关应用软件,其中云视频会议、语音通话等应用降低了企业内部间的沟通成本,提高了远程协作效率,在企业中被广泛使用,这类应用产生的网络流量通常需要低延时的网络转发来保证用户的使用体验。在实际应用场景中,对通过云网关节点转发的实时音(视)频应用流量进行准确识别至关重要。
相关技术中,传统的网络流量识别系统主要借助深度包解析技术和人工智能技术来达到对流量业务类型的感知。
其中,深度包解析技术利用HTTP(HyperText Transfer Protocol,超文本传输协议)报文中的URI(Uniform Resource Identifier,统一资源标志符)、HOST(主机)字段或HTTPS(Hyper Text Transfer Protocol over SecureSocket Layer,是以安全为目标的HTTP通道)报文中的SNI(Server Name Indication,服务器名称指示)字段来判断业务类型。另外,人工智能技术则主要通过构建机器学习或深度学习模型,借助大规模有标记的业务流量数据对模型参数进行训练,再利用训练好的模型对通过网关节点的流量进行识别。
但是,运用上述方案对音(视)频应用流量进行识别至少存在以下技术问题:
1.当前许多视频会议、语音通话等应用通常使用UDP(User Datagram Protocol,用户数据报文)协议进行传输,UDP上层的应用层协议中通常不具备有明确业务指向的字段,因此大部分音(视)频应用无法用深度包解析方法进行识别感知。
2.云网络中除了音(视)频流量,有类型丰富的非音(视)频业务流量。人工智能流量识别技术仅针对已知业务类型流量进行模型训练,而实际研发过程中的训练集无法将网络中出现的每一种流量都涵盖。虽然模型能在已知样本中的达到较高识别准确率,但实际投产应用时,客户端的上网行为与训练数据集类型分布可能存在较大区别,训练好的模型无法将未在训练集中的流量类型过滤,而且存在很大概率将其错分为已知流量,导致已知流量识别的召回率达到要求,但精准率下降,导致了路由策略匹配错误和网络带宽资源浪费等问题。
3.人工智能中的深度学习流量识别模型通常采用复杂的卷积运算,在实际应用中,大量的运算会产生较大时延且占用较多计算资源,若未考虑识别与转发分离则会影响用户数据转发效率,导致较差的网络体验,此外模型的升级更新配置复杂,通常需要对业务进行中断重启。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
公开内容
本公开的目的在于提供一种网络应用流量的处理方法、装置、电子设备和可读介质,用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的网络应用流量的识别率低的问题。
根据本公开实施例的第一方面,提供一种网络应用流量的处理方法,包括:采集网络交互过程中的应用流量数据包;确定所述应用流量数据包的特征向量与所述最小超球面之间的从属关系;根据所述从属关系确定所述应用流量数据包的分类信息;根据所述分类信息对所述应用流量数据包进行路由处理。
在本公开的一种示例性实施例中,确定所述应用流量数据包的特征向量与所述最小超球面之间的从属关系包括:确定所述应用流量数据包的报文属性信息;根据所述报文属性信息生成所述应用流量数据包对应的键值信息;根据所述键值信息对所述应用流量数据进行分类统计;若确定一个指定键值信息对应的应用流量数据的数据量达到预设数据量,则确定所述指定键值信息对应的应用流量数据的特征向量;确定所述指定键值信息对应的特征向量与所述最小超球面之间的从属关系。
在本公开的一种示例性实施例中,网络应用流量的处理方法还包括:确定所述应用流量数据包中的属于目标类型的流量包为应用流量样本;将所述应用流量样本的特征向量代入预设超球面;根据所述拉格朗日乘子确定所述应用流量样本的最小超球面的目标参数。
在本公开的一种示例性实施例中,将所述应用流量样本的特征向量代入预设超球面包括:将所述应用流量样本的特征向量代入所述预设超球面,所述预设超球面的表达式包括:min F(R,a,ξi)=R2+C∑iξi;所述预设超球面的参数满足的条件表达式包括:所述a表征所述预设超球面的中心点向量,所述R表征所述预设超球面的半径参数,所述ξi表征所述预设超球面的松弛变量,所述xi表征所述应用流量样本的特征向量,所述min F(R,a,ξi)表征所述预设超球面,所述C为预设常量。
在本公开的一种示例性实施例中,根据所述拉格朗日乘子确定所述应用流量样本的最小超球面的目标参数包括:通过支持向量机的拉格朗日乘子法对所述预设超球面的参数进行训练,并根据训练结果求解所述拉格朗日乘子的最优值,以得到所述中心点向量的最优解和所述半径参数的最优解。
在本公开的一种示例性实施例中,通过支持向量机的拉格朗日乘子法对所述预设超球面的参数进行训练,并根据训练结果求解所述拉格朗日乘子的最优值包括:将拉格朗日乘子引入所述预设超球面,以得到所述拉格朗日对偶函数,所述拉格朗日对偶函数的表达式包括: 对所述拉格朗日对偶函数进行求导处理;确定所述求导处理为零的表达式,所述求导处理为零的表达式包括:将所述求导处理为零的表达式代入至所述拉格朗日对偶函数,并引入核函数对向量内积做变换,所述向量内积做变换后的表达式包括: 通过所述支持向量机的序列最小优化算法求解变换后的拉格朗日对偶函数的朗格朗日乘子的最优解;根据所述拉格朗日乘子的最优解确定所述最小超球面的目标参数,其中,所述目标参数包括所述预设超球面的中心点向量的最优解和/或所述预设超球面的半径参数的最优解,所述αi和所述γi表征所述拉格朗日乘子,所述K()表征所述核函数,所述xj表征所述应用流量样本的第j个维度的特征向量。
在本公开的一种示例性实施例中,确定所述应用流量数据包的特征向量与所述最小超球面之间的从属关系包括:确定所述特征向量与所述中心点向量之间的向量差;确定所述向量差的转置与所述向量差的乘积;判断所述乘积是否小于或等于所述半径参数的数值的平方;若判定所述乘积小于或等于所述半径参数的数值的平方,则确定所述特征向量属于所述最小超球面;若判定所述乘积大于所述半径参数的数值的平方,则确定所述特征向量不属于所述最小超球面。
根据本公开实施例的第二方面,提供一种网络应用流量的处理装置,包括:采集模块,用于采集网络交互过程中的应用流量数据包;确定模块,用于确定所述应用流量数据包的特征向量与所述最小超球面之间的从属关系;确定模块还用于,根据所述从属关系确定所述应用流量数据包的分类信息;路由模块,用于根据所述分类信息对所述应用流量数据包进行路由处理。
根据本公开的第三方面,提供一种电子设备,包括:存储器;以及耦合到所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如上述任意一项所述的方法。
根据本公开的第四方面,提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如上述任意一项所述的网络应用流量的处理方法。
本公开实施例,通过采集网络交互过程中的应用流量数据包,并确定所述应用流量数据包的特征向量与所述最小超球面之间的从属关系,对非目标类型的未知网络应用流量进行准确过滤,对目标类型的网络应用流量进行实时高效识别,适用于不同上网行为客户端的流量识别算法,提升了网络应用流量的交互效率和质量,降低了网络应用流量的延迟率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本公开的一个示例性实施例中的网络应用流量的处理方法的流程图;
图2示出了本公开的另一个示例性实施例中的网络应用流量的处理方法的流程图;
图3示出了本公开的另一个示例性实施例中的网络应用流量的处理方法的流程图;
图4示出了本公开的另一个示例性实施例中的网络应用流量的处理方法的流程图;
图5示出了本公开的另一个示例性实施例中的网络应用流量的处理方法的流程图;
图6示出了本公开的另一个示例性实施例中的网络应用流量的处理方法的流程图;
图7示出了本公开的另一个示例性实施例中的网络应用流量的处理平台的流程图;
图8示出了本公开的另一个示例性实施例中的网络应用流量的处理方法的流程图;
图9是本公开示例性实施例中一种网络应用流量的处理装置的方框图;
图10是本公开示例性实施例中一种电子设备的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
下面结合附图对本公开示例实施方式进行详细说明。
图1示出了本公开示例性实施例中网络应用流量的处理方法的流程图。
参考图1,网络应用流量的处理方法可以包括:
步骤S102,采集网络交互过程中的应用流量数据包。
在本公开的一种实例性实施例中,应用流量数据包包括视频流量包、音频流量包和其他类型流量包。
步骤S104,确定所述应用流量数据包的特征向量与所述最小超球面之间的从属关系。
在本公开的一种实例性实施例中,最小超球面是针对指定类型的应用流量训练确定的,而不需要设置多种训练标签或多个训练样本集,通过最小超球面确定了指定类型的应用流量的特征向量的最小范围,不仅识别效率高,而且对模型的训练量大大降低,可以通过实时采集的指定类型的应用流量为样本确定预设超球面的最优解,即最小超球面。
步骤S106,根据所述从属关系确定所述应用流量数据包的分类信息。
在本公开的一种实例性实施例中,通过从属关系确定的分类信息为一类信息,即应用流量为指定类型或其他类型。
步骤S108,根据所述分类信息对所述应用流量数据包进行路由处理。
在本公开的一种实例性实施例中,云网关的路由处理的策略可以是对该类流量配置高优先级、高等级带宽链路的路由转发策略,保证其高性能低延时传输,而对于非实时音(视)频通话流量,可以为其配置较低优先级的路由转发策略,这样云网关的节点通过对不同类型的业务流量进行合理地带宽资源分配,利用较低的带宽成本就可以提高服务质量。
在本公开的一种实例性实施例中,通过采集网络交互过程中的应用流量数据包,并确定所述应用流量数据包的特征向量与所述最小超球面之间的从属关系,对非目标类型的未知网络应用流量进行准确过滤,对目标类型的网络应用流量进行实时高效识别,适用于不同上网行为客户端的流量识别算法,提升了网络应用流量的交互效率和质量,降低了网络应用流量的延迟率。
下面,对网络应用流量的处理方法的各步骤进行详细说明。
如图2所示,确定所述应用流量数据包的特征向量与所述最小超球面之间的从属关系包括:
步骤S2042,确定所述应用流量数据包的报文属性信息。
在本公开的一种示例性实施例中,报文属性信息包括源IP地址、源端口、目的IP地址、目的端口和传输层协议中的至少一种。
步骤S2044,根据所述报文属性信息生成所述应用流量数据包对应的键值信息。
在本公开的一种示例性实施例中,键值信息以key-value形式记录报文属性信息,dpdk(Data Plane Development Kit,数据平面开发套件,用于快速数据包处理的函数库与驱动集合,可以极大提高数据处理性能和吞吐量,提高数据平面应用程序的工作效率)所属的数据收发模块接口获取到应用流量数据包时,判断其IP五元组在哈希结构体的key中是否存在,如果不存在,则为该流建立新的key-value对并更新value对应的特征向量,然后转发应用流量数据包,如果存在,则同样对其特征向量进行更新,接着对应用流量数据包进行转发。
步骤S2046,根据所述键值信息对所述应用流量数据进行分类统计。
在本公开的一种示例性实施例中,当接收到的应用流量数据包的数量已到达预设数据量时,将应用流量数据包的特征向量输入单类支持向量域算法进行识别,在获取单类支持向量域算法所需的有效特征的同时,提高了应用流量数据包的转发效率。
步骤S2048,若确定一个指定键值信息对应的应用流量数据的数据量达到预设数据量,则确定所述指定键值信息对应的应用流量数据的特征向量。
在本公开的一种示例性实施例中,特征向量包括数目、字节和到达时间等特征的向量中的至少一种。
步骤S2050,确定所述指定键值信息对应的特征向量与所述最小超球面之间的从属关系。
在本公开的一种示例性实施例中,通过确定指定键值信息对应的全部特征向量与最小超球面之间的从属关系,提高了识别指定类型的应用流量数据包的类型的准确性和效率。
如图3所示,网络应用流量的处理方法还包括:
步骤S302,确定所述应用流量数据包中的属于目标类型的流量包为应用流量样本。
在本公开的一种示例性实施例中,通过将实时采集的目标类型的应用流量数据包用作训练样本,减小了预设超球面的训练量和计算量。
步骤S304,将所述应用流量样本的特征向量代入预设超球面。
步骤S306,根据所述拉格朗日乘子确定所述应用流量样本的最小超球面的目标参数。
在本公开的一种示例性实施例中,通过引入一个新的参数λ(即拉格朗日乘子),将约束条件函数与原函数联系到一起,使能配成与变量数量相等的等式方程,从而求出得到原函数极值的各个变量的解。
其中,将所述应用流量样本的特征向量代入预设超球面包括:
将所述应用流量样本的特征向量代入所述预设超球面,所述预设超球面的表达式包括:
min F(R,a,ξi)=R2+C∑iξi。
所述预设超球面的参数满足的条件表达式包括:
所述a表征所述预设超球面的中心点向量,所述R表征所述预设超球面的半径参数,所述ξi表征所述预设超球面的松弛变量,所述xi表征所述应用流量样本的特征向量,所述min F(R,a,ξi)表征所述预设超球面,所述C为预设常量。
如图4所示,根据所述拉格朗日乘子确定所述应用流量样本的最小超球面的目标参数包括:
步骤S402,通过支持向量机的拉格朗日乘子法对所述预设超球面的参数进行训练,并根据训练结果求解所述拉格朗日乘子的最优值,以得到所述中心点向量的最优解和所述半径参数的最优解。
如图5所示,通过支持向量机的拉格朗日乘子法对所述预设超球面的参数进行训练,并根据训练结果求解所述拉格朗日乘子的最优值包括:
步骤S502,将拉格朗日乘子引入所述预设超球面,以得到所述拉格朗日对偶函数,所述拉格朗日对偶函数的表达式包括:
在本公开的一种示例性实施例中,通过把原始的约束问题通过拉格朗日函数转化为无约束问题,如果原始问题求解棘手,在满足KKT(Karush-Kuhn-Tucker)的条件下用求解对偶问题来代替求解原始问题,使得问题求解更加容易。
步骤S504,对所述拉格朗日对偶函数进行求导处理。
确定所述求导处理为零的表达式,所述求导处理为零的表达式包括:
在本公开的一种示例性实施例中,求导处理包括对R求偏导数,并使偏导数为0,得到∑iαi=1。
在本公开的一种示例性实施例中,求导处理还包括对ξi求偏导数,并使偏导数为0,得到C-αi-γi=0。
步骤S506,将所述求导处理为零的表达式代入至所述拉格朗日对偶函数,并引入核函数对向量内积做变换,所述向量内积做变换后的表达式包括:
步骤S508,通过所述支持向量机的序列最小优化算法求解变换后的拉格朗日对偶函数的朗格朗日乘子的最优解。
在本公开的一种示例性实施例中,K(xi,xj)为xi与xj之间欧氏距离的单调函数。
步骤S510,根据所述拉格朗日乘子的最优解确定所述最小超球面的目标参数。
其中,所述目标参数包括所述预设超球面的中心点向量的最优解和/或所述预设超球面的半径参数的最优解,所述αi和所述γi表征所述拉格朗日乘子,所述K()表征所述核函数,所述xj表征所述应用流量样本的第j个维度的特征向量。
如图6所示,确定所述应用流量数据包的特征向量与所述最小超球面之间的从属关系包括:
步骤S602,确定所述特征向量与所述中心点向量之间的向量差。
步骤S604,确定所述向量差的转置与所述向量差的乘积。
步骤S606,判断所述乘积是否小于或等于所述半径参数的数值的平方,若是,则执行步骤S608,若否,则执行步骤S610。
步骤S608,若判定所述乘积小于或等于所述半径参数的数值的平方,则确定所述特征向量属于所述最小超球面。
步骤S610,若判定所述乘积大于所述半径参数的数值的平方,则确定所述特征向量不属于所述最小超球面。
如图7所示,网络应用流量的处理系统包括:云网关配置管理平台702、用户网管节点dpdk数据包收发模块704和策略路由选路模块706,其中,用户网管节点dpdk数据包收发模块704包括数据包实时监测与特征提取模块7042和单类支持向量域音(视)频流量识别算法7044。
云网关配置管理平台702用来配置不同类型流量路由策略和单类支持向量域算法中的模型参数以及预测条件,配置通过控制器下发至用户侧网关节点,控制器命令配置接口与网关节点中各模块进程共享变量。
用户端的入云及上网流量数据包会接入至用户侧网关节点,网关节点首先利用数据平面开发套件(dpdk)框架下的数据收发模块将用户数据包通过零拷贝技术存入Linux用户空间内存。
接着数据包实时监测与特征提取模块通过dpdk提供的接口实时获取用户数据包并对其进行特征提取,为每一条流构建一个多维度的特征向量x=[f1,f2,…,fn]。
当应用流量数据包的数目达到设置值时,单类支持向量域音(视)频流量识别算法通过对应用流量数据包的特征向量进行计算分析,判别应用流量数据包是否为实时音(视)频流量,策略路由选路模块会根据判别结果实施相应路由策略。
基于上述方法的实施例,本公开提供了一种实时音(视)频业务流量识别算法,该算法能够解决深度包解析技术无法对音(视)频UDP流量进行识别的问题,同时具备对网络中其它复杂未知的非音(视)频业务流量过滤的功能,规避了传统人工智能流量识别技术将其划分为已知类别流量的缺陷,提升了客户端在使用云视频、云语音等应用时的上网体验。
如图8所示,网络应用流量的处理方法还包括:
步骤S802,获取已知音(视)频流量并得到特征矩阵,即将线下采集实时音(视)频应用流量,分别记作音频流特征矩阵Xaudio=[x1,x2,…,xn]和视频流特征矩阵Yvideo=[y1,y2,…,yn]。
其中特征矩阵的元素xi和yj与数据包实时监测与特征提取模块中描述的特征向量x一致。
步骤S804,建立音(视)频流量单类支持向量域乘子及优化目标,并初始化参数,即分别建立音频流量和视频流量的拉格朗日函数优化目标,并对公示中的拉格朗日乘子及其它参数进行初始化。
步骤S806,利用特征向量,对未完成迭代的乘子进行优化迭代计算,即利用SMO(Sequential minimal optimization,最小序列优化)算法,分别将Xaudio和Yvideo中的特征向量作为样本点xi代入对应的拉格朗日函数,迭代更新音频和视频流量的拉格朗日乘子。
步骤S808,音(视)频流量乘子是否均完成迭代,即检测音频和视频的拉格朗日乘子是否满足停止迭代的条件,如不满足,则进入步骤S806继续迭代更新,如满足则进入步骤S810。
步骤S810,根据乘子求解音(视)频流量对应的超球面参数,即根据拉格朗日乘子求解超球面参数,音频流量超球面参数对应Raudio和aaudio,视频流量超球面参数对应Rvedio和avedio。接着配置管理平台可将参数配置到单类支持向量域流量识别算法中。
步骤S812,Dpdk数据收发模块获取用户实时流量。
步骤S814,数据实时监测与特征处理模块更新填充流量特征。
步骤S816,判断是否有流量特征满足预设条件,若是,则执行步骤S818,若否,则执行步骤S814,即对用户的流量进行实时收发并提取流的特征向量Z=[z1,z2,…,zn],当应用流量数据包满足预测条件,即应用流量数据包的数量大于设定值时执行步骤S818。
步骤S818,判断应用流量数据包的多维特征向量是否均在音(视)频流量的超球面内,即借助超球面参数Raudio和aaudio以及最小超球面的表达式判断音频流量数据包的特征向量是否在音频流超球面内,若是,则执行步骤S822,若否,则执行步骤S820。
同理,借助超球面参数Rvedio和avedio以及最小超球面的表达式判断视频流量数据包的特征向量是否在视频流超球面内。
步骤S820,标记为其他模型或送入其他模块判别,即对于非目标音视频流量,送入其它模块处理或直接转发。
步骤S822,标记为音(视)频流量。
步骤S824,对音(视)频流量进行策略路由处理,即根据配置好的路由策略对音频流、视频流进行选路,保证其传输质量。
本公开的算法流程可分为线下迭代求解最优参数和线上用户流量实时识别两个阶段,其中步骤S802至步骤S810为迭代求解最优参数阶段,步骤S812至步骤824为线上用户流量实时识别阶段。线下阶段可在线上阶段执行的任意时刻运行,当训练数据集扩充或优化导致参数最优解更新时,可通过共享内存接口同步传入线上进程中,无需对进程进行重启。
对比现有技术而言,本公开的上述实施例公开的技术方案至少具有以下优势:
1.本公开提出的识别方法不需要对数据包进行深度解析获取其中关键明文字符串特征,基于流字节数、数据包数量、到达时间频率(IAT)等多个维度的直方分布特征即可对音视频流量进行准确识别,适用UDP协议传输的音视频流量,保障了用户报文的安全性。
2.创造性地基于单类支持向量域算法对目标音视频流量进行识别,算法能够根据训练数据迭代优化结果,自动滤除实际上网过程中的非目标流量保留目标流量,降低了对未知用户流量的错分概率,提高了算法的适用性。
3.与人工智能中的机器学习、深度学习模型相比,降低了多层卷积等计算量大的操作对网关节点数据实时转发效率的影响,同时本公开提及的算法系统参数优化升级时不必重启算法进程,不影响业务的连续性。
对应于上述方法实施例,本公开还提供一种网络应用流量的处理装置,可以用于执行上述方法实施例。
图9是本公开示例性实施例中一种网络应用流量的处理装置的方框图。
参考图9,网络应用流量的处理装置900可以包括:
采集模块902,用于采集网络交互过程中的应用流量数据包。
确定模块904,用于确定所述应用流量数据包的特征向量与所述最小超球面之间的从属关系。
确定模块904还用于,根据所述从属关系确定所述应用流量数据包的分类信息。
路由模块908,用于根据所述分类信息对所述应用流量数据包进行路由处理。
在本公开的一种示例性实施例中,确定模块904还用于:确定所述应用流量数据包的报文属性信息;根据所述报文属性信息生成所述应用流量数据包对应的键值信息;根据所述键值信息对所述应用流量数据进行分类统计;若确定一个指定键值信息对应的应用流量数据的数据量达到预设数据量,则确定所述指定键值信息对应的应用流量数据的特征向量;确定所述指定键值信息对应的特征向量与所述最小超球面之间的从属关系。
在本公开的一种示例性实施例中,确定模块904还用于:确定所述应用流量数据包中的属于目标类型的流量包为应用流量样本;将所述应用流量样本的特征向量代入预设超球面;根据所述拉格朗日乘子确定所述应用流量样本的最小超球面的目标参数。
在本公开的一种示例性实施例中,确定模块904还用于:将所述应用流量样本的特征向量代入所述预设超球面,所述预设超球面的表达式包括:min F(R,a,ξi)=R2+C∑iξi;所述预设超球面的参数满足的条件表达式包括:所述a表征所述预设超球面的中心点向量,所述R表征所述预设超球面的半径参数,所述ξi表征所述预设超球面的松弛变量,所述xi表征所述应用流量样本的特征向量,所述min F(R,a,ξi)表征所述预设超球面,所述C为预设常量。
在本公开的一种示例性实施例中,确定模块904还用于:通过支持向量机的拉格朗日乘子法对所述预设超球面的参数进行训练,并根据训练结果求解所述拉格朗日乘子的最优值,以得到所述中心点向量的最优解和所述半径参数的最优解。
在本公开的一种示例性实施例中,确定模块904还用于:将拉格朗日乘子引入所述预设超球面,以得到所述拉格朗日对偶函数,所述拉格朗日对偶函数的表达式包括: 对所述拉格朗日对偶函数进行求导处理;确定所述求导处理为零的表达式,所述求导处理为零的表达式包括:将所述求导处理为零的表达式代入至所述拉格朗日对偶函数,并引入核函数对向量内积做变换,所述向量内积做变换后的表达式包括: 通过所述支持向量机的序列最小优化算法求解变换后的拉格朗日对偶函数的朗格朗日乘子的最优解;根据所述拉格朗日乘子的最优解确定所述最小超球面的目标参数,其中,所述目标参数包括所述预设超球面的中心点向量的最优解和/或所述预设超球面的半径参数的最优解,所述αi和所述γi表征所述拉格朗日乘子,所述K()表征所述核函数,所述xj表征所述应用流量样本的第j个维度的特征向量。
在本公开的一种示例性实施例中,确定模块904还用于:确定所述特征向量与所述中心点向量之间的向量差;确定所述向量差的转置与所述向量差的乘积;判断所述乘积是否小于或等于所述半径参数的数值的平方;若判定所述乘积小于或等于所述半径参数的数值的平方,则确定所述特征向量属于所述最小超球面;若判定所述乘积大于所述半径参数的数值的平方,则确定所述特征向量不属于所述最小超球面。
由于装置900的各功能已在其对应的方法实施例中予以详细说明,本公开于此不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图10来描述根据本公开的这种实施方式的电子设备1000。图10显示的电子设备00仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示,电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于:上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元1010执行,使得所述处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元1010可以执行如本公开实施例所示的方法。
存储单元1020可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)10201和/或高速缓存存储单元10202,还可以进一步包括只读存储单元(ROM)10203。
存储单元1020还可以包括具有一组(至少一个)程序模块10205的程序/实用工具10204,这样的程序模块10205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1030可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1000也可以与一个或多个外部设备1040(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备1000交互的设备通信,和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且,电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1000使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
根据本公开的实施方式的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和构思由权利要求指出。
Claims (10)
1.一种网络应用流量的处理方法,其特征在于,包括:
采集网络交互过程中的应用流量数据包;
确定所述应用流量数据包的特征向量与所述最小超球面之间的从属关系;
根据所述从属关系确定所述应用流量数据包的分类信息;
根据所述分类信息对所述应用流量数据包进行路由处理。
2.如权利要求1所述的网络应用流量的处理方法,其特征在于,确定所述应用流量数据包的特征向量与所述最小超球面之间的从属关系包括:
确定所述应用流量数据包的报文属性信息;
根据所述报文属性信息生成所述应用流量数据包对应的键值信息;
根据所述键值信息对所述应用流量数据进行分类统计;
若确定一个指定键值信息对应的应用流量数据的数据量达到预设数据量,则确定所述指定键值信息对应的应用流量数据的特征向量;
确定所述指定键值信息对应的特征向量与所述最小超球面之间的从属关系。
3.如权利要求1所述的网络应用流量的处理方法,其特征在于,还包括:
确定所述应用流量数据包中的属于目标类型的流量包为应用流量样本;
将所述应用流量样本的特征向量代入预设超球面;
根据所述拉格朗日乘子确定所述应用流量样本的最小超球面的目标参数。
5.如权利要求4所述的网络应用流量的处理方法,其特征在于,根据所述拉格朗日乘子确定所述应用流量样本的最小超球面的目标参数包括:
通过支持向量机的拉格朗日乘子法对所述预设超球面的参数进行训练,并根据训练结果求解所述拉格朗日乘子的最优值,以得到所述中心点向量的最优解和所述半径参数的最优解。
6.如权利要求5所述的网络应用流量的处理方法,其特征在于,通过支持向量机的拉格朗日乘子法对所述预设超球面的参数进行训练,并根据训练结果求解所述拉格朗日乘子的最优值包括:
将拉格朗日乘子引入所述预设超球面,以得到所述拉格朗日对偶函数,所述拉格朗日对偶函数的表达式包括:
对所述拉格朗日对偶函数进行求导处理;
确定所述求导处理为零的表达式,所述求导处理为零的表达式包括:
将所述求导处理为零的表达式代入至所述拉格朗日对偶函数,并引入核函数对向量内积做变换,所述向量内积做变换后的表达式包括:
通过所述支持向量机的序列最小优化算法求解变换后的拉格朗日对偶函数的朗格朗日乘子的最优解;
根据所述拉格朗日乘子的最优解确定所述最小超球面的目标参数,
其中,所述目标参数包括所述预设超球面的中心点向量的最优解和/或所述预设超球面的半径参数的最优解,所述αi和所述γi表征所述拉格朗日乘子,所述K()表征所述核函数,所述xj表征所述应用流量样本的第j个维度的特征向量。
7.如权利要求1-6中任一项所述的网络应用流量的处理方法,其特征在于,确定所述应用流量数据包的特征向量与所述最小超球面之间的从属关系包括:
确定所述特征向量与所述中心点向量之间的向量差;
确定所述向量差的转置与所述向量差的乘积;
判断所述乘积是否小于或等于所述半径参数的数值的平方;
若判定所述乘积小于或等于所述半径参数的数值的平方,则确定所述特征向量属于所述最小超球面;
若判定所述乘积大于所述半径参数的数值的平方,则确定所述特征向量不属于所述最小超球面。
8.一种网络应用流量的处理装置,其特征在于,包括:
采集模块,用于采集网络交互过程中的应用流量数据包;采集网络交互过程中的应用流量数据包;
确定模块,用于确定所述应用流量数据包的特征向量与所述最小超球面之间的从属关系;
所述确定模块还用于,根据所述从属关系确定所述应用流量数据包的分类信息;
路由模块,用于根据所述分类信息对所述应用流量数据包进行路由处理。
9.一种电子设备,其特征在于,包括:
存储器;以及
耦合到所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如权利要求1-7任一项所述的网络应用流量的处理方法。
10.一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如权利要求1-7任一项所述的网络应用流量的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110629014.XA CN113364703B (zh) | 2021-06-03 | 2021-06-03 | 网络应用流量的处理方法、装置、电子设备和可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110629014.XA CN113364703B (zh) | 2021-06-03 | 2021-06-03 | 网络应用流量的处理方法、装置、电子设备和可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113364703A true CN113364703A (zh) | 2021-09-07 |
CN113364703B CN113364703B (zh) | 2023-08-08 |
Family
ID=77532525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110629014.XA Active CN113364703B (zh) | 2021-06-03 | 2021-06-03 | 网络应用流量的处理方法、装置、电子设备和可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113364703B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115499383A (zh) * | 2022-07-29 | 2022-12-20 | 天翼云科技有限公司 | 一种流量识别方法、装置、电子设备及存储介质 |
CN116366741A (zh) * | 2023-03-22 | 2023-06-30 | 云贵亮 | 用于网络数据分发的比特数值鉴定系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105812280A (zh) * | 2016-05-05 | 2016-07-27 | 四川九洲电器集团有限责任公司 | 一种分类方法及电子设备 |
CN106198765A (zh) * | 2015-04-29 | 2016-12-07 | 中国科学院声学研究所 | 一种用于金属裂纹监测的声学信号识别方法 |
CN108848068A (zh) * | 2018-05-29 | 2018-11-20 | 上海海事大学 | 基于深度信念网络-支持向量数据描述的apt攻击检测方法 |
CN109871872A (zh) * | 2019-01-17 | 2019-06-11 | 西安交通大学 | 一种基于壳向量式svm增量学习模型的流量实时分类方法 |
CN110311870A (zh) * | 2019-06-10 | 2019-10-08 | 哈尔滨工业大学(威海) | 一种基于密度数据描述的ssl vpn流量识别方法 |
CN111092862A (zh) * | 2019-11-29 | 2020-05-01 | 中国电力科学研究院有限公司 | 一种用于对电网终端通信流量异常进行检测的方法及系统 |
CN112437016A (zh) * | 2020-11-11 | 2021-03-02 | 中国科学技术大学先进技术研究院 | 网络流量识别方法、装置、设备及计算机存储介质 |
-
2021
- 2021-06-03 CN CN202110629014.XA patent/CN113364703B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106198765A (zh) * | 2015-04-29 | 2016-12-07 | 中国科学院声学研究所 | 一种用于金属裂纹监测的声学信号识别方法 |
CN105812280A (zh) * | 2016-05-05 | 2016-07-27 | 四川九洲电器集团有限责任公司 | 一种分类方法及电子设备 |
CN108848068A (zh) * | 2018-05-29 | 2018-11-20 | 上海海事大学 | 基于深度信念网络-支持向量数据描述的apt攻击检测方法 |
CN109871872A (zh) * | 2019-01-17 | 2019-06-11 | 西安交通大学 | 一种基于壳向量式svm增量学习模型的流量实时分类方法 |
CN110311870A (zh) * | 2019-06-10 | 2019-10-08 | 哈尔滨工业大学(威海) | 一种基于密度数据描述的ssl vpn流量识别方法 |
CN111092862A (zh) * | 2019-11-29 | 2020-05-01 | 中国电力科学研究院有限公司 | 一种用于对电网终端通信流量异常进行检测的方法及系统 |
CN112437016A (zh) * | 2020-11-11 | 2021-03-02 | 中国科学技术大学先进技术研究院 | 网络流量识别方法、装置、设备及计算机存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115499383A (zh) * | 2022-07-29 | 2022-12-20 | 天翼云科技有限公司 | 一种流量识别方法、装置、电子设备及存储介质 |
CN116366741A (zh) * | 2023-03-22 | 2023-06-30 | 云贵亮 | 用于网络数据分发的比特数值鉴定系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113364703B (zh) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7170779B2 (ja) | 自動的な意図のマイニング、分類、及び配置のための方法及びシステム | |
US11928583B2 (en) | Adaptation of deep learning models to resource constrained edge devices | |
CN113364703B (zh) | 网络应用流量的处理方法、装置、电子设备和可读介质 | |
US11087090B2 (en) | System for focused conversation context management in a reasoning agent/behavior engine of an agent automation system | |
JP2019513246A (ja) | ランダムフォレストモデルの訓練方法、電子装置及び記憶媒体 | |
US11539590B2 (en) | Detect impact of network maintenance in software defined infrastructure | |
US11792251B2 (en) | Media stream network action decisions | |
CN110209700B (zh) | 一种数据流关联方法、装置、电子设备及存储介质 | |
US20230141398A1 (en) | Data augmentation for intent classification | |
CN112134846B (zh) | 一种通信网络信令数据分析方法、系统、装置及介质 | |
JP2023549277A (ja) | Paasクラウド環境における演算子の成功の蓋然性を予測する為の機械学習モデル | |
Huang et al. | A survey of data-driven approach on multimedia QoE evaluation | |
US11822587B2 (en) | Server and method for classifying entities of a query | |
CN115604343A (zh) | 一种数据传输方法、系统、电子设备和存储介质 | |
CN107547437A (zh) | 应用识别方法及装置 | |
CN113608778A (zh) | 应用管理方法及装置、存储介质、电子设备 | |
CN116192997B (zh) | 一种基于网络流的事件检测方法和系统 | |
US11847565B1 (en) | Automatic refinement of intent classification for virtual assistant applications | |
US20220180247A1 (en) | Detecting associated events | |
WO2024069754A1 (ja) | 情報処理装置、方法およびプログラム | |
Robitzsch et al. | Magnet: Real-Time Trace Stream Analytics Framework for 5G Operations Support Systems | |
Koleva-Stoynova et al. | Methods and Algorithms for Analysing and Predicting Errors in Server Systems. | |
Dar | Compression of Deep Neural Networks for Efficient Real Time Data Analytics in the Resource Constrained Internet of Things | |
CN116738813A (zh) | 一种模型调整方法和装置 | |
CN116504231A (zh) | 一种语音状态识别方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220208 Address after: 100007 room 205-32, floor 2, building 2, No. 1 and No. 3, qinglonghutong a, Dongcheng District, Beijing Applicant after: Tianyiyun Technology Co.,Ltd. Address before: No.31, Financial Street, Xicheng District, Beijing, 100033 Applicant before: CHINA TELECOM Corp.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |