CN104796303A - 动态数据流定义方法及系统 - Google Patents

动态数据流定义方法及系统 Download PDF

Info

Publication number
CN104796303A
CN104796303A CN201510201441.2A CN201510201441A CN104796303A CN 104796303 A CN104796303 A CN 104796303A CN 201510201441 A CN201510201441 A CN 201510201441A CN 104796303 A CN104796303 A CN 104796303A
Authority
CN
China
Prior art keywords
network
balance parameters
data flow
define
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510201441.2A
Other languages
English (en)
Other versions
CN104796303B (zh
Inventor
徐恪
付瑶
沈蒙
赵有健
马东超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201510201441.2A priority Critical patent/CN104796303B/zh
Publication of CN104796303A publication Critical patent/CN104796303A/zh
Application granted granted Critical
Publication of CN104796303B publication Critical patent/CN104796303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提出一种动态数据流定义方法,包括以下步骤:根据用户需求设定网络参数和数据流定义周期;根据网络状况设置初始数据流定义方法,并部署数据包计数器,并对计数器设置计数周期;根据数据包计数器的计数值统计预设时长内的网络流量,其中,预设时长小于计数周期;将网络参数和网络流量带入优化函数进行求解,得到新的用于数据流定义的元组项;根据新的用于数据流定义的元组项对数据流进行重定义;根据重定义后的数据流定义方法对进入的数据包进行分类。本发明的方法灵活、合理,利于实现高效异常行为检测,具有效率高、准确率高的优点。本发明还提供了一种动态数据流定义系统。

Description

动态数据流定义方法及系统
技术领域
本发明涉及网络技术领域,特别涉及一种动态数据流定义方法及系统。
背景技术
目前,网络中存在着蠕虫病毒、DoS攻击、端口扫面等异常行为。路由交换系统在分析数据包字段、进行数据转发的同时也承担着异常行为检测的责任。为了减少路由交换系统对存储空间和CPU的需求,提高传输数据采集记录的带宽利用率,在进行异常检测之前,需对网络流量进行采样。而检测效率和测量准确度是一对矛盾,提高了检测效率会导致测量准确度降低,相反的,提高测量准确度会降低检测效率。
数据包采样和流采样是两类被广泛研究的采样方法。数据包采样先对数据包进行采样,再将其分类成流。流采样先将进入的数据包分类成不同的流,再对流进行采样。流采样对流量的统计特性的把控更加精准,比数据包采样更适合异常检测。已有研究证明,在现有四种普及的采样方法中,随机流采样在异常行为检测方面有着更高的精确度。
传统随机流采样用五元组(源IP地址,目的IP地址,源端口,目的端口,协议号)来定义流,即流定义为五元组的值相同的数据包的集合。为了提高异常行为检测的效率,可以根据报文中不同的信息段灵活定义流。以OSI模型为基础,在数据链路层,可用于定义流的信息段有源MAC地址、目的MAC地址;在网络层,可定义流的信息段有源IP地址,目的IP地址,传输层协议类型,服务类型;在传输层,有源端口,目的端口,标识字段。目前,网络测量多采用四元组、五元组和七元组定义流。
综上,为了更好地适应网络中流量大小及其他网络信息的变化,满足用户需求,需要一种灵活、合理地流的定义方法,以实现高效异常行为检测。
发明内容
本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种动态数据流定义方法,该方法灵活、合理,利于实现高效异常行为检测,具有效率高、准确率高的优点。
本发明的第二个目的在于提供一种动态数据流定义系统。
为了实现上述目的,本发明第一方面的实施例提出了一种动态数据流定义方法,包括以下步骤:根据用户需求设定网络参数和数据流定义周期;根据网络状况设置初始数据流定义方法,并部署数据包计数器,并对所述计数器设置计数周期;根据所述数据包计数器的计数值统计预设时长内的网络流量,其中,所述预设时长小于所述计数周期;将所述网络参数和所述网络流量带入优化函数进行求解,得到新的用于数据流定义的元组项;根据所述新的用于数据流定义的元组项对所述数据流进行重定义;根据重定义后的数据流定义方法对进入的数据包进行分类。
根据本发明实施例的动态数据流定义方法,在不同的网络状况下,根据不同的用户需求,运用不同的方法定义流。并且,该方法综合考虑网络流量、采样开销、检测准确度和检测时间对异常检测的影响,构造出最优化方案,得到根据网络流量变化和用户需求,平衡采样开销、检测效率与测量准确度的数据流定义方法。因此,该方法灵活、合理,利于实现高效异常行为检测,具有效率高、准确率高的优点。
另外,根据本发明上述实施例的动态数据流定义方法还可以具有如下附加的技术特征:
在一些示例中,所述网络参数包括平衡参数、异常检测可容忍的最大开销、最大检测时间以及最大错误率。
在一些示例中,所述平衡参数包括第一平衡参数和第二平衡参数。
在一些示例中,所述网络状况包括:网络可用带宽、网络时延和用户需求。
在一些示例中,所述优化函数为:
Nopt=argminN{f(N)},
f ( N ) = α W ^ ( N , S ) W * + β T ^ ( N , S ) T * + ( 1 - α - β ) E ^ ( N , S ) E * ,
其中,为网络流量,α为第一平衡参数,β为第二平衡参数,W*、T*、E*分别表示异常检测可容忍的最大开销、最大检测时间以及最大错误率,f(N)为优化目标,Nopt为所述新的用于数据流定义的元组项,N表示用于流定义的元组数目,表示平均采样开销,表示平均检测时间,表示平均错误率,并且,0<α<1,0<β<1, 0 < 1 - &alpha; - &beta; < 1 , W ^ ( N , S ) < W * , T ^ ( N , S ) < T * , E ^ ( N , S ) < E * , N &Element; { 1 , 2 , 3 , 4 , 5 , 6 , 7 } , S &GreaterEqual; 0 .
本发明第二方面的实施例还提供了一种动态数据流定义系统,包括:参数设定模块,用于根据用户需求设定网络参数和数据流定义周期;设置模块,用于根据网络状况设置初始数据流定义方法,并部署数据包计数器,并对所述计数器设置计数周期;统计模块,用于根据所述数据包计数器的计数值统计预设时长内的网络流量,其中,所述预设时长小于所述计数周期;计算模块,用于将所述网络参数和所述网络流量带入优化函数进行求解,得到新的用于数据流定义的元组项;重定义模块,用于根据所述新的用于数据流定义的元组项对所述数据流进行重定义;分类模块,用于根据重定义后的数据流定义方法对进入的数据包进行分类。
根据本发明实施例的动态数据流定义系统,在不同的网络状况下,根据不同的用户需求,运用不同的方法定义流。并且,该系统综合考虑网络流量、采样开销、检测准确度和检测时间对异常检测的影响,构造出最优化方案,得到根据网络流量变化和用户需求,平衡采样开销、检测效率与测量准确度的数据流定义方法。因此,该系统灵活、合理,利于实现高效异常行为检测,具有效率高、准确率高的优点。
另外,根据本发明上述实施例的动态数据流定义系统还可以具有如下附加的技术特征:
在一些示例中,所述网络参数包括平衡参数、异常检测可容忍的最大开销、最大检测时间以及最大错误率。
在一些示例中,所述平衡参数包括第一平衡参数和第二平衡参数。
在一些示例中,所述网络状况包括:网络可用带宽、网络时延和用户需求。
在一些示例中,所述优化函数为:
Nopt=argminN{f(N)},
f ( N ) = &alpha; W ^ ( N , S ) W * + &beta; T ^ ( N , S ) T * + ( 1 - &alpha; - &beta; ) E ^ ( N , S ) E * ,
其中,为网络流量,α为第一平衡参数,β为第二平衡参数,W*、T*、E*分别表示异常检测可容忍的最大开销、最大检测时间以及最大错误率,f(N)为优化目标,Nopt为所述新的用于数据流定义的元组项,N表示用于流定义的元组数目,表示平均采样开销,表示平均检测时间,表示平均错误率,并且,0<α<1,0<β<1, 0 < 1 - &alpha; - &beta; < 1 , W ^ ( N , S ) < W * , T ^ ( N , S ) < T * , E ^ ( N , S ) < E * , N &Element; { 1 , 2 , 3 , 4 , 5 , 6 , 7 } , S &GreaterEqual; 0 .
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是根据本发明一个实施例的动态数据流定义方法的流程图;
图2是根据本发明另一个实施例的动态数据流定义方法的流程图;以及
图3是根据本发明一个实施例的动态数据流定义系统的结构框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
以下结合附图描述根据本发明实施例的动态数据流定义方法及系统。
图1是根据本发明一个实施例的动态数据流定义方法的流程图,图2是根据本发明另一个实施例的动态数据流定义方法的流程图。结合图1和图2所示,该方法包括以下步骤:
步骤S101,根据用户需求设定网络参数和数据流定义周期。其中,在本发明的一个实施例中,例如,网络参数包括平衡参数、异常检测可容忍的最大开销、最大检测时间以及最大错误率。更为具体地,平衡参数包括第一平衡参数和第二平衡参数。
作为具体示例,结合图2,上述步骤S101即系统初始化。例如,管理员根据用户需求设定第一平衡参数α、第二平衡参数β、异常检测可容忍的最大开销W*、异常检测可容忍的最大检测时间T*和异常检测可容忍的最大错误率E*的值。其中α和β的取值在0到1区间。同时设置数据流定义周期τ的值,即系统每隔τ时间根据当前网络流量大小重新求解优化方案。
步骤S102,根据网络状况设置初始数据流定义方法,并部署数据包计数器,并对计数器设置计数周期。其中,例如,网络状况包括:网络可用带宽、网络时延和用户需求。
具体地说,在系统初始化以后,管理员需根据网络状况(例如:网络可用带宽,网络时延,用户需求)初始化默认的流定义方法为N0元组,即N=N0。其中,N表示用于数据流定义的元组数目,N∈{2,3,4,5,6,7}。
当N=2时,用于定义流的字段是源IP地址和目的IP地址。当N=3时,用于定义流的字段是源IP地址、目的IP地址和传输层协议号。当N=4时,用于定义流的字段是源IP地址、目的IP地址、源端口和目的端口。当N=5时,用于定义流的字段是源IP地址、目的IP地址、源端口、目的端口和协议号。当N=6时,用于定义流的字段比N=5时增加了服务类型。当N=7时,比N=6时增加了接口索引。
同时,管理员需在系统内添加一个数据包计数器,并设置其初始值为零,设置其计数周期为τ,每次计数时长为τ0,(τ0<τ)。
步骤S103,根据数据包计数器的计数值统计预设时长内的网络流量,其中,预设时长小于计数周期。在该示例中,预设时长即上述的τ0
步骤S104,将网络参数和网络流量带入优化函数进行求解,得到新的用于数据流定义的元组项。
换言之,结合图2,综合上述步骤S103和步骤S104,即系统开始运行,每个周期的前τ0时间内,系统按照上一周期的流定义方法定义流(第一个周期按照默认方法定义流)。在此τ0时间内,系统利用数据包计数器统计流量,设τ0时间内计数结果为S′,网络流量大小为S,则然后将α、β、W*、T*、E*以及S作为输入,使优化目标f(N)取得最小值,得到Nopt。在本发明的一个实施例中,优化函数为:
Nopt=argminN(f(N)},
f ( N ) = &alpha; W ^ ( N , S ) W * + &beta; T ^ ( N , S ) T * + ( 1 - &alpha; - &beta; ) E ^ ( N , S ) E * ,
其中,为网络流量,α为第一平衡参数,β为第二平衡参数,W*、T*、E*分别表示异常检测可容忍的最大开销、最大检测时间以及最大错误率,f(N)为优化目标,Nopt为所述新的用于数据流定义的元组项,N表示用于流定义的元组数目,表示平均采样开销,表示平均检测时间,表示平均错误率。并且,0<α<1,0<β<1, 0 < 1 - &alpha; - &beta; < 1 , W ^ ( N , S ) < W * , T ^ ( N , S ) < T * , E ^ ( N , S ) < E * , N &Element; { 1 , 2 , 3 , 4 , 5 , 6 , 7 } , S &GreaterEqual; 0 .
由上可知,f(N)是关于N的一元函数,因此,可以通过线性规划求解。
在上述示例中,优化函数用检测时间来体现异常检测效率,用测量错误率来反映测量准确度。主要思想是通过对平衡采样开销、检测时间及测量错误率的优化方案进行求解,得到用于流定义的元组数目N,进而周期性地对流进行重新定义。对于相同的采样方法和异常检测方法,(平均采样开销)、(平均检测时间)和(平均错误率)与流定义方法和网络流量大小有关。因此,在该示例中,用表示平均采样开销,表示平均检测时间,表示平均错误率。 由系统所采用的采样方法和异常检测方法决定。
进一步地,在具体示例中,假设采用随机流采样方法对数据流进行采样,设采样概率为p,采样后得到的数据流的数目为k,则a,b为分流参数,可由管理员根据经验设置或τ0时间内的网络状况统计得到。每采一个数据流的平均开销用ΔW表示,则 W ^ ( N , S ) = p &CenterDot; k &CenterDot; &Delta;W . 采样并检测每个数据流的平均时间用ΔT表示,则 T ^ ( N , S ) = p &CenterDot; k &CenterDot; &Delta;T . ΔW和ΔT均可由管理员根据经验设置或在系统运行第一个周期的前τ0时间计算获得。e为异常检测错误率参数,在该示例中,例如,设定e=20。
步骤S105,根据新的用于数据流定义的元组项对数据流进行重定义。
步骤S106,根据重定义后的数据流定义方法对进入的数据包进行分类。
换言之,综合上述步骤S105和步骤S106,即系统将步骤S104中得到的Nopt元组作为接下来的τ-τ0时间内的流定义方法,也就是说,在此τ-τ0时间段进入的数据包将按照Nopt元组进行分类成流。
为了便于更好地理解本发明上述实施例的动态数据流定义方法,以下结合具体的实施例对该方法进行更为详细、具体地描述。
实施例1
例如,管理员设置参数α=0.4,β=0.4,W*=5000,T*=500,E*=75%,并部署数据包计数器,设置计数周期,τ=100s,τ0=10s。系统所用随机流采样方法的参数为:p=10%,a=3,b=2,ΔT=10s,ΔW=100,e=20。系统开始运行,测得在前10s内进入系统的流量S′=3000,则系统将信息输入优化函数进行求解,得到Nopt=3。则系统在接下来的τ时间内,将按照三元组定义数据流。每个新的周期,系统将重新测量网络流量S′,求解优化方案,重新定义数据流,周而复始。
实施例2
例如,管理员设置参数α=0.1,β=0.1,W*=5000,T*=500,E*=75%,并部署数据包计数器,设置计数周期,τ=100s,τ0=10s。系统所用随机流采样方法的参数为:p=10%,a=3,b=2,ΔT=10s,ΔW=100,e=20。系统开始运行,测得在前10s内进入系统的流量S′=3000,则系统将信息输入优化方案进行求解,得到Nopt=5。则系统在接下来的τ时间内,将按照五元组定义数据流。每个新的周期,系统将重新测量网络流量S′,求解优化方案,重新定义数据流,周而复始。
由上可知,实施例1优先考虑异常检测的采样开销和检测时间,以异常检测的准确度作为代价,根据优化函数,求解得到最佳数据流定义方法为三元组。而在网络流量状况及除了平衡参数以外的其他参数均相同的情况下,实施例2优先考虑异常检测的准确度,一定程度上牺牲了采样开销和检测时间,求解模型最终得到最佳数据流定义方法为五元组。
综上,根据本发明实施例的动态数据流定义方法,在不同的网络状况下,根据不同的用户需求,运用不同的方法定义流。并且,该方法综合考虑网络流量、采样开销、检测准确度和检测时间对异常检测的影响,构造出最优化方案,得到根据网络流量变化和用户需求,平衡采样开销、检测效率与测量准确度的数据流定义方法。因此,该方法灵活、合理,利于实现高效异常行为检测,具有效率高、准确率高的优点。
本发明的进一步实施例还提供了一种动态数据流定义系统。
图3是根据本发明一个实施例的动态数据流定义系统的结构框图。如图3所示,该系统100包括:参数设定模块110、设置模块120、统计模块130、计算模块140、重定义模块150和分类模块160。
其中,参数设定模块110用于根据用户需求设定网络参数和数据流定义周期。其中,在本发明的一个实施例中,例如,网络参数包括平衡参数、异常检测可容忍的最大开销、最大检测时间以及最大错误率。更为具体地,平衡参数包括第一平衡参数和第二平衡参数。
设置模块120用于根据网络状况设置初始数据流定义方法,并部署数据包计数器,并对计数器设置计数周期。在本发明的一个实施例中,例如,网络状况包括:网络可用带宽、网络时延和用户需求。
统计模块130用于根据数据包计数器的计数值统计预设时长内的网络流量,其中,预设时长小于计数周期。
计算模块140用于将网络参数和网络流量带入优化函数进行求解,得到新的用于数据流定义的元组项。
在本发明的一个实施例中,例如,优化函数为:
Nopt=argminN(f(N)},
f ( N ) = &alpha; W ^ ( N , S ) W * + &beta; T ^ ( N , S ) T * + ( 1 - &alpha; - &beta; ) E ^ ( N , S ) E * ,
其中,为网络流量,α为第一平衡参数,β为第二平衡参数,W*、T*、E*分别表示异常检测可容忍的最大开销、最大检测时间以及最大错误率,f(N)为优化目标,Nopt为新的用于数据流定义的元组项,N表示用于流定义的元组数目,表示平均采样开销,表示平均检测时间,表示平均错误率,并且,0<α<1,0<β<1, 0 < 1 - &alpha; - &beta; < 1 , W ^ ( N , S ) < W * , T ^ ( N , S ) < T * , E ^ ( N , S ) < E * , N &Element; { 1 , 2 , 3 , 4 , 5 , 6 , 7 } , S &GreaterEqual; 0 .
重定义模块150用于根据新的用于数据流定义的元组项对数据流进行重定义。
分类模块160用于根据重定义后的数据流定义方法对进入的数据包进行分类。
需要说明的是,本发明上述实施例的动态数据流定义系统100的具体实现方式与本发明实施例的动态数据流定义方法的具体实现方式类似,因此对于该系统100的具体示例性描述或具体实施例请参见上述对方法的描述部分,为了减少冗余,此处不再赘述。
综上,根据本发明实施例的动态数据流定义系统,在不同的网络状况下,根据不同的用户需求,运用不同的方法定义流。并且,该系统综合考虑网络流量、采样开销、检测准确度和检测时间对异常检测的影响,构造出最优化方案,得到根据网络流量变化和用户需求,平衡采样开销、检测效率与测量准确度的数据流定义方法。因此,该系统灵活、合理,利于实现高效异常行为检测,具有效率高、准确率高的优点。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种动态数据流定义方法,其特征在于,包括以下步骤:
根据用户需求设定网络参数和数据流定义周期;
根据网络状况设置初始数据流定义方法,并部署数据包计数器,并对所述计数器设置计数周期;
根据所述数据包计数器的计数值统计预设时长内的网络流量,其中,所述预设时长小于所述计数周期;
将所述网络参数和所述网络流量带入优化函数进行求解,得到新的用于数据流定义的元组项;
根据所述新的用于数据流定义的元组项对所述数据流进行重定义;
根据重定义后的数据流定义方法对进入的数据包进行分类。
2.根据权利要求1所述的动态数据流定义方法,其特征在于,所述网络参数包括平衡参数、异常检测可容忍的最大开销、最大检测时间以及最大错误率。
3.根据权利要求2所述的动态数据流定义方法,其特征在于,所述平衡参数包括第一平衡参数和第二平衡参数。
4.根据权利要求1所述的动态数据流定义方法,其特征在于,所述网络状况包括:网络可用带宽、网络时延和用户需求。
5.根据权利要求3所述的动态数据流定义方法,其特征在于,所述优化函数为:
Nopt=argminN{f(N)},
f ( N ) = &alpha; W ^ ( N , S ) W * + &beta; T ^ ( N , S ) T * + ( 1 - &alpha; - &beta; ) E ^ ( N , S ) E * ,
其中,S为网络流量,α为第一平衡参数,β为第二平衡参数,W*、T*、E*分别表示异常检测可容忍的最大开销、最大检测时间以及最大错误率,f(N)为优化目标,Nopt为所述新的用于数据流定义的元组项,N表示用于流定义的元组数目,表示平均采样开销,表示平均检测时间,表示平均错误率,并且,0<α<1,0<β<1,0<1-α-β<1, W ^ ( N , S ) < W * , T ^ ( N , S ) < T * , E ^ ( N , S ) < E * , N∈{1,2,3,4,5,6,7},S≥0。
6.一种动态数据流定义系统,其特征在于,包括:
参数设定模块,用于根据用户需求设定网络参数和数据流定义周期;
设置模块,用于根据网络状况设置初始数据流定义方法,并部署数据包计数器,并对所述计数器设置计数周期;
统计模块,用于根据所述数据包计数器的计数值统计预设时长内的网络流量,其中,所述预设时长小于所述计数周期;
计算模块,用于将所述网络参数和所述网络流量带入优化函数进行求解,得到新的用于数据流定义的元组项;
重定义模块,用于根据所述新的用于数据流定义的元组项对所述数据流进行重定义;
分类模块,用于根据重定义后的数据流定义方法对进入的数据包进行分类。
7.根据权利要求6所述的动态数据流定义系统,其特征在于,所述网络参数包括平衡参数、异常检测可容忍的最大开销、最大检测时间以及最大错误率。
8.根据权利要求7所述的动态数据流定义系统,其特征在于,所述平衡参数包括第一平衡参数和第二平衡参数。
9.根据权利要求6所述的动态数据流定义系统,其特征在于,所述网络状况包括:网络可用带宽、网络时延和用户需求。
10.根据权利要求8所述的动态数据流定义系统,其特征在于,所述优化函数为:
Nopt=argminN(f(N)},
f ( N ) = &alpha; W ^ ( N , S ) W * + &beta; T ^ ( N , S ) T * + ( 1 - &alpha; - &beta; ) E ^ ( N , S ) E * ,
其中,S为网络流量,α为第一平衡参数,β为第二平衡参数,W*、T*、E*分别表示异常检测可容忍的最大开销、最大检测时间以及最大错误率,f(N)为优化目标,Nopt为所述新的用于数据流定义的元组项,N表示用于流定义的元组数目,表示平均采样开销,表示平均检测时间,表示平均错误率,并且,0<α<1,0<β<1,0<1-α-β<1, W ^ ( N , S ) < W * , T ^ ( N , S ) < T * , E ^ ( N , S ) < E * , N∈{1,2,3,4,5,6,7},S≥0。
CN201510201441.2A 2015-04-24 2015-04-24 一种生成动态数据流的方法及系统 Active CN104796303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510201441.2A CN104796303B (zh) 2015-04-24 2015-04-24 一种生成动态数据流的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510201441.2A CN104796303B (zh) 2015-04-24 2015-04-24 一种生成动态数据流的方法及系统

Publications (2)

Publication Number Publication Date
CN104796303A true CN104796303A (zh) 2015-07-22
CN104796303B CN104796303B (zh) 2018-08-03

Family

ID=53560831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510201441.2A Active CN104796303B (zh) 2015-04-24 2015-04-24 一种生成动态数据流的方法及系统

Country Status (1)

Country Link
CN (1) CN104796303B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107786388A (zh) * 2017-09-26 2018-03-09 西安交通大学 一种基于大规模网络流数据的异常检测系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175038A (zh) * 2007-10-16 2008-05-07 华为技术有限公司 一种数据流信息传输的方法、通讯系统及设备
CN102447695A (zh) * 2011-11-14 2012-05-09 中国科学院软件研究所 一种识别业务系统中关键攻击路径的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175038A (zh) * 2007-10-16 2008-05-07 华为技术有限公司 一种数据流信息传输的方法、通讯系统及设备
CN102447695A (zh) * 2011-11-14 2012-05-09 中国科学院软件研究所 一种识别业务系统中关键攻击路径的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUANGWU HU, KE XU, JIANPING WU: "SuperFlow: A Reliable, Controllable and Scalable Architecture for Large-Scale Enterprise Networks", 《IEEE》 *
王伟平, 李建中, 张冬冬, 郭龙江: "基于滑动窗口的数据流连续J-A 查询的处理方法", 《软件学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107786388A (zh) * 2017-09-26 2018-03-09 西安交通大学 一种基于大规模网络流数据的异常检测系统
CN107786388B (zh) * 2017-09-26 2020-02-14 西安交通大学 一种基于大规模网络流数据的异常检测系统

Also Published As

Publication number Publication date
CN104796303B (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
CN103532776A (zh) 业务流量检测方法及系统
CN103532940A (zh) 网络安全检测方法及装置
CN103580905B (zh) 一种流量预测方法、系统及流量监测方法、系统
CN105429977A (zh) 基于信息熵度量的深度包检测设备异常流量监控方法
CN103107958A (zh) 一种获取用户感知的方法及系统
CN106844165A (zh) 告警方法及装置
JP2016525828A (ja) ソフトウェア定義による(software−defined)透過的なネットワーク管理
CN111508094A (zh) 一种基于etc门架与卡口通行数据的高速公路拥堵发现方法
CN106603410B (zh) 一种面向软件定义网络的两阶段大流测量方法
CN105281969A (zh) 一种统计信息获取方法及装置
CN103647670A (zh) 一种基于sketch的数据中心网络流量分析方法
CN102868553A (zh) 故障定位方法及相关设备
CN110718057A (zh) 路网运行状态评价方法、装置、电子设备及介质
CN101964727A (zh) 一种利用混合报文测量可用带宽的方法和装置
CN114205304B (zh) 一种基于双漏桶的流量控制方法及装置、设备、存储介质
CN109257390A (zh) Cc攻击的检测方法、装置及电子设备
CN108389395B (zh) 交通控制的评价方法及装置
CN110191024A (zh) 网络流量监控方法和装置
CN107195179B (zh) 基于网络的单路口交通流量统计分析方法及系统
US20140362719A1 (en) Methods for monitoring data traffic in a gateway device
CN104796303A (zh) 动态数据流定义方法及系统
CN204679284U (zh) 便携式车辆性能检测仪
US8929236B2 (en) Network flow analysis
CN106656647A (zh) 一种实时流量监控方法及装置
CN115346376A (zh) 大数据城市交通量统计方法、系统、存储介质及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant