CN103888315B - 一种自适应的突发流量检测装置及其检测方法 - Google Patents
一种自适应的突发流量检测装置及其检测方法 Download PDFInfo
- Publication number
- CN103888315B CN103888315B CN201410109575.7A CN201410109575A CN103888315B CN 103888315 B CN103888315 B CN 103888315B CN 201410109575 A CN201410109575 A CN 201410109575A CN 103888315 B CN103888315 B CN 103888315B
- Authority
- CN
- China
- Prior art keywords
- data
- window
- rate
- network
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种自适应的突发流量检测装置和检测方法,该检测装置是由顺序连接的三个模块:数据收集模块、数据处理与存储模块和流量检测模块所组成,其中数据收集模块负责采集网络中的数据传输速率信息,提供给数据处理和存储模块进行处理和存储,并作为流量检测模块中对突发流量进行检测的依据。该突发流量检测装置的检测方法是:根据网络历史的和当前的传输速率数据,分别维护一个最大空间长度为N的存储窗口队列Q和一个用于检测突发流量的自适应调整的检测阈值变量θ,利用该两个参数实现对网络负载和网络状态的免配置,既能够适应当前网络的变化,又能自动产生自适应的检测阈值,从而实现网络突发流量的自适应检测,具有很好的推广应用前景。
Description
技术领域
本发明涉及一种自适应的突发流量检测装置及其检测方法,属于计算机网络的技术领域。
背景技术
随着计算机网络的发展,网络带宽和设备的传输速度也越来越高。因此,网络传输速度变得越来越快,这样就显得负载均衡技术越发显示出其重要性。一般来说,负载均衡技术可以使得网络运转良好。但是,当传输失败的事件发生时,网络很可能会变得拥塞,甚至影响整个网络的正常工作。所谓突发事件,是指在某个维度上(包括时间、空间等)聚集了大量的事件。突发流量总是伴随着系统或网络存在着潜在的问题。所以突发流量检测方法作为保证网络正常工作的方法之一,显得尤为重要。
目前,突发流量检测方法大多是基于变长窗口数据聚合等自适应技术。这类方法可以较好地处理突发流量检测问题,但是,其大都使用固定的阈值,使得方法本身不具有普遍性。于是产生了基于自适应阈值的自适应突发流量检测方法。
下面介绍两种现有技术的自适应突发流量检测方法:
第一种是基于迁移小波变换树的突发流量检测:文献《Efficient Elastic BurstDetection in Data Streams》(刊于SIGKDD 2003,Washington,D.C,USA(2003),pp.336–345)提出了用迁移小波变换树来检测突发流量的方法。该方法基于滑动窗口的聚集检测方法,对原有的成型的小波树结构进行改进,加入了与小波树结构相同的冗余部分。该方法利用这种迁移小波变换树来索引不同窗口长度的数据聚集结果。当数据流中产生了一次数据聚集,并超过了预先设定的该层的最小阈值,则需要检测迁移小波变换树的对应的下层窗口直到找到发生的位置,以此判断突发流量是否产生。
第一种方法虽然解决了小波变换树仅有最顶层包含所有信息,然而不便于检测任意子序列的问题进行改进,得到了迁移小波变换树。但是,由于该方案基于经验数据,适合于网络参数恒定的网络。当网络环境急剧变化或者网络负载变化极大时,该方法不再简便高效。
第二种是基于历史情况的突发流量检测:文献《Research on Auto-adaptiveTraffic-aware Abnormal Detection Method》(刊于IEEC 2009,Ternopil,Ukraine,pp.445-449)提出了通过聚集函数对突发流量进行检测的方法。通过变长窗口数据聚合的形式,累积一定时间长度的初始数据,填充到根据初始数据时间长度决定的窗口中,作为突发检测的基础状态。当有新数据到来时,利用新到达的数据更新原有窗口中的数据并使窗口长度保持不变。此时,根据聚集的窗口数据对突发状态进行检测。在检测中,用到的阈值参数等,通过实验和经验得到。
第二种方法与本发明申请的突发流量检测部分较为接近,在窗口中累积了设定时间长度的数据后,通过新来的数据更新窗口并检测突发。但是,其在检测过程中使用的阈值等参数,决定于根据实际测试的网络环境中得到的数据流量,不能自适应改变;且在使用之前,需要事先设置一个固定的阈值,所以不能灵活地适应于网络参数变动剧烈的情况。
发明内容
有鉴于此,本发明的目的是提供一种自适应的突发流量装置及其检测方法,本发明很好地解决了上述现有技术的两种缺陷:第一种方案基于经验数据而只适宜网络参数恒定的网络,但若网络环境急剧变化或负载变化极大时,该技术就暴露其较大缺陷:检测数值很不准确。第二种方案的检测阈值等参数也不能自适应改变,且在使用之前就要事先设置固定阈值,不能灵活地适应于网络参数变动剧烈的情况。而且,本发明装置的结构简单、实用。检测方法简便和计算工作量少、能够实时对网络变化作出快速反应和容易实现。总之,本发明能实现下述发明目的:
(A)无需设定网络参数,免配置:本发明是根据网络状况自动累积网络数据,并使用对累积的速率数据进行检测处理,再将检测结果作为判断网络是否存在突发流量的依据。
(B)本发明能够工作于在负载变化大、网络参数变化剧烈的网络环境中,快速、高效地检测突发流量。还可以根据网络状况自动设置检测阈值,且在网络参数变化剧烈时,也可根据当前网络状况的变化,对检测阈值进行自适应地调整,实现高效的突发流量检测。
为了达到上述目的,本发明提供了一种自适应的突发流量检测装置,其特征在于:该装置设有顺序连接的三个模块:数据收集模块、数据处理与存储模块和流量检测模块,其中:
数据收集模块,作为该装置的数据流入口,负责在整个突发流量监测过程中采集网络传输的速率数据:每隔设定的时间间隔自动对网络当前的数据传输速率进行采样,由设置的速率计算单元按照传输的数据总量除以时间间隔之商的方法求解速率数据;再把该速率数据传送给数据处理与存储模块;所采集的多个速率数据形成的数据流,作为分析当前网络是否存在突发流量的基础数据,也是网络参数免手动配置和自适应调整检测阈值的依据;即使在负载变化大,网络参数变化剧烈的网络环境中,也能根据网络实时状况自动地自行适配;
数据处理与存储模块,设有顺序连接的窗口队列维护、变化率计算和阈值自适应共三个单元;负责先接收数据收集模块传送来的当前网络的实时速率数据,并使用自适应的突发流量检测方法对该速率数据进行处理后存储备用,同时计算自适应检测阈值,再将该检测阈值提供给流量检测模块,用作判断当前网络是否存在突发流量的依据;
流量检测模块,当该模块得到来自数据处理和存储模块的自适应检测阈值,且数据存储窗口队列中的数据也已经更新完成时,由该模块配置的流量检测单元负责对该速率数据进行突发流量的检测:每隔设定的时间周期依次对数据处理与存储模块中数据存储窗口队列的数据进行扫描,使用自适应突发流量方法检测当前网络中是否存在突发流量;若存在,则输出突发流量信息并继续进行检测;否则,直接继续检测。
为了达到上述目的,本发明还提供了一种采用上述自适应的突发流量检测装置的检测方法,其特征在于:该方法是通过根据网络历史的和当前的传输速率数据,分别维护一个最大空间长度为N的存储窗口队列Q和一个用于检测突发流量的自适应调整的检测阈值变量θ,再利用该两个参数实现了对网络负载和网络状态的免配置,既能够适应当前网络的变化,又能自动产生自适应的检测阈值,从而实现网络突发流量的自适应检测;所述方法包括下列操作步骤:
(1)数据收集模块采集速率数据:数据收集模块中的速率收集单元按照设定的时间间隔对网络数据进行传输速率的采样收集,即将两次采集间隔期间所流经的数据总量和间隔时间的比值作为速率数据的采样值,再将得到的每个速率数据传递给数据处理与存储模块进行处理;
(2)维护窗口队列中的数据:数据处理与存储模块的窗口队列维护单元接收到第一个速率数据后,先填入窗口队列的最后端窗口;再次收到后续新的速率数据时,则分别计算窗口队列中每个窗口的数据加上该新的速率数据之和,并以每个窗口的计算结果分别改写其相应窗口的数值;且在窗口队列的各个窗口都充满数据、又接收到传来的新速率数据时,仍然继续执行上述操作,不断地以新的速率数据分别更新窗口队列中的每个窗口;
(3)计算窗口队列中数据的平均变化率τ:数据处理与存储模块的变化率计算单元计算窗口队列中窗口之间的数据变化率C(i),并根据这些数据变化率组成的序列值,计算得到其平均变化率τ;
(4)根据二次指数平滑法计算自适应调整的检测阈值:数据处理和存储模块中的阈值自适应单元得到平均变化率τ后,根据二次指数平滑法计算得到新的检测阈值作为流量检测模块中的检测阈值;同时,每当有新速率数据更新窗口队列时,也要相应地实时对检测阈值进行更新;
(5)根据自适应调整的检测阈值执行突发流量的检测:流量检测模块中的流量检测单元依据步骤(2)得到的窗口队列数据和步骤(4)得到的自适应调整的检测阈值。因该检测阈值是自适应调整的,故检测步骤的操作是传统的,且对网络状况也没有特殊要求。
本发明的主要创新技术是:本发明是一种不需要经验数据的自适应突发流量检测装置及其检测方法,其摆脱了传统的检测网络的突发流量要受到设定参数的限制,不需要设定和手动配置网络参数,而是基于网络中动态采样的网络速率数据,对采集到的网络速率数据自动进行处理,以实现对网络状态的自适应调整,使得网络环境急剧变化或网络负载变化极大的时候,都依然能够使用本发明方法。
与现有技术的第二方案相比,两者的检测突发流量的具体方法虽然相似,但是本发明提出一种检测阈值参数可以根据网络的实时状态进行自动调整的方法。传统检测方法在网络环境变化后,使用原来的检测阈值会造成检测的准确率急剧下降,必须重新手动评估网络状况和设定检测阈值。本发明使得检测和阈值的更新过程都是自动执行的,并基于历史和当前的网络状态,提高了突发流量检测方法的易用性和准确性。
附图说明
图1是本发明自适应网络突发流量检测装置的结构组成示意图。
图2是新数据到来时的窗口滑动示例图。
图3是新数据到来时的C(i)使用的窗口数据示例图。
图4是本发明自适应网络突发流量检测装置的检测方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步的详细描述。
参见图1,介绍本发明自适应的突发流量检测装置的结构组成:设有顺序连接的三个模块:数据收集模块、数据处理与存储模块和流量检测模块,数据收集模块负责对数据进行采样和收集,提供给数据处理和存储模块进行处理和存储,并作为流量检测模块中对突发流量检测的依据。其中:
数据收集模块,作为该装置的数据流入口,负责在整个突发流量监测过程中为该检测装置采集网络传输的速率数据:每隔设定的时间间隔自动对网络当前的数据传输速率进行一次采样,由设置的速率计算单元按照传输的数据总量除以时间间隔之商的方法求解速率数据;然后把该速率数据传送给数据处理与存储模块。所采集的多个速率数据形成的数据流,作为分析当前网络是否存在突发流量的基础数据,也是网络参数免手动配置和自适应调整检测阈值的依据;即使在负载变化大,网络参数变化剧烈的网络环境中,也能根据网络实时状况自动地自行适配。
数据处理与存储模块,设有顺序连接的窗口队列维护、变化率计算和阈值自适应共三个单元;负责先接收数据收集模块传送来的当前网络的实时速率数据,并使用自适应的突发流量检测方法对该速率数据进行处理后存储备用;同时计算自适应检测阈值,再将该检测阈值提供给流量检测模块,用作判断当前网络是否存在突发流量的依据。该数据处理与存储模块中的各个单元功能如下:
窗口队列维护单元:用于接收数据收集模块传递来的实时速率数据,并按照设定方法在该单元中维护一个存储数据的窗口队列,将先后接收到的各个速率数据依次进行相应处理后,分别存入该窗口队列的各个窗口中;
变化率计算单元:负责按照设定方法计算窗口队列中的速率数据的变化率,再将计算得到的速率变化率序列提供给阈值自适应单元;
阈值自适应单元:用于根据所得到的速率变化率序列,使用设定方法并结合网络中实时速率数据得到的平均变化率,再根据二次指数平滑法计算得到的当前网络系统自动生成的自适应调整的检测阈值,实现对网络参数的免配置。
数据处理与存储模块在处理数据过程中,数据存储窗口队列存储数据的方式如下:每个窗口分别利用每个周期送来的速率数据相应更新各自窗口当前存储的数据;且为了自动维持存储窗口队列的长度不变,当数据存储窗口充满之后,新来的速率数据将用于更新当前已经被存储的数据,再将从存储窗口队列中删除最前端的部分数据,自动维护数据窗口队列空间长度,并使用二次指数平滑法计算检测阈值,用于对突发流量执行自适应的检测;同时,以此实现对网络参数的免配置。其中使用的二次指数平滑法是布朗(RobertG.Brown)提出的一种适用于预测具有线性趋势的数据序列的方法。
流量检测模块,当该模块得到来自数据处理和存储模块的自适应检测阈值,且数据存储窗口队列中的数据也已经更新完成(即已经累积了作为突发流量检测所需要的基础数据)时,由该模块配置的流量检测单元负责对该速率数据进行突发流量的检测:每隔设定的时间周期(与数据收集模块对网络速率收集时间间隔相同,即数据收集模块收集了一个周期的数据并由数据处理与存储模块利用该周期数据对数据存储窗口中的数据进行一次更新后)依次对数据处理与存储模块中数据存储窗口队列的数据进行一次扫描,使用自适应突发流量方法检测当前网络中是否存在突发流量;若存在,则输出突发流量信息并继续进行检测;否则,直接继续检测。
流量检测模块对数据处理与存储模块中数据存储窗口的数据进行每次扫描的设定时间周期应与数据收集模块采集网络传输速率数据的时间间隔相同,即数据收集模块每次收集一个周期的数据,并由数据处理与存储模块利用该周期采集的速率数据对数据存储窗口队列中各个窗口的数据进行一次更新,然后由流量检测模块使用该数据窗口队列的数据进行突发流量检测。
本发明自适应的突发流量检测装置的检测方法是:根据网络历史的和当前的传输速率数据,分别维护一个最大空间长度为N的存储窗口队列Q和一个用于检测突发流量的自适应调整的检测阈值变量θ,利用该两个参数实现对网络负载和网络状态的免配置,既能够适应当前网络的变化,又能自动产生自适应的检测阈值,从而实现网络突发流量的自动计算和自适应检测。
本发明方法包括下列具体操作步骤:
步骤1,数据收集模块采集速率数据:数据收集模块中的速率收集单元按照设定的时间间隔对网络数据进行传输速率的采样收集,即将两次采集间隔期间所流经的数据总量和间隔时间的比值作为速率数据的采样值,再将得到的每个速率数据传递给数据处理与存储模块进行处理。
步骤2,维护窗口队列中的数据:数据处理与存储模块的窗口队列维护单元接收到第一个速率数据后,先填入窗口队列的最后端窗口;再次收到后续新的速率数据时,则分别计算窗口队列中每个窗口的数据加上该新的速率数据之和,并以每个窗口的计算结果分别改写其相应窗口的数值;且在窗口队列的各个窗口都充满数据、又接收到传来的新速率数据时,仍然继续执行上述操作,不断地以新的速率数据分别更新窗口队列中的每个窗口。
该步骤在维护窗口队列Q的过程中,根据窗口队列是否已经存满速率数据的两种不同情况,分别执行下列操作内容(参见图2所示):
(2A)若窗口队列未存满数据时,则先分别计算当前时刻得到的速率数据x与此前原来位于窗口队列中的每个窗口内的所有数据之和s,再将该数据和s分别填充到各自对应的窗口;同时将该新速率数据x插入到窗口队列的最末端窗口后侧。
(2B)若窗口队列已经存满数据,又有新的速率数据x到来时,将每个窗口的数据和s分别与该新速率数据x相加,再将得到的各个数据之和分别作为每个对应窗口存储的新数据;同时将该新速率数据x插入到窗口队列的最末端窗口后侧(假设1为窗口队列最末端,N为窗口队列最前端)。因要保持窗口队列的空间长度不变而删除位于队首的窗口后,就使得该新速率数据x成为新的窗口队列中的最末端窗口。
图2形象展示了上述过程,图中浅灰色阴影的框格为新到达的速率数据,“×”表示删除的窗口队首数据。
步骤3,计算窗口队列中数据的平均变化率τ:每当新数据到来的时候,数据处理与存储模块的变化率计算单元都要计算窗口队列中窗口之间的数据变化率C(i),并根据这些数据变化率组成的序列值,计算得到其平均变化率τ。
该步骤中,变化率计算单元执行的操作包括下列内容(参见图3所示):
(31)计算窗口队列中窗口数据之间的变化率:根据窗口队列Q中第i个窗口数据si与第2i个窗口数据s2i计算两者之间的变化率并采用该公式分别对第1个到第个的每个窗口数据进行遍历计算,得到一个变化率的序列值:式中,自然数i是窗口队列序号,也是对应窗口间的变化率序号;且当两个窗口数据s2i与si相等时,则窗口队列中的窗口数据之间的变化率C(i)=0;另外,这里只计算与处理窗口序号的总数N为偶数的情况,对于N为奇数时,就不再计算C(i)。
(32)利用该对应窗口间的变化率的序列值计算平均变化率τ,以便将τ用于二次指数平滑法自动确定自适应调整的检测阈值θ。
(33)当有新的速率数据到来时,窗口队列Q各个窗口的存储数据发生上述步骤2的相应变化后,也要根据新的窗口数据重新计算对应的当前新数据的变化率C(i),从而得到新的变化率序列值;再根据新的变化率序列值计算当前新的平均变化率τ。
步骤4,根据二次指数平滑法计算自适应调整的检测阈值:数据处理和存储模块中的阈值自适应单元得到平均变化率τ后,根据二次指数平滑法计算得到新的检测阈值作为流量检测模块中的检测阈值;同时,每当有新速率数据更新窗口队列时,也要相应地实时对检测阈值进行更新。
该步骤中执行的二次指数平滑法的计算过程包括下列操作内容:
(41)先设定初始参数、即初始平均变化率τ0:数据处理和存储模块采用慢启动方式,将依据公式M=k·N计算接收到M个速率数据后得到的平均变化率作为初始平均变化率τ0,式中,τ0的下标0表示该参数为初始值,系数k为自然数,M为窗口队列长度N的整数倍。
(42)以初始时刻作为该装置准备开始工作的第0时刻,再根据第t时刻的平均变化率τt和二次指数平滑法,按照计算公式:求解第t时刻自适应调整的新检测阈值θt+1;其中,自然数下标t为时间序号,α为预设的调节参数,两个中间变量ft'和ft”分别是第t时刻计算新检测阈值的一次调节因子和二次调节因子,其计算公式为:ft'=α·τt+(1-α)·f't-1和ft”=α·ft'+(1-α)·f”t-1,且其初始值f0'=f0”=τ0;这样,就根据网络的历史和当前状态更新了当前突发流量检测的自适应调整的检测阈值。
步骤5,根据自适应调整的检测阈值执行突发流量的检测:流量检测模块中的流量检测单元依据步骤2得到的窗口队列数据和步骤4得到的自适应调整的检测阈值。因该检测阈值是自适应调整的,故检测步骤的操作是传统的,且对网络状况也没有特殊要求。该步骤包括下列操作内容:
(51)流量检测模块中的流量检测单元计算和判断窗口队列Q中两个窗口的数据si和s2i之间的变化率是否超过步骤4得到的新检测阈值θt+1:
若是,则判断在第i个号窗口位置检测到了突发流量,执行后续步骤(52);
否则,跳转执行步骤(53)。
(52)流量检测单元对外发出发生突发流量的警示,并采取相应措施。
(53)返回步骤(51),继续对下一窗口的数据si+1和s2(i+1)进行检测,以判断当前的窗口队列中是否产生了突发流量;直至完成对窗口队列中的第1个窗口到第个的窗口数据的遍历计算和判断,结束全部操作。
对上述本发明各个操作步骤进行总结和归纳后,本发明的自适应突发流量检测方法的操作流程如图4所示:
(1)接收到数据收集模块传送来的速率数据x;
(2)将窗口队列Q中每个窗口数据都分别加上x后,判断窗口队列的每个窗口是否都已存满;若都已存满,则执行步骤(3);若未存满,则跳转执行步骤(4);
(3)丢弃队首数据,并将x放入窗口队列的队尾后,跳转执行步骤(5);
(4)直接将x放入窗口队列的队尾;返回执行步骤(1);
(5)设si是窗口队列Q的第i项,对窗口队列Q的第1个至第个窗口数据进行依次扫描和计算si与s2i两者之间的变化率,得到一个对应窗口间的数据变化率序列值:其中,自然数i是窗口队列中的窗口序号和对应窗口间变化率序号,其最大值N是窗口队列中的窗口总数;
(6)利用该变化率的序列值计算当前的平均变化率τ;
(7)根据二次指数平滑法计算下一个自适应调整的检测阈值,并将其存储于变量θ中;
(8)设置窗口队列Q的窗口序号i的初始值:i=1和第i个窗口数据为si;
(9)判断序号i是否小于等于若是,则执行后续步骤(10),否则,返回执行步骤(1);
(10)判断si与s2i之间的变化率是否大于θ,若是,则先提示出现突发流量;然后继续执行后续步骤(11);否则,直接执行步骤(11);
(11)设置窗口序号i递增加1后,返回步骤(9)。
Claims (9)
1.一种自适应的突发流量检测装置,其特征在于:该装置设有顺序连接的三个模块:数据收集模块、数据处理与存储模块和流量检测模块,其中:
数据收集模块,作为该装置的数据流入口,负责在整个突发流量监测过程中采集网络传输的速率数据:每隔设定的时间间隔自动对网络当前的数据传输速率进行采样,由设置的速率计算单元按照传输的数据总量除以时间间隔之商的方法求解速率数据;再把该速率数据传送给数据处理与存储模块;所采集的多个速率数据形成的数据流,作为分析当前网络是否存在突发流量的基础数据,也是网络参数免手动配置和自适应调整检测阈值的依据;即使在负载变化大,网络参数变化剧烈的网络环境中,也能根据网络实时状况自动地自行适配;
数据处理与存储模块,设有顺序连接的窗口队列维护、变化率计算和阈值自适应共三个单元;负责先接收数据收集模块传送来的当前网络的实时速率数据,并使用自适应的突发流量检测方法对该速率数据进行处理后存储备用,同时计算自适应检测阈值,再将该检测阈值提供给流量检测模块,用作判断当前网络是否存在突发流量的依据;
流量检测模块,当该模块得到来自数据处理和存储模块的自适应检测阈值,且数据存储窗口队列中的数据也已经更新完成时,由该模块配置的流量检测单元负责对该速率数据进行突发流量的检测:每隔设定的时间周期依次对数据处理与存储模块中数据存储窗口队列的数据进行扫描,使用自适应突发流量方法检测当前网络中是否存在突发流量;若存在,则输出突发流量信息并继续进行检测;否则,直接继续检测。
2.根据权利要求1所述的装置,其特征在于:所述数据处理与存储模块中的各个单元功能如下:
窗口队列维护单元,用于接收数据收集模块传递来的实时速率数据,并按照设定方法在该单元中维护一个存储数据的窗口队列,将先后接收到的各个速率数据依次进行相应处理后,分别存入该窗口队列的各个窗口中;
变化率计算单元,负责按照设定方法计算窗口队列中的速率数据的变化率,再将计算得到的速率变化率序列提供给阈值自适应单元;
阈值自适应单元,用于根据所得到的速率变化率序列,使用设定方法并结合网络中实时速率数据得到的平均变化率,再根据二次指数平滑法计算得到的当前网络系统自动生成的自适应调整的检测阈值,实现对网络参数的免配置。
3.根据权利要求1所述的装置,其特征在于:所述数据处理与存储模块在处理数据过程中,数据存储窗口队列存储数据的方式如下:每个窗口分别利用每个周期送来的速率数据相应更新各自窗口当前存储的数据;且为了自动维持存储窗口队列的长度不变,将从存储窗口队列中删除部分数据,并使用二次指数平滑法计算检测阈值,用于对突发流量执行自适应的检测;同时,以此实现对网络参数的免配置;所述二次指数平滑法是布朗(RobertG.Brown)提出的一种适用于预测具有线性趋势的数据序列的方法。
4.根据权利要求1所述的装置,其特征在于:所述流量检测模块对数据处理与存储模块中数据存储窗口的数据进行每次扫描的设定时间周期应与数据收集模块采集网络传输速率数据的时间间隔相同,即数据收集模块每次收集一个周期的数据,并由数据处理与存储模块利用该周期采集的速率数据对数据存储窗口队列中各个窗口的数据进行一次更新,然后由流量检测模块使用该数据窗口队列的数据进行突发流量检测。
5.一种采用权利要求1所述的自适应的突发流量检测装置的检测方法,其特征在于:该方法是通过根据网络历史的和当前的传输速率数据,分别维护一个最大空间长度为N的存储窗口队列Q和一个用于检测突发流量的自适应调整的检测阈值变量θ,再利用该两个参数实现了对网络负载和网络状态的免配置,既能够适应当前网络的变化,又能自动产生自适应的检测阈值,从而实现网络突发流量的自动计算和自适应检测;所述方法包括下列操作步骤:
(1)数据收集模块采集速率数据:数据收集模块中的速率收集单元按照设定的时间间隔对网络数据进行传输速率的采样收集,即将两次采集间隔期间所流经的数据总量和间隔时间的比值作为速率数据的采样值,再将得到的每个速率数据传递给数据处理与存储模块进行处理;
(2)维护窗口队列中的数据:数据处理与存储模块的窗口队列维护单元接收到第一个速率数据后,先填入窗口队列的最后端窗口;再次收到后续新的速率数据时,则分别计算窗口队列中每个窗口的数据加上该新的速率数据之和, 并以每个窗口的计算结果分别改写其相应窗口的数值;且在窗口队列的各个窗口都充满数据、又接收到传来的新速率数据时,仍然继续执行上述操作,不断地以新的速率数据分别更新窗口队列中的每个窗口;
(3)计算窗口队列中数据的平均变化率τ:数据处理与存储模块的变化率计算单元计算窗口队列中窗口之间的数据变化率C(i),并根据这些数据变化率组成的序列值,计算得到其平均变化率τ;
(4)根据二次指数平滑法计算自适应调整的检测阈值:数据处理和存储模块中的阈值自适应单元得到平均变化率τ后,根据二次指数平滑法计算得到新的检测阈值作为流量检测模块中的检测阈值;同时,每当有新速率数据更新窗口队列时,也要相应地实时对检测阈值进行更新;
(5)根据自适应调整的检测阈值执行突发流量的检测:流量检测模块中的流量检测单元依据步骤(2)得到的窗口队列数据和步骤(4)得到的自适应调整的检测阈值,因该检测阈值是自适应调整的,故检测步骤的操作是传统的,且对网络状况也没有特殊要求。
6.根据权利要求5所述的方法,其特征在于:所述步骤(2)在维护窗口队列Q的过程中,根据窗口队列是否已经存满速率数据的两种不同情况,分别执行下列操作内容:
(2A)若窗口队列未存满数据时,则先分别计算当前时刻得到的速率数据x与此前原来位于窗口队列中的每个窗口内的所有数据之和s,再将该数据和s分别填充到各自对应的窗口;同时将该新速率数据x插入到窗口队列的最末端窗口后侧;
(2B)若窗口队列已经存满数据,又有新的速率数据x到来时,将每个窗口的数据和s分别与该新速率数据x相加,再将得到的各个数据之和分别作为每个对应窗口存储的新数据;同时将该新速率数据x插入到窗口队列的最末端窗口后侧;因要保持窗口队列的空间长度不变而删除位于队首的窗口后,就使得该新速率数据x成为新的窗口队列中的最末端窗口。
7.根据权利要求5所述的方法,其特征在于:所述步骤(3)中,变化率计算单元执行的操作包括下列内容:
(31)计算窗口队列中窗口数据之间的变化率:根据窗口队列Q中第i个 窗口数据si与第2i个窗口数据s2i计算两者之间的变化率并采用该公式分别对第1个到第个的每个窗口数据进行遍历计算,得到一个变化率的序列值:式中,自然数i是窗口队列序号,也是对应窗口间变化率序号;且当两个窗口数据s2i与si相等时,则窗口队列中的窗口数据之间的变化率C(i)=0;另外,这里只计算与处理窗口序号的总数N为偶数的情况,对于N为奇数时,就不再计算C(i);
(32)利用该变化率的序列值计算平均变化率τ,以便将τ用于二次指数平滑法自动确定自适应调整的检测阈值θ;
(33)当有新的速率数据到来时,窗口队列Q各个窗口的存储数据发生步骤(2)的相应变化后,也要根据新的窗口数据重新计算对应的当前新数据的变化率C(i),从而得到新的变化率序列值;再根据新的变化率序列值计算新的平均变化率τ。
8.根据权利要求5所述的方法,其特征在于:所述步骤(4)的二次指数平滑法的计算过程包括下列操作内容:
(41)先设定初始参数、即初始平均变化率τ0:数据处理和存储模块采用慢启动方式,将依据公式M=k·N计算接收到M个速率数据后得到的平均变化率作为初始平均变化率τ0,式中,τ0的下标0表示该参数为初始值,系数k为自然数,M为窗口队列长度N的整数倍;
(42)以初始时刻作为该装置准备开始工作的第0时刻,再根据第t时刻的平均变化率τt和二次指数平滑法,按照计算公式:求解第t时刻自适应调整的新检测阈值θt+1;其中,自然数下标t为时间序号,α为预设的调节参数,两个中间变量ft'和ft”分别是第t时刻计算新检测阈值的一次调节因子和二次调节因子,其计算公式为:ft'=α·τt+(1-α)·f't-1和ft”=α·ft'+(1-α)·f″t-1,且其初始值f'0=f”0=τ0;这样,就根据网络的历史和当前状态更新了当前突发流量检测的自适应调整的检测阈值。
9.根据权利要求5所述的方法,其特征在于:所述步骤(5)包括下列操作内容:
(51)流量检测模块中的流量检测单元计算和判断窗口队列Q中两个窗口的数据si和s2i之间的变化率是否超过步骤(4)得到的新检测阈值θt+1,若是,则判断在第i个号窗口位置检测到了突发流量,执行后续步骤(52);否则,跳转执行步骤(53);
(52)流量检测单元对外发出发生突发流量的警示,并采取相应措施;
(53)返回执行步骤(51),继续对下一窗口的数据si+1和s2(i+1)进行检测,以判断当前的窗口队列中是否产生了突发流量;直至完成对窗口队列中的第1个窗口到第个的窗口数据的遍历计算和判断,结束全部操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410109575.7A CN103888315B (zh) | 2014-03-24 | 2014-03-24 | 一种自适应的突发流量检测装置及其检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410109575.7A CN103888315B (zh) | 2014-03-24 | 2014-03-24 | 一种自适应的突发流量检测装置及其检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103888315A CN103888315A (zh) | 2014-06-25 |
CN103888315B true CN103888315B (zh) | 2017-12-26 |
Family
ID=50957042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410109575.7A Active CN103888315B (zh) | 2014-03-24 | 2014-03-24 | 一种自适应的突发流量检测装置及其检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103888315B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105681063A (zh) * | 2014-11-18 | 2016-06-15 | 中国移动通信集团北京有限公司 | 一种网络指标的监控方法及装置 |
CN105991362B (zh) * | 2015-02-12 | 2019-10-29 | 腾讯科技(深圳)有限公司 | 数据流量的波动阀值范围设定方法及装置 |
CN105094986B (zh) * | 2015-07-20 | 2019-03-22 | 暨南大学 | 一种面向存储系统的突发访问行为的预测方法及装置 |
CN105357228B (zh) * | 2015-12-19 | 2018-03-20 | 中国人民解放军信息工程大学 | 一种基于动态阈值的突发流量检测方法 |
CN107181601B (zh) * | 2016-03-09 | 2019-12-06 | 中国移动通信集团湖南有限公司 | 一种流量提醒方法及装置 |
CN108880841A (zh) * | 2017-05-11 | 2018-11-23 | 上海宏时数据系统有限公司 | 一种业务监控系统的阀值设置、异常检测系统及方法 |
CN107491830B (zh) * | 2017-07-03 | 2021-03-26 | 北京奇艺世纪科技有限公司 | 一种时间序列曲线的处理方法和装置 |
CN108833356B (zh) * | 2018-05-21 | 2020-11-03 | 常州信息职业技术学院 | 一种多路队列共享资源访问控制装置及控制方法 |
CN110648535B (zh) * | 2019-09-26 | 2021-04-16 | 国家计算机网络与信息安全管理中心 | 一种基于流量旁路采集的轨道交通数据上报方法及装置 |
CN111366270B (zh) * | 2020-03-19 | 2021-05-18 | 北京波谱华光科技有限公司 | 一种温度异常筛选方法、系统及计算机存储介质 |
CN114079619B (zh) * | 2020-08-07 | 2024-02-13 | 中国电信股份有限公司 | 端口流量的采样方法和装置 |
CN114050983B (zh) * | 2021-10-26 | 2023-11-07 | 中国电信股份有限公司 | 流量自适应采集方法及装置、存储介质及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101051952A (zh) * | 2007-04-18 | 2007-10-10 | 东南大学 | 高速多链路逻辑信道环境下的自适应抽样流测量方法 |
CN103200621A (zh) * | 2013-03-14 | 2013-07-10 | 南京理工大学 | 适应于无线投影系统实时数据传输的自适应流量控制方法 |
-
2014
- 2014-03-24 CN CN201410109575.7A patent/CN103888315B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101051952A (zh) * | 2007-04-18 | 2007-10-10 | 东南大学 | 高速多链路逻辑信道环境下的自适应抽样流测量方法 |
CN103200621A (zh) * | 2013-03-14 | 2013-07-10 | 南京理工大学 | 适应于无线投影系统实时数据传输的自适应流量控制方法 |
Non-Patent Citations (1)
Title |
---|
《改进型链路负载自适应抽样测量算法_》;张峰;《北京邮电大学学报》;20050630;第28卷(第3期);89-92 * |
Also Published As
Publication number | Publication date |
---|---|
CN103888315A (zh) | 2014-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103888315B (zh) | 一种自适应的突发流量检测装置及其检测方法 | |
CN108335487B (zh) | 一种基于交通状态时序性的道路交通状态预测系统 | |
CN104102875B (zh) | 基于加权朴素贝叶斯分类器的软件服务质量监控方法及系统 | |
CN109118771B (zh) | 一种城市交通常发性拥堵特征确定的方法及装置 | |
CN111126622A (zh) | 一种数据异常检测方法与装置 | |
CN102087788B (zh) | 基于浮动车车速置信度的交通状态参数估计方法 | |
CN106899448B (zh) | 适用于网络状态及性能测量的一体化动态赋权评估方法 | |
CN103778323B (zh) | 基于指数平滑的预测交通流数据的方法和系统 | |
CN115240431B (zh) | 高速公路收费站交通流量实时在线仿真系统及仿真方法 | |
CN102469103B (zh) | 基于bp神经网络的木马事件预测方法 | |
CN110874744B (zh) | 一种数据异常检测方法及装置 | |
CN106887141B (zh) | 基于排队论的连续交通节点拥塞程度预测模型、系统及方法 | |
KR101468624B1 (ko) | 단말기와 이를 이용한 네트워크 상태 측정 시스템 및 방법 | |
Cantelmo et al. | Two-step approach for correction of seed matrix in dynamic demand estimation | |
CN110334105B (zh) | 一种基于Storm的流数据异常检测方法 | |
CN104035779A (zh) | 一种数据流决策树分类中的缺失值处理方法 | |
CN108491480B (zh) | 谣言检测方法及设备 | |
CN104407688A (zh) | 基于树回归的虚拟化云平台能耗测量方法及系统 | |
CN113037577A (zh) | 网络流量预测方法、装置和计算机可读存储介质 | |
CN112542049A (zh) | 智慧交通综合管控平台 | |
CN109412879B (zh) | 端口状态参数获取方法、装置及传输设备、存储介质 | |
US20190104028A1 (en) | Performance monitoring at edge of communication networks using hybrid multi-granular computation with learning feedback | |
CN106157616A (zh) | 一种交通流量短时预测装置 | |
CN104916131B (zh) | 高速公路事件检测的数据清洗方法 | |
CN105489010B (zh) | 一种快速道路行程时间可靠度监测分析系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |