CN112511369B - 一种流量突变监测方法、装置及存储介质 - Google Patents

一种流量突变监测方法、装置及存储介质 Download PDF

Info

Publication number
CN112511369B
CN112511369B CN202011120777.3A CN202011120777A CN112511369B CN 112511369 B CN112511369 B CN 112511369B CN 202011120777 A CN202011120777 A CN 202011120777A CN 112511369 B CN112511369 B CN 112511369B
Authority
CN
China
Prior art keywords
flow
calculating
average value
data
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011120777.3A
Other languages
English (en)
Other versions
CN112511369A (zh
Inventor
郭元新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202011120777.3A priority Critical patent/CN112511369B/zh
Publication of CN112511369A publication Critical patent/CN112511369A/zh
Application granted granted Critical
Publication of CN112511369B publication Critical patent/CN112511369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种流量突变监测方法、装置及存储介质，属于数据传输的技术领域，缓解了现有技术中存在的时间复杂度以及空间复杂度较高的技术问题。方法包括获取流量数据缓存；通过预设滑动窗口截取缓存的流量数据，并计算所截取流量数据的平均值；根据流量平均值以及历史流量变化量计算当前流量变化量；判断流量变化量的值是否超过预设阈值；若是，则输出异常报告。

Description

一种流量突变监测方法、装置及存储介质
技术领域
本发明涉及数据传输的技术领域，尤其是涉及一种流量突变监测方法、装置及存储介质。
背景技术
当海量数据进行传输时，要保证传输的效率就要有良好的传输速率。当传输速率下降是，传输的流量会发生变化，此时，要即使发出信息提示让用户进行干预，以便即使排除影响速率下降的不良因素。因此需要有一直良好的方案去监测数据传输时的传输流量变化，并且不能影响到正常的数据业务传输和整体的性能。
基于上述问题，很多开发者都采用不同的算法来处理对业务数据流量的监测。但不同的算法时间复杂度和空间复杂度较高。
发明内容
本发明的目的在于提供流量突变监测方法、装置及存储介质，缓解了现有技术中存在的时间复杂度以及空间复杂度较高的技术问题。
第一方面，本发明提供一种流量突变监测方法，所述方法包括以下步骤：
获取流量数据缓存；
通过预设滑动窗口截取缓存的流量数据，并计算所截取流量数据的平均值；
根据流量平均值以及历史流量变化量计算当前流量变化量；
判断当前流量变化量的值是否超过预设阈值；
若是，则输出异常报告。
进一步的，所述预设滑动窗口包括Wm和Wn，其时间长度分别为m和n。
进一步的，所述计算所截取流量数据的平均值的步骤，具体包括：
分别计算滑动窗口Wm和Wn内的流量平均值。
进一步的，所述判断流量变化量值是否超过预设阈值的步骤之后，还包括：
若否，则滑动窗口Wm和Wn同步向前滑动预设长度，返回所述通过预设滑动窗口截取缓存的流量数据，并计算所截取流量数据的平均值的步骤。
进一步的，所述滑动窗口Wm和Wn同步向前滑动预设长度的步骤之前，还包括：
若剩余缓存长度小于所述预设长度，则结束进程。
进一步的，所述预设长度为1至5ms。
第二方面，本发明还提供一种流量突变监测装置，所述装置包括：
获取模块，用于获取流量数据缓存；
均值模块，用于通过预设滑动窗口截取缓存的流量数据，并计算所截取流量数据的平均值；
变化模块，用于根据流量平均值以及历史流量变化量计算当前流量变化量；
判断模块，用于判断当前流量变化量的值是否超过预设阈值；
报告模块，用于在判断模块的判断结果为是时，输出异常报告。
第三方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述方法。
本发明提供的流量突变监测方法，通过获取流量数据缓存，通过滑动窗口计算流量数据平均值，进一步计算流量变化量，最后根据流量变化量是否超过预设阈值判断是否产生流量突变。基于以上结合CUSUM算法的方法，能够实时的监测流量减少的事件，如果流量突然变小，可以将事件反馈到上层服务以便用户去做相应的处理，很好地预防数据传输降速后不能被及时发现的弊端，有利于用户及时干预传输过程中降速的问题。并且，基于CUSUM算法，使得本方案的时间复杂度以及空间复杂度更低，有利于计算。
相应地，本发明实施例提供的流量突变监测装置及计算机可读存储介质，也同样具有上述技术效果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的流量突变监测方法示意图；
图2为本发明实施例提供的流量突变监测装置示意图；
图3为本发明实施例提供的流量突变监测方法具体流程图；
图4为本发明实施例提供的流量突变监测方法滑动窗口示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例提供的流量突变监测方法，如图1所示，包括以下步骤：
S1：获取流量数据缓存。
S2：通过预设滑动窗口截取缓存的流量数据，并计算所截取流量数据的平均值。
S3：根据流量平均值以及历史流量变化量计算当前流量变化量。
S4：判断当前流量变化量的值是否超过预设阈值。
若是，则执行步骤S5。
S5：输出异常报告。
本发明提供的流量突变监测方法，通过获取流量数据缓存，通过滑动窗口计算流量数据平均值，进一步计算流量变化量，最后根据流量变化量是否超过预设阈值判断是否产生流量突变。基于以上结合CUSUM算法的方法，能够实时的监测流量减少的事件，如果流量突然变小，可以将事件反馈到上层服务以便用户去做相应的处理，很好地预防数据传输降速后不能被及时发现的弊端，有利于用户及时干预传输过程中降速的问题。并且，基于CUSUM算法，使得本方案的时间复杂度以及空间复杂度更低，有利于计算。
在一种可能的实施方式中，所述预设滑动窗口包括Wm和Wn，其时间长度分别为m和n。滑动窗口的长度也可以是相同的。
在一种可能的实施方式中，所述计算所截取流量数据的平均值的步骤，具体包括：
分别计算滑动窗口Wm和Wn内的流量平均值。根据计算的流量平均值，为后续的计算提供数据依据。
在一种可能的实施方式中，所述根据流量平均值计算流量变化量的步骤，具体包括：
根据滑动窗口Wm和Wn内的流量平均值，以及历史流量变化量，计算当前流量变化量。当前流量变化量即为判断流量是否发生突变的数据，根据此数据，可以对比预设阈值，得出是否发生流量突变的结论。
在一种可能的实施方式中，所述判断流量变化量值是否超过预设阈值的步骤之后，还包括：
若否，则执行步骤S6。
S6：则滑动窗口Wm和Wn同步向前滑动预设长度，返回所述通过预设滑动窗口截取缓存的流量数据，并计算所截取流量数据的平均值的步骤。
完成计算当前流量平均值但未发现突变时，滑动窗口继续向前滑动，并重复之前的步骤，直到将流量缓存数据全部计算完毕。
在一种可能的实施方式中，所述滑动窗口Wm和Wn同步向前滑动预设长度的步骤之前，还包括：
若剩余缓存长度小于所述预设长度，则结束进程。若剩余缓存长度小于所述预设长度，则说明剩余长度已经不足以进行上述步骤的计算，即认为流量数据缓存已经全部计算完毕。
在一种可能的实施方式中，所述预设长度为1至5ms。该预设长度是可以设置的。
如图2所示，本发明实施例还提供一种流量突变监测装置，包括：
获取模块1，用于获取流量数据缓存。
均值模块2，用于通过预设滑动窗口截取缓存的流量数据，并计算所截取流量数据的平均值。
变化模块3，用于根据流量平均值以及历史流量变化量计算当前流量变化量。
判断模块4，用于判断当前流量变化量的值是否超过预设阈值。
报告模块5，用于判断模块4的判断结果为是时，输出异常报告。
本发明实施例提供的流量突变监测装置，通过获取流量数据缓存，通过滑动窗口计算流量数据平均值，进一步计算流量变化量，最后根据流量变化量是否超过预设阈值判断是否产生流量突变。基于以上结合CUSUM算法的方法，能够实时的监测流量减少的事件，如果流量突然变小，可以将事件反馈到上层服务以便用户去做相应的处理，很好地预防数据传输降速后不能被及时发现的弊端，有利于用户及时干预传输过程中降速的问题。并且，基于CUSUM算法，使得本方案的时间复杂度以及空间复杂度更低，有利于计算。
本发明实施例提供的流量突变监测方法，具体实施方案如下：
通过实时监控传输时流量，基于CUSUM算法对一段时间的数据流量进行分析。CUSUM算法将要计算的时间段划分为前后两个窗口，并计算并计算前后两个窗口的平均流量，计算后会对前后窗口的平均流量进行对比。如果对比数据超过一定阈值则认为流量发生了突变。可以将此次流量突变作为一次事件上报给上层服务，提示用户做出相应的补救动作。
如图3所示，算法会将时间长度为T的数据进行缓存，并在该时间内定义两个连续的滑动窗口Wm和Wn，其中两者的长度分别为m和n。算法会计算窗口Wm和Wn中流量的平均值AVGm和AVGn。然后定义用于监测流量变小的gk -，其计算公式为：
gk -＝max{0，gk-1 --AVGm+(AVGn+β)}；
其中β代表噪音干扰，可以取经验值；max代表大括号内的0与gk-1 --AVGm+(AVGn+β)取最大的一个值。通过判断gk -是否超过阈值H，如果超过阈值H则认为流量变小，产生流量突变事件，将此次事件上报给上层服务，提示用户做出补救动作。如果没有超过阈值，Wm和Wn将向前继续滑动直到窗口长度超过此次缓存的长度，如图4所示。
本发明实施例提供的流量突变监测装置，通过获取流量数据缓存，通过滑动窗口计算流量数据平均值，进一步计算流量变化量，最后根据流量变化量是否超过预设阈值判断是否产生流量突变。基于以上结合CUSUM算法的方法，能够实时的监测流量减少的事件，如果流量突然变小，可以将事件反馈到上层服务以便用户去做相应的处理，很好地预防数据传输降速后不能被及时发现的弊端，有利于用户及时干预传输过程中降速的问题。并且，基于CUSUM算法，使得本方案的时间复杂度以及空间复杂度更低，有利于计算。
对应于上述方法，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述方法的步骤。
本发明实施例所提供的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
又例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，再例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种流量突变监测方法，其特征在于，应用于服务器数据传输，所述方法包括以下步骤：
获取流量数据缓存；
通过预设滑动窗口截取缓存的流量数据，并计算所截取流量数据的平均值；
根据流量平均值以及历史流量变化量计算当前流量变化量；
判断当前流量变化量的值是否超过预设阈值；
若是，则输出异常报告。
2.根据权利要求1所述的流量突变监测方法，其特征在于，所述预设滑动窗口包括Wm和Wn，其时间长度分别为m和n。
3.根据权利要求2所述的流量突变监测方法，其特征在于，所述计算所截取流量数据的平均值的步骤，具体包括：
分别计算滑动窗口Wm和Wn内的流量平均值。
4.根据权利要求2所述的流量突变监测方法，其特征在于，所述判断当前流量变化量值是否超过预设阈值的步骤之后，还包括：
若否，则滑动窗口Wm和Wn同步向前滑动预设长度，返回所述通过预设滑动窗口截取缓存的流量数据，并计算所截取流量数据的平均值的步骤。
5.根据权利要求4所述的流量突变监测方法，其特征在于，所述滑动窗口Wm和Wn同步向前滑动预设长度的步骤之前，还包括：
若剩余缓存长度小于所述预设长度，则结束进程。
6.根据权利要求5所述的流量突变监测方法，其特征在于，所述预设长度为1至5ms。
7.一种流量突变监测装置，其特征在于，包括：
获取模块，用于获取流量数据缓存；
均值模块，用于通过预设滑动窗口截取缓存的流量数据，并计算所截取流量数据的平均值；
变化模块，用于根据流量平均值以及历史流量变化量计算当前流量变化量；
判断模块，用于判断当前流量变化量的值是否超过预设阈值；
报告模块，用于在判断模块的判断结果为是时，输出异常报告。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至6任一项所述的方法。
CN202011120777.3A 2020-10-19 2020-10-19 一种流量突变监测方法、装置及存储介质 Active CN112511369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011120777.3A CN112511369B (zh) 2020-10-19 2020-10-19 一种流量突变监测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011120777.3A CN112511369B (zh) 2020-10-19 2020-10-19 一种流量突变监测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112511369A CN112511369A (zh) 2021-03-16
CN112511369B true CN112511369B (zh) 2022-06-03

Family

ID=74953972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011120777.3A Active CN112511369B (zh) 2020-10-19 2020-10-19 一种流量突变监测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112511369B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109630901B (zh) * 2018-11-29 2020-07-24 北京市燃气集团有限责任公司 一种中低压庭院管线异常流量识别方法及装置
CN110086649B (zh) * 2019-03-19 2023-06-16 深圳壹账通智能科技有限公司 异常流量的检测方法、装置、计算机设备及存储介质
CN110460498A (zh) * 2019-08-22 2019-11-15 北京世纪互联宽带数据中心有限公司 一种流量监控方法及系统

Also Published As

Publication number Publication date
CN112511369A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
US10103960B2 (en) Spatial and temporal anomaly detection in a multiple server environment
CN114446033B (zh) 一种动态报警阈值确定方法
CN111092850B (zh) 监控网络安全的方法及装置、空调器、家用电器
CN109831508B (zh) 一种缓存方法及设备、存储介质
CN109781279B (zh) 列车轴箱温度监测方法及装置
CN109597800B (zh) 一种日志分发方法及装置
CN110837432A (zh) 服务集群中异常节点的确定方法、装置和监控服务器
CN112511369B (zh) 一种流量突变监测方法、装置及存储介质
US20210026698A1 (en) Confidence approximation-based dynamic thresholds for anomalous computing resource usage detection
CN109726062B (zh) 代理服务器的下线方法和控制服务器
CN111459746A (zh) 告警生成方法、装置、电子设备及可读存储介质
CN110851333B (zh) 根分区的监控方法、装置和监控服务器
CN108664321B (zh) 系统资源分配调整方法及装置
CN112001563B (zh) 一种话单量的管理方法、装置、电子设备及存储介质
CN111258854B (zh) 模型训练方法、基于预测模型的报警方法和相关装置
CN112994965B (zh) 一种网络异常检测方法、装置和服务器
EP4343554A1 (en) System monitoring method and apparatus
CN111258863B (zh) 数据异常检测方法、装置、服务器和计算机可读存储介质
JP2021013054A (ja) 電子制御装置
EP2566078A1 (en) Determining a quality of a clock signal
CN113760637A (zh) 用于针对阈值类监控数据确定阈值的方法和装置
CN110334517B (zh) 可信策略的更新方法及装置、可信安全管理平台
CN114024831A (zh) 一种异常事件预警方法、装置和系统
CN107957942B (zh) 一种sql脚本的故障修复方法及其终端
CN110086725B (zh) 流量源配比调整方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant