CN111064635B - 一种异常流量的监视方法及系统 - Google Patents

一种异常流量的监视方法及系统 Download PDF

Info

Publication number
CN111064635B
CN111064635B CN201911255894.8A CN201911255894A CN111064635B CN 111064635 B CN111064635 B CN 111064635B CN 201911255894 A CN201911255894 A CN 201911255894A CN 111064635 B CN111064635 B CN 111064635B
Authority
CN
China
Prior art keywords
alarm
flow
flow data
baseline
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911255894.8A
Other languages
English (en)
Other versions
CN111064635A (zh
Inventor
杜娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongying Youchuang Information Technology Co Ltd
Original Assignee
Zhongying Youchuang Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongying Youchuang Information Technology Co Ltd filed Critical Zhongying Youchuang Information Technology Co Ltd
Priority to CN201911255894.8A priority Critical patent/CN111064635B/zh
Publication of CN111064635A publication Critical patent/CN111064635A/zh
Application granted granted Critical
Publication of CN111064635B publication Critical patent/CN111064635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种异常流量的监视方法及系统，该方法包括：获取全网电路信息；采集每条电路上的流量数据点的流量数据，生成流量基线；确定基线范围；获取基线范围内的流量数据点对应的之前一定天数同一时刻的流量数据；将基线范围内的流量数据点的流量数据与之前一定天数同一时刻的流量数据进行平均计算，得到基线值；选取告警分析处理的流量数据点；根据基线值及流量数据，得到流量数据点的偏差数据，进行告警分析，生成告警信息并进行告警溯源。该方法及系统可以监控网络电路的流量异常情况，为运维人员提供重要电路的异常流量监控功能，并通过关联相关告警，对异常流量的电路进行故障原因的溯源，以使运维人员及时处理，保证网络电路的稳定性。

Description

一种异常流量的监视方法及系统
技术领域
本发明涉及网络安全监控技术领域，尤指一种异常流量的监视方法及系统。
背景技术
对于运营商集团的维护人员来说，骨干网接入的重要接入平台电路、互联网专线电路、互联互通专线电路、国际出国电路的稳定性非常重要。对于出现的异常流量情况，现有的异常流量监测方式通常是在每个出口路由器上配置镜像，通过分析路由器的全部镜像对各设备的流量进行监测，这种方式无法全面准确的监视分析各种电路、专线的异常流量情况，并且无法对异常情况进行告警追溯。
因此，亟需一种可以全面准确的监视分析电路异常流量情况且可以告警追溯的技术方案。
发明内容
为解决上述问题，本发明提出了一种异常流量的监视方法及系统，可以监控网络电路的流量突增、突降等情况，通知相关运维人员或转发至综合告警平台，并对于流量异常的电路进行溯源，判断引起异常的原因，并进行告警追溯。
在本发明一实施例中，提出了一种异常流量的监视方法，该方法包括：
获取全网电路信息，将所述全网电路划分为多个电路集合，其中，每个电路集合包含一定数量的电路；
间隔一设定时间设定一流量数据点，采集每条所述电路上的所述流量数据点的流量数据，生成流量基线；
选取一流量采集时间点，根据上一次流量采集对应的基线断点及所述流量采集时间点，确定基线范围；
在所述每条电路对应的所述流量数据点的流量数据中，获取所述基线范围内的流量数据点对应的之前一定天数同一时刻的流量数据；
将所述基线范围内的流量数据点的流量数据与之前一定天数同一时刻的流量数据进行平均计算，得到基线值，并将所述基线值用于下一天同一时刻的流量数据点的告警分析；
根据告警分析的告警断点及所述流量采集时间点，选取告警分析处理的流量数据点；
根据所述告警分析处理的流量数据点对应的基线值以及流量数据，得到流量数据点的偏差数据；
根据所述偏差数据进行告警分析，生成告警信息并进行告警溯源。
在本发明另一实施例中，还提出了一种异常流量的监视系统，该系统包括：
电路信息获取模块，用于获取全网电路的信息，将所述全网电路中的电路划分为多个电路集合；
流量基线生成模块，用于间隔一设定时间设定一流量数据点，采集所述电路集合中每条电路对应的所述流量数据点的流量数据，生成流量基线；
基线范围确定模块，用于选取一流量采集时间点，根据上一次流量采集对应的基线断点及所述流量采集时间点，确定基线范围；
流量数据获取模块，用于在所述每条电路对应的所述流量数据点的流量数据中，获取所述基线范围内的流量数据点对应的之前一定天数同一时刻的流量数据；
基线值计算模块，用于将所述基线范围内的流量数据点的流量数据与之前一定天数同一时刻的流量数据进行平均计算，得到基线值，并将所述基线值用于下一天同一时刻的流量数据点的告警分析；
流量数据点选取模块，用于根据告警分析的告警断点及所述流量采集时间，选取告警分析处理的流量数据点；
偏差数据计算模块，用于根据所述告警分析处理的流量数据点对应的基线值以及流量数据，得到流量数据点的偏差数据；
告警分析模块，用于根据所述偏差数据进行告警分析，生成告警信息并进行告警溯源。
在本发明另一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现异常流量的监视方法。
在本发明另一实施例中，还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现异常流量的监视方法。
本发明提出的异常流量的监视方法及系统可以监控网络电路的流量异常情况，为运维人员提供重要电路的异常流量监控功能，并通过关联相关告警，对异常流量的电路进行故障原因的溯源，以使运维人员及时处理，保证网络电路的稳定性。
附图说明
图1是本发明一实施例的异常流量的监视方法流程示意图。
图2是本发明一实施例的异常流量的监视系统的架构示意图。
图3是本发明一实施例的计算机设备结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种异常流量的监视方法及系统。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
图1是本发明一实施例的异常流量的监视方法流程示意图。如图1所示，该方法包括：
步骤S101，获取全网电路信息，将所述全网电路划分为多个电路集合，其中，每个电路集合包含一定数量的电路；
步骤S102，间隔一设定时间设定一流量数据点，采集每条所述电路上的所述流量数据点的流量数据，生成流量基线；其中，流量数据包含了流入流量数据及流出流量数据；
步骤S103，选取一流量采集时间点，根据上一次流量采集对应的基线断点及所述流量采集时间点，确定基线范围；
步骤S104，在所述每条电路对应的所述流量数据点的流量数据中，获取所述基线范围内的流量数据点对应的之前一定天数同一时刻的流量数据；
步骤S105，将所述基线范围内的流量数据点的流量数据与之前一定天数同一时刻的流量数据进行平均计算，得到基线值，并将所述基线值用于下一天同一时刻的流量数据点的告警分析；
步骤S106，根据告警分析的告警断点及所述流量采集时间点，选取告警分析处理的流量数据点；
步骤S107，根据所述告警分析处理的流量数据点对应的基线值以及流量数据，得到流量数据点的偏差数据；
步骤S108，根据所述偏差数据进行告警分析，生成告警信息并进行告警溯源。
为了对上述异常流量的监视方法进行更为清楚的解释，下面结合具体的实施例来进行说明。
在一实施例中，结合步骤S101划分电路集合具体过程为：
根据全网电路的信息，按照电路属性、电路标志或电路名称的正则表达式，将所述全网电路中的电路划分为多个电路集合；
其中，每个电路集合都包含一定数量的电路。
在一实施例中，结合步骤S102生成流量基线的具体过程为：
间隔5分钟设定一流量数据点，利用基线处理程序，采集每个流量数据点的前5分钟内的电路平均流量，得到对应的流量数据点的流量数据，生成流量基线。
基线处理程序的功能就是计算流量基线，流量基线是按照时刻计算的，也就是在每天的00:00、00:05、00:10、…、23:55设置流量数据点，这样，每条电路流量都会生成对应的流量基线。
在得到流量基线后，则需要选取一流量采集时间点，确定本次异常流量监视的基线范围，结合步骤S103确定基线范围的具体过程为：如果上一次流量采集对应的基线断点为空，选取从所述流量采集时间点开始至前一天同一时刻的所有流量数据，确定基线范围；
在这种情况下，由于没有基线断点，则表示还未进行过基线计算，取前一天的数据作为基线范围进行后续的基线计算。
如果上一次流量采集对应的基线断点不为空，且t1-t2≤0，则基线范围中没有需要处理的流量数据；其中，t1为流量数据采集时间点，t2为基线断点；
在这种情况下，说明从上次处理到本次，没有新采集的流量数据，不需要进行基线计算。
如果上一次流量采集对应的基线断点不为空，且t1-t2≥24h，选取从所述流量采集时间点开始至前一天同一时刻的所有流量数据，确定基线范围；
在这种情况下，说明基线处理程序长时间未处理，数据量过大，参考基线断点为空的处理方式。
如果上一次流量采集对应的基线断点不为空，且0<t1-t2<24h，选取从所述流量采集时间点开始至基线断点的所有流量数据，确定基线范围；
在这种情况下，从上一次基线处理的数据(断点)开始，处理到目前为止的所有数据。
确定要处理的基线范围后，进一步结合步骤S104对基线范围内的流量数据点进行处理，具体过程为：
当所述基线范围内的流量数据点为工作日时，获取前9个工作日同一时刻的流量数据；
当所述基线范围内的流量数据点为周末时，获取之前的3个周末自然日同一时刻的流量数据。
进一步，根据步骤S104的流量数据，结合步骤S105进行基线值计算，详细计算过程为：
当所述基线范围内的流量数据点为工作日时，基线值的计算公式如下：
Figure GDA0003077216230000051
其中，Fin为流入的基线值；Fin1,Fin2,…,Fin9为前9个工作日同一时刻的流入流量数据；Fint为当前流量数据点的流入流量数据；
Figure GDA0003077216230000052
其中，Fout为流出的基线值；Fout1,Fout2,…,Fout9为前9个工作日同一时刻的流出流量数据；Foutt为当前流量数据点的流出流量数据；
将所述流入的基线值Fin及流出的基线值Fout用于当前流量数据点的下一个工作日同一时刻的流量数据点的告警分析。上述步骤是以工作日内循环，举例而言，如果是周五，则下一个工作日为下周一，前九个工作日为上周一至周五，以及本周一至周四。
当所述基线范围内的流量数据点为周末时，基线值的计算公式如下：
Figure GDA0003077216230000061
其中，Fin为流入的基线值；Fin1,Fin2,Fin3为之前的3个周末自然日同一时刻的流入流量数据；Fint为当前流量数据点的流入流量数据；
Figure GDA0003077216230000062
其中，Fout为流出的基线值；Fout1,Fout2,Fout3为之前的3个周末自然日同一时刻的流出流量数据，Foutt为当前流量数据点的流出流量数据；
将所述流入的基线值Fin及流出的基线值Fout用于当前流量数据点的下一个处于周末的自然日同一时刻的流量数据点的告警分析。上述步骤是在周末内循环，举例而言，如果是周日，则下一个周末自然日是下周六，前三个周末自然日为本周六、上周日及上周六。
以一工作日2019年11月20日为例，基线值的计算过程为：对于2019年11月20日00:00，那么基线值＝(2019年11月20日00:00的流量数据+前面9个工作日00:00的流量数据)/10，这个基线值提供给2019年11月21日00:00时刻作为告警对比数据进行告警分析。
完成上述步骤后，将所述流量采集时间点修改为新的基线断点。即，该新的基线断点用于下次异常流量监视时，在选取新的流量采集时间点后进行确定基线范围。
在确定基线范围后，结合步骤S106，根据上一次告警分析的告警断点及流量采集时间点，选取本次告警分析处理的流量数据点，包括：
如果告警断点为空，从所述流量采集时间点开始，向前取3个流量数据点作为告警分析处理的流量数据点；
如果告警断点不为空，且t3≥t1，则没有告警分析处理的流量数据点；其中，t1为流量数据采集时间点，t3为告警断点；
如果告警断点不为空，且t3＜t1，流量数据采集时间点开始至告警断点之间的数据点个数≥3个，其中不包含端点，则从所述流量采集时间点开始，向前取3个流量数据点作为告警分析处理的流量数据点；
如果告警断点不为空，且t3＜t1，流量数据采集时间点开始至告警断点之间的数据点个数＜3个，其中不包含端点，则选取流量数据采集时间点开始至告警断点之间所有流量数据点作为告警分析处理的流量数据点。
完成上述步骤后，修改流量采集时间点为新的告警断点。即，该新的告警断点用于下次异常流量监视时，在选取新的流量采集时间点后选取告警分析处理的流量数据点。
进一步，结合步骤S107，根据所述告警分析处理的流量数据点对应的基线值以及流量数据，计算流量数据点的偏差数据，详细过程为：
流入流量偏差数据的计算公式为：
Din＝FinG-Fin'；
其中，Din为流入流量偏差；FinG为告警分析处理的流量数据点的流入流量数据；Fin'为告警分析处理的流量数据点的流入的基线值；
Figure GDA0003077216230000071
其中，Pin为流入偏差百分比；
流出流量偏差数据的计算公式为：
Dout＝FoutG-Fout'；
其中，Dout为流出流量偏差；FoutG为告警分析处理的流量数据点的流出流量数据；Fout'为告警分析处理的流量数据点的流出的基线值；
Figure GDA0003077216230000072
其中，Pout为流出偏差百分比。
在得到偏差数据后，结合步骤S108根据所述偏差数据进行告警分析，生成告警信息并进行告警溯源，具体过程为：
判断所述偏差数据是否在告警阈值范围内，如果在，选取所述偏差数据对应的告警分析的流量数据点之前的两个流量数据点；
获取所述两个流量数据点的偏差数据；
判断三个偏差数据是否都在告警阈值范围内，如果都在，生成异常流量的告警信息，存入告警表。
其中，判断所述偏差数据是否在告警阈值范围内需要根据不同电路集合，不同的电路集合有不同的告警阈值范围，具体的：
判断所述电路集合中，平台电路的流量是否突变大于基线值的50％，且基线值大于10M，如果是，则在告警阈值范围内；
判断所述电路集合中，互联网专线的流量是否突变大于基线值的50％，且基线值大于1G，如果是，则在告警阈值范围内；
判断所述电路集合中，互联互通电路的流量是否突增大于基线值的50％且带宽利用率达85％、带宽利用率由80％以内突增至90％、或着流量突降大于基线值50％，如果是，则在告警阈值范围内；
判断所述电路集合中，DNS电路的流量是否流量突增大于基线500M、或流量突降大于基线20％，如果是，则在告警阈值范围内；
判断所述电路集合中，其它电路的流量带宽利用率由80％以内突增至90％、或流量突降大于基线50％，如果是，则在告警阈值范围内。
在一实施例中，在生成告警信息时，判断所述告警表中是否已存在相同的告警信息，如果已存在，将已有告警的告警时间修改为当前时间，告警次数加1；如果未存在，生成新的告警信息，存入所述告警表。
在一实施例中，还可以设置告警恢复判断：符合以下条件则告警恢复，将告警删除：
1、已有该条电路的流量异常告警；
2、在选取的告警分析处理的流量数据点中，选择流量数据最大的流量数据点，获得所述流量数据最大的流量数据点往前30分钟的流入偏差百分比及流出偏差百分比，如果绝对值在30％以内，删除所述告警表中在所述30分钟内的告警信息；
3、如果已有告警的告警时间和当前时间差超过30分钟，删除所述告警表中的所述已有告警。
在步骤S108中，通过分析异常流量告警的生成原因，进行告警溯源，具体过程为：
注册并接收数据库新增告警消息，收到消息后，从上次断点按告警ID从小到大的顺序获取告警，并对每条告警进行处理。
如果告警类型不为设备脱网/板卡故障/光模块故障/异常流/路由异常)，则直接跳过，处理下一条告警。
在接收到告警类型为异常流量的告警时，关联告警类型为路由异常、设备脱网、板卡故障或光模块故障的告警信息，进行告警追溯，具体过程为：
在告警类型＝异常流量；
在生成告警类型为异常流量的告警信息时，关联路由异常告警；如果存在告警资源相同、告警类型为路由异常的告警信息、且告警时间差在正负15分钟以内，则建立异常流量的告警与路由异常告警的关联关系，所述异常流量的告警为子告警；
在生成告警类型为异常流量的告警信息时，关联设备脱网告警；如果存在告警资源相同、告警类型为设备脱网的告警信息、且告警时间差在正负15分钟以内的告警，则建立异常流量的告警与设备脱网告警的关联关系，所述异常流量的告警为子告警；
在生成告警类型为异常流量的告警信息时，关联板卡故障告警；如果存在告警资源相同、告警类型为板卡故障的告警信息、且告警时间差在正负15分钟以内，则建立异常流量的告警与板卡故障告警的关联关系，所述异常流量的告警为子告警；
在生成告警类型为异常流量的告警信息时，关联光模块故障告警；如果存在告警资源相同、告警类型为光模块故障的告警信息、且告警时间差在正负15分钟以内，则建立异常流量的告警与光模块故障告警的关联关系，所述异常流量的告警为子告警。
另外，告警溯源的方法还可以包括：
在接收到告警类型为路由异常、设备脱网或板卡故障的告警时，关联告警类型为异常流量的告警信息，进行告警追溯，具体过程为：
告警类型＝路由异常；
关联异常流量告警：如果告警表中存在和当前告警资源相同，告警类型为异常流量，告警时间差在正负15分钟以内的告警，则建立本告警与该路由异常流量的关联关系，本告警为父告警。
内部告警类型＝设备脱网；
关联异常流量告警：如果告警表存在告警类型为异常流量，告警时间差在正负15分钟以内的告警，则建立本告警与该异常流量告警的关联关系，本告警为父告警。
内部告警类型＝板卡故障；
关联异常流量告警：如果告警表存在告警类型为异常流量，告警时间差在正负15分钟以内的告警，则建立本告警与该异常流量告警的关联关系，本告警为父告警。
所有告警处理完后，将处理的最后一条告警ID号记入本地断点文件，并等待下一次新告警消息。下次程序启动时，先从断点文件读取最后处理的ID号，如果不存在断点文件，则取告警的最大告警ID为断点。
在一具体实施例中，对路由异常的告警分析过程为：
定时获取当前时间的前7天中处于设定时间时的收发路由数，通过计算平均数得到路由条目数基线；
根据所述电路集合中电路对应的路由器和端口IP，采集每个所述路由器的邻居收发路由数；
根据路由条目数基线或收发路由数进行路由异常告警分析，生成路由异常的告警信息；其中，
每间隔5分钟，判断平台电路上的路由条目数突变是否大于基线20％、采集的收发路由数是否为0(路由条目数为0)、或1小时内路由条目数变化是否超过4次；如果是，生成路由异常的告警信息；
判断互联网专线上的路由条目数突变是否大于基线20％、或采集的收发路由数是否为0；如果是生成路由异常的告警信息。
本发明提出的异常流量的监视方法可以准确监测、分析异常流量情况，并对路由条目数异常进行分析，得到完善的异常流量原因，并实现告警追溯。
需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
在介绍了本发明示例性实施方式的方法之后，接下来，参考图2对本发明示例性实施方式的异常流量的监视系统进行介绍。
异常流量的监视系统的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”或者“单元”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
基于同一发明构思，本发明还提出了一种异常流量的监视系统，如图2所示，该系统包括：
电路信息获取模块210，用于获取全网电路的信息，将所述全网电路中的电路划分为多个电路集合；
流量基线生成模块220，用于间隔一设定时间设定一流量数据点，采集所述电路集合中每条电路对应的所述流量数据点的流量数据，生成流量基线；
基线范围确定模块230，用于选取一流量采集时间点，根据上一次流量采集对应的基线断点及所述流量采集时间点，确定基线范围；
流量数据获取模块240，用于在所述每条电路对应的所述流量数据点的流量数据中，获取所述基线范围内的流量数据点对应的之前一定天数同一时刻的流量数据；
基线值计算模块250，用于将所述基线范围内的流量数据点的流量数据与之前一定天数同一时刻的流量数据进行平均计算，得到基线值，并将所述基线值用于下一天同一时刻的流量数据点的告警分析；
流量数据点选取模块260，用于根据告警分析的告警断点及所述流量采集时间，选取告警分析处理的流量数据点；
偏差数据计算模块270，用于根据所述告警分析处理的流量数据点对应的基线值以及流量数据，得到流量数据点的偏差数据；
告警分析模块280，用于根据所述偏差数据进行告警分析，生成告警信息并进行告警溯源。
应当注意，尽管在上文详细描述中提及了异常流量的监视系统的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
基于前述发明构思，如图3所示，本发明还提出了一种计算机设备300，包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机程序330，所述处理器320执行所述计算机程序330时实现前述异常流量的监视方法。
基于前述发明构思，本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现异常流量的监视方法。
本发明提出的异常流量的监视方法及系统可以监控网络电路的流量异常情况，为运维人员提供重要电路的异常流量监控功能，并通过关联相关告警，对异常流量的电路进行故障原因的溯源，以使运维人员及时处理，保证网络电路的稳定性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种异常流量的监视方法，其特征在于，该方法包括：
获取全网电路信息，将所述全网电路划分为多个电路集合，其中，每个电路集合包含一定数量的电路；
间隔一设定时间设定一流量数据点，采集每条所述电路上的所述流量数据点的流量数据，生成流量基线；
选取一流量采集时间点，根据上一次流量采集对应的基线断点及所述流量采集时间点，确定基线范围；
在所述每条电路对应的所述流量数据点的流量数据中，获取所述基线范围内的流量数据点对应的之前一定天数同一时刻的流量数据；其中，包括：
当所述基线范围内的流量数据点为工作日时，获取前9个工作日同一时刻的流量数据；
当所述基线范围内的流量数据点为周末时，获取之前的3个周末自然日同一时刻的流量数据；
将所述基线范围内的流量数据点的流量数据与之前一定天数同一时刻的流量数据进行平均计算，得到基线值，并将所述基线值用于下一天同一时刻的流量数据点的告警分析；其中，包括：
当所述基线范围内的流量数据点为工作日时，基线值的计算公式如下：
Figure FDA0003077216220000011
其中，Fin为流入的基线值；Fin1,Fin2,…,Fin9为前9个工作日同一时刻的流入流量数据；Fint为当前流量数据点的流入流量数据；
Figure FDA0003077216220000012
其中，Fout为流出的基线值；Fout1,Fout2,…,Fout9为前9个工作日同一时刻的流出流量数据；Foutt为当前流量数据点的流出流量数据；
将所述流入的基线值Fin及流出的基线值Fout用于当前流量数据点的下一个工作日同一时刻的流量数据点的告警分析；
将所述流量采集时间点修改为新的基线断点；
当所述基线范围内的流量数据点为周末时，基线值的计算公式如下：
Figure FDA0003077216220000021
其中，Fin为流入的基线值；Fin1,Fin2,Fin3为之前的3个周末自然日同一时刻的流入流量数据；Fint为当前流量数据点的流入流量数据；
Figure FDA0003077216220000022
其中，Fout为流出的基线值；Fout1,Fout2,Fout3为之前的3个周末自然日同一时刻的流出流量数据，Foutt为当前流量数据点的流出流量数据；
将所述流入的基线值Fin及流出的基线值Fout用于当前流量数据点的下一个处于周末的自然日同一时刻的流量数据点的告警分析；
将所述流量采集时间点修改为新的基线断点；
根据告警分析的告警断点及所述流量采集时间点，选取告警分析处理的流量数据点；
根据所述告警分析处理的流量数据点对应的基线值以及流量数据，得到流量数据点的偏差数据；
根据所述偏差数据进行告警分析，生成告警信息并进行告警溯源。
2.根据权利要求1所述的异常流量的监视方法，其特征在于，获取全网电路信息，将所述全网电路划分为多个电路集合，包括：
根据全网电路的信息，按照电路属性、电路标志或电路名称的正则表达式，将所述全网电路中的电路划分为多个电路集合。
3.根据权利要求1所述的异常流量的监视方法，其特征在于，间隔一设定时间设定一流量数据点，采集每条所述电路上的所述流量数据点的流量数据，生成流量基线，包括：
间隔5分钟设定一流量数据点，采集每个流量数据点的前5分钟内的电路平均流量，得到对应的流量数据点的流量数据，生成流量基线。
4.根据权利要求1所述的异常流量的监视方法，其特征在于，选取一流量采集时间点，根据上一次流量采集对应的基线断点及所述流量采集时间点，确定基线范围，包括：
如果上一次流量采集对应的基线断点为空，选取从所述流量采集时间点开始至前一天同一时刻的所有流量数据，确定基线范围；
如果上一次流量采集对应的基线断点不为空，且t1-t2≤0，则基线范围中没有需要处理的流量数据；其中，t1为流量数据采集时间点，t2为基线断点；
如果上一次流量采集对应的基线断点不为空，且t1-t2≥24h，选取从所述流量采集时间点开始至前一天同一时刻的所有流量数据，确定基线范围；
如果上一次流量采集对应的基线断点不为空，且0<t1-t2<24h，选取从所述流量采集时间点开始至基线断点的所有流量数据，确定基线范围。
5.根据权利要求1所述的异常流量的监视方法，其特征在于，根据告警分析的告警断点及所述流量采集时间点，选取告警分析处理的流量数据点，包括：
如果告警断点为空，从所述流量采集时间点开始，向前取3个流量数据点作为告警分析处理的流量数据点；
如果告警断点不为空，且t3≥t1，则没有告警分析处理的流量数据点；其中，t1为流量数据采集时间点，t3为告警断点；
如果告警断点不为空，且t3＜t1，流量数据采集时间点开始至告警断点之间的数据点个数≥3个，其中不包含端点，则从所述流量采集时间点开始，向前取3个流量数据点作为告警分析处理的流量数据点；
如果告警断点不为空，且t3＜t1，流量数据采集时间点开始至告警断点之间的数据点个数＜3个，其中不包含端点，则选取流量数据采集时间点开始至告警断点之间所有流量数据点作为告警分析处理的流量数据点；
修改所述流量采集时间点为新的告警断点。
6.根据权利要求5所述的异常流量的监视方法，其特征在于，根据所述告警分析处理的流量数据点对应的基线值以及流量数据，得到流量数据点的偏差数据，包括：
流入流量偏差数据的计算公式为：
Din＝FinG-Fin'；
其中，Din为流入流量偏差；FinG为告警分析处理的流量数据点的流入流量数据；Fin'为告警分析处理的流量数据点的流入的基线值；
Figure FDA0003077216220000041
其中，Pin为流入偏差百分比；
流出流量偏差数据的计算公式为：
Dout＝FoutG-Fout'；
其中，Dout为流出流量偏差；FoutG为告警分析处理的流量数据点的流出流量数据；Fout'为告警分析处理的流量数据点的流出的基线值；
Figure FDA0003077216220000042
其中，Pout为流出偏差百分比。
7.根据权利要求5所述的异常流量的监视方法，其特征在于，根据所述偏差数据进行告警分析，生成告警信息并进行告警溯源，包括：
判断所述偏差数据是否在告警阈值范围内，如果在，选取所述偏差数据对应的告警分析的流量数据点之前的两个流量数据点；
获取所述两个流量数据点的偏差数据；
判断三个偏差数据是否都在告警阈值范围内，如果都在，生成异常流量的告警信息，存入告警表。
8.根据权利要求7所述的异常流量的监视方法，其特征在于，判断所述偏差数据是否在告警阈值范围内，包括：
判断所述电路集合中，平台电路的流量是否突变大于基线值的50％，且基线值大于10M，如果是，则在告警阈值范围内；
判断所述电路集合中，互联网专线的流量是否突变大于基线值的50％，且基线值大于1G，如果是，则在告警阈值范围内；
判断所述电路集合中，互联互通电路的流量是否突增大于基线值的50％且带宽利用率达85％、带宽利用率由80％以内突增至90％、或着流量突降大于基线值50％，如果是，则在告警阈值范围内；
判断所述电路集合中，DNS电路的流量是否流量突增大于基线500M、或流量突降大于基线20％，如果是，则在告警阈值范围内；
判断所述电路集合中，其它电路的流量带宽利用率由80％以内突增至90％、或流量突降大于基线50％，如果是，则在告警阈值范围内。
9.根据权利要求7所述的异常流量的监视方法，其特征在于，根据所述偏差数据进行告警分析，生成告警信息并进行告警溯源，还包括：
在生成告警信息时，判断所述告警表中是否已存在相同的告警信息，如果已存在，将已有告警的告警时间修改为当前时间，告警次数加1；如果未存在，生成新的告警信息，存入所述告警表。
10.根据权利要求7所述的异常流量的监视方法，其特征在于，根据所述偏差数据进行告警分析，生成告警信息并进行告警溯源，还包括：
在选取的告警分析处理的流量数据点中，选择流量数据最大的流量数据点，获得所述流量数据最大的流量数据点往前30分钟的流入偏差百分比及流出偏差百分比，如果绝对值在30％以内，删除所述告警表中在所述30分钟内的告警信息；
如果已有告警的告警时间和当前时间差超过30分钟，删除所述告警表中的所述已有告警。
11.根据权利要求7所述的异常流量的监视方法，其特征在于，根据所述偏差数据进行告警分析，生成告警信息并进行告警溯源，还包括：
在生成告警类型为异常流量的告警信息时，关联路由异常告警；如果存在告警资源相同、告警类型为路由异常的告警信息、且告警时间差在正负15分钟以内，则建立异常流量的告警与路由异常告警的关联关系，所述异常流量的告警为子告警；
在生成告警类型为异常流量的告警信息时，关联设备脱网告警；如果存在告警资源相同、告警类型为设备脱网的告警信息、且告警时间差在正负15分钟以内的告警，则建立异常流量的告警与设备脱网告警的关联关系，所述异常流量的告警为子告警；
在生成告警类型为异常流量的告警信息时，关联板卡故障告警；如果存在告警资源相同、告警类型为板卡故障的告警信息、且告警时间差在正负15分钟以内，则建立异常流量的告警与板卡故障告警的关联关系，所述异常流量的告警为子告警；
在生成告警类型为异常流量的告警信息时，关联光模块故障告警；如果存在告警资源相同、告警类型为光模块故障的告警信息、且告警时间差在正负15分钟以内，则建立异常流量的告警与光模块故障告警的关联关系，所述异常流量的告警为子告警。
12.根据权利要求7所述的异常流量的监视方法，其特征在于，该方法还包括：
在接收到告警类型为路由异常、设备脱网或板卡故障的告警时，关联告警类型为异常流量的告警信息；
如果告警表存在告警类型为异常流量的告警信息、且告警时间差在正负15分钟以内，则建立对应的告警与异常流量的告警的关联关系，所述对应的告警为父告警。
13.一种异常流量的监视系统，其特征在于，该系统包括：
电路信息获取模块，用于获取全网电路的信息，将所述全网电路中的电路划分为多个电路集合；
流量基线生成模块，用于间隔一设定时间设定一流量数据点，采集所述电路集合中每条电路对应的所述流量数据点的流量数据，生成流量基线；
基线范围确定模块，用于选取一流量采集时间点，根据上一次流量采集对应的基线断点及所述流量采集时间点，确定基线范围；
流量数据获取模块，用于在所述每条电路对应的所述流量数据点的流量数据中，获取所述基线范围内的流量数据点对应的之前一定天数同一时刻的流量数据；其中，包括：
当所述基线范围内的流量数据点为工作日时，获取前9个工作日同一时刻的流量数据；
当所述基线范围内的流量数据点为周末时，获取之前的3个周末自然日同一时刻的流量数据；
基线值计算模块，用于将所述基线范围内的流量数据点的流量数据与之前一定天数同一时刻的流量数据进行平均计算，得到基线值，并将所述基线值用于下一天同一时刻的流量数据点的告警分析；其中，包括：
当所述基线范围内的流量数据点为工作日时，基线值的计算公式如下：
Figure FDA0003077216220000061
其中，Fin为流入的基线值；Fin1,Fin2,…,Fin9为前9个工作日同一时刻的流入流量数据；Fint为当前流量数据点的流入流量数据；
Figure FDA0003077216220000062
其中，Fout为流出的基线值；Fout1,Fout2,…,Fout9为前9个工作日同一时刻的流出流量数据；Foutt为当前流量数据点的流出流量数据；
将所述流入的基线值Fin及流出的基线值Fout用于当前流量数据点的下一个工作日同一时刻的流量数据点的告警分析；
将所述流量采集时间点修改为新的基线断点；
当所述基线范围内的流量数据点为周末时，基线值的计算公式如下：
Figure FDA0003077216220000071
其中，Fin为流入的基线值；Fin1,Fin2,Fin3为之前的3个周末自然日同一时刻的流入流量数据；Fint为当前流量数据点的流入流量数据；
Figure FDA0003077216220000072
其中，Fout为流出的基线值；Fout1,Fout2,Fout3为之前的3个周末自然日同一时刻的流出流量数据，Foutt为当前流量数据点的流出流量数据；
将所述流入的基线值Fin及流出的基线值Fout用于当前流量数据点的下一个处于周末的自然日同一时刻的流量数据点的告警分析；
将所述流量采集时间点修改为新的基线断点；
流量数据点选取模块，用于根据告警分析的告警断点及所述流量采集时间，选取告警分析处理的流量数据点；
偏差数据计算模块，用于根据所述告警分析处理的流量数据点对应的基线值以及流量数据，得到流量数据点的偏差数据；
告警分析模块，用于根据所述偏差数据进行告警分析，生成告警信息并进行告警溯源。
14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12任一所述方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至12任一所述方法。
CN201911255894.8A 2019-12-10 2019-12-10 一种异常流量的监视方法及系统 Active CN111064635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911255894.8A CN111064635B (zh) 2019-12-10 2019-12-10 一种异常流量的监视方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911255894.8A CN111064635B (zh) 2019-12-10 2019-12-10 一种异常流量的监视方法及系统

Publications (2)

Publication Number Publication Date
CN111064635A CN111064635A (zh) 2020-04-24
CN111064635B true CN111064635B (zh) 2021-07-27

Family

ID=70300269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911255894.8A Active CN111064635B (zh) 2019-12-10 2019-12-10 一种异常流量的监视方法及系统

Country Status (1)

Country Link
CN (1) CN111064635B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111817896B (zh) * 2020-07-16 2023-04-18 中国民航信息网络股份有限公司 一种接口监控方法及装置
CN111970151A (zh) * 2020-08-21 2020-11-20 中国建设银行股份有限公司 虚拟及容器网络的流量故障定位方法及系统
CN112256543A (zh) * 2020-10-20 2021-01-22 福建奇点时空数字科技有限公司 一种基于流量数据感知的服务器异常行为分析与告警方法
CN112333045A (zh) * 2020-11-03 2021-02-05 国家工业信息安全发展研究中心 智能流量基线学习方法、设备和计算机可读存储介质
CN112532611B (zh) * 2020-11-25 2022-12-06 中盈优创资讯科技有限公司 一种实时越线流量拓扑数据生成方法及装置
CN112596975A (zh) * 2020-12-15 2021-04-02 中国建设银行股份有限公司 对网络设备进行监控处理的方法、系统、设备和存储介质
CN113179182B (zh) * 2021-04-27 2022-11-22 中国联合网络通信集团有限公司 网络监管方法、装置、设备及存储介质
CN113687621B (zh) * 2021-10-26 2022-01-25 西安热工研究院有限公司 基于时序告警信息的告警抑制方法和系统、设备及存储介质
CN114124492B (zh) * 2021-11-12 2023-07-25 中盈优创资讯科技有限公司 一种网络流量异常检测和分析方法及装置
CN114244732A (zh) * 2021-12-02 2022-03-25 中盈优创资讯科技有限公司 一种NetFlow端口流量准确率核查方法及装置
CN114615021A (zh) * 2022-02-16 2022-06-10 奇安信科技集团股份有限公司 用于安全分析的实时行为安全基线自动计算方法及装置
CN114615701A (zh) * 2022-03-14 2022-06-10 叶晓斌 一种流量健康度评价的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104320301A (zh) * 2014-10-31 2015-01-28 北京思特奇信息技术股份有限公司 一种内网专线流量监控方法及系统
CN107395432A (zh) * 2017-08-18 2017-11-24 上海盈联电信科技有限公司 一种集中式网络监控管理系统
CN109218099A (zh) * 2018-09-20 2019-01-15 犀思云（苏州）云计算有限公司 一种基于sdn/nfv的云交换网络平台
CN110086649A (zh) * 2019-03-19 2019-08-02 深圳壹账通智能科技有限公司 异常流量的检测方法、装置、计算机设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017034605A (ja) * 2015-08-05 2017-02-09 株式会社日立製作所 ネットワークシステム、通信の分析方法、及び分析装置
CN107241224B (zh) * 2017-06-09 2020-11-03 珠海市鸿瑞信息技术股份有限公司 一种变电站的网络风险监测方法及系统
CN110287078B (zh) * 2019-04-12 2024-01-23 上海新炬网络技术有限公司 基于zabbix性能基线的异常检测和告警方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104320301A (zh) * 2014-10-31 2015-01-28 北京思特奇信息技术股份有限公司 一种内网专线流量监控方法及系统
CN107395432A (zh) * 2017-08-18 2017-11-24 上海盈联电信科技有限公司 一种集中式网络监控管理系统
CN109218099A (zh) * 2018-09-20 2019-01-15 犀思云（苏州）云计算有限公司 一种基于sdn/nfv的云交换网络平台
CN110086649A (zh) * 2019-03-19 2019-08-02 深圳壹账通智能科技有限公司 异常流量的检测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111064635A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN111064635B (zh) 一种异常流量的监视方法及系统
Lee et al. An internet traffic analysis method with mapreduce
US9665420B2 (en) Causal engine and correlation engine based log analyzer
CN108989136B (zh) 业务端到端性能监控方法及装置
CN108377201B (zh) 网络异常感知方法、装置、设备及计算机可读存储介质
CN109787809B (zh) 一种智能运维系统
CN109347688B (zh) 一种在无线局域网中定位故障的方法和装置
JP5933463B2 (ja) ログ生起異常検知装置及び方法
CN105608517B (zh) 基于流的业务交易性能管理及可视化方法和装置
US20210329479A1 (en) Network Analytics
CN114020581A (zh) 基于拓扑优化FP-Growth算法的告警关联方法
CN110609761B (zh) 确定故障源的方法、装置、存储介质和电子设备
GB2508499A (en) Determining related messages for filtering groups of error messages
CN116015983B (zh) 一种基于数字孪生体的网络安全漏洞分析方法及系统
CN112436958A (zh) 数据中心网络设备故障预测的方法、系统、设备及介质
US11606271B2 (en) Network directionality mapping system
JP2017199250A (ja) 計算機システム、データの分析方法、及び計算機
JP6798504B2 (ja) ログ分析システム、ログ分析方法及びプログラム
JP6049136B2 (ja) ネットワーク管理システムおよび方法
JP4455285B2 (ja) 経路解析装置
Allahdadi et al. A framework for BGP abnormal events detection
CN112291113A (zh) 一种端口带宽稽核方法及装置
JP2008171104A (ja) 業務サービスとシステム性能を監視対象とする監視装置、監視システム、監視方法および監視プログラム
CN113381902A (zh) 跨地区的网络链路的检测方法、装置和计算机存储介质
CN113132301B (zh) 异常数据汇集的检测方法、装置和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: Room 702-2, No. 4811, Cao'an Highway, Jiading District, Shanghai

Patentee after: CHINA UNITECHS

Address before: 100872 5th floor, Renmin culture building, 59 Zhongguancun Street, Haidian District, Beijing

Patentee before: CHINA UNITECHS

CP02 Change in the address of a patent holder