CN112769740B - 城域网网络流量分析方法及系统 - Google Patents

城域网网络流量分析方法及系统 Download PDF

Info

Publication number
CN112769740B
CN112769740B CN201911074546.0A CN201911074546A CN112769740B CN 112769740 B CN112769740 B CN 112769740B CN 201911074546 A CN201911074546 A CN 201911074546A CN 112769740 B CN112769740 B CN 112769740B
Authority
CN
China
Prior art keywords
flow
monitored
information
attack
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911074546.0A
Other languages
English (en)
Other versions
CN112769740A (zh
Inventor
聂树明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unihub China Information Technology Co Ltd
Original Assignee
Unihub China Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unihub China Information Technology Co Ltd filed Critical Unihub China Information Technology Co Ltd
Priority to CN201911074546.0A priority Critical patent/CN112769740B/zh
Publication of CN112769740A publication Critical patent/CN112769740A/zh
Application granted granted Critical
Publication of CN112769740B publication Critical patent/CN112769740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种城域网网络流量分析方法及系统，其中方法包括：采集机接收控制机发送的待监控流筛选条件；采集机采集所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，对每个待监控流根据该待监控流的字段信息以及预先建立的模板，确定该待监控流的攻击类型，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立；采集机向控制机发送所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型。本发明可以主动发现异常流量信息，有效降低成本。

Description

城域网网络流量分析方法及系统
技术领域
本发明涉及网络数据处理技术领域，尤其涉及城域网网络流量分析方法及系统。
背景技术
在城域网网络中，网络攻击时有发生，网络攻击随之也会带来异常流量。网络异常流量是指当前流量情况与正常网络流量偏差很大，从而严重影响网络性能，造成网络拥塞，严重的甚至会造成网络中断。因此，有必要对城域网网络流量进行分析。
现有技术中，通常被动接收被攻击对象投诉，然后针对被攻击对象的IP地址进行分析，ping，trace，分析链路质量，但是该方法只能被动接收，没法主动发现异常流量信息，提前进行预警。现有的方法还通过dpi的方式进行流分析，从而判断流是否为攻击流，但是该方法成本过高。
发明内容
本发明实施例提供一种城域网网络流量分析方法，用以分析城域网网络流量，主动发现异常流量信息，有效降低成本，该方法包括：
采集机接收控制机发送的待监控流筛选条件；
采集机采集所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，对每个待监控流根据该待监控流的字段信息以及预先建立的模板，确定该待监控流的攻击类型，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立；
采集机向控制机发送所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型。
本发明实施例提供一种采集机，用以分析城域网网络流量，主动发现异常流量信息，有效降低成本，该采集机包括：
条件接收模块，用于接收控制机发送的待监控流筛选条件；
信息采集模块，用于采集所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息；
类型确定模块，用于对每个待监控流根据该待监控流的字段信息以及预先建立的模板，确定该待监控流的攻击类型，所述模板根据历史流的字段信息预先建立；
类型发送模块，用于向控制机发送所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述城域网网络流量分析方法。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述城域网网络流量分析方法。
相对于现有技术中被动接收被攻击对象投诉或通过dpi的方式进行流分析的方案而言，本发明实施例通过采集机接收控制机发送的待监控流筛选条件；采集机采集所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，对每个待监控流根据该待监控流的字段信息以及预先建立的模板，确定该待监控流的攻击类型，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立；采集机向控制机发送所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型。本发明实施例无需被动等待接收被攻击对象投诉，通过采集机采集待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，对每个待监控流根据该待监控流的字段信息以及预先建立的模板，可以确定该待监控流的攻击类型并发送给控制机，从而主动发现异常流量信息，并且能够有效降低成本。
本发明实施例提供一种城域网网络流量分析方法，用以分析城域网网络流量，主动发现异常流量信息，有效降低成本，该方法包括：
控制机向采集机发送待监控流筛选条件；
控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，每个待监控流的攻击类型根据该待监控流的字段信息以及预先建立的模板确定，每个待监控流的字段信息和流量信息由所述采集机采集得到，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立；
控制机根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值，生成每个待监控流的第一监控结果。
本发明实施例提供一种控制机，用以分析城域网网络流量，主动发现异常流量信息，有效降低成本，该控制机包括：
条件发送模块，用于向采集机发送待监控流筛选条件；
类型接收模块，用于接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，每个待监控流的攻击类型根据该待监控流的字段信息以及预先建立的模板确定，每个待监控流的字段信息和流量信息由所述采集机采集得到，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立；
第一结果生成模块，用于根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值，生成每个待监控流的第一监控结果。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述城域网网络流量分析方法。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述城域网网络流量分析方法。
相对于现有技术中被动接收被攻击对象投诉或通过dpi的方式进行流分析的方案而言，本发明实施例通过控制机向采集机发送待监控流筛选条件；控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，每个待监控流的攻击类型根据该待监控流的字段信息以及预先建立的模板确定，每个待监控流的字段信息和流量信息由所述采集机采集得到，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立；控制机根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值，生成每个待监控流的第一监控结果。本发明实施例无需被动等待接收被攻击对象投诉，通过控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，再结合第一流量阈值，生成每个待监控流的第一监控结果，从而主动发现异常流量信息，并且能够有效降低成本。
本发明实施例提供一种城域网网络流量分析系统，用以分析城域网网络流量，主动发现异常流量信息，有效降低成本，该系统包括：上述采集机和上述控制机。
相对于现有技术中被动接收被攻击对象投诉或通过dpi的方式进行流分析的方案而言，本发明实施例提供的城域网网络流量分析系统无需被动等待接收被攻击对象投诉，通过采集机采集待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，对每个待监控流根据该待监控流的字段信息以及预先建立的模板，可以确定该待监控流的攻击类型并发送给控制机，控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，再结合第一流量阈值，生成每个待监控流的第一监控结果，从而主动发现异常流量信息，并且能够有效降低成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中城域网网络流量分析方法示意图；
图2为本发明实施例中采集机结构图；
图3为本发明实施例中采集机结构图；
图4为本发明实施例中采集机结构图；
图5为本发明实施例中另一城域网网络流量分析方法示意图；
图6为本发明实施例中控制机结构图；
图7为本发明实施例中控制机结构图；
图8为本发明实施例中控制机结构图；
图9为本发明实施例中城域网网络流量分析系统结构图；
图10为本发明具体实施例中netflow结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
为了分析城域网网络流量，主动发现异常流量信息，有效降低成本，本发明实施例提供一种城域网网络流量分析方法，如图1所示，该方法可以包括：
步骤101、采集机接收控制机发送的待监控流筛选条件；
步骤102、采集机采集所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，对每个待监控流根据该待监控流的字段信息以及预先建立的模板，确定该待监控流的攻击类型，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立；
步骤103、采集机向控制机发送所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型。
由图1所示可以得知，本发明实施例通过采集机接收控制机发送的待监控流筛选条件；采集机采集所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，对每个待监控流根据该待监控流的字段信息以及预先建立的模板，确定该待监控流的攻击类型，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立；采集机向控制机发送所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型。本发明实施例无需被动等待接收被攻击对象投诉，通过采集机采集待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，对每个待监控流根据该待监控流的字段信息以及预先建立的模板，可以确定该待监控流的攻击类型并发送给控制机，从而主动发现异常流量信息，并且能够有效降低成本。
具体实施时，采集机接收控制机发送的待监控流筛选条件。
实施例中，在控制机中制定监控方案，监控方案中包含了待监控流筛选条件。监控方案是在控制机上针对待监控流指定的待监控流筛选条件，针对预先设定的字段，指定字段具体的值，比如指定监控49、23、21端口，目的端口8080的流。由于网络上流的量太大，无法实现针对全量流的监控，因此可以通过指定监控方案的方式来实现，监控方案指定了需要监控的流，即待监控流。预先设定的字段可以是源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息其中之一或任意组合。
具体实施时，采集机采集所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，对每个待监控流根据该待监控流的字段信息以及预先建立的模板，确定该待监控流的攻击类型，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立。其中数据包信息为字节数与数据包数的比值。
实施例中，采集机采集所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息后，使用netflow的流量汇总机制进行汇总。可以按待监控流的字段信息进行汇总，例如按源IP信息的TOPN汇总。在Netflow采集流量的基础上设置监控方案，提供城域网网络流量分析。在定义监控方案时，可以定义对单个目标IP的流量阀值，若发现某个IP的流量超阀值则触发进行安全分析动作。同时，可以定义IP地址白名单，忽略对某些IP总流量过大的流量告警。为保证安全分析的实时性，对安全应用下的流采集每1－2分钟切换一次文件进行安全分析处理。
实施例中，攻击类型可以分为Dos/DDos攻击和蠕虫攻击两大类，每一大类攻击类型又可以细分为多个攻击类型，见表1和表2，表1为Dos/DDos攻击大类下的攻击类型及每一攻击类型的字段信息，表2为蠕虫攻击大类下的攻击类型及每一攻击类型的字段信息，其中，表1是针对目的IP信息进行统计，表2是针对源IP信息进行统计。
表1
表2
实施例中，各个攻击类型之间一般为独立的攻击类型，但是攻击类型之间存在主从关系，主从关系判断逻辑如下：smurf优先于ICMP-Flood；fraggle优先于udp-flood；land优先于tcp-syn。例如同时指向smurf和ICMP-Flood的情况下，判断为smurf。
实施例中，对每个待监控流根据该待监控流的字段信息以及预先建立的模板，确定该待监控流的攻击类型，如果没有匹配到任何攻击类型，则缺省置为总流量过大类型(Total_traffic)。
具体实施时，采集机向控制机发送所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型。
实施例中，城域网网络流量分析方法，还包括：采集机接收控制机根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值反馈的每个待监控流的第一监控结果；采集机根据所述每个待监控流的第一监控结果，采集流文件。控制机根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值，各攻击类型的流量是否超过了第一流量阈值，如果超过了第一流量阈值，则认为是发生了该攻击类型的攻击，从而得到每个待监控流的第一监控结果，并反馈至采集机，采集机根据所述每个待监控流的第一监控结果，采集判断为发生该攻击类型攻击对应的待监控流的流文件。
本实施例中，上述流文件是指对每条攻击记录，需要记录的攻击流原始文件。控制机在生成攻击记录的同时，向各采集机下发攻击流原始记录收集指令，信息包括攻击类型和目的IP信息，采集机从原始文件中过滤出相应流信息，生成流文件。文件以攻击类型命名，将指定IP分组内有此攻击类型的流追加到攻击流原始文件中，对缺省总流量过大类型的攻击，则追加此分组下的所有流记录。
实施例中，采集机向控制机发送所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，包括：采集机在采集到所述一个或多个待监控流中每个待监控流的字段信息和流量信息后，先向控制机发送所述一个或多个待监控流中每个待监控流的字段信息和流量信息；在确定所述一个或多个待监控流中每个待监控流的攻击类型后，再向控制机发送所述一个或多个待监控流中每个待监控流的攻击类型；
其中，采集机确定所述一个或多个待监控流中每个待监控流的攻击类型，包括：采集机接收控制机根据所述一个或多个待监控流中每个待监控流的字段信息和流量信息，以及第二流量阈值反馈的每个待监控流的第二监控结果；对每个待监控流根据该待监控流的字段信息，第二监控结果以及预先建立的模板，确定该待监控流的攻击类型。
需要说明的是，采集机可以通过远程异步调用的方式触发控制机上的进程，同样的，控制机也可以通过远程异步调用的方式触发采集机上的进程。
实施例中，采集机对每个监控方案启动一个分析进程，按上面的方法进行分析。
基于同一发明构思，本发明实施例还提供了一种采集机，如下面的实施例所述。由于这些解决问题的原理与城域网网络流量分析方法相似，因此采集机的实施可以参见方法的实施，重复之处不再赘述。
图2为本发明实施例中采集机200的结构图，如图2所示，该采集机200包括：
条件接收模块201，用于接收控制机发送的待监控流筛选条件；
信息采集模块202，用于采集所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息；
类型确定模块203，用于对每个待监控流根据该待监控流的字段信息以及预先建立的模板，确定该待监控流的攻击类型，所述模板根据历史流的字段信息预先建立；
类型发送模块204，用于向控制机发送所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型。
一个实施例中，如图3所示，图2中的采集机200还包括：
第一结果接收模块205，用于接收控制机根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值反馈的每个待监控流的第一监控结果；
文件采集模块206，用于根据所述每个待监控流的第一监控结果，采集流文件。
一个实施例中，如图4所示，图2中的类型发送模块204进一步用于：
在采集到所述一个或多个待监控流中每个待监控流的字段信息和流量信息后，先向控制机发送所述一个或多个待监控流中每个待监控流的字段信息和流量信息；在确定所述一个或多个待监控流中每个待监控流的攻击类型后，再向控制机发送所述一个或多个待监控流中每个待监控流的攻击类型；
所述采集机200还包括：
第二结果接收模块207，用于接收控制机根据所述一个或多个待监控流中每个待监控流的字段信息和流量信息，以及第二流量阈值反馈的每个待监控流的第二监控结果；
所述类型确定模块203进一步用于：
对每个待监控流根据该待监控流的字段信息，第二监控结果以及预先建立的模板，确定该待监控流的攻击类型。
为了分析城域网网络流量，主动发现异常流量信息，有效降低成本，本发明实施例还提供了一种城域网网络流量分析方法，如图5所示，该方法包括：
步骤501、控制机向采集机发送待监控流筛选条件；
步骤502、控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，每个待监控流的攻击类型根据该待监控流的字段信息以及预先建立的模板确定，每个待监控流的字段信息和流量信息由所述采集机采集得到，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立；
步骤503、控制机根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值，生成每个待监控流的第一监控结果。
由图5所示可以得知，本发明实施例通过控制机向采集机发送待监控流筛选条件；控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，每个待监控流的攻击类型根据该待监控流的字段信息以及预先建立的模板确定，每个待监控流的字段信息和流量信息由所述采集机采集得到，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立；控制机根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值，生成每个待监控流的第一监控结果。本发明实施例无需被动等待接收被攻击对象投诉，通过控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，再结合第一流量阈值，生成每个待监控流的第一监控结果，从而主动发现异常流量信息，并且能够有效降低成本。
具体实施时，控制机向采集机发送待监控流筛选条件。
具体实施时，控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，每个待监控流的攻击类型根据该待监控流的字段信息以及预先建立的模板确定，每个待监控流的字段信息和流量信息由所述采集机采集得到，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立。
具体实施时，控制机根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值，生成每个待监控流的第一监控结果。
实施例中，控制机根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值，生成每个待监控流的第一监控结果为Damon进程，生成的每个待监控流的第一监控结果保存至数据库中。
实施例中，城域网网络流量分析方法还包括：
控制机向采集机发送所述每个待监控流的第一监控结果。
实施例中，控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，包括：
控制机先接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，根据所述一个或多个待监控流中每个待监控流的字段信息和流量信息，以及第二流量阈值，生成每个待监控流的第二监控结果；向采集机发送所述每个待监控流的第二监控结果之后，再接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的攻击类型，其中，待监控流筛选条件对应的一个或多个待监控流中每个待监控流的攻击类型根据该待监控流的字段信息，第二监控结果以及预先建立的模板确定。
本实施例中，控制机先接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，根据所述一个或多个待监控流中每个待监控流的字段信息和流量信息，以及第二流量阈值，选出流量大于第二流量阈值的一个或多个待监控流，从而生成每个待监控流的第二监控结果；向采集机发送所述每个待监控流的第二监控结果之后，再接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的攻击类型，其中，待监控流筛选条件对应的一个或多个待监控流中每个待监控流的攻击类型根据该待监控流的字段信息，第二监控结果以及预先建立的模板确定。其中，控制机中根据所述一个或多个待监控流中每个待监控流的字段信息和流量信息，以及第二流量阈值，生成每个待监控流的第二监控结果由CRON定时调用。
实施例中，将第一监控结果实时存入攻击记录表中，控制机在内存中维护当前攻击记录表，将新采集到的攻击记录和内存中已有的记录进行比较，比较关键字为被攻击IP+攻击类型。本实施例中，对采集新发现异常的IP地址的攻击记录记入内存表，并记录开始时间及攻击速率；对内存中已有的记录，并且本次采集异常依然存在，则更新平均速率、最大速率及最后采集时间；对内存中已有的记录，但在本次采集流量恢复正常，则在告警记录上记录结束时间并从内存清除。维护内存表的同时，同时更新数据库流量异常记录表。对异常流量的发生和清除要发syslog。
实施例中，可以对监控方案设置异常流量告警条件，告警分两类：总体流量告警和单个IP流量告警。总体流量告警可以对监控方案设置流量告警条件，包括大流量告警、小流量告警、流量突增告警、流量突减告警，其中大流量和小流量告警阀值根据流速(bps)进行设定，流量突增、突减告警根据增量速率进行设定。对单个IP流量告警，可以设定对单个IP的流量阀值(bps)，超过阀值则记入IP流量异常记录并生成告警。Netflow流量入库时，增加流量告警处理：根据告警条件设置的阀值对总流量进行比较，如果超阀值则生成告警，告警通过syslog发出。注意保存上一次的流量值以便进行增量告警。
基于同一发明构思，本发明实施例还提供了一种控制机，如下面的实施例所述。由于这些解决问题的原理与城域网网络流量分析方法相似，因此控制机的实施可以参见方法的实施，重复之处不再赘述。
图6为本发明实施例中控制机600的结构图，如图6所示，该控制机600包括：
条件发送模块601，用于向采集机发送待监控流筛选条件；
类型接收模块602，用于接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，每个待监控流的攻击类型根据该待监控流的字段信息以及预先建立的模板确定，每个待监控流的字段信息和流量信息由所述采集机采集得到，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立；
第一结果生成模块603，用于根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值，生成每个待监控流的第一监控结果。
一个实施例中，如图7所示，图6的控制机600还包括：
第一结果发送模块604，用于向采集机发送所述每个待监控流的第一监控结果，所述每个待监控流的第一监控结果根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值得到。
一个实施例中，如图8所示，图6的控制机600还包括：
第二结果生成模块605，用于根据所述一个或多个待监控流中每个待监控流的字段信息和流量信息，以及第二流量阈值，生成每个待监控流的第二监控结果；
第二结果发送模块606，用于向采集机发送所述每个待监控流的第二监控结果；
类型接收模块602进一步用于：
先接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，向采集机发送所述每个待监控流的第二监控结果之后，再接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的攻击类型，其中，待监控流筛选条件对应的一个或多个待监控流中每个待监控流的攻击类型根据该待监控流的字段信息，第二监控结果以及预先建立的模板确定。
为了分析城域网网络流量，主动发现异常流量信息，有效降低成本，本发明实施例还提供了一种城域网网络流量分析系统，如图9所示，该系统包括：上述采集机200和上述控制机600。
由图9所示可以得知，本发明实施例提供的城域网网络流量分析系统无需被动等待接收被攻击对象投诉，通过采集机采集待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，对每个待监控流根据该待监控流的字段信息以及预先建立的模板，可以确定该待监控流的攻击类型并发送给控制机，控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，再结合第一流量阈值，生成每个待监控流的第一监控结果，从而主动发现异常流量信息，并且能够有效降低成本。
下面给出一个具体实施例，说明本发明实施例中城域网网络流量分析方法的具体应用。在本具体实施例中，采集机上对每个监控方案启动一个分析进程。进行分析时，首先对方案按目标IP进行TOPN汇总，使用netflow的流量汇总机制进行汇总，netflow的结构图如图10所示，将汇总结果实时上传控制机，控制机接收采集机汇总结果后进行合并，结合第二流量阈值生成流量超阈值的IP列表，下发给采集机。采集机确定每个流的攻击类型，并为每个流打上攻击类型标签(可能有多个)，扫描结束后将每个IP符合每个攻击类型的流量汇总并上传至控制机，由控制机进行合并分析处理。控制机分析每种类型的攻击流量是否超过了第一流量阈值，若是则认为是发生了此种类型的攻击。若对某个IP发生了多种类型的攻击，则检查发生的攻击类型间是否有主从关系，如果有，则忽略从类型。如果没有匹配到任何类型，则缺省置为总流量过大类型(Total_traffic)。下面以攻击类型land为例，攻击类型识别(采集机):AttackTypeIdent.pl
输入数据 监控方案标识、时间点、IP列表、流采集原始文件
配置数据 监控方案
输出数据 指定IP的攻击流量分析结果文件
根据时间点参数确定要分析的流原始文件名称，文件目录为:$SetupDir/data/ftbak/；然后，扫描原始文件步骤如下：
1、生成临时配置文件于$setupdir/cfg/tmpIPFilter.cfg，内容如下：
filter-primitive test-ip-destination-address
type ip-address
permit 58.55.124.70
permit 58.55.124.71
permit 123.65.242.204
permit 211.155.13.101
default deny
filter-definition t1
match ip-destination-address test-ip-destination-address
其中上述地址为参数IP列表。
2、调用命令：/usr/local/netflow/bin//flow-nfilter-f$setupdir/cfg/filter监控方案标识.cfg-Ft1<原始文件|/usr/local/netflow/bin//flow-nfilter-f$setupdir/cfg/tmpIPFilter.cfg-F t1>Filtered监控方案标识.dat。
3、调用命令获取总流量数据，/slview/nms/netflow//c/bin/flow-pstat-f8-R0<Filtered监控方案标识.dat，返回数据如：
保存数据用于后面total_traffic部分；
4、命令为：/usr/local/netflow/bin//flow-nfilter-f$setupdir/cfg/TcpflagFilter.cfg-F t1<Filtered监控方案标识.dat|/slview/nms/netflow//c/bin/flow-pstat-f45-R0，返回数据如：
srcIPaddr dstIPaddr srcport dstport prot flows octets packets
222.43.164.70 58.55.124.70 1089 80 6 1000 52000 1000
124.201.156.120 58.55.124.71 49360 80 6 1000 52000 1000
逐行分析上述数据，如果protocol＝6，且srcip＝dstip，则识别为land类型攻击；如果protocol＝6，则为tcp-syn类型攻击；
TcpflagFilter.cfg：
filter-primitive test-tcp-flags
type ip-tcp-flags
mask 0x2
permit 0x2
filter-definition t1
match ip-tcp-flags test-tcp-flags
5、将总流量数据和识别数据写入目录：$setup/data/stat/下，名称为：ATK_方案ID_时间点.dat；文件的格式如下：
IP地址1<TAB>攻击类型代码1<TAB>流数<TAB>包数<TAB>字节数
IP地址1<TAB>攻击类型代码2<TAB>流数<TAB>包数<TAB>字节数
IP地址1<TAB>total_traffic<TAB>流数<TAB>包数<TAB>字节数
IP地址2<TAB>攻击类型代码1<TAB>流数<TAB>包数<TAB>字节数
IP地址2<TAB>攻击类型代码2<TAB>流数<TAB>包数<TAB>字节数
IP地址2<TAB>total_traffic<TAB>流数<TAB>包数<TAB>字节数
6、上传至控制机安全分析数据目录下本采集机IP对应的子目录中，使用scp或者ftp。
上述涉及的文件均需使用全路径，临时文件在程序结束前删除
综上所述，本发明实施例通过采集机接收控制机发送的待监控流筛选条件；采集机采集所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，对每个待监控流根据该待监控流的字段信息以及预先建立的模板，确定该待监控流的攻击类型，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立；采集机向控制机发送所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型。本发明实施例无需被动等待接收被攻击对象投诉，通过采集机采集待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，对每个待监控流根据该待监控流的字段信息以及预先建立的模板，可以确定该待监控流的攻击类型并发送给控制机，从而主动发现异常流量信息，并且能够有效降低成本。
本发明实施例通过控制机向采集机发送待监控流筛选条件；控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，每个待监控流的攻击类型根据该待监控流的字段信息以及预先建立的模板确定，每个待监控流的字段信息和流量信息由所述采集机采集得到，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立；控制机根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值，生成每个待监控流的第一监控结果。本发明实施例无需被动等待接收被攻击对象投诉，通过控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，再结合第一流量阈值，生成每个待监控流的第一监控结果，从而主动发现异常流量信息，并且能够有效降低成本。
本发明实施例提供的城域网网络流量分析系统无需被动等待接收被攻击对象投诉，通过采集机采集待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，对每个待监控流根据该待监控流的字段信息以及预先建立的模板，可以确定该待监控流的攻击类型并发送给控制机，控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，再结合第一流量阈值，生成每个待监控流的第一监控结果，从而主动发现异常流量信息，并且能够有效降低成本。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种城域网网络流量分析方法，其特征在于，包括：
采集机接收控制机发送的待监控流筛选条件；
采集机采集所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，对每个待监控流根据该待监控流的字段信息以及预先建立的模板，确定该待监控流的攻击类型，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立；
采集机向控制机发送所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型；
其中，该方法还包括：
在采集机采集所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息后，使用Netflow的流量汇总机制进行汇总；其中，按待监控流的字段信息进行汇总；
在Netflow采集流量的基础上设置监控方案，提供城域网网络流量分析；其中，监控方案中包含了待监控流筛选条件；在定义监控方案时，定义对单个目标IP的流量阀值，若发现某个IP的流量超阀值则触发进行安全分析动作；同时，定义IP地址白名单，忽略对某些IP总流量过大的流量告警；对安全应用下的流采集每1－2分钟切换一次文件进行安全分析处理；
对所述监控方案设置异常流量告警条件，告警分两类：总体流量告警和单个IP流量告警；总体流量告警对监控方案设置流量告警条件，包括大流量告警、小流量告警、流量突增告警、流量突减告警，其中大流量和小流量告警阀值根据流速进行设定，流量突增、突减告警根据增量速率进行设定；对单个IP流量告警，设定对单个IP的流量阀值，超过阀值则记入IP流量异常记录并生成告警；Netflow流量入库时，增加流量告警处理：根据告警条件设置的阀值对总流量进行比较，如果超阀值则生成告警，告警通过syslog发出；保存上一次的流量值，用于进行增量告警；
其中，控制机具体用于：
根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值，各攻击类型的流量是否超过了第一流量阈值，如果超过了第一流量阈值，则认为是发生了该攻击类型的攻击，从而得到每个待监控流的第一监控结果，并反馈至采集机，采集机根据所述每个待监控流的第一监控结果，采集判断为发生该攻击类型攻击对应的待监控流的流文件；
所述流文件是指对每条攻击记录，需要记录的攻击流原始文件；控制机在生成攻击记录的同时，向各采集机下发攻击流原始记录收集指令，信息包括攻击类型和目的IP信息，采集机从原始文件中过滤出相应流信息，生成流文件；文件以攻击类型命名，将指定IP分组内有此攻击类型的流追加到攻击流原始文件中，对缺省总流量过大类型的攻击，则追加此分组下的所有流记录；
所述控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，根据所述一个或多个待监控流中每个待监控流的字段信息和流量信息，以及第二流量阈值，选出流量大于第二流量阈值的一个或多个待监控流，从而生成每个待监控流的第二监控结果；向采集机发送所述每个待监控流的第二监控结果之后，再接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的攻击类型，其中，待监控流筛选条件对应的一个或多个待监控流中每个待监控流的攻击类型根据该待监控流的字段信息，第二监控结果以及预先建立的模板确定；其中，控制机中根据所述一个或多个待监控流中每个待监控流的字段信息和流量信息，以及第二流量阈值，生成每个待监控流的第二监控结果由CRON定时调用。
2.一种城域网网络流量分析方法，其特征在于，包括：
控制机向采集机发送待监控流筛选条件；
控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，每个待监控流的攻击类型根据该待监控流的字段信息以及预先建立的模板确定，每个待监控流的字段信息和流量信息由所述采集机采集得到，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立；
控制机根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值，生成每个待监控流的第一监控结果；
其中，所述采集机还用于：
在采集机采集所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息后，使用Netflow的流量汇总机制进行汇总；其中，按待监控流的字段信息进行汇总；
在Netflow采集流量的基础上设置监控方案，提供城域网网络流量分析；其中，监控方案中包含了待监控流筛选条件；在定义监控方案时，定义对单个目标IP的流量阀值，若发现某个IP的流量超阀值则触发进行安全分析动作；同时，定义IP地址白名单，忽略对某些IP总流量过大的流量告警；对安全应用下的流采集每1－2分钟切换一次文件进行安全分析处理；
对所述监控方案设置异常流量告警条件，告警分两类：总体流量告警和单个IP流量告警；总体流量告警对监控方案设置流量告警条件，包括大流量告警、小流量告警、流量突增告警、流量突减告警，其中大流量和小流量告警阀值根据流速进行设定，流量突增、突减告警根据增量速率进行设定；对单个IP流量告警，设定对单个IP的流量阀值，超过阀值则记入IP流量异常记录并生成告警；Netflow流量入库时，增加流量告警处理：根据告警条件设置的阀值对总流量进行比较，如果超阀值则生成告警，告警通过syslog发出；保存上一次的流量值，用于进行增量告警；
其中，控制机具体用于：
根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值，各攻击类型的流量是否超过了第一流量阈值，如果超过了第一流量阈值，则认为是发生了该攻击类型的攻击，从而得到每个待监控流的第一监控结果，并反馈至采集机，采集机根据所述每个待监控流的第一监控结果，采集判断为发生该攻击类型攻击对应的待监控流的流文件；
所述流文件是指对每条攻击记录，需要记录的攻击流原始文件；控制机在生成攻击记录的同时，向各采集机下发攻击流原始记录收集指令，信息包括攻击类型和目的IP信息，采集机从原始文件中过滤出相应流信息，生成流文件；文件以攻击类型命名，将指定IP分组内有此攻击类型的流追加到攻击流原始文件中，对缺省总流量过大类型的攻击，则追加此分组下的所有流记录；
所述控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，根据所述一个或多个待监控流中每个待监控流的字段信息和流量信息，以及第二流量阈值，选出流量大于第二流量阈值的一个或多个待监控流，从而生成每个待监控流的第二监控结果；向采集机发送所述每个待监控流的第二监控结果之后，再接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的攻击类型，其中，待监控流筛选条件对应的一个或多个待监控流中每个待监控流的攻击类型根据该待监控流的字段信息，第二监控结果以及预先建立的模板确定；其中，控制机中根据所述一个或多个待监控流中每个待监控流的字段信息和流量信息，以及第二流量阈值，生成每个待监控流的第二监控结果由CRON定时调用。
3.一种采集机，其特征在于，包括：
条件接收模块，用于接收控制机发送的待监控流筛选条件；
信息采集模块，用于采集所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息；
类型确定模块，用于对每个待监控流根据该待监控流的字段信息以及预先建立的模板，确定该待监控流的攻击类型，所述模板根据历史流的字段信息预先建立；
类型发送模块，用于向控制机发送所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型；
其中，所述采集机还用于：
在采集机采集所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息后，使用Netflow的流量汇总机制进行汇总；其中，按待监控流的字段信息进行汇总；
在Netflow采集流量的基础上设置监控方案，提供城域网网络流量分析；其中，监控方案中包含了待监控流筛选条件；在定义监控方案时，定义对单个目标IP的流量阀值，若发现某个IP的流量超阀值则触发进行安全分析动作；同时，定义IP地址白名单，忽略对某些IP总流量过大的流量告警；对安全应用下的流采集每1－2分钟切换一次文件进行安全分析处理；
对所述监控方案设置异常流量告警条件，告警分两类：总体流量告警和单个IP流量告警；总体流量告警对监控方案设置流量告警条件，包括大流量告警、小流量告警、流量突增告警、流量突减告警，其中大流量和小流量告警阀值根据流速进行设定，流量突增、突减告警根据增量速率进行设定；对单个IP流量告警，设定对单个IP的流量阀值，超过阀值则记入IP流量异常记录并生成告警；Netflow流量入库时，增加流量告警处理：根据告警条件设置的阀值对总流量进行比较，如果超阀值则生成告警，告警通过syslog发出；保存上一次的流量值，用于进行增量告警；
其中，控制机具体用于：
根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值，各攻击类型的流量是否超过了第一流量阈值，如果超过了第一流量阈值，则认为是发生了该攻击类型的攻击，从而得到每个待监控流的第一监控结果，并反馈至采集机，采集机根据所述每个待监控流的第一监控结果，采集判断为发生该攻击类型攻击对应的待监控流的流文件；
所述流文件是指对每条攻击记录，需要记录的攻击流原始文件；控制机在生成攻击记录的同时，向各采集机下发攻击流原始记录收集指令，信息包括攻击类型和目的IP信息，采集机从原始文件中过滤出相应流信息，生成流文件；文件以攻击类型命名，将指定IP分组内有此攻击类型的流追加到攻击流原始文件中，对缺省总流量过大类型的攻击，则追加此分组下的所有流记录；
所述控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，根据所述一个或多个待监控流中每个待监控流的字段信息和流量信息，以及第二流量阈值，选出流量大于第二流量阈值的一个或多个待监控流，从而生成每个待监控流的第二监控结果；向采集机发送所述每个待监控流的第二监控结果之后，再接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的攻击类型，其中，待监控流筛选条件对应的一个或多个待监控流中每个待监控流的攻击类型根据该待监控流的字段信息，第二监控结果以及预先建立的模板确定；其中，控制机中根据所述一个或多个待监控流中每个待监控流的字段信息和流量信息，以及第二流量阈值，生成每个待监控流的第二监控结果由CRON定时调用。
4.一种控制机，其特征在于，包括：
条件发送模块，用于向采集机发送待监控流筛选条件；
类型接收模块，用于接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，每个待监控流的攻击类型根据该待监控流的字段信息以及预先建立的模板确定，每个待监控流的字段信息和流量信息由所述采集机采集得到，所述待监控流的字段信息包括：源IP信息，目的IP信息，源端口信息，目的端口信息，协议信息，TCP标签信息，数据包信息，所述模板根据历史流的字段信息预先建立；
第一结果生成模块，用于根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值，生成每个待监控流的第一监控结果；
其中，所述采集机还用于：
在采集机采集所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息后，使用Netflow的流量汇总机制进行汇总；其中，按待监控流的字段信息进行汇总；
在Netflow采集流量的基础上设置监控方案，提供城域网网络流量分析；其中，监控方案中包含了待监控流筛选条件；在定义监控方案时，定义对单个目标IP的流量阀值，若发现某个IP的流量超阀值则触发进行安全分析动作；同时，定义IP地址白名单，忽略对某些IP总流量过大的流量告警；对安全应用下的流采集每1－2分钟切换一次文件进行安全分析处理；
对所述监控方案设置异常流量告警条件，告警分两类：总体流量告警和单个IP流量告警；总体流量告警对监控方案设置流量告警条件，包括大流量告警、小流量告警、流量突增告警、流量突减告警，其中大流量和小流量告警阀值根据流速进行设定，流量突增、突减告警根据增量速率进行设定；对单个IP流量告警，设定对单个IP的流量阀值，超过阀值则记入IP流量异常记录并生成告警；Netflow流量入库时，增加流量告警处理：根据告警条件设置的阀值对总流量进行比较，如果超阀值则生成告警，告警通过syslog发出；保存上一次的流量值，用于进行增量告警；
其中，控制机具体用于：
根据所述一个或多个待监控流中每个待监控流的字段信息，流量信息和攻击类型，以及第一流量阈值，各攻击类型的流量是否超过了第一流量阈值，如果超过了第一流量阈值，则认为是发生了该攻击类型的攻击，从而得到每个待监控流的第一监控结果，并反馈至采集机，采集机根据所述每个待监控流的第一监控结果，采集判断为发生该攻击类型攻击对应的待监控流的流文件；
所述流文件是指对每条攻击记录，需要记录的攻击流原始文件；控制机在生成攻击记录的同时，向各采集机下发攻击流原始记录收集指令，信息包括攻击类型和目的IP信息，采集机从原始文件中过滤出相应流信息，生成流文件；文件以攻击类型命名，将指定IP分组内有此攻击类型的流追加到攻击流原始文件中，对缺省总流量过大类型的攻击，则追加此分组下的所有流记录；
所述控制机接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的字段信息和流量信息，根据所述一个或多个待监控流中每个待监控流的字段信息和流量信息，以及第二流量阈值，选出流量大于第二流量阈值的一个或多个待监控流，从而生成每个待监控流的第二监控结果；向采集机发送所述每个待监控流的第二监控结果之后，再接收采集机发送的所述待监控流筛选条件对应的一个或多个待监控流中每个待监控流的攻击类型，其中，待监控流筛选条件对应的一个或多个待监控流中每个待监控流的攻击类型根据该待监控流的字段信息，第二监控结果以及预先建立的模板确定；其中，控制机中根据所述一个或多个待监控流中每个待监控流的字段信息和流量信息，以及第二流量阈值，生成每个待监控流的第二监控结果由CRON定时调用。
5.一种城域网网络流量分析系统，其特征在于，包括：采集机和控制机，其中所述采集机包括权利要求3所述的采集机，所述控制机包括权利要求4所述的控制机。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至2任一所述方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至2任一所述方法的计算机程序。
CN201911074546.0A 2019-11-06 2019-11-06 城域网网络流量分析方法及系统 Active CN112769740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911074546.0A CN112769740B (zh) 2019-11-06 2019-11-06 城域网网络流量分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911074546.0A CN112769740B (zh) 2019-11-06 2019-11-06 城域网网络流量分析方法及系统

Publications (2)

Publication Number Publication Date
CN112769740A CN112769740A (zh) 2021-05-07
CN112769740B true CN112769740B (zh) 2023-11-03

Family

ID=75692758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911074546.0A Active CN112769740B (zh) 2019-11-06 2019-11-06 城域网网络流量分析方法及系统

Country Status (1)

Country Link
CN (1) CN112769740B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102143143A (zh) * 2010-10-15 2011-08-03 华为数字技术有限公司 一种网络攻击的防护方法、装置及路由器
CN102932285A (zh) * 2012-10-26 2013-02-13 华为技术有限公司 报文封装方法、解析方法及装置
CN103227798A (zh) * 2013-04-23 2013-07-31 西安电子科技大学 一种免疫网络系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4759389B2 (ja) * 2006-01-10 2011-08-31 アラクサラネットワークス株式会社 パケット通信装置
US10673890B2 (en) * 2017-05-30 2020-06-02 Akamai Technologies, Inc. Systems and methods for automatically selecting an access control entity to mitigate attack traffic

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102143143A (zh) * 2010-10-15 2011-08-03 华为数字技术有限公司 一种网络攻击的防护方法、装置及路由器
CN102932285A (zh) * 2012-10-26 2013-02-13 华为技术有限公司 报文封装方法、解析方法及装置
CN103227798A (zh) * 2013-04-23 2013-07-31 西安电子科技大学 一种免疫网络系统

Also Published As

Publication number Publication date
CN112769740A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
US8001601B2 (en) Method and apparatus for large-scale automated distributed denial of service attack detection
CN108040057B (zh) 适于保障网络安全、网络通信质量的sdn系统的工作方法
US9130982B2 (en) System and method for real-time reporting of anomalous internet protocol attacks
JP4983671B2 (ja) トラフィック分析装置、トラフィック分析方法及びトラフィック分析システム
US11570107B2 (en) Method and system for triggering augmented data collection on a network device based on traffic patterns
US20070234425A1 (en) Multistep integrated security management system and method using intrusion detection log collection engine and traffic statistic generation engine
JP6168977B2 (ja) 異常なインターネットプロトコル攻撃のリアルタイム報告を行うシステム及び方法
JP2009171431A (ja) トラフィック分析装置、トラフィック分析方法及びトラフィック分析システム
JP4380710B2 (ja) トラフィック異常検出システム、トラフィック情報観測装置、及び、トラフィック情報観測プログラム
CN114124492B (zh) 一种网络流量异常检测和分析方法及装置
CN104794399A (zh) 一种基于海量程序行为数据的终端防护系统及方法
CN112769740B (zh) 城域网网络流量分析方法及系统
US7266088B1 (en) Method of monitoring and formatting computer network data
CN113596050B (zh) 异常流量的分离过滤方法、系统、存储介质及电子设备
EP3576365B1 (en) Data processing device and method
CN111431930A (zh) 流量清洗方法及相关设备
CN111277609A (zh) 一种sdn网络监控方法及系统
CN118413498B (zh) 数据传输方法、装置、电子设备及存储介质
JP4361570B2 (ja) パケット制御命令管理方法
CN118200002A (zh) 一种基于安全管道的流量监控方法
JP4894788B2 (ja) パケット通信装置、パケット通信方法及びプログラム
Lee et al. Alerts correlation system to enhance the performance of the network-based intrusion detection system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant