CN106506513A - 基于网络流量的防火墙策略数据分析装置及方法 - Google Patents

基于网络流量的防火墙策略数据分析装置及方法 Download PDF

Info

Publication number
CN106506513A
CN106506513A CN201611040928.8A CN201611040928A CN106506513A CN 106506513 A CN106506513 A CN 106506513A CN 201611040928 A CN201611040928 A CN 201611040928A CN 106506513 A CN106506513 A CN 106506513A
Authority
CN
China
Prior art keywords
data
access
mirror image
network traffics
firewall policy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611040928.8A
Other languages
English (en)
Inventor
王电钢
潘可佳
杨帆
杨懿
黄林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Sichuan Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Sichuan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Sichuan Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201611040928.8A priority Critical patent/CN106506513A/zh
Publication of CN106506513A publication Critical patent/CN106506513A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于网络流量的防火墙策略数据分析装置，包括：连接在交换机上，用以获得防火墙所有访问数据的镜像交换机；对镜像交换机获得的数据进行预处理并生成相应的txt文件进行存储的镜像流量采集服务器；根据MapReduce算法对数据进行分析归并以生成统计报表的分析装置，其可生成防火墙访问策略配置报表，为防火墙安全管理人员提供辅助决策作用，帮助工作人员对防火墙的策略配置的正确性进行判断，保证在信息系统的正常运行的情况下，提高其运行的安全性。

Description

基于网络流量的防火墙策略数据分析装置及方法
技术领域
本发明涉及一种基于网络流量的防火墙策略数据分析装置及方法。
背景技术
国网各省电力公司营销业务应用信息系统是面向全省的集中化系统，其访问量大，使用人数多，尤其是四川这个人口大省。大量的访问，给系统造成了系统安全防护上的一些缺陷。如何配置一条正确的防火墙安全策略？如何确定防火墙上的安全策略配置是否正确？是当前营销系统防火墙安全亟需解决的两个问题。
发明内容
本发明为了解决上述技术问题提供一种基于网络流量的防火墙策略数据分析装置及方法，其可生成防火墙访问策略配置报表，为防火墙安全管理人员提供辅助决策作用，帮助工作人员对防火墙的策略配置的正确性进行判断，保证在信息系统的正常运行的情况下，提高其运行的安全性。
本发明通过下述技术方案实现：
基于网络流量的防火墙策略数据分析装置，包括：连接在交换机上，用以获得防火墙所有访问数据的镜像交换机；对镜像交换机获得的数据进行预处理并生成相应的txt文件进行存储的镜像流量采集服务器；根据MapReduce算法对数据进行分析归并以生成统计报表的分析装置。本方案的镜像交换机通过在交换机上建立一旁路镜像，对防火墙访问数据的实时采集，由于通过镜像流量采集到的数据都是以txt文件进行存储，故对镜像数据进行预处理，将数据变换为适合数据分析的形式，分析装置对数据进行归并分析生成统计报表，即防火墙访问策略配置报表，为防火墙安全管理人员提供辅助决策作用，帮助工作人员对防火墙的策略配置的正确性进行判断，保证在信息系统的正常运行的情况下，提高其运行的安全性。
作为优选，所述镜像流量采集服务器将数据存储在分布式存储器中。
基于网络流量的防火墙策略数据分析方法，包括以下步骤：
步骤1、建立防火墙访问数据入口及出口的旁路镜像，对防火墙所有访问数据进行实时采集；
步骤2、对镜像数据格式进行预处理、提取特征矢量后以报文的形式进行存储；
步骤3、采用分布式计算框架对数据进行分析。
作为优选，在步骤3中，分析的过程具体包括：过滤非IPv4格式的访问流量、过滤不符合源IP前缀格式的访问数据、提取访问源IP数据及被访问的目的IP数据、根据访问IP或被访问IP的一致性规则对数据进行归并。
作为优选，所述过滤非IPv4格式的访问流量具体为：将IPv4格式的数据归并为某一掩码的子网，识别流量中格式为IPv4的数据，然后将子网间的流量进行归并，对非IPv4格式的访问流量进行过滤。
进一步的，所述过滤不符合前缀的访问数据具体为：利用输入IPv4的前缀进行具体分析，过滤不符合前缀的访问数据流量。
进一步的，对数据进行归并通过mapreduce算法完成。
作为优选，所述步骤2中，利用数据平滑、数据概化、离散化特征值技术对镜像数据进行预处理。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明通过在交换机上建立一旁路镜像，对防火墙访问数据的实时采集，最终生成防火墙访问策略配置报表，为防火墙安全管理人员提供辅助决策作用，帮助工作人员对防火墙的策略配置的正确性进行判断，保证在信息系统的正常运行的情况下，提高其运行的安全性。。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1所示基于网络流量的防火墙策略数据分析装置，包括：
镜像交换机，连接在交换机上，获得防火墙所有访问数据；
镜像流量采集服务器，对镜像交换机获得的数据进行预处理并生成相应的txt文件进行存储；
分析装置，根据MapReduce算法对数据进行分析归并以生成统计报表。
为了便于在大规模数据条件下的流量数据快速分析，镜像流量采集服务器将数据存储在分布式存储器中。
实施例2
基于网络流量的防火墙策略数据分析方法，包括以下步骤：
步骤1、建立防火墙访问数据入口及出口的旁路镜像，对防火墙所有访问数据进行实时采集；
步骤2、对镜像数据格式进行预处理、提取特征矢量后以报文的形式进行存储；
步骤3、采用分布式计算框架对数据进行分析。
在步骤3中，分析的过程具体包括：1.过滤非IPv4格式的访问流量；2.过滤不符合前缀的访问数据，比如，防火墙规则中需设置对目的IP访问的源IP前缀格式，譬如为192.168.15.*，则凡是不符合源IP前缀格式的所有访问地址均会被防火墙进行过滤，禁止访问；3.提取访问源IP数据及被访问的目的IP数据；4.根据访问IP或被访问IP的一致性规则对数据进行归并。
所述过滤非IPv4格式的访问流量具体为：将IPv4格式的数据归并为某一掩码的子网，识别流量中格式为IPv4的数据，然后将子网间的流量进行归并，对非IPv4格式的访问流量进行过滤。
所述过滤不符合前缀的访问数据具体为：利用输入IPv4的前缀进行具体分析，过滤不符合前缀的访问数据流量。
所述步骤2中，利用数据平滑、数据概化、离散化特征值技术对镜像数据进行预处理。
下面以四川省电力公司营销系统防火墙的实例对本方案的方法进行详细说明。
如图1所示，因为防火墙的所有数据都会经过交换机，在交换机上建立一旁路镜像，镜像交换机对防火墙访问数据的实时采集后发送到镜像流量采集服务器，镜像流量采集服务器对该数据进行预处理并生成相应的txt文件进行存储，然后定时将数据传送到分布式存储器，完成数据采集。
预处理主要采用数据平滑、数据概化、离散化特征值等理论与技术进行预处理。
分析装置根据MapReduce算法对数据进行分析归并以生成统计报表。整个分析过程被分为过滤非IPv4格式的访问流量、过滤不符合前缀的访问数据、提取访问涉及的两个IP数据、对数据进行归并四大过程。
过滤非IPv4格式的访问流量即根据国网网络分配要求，IPv4格式的数据子网掩码均为255.255.255.0,因此，可以将IPv4格式的数据归并成掩码为255.255.255.0的子网，识别流量中格式为IPv4的数据，然后将子网间的流量进行归并，对非IPv4格式的访问流量进行过滤，为进一步验证提供基础。
过滤不符合前缀的访问数据即利用输入IPv4的前缀进行具体分析，过滤不符合前缀的访问数据流量。
根据客户端输入条件即提取访问设计的两个IP数据，为数据归并统计提供数据源。
对数据进行归即由于整个分析的中心思想即为数据归并，贯穿整个分析模型的计算框架即为MapReduce算法。整个分析过程中共产生两次mapreduce操作。第一次mapreduce操作是以获取的镜像文件中的网关为key值，以所有IP为value值，进行mapreduce操作后，生成以255.255.255.0为网关的key1值，以IPv4为value1值，作为下次进行mapreduce操作的数据源；第二次mapreduce操作则是以255.255.255.0的网关为key值，以IPv4为value值，与客户端输入的源IP条件、目的IP条件、访问端口号进行对比，进行map操作，提取出符合条件的IP及端口信息，最后通过reduce操作，对源IP相同或目的IP相同的结果进行归并，统计出IP访问次数或被访问次数，并生成统计报表。而该报表则会成为安全操作人员进行正确配置防火墙策略的一个重要判断依据。
由于MapReduce计算框架中将涉及到shuffle操作，而shuffle操作涉及到了大量的磁盘读写和网络传输，故在传统的Hadoop架构下运行会拖慢整个分析程序的执行效率效率。因此为了减小shuffle对程序执行效率的影响，在模型设计中，四川省电力公司加入了Spark分布式内存计算技术。由于Spark将大量的运算过程都存放到内存中计算，因此大幅度的减少了对磁盘的读写操作。从而提升了程序执行效率。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于网络流量的防火墙策略数据分析装置，其特征在于，包括：
镜像交换机，连接在交换机上，获得防火墙所有访问数据；
镜像流量采集服务器，对镜像交换机获得的数据进行预处理并生成相应的txt文件进行存储；
分析装置，根据MapReduce算法对数据进行分析归并以生成统计报表。
2.根据权利要求1所述的基于网络流量的防火墙策略数据分析装置，其特征在于：。所述镜像流量采集服务器将数据存储在分布式存储器中。
3.基于网络流量的防火墙策略数据分析方法，其特征在于，包括以下步骤：
步骤1、建立防火墙访问数据入口及出口的旁路镜像，对防火墙所有访问数据进行实时采集；
步骤2、对镜像数据格式进行预处理、提取特征矢量后以报文的形式进行存储；
步骤3、采用分布式计算框架对数据进行分析。
4.根据权利要求3所述的基于网络流量的防火墙策略数据分析方法，其特征在于：在步骤3中，分析的过程具体包括：过滤非IPv4格式的访问流量、过滤不符合源IP前缀格式的访问数据、提取访问源IP数据及被访问的目的IP数据、根据访问IP或被访问IP的一致性规则对数据进行归并。
5.根据权利要求4所述的基于网络流量的防火墙策略数据分析方法，其特征在于：所述过滤非IPv4格式的访问流量具体为：将IPv4格式的数据归并为某一掩码的子网，识别流量中格式为IPv4的数据，然后将子网间的流量进行归并，对非IPv4格式的访问流量进行过滤。
6.根据权利要求4所述的基于网络流量的防火墙策略数据分析方法，其特征在于：所述过滤不符合前缀的访问数据具体为：利用输入IPv4的前缀进行具体分析，过滤不符合前缀的访问数据流量。
7.根据权利要求4所述的基于网络流量的防火墙策略数据分析方法，其特征在于：对数据进行归并通过mapreduce算法完成。
8.根据权利要求3所述的基于网络流量的防火墙策略数据分析方法，其特征在于：所述步骤2中，利用数据平滑、数据概化、离散化特征值技术对镜像数据进行预处理。
CN201611040928.8A 2016-11-21 2016-11-21 基于网络流量的防火墙策略数据分析装置及方法 Pending CN106506513A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611040928.8A CN106506513A (zh) 2016-11-21 2016-11-21 基于网络流量的防火墙策略数据分析装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611040928.8A CN106506513A (zh) 2016-11-21 2016-11-21 基于网络流量的防火墙策略数据分析装置及方法

Publications (1)

Publication Number Publication Date
CN106506513A true CN106506513A (zh) 2017-03-15

Family

ID=58328244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611040928.8A Pending CN106506513A (zh) 2016-11-21 2016-11-21 基于网络流量的防火墙策略数据分析装置及方法

Country Status (1)

Country Link
CN (1) CN106506513A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804040A (zh) * 2018-06-05 2018-11-13 上海孚典智能科技有限公司 基于内核旁路技术的Hadoop map-reduce计算加速方法
CN112241535A (zh) * 2020-10-20 2021-01-19 福建奇点时空数字科技有限公司 一种基于流量数据分析的服务器安全策略配置方法
CN112311791A (zh) * 2020-10-29 2021-02-02 贵州电网有限责任公司 一种适用于办公业务流量的统计方法及系统
CN112565023A (zh) * 2020-12-28 2021-03-26 广州西麦科技股份有限公司 一种基于Telemetry流量采集技术的流量可视化系统和方法
CN112800142A (zh) * 2020-12-15 2021-05-14 赛尔网络有限公司 Mr作业处理方法、装置、电子设备及存储介质
CN114430337A (zh) * 2021-12-23 2022-05-03 深圳铸泰科技有限公司 物联网中基于网络流量的防火墙策略的梳理方法及系统
CN114465771A (zh) * 2021-12-30 2022-05-10 奇安信科技集团股份有限公司 基于防火墙流量自动推荐安全策略的方法、装置及防火墙
CN114745143A (zh) * 2020-12-23 2022-07-12 息象(北京)科技发展有限公司 一种访问控制策略自动生成方法及装置
WO2023040303A1 (zh) * 2021-09-16 2023-03-23 华为云计算技术有限公司 网络流量控制方法以及相关系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414927A (zh) * 2008-11-20 2009-04-22 浙江大学 用于内网网络攻击检测的报警和响应系统
CN102075365A (zh) * 2011-02-15 2011-05-25 中国工商银行股份有限公司 一种网络攻击源定位及防护的方法、装置
CN102082836A (zh) * 2009-11-30 2011-06-01 中国移动通信集团四川有限公司 一种dns安全监控系统及方法
CN102761450A (zh) * 2012-08-07 2012-10-31 北京鼎震科技有限责任公司 一种网站分析系统及方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414927A (zh) * 2008-11-20 2009-04-22 浙江大学 用于内网网络攻击检测的报警和响应系统
CN102082836A (zh) * 2009-11-30 2011-06-01 中国移动通信集团四川有限公司 一种dns安全监控系统及方法
CN102075365A (zh) * 2011-02-15 2011-05-25 中国工商银行股份有限公司 一种网络攻击源定位及防护的方法、装置
CN102761450A (zh) * 2012-08-07 2012-10-31 北京鼎震科技有限责任公司 一种网站分析系统及方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肖淇 等: "一种基于MapReduce的防火墙策略冲突并行化检测及消解模型", 《计算机科学》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804040A (zh) * 2018-06-05 2018-11-13 上海孚典智能科技有限公司 基于内核旁路技术的Hadoop map-reduce计算加速方法
CN108804040B (zh) * 2018-06-05 2020-07-07 上海孚典智能科技有限公司 基于内核旁路技术的Hadoop map-reduce计算加速方法
CN112241535A (zh) * 2020-10-20 2021-01-19 福建奇点时空数字科技有限公司 一种基于流量数据分析的服务器安全策略配置方法
CN112311791A (zh) * 2020-10-29 2021-02-02 贵州电网有限责任公司 一种适用于办公业务流量的统计方法及系统
CN112800142A (zh) * 2020-12-15 2021-05-14 赛尔网络有限公司 Mr作业处理方法、装置、电子设备及存储介质
CN112800142B (zh) * 2020-12-15 2023-08-08 赛尔网络有限公司 Mr作业处理方法、装置、电子设备及存储介质
CN114745143A (zh) * 2020-12-23 2022-07-12 息象(北京)科技发展有限公司 一种访问控制策略自动生成方法及装置
CN112565023A (zh) * 2020-12-28 2021-03-26 广州西麦科技股份有限公司 一种基于Telemetry流量采集技术的流量可视化系统和方法
WO2023040303A1 (zh) * 2021-09-16 2023-03-23 华为云计算技术有限公司 网络流量控制方法以及相关系统
CN114430337A (zh) * 2021-12-23 2022-05-03 深圳铸泰科技有限公司 物联网中基于网络流量的防火墙策略的梳理方法及系统
CN114465771A (zh) * 2021-12-30 2022-05-10 奇安信科技集团股份有限公司 基于防火墙流量自动推荐安全策略的方法、装置及防火墙
CN114465771B (zh) * 2021-12-30 2024-04-05 奇安信科技集团股份有限公司 基于防火墙流量自动推荐安全策略的方法、装置及防火墙

Similar Documents

Publication Publication Date Title
CN106506513A (zh) 基于网络流量的防火墙策略数据分析装置及方法
CN109271793B (zh) 物联网云平台设备类别识别方法及系统
CN106330602B (zh) 一种云计算虚拟租户网络监控方法及系统
CN107404400A (zh) 一种网络态势感知实现方法及装置
US20140020100A1 (en) Detecting network anomaly
CN102932195B (zh) 一种基于网络协议分析的业务分析监控方法及系统
CN109495508A (zh) 基于服务访问数据的防火墙配置方法
CN108964960A (zh) 一种告警事件的处理方法及装置
CN110719194B (zh) 一种网络数据的分析方法及装置
DE112010003099B4 (de) Erkennung gering ausgelasteter netzeinheiten
CN105337951A (zh) 对系统攻击进行路径回溯的方法与装置
CN103067218B (zh) 一种高速网络数据包内容分析装置
CN107579874A (zh) 一种检测流量采集设备数据采集漏报的方法及装置
CN106027406A (zh) 基于Netflow的NS3仿真系统流量导入方法
CN104883363A (zh) 异常访问行为分析方法及装置
CN113542074B (zh) 一种可视化管理kubernetes集群的东西向网络流量的方法及系统
CN106899443A (zh) 一种Netflow流量数据的采集方法和设备
CN104079545A (zh) 一种提取数据包过滤规则的方法、装置和系统
CN104994076A (zh) 一种基于机器学习的日常访问模型实现方法及系统
CN106780248A (zh) 基于大数据技术的城市物联网设备运营控制系统及方法
DE112019002585T5 (de) Datenebene mit heavy-hitter-detektor
CN112805984B (zh) 用于部署增量网络更新的系统
CN114598499B (zh) 结合业务应用的网络风险行为分析方法
CN110071843B (zh) 一种基于流路径分析的故障定位方法及装置
Cao et al. Research on comprehensive performance simulation of communication IP network based on OPNET

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170315