CN106034056B - 一种业务安全分析的方法和系统 - Google Patents

一种业务安全分析的方法和系统 Download PDF

Info

Publication number
CN106034056B
CN106034056B CN201510119606.1A CN201510119606A CN106034056B CN 106034056 B CN106034056 B CN 106034056B CN 201510119606 A CN201510119606 A CN 201510119606A CN 106034056 B CN106034056 B CN 106034056B
Authority
CN
China
Prior art keywords
data
netflow
netflow data
flow
session
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510119606.1A
Other languages
English (en)
Other versions
CN106034056A (zh
Inventor
郜小亮
张延佳
胡盛华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Venus Information Security Technology Co Ltd
Beijing Venus Information Technology Co Ltd
Original Assignee
Beijing Venus Information Security Technology Co Ltd
Beijing Venus Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Venus Information Security Technology Co Ltd, Beijing Venus Information Technology Co Ltd filed Critical Beijing Venus Information Security Technology Co Ltd
Priority to CN201510119606.1A priority Critical patent/CN106034056B/zh
Publication of CN106034056A publication Critical patent/CN106034056A/zh
Application granted granted Critical
Publication of CN106034056B publication Critical patent/CN106034056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种业务安全分析的方法和系统,包括:接收网络设备发送的Netflow数据,同时主动采集全网络流量数据;对采集的流量数据进行解析并生成Netflow数据;并对获得的Netflow数据进行流量过滤、流量聚合和特征提取,对经过流量过滤、流量聚合和特征提取操作后的Netflow数据使用威胁检测技术进行威胁检测,将检测结果保存到黑、白、灰名单中,并以业务视图的形式展现Netflow数据的检测结果;结合业务数据对检测结果进行关联分析,实时获取业务系统的安全状态。通过本发明的方案,能够在复杂网络环境中,对异常流量进行精确分析。

Description

一种业务安全分析的方法和系统
技术领域
本发明涉及计算机系统集成及应用技术,尤其涉及一种业务安全分析的方法和系统。
背景技术
计算机网络和移动互联网应用的快速发展,给社会工作和生活带来极大便利。与之相对应企业网络也变得越来越负责,各种网络安全问题所造成的威胁和损失也越来越大。随着网络规模的不断扩大,攻击手段越来越多样,特别是近年来高级持续性威胁APT攻击越来越普遍,企业网络面临越来越多的内外部威胁,传统安全检测设备如防火墙、入侵检测系统IDS等在威胁检测方面表现出来很多不足:
1、防火墙、IDS等安全设备无法有效检测内部网络的安全威胁,如果要检测内部威胁,需要在不同网络区域部署节点,成本较高。
2、IDS等基于规则的检测手段无法及时发现0day攻击。
3、IDS基于深度包检测的技术,无法应对大规模网络的数据流量。
发明内容
为了解决上述问题,本发明提出了一种业务安全分析的方法和系统,能够在复杂网络环境中,对异常流量进行精确分析。
为了达到上述目的,本发明提出了一种业务安全分析的方法,该方法包括:
接收网络设备发送的网络流Netflow数据,同时主动采集全网络流量数据;对采集的流量数据进行解析并生成Netflow数据;并对获得的Netflow数据进行流量过滤、流量聚合和特征提取,对经过流量过滤、流量聚合和特征提取操作后的Netflow数据使用威胁检测技术进行威胁检测,将检测结果 保存到黑、白、灰名单中,并以业务视图的形式展现Netflow数据的检测结果;结合业务数据对检测结果进行关联分析,实时获取业务系统的安全状态。
优选地,
接收网络设备发送的Netflow数据是指:对于支持发送Netflow的网络设备,直接以用户数据报协议UDP包的方式接收网络设备发送的Netflow数据。
主动采集全网络流量数据是指:对于应用服务的流量数据,通过网络抓包方式主动从物理层采集全网络流量数据。
对采集的流量数据进行解析是指:对流量数据的会话重组和应用层协议解析。
优选地,对Netflow数据进行流量过滤是指:以系统配置的方式,采用预先配置的过滤条件对不需要分析的流数据进行过滤;过滤条件包括:源IP、目的IP、源端口范围、目的端口范围、网络协议类型、应用协议类型和报文长度。
优选地,对Netflow数据进行流量聚合是指:为采集的Netflow数据以源互联协议IP、目的IP、源端口、目的端口、应用协议的组合为会话特征创建一个会话,并为创建的每一个会话分配一个会话身份标记ID,在内存中创建以会话ID为主键的哈希表,实时采集新的Netflow数据,并基于会话特征为新的Netflow数据创建新的会话,将创建的会话的数据信息定时存储到数据库中,并分别以预定的第一时间、第二时间、第三时间为周期,设置三个统计周期,对数据库中存储的会话信息进行持续地统计。
其中,第一时间为5分钟、第二时间为1小时,第三时间为1天。
优选地,对Netflow数据进行特征提取是指:基于对流量数据的会话重组和应用层协议解析,对获得的Netflow数据进行分析,获得单个会话连接的源IP、目的IP、源端口、目的端口、协议、持续时间、包字节数、总字节数。
其中,获得单个会话连接的源IP、目的IP包括:提取过去一段时间内连接同一个源IP的目的IP数和过去一段时间内连接同一个目的IP的源IP 数,以及同一个源IP和同一个目的IP之间的连接数。
优选地,使用威胁检测技术对Netflow数据进行威胁检测,将检测结果保存到黑、白、灰名单中是指:
使用一种或多种威胁检测技术对Netflow数据进行威胁检测,将具有威胁的Netflow数据的信息保存到黑名单中,将不具有威胁的Netflow数据的信息保存到白名单中,将不能判定Netflow数据是否具有威胁和/或需要进一步判断Netflow数据是否具有威胁的Netflow数据的信息保存到灰名单中。
其中,威胁检测技术包括:基于规则的静态检测方式、基于安全信誉库的检测方式、基于行为基线的动态检测方式。
优选地,以业务视图的形式展现Netflow数据的检测结果是指:通过网络拓扑可视化技术展现整体业务视图,以直观可视化的方式展示Netflow数据在业务内各节点间的分布情况,并将检测到的安全威胁实时展现在整体业务视图的业务拓扑中。
本发明还提出一种业务安全分析的系统,该系统包括:数据采集模块、流量过滤模块、流量聚合模块、特征提取模块、威胁检测模块、展示模块和分析模块。
数据采集模块,用于接收网络设备发送的Netflow数据,同时主动采集全网络流量数据;对采集的流量数据进行解析并生成Netflow数据。
流量过滤模块,用于对Netflow数据进行流量过滤。
流量聚合模块,用于对Netflow数据进行流量聚合。
特征提取模块,用于对Netflow数据进行特征提取。
威胁检测模块,用于对经过流量过滤、流量聚合和特征提取操作后的Netflow数据使用威胁检测技术进行威胁检测,将检测结果保存到黑、白、灰名单中。
展示模块,用于以业务视图的形式展现Netflow数据的检测结果。
分析模块,用于结合业务数据对检测结果进行关联分析,实时获取业务 系统的安全状态。
优选地,
接收网络设备发送的Netflow数据是指:对于支持发送Netflow的网络设备,直接以用户数据报协议UDP包的方式接收网络设备发送的Netflow数据。
主动采集全网络流量数据是指:对于应用服务的流量数据,通过网络抓包方式主动从物理层采集全网络流量数据。
对采集的所述流量数据进行解析是指:对流量数据的会话重组和应用层协议解析。
优选地,流量过滤模块对Netflow数据进行流量过滤是指:流量过滤模块以系统配置的方式,采用预先配置的过滤条件对不需要分析的流数据进行过滤;过滤条件包括:源IP、目的IP、源端口范围、目的端口范围、网络协议类型、应用协议类型和报文长度。
优选地,流量聚合模块对Netflow数据进行流量聚合是指:流量聚合模块为采集的Netflow数据以源IP、目的IP、源端口、目的端口、应用协议的组合为会话特征创建一个会话,并为创建的每一个会话分配一个会话ID,在内存中创建以会话ID为主键的哈希表,实时采集新的Netflow数据,并基于所述会话特征为新的Netflow数据创建新的会话,将创建的会话的数据信息定时存储到数据库中,并分别以预定的第一时间、第二时间、第三时间为周期,设置三个统计周期,对数据库中存储的会话信息进行持续地统计。
其中,第一时间为5分钟、第二时间为1小时,第三时间为1天。
优选地,特征提取模块对Netflow数据进行特征提取是指:特征提取模块基于对流量数据的会话重组和应用层协议解析,对获得的Netflow数据进行分析,获得单个会话连接的源IP、目的IP、源端口、目的端口、协议、持续时间、包字节数、总字节数。
其中,获得单个会话连接的源IP、目的IP包括:提取过去一段时间内连接同一个源IP的目的IP数和过去一段时间内连接同一个目的IP的源IP数,以及同一个源IP和同一个目的IP之间的连接数。
优选地,威胁检测模块使用威胁检测技术对Netflow数据进行威胁检测,将检测结果保存到黑、白、灰名单中是指:
威胁检测模块使用一种或多种威胁检测技术对Netflow数据进行威胁检测,将具有威胁的Netflow数据的信息保存到黑名单中,将不具有威胁的Netflow数据的信息保存到白名单中,将不能判定Netflow数据是否具有威胁和/或需要进一步判断Netflow数据是否具有威胁的Netflow数据的信息保存到灰名单中。
其中,威胁检测技术包括:基于规则的静态检测方式、基于安全信誉库的检测方式、基于行为基线的动态检测方式。
优选地,展示模块以业务视图的形式展现Netflow数据的检测结果是指:展示模块通过网络拓扑可视化技术展现整体业务视图,以直观可视化的方式展示Netflow数据在业务内各节点间的分布情况,并将检测到的安全威胁实时展示在整体业务视图的业务拓扑中。
与现有技术相比,本发明包括:接收网络设备发送的Netflow数据,同时主动采集全网络流量数据;对采集的流量数据进行解析并生成Netflow数据;并对获得的Netflow数据进行流量过滤、流量聚合和特征提取,对经过流量过滤、流量聚合和特征提取操作后的Netflow数据使用威胁检测技术进行威胁检测,将检测结果保存到黑、白、灰名单中,并以业务视图的形式展现Netflow数据的检测结果;结合业务数据对检测结果进行关联分析,实时获取业务系统的安全状态。通过本发明的方案,能够在复杂网络环境中,对异常流量进行精确分析。
附图说明
下面对本发明实施例中的附图进行说明,实施例中的附图是用于对本发明的进一步理解,与说明书一起用于解释本发明,并不构成对本发明保护范围的限制。
图1为本发明的业务安全分析方法流程图;
图2为传统的传输控制协议TCP会话建立过程;
图3为传统的基于行为基线的动态检测方法示意图;
图4为本发明的业务安全分析系统框图。
具体实施方式
为了便于本领域技术人员的理解,下面结合附图对本发明作进一步的描述,并不能用来限制本发明的保护范围。
针对传统安全检测设备如防火墙、入侵检测系统IDS等在威胁检测方面表现出来的很多不足,采用基于网络流Netflow技术的安全分析技术,并结合大数据统计、异常检测等技术,可提供更为及时有效的解决方案。
Netflow技术最早于1996年由Cisco公司发明,应用于Cisco的路由器和交换机产品,记录端到端的访问信息,是一种对流经网络设备的IP数据流进行特征分析和测量的技术手段。
但传统的基于Cisco专利的Netflow技术通常应用于网络性能分析,只分析传输控制协议/互联协议TCP/IP的第四层信息,对应用层业务数据无能为力。Netflow基于抽样技术,无法描述一次完整的会话数据,而会话信息是安全分析的一个重要元素。为了解决这些问题,本发明扩展了Netflow信息的采集方式,通过对应用层协议进行解析,对TCP连接进行会话重组和特征提取,解决了在复杂网络环境中,对异常流量进行精确分析的问题。本发明提供的一种基于扩展Netflow进行流量采集、特征提取和异常检测的技术,能够对业务应用的流量进行采集、存储、分析,从中发现潜在的安全威胁。
具体地,本发明提出了一种业务安全分析的方法,如图1所示,该方法包括:
S101、接收网络设备发送的Netflow数据,同时主动采集全网络流量数据;对采集的流量数据进行解析并生成Netflow数据。
优选地,
接收网络设备发送的Netflow数据是指:对于支持发送Netflow的网络设备,直接以用户数据报协议UDP包的方式接收网络设备发送的Netflow数据。
主动采集全网络流量数据是指:对于应用服务的流量数据,通过网络抓包方式主动从物理层采集全网络流量数据。
对采集的流量数据进行解析是指:对流量数据的会话重组和应用层协议解析。
在本发明的方案中,数据采集的方式分为两种:对于支持发送Netflow的设备,直接以UDP包方式接收网络设备发送的Netflow数据。对于应用服务的流量,通过物理层抓包方式主动采集Netflow数据。为了进行更深入的安全分析,在将数据包Packet转换为Netflow时,对Netflow v5的字段进行了扩展,扩展部分如下表所示:
Figure BDA0000684291080000071
Figure BDA0000684291080000081
S102、对获得的Netflow数据进行流量过滤、流量聚合和特征提取。
优选地,对Netflow数据进行流量过滤是指:以系统配置的方式,采用预先配置的过滤条件对不需要分析的流数据进行过滤;过滤条件包括:源IP、目的IP、源端口范围、目的端口范围、网络协议类型、应用协议类型和报文长度。其中,过滤规则由用户通过上述过滤条件动态配置。
优选地,对Netflow数据进行流量聚合是指:为采集的Netflow数据以源IP、目的IP、源端口、目的端口、应用协议的组合为会话特征创建一个会话,并为创建的每一个会话分配一个会话身份标记ID,在内存中创建以会话ID为主键的哈希表,实时采集新的Netflow数据,并基于会话特征为新的Netflow数据创建新的会话,将创建的会话的数据信息定时存储到数据库中,并分别以预定的第一时间、第二时间、第三时间为周期,设置三个统计周期,对数据库中存储的会话信息进行持续地统计。
其中,第一时间为5分钟、第二时间为1小时,第三时间为1天。
网络数据传输过程中,通信的两端会通过相同的源端口、目的端口持续进行数据传输,如图2所示,客户端到服务器端的一次会话必须通过三次握手建立连接,退出会话时必须断开连接。Netflow数据中并不包含会话信息,所以系统在接收到Netflow数据时,重组会话信息,以源IP、目的IP、源端口、目的端口、应用协议的组合计算一个会话ID,创建一个会话,在内存中创建以会话ID为主键的哈希表,接收并聚合解析后的流量数据,会话数据定时存储到数据库中,并以5分钟、1小时、1天为周期进行持续的聚合统计。
优选地,对Netflow数据进行特征提取是指:基于对流量数据的会话重组和应用层协议解析,对获得的Netflow数据进行分析,获得单个会话连接的源IP、目的IP、源端口、目的端口、协议、持续时间、包字节数、总字节数。
其中,获得单个会话连接的源IP、目的IP包括:提取过去一段时间内连接同一个源IP的目的IP数和过去一段时间内连接同一个目的IP的源IP数,以及同一个源IP和同一个目的IP之间的连接数。
S103、对经过流量过滤、流量聚合和特征提取操作后的Netflow数据使用威胁检测技术进行威胁检测,将检测结果保存到黑、白、灰名单中。
优选地,使用威胁检测技术对Netflow数据进行威胁检测,将检测结果保存到黑、白、灰名单中是指:
使用一种或多种威胁检测技术对Netflow数据进行威胁检测,将具有威胁的Netflow数据的信息保存到黑名单中,并用作规则检测和安全信誉库的补充数据。将不具有威胁的Netflow数据的信息保存到白名单中,将不能判定Netflow数据是否具有威胁和/或需要进一步判断Netflow数据是否具有威胁的Netflow数据的信息保存到灰名单中。
其中,威胁检测技术包括:基于规则的静态检测方式、基于安全信誉库的检测方式、基于行为基线的动态检测方式。
具体地,Netflow数据的基于规则的静态检测的具体方法为:根据源IP、目的IP、源端口、目的端口、协议、数据流向、包字节数等特征制定的白名单、黑名单规则,对触发规则的流事件进行实时检测。
基于安全信誉库检测的具体方法为:构建基于恶意IP、URL、邮件服务器的安全信誉库,对流数据中提取的IP地址和URL进行过滤,及时发现恶意代码或攻击。信誉库可通过数据交换协议从外部系统导入、同步数据,也可以由使用者手动输入。
基于行为基线的动态检测功能的具体方法如图3所示,通过对Netflow数据流进行持续的统计,建立行为分析基线。行为分析基线建立的具体方法为,首先按照会话源、目的IP和协议对会话进行分组,在每个分组内对特征变量进行提取。所使用的特征变量包括但不限于:
报文头长度、报文长度、存活时间(TTL)、标志位、并发flow数目、接收包数、接收字节数、新增会话数、发送握手信号SYN包数目、接收SYN包数目、连接重置率、会话持续时间等特征。
基线的计算方式分为以下几种:
1、均值基线
Figure BDA0000684291080000101
2、标准方差基线
Figure BDA0000684291080000102
3、百分比基线,例如使用PSH标志位的TCP报文比例。
4、步长基线,如统计IP分片的偏移量。
若当前检测周期的实际值与基线值的差值大于设定的阈值,则将当前会话标记为可以会话,并提取访问源信息,加入到可疑信息库中进行进一步的判定分析。
S104、以业务视图的形式展现Netflow数据的检测结果。
优选地,以业务视图的形式展现Netflow数据的检测结果是指:通过网络拓扑可视化技术展现整体业务视图,以直观可视化的方式展示Netflow数据在业务内各节点间的分布情况,并将检测到的安全威胁实时展现在整体业 务视图的业务拓扑中。便于持续钻取分析、追溯威胁来源。
S105、结合业务数据对检测结果进行关联分析,实时获取业务系统的安全状态。
本发明还提出一种业务安全分析的系统01,如图4所示,该系统包括:数据采集模块02、流量过滤模块03、流量聚合模块04、特征提取模块05、威胁检测模块06、展示模块07和分析模块08。
数据采集模块02,用于接收网络设备发送的Netflow数据,同时主动采集全网络流量数据;对采集的流量数据进行解析并生成Netflow数据。
流量过滤模块03,用于对Netflow数据进行流量过滤。
流量聚合模块04,用于对Netflow数据进行流量聚合。
特征提取模块05,用于对Netflow数据进行特征提取。
威胁检测模块06,用于对经过流量过滤、流量聚合和特征提取操作后的Netflow数据使用威胁检测技术进行威胁检测,将检测结果保存到黑、白、灰名单中。
展示模块07,用于以业务视图的形式展现Netflow数据的检测结果。
分析模块08,用于结合业务数据对检测结果进行关联分析,实时获取业务系统的安全状态。
优选地,
接收网络设备发送的Netflow数据是指:数据采集模块02对于支持发送Netflow的网络设备,直接以用户数据报协议UDP包的方式接收网络设备发送的Netflow数据。
主动采集全网络流量数据是指:数据采集模块02对于应用服务的流量数据,通过网络抓包方式主动从物理层采集全网络流量数据。
对采集的所述流量数据进行解析是指:对流量数据的会话重组和应用层协议解析。
优选地,流量过滤模块03对Netflow数据进行流量过滤是指:流量过滤 模块以系统配置的方式,采用预先配置的过滤条件对不需要分析的流数据进行过滤;过滤条件包括:源IP、目的IP、源端口范围、目的端口范围、网络协议类型、应用协议类型和报文长度。
优选地,流量聚合模块04对Netflow数据进行流量聚合是指:流量聚合模块04为采集的Netflow数据以源IP、目的IP、源端口、目的端口、应用协议的组合为会话特征创建一个会话,并为创建的每一个会话分配一个会话ID,在内存中创建以会话ID为主键的哈希表,实时采集新的Netflow数据,并基于所述会话特征为新的Netflow数据创建新的会话,将创建的会话的数据信息定时存储到数据库中,并分别以预定的第一时间、第二时间、第三时间为周期,设置三个统计周期,对数据库中存储的会话信息进行持续地统计。
其中,第一时间为5分钟、第二时间为1小时,第三时间为1小时。
优选地,特征提取模块05对Netflow数据进行特征提取是指:特征提取模块05基于对流量数据的会话重组和应用层协议解析,对获得的Netflow数据进行分析,获得单个会话连接的源IP、目的IP、源端口、目的端口、协议、持续时间、包字节数、总字节数。
其中,获得单个会话连接的源IP、目的IP包括:提取过去一段时间内连接同一个源IP的目的IP数和过去一段时间内连接同一个目的IP的源IP数,以及同一个源IP和同一个目的IP之间的连接数。
优选地,威胁检测模块06使用威胁检测技术对Netflow数据进行威胁检测,将检测结果保存到黑、白、灰名单中是指:
威胁检测模块06使用一种或多种威胁检测技术对Netflow数据进行威胁检测,将具有威胁的Netflow数据的信息保存到黑名单中,将不具有威胁的Netflow数据的信息保存到白名单中,将不能判定Netflow数据是否具有威胁和/或需要进一步判断Netflow数据是否具有威胁的Netflow数据的信息保存到灰名单中。
其中,威胁检测技术包括:基于规则的静态检测方式、基于安全信誉库的检测方式、基于行为基线的动态检测方式。
优选地,展示模块07以业务视图的形式展现Netflow数据的检测结果是 指:展示模块07通过网络拓扑可视化技术展现整体业务视图,以直观可视化的方式展示Netflow数据在业务内各节点间的分布情况,并将检测到的安全威胁实时展示在整体业务视图的业务拓扑中。
本发明结合通过包检测技术提取网络流量特征扩充Netflow数据,解决了传统包检测技术在处理超大流量时的性能问题,同时也避免了传统基于Cisco Netflow技术只能分析TCP/IP第四层以下信息的弊端,同时引入安全信誉库、基于统计的异常检测技术,使得针对业务的安全检测更加全面准确。
需要说明的是,以上所述的实施例仅是为了便于本领域的技术人员理解而已,并不用于限制本发明的保护范围,在不脱离本发明的发明构思的前提下,本领域技术人员对本发明所做出的任何显而易见的替换和改进等均在本发明的保护范围之内。

Claims (14)

1.一种业务安全分析的方法,其特征在于,所述方法包括:
接收网络设备发送的网络流Netflow数据,同时主动采集全网络流量数据;对Netflowv5字段进行扩展,对采集的流量数据进行会话重组和应用层协议解析并生成Netflow数据;并对获得的Netflow数据进行流量过滤、流量聚合和特征提取,对经过流量过滤、流量聚合和特征提取操作后的Netflow数据使用威胁检测技术进行威胁检测,将检测结果保存到黑、白、灰名单中,并以业务视图的形式展现Netflow数据的检测结果;结合业务数据对所述检测结果进行关联分析,实时获取业务系统的安全状态;
其中,所述对Netflow v5字段进行扩展,包括扩展以下内容:
发送TCP校验和错误次数、发送TCP重传次数、发送TCP零窗口次数、发送RST包数、发送FIN包数、发送SYN包数、连接成功次数、连接失败次数、TCP连接异常关闭次数、TCP空连接次数、TCP半开连接次数、RTT网络时延秒数、响应时延秒数、TCP平均时延秒数、RTT网络时延微秒数、响应时延微秒数、TCP平均时延微秒数、包字节数、总字节数、插件类型和子协议类型。
2.如权利要求1所述的方法,其特征在于,
所述接收网络设备发送的Netflow数据是指:对于支持发送Netflow的网络设备,直接以用户数据包协议UDP包的方式接收所述网络设备发送的Netflow数据;
所述主动采集全网络流量数据是指:对于应用服务的流量数据,通过网络抓包方式主动从物理层采集全网络流量数据。
3.如权利要求1所述的方法,其特征在于,所述对Netflow数据进行流量过滤是指:以系统配置的方式,采用预先配置的过滤条件对不需要分析的流数据进行过滤;所述过滤条件包括:源互联协议IP、目的IP、源端口范围、目的端口范围、网络协议类型、应用协议类型和报文长度。
4.如权利要求1所述的方法,其特征在于,所述对Netflow数据进行流量聚合是指:为采集的Netflow数据以源IP、目的IP、源端口、目的端口、应用协议的组合为会话特征创建一个会话,并为创建的每一个所述会话分配一个会话身份标记ID,在内存中创建以所述会话ID为主键的哈希表,实时采集新的Netflow数据,并基于所述会话特征为新的Netflow数据创建新的会话,将创建的所述会话的数据信息定时存储到数据库中,并分别以预定的第一时间、第二时间、第三时间为周期,设置三个统计周期,对所述数据库中存储的所述会话的数据信息进行持续地统计;
其中,所述第一时间为5分钟、所述第二时间为1小时,所述第三时间为1天。
5.如权利要求2所述的方法,其特征在于,所述对Netflow数据进行特征提取是指:基于对所述流量数据的会话重组和应用层协议解析,对获得的Netflow数据进行分析,获得单个会话连接的源IP、目的IP、源端口、目的端口、协议、持续时间、包字节数、总字节数;
其中,获得单个会话连接的源IP、目的IP包括:提取过去一段时间内连接同一个源IP的目的IP数和过去一段时间内连接同一个目的IP的源IP数,以及同一个源IP和同一个目的IP之间的连接数。
6.如权利要求1所述的方法,其特征在于,所述使用威胁检测技术对Netflow数据进行威胁检测,将检测结果保存到黑、白、灰名单中是指:
使用一种或多种威胁检测技术对Netflow数据进行威胁检测,将具有威胁的Netflow数据的信息保存到黑名单中,将不具有威胁的Netflow数据的信息保存到白名单中,将不能判定Netflow数据是否具有威胁和/或需要进一步判断Netflow数据是否具有威胁的Netflow数据的信息保存到灰名单中;
其中,所述威胁检测技术包括:基于规则的静态检测方式、基于安全信誉库的检测方式、基于行为基线的动态检测方式。
7.如权利要求1所述的方法,其特征在于,所述以业务视图的形式展现Netflow数据的检测结果是指:通过网络拓扑可视化技术展现整体业务视图,以直观可视化的方式展示Netflow数据在业务内各节点间的分布情况,并将检测到的安全威胁实时展现在所述整体业务视图的业务拓扑中。
8.一种业务安全分析的系统,其特征在于,所述系统包括:数据采集模块、流量过滤模块、流量聚合模块、特征提取模块、威胁检测模块、展示模块和分析模块;
所述数据采集模块,用于接收网络设备发送的网络流Netflow数据,同时主动采集全网络流量数据;对Netflow v5字段进行扩展,对采集的流量数据进行会话重组和应用层协议解析并生成Netflow数据;
所述流量过滤模块,用于对获得的Netflow数据进行流量过滤;
所述流量聚合模块,用于对获得的Netflow数据进行流量聚合;
所述特征提取模块,用于对获得的Netflow数据进行特征提取;
所述威胁检测模块,用于对经过所述流量过滤、所述流量聚合和所述特征提取操作后的Netflow数据使用威胁检测技术进行威胁检测,将检测结果保存到黑、白、灰名单中;
所述展示模块,用于以业务视图的形式展现Netflow数据的检测结果;
所述分析模块,用于结合业务数据对所述检测结果进行关联分析,实时获取业务系统的安全状态;
其中,所述对Netflow v5字段进行扩展,包括扩展以下内容:
发送TCP校验和错误次数、发送TCP重传次数、发送TCP零窗口次数、发送RST包数、发送FIN包数、发送SYN包数、连接成功次数、连接失败次数、TCP连接异常关闭次数、TCP空连接次数、TCP半开连接次数、RTT网络时延秒数、响应时延秒数、TCP平均时延秒数、RTT网络时延微秒数、响应时延微秒数、TCP平均时延微秒数、包字节数、总字节数、插件类型和子协议类型。
9.如权利要求8所述的系统,其特征在于,
所述接收网络设备发送的Netflow数据是指:对于支持发送Netflow的网络设备,直接以用户数据报协议UDP包的方式接收所述网络设备发送的Netflow数据;
所述主动采集全网络流量数据是指:对于应用服务的流量数据,通过网络抓包方式主动从物理层采集全网络流量数据。
10.如权利要求8所述的系统,其特征在于,所述流量过滤模块对Netflow数据进行流量过滤是指:所述流量过滤模块以系统配置的方式,采用预先配置的过滤条件对不需要分析的流数据进行过滤;所述过滤条件包括:源互联协议IP、目的IP、源端口范围、目的端口范围、网络协议类型、应用协议类型和报文长度。
11.如权利要求8所述的系统,其特征在于,所述流量聚合模块对Netflow数据进行流量聚合是指:所述流量聚合模块为采集的Netflow数据以源IP、目的IP、源端口、目的端口、应用协议的组合为会话特征创建一个会话,并为创建的每一个所述会话分配一个会话身份标记ID,在内存中创建以所述会话ID为主键的哈希表,实时采集新的Netflow数据,并基于所述会话特征为新的Netflow数据创建新的会话,将创建的所述会话的数据信息定时存储到数据库中,并分别以预定的第一时间、第二时间、第三时间为周期,设置三个统计周期,对所述数据库中存储的所述会话的数据信息进行持续地统计;
其中,所述第一时间为5分钟、所述第二时间为1小时,所述第三时间为1天。
12.如权利要求9所述的系统,其特征在于,所述特征提取模块对Netflow数据进行特征提取是指:所述特征提取模块基于对所述流量数据的会话重组和应用层协议解析,对获得的Netflow数据进行分析,获得单个会话连接的源IP、目的IP、源端口、目的端口、协议、持续时间、包字节数、总字节数;
其中,获得单个会话连接的源IP、目的IP包括:提取过去一段时间内连接同一个源IP的目的IP数和过去一段时间内连接同一个目的IP的源IP数,以及同一个源IP和同一个目的IP之间的连接数。
13.如权利要求8所述的系统,其特征在于,所述威胁检测模块使用威胁检测技术对Netflow数据进行威胁检测,将检测结果保存到黑、白、灰名单中是指:
所述威胁检测模块使用一种或多种威胁检测技术对Netflow数据进行威胁检测,将具有威胁的Netflow数据的信息保存到黑名单中,将不具有威胁的Netflow数据的信息保存到白名单中,将不能判定Netflow数据是否具有威胁和/或需要进一步判断Netflow数据是否具有威胁的Netflow数据的信息保存到灰名单中;
其中,所述威胁检测技术包括:基于规则的静态检测方式、基于安全信誉库的检测方式、基于行为基线的动态检测方式。
14.如权利要求8所述的系统,其特征在于,所述展示模块以业务视图的形式展现Netflow数据的检测结果是指:所述展示模块通过网络拓扑可视化技术展现整体业务视图,以直观可视化的方式展示Netflow数据在业务内各节点间的分布情况,并将检测到的安全威胁实时展示在所述整体业务视图的业务拓扑中。
CN201510119606.1A 2015-03-18 2015-03-18 一种业务安全分析的方法和系统 Active CN106034056B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510119606.1A CN106034056B (zh) 2015-03-18 2015-03-18 一种业务安全分析的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510119606.1A CN106034056B (zh) 2015-03-18 2015-03-18 一种业务安全分析的方法和系统

Publications (2)

Publication Number Publication Date
CN106034056A CN106034056A (zh) 2016-10-19
CN106034056B true CN106034056B (zh) 2020-04-24

Family

ID=57148744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510119606.1A Active CN106034056B (zh) 2015-03-18 2015-03-18 一种业务安全分析的方法和系统

Country Status (1)

Country Link
CN (1) CN106034056B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108134761B (zh) * 2016-12-01 2021-05-04 中兴通讯股份有限公司 一种apt检测系统及装置
CN107580323A (zh) * 2017-05-17 2018-01-12 中国电子科技集团公司电子科学研究院 一种基于移动设备指纹的信息关联方法及装置
CN108259462A (zh) * 2017-11-29 2018-07-06 国网吉林省电力有限公司信息通信公司 基于海量网络监测数据的大数据安全分析系统
CN108040053A (zh) * 2017-12-13 2018-05-15 北京明朝万达科技股份有限公司 一种基于dns日志数据的网络安全威胁分析方法及系统
CN108173818B (zh) * 2017-12-13 2021-03-02 北京明朝万达科技股份有限公司 一种基于Proxy日志数据的网络安全威胁分析方法及系统
CN108040052A (zh) * 2017-12-13 2018-05-15 北京明朝万达科技股份有限公司 一种基于Netflow日志数据的网络安全威胁分析方法及系统
CN109981715B (zh) * 2017-12-28 2021-11-16 中移动信息技术有限公司 一种会话管理的方法及装置
CN108600188A (zh) * 2018-04-02 2018-09-28 江苏中控安芯信息安全技术有限公司 一种网络安全硬件系统运行环境威胁感知方法
CN108494791A (zh) * 2018-04-08 2018-09-04 北京明朝万达科技股份有限公司 一种基于Netflow日志数据的DDOS攻击检测方法及装置
CN108551446B (zh) * 2018-04-08 2020-11-27 东软集团股份有限公司 防攻击的syn报文处理方法、装置、防火墙及存储介质
CN109861955A (zh) * 2018-09-03 2019-06-07 西安新路网络科技有限公司 一种流量特征防私接方法
CN109474618B (zh) * 2018-12-17 2021-08-17 广州天懋信息系统股份有限公司 异常视频设备操作信令的识别方法、系统、介质和终端
CN110149247B (zh) * 2019-06-06 2021-04-16 北京神州绿盟信息安全科技股份有限公司 一种网络状态的检测方法及装置
CN111935060B (zh) * 2019-12-26 2021-05-07 长扬科技(北京)有限公司 一种网络通信会话聚合的方法
CN113572654B (zh) * 2020-04-29 2023-11-14 华为技术有限公司 网络性能监控方法、网络设备及存储介质
CN111935145B (zh) * 2020-08-10 2021-05-25 武汉思普崚技术有限公司 一种实现网络流量安全分析的硬件无关化方法及系统
CN112866275B (zh) * 2021-02-02 2022-07-15 杭州安恒信息安全技术有限公司 一种流量抽样方法、装置和计算机可读存储介质
CN113381996B (zh) * 2021-06-08 2023-04-28 中电福富信息科技有限公司 基于机器学习的c&c通讯攻击检测方法
CN115021984B (zh) * 2022-05-23 2024-02-13 绿盟科技集团股份有限公司 一种网络安全检测方法、装置、电子设备及存储介质
CN115314325A (zh) * 2022-10-11 2022-11-08 科来网络技术股份有限公司 基于tcp通信的访问关系分析方法、系统、设备和介质
CN116192490A (zh) * 2023-02-14 2023-05-30 北京中睿天下信息技术有限公司 一种基于流量行为的网络威胁检测方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1764126A (zh) * 2005-11-11 2006-04-26 上海交通大学 突发性异常网络流量的检测与监控方法
CN102158401A (zh) * 2011-03-03 2011-08-17 江苏方天电力技术有限公司 基于电力自动化系统的流量监测模型
CN103036733A (zh) * 2011-10-09 2013-04-10 上海城际互通通信有限公司 非常规网络接入行为的监测系统及监测方法
CN104092588A (zh) * 2014-07-23 2014-10-08 哈尔滨工程大学 一种基于SNMP与NetFlow结合的网络异常流量检测方法
US8881281B1 (en) * 2014-05-29 2014-11-04 Singularity Networks, Inc. Application and network abuse detection with adaptive mitigation utilizing multi-modal intelligence data

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070055789A1 (en) * 2005-09-08 2007-03-08 Benoit Claise Method and apparatus for managing routing of data elements

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1764126A (zh) * 2005-11-11 2006-04-26 上海交通大学 突发性异常网络流量的检测与监控方法
CN102158401A (zh) * 2011-03-03 2011-08-17 江苏方天电力技术有限公司 基于电力自动化系统的流量监测模型
CN103036733A (zh) * 2011-10-09 2013-04-10 上海城际互通通信有限公司 非常规网络接入行为的监测系统及监测方法
US8881281B1 (en) * 2014-05-29 2014-11-04 Singularity Networks, Inc. Application and network abuse detection with adaptive mitigation utilizing multi-modal intelligence data
CN104092588A (zh) * 2014-07-23 2014-10-08 哈尔滨工程大学 一种基于SNMP与NetFlow结合的网络异常流量检测方法

Also Published As

Publication number Publication date
CN106034056A (zh) 2016-10-19

Similar Documents

Publication Publication Date Title
CN106034056B (zh) 一种业务安全分析的方法和系统
Li et al. A survey of network flow applications
Yegneswaran et al. On the design and use of internet sinks for network abuse monitoring
US7290283B2 (en) Network port profiling
US7886358B2 (en) Network port profiling
Tammaro et al. Exploiting packet‐sampling measurements for traffic characterization and classification
Aiello et al. An on-line intrusion detection approach to identify low-rate DoS attacks
Xu et al. Secure the Internet, one home at a time
Žagar et al. Security aspects in IPv6 networks–implementation and testing
Mongkolluksamee et al. Counting NATted hosts by observing TCP/IP field behaviors
CN107864110B (zh) 僵尸网络主控端检测方法和装置
Edeline et al. A first look at the prevalence and persistence of middleboxes in the wild
Guo et al. Network forensics in MANET: traffic analysis of source spoofed DoS attacks
Ashutosh An insight in to network traffic analysis using packet sniffer
Pashamokhtari et al. Progressive monitoring of iot networks using sdn and cost-effective traffic signatures
Kumar et al. Traffic forensics for ipv6-based wireless sensor networks and the internet of things
Du et al. IP packet size entropy-based scheme for detection of DoS/DDoS attacks
Yu et al. Traffic identification and overlay measurement of Skype
Sperotto et al. Anomaly characterization in flow-based traffic time series
Leal et al. MQTT flow signatures for the Internet of things
Vieira et al. Identifying attack signatures for the internet of things: an IP flow based approach
Han et al. Garlic: A distributed botnets suppression system
Pilli et al. Data reduction by identification and correlation of TCP/IP attack attributes for network forensics
Cusack et al. Detecting and tracing slow attacks on mobile phone user service
Zeng Intrusion detection system of ipv6 based on protocol analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant