CN106096406A - 一种安全漏洞回溯分析方法及装置 - Google Patents
一种安全漏洞回溯分析方法及装置 Download PDFInfo
- Publication number
- CN106096406A CN106096406A CN201610371183.7A CN201610371183A CN106096406A CN 106096406 A CN106096406 A CN 106096406A CN 201610371183 A CN201610371183 A CN 201610371183A CN 106096406 A CN106096406 A CN 106096406A
- Authority
- CN
- China
- Prior art keywords
- data
- security breaches
- backtracking
- sequential network
- security
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
- G06F21/566—Dynamic detection, i.e. detection performed at run-time, e.g. emulation, suspicious activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
- G06F2221/034—Test or assess a computer or a system
Abstract
本发明提供了一种安全漏洞回溯分析方法及装置。方法包括：采集网络中安全设备的日志数据和路由交换设备的Netflow数据；将采集到的日志数据和Netflow数据一同进行格式化处理，获得时序网络数据流；将获得的时序网络数据流存储于HDFS中；通过网络爬虫器获取到最新的安全漏洞数据，将所述安全漏洞数据转化为回溯分析规则；从HDFS中提取出时序网络数据流，并根据所述回溯分析规则计算得到受安全漏洞影响的IP资产相关数据；根据所述受安全漏洞影响的IP资产相关数据计算得到安全漏洞影响指数。本发明能够实现针对单一安全漏洞对特定企业网络的影响性进行动态分析，且本发明基于大数据的回溯分析来分析安全漏洞的潜在影响。
Description
技术领域
本发明涉及信息安全技术领域，更具体地说，涉及一种安全漏洞回溯分析方法及装置。
背景技术
在互联网+的发展趋势下，网络的复杂程度逐日增加，这就使得网络故障的排查难度与日俱增，未来网络攻击的模式会越来越多地以高级持续性威胁(Advanced PersistentThreat，APT)的方式实施。APT攻击是攻击者以窃取核心资料为目的，针对客户所发动的网络攻击和侵袭行为，是一种蓄谋已久的恶意商业间谍威胁。这种行为往往经过长期的经营与策划，并具备高度的隐蔽性。APT攻击的特征是采用新型未公开的漏洞(0day漏洞)执行且攻击周期长。
为了保护信息的安全，企业可以投资购买世界上最好的情报信息，部署最好的技术来抵御威胁，然而其信息系统仍有可能受安全管理程序错过的简单漏洞的影响。而且在实际应用时，大多数企业没有足够的人员、时间、资金、和精力来应对威胁，企业安全投入资源有限。因此，对安全漏洞情报数据的合理甄别，对于安全漏洞针对本企业网络的威胁程度进行有效判定是以对抗为主体的安全防御体系下非常重要的环节。
目前国内外安全漏洞影响性分析的成果较少，且可使用性差。有些公司已经发布了网络安全指数，但该网络安全指数是针对整个互联网的安全态势，针对企业网络不具备实用价值。本发明的发明人就现有的安全漏洞影响分析方法来说，其主要存在以下几个问题：
1、现有提供的安全漏洞影响分析方法基于的是网络宏观指数，没有针对具体的漏洞和具体的企业网络做针对性分析，针对性差。
2、现有提供的安全漏洞影响分析方法往往只分析当前态势，无法体现潜在影响。而实际上，APT类攻击往往潜伏周期长，必须基于网络历史数据的回溯分析，才能体现安全漏洞的真正影响。
发明内容
有鉴于此，本发明提供一种安全漏洞回溯分析方法及装置，以解决现有安全漏洞影响分析方法针对性差、无法体现潜在影响的问题。技术方案如下：
基于本发明的一方面，本发明提供一种安全漏洞回溯分析方法，包括：
采集网络中安全设备的日志数据和路由交换设备的Netflow数据；
将采集到的日志数据和Netflow数据一同进行格式化处理，获得时序网络数据流；
将所述时序网络数据流存储于分布式文件存储系统HDFS中；
通过网络爬虫器获取最新的安全漏洞数据，并将所述安全漏洞数据转化为回溯分析规则；
从所述HDFS中提取出所述时序网络数据流，并根据所述回溯分析规则计算得到受安全漏洞影响的IP资产相关数据；
根据所述受安全漏洞影响的IP资产相关数据计算得到安全漏洞影响指数。
优选地，所述将所述安全漏洞数据转化为回溯分析规则包括：
采用正则表达式，将所述安全漏洞数据转化为回溯分析规则；
其中，所述正则表达式中的规则内容至少包括以下一种：漏洞名称、漏洞编号、厂商、漏洞等级、影响协议、影响端口、影响操作系统、漏洞详情。
优选地，所述从所述HDFS中提取出所述时序网络数据流，并根据所述回溯分析规则计算得到受安全漏洞影响的IP资产相关数据包括：
采用批处理算法，从HDFS中提取出所述时序网络数据流；
根据所述回溯分析规则，获取与所述时序网络数据流相匹配的时序网络数据序列；
按照IP地址聚合计算方法，对所述时序网络数据序列进行计算，获得所述受安全漏洞影响的IP资产相关数据；其中，所述IP资产相关数据包括受安全漏洞影响的IP地址和所述IP地址的统计信息；所述IP地址的统计信息包括：所述IP地址匹配命中的安全日志数量、所述IP地址匹配命中的流量和所述IP地址受影响的总时长。
优选地，所述根据所述受安全漏洞影响的IP资产相关数据计算得到安全漏洞影响指数包括：
利用公式计算得到所述安全漏洞影响指数f(x)；
其中，Li为IPi的安全日志数量；
Pfi为IPi的影响流量占回溯分析周期内总流量的比值，取值范围为0～1；
Pti为IPi的影响时长占回溯分析周期内总时长的比值，取值范围为0～1；
IPi为受安全漏洞影响的IP序列中的第i个，i为正整数。
优选地，所述采集网络中安全设备的日志数据和路由交换设备的Netflow数据包括：
通过系统日志syslog协议采集企业网络中安全设备的日志数据；
通过Netflow协议及类Netflow协议采集路由交换设备的Netflow数据。
优选地，将所述时序网络数据流存储于HDFS中包括：
以预设时间为周期，周期性地将获得的时序网络数据流存储于HDFS中。
优选地，所述将所述时序网络数据流存储于HDFS中后，所述方法还包括：
为存储的时序网络数据流增加时间戳。
优选地，所述通过网络爬虫器获取最新的安全漏洞数据包括：
通过网络爬虫器持续、定时地从互联网安全漏洞库中获取最新的安全漏洞数据。
基于本发明的另一方面，本发明还提供一种安全漏洞回溯分析装置，包括：
数据采集单元，用于采集网络中安全设备的日志数据和路由交换设备的Netflow数据；
格式化处理单元，用于将采集到的日志数据和Netflow数据一同进行格式化处理，获得时序网络数据流；
存储单元，用于将所述时序网络数据流存储于分布式文件存储系统HDFS中；
回溯分析规则生成单元，用于通过网络爬虫器获取最新的安全漏洞数据，并将所述安全漏洞数据转化为回溯分析规则；
第一处理单元，用于从所述HDFS中提取出所述时序网络数据流，并根据所述回溯分析规则计算得到受安全漏洞影响的IP资产相关数据；
第二处理单元，用于根据所述受安全漏洞影响的IP资产相关数据、所述日志数据和所述Netflow数据计算得到安全漏洞影响指数。
优选地，所述回溯分析规则生成单元具体用于，采用正则表达式，将所述安全漏洞数据转化为回溯分析规则；
其中，所述正则表达式中的规则内容至少包括以下一种：漏洞名称、漏洞编号、厂商、漏洞等级、影响协议、影响端口、影响操作系统、漏洞详情。
优选地，所述第一处理单元包括：
第一处理子单元，用于采用批处理算法，从HDFS中提取出所述时序网络数据流；
第二处理子单元，用于根据所述回溯分析规则，获取与所述时序网络数据流相匹配的时序网络数据序列；
第三处理子单元，用于按照IP地址聚合计算方法，对所述时序网络数据序列进行计算，获得所述受安全漏洞影响的IP资产相关数据；其中，所述IP资产相关数据包括受安全漏洞影响的IP地址和所述IP地址的统计信息；所述IP地址的统计信息包括：所述IP地址匹配命中的安全日志数量、所述IP地址匹配命中的流量和所述IP地址受影响的总时长。
优选地，所述第二处理单元具体用于，利用公式计算得到所述安全漏洞影响指数f(x)；
其中，Li为IPi的安全日志数量；
Pfi为IPi的影响流量占回溯分析周期内总流量的比值，取值范围为0～1；
Pti为IPi的影响时长占回溯分析周期内总时长的比值，取值范围为0～1；
IPi为受安全漏洞影响的IP序列中的第i个，i为正整数。
优选地，所述数据采集单元包括：
第一数据采集子单元，用于通过系统日志syslog协议采集企业网络中安全设备的日志数据；
第二数据采集子单元，用于通过Netflow协议及类Netflow协议采集路由交换设备的Netflow数据。
优选地，所述存储单元具体用于，以预设时间为周期，周期性地将获得的时序网络数据流存储于HDFS中。
优选地，所述通过网络爬虫器获取最新的安全漏洞数据包括：
通过网络爬虫器持续、定时地从互联网安全漏洞库中获取最新的安全漏洞数据。
应用本发明提供的安全漏洞回溯分析方法，本发明通过采集网络中安全设备的日志数据和路由交换设备的Netflow数据，进而将采集到的日志数据和Netflow数据一同进行格式化处理，获得时序网络数据流，并将获得的时序网络数据流存储于HDFS(HadoopDistributed File System，分布式文件存储系统)中。当本发明通过网络爬虫器获取到最新的安全漏洞数据时，便将所述安全漏洞数据转化为回溯分析规则，且进一步从HDFS中提取出时序网络数据流，并根据所述回溯分析规则计算得到受安全漏洞影响的IP(InternetProtocol，网络之间互连的协议)资产相关数据。最后根据所述受安全漏洞影响的IP资产相关数据计算得到安全漏洞影响指数。本发明能够实现针对单一安全漏洞对特定企业网络或者某具体业务部门网络的影响性进行动态分析，且本发明基于大数据的回溯分析，针对APT类攻击能够分析出其安全漏洞的潜在影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种安全漏洞回溯分析方法的流程图；
图2为本发明提供的一种安全漏洞回溯分析方法的另一种流程图；
图3为本发明提供的一种安全漏洞回溯分析装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本发明提供的一种安全漏洞回溯分析方法的流程图，包括：
步骤101，采集网络中安全设备的日志数据和路由交换设备的Netflow数据。
在本发明中，可以通过系统日志syslog协议采集企业网络中安全设备的日志数据，并通过Netflow协议及类Netflow协议采集路由交换设备的Netflow数据。其中，类Netflow协议可以包括NetStream，SFlow、IPFIX等。
作为本发明优选的，本发明实时采集网络中安全设备的日志数据和路由交换设备的Netflow数据。当然，本发明也可周期性、或不定时地采集网络中安全设备的日志数据和路由交换设备的Netflow数据。
步骤102，将采集到的日志数据和Netflow数据一同进行格式化处理，获得时序网络数据流。
本发明会将采集到的日志数据和Netflow数据同时进行格式化处理，从而获得时序网络数据流。
本发明中时序网络数据流的格式可以设计为如下统一格式：
Option Field 1Type＝“数据分类”index＝0；
Option Field 2Type＝“源地址”index＝1；
Option Field 3Type＝“目的地址”index＝2；
Option Field 4Type＝“源端口”index＝3；
Option Field 5Type＝“目的端口”index＝4；
Option Field 6Type＝“协议”index＝5；
Option Field 7Type＝“应用协议”index＝6；
Option Field 8Type＝“事件分类”index＝7；
Option Field 9Type＝“事件等级”index＝8；
Option Field 10Type＝“资产分类”index＝9；
Option Field 11Type＝“资产操作系统”index＝10；
Option Field 12Type＝“发生时间”index＝11。
步骤103，将所述时序网络数据流存储于HDFS中。
在本发明中，本发明会将获得的时序网络数据流及时、持续地存储在HDFS中。其中作为本发明优选的，本发明可以以预设时间为周期，周期性地将获得的时序网络数据流存储于HDFS中。例如，以天为周期，将每天获得的时序网络数据流存储于HDFS中的一个分区，或以一小时为周期，将每小时获得的时序网络数据流存储于HDFS中的一个分区等。
此外，本发明在将时序网络数据流存储于HDFS中后，还可以为存储的时序网络数据流增加时间戳。例如，在以天为周期，将每天获得的时序网络数据流存储于HDFS中的一个分区后，可以在存储的时序网络数据流上增加day的时间戳，在以一小时为周期，将每小时获得的时序网络数据流存储于HDFS中的一个分区后，可以在存储的时序网络数据流上增加hour的时间戳。本发明为存储的时序网络数据流增加时间戳，以便于本发明进行回溯分析时可以高效地提取出需要的时序网络数据流。
步骤104，通过网络爬虫器获取最新的安全漏洞数据，并将所述安全漏洞数据转化为回溯分析规则。
在本发明中，可以采用互联网安全漏洞库，如CNCERT国家互联网应急中心提供的漏洞公告，通过网络爬虫器持续、定时地从互联网安全漏洞库中获取最新的安全漏洞数据。本发明中，每当获取到最新的安全漏洞数据时，便将该获得的安全漏洞数据转化为回溯分析规则。
具体的，本发明采用正则表达式，将获得的最新的安全漏洞数据转化为回溯分析规则。其中，所述正则表达式中的规则内容至少包括以下一种：漏洞名称、漏洞编号、厂商、漏洞等级、影响协议、影响端口、影响操作系统、漏洞详情。
在本发明中，安全漏洞的格式可以设计为如下统一格式：
Option Field 1Type＝“漏洞名称”index＝0；
Option Field 2Type＝“漏洞编号”index＝1；
Option Field 3Type＝“厂商”index＝2；
Option Field 4Type＝“漏洞等级”index＝3；
Option Field 5Type＝“影响协议”index＝4；
Option Field 6Type＝“影响端口”index＝5；
Option Field 7Type＝“影响操作系统”index＝6；
Option Field 8Type＝“漏洞详情”index＝7。
步骤105，从所述HDFS中提取出所述时序网络数据流，并根据所述回溯分析规则计算得到受安全漏洞影响的IP资产相关数据。
在本发明中，每当通过网络爬虫器获取到最新的安全漏洞数据，并将所述安全漏洞数据转化为回溯分析规则后，便从HDFS中提取出时序网络数据流，进而根据所述回溯分析规则计算得到受安全漏洞影响的IP资产相关数据。
具体地，本发明中的步骤105包括，如图2所示：
步骤1051，采用批处理算法，从HDFS中提取出所述时序网络数据流。
本发明采用批处理算法，从HDFS中提取出时序网络数据流。同时，本发明还可以采用逐段分析的策略，将每小时提取出的时序网络数据流存储至计算机内存。
步骤1052，根据所述回溯分析规则，获取与所述时序网络数据流相匹配的时序网络数据序列。
步骤1053，按照IP地址聚合计算方法，对所述时序网络数据序列进行计算，获得所述受安全漏洞影响的IP资产相关数据。
其中，所述IP资产相关数据包括受安全漏洞影响的IP地址和所述IP地址的统计信息。所述IP地址的统计信息进一步包括：所述IP地址匹配命中的安全日志数量、所述IP地址匹配命中的流量和所述IP地址受影响的总时长。
作为本发明优选地，本发明可以将所述受安全漏洞影响的IP资产相关数据存储至计算机内存中。
步骤106，根据所述受安全漏洞影响的IP资产相关数据计算得到安全漏洞影响指数。
在本发明中，根据回溯分析结果，假设受安全漏洞影响的IP序列为{IP1，IP2，IP3，IP4，IP5.......，IPn}，其中，IPi为受安全漏洞影响的IP序列中的第i个，i为正整数。
那么，其对应的安全日志数量的序列为：{L1，L2，L3，L4，L5.......Ln}，Li为IPi的安全日志数量。
其对应的流量占比序列为：{Pf1，Pf2，Pf3，Pf4，Pf5.......，Pfn}，Pfi为IPi的影响流量占回溯分析周期内总流量的比值，取值范围为0～1；
其对应的影响总时长序列为：{Pt1，Pt2，Pt3，Pt4，Pt5.......，Ptn}，Pti为IPi的影响时长占回溯分析周期内总时长的比值，取值范围为0～1；
此外，本发明中定义IPi的事件影响频度计算为：取值范围为0～1。
此时，利用公式计算得到所述安全漏洞影响指数f(x)。
在本发明中，安全漏洞影响指数f(x)的取值范围为0～100。本发明可以预先设定不同的判定标准，例如，当f(x)的值位于76～100之间时，表示当前受安全漏洞影响较高；当f(x)的值位于51～75之间时，表示当前受安全漏洞影响中等；当f(x)的值位于26～50之间时，表示当前受安全漏洞影响较低；当f(x)的值位于0～25之间时，表示当前受安全漏洞影响非常低。当然，本发明也可以根据不同的网络环境，对判定标准进行相应调整。
因此应用本发明上述技术方案，本发明通过采集网络中安全设备的日志数据和路由交换设备的Netflow数据，进而将采集到的日志数据和Netflow数据一同进行格式化处理，获得时序网络数据流，并将获得的时序网络数据流存储于HDFS中。当本发明通过网络爬虫器获取到最新的安全漏洞数据时，便将所述安全漏洞数据转化为回溯分析规则，且进一步从HDFS中提取出时序网络数据流，并根据所述回溯分析规则计算得到受安全漏洞影响的IP资产相关数据。最后根据所述受安全漏洞影响的IP资产相关数据计算得到安全漏洞影响指数。本发明能够实现针对单一安全漏洞对特定企业网络或者某具体业务部门网络的影响性进行动态分析，且本发明基于大数据的回溯分析，针对APT类攻击能够分析出其安全漏洞的潜在影响。
基于前文本发明提供的一种安全漏洞回溯分析方法，本发明还提供一种安全漏洞回溯分析装置，如图3所示，包括：数据采集单元100、格式化处理单元200、存储单元300、回溯分析规则生成单元400、第一处理单元500和第二处理单元600。其中，
数据采集单元100，用于采集网络中安全设备的日志数据和路由交换设备的Netflow数据。
在本发明中，数据采集单元100进一步包括：
第一数据采集子单元101，用于通过系统日志syslog协议采集企业网络中安全设备的日志数据；
第二数据采集子单元102，用于通过Netflow协议及类Netflow协议采集路由交换设备的Netflow数据。
作为本发明优选的，本发明中的第一数据采集子单元101实时采集企业网络中安全设备的日志数据，第二数据采集子单元102实时采集企业网络中路由交换设备的Netflow数据。当然，本发明也可周期性、或不定时地采集网络中安全设备的日志数据和路由交换设备的Netflow数据。
格式化处理单元200，用于将采集到的日志数据和Netflow数据一同进行格式化处理，获得时序网络数据流。
本发明中时序网络数据流的格式可以设计为如下统一格式：
Option Field 1Type＝“数据分类”index＝0；
Option Field 2Type＝“源地址”index＝1；
Option Field 3Type＝“目的地址”index＝2；
Option Field 4Type＝“源端口”index＝3；
Option Field 5Type＝“目的端口”index＝4；
Option Field 6Type＝“协议”index＝5；
Option Field 7Type＝“应用协议”index＝6；
Option Field 8Type＝“事件分类”index＝7；
Option Field 9Type＝“事件等级”index＝8；
Option Field 10Type＝“资产分类”index＝9；
Option Field 11Type＝“资产操作系统”index＝10；
Option Field 12Type＝“发生时间”index＝11。
存储单元300，用于将所述时序网络数据流存储于HDFS中。
本发明中，存储单元300会将获得的时序网络数据流及时、持续地存储在HDFS中。其中作为本发明优选的，存储单元300还具体用于，以预设时间为周期，周期性地将获得的时序网络数据流存储于HDFS中。例如，以天为周期，将每天获得的时序网络数据流存储于HDFS中的一个分区，或以一小时为周期，将每小时获得的时序网络数据流存储于HDFS中的一个分区等。
回溯分析规则生成单元400，用于通过网络爬虫器获取最新的安全漏洞数据，并将所述安全漏洞数据转化为回溯分析规则。
在本发明中，可以采用互联网安全漏洞库，如CNCERT国家互联网应急中心提供的漏洞公告，通过网络爬虫器持续、定时地从互联网安全漏洞库中获取最新的安全漏洞数据。
具体在本发明中，回溯分析规则生成单元400具体用于，采用正则表达式，将所述安全漏洞数据转化为回溯分析规则。其中，所述正则表达式中的规则内容至少包括以下一种：漏洞名称、漏洞编号、厂商、漏洞等级、影响协议、影响端口、影响操作系统、漏洞详情。
在本发明中，安全漏洞的格式可以设计为如下统一格式：
Option Field 1Type＝“漏洞名称”index＝0；
Option Field 2Type＝“漏洞编号”index＝1；
Option Field 3Type＝“厂商”index＝2；
Option Field 4Type＝“漏洞等级”index＝3；
Option Field 5Type＝“影响协议”index＝4；
Option Field 6Type＝“影响端口”index＝5；
Option Field 7Type＝“影响操作系统”index＝6；
Option Field 8Type＝“漏洞详情”index＝7。
第一处理单元500，用于从所述HDFS中提取出所述时序网络数据流，并根据所述回溯分析规则计算得到受安全漏洞影响的IP资产相关数据。
在本发明中，每当回溯分析规则生成单元400将安全漏洞数据转化为回溯分析规则后，第一处理单元500便从HDFS中提取出时序网络数据流，进而根据所述回溯分析规则计算得到受安全漏洞影响的IP资产相关数据。
具体地，本发明中第一处理单元500包括：
第一处理子单元501，用于采用批处理算法，从HDFS中提取出所述时序网络数据流；
第二处理子单元502，用于根据所述回溯分析规则，获取与所述时序网络数据流相匹配的时序网络数据序列；
第三处理子单元503，用于按照IP地址聚合计算方法，对所述时序网络数据序列进行计算，获得所述受安全漏洞影响的IP资产相关数据；其中，所述IP资产相关数据包括受安全漏洞影响的IP地址和所述IP地址的统计信息；所述IP地址的统计信息包括：所述IP地址匹配命中的安全日志数量、所述IP地址匹配命中的流量和所述IP地址受影响的总时长。
第二处理单元600，用于根据所述受安全漏洞影响的IP资产相关数据、所述日志数据和所述Netflow数据计算得到安全漏洞影响指数。
在本发明中，第二处理单元600具体用于，利用公式计算得到所述安全漏洞影响指数f(x)；
其中，Li为IPi的安全日志数量；
Pfi为IPi的影响流量占回溯分析周期内总流量的比值，取值范围为0～1；
Pti为IPi的影响时长占回溯分析周期内总时长的比值，取值范围为0～1；
IPi为受安全漏洞影响的IP序列中的第i个，i为正整数。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种安全漏洞回溯分析方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种安全漏洞回溯分析方法，其特征在于，包括：
采集网络中安全设备的日志数据和路由交换设备的Netflow数据；
将采集到的日志数据和Netflow数据一同进行格式化处理，获得时序网络数据流；
将所述时序网络数据流存储于分布式文件存储系统HDFS中；
通过网络爬虫器获取最新的安全漏洞数据，并将所述安全漏洞数据转化为回溯分析规则；
从所述HDFS中提取出所述时序网络数据流，并根据所述回溯分析规则计算得到受安全漏洞影响的IP资产相关数据；
根据所述受安全漏洞影响的IP资产相关数据计算得到安全漏洞影响指数。
2.根据权利要求1所述的方法，其特征在于，所述将所述安全漏洞数据转化为回溯分析规则包括：
采用正则表达式，将所述安全漏洞数据转化为回溯分析规则；
其中，所述正则表达式中的规则内容至少包括以下一种：漏洞名称、漏洞编号、厂商、漏洞等级、影响协议、影响端口、影响操作系统、漏洞详情。
3.根据权利要求1所述的方法，其特征在于，所述从所述HDFS中提取出所述时序网络数据流，并根据所述回溯分析规则计算得到受安全漏洞影响的IP资产相关数据包括：
采用批处理算法，从HDFS中提取出所述时序网络数据流；
根据所述回溯分析规则，获取与所述时序网络数据流相匹配的时序网络数据序列；
按照IP地址聚合计算方法，对所述时序网络数据序列进行计算，获得所述受安全漏洞影响的IP资产相关数据；其中，所述IP资产相关数据包括受安全漏洞影响的IP地址和所述IP地址的统计信息；所述IP地址的统计信息包括：所述IP地址匹配命中的安全日志数量、所述IP地址匹配命中的流量和所述IP地址受影响的总时长。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述受安全漏洞影响的IP资产相关数据计算得到安全漏洞影响指数包括：
利用公式计算得到所述安全漏洞影响指数f(x)；
其中，Li为IPi的安全日志数量；
Pfi为IPi的影响流量占回溯分析周期内总流量的比值，取值范围为0～1；
Pti为IPi的影响时长占回溯分析周期内总时长的比值，取值范围为0～1；
IPi为受安全漏洞影响的IP序列中的第i个，i为正整数。
5.根据权利要求1所述的方法，其特征在于，所述采集网络中安全设备的日志数据和路由交换设备的Netflow数据包括：
通过系统日志syslog协议采集企业网络中安全设备的日志数据；
通过Netflow协议及类Netflow协议采集路由交换设备的Netflow数据。
6.根据权利要求1所述的方法，其特征在于，将所述时序网络数据流存储于HDFS中包括：
以预设时间为周期，周期性地将获得的时序网络数据流存储于HDFS中。
7.根据权利要求6所述的方法，其特征在于，所述将所述时序网络数据流存储于HDFS中后，所述方法还包括：
为存储的时序网络数据流增加时间戳。
8.根据权利要求1所述的方法，其特征在于，所述通过网络爬虫器获取最新的安全漏洞数据包括：
通过网络爬虫器持续、定时地从互联网安全漏洞库中获取最新的安全漏洞数据。
9.一种安全漏洞回溯分析装置，其特征在于，包括：
数据采集单元，用于采集网络中安全设备的日志数据和路由交换设备的Netflow数据；
格式化处理单元，用于将采集到的日志数据和Netflow数据一同进行格式化处理，获得时序网络数据流；
存储单元，用于将所述时序网络数据流存储于分布式文件存储系统HDFS中；
回溯分析规则生成单元，用于通过网络爬虫器获取最新的安全漏洞数据，并将所述安全漏洞数据转化为回溯分析规则；
第一处理单元，用于从所述HDFS中提取出所述时序网络数据流，并根据所述回溯分析规则计算得到受安全漏洞影响的IP资产相关数据；
第二处理单元，用于根据所述受安全漏洞影响的IP资产相关数据、所述日志数据和所述Netflow数据计算得到安全漏洞影响指数。
10.根据权利要求9所述的装置，其特征在于，所述回溯分析规则生成单元具体用于，采用正则表达式，将所述安全漏洞数据转化为回溯分析规则；
其中，所述正则表达式中的规则内容至少包括以下一种：漏洞名称、漏洞编号、厂商、漏洞等级、影响协议、影响端口、影响操作系统、漏洞详情。
11.根据权利要求9所述的装置，其特征在于，所述第一处理单元包括：
第一处理子单元，用于采用批处理算法，从HDFS中提取出所述时序网络数据流；
第二处理子单元，用于根据所述回溯分析规则，获取与所述时序网络数据流相匹配的时序网络数据序列；
第三处理子单元，用于按照IP地址聚合计算方法，对所述时序网络数据序列进行计算，获得所述受安全漏洞影响的IP资产相关数据；其中，所述IP资产相关数据包括受安全漏洞影响的IP地址和所述IP地址的统计信息；所述IP地址的统计信息包括：所述IP地址匹配命中的安全日志数量、所述IP地址匹配命中的流量和所述IP地址受影响的总时长。
12.根据权利要求9-11任一项所述的装置，其特征在于，所述第二处理单元具体用于，利用公式计算得到所述安全漏洞影响指数f(x)；
其中，Li为IPi的安全日志数量；
Pfi为IPi的影响流量占回溯分析周期内总流量的比值，取值范围为0～1；
Pti为IPi的影响时长占回溯分析周期内总时长的比值，取值范围为0～1；
IPi为受安全漏洞影响的IP序列中的第i个，i为正整数。
13.根据权利要求9所述的装置，其特征在于，所述数据采集单元包括：
第一数据采集子单元，用于通过系统日志syslog协议采集企业网络中安全设备的日志数据；
第二数据采集子单元，用于通过Netflow协议及类Netflow协议采集路由交换设备的Netflow数据。
14.根据权利要求9所述的装置，其特征在于，所述存储单元具体用于，以预设时间为周期，周期性地将获得的时序网络数据流存储于HDFS中。
15.根据权利要求9所述的装置，其特征在于，所述通过网络爬虫器获取最新的安全漏洞数据包括：
通过网络爬虫器持续、定时地从互联网安全漏洞库中获取最新的安全漏洞数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610371183.7A CN106096406B (zh) | 2016-05-30 | 2016-05-30 | 一种安全漏洞回溯分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610371183.7A CN106096406B (zh) | 2016-05-30 | 2016-05-30 | 一种安全漏洞回溯分析方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106096406A true CN106096406A (zh) | 2016-11-09 |
| CN106096406B CN106096406B (zh) | 2019-01-25 |
Family
ID=57231013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610371183.7A Active CN106096406B (zh) | 2016-05-30 | 2016-05-30 | 一种安全漏洞回溯分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106096406B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107566372A (zh) * | 2017-09-06 | 2018-01-09 | 南京南瑞集团公司 | 大数据环境下基于特征值反馈的安全数据采集优化方法 |
| CN108881316A (zh) * | 2018-08-30 | 2018-11-23 | 中国人民解放军国防科技大学 | 一种天地一体化信息网络下攻击回溯的方法 |
| CN109543419A (zh) * | 2018-11-30 | 2019-03-29 | 杭州迪普科技股份有限公司 | 检测资产安全的方法及装置 |
| CN109977677A (zh) * | 2017-12-28 | 2019-07-05 | 平安科技（深圳）有限公司 | 漏洞信息收集方法、装置、设备及可读存储介质 |
| CN113127881A (zh) * | 2021-04-20 | 2021-07-16 | 重庆电子工程职业学院 | 一种基于大数据的数据安全处理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101459537A (zh) * | 2008-12-20 | 2009-06-17 | 中国科学技术大学 | 基于多层次多角度分析的网络安全态势感知系统及方法 |
| CN104579782A (zh) * | 2015-01-12 | 2015-04-29 | 国家电网公司 | 一种热点安全事件的识别方法及系统 |
| CN104753946A (zh) * | 2015-04-01 | 2015-07-01 | 浪潮电子信息产业股份有限公司 | 一种基于网络流量元数据的安全分析框架 |
| US20150373043A1 (en) * | 2014-06-23 | 2015-12-24 | Niara, Inc. | Collaborative and Adaptive Threat Intelligence for Computer Security |
| CN105553957A (zh) * | 2015-12-09 | 2016-05-04 | 国家电网公司 | 基于大数据的网络安全态势感知预警方法和系统 |
-
2016
- 2016-05-30 CN CN201610371183.7A patent/CN106096406B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101459537A (zh) * | 2008-12-20 | 2009-06-17 | 中国科学技术大学 | 基于多层次多角度分析的网络安全态势感知系统及方法 |
| US20150373043A1 (en) * | 2014-06-23 | 2015-12-24 | Niara, Inc. | Collaborative and Adaptive Threat Intelligence for Computer Security |
| CN104579782A (zh) * | 2015-01-12 | 2015-04-29 | 国家电网公司 | 一种热点安全事件的识别方法及系统 |
| CN104753946A (zh) * | 2015-04-01 | 2015-07-01 | 浪潮电子信息产业股份有限公司 | 一种基于网络流量元数据的安全分析框架 |
| CN105553957A (zh) * | 2015-12-09 | 2016-05-04 | 国家电网公司 | 基于大数据的网络安全态势感知预警方法和系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107566372A (zh) * | 2017-09-06 | 2018-01-09 | 南京南瑞集团公司 | 大数据环境下基于特征值反馈的安全数据采集优化方法 |
| CN109977677A (zh) * | 2017-12-28 | 2019-07-05 | 平安科技（深圳）有限公司 | 漏洞信息收集方法、装置、设备及可读存储介质 |
| CN108881316A (zh) * | 2018-08-30 | 2018-11-23 | 中国人民解放军国防科技大学 | 一种天地一体化信息网络下攻击回溯的方法 |
| CN109543419A (zh) * | 2018-11-30 | 2019-03-29 | 杭州迪普科技股份有限公司 | 检测资产安全的方法及装置 |
| CN113127881A (zh) * | 2021-04-20 | 2021-07-16 | 重庆电子工程职业学院 | 一种基于大数据的数据安全处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106096406B (zh) | 2019-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106096406A (zh) | 一种安全漏洞回溯分析方法及装置 | |
| CN107196910A (zh) | 基于大数据分析的威胁预警监测系统、方法及部署架构 | |
| CN103368976B (zh) | 一种基于攻击图邻接矩阵的网络安全评估装置 | |
| CN110149343A (zh) | 一种基于流的异常通联行为检测方法和系统 | |
| CN109861995A (zh) | 一种网络空间安全大数据智能分析方法、计算机可读介质 | |
| CN109885562A (zh) | 一种基于网络空间安全的大数据智能分析系统 | |
| CN100384153C (zh) | 一种基于IPv6的网络性能分析报告系统及实现方法 | |
| CN106656991A (zh) | 一种网络威胁检测系统及检测方法 | |
| CN101212338B (zh) | 基于监控探针联动的网络安全事件溯源系统与方法 | |
| CN108259462A (zh) | 基于海量网络监测数据的大数据安全分析系统 | |
| CN107465667B (zh) | 基于规约深度解析的电网工控安全协同监测方法及装置 | |
| CN105871882A (zh) | 基于网络节点脆弱性和攻击信息的网络安全风险分析方法 | |
| CN109600363A (zh) | 一种物联网终端网络画像及异常网络访问行为检测方法 | |
| CN103338128A (zh) | 一种具有一体化安全管控功能的信息安全管理系统 | |
| CN103957203B (zh) | 一种网络安全防御系统 | |
| CN106357622A (zh) | 基于软件定义网络的网络异常流量检测防御系统 | |
| CN108123939A (zh) | 恶意行为实时检测方法及装置 | |
| CN107579855A (zh) | 一种基于图数据库的分层多域可视安全运维方法 | |
| CN106254318A (zh) | 一种网络攻击分析方法 | |
| El Arass et al. | Smart SIEM: From big data logs and events to smart data alerts | |
| CN104601567B (zh) | 一种基于电力信息网络安全事件挖掘的指标化安全度量方法 | |
| CN103501302A (zh) | 一种蠕虫特征自动提取的方法及系统 | |
| Dhangar et al. | Analysis of proposed intrusion detection system | |
| CN115694892A (zh) | 一种基于网络信息安全的网络安全防御系统及方法 | |
| Papadopoulos et al. | BGPViewer: Using graph representations to explore BGP routing changes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |