CN102594625A - 一种apt智能检测分析平台中的白数据过滤方法及系统 - Google Patents

一种apt智能检测分析平台中的白数据过滤方法及系统 Download PDF

Info

Publication number
CN102594625A
CN102594625A CN2012100586964A CN201210058696A CN102594625A CN 102594625 A CN102594625 A CN 102594625A CN 2012100586964 A CN2012100586964 A CN 2012100586964A CN 201210058696 A CN201210058696 A CN 201210058696A CN 102594625 A CN102594625 A CN 102594625A
Authority
CN
China
Prior art keywords
data
control information
packet
pcap
protocol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100586964A
Other languages
English (en)
Other versions
CN102594625B (zh
Inventor
万淼
周涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Venus Information Security Technology Co Ltd
Beijing Venus Information Technology Co Ltd
Original Assignee
Beijing Venus Information Security Technology Co Ltd
Beijing Venus Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Venus Information Security Technology Co Ltd, Beijing Venus Information Technology Co Ltd filed Critical Beijing Venus Information Security Technology Co Ltd
Priority to CN201210058696.4A priority Critical patent/CN102594625B/zh
Publication of CN102594625A publication Critical patent/CN102594625A/zh
Application granted granted Critical
Publication of CN102594625B publication Critical patent/CN102594625B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种APT智能检测分析平台中的白数据过滤方法及系统;方法包括:对存储的历史流量数据中的各抓包库Pcap数据包分别进行协议解析,得到各Pcap数据包的控制信息及数据;按照预定的白数据过滤条件生成过滤规则;将解析出的各Pcap数据包的控制信息与所述过滤规则进行匹配,如果一Pcap数据包的控制信息满足所述过滤规则,则删除该Pcap数据包的控制信息及数据;删除后将其余的数据及控制信息重新打包封装为Pcap数据包后发送给APT检索引擎。本发明能够合理降解过滤存储的历史数据。

Description

一种APT智能检测分析平台中的白数据过滤方法及系统
技术领域
本发明涉及网络安全领域,尤其涉及一种APT智能检测分析平台中的白数据过滤方法及系统。
背景技术
随着黑客攻击行为的组织性、趋利性越来越强,APT(Advanced PersistentThreat,高级持续威胁)已经成为了政府和各大企业信息系统最严重的威胁。宏观网络安全监控具备监控范围广、涉及重点单位多的特点,是检测APT攻击的理想环境。APT检测的难点在于攻击者的行为是在一个时间窗内展开的,而传统的入侵检测设备是基于时间点的实时检测,缺少检测上下文环境的支持。为了实现对APT攻击的检测,需要以网络流存储为基础,建立面向APT攻击的智能检测分析平台。
基于流存储的APT攻击解决方案是一种全新的攻击检测模式,最佳检测方案是在出现可疑行为(例如未知的外部连接、异常加密通信等)后,能够回溯到之前的历史流量中进行深度分析,而传统的入侵检测设备只能支持对实时流量的检测,也缺乏历史流量数据的支持。因此,APT检测的核心在于对历史流量的存储和分析能力,但假如存储的历史数据越来越多,将会给后续分析带来困难。
发明内容
本发明要解决的技术问题是如何合理降解过滤存储的历史数据。
为了解决上述问题,本发明提供了一种高级持续威胁智能检测分析平台中的白数据过滤方法,包括:
对存储的历史流量数据中的各抓包库Pcap数据包分别进行协议解析,得到各Pcap数据包的控制信息及数据;
按照预定的白数据过滤条件生成过滤规则;
将解析出的各Pcap数据包的控制信息与所述过滤规则进行匹配,如果一Pcap数据包的控制信息满足所述过滤规则,则删除该Pcap数据包的控制信息及数据;
删除后将其余的数据及控制信息重新打包封装为Pcap数据包后发送给APT检索引擎。
进一步地,对存储的历史流量数据中的各Pcap数据包分别进行协议解析,得到各Pcap数据包的控制信息及数据的步骤包括:
对存储的历史流量数据中的各Pcap数据包,分别按照网络协议结构,按照数据帧层、以太层、IP层、TCP/UDP层、应用协议层的顺序解析出该Pcap数据包各层的数据和控制信息。
进一步地,所述预定的白数据过滤条件包括对每一层设定的不同的白数据过滤条件;所述按照预定的白数据过滤条件生成过滤规则时对过滤条件进行排列组合,生成完整的过滤规则的逻辑表达式。
进一步地,所述解析出的各Pcap数据包的控制信息包括:
源地址、源端口、目的地址、目的端口、协议类型及到达时间。
进一步地,对存储的历史流量数据中的各Pcap数据包分别进行协议解析,得到各Pcap数据包的控制信息及数据的步骤包括:
对于各Pcap数据包分别进行下述处理:
解析出Pcap数据包头中的控制信息和包中的以太网协议数据包,从控制信息中获得Pcap数据包的到达时间;
解析出以太网数据包中以太网层的控制信息和IP数据包,并从控制信息中判断以太网上的协议类型;
解析出IP数据包中IP层的控制信息和TCP/UDP数据包,从控制信息中获得源地址、目的地址,并判断是否有上层封装协议及协议类型;
解析出TCP/UDP数据包中TCP或UDP层的控制信息和应用协议数据包,从控制信息中获得源端口、目的端口,并判断是否有上层封装协议及协议类型;
解析应用协议数据包,并按照应用协议格式获得应用协议数据包中的应用数据内容。
本发明还提供了一种高级持续威胁智能检测分析平台中的白数据过滤系统,其特征在于,包括:
协议解析模块,用于对存储的历史流量数据中的Pcap文件分别进行协议解析,得到各Pcap数据包的控制信息及应用数据内容;
规则生成模块,用于按照预定的白数据过滤条件生成过滤规则;
数据删除模块,用于将解析出的各Pcap数据包的控制信息与所述过滤规则进行匹配,如果一Pcap数据包的控制信息满足所述过滤规则,则删除该Pcap数据包的控制信息及应用数据内容;
文件操作模块,用于将删除后其余的应用数据内容及控制信息重新打包封装为Pcap数据包后发送给APT检索引擎。
进一步地,所述解析出的各Pcap数据包的控制信息包括:
源地址、源端口、目的地址、目的端口、协议类型及到达时间。
进一步地,所述协议解析模块包括:
数据帧层解析单元,用于解析出Pcap数据包头中的控制信息和包中的以太网协议数据包,从控制信息中获得Pcap数据包的到达时间;
以太网层解析单元,用于解析出以太网数据包中以太网层的控制信息和IP数据包,并从控制信息中判断以太网上的协议类型;
IP层解析单元,用于解析出IP数据包中IP层的控制信息和TCP/UDP数据包,从控制信息中获得源地址、目的地址,并判断是否有上层封装协议及协议类型;
TCP/UDP层解析单元,用于解析出TCP/UDP数据包中TCP或UDP层的控制信息和应用协议数据包,从控制信息中获得源端口、目的端口,并判断是否有上层封装协议及协议类型;
应用数据解析单元,用于解析应用协议数据包,并按照应用协议格式获得应用协议数据包中的应用数据内容。
进一步地,所述规则生成模块包括:
规则匹配单元,用于根据所述白数据过滤条件中的字段和对应的参数值,与解析出的各Pcap数据包的控制信息的关键字进行匹配,得到过滤规则;
过滤规则生成单元,用于根据匹配后的过滤规则生成删除白数据的逻辑表达式。
进一步地,所述数据删除模块包括:
搜索查询单元,用于接收所述规则生成模块生成的逻辑表达式,按照逻辑表达式中的关键字在解析出的控制信息中进行字符串搜索和查询;
删除单元,用于删除控制信息与所述逻辑表达式匹配的Pcap数据包所解析出的控制信息及数据。
本发明提供的技术方案可应用于静态网络数据包过滤和协议解析,对于存储的历史流量提供了合理的数据降解过滤方案,对于正常的流量能进行及时清理;本发明的优化方案采用基于多维度、多层次、多协议类型的灵活过滤策略,解决智能APT智能检测分析平台和分析系统中对于历史流量的降解和清理问题,缓解ATP智能检测分析平台中历史流量存储的压力,节省硬件成本,同时也提高了该平台的整体分析效率。
附图说明
图1为实施例一的在APT智能检测分析平台中的白数据过滤方法的流程示意图;
图2为实施例二的在APT智能检测分析平台中的白数据过滤系统的结构示意图;
图3为白数据过滤系统与网络中其它组成部分的连接示意图;
图4为图2所示的白数据过滤系统中协议解析模块101的结构示意图;
图5为图2所示的白数据过滤系统中前后端通信模块102的结构示意图;
图6为图2所示的白数据过滤系统中规则生成模块103的结构示意图;
图7为图2所示的白数据过滤系统中文件操作模块104的结构示意图;
具体实施方式
下面将结合附图及实施例对本发明的技术方案进行更详细的说明。
需要说明的是,如果不冲突,本发明实施例以及实施例中的各个特征可以相互结合,均在本发明的保护范围之内。
实施例一,一种APT智能检测分析平台中的白数据过滤方法,包括:
对存储的历史流量数据中的各Pcap(packet capture library,抓包库)数据包分别进行协议解析,得到各Pcap数据包的控制信息及数据;
按照预定的白数据过滤条件生成过滤规则;
将解析出的各Pcap数据包的控制信息与所述过滤规则进行匹配,如果一Pcap数据包的控制信息满足所述过滤规则,则删除该Pcap数据包的控制信息及数据;
删除后将其余的数据及控制信息(也就是没有被删除的Pcap数据包的控制信息及数据)重新打包封装为Pcap数据包后发送给APT检索引擎。
本实施例中,所述白数据过滤条件可以是预先保存的,也可以是系统管理员在前端界面制定的,可以但不限于是字段和参数值的形式;所述过滤规则可以但不限于是根据该白数据过滤条件生成的逻辑表达式;所述白数据过滤条件既可以是指示哪些数据要删除,也可以是指示哪些数据要保留(相当于指示删除不保留的数据)。
利用人机交互界面,由系统管理员在前端控制台制定白数据过滤条件,使得过滤规则可以根据历史数据的变化进行动态添加、删除和修改,避免了固定单一的过滤模式,过滤策略灵活。
由于目前历史流量数据是以Pcap文件格式进行保存,而Pcap文件中的各个数据包的数据部分的格式是标准的网络协议格式,由此通过分析Pcap文件格式,可解析出数据中的应用协议类型、IP、端口等信息。
本实施例中,对存储的历史流量数据中的各Pcap数据包分别进行协议解析,得到各Pcap数据包的控制信息及数据的步骤具体可以包括:
对存储的历史流量数据中的各Pcap数据包,分别按照网络协议结构,由下至上逐层(即:按照Frame层、以太层、IP层、TCP/UDP层、应用协议层的顺序)解析出该Pcap数据包各层的数据和控制信息。
具体来说,是根据Pcap文件格式,按照分层递进方式对Pcap数据包进行逐个分层解析,获得不同层的网络协议类型、应用数据和所需的六元组信息。解析过程中首先跳过Pcap文件头,获取不同数据包的信息,通过解析不同的包头,获得数据到达的时间(arrive_time);然后分别对每个数据包头进行解析,按照“Frame(数据帧)层→以太层→IP层→TCP/UDP层→应用协议层”的过程进行协议解析,获得系统支持的应用协议类型(protocol_type)。
所述预定的白数据过滤条件包括对每一层设定的不同的白数据过滤条件;所述按照预定的白数据过滤条件生成过滤规则时对过滤条件进行排列组合,生成完整的过滤规则的逻辑表达式。
本实施例中,所述解析出的各Pcap数据包的控制信息可以但不限于包括:
源地址src_ip、源端口src_port、目的地址dst_ip、目的端口dst_port、协议类型protocol_type及到达时间arrive_time。
本实施例中,所述解析出的各Pcap数据包的控制信息可以但不限于存储为六元组信息<src_ip:src_port,dst_ip:dst_port,protocol_type,arrive_time>的形式;本实施例采用了多维度过滤,即采用基于多元关键字匹配的过滤规则/过滤方法,可以避免只针对单一层次或单一类型的协议进行过滤的情况。
本实施例的一个具体例子中的处理过程如图1所示,包括:
步骤601、对各Pcap数据包分别进行递进式协议解析(即按照网络协议结构,由下至上逐层解析),获得各Pcap数据包的所述六元组信息<src_ip:src_port,dst_ip:dst_port,protocol_type,arrive_time>。
步骤602、将解析得到的六元组信息传递到前端界面,系统管理员通过前端控制台对六元组信息进行按字段组合查询。
步骤603、系统管理员根据历史流量数据的统计和行为特征,结合威胁检测分析经验,在前端控制台制定基于六元组信息的白数据过滤条件;该步骤可以预先执行,将制定好的白数据过滤条件保存好备用,并且在过滤过程中还可以不断修改、调整白数据过滤条件;该白数据过滤条件可以是对不同字段制定的规则。
步骤604、根据白数据过滤条件生成过滤规则的逻辑表达式。
步骤605、根据所述过滤规则的逻辑表达式对解析出的Pcap数据包的六元组信息进行匹配,删除符合过滤规则的Pcap数据包,并将过滤之后的数据重新打包成新的Pcap数据包。
实施例二,一种APT智能检测分析平台中的白数据过滤系统,如图2所示,包括:
协议解析模块101,用于对存储的历史流量数据中的Pcap文件分别进行协议解析,得到各Pcap数据包的控制信息及应用数据内容;
规则生成模块102,用于按照预定的白数据过滤条件生成过滤规则;
数据删除模块103,用于将解析出的各Pcap数据包的控制信息与所述过滤规则进行匹配,如果一Pcap数据包的控制信息满足所述过滤规则,则删除该Pcap数据包的控制信息及应用数据内容;
文件操作模块104,用于将删除后其余的应用数据内容及控制信息重新打包封装为Pcap数据包后发送给APT检索引擎。
本实施例中,所述白数据过滤系统还可以包括:
前后端通信模块105,用于将系统管理员在前端界面制定的白数据过滤条件传送给所述规则生成模块。
当然,所述白数据过滤条件也可以是预先存储在白数据过滤系统中的。
在存储的海量历史流量数据中,有大部分是正常的流量数据(白数据),不存在安全隐患,因此也不需要对其进行威胁检测。因此在该平台对历史流量数据进行智能分析和处理之前,为提升APT智能检测分析平台对历史流量的存储和分析能力,避免长期积累的海量历史数据对后期分析及硬件存储带来压力,对于存储下来的这些海量历史流量数据,需要建立一种评估或识别机制,将不需要处理的正常流量数据进行降解处理,只保留不安全数据(黑数据)和可疑数据(灰色数据),再提交给威胁检测引擎进行进一步的分析。在该平台中,白数据过滤系统部署在历史流量查询接口和ATP检测引擎之间。
本实施例中的白数据过滤系统在APT智能检测分析平台中的位置如图3所示,连接在各流存储(图3中的流存储1、流存储2、……、流存储n)和分布式APT检测引擎之间,并且通过历史流量查询通信接口和前端控制台UI(用户界面)交互;各流存储中保存的分别是各监测点(图3中的监测点1、监测点2、……、监测点n)从互联网Internet中得到的数据。
本实施例中,所述协议解析模块101如图4所示,具体可以包括:
数据帧层解析单元201,用于解析出Pcap数据包头中的控制信息和包中的数据(即以太网协议数据包),从控制信息中获得Pcap数据包的到达时间(arrive_time),还可以获得Pcap数据包的长度(Caplen),并判断Pcap数据包的链路类型;还可以用于记录ARP、FDDI、Ethernet(以太网)等链路类型的协议,便于后续为其做特定的规则设定,并对Ethernet(以太网)协议做进一步的协议解析和分析处理。
以太网层解析单元202,用于解析出以太网数据包中以太网层的控制信息和数据(即IP数据包),并从控制信息中判断以太网上的协议类型;还可以用于记录ICMP、IGMP、IP等以太网上的协议类型,便于后续为其做特定的规则设定,并对IP协议做进一步的协议解析和分析处理。
IP层解析单元203,用于解析出IP数据包中IP层的控制信息和数据(即TCP/UDP数据包),从控制信息中获得源地址(src_ip)、目的地址(dst_ip),并判断是否有上层封装协议及协议类型,还可以获得版本号(version)等信息;还可以用于记录TCP和UDP等IP层上的协议类型,便于后续为其做特定的规则设定,并分别对TCP和UDP协议做进一步的协议解析和分析处理。
TCP/UDP层解析单元204,用于解析出TCP/UDP数据包中TCP或UDP层的控制信息和数据(即应用协议数据包),从控制信息中获得源端口(src_port)、目的端口(dst_port),并判断是否有上层封装协议及协议类型,还可以获得标志位(tcp_flag)等信息;
应用数据解析单元205,用于解析应用协议数据包,并按照应用协议格式获得应用协议数据包中的应用数据内容。
解析出的、用于和过滤规则匹配的控制信息中,所述协议类型包括指任意一层或几层的协议类型。
本实施例中,所述前后端通信模块105如图5所示,具体可以包括:
前端界面单元301,用于接收系统管理员填写完成后的对话框参数值;
通信指令传递单元302,用于在前端界面和后端监听单元之间传递通信指令;
后端监听单元303,用于接收通信指令传递单元提供的指令,并返回操作结束指令给所述通信指令传递单元302。
通信指令传递单元302可利用socket通信传递给后端监听单元303,并将后端监听单元303返回的指令传递给所述前端界面单元301。
过滤规则的逻辑表达式及其含义举例如下:
(1)If(protocol_type=SSL and dst_port!=21),then(delete);
若数据包的协议类型为SSL,并且目的端口不等于21,则删除该数据包。
(2)If(src_ip=202.106.*.*and src_port=8080),then(delete);
若数据包的来源IP位于202.106.*.*网段,并且源端口等于8080,则删除该数据包。
(3)If((src_ip=202.106.0.*or dst_port!=21)and src_port=8080),then(delete);
若数据包的来源IP位于202.106.0.*网段,或者目的端口不等于21,并在此基础之上源端口等于8080,则删除该数据包。
(4)If(arrive_time<15:03:15.927377)then(delete);
若数据包的到达时间早于当日15点03分15.927377秒,则删除该数据包。
本实施例中,所述规则生成模块102如图6所示,具体可以包括:
规则匹配单元401,用于根据所述白数据过滤条件中的字段和对应的参数值,与解析出的控制信息(可以但不限于为六元组信息)的关键字进行匹配,得到过滤规则;比如白数据过滤条件中字段为protocol_type、参数值为SSL,则将参数值SSL匹配到六元组中的protocol_type上。
过滤规则生成单元402,用于根据匹配后的过滤规则生成删除白数据的逻辑表达式;比如上文将参数值SSL匹配到六元组中的protocol_type上后,得到逻辑表达式为If(protocol_type=SSL),then(delete)。
本实施例中,所述数据删除模块103如图7所示,具体可以包括:
搜索查询单元501,用于接收所述规则生成模块生成的逻辑表达式,按照逻辑表达式中的关键字在解析出的控制信息中进行字符串搜索和查询;
删除单元502,用于删除控制信息与所述逻辑表达式匹配的Pcap数据包所解析出的控制信息及数据。
本实施例中,所述文件操作模块将删除后其余的应用数据内容及控制信息重新打包封装为Pcap数据包时,执行创建新的Pcap文件操作,并执行将一个或多个数据包写入新文件的操作。
本发明提供的技术方案,在对Pcap文件进行协议解析时,采用分级递进式的协议解析方法,对网络数据包进行逐层解析,实现了基于多维度、多协议类型的协议解析,并没有只局限于某种协议族(如IP协议或TCP协议);对应用协议数据包,则一直解析到应用层协议,并分析应用数据;与基于黑名单的传统方法需要过滤掉具有威胁性的危险数据不同,为了APT检测引擎的进一步分析,本方案过滤的对象是确定安全的白数据,过滤之后的数据包含危险数据(黑数据),同时也包含具有潜在威胁的灰数据;在制定过滤规则时,并没有事先设定好的固定规则,而是由系统管理员根据APT智能分析平台的分析结果,在前端界面设定能够确立安全数据的白数据过滤条件和过滤参数,动态制定过滤规则;整个系统采用C++代码编程,实现方式简单且方便。
本发明提供的方案并不限于以上两个实施例,对于基于网络流量的数据包过滤和静态网络数据包过滤,都可以采用本发明提供的方法。例如,网络流量分析、防火墙网络数据过滤等需要对数据进行删除、过滤已进行进一步安全性分析,此时就需要将存储对账户信息和业务信息进行分析。
本发明提供的方案,在系统管理员进行用户过滤规则制定时,通过人机交互,查询后端协议解析之后提供的每个数据包的六元组信息,实现数据包的整体特征查询,无需开发用于数据表之间关联搜索的脚本文件,降低了系统的运营成本;白数据过滤规则可以针对不同的数据包进行适应性调整,过滤策略智能灵活,提高了数据包过滤的准确率;根据系统管理员明确指定的规则关键字对Pcap文件进行查询,降低了字符串查询的复杂度,提高系统对文件操作的处理速度;由于只需要开发一个人机交互页面,用于管理员请求查询数据包信息和制定(添加、删除和修改)白数据过滤规则,实现方式简单且方便;数据包过滤策略的采用,减轻了APT智能分析平台的对历史流量数据的存储压力,节省了硬件成本。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
另外,在本发明各个实施例中的各功能单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求所述的保护范围为准。

Claims (10)

1.一种高级持续威胁智能检测分析平台中的白数据过滤方法,包括:
对存储的历史流量数据中的各抓包库Pcap数据包分别进行协议解析,得到各Pcap数据包的控制信息及数据;
按照预定的白数据过滤条件生成过滤规则;
将解析出的各Pcap数据包的控制信息与所述过滤规则进行匹配,如果一Pcap数据包的控制信息满足所述过滤规则,则删除该Pcap数据包的控制信息及数据;
删除后将其余的数据及控制信息重新打包封装为Pcap数据包后发送给APT检索引擎。
2.如权利要求1所述的方法,其特征在于,对存储的历史流量数据中的各Pcap数据包分别进行协议解析,得到各Pcap数据包的控制信息及数据的步骤包括:
对存储的历史流量数据中的各Pcap数据包,分别按照网络协议结构,按照数据帧层、以太层、IP层、TCP/UDP层、应用协议层的顺序解析出该Pcap数据包各层的数据和控制信息。
3.如权利要求2所述的方法,其特征在于:
所述预定的白数据过滤条件包括对每一层设定的不同的白数据过滤条件;所述按照预定的白数据过滤条件生成过滤规则时对过滤条件进行排列组合,生成完整的过滤规则的逻辑表达式。
4.如权利要求1所述的方法,其特征在于,所述解析出的各Pcap数据包的控制信息包括:
源地址、源端口、目的地址、目的端口、协议类型及到达时间。
5.如权利要求4所述的方法,其特征在于,对存储的历史流量数据中的各Pcap数据包分别进行协议解析,得到各Pcap数据包的控制信息及数据的步骤包括:
对于各Pcap数据包分别进行下述处理:
解析出Pcap数据包头中的控制信息和包中的以太网协议数据包,从控制信息中获得Pcap数据包的到达时间;
解析出以太网数据包中以太网层的控制信息和IP数据包,并从控制信息中判断以太网上的协议类型;
解析出IP数据包中IP层的控制信息和TCP/UDP数据包,从控制信息中获得源地址、目的地址,并判断是否有上层封装协议及协议类型;
解析出TCP/UDP数据包中TCP或UDP层的控制信息和应用协议数据包,从控制信息中获得源端口、目的端口,并判断是否有上层封装协议及协议类型;
解析应用协议数据包,并按照应用协议格式获得应用协议数据包中的应用数据内容。
6.一种高级持续威胁智能检测分析平台中的白数据过滤系统,其特征在于,包括:
协议解析模块,用于对存储的历史流量数据中的Pcap文件分别进行协议解析,得到各Pcap数据包的控制信息及应用数据内容;
规则生成模块,用于按照预定的白数据过滤条件生成过滤规则;
数据删除模块,用于将解析出的各Pcap数据包的控制信息与所述过滤规则进行匹配,如果一Pcap数据包的控制信息满足所述过滤规则,则删除该Pcap数据包的控制信息及应用数据内容;
文件操作模块,用于将删除后其余的应用数据内容及控制信息重新打包封装为Pcap数据包后发送给APT检索引擎。
7.如权利要求6所述的系统,其特征在于,所述解析出的各Pcap数据包的控制信息包括:
源地址、源端口、目的地址、目的端口、协议类型及到达时间。
8.如权利要求7所述的系统,其特征在于,所述协议解析模块包括:
数据帧层解析单元,用于解析出Pcap数据包头中的控制信息和包中的以太网协议数据包,从控制信息中获得Pcap数据包的到达时间;
以太网层解析单元,用于解析出以太网数据包中以太网层的控制信息和IP数据包,并从控制信息中判断以太网上的协议类型;
IP层解析单元,用于解析出IP数据包中IP层的控制信息和TCP/UDP数据包,从控制信息中获得源地址、目的地址,并判断是否有上层封装协议及协议类型;
TCP/UDP层解析单元,用于解析出TCP/UDP数据包中TCP或UDP层的控制信息和应用协议数据包,从控制信息中获得源端口、目的端口,并判断是否有上层封装协议及协议类型;
应用数据解析单元,用于解析应用协议数据包,并按照应用协议格式获得应用协议数据包中的应用数据内容。
9.如权利要求7所述的系统,其特征在于,所述规则生成模块包括:
规则匹配单元,用于根据所述白数据过滤条件中的字段和对应的参数值,与解析出的各Pcap数据包的控制信息的关键字进行匹配,得到过滤规则;
过滤规则生成单元,用于根据匹配后的过滤规则生成删除白数据的逻辑表达式。
10.如权利要求6到9中任一项所述的系统,其特征在于,所述数据删除模块包括:
搜索查询单元,用于接收所述规则生成模块生成的逻辑表达式,按照逻辑表达式中的关键字在解析出的控制信息中进行字符串搜索和查询;
删除单元,用于删除控制信息与所述逻辑表达式匹配的Pcap数据包所解析出的控制信息及数据。
CN201210058696.4A 2012-03-07 2012-03-07 一种apt智能检测分析平台中的白数据过滤方法及系统 Expired - Fee Related CN102594625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210058696.4A CN102594625B (zh) 2012-03-07 2012-03-07 一种apt智能检测分析平台中的白数据过滤方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210058696.4A CN102594625B (zh) 2012-03-07 2012-03-07 一种apt智能检测分析平台中的白数据过滤方法及系统

Publications (2)

Publication Number Publication Date
CN102594625A true CN102594625A (zh) 2012-07-18
CN102594625B CN102594625B (zh) 2016-04-20

Family

ID=46482845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210058696.4A Expired - Fee Related CN102594625B (zh) 2012-03-07 2012-03-07 一种apt智能检测分析平台中的白数据过滤方法及系统

Country Status (1)

Country Link
CN (1) CN102594625B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152225A (zh) * 2013-03-22 2013-06-12 东华大学 一种基于VC++和tshark的流量监测和病毒防御方法
CN103780601A (zh) * 2012-10-17 2014-05-07 北京力控华康科技有限公司 一种自动建立以太网通信安全规则的方法
CN103905418A (zh) * 2013-11-12 2014-07-02 北京安天电子设备有限公司 一种多维度检测防御apt的系统及方法
CN104079545A (zh) * 2013-03-29 2014-10-01 西门子公司 一种提取数据包过滤规则的方法、装置和系统
CN104331278A (zh) * 2014-10-15 2015-02-04 南京航空航天大学 一种用于arinc661规范的指令过滤方法和装置
CN104408104A (zh) * 2014-11-20 2015-03-11 许继电气股份有限公司 一种智能变电站网络数据通信方法
US9124585B1 (en) 2012-12-31 2015-09-01 Emc Corporation Framework for mapping network addresses to hosts in an enterprise network
CN105103496A (zh) * 2013-03-14 2015-11-25 菲德利斯网络安全有限公司 用于提取和保存用于分析网络通信的元数据的系统和方法
CN105681211A (zh) * 2015-12-31 2016-06-15 北京安天电子设备有限公司 基于信息萃取的流量记录方法和系统
US9378361B1 (en) 2012-12-31 2016-06-28 Emc Corporation Anomaly sensor framework for detecting advanced persistent threat attacks
US9430501B1 (en) 2012-12-31 2016-08-30 Emc Corporation Time sanitization of network logs from a geographically distributed computer system
CN107172022A (zh) * 2017-05-03 2017-09-15 成都国腾实业集团有限公司 基于入侵途径的apt威胁检测方法和系统
CN107508816A (zh) * 2017-08-31 2017-12-22 杭州迪普科技股份有限公司 一种攻击流量防护方法及装置
CN107689962A (zh) * 2017-09-25 2018-02-13 深圳市盛路物联通讯技术有限公司 一种数据流过滤方法及系统
CN108200053A (zh) * 2017-12-30 2018-06-22 成都亚信网络安全产业技术研究院有限公司 记录apt攻击操作的方法及装置
CN108881145A (zh) * 2017-12-26 2018-11-23 北京安天网络安全技术有限公司 入侵检测规则优化方法、装置、电子设备及存储介质
CN109067711A (zh) * 2018-07-16 2018-12-21 中国科学院声学研究所 一种网络数据包的快速回溯分析方法
CN112069021A (zh) * 2020-08-21 2020-12-11 北京五八信息技术有限公司 流量数据的存储方法、装置、电子设备和存储介质
CN113709176A (zh) * 2021-09-06 2021-11-26 北京华清信安科技有限公司 基于安全云平台的威胁检测与响应方法及系统
CN114285627A (zh) * 2021-12-21 2022-04-05 安天科技集团股份有限公司 流量检测方法及装置、电子设备和计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10951336B2 (en) * 2016-08-31 2021-03-16 Sony Semiconductor Solutions Corporation Data processing apparatus and data processing method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606289A (zh) * 2004-11-18 2005-04-13 北京锐安科技有限公司 数据过滤条件的动态控制方法与装置
CN1925423A (zh) * 2005-08-30 2007-03-07 飞塔信息科技(北京)有限公司 具有对网络流量进行解析功能的日志装置、系统与方法
US7305708B2 (en) * 2003-04-14 2007-12-04 Sourcefire, Inc. Methods and systems for intrusion detection
CN101789931A (zh) * 2009-12-31 2010-07-28 暨南大学 一种基于数据挖掘的网络入侵检测系统及方法
CN101902335A (zh) * 2009-05-27 2010-12-01 北京启明星辰信息技术股份有限公司 一种数据过滤与合并的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7305708B2 (en) * 2003-04-14 2007-12-04 Sourcefire, Inc. Methods and systems for intrusion detection
CN1606289A (zh) * 2004-11-18 2005-04-13 北京锐安科技有限公司 数据过滤条件的动态控制方法与装置
CN1925423A (zh) * 2005-08-30 2007-03-07 飞塔信息科技(北京)有限公司 具有对网络流量进行解析功能的日志装置、系统与方法
CN101902335A (zh) * 2009-05-27 2010-12-01 北京启明星辰信息技术股份有限公司 一种数据过滤与合并的方法
CN101789931A (zh) * 2009-12-31 2010-07-28 暨南大学 一种基于数据挖掘的网络入侵检测系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张帅: "对APT攻击的检测与防御", 《信息安全与技术》, 31 December 2011 (2011-12-31), pages 1 - 3 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780601A (zh) * 2012-10-17 2014-05-07 北京力控华康科技有限公司 一种自动建立以太网通信安全规则的方法
US9378361B1 (en) 2012-12-31 2016-06-28 Emc Corporation Anomaly sensor framework for detecting advanced persistent threat attacks
US9124585B1 (en) 2012-12-31 2015-09-01 Emc Corporation Framework for mapping network addresses to hosts in an enterprise network
US9430501B1 (en) 2012-12-31 2016-08-30 Emc Corporation Time sanitization of network logs from a geographically distributed computer system
CN105103496A (zh) * 2013-03-14 2015-11-25 菲德利斯网络安全有限公司 用于提取和保存用于分析网络通信的元数据的系统和方法
CN103152225A (zh) * 2013-03-22 2013-06-12 东华大学 一种基于VC++和tshark的流量监测和病毒防御方法
CN104079545A (zh) * 2013-03-29 2014-10-01 西门子公司 一种提取数据包过滤规则的方法、装置和系统
CN103905418A (zh) * 2013-11-12 2014-07-02 北京安天电子设备有限公司 一种多维度检测防御apt的系统及方法
CN103905418B (zh) * 2013-11-12 2017-02-15 北京安天电子设备有限公司 一种多维度检测防御apt的系统及方法
CN104331278A (zh) * 2014-10-15 2015-02-04 南京航空航天大学 一种用于arinc661规范的指令过滤方法和装置
CN104331278B (zh) * 2014-10-15 2017-08-25 南京航空航天大学 一种用于arinc661规范的指令过滤方法和装置
CN104408104A (zh) * 2014-11-20 2015-03-11 许继电气股份有限公司 一种智能变电站网络数据通信方法
CN104408104B (zh) * 2014-11-20 2017-12-29 许继电气股份有限公司 一种智能变电站网络数据通信方法
CN105681211B (zh) * 2015-12-31 2020-07-28 北京安天网络安全技术有限公司 基于信息萃取的流量记录方法和系统
CN105681211A (zh) * 2015-12-31 2016-06-15 北京安天电子设备有限公司 基于信息萃取的流量记录方法和系统
CN107172022A (zh) * 2017-05-03 2017-09-15 成都国腾实业集团有限公司 基于入侵途径的apt威胁检测方法和系统
CN107172022B (zh) * 2017-05-03 2021-01-01 成都国腾实业集团有限公司 基于入侵途径的apt威胁检测方法和系统
CN107508816A (zh) * 2017-08-31 2017-12-22 杭州迪普科技股份有限公司 一种攻击流量防护方法及装置
CN107689962A (zh) * 2017-09-25 2018-02-13 深圳市盛路物联通讯技术有限公司 一种数据流过滤方法及系统
CN107689962B (zh) * 2017-09-25 2021-03-19 深圳市盛路物联通讯技术有限公司 一种数据流过滤方法及系统
CN108881145A (zh) * 2017-12-26 2018-11-23 北京安天网络安全技术有限公司 入侵检测规则优化方法、装置、电子设备及存储介质
CN108200053B (zh) * 2017-12-30 2021-05-14 成都亚信网络安全产业技术研究院有限公司 记录apt攻击操作的方法及装置
CN108200053A (zh) * 2017-12-30 2018-06-22 成都亚信网络安全产业技术研究院有限公司 记录apt攻击操作的方法及装置
CN109067711A (zh) * 2018-07-16 2018-12-21 中国科学院声学研究所 一种网络数据包的快速回溯分析方法
CN109067711B (zh) * 2018-07-16 2020-04-14 中国科学院声学研究所 一种网络数据包的快速回溯分析方法
CN112069021A (zh) * 2020-08-21 2020-12-11 北京五八信息技术有限公司 流量数据的存储方法、装置、电子设备和存储介质
CN112069021B (zh) * 2020-08-21 2024-02-20 北京五八信息技术有限公司 流量数据的存储方法、装置、电子设备和存储介质
CN113709176A (zh) * 2021-09-06 2021-11-26 北京华清信安科技有限公司 基于安全云平台的威胁检测与响应方法及系统
CN114285627A (zh) * 2021-12-21 2022-04-05 安天科技集团股份有限公司 流量检测方法及装置、电子设备和计算机可读存储介质
CN114285627B (zh) * 2021-12-21 2023-12-22 安天科技集团股份有限公司 流量检测方法及装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN102594625B (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
CN102594625B (zh) 一种apt智能检测分析平台中的白数据过滤方法及系统
CN101656634B (zh) 基于IPv6网络环境的入侵检测方法
CN105429963B (zh) 基于Modbus/Tcp的入侵检测分析方法
CN103179105B (zh) 一种基于网络流量中行为特征的智能木马检测装置及其方法
US8682812B1 (en) Machine learning based botnet detection using real-time extracted traffic features
KR101070614B1 (ko) 봇넷 정보를 이용한 악성 트래픽 격리 시스템과 봇넷 정보를 이용한 악성 트래픽 격리 방법
Lee et al. Effective value of decision tree with KDD 99 intrusion detection datasets for intrusion detection system
CN106953837A (zh) 具有威胁可视化的集成安全系统
CN106921637A (zh) 网络流量中的应用信息的识别方法和装置
CN107370752B (zh) 一种高效的远控木马检测方法
CN103139315A (zh) 一种适用于家庭网关的应用层协议解析方法
WO2011134739A1 (en) Method for searching for message sequences, protocol analysis engine and protocol analyzer
CN105491018B (zh) 一种基于dpi技术的网络数据安全性分析方法
CN103532957A (zh) 一种木马远程shell行为检测装置及方法
CN103152222A (zh) 一种基于主机群特征检测速变攻击域名的方法
CN107666486A (zh) 一种基于报文协议特征的网络数据流恢复方法及系统
CN105635170A (zh) 基于规则对网络数据包进行识别的方法和装置
CN102833263A (zh) 入侵检测和防护的方法及设备
Shanthi et al. Detection of botnet by analyzing network traffic flow characteristics using open source tools
Hurley et al. ITACA: Flexible, scalable network analysis
CN101582880B (zh) 一种基于被审计对象的报文过滤方法及系统
CN104104675A (zh) Internet控制报文协议伪装捕获与分析技术
KR101648033B1 (ko) 공격 패턴이 존재하지 않는 공격 시그니처 기반의 침입 탐지 방법 및 그를 위한 장치
CN101902758A (zh) 基于协议测试的无线网络中的数据处理方法和装置
Caulkins et al. A dynamic data mining technique for intrusion detection systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160420

Termination date: 20210307