CN108055276B - 面向大数据应用平台的入侵检测实时分析系统 - Google Patents

面向大数据应用平台的入侵检测实时分析系统 Download PDF

Info

Publication number
CN108055276B
CN108055276B CN201711425207.3A CN201711425207A CN108055276B CN 108055276 B CN108055276 B CN 108055276B CN 201711425207 A CN201711425207 A CN 201711425207A CN 108055276 B CN108055276 B CN 108055276B
Authority
CN
China
Prior art keywords
intrusion
data
network
analysis
application platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711425207.3A
Other languages
English (en)
Other versions
CN108055276A (zh
Inventor
韩光
李定成
唐云霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nanyou Institute Of Information Teachnovation Co ltd
Original Assignee
Nanjing Nanyou Institute Of Information Teachnovation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nanyou Institute Of Information Teachnovation Co ltd filed Critical Nanjing Nanyou Institute Of Information Teachnovation Co ltd
Priority to CN201711425207.3A priority Critical patent/CN108055276B/zh
Publication of CN108055276A publication Critical patent/CN108055276A/zh
Application granted granted Critical
Publication of CN108055276B publication Critical patent/CN108055276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Abstract

本发明公开了一种面向大数据应用平台的入侵检测实时分析系统，包括大数据应用平台所接入网络的安全网关、与安全网关相连接的入侵分析服务程序和MemCache数据库，其中所述安全网关具有网络数据特征分析功能，并包含网络数据特征到入侵分析服务程序注册号的映射规则集；安全网关监听网络数据并进行网络数据特征分析，然后发送到与映射规则集内注册号符合的入侵分析服务程序；入侵分析服务程序依次进行提取网络行为属性、提取近期网络行为和智能判断三步入侵分析过程，得出入侵分析结果存入MemCache数据库，并向其他入侵分析服务程序发起同步指令，以达到使针对大数据应用平台的入侵检测分析系统无限扩容、大规模并发跟踪和高速高效运行的技术目的。

Description

面向大数据应用平台的入侵检测实时分析系统
技术领域
本发明涉及入侵检测技术领域，尤其是涉及一种面向大数据应用平台的入侵检测实时分析系统。
背景技术
在目前诸如12306、淘宝、赶集、智联之类大数据相关应用平台，包括刷票、刷单、开外挂、批量提取客户资料等异常行为源源不绝，作弊技术也不断演进，如何运用大数据技术持续不断的高速跟踪检测此类作弊和入侵行为成为非常有实用价值的研究课题。
发明内容
为了克服上述现有技术的不足，本发明旨在提供一种面向大数据应用平台的入侵检测实时分析系统，包括大数据应用平台所接入网络的安全网关、与安全网关相连接的入侵分析服务程序和MemCache数据库，其中所述安全网关具有网络数据特征分析功能，并包含网络数据特征到入侵分析服务程序注册号的映射规则集；安全网关监听进入大数据应用平台的网络数据，并进行网络数据特征分析，然后发送到与映射规则集内注册号符合的入侵分析服务程序；入侵分析服务程序对所接收的网络数据，依次进行提取网络行为属性、提取近期网络行为和智能判断三步入侵分析过程，得出入侵分析结果存入MemCache数据库，并向其他入侵分析服务程序发起同步指令，以达到综合运用大数据技术，使针对大数据应用平台的入侵检测分析系统无限扩容、大规模并发跟踪和高速高效运行的技术目的。
为此，本发明提出面向大数据应用平台的入侵检测实时分析系统，包括大数据应用平台所接入网络的安全网关、与安全网关相连接的入侵分析服务程序和MemCache数据库，所述MemCache数据库与入侵分析服务程序安装在同一台计算机上，其中：
发送到所述大数据应用平台的数据都经过安全网关，从所述大数据应用平台发出的数据都经过安全网关；
所述入侵分析服务程序具有注册号、IP地址和端口号；
所述安全网关具有网络数据特征分析功能，并包含网络数据特征到入侵分析服务程序注册号的映射规则集，所述网络数据特征包括网络协议类型、数据分类和数据方向；
所述MemCache数据库存储以语义特征和实体分类的详细数据；
在具体分析时，其详细步骤如下：
S100,安全网关监听进入大数据应用平台的网络数据，并进行网络数据特征分析，然后发送到与映射规则集内注册号符合的入侵分析服务程序；
S200,入侵分析服务程序对所接收的网络数据进行入侵分析过程，得出包括入侵行为、入侵时间、发起IP地址、物理地址、账户、威胁程度和摘要信息的入侵分析结果，存入MemCache数据库；
其中S200步骤中入侵分析服务程序的入侵分析过程步骤为：
S201，根据网络数据所属的网络协议类型提取网络行为属性，所述网络行为属性包括账户登录、文件请求、数据请求和数据修改类型；
S202，提取MemCache数据库中前述网络数据所包含的账户、发起IP地址和物理地址在近期的所有网络行为，汇总行为频度、网络流量和异常属性；
S203，智能判断密码破解、资料异常下载、网络堵塞和自动交易在内的入侵行为，并得出入侵分析结果
S300,入侵分析服务程序向其他入侵分析服务程序发起同步指令，所述同步指令包括入侵分析结果和来源数据库信息。
更优的，所述MemCache数据库内存储的入侵分析结果以账户、发起IP地址和物理地址为主索引项。
进一步地，所述安全网关的网络数据特征分析基于TCP/IP协议，所述网络协议类型包括TCP、UDP、HTTP、HTTPS、FTP、Telnet和RPC，所述数据分类包括加密、公开和认证，所述数据方向包括点对点、代理和NAT穿越。
进一步地，所述安全网关是防火墙。
进一步地，所述入侵分析结果具有唯一编号，所述MemCache数据库同步指令的处理步骤为：其他入侵分析服务程序接收同步指令后，将所接收的入侵分析结果存入本计算机的MemCache数据库内。
更优地，步骤S100对于账户登录类型的网络行为，还提取、记录会话标识ID并包含在分析输出的入侵分析结果中，存入MemCache数据库。
本发明具有如下有益效果：
对传入网络数据记录以发起IP地址、物理地址和登录账户为分类器，可适用于对来自境外代理、内网和第三方网站发起的入侵攻击检测；
通过多台入侵分析服务程序和MemCache内存数据库，使所采用入侵分析系统具有无限制的扩容能力和实时入侵分析能力；
各MemCache内存数据库的内容实时同步，做到对大数据应用平台同一账户、发起IP和物理地址的数据实时跟踪，满足大规模并发跟踪、高速高效的入侵检测实时分析系统需求。
附图说明
图1是一种面向大数据应用平台的入侵检测实时分析系统的组成结构图，
图2是一种面向大数据应用平台的入侵检测实时分析系统的执行流程图，
图3是一种面向大数据应用平台的入侵检测实时分析系统入侵分析过程的流程图。
具体实施方式
为了加深对本发明的理解，下面结合附图和实施例对本发明进一步说明，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。
如图1所示，面向大数据应用平台的入侵检测实时分析系统，包括大数据应用平台所接入网络的安全网关1、与安全网关相连接的入侵分析服务程序2和MemCache数据库3，所述MemCache数据库与入侵分析服务程序安装在同一台计算机上，其中：
发送到所述大数据应用平台的数据都经过安全网关，从所述大数据应用平台发出的数据都经过安全网关；
所述安全网关是大数据应用平台与外部网络进行数据交互的通道。
所述入侵分析服务程序具有注册号、IP地址和端口号；
所述安全网关具有网络数据特征分析功能，并包含网络数据特征到入侵分析服务程序注册号的映射规则集，所述网络数据特征包括网络协议类型、数据分类和数据方向；
安全网关的网络数据特征分析基于TCP/IP协议，仅限于对网络数据的协议类型、数据分类和数据类型进行区分和识别。所述网络协议类型包括TCP、UDP、HTTP、HTTPS、FTP、Telnet和RPC，所述数据分类包括加密、公开和认证，所述数据方向包括点对点、代理和NAT穿越。
安全网关结合所述的映射规则集，根据分析得出的网络数据特征，将所接收网络数据发送到注册号符合的入侵分析服务程序，以及支持将网络数据特征相同的一组网络数据按顺序依次发送到多台不同的入侵分析服务程序。例如：入侵分析服务程序A专门处理点对点FTP数据，入侵分析服务程序B专门处理通过代理发送的HTTPS加密数据，入侵分析服务程序C专门处理经NAT穿越的RPC数据。
可将频度不同、加密程度不同和重要性不同的网络数据分门别类处理，将极少数危害性大的网络数据交由专门的高性能计算机进行，而将绝大多数普通网络数据交由一系列普通计算机进行并行分布式入侵分析。由此：通过扩展多台入侵分析服务程序和MemCache内存数据库，使所采用入侵分析系统具有无限制的扩容能力和实时入侵分析能力，具有足够强大的性能伸缩性和功能扩展灵活性。
所述MemCache数据库存储以语义特征和实体分类的详细数据，具体以账户、发起IP地址和物理地址为分类依据。通过对传入网络数据记录以发起IP地址、物理地址和登录账户为分类器，可适用于对来自境外代理、内网和第三方网站发起的入侵攻击检测。当入侵来自境外代理和第三方网站时，以发起IP和物理地址为分类器，可对所采用的代理、第三方网站和信息来源地及时采取拦截和过滤措施，防止危害进一步扩大；对于从自身内网发起的入侵攻击，通过以发起IP地址、物理地址和登录账户为分类器，可跟踪到具体的入侵计算机以便及时进行网络隔离和无害化处理。
在具体分析时，如图2所示其详细步骤如下：
S100,安全网关监听进入大数据应用平台的网络数据，并进行网络数据特征分析，然后发送到与映射规则集内注册号符合的入侵分析服务程序；
所述入侵分析服务程序具有特定的注册号、IP地址和端口号，在安全网关的内存中预先存储有所属映射规则集；当接收到网络数据后，经过网络数据特征分析得出包括协议类型、数据分类和数据类型在内的网络数据特征，然后根据映射规则集而找到注册号符合的入侵分析服务程序，并将此网络数据发送到符合的入侵分析服务程序。
S200,入侵分析服务程序对所接收的网络数据进行入侵分析过程，得出包括入侵行为、入侵时间、发起IP地址、物理地址、账户、威胁程度和摘要信息的入侵分析结果，存入MemCache数据库；
S300,入侵分析服务程序向其他入侵分析服务程序发起同步指令，所述同步指令包括入侵分析结果和来源数据库信息。
同步完成后，其他入侵分析服务程序也得到前述的入侵分析结果。通过各MemCache内存数据库的内容实时同步，做到对大数据应用平台同一账户、发起IP和物理地址的数据实时跟踪，即入侵行为的准确、实时跟踪，从而满足大规模并发跟踪、高速高效的入侵检测实时分析系统需求。
如图3所示，其中S200步骤中入侵分析服务程序的入侵分析过程步骤为：
S201，根据网络数据所属的网络协议类型提取网络行为属性，所述网络行为属性包括账户登录、文件请求、数据请求和数据修改类型；
每种入侵行为都与某一个或多个特定的网络行为属性相关联，通过对网络数据隐含的网络行为属性以及内容的精确语义分析、汇总统计，可以得出网络行为的危害程度、频度和时间。
S202，提取MemCache数据库中前述网络数据所包含的账户、发起IP地址和物理地址在近期的所有网络行为，汇总行为频度、网络流量和异常属性；
例如：密码破解攻击必然伴随账户登录以及登录失败现象的频繁发生，数据窃取攻击必然伴随资料异常下载或数据库存取的频繁发生，拒绝服务攻击伴随短时间、高频度的连接请求或网络数据请求。通过汇总、比对网络行为的频度和发生间隔与正常操作的差异，以账户、发起IP地址和物理地址为分类依据，得出此网络行为的频度、网络流量数据和异常属性。
S203，智能判断密码破解、资料异常下载、网络堵塞和自动交易在内的入侵行为，并得出入侵分析结果。
根据S202判断得出的网络行为频度、网络流量数据和异常属性，得出对应于密码破解、资料异常下载、网络堵塞和自动交易等某一类入侵行为的发生概率，并作为入侵分析结果。所述入侵分析结果将存入MemCache数据库。
在一个更优的实施例中，所述MemCache数据库内存储的入侵分析结果以账户、发起IP地址和物理地址为主索引项。所述主索引项的设置便于S202步骤高效提取与当前网络数据相同的账户、发起IP地址和物理地址在近期的所有网络行为。
所述安全网关的网络数据特征分析基于TCP/IP协议，所述网络协议类型包括TCP、UDP、HTTP、HTTPS、FTP、Telnet和RPC，所述数据分类包括加密、公开和认证，所述数据方向包括点对点、代理和NAT穿越。
在另一实施例中，所述安全网关还可以是防火墙。防火墙是位于大数据应用平台和外部网络之间的网络安全系统，能监视进入和流出所述大数据应用平台的所有数据，进而和安全网关一样，执行步骤S100所述的网络数据特征分析过程，进而将所接收的网络数据发送到与所述映射规则集内注册号符合的入侵分析服务程序。
所述入侵分析结果具有唯一编号，所述MemCache数据库同步指令的处理步骤为：其他入侵分析服务程序接收同步指令后，将同步指令所包含的入侵分析结果存入本计算机的MemCache数据库内。同步完成后，其他入侵分析服务程序也得到前述的入侵分析结果。
一个更优的实施例中，步骤S100对于账户登录类型的网络行为，还提取、记录会话标识ID并包含在分析输出的入侵分析结果中，存入MemCache数据库。
记录账户登录的会话标识ID，便于持续跟踪客户端与所述大数据应用平台的一组连续数据交互过程，分析和记录发生的所有账户登录、文件请求、数据请求和数据修改类型的网络行为，以及分析包括密码破解、资料异常下载、网络堵塞和自动交易在内的入侵行为，并得出入侵分析结果。
本发明的实施例公布的是较佳的实施例，但并不局限于此，本领域的普通技术人员，极易根据上述实施例，领会本发明的精神，并做出不同的引申和变化，但只要不脱离本发明的精神，都在本发明的保护范围内。

Claims (6)

1.面向大数据应用平台的入侵检测实时分析系统，其特征在于，包括大数据应用平台所接入网络的安全网关、与安全网关相连接的入侵分析服务程序和MemCache数据库，所述MemCache数据库与入侵分析服务程序安装在同一台计算机上，其中：
发送到所述大数据应用平台的数据都经过安全网关，从所述大数据应用平台发出的数据都经过安全网关；
所述入侵分析服务程序具有注册号、IP地址和端口号；
所述安全网关具有网络数据特征分析功能，并包含网络数据特征到入侵分析服务程序注册号的映射规则集，所述网络数据特征包括网络协议类型、数据分类和数据方向；
所述MemCache数据库存储以语义特征和实体分类的详细数据；
在具体分析时，其详细步骤如下：
S100,安全网关监听进入大数据应用平台的网络数据，并进行网络数据特征分析，然后发送到与映射规则集内注册号符合的入侵分析服务程序；
S200,入侵分析服务程序对所接收的网络数据进行入侵分析过程，得出包括入侵行为、入侵时间、发起IP地址、物理地址、账户、威胁程度和摘要信息的入侵分析结果，存入MemCache数据库；
其中S200步骤中入侵分析服务程序的入侵分析过程步骤为：
S201，根据网络数据所属的网络协议类型提取网络行为属性，所述网络行为属性包括账户登录、文件请求、数据请求和数据修改类型；
S202，提取MemCache数据库中前述网络数据所包含的账户、发起IP地址和物理地址在近期的所有网络行为，汇总行为频度、网络流量和异常属性；
S203，智能判断密码破解、资料异常下载、网络堵塞和自动交易在内的入侵行为，并得出入侵分析结果；
S300,入侵分析服务程序向其他入侵分析服务程序发起同步指令，所述同步指令包括入侵分析结果和来源数据库信息。
2.根据权利要求1所述的面向大数据应用平台的入侵检测实时分析系统，其特征在于，所述MemCache数据库内存储的入侵分析结果以账户、发起IP地址和物理地址为主索引项。
3.根据权利要求1所述的面向大数据应用平台的入侵检测实时分析系统，其特征在于，所述安全网关的网络数据特征分析基于TCP/IP协议，所述网络协议类型包括TCP、UDP、HTTP、HTTPS、FTP、Telnet和RPC，所述数据分类包括加密、公开和认证，所述数据方向包括点对点、代理和NAT穿越。
4.根据权利要求1所述的面向大数据应用平台的入侵检测实时分析系统，其特征在于，所述安全网关是防火墙。
5.根据权利要求4所述的面向大数据应用平台的入侵检测实时分析系统，其特征在于，所述入侵分析结果具有唯一编号，所述MemCache数据库同步指令的处理步骤为：其他入侵分析服务程序接收同步指令后，将所接收的入侵分析结果存入本计算机的MemCache数据库内。
6.根据权利要求1-5任意一项所述的面向大数据应用平台的入侵检测实时分析系统，其特征在于，步骤S100对于账户登录类型的网络行为，还提取、记录会话标识ID并包含在分析输出的入侵分析结果中，存入MemCache数据库。
CN201711425207.3A 2017-12-25 2017-12-25 面向大数据应用平台的入侵检测实时分析系统 Active CN108055276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711425207.3A CN108055276B (zh) 2017-12-25 2017-12-25 面向大数据应用平台的入侵检测实时分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711425207.3A CN108055276B (zh) 2017-12-25 2017-12-25 面向大数据应用平台的入侵检测实时分析系统

Publications (2)

Publication Number Publication Date
CN108055276A CN108055276A (zh) 2018-05-18
CN108055276B true CN108055276B (zh) 2020-10-20

Family

ID=62131871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711425207.3A Active CN108055276B (zh) 2017-12-25 2017-12-25 面向大数据应用平台的入侵检测实时分析系统

Country Status (1)

Country Link
CN (1) CN108055276B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109450866B (zh) * 2018-10-22 2021-01-01 北京亚鸿世纪科技发展有限公司 一种基于大数据分析的撞库预警方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312703A (zh) * 2013-05-31 2013-09-18 西南大学 基于模式识别的网络入侵检测方法及系统
CN104935600A (zh) * 2015-06-19 2015-09-23 中国电子科技集团公司第五十四研究所 一种基于深度学习的移动自组织网络入侵检测方法与设备
CN105429963A (zh) * 2015-11-04 2016-03-23 北京工业大学 基于Modbus/Tcp的入侵检测分析方法
CN105577679A (zh) * 2016-01-14 2016-05-11 华东师范大学 一种基于特征选择与密度峰值聚类的异常流量检测方法
CN106603538A (zh) * 2016-12-20 2017-04-26 北京安信天行科技有限公司 一种入侵检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312703A (zh) * 2013-05-31 2013-09-18 西南大学 基于模式识别的网络入侵检测方法及系统
CN104935600A (zh) * 2015-06-19 2015-09-23 中国电子科技集团公司第五十四研究所 一种基于深度学习的移动自组织网络入侵检测方法与设备
CN105429963A (zh) * 2015-11-04 2016-03-23 北京工业大学 基于Modbus/Tcp的入侵检测分析方法
CN105577679A (zh) * 2016-01-14 2016-05-11 华东师范大学 一种基于特征选择与密度峰值聚类的异常流量检测方法
CN106603538A (zh) * 2016-12-20 2017-04-26 北京安信天行科技有限公司 一种入侵检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
华铭轩等.大数据环境下的入侵检测系统框架.《通信技术》.2015,第48卷(第11期),全文. *

Also Published As

Publication number Publication date
CN108055276A (zh) 2018-05-18

Similar Documents

Publication Publication Date Title
US20200344246A1 (en) Apparatus, system and method for identifying and mitigating malicious network threats
CN110213212B (zh) 一种设备的分类方法和装置
CN106657001B (zh) 一种基于Netflow及DNS日志的僵尸网络检测方法
CN109194680B (zh) 一种网络攻击识别方法、装置及设备
CN103297433B (zh) 基于网络数据流的http僵尸网络检测方法及系统
US20150128267A1 (en) Context-aware network forensics
EP3297248B1 (en) System and method for generating rules for attack detection feedback system
US20140047543A1 (en) Apparatus and method for detecting http botnet based on densities of web transactions
US10440035B2 (en) Identifying malicious communication channels in network traffic by generating data based on adaptive sampling
CN110958231A (zh) 基于互联网的工控安全事件监测平台及其方法
CN111565203B (zh) 业务请求的防护方法、装置、系统和计算机设备
Jiang et al. ALDD: a hybrid traffic-user behavior detection method for application layer DDoS
Garasia et al. HTTP botnet detection using frequent patternset mining
CN108055276B (zh) 面向大数据应用平台的入侵检测实时分析系统
Asha et al. Analysis on botnet detection techniques
CN106411951B (zh) 网络攻击行为检测方法及装置
CN111786990A (zh) 一种针对web主动推送跳转页面的防御方法和系统
Seo et al. Abnormal behavior detection to identify infected systems using the APChain algorithm and behavioral profiling
JP6007308B1 (ja) 情報処理装置、情報処理方法及びプログラム
CN111371917B (zh) 一种域名检测方法及系统
CN103078771A (zh) 基于p2p的僵尸网络分布式协作检测系统和方法
CN110839045B (zh) 一种电力监控系统异常流量检测方法
Nie et al. Intrusion detection using a graphical fingerprint model
Yang et al. Cyber threat detection and application analysis
KR20150080747A (ko) 네트워크 기반 세이프 브라우징(Safe-Browsing) DB 생성 및 배포 방법, 세이프 브라우징 DB를 이용한 세이프 브라우징(Safe-Browsing) 강제화 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Han Guang

Inventor after: Li Dingcheng

Inventor after: Tang Yunxiao

Inventor before: Han Guang

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant