CN105791289A - 一种基于大数据计算的网络保护的方法及系统 - Google Patents

一种基于大数据计算的网络保护的方法及系统 Download PDF

Info

Publication number
CN105791289A
CN105791289A CN201610117295.XA CN201610117295A CN105791289A CN 105791289 A CN105791289 A CN 105791289A CN 201610117295 A CN201610117295 A CN 201610117295A CN 105791289 A CN105791289 A CN 105791289A
Authority
CN
China
Prior art keywords
data
network protection
big data
calculated based
safety regulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610117295.XA
Other languages
English (en)
Inventor
夏杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610117295.XA priority Critical patent/CN105791289A/zh
Publication of CN105791289A publication Critical patent/CN105791289A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1466—Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于大数据计算的网络保护的方法及系统，包括数据采集、数据分析、动态规则生成、规则推送四个步骤，该方法和系统可以智能的、动态的生成安全防护规则，可以快速面对日益复杂的网络安全状况，减少人工干预和人工错误，减少网络安全防御成本，并且能发现人工不容易的异常(0 day攻击)，提高安全防御效果。

Description

一种基于大数据计算的网络保护的方法及系统
技术领域
本发明涉及计算机网络安全领域，尤其是涉及一种基于大数据计算的网络保护的方法及系统。
背景技术
随着互联网越来越深入到社会经济、生活的方面，计算机的网络安全问题显得愈发突出。目前在计算机网络安全领域，大都采取基于安全规则的网络保护方法。基于安全规则的网络保护方法通常针对每一种已有的安全威胁类型制定具体的安全规则，并使用这些安全规则的组合来防范各种网络攻击。
但这种基于安全规则的网络保护方法存在着明显的缺陷。首先，这些安全规则都是相对静态的，不能随着攻击手段的变化而自动进行调整，而是需要管理人员手动进行规则的更新和维护；其次，安全规则的制定只能依据已知的攻击方式和漏洞，而对于未知的攻击方式和还没有补丁的漏洞进行的攻击（0day攻击）则完全没有办法防御；第三，随着攻击和漏洞的类型的不断增加，安全规则的组合则越来越复杂，手动进行安全规则的维护不仅费时费力，并且极容易出错而导致安全策略失效。
发明内容
针对上述缺陷和不足，本发明的目的在于提供一种基于大数据计算的网络保护的方法及系统，可以动态的发现各种攻击方式和漏洞，即时进行防护。
所述的基于大数据计算的网络保护的方法包括如下步骤：
（1）从用户服务器实例云中采集大量服务器（各种服务程序）访问数据，这里的大量是指比如1000台以上各种服务程序服务器所收集的数据，包括包头部、应用程序头部、请求的负载部分。优选的数据有目标地址和请求的负载参数值部分。
（2）将收集到的各种服务程序访问数据规则化，移除噪音数据，规则化的内容包括以键值对的方式格式化请求的负载部分，并按照服务程序协议要求剔除不合法头部，移除噪音数据，达到提高数据异常处理效率和准确性的目的。
（3）对采集的数据做异常分析，找到其中的异常数据集合，并生成安全规则。异常数据是指访问的数据的安全特征明显和其他数据不一致，安全规则是指能匹配这种安全特征安全配置，它能被以入侵阻拦系统(IPS)或者入侵监测系统(IDS)使用的方式生成。异常分析的的结果和数据量的大小有直接的关系，随着数据量的增加异常的准确率也增加。使用大数据对异常分析的准确性有明显的提高。优选的异常分析的方法有K-近邻算法和/或局部离群因子算法。
（4）对新生成的规则找到使用的服务器实例，并推送到目标服务器。使用查表遍历或者哈希特征值的方法找到所需的服务器实例，并采用自动化集中机制进行推送。优选的可以采用基于http(s)的基于XML的远程过程调用(xmlrpc)协议来实现推送。
基于大数据计算的网络保护的系统包含四个模块：数据采集模块、数据分析模块、动态规则生成模块、规则推送模块。数据采集模块从用户服务器实例用云中采集服务器（各种服务程序）访问数据，包括服务程序应用头部和请求负载参数部分；数据加工分析模块将收集到的各种服务程序访问数据规则化，移除噪音数据；动态规则生成模块对采集的数据做异常分析，找到其中的异常数据集合，并生成安全规则；规则推送模块对新生成的规则找到使用的服务器实例，并推送到目标服务器。
本发明的优势在于自动化，智能的，动态的，生成安全防护规则，可以快速面对日益复杂的网络安全状况，减少人工干预和人工错误，减少网络安全防御成本，并且能发现人工不容易的异常(0day攻击)，提高安全防御效果。
附图说明
图1是本发明实施例的基于大数据计算的网络保护系统的结构框图。
具体实施方式
为了使本发明的技术方案更加清楚，下面将结合实施例对本发明进行进一步的描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
所述的基于大数据计算的网络保护系统，包括数据采集模块、数据分析模块、动态规则生成模块、规则推送模块。用户服务器实例云连接数据采集模块，然后依次连接数据分析模块、动态规则生成模块、规则推送模块，规则推送模块再与目标用户服务器实例连接。
数据采集模块从用户服务器实例云的各种服务程序访问数据中提取访问特征并储存，提取服务器访问的特征包括头部、目标、大小、时间戳、参数等，并将该特征采用分布式文件系统保存，以便让数据加工分析模块使用。
数据加工分析模块接收到采集模块传递的特征码数据集，采用降噪(剔除非相关性请求，不完整请求)算法整理和规则化特征数据集，该集然后被送入动态规则生成模块。
动态规程生成模块使用K-近邻算法和/或局部离群因子算法，找出异常特征集，并使用该异常特征集生成新的防护规则，并添加到防护规则集。
规则推送模块使用防护规则集，该模块检测目标服务器状态，包括文件系统、服务、应用配置、数据库等等，推送相关的规则集到用户服务器实例，管理系统实现自动安全维护。
虽然本发明的内容包含四个步骤及相应模块，但将其中任何二个或者多个步骤进行合并或组合后的方法及系统均在本发明的保护范围以内。

Claims (8)

1.一种基于大数据计算的网络保护的方法，包括如下步骤：
a.从用户服务器实例云中采集多个服务器实例的各种服务程序的访问数据，包括包头部、应用程序头部和请求的负载部分；
b.将收集到的访问数据规则化，包括以键值对的方式格式化请求的负载部分，并按照服务程序协议要求剔除不合法头部；
c.对规则化的数据做异常分析，找到安全特征明显和其他数据不一致的异常数据集合，并生成安全规则，安全规则是指能匹配这种安全特征安全配置；
d.使用查表遍历或者哈希特征值的方法找到所需的服务器实例，并将上述安全规则采用自动化集中机制推送到目标服务器。
2.如权利要求1所述的一种基于大数据计算的网络保护的方法，其特征在于：所述的访问数据还包括目标地址和请求的负载参数值部分。
3.如权利要求1所述的一种基于大数据计算的网络保护的方法，其特征在于：所述的异常分析采用K-近邻算法和/或局部离群因子算法。
4.如权利要求1所述的一种基于大数据计算的网络保护的方法，其特征在于：将安全规则推送到目标服务器时采用基于http(s)的XML远程过程调用(xmlrpc)协议。
5.如权利要求1所述的一种基于大数据计算的网络保护的方法，其特征在于：采集的服务器实例数量超过1000个。
6.如权利要求5所述的一种基于大数据计算的网络保护的方法，其特征在于：将访问数据的安全特征采用分布式文件系统保存。
7.如权利要求1所述的一种基于大数据计算的网络保护的方法，其特征在于：该方法还包括检测目标服务器状态的步骤。
8.一种用于实施上述任一权利要求所述方法的网络保护系统，其特征在于：包括，
数据采集模块，用于采集多个服务器实例的各种服务程序的访问数据；
数据加工分析模块，用于将收集到的访问数据规则化；
动态规则生成模块，用于对规则化的数据做异常分析，并生成安全规则；
规则推送模块，用于将安全规则推送到目标服务器。
CN201610117295.XA 2016-03-02 2016-03-02 一种基于大数据计算的网络保护的方法及系统 Pending CN105791289A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610117295.XA CN105791289A (zh) 2016-03-02 2016-03-02 一种基于大数据计算的网络保护的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610117295.XA CN105791289A (zh) 2016-03-02 2016-03-02 一种基于大数据计算的网络保护的方法及系统

Publications (1)

Publication Number Publication Date
CN105791289A true CN105791289A (zh) 2016-07-20

Family

ID=56387867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610117295.XA Pending CN105791289A (zh) 2016-03-02 2016-03-02 一种基于大数据计算的网络保护的方法及系统

Country Status (1)

Country Link
CN (1) CN105791289A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790023A (zh) * 2016-12-14 2017-05-31 平安科技（深圳）有限公司 网络安全联合防御方法和装置
CN107797875A (zh) * 2017-04-17 2018-03-13 平安科技（深圳）有限公司 一种大数据管理方法、终端以及设备
CN109510803A (zh) * 2017-09-15 2019-03-22 中国联合网络通信集团有限公司 一种调整防火墙防护策略的方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521378A (zh) * 2011-12-20 2012-06-27 南京邮电大学 基于数据挖掘的实时入侵检测方法
CN103067344A (zh) * 2011-10-24 2013-04-24 国际商业机器公司 在云环境中自动分发安全规则的非侵入性方法和设备
CN103780601A (zh) * 2012-10-17 2014-05-07 北京力控华康科技有限公司 一种自动建立以太网通信安全规则的方法
CN204103952U (zh) * 2014-09-28 2015-01-14 北京匡恩网络科技有限责任公司 一种网络安全规则学习系统
CN104811452A (zh) * 2015-04-30 2015-07-29 北京科技大学 一种基于数据挖掘的自学习分级预警入侵检测系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067344A (zh) * 2011-10-24 2013-04-24 国际商业机器公司 在云环境中自动分发安全规则的非侵入性方法和设备
US20150033285A1 (en) * 2011-10-24 2015-01-29 International Business Machines Corporation Non-intrusive method and apparatus for automatically dispatching security rules in cloud environment
CN102521378A (zh) * 2011-12-20 2012-06-27 南京邮电大学 基于数据挖掘的实时入侵检测方法
CN103780601A (zh) * 2012-10-17 2014-05-07 北京力控华康科技有限公司 一种自动建立以太网通信安全规则的方法
CN204103952U (zh) * 2014-09-28 2015-01-14 北京匡恩网络科技有限责任公司 一种网络安全规则学习系统
CN104811452A (zh) * 2015-04-30 2015-07-29 北京科技大学 一种基于数据挖掘的自学习分级预警入侵检测系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790023A (zh) * 2016-12-14 2017-05-31 平安科技（深圳）有限公司 网络安全联合防御方法和装置
CN106790023B (zh) * 2016-12-14 2019-03-01 平安科技（深圳）有限公司 网络安全联合防御方法和装置
US10917417B2 (en) 2016-12-14 2021-02-09 Ping An Technology (Shenzhen) Co., Ltd. Method, apparatus, server, and storage medium for network security joint defense
CN107797875A (zh) * 2017-04-17 2018-03-13 平安科技（深圳）有限公司 一种大数据管理方法、终端以及设备
CN109510803A (zh) * 2017-09-15 2019-03-22 中国联合网络通信集团有限公司 一种调整防火墙防护策略的方法及设备

Similar Documents

Publication Publication Date Title
CN107454109B (zh) 一种基于http流量分析的网络窃密行为检测方法
CN111277570A (zh) 数据的安全监测方法和装置、电子设备、可读介质
Shamsolmoali et al. Statistical-based filtering system against DDOS attacks in cloud computing
CN103428224B (zh) 一种智能防御DDoS攻击的方法和装置
CN100518076C (zh) 日志统计方法和系统
CN109302396A (zh) 一种基于风险评估的网络安全态势感知方法
CN110839019A (zh) 一种面向电力监控系统的网络安全威胁溯源方法
CN104539626A (zh) 一种基于多源报警日志的网络攻击场景生成方法
CN108683686A (zh) 一种随机子域名DDoS攻击检测方法
CN108400972A (zh) 一种异常检测方法和装置
CN103561012A (zh) 一种基于关联树的web后门检测方法及系统
CN105791289A (zh) 一种基于大数据计算的网络保护的方法及系统
CN101699787B (zh) 一种用于对等网络的蠕虫检测方法
CN109428857B (zh) 一种恶意探测行为的检测方法和装置
CN105959316A (zh) 网络安全性验证系统
CN106790041B (zh) 一种网际协议ip信誉库生成方法及装置
CN109167794A (zh) 一种面向网络系统安全度量的攻击检测方法
CN106850675A (zh) 一种网络攻击行为的确定方法及装置
CN108833442A (zh) 一种分布式网络安全监控装置及其方法
CN110298170B (zh) 一种考虑盲目攻击因子的电力scada系统安全性评估方法
CN112383573B (zh) 一种基于多个攻击阶段的安全入侵回放设备
CN117640257B (zh) 一种基于大数据的网络安全运营的数据处理方法及系统
CN106789322A (zh) 空间信息网络中关键节点的确定方法和装置
CN205377931U (zh) 一种基于大数据计算的网络保护的系统
CN206332695U (zh) 一种基于用户行为和数据状态的自适应安全防护系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160720