CN106713341A - 一种基于大数据的网络安全预警方法与系统 - Google Patents

一种基于大数据的网络安全预警方法与系统 Download PDF

Info

Publication number
CN106713341A
CN106713341A CN201710005826.0A CN201710005826A CN106713341A CN 106713341 A CN106713341 A CN 106713341A CN 201710005826 A CN201710005826 A CN 201710005826A CN 106713341 A CN106713341 A CN 106713341A
Authority
CN
China
Prior art keywords
user
sequence
operation behavior
data
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710005826.0A
Other languages
English (en)
Inventor
王纯斌
黄英海
辛凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sefon Software Co Ltd
Original Assignee
Chengdu Sefon Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sefon Software Co Ltd filed Critical Chengdu Sefon Software Co Ltd
Priority to CN201710005826.0A priority Critical patent/CN106713341A/zh
Publication of CN106713341A publication Critical patent/CN106713341A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种基于大数据的网络安全预警方法与系统,所述的方法包括:S1.进行网络安全基础数据提取,并对提取的数据进行大数据分析,建立网络风险信息识别模型;S2.汇集网络用户的正常操作行为,构建用户操作行为序列库;S3.采集网络安全的实时信息,输入风险信息识别模型,判断实时信息是否安全。S4.提取实时信息的用户操作行为序列,与所述用户操作行为序列库中的行为序列进行匹配分析,输出匹配结果,根据匹配结果判断用户操作行为是否具有威胁。本发明根据网络安全基础数据建立网络风险信息识别模型,并汇集网络用户的正常操作行为构建用户操作行为序列库,对实时信息进行分析,准确实现了网络安全预警。

Description

一种基于大数据的网络安全预警方法与系统
技术领域
本发明涉及一种基于大数据的网络安全预警方法与系统。
背景技术
当代信息技术的发展推动了数据的产生、收集、传输、共享与分析,使得科学与工程研究日益成为数据密集型的工作。人类社会的信息化程度越来越高,整个社会对网络信息的依赖程度也越来越高,从而网络安全的重要性也越来越高;但是,伴随着网络流量的日益增加,网络违法、突发事件层出不穷,给国家安全、社会稳定、人民利益造成重大危害。因此,对网络安全进行监控预警,对于及时处理网络违法、突发事件,国家社会稳定,以及人民利益具有十分重要的作用。
传统的信息安全防护体系采用防火墙技术和入侵检测技术,已无法阻止对应用层等深层的攻击行为,无法实现对攻击行为的实时阻断。因此,为保证网络的有效安全性,入侵防御系统应运而生。入侵防御系统对数据包进行逐个字节检查,阻止数据链路层至应用层之间的攻击行为。当发现新的攻击手段后,入侵防御系统就会创建对应的新的过滤器。有效保证网络的安全性。然而,现有技术中的入侵防御系统的安全策略均为用户事先手动配置且配置后为固定不变的,而防护链路的实际流量则是实时变化的。如果配置的安全策略的安全等级较低,虽然可以保证处理效率,但当链路流量较小时,则会造成系统资源的闲置;如果配置的安全策略的安全等级较高,虽然可以保证网络的安全,但当链路流量较大时,则会造成链路带宽的限制,影响用户正常使用业务。
与此同时,随着用户数据的容量和类型的增长,对用户数据进行分析、追踪潜在的问题、发现错误变得越来越难,尤其是在多用户相关性分析出现之后。即便在最佳状态下,也需要经验丰富的操作人员跟踪事件链、过滤噪音,并最终诊断出导致复杂问题产生的根本原因。海量的用户数据对用户分析处理的效率提出了更高的要求,使得传统的用户数据存储和分析方法已经不能胜任了。随着大数据时代的来临,大数据分析也应运而生。大数据分析是指对规模巨大的数据进行分析。大数据分析基于数据可视化可以直观的展示数据,基于数据挖掘可让我们深入数据内部去挖掘价值。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于大数据的网络安全预警方法与系统,一方面根据网络安全基础数据建立网络风险信息识别模型,另一方面汇集网络用户的正常操作行为,构建用户操作行为序列库,通过风险信息识别模型和用户操作行为序列库对实时信息进行综合分析进而准确实现了网络安全预警。
本发明的目的是通过以下技术方案来实现的:一种基于大数据的网络安全预警方法,包括以下步骤:
S1.进行网络安全基础数据提取,并对提取的数据进行大数据分析,建立网络风险信息识别模型;
S2.汇集网络用户的正常操作行为,构建用户操作行为序列库;
S3.采集网络安全的实时信息,输入风险信息识别模型,判断实时信息是否安全:
(1)如果实时信息安全,进入步骤S4;
(2)如果实时信息不安全,进入步骤S5;
S4.提取实时信息的用户操作行为序列,与所述用户操作行为序列库中的行为序列进行匹配分析,输出匹配结果,根据匹配结果判断用户操作行为是否具有威胁:
(1)如果用户操作行为具有威胁,进入步骤S5;
(2)如果用户操作行为不具有威胁,返回步骤S3进行下一条实时信息的采集和判断;
S5.将对应的实时信息进行标记,并关联对应的IP、用户虚拟账号和用户实际地理位置,进行网络安全预警,并返回步骤S3,继续进行下一条实时信息的采集和判断。
进一步地,所述的步骤S1包括以下子步骤:
S11.提取网络安全基础数据;
S12.对提取的网络安全信息进行聚类和筛选,得到可疑特征数据簇;
S13.将可疑特征数据簇交由人工进行判断,根据判断结果,对可疑特征数据簇中的每一条数据用标签x进行标记;x为0表示正常数据,x为1表示风险数据;
S14.建立风险信息识别模型,并初始化模型参数{m1,m2,m3,...,mi,...,mn},mi表示第i个模型参数值,n表示模型参数的个数;
S15.根据可疑特征数据簇中的数据对建立的模型进行训练:
依次提取可疑特征数据簇中的每一条数据输入模型,由模型对其检测得到检测参数y;
计算检测参数y与对应数据标签x的差值:β=|x-y|,记为误差;
利用误差β对模型参数进行调整,利用调整后的模型进行下一次检测;
当β连续N次小于预设阈值时,定义模型训练成熟,存储成熟模型的参数。
进一步地,所述的步骤S2包括以下子步骤:
S21.探测网络用户的正常操作行为;
S22.利用串表压缩算法提取所述正常操作行为中的序列模式;
S23.建立行为列表,判断提取出的序列模式是否存在于行为列表中,若否,则将所述序列模式记录在所述行为列表中,并将所述序列模式的出现次数设为1;若是,则将所述序列模式的累计出现次数加1;
S24.建立用户操作行为序列库D,判断所述序列模式的累计次数是否大于等于预设阈值,若是,则将所述用户的操作行为作为有效行为加入用户操作行为序列库D;
S25.去除所述用户操作行为序列库中的冗余行为序列,优化所述用户操作行为序列库:
计算用户操作行为序列库D中的任一序列Pi与用户操作行为序列库D中其余序列的编辑距离,将编辑距离为1的所有序列构成候选子集合Si;其中,所述编辑距离为两个序列之间,由一个序列转成另一个序列所需的最少编辑操作次数;
在所述候选子集合Si中提取出权值与序列长度之积最大的序列模式,并去除其余序列;
对于序列库中每个序列重复上述过程,提取出出现频次最高且长度最大的序列,构成优化后的用户操作行为序列库。
进一步地,所述的步骤S3包括以下子步骤:
S31.采集网络安全的实时数据,输入风险信息识别模型中,模型对数据进行风险预测得到预测值y1;
S32.将预测值y1进行标准化,得到y2:
S33.根据y2的值判断实时信息是否安全:
(1)如果y2=0,则实时信息安全,进入步骤S4;
(2)如果y2=1,则实时信息不安全,进入步骤S5。
进一步地,所述的步骤S4包括以下子步骤:
S41.基于大数据方法提取用户操作行为序列;
S42.将提取的所述用户操作行为序列与所述用户操作行为序列库中的行为序列进行匹配分析,输出匹配结果,根据匹配结果判断用户操作行为是否具有威胁:
(1)如果用户操作行为具有威胁,进入步骤S5;
(2)如果用户操作行为不具有威胁,返回步骤S3进行下一条实时信息的采集和判断;
一种基于大数据的网络安全预警系统,包括:
风险信息识别模型构建模块,用于进行网络安全基础数据提取,并对提取的数据进行大数据分析,建立网络风险信息识别模型;
用户操作行为序列库构建模块,用于汇集网络用户的正常操作行为,构建用户操作行为序列库;
实时信息安全判断模块,用于根据风险信息识别模型,对实时信息的安全性进行判断;
用户操作行为判断模块,用于提取实时信息的用户操作行为序列,与所述用户操作行为序列库中的行为序列进行匹配分析,输出匹配结果,根据匹配结果判断用户操作行为是否具有威胁;
安全预警模块,用于在实时信息不安全或者用户操作行为具有威胁时,进行网络安全预警。
进一步地,所述的风险信息识别模型构建模块包括:
数据提取单元,用于提取网络安全基础数据;
聚类单元,用于对提取的网络安全信息进行聚类和筛选,得到可疑特征数据簇;
判断标记单元,用于将可疑特征数据簇交由人工进行判断,根据判断结果,对可疑特征数据簇中的每一条数据进行标记;
模型建立单元,用于建立风险信息识别模型,并初始化模型参数;
模型训练单元,用于利用标记后的可以特征数据簇对建立的模型进行训练,得到成熟模型。
进一步地,所述的用户操作行为序列库构建模块包括:
数据采集单元,用于探测网络用户的正常操作行为;
序列模式提取单元,用于利用串表压缩算法提取所述正常操作行为中的序列模式;
行为列表构建单元,用于建立行为列表,判断提取出的序列模式是否存在于行为列表中,若否,则将所述序列模式记录在所述行为列表中,并将所述序列模式的出现次数设为1;若是,则将所述序列模式的累计出现次数加1;
序列库构建单元,用于建立用户操作行为序列库,判断行为列表中的序列模式累计次数是否大于等于预设阈值,若是,则将所述用户的操作行为作为有效行为加入用户操作行为序列库;
优化单元,用于去除所述用户操作行为序列库中的冗余行为序列,优化所述用户操作行为序列库。
进一步地,所述的实时信息安全判断模块包括:
采集单元,用于采集网络实时信息;
输入单元,用于将采集到的实时信息输入风险信息识别模型;
判断单元,用于根据风险信息识别模型输出的结果对实时信息的安全性进行判断。
进一步地,所述的用户操作行为判断模块包括:
行为序列提取单元,用于通过大数据方法提取实时信息对应的用户操作行为序列;
匹配分析单元,用于将提取的所述用户操作行为序列与所述用户操作行为序列库中的行为序列进行匹配分析,输出匹配分析结果;
行为判断单元,用于根据匹配结果判断用户操作行为是否具有威胁。
本发明的有益效果是:一方面根据网络安全基础数据建立网络风险信息识别模型,另一方面汇集网络用户的正常操作行为,构建用户操作行为序列库,通过风险信息识别模型和用户操作行为序列库对实时信息进行综合分析进而准确实现了网络安全预警。同时本发明在用户操作行为的分析过程,基于大数据行为序列分析来实现,对于高级持续性渗透攻击具有特别显著的安全预警效果。
附图说明
图1为本发明的流程图;
图2为本发明的系统原理框图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
如图1所示,一种基于大数据的网络安全预警方法,包括以下步骤:
S1.进行网络安全基础数据提取,并对提取的数据进行大数据分析,建立网络风险信息识别模型;
S2.汇集网络用户的正常操作行为,构建用户操作行为序列库;
S3.采集网络安全的实时信息,输入风险信息识别模型,判断实时信息是否安全:
(1)如果实时信息安全,进入步骤S4;
(2)如果实时信息不安全,进入步骤S5;
S4.提取实时信息的用户操作行为序列,与所述用户操作行为序列库中的行为序列进行匹配分析,输出匹配结果,根据匹配结果判断用户操作行为是否具有威胁:
(1)如果用户操作行为具有威胁,进入步骤S5;
(2)如果用户操作行为不具有威胁,返回步骤S3进行下一条实时信息的采集和判断;
S5.将对应的实时信息进行标记,并关联对应的IP、用户虚拟账号和用户实际地理位置,进行网络安全预警,并返回步骤S3,继续进行下一条实时信息的采集和判断。
具体地,所述的步骤S1包括以下子步骤:
S11.提取网络安全基础数据;
S12.对提取的网络安全信息进行聚类和筛选,得到可疑特征数据簇;
S13.将可疑特征数据簇交由人工进行判断,根据判断结果,对可疑特征数据簇中的每一条数据用标签x进行标记;x为0表示正常数据,x为1表示风险数据;
S14.建立风险信息识别模型,并初始化模型参数{m1,m2,m3,...,mi,...,mn},mi表示第i个模型参数值,n表示模型参数的个数;
S15.根据可疑特征数据簇中的数据对建立的模型进行训练:
依次提取可疑特征数据簇中的每一条数据输入模型,由模型对其检测得到检测参数y;
计算检测参数y与对应数据标签x的差值:β=|x-y|,记为误差;
利用误差β对模型参数进行调整,利用调整后的模型进行下一次检测;
当β连续N次小于预设阈值时,定义模型训练成熟,存储成熟模型的参数。
具体地,所述的步骤S2包括以下子步骤:
S21.探测网络用户的正常操作行为;
S22.利用串表压缩算法提取所述正常操作行为中的序列模式;
S23.建立行为列表,判断提取出的序列模式是否存在于行为列表中,若否,则将所述序列模式记录在所述行为列表中,并将所述序列模式的出现次数设为1;若是,则将所述序列模式的累计出现次数加1;
S24.建立用户操作行为序列库D,判断所述序列模式的累计次数是否大于等于预设阈值,若是,则将所述用户的操作行为作为有效行为加入用户操作行为序列库D;
S25.去除所述用户操作行为序列库中的冗余行为序列,优化所述用户操作行为序列库:
计算用户操作行为序列库D中的任一序列Pi与用户操作行为序列库D中其余序列的编辑距离,将编辑距离为1的所有序列构成候选子集合Si;其中,所述编辑距离为两个序列之间,由一个序列转成另一个序列所需的最少编辑操作次数;
在所述候选子集合Si中提取出权值与序列长度之积最大的序列模式,并去除其余序列;
对于序列库中每个序列重复上述过程,提取出出现频次最高且长度最大的序列,构成优化后的用户操作行为序列库。
具体地,所述的步骤S3包括以下子步骤:
S31.采集网络安全的实时数据,输入风险信息识别模型中,模型对数据进行风险预测得到预测值y1;
S32.将预测值y1进行标准化,得到y2:
S33.根据y2的值判断实时信息是否安全:
(1)如果y2=0,则实时信息安全,进入步骤S4;
(2)如果y2=1,则实时信息不安全,进入步骤S5。
具体地,所述的步骤S4包括以下子步骤:
S41.基于大数据方法提取用户操作行为序列;
提取中间结果(key,Values),所述key值是用户ID,Values值是行为序列和出现频次的组合;根据所述中间结果(key,Values)计算出一个特定用户所有行为序列之间的编辑距离;得到用户ID所对应的长度最长且出现频次最高的操作行为序列;
S42.将提取的所述用户操作行为序列与所述用户操作行为序列库中的行为序列进行匹配分析,输出匹配结果,根据匹配结果判断用户操作行为是否具有威胁:
(1)如果用户操作行为具有威胁,进入步骤S5;
(2)如果用户操作行为不具有威胁,返回步骤S3进行下一条实时信息的采集和判断;
如图2所示,一种基于大数据的网络安全预警系统,包括:
风险信息识别模型构建模块,用于进行网络安全基础数据提取,并对提取的数据进行大数据分析,建立网络风险信息识别模型;
用户操作行为序列库构建模块,用于汇集网络用户的正常操作行为,构建用户操作行为序列库;
实时信息安全判断模块,用于根据风险信息识别模型,对实时信息的安全性进行判断;
用户操作行为判断模块,用于提取实时信息的用户操作行为序列,与所述用户操作行为序列库中的行为序列进行匹配分析,输出匹配结果,根据匹配结果判断用户操作行为是否具有威胁;
安全预警模块,用于在实时信息不安全或者用户操作行为具有威胁时,进行网络安全预警。
具体地,所述的风险信息识别模型构建模块包括:
数据提取单元,用于提取网络安全基础数据;
聚类单元,用于对提取的网络安全信息进行聚类和筛选,得到可疑特征数据簇;
判断标记单元,用于将可疑特征数据簇交由人工进行判断,根据判断结果,对可疑特征数据簇中的每一条数据进行标记;
模型建立单元,用于建立风险信息识别模型,并初始化模型参数;
模型训练单元,用于利用标记后的可以特征数据簇对建立的模型进行训练,得到成熟模型。
具体地,所述的用户操作行为序列库构建模块包括:
数据采集单元,用于探测网络用户的正常操作行为;
序列模式提取单元,用于利用串表压缩算法提取所述正常操作行为中的序列模式;
行为列表构建单元,用于建立行为列表,判断提取出的序列模式是否存在于行为列表中,若否,则将所述序列模式记录在所述行为列表中,并将所述序列模式的出现次数设为1;若是,则将所述序列模式的累计出现次数加1;
序列库构建单元,用于建立用户操作行为序列库,判断行为列表中的序列模式累计次数是否大于等于预设阈值,若是,则将所述用户的操作行为作为有效行为加入用户操作行为序列库;
优化单元,用于去除所述用户操作行为序列库中的冗余行为序列,优化所述用户操作行为序列库。
具体地,所述的实时信息安全判断模块包括:
采集单元,用于采集网络实时信息;
输入单元,用于将采集到的实时信息输入风险信息识别模型;
判断单元,用于根据风险信息识别模型输出的结果对实时信息的安全性进行判断。
进一步地,所述的用户操作行为判断模块包括:
行为序列提取单元,用于通过大数据方法提取实时信息对应的用户操作行为序列;
匹配分析单元,用于将提取的所述用户操作行为序列与所述用户操作行为序列库中的行为序列进行匹配分析,输出匹配分析结果;
行为判断单元,用于根据匹配结果判断用户操作行为是否具有威胁。
本发明一方面根据网络安全基础数据进行大数据分析,建立网络风险信息识别模型,另一方面汇集网络用户的正常操作行为,进行大数据分析,构建用户操作行为序列库,通过风险信息识别模型和用户操作行为序列库对实时信息进行综合处理,进而准确实现了基于大数据的网络安全预警。
同时本发明对于高级持续性渗透攻击(简称APT攻击,Advanced PersistentThreat)具有特别显著的安全预警效果:APT攻击具有持续时间长、攻击特征难以提取、单点隐蔽性强以及攻击渠道多样化的特点,防范难度很大。目前针对APT攻击的防范措施大多针对网络层的威胁,而APT攻击范围包括物理层、链路层及应用层等整个信息系统,现有的防范措施只是简单的提升防护壁垒,仅仅提高了攻击者的成本,无法实现对APT攻击的全面感知;而对于APT攻击的威胁,如果仅仅通过建模检测来实现,准确率非常低:在本申请中,通过探测用户的操作行为,构建用户操作行为序列库,去除用户操作行为序列库中的冗余行为序列,对用户操作行为序列库进行优化,然后再基于大数据方法提取用户操作行为序列,将提取的用户操作行为序列与构建的用户操作行为序列库中的行为序列进行匹配分析,当用户操作行为序列与用户操作行为序列库中定义的行为相符合时,则判断该用户行为是正常行为,反之,则判断该用户行为为非正常行为,将作为威胁行为输出。提高检测威胁的准确率,进而构建了安全高效的网络主动防御体系,有效克服APT攻击对网络安全造成的威胁。

Claims (10)

1.一种基于大数据的网络安全预警方法,其特征在于:包括以下步骤:
S1.进行网络安全基础数据提取,并对提取的数据进行大数据分析,建立网络风险信息识别模型;
S2.汇集网络用户的正常操作行为,构建用户操作行为序列库;
S3.采集网络安全的实时信息,输入风险信息识别模型,判断实时信息是否安全:
(1)如果实时信息安全,进入步骤S4;
(2)如果实时信息不安全,进入步骤S5;
S4.提取实时信息的用户操作行为序列,与所述用户操作行为序列库中的行为序列进行匹配分析,输出匹配结果,根据匹配结果判断用户操作行为是否具有威胁:
(1)如果用户操作行为具有威胁,进入步骤S5;
(2)如果用户操作行为不具有威胁,返回步骤S3进行下一条实时信息的采集和判断;
S5.将对应的实时信息进行标记,并关联对应的IP、用户虚拟账号和用户实际地理位置,进行网络安全预警,并返回步骤S3,继续进行下一条实时信息的采集和判断。
2.根据权利要求1所述的一种基于大数据的网络安全预警方法,其特征在于:所述的步骤S1包括以下子步骤:
S11.提取网络安全基础数据;
S12.对提取的网络安全信息进行聚类和筛选,得到可疑特征数据簇;
S13.将可疑特征数据簇交由人工进行判断,根据判断结果,对可疑特征数据簇中的每一条数据用标签x进行标记;x为0表示正常数据,x为1表示风险数据;
S14.建立风险信息识别模型,并初始化模型参数{m1,m2,m3,...,mi,...,mn},mi表示第i个模型参数值,n表示模型参数的个数;
S15.根据可疑特征数据簇中的数据对建立的模型进行训练:
依次提取可疑特征数据簇中的每一条数据输入模型,由模型对其检测得到检测参数y;
计算检测参数y与对应数据标签x的差值:β=|x-y|,记为误差;
利用误差β对模型参数进行调整,利用调整后的模型进行下一次检测;
当β连续N次小于预设阈值时,定义模型训练成熟,存储成熟模型的参数。
3.根据权利要求1所述的一种基于大数据的网络安全预警方法,其特征在于:所述的步骤S2包括以下子步骤:
S21.探测网络用户的正常操作行为;
S22.利用串表压缩算法提取所述正常操作行为中的序列模式;
S23.建立行为列表,判断提取出的序列模式是否存在于行为列表中,若否,则将所述序列模式记录在所述行为列表中,并将所述序列模式的出现次数设为1;若是,则将所述序列模式的累计出现次数加1;
S24.建立用户操作行为序列库D,判断所述序列模式的累计次数是否大于等于预设阈值,若是,则将所述用户的操作行为作为有效行为加入用户操作行为序列库D;
S25.去除所述用户操作行为序列库中的冗余行为序列,优化所述用户操作行为序列库:
计算用户操作行为序列库D中的任一序列Pi与用户操作行为序列库D中其余序列的编辑距离,将编辑距离为1的所有序列构成候选子集合Si;其中,所述编辑距离为两个序列之间,由一个序列转成另一个序列所需的最少编辑操作次数;
在所述候选子集合Si中提取出权值与序列长度之积最大的序列模式,并去除其余序列;
对于序列库中每个序列重复上述过程,提取出出现频次最高且长度最大的序列,构成优化后的用户操作行为序列库。
4.根据权利要求1所述的一种基于大数据的网络安全预警方法,其特征在于:所述的步骤S3包括以下子步骤:
S31.采集网络安全的实时数据,输入风险信息识别模型中,模型对数据进行风险预测得到预测值y1;
S32.将预测值y1进行标准化,得到y2:
S33.根据y2的值判断实时信息是否安全:
(1)如果y2=0,则实时信息安全,进入步骤S4;
(2)如果y2=1,则实时信息不安全,进入步骤S5。
5.根据权利要求1所述的一种基于大数据的网络安全预警方法,其特征在于:所述的步骤S4包括以下子步骤:
S41.基于大数据方法提取用户操作行为序列;
S42.将提取的所述用户操作行为序列与所述用户操作行为序列库中的行为序列进行匹配分析,输出匹配结果,根据匹配结果判断用户操作行为是否具有威胁:
(1)如果用户操作行为具有威胁,进入步骤S5;
(2)如果用户操作行为不具有威胁,返回步骤S3进行下一条实时信息的采集和判断。
6.一种基于大数据的网络安全预警系统,其特征在于:包括:
风险信息识别模型构建模块,用于进行网络安全基础数据提取,并对提取的数据进行大数据分析,建立网络风险信息识别模型;
用户操作行为序列库构建模块,用于汇集网络用户的正常操作行为,构建用户操作行为序列库;
实时信息安全判断模块,用于根据风险信息识别模型,对实时信息的安全性进行判断;
用户操作行为判断模块,用于提取实时信息的用户操作行为序列,与所述用户操作行为序列库中的行为序列进行匹配分析,输出匹配结果,根据匹配结果判断用户操作行为是否具有威胁
安全预警模块,用于在实时信息不安全或者用户操作行为具有威胁时,进行网络安全预警。
7.根据权利要求1所述的一种基于大数据的网络安全预警系统,其特征在于:所述的风险信息识别模型构建模块包括:
数据提取单元,用于提取网络安全基础数据;
聚类单元,用于对提取的网络安全信息进行聚类和筛选,得到可疑特征数据簇;
判断标记单元,用于将可疑特征数据簇交由人工进行判断,根据判断结果,对可疑特征数据簇中的每一条数据进行标记;
模型建立单元,用于建立风险信息识别模型,并初始化模型参数;
模型训练单元,用于利用标记后的可以特征数据簇对建立的模型进行训练,得到成熟模型。
8.根据权利要求1所述的一种基于大数据的网络安全预警系统,其特征在于:所述的用户操作行为序列库构建模块包括:
数据采集单元,用于探测网络用户的正常操作行为;
序列模式提取单元,用于利用串表压缩算法提取所述正常操作行为中的序列模式;
行为列表构建单元,用于建立行为列表,判断提取出的序列模式是否存在于行为列表中,若否,则将所述序列模式记录在所述行为列表中,并将所述序列模式的出现次数设为1;若是,则将所述序列模式的累计出现次数加1;
序列库构建单元,用于建立用户操作行为序列库,判断行为列表中的序列模式累计次数是否大于等于预设阈值,若是,则将所述用户的操作行为作为有效行为加入用户操作行为序列库;
优化单元,用于去除所述用户操作行为序列库中的冗余行为序列,优化所述用户操作行为序列库。
9.根据权利要求1所述的一种基于大数据的网络安全预警系统,其特征在于:所述的实时信息安全判断模块包括:
采集单元,用于采集网络实时信息;
输入单元,用于将采集到的实时信息输入风险信息识别模型;
判断单元,用于根据风险信息识别模型输出的结果对实时信息的安全性进行判断。
10.根据权利要求1所述的一种基于大数据的网络安全预警系统,其特征在于:所述的用户操作行为判断模块包括:
行为序列提取单元,用于通过大数据方法提取实时信息对应的用户操作行为序列;
匹配分析单元,用于将提取的所述用户操作行为序列与所述用户操作行为序列库中的行为序列进行匹配分析,输出匹配分析结果;
行为判断单元,用于根据匹配结果判断用户操作行为是否具有威胁。
CN201710005826.0A 2017-01-04 2017-01-04 一种基于大数据的网络安全预警方法与系统 Pending CN106713341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710005826.0A CN106713341A (zh) 2017-01-04 2017-01-04 一种基于大数据的网络安全预警方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710005826.0A CN106713341A (zh) 2017-01-04 2017-01-04 一种基于大数据的网络安全预警方法与系统

Publications (1)

Publication Number Publication Date
CN106713341A true CN106713341A (zh) 2017-05-24

Family

ID=58905890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710005826.0A Pending CN106713341A (zh) 2017-01-04 2017-01-04 一种基于大数据的网络安全预警方法与系统

Country Status (1)

Country Link
CN (1) CN106713341A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320256A (zh) * 2017-12-08 2018-07-24 中国电子科技集团公司电子科学研究院 基于大数据的社会安全事件识别方法、设备及存储介质
CN108449366A (zh) * 2018-05-18 2018-08-24 广西电网有限责任公司 基于人工智能的关键信息基础设施安全威胁情报分析系统
CN108712425A (zh) * 2018-05-21 2018-10-26 南京南瑞集团公司 一种面向工业控制系统网络安全威胁事件的分析监管方法
CN109582834A (zh) * 2018-11-09 2019-04-05 阿里巴巴集团控股有限公司 数据风险预测方法及装置
WO2019214511A1 (zh) * 2018-05-11 2019-11-14 深圳市联软科技股份有限公司 一种通过聚类分析文件异常操作行为的方法、系统及终端
WO2020007349A1 (zh) * 2018-07-04 2020-01-09 赛业(广州)生物科技有限公司 一种智能化敲除策略筛选的方法和一种基于多种敲除类型的敲除策略筛选方法
CN111049685A (zh) * 2019-12-16 2020-04-21 中国南方电网有限责任公司 电力系统的网络安全感知系统、网络安全感知方法和装置
CN111510449A (zh) * 2020-04-10 2020-08-07 吴萌萌 基于图像大数据的攻击行为挖掘方法及大数据平台服务器
CN112651433A (zh) * 2020-12-17 2021-04-13 广州锦行网络科技有限公司 一种特权账号异常行为分析方法
CN112714024A (zh) * 2020-12-31 2021-04-27 上海磐御网络科技有限公司 一种网络流量分析技术
WO2021105799A1 (en) * 2019-11-26 2021-06-03 International Business Machines Corporation Method for privacy preserving anomaly detection in iot
CN113162912A (zh) * 2021-03-12 2021-07-23 中航智能建设(深圳)有限公司 基于大数据的网络安全保护方法、系统及存储设备
CN115174233A (zh) * 2022-07-08 2022-10-11 广东瑞普科技股份有限公司 基于大数据的网络安全分析方法、设备、系统及介质
CN115600218A (zh) * 2022-11-16 2023-01-13 北京融数安科技有限公司(Cn) 一种工控程序风险检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662773A (zh) * 2008-08-29 2010-03-03 国际商业机器公司 支持降低通信欺诈风险的计算机实现方法和设备
CN105262726A (zh) * 2015-09-10 2016-01-20 中国人民解放军信息工程大学 一种基于大数据行为序列分析的apt攻击检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662773A (zh) * 2008-08-29 2010-03-03 国际商业机器公司 支持降低通信欺诈风险的计算机实现方法和设备
CN105262726A (zh) * 2015-09-10 2016-01-20 中国人民解放军信息工程大学 一种基于大数据行为序列分析的apt攻击检测方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320256A (zh) * 2017-12-08 2018-07-24 中国电子科技集团公司电子科学研究院 基于大数据的社会安全事件识别方法、设备及存储介质
WO2019214511A1 (zh) * 2018-05-11 2019-11-14 深圳市联软科技股份有限公司 一种通过聚类分析文件异常操作行为的方法、系统及终端
CN108449366A (zh) * 2018-05-18 2018-08-24 广西电网有限责任公司 基于人工智能的关键信息基础设施安全威胁情报分析系统
CN108449366B (zh) * 2018-05-18 2019-01-22 广西电网有限责任公司 基于人工智能的关键信息基础设施安全威胁情报分析系统
CN108712425A (zh) * 2018-05-21 2018-10-26 南京南瑞集团公司 一种面向工业控制系统网络安全威胁事件的分析监管方法
CN110689923B (zh) * 2018-07-04 2022-05-17 广州赛业百沐生物科技有限公司 一种自动并行化敲除策略序列重复性分析方法及其系统
WO2020007349A1 (zh) * 2018-07-04 2020-01-09 赛业(广州)生物科技有限公司 一种智能化敲除策略筛选的方法和一种基于多种敲除类型的敲除策略筛选方法
CN110689923A (zh) * 2018-07-04 2020-01-14 赛业(广州)生物科技有限公司 一种自动并行化敲除策略序列重复性分析方法及其系统
CN109582834B (zh) * 2018-11-09 2023-06-02 创新先进技术有限公司 数据风险预测方法及装置
CN109582834A (zh) * 2018-11-09 2019-04-05 阿里巴巴集团控股有限公司 数据风险预测方法及装置
WO2021105799A1 (en) * 2019-11-26 2021-06-03 International Business Machines Corporation Method for privacy preserving anomaly detection in iot
GB2605899A (en) * 2019-11-26 2022-10-19 Ibm Method for privacy preserving anomaly detection in IOT
CN111049685A (zh) * 2019-12-16 2020-04-21 中国南方电网有限责任公司 电力系统的网络安全感知系统、网络安全感知方法和装置
CN111510449A (zh) * 2020-04-10 2020-08-07 吴萌萌 基于图像大数据的攻击行为挖掘方法及大数据平台服务器
CN112651433A (zh) * 2020-12-17 2021-04-13 广州锦行网络科技有限公司 一种特权账号异常行为分析方法
CN112651433B (zh) * 2020-12-17 2021-12-14 广州锦行网络科技有限公司 一种特权账号异常行为分析方法
CN112714024A (zh) * 2020-12-31 2021-04-27 上海磐御网络科技有限公司 一种网络流量分析技术
CN113162912A (zh) * 2021-03-12 2021-07-23 中航智能建设(深圳)有限公司 基于大数据的网络安全保护方法、系统及存储设备
CN115174233A (zh) * 2022-07-08 2022-10-11 广东瑞普科技股份有限公司 基于大数据的网络安全分析方法、设备、系统及介质
CN115174233B (zh) * 2022-07-08 2024-03-26 广东瑞普科技股份有限公司 基于大数据的网络安全分析方法、设备、系统及介质
CN115600218A (zh) * 2022-11-16 2023-01-13 北京融数安科技有限公司(Cn) 一种工控程序风险检测方法及系统

Similar Documents

Publication Publication Date Title
CN106713341A (zh) 一种基于大数据的网络安全预警方法与系统
CN110380896B (zh) 基于攻击图的网络安全态势感知系统和方法
CN102622818B (zh) 一种银行atm机全方位智能监控方法
CN106209817B (zh) 基于大数据和可信计算的信息网络安全自防御系统
CN105208037B (zh) 一种基于轻量级入侵检测的DoS/DDoS攻击检测和过滤方法
CN105262726B (zh) 一种基于大数据行为序列分析的apt攻击检测方法
CN101242316A (zh) 基于快速聚类算法的网络异常检测方法
CN105119919A (zh) 基于流量异常及特征分析的攻击行为检测方法
CN105187437B (zh) 一种sdn网络拒绝服务攻击的集中式检测系统
CN111818102B (zh) 一种应用于网络靶场的防御效能评估方法
CN106375339A (zh) 基于事件滑动窗口的攻击模式检测方法
CN107517216A (zh) 一种网络安全事件关联方法
CN103916385A (zh) 一种基于智能算法的waf安全监测系统
CN113220539A (zh) 一种安全态势感知多源数据可视化分析智能检测系统
CN110493179A (zh) 基于时间序列的网络安全态势感知模型和方法
CN110474878A (zh) 基于动态阈值的DDoS攻击态势预警方法和服务器
CN104378361A (zh) 一种网络入侵检测方法及系统
CN107886081A (zh) 双路U‑Net深度神经网络矿山井下危险行为智能分级辨识方法
CN107623691A (zh) 一种基于反向传播神经网络算法的DDoS攻击检测系统及方法
CN107896229A (zh) 一种计算机网络异常检测的方法、系统及移动终端
CN111476979A (zh) 一种基于多模型分析的智能安保维稳方法及系统
CN110795807A (zh) 一种基于复杂网络的要素异常结构检测模型构建方法
CN110022293A (zh) 一种电网信息物理融合系统风险评估方法
CN110086829A (zh) 一种基于机器学习技术进行物联网异常行为检测的方法
CN107360190A (zh) 基于序列模式识别的木马通信行为检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170524

RJ01 Rejection of invention patent application after publication