CN110290120B - 一种云平台的时序演化网络安全预警方法 - Google Patents

一种云平台的时序演化网络安全预警方法 Download PDF

Info

Publication number
CN110290120B
CN110290120B CN201910503937.3A CN201910503937A CN110290120B CN 110290120 B CN110290120 B CN 110290120B CN 201910503937 A CN201910503937 A CN 201910503937A CN 110290120 B CN110290120 B CN 110290120B
Authority
CN
China
Prior art keywords
event
events
security
evolution
dimensionality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910503937.3A
Other languages
English (en)
Other versions
CN110290120A (zh
Inventor
张勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN201910503937.3A priority Critical patent/CN110290120B/zh
Publication of CN110290120A publication Critical patent/CN110290120A/zh
Application granted granted Critical
Publication of CN110290120B publication Critical patent/CN110290120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种云平台的时序演化网络安全预警方法,事件演化分析与维度约简在界定云计算服务安全事件性质和特点的基础上,基于安全事件时序演化分析,确定并约简云计算服务安全预警的事件维度;基于事件分群的安全事件深度预警建模,是基于事件相似度分析划分有相似行为模式的关联事件群,通过建立多个变换阶段分层的深度学习网络对事件进行分类和解释;多维模型应用与优化,通过典型云平台数据分析与优化,从多个安全事件维度来分析和预测多维安全事件的演化,形成对事件的判定和预测,按照不断优化,提高云平台网络安全预警的稳定性和预测质量;解决云平台海量复杂事件中的安全威胁快速发现和早期预警问题。

Description

一种云平台的时序演化网络安全预警方法
技术领域
本发明属于云计算技术领域,具体涉及一种云平台的时序演化网络安全预警方法。
背景技术
云计算作为一种新的服务模式,在提供方便易用与低成本特性的同时也带来了新的挑战。安全问题首当其冲,并且随着云计算服务的不断普及和应用,其重要性呈现快步上升趋势,已成为制约云计算平台发展的重要因素。近年来,国内外的多起重大安全事件已经充分证明了上述安全风险的现实存在性和危害。据统计,仅2017年网络攻击所致的损失已经高达1万亿美元,是自然灾害的3倍还多。多起云计算服务安全事故造成云平台潜在用户对云计算产品和服务的顾虑,安全问题成为用户采用云计算服务和产品犹豫不决的原因,也是云计算应用和推广的主要障碍,严重影响了云计算产业的发展。因此,解决云平台的安全问题显得迫切而重要。
鉴于云平台安全的重要性,迫切需要在攻击者对系统造成损失前,预测潜在的或可能发生的安全威胁并预警,提前采取积极主动的防御措施如网络隔离,攻击阻断等来降低危害。但云平台安全事件具有明显的复杂性、隐蔽性、动态性、不确定性、破坏严重,影响范围广等特征,传统信息系统的预警方式难于应对云平台的安全威胁。概括而言,其复杂性表现为云平台是涵盖技术、标准、监管的综合体,由于其服务模式、业务规模、虚拟化、多租户、资源池等方面的需求和差异,使得其安全预警面临比传统IT系统更加复杂的挑战,安全事件防不胜防,很难预测或发现,攻击手法日益多元化,网络环境复杂和受攻击对象数量大。与传统信息系统的安全预警的不同在于:云平台安全事件的复杂性、隐蔽性和动态性决定了依赖经验和规则匹配很难发现和预测,需要研究事件间关联关系和演化规律,结合场景才能准确定位问题本质;云平台安全事件的不确定性决定了数据分析问题解出现过拟合、局部最大和算法适应性差等困难,需要具备强大的分析能力和动态适应能力;云平台安全事件的破坏强度和覆盖范围大强调了短时间内分析出安全威胁,需要具备直奔主体、快速响应的预测能力和判定能力,问题发现及时,把事件危害降低到最低。
目前,国内外对于云计算环境下的安全分析给予了充分关注,但已有技术未能充分考虑事件时序演化规律,已有技术难于适应云平台海量复杂安全事件的实际情况,未能有效满足云平台安全预警的及时性、准确性和适应性的实际需求。随着云计算服务部署和实施规模的日益扩大,对云安全早期预警的需求也愈发突出。当前,全球云计算处于发展初期,我国面临难得的机遇,但也存在信息安全挑战突出问题,因此通过解决云平台的安全预警问题,结合时序演化实现早期问题的发现并预警,为促进我国乃至全球推动云计算发展具有重大价值,应用前景广阔。
发明内容
为了克服上述现有技术的不足,本发明的目的是提出了一种云平台的时序演化网络安全预警方法,实现适用于云平台的海量复杂安全事件的时序演化安全预警,通过确定安全事件关键影响因素的维度,分析事件的特征和行为间的相似度,筛选并形成关联事件群,构建预警模型并应用验证,解决云平台海量复杂事件中的安全威胁快速发现和早期预警问题。
为了实现上述目的,本发明采用的技术方案是:
一种云平台的时序演化网络安全预警方法,分为三个阶段,包括以下步骤:
第一阶段是事件演化分析与维度约简:
1)收集云平台的安全事件数据,并在预处理数据和事件时,要保持数据的原始性,数据的维度包括但不限于时间、路径(URL)、人物、地点、分布、带宽、起因、经过、状态、结果,采用决策树分析方法从破坏强度、威胁范围和影响程度三方面初步过滤事件无关的维度或微弱相关度的维度,在此基础上,根据各维度的因素时序演化规律来调整维度和影响因素的权值;
2)基于稀疏时间序列的动态贝叶斯方法构造安全事件的演化时序分析模型,并通过对安全事件的演化规律的分析,辅以空间视觉投影算法提取关键事件特征;
3)其中构建基于稀疏时间序列的动态贝叶斯方法需要较强的先验知识,利用先验知识和似然函数来估计给定数据的后验分布,采用稀疏时间序列的贝叶斯网络方法使其稀疏化,就给参数增加了约束函数,即
Figure BDA0002091135100000031
其中,α为假设的参数向量,β是未知的可调参数,||β||1=∑jj|是β的一次范式,运用稀疏贝叶斯网络的过程可以使大部分的参数趋于零,保留了少数的参数不为零,为解决由于先验知识的不足导致事件降维脱离现实情况,采用马尔可夫链蒙特卡洛方法解决确定性问题,并使用有反馈的随机过程分析方法提炼事件演化的规律;
4)其中马尔科夫蒙特卡洛事件关联方法的使用,对已有事件演化归集为5类动作,分别是发现/消失、分割/合并、扩展/减少、跟踪刷新、跟踪切换,其中输入初始状态ω0以及有界函数X:Ω->Rm,ω是马尔科夫链的当前状态,事件的轨迹服从概率P(ω,ω′);
Figure BDA0002091135100000032
5)其中事件状态ω∈Ω,Ω是事件观测区间的状态空间,ω‘∈Ω服从参考分布q(ω,ω′),π(ω)是事件的稳定分布值,通过状态值ω和π(ω)建立马尔科夫链M来协助实现事件关联;
6)通过上述步骤,依据事件各维度因素随时序发生变化的规律对事件维度和权值进行分析,确定并降低事件分析的维度,降低后续分析的复杂度,且排除多余非主成因要素;
第二阶段是基于事件分群的安全事件深度预警建模:
1)安全事件深度预警建模是云计算服务安全预警的关键环节,在复杂大规模安全事件中存在一些攻击的行为模式具有一定的趋同性,因此在大规模事件数据的基础上,基于攻击行为特征的相似性,采用频繁模式关联规则挖掘得到特定群体事件存在关联关系,然后通过经训练的深度学习神经网络对群体事件行为进行精准判定和分类:
2)进行存在关联关系的群体事件的建模识别,对任一两个事件的特征相似度进行计算,可以依据下式:
f(ei,ej)=[1-|Pki-Pkj|]f′[hi,hj] (3)
3)式中,f(ei,ej)是两个事件行为的相似度,Pki是事件发生行为k的概率,h是事件的行为特征,f′[hi,hj]是两个事件特征的相似度,并且两个用户采用同一行为h的可能性越大,其行为的相似度就越大,反之越小;
4)基于上述相似度的算法,进一步选取频繁模式挖掘算法分析事件集中的主要行为模式P矩阵,如下式所示:
Figure BDA0002091135100000041
5)式中Pij为具有行为特征i的事件关联行为j的概率值,m是事件行为特征的数量,n是行为种类的数量,整合所有的用户行为集合,并约减其中的重复的模式,得到某一事件的主要行为模式,并基于该模式应用频繁模式挖掘得到若干相似模式的事件集合;
6)最后在该群体事件集合的基础上,将数据划分为多个批次,选择基于无监督学习或半监督学习技术,逐层预训练学习过程用于初始化深度学习模型的参数,在多层进行初始化后,用监督学习算法对整个深度结构神经网络进行调整,综合考虑拟采用吉布斯更新随机近似法,应用深度玻尔兹曼近似推断算法,假设一组可见单元v∈{0,1}D,隐藏单元分别为
Figure BDA0002091135100000051
Figure BDA0002091135100000052
同层单元没有连接,则可见向量V概率如下:
Figure BDA0002091135100000053
7)对于存在三个隐藏单元的情况,其中h={h(1),h(2),h(3)}是假设的隐藏单元集,θ={W(1),W(2),W(3)}是模型的参数,反映了隐藏单元和可见单元的相互影响;
8)结合自底向上和自顶向下有效学习识别模型,可快速初始化所有隐单元的值,并利用层次化架构学习出群体事件在不同层次上的表达,帮助从复杂网络环境下的提取出规律和预测,辅助决策;
9)引入频繁模式挖掘构造群体事件选择模型的深度、每层包含的隐单元、学习率等参数,可以缓解数据训练中的局部极值问题;
第三阶段是多维模型应用与优化:
1)选择合适的典型应用对象,环境具有一定的典型性,其信息资源、应用服务的高度集中共享,带来了安全事件复杂性,危害后果和风险较传统信息系统高出许多,且目前已经建设有比较完善的日志中心,可以采集到相当全面的事件:
2)大部分安全事件是由多种攻击综合形成并导致对平台的危害,因此,从安全威胁发生和演化的角度,通过对云计算服务安全事件构成要素的分析,抽取其关键因素,并以破坏强度、威胁范围和影响程度三要素的安全事件维度来分析和预测多维安全事件的演化,相关平台的预警要与业务、数据关联,能适应各种需求环境,不能对假设环境做出过死的约定,为了更好的支持攻击特征分析的实践应用,增加更多与目标和背景相关的直接说明模式,采用的具体技术包括URL离散性界定、状态码的比例波动、日志多维过滤等,对行为特征进行细分和判定,实现攻击路径和方法的确定;
3)因为云计算服务安全事件规模大,且深度玻尔兹曼等算法需要提供足够的性能,采用优化模型和训练方法使其适合于海量数据的处理,提高并行化分析的能力,对于深度学习算法可利用GPU群加速深度学习过程,并引入并行吉布斯采样法、网络结构因式分解法、并行马尔科夫随机场法和并行坐标下降法等算法来优化并行学习算法,对于事件分群和模式挖掘可基于Hadoop2平台结合Map/Reduce、TEZ和YARN等技术来提高挖掘的速度,相关算法需要改造以适应Map/Reduce的处理要求;
4)将来自典型云计算平台的事件和处置信息作为信息输入,综合分析环境中所有事件的动机、过程和溯源结果,应用事件演化时序图模型,推理出事件演化规律,并约简事件维度,选择适当的相似度判定方法,挖掘出事件间关联关系区分事件群,在此基础上训练深度学习网络,形成对事件的判定和预测,按照上述方式不断优化,并对各种事件判定和预测结果进行分析评价,并将相关结果反馈到建模过程。
本发明的优点是:
1)以云计算服务复杂安全事件时序演化分析切入,基于动态贝叶斯网络和稀疏时序迭代算法建立安全事件影响因素的动态时序关系,深度刻画多维安全事件的非线性复杂特性和预警的耦合关系,结合云计算服务安全事件演化发展的动态规律分析,实现对云计算服务事件预警决策辅助的动态适应性支撑。
2)基于事件演化时序图,对事件影响因素进行表征和快速推演,结合空间视觉投影算法和马尔科夫蒙特卡洛方法等多种方法提取特征,解决复杂网络环境下安全事件维度难于确定的不利影响,约简事件维度,克服后续预警模型学习过程中过拟合风险,提高预警模型的稳定性,并形成对于复杂安全事件维度约简的支撑;
3)通过挖掘大规模安全事件的关联关系,依据事件间的相似性分群,减少大规模安全事件预警模型学习局部最大化风险,运用深度学习网络于复杂云计算环境下的安全预警建模,探索适合的训练方式,实现云计算服务安全威胁的自动发现和快速预警。本方法也可作为其他预测模型的基础,是一种新颖的解决方案。
附图说明
图1为本发明的的空间投影特征选取示意图;
图2为本发明的稀疏时序迭代参考过程;
图3为本发明的事件演化分析与维度约简流程;
图4为本发明的事件分群可视化示意图;
图5为本发明的深度学习网络示意图。
具体实施方式
以下结合附图对本发明进一步叙述。
如图3所示,一种云平台的时序演化网络安全预警方法,分为三个阶段,包括以下步骤:
第一阶段是事件演化分析与维度约简:
1)收集云平台的安全事件数据,并在预处理数据和事件时,要保持数据的原始性,数据的维度包括但不限于时间、路径(URL)、人物、地点、分布、带宽、起因、经过、状态、结果,采用决策树分析方法从破坏强度、威胁范围和影响程度三方面初步过滤事件无关的维度或微弱相关度的维度,在此基础上,根据各维度因素的时序演化规律来调整维度和影响因素的权值;
2)基于稀疏时间序列的动态贝叶斯方法构造安全事件演化时序分析模型,并通过对对安全事件的演化规律的分析,辅以空间视觉投影算法提取关键事件特征;如图1、2所示。
3)其中构建基于稀疏时间序列的动态贝叶斯方法需要较强的先验知识,利用先验知识和似然函数来估计给定数据的后验分布,采用稀疏时间序列的贝叶斯网络方法使其稀疏化,就给参数增加了约束函数,即
Figure BDA0002091135100000081
其中,α为假设的参数向量,β是未知的可调参数,||β||1=∑jj|是β的一次范式,运用稀疏贝叶斯网络的过程可以使大部分的参数趋于零,保留了少数的参数不为零,为解决由于先验知识的不足导致事件降维脱离现实情况,采用马尔可夫链蒙特卡洛方法解决确定性问题,并使用有反馈的随机过程分析方法提炼事件演化的规律;
4)其中马尔科夫蒙特卡洛事件关联方法的使用,对已有事件演化归集为5类动作,分别是发现/消失、分割/合并、扩展/减少、跟踪刷新、跟踪切换,其中输入初始状态ω0以及有界函数X:Ω->Rm,ω是马尔科夫链的当前状态,事件的轨迹服从概率P(ω,ω′);
Figure BDA0002091135100000082
5)其中事件状态ω∈Ω,Ω是事件观测区间的状态空间,ω‘∈Ω服从参考分布q(ω,ω′),π(ω)是事件的稳定分布值,通过状态值ω和π(ω)建立马尔科夫链M来协助实现事件关联;
6)通过上述步骤,依据事件各维度因素随时序发生变化的规律对事件维度和权值进行分析,确定并降低事件分析的维度,降低后续分析的复杂度,且排除多余非主成因要素;
第二阶段是基于事件分群的安全事件深度预警建模:
1)安全事件深度预警建模是云计算服务安全预警的关键环节,在复杂大规模安全事件中存在一些攻击的行为模式具有一定的趋同性,因此在大规模事件数据的基础上,基于攻击行为特征的相似性,采用频繁模式关联规则挖掘得到特定群体事件存在关联关系,然后通过经训练的深度学习神经网络对群体事件的行为进行精准判定和分类,如图4所示::
2)进行存在关联关系的群体事件的建模识别,对任一两个事件的特征相似度进行计算,可以依据下式:
f(ei,ej)=[1-|Pki-Pkj|]f′[hi,hj] (3)
3)式中,f(ei,ej)是两个事件行为的相似度,Pki是事件发生行为k的概率,h是事件的行为特征,f′[hi,hj]是两个事件特征的相似度,并且两个用户采用同一行为h的可能性越大,其行为的相似度就越大,反之越小;
4)基于上述相似度的算法,进一步选取频繁模式挖掘算法分析事件集中的主要行为模式P矩阵,如下式所示:
Figure BDA0002091135100000091
5)式中Pij为具有行为特征i的事件关联行为j的概率值,m是事件行为特征的数量,n是行为种类的数量,整合所有的用户行为集合,并约减其中的重复的模式,得到某一事件的主要行为模式,并基于该模式应用频繁模式挖掘得到若干相似模式的事件集合,分群可视化示意效果如图5所示;
6)最后在该群体事件集合的基础上,将数据划分为多个批次,选择基于无监督学习或半监督学习技术,逐层预训练学习过程用于初始化深度学习模型的参数,在多层进行初始化后,用监督学习算法对整个深度结构神经网络进行调整,综合考虑拟采用吉布斯更新随机近似法,应用深度玻尔兹曼近似推断算法,假设一组可见单元v∈{0,1}D,隐藏单元分别为
Figure BDA0002091135100000101
Figure BDA0002091135100000102
同层单元没有连接,则可见向量V概率如下:
Figure BDA0002091135100000103
7)对于存在三个隐藏单元的情况,其中h={h(1),h(2),h(3)}是假设的隐藏单元集,θ={W(1),W(2),W(3)}是模型的参数,反映了隐藏单元和可见单元的相互影响;
8)结合自底向上和自顶向下有效学习识别模型,可快速初始化所有隐单元的值,并利用层次化架构学习出群体事件在不同层次上的表达,帮助从复杂网络环境下的提取出规律和预测,辅助决策;
9)引入频繁模式挖掘构造群体事件选择模型的深度、每层包含的隐单元、学习率等参数,可以缓解数据训练中的局部极值问题;
第三阶段是多维模型应用与优化
1)选择合适的典型应用对象,环境具有一定的典型性,其信息资源、应用服务的高度集中共享,带来了安全事件复杂性,危害后果和风险较传统信息系统高出许多,且目前已经建设有比较完善的日志中心,可以采集到相当全面的事件:
2)大部分安全事件是由多种攻击综合形成并导致对平台的危害,因此,从安全威胁发生和演化的角度,通过对云计算服务安全事件构成要素的分析,抽取其关键因素,并以破坏强度、威胁范围和影响程度三要素的安全事件维度来分析和预测多维安全事件的演化,相关平台的预警要与业务、数据关联,能适应各种需求环境,不能对假设环境做出过死的约定,为了更好的支持攻击特征分析的实践应用,增加更多与目标和背景相关的直接说明模式,采用的具体技术包括URL离散性界定、状态码的比例波动、日志多维过滤等,对行为特征进行细分和判定,实现攻击路径和方法的确定;
3)因为云计算服务安全事件规模大,且深度玻尔兹曼等算法需要提供足够的性能,采用优化模型和训练方法使其适合于海量数据的处理,提高并行化分析的能力,对于深度学习算法可利用GPU群加速深度学习过程,并引入并行吉布斯采样法、网络结构因式分解法、并行马尔科夫随机场法和并行坐标下降法等算法来优化并行学习算法,对于事件分群和模式挖掘可基于Hadoop2平台结合Map/Reduce、TEZ和YARN等技术来提高挖掘的速度,相关算法需要改造以适应Map/Reduce的处理要求;
4)将来自典型云计算平台的事件和处置信息作为信息输入,综合分析环境中所有事件的动机、过程和溯源结果,应用事件演化时序图模型,推理出事件演化规律,并约简事件维度,选择适当的相似度判定方法,挖掘出事件间关联关系区分事件群,在此基础上训练深度学习网络,形成对事件的判定和预测,按照上述方式不断优化,并对各种事件判定和预测结果进行分析评价,并将相关结果反馈到建模过程。

Claims (1)

1.一种云平台的时序演化网络安全预警方法,分为三个阶段,其特征在于,包括以下步骤:
第一阶段是事件演化分析与维度约简:
1)收集云平台的安全事件数据,并在预处理数据和事件时,要保持数据的原始性,数据的维度包括但不限于时间、路径URL、人物、地点、分布、带宽、起因、经过、状态、结果,采用决策树分析方法从破坏强度、威胁范围和影响程度三方面初步过滤事件无关的维度或微弱相关度的维度,在此基础上,根据各维度的因素时序演化规律来调整维度和影响因素的权值;
2)基于稀疏时间序列的动态贝叶斯方法构造安全事件的演化时序分析模型,并通过对安全事件的演化规律的分析,辅以空间视觉投影算法提取关键事件特征;
3)其中构建基于稀疏时间序列的动态贝叶斯方法需要先验知识,利用先验知识和似然函数来估计给定数据的后验分布,采用稀疏时间序列的动态贝叶斯方法使其稀疏化,为参数增加了约束函数,即
Figure FDA0003200157560000011
其中,α为假设的参数向量,β是未知的可调参数,||β||1=∑jj|是β的一次范式,为解决由于先验知识的不足导致事件降维脱离现实情况,采用马尔可夫链蒙特卡洛方法解决确定性问题,并使用有反馈的随机过程分析方法提炼事件演化的规律;
4)其中马尔科夫蒙特卡洛事件关联方法的使用,对已有事件演化归集为5类动作,分别是发现/消失、分割/合并、扩展/减少、跟踪刷新、跟踪切换,其中输入初始状态ω0,ω是事件状态,事件的轨迹服从概率P(ω,ω′);
Figure FDA0003200157560000021
5)其中事件状态ω∈Ω,Ω是事件观测区间的状态空间,ω′∈Ω服从参考分布q(ω,ω′),π(ω)是事件的稳定分布值,通过状态值ω和π(ω)建立马尔科夫链M来协助实现事件关联;
6)通过上述步骤,依据事件各维度因素随时序发生变化的规律对事件维度和权值进行分析,确定并降低事件分析的维度,降低后续分析的复杂度,且排除多余非主成因要素;
第二阶段是基于事件分群的安全事件深度预警建模:
1)安全事件深度预警建模是云计算服务安全预警的关键环节,在复杂大规模安全事件中存在一些攻击的行为模式具有一定的趋同性,因此在大规模事件数据的基础上,基于攻击行为特征的相似性,采用频繁模式关联规则挖掘得到特定群体事件存在关联关系,然后通过经训练的深度学习神经网络对群体事件行为进行精准判定和分类:
2)进行存在关联关系的群体事件的建模识别,对任一两个事件的特征相似度进行计算,可以依据下式:
Figure FDA0003200157560000022
3)式中,f(ei,ej)是两个事件行为的相似度,Pki是事件i发生行为k的概率,Pkj是事件j发生行为k的概率,b是事件的行为特征,
Figure FDA0003200157560000023
是两个事件特征的相似度,并且两个用户采用同一行为的可能性越大,其行为的相似度就越大,反之越小;
4)基于上述相似度的算法,进一步选取频繁模式挖掘算法分析事件集中的主要行为模式P矩阵,如下式所示:
Figure FDA0003200157560000031
5)式中Pij为具有行为特征i的事件关联行为j的概率值,m是事件行为特征的数量,n是行为种类的数量,整合所有的用户行为集合,并约减其中的重复的模式,得到某一事件的主要行为模式,并基于该模式应用频繁模式挖掘得到若干相似模式的事件集合;
6)最后在该群体事件集合的基础上,将数据划分为多个批次,选择基于无监督学习或半监督学习技术,逐层预训练学习过程用于初始化深度学习模型的参数,在多层进行初始化后,用监督学习算法对整个深度结构神经网络进行调整,综合考虑,应用深度玻尔兹曼近似推断算法,假设一组可见单元v∈{0,1}D,隐藏单元分别为
Figure FDA0003200157560000032
同层单元没有连接,则可见向量v概率如下:
Figure FDA0003200157560000033
7)对于存在三个隐藏单元的情况,其中h={h(1),h(2),h(3)}是假设的隐藏单元集,θ={(W(1),W(2),W(3)}是模型的参数,Z为归一化常数,反映了隐藏单元和可见单元的相互影响;
8)结合自底向上和自顶向下有效学习识别模型,可快速初始化所有隐藏单元的值,并利用层次化架构学习出群体事件在不同层次上的表达,帮助在复杂网络环境中提取规律、进行预测和辅助决策;
9)引入频繁模式挖掘构造群体事件选择模型的深度、每层包含的隐藏单元、学习率参数,可以缓解数据训练中的局部极值问题;
第三阶段是多维模型应用与优化:
1)选择应用对象,环境具有一定的典型性,其信息资源、应用服务的集中共享,带来了安全事件复杂性,危害后果和风险较传统信息系统高,且目前已经建设有日志中心,可以采集到相当全面的事件:
2)安全事件是由多种攻击综合形成并导致对平台的危害,因此,从安全威胁发生和演化的角度,通过对云计算服务安全事件构成要素的分析,抽取其关键因素,并以破坏强度、威胁范围和影响程度三要素的安全事件维度来分析和预测多维安全事件的演化,相关平台的预警要与业务、数据关联,能适应各种需求环境,不能对假设环境做出约定,为了支持攻击特征分析的实践应用,增加与目标和背景相关的直接说明模式,采用的具体技术包括URL离散性界定、状态码的比例波动、日志多维过滤,对行为特征进行细分和判定,实现攻击路径和方法的确定;
3)因为云计算服务安全事件规模大,且深度玻尔兹曼算法需要提供足够的性能,采用优化模型和训练方法使其适合于海量数据的处理,提高并行化分析的能力,对于深度学习算法利用GPU群加速深度学习过程,并引入并行吉布斯采样法、网络结构因式分解法、并行马尔科夫随机场法和并行坐标下降法算法来优化并行学习算法,对于事件分群和模式挖掘可基于Hadoop2平台结合Map/Reduce、TEZ和YARN技术来提高挖掘的速度,相关算法需要改造以适应Map/Reduce的处理要求;
4)将来自云计算平台的事件和处置信息作为信息输入,综合分析环境中所有事件的动机、过程和溯源结果,应用事件演化时序图模型,推理出事件演化规律,并约简事件维度,选择适当的相似度判定方法,挖掘出事件间关联关系区分事件群,在此基础上训练深度学习网络,形成对事件的判定和预测,按照上述方式不断优化,并对各种事件判定和预测结果进行分析评价,并将相关结果反馈到建模过程。
CN201910503937.3A 2019-06-12 2019-06-12 一种云平台的时序演化网络安全预警方法 Active CN110290120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910503937.3A CN110290120B (zh) 2019-06-12 2019-06-12 一种云平台的时序演化网络安全预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910503937.3A CN110290120B (zh) 2019-06-12 2019-06-12 一种云平台的时序演化网络安全预警方法

Publications (2)

Publication Number Publication Date
CN110290120A CN110290120A (zh) 2019-09-27
CN110290120B true CN110290120B (zh) 2021-09-17

Family

ID=68003799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910503937.3A Active CN110290120B (zh) 2019-06-12 2019-06-12 一种云平台的时序演化网络安全预警方法

Country Status (1)

Country Link
CN (1) CN110290120B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090679B (zh) * 2019-10-31 2023-12-05 国网浙江省电力有限公司 基于时序影响和图嵌入的时序数据表示学习方法
CN111008238B (zh) * 2019-11-15 2023-10-10 武汉楚誉科技股份有限公司 基于关联演化大数据的关键模式自动定位与预警方法
CN111860858A (zh) * 2020-04-15 2020-10-30 北京嘀嘀无限科技发展有限公司 一种模型更新参数的确定方法、确定装置及可读存储介质
US11645558B2 (en) 2020-05-08 2023-05-09 International Business Machines Corporation Automatic mapping of records without configuration information
CN113010572B (zh) * 2021-03-18 2023-04-18 杭州码全信息科技有限公司 基于深度贝叶斯网络的公共数字生活场景规则模型预测预警方法
CN113191568B (zh) * 2021-05-21 2024-02-02 上海市气象灾害防御技术中心(上海市防雷中心) 基于气象的城市运行管理大数据分析预测方法和系统
CN114239743B (zh) * 2021-12-22 2023-12-15 电子科技大学 一种基于稀疏时间序列数据的天气事件发生时间预测方法
CN114721336B (zh) * 2022-03-03 2024-05-03 上海核工程研究设计院股份有限公司 一种仪控系统工艺参数的信息安全事件预警方法
CN115622796B (zh) * 2022-11-16 2023-04-07 南京南瑞信息通信科技有限公司 网络安全联动响应作战图生成方法、系统、装置及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077595A (zh) * 2014-06-15 2014-10-01 北京工业大学 基于贝叶斯正则化的深度学习网络图像识别方法
CN106341414A (zh) * 2016-09-30 2017-01-18 重庆邮电大学 一种基于贝叶斯网络的多步攻击安全态势评估方法
CN106682502A (zh) * 2016-12-13 2017-05-17 重庆邮电大学 基于隐马尔可夫和概率推断的入侵意图识别系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685180B (zh) * 2011-10-18 2015-07-08 国网电力科学研究院 一种面向云计算的网络安全预警方法
CN106453417B (zh) * 2016-12-05 2019-01-22 国网浙江省电力有限公司电力科学研究院 一种基于近邻相似性的网络攻击目标预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077595A (zh) * 2014-06-15 2014-10-01 北京工业大学 基于贝叶斯正则化的深度学习网络图像识别方法
CN106341414A (zh) * 2016-09-30 2017-01-18 重庆邮电大学 一种基于贝叶斯网络的多步攻击安全态势评估方法
CN106682502A (zh) * 2016-12-13 2017-05-17 重庆邮电大学 基于隐马尔可夫和概率推断的入侵意图识别系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于时序分析技术的网络安全事件预测系统的研究与实现";杨尹;《中国优秀硕士学位论文全文数据库信息科技辑》;20111215;全文 *
"稀疏数据的贝叶斯网络结构学习";杨玉;《中国优秀硕士学位论文全文数据库经济与管理科学辑》;20180215;全文 *

Also Published As

Publication number Publication date
CN110290120A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN110290120B (zh) 一种云平台的时序演化网络安全预警方法
Zhang et al. Classification of ransomware families with machine learning based onN-gram of opcodes
Halbouni et al. CNN-LSTM: hybrid deep neural network for network intrusion detection system
CN108718310B (zh) 基于深度学习的多层次攻击特征提取及恶意行为识别方法
Wei et al. A multi-objective immune algorithm for intrusion feature selection
CN104809069A (zh) 一种基于集成神经网络的源代码漏洞检测方法
CN111598179B (zh) 电力监控系统用户异常行为分析方法、存储介质和设备
CN111126820B (zh) 反窃电方法及系统
Tian et al. Adversarial attacks and defense for CNN based power quality recognition in smart grid
Zhou et al. Comparative study on the time series forecasting of web traffic based on statistical model and Generative Adversarial model
CN113283909A (zh) 一种基于深度学习的以太坊钓鱼账户检测方法
Wu et al. Research on Network Security Situational Awareness Based on Crawler Algorithm
CN112600794A (zh) 一种联合深度学习中检测gan攻击的方法
Shukla et al. Survey on image mining, its techniques and application
Li et al. Incorporating URL embedding into ensemble clustering to detect web anomalies
Hagos et al. Identifying spurious correlations and correcting them with an explanation-based learning
Li et al. A malware propagation prediction model based on representation learning and graph convolutional networks
CN112613032A (zh) 基于系统调用序列的主机入侵检测方法及装置
CN116545679A (zh) 一种工业情境安全基础框架及网络攻击行为特征分析方法
Krundyshev Neural network approach to assessing cybersecurity risks in large-scale dynamic networks
Wang et al. SCFL: Mitigating backdoor attacks in federated learning based on SVD and clustering
Al-magsoosi et al. Comparison and analysis of supervised machine learning algorithms
Wu et al. Feature Extraction Method Based on Sparse Autoencoder for Air Traffic Management System Security Situation Awareness
Wang Retracted: Multi‐data multiple gray clustering analysis based on layered mining for ubiquitous clouds and social internet of things
Ye et al. Intrusion detection model based on conditional generative adversarial networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant