CN114491541A - 基于知识图谱路径分析的安全运营剧本自动化编排方法 - Google Patents

基于知识图谱路径分析的安全运营剧本自动化编排方法 Download PDF

Info

Publication number
CN114491541A
CN114491541A CN202210330693.5A CN202210330693A CN114491541A CN 114491541 A CN114491541 A CN 114491541A CN 202210330693 A CN202210330693 A CN 202210330693A CN 114491541 A CN114491541 A CN 114491541A
Authority
CN
China
Prior art keywords
path
entity
entities
agent
reinforcement learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210330693.5A
Other languages
English (en)
Other versions
CN114491541B (zh
Inventor
车洵
孙捷
胡牧
金奎�
孙翰墨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhongzhiwei Information Technology Co ltd
Original Assignee
Nanjing Zhongzhiwei Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhongzhiwei Information Technology Co ltd filed Critical Nanjing Zhongzhiwei Information Technology Co ltd
Priority to CN202210330693.5A priority Critical patent/CN114491541B/zh
Publication of CN114491541A publication Critical patent/CN114491541A/zh
Application granted granted Critical
Publication of CN114491541B publication Critical patent/CN114491541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Virology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于知识图谱路径分析的安全运营剧本自动化编排方法，为了更好地使用已经构建好的网络安全知识图谱进行路径推理，本发明提出了一种路径记忆和推理的LSGAT模型，该模型基于强化学习模型，并使用长短期记忆网络和图注意机制，在传统的推理网络TransE的基础上增加了记忆模块，利用强化学习模型能更好地推理出实体与路径的深层语义特征；在网络安全事件发生时，通过对网络安全应急响应知识图谱路径分析快速推理出实体与关系，并生成对应的动作，构建准确有效的剧本，实现了快速高效的应急响应，当产生新的网络攻击时，系统会自动调用编排好的剧本对异常攻击进行防御。

Description

基于知识图谱路径分析的安全运营剧本自动化编排方法
技术领域
本发明涉及网络安全技术领域，特别涉及基于知识图谱路径分析的安全运营剧本自动化编排方法。
背景技术
知识图谱被认为是人工智能的一个主要领域，在现实世界中有很多应用，在网络安全领域，网络安全应急响应知识图谱是一种数据驱动的、线性的、计算能力非常强大的工具。一些企业将国家信息安全数据库和攻击行为知识库以知识图谱的形式存储到图形数据库中，当发生网络安全事件的时候，以知识图谱为基础，实现生成和匹配网络应急剧本。
许多基于知识图谱的安全管理方案已被提出，这些方案使分析人员能够了解安全风险的原因和后果，并帮助确定适当的对策。但是传统的剧本编排技术存在着针对性不强，应急响应慢的问题，安全编排自动化与响应技术因此产生。SOAR是企业可以收集网络安全威胁的数据和自动化警示的技术，这个技术可以更好的帮助企业和网络安全分析人员确定和分类潜在网络威胁，从而自动化调用一些网络安全API应用程序接口，实现一些可以迅速执行保护系统的剧本。SOAR同时考虑了人和技术，形成了多个类型、自动触发的剧本，从而无需人员干涉，减少了人为因素带来的错误，提高了网络安全运营的效率。
网络安全运营中，网络应急响应是不可忽略的一部分，它是主动防御和纵深防御系统的最后一道防线，是保证网络信息安全的必要手段和措施。它主要分成准备、检测、抑制、根除、恢复、跟踪共六个流程。现阶段，企业的各种应用都部署在Web服务器上，在大数据的背景下，黑客会利用各种技术手段，例如Sql注入漏洞、植入木马病毒来窃取目标用户信息、或者破坏企业的Web服务器，获得内部机密文件，控制用户的电脑和服务器并植入恶意的病毒，使得企业和用户损失巨大。此外，由于企业网络中各种设备收集了大量的信息，管理员很难根据有限的安全评估经验有效地建模安全问题，并做出正确的决策。由于网络攻击方不断的更新攻击技术，传统的网络防御技术很难防御，因此，当发生网络安全事件时，对于SQL注入、DDoS攻击、攻击Web服务器等威胁，需要防御系统即时发现与处置，缩短系统暴露在外部攻击的时间，但是这些都是传统的网络防御技术无法解决的问题。
譬如，Web应用防火墙WAF网站应用级入侵防御系统可以通过针对HTTP超文本传输协议或者HTTPS加密超文本传输协议的安全策略，专门对Web应用提供保护。但随着网络攻防双方的不断过招，攻击者逐渐摸清了这一套传统的防御体系，随着使用各种各样的绕过技巧，打破了这一道防线。同时WAF还存在着天生的防御缺陷，就是面对未知的攻击束手无策，因此最近几年WAF领域出现了一些新的防御框架和技术，例如通过数据建模学习企业自身业务或者使用智能语音分析引擎从语言本质去理解，虽然这些新的技术可以识别已知的漏洞攻击程序，但是对于网络安全的应急响应却是束手无策。
基于以上考虑，本发明设计了一种结合了长短期记忆网络LSTM和图注意机制GAT进行知识图谱路径知识推理和自动化生成剧本的模型。
发明内容
为实现上述目的，发明人提供了一种基于知识图谱路径分析的安全运营剧本自动化编排方法，包括以下步骤：
S1：给定网络安全事件的日志和网络安全应急响应知识图谱；
S2：基于深度强化学习框架，设置强化学习环境和Agent，提取网络安全事件日志中的网络安全实体，查询该网络安全实体在强化学习环境的位置，Agent将网络安全实体在强化学习环境的位置信息作为初始状态；
S3：把得到的网络安全实体和强化学习环境中的所有实体进行比较，使用知识图谱排序算法判断两个实体之间的关系，并将它们之间的关系建立成投影矩阵，同时考虑强化学习环境中的所有实体与网络安全实体之间的关系的顺序信息，在初始状态下考虑高维空间中与当前强化学习环境中实体之间的距离；
S4：Agent选择一条关系路径向前推进，并将其设置成强化学习环境的新状态；
S5：在Agent行动改变S2中的每一个初始状态，再改变S4中的强化学习环境的新状态的过程中，使用长短期记忆网络和图注意机制构成记忆组件，使Agent记忆和学习在S4中代理采取的每一个行动；
S6：对Agent进行多次训练，将获得奖励最多的Agent得到的目标实体和长短期记忆网络输出以及图注意力机制中的关系加权映射到一个高维向量；
S7：将S6中得到的高维向量输入到一个前馈神经网络中，并将输出通过归一化指数函数处理得到选择每一条路径的概率；
S8：根据S7中得到的概率最高的路径，提取这一条路径的强化学习环境中的所有实体和两个实体之间的关系，通过建立词汇映射表生成对应的动作,将每个攻击行为映射到不同的漏洞，再生成对应的剧本来判断各种攻击场景对企业安全的威胁。
作为本发明的一种优选方式，所述S2中网络安全实体包括漏洞、IP、SQL服务器、web服务器。
作为本发明的一种优选方式，所述S2包括：把经过知识抽取和实体对齐后的知识图谱作为强化学习环境，建立相应的Agent，所述Agent包含状态、行动和奖励，在强化学习环境下，模型需要学会在实体之间选择有希望的推理路径。
作为本发明的一种优选方式，所述S3包括：提取网络安全事件日志中的网络安全实体，查询网络安全实体在强化学习环境中的位置，Agent将其作为初始查询状态，此后的每个强化学习环境产生的新状态由代理Agent在强化学习环境中的位置决定，并使用知识图谱排序算法判断两个实体之间的关系，并将它们之间的关系建立成投影矩阵；
Figure 198940DEST_PATH_IMAGE001
其中
Figure 912819DEST_PATH_IMAGE002
表示需要查询的对象，
Figure 505605DEST_PATH_IMAGE003
表示维度变换矩阵，
Figure 963131DEST_PATH_IMAGE004
表示知识图谱排序算法中 描述的投影向量的转置，
Figure 590553DEST_PATH_IMAGE005
表示单位矩阵；
同时，为了获取强化学习环境中所有实体和关系的顺序信息，在初始状态下考虑 目标实体与当前实体之间的距离，用
Figure 209753DEST_PATH_IMAGE006
和
Figure 24256DEST_PATH_IMAGE002
表示，初始状态和下一个状态的第一个组 成部分的公式为:
Figure 285473DEST_PATH_IMAGE007
其中
Figure 758612DEST_PATH_IMAGE008
表示实体嵌入初始状态的第一个分量，
Figure 424080DEST_PATH_IMAGE002
表示需要查询的对象，
Figure 240726DEST_PATH_IMAGE006
表 示目标实体。
作为本发明的一种优选方式，所述S4包括：根据Agent行动找到对应的强化学习环境中的所有实体和两个实体之间的关系，设置路径的精确度、查找路径的效率、不同路径的多样性的奖励函数。
作为本发明的一种优选方式，所述S4包括：在S3中定义了Agent的初始状态之后开始行动，所述行动指的是Agent选择一条关系路径向前推进，在强化学习框架的基础上，Agent根据LSGAT模型得到的概率来选择一条关系路径向前推进，从而产生新的动作，包括有效动作和无效动作，有效动作是指存在一个存在的、有希望的关系来扩展它与当前实体连接的路径，无效动作是指选择了没有关系的路径；
采用知识图谱搜索模型奖励函数，奖励函数输出的结果值是根据行动是否有效，或者一系列行动是否能经过特定步骤数到达目标实体来决定，将奖励函数输出的结果值向Agent反馈，通过奖励函数输出的结果值评估Agent找到的路径的质量，若Agent通过某一条路径没有找到目标实体，设置奖励函数输出结果值为-1，若Agent通过不同的路径找到目标实体，设置奖励函数输出的值在0-1的范围内，将全局的奖励函数输出的结果值设置不同部分的加权值，这些部分包括：查找路径的精确度、查找路径的效率、不同路径的多样性，将路径的多样性定义为如下公式：
Figure 525208DEST_PATH_IMAGE009
其中
Figure 845331DEST_PATH_IMAGE010
表示路径多样性，
Figure 88225DEST_PATH_IMAGE011
是发现路径的个数，
Figure 392167DEST_PATH_IMAGE012
指代发现的路径，
Figure 211831DEST_PATH_IMAGE013
指代第
Figure 917619DEST_PATH_IMAGE014
条发现的路径，最终的奖励函数设置成：
Figure 924889DEST_PATH_IMAGE015
其中
Figure 466860DEST_PATH_IMAGE016
表示的是最终加权的奖励值，
Figure 607991DEST_PATH_IMAGE017
、
Figure 653439DEST_PATH_IMAGE018
、
Figure 487403DEST_PATH_IMAGE010
分别是查找路径的精确 度、查找路径的效率、不同路径的多样性，
Figure 988441DEST_PATH_IMAGE019
、
Figure 933263DEST_PATH_IMAGE020
、
Figure 98797DEST_PATH_IMAGE021
是系数，并且满足
Figure 838082DEST_PATH_IMAGE022
。
作为本发明的一种优选方式，所述S5包括：在定义了强化学习的强化学习环境和 Agent后，再定义训练过程中的记忆组件，利用三层长短期记忆网络和图注意机制构成记忆 组件，使Agent记忆和学习已采取的行动，输入Agent初始状态和强化学习环境产生的新状 态，由嵌入当前的实体和记忆组件决定，在记忆组件中获得推理路径的语义，用来将知识存 储在选定的实体和关系中，第一部分的记忆组件由三层长短期记忆网络组成，对于三层长 短期记忆网络,将隐藏层的初始状态
Figure 89066DEST_PATH_IMAGE023
和输入
Figure 181787DEST_PATH_IMAGE024
定义如下：
Figure 716674DEST_PATH_IMAGE025
其中
Figure 374664DEST_PATH_IMAGE026
为
Figure 362211DEST_PATH_IMAGE027
时刻隐藏层的初始状态，
Figure 133989DEST_PATH_IMAGE028
表示
Figure 257803DEST_PATH_IMAGE029
时刻隐藏层的初始状态，
Figure 89624DEST_PATH_IMAGE030
为 当前
Figure 564468DEST_PATH_IMAGE027
时刻实体输入，
Figure 264570DEST_PATH_IMAGE031
表示输入的实体和初始状态进入长短期记忆网络处理；
将隐藏层初始状态设置成高维零向量，
Figure 273851DEST_PATH_IMAGE030
是长短期记忆网络在步骤
Figure 260261DEST_PATH_IMAGE027
的输入，将
Figure 707554DEST_PATH_IMAGE030
定义为：
Figure 70403DEST_PATH_IMAGE032
其中
Figure 44175DEST_PATH_IMAGE008
表示实体嵌入初始状态的第一个分量，
Figure 217798DEST_PATH_IMAGE033
表示的是
Figure 667234DEST_PATH_IMAGE029
时刻实体与实 体的关系；
通过
Figure 581576DEST_PATH_IMAGE030
联合实体和关系对所选关联和路径进行编码，使长短期记忆网络能够学 习和记忆路径的顺序语义。
作为本发明的一种优选方式，所述S6包括：使用单层前馈神经网络来计算注意力 的权重，用线性映射矩阵
Figure 534489DEST_PATH_IMAGE034
和权重向量
Figure 144593DEST_PATH_IMAGE035
来计算所有相邻实体的权重，选择负输入斜率的
Figure 550166DEST_PATH_IMAGE036
作为非线性激活函数，
Figure 271129DEST_PATH_IMAGE037
和
Figure 344127DEST_PATH_IMAGE038
之间的注意力权重计算如下：
Figure 125132DEST_PATH_IMAGE039
其中
Figure 283581DEST_PATH_IMAGE040
表示的是
Figure 811164DEST_PATH_IMAGE041
和
Figure 348456DEST_PATH_IMAGE042
之间的注意力权重，
Figure 549630DEST_PATH_IMAGE043
表示输入经过非线性激 活函数处理，
Figure 680528DEST_PATH_IMAGE044
表示权重向量，
Figure 992561DEST_PATH_IMAGE045
和
Figure 790884DEST_PATH_IMAGE046
表示的实体
Figure 897380DEST_PATH_IMAGE041
和
Figure 778224DEST_PATH_IMAGE042
的线性映射矩阵表示；
对于实体
Figure 893947DEST_PATH_IMAGE041
，只计算它所有直接连接的相邻实体的注意力权重，并用归一化指数 函数将它们规范化，归一化的注意力权重可以得到如下公式:
Figure 281197DEST_PATH_IMAGE047
其中
Figure 433961DEST_PATH_IMAGE040
表示的是
Figure 788719DEST_PATH_IMAGE041
和
Figure 193287DEST_PATH_IMAGE042
之间的注意力权重，
Figure 949890DEST_PATH_IMAGE048
表示归一化之后的注意力权重，
Figure 140133DEST_PATH_IMAGE049
表示经过指数函数处理；
在简单加权所有相邻实体嵌入在注意力空间的和之后，实体
Figure 247766DEST_PATH_IMAGE041
注意力向量如下:
Figure 190445DEST_PATH_IMAGE050
其中
Figure 411342DEST_PATH_IMAGE051
表示实体
Figure 561701DEST_PATH_IMAGE014
的注意力向量，
Figure 641783DEST_PATH_IMAGE048
表示归一化之后的注意力权重，
Figure 637421DEST_PATH_IMAGE052
表示实 体
Figure 585261DEST_PATH_IMAGE041
和
Figure 906521DEST_PATH_IMAGE042
的线性映射矩阵表示；
当Agent在推理路径上遍历时，长短期记忆网络的记忆部分和图注意力机制保留 了序列信息，在所提出的记忆路径中，Agent在步骤
Figure 473900DEST_PATH_IMAGE027
中的初始状态包含当前实体和记忆信 息的嵌入，
Figure 273228DEST_PATH_IMAGE041
的初始状态向量在
Figure 344084DEST_PATH_IMAGE027
时刻定义为:
Figure 836245DEST_PATH_IMAGE053
其中
Figure 625341DEST_PATH_IMAGE054
表示实体
Figure 841077DEST_PATH_IMAGE041
在
Figure 546865DEST_PATH_IMAGE027
时刻的状态向量，
Figure 429501DEST_PATH_IMAGE055
表示的是
Figure 220740DEST_PATH_IMAGE027
时刻实体
Figure 112603DEST_PATH_IMAGE014
的隐藏状 态，
Figure 672898DEST_PATH_IMAGE056
表示在
Figure 992015DEST_PATH_IMAGE027
时刻实体嵌入初始状态的第一个分量，
Figure 270549DEST_PATH_IMAGE051
表示实体
Figure 963174DEST_PATH_IMAGE014
的注意力向量。
作为本发明的一种优选方式，所述S7包括：LSGAT模型将
Figure 377975DEST_PATH_IMAGE041
的初始状态向量在
Figure 133573DEST_PATH_IMAGE027
时 刻的定义公式作为前馈神经网络的输入，输出的归一化指数函数概率的长度等于强化学习 环境中所有关系的数目，使用强化学习环境推理时，Agent选择一个行动，然后获得奖励，当 它成功的到达目标实体或者在指定数目的步骤没有找到实体后，Agent在这一个训练步骤 获得的奖励被用来更新LSGAT模型中的所有参数，最后使用REINFORCE算法进行优化，并用 下面的随机梯度函数更新LSGAT模型参数：
Figure 633824DEST_PATH_IMAGE057
Figure 867491DEST_PATH_IMAGE058
表示对参数
Figure 136798DEST_PATH_IMAGE059
梯度下降后的目标函数，
Figure 797717DEST_PATH_IMAGE060
代表查找实体，
Figure 785265DEST_PATH_IMAGE061
代表当前时刻 的关系，
Figure 837271DEST_PATH_IMAGE062
用来表示行动或选定关系的概率，
Figure 961085DEST_PATH_IMAGE063
表示步骤
Figure 58485DEST_PATH_IMAGE027
后的奖励；
基于以上强化学习的框架训练得到的概率最高的路径，提取强化学习环境中路径的实体和关系，为构建剧本打下基础。
作为本发明的一种优选方式，所述S8包括：在强化学习环境中，将LSGAT模型推理得到概率最高的路径提取出来，并且把这个路径中的实体和关系建立实体-关系映射表，通过映射表生成相应的剧本。
区别于现有技术，上述技术方案所达到的有益效果有：
为了更好地使用已经构建好的网络安全知识图谱进行路径推理，本方案提出了一种路径记忆和推理的LSGAT模型，该模型基于强化学习模型，并使用长短期记忆网络和图注意机制，在传统的推理网络TransE的基础上增加了记忆模块，利用强化学习模型能更好地推理出实体与路径的深层语义特征。在网络安全事件发生时，通过对网络安全应急响应知识图谱路径分析快速推理出实体与关系，并生成对应的动作，构建准确有效的剧本，实现了快速高效的应急响应，当产生新的网络攻击时，系统会自动调用编排好的剧本对异常攻击进行防御。
附图说明
图1为具体实施方式所述基于强化学习提出的记忆和寻找路径的框架。
图2为具体实施方式所述使用长短期记忆网络和图注意力机制组成的记忆路径的结构。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
如图1所示，本实施例提供了一种基于知识图谱路径分析的安全运营剧本自动化编排方法，包括以下步骤：
S1：给定网络安全事件的日志和网络安全应急响应知识图谱；
S2：基于深度强化学习框架，设置强化学习环境和Agent，提取网络安全事件日志中的网络安全实体，查询该网络安全实体在强化学习环境的位置，Agent将网络安全实体在强化学习环境的位置信息作为初始状态；
在本实施例中，S2中的网络安全实体包括漏洞、IP（网际互连协议）、SQL服务器、web服务器等。具体的，把经过知识抽取和实体对齐后的知识图谱作为强化学习环境（Environment），建立相应的Agent（代理），Agent包含状态、行动和奖励；在强化学习环境下，模型需要学会在实体之间选择有希望的推理路径；这意味着需要考虑两个实体和它们之间的关系，我们从状态、行动、奖励三个部分描述。
S3：把得到的网络安全实体和强化学习环境中的所有实体进行比较，使用知识图谱排序算法判断两个实体之间的关系，并将它们之间的关系建立成投影矩阵，同时考虑强化学习环境中的所有实体与网络安全实体之间的关系的顺序信息，在初始状态下考虑高维空间中与当前强化学习环境中实体之间的距离；
在本实施例的步骤S3中，S3包括：提取网络安全事件日志中的网络安全实体，查询网络安全实体在强化学习环境中的位置，Agent将其作为初始查询状态，此后的每个强化学习环境产生的新状态由代理Agent在强化学习环境中的位置决定，并使用知识图谱排序算法判断两个实体之间的关系，并将它们之间的关系建立成投影矩阵；
Figure 533328DEST_PATH_IMAGE001
其中
Figure 108797DEST_PATH_IMAGE002
表示需要查询的对象，
Figure 352697DEST_PATH_IMAGE003
表示维度变换矩阵，
Figure 620998DEST_PATH_IMAGE004
表示知识图谱排序算法 中描述的投影向量的转置，
Figure 583138DEST_PATH_IMAGE005
表示单位矩阵；
同时，为了获取强化学习环境中所有实体和关系的顺序信息，在初始状态下考虑 目标实体与当前实体之间的距离，用
Figure 959368DEST_PATH_IMAGE006
和
Figure 57774DEST_PATH_IMAGE002
表示，初始状态和下一个状态的第一个组 成部分的公式为:
Figure 496977DEST_PATH_IMAGE007
其中
Figure 946413DEST_PATH_IMAGE008
表示实体嵌入初始状态的第一个分量，
Figure 863684DEST_PATH_IMAGE002
表示需要查询的对象，
Figure 82176DEST_PATH_IMAGE006
表 示目标实体。
S4：Agent选择一条关系路径向前推进，并将其设置成强化学习环境的新状态。
在本实施例的步骤S4中，S4具体包括：根据Agent行动找到对应的强化学习环境中的所有实体和两个实体之间的关系，设置路径的精确度、查找路径的效率、不同路径的多样性的奖励函数。除此之外，S4还包括：在S3中定义了Agent的初始状态之后开始行动，这里的行动指的是Agent选择一条关系路径向前推进，在强化学习框架的基础上，Agent根据LSGAT模型得到的概率来选择一条关系路径向前推进，从而产生新的动作，新的动作包括两类，分别是有效动作和无效动作，有效动作是指存在一个存在的、有希望的关系来扩展它与当前实体连接的路径，无效动作是指选择了没有关系的路径；
采用知识图谱搜索模型（ConvE）奖励函数，奖励函数输出的结果值是根据行动是否有效，或者一系列行动是否能经过特定步骤数到达目标实体来决定，将奖励函数输出的结果值向Agent反馈，通过奖励函数输出的结果值评估Agent找到的路径的质量，若Agent通过某一条路径没有找到目标实体，设置奖励函数输出结果值为-1，若Agent通过不同的路径找到目标实体，设置奖励函数输出的值在0-1的范围内，将全局的奖励函数输出的结果值设置不同部分的加权值，这些部分包括：查找路径的精确度、查找路径的效率、不同路径的多样性，将路径的多样性定义为如下公式：
Figure 692280DEST_PATH_IMAGE009
其中
Figure 363433DEST_PATH_IMAGE010
表示路径多样性，
Figure 352904DEST_PATH_IMAGE011
是发现路径的个数，
Figure 425903DEST_PATH_IMAGE012
指代发现的路径，
Figure 65962DEST_PATH_IMAGE013
指代第
Figure 975144DEST_PATH_IMAGE014
条发现的路径，最终的奖励函数设置成：
Figure 483485DEST_PATH_IMAGE015
其中
Figure 161723DEST_PATH_IMAGE016
表示的是最终加权的奖励值，
Figure 362897DEST_PATH_IMAGE017
、
Figure 756445DEST_PATH_IMAGE064
、
Figure 68477DEST_PATH_IMAGE010
分别是查找路径的精确 度、查找路径的效率、不同路径的多样性，
Figure 866800DEST_PATH_IMAGE019
、
Figure 238876DEST_PATH_IMAGE020
、
Figure 122649DEST_PATH_IMAGE021
是系数，并且满足
Figure 238373DEST_PATH_IMAGE022
。
S5：在Agent行动改变S2中的每一个初始状态，再改变S4中的强化学习环境的新状态的过程中，如图2所示，使用长短期记忆网络(LSTM)和图注意机制（GAT）构成记忆组件，使Agent记忆和学习在S4中代理采取的每一个行动。
在本实施例的步骤S5中，S5具体包括：在定义了强化学习的强化学习环境和Agent 后，再定义训练过程中的记忆组件，利用三层长短期记忆网络和图注意机制构成记忆组件， 使Agent记忆和学习已采取的行动，输入Agent初始状态和强化学习环境产生的新状态，由 嵌入当前的实体和记忆组件决定，在记忆组件中获得推理路径的语义，用来将知识存储在 选定的实体和关系中，这种操作可以提高Agent对强化学习环境的感知，学习最有希望的关 系，从而扩展推理路径，第一部分的记忆组件由三层长短期记忆网络组成，对于三层长短期 记忆网络,将隐藏层的初始状态
Figure 625623DEST_PATH_IMAGE023
和输入
Figure 434179DEST_PATH_IMAGE024
定义如下：
Figure 265301DEST_PATH_IMAGE025
其中
Figure 184715DEST_PATH_IMAGE026
为
Figure 692051DEST_PATH_IMAGE027
时刻隐藏层的初始状态，
Figure 405929DEST_PATH_IMAGE028
表示
Figure 264295DEST_PATH_IMAGE029
时刻隐藏层的初始状态，
Figure 456242DEST_PATH_IMAGE030
为 当前
Figure 818084DEST_PATH_IMAGE027
时刻实体输入，
Figure 575300DEST_PATH_IMAGE031
表示输入的实体和初始状态进入长短期记忆网络处理；
在上面公式中，将隐藏层初始状态设置成高维零向量，
Figure 904650DEST_PATH_IMAGE030
是长短期记忆网络在步 骤
Figure 651021DEST_PATH_IMAGE027
的输入，将
Figure 116637DEST_PATH_IMAGE030
定义为：
Figure 188629DEST_PATH_IMAGE032
其中
Figure 474117DEST_PATH_IMAGE008
表示实体嵌入初始状态的第一个分量，
Figure 289757DEST_PATH_IMAGE033
表示的是
Figure 609880DEST_PATH_IMAGE029
时刻实体与实 体的关系；
通过
Figure 590124DEST_PATH_IMAGE030
联合实体和关系对所选关联和路径进行编码，使长短期记忆网络能够学 习和记忆路径的顺序语义。
S6：对Agent进行多次训练，将获得奖励最多的Agent得到的目标实体和长短期记忆网络输出以及图注意力机制中的关系加权映射到一个高维向量；
在本实施例的步骤S6中，S6具体包括：通常，一个网络安全实体有几个不同的关 系，譬如攻击方法和攻击者之间的关系，举例来说，一种攻击方式是某个黑客或者某种境外 组织常用的技术手段，就可以调用针对性的防御措施对该攻击方式进行防御。因此，在推理 过程中Agent最好更多的关注与当前实体高度相关的实体与关系。所以我们将实体节点上 的一种图注意机制（GAT）引入到该模型中。具体的，首先使用单层前馈神经网络来计算注意 力的权重，用线性映射矩阵
Figure 503854DEST_PATH_IMAGE034
和权重向量
Figure 106874DEST_PATH_IMAGE035
来计算所有相邻实体的权重，选择负输入斜率 的
Figure 297815DEST_PATH_IMAGE036
作为非线性激活函数，
Figure 960877DEST_PATH_IMAGE041
和
Figure 971690DEST_PATH_IMAGE042
之间的注意力权重计算如下：
Figure 378400DEST_PATH_IMAGE039
其中
Figure 686497DEST_PATH_IMAGE040
表示的是
Figure 254882DEST_PATH_IMAGE041
和
Figure 18570DEST_PATH_IMAGE042
之间的注意力权重，
Figure 963392DEST_PATH_IMAGE043
表示输入经过非线性激 活函数处理，
Figure 128925DEST_PATH_IMAGE044
表示权重向量，
Figure 868211DEST_PATH_IMAGE065
和
Figure 853616DEST_PATH_IMAGE046
表示的实体
Figure 602129DEST_PATH_IMAGE041
和
Figure 636817DEST_PATH_IMAGE042
的线性映射矩阵表示；
对于实体
Figure 422370DEST_PATH_IMAGE041
，只计算它所有直接连接的相邻实体的注意力权重，并用归一化指数函 数（softmax）将它们规范化，归一化的注意力权重可以得到如下公式:
Figure 409918DEST_PATH_IMAGE047
其中
Figure 447275DEST_PATH_IMAGE040
表示的是
Figure 836668DEST_PATH_IMAGE041
和
Figure 934068DEST_PATH_IMAGE042
之间的注意力权重，
Figure 143333DEST_PATH_IMAGE048
表示归一化之后的注意力权重，
Figure 715872DEST_PATH_IMAGE049
表示经过指数函数处理；
在简单加权所有相邻实体嵌入在注意力向量中后，实体
Figure 959772DEST_PATH_IMAGE041
注意力向量如下:
Figure 228073DEST_PATH_IMAGE050
其中
Figure 190213DEST_PATH_IMAGE051
表示实体
Figure 569373DEST_PATH_IMAGE014
的注意力向量，
Figure 402199DEST_PATH_IMAGE048
表示归一化之后的注意力权重，
Figure 841402DEST_PATH_IMAGE052
表示实体
Figure 25259DEST_PATH_IMAGE041
和
Figure 211039DEST_PATH_IMAGE042
的线性映射矩阵表示；
当Agent在推理路径上遍历时，长短期记忆网络的记忆部分和图注意力机制保留 了序列信息，在所提出的记忆路径中，Agent在步骤
Figure 429531DEST_PATH_IMAGE027
中的初始状态包含当前实体和记忆信 息的嵌入，因此，
Figure 39635DEST_PATH_IMAGE041
的初始状态向量在
Figure 710788DEST_PATH_IMAGE027
时刻定义为:
Figure 431750DEST_PATH_IMAGE053
其中
Figure 239169DEST_PATH_IMAGE054
表示实体
Figure 285754DEST_PATH_IMAGE041
在
Figure 444203DEST_PATH_IMAGE027
时刻的状态向量，
Figure 700347DEST_PATH_IMAGE055
表示的是
Figure 893431DEST_PATH_IMAGE027
时刻实体
Figure 845338DEST_PATH_IMAGE014
的隐藏状 态，
Figure 225504DEST_PATH_IMAGE056
表示在
Figure 553848DEST_PATH_IMAGE027
时刻实体嵌入初始状态的第一个分量，
Figure 211225DEST_PATH_IMAGE051
表示实体
Figure 583301DEST_PATH_IMAGE014
的注意力向量。
S7：将S6中得到的高维向量输入到一个前馈神经网络中，并将输出通过归一化指数函数处理得到选择每一条路径的概率；
在本实施例的步骤S7中，S7具体包括：LSGAT模型（记忆路径推理模型）将
Figure 927127DEST_PATH_IMAGE041
的初始 状态向量在
Figure 42850DEST_PATH_IMAGE027
时刻的定义公式作为前馈神经网络的输入，输出的归一化指数函数概率的长 度等于强化学习环境中所有关系的数目，使用强化学习环境推理时，Agent选择一个行动， 然后获得奖励，当它成功的到达目标实体或者在指定数目的步骤没有找到实体后，Agent在 这一个训练步骤获得的奖励被用来更新LSGAT模型中的所有参数，最后使用REINFORCE算法 进行优化，并用下面的随机梯度函数更新LSGAT模型参数：
Figure 695680DEST_PATH_IMAGE057
Figure 238656DEST_PATH_IMAGE058
表示对参数
Figure 609726DEST_PATH_IMAGE059
梯度下降后的目标函数，
Figure 263561DEST_PATH_IMAGE060
代表查找实体，
Figure 36476DEST_PATH_IMAGE061
代表当前时刻 的关系，
Figure 750354DEST_PATH_IMAGE062
用来表示行动或选定关系的概率，
Figure 809053DEST_PATH_IMAGE063
表示步骤
Figure 266579DEST_PATH_IMAGE027
后的奖励；
基于以上强化学习的框架训练得到的概率最高的路径，提取强化学习环境中路径的实体和关系，为构建剧本打下基础。
S8：根据S7中得到的概率最高的路径，提取这一条路径的强化学习环境中的所有实体和两个实体之间的关系，通过建立词汇映射表生成对应的动作,将每个攻击行为映射到不同的漏洞，再生成对应的剧本来判断各种攻击场景对企业安全的威胁。具体的，在强化学习环境中，将LSGAT模型推理得到概率最高的路径提取出来，并且把这个路径中的实体和关系建立实体-关系映射表，通过映射表生成相应的剧本。
为了验证该模型的性能，基于上述实施例，本文在通用漏洞披露库（CommonVulnerabilities and Exposures，CVE）、恶意和良性物联网网络流量的标记数据集（AposematIoT-23）、后台流量的标记数据集（CTU-13 Dataset）、入侵检测数据集（ADFA）上结合网上公开的应急响应处理方法测试本模型。采用了事实预测的成功率（MAP）指标、链接预测(MeanRR)和搜索实体得分(hit@1)指标来对模型进行评价。通过表格一和表格二表明该模型提出的长短期记忆网络(LSTM)和图注意力组成的记忆力模块能够寻找更多高质量的路径和匹配目标实体。
Figure 894000DEST_PATH_IMAGE066
如表格一所示，测试结果表明LSGAT模型在通用漏洞披露数据集（CVE）上达到了87.8%的准确率，相比较于传统的路径分析（Trans）系列模型和知识推理模型（DeepPath），该模型都获得了不错的结果。
Figure 388567DEST_PATH_IMAGE067
对于链接预测的质量评估，我们采用根据排名的匹配得分（Mean ReciprocalRank，MeanRR）和搜索实体得分（hits@1）作为评价指标，MRR指的是对于一个目标实体的匹配得分，hits@1指的是测试的实体是否在序列的前一个的得分；在后台流量的标记数据集（CTU-13 Dataset）和入侵检测数据集（ADFA）上对链接预测进行质量评估，质量评估的得分如表格二所示，结果表明，LSGAT模型受益于记忆组件和基于强化学习的训练机制，可以很好的预测实体有关的路径。
Figure 452338DEST_PATH_IMAGE068
表格三展示了一些测试的推理路径和三元组的案例，这些案例是根据知识图谱预测的路径分析出对应的实体和关系构建的可以自动化编排的剧本。以上分析表明基于强化学习并结合长短期记忆网络(LSTM)及图注意力机制(GAT)方法的引入可以有效地生成剧本。
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的保护范围之内。

Claims (10)

1.一种基于知识图谱路径分析的安全运营剧本自动化编排方法，其特征在于，包括以下步骤：
S1：给定网络安全事件的日志和网络安全应急响应知识图谱；
S2：基于深度强化学习框架，设置强化学习环境和Agent，提取网络安全事件日志中的网络安全实体，查询该网络安全实体在强化学习环境的位置，Agent将网络安全实体在强化学习环境的位置信息作为初始状态；
S3：把得到的网络安全实体和强化学习环境中的所有实体进行比较，使用知识图谱排序算法判断两个实体之间的关系，并将它们之间的关系建立成投影矩阵，同时考虑强化学习环境中的所有实体与网络安全实体之间的关系的顺序信息，在初始状态下考虑高维空间中与当前强化学习环境中实体之间的距离；
S4：Agent选择一条关系路径向前推进，并将其设置成强化学习环境的新状态；
S5：在Agent行动改变S2中的每一个初始状态，再改变S4中的强化学习环境的新状态的过程中，使用长短期记忆网络和图注意机制构成记忆组件，使Agent记忆和学习在S4中代理采取的每一个行动；
S6：对Agent进行多次训练，将获得奖励最多的Agent得到的目标实体和长短期记忆网络输出以及图注意力机制中的关系加权映射到一个高维向量；
S7：将S6中得到的高维向量输入到一个前馈神经网络中，并将输出通过归一化指数函数处理得到选择每一条路径的概率；
S8：根据S7中得到的概率最高的路径，提取这一条路径的强化学习环境中的所有实体和两个实体之间的关系，通过建立词汇映射表生成对应的动作,将每个攻击行为映射到不同的漏洞，再生成对应的剧本来判断各种攻击场景对企业安全的威胁。
2.根据权利要求1所述的基于知识图谱路径分析的安全运营剧本自动化编排方法，其特征在于，所述S2中网络安全实体包括漏洞、IP、SQL服务器、web服务器。
3.根据权利要求1所述的基于知识图谱路径分析的安全运营剧本自动化编排方法，其特征在于，所述S2包括：
把经过知识抽取和实体对齐后的知识图谱作为强化学习环境，建立相应的Agent，所述Agent包含状态、行动和奖励，在强化学习环境下，模型需要学会在实体之间选择有希望的推理路径。
4.根据权利要求3所述的基于知识图谱路径分析的安全运营剧本自动化编排方法，其特征在于，所述S3包括：
提取网络安全事件日志中的网络安全实体，查询网络安全实体在强化学习环境中的位置，Agent将其作为初始查询状态，此后的每个强化学习环境产生的新状态由代理Agent在强化学习环境中的位置决定，并使用知识图谱排序算法判断两个实体之间的关系，并将它们之间的关系建立成投影矩阵；
Figure 402128DEST_PATH_IMAGE001
其中
Figure 382723DEST_PATH_IMAGE002
表示需要查询的对象，
Figure 752524DEST_PATH_IMAGE003
表示维度变换矩阵，
Figure 111961DEST_PATH_IMAGE004
表示知识图谱排序算法中描述 的投影向量的转置，
Figure 502491DEST_PATH_IMAGE005
表示单位矩阵；
同时，为了获取强化学习环境中所有实体和关系的顺序信息，在初始状态下考虑目标 实体与当前实体之间的距离，用
Figure 376906DEST_PATH_IMAGE006
和
Figure 19240DEST_PATH_IMAGE002
表示，初始状态和下一个状态的第一个组成部分 的公式为:
Figure 357818DEST_PATH_IMAGE007
其中
Figure 794615DEST_PATH_IMAGE008
表示实体嵌入初始状态的第一个分量，
Figure 156327DEST_PATH_IMAGE002
表示需要查询的对象，
Figure 195827DEST_PATH_IMAGE006
表示目标 实体。
5.根据权利要求4所述的基于知识图谱路径分析的安全运营剧本自动化编排方法，其特征在于，所述S4包括：根据Agent行动找到对应的强化学习环境中的所有实体和两个实体之间的关系，设置路径的精确度、查找路径的效率、不同路径的多样性的奖励函数。
6.根据权利要求5所述的基于知识图谱路径分析的安全运营剧本自动化编排方法，其特征在于，所述S4包括：
在S3中定义了Agent的初始状态之后开始行动，所述行动指的是Agent选择一条关系路径向前推进，在强化学习框架的基础上，Agent根据LSGAT模型得到的概率来选择一条关系路径向前推进，从而产生新的动作，包括有效动作和无效动作，有效动作是指存在一个存在的、有希望的关系来扩展它与当前实体连接的路径，无效动作是指选择了没有关系的路径；
采用知识图谱搜索模型奖励函数，奖励函数输出的结果值是根据行动是否有效，或者一系列行动是否能经过特定步骤数到达目标实体来决定，将奖励函数输出的结果值向Agent反馈，通过奖励函数输出的结果值评估Agent找到的路径的质量，若Agent通过某一条路径没有找到目标实体，设置奖励函数输出结果值为-1，若Agent通过不同的路径找到目标实体，设置奖励函数输出的值在0-1的范围内，将全局的奖励函数输出的结果值设置不同部分的加权值，这些部分包括：查找路径的精确度、查找路径的效率、不同路径的多样性，将路径的多样性定义为如下公式：
Figure 529856DEST_PATH_IMAGE009
其中
Figure 262189DEST_PATH_IMAGE010
表示路径多样性，
Figure 111196DEST_PATH_IMAGE011
是发现路径的个数，
Figure 829753DEST_PATH_IMAGE012
指代发现的路径，
Figure 408502DEST_PATH_IMAGE013
指代第
Figure 921523DEST_PATH_IMAGE014
条发现 的路径，最终的奖励函数设置成：
Figure 257827DEST_PATH_IMAGE015
其中
Figure 904709DEST_PATH_IMAGE016
表示的是最终加权的奖励值，
Figure 947751DEST_PATH_IMAGE017
、
Figure 21886DEST_PATH_IMAGE018
、
Figure 579907DEST_PATH_IMAGE010
分别是查找路径的精确度、查找 路径的效率、不同路径的多样性，
Figure 905846DEST_PATH_IMAGE019
、
Figure 193608DEST_PATH_IMAGE020
、
Figure 48431DEST_PATH_IMAGE021
是系数，并且满足
Figure 687223DEST_PATH_IMAGE022
。
7.根据权利要求6所述的基于知识图谱路径分析的安全运营剧本自动化编排方法，其特征在于，所述S5包括：
在定义了强化学习的强化学习环境和Agent后，再定义训练过程中的记忆组件，利用三 层长短期记忆网络和图注意机制构成记忆组件，使Agent记忆和学习已采取的行动，输入 Agent初始状态和强化学习环境产生的新状态，由嵌入当前的实体和记忆组件决定，在记忆 组件中获得推理路径的语义，用来将知识存储在选定的实体和关系中，第一部分的记忆组 件由三层长短期记忆网络组成，对于三层长短期记忆网络,将隐藏层的初始状态
Figure 348011DEST_PATH_IMAGE023
和输入
Figure 100067DEST_PATH_IMAGE024
定义如下：
Figure 781584DEST_PATH_IMAGE025
其中
Figure 517458DEST_PATH_IMAGE026
为
Figure 716359DEST_PATH_IMAGE027
时刻隐藏层的初始状态，
Figure 978713DEST_PATH_IMAGE028
表示
Figure 440918DEST_PATH_IMAGE029
时刻隐藏层的初始状态，
Figure 523144DEST_PATH_IMAGE030
为当前
Figure 791314DEST_PATH_IMAGE027
时刻实体输入，
Figure 783541DEST_PATH_IMAGE031
表示输入的实体和初始状态进入长短期记忆网络处理；
将隐藏层初始状态设置成高维零向量，
Figure 293280DEST_PATH_IMAGE030
是长短期记忆网络在步骤
Figure 3747DEST_PATH_IMAGE027
的输入，将
Figure 810029DEST_PATH_IMAGE030
定义 为：
Figure 781396DEST_PATH_IMAGE032
其中
Figure 585404DEST_PATH_IMAGE008
表示实体嵌入初始状态的第一个分量，
Figure 642222DEST_PATH_IMAGE033
表示的是
Figure 252195DEST_PATH_IMAGE029
时刻实体与实体的关 系；
通过
Figure 219014DEST_PATH_IMAGE030
联合实体和关系对所选关联和路径进行编码，使长短期记忆网络能够学习和记 忆路径的顺序语义。
8.根据权利要求7所述的基于知识图谱路径分析的安全运营剧本自动化编排方法，其特征在于，所述S6包括：
使用单层前馈神经网络来计算注意力的权重，用线性映射矩阵
Figure 318557DEST_PATH_IMAGE034
和权重向量
Figure 738037DEST_PATH_IMAGE035
来计算 所有相邻实体的权重，选择负输入斜率的
Figure 886121DEST_PATH_IMAGE036
作为非线性激活函数，
Figure 832081DEST_PATH_IMAGE037
和
Figure 712312DEST_PATH_IMAGE038
之间的注 意力权重计算如下：
Figure 743722DEST_PATH_IMAGE039
其中
Figure 695497DEST_PATH_IMAGE040
表示的是
Figure 371329DEST_PATH_IMAGE037
和
Figure 812675DEST_PATH_IMAGE038
之间的注意力权重，
Figure 206747DEST_PATH_IMAGE041
表示输入经过非线性激活函数 处理，
Figure 696634DEST_PATH_IMAGE042
表示权重向量，
Figure 617186DEST_PATH_IMAGE043
和
Figure 104799DEST_PATH_IMAGE044
表示的实体
Figure 845222DEST_PATH_IMAGE037
和
Figure 342062DEST_PATH_IMAGE038
的线性映射矩阵表示；
对于实体
Figure 789224DEST_PATH_IMAGE037
，只计算它所有直接连接的相邻实体的注意力权重，并用归一化指数函数 将它们规范化，归一化的注意力权重可以得到如下公式:
Figure 572372DEST_PATH_IMAGE045
其中
Figure 941037DEST_PATH_IMAGE040
表示的是
Figure 772727DEST_PATH_IMAGE037
和
Figure 402291DEST_PATH_IMAGE038
之间的注意力权重，
Figure 231707DEST_PATH_IMAGE046
表示归一化之后的注意力权重，
Figure 946722DEST_PATH_IMAGE047
表示 经过指数函数处理；
在简单加权所有相邻实体嵌入在注意力空间的和之后，实体
Figure 785365DEST_PATH_IMAGE037
注意力向量如下:
Figure 207119DEST_PATH_IMAGE048
其中
Figure 597649DEST_PATH_IMAGE049
表示实体
Figure 409747DEST_PATH_IMAGE014
的注意力向量，
Figure 911136DEST_PATH_IMAGE046
表示归一化之后的注意力权重，
Figure 390659DEST_PATH_IMAGE050
表示实体
Figure 624194DEST_PATH_IMAGE037
和
Figure 48222DEST_PATH_IMAGE038
的线性映射矩阵表示；
当Agent在推理路径上遍历时，长短期记忆网络的记忆部分和图注意力机制保留了序 列信息，在所提出的记忆路径中，Agent在步骤
Figure 228667DEST_PATH_IMAGE051
中的初始状态包含当前实体和记忆信息的 嵌入，
Figure 21086DEST_PATH_IMAGE037
的初始状态向量在
Figure 425523DEST_PATH_IMAGE051
时刻定义为:
Figure 212213DEST_PATH_IMAGE052
其中
Figure 55404DEST_PATH_IMAGE053
表示实体
Figure 509519DEST_PATH_IMAGE037
在
Figure 84857DEST_PATH_IMAGE051
时刻的状态向量，
Figure 483477DEST_PATH_IMAGE054
表示的是
Figure 740146DEST_PATH_IMAGE051
时刻实体
Figure 173402DEST_PATH_IMAGE014
的隐藏状态，
Figure 919641DEST_PATH_IMAGE055
表 示在
Figure 946503DEST_PATH_IMAGE051
时刻实体嵌入初始状态的第一个分量，
Figure 865917DEST_PATH_IMAGE056
表示实体
Figure 294625DEST_PATH_IMAGE014
的注意力向量。
9.根据权利要求8所述的基于知识图谱路径分析的安全运营剧本自动化编排方法，其特征在于，所述S7包括：
LSGAT模型将
Figure 211765DEST_PATH_IMAGE037
的初始状态向量在
Figure 584977DEST_PATH_IMAGE051
时刻的定义公式作为前馈神经网络的输入，输出的 归一化指数函数概率的长度等于强化学习环境中所有关系的数目，使用强化学习环境推理 时，Agent选择一个行动，然后获得奖励，当它成功的到达目标实体或者在指定数目的步骤 没有找到实体后，Agent在这一个训练步骤获得的奖励被用来更新LSGAT模型中的所有参 数，最后使用REINFORCE算法进行优化，并用下面的随机梯度函数更新LSGAT模型参数：
Figure 449028DEST_PATH_IMAGE057
Figure 591297DEST_PATH_IMAGE058
表示对参数
Figure 679338DEST_PATH_IMAGE059
梯度下降后的目标函数，
Figure 415213DEST_PATH_IMAGE060
代表查找实体，
Figure 942009DEST_PATH_IMAGE061
代表当前时刻的关 系，
Figure 79730DEST_PATH_IMAGE062
用来表示行动或选定关系的概率，
Figure 338673DEST_PATH_IMAGE063
表示步骤
Figure 686477DEST_PATH_IMAGE027
后的奖励；
基于以上强化学习的框架训练得到的概率最高的路径，提取强化学习环境中路径的实体和关系，为构建剧本打下基础。
10.根据权利要求9所述的基于知识图谱路径分析的安全运营剧本自动化编排方法，其特征在于，所述S8包括：
在强化学习环境中，将LSGAT模型推理得到概率最高的路径提取出来，并且把这个路径中的实体和关系建立实体-关系映射表，通过映射表生成相应的剧本。
CN202210330693.5A 2022-03-31 2022-03-31 基于知识图谱路径分析的安全运营剧本自动化编排方法 Active CN114491541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210330693.5A CN114491541B (zh) 2022-03-31 2022-03-31 基于知识图谱路径分析的安全运营剧本自动化编排方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210330693.5A CN114491541B (zh) 2022-03-31 2022-03-31 基于知识图谱路径分析的安全运营剧本自动化编排方法

Publications (2)

Publication Number Publication Date
CN114491541A true CN114491541A (zh) 2022-05-13
CN114491541B CN114491541B (zh) 2022-07-22

Family

ID=81489047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210330693.5A Active CN114491541B (zh) 2022-03-31 2022-03-31 基于知识图谱路径分析的安全运营剧本自动化编排方法

Country Status (1)

Country Link
CN (1) CN114491541B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115146299A (zh) * 2022-09-06 2022-10-04 南京众智维信息科技有限公司 一种基于知识图谱和域适应的安全托管服务方法
CN115422376A (zh) * 2022-11-07 2022-12-02 南京众智维信息科技有限公司 基于知识图谱复合嵌入的网络安全事件溯源剧本生成方法
CN117521628A (zh) * 2023-11-20 2024-02-06 中诚华隆计算机技术有限公司 基于人工智能的剧本创作方法、装置、设备及芯片

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990590A (zh) * 2019-12-20 2020-04-10 北京大学 一种基于强化学习和迁移学习的动态金融知识图谱构建方法
CN112084344A (zh) * 2020-09-11 2020-12-15 清华大学 知识图谱推理方法、装置及存储介质
CN113590900A (zh) * 2021-07-29 2021-11-02 南京工业大学 一种融合动态知识图谱的序列推荐方法
CN113780002A (zh) * 2021-08-13 2021-12-10 北京信息科技大学 基于图表示学习和深度强化学习的知识推理方法及装置
CN114117220A (zh) * 2021-11-26 2022-03-01 东北大学 基于知识增强的深度强化学习交互式推荐系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990590A (zh) * 2019-12-20 2020-04-10 北京大学 一种基于强化学习和迁移学习的动态金融知识图谱构建方法
CN112084344A (zh) * 2020-09-11 2020-12-15 清华大学 知识图谱推理方法、装置及存储介质
CN113590900A (zh) * 2021-07-29 2021-11-02 南京工业大学 一种融合动态知识图谱的序列推荐方法
CN113780002A (zh) * 2021-08-13 2021-12-10 北京信息科技大学 基于图表示学习和深度强化学习的知识推理方法及装置
CN114117220A (zh) * 2021-11-26 2022-03-01 东北大学 基于知识增强的深度强化学习交互式推荐系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115146299A (zh) * 2022-09-06 2022-10-04 南京众智维信息科技有限公司 一种基于知识图谱和域适应的安全托管服务方法
CN115146299B (zh) * 2022-09-06 2022-12-09 南京众智维信息科技有限公司 一种基于知识图谱和域适应的安全托管服务方法
CN115422376A (zh) * 2022-11-07 2022-12-02 南京众智维信息科技有限公司 基于知识图谱复合嵌入的网络安全事件溯源剧本生成方法
CN117521628A (zh) * 2023-11-20 2024-02-06 中诚华隆计算机技术有限公司 基于人工智能的剧本创作方法、装置、设备及芯片
CN117521628B (zh) * 2023-11-20 2024-05-28 中诚华隆计算机技术有限公司 基于人工智能的剧本创作方法、装置、设备及芯片

Also Published As

Publication number Publication date
CN114491541B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN114491541B (zh) 基于知识图谱路径分析的安全运营剧本自动化编排方法
Yang Research on network behavior anomaly analysis based on bidirectional LSTM
Babiker et al. Web application attack detection and forensics: A survey
Suratkar et al. An adaptive honeypot using Q-Learning with severity analyzer
Masarat et al. A novel framework, based on fuzzy ensemble of classifiers for intrusion detection systems
Muslihi et al. Detecting SQL injection on web application using deep learning techniques: a systematic literature review
Jakóbik Stackelberg game modeling of cloud security defending strategy in the case of information leaks and corruption
Sezari et al. Anomaly-based network intrusion detection model using deep learning in airports
CN106411576A (zh) 基于状态转移网络攻击模型的攻击图生成方法
Zhang et al. Cross-site scripting (XSS) detection integrating evidences in multiple stages
Kajal et al. A hybrid approach for cyber security: improved intrusion detection system using Ann-Svm
Rastogi et al. An analysis of intrusion detection classification using supervised machine learning algorithms on nsl-kdd dataset
Jaradat et al. Genetic optimization techniques for enhancing web attacks classification in machine learning
Natadimadja et al. A survey on phishing website detection using hadoop
Gill et al. A systematic review on game-theoretic models and different types of security requirements in cloud environment: challenges and opportunities
Thomas et al. DoS attack detection using Aquila deer hunting optimization enabled deep belief network
Liu et al. Efficient Defense Decision‐Making Approach for Multistep Attacks Based on the Attack Graph and Game Theory
Liu et al. A new approach of user-level intrusion detection with command sequence-to-sequence model
Alanzi et al. Detection of phishing websites by investigating their URLs using LSTM algorithm
Banadaki et al. Design of intrusion detection systems on the internet of things infrastructure using machine learning algorithms
Abdul-Hussein et al. Detecting Phishing Cyber Attack Based on Fuzzy Rules and Differential Evaluation
Li et al. Few-shot multi-domain knowledge rearming for context-aware defence against advanced persistent threats
Lopez–Yepez et al. Increasing attacker engagement on SSH honeypots using semantic embeddings of cyber-attack patterns and deep reinforcement learning
Burney et al. Feature deduction and ensemble design of parallel neural networks for intrusion detection system
Bearss Extending Machine Learning of Cyberattack Strategies with Continuous Transition Rates

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant