CN115169351B - 一种安全威胁信息分层提取的方法及装置 - Google Patents

一种安全威胁信息分层提取的方法及装置 Download PDF

Info

Publication number
CN115169351B
CN115169351B CN202211080276.6A CN202211080276A CN115169351B CN 115169351 B CN115169351 B CN 115169351B CN 202211080276 A CN202211080276 A CN 202211080276A CN 115169351 B CN115169351 B CN 115169351B
Authority
CN
China
Prior art keywords
type
relationship
word
entity
reinforcement learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211080276.6A
Other languages
English (en)
Other versions
CN115169351A (zh
Inventor
黄安付
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baiyang Times Beijing Technology Co ltd
Original Assignee
Baiyang Times Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baiyang Times Beijing Technology Co ltd filed Critical Baiyang Times Beijing Technology Co ltd
Priority to CN202211080276.6A priority Critical patent/CN115169351B/zh
Publication of CN115169351A publication Critical patent/CN115169351A/zh
Application granted granted Critical
Publication of CN115169351B publication Critical patent/CN115169351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种安全威胁信息分层提取的方法及装置，可应用于自然语言处理领域和信息安全领域。该方法包括：读取安全威胁信息；当所述安全威胁信息中存在符合关系指标的第一词语时，定位所述第一词语的位置区域；预测所述第一词语的关系类型；当所述关系类型与关系类型集对应时，扫描所述位置区域内所有的第二词语；所述关系类型集包括至少一个关系类型；根据所述第二词语预测所述第一词语对应的实体类型。如此，通过先确定安全威胁信息中的关系类型，然后利用实体类型与关系类型之间的关系预测该关系类型对应的实体类型，从而解决了现有技术智能决策推演精确度低的问题。

Description

一种安全威胁信息分层提取的方法及装置
技术领域
本申请涉及自然语言处理领域和信息安全领域，尤其涉及一种安全威胁信息分层提取的方法及装置。
背景技术
随着人们对于网络的开发，使得网络的应用领域越来越广泛，对网络的要求也越来越高。其中网络的安全性自始至终都是最重要的，而网络安全威胁信息则来源于以往对于网络安全威胁的研究、归纳与总结。
由于攻击者在攻击时间，攻击准备，可用资源方面都拥有极大的优势，因此从攻击者采取攻击措施开始，到被攻击者发现并对攻击进行回应，这之间被称为攻击者的“自由攻击阶段”。而分析网络威胁安全信息的价值，就在于可以帮助被攻击者快速准确地对当前局势进行判断，了解当前面对的网络威胁。其中多体现在分析网络威胁安全信息中的关系类型与其对应的实体类型，为防御或回击时提供决策辅助，乃至用于日常监测潜在的网络威胁，使攻击者难以重用攻击方式和攻击工具。现有的对于网络威胁安全信息中的实体类型和关系类型的提取相互独立，难以保证提取精度。
因此，如何提高智能决策推演的精确度，是本领域技术人员急需解决的问题。
发明内容
基于上述问题，本申请提供了一种安全威胁信息分层提取的方法及装置，通过先确定安全威胁信息中的关系类型，然后利用实体类型与关系类型之间的联系预测该关系类型对应的实体类型，从而解决了现有技术智能决策推演精确度低的问题。
第一方面，本申请实施例提供了一种安全威胁信息分层提取的方法，包括：
读取安全威胁信息；
当所述安全威胁信息中存在符合关系指标的第一词语时，定位所述第一词语的位置区域；
预测所述第一词语的关系类型；
当所述关系类型与关系类型集对应时，扫描所述位置区域内所有的第二词语；所述关系类型集包括至少一个所述关系类型；
根据所述第二词语预测所述第一词语对应的实体类型。
可选的，所述预测所述第一词语的关系类型，包括：
利用关系策略函数计算所述第一词语属于各个关系类型的概率；
选择概率最高的所述关系类型作为所述第一词语的所述关系类型。
可选的，所述利用关系策略函数计算所述第一词语属于各个关系类型的概率，包括：
获取高层强化学习网络的高层当前时刻状态；
将所述高层当前时刻状态输入关系策略函数，使所述关系策略函数计算所述第一词语属于各个关系类型的概率。
可选的，所述方法还包括：
预测得到的所述关系类型与第一训练集中的关系对应时，向所述高层强化学习网络提供正奖励；
预测得到的所述关系类型与所述第一训练集中的所述关系不对应时，向所述高层强化学习网络提供负奖励；
预测得到的所述关系类型为无关系时，不向所述高层强化学习网络提供奖励；
所述第一训练集为训练所述高层强化学习网络时的关系集合。
可选的，所述当所述关系类型与关系类型集对应时，扫描所述位置区域内所有的第二词语，包括：
当所述关系类型与关系类型集对应时，启动低层强化学习网络；
利用所述低层强化学习网络，扫描所述位置区域内所有的第二词语。
可选的，所述根据所述第二词语预测所述第一词语对应的实体类型，包括：
利用所述低层强化学习网络生成所述位置区域内每一个所述第二词语的标签；
根据所述标签预测所述第一词语对应的实体类型。
可选的，所述根据所述标签预测所述第一词语对应的实体类型，包括：
利用实体策略函数计算所述标签属于各个实体类型的概率；
选择概率最高的所述实体类型作为所述第一词语对应的所述实体类型。
可选的，所述利用实体策略函数计算所述标签属于各个实体类型的概率，包括：
获取所述低层强化学习网络的低层当前时刻状态；
将所述低层强化学习网络的所述低层当前时刻状态和所述关系类型输入实体策略函数，使所述实体策略函数计算所述标签属于各个实体类型的概率。
可选的，所述方法还包括：
预测得到的所述实体类型与所述关系类型对应时，向所述低层强化学习网络提供第一即时奖励；
预测得到的所述实体类型与所述关系类型不对应时，向所述低层强化学习网络提供第二即时奖励；
所述第一即时奖励大于所述第二即时奖励；
当预测得到的全部所述实体类型均与第二训练集中的实体对应时，向所述低层强化学习网络提供正奖励；
当存在预测得到的所述实体类型与所述第二训练集中的所述实体不对应时，向所述低层强化学习网络提供负奖励；
所述第二训练集为训练所述低层强化学习网络时的实体集合。
第二方面，本申请实施例提供了一种安全威胁信息分层提取的装置，包括：
读取模块，用于读取安全威胁信息；
定位模块，用于当所述安全威胁信息中存在符合关系指标的第一词语时，定位所述第一词语的位置区域；
关系类型预测模块，用于预测所述第一词语的关系类型；
扫描模块，用于当所述关系类型与关系类型集对应时，扫描所述位置区域内所有的第二词语；所述关系类型集包括至少一个所述关系类型；
实体类型预测模块，用于根据所述第二词语预测所述第一词语对应的实体类型。
从以上技术方案可以看出，相较于现有技术，本申请具有以下优点：
本申请先读取安全威胁信息，然后判断读取的安全威胁信息中是否存在符合关系指标的第一词语。当判断存在符合关系指标的第一词语之后，定位第一词语的位置区域。然后预测第一词语的关系类型，判断该关系类型是否与预先设定的至少包括一个关系类型的关系类型集对应。当关系类型与关系类型集对应时，扫描该位置区域的所有第二词语。最后根据第二词语预测第一词语对应的实体类型。如此，通过先确定安全威胁信息中的关系类型，然后利用实体类型与关系类型之间的联系预测该关系类型对应的实体类型，从而解决了现有技术智能决策推演精确度低的问题。
附图说明
图1为本申请实施例提供的一种安全威胁信息分层提取的方法的流程图；
图2为本申请实施例提供的一种高层强化学习网络的工作原理流程图；
图3为本申请实施例提供的一种低层强化学习网络的工作原理流程图；
图4为本申请实施例提供的一种安全威胁信息分层提取的装置的结构示意图。
具体实施方式
正如前文所述，现有的对于网络威胁安全信息中的实体类型和关系类型的提取相互独立，难以保证提取精度。具体来说，当前技术很多都是先进行实体类型的识别后，再进行关系类型的抽取。关系类型和实体类型的提取相互独立，没有充分的将关系类型和实体类型的联系运用起来，所以可能会出现提取得到的关系类型与提取到的实体类型对应不上的情况，从而难以保证提取精度。
为了解决上述问题，本申请提供了一种数据清理方法，该方法包括：先读取安全威胁信息，然后判断读取的安全威胁信息中是否存在符合关系指标的第一词语。当判断存在符合关系指标的第一词语之后，定位第一词语的位置区域。然后预测第一词语的关系类型，判断该关系类型是否与预先设定的至少包括一个关系类型的关系类型集对应。当关系类型与关系类型集对应时，扫描该位置区域的所有第二词语。最后根据第二词语预测第一词语对应的实体类型。
如此，通过先确定安全威胁信息中的关系类型，然后利用实体类型与关系类型之间的关系预测该关系类型对应的实体类型，从而解决了现有技术智能决策推演精确度低的问题。
需要说明的是，本发明提供的一种安全威胁信息分层提取的方法及装置可应用于自然语言处理领域和信息安全领域。上述仅为示例，并不对本发明提供的一种安全威胁信息分层提取的方法及装置的应用领域进行限定。
为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种安全威胁信息分层提取的方法的流程图。结合图1所示，本申请实施例提供的一种安全威胁信息分层提取的方法，可以包括：
S101：读取安全威胁信息。
在实际应用中，利用高层强化学习网络和低层强化学习网络相结合的方式实现安全威胁信息中关系类型与对应实体类型的提取。其中，高层强化学习网络负责检测句子中的关系类型，并对该关系类型进行定位。在启动安全威胁信息分层提取之前，高层强化学习网络会接收到包含有安全威胁信息的文本文件，然后对该文本文件进行扫描，读取其中的安全威胁信息。
S102：当所述安全威胁信息中存在符合关系指标的第一词语时，定位所述第一词语的位置区域。
在实际应用中，高层强化学习网络会对安全威胁信息中的每一个句子进行逐词扫描，也就是说需要在高层强化学习网络的每一次动作里对扫描到的第一词语进行判断，判断该第一词语是否符合关系指标。所谓的关系指标指的是高层强化学习网络提取到足够的信息来为第一词语给予关系的指标。其中符合关系指标的有很多，词性也不做限制。它可以是动词（例如，出生），名词（例如，父亲），甚至是介词（例如，来自于），或者其他符号（例如，逗号和句号）。当有足够的信息能够表示当前范围内的语义关系时，即存在符合关系指标的第一词语。此时定位该第一词语的位置区域。此时要说明的是，若没有足够的信息能够表示当前范围内的语义关系时，即不存在符合关系指标的第一词语时，高层强化学习网络会选择作为当前动作输出， 用来表示无关系类型。反之，用 作为当前动作输出， 是关系候选集，用来表示存在关系类型。也就是说，高层强化学习网络的动作 从中选择， 是关系候选集， 表示无关系类型， 表示全部动作。
S103：预测所述第一词语的关系类型。
在实际应用中，为了根据关系类型提取对应的实体类型，需要将确切的关系类型确定下来。换句话说，也就是将安全威胁信息中符合关系指标的第一词语的实际关系类型进行确认。因为之前只是确定了第一词语是符合关系指标的且将该第一词语的位置进行了定位，并没有对第一词语的实际关系类型进行确定。
在一种情况下，对于如何预测第一词语的关系类型可能有多种方法，在本申请中用到的是关系策略函数，通过关系策略函数预测关系类型。相应的，S103：预测所述第一词语的关系类型，具体可以包括：
利用关系策略函数计算所述第一词语属于各个关系类型的概率；
选择概率最高的所述关系类型作为所述第一词语的所述关系类型。
在实际应用中，多种多样的关系类型以集合的形式存储在高层强化学习网络中，而关系策略函数的作用就是计算上述符合关系指标的第一词语属于该实际关系类型集合中所有关系类型的概率，然后选择概率最高的关系类型作为第一词语的关系类型。例如，第一词语是父子，而实际类型的集合中包括亲人、师生、阶级。而通过关系类型函数计算得到的概率分布为亲人是百分之九十，师生是百分之五十，阶级是百分之二十，那么高层强化学习网络就会进行预测得到亲人为该第一词语的关系类型。
在一种情况下，对于关系策略函数的计算方式可能不同，所述利用关系策略函数计算所述第一词语属于各个关系类型的概率，包括：
获取高层强化学习网络的高层当前时刻状态；
将所述高层当前时刻状态输入关系策略函数，使所述关系策略函数计算所述第一词语属于各个关系类型的概率。
在实际应用中，高层强化学习网络中的每一时刻的状态向量由：当前时刻的隐层状态 ；关系类型向量 ；上一时刻的状态 三部分组成。当前时刻的状态的表示如下： 
其中， 表示当前时刻的状态， 是一个多层感知器（MLP）实现的非线性函数，代表高层嵌入层， 代表隐藏层状态，是由双向长短时记忆模型（BiLSTM）计算所得，表示关系类型向量， 表示上一时刻的状态。然后将当前时刻状态输入关系策略函数计算得到输出动作空间的概率分布，也就是高层强化学习网络所预测得到的关系类型概率分布，具体的关系策略函数的表示如下:
由此，得到第一词语对应的概率最高的关系类型，也意味着高层强化学习网络预测得到了第一词语的关系类型，其中 表示关系概率， 表示动作， 表示当前时刻的状态， 表示当前时刻状态的高层嵌入层， 表示激活函数。
S104：当所述关系类型与关系类型集对应时，扫描所述位置区域内所有的第二词语；所述关系类型集包括至少一个所述关系类型。
在实际应用中，第一词语的关系类型与高层强化学习网络中关系类型集的对应是接下来进行实体类型提取的条件，在关系类型与关系类型集对应时，扫描第一词语所在的一定范围内的所有第二词语，以便后续根据第二词语预测其实体类型。其中关系类型集至少包括一个关系类型。
在一种情况下，对于扫描对象的不同，具体的，所述当所述关系类型与关系类型集对应时，扫描所述位置区域内所有的第二词语，包括：
当所述关系类型与关系类型集对应时，启动低层强化学习网络；
利用所述低层强化学习网络，扫描所述位置区域内所有的第二词语。
在实际应用中，采用了高层强化学习网络和低层强化学习网络相结合的方式进行关系类型与实体类型的提取。其中低层强化学习网络用来提取对应的实体类型。在本申请中，当高层强化学习网络预测的关系类型与关系类型集对应时，启动低层强化学习网络，利用低层强化学习网络，扫描位置区域内所有的第二词语。
S105：根据所述第二词语预测所述第一词语对应的实体类型。
在实际应用中，在低层强化学习网络扫描到所述位置区域内所有的第二词语后，需要根据第二词语预测第一词语对应的实体类型。这里的实体类型并非传统实体识别中的实体类型，而是指的是否属于头尾实体以及在头尾实体中的位置。
在一种情况下，由于预测实体类型的方式不同。相应的，S105：根据所述第二词语预测所述第一词语对应的实体类型，具体可以包括：
利用所述低层强化学习网络生成所述位置区域内每一个所述第二词语的标签；
根据所述标签预测所述第一词语对应的实体类型。
在实际应用中，在所述位置区域的全部第二词语的类型不同，其可以是实体，非实体等。如此可以将所有第二词语以标签的形式分类，标签的集合定义如下：
其中， 表示标签的集合， 表示表头实体， 表示表尾实体， 表示与该关系类型无关的实体， 代表非实体， 代表实体的开始， 代表实体的内部。用此定义可以处理重叠实体的情况。根据得到的标签，在属于实体标签的一类中选择第一词语对应的实体类型。
在一种情况下，对于不同的判断标签是第一词语对应的实体类型方法。具体的，所述根据所述标签预测所述第一词语对应的实体类型，具体包括：
利用实体策略函数计算所述标签属于各个实体类型的概率；
选择概率最高的所述实体类型作为所述第一词语对应的所述实体类型。
在实际应用中，多种多样的实体类型以集合的形式存储在低层强化学习网络中，而实体策略函数的作用就是计算上述标签属于该实体类型集中所有实体类型的概率，最后选择概率最高的实体类型作为第一词语对应的实体类型。
在一种情况下，对于实体策略函数的计算方式可能不同，所述利用实体策略函数计算所述标签属于各个实体类型的概率，包括：
获取所述低层强化学习网络的低层当前时刻状态；
将所述低层强化学习网络的所述低层当前时刻状态和所述关系类型输入实体策略函数，使所述实体策略函数计算所述标签属于各个实体类型的概率。
在实际应用中，低层强化学习网络中，状态由四部分组成：当前第二词语的隐状态；实体标签表示 ；上一时刻的状态表示 ；上下文状态 及低层状态表示如下：
其中 和 表示非线性函数，都是由MLP实现的， 表示上下文状态， 代表隐状态低层嵌入层， 表示时刻状态， 表示低层状态， 表示低层嵌入层， 表示第二词语的隐状态，由BiLSTM计算所得， 表示实体标签， 表示上一时刻的状态。然后将低层状态输入实体策略函数计算得到实体类型的概率分布，具体的实体策略函数的表示如下:
由此，得到了标签对应的概率最高的实体类型，也意味着低层强化学习网络预测得到了第一词语对应的实体类型，其中 表示实体概率， 表示当前时刻动作， 表示低层状态， 表示给定关系类型， 表示激活函数， 表示当前时刻的低层嵌入层。
综上所述，本申请先读取安全威胁信息，然后判断读取的安全威胁信息中是否存在符合关系指标的第一词语。当判断存在符合关系指标的第一词语之后，定位第一词语的位置区域。然后预测第一词语的关系类型，判断该关系类型是否与预先设定的至少包括一个关系类型的关系类型集对应。当关系类型与关系类型集对应时，扫描该位置区域的所有第二词语。最后根据第二词语预测第一词语对应的实体类型。如此，通过先确定安全威胁信息中的关系类型，然后利用实体类型与关系类型之间的联系预测该关系类型对应的实体类型，从而解决了现有技术智能决策推演精确度低的问题。
在另一种情况下，高层强化学习网络为了更好地执行任务，往往会为其设置奖励，针对于不同的奖励方法，所述方法还包括：
预测得到的所述关系类型与第一训练集中的关系对应时，向所述高层强化学习网络提供正奖励；
预测得到的所述关系类型与所述第一训练集中的所述关系不对应时，向所述高层强化学习网络提供负奖励；
预测得到的所述关系类型为无关系时，不向所述高层强化学习网络提供奖励；
所述第一训练集为训练所述高层强化学习网络时的关系集合。
在实际应用中，高层强化学习网络的奖励机制是基于其预测情况而设定的。具体的，在每一次的预测中，如果预测出的关系类型不在高层强化学习网络中的第一训练集中，也就是说高层强化学习网络预测出了一个不存在的关系，那么可以设定此时向高层强化学习网络提供负奖励，该负奖励可以具体为提供一个值为-1的奖励。如果预测出的关系类型在高层强化学习网络中的第一训练集中，也就是说预测出的关系类型与关系类型集相对应，那么可以设定此时向高层强化学习网络提供正奖励，该正奖励可以具体为提供一个值为+1的奖励。其中的关系类型集是来自于训练数据的，是训练数据自带的。如果预测出的结果为无关系类型，那么可以设定此时不向高层强化学习网络提供奖励，这么做的目的是为了防止高层强化学习网络得到较高的奖励而将所有的第一词语都识别为无关系类型。除此之外，当所有的安全威胁信息全部扫描完之后，还可以根据识别的准确性和召回率提供一个总的奖励。其中，本实施例中的奖励定义如下：
环境会提供中间奖励以估计执行某个动作时的未来回报。其中， 表示奖励， 表示关系类型集， 表示无关系类型， 表示如果函数， 表示不属于， 表示属于，该中间状态不会马上被转移，直到安全威胁信息的最后一个词语被扫描过后，会生成一个最终的奖励，表示如下：
其中， 代表了最终的识别精确度（precision）， 代表了最终的召回率（recall）， 代表奖励参数， 表示最终奖励。
在另一种情况下，低层强化学习网络为了更好地执行任务，往往也会设置奖励，针对于不同的奖励方法，所述方法还包括：
预测得到的所述实体类型与所述关系类型对应时，向所述低层强化学习网络提供第一即时奖励；
预测得到的所述实体类型与所述关系类型不对应时，向所述低层强化学习网络提供第二即时奖励；
所述第一即时奖励大于所述第二即时奖励；
当预测得到的全部所述实体类型均与第二训练集中的实体时，向所述低层强化学习网络提供正奖励；
当存在预测得到的所述实体类型与所述第二训练集中的所述实体时，向所述低层强化学习网络提供负奖励；
所述第二训练集为训练所述低层强化学习网络时的实体集合。
在实际应用中，低层强化学习网络的奖励机制是基于其预测情况而设定的。具体的，在每次预测得到的所述实体类型与第二训练集中的实体对应时，向所述低层强化学习网络提供第一即时奖励；预测得到的所述实体类型与第二训练集中的实体不对应时，向低层强化学习网络提供第二即时奖励，其中第一即时奖励大于第二即时奖励。当通过简单的测量标准注释的预判误差来采样动作时，提供即时奖励 ，表示如下：
其中 表示即时奖励， 表示权重值， 是符号函数， 表示向下称量非实体标签的偏置权重， 是预测的关系类型 为条件的标准实体类型， 表示给定关系类型。对于权重值 需要提前给定合适的值，用于不同情况下的打分结果给出不同的权重。对于预测出了实体类型的第二词语，权重值可以直接为1。对于预测出非实体类型的情况，可以将权重值调低，防止低层强化学习网络将所有的第二词语都预测成非实体的情况。对于向下称量非实体类型的偏置权重，定义如下：
其中 表示向下称量非实体类型的偏置权重， 表示为非实体类型， 为自定义参数，其中，较小的 会导致对不是实体类型的奖励较少。采用这种策略可以使低层强化学习网络避免将所有的标签预测为 。当所有的动作进行采样时，计算额外的最终奖励 。如果正确预测了所有的实体类型，则向低层强化学习网络提供一个正奖励，该奖励可以具体为值为+1的奖励。如果没有成功预测所有的实体类型，则向低层强化学习网络提供一个负奖励，该奖励可以具体值为-1的奖励。
综上所述，本申请先读取安全威胁信息，然后判断读取的安全威胁信息中是否存在符合关系指标的第一词语。当判断存在符合关系指标的第一词语之后，定位第一词语的位置区域。然后预测第一词语的关系类型，判断该关系类型是否与预先设定的至少包括一个关系类型的关系类型集对应。当关系类型与关系类型集对应时，扫描该位置区域的所有第二词语。最后根据第二词语预测第一词语对应的实体类型。如此，通过先确定安全威胁信息中的关系类型，然后利用实体类型与关系类型之间的联系预测该关系类型对应的实体类型，从而解决了现有技术智能决策推演精确度低的问题。
图2为本申请实施例提供的一种高层强化学习网络的工作原理流程图。下面结合图2说明高层强化学习网络的工作原理。
高层强化学习网络用来检测句子中的关系类型，在该强化学习网络中，本申请将动作、状态、策略、奖励定义如下:
动作：动作 从 中选择， 是关系候选集， 表示无关系类型表示全部动作。该智能体的动作就是预测每个特定位置的句子的关系类型。
状态：高层强化学习网络中的每一时刻的状态向量由：当前时刻的隐层状态 ；关系类型向量 ；上一时刻的状态 三部分组成。当前时刻的状态的表示如下：
其中， 表示当前时刻的状态， 是一个多层感知器（MLP）实现的非线性函数，代表高层嵌入层， 代表隐藏层，是由双向长短时记忆模型（BiLSTM）计算所得， 表示关系类型向量， 表示上一时刻的状态。
策略：策略是一个分类问题，当输入当前状态 ，输出动作空间的概率分布：
其中 表示关系概率， 表示动作， 表示当前时刻的状态， 表示当前时刻状态的高层嵌入层， 表示激活函数。
奖励：环境会提供中间奖励以估计执行某个动作时的未来回报。该奖励定义如下：
其中， 表示奖励， 表示关系类型集， 表示无关系类型， 表示如果函数， 表示不属于， 表示属于，该中间状态不会马上被转移，直到安全威胁信息的最后一个词语被扫描过后，会生成一个最终的奖励，表示如下：
其中， 代表了最终的识别精确度（precision）， 代表了最终的召回率（recall）， 代表奖励参数， 表示最终奖励。
综上所述，如图2所示，本申请提供的高层强化学习网络，首先接收含有安全威胁信息的文本文件，即输入。然后扫描其中的安全威胁信息，计算得到当前时刻的隐层状态和关系类型向量 。利用得到的当前时刻的隐层状态 、关系类型向量 和上一时刻的状态计算 得到当前时刻状态 。最后将当前时刻状态输入关系策略函数计算动作空间概率分布并选择概率最高的关系类型作为预测得到的第一词语的关系类型进行输出。
图3为本申请实施例提供的一种低层强化学习网络的工作原理流程图。下面结合图3说明低层强化学习网络的工作原理。
低层强化学习网络用来提取某一关系类型对应的实体类型。当高层强化学习网络识别出有关系类型时，低层强化学习网络的实体类型提取被触发。在该低层强化学习网络中，本发明将动作、策略、奖励定义如下：
动作：每个时间步的行动被用来为每个第二词语生成标签，标签的集合被定义为：
其中， 表示标签的集合， 表示表头实体， 表示表尾实体， 表示与该关系类型无关的实体， 代表非实体， 代表实体的开始， 代表实体的内部。用此定义可以处理重叠实体的情况。
状态：低层强化学习网络中，状态由四部分组成：当前第二词语的隐状态 ；实体标签表示 ；上一时刻的状态表示 ；上下文状态 及低层状态表示如下：
其中 和 表示非线性函数，都是由MLP实现的， 表示上下文状态， 代表隐状态低层嵌入层， 表示时刻状态， 表示低层状态， 表示低层嵌入层， 表示第二词语的隐状态，由BiLSTM计算所得， 表示实体标签， 表示上一时刻的状态。
策略：策略是输入当前的状态，以及高层强化学习网络检测到关系类型时的动作，输出实体类型的概率分布，即：
其中 表示实体概率， 表示当前时刻动作， 表示低层状态， 表示给定关系类型， 表示激活函数， 表示当前时刻的低层嵌入层。
奖励：给定关系类型 ，可以通过策略中采样动作来容易的获取每个实体类型。因此，当通过简单的测量标准注释的预测误差来采样动作时，提供即时奖励 ：
其中 表示即时奖励， 表示权重值， 是符号函数， 表示向下称量非实体标签的偏置权重， 是预测的关系类型 为条件的标准实体类型， 表示给定关系类型。这里的 是向下称量非实体类型的偏置权重，定义如下：
其中， 表示向下称量非实体类型的偏置权重， 表示为非实体类型， 为自定义参数，其中，较小的 会导致对不是实体类型的奖励较少。采用这种策略可以使低层强化学习网络避免将所有的标签预测为 。当所有的动作进行采样时，计算额外的最终奖励 。如果正确预测了所有的实体类型，则向低层强化学习网络提供一个正奖励，该奖励可以具体为值为+1的奖励。如果没有成功预测所有的实体类型，则向低层强化学习网络提供一个负奖励，该奖励可以具体值为-1的奖励。
综上所述，如图3所示，本申请提供的低层强化学习网络，首先通过输入由时刻状态 计算得到的上下文状态 以及含有安全威胁信息的文本文件来计算第二词语的隐状态 和实体标签 。然后结合上一时刻的状态 计算低层状态 。最后将低层状态以及给定关系类型输入实体策略函数 ，输出实体类型的概率分布，并提供奖励。
基于上述实施例提供的一种安全威胁信息分层提取的方法，本申请还提供了一种安全威胁信息分层提取的装置。下面分别结合实施例和附图，对该数据清理装置进行描述。
图4为本申请提供的一种安全威胁信息分层提取的装置的结构示意图。结合图4所述，本申请实施例提供的安全威胁信息分层提取装置200，可以包括：
读取模块201，用于读取安全威胁信息；
定位模块202，用于当所述安全威胁信息中存在符合关系指标的第一词语时，定位所述第一词语的位置区域；
关系类型预测模块203，用于预测所述第一词语的关系类型；
扫描模块204，用于当所述关系类型与关系类型集对应时，扫描所述位置区域内所有的第二词语；所述关系类型集包括至少一个所述关系类型；
实体类型预测模块205，用于根据所述第二词语预测所述第一词语对应的实体类型。
作为一种实施方式，对于预测关系类型的方式不同，上述关系类型预测模块203具体包括：
第一计算模块，用于利用关系策略函数计算所述第一词语属于各个关系类型的概率；
第一选择模块，用于选择概率最高的所述关系类型作为所述第一词语的所述关系类型。
作为一种实施方式，对于如何利用关系策略函数计算所述第一词语属于各个关系类型的概率，上述第一计算模块具体用于：
获取高层强化学习网络的高层当前时刻状态；
将所述高层当前时刻状态输入关系策略函数，使所述关系策略函数计算所述第一词语属于各个关系类型的概率。
作为另一种实施方式，为了提高提取的准确性，上述安全威胁信息分层提取装置200具体还用于：
预测得到的所述关系类型与第一训练集中的关系对应时，向所述高层强化学习网络提供正奖励；
预测得到的所述关系类型与所述第一训练集中的所述关系不对应时，向所述高层强化学习网络提供负奖励；
预测得到的所述关系类型为无关系时，不向所述高层强化学习网络提供奖励；
所述第一训练集为训练所述高层强化学习网络时的关系集合。
作为一种实施方式，针对如何扫描第二词语，上述扫描模块204具体用于：
当所述关系类型与关系类型集对应时，启动低层强化学习网络；
利用所述低层强化学习网络，扫描所述位置区域内所有的第二词语。
作为一种实施方式，针对如何根据所述第二词语预测所述第一词语对应的实体类型，上述实体类型预测模块205具体包括：
生成模块，用于利用所述低层强化学习网络生成所述位置区域内每一个所述第二词语的标签；
预测子模块，用于根据所述标签预测所述第一词语对应的实体类型。
作为一种实施方式，针对如何根据所述标签预测所述第一词语对应的实体类型，上述预测子模块具体包括：
第二计算模块，用于利用实体策略函数计算所述标签属于各个实体类型的概率；
第二选择模块，用于选择概率最高的所述实体类型作为所述第一词语对应的所述实体类型。
作为一种实施方式，针对如何利用实体策略函数计算所述标签属于各个实体类型的概率，上述第二计算模块具体用于：
获取所述低层强化学习网络的低层当前时刻状态；
将所述低层强化学习网络的所述低层当前时刻状态和所述关系类型输入所述实体策略函数，使所述实体策略函数计算所述标签属于各个实体类型的概率。
作为另一种实施方式，为了提高提取的准确性，上述安全威胁信息分层提取装置200具体还用于：
预测得到的所述实体类型与所述关系类型对应时，向所述低层强化学习网络提供第一即时奖励；
预测得到的所述实体类型与所述关系类型不对应时，向所述低层强化学习网络提供第二即时奖励；
所述第一即时奖励大于所述第二即时奖励；
当预测得到的全部所述实体类型均与第二训练集中的实体对应时，向所述低层强化学习网络提供正奖励；
当存在预测得到的所述实体类型与所述第二训练集中的所述实体不对应时，向所述低层强化学习网络提供负奖励；
所述第二训练集为训练所述低层强化学习网络时的实体集合。
综上所述，本申请先读取安全威胁信息，然后判断读取的安全威胁信息中是否存在符合关系指标的第一词语。当判断存在符合关系指标的第一词语之后，定位第一词语的位置区域。然后预测第一词语的关系类型，判断该关系类型是否与预先设定的至少包括一个关系类型的关系类型集对应。当关系类型与关系类型集对应时，扫描该位置区域的所有第二词语。最后根据第二词语预测第一词语对应的实体类型。如此，通过先确定安全威胁信息中的关系类型，然后利用实体类型与关系类型之间的联系预测该关系类型对应的实体类型，从而解决了现有技术智能决策推演精确度低的问题。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种安全威胁信息分层提取的方法，其特征在于，所述方法包括：
读取安全威胁信息；
当所述安全威胁信息中存在符合关系指标的第一词语时，定位所述第一词语的位置区域；
所述关系指标包括：含有足够的信息表示语义关系的指标；
预测所述第一词语的关系类型；
当所述关系类型与关系类型集对应时，扫描所述位置区域内所有的第二词语；所述关系类型集包括至少一个所述关系类型；
根据所述第二词语预测所述第一词语对应的实体类型；
所述当所述关系类型与关系类型集对应时，扫描所述位置区域内所有的第二词语，包括：
当所述关系类型与关系类型集对应时，启动低层强化学习网络；
利用所述低层强化学习网络，扫描所述位置区域内所有的第二词语；
所述根据所述第二词语预测所述第一词语对应的实体类型，包括：
利用所述低层强化学习网络生成所述位置区域内每一个所述第二词语的标签；
根据所述标签预测所述第一词语对应的实体类型。
2.根据权利要求1所述的方法，其特征在于，所述预测所述第一词语的关系类型，包括：
利用关系策略函数计算所述第一词语属于各个关系类型的概率；
选择概率最高的所述关系类型作为所述第一词语的所述关系类型。
3.根据权利要求2所述的方法，其特征在于，所述利用关系策略函数计算所述第一词语属于各个关系类型的概率，包括：
获取高层强化学习网络的高层当前时刻状态；
将所述高层当前时刻状态输入关系策略函数，使所述关系策略函数计算所述第一词语属于各个关系类型的概率。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
预测得到的所述关系类型与第一训练集中的关系对应时，向所述高层强化学习网络提供正奖励；
预测得到的所述关系类型与所述第一训练集中的所述关系不对应时，向所述高层强化学习网络提供负奖励；
预测得到的所述关系类型为无关系时，不向所述高层强化学习网络提供奖励；
所述第一训练集为训练所述高层强化学习网络时的关系集合。
5.根据权利要求1所述的方法，其特征在于，所述根据所述标签预测所述第一词语对应的实体类型，包括：
利用实体策略函数计算所述标签属于各个实体类型的概率；
选择概率最高的所述实体类型作为所述第一词语对应的所述实体类型。
6.根据权利要求5所述的方法，其特征在于，所述利用实体策略函数计算所述标签属于各个实体类型的概率，包括：
获取所述低层强化学习网络的低层当前时刻状态；
将所述低层强化学习网络的所述低层当前时刻状态和所述关系类型输入实体策略函数，使所述实体策略函数计算所述标签属于各个实体类型的概率。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
预测得到的所述实体类型与所述关系类型对应时，向所述低层强化学习网络提供第一即时奖励；
预测得到的所述实体类型与所述关系类型不对应时，向所述低层强化学习网络提供第二即时奖励；
所述第一即时奖励大于所述第二即时奖励；
当预测得到的全部所述实体类型均与第二训练集中的实体对应时，向所述低层强化学习网络提供正奖励；
当存在预测得到的所述实体类型与所述第二训练集中的所述实体不对应时，向所述低层强化学习网络提供负奖励；
所述第二训练集为训练所述低层强化学习网络时的实体集合。
8.一种安全威胁信息分层提取的装置，其特征在于，所述装置包括：
读取模块，用于读取安全威胁信息；
定位模块，用于当所述安全威胁信息中存在符合关系指标的第一词语时，定位所述第一词语的位置区域；所述关系指标包括：含有足够的信息表示语义关系的指标；
关系类型预测模块，用于预测所述第一词语的关系类型；
扫描模块，用于当所述关系类型与关系类型集对应时，扫描所述位置区域内所有的第二词语；所述关系类型集包括至少一个所述关系类型；
实体类型预测模块，用于根据所述第二词语预测所述第一词语对应的实体类型；
所述扫描模块，具体用于当所述关系类型与关系类型集对应时，启动低层强化学习网络；
利用所述低层强化学习网络，扫描所述位置区域内所有的第二词语；
所述实体类型预测模块包括生成模块和预测子模块；
所述生成模块，用于利用所述低层强化学习网络生成所述位置区域内每一个所述第二词语的标签；
所述预测子模块，用于根据所述标签预测所述第一词语对应的实体类型。
CN202211080276.6A 2022-09-05 2022-09-05 一种安全威胁信息分层提取的方法及装置 Active CN115169351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211080276.6A CN115169351B (zh) 2022-09-05 2022-09-05 一种安全威胁信息分层提取的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211080276.6A CN115169351B (zh) 2022-09-05 2022-09-05 一种安全威胁信息分层提取的方法及装置

Publications (2)

Publication Number Publication Date
CN115169351A CN115169351A (zh) 2022-10-11
CN115169351B true CN115169351B (zh) 2023-05-09

Family

ID=83481249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211080276.6A Active CN115169351B (zh) 2022-09-05 2022-09-05 一种安全威胁信息分层提取的方法及装置

Country Status (1)

Country Link
CN (1) CN115169351B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10503833B2 (en) * 2016-12-06 2019-12-10 Siemens Aktiengesellschaft Device and method for natural language processing
CN112732919B (zh) * 2021-01-15 2023-04-07 中国科学院地理科学与资源研究所 一种面向网络安全威胁情报的智能分类标签方法及系统
CN113886529B (zh) * 2021-10-22 2022-12-02 苏州空天信息研究院 一种面向网络安全领域的信息抽取方法及其系统
CN114065767B (zh) * 2021-11-29 2024-05-14 北京航空航天大学 一种威胁情报的分类及演化关系分析方法
CN114330322A (zh) * 2022-01-05 2022-04-12 北京邮电大学 一种基于深度学习的威胁情报信息抽取方法
CN114841122A (zh) * 2022-01-25 2022-08-02 电子科技大学 一种联合实体识别与关系抽取的文本抽取方法、存储介质及终端
CN114881038B (zh) * 2022-07-12 2022-11-11 之江实验室 基于跨度和注意力机制的中文实体与关系抽取方法及装置

Also Published As

Publication number Publication date
CN115169351A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN110431566B (zh) 基于概率的引导器
Pereira Formal grammar and information theory: together again?
CN112528677B (zh) 一种语义向量提取模型的训练方法、装置及电子设备
Saini et al. Automated, interactive, and traceable domain modelling empowered by artificial intelligence
CN113326380A (zh) 基于深度神经网络的设备量测数据处理方法、系统及终端
CN114492460B (zh) 基于衍生提示学习的事件因果关系抽取方法
CN117332823B (zh) 目标内容自动生成方法、装置、电子设备及可读存储介质
CN115169351B (zh) 一种安全威胁信息分层提取的方法及装置
Ali et al. Bert based severity prediction of bug reports for the maintenance of mobile applications
CN116975299A (zh) 文本数据的判别方法、装置、设备及介质
CN117151222A (zh) 领域知识引导的突发事件案例实体属性及其关系抽取方法、电子设备和存储介质
Moharil et al. Tabasco: A transformer based contextualization toolkit
Alsawareah et al. Classification of arabic software requirements using machine learning techniques
CN116562295A (zh) 一种面向桥梁领域文本的增强语义命名实体识别方法
CN116303945A (zh) 视觉问答模型的样本生成方法及相关设备
CN113487453B (zh) 基于犯罪要素的法律判决预测方法及系统
CN112529743B (zh) 合同要素抽取方法、装置、电子设备及介质
CN115310449A (zh) 一种基于小样本的命名实体识别方法、装置及相关介质
CN114462418A (zh) 事件检测方法、系统、智能终端及计算机可读存储介质
Manasa et al. Detection of twitter spam using GLoVe vocabulary features, bidirectional LSTM and convolution neural network
CN116432666A (zh) 一种文本评估方法、装置、电子设备和存储介质
WO2022028689A1 (en) Method for a language modeling and device supporting the same
CN117574981B (zh) 一种信息分析模型的训练方法及信息分析方法
Buddarapu et al. Data Shift in Legal AI Systems.
Shaikh et al. Comparative Analysis of Urdu Parts Of Speech Taggers using Machine Learning Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant