CN116545779B - 网络安全命名实体识别方法、装置、设备和存储介质 - Google Patents

网络安全命名实体识别方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN116545779B
CN116545779B CN202310823366.8A CN202310823366A CN116545779B CN 116545779 B CN116545779 B CN 116545779B CN 202310823366 A CN202310823366 A CN 202310823366A CN 116545779 B CN116545779 B CN 116545779B
Authority
CN
China
Prior art keywords
value
model
output value
sample
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310823366.8A
Other languages
English (en)
Other versions
CN116545779A (zh
Inventor
王海燕
杨伟民
顾钊铨
鲍俊池
周可
廖文豪
罗富财
闫昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peng Cheng Laboratory
Original Assignee
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peng Cheng Laboratory filed Critical Peng Cheng Laboratory
Priority to CN202310823366.8A priority Critical patent/CN116545779B/zh
Publication of CN116545779A publication Critical patent/CN116545779A/zh
Application granted granted Critical
Publication of CN116545779B publication Critical patent/CN116545779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Algebra (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供网络安全命名实体识别方法、装置、设备和存储介质，涉及网络安全技术领域。该方法利用标注样本同时输入原型网络模型、预训练模型和自训练模型，得到三个输出值输入相关性编码模型得到预测输出值，再根据预测输出值对命名实体识别网络进行训练，然后利用半监督的方式结合命名实体识别网络对未标注样本进行标注，更新标注样本集合后继续训练命名实体识别网络，直至训练完成，利用训练后的命名实体识别网络进行命名实体识别。本申请实施例通过半监督的学习方式对未标注样本进行标注，扩充样本集合，提高命名实体识别网络的训练精度，从而提升命名实体识别网络的识别准确率，能够更好地适应网络安全中小样本的命名实体识别场景。

Description

网络安全命名实体识别方法、装置、设备和存储介质
技术领域
本发明涉及网络安全技术领域，尤其涉及网络安全命名实体识别方法、装置、设备和存储介质。
背景技术
随着科技的不断进步，网络环境变得日益复杂。在网络安全技术研究方面，威胁情报分析技术利用大数据爬虫技术收集威胁情报信息，然后对威胁情报信息进行分析，其中威胁情报信息的源头主要包括：软硬件厂商官方网站、网络安全咨询网站和科学文献等。然而威胁情报信息多是非结构化数据，因此如何准确的从非结构化数据中获取与网络威胁情报相关的实体信息是当前工作中的难点。
相关技术中利用深度学习方法从威胁情报中获取实体信息，当时深度学习方法需要使用大量的标注数据去训练模型，才能提升模型获取命名实体信息的能力。但是威胁情报领域的命名实体识别任务面临着数据稀缺和人工标注成本高的挑战，在标注样本较少的情况下得到的深度学习模型命名实体信息识别的准确率不高。
发明内容
本申请实施例的主要目的在于提出网络安全命名实体识别方法、装置、设备和存储介质，提高网络安全场景中从威胁情报中获取命名实体信息的准确性。
为实现上述目的，本申请实施例的第一方面提出了一种网络安全命名实体识别方法，包括：
获取待检测数据；
将所述待检测数据输入训练后的命名实体识别网络进行命名实体识别，得到命名实体识别结果；
其中，所述命名实体识别网络包括：原型网络模型、预训练模型、自训练模型和相关性编码模型，且所述命名实体识别网络通过以下训练步骤训练得到：
利用网络安全文本信息构建样本集，所述样本集包括第一实体样本集和第二实体样本集，所述第一实体样本集包括第一数量的标注样本，所述第二实体样本集包括第二数量的未标注样本；所述标注样本包括实体标签，所述第一数量小于所述第二数量；
将所述第一实体样本集中的所述标注样本分别输入原型网络模型、预训练模型和自训练模型，对应得到第一输出值、第二输出值和第三输出值，并将所述第一输出值、所述第二输出值和所述第三输出值输入所述相关性编码模型得到预测输出值；
基于所述实体标签计算分类损失值和所述预测输出值对应的预测损失值，所述分类损失值由所述第一输出值对应的第一损失值、所述第二输出值对应的第二损失值和所述第三输出值对应的第三损失值计算得到，以及根据所述分类损失值和所述预测损失值得到总损失值，并根据所述总损失值对所述原型网络模型、所述预训练模型、所述自训练模型和所述相关性编码模型的模型权重进行权重调整；
将所述第二实体样本集中的所述未标注样本输入所述命名实体识别网络得到未标注预测结果，所述未标注预测结果包括：所述原型网络模型的原型未标注预测结果、所述预训练模型的预训练未标注预测结果以及所述自训练模型的自训练未标注预测结果；若所述未标注预测结果有至少两项相同，则将相同的所述未标注预测结果作为所述未标注样本的样本标签，使得所述未标注样本变为标注样本，以更新所述第一实体样本集；
利用更新的所述第一实体样本集，重复执行所述训练步骤训练所述命名实体识别网络，得到训练后的所述命名实体识别网络。
在一实施例中，将所述第一实体样本集中的所述标注样本输入所述原型网络模型得到所述原型网络模型的第一输出值，并计算所述第一输出值对应的第一损失值，包括：
将所述标注样本输入所述原型网络模型，得到第一分类向量；
计算所述第一分类向量和各分类结果的原型向量之间的向量距离；
根据所述向量距离计算得到所述第一输出值；
将所述第一输出值输入原型网络损失函数计算得到所述第一损失值。
在一实施例中，将所述第一实体样本集中的所述标注样本输入所述预训练模型得到所述预训练模型的第二输出值，并计算所述第二输出值对应的第二损失值，包括：
获取所述标注样本的嵌入向量，所述嵌入向量由词嵌入向量、位置嵌入向量和段嵌入向量生成；
将所述嵌入向量输入所述预训练模型得到所述第二输出值；
根据所述第二输出值输入预训练模型损失函数计算得到所述第二损失值。
在一实施例中，将所述第一实体样本集中的所述标注样本输入所述自训练模型得到所述自训练模型的第三输出值，并计算所述第三输出值对应的第三损失值，包括：
获取所述标注样本的所述嵌入向量；
将所述嵌入向量输入所述自训练模型得到位置特征向量；
将所述位置特征向量作为状态信息得到所述第三输出值；
将所述第三输出值输入自训练模型损失函数计算得到所述第三损失值。
在一实施例中，计算所述分类损失值的过程包括：
分别计算所述第一损失值的第一相似度、所述第二损失值的第二相似度以及所述第三损失值的第三相似度；
根据所述第一相似度、所述第二相似度和所述第三相似度得到所述原型网络模型的第一权重、所述预训练模型的第二权重和所述自训练模型的第三权重；
基于所述第一权重和第一损失值计算第一中间值、基于所述第二权重和第二损失值计算第二中间值以及基于所述第三权重和第三损失值计算第三中间值；
根据所述第一中间值、所述第二中间值和所述第三中间值得到所述分类损失值。
在一实施例中，所述相关性编码模型包括三个子模型，所述子模型包括更新门和重置门；所述将所述第一输出值、所述第二输出值和所述第三输出值输入所述相关性编码模型得到预测输出值，包括：
将所述第一输出值、所述第二输出值和所述第三输出值分别输入所述子模型进行知识学习，得到所述第一输出值的第一预测值、所述第二输出值得第二预测值，所述第三输出值得第三预测值；
将所述第一预测值、所述第二预测值和所述第三预测值输入softmax层计算得到所述预测输出值。
在一实施例中，所述子模型进行知识学习的过程包括：
将输入值输入重置门得到第一隐状态；所述输入值包括：所述第一输出值、所述第二输出值或所述第三输出值；
将所述输入值输入更新门得到第二隐状态；
根据所述输入值计算得到中间隐状态；
根据所述第一隐状态、所述中间隐状态和所述第二隐状态得到输出值；所述输出值包括：所述第一预测值、所述第二预测值或所述第三预测值。
在一实施例中，基于所述实体标签计算所述预测输出值对应的预测损失值的过程包括：
两两计算所述第一预测值、所述第二预测值和所述第三预测值得到三个相关度值；
根据三个所述相关度值计算得到总相关值；
根据所述总相关值计算得到所述预测损失值。
在一实施例中，所述利用网络安全文本信息构建样本集，包括：
获取网络安全数据，并从所述网络安全数据中提取得到所述网络安全文本信息；
对所述网络安全文本信息进行分句操作，得到多个样本句；
将所述多个样本句分为第一句集合和第二句集合；
利用标注工具对所述第一句集合中每个所述样本句进行标注得到所述标注样本；
利用所述标注样本构建所述第一实体样本集，以及将所述第二句集合中所述样本句作为未标注样本构建所述第二实体样本集。
在一实施例中，所述利用标注工具对所述第一句集合中每个所述样本句进行标注得到所述标注样本，包括：利用标注工具在每个所述样本句中分词的第一位置和第二位置进行实体标签标注得到所述标注样本；所述实体标签包括：风险软件、风险软件所属家族、风险行为者、正常群体、风险时间、风险地址、风险动机、攻击活动、传播方式、资产信息、漏洞信息、风险工具、风险情报、被攻击行业、防御措施中一种或多种。
为实现上述目的，本申请实施例的第二方面提出了一种网络安全命名实体识别装置，所述装置包括：
数据获取模块：用于获取待检测数据；
命名实体识别模块：用于将所述待检测数据输入训练后的命名实体识别网络进行命名实体识别，得到命名实体识别结果；
其中，所述命名实体识别网络包括：原型网络模型、预训练模型、自训练模型和相关性编码模型，且所述命名实体识别网络通过以下训练步骤训练得到：
利用网络安全文本信息构建样本集，所述样本集包括第一实体样本集和第二实体样本集，所述第一实体样本集包括第一数量的标注样本，所述第二实体样本集包括第二数量的未标注样本；所述标注样本包括实体标签，所述第一数量小于所述第二数量；
将所述第一实体样本集中的所述标注样本分别输入原型网络模型、预训练模型和自训练模型，对应得到第一输出值、第二输出值和第三输出值，并将所述第一输出值、所述第二输出值和所述第三输出值输入所述相关性编码模型得到预测输出值；
基于所述实体标签计算分类损失值和所述预测输出值对应的预测损失值，所述分类损失值由所述第一输出值对应的第一损失值、所述第二输出值对应的第二损失值和所述第三输出值对应的第三损失值计算得到，以及根据所述分类损失值和所述预测损失值得到总损失值，并根据所述总损失值对所述原型网络模型、所述预训练模型、所述自训练模型和所述相关性编码模型的模型权重进行权重调整；
将所述第二实体样本集中的所述未标注样本输入所述命名实体识别网络得到未标注预测结果，所述未标注预测结果包括：所述原型网络模型的原型未标注预测结果、所述预训练模型的预训练未标注预测结果以及所述自训练模型的自训练未标注预测结果；若所述未标注预测结果有至少两项相同，则将相同的所述未标注预测结果作为所述未标注样本的样本标签，使得所述未标注样本变为标注样本，以更新所述第一实体样本集；
利用更新的所述第一实体样本集，重复执行所述训练步骤训练所述命名实体识别网络，得到训练后的所述命名实体识别网络。
为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
为实现上述目的，本申请实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
本申请实施例提出的网络安全命名实体识别方法、装置、设备和存储介质，网络安全命名实体识别方法利用标注样本同时输入原型网络模型、预训练模型和自训练模型，得到三个输出值输入相关性编码模型得到预测输出值，再根据预测输出值对命名实体识别网络进行训练，然后利用半监督的方式结合命名实体识别网络对未标注样本进行标注，更新标注样本集合后继续训练命名实体识别网络，直至训练完成，利用训练后的命名实体识别网络进行命名实体识别。本实施例通过半监督的学习方式对未标注样本进行标注，扩充样本集合，提高命名实体识别网络的训练精度，从而提升命名实体识别网络的识别准确率，能够更好地适应网络安全中小样本的命名实体识别场景。
附图说明
图1是本申请实施例提供的网络安全命名实体识别方法的命名实体识别网络的结构示意图。
图2是本申请实施例提供的网络安全命名实体识别方法的流程图。
图3是图2中的步骤S110的流程图。
图4是本申请实施例提供的网络安全命名实体识别方法的计算第一输出值和第一损失值的过程流程图。
图5是本申请实施例提供的网络安全命名实体识别方法的计算第二输出值和第二损失值的过程流程图。
图6是本申请实施例提供的网络安全命名实体识别方法的计算第三输出值和第三损失值的过程流程图。
图7是本申请实施例提供的网络安全命名实体识别方法的自训练模型的自训练流程图。
图8是本申请实施例提供的网络安全命名实体识别方法的计算预测输出值的过程流程图。
图9是本申请实施例提供的网络安全命名实体识别方法的相关性编码模型的子模型的结构示意图。
图10是本申请实施例提供的网络安全命名实体识别方法的子模型进行知识学习的过程流程图。
图11是本申请实施例提供的网络安全命名实体识别方法的计算预测损失值的过程流程图。
图12是本申请实施例提供的网络安全命名实体识别方法的计算分类损失值的过程流程图。
图13是本发明又一实施例提供的网络安全命名实体识别装置结构框图。
图14是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本发明。
首先，对本发明中涉及的若干名词进行解析：
人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
半监督学习：是一种介于监督学习和无监督学习之间的学习方式。在半监督学习中，训练样本集中只有一部分样本被标记了类别信息，而其他未标记的样本则没有类别信息，半监督学习的目的是利用这些未标记样本提高模型的性能。
随着科技的不断进步，网络环境变得日益复杂。在网络安全技术研究方面，威胁情报分析技术利用大数据爬虫技术收集威胁情报信息，然后对威胁情报信息进行分析，其中威胁情报信息的源头主要包括：软硬件厂商官方网站、网络安全咨询网站和科学文献等。然而威胁情报信息多是非结构化数据，因此如何准确的从非结构化数据中获取与网络威胁情报相关的实体信息是当前工作中的难点。
相关技术中利用深度学习方法从威胁情报中获取实体信息，当时深度学习方法需要使用大量的标注数据去训练模型，才能提升模型获取命名实体信息的能力。但是威胁情报领域的命名实体识别任务面临着数据稀缺和人工标注成本高的挑战，在威胁情报领域的小样本情景下，在标注样本较少的情况下得到的深度学习模型命名实体信息识别的准确率不高，小样本学习方法对特征的学习不充分，在实体分类决策时容易引起误判。
基于此，本申请实施例提供一种网络安全命名实体识别方法、装置、设备和存储介质，通过半监督的学习方式对未标注样本进行标注，扩充样本集合，提高命名实体识别网络的训练精度，从而提升命名实体识别网络的识别准确率，能够更好地适应网络安全中小样本的命名实体识别场景。
本申请实施例提供网络安全命名实体识别方法、装置、设备和存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的网络安全命名实体识别方法。
本申请实施例提供的网络安全命名实体识别方法，涉及人工智能技术领域，尤其涉及数据挖掘技术领域。本申请实施例提供的网络安全命名实体识别方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的计算机程序。举例来说，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序，如支持网络安全命名实体识别的客户端，也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。其中，终端通过网络与服务器进行通信。该网络安全命名实体识别方法可以由终端或服务器执行，或由终端和服务器协同执行。
在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机或者智能手表等。服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器；也可以是区块链系统中的服务节点，该区块链系统中的各服务节点之间组成点对点（P2P，PeerTo Peer）网络，P2P协议是一个运行在传输控制协议（TCP，Transmission ControlProtocol）协议之上的应用层协议。服务器上可以安装网络安全命名实体识别系统的服务端，通过该服务端可以与终端进行交互，例如服务端上安装对应的软件，软件可以是实现网络安全命名实体识别方法的应用等，但并不局限于以上形式。终端与服务器之间可以通过蓝牙、USB（Universal Serial Bus，通用串行总线）或者网络等通讯连接方式进行连接，本实施例在此不做限制。
本发明可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据用户信息、用户行为数据，用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本申请实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的用户相关数据。
首先描述本申请实施例的命名实体识别网络。
图1是本申请实施例的命名实体识别网络的结构示意图。参照图1，命名实体识别网络10包括：原型网络模型100、预训练模型200、自训练模型300和相关性编码模型400，其中相关性编码模型400包括三个子模型410和softmax层420，每个子模型410都包括更新门411和重置门412。
在一实施例中，样本数据经过嵌入操作后分别输入原型网络模型100、预训练模型200和自训练模型300中，得到对应的输出数据，然后分别输入对应的子模型410，经过更新门411和重置门412之后得到的三个预测数据经过softmax层420得到输出结果。
下面描述本申请实施例中的网络安全命名实体识别方法。
图2是本申请实施例提供的网络安全命名实体识别方法的一个可选的流程图，图2中的方法可以包括但不限于包括步骤S110至步骤S120，步骤S120中命名实体识别网络的训练步骤包括步骤S121至步骤S125。同时可以理解的是，本实施例对图2中步骤S110至步骤S120的顺序不做具体限定，可以根据实际需求调整步骤顺序或者减少、增加某些步骤。
步骤S110：获取待检测数据。
步骤S120：将待检测数据输入训练后的命名实体识别网络进行命名实体识别，得到命名实体识别结果。
在一实施例中，待检测数据为需要进行命名实体检测的数据，利用训练后的命名实体识别网络即可对待检测数据进行命名实体识别，得到命名实体识别结果。
下面描述命名实体识别网络的训练步骤。
步骤S121：利用网络安全文本信息构建样本集。
在一实施例中，样本集包括第一实体样本集和第二实体样本集，其中，第一实体样本集包括第一数量的标注样本，第二实体样本集包括第二数量的未标注样本，第一数量小于第二数量。可见本实施例中标注样本量属于小样本量，本申请实施例需要将大量的未标注样本变为标注样本，从而提升命名实体识别网络的训练精度。
由于威胁情报领域命名实体识别数据集匮乏，难以获取较为合适的训练数据。因此为了更好的模拟实际应用场景，本申请实施例构建第一实体样本集作为威胁情报领域的小样本命名实体识别数据集，这里的标注样本包括实体标签。
在一实施例中，在构建第一实体样本集之前，首先设定命名实体的类型和含义，然后根据设定的命名实体的类型和含义生成对应的实体标签。参照下表1，为本申请实施例中命名实体的类型和含义说明。
表1 本申请实施例中命名实体的类型和含义说明
根据上表，本申请实施例设定的实体标签包括：风险软件、风险软件所属家族、风险行为者、正常群体、风险时间、风险地址、风险冬季、攻击活动、传播方式、资产信息、漏洞信息、风险工具、风险情报、被攻击行业、防御措施中一种或多种。相比于其他标准，本申请实施例的实体标签类型较多、粒度更细能准确地描述威胁情报信息，进一步提升命名实体识别的准确性。
在一实施例中，参照图3，步骤S121利用网络安全文本信息构建样本集包括以下步骤S1211至步骤S1215：
步骤S1211：获取网络安全数据，并从网络安全数据中提取得到网络安全文本信息。
步骤S1212：对网络安全文本信息进行分词操作，得到多个样本句。
在一实施例中，网络安全数据可以是通过爬取的方式获得的公开的APT攻击报告，由于APT攻击报告一般是PDF格式数据，因此本申请实施例为了方便分析，利用例如PDFMiner工具将爬取的PDF格式数据转化为文本形式的网络安全文本信息。接着对网络安全文本信息进行分句操作得到多个样本句。分句操作可以是以英文句号“.”进行分句，本实施例对分句方式不做具体限定。
可以理解的是，为了浓缩样本句的信息量，避免引入冗余信息，在一实施例只截取PDF格式数据的摘要和前面介绍部分的文字内容作为网络安全文本信息。同时，网络安全文本信息中可能会出现一些特殊符号以及未识别字符，在分句时，将包含这些字符的句子筛除。
步骤S1213：将多个样本句分为第一句集合和第二句集合。
步骤S1214：利用标注工具对第一句集合中每个样本句进行标注得到标注样本。
步骤S1215：利用标注样本构建第一实体样本集，以及将第二句集合中样本句作为未标注样本构建第二实体样本集。
在一实施例中，由于数据量过大，只需取小部分的数据用于标注，因此第一句集合中样本句的数量远少于第二句集合中样本句的数量，为保证数据多样性，对第一句集合中样本句进行标注，从而得到标注样本，即可通过第一句集合得到第一样本实体集，对于第二句集合中样本句不做标注，将该样本句作为未标注样本，通过第二句集合得到第二样本实体集。
在一实施例中，利用标注工具对第一句集合中样本句进行标注，标注工具可以是Doccano工具，在进行标注时，将样本句导入Doccano工具进行标注。因此经过Doccano工具对样本句进行上述实体标签的标注。
在一实施例中，样本句中包含多个分词，这些分词一部分是命名实体，另一部分是普通信息，本实施例利用标注工具在每个样本句中命名实体的第一位置和第二位置进行实体标签标注得到标注样本，这里的第一位置是命名实体的开始位置，第二位置是中间位置或者结束位置。在一实施例中，在第一位置加上“B-”进行标注，在第二位置加上“O-”进行标注，此外，对于普通信息用“O”进行标注。在一实施例中，在第一位置和第二位置进行标注的标识可以根据实际需求设定。
在一具体场景中，通过爬虫获取了06年至22年的APT攻击报告共502篇，先对爬取的PDF报告数据进行预处理，使用PDFMiner工具将PDF报告数据转为TXT的网络安全文本信息。然后取小部分的数据用于标注，例如每年随机选取最多2篇报告用于标注，共标注了28篇APT报告得到第一实体样本集，其余预处理后的部分未标注报告作为第二实体样本集。最终共标记出有效的句子为1033句，获得有效实体3304个。对标注好的第一实体样本集进行N-way K-shot采样，N-way K-shot表示每一个片段随机采样N个类别，每个类别采样K个标注样本。例如本实施例中N和K设置为三组，分别是5-way 5-shot、5-way 10-shot和10-way10-shot，可以构建三种不同的小样本场景用于验证实验，小样本采样十次作为不同片段的支持集，剩下未被采样到的数据作为查询集用于验证。
上述过程中得到第一实体样本集和第二实体样本集。下面描述命名实体识别网络的训练过程。
步骤S122：将第一实体样本集中的标注样本分别输入原型网络模型、预训练模型和自训练模型，对应得到第一输出值、第二输出值和第三输出值，并将第一输出值、第二输出值和第三输出值输入相关性编码模型得到预测输出值。
在一实施例中，原型网络模型首先通过初始化将每个实体标签对应的类别表示成一个或多个原型向量，这些原型向量可以通过预先利用少量样本计算平均值得到，也可以根据经验值设定，本实施例对此不做具体限定。参照图4，将第一实体样本集中的标注样本输入原型网络模型得到原型网络模型的第一输出值，并计算第一输出值对应的第一损失值的过程包括以下步骤S610至步骤S640：
步骤S610：将标注样本输入原型网络模型，得到第一分类向量。
在一实施例中，对标注样本进行特征提取得到对应的向量表示，该向量记为第一分类向量。
步骤S620：计算第一分类向量和各分类结果的原型向量之间的向量距离。
在一实施例中，对于第一分类向量，原型网络模型会计算其与所有原型向量之间的距离，具体是通过一个度量函数来衡量第一分类向量和第k个原型向量之间的距离，该实施例中，度量函数可以是欧几里得距离或余弦相似度等。
步骤S630：根据向量距离计算得到第一输出值。
在一实施例中，利用度量函数计算得到的距离信息，得到第一分类向量和原型向量的概率分布，使用softmax进行归一化，即可得到每个类别的概率值，将该概率值表征为向量，得到第一输出值。
步骤S640：将第一输出值输入原型网络损失函数计算得到第一损失值。
在一实施例中，原型网络模型的原型网络损失函数表示为：
其中，表示第k个原型向量，/>表示标注样本，/>表示原型网络模型的模型参数，表示第一分类向量，/>表示第一分类向量和第k个原型向量之间的向量距离，/>表示类别的总数，本实施例中/>。
根据上述原型网络损失函数得到该第一输出值对应的第一损失值。
在一实施例中，预训练模型为BERT预训练模型，BERT预训练模型采用双向的Transformer编码结构，基于Transformer的多头注意力机制对文本数据建模。每一个Transformer编码单元结构都包含了注意力计算模块。参照图5，将第一实体样本集中的标注样本输入预训练模型得到预训练模型的第二输出值，并计算第二输出值对应的第二损失值的过程包括以下步骤S710至步骤S730：
步骤S710：获取标注样本的嵌入向量，嵌入向量由词嵌入向量、位置嵌入向量和段嵌入向量生成。
在一实施例中，为了增强自注意力机制对时间和位置信息的捕捉，本实施例的嵌入向量除了词嵌入向量之外，在输入中还添加了额外的位置嵌入向量和段嵌入向量，其中位置嵌入向量代表词在句子中的位置编码，段嵌入向量用于区别句子在完整输入中的位置，本实施例获取标注样本的词嵌入向量、位置嵌入向量和段嵌入向量拼合生成嵌入向量。
其中，词嵌入向量可以通过Word2Vec、GloVe和FastText等词嵌入方法得到，词嵌入向量能够获取词语之间的语义关系。位置嵌入向量是通过位置嵌入的方式将词语在句子或文本中的位置编码为一个向量，位置嵌入通常采用正弦函数和余弦函数的组合的方式来生成位置嵌入向量。段嵌入向量是通过段嵌入的方式将不同段落或句子的位置信息编码为一个，通过段嵌入向量可以使得模型更好地理解上下文之间的关系。
步骤S720：将嵌入向量输入预训练模型得到第二输出值。
在一实施例中，将上述嵌入向量输入预训练模型进行预测，由于BERT预训练模型的每一个Transformer编码单元结构都包含了注意力计算模块，因此经过多个注意力计算模块之后，最终得到第二输出值，第二输出值也是一个关于概率值的向量。
上述实施例中注意力计算模块的注意力机制表示为：
其中，Q表示查询向量，K表示键向量，V表示值向量，是权重参数，X是注意力计算模块的输入向量，其初始值为嵌入向量，/>表示向量维度，用于计算过程中的降维，/>表示单个查询向量Q对输入序列中所有位置（键向量K和值向量V）的加权和。
步骤S730：将第二输出值输入预训练模型损失函数计算得到第二损失值。
在一实施例中，预训练模型的预训练模型损失函数表示为：
其中，表示实体标签的向量，/>表示嵌入向量，/>表示模型参数，/>表征第二输出值，p表示条件概率，即在参数θ中，所拟合的第二输出值接近于实体标签的概率。
在一实施例中，自训练模型为BiLSTM-CRF模型，该模型能够考虑上下文信息和实体标签相关信息。参照图6，将第一实体样本集中的标注样本输入自训练模型得到自训练模型的第三输出值，并计算第三输出值对应的第三损失值的过程包括以下步骤S810至步骤S840：
步骤S810：获取标注样本的嵌入向量。
在一实施例中，嵌入向量可参照步骤S710得到，嵌入的目的是将标注样本转化为固定长度的向量表示。
步骤S820：将嵌入向量输入自训练模型得到位置特征向量。
在一实施例中，BiLSTM-CRF模型包含双向LSTM（Bidirectional Long Short-TermMemory）结构。该步骤利用双向LSTM来对输入的词嵌入向量进行编码，得到每个位置的特征表示。在双向LSTM中，正向和反向两个LSTM分别从前向后和从后向前扫描输入的词嵌入向量，然后将输出拼接起来得到每个位置的特征表示，作为位置特征向量。
步骤S830：将位置特征向量作为状态信息得到第三输出值。
在一实施例中，BiLSTM-CRF模型还包括CRF（Conditional Random Fields）结构，CRF结构是一种概率无向图模型，基于条件概率分布计算标签序列的概率，从而可以对标签序列进行全局优化。该步骤使用CRF对编码后的位置特征向量进行标注，即将每个位置的特征表示映射为相应的标签。具体地，在BiLSTM-CRF模型中，将每个位置的标签作为CRF结构的状态信息，每个状态信息之间的转移概率由BiLSTM输出的位置特征向量表示决定，通过定义状态转移矩阵和状态发射概率矩阵，使用维特比算法来计算整个标注样本的标注结果，根据标注结果得到第三输出值。
步骤S840：将第三输出值输入自训练模型损失函数计算得到第三损失值。
在一实施例中，自训练模型的自训练模型损失函数L3表示为：
其中，x表示标注样本，y表示第三输出值，表示在输入为x的情况下实体标签为第三输出值y的条件概率，/>表示/>的联合分布。
上述步骤为标注样本分别输入原型网络模型、预训练模型、自训练模型得到对应的三个输出数据，以及根据对应的输出数据得到不同模型的损失函数的过程。下面描述本实施例对三个输出数据的融合过程。
在一实施例中，参照图7，自训练模块在每次迭代周期训练之前，还可以利用第一实体样本集中部分标注样本先进行一次自训练过程，自训练流程如图7所示。
首先利用标注样本构成的带标签数据集L对自训练模块进行训练，判断训练是否达到停止准则，如若继续训练，则利用训练后的自训练模型对部分未标注样本进行分类，选出未标注样本S和伪标签，共同加入到带标签数据集L中进行训练，若达到停止准则，则输出训练后的自训练模块，终止训练。
在一实施例中，参照图8，将第一输出值、第二输出值和第三输出值输入相关性编码模型得到预测输出值包括以下步骤S1010至步骤S1020：
步骤S1010：将第一输出值、第二输出值和第三输出值分别输入子模型进行知识学习，得到第一输出值的第一预测值、第二输出值得第二预测值，第三输出值得第三预测值。
在一实施例中，本实施例的相关性编码模型将第一输出值、第二输出值和第三输出值分别输入子模型，通过单独的门控进行传递，在训练样本较少的前提下，充分利用输入的第一输出值、第二输出值和第三输出值，提高特征权重的计算准确度，减少学习误差，同时由于本申请实施例的子模型仅包括两个门控单元，其计算效率更快。
图9为本申请实施例中相关性编码模型的子模型的结构示意图。本实施例的子模型410包括更新门411和重置门412，其中更新门411决定输入信息的记忆与更新，而重置门412则决定输入信息的丢弃与遗忘，这两个门控单元能够长期的保留序列中的信息，同时随时间的推移清除冗余和不相关的信息。
在一实施例中，参照图10，子模型进行知识学习的过程包括以下步骤S1210至步骤S1240：
步骤S1210：将输入值输入重置门得到第一隐状态。
在一实施例中，参照图9，当前时刻t的输入值表示，/>表示前一时刻的输出值，第一隐状态/>为根据输入值/>和前一时刻的输出值/>计算得到的，第一隐状态/>表示为：
/>
其中，i表示第i个子模型，i的取值为1、2或3，表示第1个子模型的第一隐状态，表示第2个子模型的第一隐状态，/>表示第3个子模型的第一隐状态，/>表示第i个子模型的输入值，/>表示第1个子模型的输入值，/>表示第2个子模型的输入值，/>表示第3个子模型的输入值，/>表示sigmoid函数，/>、/>表示重置门的权重，其中，/>表示第1个子模型的重置门的权重，/>表示第2个子模型的重置门的权重，/>表示第3个子模型的重置门的权重，/>重置门的偏置值，其中，/>表示第1个子模型的重置门的偏置值，/>表示第2个子模型的重置门的偏置值，/>表示第3个子模型的重置门的偏置值。
步骤S1220：将输入值输入更新门得到第二隐状态。
在一实施例中，参照图9，当前时刻t的输入值表示，/>表示前一时刻的输出值，第二隐状态/>为根据输入值/>和前一时刻的输出值/>计算得到的，第二隐状态/>表示为：
其中，表示sigmoid函数，/>表示第1个子模型的第二隐状态，/>表示第2个子模型的第二隐状态，/>表示第3个子模型的第二隐状态，/>表示第i个子模型的输入值，/>表示第1个子模型的输入值，/>表示第2个子模型的输入值，/>表示第3个子模型的输入值，/>、表示更新门的权重，其中，/>表示第1个子模型的更新门的权重，/>表示第2个子模型的更新门的权重，/>表示第3个子模型的更新门的权重，/>表示更新门的偏置值,其中，/>表示第1个子模型的更新门的偏置值，/>表示第2个子模型的更新门的偏置值，/>表示第3个子模型的更新门的偏置值。
步骤S1230：根据输入值计算得到中间隐状态。
在一实施例中，参照图9，当前时刻t的输入值表示为，中间隐状态/>为根据输入值/>和前一时刻的输出值/>计算得到的，中间隐状态/>表示为：
其中，表示双曲线正切（tanh）函数，/>表示第1个子模型的中间隐状态，/>表示第2个子模型的中间隐状态，/>表示第3个子模型的中间隐状态，/>表示第i个子模型的输入值，/>表示第1个子模型的输入值，/>表示第2个子模型的输入值，/>表示第3个子模型的输入值，/>、/>表示第i个子模型的双曲线正切函数的参数，其中，/>、/>表示第1个子模型的双曲线正切函数的参数，/>、/>表示第2个子模型的双曲线正切函数的参数，/>、/>表示第3个子模型的双曲线正切函数的参数，不同子模型的/>参数相同。
步骤S1240：根据第一隐状态、中间隐状态和第二隐状态得到输出值。
在一实施例中，参照图9，第一符号表示执行运算，第二符号表示向量中对应位置的元素进行相乘，结果仍为向量，第三符号表示向量中对应位置的元素进行相加，结果同样为向量，因此输出值/>，表示为：
上述实施例中，结合图1，图9中输入值包括：第1个子模型的输入值为第一输出值、第2个子模型的输入值/>为第二输出值或第3个子模型的输入值/>为第三输出值，当输入值为第一输出值，则输出值为第一预测值/>，当输入值为第二输出值，则输出值为第二预测值/>，当输入值为第三输出值，则输出值为第三预测值/>。
步骤S1020：将第一预测值、第二预测值和第三预测值输入softmax层计算得到预测输出值。
在一实施例中，在融合和预测阶段，使用Softmax函数将每个模型的分类结果进行归一化，形成一个标签结果预测的概率分布作为预测输出值。Softmax计算公式如下：
其中，i表示j中的某个分类，表示预测为该分类的值。对三个子模型输出的第一预测值/>、第二预测值/>和第三预测值/>分别进行Softmax计算之后，再用投票的方式决定最后的预测输出值。
下面描述相关性编码模型的预测损失值的计算过程。
在一实施例中，参照图11，基于实体标签计算预测输出值对应的预测损失值的过程包括步骤S1310至步骤S1330：
步骤S1310：两两计算第一预测值、第二预测值和第三预测值得到三个相关度值。
步骤S1320：根据三个相关度值计算得到总相关值。
步骤S1330：根据总相关值计算得到预测损失值。
在一实施例中，在预测损失值的计算过程中加入相关性的目的在于，相关性能够利用优化输入值之间的相关性，相关的约束会比仅使用交叉熵损失获得包含更多信息的嵌入。由于三个输入值有不同的组合方式，二相关性只能对两个变量进行计算，因此本实施例通过两两计算第一预测值、第二预测值和第三预测值的相关度值，然后对相关度值进行求和得到总相关值，将相关性计算的总相关值添加到损失函数计算过程进而得到预测损失值。其中，第t个时刻的相关度值表示为：
其中，k和表示不同的子模型，/>表示所有的子模型，训练过程中每个训练批次上有L个标注样本，i表示第i个标注样本，/>表示子模型k计算的隐藏状态，/>表示子模型/>计算的隐藏状态，/>表示子模型k计算的隐藏状态的均值，/>表示子模型/>计算的隐藏状态的均值。
在一实施例中，总相关值表示为：，即将不同时刻t的相关度值进行相加，在计算预测损失值时为了最大化相关性，需要加上负号，同时考虑到三种子模型两两组合有三种不同的组合方式，在公式中加入系数3进行修正，预测损失值/>表示为：
上述实施例中将第一输出值、第二输出值和第三输出值输入到子模型中，由门控单元决定输入信息的记忆与遗忘，并引入相关性计算单元，避免输入信息的冗余同时突出重要语义特征。因此针对威胁情报领域小样本数据特征不足的问题，能够避免信息冗余导致融合过程中出现训练偏差的情况。
步骤S123：基于实体标签计算分类损失值和预测输出值对应的预测损失值，分类损失值由第一输出值对应的第一损失值、第二输出值对应的第二损失值和第三输出值对应的第三损失值计算得到，以及根据分类损失值和预测损失值得到总损失值，并根据总损失值对原型网络模型、预训练模型、自训练模型和相关性编码模型的模型权重进行权重调整。
在一实施例中，通过上述步骤得到了第一输出值对应的第一损失值、第二输出值对应的第二损失值和第三输出值对应的第三损失值，然后再基于第一损失值、第二损失值和第三损失值计算分类损失值。参照图12，计算分类损失值的过程包括步骤S1410至步骤S1440：
步骤S1410：分别计算第一损失值的第一相似度、第二损失值的第二相似度以及第三损失值的第三相似度。
在一实施例中，第一相似度为第一输出值和实体标签的向量之间的相似度，第二相似度为第二输出值和实体标签的向量之间的相似度，第三相似度为第三输出值和实体标签的向量之间的相似度。该实施例中，可以利用余弦相似度的方法得到第一相似度、第二相似度和第三相似度。
步骤S1420：根据第一相似度、第二相似度和第三相似度得到原型网络模型的第一权重、预训练模型的第二权重和自训练模型的第三权重。
在一实施例中，对第一相似度、第二相似度和第三相似度进行排序，相似度值最高则对应最大的权重。其中第一权重、第二权重和第三权重的总和为1，可以理解的是，本实施例对第一权重、第二权重和第三权重的大小不做限定，只需要保证权重大小与相似度值的大小正相关即可，即相似度值越大，权重越大，反之，相似度值越小，权重越小。
步骤S1430：基于第一权重和第一损失值计算第一中间值、基于第二权重和第二损失值计算第二中间值以及基于第三权重和第三损失值计算第三中间值。
在一实施例中，第一中间值表示为：，其中/>为第一权重，第二中间值表示为：，其中/>为第二权重，第三中间值表示为：/>，其中/>为第三权重。
步骤S1440：根据第一中间值、第二中间值和第三中间值得到分类损失值。
在一实施例中，分类损失值表示为：
本申请实施例中还要根据分类损失值和预测损失值得到总损失值，在一实施例中，总损失值表示为：
上述过程得到总损失值后，利用梯度下降法对原型网络模型、预训练模型、自训练模型和相关性编码模型的模型权重进行权重调整。
在一实施例中，原型网络模型的权重调整指的是使用所有正确分类的标注样本对应的特征向量的平均值作为更新后的原型向量。
步骤S124：将未标注样本输入命名实体识别网络得到未标注预测结果，未标注预测结果包括：原型网络模型的原型未标注预测结果、预训练模型的预训练未标注预测结果以及自训练模型的自训练未标注预测结果；若未标注预测结果有至少两项相同，则将相同的未标注预测结果作为未标注样本的样本标签，使得未标注样本变为标注样本，以更新第一实体样本集。
在一实施例中，步骤S124的目的是进行半监督学习，利用上述步骤训练的命名实体识别网络对第二实体样本集中的未标注样本进行预测打标签，将未标注样本变成标注样本，从而提高样本数量，解决威胁情报领域带标签数据量少，单一模型识别效果差的问题，提升威胁情报领域命名实体识别模型的识别准确率。
在一实施例中，步骤S124的实现算法伪代码表示为：
Data:L:第一实体样本集，U:第二实体样本集，Learn:原型网络模型、预训练模型和自训练模型
Result:输出三个训练好的原型网络模型、预训练模型、自训练模型
初始化分类错误率e=0.5,迭代结束标志improve=1;
For i in{1,2,3} do
对L进行Bootstrap采样得到训练集Li;
用数据集Li训练模型Mi;
end
while improve do
for i in{1,2,3} do
improve=0;
采样得到第二实体样本集U中未标注样本u;
计算当前两个模型的分类错误率);
ifthen
for item in u do
if(item) ==/>(item) then
则加入到第一实体样本集中；
improve=1;
end
end
end
end
if improve==1 then
for i in{1,2,3} do
对L进行Bootstrap采样得到训练集Li;
用数据集Li训练模型Mi;
end
end
end
上述算法伪代码的含义为：
首先对有第一实体样本集L进行Bootstrap采样，得到训练集Li，并使用数据集Li训练三个分类器模型Mi（分别是原型网络模型、预训练模型、自训练模型），设定初始化分类错误率e=0.5和迭代结束标志improve=1。
接着在循环中对每个模型进行如下操作：
1.从第二实体样本集U中采样一定数量的数据生成子集u。
2.计算当前两个模型Mj和Mk的组合模型的联合分类错误率。
3.如果当前的联合分类错误率比之前下降了，则将预测结果相同的数据加入到扩充的有标签数据集Li中，并将improve设为1。
4.对于所有的模型，如果improve为1，则进行新一轮的训练，即再次对第一实体样本集L进行采样并使用子集进行训练。
最后输出三个训练好的模型M1,M2,M3，即输出训练好的原型网络模型、预训练模型、自训练模型。
在一实施例中，分类错误率表示为：
其中，表示两个分类器预测相同的样本，/>表示两个分类器预测相同但是预测错误的样本。当前分类错误率小于上一次的分类错误率/>时，说明模型的效果正在提升，采样部分第二实体样本集u，让模型/>对数据集/>进行标注，若标注的结果/>，则将该样本和伪标签加入到第一实体样本集中。标记更新标志为1，对模型重新进行排列组合，重复上述操作两次，如果三次的更新标志都为0，则迭代结束，输出三个训练好的模型。
上述半监督学习的核心思想是通过在已知的第一实体样本集中训练不同的原型网络模型、预训练模型、自训练模型，然后使用原型网络模型、预训练模型、自训练模型对未知的未标注样本进行预测，得到原型网络模型的原型未标注预测结果、预训练模型的预训练未标注预测结果以及自训练模型的自训练未标注预测结果，如果其中未标注预测结果中有至少两项相同，意味着原型网络模型、预训练模型、自训练模型中至少两个分类器给出了相同的预测结果，那么就将该未标注预测结果加入到第一实体样本集进行扩充，然后重新训练三个分类器。这一过程重复多次直到算法满足停止条件。由于利用未标注样本进行迭代训练，能够更充分地利用数据，从而提高分类性能。
步骤S125：利用更新的第一实体样本集，重复执行训练步骤训练命名实体识别网络，得到训练后的命名实体识别网络。
在一实施例中，设定多个迭代周期，在每个迭代周期内执行训练步骤，选择多个标注样本执行上述步骤，重复多次将第二实体样本集中的未标注样本转化为标注样本，从而得到扩充后的第一实体样本集，标注样本的数量增多，同时命名实体识别网络的训练精度提升，命名实体识别网络的识别准确率提升。
在一实施例中，得到训练好的命名实体识别网络后，即可用于进行待检测数据的命名实体识别，得到命名实体识别结果。
在一应用场景中，利用数据集对本申请实施例的命名实体识别网络和相关技术中的网络模型的识别性能进行了对比实验。
该场景中，将原型网络模型、预训练模型、自训练模型和相关性编码模型进行单一模型预测和简单组合方式预测，组合模型在训练过程中各自分别训练，而预测时采用加权投票方式对实体类型进行标注，除此之外，所有模型参数均保持统一。另外选择相关技术中NNShot和StructShot模型作为对比。
训练数据样本设置了三组，包括三组小样本方式5-way 5-shot、5-way 10-shot和10-way 10-shot。
各个模型在测试中F1的结果记录如下表2所示。
表2 各个模型在测试中F1的结果记录
可见在上述场景中，随着支持集训练样本数据量增大，本实施例的命名实体识别网络在不同样本数据上的表现效果提升显著，比单一模型有更好的泛化能力，说明本实施例的命名实体识别网络能更好的识别威胁情报命名实体。
威胁情报领域大量高质量的标注数据的获取困难，命名实体识别模型无法充分学习数据特征，使得模型表现不佳，因此本申请实施例针对威胁情报领域小样本数据量少，单一模型识别效果差的问题，构建的命名实体识别网络有效融合原型网络模型、预训练模型、自训练模型和相关性编码模型，通过半监督的学习方式，扩充标注样本的数量，提升命名实体识别网络的训练效果。并且通过三个不同的分类器获得语义信息，再利用相关性编码模型提升不同的语义信息之间的互补性，使其在编码层面捕获更多的威胁情报领域知识，从而提升命名实体识别网络对于威胁情报实体的识别能力。
由于威胁情报领域数据日新月异，数据具有时效性，通常需要获取最新数据来训练模型，在短时间内获取大量数据较为困难，构建小样本场景十分必要，本申请实施例的网络安全命名实体识别方法能够有效适应小样本威胁情报领域数据集的命名实体识别场景。
本申请实施例提供的技术方案，利用标注样本同时输入原型网络模型、预训练模型和自训练模型，得到三个输出值输入相关性编码模型得到预测输出值，再根据预测输出值对命名实体识别网络进行训练，然后利用半监督的方式结合命名实体识别网络对未标注样本进行标注，更新标注样本集合后继续训练命名实体识别网络，直至训练完成，利用训练后的命名实体识别网络进行命名实体识别。本实施例通过半监督的学习方式对未标注样本进行标注，扩充样本集合，提高命名实体识别网络的训练精度，从而提升命名实体识别网络的识别准确率，能够更好地适应网络安全中小样本的命名实体识别场景。
本申请实施例还提供一种网络安全命名实体识别装置，可以实现上述网络安全命名实体识别方法，参照图13，装置包括：
数据获取模块1510：用于获取待检测数据。
命名实体识别模块1520：用于将所述待检测数据输入训练后的命名实体识别网络进行命名实体识别，得到命名实体识别结果。
其中，所述命名实体识别网络包括：原型网络模型、预训练模型、自训练模型和相关性编码模型，且所述命名实体识别网络通过以下训练步骤训练得到：
利用网络安全文本信息构建样本集，所述样本集包括第一实体样本集和第二实体样本集，所述第一实体样本集包括第一数量的标注样本，所述第二实体样本集包括第二数量的未标注样本；所述标注样本包括实体标签，所述第一数量小于所述第二数量。
将所述第一实体样本集中的所述标注样本分别输入原型网络模型、预训练模型和自训练模型，对应得到第一输出值、第二输出值和第三输出值，并将所述第一输出值、所述第二输出值和所述第三输出值输入所述相关性编码模型得到预测输出值。
基于所述实体标签计算分类损失值和所述预测输出值对应的预测损失值，所述分类损失值由所述第一输出值对应的第一损失值、所述第二输出值对应的第二损失值和所述第三输出值对应的第三损失值计算得到，以及根据所述分类损失值和所述预测损失值得到总损失值，并根据所述总损失值对所述原型网络模型、所述预训练模型、所述自训练模型和所述相关性编码模型的模型权重进行权重调整。
将所述第二实体样本集中的所述未标注样本输入所述命名实体识别网络得到未标注预测结果，所述未标注预测结果包括：所述原型网络模型的原型未标注预测结果、所述预训练模型的预训练未标注预测结果以及所述自训练模型的自训练未标注预测结果；若所述未标注预测结果有至少两项相同，则将相同的所述未标注预测结果作为所述未标注样本的样本标签，使得所述未标注样本变为标注样本，以更新所述第一实体样本集。
利用更新的所述第一实体样本集，重复执行所述训练步骤训练所述命名实体识别网络，得到训练后的所述命名实体识别网络。
本实施例的网络安全命名实体识别装置的具体实施方式与上述网络安全命名实体识别方法的具体实施方式基本一致，在此不再赘述。
本申请实施例还提供了一种电子设备，包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
所述程序被存储在存储器中，处理器执行所述至少一个程序以实现本发明实施上述的网络安全命名实体识别方法。该电子设备可以为包括手机、平板电脑、个人数字助理（Personal Digital Assistant，简称PDA）、车载电脑等任意智能终端。
请参阅图14，图14示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器1601，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器1602，可以采用ROM（ReadOnlyMemory，只读存储器）、静态存储设备、动态存储设备或者RAM(RandomAccessMemory，随机存取存储器)等形式实现。存储器1602可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1602中，并由处理器1601来调用执行本申请实施例的网络安全命名实体识别方法；
输入/输出接口1603，用于实现信息输入及输出；
通信接口1604，用于实现本设备与其他设备的通信交互，可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信；和
总线1605，在设备的各个组件（例如处理器1601、存储器1602、输入/输出接口1603和通信接口1604）之间传输信息；
其中处理器1601、存储器1602、输入/输出接口1603和通信接口1604通过总线1605实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述网络安全命名实体识别方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例提出的网络安全命名实体识别方法、网络安全命名实体识别装置、电子设备、存储介质，利用标注样本同时输入原型网络模型、预训练模型和自训练模型，得到三个输出值输入相关性编码模型得到预测输出值，再根据预测输出值对命名实体识别网络进行训练，然后利用半监督的方式结合命名实体识别网络对未标注样本进行标注，更新标注样本集合后继续训练命名实体识别网络，直至训练完成，利用训练后的命名实体识别网络进行命名实体识别。本实施例通过半监督的学习方式对未标注样本进行标注，扩充样本集合，提高命名实体识别网络的训练精度，从而提升命名实体识别网络的识别准确率，能够更好地适应网络安全中小样本的命名实体识别场景。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.一种网络安全命名实体识别方法，其特征在于，所述方法包括：
获取待检测数据；
将所述待检测数据输入训练后的命名实体识别网络进行命名实体识别，得到命名实体识别结果；
其中，所述命名实体识别网络包括：原型网络模型、预训练模型、自训练模型和相关性编码模型，且所述命名实体识别网络通过以下训练步骤训练得到：
利用网络安全文本信息构建样本集，所述样本集包括第一实体样本集和第二实体样本集，所述第一实体样本集包括第一数量的标注样本，所述第二实体样本集包括第二数量的未标注样本；所述标注样本包括实体标签，所述第一数量小于所述第二数量；
将所述第一实体样本集中的所述标注样本分别输入原型网络模型、预训练模型和自训练模型，对应得到第一输出值、第二输出值和第三输出值，并将所述第一输出值、所述第二输出值和所述第三输出值输入所述相关性编码模型得到预测输出值；
基于所述实体标签计算分类损失值和所述预测输出值对应的预测损失值，所述分类损失值由所述第一输出值对应的第一损失值、所述第二输出值对应的第二损失值和所述第三输出值对应的第三损失值计算得到，以及根据所述分类损失值和所述预测损失值得到总损失值，并根据所述总损失值对所述原型网络模型、所述预训练模型、所述自训练模型和所述相关性编码模型的模型权重进行权重调整；
将所述第二实体样本集中的所述未标注样本输入所述命名实体识别网络得到未标注预测结果，所述未标注预测结果包括：所述原型网络模型的原型未标注预测结果、所述预训练模型的预训练未标注预测结果以及所述自训练模型的自训练未标注预测结果；若所述未标注预测结果有至少两项相同，则将相同的所述未标注预测结果作为所述未标注样本的样本标签，使得所述未标注样本变为标注样本，以更新所述第一实体样本集；
利用更新的所述第一实体样本集，重复执行所述训练步骤训练所述命名实体识别网络，得到训练后的所述命名实体识别网络；
计算所述分类损失值的过程包括：
分别计算所述第一损失值的第一相似度、所述第二损失值的第二相似度以及所述第三损失值的第三相似度；
根据所述第一相似度、所述第二相似度和所述第三相似度得到所述原型网络模型的第一权重、所述预训练模型的第二权重和所述自训练模型的第三权重；
基于所述第一权重和第一损失值计算第一中间值、基于所述第二权重和第二损失值计算第二中间值以及基于所述第三权重和第三损失值计算第三中间值；
根据所述第一中间值、所述第二中间值和所述第三中间值得到所述分类损失值；
所述相关性编码模型包括三个子模型，所述子模型包括更新门和重置门；所述将所述第一输出值、所述第二输出值和所述第三输出值输入所述相关性编码模型得到预测输出值，包括：
将所述第一输出值、所述第二输出值和所述第三输出值分别输入所述子模型进行知识学习，得到所述第一输出值的第一预测值、所述第二输出值的第二预测值，所述第三输出值的第三预测值；
将所述第一预测值、所述第二预测值和所述第三预测值输入softmax层计算得到所述预测输出值；
基于所述实体标签计算所述预测输出值对应的预测损失值的过程包括：
两两计算所述第一预测值、所述第二预测值和所述第三预测值得到三个相关度值；
根据三个所述相关度值计算得到总相关值；
根据所述总相关值计算得到所述预测损失值；
第t个时刻的相关度值表示为：
其中，k和表示不同的所述子模型，/>表示所有的所述子模型，训练过程中每个训练批次有L个所述标注样本，i表示第i个所述标注样本，/>表示所述子模型k计算的隐藏状态，表示子模型/>计算的隐藏状态，/>表示子模型k计算的隐藏状态的均值，/>表示子模型/>计算的隐藏状态的均值，所述隐藏状态包括：第一预测值、第二预测值和第三预测值。
2.根据权利要求1所述的一种网络安全命名实体识别方法，其特征在于，将所述第一实体样本集中的所述标注样本输入所述原型网络模型得到所述原型网络模型的第一输出值，并计算所述第一输出值对应的第一损失值，包括：
将所述标注样本输入所述原型网络模型，得到第一分类向量；
计算所述第一分类向量和各分类结果的原型向量之间的向量距离；
根据所述向量距离计算得到所述第一输出值；
将所述第一输出值输入原型网络损失函数计算得到所述第一损失值。
3.根据权利要求2所述的一种网络安全命名实体识别方法，其特征在于，将所述第一实体样本集中的所述标注样本输入所述预训练模型得到所述预训练模型的第二输出值，并计算所述第二输出值对应的第二损失值，包括：
获取所述标注样本的嵌入向量，所述嵌入向量由词嵌入向量、位置嵌入向量和段嵌入向量生成；
将所述嵌入向量输入所述预训练模型得到所述第二输出值；
根据所述第二输出值输入预训练模型损失函数计算得到所述第二损失值。
4.根据权利要求3所述的一种网络安全命名实体识别方法，其特征在于，将所述第一实体样本集中的所述标注样本输入所述自训练模型得到所述自训练模型的第三输出值，并计算所述第三输出值对应的第三损失值，包括：
获取所述标注样本的所述嵌入向量；
将所述嵌入向量输入所述自训练模型得到位置特征向量；
将所述位置特征向量作为状态信息得到所述第三输出值；
将所述第三输出值输入自训练模型损失函数计算得到所述第三损失值。
5.根据权利要求1所述的一种网络安全命名实体识别方法，其特征在于，所述子模型进行知识学习的过程包括：
将输入值输入重置门得到第一隐状态；所述输入值包括：所述第一输出值、所述第二输出值或所述第三输出值；
将所述输入值输入更新门得到第二隐状态；
根据所述输入值计算得到中间隐状态；
根据所述第一隐状态、所述中间隐状态和所述第二隐状态得到输出值；所述输出值包括：所述第一预测值、所述第二预测值或所述第三预测值。
6.根据权利要求1至5任一项所述的一种网络安全命名实体识别方法，其特征在于，所述利用网络安全文本信息构建样本集，包括：
获取网络安全数据，并从所述网络安全数据中提取得到所述网络安全文本信息；
对所述网络安全文本信息进行分句操作，得到多个样本句；
将所述多个样本句分为第一句集合和第二句集合；
利用标注工具对所述第一句集合中每个所述样本句进行标注得到所述标注样本；
利用所述标注样本构建所述第一实体样本集，以及将所述第二句集合中所述样本句作为未标注样本构建所述第二实体样本集。
7.根据权利要求6所述的一种网络安全命名实体识别方法，其特征在于，所述利用标注工具对所述第一句集合中每个所述样本句进行标注得到所述标注样本，包括：利用标注工具在每个所述样本句中分词的第一位置和第二位置进行实体标签标注得到所述标注样本；所述实体标签包括：风险软件、风险软件所属家族、风险行为者、正常群体、风险时间、风险地址、风险动机、攻击活动、传播方式、资产信息、漏洞信息、风险工具、风险情报、被攻击行业、防御措施中一种或多种。
8.一种网络安全命名实体识别装置，其特征在于，所述装置包括：
数据获取模块：用于获取待检测数据；
命名实体识别模块：用于将所述待检测数据输入训练后的命名实体识别网络进行命名实体识别，得到命名实体识别结果；
其中，所述命名实体识别网络包括：原型网络模型、预训练模型、自训练模型和相关性编码模型，且所述命名实体识别网络通过以下训练步骤训练得到：
利用网络安全文本信息构建样本集，所述样本集包括第一实体样本集和第二实体样本集，所述第一实体样本集包括第一数量的标注样本，所述第二实体样本集包括第二数量的未标注样本；所述标注样本包括实体标签，所述第一数量小于所述第二数量；
将所述第一实体样本集中的所述标注样本分别输入原型网络模型、预训练模型和自训练模型，对应得到第一输出值、第二输出值和第三输出值，并将所述第一输出值、所述第二输出值和所述第三输出值输入所述相关性编码模型得到预测输出值；
基于所述实体标签计算分类损失值和所述预测输出值对应的预测损失值，所述分类损失值由所述第一输出值对应的第一损失值、所述第二输出值对应的第二损失值和所述第三输出值对应的第三损失值计算得到，以及根据所述分类损失值和所述预测损失值得到总损失值，并根据所述总损失值对所述原型网络模型、所述预训练模型、所述自训练模型和所述相关性编码模型的模型权重进行权重调整；
将所述第二实体样本集中的所述未标注样本输入所述命名实体识别网络得到未标注预测结果，所述未标注预测结果包括：所述原型网络模型的原型未标注预测结果、所述预训练模型的预训练未标注预测结果以及所述自训练模型的自训练未标注预测结果；若所述未标注预测结果有至少两项相同，则将相同的所述未标注预测结果作为所述未标注样本的样本标签，使得所述未标注样本变为标注样本，以更新所述第一实体样本集；
利用更新的所述第一实体样本集，重复执行所述训练步骤训练所述命名实体识别网络，得到训练后的所述命名实体识别网络；
计算所述分类损失值的过程包括：
分别计算所述第一损失值的第一相似度、所述第二损失值的第二相似度以及所述第三损失值的第三相似度；
根据所述第一相似度、所述第二相似度和所述第三相似度得到所述原型网络模型的第一权重、所述预训练模型的第二权重和所述自训练模型的第三权重；
基于所述第一权重和第一损失值计算第一中间值、基于所述第二权重和第二损失值计算第二中间值以及基于所述第三权重和第三损失值计算第三中间值；
根据所述第一中间值、所述第二中间值和所述第三中间值得到所述分类损失值；
所述相关性编码模型包括三个子模型，所述子模型包括更新门和重置门；所述将所述第一输出值、所述第二输出值和所述第三输出值输入所述相关性编码模型得到预测输出值，包括：
将所述第一输出值、所述第二输出值和所述第三输出值分别输入所述子模型进行知识学习，得到所述第一输出值的第一预测值、所述第二输出值的第二预测值，所述第三输出值的第三预测值；
将所述第一预测值、所述第二预测值和所述第三预测值输入softmax层计算得到所述预测输出值；
基于所述实体标签计算所述预测输出值对应的预测损失值的过程包括：
两两计算所述第一预测值、所述第二预测值和所述第三预测值得到三个相关度值；
根据三个所述相关度值计算得到总相关值；
根据所述总相关值计算得到所述预测损失值；
第t个时刻的相关度值表示为：
其中，k和表示不同的所述子模型，/>表示所有的所述子模型，训练过程中每个训练批次有L个所述标注样本，i表示第i个所述标注样本，/>表示所述子模型k计算的隐藏状态，表示子模型/>计算的隐藏状态，/>表示子模型k计算的隐藏状态的均值，/>表示子模型/>计算的隐藏状态的均值，所述隐藏状态包括：第一预测值、第二预测值和第三预测值。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的网络安全命名实体识别方法。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的网络安全命名实体识别方法。
CN202310823366.8A 2023-07-06 2023-07-06 网络安全命名实体识别方法、装置、设备和存储介质 Active CN116545779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310823366.8A CN116545779B (zh) 2023-07-06 2023-07-06 网络安全命名实体识别方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310823366.8A CN116545779B (zh) 2023-07-06 2023-07-06 网络安全命名实体识别方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN116545779A CN116545779A (zh) 2023-08-04
CN116545779B true CN116545779B (zh) 2023-10-03

Family

ID=87456384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310823366.8A Active CN116545779B (zh) 2023-07-06 2023-07-06 网络安全命名实体识别方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN116545779B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363231A (zh) * 2019-06-27 2019-10-22 平安科技（深圳）有限公司 基于半监督深度学习的异常识别方法、装置及存储介质
CN111553164A (zh) * 2020-04-29 2020-08-18 平安科技（深圳）有限公司 命名实体识别模型的训练方法、装置、计算机设备
WO2020165610A1 (en) * 2019-02-15 2020-08-20 Sophos Limited Systems and methods for conducting a security recognition task
CN111738004A (zh) * 2020-06-16 2020-10-02 中国科学院计算技术研究所 一种命名实体识别模型的训练方法及命名实体识别的方法
CN112733541A (zh) * 2021-01-06 2021-04-30 重庆邮电大学 基于注意力机制的BERT-BiGRU-IDCNN-CRF的命名实体识别方法
CN113239982A (zh) * 2021-04-23 2021-08-10 北京旷视科技有限公司 检测模型的训练方法、目标检测方法、装置和电子系统
CN115935219A (zh) * 2021-09-18 2023-04-07 中国电信股份有限公司 数据处理方法、装置和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020165610A1 (en) * 2019-02-15 2020-08-20 Sophos Limited Systems and methods for conducting a security recognition task
CN110363231A (zh) * 2019-06-27 2019-10-22 平安科技（深圳）有限公司 基于半监督深度学习的异常识别方法、装置及存储介质
CN111553164A (zh) * 2020-04-29 2020-08-18 平安科技（深圳）有限公司 命名实体识别模型的训练方法、装置、计算机设备
WO2021218024A1 (zh) * 2020-04-29 2021-11-04 平安科技（深圳）有限公司 命名实体识别模型的训练方法、装置、计算机设备
CN111738004A (zh) * 2020-06-16 2020-10-02 中国科学院计算技术研究所 一种命名实体识别模型的训练方法及命名实体识别的方法
CN112733541A (zh) * 2021-01-06 2021-04-30 重庆邮电大学 基于注意力机制的BERT-BiGRU-IDCNN-CRF的命名实体识别方法
CN113239982A (zh) * 2021-04-23 2021-08-10 北京旷视科技有限公司 检测模型的训练方法、目标检测方法、装置和电子系统
CN115935219A (zh) * 2021-09-18 2023-04-07 中国电信股份有限公司 数据处理方法、装置和系统

Also Published As

Publication number Publication date
CN116545779A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN112487807B (zh) 一种基于膨胀门卷积神经网络的文本关系抽取方法
CN112800776B (zh) 双向gru关系抽取数据处理方法、系统、终端、介质
CN113095415B (zh) 一种基于多模态注意力机制的跨模态哈希方法及系统
Wei et al. Positive and Unlabeled Learning for Detecting Software Functional Clones with Adversarial Training.
CN113392209B (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN113434858B (zh) 基于反汇编代码结构和语义特征的恶意软件家族分类方法
CN113704460B (zh) 一种文本分类方法、装置、电子设备和存储介质
CN111881256B (zh) 文本实体关系抽取方法、装置及计算机可读存储介质设备
CN114490953B (zh) 训练事件抽取模型的方法、事件抽取的方法、装置及介质
WO2023159767A1 (zh) 目标词语的检测方法、装置、电子设备及存储介质
CN113505601A (zh) 一种正负样本对构造方法、装置、计算机设备及存储介质
CN116258137A (zh) 文本纠错方法、装置、设备和存储介质
CN111611395B (zh) 一种实体关系的识别方法及装置
CN113221553A (zh) 一种文本处理方法、装置、设备以及可读存储介质
Zhu et al. CCBLA: a lightweight phishing detection model based on CNN, BiLSTM, and attention mechanism
CN111145914A (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN116545779B (zh) 网络安全命名实体识别方法、装置、设备和存储介质
Shan Social Network Text Sentiment Analysis Method Based on CNN‐BiGRU in Big Data Environment
CN113836308B (zh) 网络大数据长文本多标签分类方法、系统、设备及介质
Gao et al. Citation entity recognition method using multi‐feature semantic fusion based on deep learning
Zhou et al. [Retracted] Emotion Analysis Based on Neural Network under the Big Data Environment
CN114298032A (zh) 文本标点检测方法、计算机设备及存储介质
CN113392929A (zh) 一种基于词嵌入与自编码器融合的生物序列特征提取方法
CN113822018A (zh) 实体关系联合抽取方法
Jony et al. Domain specific fine tuning of pre-trained language model in NLP

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant