CN117909910A - 基于图注意力网络的系统异常日志自动检测方法 - Google Patents

基于图注意力网络的系统异常日志自动检测方法 Download PDF

Info

Publication number
CN117909910A
CN117909910A CN202410308773.XA CN202410308773A CN117909910A CN 117909910 A CN117909910 A CN 117909910A CN 202410308773 A CN202410308773 A CN 202410308773A CN 117909910 A CN117909910 A CN 117909910A
Authority
CN
China
Prior art keywords
graph
log
representing
feature
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410308773.XA
Other languages
English (en)
Inventor
陈松
廖海
刘心怡
梁艳
董昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Technological University CDTU
Original Assignee
Chengdu Technological University CDTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Technological University CDTU filed Critical Chengdu Technological University CDTU
Priority to CN202410308773.XA priority Critical patent/CN117909910A/zh
Publication of CN117909910A publication Critical patent/CN117909910A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及系统异常日志检测技术领域，公开了一种基于图注意力网络的系统异常日志自动检测方法，包括S1、为所有需要进行判断的日志样本数据分别单独构建对应的日志无向图，分别将所述日志无向图基于图注意力网络得到每个所述日志样本数据的图嵌入向量；S2、将所有的所述图嵌入向量输入至图注意力网络中进行学习语义特征得到每个所述日志无向图的第一图表示特征；S3、分别将所有所述第一图表示特征输入至特征投影网络中，利用特征投影技术对所有所述第一图表示特征进行增强，分别得到第二图表示特征；S4、利用全连接网络对所有所述第二图表示特征进行分类，得到异常日志类别。本发明提高自动检测异常日志的准确率。

Description

基于图注意力网络的系统异常日志自动检测方法
技术领域
本发明涉及系统异常日志检测技术领域，具体涉及一种基于图注意力网络的系统异常日志自动检测方法。
背景技术
随着IT技术的全球化发展，对信息系统的可靠性要求越来越高，系统运行质量直接影响企业的业务持续性和用户满意度。系统日志记录了各种设备的运行状态、设备相互之间的连接关系和异常事件。日志是网络和服务管理中最有价值的数据之一，日志常常由设备名称、IP地址、消息内容、发生时间、故障级别等组成。
通过对系统异常日志的分析：（1）可以及时发现和预防网络故障，保证网络的连续健康运行；（2）安全人员可以通过分析异常日志数据，来了解攻击者的行为轨迹，包括攻击时间、攻击方式、受攻击的系统等信息；（3）通过分析异常日志数据（异常日志样本数据），可以了解系统存在的安全漏洞和薄弱环节，有助于改进安全策略。
由于网络和服务器出现故障会严重影响用户体验，大中型企业需要持续监控这些设备的运行状态，并以系统日志的形式记录下来。因此，在企业内部，每天都会产生大量的日志信息。海量日志不可能依靠运维工程师进行手动分析和处理，需要将接收到的信息通过算法识别为不同类型的日志，如CPU过载、IP地址不可达、DDOS攻击、磁盘空间分配失败……等，然后再按照策略对不同类型的日志进行处理，这样可以极大程度减轻运维工程师的工作量，并提高处理系统故障的效率。
日志分析在很大程度上依赖于正则表达式，而正则表达式是由开发人员手动设计和维护的，这种方式存在以下局限：（1）日志数量迅速增加，使得这种手动的方式显得力不从心。例如，一个大型服务系统每天可生成1200 GB 的海量日志。（2）设备种类千差万别，即使是相同类型的设备，厂商也可能不一样，因此，会导致日志内容不一样，依靠人工管理的方式非常困难。（3）系统中的日志语句更新频繁，为了维护正确的正则表达式集，开发人员需要定期检查所有日志语句，这既繁琐又容易出错。因此，需要按照消息内容提供一种日志自动分类的方法，替代传统的正则表达式方法，提高开发人员处理故障的效率。
发明内容
传统的异常日志检测主要依靠开发人员手动设计和维护正则表达式，这种方式效率低，且不能适应大规模的日志检测处理，本发明提供一种基于图注意力网络的系统异常日志自动检测方法与系统，用于大、中型企事业单位在海量日志中进行自动检测和发现异常日志。
本发明通过下述技术方案实现：
一种基于图注意力网络的系统异常日志自动检测方法，包括如下步骤：
S1、为所有需要进行判断的日志样本数据分别单独构建对应的日志无向图，分别将所述日志无向图基于图注意力网络得到每个所述日志样本数据的图嵌入向量；
S2、将所有的所述图嵌入向量输入至图注意力网络中进行学习语义特征得到每个所述日志无向图的第一图表示特征；
S3、分别将所有所述第一图表示特征输入至特征投影网络中，利用特征投影技术对所有所述第一图表示特征进行增强，分别得到具备对应所述日志样本数据全局语义的第二图表示特征；
S4、利用全连接网络对所有所述第二图表示特征进行分类，得到异常日志类别。
作为优化，S1中，为其中一个日志样本数据单独构建对应的日志无向图，并将所述日志无向图转换到向量空间从而得到其中一个日志样本数据的图嵌入向量的具体过程为：
S1.1、将日志样本数据中的每个单词分别视为一个节点，得到该日志样本数据中的节点集V，同时分别将每两个单词之间的位置距离表示为该两个单词对应的节点之间的边，得到该日志样本数据中的边集E，其中，所述位置距离等于该两个单词之间且不包含该两个单词的单词数量+1，所述节点集V和边集E组成日志无向图G，G = (V，E)；
S1.2、针对所述日志无向图G中的每个节点，使用单词特征对节点嵌入向量进行初始化，即将所述日志样本数据中的每个单词表示为词向量，节点嵌入向量表示为，其中 d 是嵌入维度，R表示实数，/>表示节点集V中的节点；
S1.3、针对所述日志无向图G中的每一条边，使用单词间的距离特征对边嵌入向量进行初始化，即根据两个单词之间的位置距离表示该两个单词之间的边嵌入向量，边嵌入向量表示为，其中 d 是嵌入维度，R表示实数，/>表示边集E中的边；
S1.4、将所述日志无向图对应的每个节点嵌入向量和边嵌入向量作为所述图注意力网络的输入，利用图注意力网络通过前向传播进行训练从而学习该日志无向图对应的每个节点嵌入向量和边嵌入向量，进而得到所述日志无向图的图嵌入向量，其中，所述节点嵌入向量和边嵌入向量通过所述注意力网络得到所述图嵌入向量的过程的公式为：
；
；
；
；
；
其中，A是一个邻接矩阵，邻接矩阵即边嵌入向量，为存储边的关系信息的矩阵，；W、U 和 b 分别是可训练的权重、权重学习系数和偏移；z 和 r 分别作为所述注意力网络中的更新门和重置门，以确定邻居信息在多大程度上对当前节点嵌入向量的贡献程度；/>表示第t个节点的节点嵌入向量，/>表示第t个图层的节点嵌入向量，/>表示第t个图层的边嵌入向量，/>表示第t个图层的节点和边嵌入向量，/>表示经过第t个图层后的图嵌入向量，即最终的图嵌入向量，/>表示经过第t-1个图层后的图嵌入向量，/>表示节点嵌入向量的待学习权重、/>表示边嵌入向量的待学习权重、/>为权重学习系数、/>表示节点嵌入向量的偏移、/>表示边嵌入向量的偏移、/>表示边嵌入向量的总偏移，/>表示邻居节点的注意力、/>表示图注意力网络中的多层感知器。
作为优化，S2的具体步骤为：
S2.1、将每个所述图嵌入向量分别输入至所述图注意力网络中，每个所述图嵌入向量中的节点经过所述图注意力网络充分更新后汇总为日志的图层表示，并输出日志图特征向量，所述日志图特征向量的输出函数定义如下：
；
；
其中，和/>是所述图注意力网络的两个多层感知器，/>表示日志图特征向量，/>表示第t个图层的节点特征，/>表示多层感知器，/>表示经过感知器后的节点特征表示，/>表示节点集中的节点数量；
S2.2、将所述日志图特征向量输入至softmax层中进行归一化得到第一图表示特征，并通过交叉熵函数使损失最小化：
；
；
其中，表示第个第一图表示特征的损失权重，/>表示第一图表示特征；/>表示第i个日志样本数据对应的第一图表示特征，W和b分别是可训练的权重和偏移，/>是所述图注意力网络中所有图层的损失值，/>表示softmax层的输入。
作为优化，S3中，所述特征投影网络包括C-net模型和P-net模型，S3的具体过程为：
S3.1、对所述C-net模型进行学习训练，使得所述C-net模型能够提取不同类别的共同特征，其中，所述C-net模型从数据输入到输出依次设置有第一输入层、第一特征提取器、梯度反转层GRL和第一分类层/>，所述P-net模型从数据输入到输出依次设置有第二输入层、第二特征提取器/>、正交投影层OPL和最终分类层/>；
S3.2、将所述第一图表示特征输入至进行训练学习后的所述C-net模型中，得到对应的共同特征向量；
S3.3、将所述第一图表示特征输入至所述P-net模型中，得到对应的传统特征向量，然后将对应同一个所述第一图表示特征的所述传统特征向量/>和共同特征向量/>输入至所述正交投影层OPL中进行正交投影操作，得到第二图表示特征。
作为优化，S3.1中，对所述C-net模型进行学习训练的过程为：
S3.1.1、将所述第一图表示特征通过所述第一输入层输入至第一特征提取器中，使得所述第一特征提取器/>提取所述第一图表示特征的共同特征向量/>，所述共同特征向量表示为；
；
其中，表示从所述第一输入层进入到第一特征提取器/>中的第一图表示特征，表示提取共同特征向量的CNN网络；
S3.1.2、通过所述梯度反转层GRL处理所述共同特征向量得到结果/>，并将处理得到的结果输入至所述第一分类层/>中，所述第一分类层/>的输出表示为：
；
、/>表示第一分类层的的权重和偏差，/>表示第一分类层的输出结果；
S3.1.3、使用交叉熵损失函数得到所述第一分类层的学习损失函数/>，从而使得第一特征提取器/>能够提取不同类别的共同特征向量；
其中，所述第一分类层的学习损失函数/>表示为：
；
表示正确的预测结果，/>表示第一分类层/>的输出结果，即通过所述第一分类层对所述梯度反转层的输出结果/>进行预测的结果。
作为优化，S3.1.2中，通过所述梯度反转层GRL处理所述共同特征向量得到结果的具体表达式为：
；
表示共同特征向量/>通过梯度反转层GRL处理后得到的处理结果；
包括如下方程：
；
；
其中，是超参数，/>表示梯度反转层GRL的损失值。
作为优化，S3.3的具体过程为：
S3.3.1、将所述第一图表示特征通过第二输入层输入至第二特征提取器中，使得第二特征提取器/>提取所述第一图表示特征的传统特征向量/>，所述传统特征向量/>表示为：
；
其中，表示从所述第二输入层进入到第二特征提取器/>中的第一图表示特征；表示提取传统特征向量的CNN网络；
S3.3.2、通过正交投影层OPL将传统特征向量投影到所述共同特征向量/>上，其计算如下：
；
其中，表示投影特征向量，/>是投影函数，其计算如下：
；
S3.3.3、通过正交投影层OPL在传统投影特征向量的正交方向上进行投影，得到经过提炼的分类特征向量，具体为：
；
其中，是最终正交投影特征向量；
S3.3.4、最后，将所述最终正交投影特征向量输入至最终分类层/>中进行分类：
；
；
其中，和/>分别是最终分类层/>的权重和偏差，/>表示最终分类层/>的输出结果，即通过最终分类层/>对所述正交投影层的输出结果进行分类的结果，即第二图表示特征，/>表示特征投影损失函数，/>表示正确的预测结果。
作为优化，还包括计算总损失函数：
；
其中，是所述图注意力网络和特征投影网络组成的模型的特征总损失函数，是为在图注意力网络中进行日志图表示学习的损失函数，/>，/>是特征投影网络的损失函数，/>。
作为优化，S4的具体过程为：
S4.1、创建全连接神经网络；
S4.2、将所有的第二图表示特征分别输入至全连接神经网络得到每个所述第二图表示特征的分类情况；
S4.3、从所有的分类情况中筛选出异常情况类别，该异常情况类别对应的日志样本数据即为异常日志类别。
作为优化，S4.2的具体过程为：
将第二图表示特征输入到所述全连接神经网络中，得到权重向量和偏差项/>，使用交叉熵损失函数来计算日志异常检测的损失估计，交叉熵损失函数具体为：
；
其中，，/>表示第i个日志样本数据的标签y，f为激活函数、/>表示第i个日志样本数据的损失，/>取值为1表示该日志样本数据异常，/>取值为0表示该日志样本数据正常，/>表示第i个日志样本数据被预测为正值的概率，N表示日志样本数据的个数。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明提供了一种基于图注意力网络的系统异常日志自动检测方法，能够在运维工程师处理故障前自动从海量日志中发现异常日志，提高了检测正确性和效率。
本发明避免了需要开发人员定期检查所有日志语句，提高系统的可维护性。
本发明能增加日志文本向量的可区分度，提高自动检测异常日志的准确率。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明所述的一种基于图注意力网络的系统异常日志自动检测方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
本实施例1提供一种基于图注意力网络的系统异常日志自动检测方法，如图1所示，包括如下步骤：
S1、为所有需要进行判断的日志样本数据分别单独构建对应的日志无向图，这样可以获取日志样本数据的局部结构的细粒度单词表示，有效地为新日志中的未见单词生成词嵌入向量和边嵌入向量，然后分别将所述日志无向图基于图注意力网络得到每个所述日志样本数据的图嵌入向量；
本实施例中，在执行S1时，分别为每一个日志样本数据单独构建对应的日志无向图，其中，为其中一个日志样本数据单独构建对应的日志无向图，并将所述日志无向图转换到向量空间从而得到其中一个日志样本数据的图嵌入向量的具体过程为：
S1.1、将日志样本数据中的每个单词分别视为一个节点，得到该日志样本数据中的节点集V，同时分别将每两个单词之间的位置距离表示为该两个单词对应的节点之间的边，得到该日志样本数据中的边集E，其中，所述位置距离等于该两个单词之间且不包含该两个单词的单词数量+1，所述节点集V和边集E组成日志无向图G，G = (V，E)；
S1.2、针对所述日志无向图G中的每个节点，使用单词特征对节点嵌入向量进行初始化，即将所述日志样本数据中的每个单词表示为词向量，节点嵌入向量表示为，其中 d 是嵌入维度，R表示实数，/>表示节点集V中的节点；
单词特征是指日志序列中每个单词文本表示的词向量；图注意力网络的输入为节点嵌入向量和边嵌入向量，而本发明的节点嵌入使用单词特征（词向量）。图注意力网络是一种图神经网络，英文术语GAT。
S1.3、针对所述日志无向图G中的每一条边，使用单词间的距离特征对边嵌入向量进行初始化，即根据两个单词之间的位置距离表示该两个单词之间的边嵌入向量，边嵌入向量表示为，其中 d 是嵌入维度，R表示实数，/>表示边集E中的边；例如句子中词A和词C的距离可以表示为2，可得距离特征为：2的向量表示。
S1.4、基于日志无向图的单词交互：将所述日志无向图对应的每个节点嵌入向量和边嵌入向量作为所述图注意力网络的输入，利用图注意力网络通过前向传播进行训练从而学习该日志无向图对应的每个节点嵌入向量和边嵌入向量，进而得到所述日志无向图的图嵌入向量，以便于根据图注意力机制学习到更好的日志样本数据的语义表示，在学习过程中，节点可以从该节点相邻的邻居节点（图注意力网络中有两种节点，当前节点和邻居节点）那里接收信息a（通过图注意力网络中的注意力机制，公式如下），然后通过图注意力网络中的注意力机制将该信息a与该节点的描述进行合并更新，公式如下，图层（图注意力网络和其他网络一样，由多层组成。图层指图注意力网络中的层，layer）对直接相邻的邻居节点进行操作，可以将图层堆叠 t 次，以实现更远交互，即一个节点可以到达 t 跳之外的另一个节点（t跳指节点间的距离。例如日志无向图中的其中一个路径为a→b→c，则从a节点到c节点的距离为2，则t=2），其中，所述节点嵌入向量和边嵌入向量通过所述注意力网络得到所述图嵌入向量的过程的公式为：
；
；
；
；
；
其中，A是一个邻接矩阵，邻接矩阵即边嵌入向量，为存储边的关系信息的矩阵，；W、U 和 b 分别是可训练的权重、权重学习系数和偏移；z 和 r 分别作为所述注意力网络中的更新门和重置门，以确定邻居信息在多大程度上对当前节点嵌入向量的贡献程度；/>表示第t个节点的节点嵌入向量，/>表示第t个图层的节点嵌入向量，/>表示第t个图层的边嵌入向量，/>表示第t个图层的节点和边嵌入向量，/>表示经过第t个图层后的图嵌入向量，即最终的图嵌入向量，/>表示经过第t-1个图层后的图嵌入向量，/>表示节点嵌入向量的待学习权重、/>表示边嵌入向量的待学习权重、/>为权重学习系数、/>表示节点嵌入向量的偏移、/>表示边嵌入向量的偏移、/>表示边嵌入向量的总偏移，/>表示邻居节点的注意力、/>表示图注意力网络中的多层感知器。
在步骤S1.2~S1.3中完成了初始化图注意力网络（GAT），GAT的输入为节点嵌入向量和边嵌入向量。步骤S1.4的图嵌入是将节点嵌入向量和边嵌入向量作为图注意力网络的输入并对图注意力网络进行前向传播，得到图嵌入向量。
S2、将所有的所述图嵌入向量输入至图注意力网络中进行学习语义特征得到每个所述日志无向图的第一图表示特征；
具体步骤为：
S2.1、将每个所述图嵌入向量分别输入至所述图注意力网络中，每个所述图嵌入向量中的节点经过所述图注意力网络充分更新后汇总为日志的图层表示，并输出日志图特征向量，所述日志图特征向量的输出函数定义如下：
；
；
其中，和/>是所述图注意力网络的两个多层感知器，/>表示日志图特征向量，/>表示第t个图层的节点特征，/>表示多层感知器，/>表示经过感知器后的节点特征表示，/>表示节点集中的节点数量。
S2.2、将所述日志图特征向量输入至softmax层中进行归一化得到第一图表示特征，并通过交叉熵函数使损失最小化：
；
；
其中，表示第个第一图表示特征的损失权重，为一个超参数，/>表示第一图表示特征，/>表示第i个日志样本数据对应的第一图表示特征；W和b分别是可训练的权重和偏移，/>是所述图注意力网络中所有图层的损失值。
S3、分别将所有所述第一图表示特征输入至特征投影网络中，利用特征投影技术对所有所述第一图表示特征进行增强，分别得到具备对应所述日志样本数据全局语义的第二图表示特征；
将图表示特征输入到特征投影网络中，将现有特征投影到共同特征的正交空间中，这样得到的投影与共同特征垂直，对分类的区分度更高。
S3中，所述特征投影网络包括C-net模型和P-net模型，S3的具体过程为：
S3.1、对所述C-net模型进行学习训练，使得所述C-net模型能够提取不同类别的共同特征，其中，所述C-net模型从数据输入到输出依次设置有第一输入层、第一特征提取器、梯度反转层GRL和第一分类层/>，所述P-net模型从数据输入到输出依次设置有第二输入层、第二特征提取器/>、正交投影层OPL和最终分类层/>；
C-net 模型的目标是提取共同特征向量，P-net模型的目标是计算用于分类的提炼特征，并将学习到的完整日志向量投影到一个更具区分度的语义空间，以消除共同特征的影响。特征投影的思想是将特征提取器计算出的特征向量/>投影到C-net中/>所提取的特征向量/>的正交方向。即从输入日志中提取的全部信息/>被投影到一个可辨别的语义空间，以便在最终分类时进行提炼。
CNN提取器（C-net 模型）。C-net和P-net采用CNN从输入的日志向量提取特征信息，这两个子网络的特征提取器 CNN 结构也相同，但没有共享参数。P-net和 C-net的特征提取器分别为、/>，其提取的特征分别描述为：
；
；
对所述C-net模型进行学习训练的过程为：
S3.1.1、将所述第一图表示特征通过所述第一输入层输入至第一特征提取器中，使得所述第一特征提取器/>提取所述第一图表示特征的共同特征向量/>，所述共同特征向量/>为所述C-net模型和P-net模型获取到的相似特征，所述共同特征向量/>表示为；
；
其中，表示从所述第一输入层进入到第一特征提取器/>中的第一图表示特征，表示提取共同特征向量的CNN网络；在深度学习中，CNN网络（如Lenet，VGG，ResNet等）被广泛用于图像识别任务，它们具有提取共享特征的能力。
S3.1.2、通过所述梯度反转层GRL处理所述共同特征向量得到结果/>，并将处理得到的结果输入至所述第一分类层/>中，所述第一分类层/>的输出表示为：
；
、/>表示第一分类层的的权重和偏差，/>表示第一分类层/>的输出结果；
通过所述梯度反转层GRL处理所述共同特征向量得到结果/>的具体表达式为：
；
表示共同特征向量/>通过梯度反转层GRL处理后得到的处理结果；
包括如下方程：
；
；
其中，是超参数，/>表示梯度反转层GRL的损失值，/>表示从所述第一输入层进入到第一特征提取器/>中的第一图表示特征。即/>最终等于/>。
此处使用的梯度反转是现有技术，通过人为在损失中加入负数。
S3.1.3、使用交叉熵损坏函数得到所述第一分类层的学习损失/>，从而使得第一特征提取器/>能够提取不同类别的共同特征；
其中，所述第一分类层的学习损失函数/>表示为：
；
表示正确的预测结果，/>表示第一分类层/>的输出结果，即通过所述第一分类层对所述梯度反转层的输出结果/>进行预测的结果。
C-net 模型的目标是提取共同特征，即输入日志（第一图表示特征）的语义信息，这些信息对分类任务没有区分作用。在不失一般性的前提下，将梯度反转层视为一个“伪函数”，有两个描述其正向和反向传播行为的不相容方程：
；
。
因为使用了特征投影技术，所以通过交叉熵损失函数得到所述第一分类层的学习损失函数/>就可以使得第一特征提取器/>能够提取不同类别的共同特征。
S3.2、将所述第一图表示特征输入至进行训练学习后的所述C-net模型中，得到对应的共同特征向量；
S3.3、将所述第一图表示特征输入至所述P-net模型中，得到对应的传统特征向量，然后将对应同一个所述第一图表示特征的所述传统特征向量/>和共同特征向量/>输入至所述正交投影层OPL中进行正交投影操作，得到第二图表示特征。
P-net模型从输入日志中提取完整的语义信息，然后将其投影到经过提炼的语义空间中进行分类。将特征提取器提取的特征/>投影到由/>提取的共同特征/>的正交方向上，提炼了对分类非常有效的特征（例如，服务器日志分类中与存储读写日志相关的信息）。将传统特征向量/>投影到这个正交特征空间，可以保留分辨信息，并去除那些对分类任务无益甚至会造成混淆的类的共同特征。
具体过程为：
S3.3.1、将所述第一图表示特征通过第二输入层输入至第二特征提取器中，使得第二特征提取器/>提取所述第一图表示特征的传统特征向量/>，所述传统特征向量/>表示为：
；
其中，表示从所述第二输入层进入到第二特征提取器/>中的第一图表示特征；表示提取传统特征向量的CNN网络；/>即/>。
、/>都是CNN网络，但由于两个网络使用了不同个数的CNN网络，因此其功能不一样。
传统特征一般具备很多的噪音，这是因为模型很难学习到具备丰富语义的表示。而共同特征向量是指通过特征投影网络的学习减少了这种噪音，称为共同特征向量。共同特征向量作为参数也是输出。在不同的层中这个向量经过处理会发生变化。
S3.3.2、通过正交投影层OPL将传统特征向量投影到所述共同特征向量/>上，其计算如下：
；
其中，表示投影特征向量，/>、/>分别表示传统特征向量和共同特征向量，/>是投影函数，其计算如下：
；
S3.3.3、通过正交投影层OPL在传统投影特征向量的正交方向上进行投影，得到经过提炼的分类特征向量，具体为：
；
其中，是最终正交投影特征向量；
投影函数的通用公式为：
；
、/>为输入至投影函数的两个参数向量；
这使得最终提炼后的特征向量来自传统特征向量/>，而不是与共同特征向量/>正交平面上的任何向量。
S3.3.4、最后，将所述最终正交投影特征向量输入至最终分类层/>中进行分类：
；
；
其中，和/>分别是最终分类层/>的权重和偏差，/>表示最终分类层/>的输出结果，即通过最终分类层/>对所述正交投影层的输出结果（最终正交投影特征向量/>）进行分类的结果，即第二图表示特征，/>表示特征投影损失函数，/>表示正确的预测结果。
计算特征总损失函数。将日志图表示学习损失和特征投影损失相加，得到模型的特征总损失函数。通过多任务学习联合学习。总损失函数的公式为：
；
其中，是所述图注意力网络和特征投影网络组成的模型的特征总损失函数，是为在图注意力网络中进行日志图表示学习的损失函数，/>，/>是特征投影网络的损失函数，/>。
此处的和/>分别是步骤S2和S3两个的总损失函数。是所述图注意力网络和特征投影网络组成的模型的特征总损失函数。
S4、利用全连接网络对所有所述第二图表示特征进行分类，得到异常日志类别。创建全连接网络计算异常日志类别。具体为：首先创建全连接神经网络，将第二图表示特征输入到该全连接神经网络，然后得到权重向量和偏差项/>，f是激活函数。对于第一层的输入向量X（这里是第二图表示特征），输入神经元数为768，输出神经元数为2，f为网络激活函数，使用交叉熵损失函数来计算日志异常检测损失估计。表示样本/>的标签，正值为1，负值为0。/>表示样本被预测为正值的概率。
S4的具体过程为：
S4.1、创建全连接神经网络；全连接网络为现有的网络，一般有输入层，隐藏层，输出层。
S4.2、将所有的第二图表示特征分别输入至全连接神经网络得到每个所述第二图表示特征的分类情况；
具体过程为：
将第二图表示特征输入到所述全连接神经网络中，得到权重向量和偏差项/>，使用交叉熵损失函数来计算日志异常检测的损失估计得到日志的异常检测结果，交叉熵损失函数具体为：
；
其中，，x为全连接神经网络的输入，即第二图表示特征，为通过全连接神经网络后的输出，即日志样本数据的标签，f为激活函数，/>表示第i个日志特征样本（第i个日志样本数据）的标签、/>表示第i个日志样本数据的损失，若/>为正值，/>取值为1，若/>为负值，/>取值为0（日志异常检测结果是1和0，1表示异常，0表示正常），/>表示样本i（第i个日志样本数据）被预测为正值的概率，N表示日志样本数据的个数。/>是交叉熵损失函数中的参数，为现有技术，这里就不再赘述了。
那L表示所有日志样本数据的损失和，根据损失值训练模型得到最终的分类结果，即L最小或者L低于损失阈值的时候，此时的分类结果为最终的分类结果，即日志的异常检测结果。
这个交叉熵损失函是用来计算最终的日志异常分类结果的。上述所有步骤（S1,S2,S3）的目的是为了得到一个具备丰富语义日志表示向量（即第二图表示特征）。在本步骤将这个表示向量（第二图表示特征）输入到交叉熵损失函数之中即可得到日志异常的分类结果。
S4.3、从所有的分类情况中筛选出异常情况类别，该异常情况类别对应的日志样本数据即为异常日志类别。
即筛选出所有L为1的日志样本数据，该日志样本数据即为异常日志。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图注意力网络的系统异常日志自动检测方法，其特征在于，包括如下步骤：
S1、为所有需要进行判断的日志样本数据分别单独构建对应的日志无向图，分别将所述日志无向图基于图注意力网络得到每个所述日志样本数据的图嵌入向量；
S2、将所有的所述图嵌入向量输入至图注意力网络中进行学习语义特征得到每个所述日志无向图的第一图表示特征；
S3、分别将所有所述第一图表示特征输入至特征投影网络中，利用特征投影技术对所有所述第一图表示特征进行增强，分别得到具备对应所述日志样本数据全局语义的第二图表示特征；
S4、利用全连接网络对所有所述第二图表示特征进行分类，得到异常日志类别。
2.根据权利要求1所述的一种基于图注意力网络的系统异常日志自动检测方法，其特征在于，S1中，为其中一个日志样本数据单独构建对应的日志无向图，并将所述日志无向图转换到向量空间从而得到其中一个日志样本数据的图嵌入向量的具体过程为：
S1.1、将日志样本数据中的每个单词分别视为一个节点，得到该日志样本数据中的节点集V，同时分别将每两个单词之间的位置距离表示为该两个单词对应的节点之间的边，得到该日志样本数据中的边集E，其中，所述位置距离等于该两个单词之间且不包含该两个单词的单词数量+1，所述节点集V和边集E组成日志无向图G，G = (V，E)；
S1.2、针对所述日志无向图G中的每个节点，使用单词特征对节点嵌入向量进行初始化，即将所述日志样本数据中的每个单词表示为词向量，节点嵌入向量表示为，其中 d 是嵌入维度，R表示实数，/>表示节点集V中的节点；
S1.3、针对所述日志无向图G中的每一条边，使用单词间的距离特征对边嵌入向量进行初始化，即根据两个单词之间的位置距离表示该两个单词之间的边嵌入向量，边嵌入向量表示为，其中 d 是嵌入维度，R表示实数，/>表示边集E中的边；
S1.4、将所述日志无向图对应的每个节点嵌入向量和边嵌入向量作为所述图注意力网络的输入，利用图注意力网络通过前向传播进行训练从而学习该日志无向图对应的每个节点嵌入向量和边嵌入向量，进而得到所述日志无向图的图嵌入向量，其中，所述节点嵌入向量和边嵌入向量通过所述注意力网络得到所述图嵌入向量的过程的公式为：
；
；
；
；
；
其中，A是一个邻接矩阵，邻接矩阵即边嵌入向量，为存储边的关系信息的矩阵，；W、U 和 b 分别是可训练的权重、权重学习系数和偏移；z 和 r 分别作为所述注意力网络中的更新门和重置门，以确定邻居信息在多大程度上对当前节点嵌入向量的贡献程度；/>表示第t个节点的节点嵌入向量，/>表示第t个图层的节点嵌入向量，/>表示第t个图层的边嵌入向量，/>表示第t个图层的节点和边嵌入向量，/>表示经过第t个图层后的图嵌入向量，即最终的图嵌入向量，/>表示经过第t-1个图层后的图嵌入向量，/>表示节点嵌入向量的待学习权重、/>表示边嵌入向量的待学习权重、/>为权重学习系数、/>表示节点嵌入向量的偏移、/>表示边嵌入向量的偏移、/>表示边嵌入向量的总偏移，/>表示邻居节点的注意力、/>表示图注意力网络中的多层感知器。
3.根据权利要求2所述的一种基于图注意力网络的系统异常日志自动检测方法，其特征在于，S2的具体步骤为：
S2.1、将每个所述图嵌入向量分别输入至所述图注意力网络中，每个所述图嵌入向量中的节点经过所述图注意力网络充分更新后汇总为日志的图层表示，并输出日志图特征向量，所述日志图特征向量的输出函数定义如下：
；
；
其中，和/>是所述图注意力网络的两个多层感知器，/>表示日志图特征向量，/>表示第t个图层的节点特征，/>表示多层感知器，/>表示经过感知器后的节点特征表示，/>表示节点集中的节点数量；
S2.2、将所述日志图特征向量输入至softmax层中进行归一化得到第一图表示特征，并通过交叉熵函数使损失最小化：
；
；
其中，表示第个第一图表示特征的损失权重，/>表示第一图表示特征；/>表示第i个日志样本数据对应的第一图表示特征，W和b分别是可训练的权重和偏移，/>是所述图注意力网络中所有图层的损失值，/>表示softmax层的输入。
4.根据权利要求3所述的一种基于图注意力网络的系统异常日志自动检测方法，其特征在于，S3中，所述特征投影网络包括C-net模型和P-net模型，S3的具体过程为：
S3.1、对所述C-net模型进行学习训练，使得所述C-net模型能够提取不同类别的共同特征，其中，所述C-net模型从数据输入到输出依次设置有第一输入层、第一特征提取器、梯度反转层GRL和第一分类层/>，所述P-net模型从数据输入到输出依次设置有第二输入层、第二特征提取器/>、正交投影层OPL和最终分类层/>；
S3.2、将所述第一图表示特征输入至进行训练学习后的所述C-net模型中，得到对应的共同特征向量；
S3.3、将所述第一图表示特征输入至所述P-net模型中，得到对应的传统特征向量，然后将对应同一个所述第一图表示特征的所述传统特征向量/>和共同特征向量/>输入至所述正交投影层OPL中进行正交投影操作，得到第二图表示特征。
5.根据权利要求4所述的一种基于图注意力网络的系统异常日志自动检测方法，其特征在于，S3.1中，对所述C-net模型进行学习训练的过程为：
S3.1.1、将所述第一图表示特征通过所述第一输入层输入至第一特征提取器中，使得所述第一特征提取器/>提取所述第一图表示特征的共同特征向量/>，所述共同特征向量/>表示为；
；
其中，表示从所述第一输入层进入到第一特征提取器/>中的第一图表示特征，/>表示提取共同特征向量的CNN网络；
S3.1.2、通过所述梯度反转层GRL处理所述共同特征向量得到结果/>，并将处理得到的结果/>输入至所述第一分类层/>中，所述第一分类层/>的输出表示为：
；
、/>表示第一分类层的的权重和偏差，/>表示第一分类层/>的输出结果；
S3.1.3、使用交叉熵损失函数得到所述第一分类层的学习损失函数/>，从而使得第一特征提取器/>能够提取不同类别的共同特征向量；
其中，所述第一分类层的学习损失函数/>表示为：
；
表示正确的预测结果，/>表示第一分类层/>的输出结果，即通过所述第一分类层对所述梯度反转层的输出结果/>进行预测的结果。
6.根据权利要求5所述的一种基于图注意力网络的系统异常日志自动检测方法，其特征在于，S3.1.2中，通过所述梯度反转层GRL处理所述共同特征向量得到结果/>的具体表达式为：
；
表示共同特征向量/>通过梯度反转层GRL处理后得到的处理结果；
包括如下方程：
；
；
其中，是超参数，/>表示梯度反转层GRL的损失值。
7.根据权利要求6所述的一种基于图注意力网络的系统异常日志自动检测方法，其特征在于，S3.3的具体过程为：
S3.3.1、将所述第一图表示特征通过第二输入层输入至第二特征提取器中，使得第二特征提取器/>提取所述第一图表示特征的传统特征向量/>，所述传统特征向量/>表示为：
；
其中，表示从所述第二输入层进入到第二特征提取器/>中的第一图表示特征；/>表示提取传统特征向量的CNN网络；
S3.3.2、通过正交投影层OPL将传统特征向量投影到所述共同特征向量/>上，其计算如下：
；
其中，表示投影特征向量，/>是投影函数，其计算如下：
；
S3.3.3、通过正交投影层OPL在传统投影特征向量的正交方向上进行投影，得到经过提炼的分类特征向量，具体为：
；
其中，是最终正交投影特征向量；
S3.3.4、最后，将所述最终正交投影特征向量输入至最终分类层/>中进行分类：
；
；
其中，和/>分别是最终分类层/>的权重和偏差，/>表示最终分类层/>的输出结果，即通过最终分类层/>对所述正交投影层的输出结果进行分类的结果，即第二图表示特征，表示特征投影损失函数，/>表示正确的预测结果。
8.根据权利要求7所述的一种基于图注意力网络的系统异常日志自动检测方法，其特征在于，还包括计算总损失函数：
；
其中，是所述图注意力网络和特征投影网络组成的模型的特征总损失函数，/>是为在图注意力网络中进行日志图表示学习的损失函数，/>，/>是特征投影网络的损失函数，/>。
9.根据权利要求8所述的一种基于图注意力网络的系统异常日志自动检测方法，其特征在于，S4的具体过程为：
S4.1、创建全连接神经网络；
S4.2、将所有的第二图表示特征分别输入至全连接神经网络得到每个所述第二图表示特征的分类情况；
S4.3、从所有的分类情况中筛选出异常情况类别，该异常情况类别对应的日志样本数据即为异常日志类别。
10.根据权利要求9所述的一种基于图注意力网络的系统异常日志自动检测方法，其特征在于，S4.2的具体过程为：
将第二图表示特征输入到所述全连接神经网络中，得到权重向量和偏差项/>，使用交叉熵损失函数来计算日志异常检测的损失估计，交叉熵损失函数具体为：
；
其中，，/>表示第i个日志样本数据的标签y，f为激活函数、/>表示第i个日志样本数据的损失，/>取值为1表示该日志样本数据异常，/>取值为0表示该日志样本数据正常，/>表示第i个日志样本数据被预测为正值的概率，N表示日志样本数据的个数。
CN202410308773.XA 2024-03-19 2024-03-19 基于图注意力网络的系统异常日志自动检测方法 Pending CN117909910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410308773.XA CN117909910A (zh) 2024-03-19 2024-03-19 基于图注意力网络的系统异常日志自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410308773.XA CN117909910A (zh) 2024-03-19 2024-03-19 基于图注意力网络的系统异常日志自动检测方法

Publications (1)

Publication Number Publication Date
CN117909910A true CN117909910A (zh) 2024-04-19

Family

ID=90683967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410308773.XA Pending CN117909910A (zh) 2024-03-19 2024-03-19 基于图注意力网络的系统异常日志自动检测方法

Country Status (1)

Country Link
CN (1) CN117909910A (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833348A (zh) * 2018-05-08 2018-11-16 北京奇艺世纪科技有限公司 一种基于日志图建模的异常检测方法和装置
CN110008348A (zh) * 2019-01-29 2019-07-12 阿里巴巴集团控股有限公司 结合节点和边进行网络图嵌入的方法和装置
CN111914185A (zh) * 2020-07-06 2020-11-10 华中科技大学 一种基于图注意力网络的社交网络中文本情感分析方法
CN112165496A (zh) * 2020-10-13 2021-01-01 清华大学 基于聚类图神经网络的网络安全异常检测算法和检测系统
CN112395159A (zh) * 2020-11-17 2021-02-23 华为技术有限公司 一种日志检测方法、系统、设备及介质
CN112906770A (zh) * 2021-02-04 2021-06-04 浙江师范大学 一种基于跨模态融合的深度聚类方法及系统
CN113326244A (zh) * 2021-05-28 2021-08-31 中国科学技术大学 一种基于日志事件图和关联关系挖掘的异常检测方法
CN114186062A (zh) * 2021-12-13 2022-03-15 安徽大学 一种基于图神经网络主题模型的文本分类方法
CN114398479A (zh) * 2021-11-13 2022-04-26 重庆邮电大学 基于时序交互图神经网络的文本分类方法、装置及介质
CN115129869A (zh) * 2022-05-26 2022-09-30 腾讯科技（武汉）有限公司 文本数据处理方法、装置、计算机设备和存储介质
CN115146730A (zh) * 2022-07-14 2022-10-04 中国银行股份有限公司 一种基于bert模型的账单分类方法及装置
CN115238036A (zh) * 2022-07-13 2022-10-25 浙江工商大学 一种基于图注意力网络和文本信息的认知诊断方法及装置
CN115631851A (zh) * 2022-11-02 2023-01-20 北京大学重庆大数据研究院 处方推荐方法、装置、电子设备及非易失性存储介质
CN116089607A (zh) * 2022-11-30 2023-05-09 号百信息服务有限公司 智能应答文本分类的方法、装置、电子设备及存储介质
CN116821519A (zh) * 2023-06-16 2023-09-29 中国电子科技集团有限公司电子科学研究院 一种基于图结构的系统过滤和降噪的智能推荐方法
CN117034099A (zh) * 2023-04-11 2023-11-10 广东技术师范大学 一种系统日志异常检测方法
CN117035089A (zh) * 2023-06-25 2023-11-10 同济大学 基于多关系循环事件图注意力的时态知识图谱推理方法
CN117056166A (zh) * 2023-08-16 2023-11-14 支付宝(杭州)信息技术有限公司 数据异常检测方法、装置、存储介质及电子设备
CN117251779A (zh) * 2023-09-12 2023-12-19 中国人民解放军国防科技大学 基于全局感知神经网络的节点分类方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833348A (zh) * 2018-05-08 2018-11-16 北京奇艺世纪科技有限公司 一种基于日志图建模的异常检测方法和装置
CN110008348A (zh) * 2019-01-29 2019-07-12 阿里巴巴集团控股有限公司 结合节点和边进行网络图嵌入的方法和装置
CN111914185A (zh) * 2020-07-06 2020-11-10 华中科技大学 一种基于图注意力网络的社交网络中文本情感分析方法
CN112165496A (zh) * 2020-10-13 2021-01-01 清华大学 基于聚类图神经网络的网络安全异常检测算法和检测系统
CN112395159A (zh) * 2020-11-17 2021-02-23 华为技术有限公司 一种日志检测方法、系统、设备及介质
CN112906770A (zh) * 2021-02-04 2021-06-04 浙江师范大学 一种基于跨模态融合的深度聚类方法及系统
CN113326244A (zh) * 2021-05-28 2021-08-31 中国科学技术大学 一种基于日志事件图和关联关系挖掘的异常检测方法
CN114398479A (zh) * 2021-11-13 2022-04-26 重庆邮电大学 基于时序交互图神经网络的文本分类方法、装置及介质
CN114186062A (zh) * 2021-12-13 2022-03-15 安徽大学 一种基于图神经网络主题模型的文本分类方法
CN115129869A (zh) * 2022-05-26 2022-09-30 腾讯科技（武汉）有限公司 文本数据处理方法、装置、计算机设备和存储介质
CN115238036A (zh) * 2022-07-13 2022-10-25 浙江工商大学 一种基于图注意力网络和文本信息的认知诊断方法及装置
CN115146730A (zh) * 2022-07-14 2022-10-04 中国银行股份有限公司 一种基于bert模型的账单分类方法及装置
CN115631851A (zh) * 2022-11-02 2023-01-20 北京大学重庆大数据研究院 处方推荐方法、装置、电子设备及非易失性存储介质
CN116089607A (zh) * 2022-11-30 2023-05-09 号百信息服务有限公司 智能应答文本分类的方法、装置、电子设备及存储介质
CN117034099A (zh) * 2023-04-11 2023-11-10 广东技术师范大学 一种系统日志异常检测方法
CN116821519A (zh) * 2023-06-16 2023-09-29 中国电子科技集团有限公司电子科学研究院 一种基于图结构的系统过滤和降噪的智能推荐方法
CN117035089A (zh) * 2023-06-25 2023-11-10 同济大学 基于多关系循环事件图注意力的时态知识图谱推理方法
CN117056166A (zh) * 2023-08-16 2023-11-14 支付宝(杭州)信息技术有限公司 数据异常检测方法、装置、存储介质及电子设备
CN117251779A (zh) * 2023-09-12 2023-12-19 中国人民解放军国防科技大学 基于全局感知神经网络的节点分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QI QIN等: ""Feature Projection for Improved Text Classification"", 《ACL2020》, 31 December 2020 (2020-12-31), pages 8163 - 8165 *

Similar Documents

Publication Publication Date Title
CN111652290B (zh) 一种对抗样本的检测方法及装置
CN111046664A (zh) 基于多粒度的图卷积神经网络的假新闻检测方法及系统
CN111881722B (zh) 一种跨年龄人脸识别方法、系统、装置及存储介质
CN112700252A (zh) 一种信息安全性检测方法、装置、电子设备和存储介质
US11816882B2 (en) Image recognition learning device, image recognition device, method and program
CN112861945B (zh) 一种多模态融合谎言检测方法
CN114386436B (zh) 文本数据的分析方法、模型训练方法、装置及计算机设备
CN115277587B (zh) 网络流量识别方法、装置、设备及介质
CN114818682B (zh) 基于自适应实体路径感知的文档级实体关系抽取方法
CN112819024B (zh) 模型处理方法、用户数据处理方法及装置、计算机设备
CN116402352A (zh) 一种企业风险预测方法、装置、电子设备及介质
CN114064487A (zh) 一种代码缺陷检测方法
CN115883242A (zh) 一种网络入侵检测方法和装置
Moskal et al. Translating intrusion alerts to cyberattack stages using pseudo-active transfer learning (PATRL)
CN113553577A (zh) 基于超球面变分自动编码器的未知用户恶意行为检测方法及系统
JP2010272004A (ja) 判別装置及び判別方法、並びにコンピューター・プログラム
Chinnasamy Rank biserial stochastic feature embed bivariate kernelized regressive bootstrap aggregative classifier for school student dropout prediction
CN114817516B (zh) 零样本条件下基于逆向匹配的画像映射方法、装置和介质
CN117909910A (zh) 基于图注意力网络的系统异常日志自动检测方法
CN113343041B (zh) 基于图模型表示学习的消息回复关系判断系统
CN111723301B (zh) 基于层次化主题偏好语义矩阵的关注关系识别及标注方法
Wang et al. Has Approximate Machine Unlearning been evaluated properly? From Auditing to Side Effects
CN114579761A (zh) 信息安全知识实体关系连接预测方法、系统及介质
CN118069789B (zh) 一种面向立法意见的关键信息抽取方法、系统及设备
US11907334B2 (en) Neural network negative rule extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination