CN114565002A - 基于行为与注意力机制的异常行为检测方法及系统 - Google Patents
基于行为与注意力机制的异常行为检测方法及系统 Download PDFInfo
- Publication number
- CN114565002A CN114565002A CN202111314525.9A CN202111314525A CN114565002A CN 114565002 A CN114565002 A CN 114565002A CN 202111314525 A CN202111314525 A CN 202111314525A CN 114565002 A CN114565002 A CN 114565002A
- Authority
- CN
- China
- Prior art keywords
- behavior
- sequence
- abnormal
- user
- statistical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种基于行为与注意力机制的异常行为检测方法、系统及计算机介质,获取用户行为,并提取行为序列特征以及行为统计特征;融合行为序列特征以及行为统计特征,得到行为融合特征;将行为融合特征输入注意力机制的LSTM网络进行训练,得到异常行为检测模型;将待检测用户行为输入异常行为检测模型,得到异常行为检测结果。本申请使用用户历史行为与注意力机制相结合的技术手段来实现对不同用户行为模式的识别,最终实现更高精度和准确性的检测模型来降低一部分组织或企业因内部用户异常行为而造成的威胁以及损失。
Description
技术领域
本申请属于网络安全技术领域,具体地,涉及一种基于行为与注意力机制的异常行为检测方法及系统。
背景技术
内部威胁是由组织或企业的内部员工利用被授予的访问权限和对内部系统的熟悉进行敏感数据盗窃和破坏内部系统的网络攻击,其造成的不良后果使得企业或组织受到财产的损失及声誉方面的负面影响。根据2020年内部威胁损失:全球报告(Cost ofInsider Threats:Global Report)显示自2016年以来,每家公司因内部威胁而造成的损失增加了近78%[1]。因为内部威胁攻击者通常不是一开始就会进行恶意活动,他们在大多数时间是以一定的行为习惯进行正常活动,之后由于一些原因导致其进行内部威胁攻击,而这些攻击行为往往与其正常的行为习惯有明显差异,所以现有的内部威胁检测研究借鉴异常检测的方法对用户的正常行为模式建模来进行内部威胁检测。然而现有主流的内部威胁检测方法普遍无法同时实现细粒度的检测和对不同用户行为模式的建模分析,导致其存在检测的精度不高或准确性不足等问题。
目前,人员内部威胁使得企业或组织受到财产的损失及声誉方面的负面影响。因此,基于对人员的用户行为分析是内部威胁检测的主流方式。关于用户行为的内部威胁检测的研究大致分为两类:基于机器学习的内部威胁检测和基于深度学习的内部威胁检测。但是因为缺乏细粒度检测以及无法有效捕获个体用户的行为模式,导致检测的精度和准确性不足。
发明内容
本发明提出了一种基于行为与注意力机制的异常行为检测方法及系统,旨在解决目前通过异常行为检测内部威胁时,无法同时实现行为细粒度的检测和对不同用户行为建模分析的问题。
根据本申请实施例的第一个方面,提供了一种基于行为与注意力机制的异常行为检测方法,具体包括以下步骤:
获取用户行为,并提取行为序列特征以及行为统计特征;
融合行为序列特征以及行为统计特征,得到行为融合特征;
将行为融合特征输入注意力机制的LSTM网络进行训练,得到异常行为检测模型;
将待检测用户行为输入异常行为检测模型,得到异常行为检测结果。
在本申请一些实施方式中,融合行为序列特征以及行为统计特征,得到行为融合特征,具体包括:
将用户的不同行为进行数字编号,根据用户行为得到基于时间进行排列的行为编号序列,即行为序列特征;
将多个行为序列特征补长或者截短,得到标准长度数值的多个行为序列特征;
对应用户的行为编号序列,统计每一个行为编号对应用户行为次数,得到对应的行为统计序列,即行为统计特征;
将行为统计特征的每一个统计数值n采用1/e^(-n)代替,得到新的行为统计特征;
将行为序列特征的每一个行为编号后拼接一个新的行为统计特征,得到行为融合特征。
在本申请一些实施方式中,将多个行为序列特征补长或者截短,得到标准长度数值的多个行为序列特征,具体包括:
将行为序列特征的长度与标定长度进行比较;
用编号0补充小于标定长度的行为序列;编号0代表无意义;
或者,截掉大于标定长度的行为序列特征的行为序列编号。
在本申请一些实施方式中,将行为融合特征输入注意力机制的LSTM网络进行训练,得到异常行为检测模型,具体包括:
将行为融合特征依次输入基于用户历史行为的注意力层、基于Bi-LSTM的行为特征演化层以及全连接层分类器;
通过全连接层分类器进行异常行为检测。
在本申请一些实施方式中,将将行为融合特征依次输入基于用户历史行为的注意力层、基于Bi-LSTM的行为特征演化层以及全连接层分类器之前,还包括:
将行为序列特征输入基于LSTM的行为特征提取层中进一步进行特征提取。
在本申请一些实施方式中,LSTM的描述方程为:
it=σ(Wiet+Wiht-1+bi);
ft=σ(Wfet+Wfht-1+bf);
ot=σ(Woet+Woht-1+bo);
gt=tanh(Wget+Wght-1+bg);
ct=ft⊙ct-1+it⊙gt;
ht=ot⊙tanh(ct);
其中,et是时刻t的输入行为序列中xt的嵌入表示;ft是遗忘门,其作用是表示ct-1中的哪些特征信息被ct接收;it是输入门,其作用是控制gt哪些特征信息被用于更新ct;gt是由输入et和上一个时间步的隐层状态输出ht-1计算得到;ot是输出门;ht是t时刻的隐层状态输出;W、b分别表示权重矩阵和偏置值,随机初始化并在训练时期进行学习调整。
根据本申请实施例的第二个方面,提供了一种基于行为与注意力机制的异常行为检测系统,其特征在于,具体包括:
特征提取单元:用于获取用户行为,并提取行为序列特征以及行为统计特征;
特征融合单元:用于融合行为序列特征以及行为统计特征,得到行为融合特征;
模型训练单元:用于将行为融合特征输入注意力机制的LSTM网络进行训练,得到异常行为检测模型;
异常行为检测单元:用于将待检测用户行为输入异常行为检测模型,得到异常行为检测结果。
在本申请一些实施方式中,特征融合单元具体用于:
将用户的不同行为进行数字编号,根据用户行为得到基于时间进行排列的行为编号序列,即行为序列特征;
将多个行为序列特征补长或者截短,得到标准长度数值的多个行为序列特征;
对应用户的行为编号序列,统计每一个行为编号对应用户行为次数,得到对应的行为统计序列,即行为统计特征;
将行为统计特征的每一个统计数值n采用1/e^(-n)代替,得到新的行为统计特征;
将行为序列特征的每一个行为编号后拼接一个新的行为统计特征,得到行为融合特征。
根据本申请实施例的第三个方面,提供了一种基于行为与注意力机制的异常行为检测设备,包括:
存储器:用于存储可执行指令;以及
处理器:用于与存储器连接以执行可执行指令从而完成基于行为与注意力机制的异常行为检测方法。
根据本申请实施例的第四个方面,提供了一种计算机可读存储介质,其上存储有计算机程序;计算机程序被处理器执行以实现基于行为与注意力机制的异常行为检测方法。
采用本申请实施例中的基于行为与注意力机制的异常行为检测方法、系统及计算机介质,获取用户行为,并提取行为序列特征以及行为统计特征;融合行为序列特征以及行为统计特征,得到行为融合特征;将行为融合特征输入注意力机制的LSTM网络进行训练,得到异常行为检测模型;将待检测用户行为输入异常行为检测模型,得到异常行为检测结果。本申请使用用户历史行为与注意力机制相结合的技术手段来实现对不同用户行为模式的识别,最终实现更高精度和准确性的检测模型来降低一部分组织或企业因内部用户异常行为而造成的威胁以及损失。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1中示出了根据本申请实施例的基于行为与注意力机制的异常行为检测方法的步骤示意图;
图2中示出了根据本申请实施例的基于行为与注意力机制的异常行为检测方法的网络示意图;
图3中示出了根据本申请实施例的异常行为检测方法的特征融合流程示意图;
图4中示出了根据本申请实施例的异常行为检测方法的基于Bi-LSTM的行为特征演化层的网络结构图;
图5中示出了根据本申请实施例实验数据中模型在不同epoch轮次时经过测试集数据评估的平均损失和AUC值;
图6显示了基于注意力的LSTM检测模型、MBS检测模型以及本申请模型的ROC曲线图;
图7中示出了根据本申请实施例的基于行为与注意力机制的异常行为检测系统的结构示意图;
图8中示出了根据本申请实施例的基于行为与注意力机制的异常行为检测设备的结构示意图。
具体实施方式
在实现本申请的过程中,发明人发现人员内部威胁使得企业或组织受到财产的损失及声誉方面的负面影响。因此,基于对人员的用户行为分析是内部威胁检测的主流方式,但是因为缺乏细粒度检测以及无法有效捕获个体用户的行为模式,导致检测的精度和准确性不足。
为了解决这个问题,本申请设计了基于用户历史行为与注意力机制的内部威胁检测的方法,包括:使用LSTM(Long Short Term Memory)提取用户行为序列信息,采用基于用户历史行为的注意力机制(Attention based on user history behavior,ABUHB)学习不同用户行为之间的差异性,使用Bi-LSTM(Bidirectional-LSTM)进行不同用户的行为模式演化学习,最终实现细粒度的用户异常行为检测。为了评估出该方法的有效性,在CMU-CERT内部威胁开源数据集上进行了实验。实验结果表明,该方法效果比基准模型方法提高了3.1%~6.3%,能够细粒度地检测出不同用户行为中存在的内部威胁。
具体的,通过获取用户行为,并提取行为序列特征以及行为统计特征;融合序列特征以及统计特征,得到行为融合特征;将行为融合特征输入注意力机制的LSTM网络进行训练,得到异常行为检测模型;将待检测用户行为输入异常行为检测模型,得到异常行为检测结果。
最后,本申请使用用户历史行为与注意力机制相结合的技术手段来实现对不同用户行为模式的识别,最终实现更高精度和准确性的检测模型来降低一部分组织或企业因内部用户异常行为而造成的威胁以及损失。
为了使本申请实施例中的技术方案及优点更加清楚明白,以下结合附图对本申请的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本申请的一部分实施例,而不是所有实施例的穷举。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
近些年来基于异常行为检测的内部威胁检测的研究方向大致分为两类:基于机器学习的内部威胁检测和基于深度学习的内部威胁检测。
关于基于机器学习类,例如使用隐马尔可夫模型(HMM)来进行内部威胁检测。使用HMM来对用户行为序列进行分析并提取出用户的正常行为模式,并识别出与正常行为模式有显著偏离的异常行为。该模型能够有效的从序列数据中学习到正常用户行为模式,但是随着状态数量的增加,模型计算量也越来越大,同时状态的数量也影响着模型的最终效果。又例如:基于多粒度用户操作统计特征的检测框架,该框架对于不同粒度(会话、天、周)的用户操作统计特征应用不同的机器学习方法,实验表明粗粒度的特征比细粒度特征能体现更长时间范围的行为信息,但是细粒度特征能更快的检测出异常行为。但是由于基于机器学习的方法需要人工进行大量特征工程相关的工作,既费时又难以选择出合适的特征,导致检测效率较低。
关于基于深度学习类,随着深度学习的快速发展,深度神经网络能够自动学习、提取深层次特征的特性为内部威胁检测提供了新的研究方向。其中大致可以分为使用统计特征和使用行为序列特征。
使用统计特征:例如现有的一种基于深度学习模型的内部威胁检测方法来检测异常行为,该方法将用户一天分为四个时段,分别统计该用户一天的所有操作,并为每个用户使用训练一个深度神经网络来检测用户异常行为。又例如一种基于LSTM的回归模型,通过结合用户身份id避免为每个用户训练一个模型。又例如一种基于长短时记忆递归神经网络(LSTM-RNN)的属性分类内部威胁检测方法,该方法由多个组件组成,对事件类型进行聚合统计来作为特征,并引入了主成分分析来降低特征维度,使用LSTM-RNN生成分类器对用户属性特征进行分类,最后根据分类结果计算异常分数。又例如一种基于LSTM自编码器的方法来实现无监督的用户异常行为检测模型,该方法基于会话活动的统计特征和用户的角色和部门等属性类别特征来对用户行为进行建模,从而识别异常数据点,该方法通过细粒度的统计特征在一定程度解决了检测敏感度低的问题。
使用行为序列特征:例如一种基于角色的分类的LSTM模型,通过学习不同用户的行为模式来检测恶意行为。其中,对八位用户分别分配一个固定角色,LSTM训练时将角色id和用户行为序列进行绑定,实验证明LSTM能够有效识别不同用户行为之间的差异。又例如采用LSTM-CNN框架来检测内部威胁,该框架首先训练一个LSTM的特征提取器来提取用户行为序列特征,然后将LSTM的隐藏层的输出拼接为固定长度向量送入CNN分类器中进行异常检测,但是该方法没有考虑到不同行为对于异常检测的影响程度,于是现有技术又提出了关于基于注意力机制的LSTM模型来检测内部威胁,该模型使用注意机制来判断哪些行为操作异常检测的影响更大。
使用统计特征这类粗粒度聚合的方法容易忽视较短时期内的异常行为,存在内部威胁检测敏感度较低的问题,虽然使用行为序列特征的方法能解决粗粒度的问题,但是这类方法没有考虑到不同用户之间的行为习惯的不一致,忽视了不同用户之间行为习惯的差异性。
因此本申请基于将两类特征相结合的思想,提出基于用户历史行为与注意力机制的内部威胁检测方法,使其能在解决粗粒度问题的同时能够识别不同用户之间行为习惯的差异性。具体实施例如下。
实施例1
图1中示出了根据本申请实施例的基于行为与注意力机制的异常行为检测方法的步骤示意图。图2中示出了根据本申请实施例的基于行为与注意力机制的异常行为检测方法的网络示意图。
如图1所示,本申请实施例的基于行为与注意力机制的异常行为检测方法,具体包括以下步骤:
S101:获取用户行为,并提取行为序列特征以及行为统计特征。
为了解决粗粒度统计特征分析方法存在的检测敏感度低的问题,采用用户行为来表示用户在何时何地进行的某种操作,同时将用户一天内的所有相关操作表示为用户行为序列,并使用LSTM模型来提取深层次的用户行为序列特征信息。
为了学习到不同用户之间行为习惯的差异性,将用户历史行为的统计特征与注意力机制相结合,使得模型能学习到不同用户行为之间的差异性,得到行为统计特征信息。
S102:融合行为序列特征以及行为统计特征,得到行为融合特征。
将不同形式的行为序列特征以及行为统计特征进行融合来提升最后的效果,序列特征以及统计特征的形式举例如下:
序列特征,表示形式为:[0,1,4,5,9,34,52,…,45],每个数字编号代表一种行为。
统计特征,表示形式为:[34,2,88,99,77,8,…,111],每个数字代表其对应的行为发生的数量,例如34就是0号行为发生了34次。
但是,通常情况下,行为序列特征以及行为统计特征的数字所代表的含义不同,例如同样是1,前者是代表行为,后者是代表行为发生的次数。因此含义不同无法直接运算相乘。
因此需要将行为序列特征以及行为统计特征进行融合,得到行为融合特征。
本申请考虑到统计特征向量长度是固定的,序列特征向量是变长的,无法直接进行向量拼接。进行特征融合时具体包括:
首先,将用户的不同行为进行数字编号,根据用户行为得到基于时间进行排列的行为编号序列,即行为序列特征。
然后,将多个行为序列特征补长或者截短,得到标准长度数值的多个行为序列特征。
具体的,
将行为序列特征的长度与标定长度进行比较;用编号0补充小于标定长度的行为序列;编号0代表无意义;或者,截掉大于标定长度的行为序列特征的行为序列编号。
其次,对应用户的行为编号序列,统计每一个行为编号对应用户行为次数,得到对应的行为统计序列,即行为统计特征;将行为统计特征的每一个统计数值n采用1/e^(-n)代替,得到新的行为统计特征;
最后,将行为序列特征的每一个行为编号后拼接一个新的行为统计特征,得到行为融合特征。
图3中示出了根据本申请实施例的异常行为检测方法的特征融合流程示意图。
再具体实施中,如图3所示,根据用户行为通过检测可以得到多个行为序列,如行为序列1和行为序列2。首先,对每个行为进行编号,例如开机为1,打开文件编号2等,然后将编号代替行为组成数字序列,得到基于时间进行排列的行为编号序列,即行为序列特征。然后,设定行为序列特征的标准长度数值为200,将不足200长度的行为序列末尾补0,0代表无意义;将超出200长度的行为序列截掉后面超出部分。
然后,统计每个用户自己近一周每种行为的发生次数,比如:浏览网页5次,浏览网页的行为编号为3,那么这个用户近一周的统计数据的第3号数据就是5。将行为统计特征的每个数都取1/e^(-n)代替原数值n,那么n越大,行为越频繁,那么异常行为几率越低。
最后,将行为序列特征复制200份,分别拼接到行为序列特征中每一个数值后面。这样,根据行为序列特征每个行为的编号即可对应统计特征的数据。不同的用户统计数据,即使相同的行为编号也会因为不同的用户得到不一样的数据。
S103:将行为融合特征输入注意力机制的LSTM网络进行训练,得到异常行为检测模型。
具体包括:
将行为融合特征依次输入基于用户历史行为的注意力层、基于Bi-LSTM的行为特征演化层以及全连接层分类器;通过全连接层分类器进行异常行为检测。
优选地,将将行为融合特征依次输入基于用户历史行为的注意力层、基于Bi-LSTM的行为特征演化层以及全连接层分类器之前,还包括:将行为序列特征输入基于LSTM的行为特征提取层中进一步进行特征提取。
S104:将待检测用户行为输入异常行为检测模型,得到异常行为检测结果。
如图2所述,为本申请提出的模型整体设计架构。主要包含三层:基于LSTM的行为特征提取层,基于用户历史行为的注意力层,基于Bi-LSTM的行为特征演化层。
1)基于LSTM的行为特征提取层。
为了实现细粒度的检测,需要提取出用户行为序列中各个行为的相互关系并对其进行分析,而LSTM对于时间序列数据具有很强的处理和分析能力,能够提取出用户行为序列中的深层次序列信息。
将用户uk在第j天的行为序列表示为Sk,j=[x0,x1,x2,…,xt-1,xt],(1≤t≤T),其中T表示序列长度。ht表示时刻t的隐层状态输出。
循环神经网络(Recurrent Neural Network,RNN)弥补了传统神经网络无法学习到时间顺序特征的不足。但是RNN无法解决输入中存在的长期依赖问题。LSTM通过引入门机制来控制特征信息的流动,进而解决长期依赖问题。LSTM由多个门组成:遗忘门,输入门和输出门。
LSTM的描述方程为:
it=σ(Wiet+Wiht-1+bi);
ft=σ(Wfet+Wfht-1+bf);
ot=σ(Woet+Woht-1+bo);
gt=tanh(Wget+Wght-1+bg);
ct=ft⊙ct-1+it⊙gt;
ht=ot⊙tanh(ct);
其中,et是时刻t的输入行为序列中xt的嵌入表示;ft是遗忘门,其作用是表示ct-1中的哪些特征信息被ct接收;it是输入门,其作用是控制gt哪些特征信息被用于更新ct;gt是由输入et和上一个时间步的隐层状态输出ht-1计算得到;ot是输出门;ht是t时刻的隐层状态输出;W、b分别表示权重矩阵和偏置值,随机初始化并在训练时期进行学习调整。
2)基于用户历史行为的注意力层。
单一的LSTM无法有效的学习到不同用户之间行为习惯模式的差异性,而注意力机制能够根据不同的额外信息实现对于不同局部行为的差异性关注。对每个用户uk统计了其近期每个行为发生的次数Ck=[c0,c1,c2,…,cn-1,cn],其中n表示用户行为的编号。
采用注意力机制,使模型能从用户的历史行为统计特征中学习到不同用户行为之间的差异性,其中ek,h是对用户k的每个行为统计值cn取e的负指数,即其表示在用户过往历史行为中越少进行的操作越应该引起关注,Wa是注意力层的加权矩阵。通过计算得到注意力矩阵at,并将其与LSTM的每一个隐层状态输出ht进行计算得到作为注意力层的输出ht,a。其中:
ek,h=exp(-Ck);
ht,a=atht。
3)基于Bi-LSTM的行为特征演化层。
为了进一步提高模型的精准度,需要对个体用户的行为模式进行建模,Bi-LSTM具有从每个行为特征中学习到更详细的上下文信息的能力,能够从行为特征的演化过程中对用户行为模式进行建模。
图4中示出了根据本申请实施例的异常行为检测方法的基于Bi-LSTM的行为特征演化层的网络结构图。
如图4所示,Bi-LSTM包含两部分LSTM:前向LSTM、后向LSTM。将由注意力层得到的输出Hk=h0,a,h1,a,…,ht,a]作为输入送入到Bi-LSTM中,在时刻t得到前向LSTM的隐层状态输出ht,f以及后向LSTM的隐层状态输出ht,b。
其中:ht,f=LSTMf(W,ht-1,f);
ht,b=LSTMb(W,ht-1,b)。
而ht,f和ht,b则组成了Bi-LSTM在t时刻的隐层状态输出,即ht=[ht,f,ht,b]。最后将Bi-LSTM的最后一个时刻的隐层状态输出h_t作为对用户行为序列演化学习的结果,将其送入全连接层分类器进行内部威胁检测。
vk为全连接的输出,Wk、bk是全连接训练的参数,使用SoftMax函数来进行K分类。最后,使用交叉熵来作为损失函数对整个模型的权重进行训练和更新。
本申请通过实验表明通过本申请的异常行为检测方案实现了更高精度和准确性的检测效果。
为了评估出该方法的有效性,在CMU-CERT内部威胁开源数据集上进行了实验。实验结果表明,该方法效果比基准模型方法提高了3.1%~6.3%,能够细粒度地检测出不同用户行为中存在的内部威胁。
具体的,首先描述所使用的数据集和数据预处理方法,然后介绍模型训练的实验过程,最后展示实验结果并对其进行说明。
一、数据集及预处理。
实验选择CERT内部威胁数据集的版本是r4.2。该数据集中包含了1000名用户在公司中17个月的活动操作记录,其中进行了内部威胁活动的人员有70名。该数据集包含5类日志型数据:登陆/登出、邮件、设备使用、文件操作和网页浏览。本实验对每类日志进行预处理,因为每个用户上班时间的操作与下班时间的操作差异性较大,而且当用户登陆他人PC机时发生异常行为的概率较高,所以将一天分为工作时间与非工作时间两个时间段,并将用户登陆自己常用PC机的操作与登陆他人PC机的同类操作视为不同的行为类型,最后将每个用户一天内的所有行为按照时间顺序组成行为序列。
表1列出了为用户定义的所有行为类型。本实验的数据处理过程保留了周末的数据,因为周末依然可能发生异常行为。这1000名用户在17个月内产生的操作数据,一共有32,770,227行日志。其中包括了由专家模拟生成的7323条异常活动日志,分别代表了三种内部威胁的场景。经过预处理后一共生成了330,452条用户行为序列记录(有1294条包含异常行为),同时统计每条行为序列记录其近一周中每种用户行为发生的次数来作为用户历史行为数据。本实验将数据划分为训练集和测试集,训练集(70%)用于权重学习和超参调整,测试集(30%)用于评估模型的性能。
表1:用户行为类型
二、关于实验过程。
采用Pytorch深度学习框架对本文模型进行了实现。在实验过程中,为了获取最佳的检测模型,使用枚举法对不同的超参数进行调优实验。在LSTM层和Bi-LSTM层中对隐藏层的数量(1~3)和每个隐藏层单元的数量(64~256)进行参数调优,调整不同的batch size(20~128)和epoch size(10~30),然后设置学习率为0.001。最终选取了Adam作为优化器,交叉熵损失作为损失函数,并设置batch size为128、epoch size为30。最终模型的详细参数如表2所示。
表2:模型参数表
三、实验结果。
实验选择基于注意力的LSTM检测模型和MBS检测模型来作为对比模型,前者同样是使用注意力与LSTM相结合的模型方法,而后者则是同时考虑了统计特征与序列特征的模型方法。另外,选择ROC(Receiver Operating Characteristic)曲线和AUC(Area-Under-Curve)作为性能评估指标,因为在CERT数据集中异常数据与正常数据严重不平衡,即使模型对任何的输入都判断为正常其模型的精确率和召回率也会很高。
图5显示了本文模型在不同epoch轮次时经过测试集数据评估的平均损失和AUC值,在30轮epoch中当平均损失为0.012031的情况下,达到了最佳AUC值。
图6显示了基于注意力的LSTM检测模型、MBS检测模型以及本文模型的ROC曲线图,很明显本文模型取得了十分满意的效果,并且从ROC曲线上可以看到每个模型的都具有相似的轨迹,但是本文模型略优于其他两个对比模型。具体而言,本文模型的AUC值达到了0.9915,这是模型有效性的有力说明。
为了进行细粒度的检测和个体用户行为模式的捕获,本申请提出了基于用户历史行为与注意力机制的内部威胁检测方法。通过使用ABUHB来使得模型方法能够学习到不同用户行为之间的差异性,然后采用Bi-LSTM模型来对不同用户的行为模式演化进行学习从而进一步提高检测效果。在CMU发布的CERT内部威胁公开数据集上进行实验,实验结果表明,本申请提出的异常行为检测方法不仅能成功地检测出内部威胁而且该方法的表现效果优于其他对比模型方法,能够在解决粗粒度问题的同时识别不同用户之间行为习惯的差异性,最终实现了更高精度和准确率的内部威胁检测。
因此,采用本申请实施例的基于行为与注意力机制的异常行为检测方法,获取用户行为,并提取行为序列特征以及行为统计特征;融合行为序列特征以及行为统计特征,得到行为融合特征;将行为融合特征输入注意力机制的LSTM网络进行训练,得到异常行为检测模型;将待检测用户行为输入异常行为检测模型,得到异常行为检测结果。本申请使用用户历史行为与注意力机制相结合的技术手段来实现对不同用户行为模式的识别,最终实现更高精度和准确性的检测模型来降低一部分组织或企业因内部用户异常行为而造成的威胁以及损失。
实施例2
本实施例提供了一种基于行为与注意力机制的异常行为检测系统,对于本实施例的基于行为与注意力机制的异常行为检测系统中未披露的细节,请参照其它实施例中的基于行为与注意力机制的异常行为检测方法的具体实施内容。
图7中示出了根据本申请实施例的基于行为与注意力机制的异常行为检测系统的结构示意图。
如图7所示,本申请实施例的基于行为与注意力机制的异常行为检测系统,具体包括特征提取单元10、特征融合单元20、模型训练单元30以及异常行为检测单元40。
具体的,
特征提取单元10:用于获取用户行为,并提取行为序列特征以及行为统计特征。
为了解决粗粒度统计特征分析方法存在的检测敏感度低的问题,采用用户行为来表示用户在何时何地进行的某种操作,同时将用户一天内的所有相关操作表示为用户行为序列,并使用LSTM模型来提取深层次的用户行为序列特征信息。
为了学习到不同用户之间行为习惯的差异性,将用户历史行为的统计特征与注意力机制相结合,使得模型能学习到不同用户行为之间的差异性,得到行为统计特征信息。
特征融合单元20:用于融合序列特征以及统计特征,得到行为融合特征。
将不同形式的行为序列特征以及行为统计特征进行融合来提升最后的效果,序列特征以及统计特征的形式举例如下:
序列特征,表示形式为:[0,1,4,5,9,34,52,…,45],每个数字编号代表一种行为。
统计特征,表示形式为:[34,2,88,99,77,8,…,111],每个数字代表其对应的行为发生的数量,例如34就是0号行为发生了34次。
但是,通常情况下,行为序列特征以及行为统计特征的数字所代表的含义不同,例如同样是1,前者是代表行为,后者是代表行为发生的次数。因此含义不同无法直接运算相乘。
因此需要将行为序列特征以及行为统计特征进行融合,得到行为融合特征。
本申请考虑到统计特征向量长度是固定的,序列特征向量是变长的,无法直接进行向量拼接。进行特征融合时具体包括:
首先,将用户的不同行为进行数字编号,根据用户行为得到基于时间进行排列的行为编号序列,即行为序列特征。
然后,将多个行为序列特征补长或者截短,得到标准长度数值的多个行为序列特征。
具体的,
将行为序列特征的长度与标定长度进行比较;用编号0补充小于标定长度的行为序列;编号0代表无意义;或者,截掉大于标定长度的行为序列特征的行为序列编号。
其次,对应用户的行为编号序列,统计每一个行为编号对应用户行为次数,得到对应的行为统计序列,即行为统计特征;将行为统计特征的每一个统计数值n采用1/e^(-n)代替,得到新的行为统计特征;
最后,将行为序列特征的每一个行为编号后拼接一个新的行为统计特征,得到行为融合特征。
模型训练单元30:用于将行为融合特征输入注意力机制的LSTM网络进行训练,得到异常行为检测模型。
具体包括:
将行为融合特征依次输入基于用户历史行为的注意力层、基于Bi-LSTM的行为特征演化层以及全连接层分类器;通过全连接层分类器进行异常行为检测。
优选地,将将行为融合特征依次输入基于用户历史行为的注意力层、基于Bi-LSTM的行为特征演化层以及全连接层分类器之前,还包括:将行为序列特征输入基于LSTM的行为特征提取层中进一步进行特征提取。
异常行为检测单元40:用于将待检测用户行为输入异常行为检测模型,得到异常行为检测结果。
采用本申请实施例的基于行为与注意力机制的异常行为检测系统,特征提取单元10获取用户行为,并提取行为序列特征以及行为统计特征;特征融合单元20融合行为序列特征以及行为统计特征,得到行为融合特征;模型训练单元30将行为融合特征输入注意力机制的LSTM网络进行训练,得到异常行为检测模型;异常行为检测单元40将待检测用户行为输入异常行为检测模型,得到异常行为检测结果。本申请使用用户历史行为与注意力机制相结合的技术手段来实现对不同用户行为模式的识别,最终实现更高精度和准确性的检测模型来降低一部分组织或企业因内部用户异常行为而造成的威胁以及损失。
实施例3
本实施例提供了一种基于行为与注意力机制的异常行为检测设备,对于本实施例的基于行为与注意力机制的异常行为检测设备中未披露的细节,请参照其它实施例中的基于行为与注意力机制的异常行为检测方法或系统具体的实施内容。
图8中示出了根据本申请实施例的基于行为与注意力机制的异常行为检测设备400的结构示意图。
如图8所示,异常行为检测设备400,包括:
存储器402:用于存储可执行指令;以及
处理器401:用于与存储器402连接以执行可执行指令从而完成运动矢量预测方法。
本领域技术人员可以理解,示意图8仅仅是异常行为检测设备400的示例,并不构成对异常行为检测设备400的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如异常行为检测设备400还可以包括输入输出设备、网络接入设备、总线等。
所称处理器401(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器401也可以是任何常规的处理器等,处理器401是异常行为检测设备400的控制中心,利用各种接口和线路连接整个异常行为检测设备400的各个部分。
存储器402可用于存储计算机可读指令,处理器401通过运行或执行存储在存储器402内的计算机可读指令或模块,以及调用存储在存储器402内的数据,实现异常行为检测设备400的各种功能。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据异常行为检测设备400使用所创建的数据等。此外,存储器402可以包括硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)或其他非易失性/易失性存储器件。
异常行为检测设备400集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机可读指令来指令相关的硬件来完成,的计算机可读指令可存储于一计算机可读存储介质中,该计算机可读指令在被处理器执行时,可实现上述各个方法实施例的步骤。
实施例4
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序;计算机程序被处理器执行以实现其他实施例中的基于行为与注意力机制的异常行为检测方法。
本申请实施例中的基于行为与注意力机制的异常行为检测设备及计算机存储介质获取用户行为,并提取行为序列特征以及行为统计特征;融合行为序列特征以及行为统计特征,得到行为融合特征;将行为融合特征输入注意力机制的LSTM网络进行训练,得到异常行为检测模型;将待检测用户行为输入异常行为检测模型,得到异常行为检测结果。本申请使用用户历史行为与注意力机制相结合的技术手段来实现对不同用户行为模式的识别,最终实现更高精度和准确性的检测模型来降低一部分组织或企业因内部用户异常行为而造成的威胁以及损失。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种基于行为与注意力机制的异常行为检测方法,其特征在于,包括以下步骤:
获取用户行为,并提取行为序列特征以及行为统计特征;
融合所述序列特征以及统计特征,得到行为融合特征;
将所述行为融合特征输入注意力机制的LSTM网络进行训练,得到异常行为检测模型;
将待检测用户行为输入所述异常行为检测模型,得到异常行为检测结果。
2.根据权利要求1所述的异常行为检测方法,其特征在于,所述融合所述序列特征以及统计特征,得到行为融合特征,具体包括:
将用户的不同行为进行数字编号,根据用户行为得到基于时间进行排列的行为编号序列,即行为序列特征;
将所述多个行为序列特征补长或者截短,得到标准长度数值的多个行为序列特征;
对应所述用户的行为编号序列,统计每一个行为编号对应用户行为次数,得到对应的行为统计序列,即行为统计特征;
将所述行为统计特征的每一个统计数值n采用1/e^(-n)代替,得到新的行为统计特征;
将所述行为序列特征的每一个行为编号后拼接一个新的行为统计特征,得到行为融合特征。
3.根据权利要求2所述的异常行为检测方法,其特征在于,所述将所述多个行为序列特征补长或者截短,得到标准长度数值的多个行为序列特征,具体包括:
将所述行为序列特征的长度与标定长度进行比较;
用编号0补充小于标定长度的行为序列;所述编号0代表无意义;
或者,截掉大于标定长度的行为序列特征的行为序列编号。
4.根据权利要求1所述的异常行为检测方法,其特征在于,所述将所述行为融合特征输入注意力机制的LSTM网络进行训练,得到异常行为检测模型,具体包括:
将所述行为融合特征依次输入基于用户历史行为的注意力层、基于Bi-LSTM的行为特征演化层以及全连接层分类器;
通过全连接层分类器进行异常行为检测。
5.根据权利要求4所述的异常行为检测方法,其特征在于,所述将所述将所述行为融合特征依次输入基于用户历史行为的注意力层、基于Bi-LSTM的行为特征演化层以及全连接层分类器之前,还包括:
将行为序列特征输入基于LSTM的行为特征提取层中进一步进行特征提取。
6.根据权利要求5所述的异常行为检测方法,其特征在于,所述LSTM的描述方程为:
it=σ(Wiet+Wiht-1+bi);
ft=σ(Wfet+Wfht-1+bf);
ot=σ(Woet+Woht-1+bo);
gt=tanh(Wget+Wght-1+bg);
ct=ft⊙ct-1+it⊙gt;
ht=ot⊙tanh(ct);
其中,et是时刻t的输入行为序列中xt的嵌入表示;ft是遗忘门,其作用是表示ct-1中的哪些特征信息被ct接收;it是输入门,其作用是控制gt哪些特征信息被用于更新ct;gt是由输入et和上一个时间步的隐层状态输出ht-1计算得到;ot是输出门;ht是t时刻的隐层状态输出;W、b分别表示权重矩阵和偏置值,随机初始化并在训练时期进行学习调整。
7.一种基于行为与注意力机制的异常行为检测系统,其特征在于,具体包括:
特征提取单元:用于获取用户行为,并提取行为序列特征以及行为统计特征;
特征融合单元:用于融合所述序列特征以及统计特征,得到行为融合特征;
模型训练单元:用于将所述行为融合特征输入注意力机制的LSTM网络进行训练,得到异常行为检测模型;
异常行为检测单元:用于将待检测用户行为输入所述异常行为检测模型,得到异常行为检测结果。
8.根据权利要求7所述的异常行为检测系统,其特征在于,所述特征融合单元具体用于:
将用户的不同行为进行数字编号,根据用户行为得到基于时间进行排列的行为编号序列,即行为序列特征;
将所述多个行为序列特征补长或者截短,得到标准长度数值的多个行为序列特征;
对应所述用户的行为编号序列,统计每一个行为编号对应用户行为次数,得到对应的行为统计序列,即行为统计特征;
将所述行为统计特征的每一个统计数值n采用1/e^(-n)代替,得到新的行为统计特征;
将所述行为序列特征的每一个行为编号后拼接一个新的行为统计特征,得到行为融合特征。
9.一种基于行为与注意力机制的异常行为检测设备,其特征在于,包括:
存储器:用于存储可执行指令;以及
处理器:用于与所述存储器连接以执行所述可执行指令从而完成权利要求1-6任一项所述的基于行为与注意力机制的异常行为检测方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序;计算机程序被处理器执行以实现如权利要求1-6任一项所述的基于行为与注意力机制的异常行为检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111314525.9A CN114565002A (zh) | 2021-11-08 | 2021-11-08 | 基于行为与注意力机制的异常行为检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111314525.9A CN114565002A (zh) | 2021-11-08 | 2021-11-08 | 基于行为与注意力机制的异常行为检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114565002A true CN114565002A (zh) | 2022-05-31 |
Family
ID=81712244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111314525.9A Pending CN114565002A (zh) | 2021-11-08 | 2021-11-08 | 基于行为与注意力机制的异常行为检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114565002A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115189963A (zh) * | 2022-08-02 | 2022-10-14 | 杭州安恒信息技术股份有限公司 | 异常行为检测方法、装置、计算机设备及可读存储介质 |
CN115577312A (zh) * | 2022-10-14 | 2023-01-06 | 华建数创(上海)科技有限公司 | 基于改进dagmm的建筑用电负荷曲线异常检测方法 |
-
2021
- 2021-11-08 CN CN202111314525.9A patent/CN114565002A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115189963A (zh) * | 2022-08-02 | 2022-10-14 | 杭州安恒信息技术股份有限公司 | 异常行为检测方法、装置、计算机设备及可读存储介质 |
CN115577312A (zh) * | 2022-10-14 | 2023-01-06 | 华建数创(上海)科技有限公司 | 基于改进dagmm的建筑用电负荷曲线异常检测方法 |
CN115577312B (zh) * | 2022-10-14 | 2023-10-17 | 华建数创(上海)科技有限公司 | 基于改进dagmm的建筑用电负荷曲线异常检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10943186B2 (en) | Machine learning model training method and device, and electronic device | |
CN111310814A (zh) | 利用不平衡正负样本对业务预测模型训练的方法及装置 | |
JP6771751B2 (ja) | リスク評価方法およびシステム | |
US11818163B2 (en) | Automatic machine learning vulnerability identification and retraining | |
CN109034194B (zh) | 基于特征分化的交易欺诈行为深度检测方法 | |
WO2017140222A1 (zh) | 机器学习模型的建模方法及装置 | |
CN110166484A (zh) | 一种基于LSTM-Attention网络的工业控制系统入侵检测方法 | |
US20220114399A1 (en) | System and method for machine learning fairness testing | |
US10380709B1 (en) | Automated secondary linking for fraud detection systems | |
CN114565002A (zh) | 基于行为与注意力机制的异常行为检测方法及系统 | |
Wang et al. | On sparse feature attacks in adversarial learning | |
EP3920067A1 (en) | Method and system for machine learning model testing and preventive measure recommendation | |
CN109840413B (zh) | 一种钓鱼网站检测方法及装置 | |
Tait et al. | Intrusion detection using machine learning techniques: an experimental comparison | |
Dong et al. | Variable importance clouds: A way to explore variable importance for the set of good models | |
CN110874471A (zh) | 保护隐私安全的神经网络模型的训练方法和装置 | |
WO2021037280A2 (zh) | 基于rnn的反洗钱模型的训练方法、装置、设备及介质 | |
CN116318928A (zh) | 一种基于数据增强和特征融合的恶意流量识别方法及系统 | |
CN112052816A (zh) | 基于自适应图卷积对抗网络的人体行为预测方法及系统 | |
CN107885754B (zh) | 基于lda模型从交易数据中提取信用变量的方法和装置 | |
CN113609394A (zh) | 面向信息流的安全推荐系统 | |
CN113179276A (zh) | 基于显式和隐含特征学习的智能入侵检测方法和系统 | |
Thi et al. | One-class collective anomaly detection based on long short-term memory recurrent neural networks | |
WO2020093817A1 (zh) | 一种核身方法及装置 | |
CN115204322B (zh) | 行为链路异常识别方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |