CN113242233B - 一种多分类的僵尸网络检测装置 - Google Patents

一种多分类的僵尸网络检测装置 Download PDF

Info

Publication number
CN113242233B
CN113242233B CN202110499928.9A CN202110499928A CN113242233B CN 113242233 B CN113242233 B CN 113242233B CN 202110499928 A CN202110499928 A CN 202110499928A CN 113242233 B CN113242233 B CN 113242233B
Authority
CN
China
Prior art keywords
botnet
data
classification
detection
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110499928.9A
Other languages
English (en)
Other versions
CN113242233A (zh
Inventor
周华春
沈琦
李曼
杨天奇
李颖之
李丽娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202110499928.9A priority Critical patent/CN113242233B/zh
Publication of CN113242233A publication Critical patent/CN113242233A/zh
Application granted granted Critical
Publication of CN113242233B publication Critical patent/CN113242233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • G06F18/2113Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供了一种多分类的僵尸网络检测装置。包括:数据收集模块通过网络流量收集工具收集僵尸网络流量数据;数据处理模块根据僵尸网络流量数据聚合得到体现各种僵尸网络行为特征的双向数据流;数据分析模块对正常流量和体现各种僵尸网络行为特征的双向数据流进行分析,得到僵尸网络特征数据集和典型僵尸网络特征;离线训练模块利用僵尸网络特征数据集和所述典型僵尸网络特征离线训练神经网络模型,得到多分类僵尸网络检测模型;在线检测模块在网络入口处部署多分类僵尸网络检测模型,对网络数据流进行在线检测,当检测出僵尸网络特征后,发出预警。本发明通过使用集成学习技术,有效地混合多种检测技术,准确地检测多种僵尸网络类型。

Description

一种多分类的僵尸网络检测装置
技术领域
本发明涉及网络安全检测技术领域,尤其涉及一种多分类的僵尸网络检测装置。
背景技术
僵尸网络是一种通过协议漏洞、暴力破解等多重传播手段破坏僵尸主机,从而在僵尸控制者和僵尸主机之间形成的可一对多控制的网络。通过僵尸网络可以发动传播勒索病毒、散布垃圾邮件、发动分布式拒绝服务攻击、窃取用户信息和设备数据等大量的恶意活动,它已经成为网络基础设施面临的最严重的威胁之一。
僵尸网络的生命周期总共分为五个阶段:初始感染阶段、二次注入阶段、连接阶段、恶意活动阶段和维护更新阶段。在连接阶段中,僵尸主机通过联系命令和控制服务器来维持连接、接收指令和更新恶意文件;在恶意活动阶段,僵尸主机在接受到恶意攻击的命令后,开始进行恶意活动,如信息窃取、执行DDoS攻击、传播恶意软件、敲诈勒索和发送垃圾邮件等。
僵尸网络能够迅速发展有以下三点原因:第一,攻击者可以通过多种渠道来构建定制化的僵尸网络,使得僵尸网络的变种广泛多样;第二,僵尸网络除了使用新颖的HTTP、P2P等协议,还使用了多种规避检测的技术,例如加密技术、域生成算法、快速通量等;第三,僵尸网络会产生大量恶意流量,耗费检测技术大量的计算资源和时间,从而削弱检测技术的性能。
目前,现有技术中的僵尸网络的检测方法存在以下问题:
①传统的僵尸网络检测方法只针对僵尸网络生命周期的单一阶段:连接阶段或恶意活动阶段。即使僵尸网络的恶意活动阶段的网络流量被检测出来,僵尸控制者仍有机会重新组建僵尸网络。
②单一的特征选择算法并不能充分挖掘数据特征和预测结果的相关性,导致特征表达能力不足,影响了僵尸网络的在线检测性能。
③单一的机器学习技术只能检测出在训练阶段出现过的僵尸网络或其近亲,对于未知的僵尸网络或者使用新颖的规避技术的僵尸网络的检测准确率较低,并且大部分检测算法无法检测出具体的僵尸网络的具体种类。
发明内容
本发明提供了一种多分类的僵尸网络检测装置,以实现准确地检测出多种僵尸网络类型。
为了实现上述目的,本发明采取了如下技术方案。
一种多分类的僵尸网络检测装置,包括:数据收集模块、数据处理模块、数据分析模块、离线训练模块和在线检测模块;
所述的数据收集模块,用于在网络入口处通过网络流量收集工具周期性地收集僵尸网络流量数据,将收集到的僵尸网络流量数据传输给数据处理模块;
所述的数据处理模块,用于根据僵尸网络流量数据中的数据包头中的五元组信息聚合得到体现各种僵尸网络行为特征的双向数据流,将双向数据流传输给数据分析模块;
所述的数据分析模块,用于利用僵尸网络攻击原理对正常流量和体现各种僵尸网络行为特征的双向数据流进行分析,得到僵尸网络特征数据集,利用多种特征选择算法从所述僵尸网络特征数据集中筛选出典型僵尸网络特征;
所述的离线训练模块,用于利用集成学习算法集成多种神经网络模型,利用所述僵尸网络特征数据集和所述典型僵尸网络特征离线训练多种神经网络模型,得到多分类僵尸网络检测模型;
所述的在线检测模块,用于在网络入口处部署训练好的多分类僵尸网络检测模型,利用所述多分类僵尸网络检测模型对网络数据流进行在线检测,当检测出僵尸网络特征后,发出预警。
优选地,所述的数据分析模块包括:特征生成单元和特征选择单元;
所述的特征生成单元,用于利用僵尸网络攻击原理从正常流量和体现各种僵尸网络行为特征的双向数据流中的每个数据包头和数据有效载荷中提取特征,该特征包括:源IP地址、源端口号、目的IP地址、目的端口号、协议、时间特征、数据包包头特征、数据包有效载荷特征、流属性特征标志位特征,将所有的特征组成包含僵尸网络生命周期的多个阶段的僵尸网络特征数据集;
所述的特征选择单元,用于通过结合多种特征选择算法基于筛选策略从僵尸网络特征数据集中筛选出典型僵尸网络特征。
优选地,所述的僵尸网络生命周期的多个阶段包括连接阶段、恶意活动阶段和更新维护阶段;
所述时间特征包括:时间戳、流持续时间、数据包之间的时间间隔的统计信息、正向/反向数据包之间的时间间隔的统计信息、流活动时间的统计信息和流空闲时间的统计信息;
所述数据包包头特征包括:正向/反向的传输层头部字节统计信息、正向/反向的初始化窗口值、正向/反向标志位信息;
所述数据包有效载荷特征包括:正向/反向数据包有效载荷的统计信息、数据包有效载荷的统计信息;
所述流属性特征包括:正向/反向数据包总数量、下载/上传比例、数据包速率、字节码速率、子流中的正向/反向数据包、批量的有效载荷数据包/字节的统计信息和正向存在有效载荷的数据包数目;
所述统计信息包括数据的最大值、最小值、平均值、方差和总和;
所述标志位特征包含以下的标志位信息:FIN、SYN、RST、PSH、ACK、URG、CWR、ECE;
所述源IP地址、源端口号、目的IP地址、目的端口号和协议会形成流标识号。
优选地,所述的特征选择算法包括:随机森林、极端树、秩相关系数和Boruta特征选择算法;
所述的筛选策略包括:将被超过三种或三种以上的特征选择算法选择的僵尸网络特征确定为是重要的僵尸网络特征,共计N个僵尸网络特征组成特征集[F0,····,FN];将仅被两种特征特征选择算法选择的僵尸网络特征确定为是次重要的特征,共计M个僵尸网络特征组成特征集[F0,····,FM];
针对不同的集成学习中的初级分类器提供不同的输入特征集[F0,····,FN,Fi,Fj,····,Fk]、[F0,····,FN,Fm,Fn,····,Fo]、[F0,····,FN,Fx,Fy,····,Fz],其中[F0,····,FN]为不同特征选择算法筛选出的N个特征,i,j,k,m,n,o,x,y,z为M个次重要特征中随机抽取的索引值;每个特征集的大小最小为N+3/4M,最大为N+M。
优选地,所述的离线训练模块包括:特征标准化单元和模型训练单元;
所述的特征标准化单元,用于对所述僵尸网络特征数据集和典型僵尸网络特征的数据进行标准化处理,得到标准化的数据特征;
模型训练单元,用于通过使用集成学习算法集成多种神经网络,利用所述标准化的数据特征使用K折交叉验证方法离线训练多种神经网络模型,得到多分类僵尸网络检测模型。
优选地,所述的集成学习算法包括:初级学习器和元分类器,所述初级学习器包括人工神经网络、卷积神经网络或者深度神经网络,所述元分类器包括决策树算法;
使用不同的输入特征训练集[F0,····,FN,Fi,Fj,····,Fk]、[F0,····,FN,Fm,Fn,····,Fo]、[F0,····,FN,Fx,Fy,····,Fz]对每个分类器模型逐个进行训练,得到初级学习器的预测结果;将初级学习器的预测结果整合成一个训练集,即第j个初级学习器对第i个训练样本的预测概率值将作为新的训练集B中第i个样本的第j个特征值,送入元分类器进行训练。
优选地,所述的K折交叉验证方法包括:将所有的数据集分为K份,包括数据集1,数据集2,…,数据集K,每次不重复地取其中一份作为测试集,剩下的K-1份用来训练交叉验证重复K次,将这K次得到的结果取平均,得到最终的评测。
优选地,所述多分类僵尸网络检测模型的准确率Accuracy、召回率Recall、精确率Precision和F1-Score的计算公式如下:
Accuracy=(TP+TN)/(TP+TN+FP+FN)
Recall=TP/(TP+FN)
Precision=TP/(TP+FP)
F1-Score=2*Recall*Precision/(Precision+Recall)=2TP/(2TP+FP+FN)
其中,TP为僵尸网络被正确检测为僵尸网络的数目;TN为正常流量被正确检测为正常流量的数目;FN为僵尸网络被错误检测为正常流量的数目;FP为正常流量被错误检测为僵尸网络的数目。
优选地,所述的在线检测模块包括:网络流采集单元和在线检测单元;
网络流采集单元,用于在网络入口指定的网卡处通过网络流量收集工具周期性地收集实时流量数据,形成在线流量数据集;
在线检测单元,用于在网络入口处部署训练好的多分类僵尸网络检测模型,利用所述多分类僵尸网络检测模型对所述在线流量数据集进行检测,当检测出僵尸网络特征后,发出预警。
优选地,所述的在线检测模块的评估指标为检测率和恶意流量降低率,所述的评估指标的计算方法为:
检测率=被正确识别为攻击流量数目/总的攻击流量数目。
恶意流量降低率=(检测前的攻击流量数目-检测后的攻击流量数目)/总的攻击流量数目。
由上述本发明的实施例提供的技术方案可以看出,本发明提供的多分类的僵尸网络检测装置通过使用集成学习技术,有效地混合多种检测技术,能够降低单一深度学习模型带来的误报率,提升检测准确率,并准确地检测多种僵尸网络类型。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1和图2为本发明提出一种多分类的僵尸网络检测装置的结构图;
图3为本发明实施例提供的一种离线训练模块的实现原理图;
图4为本发明实施例提供的一种集成学习算法的实现原理图;
图5为本发明实施例提供的一种离线训练模块的混淆矩阵图;
图6为本发明实施例提供的一种在线检测模块的实现原理图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解,下面将结合附图以几个具体实施例为例做进一步的解释说明,且各个实施例并不构成对本发明实施例的限定。
针对现有的僵尸网络检测方法的不足,本发明实施例提出了一种多分类的僵尸网络检测装置。以僵尸网络行为特征和正常流量行为特征存在差异性为准则,结合僵尸网络生命周期的多个阶段,对流量行为进行分析,提取僵尸网络双向数据流特征。通过结合多种特征选择算法的输出结果选择合适的僵尸网络特征,提升特征表达能力,并针对不同的初级学习器提供不同的特征集来保证训练模型的性能。
本发明提出一种多分类的僵尸网络检测装置的结构图如图1和图2所示,包括数据收集模块、数据处理模块、数据分析模块、离线训练模块和在线检测模块。
数据收集模块,用于在网络入口处通过网络流量收集工具周期性地收集僵尸网络流量数据,将收集到的僵尸网络流量数据传输给数据处理模块。
上述僵尸网络流量数据是在控制服务器和僵尸主机(等待/连接阶段)之间或僵尸主机和受害者(攻击阶段)之间的僵尸命令的双向流量数据,僵尸网络流量数据中的第一个数据包确定了正向流方向和反向流方向,因此其所生成的特征中包含了对于正向流和反向流的描述。
数据处理模块,用于根据僵尸网络流量数据中的数据包头中的五元组信息聚合得到体现各种僵尸网络行为特征的双向数据流,将双向数据流传输给数据分析模块;上述五元组信息为源地址、源端口号、目的地址、目的端口号和协议。
所述的数据分析模块,用于利用僵尸网络攻击原理对正常流量和体现各种僵尸网络行为特征的双向数据流进行分析,得到僵尸网络特征数据集,利用多种特征选择算法从所述僵尸网络特征数据集中筛选出典型僵尸网络特征;
数据分析模块,用于利用僵尸网络攻击原理对正常流量和不同种类的包含僵尸网络生命周期多个阶段的双向数据流进行分析,提取双向数据流特征,将所有的双向数据流特征形成僵尸网络特征数据集,利用多种特征选择算法的输出结果从僵尸网络特征数据集中筛选出僵尸网络特征。
本发明实施例针对多种僵尸网络攻击,具体包括Ares、Build Your Own Botnet(BYOB)、IRC-Botnet、Zeus、Mirai等僵尸网络。僵尸网络在连接阶段/更新维护阶段的攻击原理是僵尸主机和命令控制服务器之间周期性地问询状态和下载必要的恶意二进制文件,以保持僵尸控制者对于僵尸主机的绝对控制,这个阶段的网络流量主要是控制和命令服务器和僵尸主机之间的流量。僵尸网络在恶意活动阶段的恶意活动可大致分为信息窃取和网络攻击,信息窃取的攻击原理是僵尸主机利用系统漏洞进行键盘记录、窃取秘密文件、网络钓鱼等非法活动,网络攻击大部分为DDoS攻击,大致分为SYN DDoS、ACK DDoS、UDP DDoS和HTTP DDoS,这个阶段的网络流量主要是僵尸主机和受害者之间的流量,其中SYN DDoS的攻击原理受害者服务器因为不断地接收大量的SYN请求而维持了半连接状态,导致端口无法正常使用;ACK DDoS的攻击原理是受害者服务器因为需要不断地向大量的不合法的带有ACK标志位的数据包回应RST,导致正常数据包无法得到请求;UDP DDoS的攻击原理是根据UDP的无连接的特性,使得网络上充斥着大量的数据包或者受害者需要接收处理大量数据包,而导致的网络资源/服务器资源耗尽;HTTP DDoS的攻击原理是大量的僵尸主机通过匿名代理的方式伪装正常用户的HTTP请求来达到消耗服务器资源/淹没正常请求的目的。
数据分析模块利用僵尸网络攻击原理从正常流量和体现各种僵尸网络行为特征的双向数据流中的每个数据包头和数据有效载荷中提取特征,所述的特征包括:源IP地址、源端口号、目的IP地址、目的端口号、协议、时间特征、数据包包头特征、数据包有效载荷特征、流属性特征和标志位特征,将所有的特征组成包含僵尸网络生命周期的多个阶段的僵尸网络特征数据集。
离线训练模块,用于利用集成学习算法集成多种神经网络模型,利用基于上述僵尸网络特征数据集和典型僵尸网络特征离线训练多种神经网络模型,得到多分类僵尸网络检测模型。
在线检测模块,用于在网络入口处部署离线训练模块训练好的多分类僵尸网络检测模型,利用上述多分类僵尸网络检测模型对网络数据流进行在线检测,当检测出僵尸网络特征后,发出预警。
优选地,所述的数据分析模块包括:特征生成单元和特征选择单元。
特征生成单元,用于对多种僵尸网络行为特征和正常流量行为特征进行分析,结合僵尸网络攻击原理提取双向数据流特征,将提取的双向数据流特征传输给特征选择单元;
不同的僵尸网络也会产生不同的僵尸网络流量,如产生大量的DDoS攻击流量、窃取用户隐私等,且不同的僵尸网络特征会对多分类僵尸网络检测机制的准确性产生积极或消极的影响。以僵尸网络行为特征和正常流量行为特征存在差异性为准则,结合僵尸网络生命周期的多个阶段,对流量行为进行分析,选取合适流量行为特征表征多种僵尸网络的流量行为,形成僵尸网络特征数据集。
上述僵尸网络生命周期的多个阶段包括连接阶段、恶意活动阶段、更新维护阶段。
具体的,特征生成单元用于从每个流中的数据包头和数据有效载荷中提取特征,该特征包括:源IP地址、源端口号、目的IP地址、目的端口号、协议、时间、数据包包头、数据包有效载荷、流属性、统计信息和标志位特征,将所有的特征组成包含僵尸网络生命周期的多个阶段的僵尸网络特征数据集;
上述时间特征包括:时间戳、流持续时间、数据包之间的时间间隔的统计信息、正向/反向数据包之间的时间间隔的统计信息、流活动时间的统计信息、流空闲时间的统计信息;
上述数据包包头特征包括:正向/反向的传输层头部字节统计信息、正向/反向的初始化窗口值、正向/反向标志位信息;
上述数据包有效载荷特征包括:正向/反向数据包有效载荷的统计信息、数据包有效载荷的统计信息;
上述流属性特征包括:正向/反向数据包总数量、下载/上传比例、数据包速率、字节码速率、子流中的正向/反向数据包、批量(Bulk)中的有效载荷数据包/字节的统计信息、正向存在有效载荷的数据包数目;
上述统计信息包括数据的最大值、最小值、平均值、方差、总和。
上述标志位特征主要包含以下的标志位信息:FIN、SYN、RST、PSH、ACK、URG、CWR、ECE;
上述提到的源IP地址、源端口号、目的IP地址、目的端口号、协议会形成流标识号。
若两数据包的时间间隔小于设定的空闲时间阈值则被判定为流处于活动/激活状态,否则流处于空闲状态;具体的,所设定的空闲时间阈值为5秒。
子流的判定依据是正向流/反向流中数据包的时间间隔大于设定的子流的时间间隔阈值;具体的,所设定的子流的时间间隔阈值为1秒。
Bulk的判定依据是正向流/反向流的数据包时间间隔小于Bulk的时间间隔阈值,并且存在有效载荷的数据包数据大于等于Bulk的数据包阈值;具体的,所设定的Bulk的时间间隔阈值为1秒,所设定的Bulk的数据包阈值;为2个。
具体的,特征生成单元所生成的双向数据流特征如下述表1所示。
表1
Figure GDA0003601904980000121
Figure GDA0003601904980000131
特征选择单元,用于通过结合多种特征选择算法基于筛选策略从僵尸网络特征数据集中筛选出可用于检测的僵尸网络特征;特征选择单元一方面是为了使得入侵检测方法能够得到其所希望的结果,如使模型更容易被解释、捕捉更复杂的关系;另一方面是为了加速检测方法的检测效率和提升检测精度,如减少数据冗余并降低数据维度、重新缩放变量。充分地挖掘特征和预测结果的相关性,提升特征表达能力。
上述特征选择算法有随机森林、极端树、秩相关系数、Boruta特征选择算法;上述筛选策略包括:被超过三种或三种以上的特征选择算法选择的僵尸网络特征才会被认为是重要的僵尸网络特征,共计N个僵尸网络特征组成特征集[F0,····,FN];仅被两种特征特征选择算法选择的僵尸网络特征被认为是次重要的特征,共计M个僵尸网络特征组成特征集[F0,····,FM]。
针对不同的集成学习中的初级分类器提供不同的输入特征集[F0,····,FN,Fi,Fj,····,Fk]、[F0,····,FN,Fm,Fn,····,Fo]、[F0,····,FN,Fx,Fy,····,Fz],其中[F0,····,FN]为不同特征选择算法筛选出的N个特征,i,j,k,m,n,o,x,y,z为M个次重要特征中随机抽取的索引值;每个特征集的大小最小为N+3/4M,最大为N+M。
具体的,针对多种僵尸网络,包括Ares、BYOB、IRC、Zeus、Mirai等,根据上述筛选步骤得到的特征集[F0,····,FN],如表2所示;根据上述筛选步骤得到的特征集[F0,····,FM],如表3所示。
表2
Figure GDA0003601904980000141
Figure GDA0003601904980000151
表3
Figure GDA0003601904980000152
Figure GDA0003601904980000161
为了排除流标识信息对检测方法的干扰,在离线训练和在线检测过程中,应该排除流标识的相关信息:源IP地址、源端口号、目的IP地址、目的端口号、协议。
图3为本发明实施例提供的一种离线训练模块的实现原理图,所述的离线训练模块包括:特征标准化单元和模型训练单元。
特征标准化单元,用于对输入的数据进行标准化处理,得到标准化的数据特征;优选地,可以通过Z-Score方法对标准化的数据特征进行特征预处理,所述Z-Score方法的公式如下所示:
(Xi-μ)/σ,其中Xi为当前元素,μ为均值,σ为标准差。
模型训练单元,用于通过使用集成学习算法集成多种神经网络,并使用K折交叉验证方法,所述的集成学习算法的实现原理图如图4所示,具体处理过程包括:集成模型中主要分为两个学习器:初级学习器和元分类器,从数据集A中使用不同的输入特征训练集[F0,····,FN,Fi,Fj,····,Fk]、[F0,····,FN,Fm,Fn,····,Fo]、[F0,····,FN,Fx,Fy,····,Fz]对每个分类器模型逐个进行训练,得到初级学习器的预测结果;然后将初级学习器的预测结果整合成一个训练集,即第j个初级学习器对第i个训练样本的预测概率值将作为新的训练集B中第i个样本的第j个特征值,送入元分类器进行训练。
具体的,使用的初级学习器为人工神经网络、卷积神经网络、深度神经网络;元分类器为决策树算法。
所述的K折交叉验证方法包括:将所有的数据集分为K份(数据集1,数据集2,…,数据集K),每次不重复地取其中一份作为测试集,剩下的K-1份用来训练。交叉验证重复K次,将这K次得到的结果取平均,得到最终的评测。
集成学习的初级学习器之间要尽量不相关,从而不同的初级学习器之间能够互补检测性能;初级学习器的预测性能也必须达到较高的标准,否则会影响在线检测模型的性能。
其中模型的准确率(Accuracy)、召回率(Recall)、精确率(Precision)和F1-Score的具体计算公式如下:
Accuracy=(TP+TN)/(TP+TN+FP+FN)
Recall=TP/(TP+FN)
Precision=TP/(TP+FP)
F1-Score=2*Recall*Precision/(Precision+Recall)=2TP/(2TP+FP+FN)
其中,TP为僵尸网络被正确检测为僵尸网络的数目;TN为正常流量被正确检测为正常流量的数目;FN为僵尸网络被错误检测为正常流量的数目;FP为正常流量被错误检测为僵尸网络的数目。
以僵尸网络Ares、BYOB、IRC-Botnet、Zeus、Mirai举例说明,本发明实例中的离线训练模块的多分类Precision、Recall、F1-Score如表4所示。
表4
Precision Recall F1-Score
Benign 1.00 1.00 1.00
Ares 0.92 0.95 0.94
BYOB 0.95 0.92 0.93
IRC-Botnet 1.00 1.00 1.00
Zeus 0.94 0.96 0.95
Mirai 1.00 1.00 1.00
以僵尸网络Ares、BYOB、IRC-Botnet、Zeus、Mirai举例说明,图5为本发明实施例中的离线训练模块的混淆矩阵图,准确率为97.00%;
图6为本发明实施例提供的一种在线检测模块的实现原理图,所述的在线检测模块包括:网络流采集单元和在线检测单元。
网络流采集单元,用于在网络入口处在指定的网卡通过网络流量收集工具周期性地收集流量数据,形成数据集;
在网络中存在正常流量和多种僵尸网络连接阶段、恶意活动阶段和更新维护阶段产生的僵尸网络流量;连接阶段主要是命令和控制服务器和僵尸主机之间为了保持双方的长连接状态的通信流量;恶意活动阶段主要是僵尸主机攻击受害者主机/服务器的恶意活动流量,如SYNFlood、ACK Flood、UDP Flood、UDPplain Flood、HTTP Post/GETFlood、HTTP慢速攻击、端口扫描、窃取用户个人信息(账户密码、键盘记录、视频);更新维护阶段主要是僵尸命令和控制服务器更新了恶意二进制文件,并发布到僵尸主机中。
一方面为了使基于流的网络数据的控制在合适的大小范围内,且保证不会丢失重要的网络数据;另一方面由于UDP是无连接的传输层协议,需要合理地设定TCP/UDP流结束的依据;在具体实施过程中,收集数据集的时间定为120秒。
特征生成单元,用于在数据集中提取数据处理模块筛选出的重要特征集[F0,····,FN,Fi,Fj,····,Fk]、[F0,····,FN,Fm,Fn,····,Fo]、[F0,····,FN,Fx,Fy,····,Fz];
具体的,当TCP流中存在FIN标志位来判定一个流结束,TCP流通过FIN标志位作为流结束的判定依据。
优选地,由于TCP数据流通过四次挥手来释放连接的资源,为了防止检测方法的误判,需要过滤网络数据流中的第一个出现的FIN标志位之后FIN-ACK、FIN、ACK数据包,确保在线检测的性能;
优选地,当所处的网络中存在UDP数据流或TCP流中没有FIN标志位来判定一个流结束,因此需要设定合理的流超时时间来截断流;此外通过设定合理的流超时时间将网络数据的大小控制在合适的大小范围内,且不会丢失重要的网络数据。在具体实施过程中,流超时时间定为120秒。
在线检测单元,用于将离线训练模块训练好的集成学习神经网络模型部署在网络入口处,进行僵尸网络检测,并在终端实时预警恶意流量的流标识信息;
优选地,当在线检测模块的检测率低于阈值时,需要数据分析模块、离线训练模块更新特征集和在线检测模型。
具体的,在线检测模块的评估指标为检测率和恶意流量降低率,所述的评估指标如下所示:
检测率=被正确识别为攻击流量数目/总的攻击流量数目。
恶意流量降低率=(检测前的攻击流量数目-检测后的攻击流量数目)/总的攻击流量数目。本发明实施例针对多种僵尸网络攻击,具体包括Ares、Build Your Own Botnet(BYOB)、IRC-Botnet、Zeus、Mirai等僵尸网络。其中,Ares僵尸网络:僵尸主机会基于HTTP协议周期性地问询命令和控制服务器,并在恶意活动阶段执行键盘记录、文件下载等恶意活动;BYOB僵尸网络:因为其平台无关的特性,僵尸主机在初始感染阶段会基于HTTP协议从命令和控制服务器中下载执行恶意活动所需的全部库文件,同时维持长连接状态,并在恶意活动阶段执行键盘记录、屏幕截屏、端口扫描等恶意活动;IRC-Botnet僵尸网络:命令和控制服务器会基于IRC协议定期的向僵尸主机发送心跳包,并在恶意活动阶段发动UDP DDoS、CCDDoS等恶意活动;Zeus僵尸网络:僵尸主机基于HTTP协议周期性的问询命令和控制服务器并从命令和控制服务器下载恶意文件,并在恶意活动阶段执行篡改网页、窃取用户信息、操纵货币交易等恶意活动;Mirai僵尸网络:僵尸主机会基于Telnet协议周期性地问询控制和命令服务器,并在在恶意活动阶段发动SYN、ACK、UDP等DDoS攻击。
综上所述,本发明提供了一种多分类的僵尸网络检测方法及系统,与现有技术相比具备以下有益效果:以僵尸网络行为特征和正常流量行为特征存在差异性为准则,结合僵尸网络生命周期的多个阶段的攻击原理对正常流量和体现各种僵尸网络行为特征的双向数据流进行分析,提取僵尸网络双向流特征。通过结合多种特征选择算法从所述的僵尸网络特征数据集中筛选出典型僵尸网络特征,降低数据集特征维度,提升特征表达能力。该多分类的僵尸网络检测方法及系统,通过使用集成学习技术,有效地混合多种检测技术,并针对不同的初级学习器提供不同的特征集来保证僵尸网络的检测能力;可以在网络入口处部署训练好的检测模型,进行僵尸网络的在线检测,并能有效地检测具体的僵尸网络种类。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种多分类的僵尸网络检测装置,其特征在于,包括:数据收集模块、数据处理模块、数据分析模块、离线训练模块和在线检测模块;
所述的数据收集模块,用于在网络入口处通过网络流量收集工具周期性地收集僵尸网络流量数据,将收集到的僵尸网络流量数据传输给数据处理模块;
所述的数据处理模块,用于根据僵尸网络流量数据中的数据包头中的五元组信息聚合得到体现各种僵尸网络行为特征的双向数据流,将双向数据流传输给数据分析模块;
所述的数据分析模块,用于利用僵尸网络攻击原理对正常流量和体现各种僵尸网络行为特征的双向数据流进行分析,得到僵尸网络特征数据集,利用多种特征选择算法从所述僵尸网络特征数据集中筛选出典型僵尸网络特征;
所述的离线训练模块,用于利用集成学习算法集成多种神经网络模型,利用所述僵尸网络特征数据集和所述典型僵尸网络特征离线训练多种神经网络模型,得到多分类僵尸网络检测模型;
所述的在线检测模块,用于在网络入口处部署训练好的多分类僵尸网络检测模型,利用所述多分类僵尸网络检测模型对网络数据流进行在线检测,当检测出僵尸网络特征后,发出预警;
所述的数据分析模块包括:特征生成单元和特征选择单元;
所述的特征生成单元,用于利用僵尸网络攻击原理从正常流量和体现各种僵尸网络行为特征的双向数据流中的每个数据包头和数据有效载荷中提取特征,该特征包括:源IP地址、源端口号、目的IP地址、目的端口号、协议、时间特征、数据包包头特征、数据包有效载荷特征、流属性特征和标志位特征,将所有的特征组成包含僵尸网络生命周期的多个阶段的僵尸网络特征数据集;
所述的特征选择单元,用于通过结合多种特征选择算法基于筛选策略从僵尸网络特征数据集中筛选出典型僵尸网络特征;
所述的特征选择算法包括:随机森林、极端树、秩相关系数和Boruta特征选择算法;
所述的筛选策略包括:将被超过三种或三种以上的特征选择算法选择的僵尸网络特征确定为是重要的僵尸网络特征,共计N个僵尸网络特征组成特征集[F0,····,FN];将仅被两种特征特征选择算法选择的僵尸网络特征确定为是次重要的特征,共计M个僵尸网络特征组成特征集[F0,····,FM];
针对不同的集成学习中的初级分类器提供不同的输入特征集[F0,····,FN,Fi,Fj,····,Fk]、[F0,····,FN,Fm,Fn,····,Fo]、[F0,····,FN,Fx,Fy,····,Fz],其中[F0,····,FN]为不同特征选择算法筛选出的N个重要特征,i,j,k,m,n,o,x,y,z为M个次重要特征中随机抽取的索引值;每个特征集的大小最小为N+3/4M,最大为N+M。
2.根据权利要求1所述的多分类的僵尸网络检测装置,其特征在于,所述的僵尸网络生命周期的多个阶段包括连接阶段、恶意活动阶段和更新维护阶段;
所述时间特征包括:时间戳、流持续时间、数据包之间的时间间隔的统计信息、正向/反向数据包之间的时间间隔的统计信息、流活动时间的统计信息和流空闲时间的统计信息;
所述数据包包头特征包括:正向/反向的传输层头部字节统计信息、正向/反向的初始化窗口值、正向/反向标志位信息;
所述数据包有效载荷包括:正向/反向数据包有效载荷的统计信息、数据包有效载荷的统计信息;
所述流属性特征包括:正向/反向数据包总数量、下载/上传比例、数据包速率、字节码速率、子流中的正向/反向数据包、批量的有效载荷数据包/字节的统计信息和正向存在有效载荷的数据包数目;
所述统计信息包括数据的最大值、最小值、平均值、方差和总和;
所述标志位特征包含以下的标志位信息:FIN、SYN、RST、PSH、ACK、URG、CWR、ECE;
所述源IP地址、源端口号、目的IP地址、目的端口号和协议会形成流标识号。
3.根据权利要求1所述的多分类的僵尸网络检测装置,其特征在于,所述的离线训练模块包括:特征标准化单元和模型训练单元;
所述的特征标准化单元,用于对所述僵尸网络特征数据集和典型僵尸网络特征的数据进行标准化处理,得到标准化的数据特征;
模型训练单元,用于通过使用集成学习算法集成多种神经网络,利用所述标准化的数据特征使用K折交叉验证方法离线训练多种神经网络模型,得到多分类僵尸网络检测模型。
4.根据权利要求3所述的多分类的僵尸网络检测装置,其特征在于,所述的集成学习算法包括:初级学习器和元分类器,所述初级学习器包括人工神经网络、卷积神经网络或者深度神经网络,所述元分类器包括决策树算法;
使用不同的输入特征训练集[F0,····,FN,Fi,Fj,····,Fk]、[F0,····,FN,Fm,Fn,····,Fo]、[F0,····,FN,Fx,Fy,····,Fz]对每个分类器模型逐个进行训练,得到初级学习器的预测结果;将初级学习器的预测结果整合成一个训练集,即第j个初级学习器对第i个训练样本的预测概率值将作为新的训练集B中第i个样本的第j个特征值,送入元分类器进行训练。
5.根据权利要求3所述的多分类的僵尸网络检测装置,其特征在于,所述的K折交叉验证方法包括:将所有的数据集分为K份,包括数据集1,数据集2,…,数据集K,每次不重复地取其中一份作为测试集,剩下的K-1份用来训练交叉验证重复K次,将这K次得到的结果取平均,得到最终的评测。
6.根据权利要求3所述的多分类的僵尸网络检测装置,其特征在于,所述多分类僵尸网络检测模型的准确率Accuracy、召回率Recall、精确率Precision和F1-Score的计算公式如下:
Accuracy=(TP+TN)/(TP+TN+FP+FN)
Recall=TP/(TP+FN)
Precision=TP/(TP+FP)
F1-Score=2*Recall*Precision/(Precision+Recall)=2TP/(2TP+FP+FN)
其中,TP为僵尸网络被正确检测为僵尸网络的数目;TN为正常流量被正确检测为正常流量的数目;FN为僵尸网络被错误检测为正常流量的数目;FP为正常流量被错误检测为僵尸网络的数目。
7.根据权利要求1所述的多分类的僵尸网络检测装置,其特征在于,所述的在线检测模块包括:网络流采集单元和在线检测单元;
网络流采集单元,用于在网络入口指定的网卡处通过网络流量收集工具周期性地收集实时流量数据,形成在线流量数据集;
在线检测单元,用于在网络入口处部署训练好的多分类僵尸网络检测模型,利用所述多分类僵尸网络检测模型对所述在线流量数据集进行检测,当检测出僵尸网络特征后,发出预警。
8.根据权利要求7所述的多分类的僵尸网络检测装置,其特征在于,所述的在线检测模块的评估指标为检测率和恶意流量降低率,所述的评估指标的计算方法为:
检测率=被正确识别为攻击流量数目/总的攻击流量数目;
恶意流量降低率=(检测前的攻击流量数目-检测后的攻击流量数目)/总的攻击流量数目。
CN202110499928.9A 2021-05-08 2021-05-08 一种多分类的僵尸网络检测装置 Active CN113242233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110499928.9A CN113242233B (zh) 2021-05-08 2021-05-08 一种多分类的僵尸网络检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110499928.9A CN113242233B (zh) 2021-05-08 2021-05-08 一种多分类的僵尸网络检测装置

Publications (2)

Publication Number Publication Date
CN113242233A CN113242233A (zh) 2021-08-10
CN113242233B true CN113242233B (zh) 2022-06-03

Family

ID=77132624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110499928.9A Active CN113242233B (zh) 2021-05-08 2021-05-08 一种多分类的僵尸网络检测装置

Country Status (1)

Country Link
CN (1) CN113242233B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113872962B (zh) * 2021-09-24 2024-02-06 东南大学 一种面向高速网络抽样数据采集场景的慢速端口扫描检测方法
CN114448699B (zh) * 2022-01-28 2024-01-30 上海斗象信息科技有限公司 数据检测方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800424A (zh) * 2021-02-02 2021-05-14 西南交通大学 一种基于随机森林的僵尸网络恶意流量监测方法
CN113705604A (zh) * 2021-07-15 2021-11-26 中国科学院信息工程研究所 僵尸网络流量分类检测方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753377B (zh) * 2009-12-29 2011-11-09 吉林大学 一种p2p_botnet实时检测方法及系统
US8682812B1 (en) * 2010-12-23 2014-03-25 Narus, Inc. Machine learning based botnet detection using real-time extracted traffic features
CN108881192B (zh) * 2018-06-04 2021-10-22 上海交通大学 一种基于深度学习的加密型僵尸网络检测系统及方法
CN110995713A (zh) * 2019-12-06 2020-04-10 北京理工大学 一种基于卷积神经网络的僵尸网络检测系统及方法
CN111224994A (zh) * 2020-01-15 2020-06-02 南京邮电大学 一种基于特征选择的僵尸网络检测方法
CN111224998B (zh) * 2020-01-21 2020-12-25 福州大学 一种基于极限学习机的僵尸网络识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800424A (zh) * 2021-02-02 2021-05-14 西南交通大学 一种基于随机森林的僵尸网络恶意流量监测方法
CN113705604A (zh) * 2021-07-15 2021-11-26 中国科学院信息工程研究所 僵尸网络流量分类检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113242233A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN111818052B (zh) 基于cnn-lstm的工控协议同源攻击检测方法
Strayer et al. Botnet detection based on network behavior
CN113206859B (zh) 一种针对低速率DDoS攻击的检测方法和系统
Kirubavathi et al. Botnet detection via mining of traffic flow characteristics
Stevanovic et al. An efficient flow-based botnet detection using supervised machine learning
Kirubavathi Venkatesh et al. HTTP botnet detection using adaptive learning rate multilayer feed-forward neural network
Kemp et al. Utilizing netflow data to detect slow read attacks
Al-Bataineh et al. Analysis and detection of malicious data exfiltration in web traffic
Tyagi et al. Attack and anomaly detection in IoT networks using supervised machine learning approaches.
CN113242233B (zh) 一种多分类的僵尸网络检测装置
CN107370752B (zh) 一种高效的远控木马检测方法
Rahman et al. A game-theoretic approach for deceiving remote operating system fingerprinting
Gadelrab et al. BotCap: Machine learning approach for botnet detection based on statistical features
Narang et al. Feature selection for detection of peer-to-peer botnet traffic
CN115134250A (zh) 一种网络攻击溯源取证方法
Wu et al. Detecting remote access trojans through external control at area network borders
KR100950079B1 (ko) 은닉마코프 모델을 이용한 확률적인 네트워크 이상징후탐지 장치 및 그 방법
Al-Fawa'reh et al. Detecting stealth-based attacks in large campus networks
CN110519228B (zh) 一种黑产场景下恶意云机器人的识别方法及系统
CN111131309A (zh) 分布式拒绝服务检测方法、装置及模型创建方法、装置
Nair et al. A study on botnet detection techniques
Li Detection of ddos attacks based on dense neural networks, autoencoders and pearson correlation coefficient
Tarng et al. The analysis and identification of P2P botnet's traffic flows
De Montigny-Leboeuf Flow attributes for use in traffic characterization
Qu et al. An empirical study of morphing on behavior‐based network traffic classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant