CN116318924A - 一种小样本入侵检测方法、系统、介质、设备及终端 - Google Patents
一种小样本入侵检测方法、系统、介质、设备及终端 Download PDFInfo
- Publication number
- CN116318924A CN116318924A CN202310199801.4A CN202310199801A CN116318924A CN 116318924 A CN116318924 A CN 116318924A CN 202310199801 A CN202310199801 A CN 202310199801A CN 116318924 A CN116318924 A CN 116318924A
- Authority
- CN
- China
- Prior art keywords
- data
- network
- model
- intrusion detection
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 123
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000000605 extraction Methods 0.000 claims abstract description 44
- 238000012360 testing method Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000005259 measurement Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000007493 shaping process Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 abstract description 4
- 230000005012 migration Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003042 antagnostic effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明属于网络安全技术领域,公开了一种小样本入侵检测方法、系统、介质、设备及终端,部署小型局域网实验环境,抓取正常网络流量和网络攻击流量并进行虚拟VPN划分,构建CWIDS2023数据集;对CWIDS2023数据集进行预处理,划分为训练集与测试集;分别构建改进的BiGRU特征提取网络和原型度量网络并进行级联,得到端到端的小样本入侵检测模型BiP‑Net;定义损失函数并最小化损失,训练模型;对已训练模型进行测试,评估模型性能。本发明通过元学习实现从特定任务向新任务的迁移,实现对新型恶意攻击的正确分类,提高模型检测效率;通过部署小型局域网实验环境,提出数据采集方法,实现端到端的入侵检测全过程。
Description
技术领域
本发明属于网络安全技术领域,尤其涉及一种小样本入侵检测方法、系统、介质、设备及终端。
背景技术
目前,随着互联网的普及,网络已渗透到不同领域,与人类的生活息息相关。网络空间已与陆地、海洋、太空、宇宙空间齐名,并称为五大空间,成为关系到国家主权与领土完整的重要部分。然而,网络体系结构的提出,最初就是不可靠的。近年来,针对国家机构、政府机关、工业设施、科研院校等发动的网络攻击数不胜数,危害极大。因此,网络安全防护技术应运而生。传统技术如防火墙、数据加密、访问控制等属于静态被动防护技术,已不能适应目前网络攻击频率高、变化快、影响大的特点。入侵检测技术很好地解决了此问题,其属于积极动态防御的网络安全防护技术,能够有效识别外部入侵、内部入侵及误操作。目前常将机器学习及深度学习方法应用在入侵检测领域,实现正常与攻击数据的正确分类。但是,现有入侵检测方法所需数据量大,对小样本及零样本检测性能差,而训练数据获取及标签标注费时费力;对不同任务的迁移能力差,模型通常只适用于固定任务集,对新任务的泛化能力低,检测性能差;无法有效检测到训练集中未出现的新型恶意攻击,检测精度低;通常在公开数据集上进行训练与测试,不包含数据采集的环节,无法实现端到端的检测;无法适应动态博弈的对抗性真实网络环境,对于实时更新的网络攻击检测精度低。
面对当前网络攻击更新换代快、出现频率低、造成危害大的特点,传统的基于有监督学习的方法需要大量有标签样本数据,已不能满足入侵检测的需求。因此,亟需设计一种新的基于元学习框架的小样本入侵检测方法。
通过上述分析,现有技术存在的问题及缺陷为:
(1)传统的基于有监督学习的方法所需数据量大,对小样本及零样本检测性能差,而训练数据获取及标签标注费时费力;无法有效检测到训练集中未出现的新型恶意攻击,检测精度低。
(2)现有入侵检测方法对不同任务的迁移能力差,模型通常只适用于固定任务集,对新任务的泛化能力低,检测性能差。
(3)现有入侵检测方法在公开数据集上进行训练与测试,不包含数据采集环节,无法实现端到端的检测;无法适应动态博弈的对抗性真实网络环境,对于实时更新的网络攻击检测精度低。
发明内容
针对现有技术存在的问题,本发明提供了一种小样本入侵检测方法、系统、介质、设备及终端,尤其涉及一种基于元学习框架的小样本入侵检测方法、系统、介质、设备及终端。
本发明是这样实现的,一种小样本入侵检测方法,小样本入侵检测方法包括:部署含有四台计算机的小型局域网实验环境,抓取正常网络流量和网络攻击流量并进行虚拟VPN划分,构建CWIDS2023数据集;对CWIDS2023数据集进行预处理,划分为训练集与测试集;分别构建改进的BiGRU特征提取网络和原型度量网络并进行级联,得到端到端的小样本入侵检测模型BiP-Net;定义损失函数并最小化损失,训练模型;对已训练模型进行测试,评估模型性能。
进一步,小样本入侵检测方法包括以下步骤:
步骤一,部署小型局域网实验环境,采集真实网络流量数据,形成数据集CWIDS2023;将数据集CWIDS2023转换为适于输入元学习框架的形式;
步骤二,构建基于元学习框架的入侵检测模型BiP-Net,利用数据集CWIDS2023对入侵检测模型BiP-Net进行训练;
步骤三,利用三个数据集对已训练的BiP-Net模型进行测试;将构建好的BiP-Net模型部署在真实网络环境中进行入侵检测,评估模型性能。
进一步,步骤一中的部署小型局域网实验环境,采集真实网络流量数据,形成数据集CWIDS2023包括:
(1)部署含有四台计算机的同属一个网段的小型局域网实验环境,利用Wireshark软件抓取正常网络流量,形成.pcap文件,并输入CICFlowMeters软件进行特征转换,输出.csv文件,包含85维特征;
(2)部署含有四台计算机的小型局域网实验环境,进行虚拟VPN划分后包含两个子网段,其中每个子网段中包括一个攻击机和目标机,在攻击机上部署Kali-Linux黑客系统模拟网络攻击对目标机实施入侵操作,同时在目标机上利用Wireshark软件抓取网络攻击流量,形成.pcap文件,并输入CICFlowMeters软件进行特征转换,输出.csv文件,包含85维特征;
(3)将已抓取的正常流量和异常流量结合形成CWIDS2023数据集。
进一步,步骤一中的将数据集CWIDS2023转换为适于输入元学习框架形式包括:
(1)对数据集CWIDS2023进行数据预处理;
1)对数据集CWIDS2023进行数据类型的转化:数据数值化,利用one-hot编码方式将85维特征全部转化为数值型数据;
2)对转化后的数值型数据进行归一化处理,将85维特征涵盖的所有数据范围均限制在[0,1]之间;
3)采用DNN-WGAN模型生成对抗样本;WGAN模型由一个生成器和一个鉴别器组成,其中生成器和鉴别器均由DNN组成,为最小-最大游戏的双方,在动态博弈对抗的过程中生成对抗样本。
其中,归一化公式为:
其中,x*表示归一化后的样本数据值,xmin表示样本数据中的最小值,xmax表示样本数据中的最大值。
(2)对数据集CWIDS2023进行训练集与测试集划分;
1)选取5种不同攻击类型与正常类型数据构成训练集中的样本集,其中共有五个不同的样本集,每一样本集含有一种攻击类型和正常类型,样本数均为5,查询集与样本集一一对应且类型一致;
2)选取训练集不包含的一种攻击类型与正常类型构成测试集。
进一步,步骤二中的构建基于元学习框架的入侵检测模型BiP-Net包括:
(1)构建改进的BiGRU特征提取网络,用于提取网络流量数据的前后相关时间特征;其中,改进的BiGRU特征提取网络包括两个单行反向的GRU模型,由输入层、隐藏层与输出层共同组成,输出由当前输入状态xt、前向隐层状态与反向隐层状态/>共同决定;引入自注意力机制,使得模型挖掘隐藏特征;
(2)构建原型度量网络,用于比较分类不同类型的网络流量数据,包括对提取后的同一维度空间内的特征向量进行一系列度量操作,最终实现分类目的;
(3)将改进后的BiGRU特征提取网络与原型度量网络进行级联,构建端到端的小样本入侵检测模型BiP-Net。
进一步,步骤(2)中的构建原型度量网络包括:
1)构建类原型:对训练集的支撑集中包含的同一类型的所有样本作特征向量的平均,得到类原型向量,计算公式为:
2)计算查询点:对训练集的查询集和测试集中出现的样本提取特征,得到样本特征向量;
3)度量距离:求出类原型向量与样本特征向量之间的欧式距离,公式为:
4)输入softmax层得到属于不同类原型的分类概率,计算公式为:
进一步,步骤二中的利用数据集CWIDS2023对入侵检测模型BiP-Net进行训练包括:
(1)定义损失函数为负对数概率损失函数,计算公式为:
(2)选择随机梯度下降法最小化损失,训练模型;
(3)将训练集数据输入模型进行训练:引入早停法,每隔200轮输出一次模型损失和检测精度,保留精度最高时的定型周期。
进一步,步骤三中的利用三个数据集对已训练的BiP-Net模型进行测试包括:
选择两个入侵检测领域内的公开数据集和一个由新建实验环境采集的真实网络流量数据集作为测试数据,输入已训练模型进行测试,评估模型性能;若满足需求,则停止训练;若不满足需求,则重新开始训练。
本发明的另一目的在于提供一种应用所述小样本入侵检测方法的小样本入侵检测系统,小样本入侵检测系统包括:
数据采集模块,用于采集真实网络流量数据,形成数据集CWIDS2023,并将数据集CWIDS2023转换为适于输入元学习框架的形式;
特征提取模块,用于构建改进的BiGRU特征提取网络,利用改进的BiGRU特征提取网络提取网络流量数据的前后相关时间特征;
特征度量模块,用于构建原型度量网络,利用原型度量网络比较分类不同类型的网络流量数据,对提取后的特征向量进行度量操作。
本发明的另一目的在于提供一种计算机设备,计算机设备包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行所述小样本入侵检测方法的步骤。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行所述小样本入侵检测方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端,信息数据处理终端用于实现所述小样本入侵检测系统。
结合上述的技术方案和解决的技术问题,本发明所要保护的技术方案所具备的优点及积极效果为:
第一,针对上述现有技术存在的技术问题以及解决该问题的难度,紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等,详细、深刻地分析本发明技术方案如何解决的技术问题,解决问题之后带来的一些具备创造性的技术效果。具体描述如下:
本发明提供了一种基于元学习框架的小样本入侵检测方法,能够克服传统机器学习与深度学习的短板,实现对小样本及零样本攻击类型的正确检测,并进一步提升检测的准确率。同时,本发明还提供了一种数据采集的方法和生成对抗样本,提升模型对抗性的思想。因此,借助于元学习框架,本发明形成了一个易于部署在真实网络环境中的小样本入侵检测模型BiP-Net。
本发明基于元学习框架的小样本入侵检测模型BiP-Net的提出解决小样本新型攻击检测困难的问题,从数据采集开始实现入侵检测的全环节;提供数据采集方法,使构建的模型更贴近于真实网络环境;同时加入DNN-WGAN模型生成对抗样本对模型进行训练,提高了模型对于动态博弈环境的适应度。
本发明在传统机器学习和深度学习方法的基础上引入了元学习框架,提高对小样本及零样本检测精度,对于小样本及零样本五分类检测准确率最高可达93.05%。本发明通过元学习实现从特定任务向新任务的迁移,实现对新型恶意攻击的正确分类,大大提高模型检测效率。本发明通过部署小型局域网实验环境,提出数据采集的方法,实现端到端的入侵检测全过程。本发明通过结合DNN-WGAN模型生成对抗样本,使模型适应于动态博弈的真实网络环境。
第二,把技术方案看做一个整体或者从产品的角度,本发明所要保护的技术方案具备的技术效果和优点,具体描述如下:
本发明提供了一种数据采集的思路和方法,实现端到端的入侵检测;通过生成对抗样本的模型和方法,提高入侵检测模型在动态博弈环境下的适应度。
本发明依托于元学习框架,基于深度学习算法,遵循入侵检测的三个环节,将模型设计为三个模块:数据采集模块、特征提取模块与特征度量模块的级联检测,最终实现了对小样本及零样本恶意攻击的高精度检测。
第三,作为本发明的权利要求的创造性辅助证据,还体现在以下几个重要方面:
(1)本发明的技术方案转化后的预期收益和商业价值为:
本发明以真实网络流量的采集为基础,经过设计和实验后,模型性能已达到较高水平,可部署在真实网络流量环境中,实现小样本及零样本入侵检测的功能。
(2)本发明的技术方案填补了国内外业内技术空白:
目前应用于入侵检测领域的方法大都基于机器学习与深度学习算法,需要大量训练数据作为支撑,无法检测到少量的新型恶意攻击,会对网络环境造成极大的有害影响。本发明提出一种小样本入侵检测方法,能够对小样本及零样本攻击实现正确检测。
(3)本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题:
本发明提出了一种小样本入侵检测方法,克服了传统入侵检测方法需要大量数据的缺点,构建元学习框架,解决了小样本及零样本检测率低的问题。
(4)本发明的技术方案克服了技术偏见:
本发明的技术方案在一定程度上克服了技术偏见,突破了传统入侵检测方法依赖于大量正常与攻击数据的局限性,构建包含数据采集模块、特征提取模块与特征度量模块的元学习框架,实现对零样本及小样本攻击的正确检测。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的小样本入侵检测方法流程图;
图2是本发明实施例提供的小样本入侵检测方法原理图;
图3是本发明实施例提供的小样本入侵检测系统结构图;
图4是本发明实施例提供的DNN-WGAN模型的结构图;
图5是本发明实施例提供的元学习框架下的数据集划分图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种小样本入侵检测方法、系统、介质、设备及终端,下面结合附图对本发明作详细的描述。
一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现,该部分是对权利要求技术方案进行展开说明的解释说明实施例。
如图1所示,本发明实施例提供的小样本入侵检测方法包括以下步骤:
S101,部署含有四台计算机的小型局域网实验环境,抓取正常网络流量和网络攻击流量并进行虚拟VPN划分,构建CWIDS2023数据集;
S102,对CWIDS2023数据集进行数据类型转化和归一化处理,采用DNN-WGAN模型生成对抗样本,划分为训练集与测试集;
S103,分别构建改进的BiGRU特征提取网络和原型度量网络并进行级联,得到端到端的小样本入侵检测模型BiP-Net;
S104,定义损失函数并最小化损失,利用数据集CWIDS2023对BiP-Net模型进行训练;对已训练模型进行测试,评估模型性能。
作为优选实施例,如图2所示,本发明实施例提供的小样本入侵检测方法具体包括以下步骤:
S1:部署小型局域网实验环境,采集真实网络流量数据,形成数据集CWIDS2023;
S2:将数据集CWIDS2023转换为适于输入元学习框架的形式;
S3:构建基于元学习框架的入侵检测模型BiP-Net;
S4:利用数据集CWIDS2023对BiP-Net模型进行训练;
S5:利用三个数据集对已训练的BiP-Net模型进行测试;
S6:将构建好的BiP-Net模型部署在真实网络环境中进行入侵检测,评估模型性能。
本发明实施例提供的步骤S1具体包括以下步骤:
S1.1:部署一个含有四台计算机的同属一个网段的小型局域网实验环境,利用Wireshark软件抓取正常网络流量,形成.pcap文件,并输入CICFlowMeters软件进行特征转换,输出.csv文件,包含85维特征;
S1.2:部署一个含有四台计算机的小型局域网实验环境,进行虚拟VPN划分后包含两个子网段,其中每个子网段中包括一个攻击机和目标机,在攻击机上部署Kali-Linux黑客系统模拟网络攻击对目标机实施入侵操作,同时在目标机上利用Wireshark软件抓取网络攻击流量,形成.pcap文件,并输入CICFlowMeters软件进行特征转换,输出.csv文件,包含85维特征;
S1.3:将已抓取的10万条正常流量和5万条异常流量结合形成CWIDS2023数据集。
本发明实施例提供的步骤S2具体包括以下步骤:
S2.1:对数据集CWIDS2023进行数据预处理;
S2.2:对数据集CWIDS2023进行训练集与测试集划分;
本发明实施例提供的步骤S2.1具体包括以下步骤:
S2.1.1:对数据集CWIDS2023进行数据类型的转化:数据数值化,利用one-hot编码方式将85维特征全部转化为数值型数据;
S2.1.2:对转化后的数值型数据进行归一化处理,将85维特征涵盖的所有数据范围均限制在[0,1]之间;
S2.1.3:采用DNN-WGAN模型生成对抗样本。WGAN模型由一个生成器和一个鉴别器组成,其中生成器和鉴别器都由DNN组成,为最小-最大游戏的双方,在动态博弈对抗的过程中生成对抗样本。
其中,归一化公式为:
其中,x*表示归一化后的样本数据值,xmin表示样本数据中的最小值,xmax表示样本数据中的最大值。
本发明实施例提供的步骤S2.2具体包括以下步骤:
S2.2.1:选取5种不同攻击类型与正常类型数据构成训练集中的样本集,其中共有五个不同的样本集,每一样本集含有一种攻击类型和正常类型,样本数均为5,查询集与样本集一一对应且类型一致;
S2.2.2:选取训练集不包含的一种攻击类型与正常类型构成测试集。
本发明实施例提供的步骤S3具体包括以下步骤:
S3.1:构建一个改进的BiGRU特征提取网络,用以提取网络流量数据的前后相关时间特征。包括两个单行反向的GRU模型,由输入层、隐藏层与输出层共同组成,输出由当前输入状态xt、前向隐层状态与反向隐层状态/>共同决定。为使该模型不过度关注于自身位置而忽略其余位置的相关度,引入自注意力机制,帮助模型挖掘隐藏特征;
S3.2:构建一个原型度量网络,用以比较分类不同类型的网络流量数据。主要包括对提取后的同一维度空间内的特征向量进行一系列度量操作,最终实现分类目的;
S3.3:将改进后的BiGRU特征提取网络与原型度量网络进行级联,构建端到端的小样本入侵检测模型BiP-Net。
本发明实施例提供的步骤S3.2具体包括以下步骤:
S3.2.1:构建类原型:对训练集的支撑集中包含的同一类型的所有样本作特征向量的平均,得到类原型向量,其公式为:
S3.2.2:计算查询点:对训练集的查询集和测试集中出现的样本提取特征,得到样本特征向量;
S3.2.3:度量距离:求出类原型向量与样本特征向量之间的欧式距离,其公式为:
S3.2.4:输入softmax层得到属于不同类原型的分类概率,其公式为:
本发明实施例提供的步骤S4具体包括以下步骤:
S4.1:定义损失函数为负对数概率损失函数,其公式为:
S4.2:选择随机梯度下降法最小化损失,训练模型;
S4.3:将训练集数据输入模型进行训练。引入早停法,每隔200轮输出一次模型损失和检测精度,保留精度最高时的定型周期,有效避免过拟合和欠拟合现象的发生。
本发明实施例提供的步骤S5具体包括:
选择两个入侵检测领域内的公开数据集和一个由新建实验环境采集的真实网络流量数据集作为测试数据,输入已训练模型进行测试,评估模型性能,若满足需求,则停止训练;反之,重新开始训练。
如图3所示,本发明实施例提供的小样本入侵检测系统包括:
数据采集模块,用于采集真实网络流量数据,形成数据集CWIDS2023,并将数据集CWIDS2023转换为适于输入元学习框架的形式;
特征提取模块,用于构建改进的BiGRU特征提取网络,利用改进的BiGRU特征提取网络提取网络流量数据的前后相关时间特征;
特征度量模块,用于构建原型度量网络,利用原型度量网络比较分类不同类型的网络流量数据,对提取后的特征向量进行度量操作。
图2主要叙述了本发明实施例提供的小样本入侵检测方法原理图。首先分两步采集正常网络流量数据与攻击网络流量数据,而后输入DNN-WGAN模型生成对抗样本,以便对构建模型进行训练;而后,将采集的真实数据与生成的对抗数据进行数据预处理,便于输入分类模型;其次,构建改进的BiGRU模型用于特征提取,将特征空间和属性空间映射到一个统一的嵌入空间中;最后,构建一个由原型网络组成的分类模型,预测分类概率,最终实现对输入数据类型的正确分类。
图3是本发明实施例提供的小样本入侵检测系统结构图;由三个模块:数据采集模块、特征提取模块与特征度量模块组成。其中,数据采集模块包括用wireshark采集正常与攻击网络流量数据,形成.pcap文件;利用CICFlowMeters的离线转化功能将其转化为.csv文件;输入DNN-WGAN模型生成对抗样本。特征提取模块包括改进后的包含注意力机制的BiGRU特征提取模型,将多维特征映射到一个统一的嵌入空间内。特征度量模块包括原型网络分类模型,最终输出预测的分类概率,实现分类功能。
图4是本发明实施例提供的DNN-WGAN模型的结构图;WGAN模型主要由生成器和鉴别器组成,其都由DNN构成。其中,生成器负责对真实样本添加随机噪声生成欺骗样本;鉴别器负责鉴别真实样本与欺骗样本,当难以判别时,此时输出欺骗样本,达到生成对抗样本的目的。
图5是本发明实施例提供的元学习框架下的数据集划分图。分为训练集与测试集,其中训练集又包括样本集和查询集,样本集由多个独立的2-way,K-shot二分类数据集组成;测试集又分为支撑集和测试集,其中测试集包含两类任务子集:小样本分类任务与零样本分类任务。
二、应用实施例。为了证明本发明的技术方案的创造性和技术价值,该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
本发明所构造的基于元学习框架的入侵检测模型,可部署在任意类型的真实网络环境中,不局限于特定的攻击类型与攻击数量。可封装成软件或硬件安装在有需求的计算机终端作为有效的安全防护产品。
三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积极效果,和现有技术相比的确具备很大的优势,下面内容结合试验过程的数据、图表等进行描述。
本发明实施例提供了一种基于元学习框架的小样本入侵检测方法,能够克服传统机器学习与深度学习的短板,实现对小样本及零样本攻击类型的正确检测,并进一步提升检测的准确率。同时,本发明实施例还提供了一种数据采集的方法和生成对抗样本,提升模型对抗性的思想,因此,借助于元学习框架,形成了一个易于部署在真实网络环境中的小样本入侵检测模型BiP-Net。
本发明实施例提供的基于元学习框架的小样本入侵检测模型BiP-Net主要包含五个阶段:数据采集阶段、特征提取阶段、特征度量阶段、模型训练阶段与模型测试阶段,其具体流程如下步骤:
I、数据采集阶段
S1:部署小型局域网实验环境,采集真实网络流量数据,形成数据集CWIDS2023;
S1.1:部署一个含有四台计算机的同属一个网段的小型局域网实验环境,利用Wireshark软件抓取正常网络流量,形成.pcap文件,并输入CICFlowMeters软件进行特征转换,输出.csv文件,包含85维特征;
S1.2:部署一个含有四台计算机的小型局域网实验环境,进行虚拟VPN划分后包含两个子网段,其中每个子网段中包括一个攻击机和目标机,在攻击机上部署Kali-Linux黑客系统模拟网络攻击对目标机实施入侵操作,同时在目标机上利用Wireshark软件抓取网络攻击流量,形成.pcap文件,并输入CICFlowMeters软件进行特征转换,输出.csv文件,包含85维特征;
S1.3:将已抓取的10万条正常流量和5万条异常流量结合形成CWIDS2023数据集。
本发明实施例形成采集数据集CWIDS2023,由85维特征组成,主要包括传输层中TCP流和UDP流,数据包首部特征和统计信息等基本情况,85维特征详细信息见表1,CWIDS2023数据集包含攻击类型见表2。
表1CWIDS2023数据集85维特征名称
表2CWIDS2023数据集包含攻击类型
攻击名称 | 全称 | 解释 |
DoS | denial-of-service | 拒绝服务攻击 |
DDoS | DistributedDenialofService | 分布式拒绝服务攻击 |
Botnet | 僵尸网络 | |
BruteForce | 暴力破解 | |
infiltration | 网络渗透 | |
WebAttack | 网络攻击 |
S2:将数据集CWIDS2023转换为适于输入元学习框架的形式。
S2.1:对数据集CWIDS2023进行数据预处理。
S2.1.1:对数据集CWIDS2023进行数据类型的转化:数据数值化,利用one-hot编码方式将85维特征全部转化为数值型数据;
S2.1.2:对转化后的数值型数据进行归一化处理,将85维特征涵盖的所有数据范围均限制在[0,1]之间;
其中,归一化公式为:
其中,x*表示归一化后的样本数据值,xmin表示样本数据中的最小值,xmax表示样本数据中的最大值。
S2.1.3:采用DNN-WGAN模型生成对抗样本。WGAN模型由一个生成器和一个鉴别器组成,其中生成器和鉴别器都由DNN组成,为最小-最大游戏的双方,在动态博弈对抗的过程中生成对抗样本。
本发明实施例提供的DNN-WGAN模型的示意图如图4所示。
S2.2:对数据集CWIDS2023进行训练集与测试集划分。
S2.2.1:选取5种不同攻击类型与正常类型数据构成训练集中的支撑集,其中共有五个不同的支撑集,每一支撑集含有一种攻击类型和正常类型,样本数均为5,查询集与支撑集一一对应且类型一致;
S2.2.2:选取训练集不包含的一种攻击类型与正常类型构成测试集。
本发明实施例提供的元学习框架下的数据集划分示意图如图5所示。
II、特征提取阶段
S3:构建基于元学习框架的入侵检测模型BiP-Net。
S3.1:构建一个改进的BiGRU特征提取网络,用以提取网络流量数据的前后相关时间特征。包括两个单行反向的GRU模型,由输入层、隐藏层与输出层共同组成,输出由当前输入状态xt、前向隐层状态与反向隐层状态/>共同决定。为使该模型不过度关注于自身位置而忽略其余位置的相关度,引入自注意力机制,帮助模型挖掘隐藏特征。
III、特征度量阶段
S3.2:构建一个原型度量网络,用以比较分类不同类型的网络流量数据。主要包括对提取后的同一维度空间内的特征向量进行一系列度量操作,最终实现分类目的。
S3.2.1:构建类原型:对训练集的支撑集中包含的同一类型的所有样本作特征向量的平均,得到类原型向量,其公式为:
S3.2.2:计算查询点:对训练集的查询集和测试集中出现的样本提取特征,得到样本特征向量。
S3.2.3:度量距离:求出类原型向量与样本特征向量之间的欧式距离,其公式为:
S3.2.4:输入softmax层得到属于不同类原型的分类概率,其公式为:
IV、模型训练与测试阶段
S4:利用数据集CWIDS2023对BiP-Net模型进行训练。
S4.1:定义损失函数为负对数概率损失函数,其公式为:
S4.2:选择随机梯度下降法最小化损失,训练模型。
S4.3:将训练集数据输入模型进行训练。引入早停法,每隔200轮输出一次模型损失和检测精度,保留精度最高时的定型周期,有效避免过拟合和欠拟合现象的发生。
S5:利用三个数据集对已训练的BiP-Net模型进行测试;
选择两个入侵检测领域内的公开数据集和一个由新建实验环境采集的真实网络流量数据集作为测试数据,输入已训练模型进行测试,评估模型性能,若满足需求,则停止训练;反之,重新开始训练。
S6:将构建好的BiP-Net模型部署在真实网络环境中进行入侵检测,评估模型性能。
目前广泛应用于入侵检测领域的机器学习与深度学习算法,虽然已经取得了不错的检测精度和性能,但需要大量训练数据,在面对小样本恶意新型攻击时显得束手无策。因此,本发明将元学习框架应用于入侵检测领域,设计了一种基于元学习框架的小样本入侵检测模型,包括数据采集、特征提取与特征度量三个模块,从数据采集环节开始,实现端到端的入侵检测全过程。本发明实施例采集了CWIDS2023数据集,提供了一种数据采集的方式与途径;提出DNN-WGAN模型生成对抗样本,能够提高所提出入侵检测模型的鲁棒性及对博弈对抗环境的适应度。本发明实施例构建了一个小样本入侵检测模型BiP-Net,将特征提取和特征度量级联起来。本发明实施例采用不同的数据集进行模型的测试,保证了入侵检测模型对不同网络环境和不同攻击类型的通用性。
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种小样本入侵检测方法,其特征在于,小样本入侵检测方法包括:部署含有四台计算机的小型局域网实验环境,抓取正常网络流量和网络攻击流量并进行虚拟VPN划分,构建CWIDS2023数据集;对CWIDS2023数据集进行预处理,划分为训练集与测试集;分别构建改进的BiGRU特征提取网络和原型度量网络并进行级联,得到端到端的小样本入侵检测模型BiP-Net;定义损失函数并最小化损失,训练模型;对已训练模型进行测试,评估模型性能。
2.如权利要求1所述小样本入侵检测方法,其特征在于,小样本入侵检测方法包括以下步骤:
步骤一,部署小型局域网实验环境,采集真实网络流量数据,形成数据集CWIDS2023;将数据集CWIDS2023转换为适于输入元学习框架的形式;
步骤二,构建基于元学习框架的入侵检测模型BiP-Net,利用数据集CWIDS2023对入侵检测模型BiP-Net进行训练;
步骤三,利用三个数据集对已训练的BiP-Net模型进行测试;将构建好的BiP-Net模型部署在真实网络环境中进行入侵检测,评估模型性能。
3.如权利要求2所述小样本入侵检测方法,其特征在于,步骤一中的部署小型局域网实验环境,采集真实网络流量数据,形成数据集CWIDS2023包括:
(1)部署含有四台计算机的同属一个网段的小型局域网实验环境,利用Wireshark软件抓取正常网络流量,形成.pcap文件,并输入CICFlowMeters软件进行特征转换,输出.csv文件,包含85维特征;
(2)部署含有四台计算机的小型局域网实验环境,进行虚拟VPN划分后包含两个子网段,其中每个子网段中包括一个攻击机和目标机,在攻击机上部署Kali-Linux黑客系统模拟网络攻击对目标机实施入侵操作,同时在目标机上利用Wireshark软件抓取网络攻击流量,形成.pcap文件,并输入CICFlowMeters软件进行特征转换,输出.csv文件,包含85维特征;
(3)将已抓取的正常流量和异常流量结合形成CWIDS2023数据集。
4.如权利要求2所述小样本入侵检测方法,其特征在于,步骤一中的将数据集CWIDS2023转换为适于输入元学习框架形式包括:
(1)对数据集CWIDS2023进行数据预处理;
1)对数据集CWIDS2023进行数据类型的转化:数据数值化,利用one-hot编码方式将85维特征全部转化为数值型数据;
2)对转化后的数值型数据进行归一化处理,将85维特征涵盖的所有数据范围均限制在[0,1]之间;
3)采用DNN-WGAN模型生成对抗样本;WGAN模型由一个生成器和一个鉴别器组成,其中生成器和鉴别器均由DNN组成,为最小-最大游戏的双方,在动态博弈对抗的过程中生成对抗样本;
其中,归一化公式为:
其中,x*表示归一化后的样本数据值,xmin表示样本数据中的最小值,xmax表示样本数据中的最大值;
(2)对数据集CWIDS2023进行训练集与测试集划分;
1)选取5种不同攻击类型与正常类型数据构成训练集中的样本集,其中共有五个不同的样本集,每一样本集含有一种攻击类型和正常类型,样本数均为5,查询集与样本集一一对应且类型一致;
2)选取训练集不包含的一种攻击类型与正常类型构成测试集。
5.如权利要求2所述小样本入侵检测方法,其特征在于,步骤二中的构建基于元学习框架的入侵检测模型BiP-Net包括:
(1)构建改进的BiGRU特征提取网络,用于提取网络流量数据的前后相关时间特征;其中,改进的BiGRU特征提取网络包括两个单行反向的GRU模型,由输入层、隐藏层与输出层共同组成,输出由当前输入状态xt、前向隐层状态与反向隐层状态/>共同决定;引入自注意力机制,使得模型挖掘隐藏特征;
(2)构建原型度量网络,用于比较分类不同类型的网络流量数据,包括对提取后的同一维度空间内的特征向量进行一系列度量操作,最终实现分类目的;
(3)将改进后的BiGRU特征提取网络与原型度量网络进行级联,构建端到端的小样本入侵检测模型BiP-Net;
其中,步骤(2)中的构建原型度量网络包括:
1)构建类原型:对训练集的支撑集中包含的同一类型的所有样本作特征向量的平均,得到类原型向量,计算公式为:
2)计算查询点:对训练集的查询集和测试集中出现的样本提取特征,得到样本特征向量;
3)度量距离:求出类原型向量与样本特征向量之间的欧式距离,公式为:
4)输入softmax层得到属于不同类原型的分类概率,计算公式为:
6.如权利要求2所述小样本入侵检测方法,其特征在于,步骤二中的利用数据集CWIDS2023对入侵检测模型BiP-Net进行训练包括:
(1)定义损失函数为负对数概率损失函数,计算公式为:
(2)选择随机梯度下降法最小化损失,训练模型;
(3)将训练集数据输入模型进行训练:引入早停法,每隔200轮输出一次模型损失和检测精度,保留精度最高时的定型周期;
步骤三中的利用三个数据集对已训练的BiP-Net模型进行测试包括:
选择两个入侵检测领域内的公开数据集和一个由新建实验环境采集的真实网络流量数据集作为测试数据,输入已训练模型进行测试,评估模型性能;若满足需求,则停止训练;若不满足需求,则重新开始训练。
7.一种应用如权利要求1~6任意一项所述小样本入侵检测方法的小样本入侵检测系统,其特征在于,小样本入侵检测系统包括:
数据采集模块,用于采集真实网络流量数据,形成数据集CWIDS2023,并将数据集CWIDS2023转换为适于输入元学习框架的形式;
特征提取模块,用于构建改进的BiGRU特征提取网络,利用改进的BiGRU特征提取网络提取网络流量数据的前后相关时间特征;
特征度量模块,用于构建原型度量网络,利用原型度量网络比较分类不同类型的网络流量数据,对提取后的特征向量进行度量操作。
8.一种计算机设备,其特征在于,计算机设备包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行如权利要求1~6任意一项所述小样本入侵检测方法的步骤。
9.一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行如权利要求1~6任意一项所述小样本入侵检测方法的步骤。
10.一种信息数据处理终端,其特征在于,信息数据处理终端用于实现如权利要求7所述小样本入侵检测系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310199801.4A CN116318924A (zh) | 2023-03-05 | 2023-03-05 | 一种小样本入侵检测方法、系统、介质、设备及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310199801.4A CN116318924A (zh) | 2023-03-05 | 2023-03-05 | 一种小样本入侵检测方法、系统、介质、设备及终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116318924A true CN116318924A (zh) | 2023-06-23 |
Family
ID=86782816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310199801.4A Pending CN116318924A (zh) | 2023-03-05 | 2023-03-05 | 一种小样本入侵检测方法、系统、介质、设备及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116318924A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116743473A (zh) * | 2023-06-29 | 2023-09-12 | 哈尔滨工业大学 | 一种基于并行度量学习的入侵检测方法 |
CN116821907A (zh) * | 2023-06-29 | 2023-09-29 | 哈尔滨工业大学 | 一种基于Drop-MAML的小样本学习入侵检测方法 |
CN117081858A (zh) * | 2023-10-16 | 2023-11-17 | 山东省计算中心(国家超级计算济南中心) | 一种基于多决策树入侵行为检测方法、系统、设备及介质 |
CN117478373A (zh) * | 2023-10-30 | 2024-01-30 | 四川警察学院 | 基于内存取证的无文件攻击调查方法及系统 |
-
2023
- 2023-03-05 CN CN202310199801.4A patent/CN116318924A/zh active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116743473A (zh) * | 2023-06-29 | 2023-09-12 | 哈尔滨工业大学 | 一种基于并行度量学习的入侵检测方法 |
CN116821907A (zh) * | 2023-06-29 | 2023-09-29 | 哈尔滨工业大学 | 一种基于Drop-MAML的小样本学习入侵检测方法 |
CN116821907B (zh) * | 2023-06-29 | 2024-02-02 | 哈尔滨工业大学 | 一种基于Drop-MAML的小样本学习入侵检测方法 |
CN116743473B (zh) * | 2023-06-29 | 2024-02-06 | 哈尔滨工业大学 | 一种基于并行度量学习的入侵检测方法、电子设备及存储介质 |
CN117081858A (zh) * | 2023-10-16 | 2023-11-17 | 山东省计算中心(国家超级计算济南中心) | 一种基于多决策树入侵行为检测方法、系统、设备及介质 |
CN117081858B (zh) * | 2023-10-16 | 2024-01-19 | 山东省计算中心(国家超级计算济南中心) | 一种基于多决策树入侵行为检测方法、系统、设备及介质 |
CN117478373A (zh) * | 2023-10-30 | 2024-01-30 | 四川警察学院 | 基于内存取证的无文件攻击调查方法及系统 |
CN117478373B (zh) * | 2023-10-30 | 2024-09-17 | 四川警察学院 | 基于内存取证的无文件攻击调查方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Aljawarneh et al. | Anomaly-based intrusion detection system through feature selection analysis and building hybrid efficient model | |
CN116318924A (zh) | 一种小样本入侵检测方法、系统、介质、设备及终端 | |
Tesfahun et al. | Intrusion detection using random forests classifier with SMOTE and feature reduction | |
CN109522716B (zh) | 一种基于时序神经网络的网络入侵检测方法及装置 | |
Niu et al. | Identifying APT malware domain based on mobile DNS logging | |
Ajdani et al. | Introduced a new method for enhancement of intrusion detection with random forest and PSO algorithm | |
CN111818102B (zh) | 一种应用于网络靶场的防御效能评估方法 | |
Ahakonye et al. | Agnostic CH-DT technique for SCADA network high-dimensional data-aware intrusion detection system | |
Masarat et al. | A novel framework, based on fuzzy ensemble of classifiers for intrusion detection systems | |
Ding et al. | Research on intrusion detection technology based on deep learning | |
CN117614742B (zh) | 一种蜜点感知增强的恶意流量检测方法 | |
CN117081858B (zh) | 一种基于多决策树入侵行为检测方法、系统、设备及介质 | |
Salih et al. | Implementation of hybrid artificial intelligence technique to detect covert channels attack in new generation internet protocol IPv6 | |
Meddeb et al. | Anomaly-based behavioral detection in mobile Ad-Hoc networks | |
CN113536299B (zh) | 一种基于贝叶斯神经网络的入侵检测系统的设计方法 | |
CN116962093B (zh) | 基于云计算的信息传输安全性监测方法及系统 | |
Alsumaidaie et al. | An Assessment of Ensemble Voting Approaches, Random Forest, and Decision Tree Techniques in Detecting Distributed Denial of Service (DDoS) Attacks | |
CN109918901A (zh) | 实时检测基于Cache攻击的方法 | |
Nazarudeen et al. | Efficient DDoS Attack Detection using Machine Learning Techniques | |
Zhu et al. | Detecting malicious domains using modified SVM model | |
Aljohani et al. | An intrusion detection system model in a local area network using different machine learning classifiers | |
CN113468555A (zh) | 一种客户端访问行为识别方法、系统及装置 | |
El-Ghamry et al. | Detecting distributed DoS attacks in autonomous vehicles external environment using machine learning techniques | |
Arvind et al. | Utilizing deep learning and optimization methods to enhance the security of large datasets in cloud computing environments | |
Alosaimi et al. | Computer Vision‐Based Intrusion Detection System for Internet of Things |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |