CN114679327B - 网络攻击等级确定方法、装置、计算机设备和存储介质 - Google Patents
网络攻击等级确定方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114679327B CN114679327B CN202210354148.XA CN202210354148A CN114679327B CN 114679327 B CN114679327 B CN 114679327B CN 202210354148 A CN202210354148 A CN 202210354148A CN 114679327 B CN114679327 B CN 114679327B
- Authority
- CN
- China
- Prior art keywords
- network
- prediction probability
- data
- label
- attack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004590 computer program Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims description 162
- 238000012360 testing method Methods 0.000 claims description 66
- 238000013145 classification model Methods 0.000 claims description 44
- 238000012163 sequencing technique Methods 0.000 claims description 39
- 230000006399 behavior Effects 0.000 claims description 15
- 238000004140 cleaning Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000003066 decision tree Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 abstract description 5
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- 239000000523 sample Substances 0.000 description 29
- 238000010586 diagram Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 239000012468 concentrated sample Substances 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1433—Vulnerability analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
- H04L63/205—Network architectures or network communication protocols for network security for managing network security; network security policies in general involving negotiation or determination of the one or more network security mechanisms to be used, e.g. by negotiation between the client and the server or between peers or by selection according to the capabilities of the entities involved
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种网络攻击等级确定方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:将对抗集输入目标攻击模型,得到第一预测概率,基于第一预测概率和对抗集中样本的第一标签,对第一预测概率进行分箱,得到各个分箱区间,并将当前环境的网络数据输入目标攻击模型,得到网络数据受到攻击的第三预测概率,从各个分箱区间中确定第三预测概率所属的分箱区间,并将第三预测概率所属的分箱区间对应的网络攻击等级作为网络数据对应的网络攻击等级,从而实现精准的检测网络中存在的异常情况,并且,通过预测当前环境的网络攻击等级,从而能够根据网络攻击等级对应的紧急程度,采取网络攻击等级对应的入侵防护措施。
Description
技术领域
本申请涉及通信技术领域,特别是涉及一种网络攻击等级确定方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机网络和通信技术的发展,物联网逐渐渗入到人们的生活,为人们的生活带来极大的便利,由于其脆弱性和通过互联网进行通信的信息量为对手在基础架构内执行恶意活动提供了机会,任何连接到公共互联网甚至私人网络的主机,都会受到潜在攻击的威胁,网络安全变得尤其重要。
传统的网络防护方法已经无法抵御大量涌现的新型网络攻击。在这种情况下,网络安全检测能够为网络管理人员提供重要的决策引导和支撑,因此,如何精准的进行网络安全检测成为本领域技术人员重点研究的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够精准的进行网络安全检测的网络攻击等级确定方法、装置、计算机设备、存储介质和计算机程序产品。
第一方面,本申请提供了一种网络攻击等级确定方法。所述方法包括:
将对抗集输入目标攻击模型,得到第一预测概率,其中,所述第一预测概率表征所述对抗集中的数据所对应的网络环境受到攻击的概率,所述对抗集基于第一训练集的第二预测概率从所述第一训练集中确定,所述第二预测概率表征所述第一训练集中样本属于测试集的概率,所述对抗集中样本与所述测试集中样本的相似度大于预设相似度阈值;
基于所述第一预测概率和所述对抗集中样本的第一标签,对所述第一预测概率进行分箱,得到各个分箱区间,其中,所述第一标签表征是否为攻击的标签;
将当前环境的网络数据输入所述目标攻击模型,得到所述网络数据受到攻击的第三预测概率;
从所述各个分箱区间中确定所述第三预测概率所属的分箱区间,并将所述第三预测概率所属的分箱区间对应的网络攻击等级作为所述网络数据对应的网络攻击等级。
在其中一个实施例中,所述基于所述第一预测概率和所述对抗集中样本的第一标签,对所述第一预测概率进行分箱,得到各个分箱区间,包括:
基于所述第一预测概率和所述对抗集中样本的第一标签,采用决策树对所述第一预测概率进行分箱,得到初始分箱区间;
采用卡方分箱对所述初始分箱区间进行分箱处理,得到所述分箱区间。
在其中一个实施例中,所述方法还包括:
基于第一数据集以及所述第一数据集的第二标签,训练初始分类模型,得到目标分类模型,其中,所述第一数据集包括所述测试集和所述第一训练集,采用1表示所述测试集中样本的第二标签,采用0表示所述第一训练集中样本的第二标签;
基于所述第一训练集的第一网络流量特征和所述目标分类模型,得到所述第一训练集的各所述第二预测概率;
基于各所述第二预测概率,从所述第一训练集中确定所述对抗集以及第二训练集,其中,所述第二训练集为除所述对抗集之外的数据集;
基于第二数据集的网络流量特征和第三标签,训练初始攻击模型,得到所述目标攻击模型,其中,所述第二数据集包括所述测试集和所述第二训练集,所述第三标签表征是否为攻击的标签。
在其中一个实施例中,所述基于第一数据集以及所述第一数据集的第二标签,训练初始分类模型,得到目标分类模型,包括:
对所述第一数据集的第一网络流量特征中的连续特征进行特征清洗,得到第二网络流量特征;
对所述第一数据集的第一网络流量特征中的离散特征进行编码处理得到编码值,并采用所述编码值替换所述离散特征的数值,以得到第三网络流量特征;
基于所述第二网络流量特征、所述第三网络流量特征和所述第二标签,训练所述初始分类模型,得到所述目标分类模型。
在其中一个实施例中,所述对所述第一数据集的第一网络流量特征进行特征清洗,得到所述第二网络流量特征,包括:
确定所述第一网络流量特征中的连续特征的中位数、第一百分位数的第一数值、第二百分位数的第二数值;
采用所述中位数填充所述第一网络流量特征中缺失的连续特征,采用所述第一数值替换所述第一网络流量特征中小于所述第一数值的连续特征的数值,并采用所述第二数值替换所述第一网络流量特征中大于所述第二数值的连续特征的数值,得到所述第二网络流量特征。
在其中一个实施例中,所述基于各所述第二预测概率,从所述第一训练集中确定所述对抗集以及第二训练集,包括:
对各所述第二预测概率进行排序,得到第一排序结果;从所述第一排序结果中最大的第二预测概率开始,依次选取第一预设数量的第二预测概率;将所述第一预设数量的第二预测概率对应的第一训练集中样本作为所述对抗集,并将除所述对抗集之外的数据集作为所述第二训练集;
或者,将大于概率阈值的第二预测概率对应的第一训练集中的样本作为所述对抗集,并将除所述对抗集之外的数据集作为所述第二训练集。
在其中一个实施例中,所述方法还包括:
获取流量数据集;
根据所述流量数据集中流量数据对应的行为发生时间的先后顺序,对所述流量数据集中流量数据进行排序,得到第二排序结果;
从第二排序结果中最近的行为发生时间的流量数据开始,选取第二预设数量的流量数据作为所述测试集,并将所述流量数据集中除所述测试集之外的流量数据作为所述第一训练集。
第二方面,本申请还提供了一种网络攻击等级确定装置。所述装置包括:
第一获得模块,用于将对抗集输入目标攻击模型,得到第一预测概率,其中,所述第一预测概率表征所述对抗集中的数据所对应的网络环境受到攻击的概率,所述对抗集基于第一训练集的第二预测概率从所述第一训练集中确定,所述第二预测概率表征所述第一训练集中样本属于测试集的概率,所述对抗集中样本与所述测试集中样本的相似度大于预设相似度阈值;
第二获得模块,用于基于所述第一预测概率和所述对抗集中样本的第一标签,对所述第一预测概率进行分箱,得到各个分箱区间,其中,所述第一标签表征是否为攻击的标签;
第三获得模块,用于将当前环境的网络数据输入所述目标攻击模型,得到所述网络数据受到攻击的第三预测概率;
第一确定模块,用于从所述各个分箱区间中确定所述第三预测概率所属的分箱区间,并将所述第三预测概率所属的分箱区间对应的网络攻击等级作为所述网络数据对应的网络攻击等级。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
将对抗集输入目标攻击模型,得到第一预测概率,其中,所述第一预测概率表征所述对抗集中的数据所对应的网络环境受到攻击的概率,所述对抗集基于第一训练集的第二预测概率从所述第一训练集中确定,所述第二预测概率表征所述第一训练集中样本属于测试集的概率,所述对抗集中样本与所述测试集中样本的相似度大于预设相似度阈值;
基于所述第一预测概率和所述对抗集中样本的第一标签,对所述第一预测概率进行分箱,得到各个分箱区间,其中,所述第一标签表征是否为攻击的标签;
将当前环境的网络数据输入所述目标攻击模型,得到所述网络数据受到攻击的第三预测概率;
从所述各个分箱区间中确定所述第三预测概率所属的分箱区间,并将所述第三预测概率所属的分箱区间对应的网络攻击等级作为所述网络数据对应的网络攻击等级。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
将对抗集输入目标攻击模型,得到第一预测概率,其中,所述第一预测概率表征所述对抗集中的数据所对应的网络环境受到攻击的概率,所述对抗集基于第一训练集的第二预测概率从所述第一训练集中确定,所述第二预测概率表征所述第一训练集中样本属于测试集的概率,所述对抗集中样本与所述测试集中样本的相似度大于预设相似度阈值;
基于所述第一预测概率和所述对抗集中样本的第一标签,对所述第一预测概率进行分箱,得到各个分箱区间,其中,所述第一标签表征是否为攻击的标签;
将当前环境的网络数据输入所述目标攻击模型,得到所述网络数据受到攻击的第三预测概率;
从所述各个分箱区间中确定所述第三预测概率所属的分箱区间,并将所述第三预测概率所属的分箱区间对应的网络攻击等级作为所述网络数据对应的网络攻击等级。
第五方面,本申请还提供了一种计算机程序产品。该计算机程序被处理器执行时实现以下步骤:
将对抗集输入目标攻击模型,得到第一预测概率,其中,所述第一预测概率表征所述对抗集中的数据所对应的网络环境受到攻击的概率,所述对抗集基于第一训练集的第二预测概率从所述第一训练集中确定,所述第二预测概率表征所述第一训练集中样本属于测试集的概率,所述对抗集中样本与所述测试集中样本的相似度大于预设相似度阈值;
基于所述第一预测概率和所述对抗集中样本的第一标签,对所述第一预测概率进行分箱,得到各个分箱区间,其中,所述第一标签表征是否为攻击的标签;
将当前环境的网络数据输入所述目标攻击模型,得到所述网络数据受到攻击的第三预测概率;
从所述各个分箱区间中确定所述第三预测概率所属的分箱区间,并将所述第三预测概率所属的分箱区间对应的网络攻击等级作为所述网络数据对应的网络攻击等级。
上述网络攻击等级确定方法、装置、计算机设备、存储介质和计算机程序产品,通过将对抗集输入目标攻击模型,得到第一预测概率,基于第一预测概率和对抗集中样本的第一标签,对第一预测概率进行分箱,得到各个分箱区间,并将当前环境的网络数据输入目标攻击模型,得到网络数据受到攻击的第三预测概率,从各个分箱区间中确定第三预测概率所属的分箱区间,并将第三预测概率所属的分箱区间对应的网络攻击等级作为网络数据对应的网络攻击等级,从而实现精准的检测网络中存在的异常情况,并且,通过预测当前环境的网络攻击等级,从而能够根据网络攻击等级对应的紧急程度,采取网络攻击等级对应的入侵防护措施,例如网络攻击等级对应的威胁程度较轻时采取限流措施,威胁程度严重时采取丢包措施。
附图说明
图1是本申请实施例提供的一种网络攻击等级确定方法的流程示意图;
图2是本申请实施例提供的一种分箱区间获得方法的流程示意图;
图3是本申请实施例提供的一种目标攻击模型训练方法的流程示意图;
图4是本申请实施例提供的一种目标分类模型训练方法的流程示意图;
图5是本申请实施例提供的一种第二网络流量特征获得方法的流程示意图;
图6是本申请实施例提供的一种测试集和第一训练集确定方法的流程示意图;
图7是本申请实施例提供的一种对抗验证网络攻击等级的攻击占比图;
图8是本申请实施例提供的一种测试数据的网络攻击等级的攻击占比图;
图9是本申请实施例提供的一种网络攻击等级确定装置的结构示意图;
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,图1是本申请实施例提供的一种网络攻击等级确定方法的流程示意图,该方法应用于计算机设备,包括以下步骤:
S101、将对抗集输入目标攻击模型,得到第一预测概率,其中,第一预测概率表征对抗集中的数据所对应的网络环境受到攻击的概率,对抗集基于第一训练集的第二预测概率从第一训练集中确定,第二预测概率表征第一训练集中样本属于测试集的概率,对抗集中样本与测试集中样本的相似度大于预设相似度阈值。
入侵检测系统和入侵防御系统是抵御复杂且不断增长的网络攻击的最重要的防御工作,本实施例可以将CICIDS2017数据集作为流量数据集进行模拟。CICIDS2017数据集包含良性和最新的常见攻击,还包括使用CICFlowMeter进行的网络流量分析的结果,使用基于时间戳、源IP和目标IP、源和目标端口、协议和攻击的标记流。数据捕获阶段从上午9点开始。截至2017年7月7日(星期五)下午5时,共计5天。星期一是正常的一天,只包括正常的流量。实现的攻击包括FTP、SSH、DoS、Heartbleed、WEB、僵尸网络和DDoS等。他们分别于周二、周三、周四和周五上午和下午被执行,使用CICFlowMeter从生成的网络流量中提取80多个网络流量特征。其中正常样本2273097个,攻击样本557646个。其中,CICflowmeter是一款流量特征提取工具,该工具输入过程特性分析软件包(pcap)文件,输出pcap文件中包含的数据包的特征信息,共80多个网络流量特征。
S102、基于第一预测概率和对抗集中样本的第一标签,对第一预测概率进行分箱,得到各个分箱区间,其中,第一标签表征是否为攻击的标签。
其中,分箱区间B=[b1,…,bi,…,bn],其中i表示第i个区间,其中,n=3。各个分箱区间分别对应的网络攻击等级分别为正常、疑似攻击和确定攻击。
S103、将当前环境的网络数据输入目标攻击模型,得到网络数据受到攻击的第三预测概率。
本实施例中,在实时预测时,实时收集当前环境的网络数据,对网络数据进行特征提取,得到网络数据的网络流量特征,可以对网络数据的网络流量特征进行处理,得到处理后的网络流量特征,目标攻击模型根据处理后的网络流量特征得到网络数据受到攻击的第三预测概率。其中,对网络数据的网络流量特征进行处理包括对网络流量特征中的连续特征进行特征清洗,对离散特征进行编码处理。
S104、从各个分箱区间中确定第三预测概率所属的分箱区间,并将第三预测概率所属的分箱区间对应的网络攻击等级作为网络数据对应的网络攻击等级。
由于不同的分箱区间对应不同的网络攻击等级,确定出第三预测概率所属的分箱区间后,将第三预测概率所属的分箱区间对应的网络攻击等级作为网络数据对应的网络攻击等级,也即确定出当前环境对应的网络攻击等级。
传统技术中,常用的预测网络安全的方法分为基于统计方法和基于机器学习方法。为了判断当前网络环境是否存在攻击,两种方法采用了不同的手段。其中,基于统计方法的方案通常依赖某种统计学模型,例如对某流量指标计算熵值,检测熵值是否超出正常范围的波动,但由于噪声数据和冗余数据的影响,存在误报率过高的问题。基于机器学习的方案则分析网络流量特征和攻击之间的关系交由分类器完成,事先整理正常、异常网络样本集,选取适合样本分布的机器学习方法检测当前网络环境是否存在攻击。因此,当前对于网络攻击的研究都局限在判断当前环境是否存在攻击。
而本实施例提供的网络攻击等级确定方法,通过将对抗集输入目标攻击模型,得到第一预测概率,基于第一预测概率和对抗集中样本的第一标签,对第一预测概率进行分箱,得到各个分箱区间,并将当前环境的网络数据输入目标攻击模型,得到网络数据受到攻击的第三预测概率,从各个分箱区间中确定第三预测概率所属的分箱区间,并将第三预测概率所属的分箱区间对应的网络攻击等级作为网络数据对应的网络攻击等级,从而实现精准的检测网络中存在的异常情况,并且,通过预测当前环境的网络攻击等级,从而能够根据网络攻击等级对应的紧急程度,采取网络攻击等级对应的入侵防护措施,例如网络攻击等级对应的威胁程度较轻时采取限流措施,威胁程度严重时采取丢包措施。
参照图2,图2是本申请实施例提供的一种分箱区间获得方法的流程示意图。本实施例涉及的是如何基于第一预测概率和对抗集中样本的第一标签,对第一预测概率进行分箱,得到各个分箱区间的一种可选的实现方式。在上述实施例的基础上,上述的S102可以包括如下步骤:
S201、基于第一预测概率和对抗集中样本的第一标签,采用决策树对第一预测概率进行分箱,得到初始分箱区间。
S202、采用卡方分箱对初始分箱区间进行分箱处理,得到分箱区间。
本实施例中,通过基于第一预测概率和对抗集中样本的第一标签,采用决策树对第一预测概率进行分箱,得到初始分箱区间,并采用卡方分箱对初始分箱区间进行分箱处理,得到分箱区间,相比单纯的使用卡方分箱,能够节省分箱时间,提高分箱速度。
在一些实施例中,参照图3,图3是本申请实施例提供的一种目标攻击模型训练方法的流程示意图。在上述实施例的基础上,该方法包括如下步骤:
S301、基于第一数据集以及第一数据集的第二标签,训练初始分类模型,得到目标分类模型。
其中,第一数据集包括测试集和第一训练集,采用1表示测试集中样本的第二标签,采用0表示第一训练集中样本的第二标签。
S302、基于第一训练集的第一网络流量特征和目标分类模型,得到第一训练集的各第二预测概率。
S303、基于各第二预测概率,从第一训练集中确定对抗集以及第二训练集,其中,第二训练集为除对抗集之外的数据集。
S304、基于第二数据集的网络流量特征和第三标签,训练初始攻击模型,得到目标攻击模型,其中,第二数据集包括测试集和第二训练集,第三标签表征是否为攻击的标签。
参照下表1,表1示出了目标攻击模型的评估效果。AUC在机器学习领域中是一种模型评估指标,AUC的全称为Area Under the Curve。
表1
本实施例中,第二数据集的网络流量特征可以是对第二数据集中提取的初始网流量特征进行处理得到的处理后的网络流量特征。可以采用下述的S401和S402的特征清洗方法和编码处理方法对初始网流量特征进行处理,得到处理后的网络流量特征。
参照图4,图4是本申请实施例提供的一种目标分类模型训练方法的流程示意图。本实施例涉及的是如何基于第一数据集以及第一数据集的第二标签,训练初始分类模型,得到目标分类模型的一种可选的实现方式。在上述实施例的基础上,上述的S301可以包括如下步骤:
S401、对第一数据集的第一网络流量特征中的连续特征进行特征清洗,得到第二网络流量特征。
S402、对第一数据集的第一网络流量特征中的离散特征进行编码处理得到编码值,并采用编码值替换离散特征的数值,以得到第三网络流量特征。
S403、基于第二网络流量特征、第三网络流量特征和第二标签,训练初始分类模型,得到目标分类模型。
本实施例中,通过对第一数据集的第一网络流量特征中的连续特征进行特征清洗,得到第二网络流量特征,并且对第一数据集的第一网络流量特征中的离散特征进行编码处理得到编码值,并采用编码值替换离散特征的数值,以得到第三网络流量特征,从而实现能够去除噪声数据和和冗余数据的影响,提高网络流量特征的准确性,进而提高目标分类模型得到的第二预测概率的准确性。
参照图5,图5是本申请实施例提供的一种第二网络流量特征获得方法的流程示意图。本实施例涉及的是如何对第一数据集的第一网络流量特征进行特征清洗,得到第二网络流量特征的一种可选的实现方式。在上述实施例的基础上,上述的S401可以包括如下步骤:
S501、确定第一网络流量特征中的连续特征的中位数、第一百分位数的第一数值、第二百分位数的第二数值。
S502、采用中位数填充第一网络流量特征中缺失的连续特征,采用第一数值替换第一网络流量特征中小于第一数值的连续特征的数值,并采用第二数值替换第一网络流量特征中大于第二数值的连续特征的数值,得到第二网络流量特征。
本实施例中,通过确定第一网络流量特征中的连续特征的中位数、第一百分位数的第一数值、第二百分位数的第二数值,并采用中位数填充第一网络流量特征中缺失的连续特征,采用第一数值替换第一网络流量特征中小于第一数值的连续特征的数值,并采用第二数值替换第一网络流量特征中大于第二数值的连续特征的数值,得到第二网络流量特征,从而实现去除噪声数据和和冗余数据的影响,从而提高网络流量特征的准确性。
在一些实施例中,上述的S303可以通过如下任一方式实现:
方式一:对各第二预测概率进行排序,得到第一排序结果;从第一排序结果中最大的第二预测概率开始,依次选取第一预设数量的第二预测概率;将第一预设数量的第二预测概率对应的第一训练集中样本作为对抗集,并将除对抗集之外的数据集作为第二训练集。
其中,例如从第一排序结果中最大的第二预测概率开始,依次选取1041364个第二预测概率,并将1041364个第二预测概率对应的第一训练集中样本作为对抗集,将第一训练集中除对抗集之外的数据集作为第二训练集,此时认为对抗集与测试集最相似。
方式二:将大于概率阈值的第二预测概率对应的第一训练集中的样本作为对抗集,并将除对抗集之外的数据集作为第二训练集。
在一些实施例中,还提供了一种第一训练集确定方法。参照图6,图6是本申请实施例提供的一种测试集和第一训练集确定方法的流程示意图,该方法可以包括如下步骤:
S601、获取流量数据集。
S602、根据流量数据集中流量数据对应的行为发生时间的先后顺序,对流量数据集中流量数据进行排序,得到第二排序结果。
S603、从第二排序结果中最近的行为发生时间的流量数据开始,选取第二预设数量的流量数据作为测试集,并将流量数据集中除测试集之外的流量数据作为第一训练集。
例如,取行为发生时间最近的1041364个样本作为测试集,将流量数据集中除测试集之外的流量数据作为第一训练集。
在此结合图7和图8介绍网络攻击等级中攻击占比,图7是本申请实施例提供的一种对抗验证网络攻击等级的攻击占比图,图8是本申请实施例提供的一种测试数据的网络攻击等级的攻击占比图。从图7和图8中可以看出,同一个分箱区间对应的网络攻击等级与实际网络环境是一致的,例如,对于图7中的正常网络攻击等级而言,该网络攻击等级对应的正常样本的数据量占比接近1,攻击样本的数据量占比接近0。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的网络攻击等级确定方法的网络攻击等级确定装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个网络攻击等级确定装置实施例中的具体限定可以参见上文中对于网络攻击等级确定方法的限定,在此不再赘述。
在一个实施例中,如图9所示,图9是本申请实施例提供的一种网络攻击等级确定装置的结构示意图,该装置900包括:
第一获得模块901,用于将对抗集输入目标攻击模型,得到第一预测概率,其中,所述第一预测概率表征所述对抗集中的数据所对应的网络环境受到攻击的概率,所述对抗集基于第一训练集的第二预测概率从所述第一训练集中确定,所述第二预测概率表征所述第一训练集中样本属于测试集的概率,所述对抗集中样本与所述测试集中样本的相似度大于预设相似度阈值;
第二获得模块902,用于基于所述第一预测概率和所述对抗集中样本的第一标签,对所述第一预测概率进行分箱,得到各个分箱区间,其中,所述第一标签表征是否为攻击的标签;
第三获得模块903,用于将当前环境的网络数据输入所述目标攻击模型,得到所述网络数据受到攻击的第三预测概率;
第一确定模块904,用于从所述各个分箱区间中确定所述第三预测概率所属的分箱区间,并将所述第三预测概率所属的分箱区间对应的网络攻击等级作为所述网络数据对应的网络攻击等级。
在一些实施例中,第二获得模块902,具体用于基于所述第一预测概率和所述对抗集中样本的第一标签,采用决策树对所述第一预测概率进行分箱,得到初始分箱区间;采用卡方分箱对所述初始分箱区间进行分箱处理,得到所述分箱区间。
在一些实施例中,装置900还包括:
第四获得模块,用于基于第一数据集以及所述第一数据集的第二标签,训练初始分类模型,得到目标分类模型,其中,所述第一数据集包括所述测试集和所述第一训练集,采用1表示所述测试集中样本的第二标签,采用0表示所述第一训练集中样本的第二标签;
第五获得模块,用于基于所述第一训练集的第一网络流量特征和所述目标分类模型,得到所述第一训练集的各所述第二预测概率;
第二确定模块,用于基于各所述第二预测概率,从所述第一训练集中确定所述对抗集以及第二训练集,其中,所述第二训练集为除所述对抗集之外的数据集;
第六获得模块,用于基于第二数据集的网络流量特征和第三标签,训练初始攻击模型,得到所述目标攻击模型,其中,所述第二数据集包括所述测试集和所述第二训练集,所述第三标签表征是否为攻击的标签。
在一些实施例中,所述第四获得模块,包括:
清洗单元,用于对所述第一数据集的第一网络流量特征中的连续特征进行特征清洗,得到第二网络流量特征;
第一获得单元,用于对所述第一数据集的第一网络流量特征中的离散特征进行编码处理得到编码值,并采用所述编码值替换所述离散特征的数值,以得到第三网络流量特征;
第二获得单元,用于基于所述第二网络流量特征、所述第三网络流量特征和所述第二标签,训练所述初始分类模型,得到所述目标分类模型。
在一些实施例中,所述清洗单元,具体用于确定所述第一网络流量特征中的连续特征的中位数、第一百分位数的第一数值、第二百分位数的第二数值;采用所述中位数填充所述第一网络流量特征中缺失的连续特征,采用所述第一数值替换所述第一网络流量特征中小于所述第一数值的连续特征的数值,并采用所述第二数值替换所述第一网络流量特征中大于所述第二数值的连续特征的数值,得到所述第二网络流量特征。
在一些实施例中,所述第二确定模块,具体用于对各所述第二预测概率进行排序,得到第一排序结果;从所述第一排序结果中最大的第二预测概率开始,依次选取第一预设数量的第二预测概率;将所述第一预设数量的第二预测概率对应的第一训练集中样本作为所述对抗集,并将除所述对抗集之外的数据集作为所述第二训练集;
或者,将大于概率阈值的第二预测概率对应的第一训练集中的样本作为所述对抗集,并将除所述对抗集之外的数据集作为所述第二训练集。
在一些实施例中,装置900还包括:
获取模块,用于获取流量数据集;
排序模块,用于根据所述流量数据集中流量数据对应的行为发生时间的先后顺序,对所述流量数据集中流量数据进行排序,得到第二排序结果;
选取模块,用于从第二排序结果中最近的行为发生时间的流量数据开始,选取第二预设数量的流量数据作为所述测试集,并将所述流量数据集中除所述测试集之外的流量数据作为所述第一训练集。
上述网络攻击等级确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示,图10为一个实施例中计算机设备的内部结构图。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种网络攻击等级确定方法。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
将对抗集输入目标攻击模型,得到第一预测概率,其中,所述第一预测概率表征所述对抗集中的数据所对应的网络环境受到攻击的概率,所述对抗集基于第一训练集的第二预测概率从所述第一训练集中确定,所述第二预测概率表征所述第一训练集中样本属于测试集的概率,所述对抗集中样本与所述测试集中样本的相似度大于预设相似度阈值;
基于所述第一预测概率和所述对抗集中样本的第一标签,对所述第一预测概率进行分箱,得到各个分箱区间,其中,所述第一标签表征是否为攻击的标签;
将当前环境的网络数据输入所述目标攻击模型,得到所述网络数据受到攻击的第三预测概率;
从所述各个分箱区间中确定所述第三预测概率所属的分箱区间,并将所述第三预测概率所属的分箱区间对应的网络攻击等级作为所述网络数据对应的网络攻击等级。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
基于所述第一预测概率和所述对抗集中样本的第一标签,采用决策树对所述第一预测概率进行分箱,得到初始分箱区间;
采用卡方分箱对所述初始分箱区间进行分箱处理,得到所述分箱区间。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
基于第一数据集以及所述第一数据集的第二标签,训练初始分类模型,得到目标分类模型,其中,所述第一数据集包括所述测试集和所述第一训练集,采用1表示所述测试集中样本的第二标签,采用0表示所述第一训练集中样本的第二标签;
基于所述第一训练集的第一网络流量特征和所述目标分类模型,得到所述第一训练集的各所述第二预测概率;
基于各所述第二预测概率,从所述第一训练集中确定所述对抗集以及第二训练集,其中,所述第二训练集为除所述对抗集之外的数据集;
基于第二数据集的网络流量特征和第三标签,训练初始攻击模型,得到所述目标攻击模型,其中,所述第二数据集包括所述测试集和所述第二训练集,所述第三标签表征是否为攻击的标签。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对所述第一数据集的第一网络流量特征中的连续特征进行特征清洗,得到第二网络流量特征;
对所述第一数据集的第一网络流量特征中的离散特征进行编码处理得到编码值,并采用所述编码值替换所述离散特征的数值,以得到第三网络流量特征;
基于所述第二网络流量特征、所述第三网络流量特征和所述第二标签,训练所述初始分类模型,得到所述目标分类模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
确定所述第一网络流量特征中的连续特征的中位数、第一百分位数的第一数值、第二百分位数的第二数值;
采用所述中位数填充所述第一网络流量特征中缺失的连续特征,采用所述第一数值替换所述第一网络流量特征中小于所述第一数值的连续特征的数值,并采用所述第二数值替换所述第一网络流量特征中大于所述第二数值的连续特征的数值,得到所述第二网络流量特征。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对各所述第二预测概率进行排序,得到第一排序结果;从所述第一排序结果中最大的第二预测概率开始,依次选取第一预设数量的第二预测概率;将所述第一预设数量的第二预测概率对应的第一训练集中样本作为所述对抗集,并将除所述对抗集之外的数据集作为所述第二训练集;
或者,将大于概率阈值的第二预测概率对应的第一训练集中的样本作为所述对抗集,并将除所述对抗集之外的数据集作为所述第二训练集。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取流量数据集;
根据所述流量数据集中流量数据对应的行为发生时间的先后顺序,对所述流量数据集中流量数据进行排序,得到第二排序结果;
从第二排序结果中最近的行为发生时间的流量数据开始,选取第二预设数量的流量数据作为所述测试集,并将所述流量数据集中除所述测试集之外的流量数据作为所述第一训练集。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
将对抗集输入目标攻击模型,得到第一预测概率,其中,所述第一预测概率表征所述对抗集中的数据所对应的网络环境受到攻击的概率,所述对抗集基于第一训练集的第二预测概率从所述第一训练集中确定,所述第二预测概率表征所述第一训练集中样本属于测试集的概率,所述对抗集中样本与所述测试集中样本的相似度大于预设相似度阈值;
基于所述第一预测概率和所述对抗集中样本的第一标签,对所述第一预测概率进行分箱,得到各个分箱区间,其中,所述第一标签表征是否为攻击的标签;
将当前环境的网络数据输入所述目标攻击模型,得到所述网络数据受到攻击的第三预测概率;
从所述各个分箱区间中确定所述第三预测概率所属的分箱区间,并将所述第三预测概率所属的分箱区间对应的网络攻击等级作为所述网络数据对应的网络攻击等级。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
基于所述第一预测概率和所述对抗集中样本的第一标签,采用决策树对所述第一预测概率进行分箱,得到初始分箱区间;
采用卡方分箱对所述初始分箱区间进行分箱处理,得到所述分箱区间。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
基于第一数据集以及所述第一数据集的第二标签,训练初始分类模型,得到目标分类模型,其中,所述第一数据集包括所述测试集和所述第一训练集,采用1表示所述测试集中样本的第二标签,采用0表示所述第一训练集中样本的第二标签;
基于所述第一训练集的第一网络流量特征和所述目标分类模型,得到所述第一训练集的各所述第二预测概率;
基于各所述第二预测概率,从所述第一训练集中确定所述对抗集以及第二训练集,其中,所述第二训练集为除所述对抗集之外的数据集;
基于第二数据集的网络流量特征和第三标签,训练初始攻击模型,得到所述目标攻击模型,其中,所述第二数据集包括所述测试集和所述第二训练集,所述第三标签表征是否为攻击的标签。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对所述第一数据集的第一网络流量特征中的连续特征进行特征清洗,得到第二网络流量特征;
对所述第一数据集的第一网络流量特征中的离散特征进行编码处理得到编码值,并采用所述编码值替换所述离散特征的数值,以得到第三网络流量特征;
基于所述第二网络流量特征、所述第三网络流量特征和所述第二标签,训练所述初始分类模型,得到所述目标分类模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
确定所述第一网络流量特征中的连续特征的中位数、第一百分位数的第一数值、第二百分位数的第二数值;
采用所述中位数填充所述第一网络流量特征中缺失的连续特征,采用所述第一数值替换所述第一网络流量特征中小于所述第一数值的连续特征的数值,并采用所述第二数值替换所述第一网络流量特征中大于所述第二数值的连续特征的数值,得到所述第二网络流量特征。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对各所述第二预测概率进行排序,得到第一排序结果;从所述第一排序结果中最大的第二预测概率开始,依次选取第一预设数量的第二预测概率;将所述第一预设数量的第二预测概率对应的第一训练集中样本作为所述对抗集,并将除所述对抗集之外的数据集作为所述第二训练集;
或者,将大于概率阈值的第二预测概率对应的第一训练集中的样本作为所述对抗集,并将除所述对抗集之外的数据集作为所述第二训练集。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取流量数据集;
根据所述流量数据集中流量数据对应的行为发生时间的先后顺序,对所述流量数据集中流量数据进行排序,得到第二排序结果;
从第二排序结果中最近的行为发生时间的流量数据开始,选取第二预设数量的流量数据作为所述测试集,并将所述流量数据集中除所述测试集之外的流量数据作为所述第一训练集。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
将对抗集输入目标攻击模型,得到第一预测概率,其中,所述第一预测概率表征所述对抗集中的数据所对应的网络环境受到攻击的概率,所述对抗集基于第一训练集的第二预测概率从所述第一训练集中确定,所述第二预测概率表征所述第一训练集中样本属于测试集的概率,所述对抗集中样本与所述测试集中样本的相似度大于预设相似度阈值;
基于所述第一预测概率和所述对抗集中样本的第一标签,对所述第一预测概率进行分箱,得到各个分箱区间,其中,所述第一标签表征是否为攻击的标签;
将当前环境的网络数据输入所述目标攻击模型,得到所述网络数据受到攻击的第三预测概率;
从所述各个分箱区间中确定所述第三预测概率所属的分箱区间,并将所述第三预测概率所属的分箱区间对应的网络攻击等级作为所述网络数据对应的网络攻击等级。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
基于所述第一预测概率和所述对抗集中样本的第一标签,采用决策树对所述第一预测概率进行分箱,得到初始分箱区间;
采用卡方分箱对所述初始分箱区间进行分箱处理,得到所述分箱区间。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
基于第一数据集以及所述第一数据集的第二标签,训练初始分类模型,得到目标分类模型,其中,所述第一数据集包括所述测试集和所述第一训练集,采用1表示所述测试集中样本的第二标签,采用0表示所述第一训练集中样本的第二标签;
基于所述第一训练集的第一网络流量特征和所述目标分类模型,得到所述第一训练集的各所述第二预测概率;
基于各所述第二预测概率,从所述第一训练集中确定所述对抗集以及第二训练集,其中,所述第二训练集为除所述对抗集之外的数据集;
基于第二数据集的网络流量特征和第三标签,训练初始攻击模型,得到所述目标攻击模型,其中,所述第二数据集包括所述测试集和所述第二训练集,所述第三标签表征是否为攻击的标签。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对所述第一数据集的第一网络流量特征中的连续特征进行特征清洗,得到第二网络流量特征;
对所述第一数据集的第一网络流量特征中的离散特征进行编码处理得到编码值,并采用所述编码值替换所述离散特征的数值,以得到第三网络流量特征;
基于所述第二网络流量特征、所述第三网络流量特征和所述第二标签,训练所述初始分类模型,得到所述目标分类模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
确定所述第一网络流量特征中的连续特征的中位数、第一百分位数的第一数值、第二百分位数的第二数值;
采用所述中位数填充所述第一网络流量特征中缺失的连续特征,采用所述第一数值替换所述第一网络流量特征中小于所述第一数值的连续特征的数值,并采用所述第二数值替换所述第一网络流量特征中大于所述第二数值的连续特征的数值,得到所述第二网络流量特征。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对各所述第二预测概率进行排序,得到第一排序结果;从所述第一排序结果中最大的第二预测概率开始,依次选取第一预设数量的第二预测概率;将所述第一预设数量的第二预测概率对应的第一训练集中样本作为所述对抗集,并将除所述对抗集之外的数据集作为所述第二训练集;
或者,将大于概率阈值的第二预测概率对应的第一训练集中的样本作为所述对抗集,并将除所述对抗集之外的数据集作为所述第二训练集。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取流量数据集;
根据所述流量数据集中流量数据对应的行为发生时间的先后顺序,对所述流量数据集中流量数据进行排序,得到第二排序结果;
从第二排序结果中最近的行为发生时间的流量数据开始,选取第二预设数量的流量数据作为所述测试集,并将所述流量数据集中除所述测试集之外的流量数据作为所述第一训练集。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (11)
1.一种网络攻击等级确定方法,其特征在于,所述方法包括:
将对抗集输入目标攻击模型,得到第一预测概率,其中,所述第一预测概率表征所述对抗集中的数据所对应的网络环境受到攻击的概率,所述对抗集基于第一训练集的第二预测概率从所述第一训练集中确定,所述第二预测概率表征所述第一训练集中样本属于测试集的概率,所述对抗集中样本与所述测试集中样本的相似度大于预设相似度阈值;
基于所述第一预测概率和所述对抗集中样本的第一标签,对所述第一预测概率进行分箱,得到各个分箱区间,其中,所述第一标签表征是否为攻击的标签;
将当前环境的网络数据输入所述目标攻击模型,得到所述网络数据受到攻击的第三预测概率;
从所述各个分箱区间中确定所述第三预测概率所属的分箱区间,并将所述第三预测概率所属的分箱区间对应的网络攻击等级作为所述网络数据对应的网络攻击等级。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一预测概率和所述对抗集中样本的第一标签,对所述第一预测概率进行分箱,得到各个分箱区间,包括:
基于所述第一预测概率和所述对抗集中样本的第一标签,采用决策树对所述第一预测概率进行分箱,得到初始分箱区间;
采用卡方分箱对所述初始分箱区间进行分箱处理,得到所述分箱区间。
3.根据权利要求1或2所述的方法,其特征在于,在所述将对抗集输入目标攻击模型,得到第一预测概率之前,所述方法还包括:
基于第一数据集以及所述第一数据集的第二标签,训练初始分类模型,得到目标分类模型,其中,所述第一数据集包括所述测试集和所述第一训练集,采用1表示所述测试集中样本的第二标签,采用0表示所述第一训练集中样本的第二标签;
基于所述第一训练集的第一网络流量特征和所述目标分类模型,得到所述第一训练集的各所述第二预测概率;
基于各所述第二预测概率,从所述第一训练集中确定所述对抗集以及第二训练集,其中,所述第二训练集为除所述对抗集之外的数据集;
基于第二数据集的网络流量特征和第三标签,训练初始攻击模型,得到所述目标攻击模型,其中,所述第二数据集包括所述测试集和所述第二训练集,所述第三标签表征是否为攻击的标签。
4.根据权利要求3所述的方法,其特征在于,所述基于第一数据集以及所述第一数据集的第二标签,训练初始分类模型,得到目标分类模型,包括:
对所述第一数据集的第一网络流量特征中的连续特征进行特征清洗,得到第二网络流量特征;
对所述第一数据集的第一网络流量特征中的离散特征进行编码处理得到编码值,并采用所述编码值替换所述离散特征的数值,以得到第三网络流量特征;
基于所述第二网络流量特征、所述第三网络流量特征和所述第二标签,训练所述初始分类模型,得到所述目标分类模型。
5.根据权利要求4所述的方法,其特征在于,所述对所述第一数据集的第一网络流量特征进行特征清洗,得到所述第二网络流量特征,包括:
确定所述第一网络流量特征中的连续特征的中位数、第一百分位数的第一数值、第二百分位数的第二数值;
采用所述中位数填充所述第一网络流量特征中缺失的连续特征,采用所述第一数值替换所述第一网络流量特征中小于所述第一数值的连续特征的数值,并采用所述第二数值替换所述第一网络流量特征中大于所述第二数值的连续特征的数值,得到所述第二网络流量特征。
6.根据权利要求3所述的方法,其特征在于,所述基于各所述第二预测概率,从所述第一训练集中确定所述对抗集以及第二训练集,包括:
对各所述第二预测概率进行排序,得到第一排序结果;从所述第一排序结果中最大的第二预测概率开始,依次选取第一预设数量的第二预测概率;将所述第一预设数量的第二预测概率对应的第一训练集中样本作为所述对抗集,并将除所述对抗集之外的数据集作为所述第二训练集;
或者,将大于概率阈值的第二预测概率对应的第一训练集中的样本作为所述对抗集,并将除所述对抗集之外的数据集作为所述第二训练集。
7.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
获取流量数据集;
根据所述流量数据集中流量数据对应的行为发生时间的先后顺序,对所述流量数据集中流量数据进行排序,得到第二排序结果;
从第二排序结果中最近的行为发生时间的流量数据开始,选取第二预设数量的流量数据作为所述测试集,并将所述流量数据集中除所述测试集之外的流量数据作为所述第一训练集。
8.一种网络攻击等级确定装置,其特征在于,所述装置包括:
第一获得模块,用于将对抗集输入目标攻击模型,得到第一预测概率,其中,所述第一预测概率表征所述对抗集中的数据所对应的网络环境受到攻击的概率,所述对抗集基于第一训练集的第二预测概率从所述第一训练集中确定,所述第二预测概率表征所述第一训练集中样本属于测试集的概率,所述对抗集中样本与所述测试集中样本的相似度大于预设相似度阈值;
第二获得模块,用于基于所述第一预测概率和所述对抗集中样本的第一标签,对所述第一预测概率进行分箱,得到各个分箱区间,其中,所述第一标签表征是否为攻击的标签;
第三获得模块,用于将当前环境的网络数据输入所述目标攻击模型,得到所述网络数据受到攻击的第三预测概率;
第一确定模块,用于从所述各个分箱区间中确定所述第三预测概率所属的分箱区间,并将所述第三预测概率所属的分箱区间对应的网络攻击等级作为所述网络数据对应的网络攻击等级。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
11.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210354148.XA CN114679327B (zh) | 2022-04-06 | 2022-04-06 | 网络攻击等级确定方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210354148.XA CN114679327B (zh) | 2022-04-06 | 2022-04-06 | 网络攻击等级确定方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114679327A CN114679327A (zh) | 2022-06-28 |
CN114679327B true CN114679327B (zh) | 2024-06-21 |
Family
ID=82079101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210354148.XA Active CN114679327B (zh) | 2022-04-06 | 2022-04-06 | 网络攻击等级确定方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114679327B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115913784B (zh) * | 2023-01-05 | 2023-08-08 | 阿里巴巴(中国)有限公司 | 一种网络攻击防御系统、方法、装置及电子设备 |
CN116319076B (zh) * | 2023-05-15 | 2023-08-25 | 鹏城实验室 | 恶意流量的检测方法、装置、设备及计算机可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3016392A1 (en) * | 2017-09-06 | 2019-03-06 | Rank Software Inc. | Systems and methods for cyber intrusion detection and prevention |
CN112165485A (zh) * | 2020-09-25 | 2021-01-01 | 山东炎黄工业设计有限公司 | 一种大规模网络安全态势智能预测方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9558677B2 (en) * | 2011-04-08 | 2017-01-31 | Wombat Security Technologies, Inc. | Mock attack cybersecurity training system and methods |
EP3360043A4 (en) * | 2015-10-08 | 2019-04-24 | Siege Technologies LLC | ASSESSING THE EFFECTIVENESS OF CYBER SECURITY TECHNOLOGIES |
CN110677433B (zh) * | 2019-10-23 | 2022-02-22 | 杭州安恒信息技术股份有限公司 | 一种网络攻击预测的方法、系统、设备及可读存储介质 |
CN112668557B (zh) * | 2021-01-29 | 2024-06-14 | 南通大学 | 一种行人再识别系统中防御图像噪声攻击的方法 |
CN113079168B (zh) * | 2021-04-13 | 2023-02-21 | 网络通信与安全紫金山实验室 | 一种网络异常检测方法、装置及存储介质 |
CN114078201B (zh) * | 2021-11-23 | 2023-04-07 | 中国人民解放军国防科技大学 | 多目标类别对抗样本生成方法及相关设备 |
-
2022
- 2022-04-06 CN CN202210354148.XA patent/CN114679327B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3016392A1 (en) * | 2017-09-06 | 2019-03-06 | Rank Software Inc. | Systems and methods for cyber intrusion detection and prevention |
CN112165485A (zh) * | 2020-09-25 | 2021-01-01 | 山东炎黄工业设计有限公司 | 一种大规模网络安全态势智能预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114679327A (zh) | 2022-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | LSTM-BA: DDoS detection approach combining LSTM and Bayes | |
CN114679327B (zh) | 网络攻击等级确定方法、装置、计算机设备和存储介质 | |
Gogoi et al. | MLH-IDS: a multi-level hybrid intrusion detection method | |
Ahmadinejad et al. | A hybrid model for correlating alerts of known and unknown attack scenarios and updating attack graphs | |
Saxena et al. | General study of intrusion detection system and survey of agent based intrusion detection system | |
CN111355697B (zh) | 僵尸网络域名家族的检测方法、装置、设备及存储介质 | |
CN105681298A (zh) | 公共信息平台中的数据安全异常监测方法及系统 | |
CN103441982A (zh) | 一种基于相对熵的入侵报警分析方法 | |
CN111641634B (zh) | 一种基于蜜网的工业控制网络主动防御系统及其方法 | |
Albanese et al. | Recognizing unexplained behavior in network traffic | |
CN112468347A (zh) | 一种云平台的安全管理方法、装置、电子设备及存储介质 | |
Dhakar et al. | A novel data mining based hybrid intrusion detection framework | |
CN113904795B (zh) | 一种基于网络安全探针的流量快速精确检测方法 | |
CN111191683B (zh) | 基于随机森林和贝叶斯网络的网络安全态势评估方法 | |
CN116915450A (zh) | 基于多步网络攻击识别和场景重构的拓扑剪枝优化方法 | |
Kozik et al. | Pattern extraction algorithm for NetFlow‐based botnet activities detection | |
CN117061254B (zh) | 异常流量检测方法、装置和计算机设备 | |
Gyanchandani et al. | Intrusion detection using C4. 5: performance enhancement by classifier combination | |
CN111709021B (zh) | 一种基于海量告警的攻击事件识别方法及电子装置 | |
Zhao et al. | Finding key nodes in complex networks: An edge and local partition approach | |
Martins et al. | Automatic detection of computer network traffic anomalies based on eccentricity analysis | |
Sabri et al. | Hybrid of rough set theory and artificial immune recognition system as a solution to decrease false alarm rate in intrusion detection system | |
Tian et al. | Network attack path reconstruction based on similarity computation | |
Erokhin et al. | The Dataset Features Selection for Detecting and Classifying Network Attacks | |
Patel et al. | Hybrid relabeled model for network intrusion detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |