CN116319076B - 恶意流量的检测方法、装置、设备及计算机可读存储介质 - Google Patents
恶意流量的检测方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116319076B CN116319076B CN202310540038.7A CN202310540038A CN116319076B CN 116319076 B CN116319076 B CN 116319076B CN 202310540038 A CN202310540038 A CN 202310540038A CN 116319076 B CN116319076 B CN 116319076B
- Authority
- CN
- China
- Prior art keywords
- malicious
- detection
- sample set
- flow
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种恶意流量的检测方法、装置、设备及计算机可读存储介质,该方法包括:将待检测流量数据分别输入至不同恶意流量检测模型得到多个初步检测结果,其中,各恶意流量检测模型分别基于不同恶意流量对抗样本集训练得到;基于各初步检测结果以及各初步检测结果之间的相似度得到待检测流量数据的综合检测结果。即本申请使用多个不同恶意流量检测模型对待检测流量数据进行检测,再根据多个初步检测结果和各初步检测结果之间的相似度综合判断待检测流量数据是否为异常流量。在面对恶意流量的进攻时,各恶意流量检测模型之间可形成互补,有效避免恶意流量能够逃逸某一类型检测网络的检测,从而恶意流量的检测方法的鲁棒性。
Description
技术领域
本申请涉及网络安全领域,尤其涉及一种恶意流量的检测方法、装置、设备及计算机可读存储介质。
背景技术
随着新型网络的快速发展以及安全意识的提高,人们越来越重视在网络环境中的安全和隐私。基于安全套接层SSL(Secure Socket Layer,安全套接字层)和传输层安全TLS(TransportLayerSecurity,安全传输层)等网络安全协议能够有效增强网络用户的隐私,让他们的个人数据能够得到有效的保护。然而,一些不法分子恶意使用加密协议,在其构造的恶意软件的通信过程中,也同样使用加密协议进行传输,这极大的破坏了网络空间安全。目前,已有一些针对加密恶意流量的检测方法,有监督的检测方法可以分为基于机器学习的检测方法和基于深度学习的检测方法。还有一系列基于无监督学习的方法,包括K-means(K均值),XGBoost(分布式梯度增强库)和自编码器等。然而,机器学习技术和深度学习技术在各个领域中都被表明存在对抗威胁。同样在恶意流量检测中,存在有通过对抗训练生成恶意流量,以达到逃避或绕过恶意流量检测器的目标。故目前亟需一种具有高鲁棒性的加密恶意流量检测方法。
上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。
发明内容
本申请的主要目的在于提供一种恶意流量的检测方法、装置、设备及计算机可读存储介质,旨在提高恶意流量检测方法的鲁棒性。
为实现上述目的,本申请提供一种恶意流量的检测方法,所述恶意流量的检测方法包括以下步骤:
将待检测流量数据分别输入至不同恶意流量检测模型得到多个初步检测结果,其中,各所述恶意流量检测模型分别基于不同恶意流量对抗样本集训练得到;
基于各所述初步检测结果以及各所述初步检测结果之间的相似度得到所述待检测流量数据的综合检测结果。
进一步的,在所述将待检测流量数据分别输入至不同恶意流量检测模型得到多个初步检测结果的步骤之前,所述方法包括:
对原始恶意流量样本集中各样本的可变特征进行修改得到流量级对抗样本集;
基于所述流量级对抗样本集和所述原始恶意流量样本集合并得到合并样本集,并基于所述合并样本集对预设神经网络模型进行训练得到初始检测模型;
基于所述初始检测模型和所述合并样本集生成多种恶意流量对抗样本集;
基于各所述恶意流量对抗样本集分别对所述初始检测模型进行训练得到多种所述恶意流量检测模型。
进一步的,所述可变特征包括时间戳、数据包大小、域名、签署机构、端口号、扩展、SSL服务和密码套件,所述对原始恶意流量样本集中各样本的可变特征进行修改得到流量级对抗样本集的步骤包括:
对原始恶意流量样本集中各样本的各所述可变特征进行更改得到所述流量级对抗样本集,以使所述流量级对抗样本集中的各样本可在网络中传输并保留攻击性。
进一步的,所述基于所述合并样本集对预设神经网络模型进行训练得到初始检测模型的步骤包括:
对所述合并样本集中的各样本进行预处理,其中,所述预处理包括特征提取和特征删除,所述特征提取包括至少提取所述合并样本集中各样本的预设基本数据特征、统计特征和时间序列特征中的一种;
基于所述预处理后的合并样本集对所述预设神经网络模型进行训练得到初始检测模型。
进一步的,所述多种恶意流量对抗样本集至少包括第一恶意流量对抗样本集和第二恶意流量对抗样本集,所述基于所述初始检测模型和所述合并样本集生成多种恶意流量对抗样本集的步骤包括:
基于所述合并样本集中的样本以及所述初始检测模型的梯度符号生成所述第一恶意流量对抗样本集;
将所述合并样本集中的样本输入至预设生成对抗网络模型得到所述第二恶意流量对抗样本集。
进一步的,所述多种恶意流量检测模型至少包括第一意流量检测模型和第二意流量检测模型,所述基于各所述恶意流量对抗样本集分别对所述初始检测模型进行训练得到多种所述恶意流量检测模型的步骤包括:
基于所述第一恶意流量对抗样本集对所述初始检测模型进行训练得到第一恶意流量检测模型;
基于所述第二恶意流量对抗样本集对所述初始检测模型进行训练得到第二恶意流量检测模型。
进一步的,所述初步检测结果至少包括第一检测结果和第二检测结果,所述第一检测结果为将所述待检测流量数据输入至所述第一恶意流量检测模型得到,所述第二检测结果为将所述待检测流量数据输入至所述第二恶意流量检测模型得到,所述基于各所述初步检测结果以及各所述初步检测结果之间的相似度得到所述待检测流量数据的综合检测结果的步骤包括:
基于所述第一检测结果和所述第二检测结果进行归一化处理后的结果初次判断所述待检测流量数据是否为正常流量;
若初次判定所述待检测流量数据是正常流量,则计算所述第一检测结果和所述第二检测结果的相似度;
若所述相似度大于预设相似度阈值,则所述综合检测结果为所述待检测流量数据正常。
此外,为实现上述目的,本申请还提供一种恶意流量的检测装置,所述的恶意流量的检测装置包括:
初步检测模块,用于将待检测流量数据分别输入至不同恶意流量检测模型得到多个初步检测结果,其中,各所述恶意流量检测模型分别基于不同恶意流量对抗样本集训练得到;
综合检测模块,用于基于各所述初步检测结果以及各所述初步检测结果之间的相似度得到所述待检测流量数据的综合检测结果。
此外,为实现上述目的,本申请还提供一种恶意流量的检测设备,所述恶意流量的检测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的恶意流量的检测程序,所述恶意流量的检测程序被所述处理器执行时实现上述的恶意流量的检测方法的步骤。
此外,为实现上述目的,本申请还提供一种可读存储介质,所述可读存储介质上存储有恶意流量的检测程序,所述恶意流量的检测程序被处理器执行时实现如上述的恶意流量的检测方法的步骤。
本申请实施例提出的一种恶意流量的检测方法、装置、设备及介质。本申请通过将待检测流量数据分别输入至不同恶意流量检测模型得到多个初步检测结果,其中,各所述恶意流量检测模型分别基于不同恶意流量对抗样本集训练得到;基于各所述初步检测结果以及各所述初步检测结果之间的相似度得到所述待检测流量数据的综合检测结果。即本申请会使用多个不同的恶意流量检测模型对待检测流量数据进行检测,再根据多个初步检测结果和各初步检测结果之间的相似度综合判断待检测流量数据是否为异常流量。在面对恶意流量的进攻时,各恶意流量检测模型之间可以形成互补,可有效避免恶意流量能够逃逸某一类型检测网络的检测,从而使得本申请恶意流量的检测方法具有更强的鲁棒性。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本申请恶意流量的检测方法的第一实施例的流程示意图;
图3为本申请恶意流量的检测方法的第二实施例的流程示意图;
图4为本申请恶意流量的检测方法中第三实施例的流程示意图;
图5为本申请恶意流量的检测方法中恶意流量的检测装置示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
如图1所示,图1是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请实施例设备可以是服务器,也可以是智能手机、PC、平板电脑、便携计算机等电子终端设备。
如图1所示,该设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,设备还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的设备结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及恶意流量的检测程序。
在图1所示的设备中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的恶意流量的检测程序,并执行以下操作:
将待检测流量数据分别输入至不同恶意流量检测模型得到多个初步检测结果,其中,各所述恶意流量检测模型分别基于不同恶意流量对抗样本集训练得到;
基于各所述初步检测结果以及各所述初步检测结果之间的相似度得到所述待检测流量数据的综合检测结果。
进一步地,处理器1001可以调用存储器1005中存储的恶意流量的检测程序,还执行以下操作:
在所述将待检测流量数据分别输入至不同恶意流量检测模型得到多个初步检测结果的步骤之前,所述方法包括:
对原始恶意流量样本集中各样本的可变特征进行修改得到流量级对抗样本集;
基于所述流量级对抗样本集和所述原始恶意流量样本集合并得到合并样本集,并基于所述合并样本集对预设神经网络模型进行训练得到初始检测模型;
基于所述初始检测模型和所述合并样本集生成多种恶意流量对抗样本集;
基于各所述恶意流量对抗样本集分别对所述初始检测模型进行训练得到多种所述恶意流量检测模型。
进一步地,处理器1001可以调用存储器1005中存储的恶意流量的检测程序,还执行以下操作:
所述可变特征包括时间戳、数据包大小、域名、签署机构、端口号、扩展、SSL服务和密码套件,所述对原始恶意流量样本集中各样本的可变特征进行修改得到流量级对抗样本集的步骤包括:
对原始恶意流量样本集中各样本的各所述可变特征进行更改得到所述流量级对抗样本集,以使所述流量级对抗样本集中的各样本可在网络中传输并保留攻击性。
进一步地,处理器1001可以调用存储器1005中存储的恶意流量的检测程序,还执行以下操作:
所述基于所述合并样本集对预设神经网络模型进行训练得到初始检测模型的步骤包括:
对所述合并样本集中的各样本进行预处理,其中,所述预处理包括特征提取和特征删除,所述特征提取包括至少提取所述合并样本集中各样本的预设基本数据特征、统计特征和时间序列特征中的一种;
基于所述预处理后的合并样本集对所述预设神经网络模型进行训练得到初始检测模型。
进一步地,处理器1001可以调用存储器1005中存储的恶意流量的检测程序,还执行以下操作:
所述多种恶意流量对抗样本集至少包括第一恶意流量对抗样本集和第二恶意流量对抗样本集,所述基于所述初始检测模型和所述合并样本集生成多种恶意流量对抗样本集的步骤包括:
基于所述合并样本集中的样本以及所述初始检测模型的梯度符号生成所述第一恶意流量对抗样本集;
将所述合并样本集中的样本输入至预设生成对抗网络模型得到所述第二恶意流量对抗样本集。
进一步地,处理器1001可以调用存储器1005中存储的恶意流量的检测程序,还执行以下操作:
所述多种恶意流量检测模型至少包括第一意流量检测模型和第二意流量检测模型,所述基于各所述恶意流量对抗样本集分别对所述初始检测模型进行训练得到多种所述恶意流量检测模型的步骤包括:
基于所述第一恶意流量对抗样本集对所述初始检测模型进行训练得到第一恶意流量检测模型;
基于所述第二恶意流量对抗样本集对所述初始检测模型进行训练得到第二恶意流量检测模型。
进一步地,处理器1001可以调用存储器1005中存储的恶意流量的检测程序,还执行以下操作:
所述初步检测结果至少包括第一检测结果和第二检测结果,所述第一检测结果为将所述待检测流量数据输入至所述第一恶意流量检测模型得到,所述第二检测结果为将所述待检测流量数据输入至所述第二恶意流量检测模型得到,所述基于各所述初步检测结果以及各所述初步检测结果之间的相似度得到所述待检测流量数据的综合检测结果的步骤包括:
基于所述第一检测结果和所述第二检测结果进行归一化处理后的结果初次判断所述待检测流量数据是否为正常流量;
若初次判定所述待检测流量数据是正常流量,则计算所述第一检测结果和所述第二检测结果的相似度;
若所述相似度大于预设相似度阈值,则所述综合检测结果为所述待检测流量数据正常。
参照图2,本申请恶意流量的检测方法的第一实施例,所述恶意流量的检测方法包括:
步骤S10,将待检测流量数据分别输入至不同恶意流量检测模型得到多个初步检测结果,其中,各所述恶意流量检测模型分别基于不同恶意流量对抗样本集训练得到;
具体的,在本实施例中,将使用多种不同的恶意流量检测模型分别对待检测流量数据模型进行检测,而不同的恶意流量检测模型训练所使用的对抗样本集不同。需要说明的是,在绕过恶意流量检测器的现有方案中,存在有专用的生成对抗网络生成对抗样本,在特征空间中实现逃逸攻击。还存在有在问题空间中通过结合使用NIDS(Network IntrusionDetection System,网络入侵检测系统)行为分析和虚拟包来重塑流量,从而达到使恶意流量绕过恶意流量检测器的目的。可以理解的是,上述通过不同方法生成的可以绕过恶意流量检测器的恶意流量其自身特点不同,故可基于不同方式得到的恶意流量对抗样本集分别训练得到针对不同恶意流量的恶意流量检测模型。不同恶意流量检测模型之间可以实现检测功能上互补。因此,对于同一个待检测流量数据在不同恶意流量检测模型中可得到不同初步检测结果。
步骤S20,基于各所述初步检测结果以及各所述初步检测结果之间的相似度得到所述待检测流量数据的综合检测结果。
具体的,上述初步检测结果可以是恶意流量检测模型中最后一层隐藏层的输出结果,对各恶意流量检测模型最后一层隐藏层的输出结果进行归一化处理,综合得到待检测流量数据为正常流量的概率,若该概率大于预设正常概率阈值可初次判定该待检测流量数据为正常流量,反之则为异常流量。在初次判定待检测流量数据为正常流量的基础上进一步判定各初步检测结果之间的相似度。例如,可以通过余弦相似度判断各初步检测结果之间的相似度,若相似度大于预设相似度阈值,则可最终判定该待检测流量数据为正常流量,即综合检测结果为该待检测流量数据为正常流量,反之则为异常流量。
在本实施例中通过将待检测流量数据分别输入至不同恶意流量检测模型得到多个初步检测结果,其中,各所述恶意流量检测模型分别基于不同恶意流量对抗样本集训练得到;基于各所述初步检测结果以及各所述初步检测结果之间的相似度得到所述待检测流量数据的综合检测结果。即本申请会使用多个不同的恶意流量检测模型对待检测流量数据进行检测,再根据多个初步检测结果和各初步检测结果之间的相似度综合判断待检测流量数据是否为异常流量。在面对恶意流量的进攻时,各恶意流量检测模型之间可以形成互补,可有效避免恶意流量能够逃逸某一类型检测网络的检测,从而使得本申请恶意流量的检测方法具有更强的鲁棒性。
进一步的,参照图3,基于本申请恶意流量的检测方法第一实施例提出本申请恶意流量的检测方法的第二实施例。本实施例中与上述实施例相同部分可参考上文内容,此处不再赘述。在所述将待检测流量数据分别输入至不同恶意流量检测模型得到多个初步检测结果的步骤之前,所述方法包括:
步骤A10,对原始恶意流量样本集中各样本的可变特征进行修改得到流量级对抗样本集;
在本实施例中,将生成各不同的对抗样本,并基于不同的对抗样本训练得到不同的恶意流量检测模型,以便于实现不同恶意流量检测模型之间的协同检测。其中,为确保本申请中生成的对抗样本可在网络中传输,将基于原始恶意流量样本集中各样本的可变特征进行修改以得到流量级对抗样本集,即可在网络中正常传输。需要说明的是,传统的对抗样本通过目标模型中反馈的梯度信息进行优化生成的,这种对抗样本属于特征空间,无法有效的反演为流量包数据,并且少数可反演的流量并不能在网络中传输。因此,需要确保用于训练的恶意对抗流量在能绕过检测系统的同时可在网络中传输。本申请中用于模型训练的对抗样本更加符合实际检测场景。
进一步的,所述可变特征包括时间戳、数据包大小、域名、签署机构、端口号、扩展、SSL服务和密码套件,所述对原始恶意流量样本集中各样本的可变特征进行修改得到流量级对抗样本集的步骤包括:
步骤A11,对原始恶意流量样本集中各样本的各所述可变特征进行更改得到所述流量级对抗样本集,以使所述流量级对抗样本集中的各样本可在网络中传输并保留攻击性。
具体的,可变特征可以包括时间戳、数据包大小、域名、签署机构、端口号、扩展、SSL服务和密码套件等,对始恶意流量样本集中各样本的各可变特征进行修改,得到流量级对抗样本集,且该流量级对抗样本集中的各样本在保留了其原本的攻击性的同时也可以在网络中正常传输。具体的修改方式可以是:调整时间戳来重塑包延迟,使其与正常流量相似;统一数据包大小;修改流量数据包中的端口号,输入报文数和输出报文数等;修改域名,协议签署机构;添加密码套件,修改密码套件的关键字段,同时改变TLS的记录长度,握手长度以及加密套件的长度;增加扩展,添加的新扩展会影响入站的字节数和出站的字节数、字节分布、流的总持续时间和数据包的长度等。其中,流量级对抗样本集中的各样本均被标记为恶意流量。
步骤A20,基于所述流量级对抗样本集和所述原始恶意流量样本集合并得到合并样本集,并基于所述合并样本集对预设神经网络模型进行训练得到初始检测模型;
具体的,将流量级对抗样本集的样本和所述原始恶意流量样本集的样本混合合并得到合并样本集。基于合并样本集中的样本对预设神经网络模型(如DNN,Deep NeuralNetworks,深度神经网络)进行训练得到初始检测模型。
进一步的,所述基于所述合并样本集对预设神经网络模型进行训练得到初始检测模型的步骤包括:
步骤A21,对所述合并样本集中的各样本进行预处理,其中,所述预处理包括特征提取和特征删除,所述特征提取包括至少提取所述合并样本集中各样本的预设基本数据特征、统计特征和时间序列特征中的一种;
步骤A22,基于所述预处理后的合并样本集对所述预设神经网络模型进行训练得到初始检测模型。
具体的,对合并样本集中的各样本进行预处理,预处理可以包括样本特征的提取和样本特征的删除。特征提取包括至少提取所述合并样本集中各样本的预设基本数据特征、统计特征和时间序列特征中的一种。基本数据特征包括源和目的端口号,IP(InternetProtocol,网络之间互连的协议)地址,协议版本号,加密算法、证书签名等;提取的统计特征包括数据包数量、数据包大小、两数据包之间的时间差等;提取的时间序列特征包括包持续时间,包到达时间,流持续时间和流到达时间等。特征删除包括删除太网头、mask IP地址(子掩码IP地址)、传输层包头对齐、对齐数据包等操作。即从每条加密恶意流量样本的原始pcap文件(一种配置文件)中提取加密恶意流量双向会话流,经过删除以太网头、mask IP地址、传输层包头对齐、对齐数据包等操作。处理后的数据整合成合并样本集。其中,/>为一维序列,包括经过归一化后的所有特征属性,/>为加密恶意流量样本的数量。上述预设神经网络模型以BiLSTM(Bi-directional Long Short-TermMemory,双向长短词记忆模型)为例进行说明。4层BiLSTM,包含一个前向LSTM和一个后向LSTM。具体来说,包括输入层,正向传输层、反向传输层和输出层。输入层负责对输入数据进行序列编码,使输入数据符合网络的输入要求;正向传输层负责提取输入序列从前往后的前向特征;反向传输层则负责提取输入序列从后往前的反向特征;输出层负责对正向传输层和反向传输层输出的数据进行整合,基于合并样本集中的数据使用交叉熵损失函数对BiLSTM网络模型进行训练得到初始检测模型。
步骤A30,基于所述初始检测模型和所述合并样本集生成多种恶意流量对抗样本集;
进一步的,所述多种恶意流量对抗样本集至少包括第一恶意流量对抗样本集和第二恶意流量对抗样本集,所述基于所述初始检测模型和所述合并样本集生成多种恶意流量对抗样本集的步骤包括:
步骤A31,基于所述合并样本集中的样本以及所述初始检测模型的梯度符号生成所述第一恶意流量对抗样本集;
步骤A32,将所述合并样本集中的样本输入至预设生成对抗网络模型得到所述第二恶意流量对抗样本集。
具体的,上述基于合并样本集中的样本以及初始检测模型的梯度符号生成第一恶意流量对抗样本集的单个第一恶意流量对抗样本的迭代计算公式如下:
式中,,/>为合并样本集中的初始样本,/>是优化的迭代步骤,/>函数保证扰动的范围限制在/>约束球内,/>为动量衰减因子/>收集前/>次迭代的梯度,,T为最大迭代次数,/>为神经网络的损失函数,y为样本x的标签,为样本x的梯度信息,/>为初始检测模型,/>为符号函数,/>为生成的第一恶意流量对抗样本。
上述预设生成对抗网络模型可以包括生成模型和判别模型,生成模块可根据输入的样本(可以是合并样本集中的样本)生成对抗扰动。扰动后的样本由判别模型(可以是上述初始检测模型,也可以是现有的恶意流量检测模型)进行分类(判断是否为正常流量)。多次迭代训练后得到可生成对抗样本的网络,从而得到第二恶意流量对抗样本集。
可以理解的是,上述两种恶意流量对抗样本分别基于不同方式生成,故其可绕过的恶意流量检测器的类型也不同。
步骤A40,基于各所述恶意流量对抗样本集分别对所述初始检测模型进行训练得到多种所述恶意流量检测模型。
所述多种恶意流量检测模型至少包括第一意流量检测模型和第二意流量检测模型,所述基于各所述恶意流量对抗样本集分别对所述初始检测模型进行训练得到多种所述恶意流量检测模型的步骤包括:
步骤A41,基于所述第一恶意流量对抗样本集对所述初始检测模型进行训练得到第一恶意流量检测模型;
步骤A42,基于所述第二恶意流量对抗样本集对所述初始检测模型进行训练得到第二恶意流量检测模型。
具体的,上述多种恶意流量检测模型至少包括第一意流量检测模型和第二意流量检测模型。基于生成的第一恶意流量对抗样本集对初始检测模型进行训练得到第一恶意流量检测模型,基于生成的第二恶意流量对初始检测模型进行训练得到第二恶意流量检测模型,单个恶意流量检测模型的训练过程模可参照上述内容或现有方法,此处不再赘述。
在本实施例中,将对原始恶意流量样本集中各样本的可变特征进行修改得到流量级对抗样本集;基于所述流量级对抗样本集和所述原始恶意流量样本集合并得到合并样本集,并基于所述合并样本集对预设神经网络模型进行训练得到初始检测模型;基于所述初始检测模型和所述合并样本集生成多种恶意流量对抗样本集;基于各所述恶意流量对抗样本集分别对所述初始检测模型进行训练得到多种所述恶意流量检测模型。即本申请将利用流级对抗样本和基于神经网络模型生成的特征级对抗样本相融合的对抗训练方法,能够有效避免对抗加密恶意流量绕过检测模型的现象。
进一步的,参照图4,基于本申请恶意流量的检测方法第二实施例提出本申请恶意流量的检测方法的第三实施例。本实施例中与上述实施例相同部分可参考上文内容,此处不再赘述。所述初步检测结果至少包括第一检测结果和第二检测结果,所述第一检测结果为将所述待检测流量数据输入至所述第一恶意流量检测模型得到,所述第二检测结果为将所述待检测流量数据输入至所述第二恶意流量检测模型得到,所述基于各所述初步检测结果以及各所述初步检测结果之间的相似度得到所述待检测流量数据的综合检测结果的步骤包括:
步骤S21,基于所述第一检测结果和所述第二检测结果进行归一化处理后的结果初次判断所述待检测流量数据是否为正常流量;
步骤S22,若初次判定所述待检测流量数据是正常流量,则计算所述第一检测结果和所述第二检测结果的相似度;
步骤S23,若所述相似度大于预设相似度阈值,则所述综合检测结果为所述待检测流量数据正常。
具体的,初步检测结果至少包括第一检测结果和第二检测结果,第一检测结果为将所述待检测流量数据输入至所述第一恶意流量检测模型得到,第二检测结果为将所述待检测流量数据输入至所述第二恶意流量检测模型得到。其中,第一检测结果可以是第一恶意流量检测模型最后一层隐藏层的输出,第二检测结果可以是第二恶意流量检测模型最后一层隐藏层的输出/>。将/>和/>融合后进行softmax(归一化处理)输出初次判定结果,若初次判定结果待检测流量数据是正常流量,则还需要对/>和/>进行余弦相似度计算,计算公式如下:
式中,COSθ为两检测结果之间的相似度,若相似度COSθ大于预设相似度阈值(如0.9),则最终判定该流量为正常流量,即所述综合检测结果为所述待检测流量数据正常。
可以理解的是,本申请中,双网络模型能够在面对对抗攻击时能够互补,通过对协同网络输出的隐藏层向量计算余弦相似度,能够有效避免对抗样本能够逃逸某一类型的检测网络,提高恶意流量检测方法的鲁棒性。需要说明的是本申请仅说明了双网络模型,在实际应用中可使用多模型架构(网络模型数量可大于2)。
此外,本申请实施例还提供一种恶意流量的检测装置100A,所述恶意流量的检测装置100A包括:
初步检测模块10A,用于将待检测流量数据分别输入至不同恶意流量检测模型得到多个初步检测结果,其中,各所述恶意流量检测模型分别基于不同恶意流量对抗样本集训练得到;
综合检测模块20A,用于基于各所述初步检测结果以及各所述初步检测结果之间的相似度得到所述待检测流量数据的综合检测结果。
可选地,所述恶意流量的检测装置还包括训练模块30A,所述训练模块30A用于:
对原始恶意流量样本集中各样本的可变特征进行修改得到流量级对抗样本集;
基于所述流量级对抗样本集和所述原始恶意流量样本集合并得到合并样本集,并基于所述合并样本集对预设神经网络模型进行训练得到初始检测模型;
基于所述初始检测模型和所述合并样本集生成多种恶意流量对抗样本集;
基于各所述恶意流量对抗样本集分别对所述初始检测模型进行训练得到多种所述恶意流量检测模型。
可选地,所述可变特征包括时间戳、数据包大小、域名、签署机构、端口号、扩展、SSL服务和密码套件,所述训练模块30A还用于:
对原始恶意流量样本集中各样本的各所述可变特征进行更改得到所述流量级对抗样本集,以使所述流量级对抗样本集中的各样本可在网络中传输并保留攻击性。
可选地,所述训练模块30A还用于:
对所述合并样本集中的各样本进行预处理,其中,所述预处理包括特征提取和特征删除,所述特征提取包括至少提取所述合并样本集中各样本的预设基本数据特征、统计特征和时间序列特征中的一种;
基于所述预处理后的合并样本集对所述预设神经网络模型进行训练得到初始检测模型。
可选地,所述多种恶意流量对抗样本集至少包括第一恶意流量对抗样本集和第二恶意流量对抗样本集,所述训练模块30A还用于:
基于所述合并样本集中的样本以及所述初始检测模型的梯度符号生成所述第一恶意流量对抗样本集;
将所述合并样本集中的样本输入至预设生成对抗网络模型得到所述第二恶意流量对抗样本集。
可选地,所述多种恶意流量检测模型至少包括第一意流量检测模型和第二意流量检测模型,所述训练模块30A还用于:
基于所述第一恶意流量对抗样本集对所述初始检测模型进行训练得到第一恶意流量检测模型;
基于所述第二恶意流量对抗样本集对所述初始检测模型进行训练得到第二恶意流量检测模型。
可选地,所述初步检测结果至少包括第一检测结果和第二检测结果,所述第一检测结果为将所述待检测流量数据输入至所述第一恶意流量检测模型得到,所述第二检测结果为将所述待检测流量数据输入至所述第二恶意流量检测模型得到,所述综合检测模块20A还用于:
基于所述第一检测结果和所述第二检测结果进行归一化处理后的结果初次判断所述待检测流量数据是否为正常流量;
若初次判定所述待检测流量数据是正常流量,则计算所述第一检测结果和所述第二检测结果的相似度;
若所述相似度大于预设相似度阈值,则所述综合检测结果为所述待检测流量数据正常。
本申请提供的恶意流量的检测装置,采用上述实施例中的恶意流量的检测方法,旨在解决恶意流量检测器鲁棒性低的技术问题。与现有技术相比,本申请实施例提供的恶意流量的检测装置的有益效果与上述实施例提供的恶意流量的检测方法的有益效果相同,且该恶意流量的检测装置中的其他技术特征与上述实施例方法公开的特征相同,在此不做赘述。
此外,为实现上述目的,本申请还提供一种恶意流量的检测设备,所述恶意流量的检测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的恶意流量的检测程序,所述恶意流量的检测程序被所述处理器执行时实现如上述的恶意流量的检测方法的步骤。
本申请恶意流量的检测设备的具体实施方式与上述恶意流量的检测方法各实施例基本相同,在此不再赘述。
此外,为实现上述目的,本申请还提供一种计算机介质,所述计算机介质上存储有恶意流量的检测程序,所述恶意流量的检测程序被处理器执行时实现如上述的恶意流量的检测方法的步骤。
本申请计算机介质具体实施方式与上述恶意流量的检测方法各实施例基本相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (8)
1.一种恶意流量的检测方法,其特征在于,所述恶意流量的检测方法包括以下步骤:
将待检测流量数据分别输入至不同恶意流量检测模型得到多个初步检测结果,其中,各所述恶意流量检测模型分别基于不同恶意流量对抗样本集训练得到;
基于各所述初步检测结果以及各所述初步检测结果之间的相似度得到所述待检测流量数据的综合检测结果;
其中,在所述将待检测流量数据分别输入至不同恶意流量检测模型得到多个初步检测结果的步骤之前,所述方法包括:
对原始恶意流量样本集中各样本的可变特征进行修改得到流量级对抗样本集;
基于所述流量级对抗样本集和所述原始恶意流量样本集合并得到合并样本集,并基于所述合并样本集对预设神经网络模型进行训练得到初始检测模型;
基于所述初始检测模型和所述合并样本集生成多种恶意流量对抗样本集;
基于各所述恶意流量对抗样本集分别对所述初始检测模型进行训练得到多种所述恶意流量检测模型;
所述可变特征包括时间戳、数据包大小、域名、签署机构、端口号、扩展、SSL服务和密码套件,所述对原始恶意流量样本集中各样本的可变特征进行修改得到流量级对抗样本集的步骤包括:
对原始恶意流量样本集中各样本的各所述可变特征进行更改得到所述流量级对抗样本集,以使所述流量级对抗样本集中的各样本可在网络中传输并保留攻击性。
2.如权利要求1所述的恶意流量的检测方法,其特征在于,所述基于所述合并样本集对预设神经网络模型进行训练得到初始检测模型的步骤包括:
对所述合并样本集中的各样本进行预处理,其中,所述预处理包括特征提取和特征删除,所述特征提取包括至少提取所述合并样本集中各样本的预设基本数据特征、统计特征和时间序列特征中的一种;
基于所述预处理后的合并样本集对所述预设神经网络模型进行训练得到初始检测模型。
3.如权利要求2所述的恶意流量的检测方法,其特征在于,所述多种恶意流量对抗样本集至少包括第一恶意流量对抗样本集和第二恶意流量对抗样本集,所述基于所述初始检测模型和所述合并样本集生成多种恶意流量对抗样本集的步骤包括:
基于所述合并样本集中的样本以及所述初始检测模型的梯度符号生成所述第一恶意流量对抗样本集;
将所述合并样本集中的样本输入至预设生成对抗网络模型得到所述第二恶意流量对抗样本集。
4.如权利要求3所述的恶意流量的检测方法,其特征在于,所述多种恶意流量检测模型至少包括第一意流量检测模型和第二意流量检测模型,所述基于各所述恶意流量对抗样本集分别对所述初始检测模型进行训练得到多种所述恶意流量检测模型的步骤包括:
基于所述第一恶意流量对抗样本集对所述初始检测模型进行训练得到第一恶意流量检测模型;
基于所述第二恶意流量对抗样本集对所述初始检测模型进行训练得到第二恶意流量检测模型。
5.如权利要求4所述的恶意流量的检测方法,其特征在于,所述初步检测结果至少包括第一检测结果和第二检测结果,所述第一检测结果为将所述待检测流量数据输入至所述第一恶意流量检测模型得到,所述第二检测结果为将所述待检测流量数据输入至所述第二恶意流量检测模型得到,所述基于各所述初步检测结果以及各所述初步检测结果之间的相似度得到所述待检测流量数据的综合检测结果的步骤包括:
基于所述第一检测结果和所述第二检测结果进行归一化处理后的结果初次判断所述待检测流量数据是否为正常流量;
若初次判定所述待检测流量数据是正常流量,则计算所述第一检测结果和所述第二检测结果的相似度;
若所述相似度大于预设相似度阈值,则所述综合检测结果为所述待检测流量数据正常。
6.一种恶意流量的检测装置,其特征在于,所述恶意流量的检测装置包括:
初步检测模块,用于将待检测流量数据分别输入至不同恶意流量检测模型得到多个初步检测结果,其中,各所述恶意流量检测模型分别基于不同恶意流量对抗样本集训练得到;
综合检测模块,用于基于各所述初步检测结果以及各所述初步检测结果之间的相似度得到所述待检测流量数据的综合检测结果;
其中,在所述将待检测流量数据分别输入至不同恶意流量检测模型得到多个初步检测结果的步骤之前,包括:
对原始恶意流量样本集中各样本的可变特征进行修改得到流量级对抗样本集;
基于所述流量级对抗样本集和所述原始恶意流量样本集合并得到合并样本集,并基于所述合并样本集对预设神经网络模型进行训练得到初始检测模型;
基于所述初始检测模型和所述合并样本集生成多种恶意流量对抗样本集;
基于各所述恶意流量对抗样本集分别对所述初始检测模型进行训练得到多种所述恶意流量检测模型;
所述可变特征包括时间戳、数据包大小、域名、签署机构、端口号、扩展、SSL服务和密码套件,所述对原始恶意流量样本集中各样本的可变特征进行修改得到流量级对抗样本集的步骤包括:
对原始恶意流量样本集中各样本的各所述可变特征进行更改得到所述流量级对抗样本集,以使所述流量级对抗样本集中的各样本可在网络中传输并保留攻击性。
7.一种恶意流量的检测设备,其特征在于,所述恶意流量的检测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的恶意流量的检测程序,所述恶意流量的检测程序被所述处理器执行时实现如权利要求1至5中任一项所述的恶意流量的检测方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有恶意流量的检测程序,所述恶意流量的检测程序被处理器执行时实现如权利要求1至5中任一项所述的恶意流量的检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310540038.7A CN116319076B (zh) | 2023-05-15 | 2023-05-15 | 恶意流量的检测方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310540038.7A CN116319076B (zh) | 2023-05-15 | 2023-05-15 | 恶意流量的检测方法、装置、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116319076A CN116319076A (zh) | 2023-06-23 |
CN116319076B true CN116319076B (zh) | 2023-08-25 |
Family
ID=86794448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310540038.7A Active CN116319076B (zh) | 2023-05-15 | 2023-05-15 | 恶意流量的检测方法、装置、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116319076B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110443367A (zh) * | 2019-07-30 | 2019-11-12 | 电子科技大学 | 一种增强神经网络模型鲁棒性能的方法 |
CN112613036A (zh) * | 2020-12-29 | 2021-04-06 | 北京天融信网络安全技术有限公司 | 恶意样本增强方法、恶意程序检测方法及对应装置 |
CN113132316A (zh) * | 2019-12-31 | 2021-07-16 | 深信服科技股份有限公司 | 一种Web攻击检测方法、装置、电子设备及存储介质 |
CN113657506A (zh) * | 2021-08-18 | 2021-11-16 | 成都卫士通信息安全技术有限公司 | 一种对抗样本生成方法、装置、设备及介质 |
CN114091020A (zh) * | 2021-10-25 | 2022-02-25 | 北京信息科技大学 | 基于特征分组和多模型融合的对抗攻击防御方法及系统 |
WO2022063076A1 (zh) * | 2020-09-24 | 2022-03-31 | 华为技术有限公司 | 对抗样本的识别方法及装置 |
CN114679327A (zh) * | 2022-04-06 | 2022-06-28 | 网络通信与安全紫金山实验室 | 网络攻击等级确定方法、装置、计算机设备和存储介质 |
CN115293889A (zh) * | 2022-08-18 | 2022-11-04 | 深圳前海微众银行股份有限公司 | 信用风险预测模型训练方法、电子设备及可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11606389B2 (en) * | 2019-08-29 | 2023-03-14 | Nec Corporation | Anomaly detection with graph adversarial training in computer systems |
US11394742B2 (en) * | 2020-08-17 | 2022-07-19 | International Business Machines Corporation | Detecting trojan neural networks |
-
2023
- 2023-05-15 CN CN202310540038.7A patent/CN116319076B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110443367A (zh) * | 2019-07-30 | 2019-11-12 | 电子科技大学 | 一种增强神经网络模型鲁棒性能的方法 |
CN113132316A (zh) * | 2019-12-31 | 2021-07-16 | 深信服科技股份有限公司 | 一种Web攻击检测方法、装置、电子设备及存储介质 |
WO2022063076A1 (zh) * | 2020-09-24 | 2022-03-31 | 华为技术有限公司 | 对抗样本的识别方法及装置 |
CN112613036A (zh) * | 2020-12-29 | 2021-04-06 | 北京天融信网络安全技术有限公司 | 恶意样本增强方法、恶意程序检测方法及对应装置 |
CN113657506A (zh) * | 2021-08-18 | 2021-11-16 | 成都卫士通信息安全技术有限公司 | 一种对抗样本生成方法、装置、设备及介质 |
CN114091020A (zh) * | 2021-10-25 | 2022-02-25 | 北京信息科技大学 | 基于特征分组和多模型融合的对抗攻击防御方法及系统 |
CN114679327A (zh) * | 2022-04-06 | 2022-06-28 | 网络通信与安全紫金山实验室 | 网络攻击等级确定方法、装置、计算机设备和存储介质 |
CN115293889A (zh) * | 2022-08-18 | 2022-11-04 | 深圳前海微众银行股份有限公司 | 信用风险预测模型训练方法、电子设备及可读存储介质 |
Non-Patent Citations (1)
Title |
---|
基于生成对抗网络的恶意网络流生成及验证;潘一鸣;林家骏;;华东理工大学学报(自然科学版)(02);第165-171页 * |
Also Published As
Publication number | Publication date |
---|---|
CN116319076A (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kim et al. | AI-IDS: Application of deep learning to real-time Web intrusion detection | |
Wang et al. | Detecting android malware leveraging text semantics of network flows | |
US11595435B2 (en) | Methods and systems for detecting phishing emails using feature extraction and machine learning | |
US20210258791A1 (en) | Method for http-based access point fingerprint and classification using machine learning | |
Shurman et al. | IoT denial-of-service attack detection and prevention using hybrid IDS | |
CN112468520B (zh) | 一种数据检测方法、装置、设备及可读存储介质 | |
US20080046738A1 (en) | Anti-phishing agent | |
US8719944B2 (en) | Detecting secure or encrypted tunneling in a computer network | |
Bagui et al. | Machine learning based intrusion detection for IoT botnet | |
WO2021139641A1 (zh) | 一种web攻击检测方法、装置及电子设备和存储介质 | |
CN111526136A (zh) | 基于云waf的恶意攻击检测方法、系统、设备和介质 | |
CN111262832B (zh) | 云环境下融合信任和学习的DDoS攻击发现方法 | |
US11140196B1 (en) | Malware fingerprinting on encrypted transport layer security (TLS) traffic | |
CN113518042B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
US20230153434A1 (en) | Machine learning-based malicious attachment detector | |
WO2023151256A1 (zh) | 弱口令爆破攻击的防护方法、装置、介质、电子设备 | |
US20230291758A1 (en) | Malware Detection Using Document Object Model Inspection | |
CN104935783B (zh) | 一种安全的主动式图像篡改检测方法及装置 | |
Zheng et al. | Detecting malicious tls network traffic based on communication channel features | |
Fang et al. | A communication-channel-based method for detecting deeply camouflaged malicious traffic | |
CN113596001A (zh) | DDoS攻击检测方法、装置、设备及计算机程序产品 | |
CN117478403A (zh) | 一种全场景网络安全威胁关联分析方法及系统 | |
CN116319076B (zh) | 恶意流量的检测方法、装置、设备及计算机可读存储介质 | |
US20230164180A1 (en) | Phishing detection methods and systems | |
Liu et al. | Spatial‐Temporal Feature with Dual‐Attention Mechanism for Encrypted Malicious Traffic Detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |