CN113037748A - 一种c&c信道混合检测方法及系统 - Google Patents

一种c&c信道混合检测方法及系统 Download PDF

Info

Publication number
CN113037748A
CN113037748A CN202110251192.3A CN202110251192A CN113037748A CN 113037748 A CN113037748 A CN 113037748A CN 202110251192 A CN202110251192 A CN 202110251192A CN 113037748 A CN113037748 A CN 113037748A
Authority
CN
China
Prior art keywords
flow
preset
traffic
detection
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110251192.3A
Other languages
English (en)
Inventor
姜建国
黄伟庆
石志鑫
殷其雷
李梅梅
翁腾凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN202110251192.3A priority Critical patent/CN113037748A/zh
Publication of CN113037748A publication Critical patent/CN113037748A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种C&C信道混合检测方法及系统，包括：获取待测试流量；基于启发式规则对所述待测试流量中的非C&C流量进行过滤，得到初始流量过滤结果；基于异常行为检测模型对所述初始流量过滤结果进行C&C流量识别，得到异常检测结果；根据预设判定规则对所述异常检测结果进行集成判定，得到最终C&C流量检测结果。本发明通过采用混合式C&C信道检测方法，组合运用启发式规则与异常式行为检测模型，能实现准确检测保护场景中的C&C信道。

Description

一种C＆C信道混合检测方法及系统
技术领域
本发明涉及网络安全技术领域，尤其涉及一种C&C信道混合检测方法及系统。
背景技术
C&C信道(Command&Control Channel:C&C Channel)是僵尸网络程序，以及木马等先进网络恶意程序的一种必不可少的功能组件。此类网络恶意程序在成功感染主机或设备后，需与攻击者控制服务器建立C&C信道链接，以不断获取最新操作与攻击命令，如更新自身代码、窃取数据并传送、下载攻击代码与工具、组成僵尸网络并协同发动大规模网络攻击等。同时，网络恶意程序也通过C&C信道不断反馈当前被感染主机与设备状态、命令执行结果等信息，以使攻击者充分掌握当前攻击态势、支撑后续攻击决策、实现组合攻击。
当前，绝大多数的C&C信道构建于互联网之上。针对于它们，传统的检测方法大多采用基于载荷识别的技术路线，即在网络流量载荷内容中，直接识别网络恶意程序/C&C信道特有的通信或攻击标识与特征来进行判断，著名的商业化或开源IDS/IPS产品如Snort、Suricata、和Rishi均可用于识别较为传统的C&C信道。除此之外，一些研究者也提出了更新的载荷识别检测方法，如ExecScent方法定义了控制协议模板(CPT)以捕捉恶意程序的HTTP类型的C&C信道请求。其可自动适应不同部署环境下的正常流量，以降低误报率。其大致工作过程是将C&C请求的载荷部分按结构归纳、聚类并生成CPT，再通过正常流量评估该CPT的特异性来保持高检测率并降低误报率。在运用CPT的实际检测过程中，若某流量与CPT高度相似，且该CPT特征性低，则认定该流为恶意程序C&C流。通过上述处理，ExecScent方法可针对不同场景自适应地筛选出质量上佳的CPT签名集以确保低误报率。Chiba等人则在ExecScent方法的基础上改进出了BotProfiler方法，其使用正则表达式替换了原有HTTP请求中的子字符串，实验结果表明其不但降低了误报率，同时还提高了检测率。
然而，传统的载荷识别方法无法应对采用加密C&C通信协议的恶意程序，且只关注于载荷层面的特点与差异，对其他角度的现象与特征有所忽略，难以发现愈发先进、隐蔽、狡猾的先进恶意程序。为此，当前主流方法采用了行为分析的技术路线，即从更多层次、更多角度对C&C信道所表现出的诸多行为特点进行分析、刻画与检测，以发现它们所特有的恶意行为或与正常网络通信迥然不同的行为模式。有方法通过提取大量Netflow流记录中的流尺寸、客户端访问模式、及时序三类行为特征来刻画互联网服务器，配合机器学习方法以识别C&C服务器，并通过一系列额外措施有效降低了误报率。还有方法同样采取了监督学习的思路，其定义了55个行为特征刻画C&C会话流量，并采用了随机森林算法实现了较好的检测性能。在大量统计行为特征的基础上，针对不同类型的检测条件与场景选择了多个不同的特征子集，并在多个机器学习算法下充分评估了它们在C&C信道检测问题上的表现。简而言之，当前主流的行为检测方法大多通过各式行为特征来细致刻画C&C信道，并配合机器学习或深度学习方法来捕获其与正常网络通信的行为差异，并运用于检测中。
可见，前主流方法的行为分析式C&C信道检测方法依然存在着一定缺陷，其最主要的问题是此类方法的检测能力在很大程度上依赖于C&C信道训练数据，即人们需要事先预备充足数量的C&C信道训练数据，以提取足够知识来构建起较为精密的行为检测模型。然而，在实际环境下的检测场景中，一方面当前泛滥的恶意程序类型多种多样，它们之间在各方面上均可能存在一定的行为差异，很难事先知悉拟对目标发动攻击的恶意程序类别与家族，并准备好相应或相关家族样本的C&C信道训练数据以构建针对性的行为检测模型。另一方面，在应对新式乃至未知家族的网络恶意程序威胁时，更加无法直接获得它们对应的C&C流量训练数据。简而言之，现有主流的行为分析式C&C信道检测方法无法在不知晓待检测恶意程序类别与家族，并缺乏相应C&C信道训练数据的前提下，对C&C信道进行准确检测。
发明内容
本发明提供一种C&C信道混合检测方法及系统，用以解决现有技术中存在的缺陷。
第一方面，本发明提供一种C&C信道混合检测方法，包括：
获取待测试流量；
基于启发式规则对所述待测试流量中的非C&C流量进行过滤，得到初始流量过滤结果；
基于异常行为检测模型对所述初始流量过滤结果进行C&C流量识别，得到异常检测结果；
根据预设判定规则对所述异常检测结果进行集成判定，得到最终C&C流量检测结果。
在一个实施例中，所述基于启发式规则对所述待测试流量中的非C&C流量进行过滤，得到初始流量过滤结果，具体包括：
将任意一条待测试流量表示为预设五元组，所述预设五元组包括源IP地址、源端口、目的IP地址、目的端口和传输层协议；
将任意具有相同的所述目的IP地址、所述目的端口和所述传输层协议的待测试流量确定为相同类型的网络活动；
采用持久性规则对所述网络活动进行检测，得到第一初始流量过滤结果；
采用隐蔽性规则对所述网络活动进行检测，得到第二初始流量过滤结果。
在一个实施例中，所述采用持久性规则对所述网络活动进行检测，得到第一初始流量过滤结果，具体包括：
计算所述网络活动的持续时间，按照预设长度将所述持续时间依时序划分至等长连续的时间槽中，并将包含上下交互流量的时间槽确定为交互时间槽，计算所述交互时间槽占全部时间槽的第一比例；
确定第一预设阈值和第二预设阈值，将所述持续时间大于等于所述第一预设阈值以及所述第一比例大于所述第二预设阈值的所述网络活动确定为持久性活动，并将非持久性网络活动直接滤除，得到所述第一初始流量过滤结果。
在一个实施例中，所述采用隐蔽性规则对所述网络活动进行检测，得到第二初始流量过滤结果，具体包括：
将所述网络活动中上下行流量尺寸比例大于预设尺寸阈值的流确定为非隐蔽流，计算所述网络活动的整体流量尺寸以及所述非隐蔽流占全部流的第二比例；
确定第三预设阈值、第四预设阈值和第五预设阈值，将所述整体流量尺寸介于所述第三预设阈值和所述第四预设阈值之间以及所述第二比例小于等于所述第五预设阈值的所述网络活动确定为隐蔽性活动，并将非隐蔽性网络活动直接滤除，得到所述第二初始流量过滤结果。
在一个实施例中，所述基于异常行为检测模型对所述初始流量过滤结果进行C&C流量识别，得到异常检测结果，具体包括：
采用空间异常检测模块获取所述初始流量过滤结果在空间维度的行为差异，得到第一异常检测结果；
采用载荷异常检测模块获取所述初始流量过滤结果在载荷维度的行为差异，得到第二异常检测结果。
在一个实施例中，所述采用空间异常检测模块获取所述初始流量过滤结果在空间维度的行为差异，得到第一异常检测结果，具体包括：
通过将每条流中的前预设位数字节数据的每个字节转换为预设长度灰度值，将每条流转换为具有预设大小尺寸的灰度图像；
获取预设卷积自动编码器，将所述灰度图像输入至所述预设卷积自动编码器，得到所述第一异常检测结果。
在一个实施例中，所述采用载荷异常检测模块获取所述初始流量过滤结果在载荷维度的行为差异，得到第二异常检测结果，具体包括：
分别提取HTTP类型流量的URI字节载荷，以及提取非HTTP类型流量的前预设位数字节载荷，得到字节载荷序列；
按照预设滑动窗口将所述字节载荷序列划分为载荷短序列，并对所述载荷短序列中的每个字节进行独热编码；
获取基于门控循环单元的自动编码器，将所述载荷短序列输入所述基于门控循环单元的自动编码器，得到所述第二异常检测结果。
在一个实施例中，所述根据预设判定规则对所述异常检测结果进行集成判定，得到最终C&C流量检测结果，具体包括：
分别确定预设卷积自动编码器对应的第一异常判定阈值，以及确定基于门控循环单元的自动编码器对应的第二异常判定阈值；
获取预设循环判定算法，将所述异常检测结果经过所述预设循环判定算法处理后大于等于所述第一异常判定阈值或大于等于所述第二异常判定阈值对应的所述待测试流量判定为C&C流量。
第二方面，本发明还提供一种C&C信道混合检测系统，包括：
获取模块，用于获取待测试流量；
过滤模块，用于基于启发式规则对所述待测试流量中的非C&C流量进行过滤，得到初始流量过滤结果；
识别模块，用于基于异常行为检测模型对所述初始流量过滤结果进行C&C流量识别，得到异常检测结果；
检测模块，用于根据预设判定规则对所述异常检测结果进行集成判定，得到最终C&C流量检测结果。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述C&C信道混合检测方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述C&C信道混合检测方法的步骤。
本发明提供的C&C信道混合检测方法及系统，通过采用混合式C&C信道检测方法，组合运用启发式规则与异常式行为检测模型，能实现准确检测保护场景中的C&C信道。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的C&C信道混合检测方法的流程示意图之一；
图2是本发明提供的C&C信道混合检测方法的流程示意图之二；
图3是本发明提供的卷积自动编码器设计图；
图4是本发明提供的门控循环单元自动编码器设计图；
图5是本发明提供的预设循环判定算法流程图；
图6是本发明提供的C&C信道混合检测系统的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
面向当前主流行为分析式C&C信道检测方法的过于依赖C&C信道训练数据，无法应对新式和未知C&C信道威胁的能力，本发明提出了一种新的混合式C&C信道检测方法，以在不依赖C&C信道训练数据的前提下准确检测C&C信道，从而具备有效应对新式和未知C&C信道威胁的能力。图1是本发明提供的C&C信道混合检测方法的流程示意图之一，如图1所示，包括：
S1，获取待测试流量；
S2，基于启发式规则对所述待测试流量中的非C&C流量进行过滤，得到初始流量过滤结果；
S3，基于异常行为检测模型对所述初始流量过滤结果进行C&C流量识别，得到异常检测结果；
S4，根据预设判定规则对所述异常检测结果进行集成判定，得到最终C&C流量检测结果。
具体地，如图2所示，本发明将全部未存在标记的待测试流量首先通过两条制定的启发式规则进行初步检查，以直接快速滤除大量不符合典型C&C信道特征的非C&C背景流量，从而有效减少待测试流量数目。随后，基于正常通信流量训练而得到的异常式行为检测模型，将从两个维度出发，具体识别经规则过滤后剩余流量与正常通信流量间的行为差异，从而进一步精炼规则过滤结果，将符合典型C&C信道特征却又与正常通信流量存在明显行为差异的异常流量判定为真正的C&C信道。
本发明通过采用混合式C&C信道检测方法，组合运用启发式规则与异常式行为检测模型，能实现准确检测保护场景中的C&C信道。
基于上述实施例，该方法中步骤S1具体包括：
将任意一条待测试流量表示为预设五元组，所述预设五元组包括源IP地址、源端口、目的IP地址、目的端口和传输层协议；
将任意具有相同的所述目的IP地址、所述目的端口和所述传输层协议的待测试流量确定为相同类型的网络活动；
采用持久性规则对所述网络活动进行检测，得到第一初始流量过滤结果；
采用隐蔽性规则对所述网络活动进行检测，得到第二初始流量过滤结果。
其中，所述采用持久性规则对所述网络活动进行检测，得到第一初始流量过滤结果，具体包括：
计算所述网络活动的持续时间，按照预设长度将所述持续时间依时序划分至等长连续的时间槽中，并将包含上下交互流量的时间槽确定为交互时间槽，计算所述交互时间槽占全部时间槽的第一比例；
确定第一预设阈值和第二预设阈值，将所述持续时间大于等于所述第一预设阈值以及所述第一比例大于所述第二预设阈值的所述网络活动确定为持久性活动，并将非持久性网络活动直接滤除，得到所述第一初始流量过滤结果。
其中，所述采用隐蔽性规则对所述网络活动进行检测，得到第二初始流量过滤结果，具体包括：
将所述网络活动中上下行流量尺寸比例大于预设尺寸阈值的流确定为非隐蔽流，计算所述网络活动的整体流量尺寸以及所述非隐蔽流占全部流的第二比例；
确定第三预设阈值、第四预设阈值和第五预设阈值，将所述整体流量尺寸介于所述第三预设阈值和所述第四预设阈值之间以及所述第二比例小于等于所述第五预设阈值的所述网络活动确定为隐蔽性活动，并将非隐蔽性网络活动直接滤除，得到所述第二初始流量过滤结果。
具体地，本发明采用启发式规则进行非C&C流量过滤，启发式规则是指对某类目标对象本身通常所固有的特性，加以提炼并总结，以规则的形式具体表现出来。在C&C信道检测这一问题场景中，为了更加充分的呈现出C&C信道与非C&C信道间的特性差异，使相应的启发式规则发挥更好的效果，本发明先将零散的TCP/UDP流还原为更高层次的不同网络活动。体地，本发明采用了一种广泛使用的网络活动还原方法，将任意一条TCP/UDP流表示为相应的五元组信息(srcip,srcport,dstip,dstport,protocol)，其各属性分别对应了该条流的源IP地址、源端口、目的IP地址、目的端口、以及传输层协议。对于任意拥有相同三元组信息(dstip,dstport,protocol)的所有TCP/UDP流量，均将它们归聚为同一个网络活动。通常来说，一组特定的上述三元组信息对应了一项具体的互联网服务。
针对任一网络活动ACT，本发明基于C&C信道的特性，制定了如下两条启发式规则来进行初步检测。
一是持久性规则：
C&C信道的核心目的是为了使网络恶意程序持久可控并保持活跃，基于此，本发明计算ACT的持续时间Dur，将其包含的所有流量数据依时序划分至等长连续的时间槽中(例如设置单个时间槽为50秒)，并将包含上下交互流量的时间槽认定为交互时间槽，最后计算交互时间槽占全部时间槽的比例为Perint。给定两个阈值λdur与λpers，采用如下判别公式来判断ACT是否具有持久性的判断规则表达。对于非持久(Persistent is False)的网络活动，则认定其不符合典型C&C信道特性，将其直接滤去。
Figure BDA0002966138970000101
二是隐蔽性规则：
通常来说，数据传输类的正常网络活动也会表现出持久性。然而，此类活动也会呈现出整体流量尺寸较大，以及上下行流量尺寸悬殊这两个特性。其背后原因是由于此类传输活动中，单个通信端点负责将数据不断传送到另一端点，而另一端点则负责报告传输状态并请求下阶段数据。另一方面，C&C信道的一个潜在设计理念是尽可能保证其自身的隐蔽性。因而C&C信道活动的通信端点均会倾向于尽可能少地传输数据，以减少自身被识别、分析和提取特征的可能。基于此，本发明将上下行流量尺寸比例大于λra的TCP/UDP流认定为非隐蔽的。随后，计算ACT的整体流量尺寸为Ds，以及其所包含的非隐蔽流占全部流比例为Percov。除λra外，给定另外三个阈值λdl，λdu和λpcov，ACT是否具有隐蔽性的判断规则如下判别公式。由于过小尺寸的数据量无法传送足够的命令与消息，其同样无法承担典型的C&C信道任务，因而本发明使用一个数据量下限阈值λdl来防止此情况的发生。对于非隐蔽(Covertis False)的网络活动，则同样认定其不符合典型C&C信道特性，将其直接滤去。
本发明基于C&C信道的典型特点，制定了两条简洁高效的启发式规则，用于快速过滤大量不符合C&C信道典型特点的背景流量，并能保证基本不误过滤真正的C&C流量，从而极大地减少测试流量数目，为后续基于行为分析的精准检测奠定基础。
基于上述任一实施例，该方法中步骤S3具体包括：
采用空间异常检测模块获取所述初始流量过滤结果在空间维度的行为差异，得到第一异常检测结果；
采用载荷异常检测模块获取所述初始流量过滤结果在载荷维度的行为差异，得到第二异常检测结果。
其中，所述采用空间异常检测模块获取所述初始流量过滤结果在空间维度的行为差异，得到第一异常检测结果，具体包括：
通过将每条流中的前预设位数字节数据的每个字节转换为预设长度灰度值，将每条流转换为具有预设大小尺寸的灰度图像；
获取预设卷积自动编码器，将所述灰度图像输入至所述预设卷积自动编码器，得到所述第一异常检测结果。
其中，所述采用载荷异常检测模块获取所述初始流量过滤结果在载荷维度的行为差异，得到第二异常检测结果，具体包括：
分别提取HTTP类型流量的URI字节载荷，以及提取非HTTP类型流量的前预设位数字节载荷，得到字节载荷序列；
按照预设滑动窗口将所述字节载荷序列划分为载荷短序列，并对所述载荷短序列中的每个字节进行独热编码；
获取基于门控循环单元的自动编码器，将所述载荷短序列输入所述基于门控循环单元的自动编码器，得到所述第二异常检测结果。
具体地，本发明针对少量目的与C&C信道较为类似的正常网络通信流量，同样可能具备上述两种C&C信道的典型特性,需要行为检测模型加以进一步区分。为满足不依赖C&C训练数据的前提条件，本发明提出了一种异常行为检测模型，即只通过较容易采集和获取的正常网络通信流量来构建起正常行为模型，进而根据测试流量与正常行为模型的偏离程度来决定是否认定其为C&C流量。
在具体构建行为检测模型的过程中，特征工程是一个尤为重要的问题。现有的C&C信道行为刻画模型要么采用诸如像流尺寸、消息长度序列等适用于各类C&C协议的通用统计行为特征，要么针对特定类别或协议的C&C信道构建更为细粒度的行为特征，如面向HTTP协议的结构与域特征。然而，通用的统计行为特征通常无法深入而细致刻画流量的行为特点，进而无法在异常检测的背景下仅依赖正常训练流量构建起一个足够精准的行为模型。特定的细粒度行为特征则无法适用于其他类别的C&C信道。为此，本发明选择在自动编码器(AutoEncoder，AE)基础上构建行为检测模型。自动编码器能够基于重构误差，发现与训练数据不一致的异常输入数据。具体地，本发明基于如下两方面的行为差异：1)将网络恶意程序与正常通信流量转换成灰度图像，采用深度学习方法可进行高性能的恶意流量检测，表明C&C信道这种恶意流量与正常通信流量会在灰度图像上表现出空间结构上的行为差异；2)C&C信道活动通常所传输的网络恶意程序命令、被感染主机状态、命令与操作执行结果等信息，与正常的网络通信活动信息如请求网络资源，用户消息等同样存在差异，因而两者会表现出载荷层面的行为差异。
基于上述差异，本发明分别构建了基于自动编码器的异常行为检测模块，包括：
一是空间异常检测模块：
为挖掘空间维度上的行为差异，本发明将每条TCP/UDP流的前1024字节数据的每个字节转换为一个8位的灰度值，进而将该流转换为一个32×32尺寸的灰度图像。考虑到卷积神经网络在图像识别领域的优异性能，本发明构建了一个卷积自动编码器(ConvolutionAutoEncoder:CAE)以学习正常通讯流量所对应成灰度图像的空间维度特征。在CAE的设计中，本发明采用了三层卷积层，批标准化，反卷积层，且并未采用池化操作来尽可能保存多的空间信息，并使用了Relu激活函数、AdaDelta优化方法以及平均绝对误差(MeanAbsolute Error:MAE)，CAE具体的设计构成如图3所示。
二是载荷异常检测模块：
网络流量的载荷部分本质上属于字节序列，故可被视为传统的文本内容，并采用典型的循环神经网络模型进行刻画。然而，直接对较长尺寸的载荷字节序列进行刻画、建模与检测可能会带来较大的训练时间开销并降低检测精度。此外，无论是C&C信道还是普通网络通信流量，都往往会将特定的加密或混淆数据嵌入其载荷字节序列的中间或末尾部分。与之相对，载荷字节序列的头部分则一般放置协议自身的标识与结构化信息，大多情况下均为明文。鉴于此，对于HTTP类型的流量，本发明只提取其统一资源标识符(UniformResource Identifier:URI)的内容。对于非HTTP类型的流，则只提取其前256字节载荷(不足256字节长度则补0)。随后，将每个提取的载荷字节序列，使用64字节长度的滑动窗口划分为更短的128字节长度的载荷短序列，并对每个字节进行独热编码(One-Hot Encoding)。随后，本发明提出了一种基于门控循环单元(Gated Recurrent Unit:GRU)的自动编码器(简称GAE)以学习正常网络通讯流量所包含载荷短序列特征，进而用于发现异常的载荷序列，GAE具体的设计构成如图4所示。
本发明基于C&C信道与正常网络通信流量间的行为差异，结合自动编码器这一强大的人工智能模型工具，提出了两种异常行为检测模块以有效区分二者，提出的模块可准确获取C&C信道与正常网络通信流量间的细微行为差异。
基于上述任一实施例，该方法中步骤S4具体包括：
分别确定预设卷积自动编码器对应的第一异常判定阈值，以及确定基于门控循环单元的自动编码器对应的第二异常判定阈值；
获取预设循环判定算法，将所述异常检测结果经过所述预设循环判定算法处理后大于等于所述第一异常判定阈值或大于等于所述第二异常判定阈值对应的所述待测试流量判定为C&C流量。
具体地，在最后的识别步骤中，为集成空间与载荷检测模块的异常识别结果，本发明采用了“或”策略，即被任一检测模块判定为与正常网络通信流量相异的测试流量均被视为C&C信道流量。采用该策略的原因是本发明希望尽可能多地检测到C&C信道，以阻断和消除更多的网络恶意程序威胁，而不期望因漏报造成本可避免的损失。设f为一待测试网络流，TC和TG为CAE和GAE的异常判定阈值，则f的最终检测结果由图5所示算法给出，图中C&C即代表C&C流量，Non C&C则代表非C&C流量。
本发明通过在仅通过正常网络通信流量进行训练的前提下，进一步精炼规则过滤结果，识别出其中真正的C&C信道。
基于上述任一实施例，本发明采用了如下数据及方法进行了充分的实验评估。
基于CTU-13数据集进行了实验，其由捷克技术大学于2011年发布，其包含了13个具体的僵尸网络场景，每场景都由一台或多台感染了特定僵尸网络恶意程序的主机，在受监控情况下运行并收集其产生的所有网络流量数据。同时，该数据集也包含了大量同环境中的背景与其他流量。最为重要的是，CTU-13数据集对每条采集到的网络流进行了细粒度的类别标注，如C&C流、下载流、攻击流、正常通信流等等。该数据集亦被众多相关文献或发明所使用，因而被本发明选用作为评估数据集。通过组合抽取处理，自CTU-13生成了5个评估数据集D1、D2、D3、D4、和D5，且各自的训练集和测试集间均存在差异，5个数据集的具体信息如表1所示。对于每个评估数据集，本发明通过启发式规则过滤其全部测试集流量，基于其训练集构建异常行为检测模型，并通过该模型进一步精炼规则过滤结果，以最终识别C&C信道。
表1
Figure BDA0002966138970000141
通过实验评估显示，本发明具备如下的优点：
1)本发明制定的两条启发式规则能够有效过滤掉大量不符合典型C&C信道特点的背景流量，极大地减少待测试流量数目，为后续的行为模型识别奠定坚实而良好的基础。表2显示了本发明制定的两条启发式规则，对上述不同评估数据集的过滤效果。可以看到，本发明制定的两条启发式规则，可以在仅仅误过滤大约1.2％的C&C流的情况下，正确滤除97.8％的非C&C背景流。
表2
Figure BDA0002966138970000151
2)本发明提出的异常式行为检测模型能够有效学习和识别C&C信道和正常网络通信流量间细微的行为差异，进一步精炼规则过滤结果，去除与C&C信道较为相似的正常网络通信流量，准确发现真正的C&C信道。表3显示了本发明制定的异常式行为检测模型，在对上述规则过滤结果进一步精炼后，取得的最终检测结果(亦是本发明完整方法的检测结果)。可以看到，本发明对C&C信道检测结果的F-measure平均值则在除D3数据集外均大于0.9，并在D4数据集上取得了0.918的最佳表现。实验结果证明了本发明异常行为检测模型，以及完整方法的有效性和优秀性能表现，可在不依赖C&C信道训练数据集的前提下，准确识别新式乃至未知C&C信道流量。
表3
Figure BDA0002966138970000161
3)本发明提出的混合式检测方法，相比其他不依赖C&C信道训练数据的C&C信道检测方法，具有明显的性能优势。为进行对比，本发明选取了三种基于纯启发式规则的C&C信道检测方法(Pers、Peri1、和Peri2)，以及三种基于统计行为特征和传统异常检测模型(单分类支持向量机OCS、孤立森林IF、原始的自动编码器AE)。这六种对比方法都不需要C&C训练数据即可进行有效检测，但在综合了精确率与召回率的F-measure值上，本发明方法具备明显的性能优势，具体对比情况如表4所示。纯规则式检测方法在各评估数据集上的C&C信道检测F-measure值均远不如本发明所提出的混合方法，相比其他异常行为检测模型，提升也在0.037至0.359之间。上述对比结果说明，相比针对同问题的类似方法，本方法能够更准确地识别更多的C&C信道。
表4
Figure BDA0002966138970000171
下面对本发明提供的C&C信道混合检测系统进行描述，下文描述的C&C信道混合检测系统与上文描述的C&C信道混合检测方法可相互对应参照。
图6是本发明提供的C&C信道混合检测系统的结构示意图，如图6所示，包括：获取模块61、过滤模块62、识别模块63和检测模块64；其中：
获取模块61用于获取待测试流量；过滤模块62用于基于启发式规则对所述待测试流量中的非C&C流量进行过滤，得到初始流量过滤结果；识别模块63用于基于异常行为检测模型对所述初始流量过滤结果进行C&C流量识别，得到异常检测结果；检测模块64用于根据预设判定规则对所述异常检测结果进行集成判定，得到最终C&C流量检测结果。
本发明通过采用混合式C&C信道检测方法，组合运用启发式规则与异常式行为检测模型，能实现准确检测保护场景中的C&C信道。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(CommunicationsInterface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行C&C信道混合检测方法，该方法包括：获取待测试流量；基于启发式规则对所述待测试流量中的非C&C流量进行过滤，得到初始流量过滤结果；基于异常行为检测模型对所述初始流量过滤结果进行C&C流量识别，得到异常检测结果；根据预设判定规则对所述异常检测结果进行集成判定，得到最终C&C流量检测结果。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的C&C信道混合检测方法，该方法包括：获取待测试流量；基于启发式规则对所述待测试流量中的非C&C流量进行过滤，得到初始流量过滤结果；基于异常行为检测模型对所述初始流量过滤结果进行C&C流量识别，得到异常检测结果；根据预设判定规则对所述异常检测结果进行集成判定，得到最终C&C流量检测结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的C&C信道混合检测方法，该方法包括：获取待测试流量；基于启发式规则对所述待测试流量中的非C&C流量进行过滤，得到初始流量过滤结果；基于异常行为检测模型对所述初始流量过滤结果进行C&C流量识别，得到异常检测结果；根据预设判定规则对所述异常检测结果进行集成判定，得到最终C&C流量检测结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种C&C信道混合检测方法，其特征在于，包括：
获取待测试流量；
基于启发式规则对所述待测试流量中的非C&C流量进行过滤，得到初始流量过滤结果；
基于异常行为检测模型对所述初始流量过滤结果进行C&C流量识别，得到异常检测结果；
根据预设判定规则对所述异常检测结果进行集成判定，得到最终C&C流量检测结果。
2.根据权利要求1所述的C&C信道混合检测方法，其特征在于，所述基于启发式规则对所述待测试流量中的非C&C流量进行过滤，得到初始流量过滤结果，具体包括：
将任意一条待测试流量表示为预设五元组，所述预设五元组包括源IP地址、源端口、目的IP地址、目的端口和传输层协议；
将任意具有相同的所述目的IP地址、所述目的端口和所述传输层协议的待测试流量确定为相同类型的网络活动；
采用持久性规则对所述网络活动进行检测，得到第一初始流量过滤结果；
采用隐蔽性规则对所述网络活动进行检测，得到第二初始流量过滤结果。
3.根据权利要求2所述的C&C信道混合检测方法，其特征在于，所述采用持久性规则对所述网络活动进行检测，得到第一初始流量过滤结果，具体包括：
计算所述网络活动的持续时间，按照预设长度将所述持续时间依时序划分至等长连续的时间槽中，并将包含上下交互流量的时间槽确定为交互时间槽，计算所述交互时间槽占全部时间槽的第一比例；
确定第一预设阈值和第二预设阈值，将所述持续时间大于等于所述第一预设阈值以及所述第一比例大于所述第二预设阈值的所述网络活动确定为持久性活动，并将非持久性网络活动直接滤除，得到所述第一初始流量过滤结果。
4.根据权利要求2所述的C&C信道混合检测方法，其特征在于，所述采用隐蔽性规则对所述网络活动进行检测，得到第二初始流量过滤结果，具体包括：
将所述网络活动中上下行流量尺寸比例大于预设尺寸阈值的流确定为非隐蔽流，计算所述网络活动的整体流量尺寸以及所述非隐蔽流占全部流的第二比例；
确定第三预设阈值、第四预设阈值和第五预设阈值，将所述整体流量尺寸介于所述第三预设阈值和所述第四预设阈值之间以及所述第二比例小于等于所述第五预设阈值的所述网络活动确定为隐蔽性活动，并将非隐蔽性网络活动直接滤除，得到所述第二初始流量过滤结果。
5.根据权利要求1所述的C&C信道混合检测方法，其特征在于，所述基于异常行为检测模型对所述初始流量过滤结果进行C&C流量识别，得到异常检测结果，具体包括：
采用空间异常检测模块获取所述初始流量过滤结果在空间维度的行为差异，得到第一异常检测结果；
采用载荷异常检测模块获取所述初始流量过滤结果在载荷维度的行为差异，得到第二异常检测结果。
6.根据权利要求5所述的C&C信道混合检测方法，其特征在于，所述采用空间异常检测模块获取所述初始流量过滤结果在空间维度的行为差异，得到第一异常检测结果，具体包括：
通过将每条流中的前预设位数字节数据的每个字节转换为预设长度灰度值，将每条流转换为具有预设大小尺寸的灰度图像；
获取预设卷积自动编码器，将所述灰度图像输入至所述预设卷积自动编码器，得到所述第一异常检测结果。
7.根据权利要求5所述的C&C信道混合检测方法，其特征在于，所述采用载荷异常检测模块获取所述初始流量过滤结果在载荷维度的行为差异，得到第二异常检测结果，具体包括：
分别提取HTTP类型流量的URI字节载荷，以及提取非HTTP类型流量的前预设位数字节载荷，得到字节载荷序列；
按照预设滑动窗口将所述字节载荷序列划分为载荷短序列，并对所述载荷短序列中的每个字节进行独热编码；
获取基于门控循环单元的自动编码器，将所述载荷短序列输入所述基于门控循环单元的自动编码器，得到所述第二异常检测结果。
8.根据权利要求1所述的C&C信道混合检测方法，其特征在于，所述根据预设判定规则对所述异常检测结果进行集成判定，得到最终C&C流量检测结果，具体包括：
分别确定预设卷积自动编码器对应的第一异常判定阈值，以及确定基于门控循环单元的自动编码器对应的第二异常判定阈值；
获取预设循环判定算法，将所述异常检测结果经过所述预设循环判定算法处理后大于等于所述第一异常判定阈值或大于等于所述第二异常判定阈值对应的所述待测试流量判定为C&C流量。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述C&C信道混合检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述C&C信道混合检测方法的步骤。
CN202110251192.3A 2021-03-08 2021-03-08 一种c&c信道混合检测方法及系统 Pending CN113037748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110251192.3A CN113037748A (zh) 2021-03-08 2021-03-08 一种c&c信道混合检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110251192.3A CN113037748A (zh) 2021-03-08 2021-03-08 一种c&c信道混合检测方法及系统

Publications (1)

Publication Number Publication Date
CN113037748A true CN113037748A (zh) 2021-06-25

Family

ID=76466819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110251192.3A Pending CN113037748A (zh) 2021-03-08 2021-03-08 一种c&c信道混合检测方法及系统

Country Status (1)

Country Link
CN (1) CN113037748A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538288A (zh) * 2021-07-29 2021-10-22 中移（杭州）信息技术有限公司 网络异常检测方法、装置及计算机可读存储介质
CN114760131A (zh) * 2022-04-15 2022-07-15 中国人民解放军国防科技大学 一种面向返回式编程流量的特征提取方法、装置及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149343A (zh) * 2019-05-31 2019-08-20 国家计算机网络与信息安全管理中心 一种基于流的异常通联行为检测方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149343A (zh) * 2019-05-31 2019-08-20 国家计算机网络与信息安全管理中心 一种基于流的异常通联行为检测方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANGUO JIANG; QILEI YIN; ZHIXIN SHI; QIWEN WANG; WEI ZHOU: "A New Hybrid Approach for C&C Channel Detection", 《2019 IEEE 21ST INTERNATIONAL CONFERENCE ON HIGH PERFORMANCE COMPUTING AND COMMUNICATIONS; IEEE 17TH INTERNATIONAL CONFERENCE ON SMART CITY; IEEE 5TH INTERNATIONAL CONFERENCE ON DATA SCIENCE AND SYSTEMS (HPCC/SMARTCITY/DSS)》 *
苏欣; 张大方; 罗章琪; 曾彬; 黎文伟: "基于Command and Control通信信道流量属性聚类的僵尸网络检测方法", 《电子与信息学报》 *
郭尚瓒,孙斌,朱春鸽: "基于网络流量相似性聚类的僵尸网络检测", 《信息科技》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538288A (zh) * 2021-07-29 2021-10-22 中移（杭州）信息技术有限公司 网络异常检测方法、装置及计算机可读存储介质
CN114760131A (zh) * 2022-04-15 2022-07-15 中国人民解放军国防科技大学 一种面向返回式编程流量的特征提取方法、装置及设备
CN114760131B (zh) * 2022-04-15 2024-03-01 中国人民解放军国防科技大学 一种面向返回式编程流量的特征提取方法、装置及设备

Similar Documents

Publication Publication Date Title
US8065722B2 (en) Semantically-aware network intrusion signature generator
CN106713371B (zh) 一种基于DNS异常挖掘的Fast Flux僵尸网络检测方法
CN110611640A (zh) 一种基于随机森林的dns协议隐蔽通道检测方法
CN113364752B (zh) 一种流量异常检测方法、检测设备及计算机可读存储介质
US11095670B2 (en) Hierarchical activation of scripts for detecting a security threat to a network using a programmable data plane
CN111478920A (zh) 一种隐蔽信道通信检测方法、装置及设备
CN107370752B (zh) 一种高效的远控木马检测方法
CN112769633B (zh) 一种代理流量检测方法、装置、电子设备及可读存储介质
CN113037748A (zh) 一种c&c信道混合检测方法及系统
Liu et al. A distance-based method for building an encrypted malware traffic identification framework
CN111245784A (zh) 多维度检测恶意域名的方法
CN116346384A (zh) 一种基于变分自编码器的恶意加密流量检测方法
CN112351018A (zh) Dns隐蔽信道检测方法、装置及设备
CN106911665B (zh) 一种识别恶意代码弱口令入侵行为的方法及系统
CN111182002A (zh) 基于http首个问答包聚类分析的僵尸网络检测装置
CN111478921A (zh) 一种隐蔽信道通信检测方法、装置及设备
CN113132329A (zh) Webshell检测方法、装置、设备及存储介质
CN112235242A (zh) 一种c&c信道检测方法及系统
CN113965393A (zh) 一种基于复杂网络和图神经网络的僵尸网络检测方法
CN112822204A (zh) 一种nat的检测方法、装置、设备及介质
Nakahara et al. Malware Detection for IoT Devices using Automatically Generated White List and Isolation Forest.
CN109698835B (zh) 一种面向https隐蔽隧道的加密木马检测方法
Oujezsky et al. Botnet C&C traffic and flow lifespans using survival analysis
Jiang et al. A RAT Detection Method Based on Network Behavior of the Communication's Early Stage
CN111371727A (zh) 一种针对ntp协议隐蔽通信的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210625