CN114401112B - 旁路部署针对tls加密的恶意流量实时深度包检测方法 - Google Patents
旁路部署针对tls加密的恶意流量实时深度包检测方法 Download PDFInfo
- Publication number
- CN114401112B CN114401112B CN202111543768.XA CN202111543768A CN114401112B CN 114401112 B CN114401112 B CN 114401112B CN 202111543768 A CN202111543768 A CN 202111543768A CN 114401112 B CN114401112 B CN 114401112B
- Authority
- CN
- China
- Prior art keywords
- traffic
- encrypted
- malicious
- data
- svm classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000006870 function Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 10
- 230000006854 communication Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/045—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply hybrid encryption, i.e. combination of symmetric and asymmetric encryption
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种旁路部署针对TLS加密的恶意流量实时深度包检测方法，包括：通过在线旁路镜像实时采集待测流量；对待测流量进行自动解密，得到解密后的报文包；对解密后的单帧报文进行规范化，然后提取特征，并输入预设的SVM分类器进行检测，对判断为恶意流量的数据添加标记后存储在相应位置，并发送检测到恶意流量的通知；在预设的时间间隔结束后，计算该时间间隔内检测的准确性与实时性，如果准确性与实时性达到要求，则继续检测，否则更换用于检测的SVM模型。本发明所提供的方法，对恶意加密流量的检测具有更高的准确性与实时反馈能力，且泛化能力较强，既能检测加密流量，又能检测非加密流量，且能实现数据的单帧检测，对未知样本的检测准确度F1值在99.44％以上。
Description
技术领域
本发明属于网络通信安全技术领域，具体涉及一种旁路部署针对TLS 加密的恶意流量实时深度包检测方法。
背景技术
2017年，思科发布的《加密流量分析》白皮书中说明了对流量进行加 密的网站数量已从2015年的21％上升到2016年的超过40％。据Gartner预测，到2019年，80％的网站流量都会被加密，到2020年，超过60％的 企业将无法有效解密HTTPS流量。说明了数据流量的加密趋势的必然性。 加密可为封装的流量提供机密性传输，但会削弱企业的纵深防御效率， Jeremy D'Hoinne等人早在2013年便指出越来越多的安全威胁受到加密技 术的保护而变的隐蔽，使入侵检测技术失效。
在实际网络环境中一个入侵检测系统检测响应的速度快慢和检测准 确度是网络入侵检测系统要克服的重要技术难题。对加密流量在不解密的 情况下进行整体特征分析，虽然处理速度较快但对恶意流量出现后的响应 速度较慢，而且准确度与待分析数据量的大小成正比，少量的流量检测准 确性较低，对单帧恶意报文没有检测能力。针对加密流量非解密的监督学习检测方法，只能满足加密流量的检测，对未加密的流量检测反而不适用。恶意流量不只有恶意软件产生的家族化特征的恶意流量，还有个人恶意攻 击产生的单帧恶意流量威胁也不容小觑。深度包检测技术是一种基于应用 层的流量检测技术。早期深度包检测采用特征库匹配方式，但为了提高检 测准确性，特征库变的越来越大而影响了检测速度，跟不上恶意攻击的发 展。深度包检测方案虽然在处理过程中速度较慢，但是响应速度快于整体分析的方案，原因是面对单个网络数据帧时也能判断出是否包含恶意信 息，且较其他检测方法中，深度包检测准确性最高。
综上所述，如何对加密流量进行快速甚至实时判断响应，如何解决恶 意流量检测技术检测准确性与实时性之间的矛盾，是目前有待解决的问 题。
发明内容
本发明所要解决的技术问题在于针对上述现有技术的不足，提供了一 种旁路部署针对TLS加密的恶意流量实时深度包检测方法，该检测方法在 不影响网络正常传输性能的前提下，解决面对多种恶意攻击产生的加密的 恶意流量检测的高准确性和高效率检测之间、准确性与实时性之间的矛盾 问题。
为解决上述技术问题，本发明采用的技术方案是：一种旁路部署针对 TLS加密的恶意流量实时深度包检测方法，其特征在于，包括以下步骤：
S1、在线旁路镜像采集待测流量，得到加密流量；
S2、对S1中得到的加密流量进行自动解密，得到解密后的报文包， 所述解密后的报文包包含多个解密后的单帧报文；
S3、对S2中的解密后的单帧报文进行规范化，然后提取特征，并输 入预设的SVM分类器进行检测，对判断为恶意流量的数据添加标记后存 储在相应位置，并发送检测到恶意流量的通知。
可选地，还包括：
S4、在预设的时间间隔结束后，计算该时间间隔内检测的恶意流量的 准确性与实时性，如果准确性与实时性达到要求，则继续检测，否则更换 预设的SVM分类器后再次检测解密后的报文包。
可选地，S3中提取的特征包括规范化后解密后的单帧报文的URL总 字节数、是否嵌套URL、非正常符号个数、非字母数字下划线符号数、预 设恶意关键字个数、含有函数个数、是否特殊结尾、是否伪装文件名、连 续数字最长长度和符号单词比率。
可选地，，S2中加密流量进行自动解密的具体过程为：通过旁路提取 并解析报文帧中TLS握手信息和加密数据，通过解析握手信息对报文进行 自动解密，得到解密后的报文包。
进一步地，通过解析握手信息对报文进行自动解密包括以下步骤：
步骤301：在线旁路提取参与解密相关的参数有“客户端随机数”、“服 务端随机数”、“主密钥”和对称加密算法加解密用到的“块密钥”；“主密钥” 是通过先提取握手信息中非对称算法加密的预主密钥，再经过服务器私钥 解密和PRF伪随机数算法处理后得出；“块密钥”是根据“主密钥”与两个“随 机数”通过PRF伪随机数算法处理后得出；
步骤302：当通讯中的加密数据需要进行解密时，使用所述对应的“块 密钥”进行分割得到对应的对称加密算法的解密密钥进行解密操作。
可选地，S3中预设的SVM分类器是通过以下方法取得：通过事先搜 集的大量含有所述多种攻击类型的恶意流量报文和正常流量报文直接提 取生成特征向量，对SVM分类器进行训练；根据所述SVM分类器输出的 分类结果，采用网格搜索法调整所述SVM分类器的模型参数，找到所述 SVM分类器的准确度的最大值，得到最终目标SVM分类器模型；分析 SVM分类器模型准确性与实时性同所选特征的关系，获得多种准确性与 实时性要求下的SVM分类器。
进一步地，事先搜集的大量含有所述多种攻击类型的恶意流量报文和 正常流量报文至少包括HTTP CSIC 2010数据集。
本发明与现有技术相比具有以下优点：
1、本发明事先搜集的大量含有所述多种攻击类型的恶意流量报文和 正常流量报文至少包括HTTP CSIC 2010数据集，由于机器学习特点，收 集了更多恶意流量报文供监督式学习使用，使得SVM分类器的识别能力 更准确，目前分类器模型的迁移泛化判断准确度最低为99.4％。
2、本发明采用在线旁路镜像流量采集方式，在不干扰正常的流量通 信的前提下对流量进行采集，避免因为采集流量增加报文转发的时延，降 低数据传输速度和通信的实时性。
3、本发明提取TLS握手信息不是为了通过握手信息作为特征对恶意 流量进行判定，而是为了对报文进行自动解密，获得解密报文。
4、本发明提取解密后的单帧报文特征并判定恶意与否，而不是对加 密后报文或流量进行特征提取与入侵判定，显然直接对解密后单帧报文内 容进行判定的准确性更高。但解密过程需要消耗一定时间，会影响判定的 实时性。
下面通过附图和实施例对本发明的技术方案作进一步的详细说明。
附图说明
图1为本发明所提供的一种加密流量进行自动解密的具体实施例流程 图；
图2为本发明所提供的TLS加密恶意流量实时检测方法的具体实施例 的流程图；
图3为本发明所提供的一种SVM分类器的预设方法的具体实施例的 流程图。
具体实施方式
本发明的核心是提供一种旁路部署的TLS加密恶意流量实时深度包检 测方法，通过一种监督学习形成的SVM分类器对加密恶意流量的解密报文 包进行检测，形成的方法可以高效精确地对实时传输的恶意流量进行检测。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附 图和具体实施方式对本发明作进一步详细的说明。
本发明实施例公开了旁路部署针对TLS加密的恶意流量实时深度包 检测方法，包括以下步骤：
S1、在线旁路镜像采集待测流量，得到加密流量；
S2、对S1中得到的加密流量进行自动解密，得到解密后的报文包， 所述解密后的报文包包含多个解密后的单帧报文；
S3、对S2中的解密后的单帧报文进行规范化，然后提取特征，并输 入预设的SVM分类器进行检测，对判断为恶意流量的数据添加标记后存 储在相应位置，并发送检测到恶意流量的通知。
S4、在预设的时间间隔结束后，计算该时间间隔内检测的恶意流量的 准确性与实时性，如果准确性与实时性达到要求，则继续检测，否则更换 预设的SVM分类器后再次检测解密后的报文包。
本发明实施例中，S2中加密流量进行自动解密的具体过程为：通过旁 路提取并解析报文帧中TLS握手信息和加密数据，通过解析握手信息对报 文进行自动解密，得到解密后的报文包。
进一步，如图1所示，具体步骤如下：
步骤S201：对实时流经的网络流量的每一帧数据进行解析检测应用层 协议头第一个字节，区分是否为TLS协议中的一种子协议类型，主要提取 数据头为“22”、“23”对应的握手协议和加密应用数据，还有头为“20” 的加密标记协议数据。
表1应用层头部信息与协议类型对应表
| 数值 | TLS协议 |
| 20 | TLSChangeCipherSpec |
| 21 | TLSAlert |
| 22 | TLSHandshake |
| 23 | TLSAppData |
步骤S202：对于应用层协议头为“22”的TLS握手协议，其包含11 个子协议，而对解密数据仅需要提取解析其中3个子协议数据： ClientHello、ServerHello、ClientKeyExchange。并对其构造相应的解 析程序分别提取有用信息。
表2 TLS握手协议子协议信息头
| 序号 | 信息头 | 协议类型 | 程序对象 | 主要监测对象 |
| 1 | 0 | 'HelloRequest' | TLSHelloRequest | |
| 2 | 1 | 'ClientHello' | TLSClientHello | 是 |
| 3 | 2 | 'ServerHello' | TLSServerHello | 是 |
| 4 | 4 | 'NewSessionTicket' | TLSNewSessionTicket | |
| 5 | 11 | 'Certificate' | TLSCertificate | |
| 6 | 12 | 'ServerKeyExchange' | TLSServerKeyExchange | |
| 7 | 13 | 'CertificateRequest' | TLSCertificateRequest | |
| 8 | 14 | 'ServerHelloDone' | TLSServerHelloDone | |
| 9 | 15 | 'CertificateVerify' | TLSCertificateVerify | |
| 10 | 16 | 'ClientKeyExchange' | TLSClientKeyExchange | 是 |
| 11 | 20 | 'Finished' | TLSFinished |
其中，ClientHello协议数据是由客户端发送的第一个握手请求信息， 提取并记录客户端随机数，命名为ClientRandom。ServerHello协议数据，是服务端用来响应客户端的ClientHello，里面同样包含一个32字节的随 机数，以及服务端选择的加密套件和压缩算法。程序监测提取并记录服务 端随机数ServerRandom。同时ServerHello协议数据中还包含服务器选择 的加密套件即完整加密模式，本实施例以TLS_RSA_WITH_AES_128_CBC_SHA256加密套件为例进行说明，所有套件结构构成均包含非对称加密算法名 称、对称加密算法名称和哈希散列算法名称，对应于整个加密通讯过程所 使用的算法。
客户端接收到服务端的ServerHello信息后，会发送“Client Key Exchange”、“Change Cipher Spec”和加密后的“Finished”信息这三 个子协议数据段。Client KeyExchange数据段包含一个使用服务器公钥 加密的密码，通常被称为预主密码(“PreMasterSecret”)，它是握手 交换的第一个加密密码，长256字节。发现此数据后，可使用预先掌握的私钥对此预主密码进行解密，解密成功后的数据总数以TLS协议版本号开头，如TLS1.2的16进制版本号是“0x0303”、TLS1.0的版本号是“0x0301”,长48字节。握手过程中服务端可解此RSA密文，也是服务端判断握手成 功的第一步。程序使用私钥解密后需要将其记录，因为它与之两端分别产 生的随机数组成三个重要的参数可以用来在接下来的信息判断后生成对 称加密密钥的参数。Change Cipher Spec是一个标记位信息，只有1字节表明单方面握手协议已经完成，因为此时已经掌握了三个重要参数。
步骤S203：在握手过程中，当服务端收到ChangeCipherSpec信号后， 服务端验证握手是否成功，同时也是本实施例计算对称加密算法解密密钥 的时机。这时就用到了伪随机函数(PRF)，将解密的PreMasterSecret、 “master secret”标签和两个随机数(上述服务器和客户端各一个)作 为输入参数，输出为一个48字节的主密钥MasterSecret。第二次调用PRF 函数，将MasterSecret、“key expansion”标签和两个随机数作为输入 参数，输出为一个Key_block，输出长度为双方确定的密码算法套件决定。Key_block包含多种信息，本实施例套件生成的Key_block为128字节， 前64字节密钥，从解密角度没有用处，从64字节开始的16个字节为客 户端写密钥Client Write key，接下来16个字节为服务端写密钥Server Write key，这两个就是接下来双方通信使用的对称密钥，而本实施例的 对称加密算法AES算法使用的两个偏移向量是最后32字节的数据。
每个网络连接在结束通讯的时候都由客户端发送一个“结束、确认 帧”，因此此端口连接过程中缓存的用于AES加密使用的块密钥、握手随 机数等不再使用。但保留主密钥(不再进行RSA身份验证)所以程序发现 对应端口结束通讯后清理对应的数据不影响后续的解密过程。实时流量中 未检测到结束、确认帧时则一直保存本步骤计算得到的对称加密密钥用于 后续数据的解密。因此本实施例具备内存优化处理功能。
步骤S204：对于应用层协议头为“23”的“加密应用数据”，使用上 述步骤生成的对称加密密钥，执行解密操作，还原加密应用数据的明文报 文形式数据。
其中深度包解析程序判断如果是由客户端生成的加密数据，则由对称 加密密钥的客户端写密钥进行解密；反之使用服务端写密钥进行解密。
由于网络访问是多用户多会话同时进行的，流量数据也具备此特征， 因此当遇到新客户端或新会话时，重复步骤S202、S203、S204，建立索引 保存相应会话的参数和密钥已解密多用户和多会话数据。
进一步，如图2所示，本发明实施例对S2中的解密后的单帧报文进 行规范化，然后提取特征，并输入预设的SVM分类器进行检测，对判断 为恶意流量的数据添加标记后存储在相应位置，并发送检测到恶意流量的 通知，具体操作步骤如下：
步骤S301：采集网络中原始以太网流量，对网络流量协议类型没有限 制，利用内存队列缓冲网络流量，保障完整流量帧被捕获；可设置过滤规 则进行更有针对性的流量采集。本实施例主要针对应用软件、应用系统和 服务产生的TCP/IP四层网络协议模型中的应用层数据进行恶意信息检测， 其中包括TLS加密流量；
步骤S302：逐帧解析流量数据，判断是否是TLS协议相关数据帧；此 步骤与步骤S301并行执行，以内存队列作为共同操作对象。
步骤S303：提取TLS协议数据帧中的握手信息和加密报文。对握手信 息提取关键参数用于加密信息的解密；将加密报文解密后，再提取明文数 据中的有效应用数据。
步骤S304：提取明文应用数据或解密后的应用数据中的数据特征，对 特征值进行数值规范化处理，生成特征向量；
步骤S305：将所述特征向量数据输入至预设的SVM分类器，检测所述 待检测加密流量或非加密流量是否为恶意流量。
步骤S306：对判断为恶意流量的数据添加标记后存储于存储介质。
本实施例所提供的方法，可对加密或者未加密的流量同时进行检测， 不必分别对加密流量和非加密流量独立部署检测装置，对恶意流量检测具 有广泛的适用性，节省资源。利用监督式算法学习网络环境中的正常背景 流量的特征和行为，可使分类器越来越精准；检测每一网络帧和报文，可 以精准、高效、智能地对实时发生的恶意流量行为进行检测。
进一步如图3所示，本发明实施例中具体预设的SVM分类器的训练 步骤如下：
步骤S3051：将事先收集整理的含有恶意明文流量的报文作为恶意报 文样本数据集，将正常访问的明文流量的报文作为正常报文样本数据集。
在本发明实施例中，预先收集的流量报文至少包括HTTP CSIC 2010数 据集，该数据包含已知各类网络攻击的报文。并搜集了其他攻击流量并转 为报文形式保存，所述报文与按照流量中单数据帧为单位转换为字符的应 用层报文的形式相同，见下表3为常见HTTP访问流量的单帧应用层报文样例。样本集具备流量中应用层报文的全部特征。
表3常见HTTP访问报文样例
步骤S3052：利用所述各个样本的预设特征与预设特征标签，生成所 述各个样本的带标签的特征向量。其中，恶意样本特征添加标签1，对正 常样本特征添加标签0；
在本实施例中，所述预设特征具体包括以下特征：所述样本信息的URL 总字节数、是否嵌套URL、非正常符号个数、非字母数字下划线符号数、 预设恶意关键字个数、含有函数个数、是否特殊结尾、是否伪装文件名、 连续数字最长长度、符号单词比率等。
针对某一样本特征向量Vi，所包含的特征内容以及预设标签表示为： Vi＝{T1，T2，T3，...，Tj-1，Tj，1/0}。当所述流量特征库的最后一列 为1时，说明所述流量特征库中的流量特征均为恶意样本的特征；当所述 流量特征库的最后一列为0时，说明所述特征库中的特征均为正常样本的特征。
步骤S3053：提取N个样本的带标签的特征向量组合生成训练矩阵， 采用线性变换对训练矩阵进行归一化处理，形成目标训练矩阵；
提取N个样本的带标签的特征向量组合生成训练矩阵D：
其中，所述训练矩阵中的每一个横向量表示一个流量样本的多个特 征；
由于所述训练矩阵D中各类特征值的单位不一致，本实施例中采用线性变换，对所述训练矩阵D进行[0，1]数值范围规范化,以防止某一特征 值出现强代表性，生成适用于SVM分类器使用的矩阵Normal_D。
步骤S3054：利用所述目标训练矩阵Normal_D对SVM分类器进行训练， 根据所述SVM分类器输出的分类结果调整所述SVM分类器的算法参数，并 通过网格搜索算法对参数进行优化，直到通过交叉验证法找到分类准确度 最高的分类器。
在本实施例中，选取径向基函数RBF作为SVM的核函数。由于惩罚函 数C与RBF函数的参数g的选取将影响SVM分类器的性能，因此采用网格 搜索算法对参数进行优化，得到分类准确率最高的一组(C,g)的值，搜索 范围为：惩罚参数C初始空间设为[2-10,28]搜索步长为2,RBF核函数参 数g的初始空间设为[0.1,0.5,1,10,100]；目的是找到参数最优情况下的 模型，在实际环境中应用。
表1寻找准确率最高的参数对组合
| 序号 | 准确度 | 组合数 | 序号 | 准确度 | 组合数 |
| 1 | 0.953359245 | 3 | 7 | 0.994447529 | 1 |
| 2 | 0.978900611 | 6 | 8 | 0.99611327 | 1 |
| 3 | 0.979455858 | 1 | 9 | 0.996668517 | 1 |
| 4 | 0.980566352 | 2 | 10 | 0.997223765 | 22 |
| 5 | 0.983897835 | 1 | 11 | 0.997779012 | 1 |
| 6 | 0.993892282 | 4 | 12 | 0.998889506 | 7 |
表2模型判断准确度与参数对关系表
| 序号 | 交叉准确度 | TP准确度 | F1值 | 参数对(C,g) |
| 1 | 99.88895％ | 100％ | 99.90706％ | (16,10) |
| 2 | 99.88895％ | 100％ | 99.90706％ | (64,10) |
| 3 | 99.88895％ | 100％ | 99.90706％ | (256,10) |
| 4 | 99.88895％ | 100％ | 99.90706％ | (1,100) |
| 5 | 99.88895％ | 100％ | 99.90706％ | (4,100) |
| 6 | 99.88895％ | 100％ | 99.90706％ | (16,100) |
| 7 | 99.88895％ | 100％ | 99.90706％ | (64,100) |
步骤S3055：利用所述最优参数对生成的目标SVM分类器分别对每一 条待检测流量数据报文进行分类并标记出含有恶意信息的网络数据报文。
在本实施例中，所述待检测流量数据报文，是通过在线旁路镜像流量 方式取得流量数据后通过深度包解析方法分离TCP/IP四层网络协议模型 中的链路层数据、网络层数据、传输层数据，提取出应用层数据报文并还 原为应用数据报文的文本形式。TLS加密流量是对应用层报文数据的加密， 因此当遇到加密协议报文时，采用实施例一所述方法对其解密还原为明文 应用层报文后再提交给所述SVM分类器进行检测判断，因此本发明实施例的检测方法可以对非加密的流量报文进行检测，同样可以对加密的流量报 文进行检测。
在本实施例中，所述多种攻击类型包括：响应折断、服务端注入、信 息泄露、SQL注入、跨站脚本攻击、远程命令执行、后门木马上传等已知 的多种攻击产生的流量。由于是采用监督式机器学习方式生成的SVM分类 器，因此也可检测未知的、包含恶意信息的流量。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的 都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见 即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应， 所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各 示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来 实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功 能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方 式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬 件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于 随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可 编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的 任意其它形式的存储介质中。
以上对本发明所提供的TLS加密恶意流量实时检测方法进行了详细介 绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上 实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出， 对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要 求的保护范围内。
Claims (6)
1.一种旁路部署针对TLS加密的恶意流量实时深度包检测方法，其特征在于，包括以下步骤：
S1、在线旁路镜像采集待测流量，得到加密流量；
S2、对S1中得到的加密流量进行自动解密，得到解密后的报文包，所述解密后的报文包包含多个解密后的单帧报文；
S2中加密流量进行自动解密的具体过程为：通过旁路提取并解析报文帧中TLS握手信息和加密数据，通过解析握手信息对报文进行自动解密，得到解密后的报文包；
S3、对S2中的解密后的单帧报文进行规范化，然后提取特征，并输入预设的SVM分类器进行检测，对判断为恶意流量的数据添加标记后存储在相应位置，并发送检测到恶意流量的通知。
2.根据权利要求1所述的一种旁路部署针对TLS加密的恶意流量实时深度包检测方法，其特征在于，还包括：
S4、在预设的时间间隔结束后，计算该时间间隔内检测的恶意流量的准确性与实时性，如果准确性与实时性达到要求，则继续检测，否则更换预设的SVM分类器后再次检测解密后的报文包。
3.根据权利要求1所述的一种旁路部署针对TLS加密的恶意流量实时深度包检测方法，其特征在于，S3中提取的特征包括规范化后解密后的单帧报文的URL总字节数、是否嵌套URL、非正常符号个数、非字母数字下划线符号数、预设恶意关键字个数、含有函数个数、是否特殊结尾、是否伪装文件名、连续数字最长长度和符号单词比率。
4.根据权利要求1所述的一种旁路部署针对TLS加密的恶意流量实时深度包检测方法，其特征在于，通过解析握手信息对报文进行自动解密包括以下步骤：
步骤301：在线旁路提取参与解密相关的参数有“客户端随机数”、“服务端随机数”、“主密钥”和对称加密算法加解密用到的“块密钥”；“主密钥”是通过先提取握手信息中非对称算法加密的预主密钥，再经过服务器私钥解密和PRF伪随机数算法处理后得出；“块密钥”是根据“主密钥”与两个“随机数”通过PRF伪随机数算法处理后得出；
步骤302：当通讯中的加密数据需要进行解密时，使用所述“块密钥”进行分割得到对应的对称加密算法的解密密钥进行解密操作。
5.根据权利要求2所述的一种旁路部署针对TLS加密的恶意流量实时深度包检测方法，其特征在于，S3中预设的SVM分类器是通过以下方法取得：通过事先搜集的大量含有多种攻击类型的恶意流量报文和正常流量报文直接提取生成特征向量，对SVM分类器进行训练；根据所述SVM分类器输出的分类结果，采用网格搜索法调整所述SVM分类器的模型参数，找到所述SVM分类器的准确度的最大值，得到最终目标SVM分类器模型；分析SVM分类器模型准确性与实时性同所选特征的关系，获得多种准确性与实时性要求下的SVM分类器。
6.根据权利要求5所述的一种旁路部署针对TLS加密的恶意流量实时深度包检测方法，其特征在于，事先搜集的大量含有所述多种攻击类型的恶意流量报文和正常流量报文至少包括HTTP CSIC 2010数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111543768.XA CN114401112B (zh) | 2021-12-16 | 2021-12-16 | 旁路部署针对tls加密的恶意流量实时深度包检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111543768.XA CN114401112B (zh) | 2021-12-16 | 2021-12-16 | 旁路部署针对tls加密的恶意流量实时深度包检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114401112A CN114401112A (zh) | 2022-04-26 |
| CN114401112B true CN114401112B (zh) | 2023-11-03 |
Family
ID=81226197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111543768.XA Active CN114401112B (zh) | 2021-12-16 | 2021-12-16 | 旁路部署针对tls加密的恶意流量实时深度包检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114401112B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111030941A (zh) * | 2019-10-29 | 2020-04-17 | 武汉瑞盈通网络技术有限公司 | 一种基于决策树的https加密流量分类方法 |
| US10805320B1 (en) * | 2018-06-15 | 2020-10-13 | Trend Micro Incorporated | Methods and systems for inspecting encrypted network traffic |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9009461B2 (en) * | 2013-08-14 | 2015-04-14 | Iboss, Inc. | Selectively performing man in the middle decryption |
| US10536268B2 (en) * | 2017-08-31 | 2020-01-14 | Cisco Technology, Inc. | Passive decryption on encrypted traffic to generate more accurate machine learning training data |
-
2021
- 2021-12-16 CN CN202111543768.XA patent/CN114401112B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10805320B1 (en) * | 2018-06-15 | 2020-10-13 | Trend Micro Incorporated | Methods and systems for inspecting encrypted network traffic |
| CN111030941A (zh) * | 2019-10-29 | 2020-04-17 | 武汉瑞盈通网络技术有限公司 | 一种基于决策树的https加密流量分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114401112A (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Anderson et al. | Deciphering malware’s use of TLS (without decryption) | |
| US20210258791A1 (en) | Method for http-based access point fingerprint and classification using machine learning | |
| CN111447232A (zh) | 一种网络流量检测方法及装置 | |
| Shen et al. | Webpage fingerprinting using only packet length information | |
| Liu et al. | Maldetect: A structure of encrypted malware traffic detection | |
| Tayal et al. | Active monitoring & postmortem forensic analysis of network threats: A survey | |
| Csikor et al. | Privacy of DNS-over-HTTPS: Requiem for a Dream? | |
| Bachupally et al. | Network security analysis using Big Data technology | |
| US20220191222A1 (en) | System and Method for Intrusion Detection of Malware Traffic | |
| Wang et al. | Comparing website fingerprinting attacks and defenses | |
| CN116346418A (zh) | 基于联邦学习的DDoS检测方法及装置 | |
| Anderson et al. | Limitless http in an https world: Inferring the semantics of the https protocol without decryption | |
| Hynek et al. | Refined detection of SSH brute-force attackers using machine learning | |
| Brissaud et al. | Passive monitoring of https service use | |
| Kausar et al. | Traffic analysis attack for identifying users’ online activities | |
| Jha et al. | Detection of tunneling in DNS over HTTPS | |
| Jerabek et al. | Dns over https detection using standard flow telemetry | |
| Rimmer et al. | Open-world network intrusion detection | |
| Seewald et al. | On the detection and identification of botnets | |
| Ali et al. | Effective network intrusion detection using stacking-based ensemble approach | |
| Moure-Garrido et al. | Detecting malicious use of DOH tunnels using statistical traffic analysis | |
| CN115865534B (zh) | 一种基于恶意加密流量检测方法、系统、装置及介质 | |
| CN114401112B (zh) | 旁路部署针对tls加密的恶意流量实时深度包检测方法 | |
| Abirami et al. | Proactive network packet classification using artificial intelligence | |
| Zhou et al. | Classification of botnet families based on features self-learning under network traffic censorship |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |