CN114462025A - 一种拟态waf中基于无监督思想的正则规则生成方法 - Google Patents

一种拟态waf中基于无监督思想的正则规则生成方法 Download PDF

Info

Publication number
CN114462025A
CN114462025A CN202111652526.4A CN202111652526A CN114462025A CN 114462025 A CN114462025 A CN 114462025A CN 202111652526 A CN202111652526 A CN 202111652526A CN 114462025 A CN114462025 A CN 114462025A
Authority
CN
China
Prior art keywords
flow
module
parameter
waf
malicious
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111652526.4A
Other languages
English (en)
Inventor
吴春明
赵若琰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202111652526.4A priority Critical patent/CN114462025A/zh
Publication of CN114462025A publication Critical patent/CN114462025A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/566—Dynamic detection, i.e. detection performed at run-time, e.g. emulation, suspicious activities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种拟态WAF中基于无监督思想的正则规则生成方法，该方法用于拟态WAF中的正则规则生成，根据新来的流量实时补充正则规则库。本发明设计了拟态裁决模块、流量收集模块、参数提取模块、参数特征提取模块、聚类模块、规则生成模块、人工复审模块，将通过正则检测模块的流量进行计数，当流量达到1万条时，开启无监督生成规则引擎，提取流量中的参数，并将参数值输入特征提取模块得到特征向量，进行聚类，将聚类出来的参数值输入待选规则库，人工选择参数级别规则添加至规则库，对拟态WAF中的正则规则库进行补充。

Description

一种拟态WAF中基于无监督思想的正则规则生成方法
技术领域
本发明属于网络安全技术领域，尤其涉及一种拟态WAF中基于无监督思想的正则规则生成方法。
背景技术
WAF是通过执行一系列针对HTTP/HTTPS的安全策略来对Web提供应用保护的一款产品，在WAF中集成了一定的检测规则，根据规则对每条HTTP流量进行检测处理，执行对应的防御或放行操作，来维护web应用的安全性。每款WAF产品的检测规则体系各不相同，规则体系是WAF架构中的核心。
大多数的安全漏洞都是由于利用了WAF的脆弱性而发生的。在理想情况下，提高系统安全性的最佳方法是发现所有的漏洞并修复它们，但是由于系统的复杂性以及难评估性，几乎不可能做到修复所有漏洞，因此尽可能全面的补充WAF规则是一项重要且艰巨的任务。
发明内容
本发明的目的在于针对现有技术的不足，提供一种拟态WAF中基于无监督思想的正则规则生成方法。本发明利用无监督聚类方法通过拟态裁决的流量划分为参数，并进行二次检测，并根据恶意参数生成规则补充正则规则库，从而起到主动防御的作用。
本发明的目的是通过以下技术方案来实现的：一种拟态WAF中基于无监督思想的正则规则生成方法，包括以下步骤：
(1)从拟态WAF中得到正常流量，开启AI生成规则引擎。
(2)对正常流量进行请求头字段提取：提取出URL地址l、URL参数r、User-Agent字段u、Host字段h、Content-Length字段c。
(3)将提取到的5个字段送入特征提取模块进行特征提取，特征提取方法可采用RNN、LSTM等。
(4)将5个字段的特征向量分别进行聚类，得到聚类结果result，其中result属于[0,1]：
(4.1)若result＝0，则说明该参数为正常参数，将该参数丢弃。
(4.2)若result＝1，则说明该参数是异常参数，将该参数送入恶意参数规则库。
进一步地，步骤(1)具体为：
(1.1)部署M个WAF恶意流量检测模块E＝{ei|i＝1,2,...,M}，其中ei为第i个检测模块。
(1.2)将流量送入恶意检测模块，得出检测结果t1i(i＝1,2,...,M)。
(1.3)将每个恶意检测模块的检测结果t1i(i＝1,2,...,M)送入拟态裁决模块，拟态裁决模块对恶意流量进行判决，得到最终属性t′1∈[0,1]。
(1.4)拟态裁决模块根据最终属性对流量进行不同操作，具体为：
(1.4.1)若t′1＝1，则说明为恶意流量，将该流量进行拦截。
(1.4.2)若t′1＝0，则说明为正常流量。
进一步地，步骤(1.1)中，根据不同的检测方式对恶意流量检测模块E进行异构化处理。
进一步地，所述检测方式包括专注于SQL注入、专注于字符编码、专注于无效注释添加、专注于AI等。
进一步地，步骤(1.2)具体为：
(1.2.1)若流量为HTTP流量，则直接送入恶意检测模块E。
(1.2.2)若流量为HTTPS流量，则先将该流量解密为HTTP流量，再送入恶意检测模块E。
进一步地，步骤(1.3)中，所述拟态裁决模块的判决方法包括加权表决、举手表决等。
进一步地，步骤(1.4.2)得到的正常流量送入流量收集模块，当流量收集模块中的流量数达到设定数量时，再开启AI生成规则引擎。
进一步地，对恶意参数规则库中的规则，进行人工复审；审查不通过，则将对应的参数丢弃；审查通过，则将对应的参数送入最终恶意参数规则库。
进一步地，恶意参数规则库中的规则达到设定数量时，再进行人工复审。
本发明的有益效果是：本发明利用一种无监督聚类方法对通过拟态裁决的流量划分为参数进行二次检测，并根据恶意参数生成规则补充正则规则库，从而起到主动防御的作用，进一步加强了拟态WAF的安全性。规则在WAF构造中起着至关重要的作用，而可以通过拟态裁决模块的流量依然存在恶意的可能性，存在很大的威胁性，本发明通过参数级聚类出的恶意参数可以对规则起到很好的补充作用。
附图说明
图1是根据拟态裁决得到正常流量送入规则生成模块的流程架构图；
图2是规则生成模块的具体架构图。
具体实施方式
本发明一种拟态WAF中基于无监督思想的正则规则生成方法，用于拟态WAF中的正则规则生成，根据新来的流量实时补充正则规则库。本发明设计了拟态裁决模块、流量收集模块、参数提取模块、参数特征提取模块、聚类模块、规则生成模块、人工复审模块，将通过正则检测模块的流量进行计数，当流量达到1万条时，开启无监督生成规则引擎，提取流量中的参数，并将参数值输入特征提取模块得到特征向量，进行聚类，将聚类出来的参数值输入待选规则库，人工选择参数级别规则添加至规则库，对拟态WAF中的正则规则库进行补充。
本发明一种实施例，主要包括以下步骤：
(1)如图1所示，从拟态WAF中得到正常流量，包括如下步骤：
(1.1)部署M个恶意流量检测模块E＝{ei|i＝1,2,...,M}(图中未视出)，其中ei为第i个恶意流量检测模块。根据不同的检测方式对恶意流量检测模块E进行异构化处理；检测方式可以选用专注于SQL注入、专注于字符编码、专注于无效注释添加、专注于AI等方式。
(1.2)将流量H送入恶意流量检测模块，得出检测结果t1i(i＝1,2,...,M)；具体为：
(1.2.1)若流量H为HTTP访问流量，则直接送入恶意流量检测模块E。
(1.2.2)若流量H为HTTPS访问流量，则先将该流量解密为HTTP流量，再送入恶意检测流量模块E。
(1.3)将每个恶意流量检测模块的检测结果t1i(i＝1,2,...,M)，送入拟态裁决模块，拟态裁决模块对流量进行判决，得到最终属性t′1∈[0,1]；其中拟态裁决方法可以采用加权表决、举手表决等方式。
(1.4)拟态裁决模块根据最终属性，对流量H进行不同操作，具体为：
(1.4.1)若t′1＝1，则说明为恶意流量，将该流量进行拦截。
(1.4.2)若t′1＝0，则说明为正常流量，将该流量送入流量收集模块(图中未视出)。
(1.5)当流量收集模块中的流量数达到10000条时，发送到规则生成模块，开启AI生成规则引擎。
(2)如图2所示，拟态WAF中的规则生成，主要包括如下步骤：
(2.1)对正常流量划分参数，进行请求头字段提取：提取出URL地址l、URL参数r、User-Agent字段u、Host字段h、Content-Length字段c。
(2.2)将步骤(2.1)提取的5个字段，送入特征提取模块(图中未视出)，进行特征提取，特征提取方法可采用RNN、LSTM等，对应的得到URL地址l特征、URL参数r特征、User-Agent字段u特征、Host字段h特征、Content-Length字段c特征。
(2.3)将步骤(2.2)提取的5个字段的特征，分别进行聚类(K-means)，得到聚类结果result，其中result属于[0,1]：
(2.2.1)若result＝0，则说明对应的参数为正常参数，将该参数丢弃。
(2.2.2)若result＝1，则说明对应的参数是异常参数，将该参数送入恶意参数规则库。
(2.3)当恶意参数规则库中的规则达到200条时，进行人工复审，审查结果为predict；predict属于[0,1]。
(2.4)若predict＝0，则将该参数丢弃。
(2.5)如predict＝1，则将该参数送入最终恶意参数规则库。

Claims (10)

1.一种拟态WAF中基于无监督思想的正则规则生成方法，其特征在于，包括以下步骤：
(1)从拟态WAF中得到正常流量，开启AI生成规则引擎。
(2)对正常流量进行请求头字段提取：提取出URL地址l、URL参数r、User-Agent字段u、Host字段h、Content-Length字段c。
(3)将提取到的5个字段送入特征提取模块进行特征提取。
(4)将5个字段的特征向量分别进行聚类，得到聚类结果result，其中result属于[0,1]：
(4.1)若result＝0，则说明该参数为正常参数，将该参数丢弃。
(4.2)若result＝1，则说明该参数是异常参数，将该参数送入恶意参数规则库。
2.如权利要求1所述拟态WAF中基于无监督思想的正则规则生成方法，其特征在于，步骤(1)具体为：
(1.1)部署M个WAF恶意流量检测模块E＝{ei|i＝1,2,...,M}，其中ei为第i个检测模块。
(1.2)将流量送入恶意检测模块，得出检测结果t1i(i＝1,2,...,M)。
(1.3)将每个恶意检测模块的检测结果t1i(i＝1,2,...,M)送入拟态裁决模块，拟态裁决模块对恶意流量进行判决，得到最终属性t'1∈[0,1]。
(1.4)拟态裁决模块根据最终属性对流量进行不同操作，具体为：
(1.4.1)若t'1＝1，则说明为恶意流量，将该流量进行拦截。
(1.4.2)若t'1＝0，则说明为正常流量。
3.如权利要求2所述拟态WAF中基于无监督思想的正则规则生成方法，其特征在于，步骤(1.1)中，根据不同的检测方式对恶意流量检测模块E进行异构化处理。
4.如权利要求3所述拟态WAF中基于无监督思想的正则规则生成方法，其特征在于，所述检测方式包括专注于SQL注入、专注于字符编码、专注于无效注释添加、专注于AI等。
5.如权利要求2所述拟态WAF中基于无监督思想的正则规则生成方法，其特征在于，步骤(1.2)具体为：
(1.2.1)若流量为HTTP流量，则直接送入恶意检测模块E。
(1.2.2)若流量为HTTPS流量，则先将该流量解密为HTTP流量，再送入恶意检测模块E。
6.如权利要求2所述拟态WAF中基于无监督思想的正则规则生成方法，其特征在于，步骤(1.3)中，所述拟态裁决模块的判决方法包括加权表决、举手表决等。
7.如权利要求2所述拟态WAF中基于无监督思想的正则规则生成方法，其特征在于，步骤(1.4.2)得到的正常流量送入流量收集模块，当流量收集模块中的流量数达到设定数量时，再开启AI生成规则引擎。
8.如权利要求1所述拟态WAF中基于无监督思想的正则规则生成方法，其特征在于，对恶意参数规则库中的规则，进行人工复审；审查不通过，则将对应的参数丢弃；审查通过，则将对应的参数送入最终恶意参数规则库。
9.如权利要求8所述拟态WAF中基于无监督思想的正则规则生成方法，其特征在于，恶意参数规则库中的规则达到设定数量时，再进行人工复审。
10.如权利要求1所述拟态WAF中基于无监督思想的正则规则生成方法，其特征在于，步骤(3)中，特征提取方法可采用RNN、LSTM等。
CN202111652526.4A 2021-12-30 2021-12-30 一种拟态waf中基于无监督思想的正则规则生成方法 Pending CN114462025A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111652526.4A CN114462025A (zh) 2021-12-30 2021-12-30 一种拟态waf中基于无监督思想的正则规则生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111652526.4A CN114462025A (zh) 2021-12-30 2021-12-30 一种拟态waf中基于无监督思想的正则规则生成方法

Publications (1)

Publication Number Publication Date
CN114462025A true CN114462025A (zh) 2022-05-10

Family

ID=81407875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111652526.4A Pending CN114462025A (zh) 2021-12-30 2021-12-30 一种拟态waf中基于无监督思想的正则规则生成方法

Country Status (1)

Country Link
CN (1) CN114462025A (zh)

Similar Documents

Publication Publication Date Title
Karatas et al. Deep learning in intrusion detection systems
Wang et al. Detecting android malware leveraging text semantics of network flows
US11095670B2 (en) Hierarchical activation of scripts for detecting a security threat to a network using a programmable data plane
Chen et al. An efficient network intrusion detection
US20060191008A1 (en) Apparatus and method for accelerating intrusion detection and prevention systems using pre-filtering
Gautam et al. An ensemble approach for intrusion detection system using machine learning algorithms
US11595435B2 (en) Methods and systems for detecting phishing emails using feature extraction and machine learning
EP4089972A1 (en) Method and apparatus for detecting network attack
CN113079150B (zh) 一种电力终端设备入侵检测方法
CN115987615A (zh) 一种网络行为安全预警方法及系统
CN113904881B (zh) 一种入侵检测规则误报处理方法和装置
Ahmed et al. A neural network-based learning algorithm for intrusion detection systems
Soleymani et al. A novel approach for detecting DGA-based botnets in DNS queries using machine learning techniques
Dong et al. MBTree: Detecting encryption RATs communication using malicious behavior tree
CN117220920A (zh) 基于人工智能的防火墙策略管理方法
CN111182002A (zh) 基于http首个问答包聚类分析的僵尸网络检测装置
CN112804204B (zh) 一种基于大数据分析的智能网络安全系统
CN117478403A (zh) 一种全场景网络安全威胁关联分析方法及系统
Niu et al. Using XGBoost to discover infected hosts based on HTTP traffic
CN114422207B (zh) 基于多模态的c&c通信流量检测方法及装置
CN114462025A (zh) 一种拟态waf中基于无监督思想的正则规则生成方法
CN112383529B (zh) 一种拟态waf中的对抗流量生成方法
CN109698835A (zh) 一种面向https隐蔽隧道的加密木马检测方法
Luo Model design artificial intelligence and research of adaptive network intrusion detection and defense system using fuzzy logic
Kumar et al. A network-based framework for mobile threat detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination