CN109376531B - 基于语义重编码与特征空间分离的Web入侵检测方法 - Google Patents

Abstract

本发明涉及一种基于语义重编码与特征空间分离的Web入侵检测方法。本发明将Web访问数据流中访问本地资源的“GET”、“POST”命令后续字符串及Web日志中的特征值作为检测对象。通过Web入侵检测模型训练与Web入侵检测模型检测，对现有的Web入侵字符流检测。本发明有效利用了Web访问正常字符流与异常字符流之间往往有明显语义差别的特点，通过单词重编码让正常字符流与异常字符流之间的差异突显，同时用空间重投影技术进一步分离正常异常样本，提高了Web入侵检测的准确率，对现有的Web入侵字符流检测，准确率达到99％以上。

Description

基于语义重编码与特征空间分离的Web入侵检测方法

技术领域

本发明属于网络安全技术领域，涉及一种基于语义重编码与特征空间分离的Web入侵检测方法。

背景技术

随着Web应用的极大丰富，特别是用户使用数据及用户个人信息数据极大丰富，针对Web系统的安全攻击、数据窃取等行为也日益增多。Web应用系统因其搭建过程牵涉的软件系统、技术环节众多，使用过程涉及的数据流处理节点也很多，使得Web应用系统成为极易被攻击的对象。Web安全问题成为日常网络安全问题中最为普遍问题的之一。

Web入侵检测是Web安全防护的重要措施之一。Web入侵检测系统通常通过反向代理或交换机流量旁路的方式导出Web应用访问数据流，结合Web日志或HTTP日志，运用入侵检测算法对数据流和日志进行安全性分析，检测异常和入侵行为。Web入侵检测一般分为误用检测和异常检测两大类，误用检测以现有异常数据流为主要分析对象，从已有异常数据流中提取特征，形成规则，检测时以规则匹配为主要手段，此种方法对已知威胁有较好的检测效果，但Web流量变化丰富，固定规则容易被经验丰富的攻击者绕过，从而大大降低检测效果。异常检测以正常数据流为建模对象，分析正常数据流的特点，建立正常流量模型，与正常流量模型不匹配的即为异常流量，模型建立过程以及检测过程往往采用各种机器学习、人工智能方法，各类方法各有特点。异常检测是目前入侵检测新技术研究的主要模型，异常检测需要克服的问题是容易产生虚警，而大量虚警容易导致用户失去耐心，甚至关闭检测系统。

基于机器学习的异常检测采用的方法有神经网络、决策树、支持向量机(SVM)、遗传算法等，这些方法大部份脱胎于数据挖掘经典方法，在面对海量大数据、不要求极高准确率的时候，具有不错的数据挖掘能力，但面对准确率要求高的Web入侵检测场景，单纯的数据挖掘方法难以达到理想的识别准确率，从而影响整个入侵检测系统的性能。

发明内容

本发明针对现有技术的不足，提出了一种基于语义重编码与特征空间分离的Web入侵检测方法。

本发明包括Web入侵检测模型训练与Web入侵检测模型检测。将Web访问数据流中访问本地资源的“GET”“POST”命令后续字符串及Web日志中的特征值作为检测对象。

步骤如下：

步骤一、Web入侵检测模型训练，具体步骤如下：

(1)对提取的Web访问字符串进行分词操作，用http字符流断词标点、特殊字符作为分隔符，特殊字符由用户根据经验及Web入侵常用单词预先设定，切分Web访问字符串为单词串；http字符流断词标点、特殊字符随着http协议的变化，以及Web系统流量特点的变化会有差异，需要不断更新，使用时能够预定义断词标点与特殊字符串表，表格的更新由用户自行维护；

(2)对Web日志进行提取特征值操作，提取Web日志IP地址、日期、时间、状态码基本信息，用自定义函数计算Web日志特征值；Web日志信息及自定义函数会随着系统变化更新，由用户自行维护；

(3)构建单词表，将步骤(1)获取的切分后字符串视为单词填入单词表，将步骤(2)获取的每一个特征值视为一个单词填入单词表；

(4)将Web访问字符串以单词的方式重新整理为记录，一次访问一条记录；对Web日志信息中与当前Web访问字符串同一时间段内的日志信息计算特征值，如同一时间段内有多条日志信息则计算它们的平均值，日志特征值按固定顺序排列，特征值1，特征值2，……，特征值n，形成一条记录；将2条记录前后顺次拼接为1条记录；

(5)从Web访问流量中提取的攻击样本与正常样本，进行步骤(1)(2)(3)(4)的操作，形成正负样本记录集合；

(6)排序单词表，分别扫描正样本记录和负样本记录，统计单词在正样本和负样本中出现的频率，一行记录中出现多次按一次统计；计算同一个单词在正负样本中出现的频率差，依据频率差对单词排序，依据综合词频单词表被重新排序；

(7)单词表重编码，设定阈值T1大于0、T2小于0，如果综合词频单词表中单词综合词频大于T1或小于T2，一对一重编码；如果单词综合词频小于T1并且大于T2，多对一重编码，综合词频小于T1并且大于T2的多个单词合并为一个单词WordM，未知单词也编码为WordM；重编码后单词表为新码表；

(8)将正负样本按新码表重映射，样本中有n个单词映射到同一个单词时，该单词对应位置上的值加n，映射结果使得任意不等长单词序列映射为等长的单词序列；所有正负样本经重映射后，形成等长训练样本集合S，表示为S＝{(x_i,y_i)},1≤i≤m,y∈{0,1}，m表示训练样本的个数，x_i为训练集合中的记录(单词序列)，长度等长记为n，y∈{0,1}表示正负样本标签，用于训练分类器；

(9)别计算正负样本均值向量见式(1)：

其中j表示正负样本分类，m_j表示正负样本的个数，m₀+m₁＝m，m为参加训练的样本总数；

(10)计算正负样本类内离散度，得类内离散度矩阵S_w,见式(2)：

其中X₀表示训练样本S中的正样本集合，X₁表示训练样本S中的负样本集合；μ₀为正样本均值向量，μ₁为负样本均值向量。

(11)计算正负样本间平均离散度，得类间离散度矩阵S_d，见式⑶：

S_d＝(μ₀-μ₁)(μ₀-μ₁)^T ⑶；

T表示矩阵转置；

(12)计算正负样本空间分离投影矩阵W：

计算矩阵S_w ^-1S_d的特征值及对应的特征向量，即：(S_w ^-1S_d)w＝λw，w为矩阵的特征向量，λ为特征值。将前n1个大于0的最大的特征值按序排列，各特征值对应的特征向量{w₁,w₂,....,w_n1}作为矩阵的列顺次组合，得到分离投影矩阵W，n1取值可由用户根据经验进行。进行空间分离操作时将样本左乘W^T，即W^Tx_i，其中S_w ^-1表示矩阵的逆，x_i含义参见步骤(8)；

(13)用空间分离投影矩阵W对正负样本均值进行投影，得式⑷与式⑸：

U₀＝W^Tμ₀ ⑷；

U₁＝W^Tμ₁ ⑸；

(14)保留综合词频单词表，重编码后单词表(新码表)，正负样本空间分离投影矩阵W，正负样本均值投影向量U₀,U₁，为后续新样本测试时使用；

步骤二、Web入侵检测模型检测，具体步骤如下：

①、提取待测试的Web访问字符串并进行分词操作，分词操作http字符流断词标点、特殊字符作为分隔符，特殊字符由用户根据经验及Web入侵常用单词预先设定。切分Web访问字符串为单词串；http字符流断词标点、特殊字符随着http协议的变化，以及Web系统流量特点的变化会有差异，需要不断更新，使用时可预定义断词标点与特殊字符串表，表格的更新由用户自行维护；

②、对Web日志进行提取特征值操作，用与步骤(2)同样的方法提取待测试Web访问的特征值；

③、调取步骤一建立的综合词频单词表，重编码后单词表；

④、对照综合词频单词表、重编码后单词表将待测试Web访问字符串映射为由单词序列组成的待测试记录t；

⑤、调取步骤一中保留的投影矩阵W，计算Ts＝W^Tt；Ts为待测试记录t经特征空间分离投影后得到的特征向量，用该特征向量刻画的正负样本具有更好的区分度。

⑥、判断Ts与U₀,U₁之间的距离，与U₀更近则判断为正样本，与U₁更近则判断为负样本，距离计算采用向量欧氏距离，入侵检测过程结束。

本发明有效利用了Web访问正常字符流与异常字符流之间往往有明显语义差别的特点，通过单词重编码让正常字符流与异常字符流之间的差异突显，同时用空间重投影技术进一步分离正常异常样本，提高了Web入侵检测的准确率，对现有的Web入侵字符流检测，准确率达到99％以上。

附图说明

图1为基于语义重编码的Web入侵检测方法流程示意图。

图2为综合词频单词表、重编码单词表构建示意图。

图3为Web字符流记录按新码表重映射示意图。

具体实施方式

如图1所示,一种基于语义重编码与特征空间分离的Web入侵检测方法，包括Web入侵检测模型训练与Web入侵检测模型检测。将Web访问数据流中访问本地资源的“GET”“POST”命令后续字符串及Web日志中的特征值作为检测对象。“GET”“POST”命令后续字符串的提取在本技术领域内有反向代理过滤等成熟方法可以实现；Web日志提取IP地址、日期、时间、状态码等信息，通过用户自定义函数计算Web日志特征值，具体日志提取与函数设定方法不属于本发明考虑范畴。

步骤如下：

步骤一、Web入侵检测模型训练，具体步骤如下：

(1)对提取的Web访问字符串进行分词操作，用‘&’，‘|’，‘、’，‘\’，‘？’，‘||’等http字符流断词标点、特殊字符等作为分隔符，切分Web访问字符串为单词串；http字符流断词标点、特殊字符等随着http协议的变化，以及Web系统流量特点的变化会有差异，需要不断更新，使用时可预定义断词标点与特殊字符串表，表格的更新由用户自行维护；特殊字符由用户根据经验及Web入侵常用单词预先设定，如单词select、union为SQL注入常用单词，可视为特殊字符。

(2)对Web日志进行提取特征值操作，提取Web日志IP地址、日期、时间、状态码基本信息，用自定义函数计算Web日志特征值；Web日志信息及自定义函数会随着系统变化更新，由用户自行维护；

(3)构建单词表，将步骤(1)获取的切分后字符串视为单词填入单词表，将步骤(2)获取的每一个特征值视为一个单词填入单词表；

(4)将Web访问字符串以单词的方式重新整理为记录，一次访问一条记录；对Web日志信息中与当前Web访问字符串同一时间段内的日志信息计算特征值(如同一时间段内有多条日志信息则计算它们的平均值)，日志特征值按固定顺序排列(特征值1，特征值2，……，特征值n)，形成一条记录；将2条记录前后顺次拼接为1条记录；

(5)从Web访问流量中提取的攻击样本与正常样本，进行(1)(2)(3)(4)步的操作，形成正负样本记录集合；

(6)排序单词表，分别扫描正样本记录和负样本记录，统计单词在正样本和负样本中出现的频率，一行记录中出现多次按一次统计；计算同一个单词在正负样本中出现的频率差，依据频率差对单词排序，依据综合词频单词表被重新排序；

(7)单词表重编码，设定阈值T1>0、T2<0，如果综合词频单词表中单词综合词频>T1or<T2，一对一重编码；如果单词综合词频<T1 and>T2，多对一重编码，如图2所示，综合词频<T1 and>T2的多个单词合并为一个单词WordM，未知单词也编码为WordM；重编码后单词表为新码表；

(8)将正负样本按新码表重映射，如图3所示，样本中有n个单词映射到同一个单词时，该单词对应位置上的值加n，映射结果使得任意不等长单词序列映射为等长的单词序列；所有正负样本经重映射后，形成等长训练样本集合，表示为S＝{(x_i,y_i)},1≤i≤m,y_i∈{0,1}，m表示训练样本的个数，x_i为训练集合中的记录(单词序列)，长度等长记为n，y_i∈{0,1}为正负样本标签，表示对应的x_i记录为正样本或负样本；n可使x_i之间的取值差异化更明显，如有一类攻击样本‘union’‘#’两个字符出现的次数远远大于正常样本，但正常样本偶尔也会出现‘union’‘#’两个字符，如果不管出现几次均记为一次的话，有些正常样本容易被误判为攻击样本。

(9)分别计算正负样本均值见式(1)：

其中j表示正负样本分类；

(10)计算正负样本类内离散度，得类内离散度矩阵S_w,见式(2)：

其中X₀表示训练样本S中的正样本集合，X₁表示训练样本S中的负样本集合；

(11)计算正负样本间平均离散度，得类间离散度矩阵S_d，见式⑶：

S_d＝(μ₀-μ₁)(μ₀-μ₁)^T ⑶；

T表示矩阵转置；

(12)计算正负样本空间分离投影矩阵W：

计算矩阵S_w ^-1S_d的特征值及对应的特征向量，即：(S_w ^-1S_d)w＝λw，w为矩阵的特征向量，λ为特征值。将前n1个大于0的最大的特征值按序排列，各特征值对应的特征向量{w₁,w₂,....,w_n1}作为矩阵的列顺次组合，得到分离投影矩阵W，n1取值可由用户根据经验进行。进行空间分离操作时将样本左乘W^T，即W^Tx_i，其中S_w ^-1表示矩阵的逆，x_i含义参见步骤(8)；

(13)用空间分离投影矩阵W对正负样本均值进行投影，得式⑷与式⑸：

U₀＝W^Tμ₀ ⑷；

U₁＝W^Tμ₁ ⑸；

(14)保留综合词频单词表，重编码后单词表(新码表)，正负样本空间分离投影矩阵W，正负样本均值投影向量U₀,U₁，为后续新样本测试时使用；

步骤二、Web入侵检测模型检测，具体步骤如下：

(15)①、提取待测试的Web访问字符串并进行分词操作，分词操作用‘&’，‘|’，‘、’，‘\’，‘？’，‘||’等http字符流断词标点、特殊字符等作为分隔符，切分Web访问字符串为单词串；http字符流断词标点、特殊字符等随着http协议的变化，以及Web系统流量特点的变化会有差异，需要不断更新，使用时可预定义断词标点与特殊字符串表，表格的更新由用户自行维护；特殊字符由用户根据经验及Web入侵常用单词预先设定，如单词select、union为SQL注入常用单词，可视为特殊字符。

②、对Web日志进行提取特征值操作，用与步骤(2)同样的方法提取待测试Web访问的特征值；

③、调取步骤一建立的综合词频单词表，重编码后单词表；

④、对照综合词频单词表、重编码后单词表将待测试Web访问字符串映射为由单词序列组成的待测试记录t；

⑤、调取步骤一中保留的投影矩阵W，计算Ts＝W^Tt；

⑥、判断Ts与U₀,U₁之间的距离，与U₀更近则判断为正样本，与U₁更近则判断为负样本，距离计算采用向量欧氏距离，入侵检测过程结束。

本发明基于Web系统的如下特点：Web系统的信息、资源访问均通过HTTP协议以字符串的方式进行，每一段字符串均有一定的语义含义，而正常Web访问字符串与异常Web访问字符串在语义含义上差别很大。针对这一特点，本发明将Web访问字符串通过语义重编码进行语义空间的重新整理，以突显正常访问与异常访问的差异性，并通过空间优化投影技术拉大正常访问与异常访问两类访问间的空间距离，使得正常访问与异常访问更易区分，提高了Web异常入侵检测的准确率。

Claims (1)

1.基于语义重编码与特征空间分离的Web入侵检测方法，将Web访问数据流中访问本地资源的“GET”“POST”命令后续字符串及Web日志中的特征值作为检测对象；其特征在于：包括Web入侵检测模型训练与Web入侵检测模型检测；

步骤如下：

步骤一、Web入侵检测模型训练，具体步骤如下：

(1)对提取的Web访问字符串进行分词操作，用http字符流断词标点、特殊字符作为分隔符，特殊字符由用户根据经验及Web入侵常用单词预先设定，切分Web访问字符串为单词串；http字符流断词标点、特殊字符随着http协议的变化，以及Web系统流量特点的变化会有差异，需要不断更新，使用时预定义断词标点与特殊字符串表，表格的更新由用户自行维护；

(2)对Web日志进行提取特征值操作，提取Web日志IP地址、日期、时间和状态码基本信息，用自定义函数计算Web日志特征值；Web日志信息及自定义函数会随着系统变化更新，由用户自行维护；

(3)构建单词表，将步骤(1)获取的切分后字符串视为单词填入单词表，将步骤(2)获取的每一个特征值视为一个单词填入单词表；

(4)将Web访问字符串以单词的方式重新整理为记录，一次访问一条记录；对Web日志信息中与当前Web访问字符串同一时间段内的日志信息计算特征值，如同一时间段内有多条日志信息则计算它们的平均值，日志特征值按固定顺序排列，特征值1，特征值2，……，特征值n，形成一条记录；将2条记录前后顺次拼接为1条记录；

(5)从Web访问流量中提取的攻击样本与正常样本，进行步骤(1)(2)(3)(4)的操作，形成正负样本记录集合；

(6)排序单词表，分别扫描正样本记录和负样本记录，统计单词在正样本和负样本中出现的频率，一行记录中出现多次按一次统计；计算同一个单词在正负样本中出现的频率差，依据频率差对单词排序，依据综合词频单词表被重新排序；

(7)单词表重编码，设定阈值T1大于0、T2小于0，如果综合词频单词表中单词综合词频大于T1或小于T2，一对一重编码；如果单词综合词频小于T1并且大于T2，多对一重编码，综合词频小于T1并且大于T2的多个单词合并为一个单词WordM，未知单词也编码为WordM；重编码后单词表为新码表；

(8)将正负样本按新码表重映射，样本中有n个单词映射到同一个单词时，该单词对应位置上的值加n，映射结果使得任意不等长单词序列映射为等长的单词序列；所有正负样本经重映射后，形成等长训练样本集合S，表示为S＝{(x_i,y_i)},1≤i≤m,y∈{0,1}，m表示训练样本的个数，x_i为训练集合中的记录(单词序列)，长度等长记为n，y∈{0,1}表示正负样本标签，用于训练分类器；

(9)分别计算正负样本均值向量见式⑴：

其中j表示正负样本分类，m_j表示正负样本的个数，m₀+m₁＝m，m为参加训练的样本总数；

(10)计算正负样本类内离散度，得类内离散度矩阵S_w,见式⑵：

其中X₀表示训练样本S中的正样本集合，X₁表示训练样本S中的负样本集合；μ₀为正样本均值向量，μ₁为负样本均值向量；

(11)计算正负样本间平均离散度，得类间离散度矩阵S_d，见式⑶：

S_d＝(μ₀-μ₁)(μ₀-μ₁)^T ⑶；

T表示矩阵转置；

(12)计算正负样本空间分离投影矩阵W：

计算矩阵S_w ^-1S_d的特征值及对应的特征向量，即：(S_w ^-1S_d)w＝λw，w为矩阵的特征向量，λ为特征值；将前n1个大于0的最大的特征值按序排列，各特征值对应的特征向量{w₁,w₂,....,w_n1}作为矩阵的列顺次组合，得到分离投影矩阵W，n1取值由用户根据经验进行；进行空间分离操作时将样本左乘W^T，即W^Tx_i，其中S_w ^-1表示矩阵的逆，x_i含义参见步骤(8)；

(13)用空间分离投影矩阵W对正负样本均值进行投影，得式⑷与式⑸：

U₀＝w^Tμ₀ ⑷；

U₁＝w^Tμ₁ ⑸；

(14)保留综合词频单词表，重编码后单词表(新码表)，正负样本空间分离投影矩阵W，正负样本均值投影向量U₀,U₁，为后续新样本测试时使用；

步骤二、Web入侵检测模型检测，具体步骤如下：

①、提取待测试的Web访问字符串并进行分词操作，分词操作http字符流断词标点、特殊字符作为分隔符，特殊字符由用户根据经验及Web入侵常用单词预先设定；切分Web访问字符串为单词串；http字符流断词标点、特殊字符随着http协议的变化，以及Web系统流量特点的变化会有差异，需要不断更新，使用时预定义断词标点与特殊字符串表，表格的更新由用户自行维护；

②、对Web日志进行提取特征值操作，用与步骤(2)同样的方法提取待测试Web访问的特征值；

③、调取步骤一建立的综合词频单词表，重编码后单词表；

④、对照综合词频单词表、重编码后单词表将待测试Web访问字符串映射为由单词序列组成的待测试记录t；

⑤、调取步骤一中保留的投影矩阵W，计算Ts＝W^Tt；Ts为待测试记录t经特征空间分离投影后得到的特征向量，用该特征向量刻画的正负样本具有更好的区分度；

⑥、判断Ts与U₀,U₁之间的距离，与U₀更近则判断为正样本，与U₁更近则判断为负样本，距离计算采用向量欧氏距离，入侵检测过程结束。

Images