CN112926303A - 一种基于BERT-BiGRU的恶意URL检测方法 - Google Patents

Abstract

本发明提出一种基于BERT‑BiGRU的恶意URL检测的方法，解决当前对于恶意URL检测识别准确度不高的问题。本发明首先使用BERT模型的Transformer特征提取器，代替了传统常用的CNN或者RNN的固有模式，利用其能够提取词向量的动态特征特点以及其本身并行计算的优点，此外由于其多头自注意力机制，可以获得相关性更强的URL文本特征。然后将训练得到的特征向量，输入到BiGRU网络结构，由于其双向各训练一个GRU模型，使得序列中每个词完整依赖上下文信息，接着把神经网络向量拼接之后得到的结果向量，通过全连接层结合softmax分类器，实现URL分类。本发明通过这些模型方法的结合应用，能够提高URL分类的准确性和稳定性，具有良好的实施性和实效性。

Description

一种基于BERT-BiGRU的恶意URL检测方法

技术领域

本发明提出了一种基于BERT和BiGRU的恶意URL识别方法，属于网络安全，自然语言处理，深度学习，神经网络等交叉技术领域。

背景技术

近年来，文本分类是自然语言处理领域中的一个重要研究课题，具有重要的理论意义与实际应用价值。在网络安全中，运用优秀的自然语言处理算法对网络中的恶意URL分类，极具现实意义。

随着信息技术的高速发展，以网络作为应用的服务、信息的开放、信息资源与数据共享等服务深入生活的各个角落，日益广泛应用于生活的点点滴滴中，如今全球范围内爆发信息革命，机器学习和深度学习正在迅速发展，带来极大便利同时，网络安全问题也开始逐渐复杂了起来。无论是从企业还是个人来说，其隐私信息和安全信息，都已经成为网络信息安全的保障性问题。

目前在恶意URL检测方式上，常用的分析方法主要分为基于黑名单和机器学习方式两大类。其中较为传统的黑名单技术已经逐渐无法适用于复杂且多变的原始URL句子，在一些传统机器学习算法中，有使用Logistic回归分析、决策树模型、朴素贝叶斯分类器与支持向量机，这些方法在实际应用中均有利弊。在近年大热的深度学习中，循环神经网络(RNN)是其中较有代表性的网络之一，循环神经网络(RNN)算法通过对输入的时序信息进行处理，充分挖掘语义信息，提取特征。基于这一特点，在文本分类领域，循环神经网络有着广泛的运用。此后基于RNN而衍生出的LSTM和GRU模型，同样获得了更好的效果。

然而究其本质，因为RNN系列模型都依赖于序列的前一状态，不能够并行运算，所以在商业化或者工业化的计算效率上，要想获得更大的突破，还需要进行大量的研究工作。

发明内容

技术问题：本发明使用BERT模型的Transformer编码器，从原始URL句子中提取特征，充分挖掘句子的文本信息，其次使用结构简单高效的BiGRU单元进行完整上下文学习，提高对恶意URL识别的准确度。

技术方案：本发明的一种基于BERT-BiGRU的恶意URL检测方法系统包括以下步骤：

一种基于BERT-BiGRU的恶意URL检测方法，包括以下步骤：

步骤1)输入URL数据集作为分类任务中的集合，并且针对数据集中重复或者格式紊乱的数据，进行相应的处理；

步骤2)使用步骤1处理后的数据集，将其输入特征处理器Transformer中，利用多头自注意力机制动态地生成不同连接的权重；首先计算self-attention，对同一个句子的embedding变换得到Query向量，Key向量，Value向量，之后计算Attention Score；多头注意力机制即把每一个self-attention的输出结果拼接而成，最后Transformer输出融合多头注意力机制的词向量特征矩阵；

步骤3)训练一个BiGRU网络，将预处理获得的向量输入该网络中，BiGRU通过更新门与重置门可保留文本重要特征，确保上下文关系不会丢失；

步骤4)最后一个构建softmax分类器，把BiGRU的结果送入其中，输出最终分类标签。

所述步骤1)具体如下：

步骤11)针对数据集部分格式紊乱的URL数据，统一将URL转化为UTF-8格式；部分URL携带图片，视频链接占据大量长度，对其携带的静态文件名进行过滤以减少数据量；去除重复的数据和无效的数据，保留可用数据；

所述步骤2)具体如下：

步骤21)Transformer是一种基于自注意力序列模型，主要结构是其编码(Encoder)部分，Encoder结构先将一组input：I＝[I₁,…,I_N]，经过一段Embedding，做一个线性变换α＝WI，W是一个权重矩阵，可以将高维词向量矩阵转换为低维矩阵，I矩阵最原始是one-hot编码的高维稀疏词向量矩阵，通过W矩阵，高维稀疏词向量矩阵I会线性转换为低维词向量稠密矩阵α，然后让其与句子token的position信息求和，即X＝P+α；用X＝[x₁,…,x_N]表示个输入信息；通过线性变换得到为Query向量，Key向量，Value向量，如式(1)、(2)、(3)所示，

Query＝W_QX#(1)

Key＝W_KX#(2)

Value＝W_VX#(3)

步骤22)计算Query与Key之间的点乘，然后为了防止其结果过大，会除以一个尺度标度

其中d_k为一个Query或Key向量的维度。再利用softmax操作将其结果归一化为概率分布，然后再乘以矩阵Value就得到权重求和的表示。如式(4)所示；

步骤23)在BERT-BiGRU中，多头注意力机制(Multi-Head Attention)赋予attention层多个“子表示空间”。多头注意力机制会有多组W_Q，W_K，W_V的权重矩阵，每一组注意力的多组W_Q，W_K，W_V的权重矩阵都是随机初始化的，将Embedding的向量切成多份，与权重相乘，构成输入向量W_iX，如式(5)、(6)、(7)所示，形成Query_i,Key_i,Value_i，i＝1,…,h，其中h表示切分的head个数。然后计算Attention权重矩阵得到每个head，最后将多个head合并，点乘权重W^O，将切分后的head，线性转换为原维度的矩阵，得到Multi-Head矩阵，这个矩阵包含了所有attention heads的信息。如式(8)、(9)所示，

Query_i＝QW_i ^Q#(5)

Key_i＝KW_i ^K#(6)

Value_i＝VW_i ^V#(7)

head_i＝Attention(Query_i,Key_i,Value_i),i＝1,…,h#(8)

MultiHead(Query,Key,Value)＝Concact(head₁,…,head_h)W^O#(9)

步骤24)将多头注意力层输出的向量，输入一层Add&Norm层，Add将自注意力层的输入和输出相加，Norm进行归一化，得到的向量列表会传入一层全连接的前馈神经网络，经过相应的Add&Norm层处理，输出全新的归一化的词向量列表。

所述步骤3)具体如下：

步骤31)门控循环单元GRU由重置门r_t和更新门z_t组成，其中更新门由输入门和遗忘门组成。首先，由重置门控制并决定从旧元胞状态和当前输入中丢弃哪些信息，如式(10)所示；

r_t＝σ(W_rx_t+U_rh_t-1)#(10)

式中：σ代表Sigmod激活函数；x_t代表当前输入；h_t-1代表上一时刻隐层的输出；W_r和U_r是权重矩阵；

步骤32)使用改进的双向GRU信息可用同一个训练序列分别向前和向后各训练一个GRU模型，分为两个部分：

1)由更新门z_t实现忘记之前信息和添加信息的操作，x_t代表当前输入，h_t-1代表上一时刻隐层的输出，W_z和U_z是权重矩阵，如式(11)所示；

z_t＝σ(W_zx_t+U_zh_t-1)#(11)

2)由tanh层创建一个新的候选值

该值可能会加入到元胞状态中，U_h是当前时刻输入层与隐藏层之间的权值矩阵，W_h和U_h是权重矩阵，如式子(12)所示；

步骤33)最后再将两个模型的输出进行线性组合起来用于更新旧元胞状态h_t-1到新元胞状态h_t，如式(13)所示；

所述步骤4)具体如下：

步骤41)获取分类标签的得分向量，输出最终的分类标签，softmax分类器输出各类别的概率，W_f是全连接权重矩阵，s是输入向量，b_f为偏置量，如式(14)所示；

y＝softmax(W_fs+b_f)#(14)

步骤42)通过反向传播机制对模型中的参数不断进行训练和更新，使用交叉熵损失函数对模型进行优化，如式(15)所示；

D代表训练数据集大小；C表示类别数；

为恶意URL类别标签；

为模型预测概率。

神经网络的训练优化使用Adam方法，初始学习率设为0.001，学习率衰减速率设为0.0001，词向量维度设为200，batch_size＝64，Epoch＝10，在输入层Dropout设为0.2，隐藏层Dropout设为0.5，其余权重、偏置等参数随模型优化不断变化。

有益效果：本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明对原始URL数据集进行了基本的预处理和清洗，使用BERT的Transformer编码模型提取原始数据特征，由于其内部采取了多头注意力机制，所以比起RNN或者CNN，Transformer获取的文本特征更加完整。此外由于Transformer算法的并行性很好，符合目前的硬件环境，然后采用BiGRU神经网络对处理后的文本数据进行分类。

附图说明

图1是基于BERT-BiGRU的恶意URL检测方法模型构建方法流程。

图2是Transformer编码(Encoder部分)模型图。

图3是GRU神经网络结构图。

图4是BiGRU神经网络结构图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明是一种基于BERT-BiGRU的恶意URL检测方法模型构建方法，包括以下步骤：在具体实施中，图1是基于BERT-BiGRU的恶意URL检测方法模型构建方法流程。首先对原始URL数据集进行预处理，包括去除一些特殊标记以及截取固定长度。

其次将预处理后的数据集输入到BERT的Transformer编码模型中，如图2所示，Encoder结构先将一组input：I＝[I₁,…,I_N]，经过一段Embedding，做一个线性变换α＝WI，然后让其与文本中每一个字段的position信息求和，即X＝P+α，之后利用self-attention机制，将X经过三个不同的线性变换W_Q，W_K，W_V，得到三个结果分别代表Query，Key和Value，可以表示为Query＝W_QX，Key＝W_KX，Value＝W_VX，然后将每个Query元素与每个Key元素相乘，相当于是一种双向的传播，然后为了防止其结果过大，会除以一个尺度标度

其中d_k为一个Query或Key向量的维度。再利用softmax操作将其结果归一化为概率分布，然后再乘以矩阵V就得到权重求和Z。该操作可以表示为

多头注意力机制即把输入X切分为n段，分别做线性变换，之后再将其结果拼接为同一个维度的整体。接下来做一个Dropout操作防止过拟合，再把得到的输出Z和之前的输入X做一个残差和Add，再使用Norm做归一化，最后把Norm后的结果输入到全连接层Feed Forward，最后经过多次循环，就完成了Encoder编码部分。

接下来将特征矩阵输入到BiGRU层神经网络中，单向GRU如图3所示。首先，由重置门控制并决定从旧元胞状态和当前输入中丢弃哪些信息r_t＝σ(W_rx_t+U_rh_t-1)，由更新门实现忘记之前信息和添加信息的操作，z_t＝σ(W_zx_t+U_zh_t-1)，接着由tanh层创建一个新的候选值

该值可能会加入到元胞状态中，U_h是当前时刻输入层与隐藏层之间的权值矩阵，

最后再将两个模型的输出进行线性组合起来用于更新旧元胞状态h_t-1到新元胞状态h_t，

图4表明使用改进的双向GRU信息可用同一个训练序列分别向前和向后各训练一个GRU模型，最后将其结果输入到softmax分类器中，获取分类结果。

Claims (5)

1.一种基于BERT-BiGRU的恶意URL检测方法，其特征在于，包括以下步骤：

步骤1)输入URL数据集作为分类任务中的集合，并且针对数据集中重复或者格式紊乱的数据，进行相应的处理；

步骤2)使用步骤1处理后的数据集，将其输入特征处理器Transformer中，利用多头自注意力机制动态地生成不同连接的权重；首先计算self-attention，对同一个句子的embedding变换得到Query向量，Key向量，Value向量，之后计算Attention Score；多头注意力机制即把每一个self-attention的输出结果拼接而成，最后Transformer输出融合多头注意力机制的词向量特征矩阵；

步骤3)训练一个BiGRU网络，将Query向量，Key向量，Value向量输入该网络中，BiGRU通过更新门与重置门可保留文本重要特征，确保上下文关系不会丢失；

步骤4)最后一个构建softmax分类器，把BiGRU的结果送入其中，输出最终分类标签。

2.根据权利要求1所诉的一种基于BERT-BiGRU的恶意URL检测方法，其特征在于，所述步骤1)具体如下：

步骤11)针对数据集部分格式紊乱的URL数据，统一将URL转化为UTF-8格式；部分URL携带图片，视频链接占据大量长度，对其携带的静态文件名进行过滤以减少数据量；去除重复的数据和无效的数据，保留可用数据。

3.根据权利要求1所诉的一种基于BERT-BiGRU的恶意URL检测方法，其特征在于，所述步骤2)具体如下：

步骤21)Transformer包括Encoder结构，Encoder结构先将一组input：I＝[I₁,…,I_N]，N表示步骤1)处理后的数据集中的数据数量，经过一段Embedding，做一个线性变换α＝WI，W是一个权重矩阵，可将高维词向量矩阵转换为低维矩阵，I矩阵最原始是one-hot编码的高维稀疏词向量矩阵，通过W矩阵，高维稀疏词向量矩阵I会线性转换为低维词向量稠密矩阵α，然后让其与句子token的position信息求和，即X＝P+α；用X＝[x₁,…,x_N]表示N个输入信息；通过线性变换得到Query向量，Key向量，Value向量，如式(1)、(2)、(3)所示，

Query＝W_QX#(1)

Key＝W_KX#(2)

Value＝W_VX#(3)

步骤22)计算Query与Key之间的点乘，然后为了防止其结果过大，除以一个尺度标度

其中d_k为一个Query或Key向量的维度；再利用softmax操作将其结果归一化为概率分布，然后再乘以Value就得到权重求和的表示，如式(4)示；

步骤23)多头注意力机制有多组W_Q，W_K，W_V的权重矩阵，每一组注意力的多组W_Q，W_K，W_V的权重矩阵都是随机初始化的，将Embedding的向量切成多份，与权重相乘，构成输入向量W_iX，如式(5)、(6)、(7)所示，形成Query_i，Key_i，Value_i，i＝1,…,h，其中i表示切分的head个数；然后计算Attention权重矩阵得到每个head，最后将所有head合并，点乘权重W^O，将切分后的head，线性转换为原维度的矩阵，得到Multi-Head矩阵，这个矩阵包含了所有attention heads的信息，如式(8)、(9)所示

Query_i＝QW_i ^Q#(5)

Key_i＝KW_i ^K#(6)

Value_i＝VW_i ^V#(7)

head_i＝Attention(Query_i,Key_i,Value_i),i＝1,…,h#(8)

MultiHead(Query,Key,Value)＝Concact(head₁,…,head_h)W^O#(9)

上标Q、K、V分别表示对应权重矩阵；

步骤24)将Query向量，Key向量，Value向量，输入一层Add&Norm层，Add将自注意力层的输入和输出相加，Norm进行归一化，得到的向量列表会传入一层全连接的前馈神经网络，经过相应的Add&Norm层处理，输出融合多头注意力机制的词向量特征矩阵。

4.根据权利要求1所诉的一种基于BERT-BiGRU的恶意URL检测方法，其特征在于，所述步骤3)具体如下：

步骤31)门控循环单元GRU由重置门r_t和更新门z_t组成，其中更新门由输入门和遗忘门组成；首先，由重置门控制并决定从旧元胞状态和当前输入中丢弃哪些信息，如式(10)所示；

r_t＝σ(W_rx_t+U_rh_t-1)#(10)

式中：σ代表Sigmod激活函数；x_t代表当前输入；h_t-1代表上一时刻隐层的输出；W_r和U_r是权重矩阵；

步骤32)使用改进的双向GRU信息可用同一个训练序列分别向前和向后各训练一个GRU模型，分为两个部分：

1)由更新门z_t实现忘记之前信息和添加信息的操作，x_t代表当前输入，h_t-1代表上一时刻隐层的输出，W_z和U_z是权重矩阵，其中如式(11)所示；

z_t＝σ(W_zx_t+U_zh_t-1)#(11)

2)由tanh层创建一个新的候选值

该值可能会加入到元胞状态中，U_h是当前时刻输入层与隐藏层之间的权值矩阵，W_h和U_h是权重矩阵，如式(12)所示；

步骤33)最后再将两个模型的输出进行线性组合起来用于更新旧元胞状态h_t-1到新元胞状态h_t，如式(13)所示；

5.根据权利要求1所诉的一种基于BERT-BiGRU的恶意URL检测方法，其特征在于，所述步骤4)具体如下：

步骤41)获取分类标签的得分向量，输出最终的分类标签，softmax分类器输出各类别的概率，W_f是全连接权重矩阵，s是输入向量，b_f为偏置量，如式(14)所示；

y＝softmax(W_fs+b_f)#(14)

步骤42)通过反向传播机制对模型中的参数不断进行训练和更新，使用交叉熵损失函数对模型进行优化，如式(15)所示；

D代表训练数据集大小；C表示类别数；

为URL类别标签；

为模型预测概率。

Images