CN111340066A - 一种基于几何向量的对抗样本生成方法 - Google Patents

Abstract

本发明公开了一种基于几何向量的对抗样本生成方法，包括：步骤1，数据预处理；步骤2，模型预训练；步骤3，重复步骤(a)‑(f)，直到收敛，得到DGA域名对抗样本：(a)将合法域名输入ATN网络生成合法域名对抗样本，并得到扰动损失；(b)将合法域名和以及合法域名对抗样本输入噪声扰动方向函数得到噪声；(c)将噪声和DGA域名输入扰动网络得到DGA域名对抗样本；所述扰动网络为基于几何向量的扰动网络；(d)将DGA域名对抗样本输入目标网络，得到目标网络损失；(e)利用扰动损失和目标网络损失得到目标损失函数；(f)通过最小化目标损失函数更新ATN网络。本发明可以针对特定DGA类别生成其对抗样本。

Description

一种基于几何向量的对抗样本生成方法

技术领域

本发明涉及机器学习技术领域，尤其是一种基于几何向量的对抗样本生成方法。

背景技术

深度神经网络在处理复杂的任务方面表现的十分优秀，但是最近的研究表明，它容易受到对抗性攻击，这种攻击形式是对输入添加微小的扰动，从而导致模型预测错误的输出。在实际应用中，对抗攻击对深度学习的成功构成了严重的威胁。为此研究者提出对抗性样本产生方法，以应对潜在的攻击，增强神经网络的鲁棒性及泛化能力。

目前，在对抗样本产生的原理上，主要分为两大类，一类是在原始样本上随机添加噪声，直到其能欺骗神经网络为止，二是在梯度信息的方向(如Fast Gradient SignMethod(FGSM)、Jacobian-based saliency map approach(JSMA))上添加扰动，以生成对抗样本。实验证明，在特定的扰动方向上修改样本，具有较好的效果。但是这些方法存在以下问题：不是针对原始样本的任何扰动都会引起分类错误，只有经过特定扰动才会引起分类错误，因此通过随机添加噪声，不容易得到对抗样本。虽然梯度信息给了扰动方向，但对于高维数据和更加复杂的神经网络模型，会增加建立梯度信息的复杂度。现有的对抗样本生成方法没有考虑到生成样本的代价及效率。

发明内容

本发明所要解决的技术问题是：针对上述存在的问题，提供一种基于几何向量的对抗样本生成方法。

本发明采用的技术方案如下：

一种基于几何向量的对抗样本生成方法，包括如下步骤：

步骤1，对合法域名数据集和DGA域名数据集进行数据预处理；

步骤2，在数据预处理后进行模型预训练：初始化ATN网络的生成网络和目标网络，使生成网络在合法域名数据集上预训练，目标网络在合法域名数据集和DGA域名数据集上预训练；

步骤3，重复步骤(a)-(f)，直到收敛，得到DGA域名对抗样本：

(a)将合法域名输入ATN网络生成合法域名对抗样本，并得到扰动损失；

(b)将合法域名和以及合法域名对抗样本输入噪声扰动方向函数得到噪声；

(c)将噪声和DGA域名输入扰动网络得到DGA域名对抗样本；所述扰动网络为基于几何向量的扰动网络；

(d)将DGA域名对抗样本输入目标网络，得到目标网络损失；

(e)利用扰动损失和目标网络损失得到目标损失函数；

(f)通过最小化目标损失函数更新ATN网络。

进一步，步骤1的方法为：

步骤1.1，对合法域名数据集和DGA域名数据集中的域名数据建立字符字典，并通过one-hot编码，得到编码后的合法域名数据向量和DGA域名数据向量；

步骤1.2，对合法域名数据集和DGA域名数据集中的域名数据以数据长度最长为准，对不足长度的域名数据进行数字0填充。

进一步，步骤2中，生成网络使用极大似然估计在合法域名数据集上预训练。

进一步，步骤2中，目标网络使用最小化交叉熵在合法域名数据集和DGA域名数据集上预训练。

进一步，步骤(a)中所述扰动损失为ATN网络生成合法域名对抗样本的损失，即目标网络对产生的合法域名对抗样本的加权平均，其计算公式如下：

其中，L_G表示扰动损失，G_D，θ表示ATN网络，θ为ATN网络的参数向量，X表示合法域名，Γ表示合法域名数据集，D表示目标网络。

进一步，步骤(b)中所述噪声扰动方向函数的计算公式如下：

Z(X，G_D，θ(X))＝X-G_D，θ(X)＝X-X^′

其中，Z为噪声，X表示合法域名，X′表示合法域名对抗样本，G_D，θ表示ATN网络，θ为ATN网络的参数向量。

进一步，步骤(c)的计算公式如下：

M′＝R(M，Z)＝|2X′-M+Z|％|V|

其中，M′表示DGA域名对抗样本，M表示DGA域名，R表示扰动网络，Z表示噪声，|V|表示域名数据字符字典V的大小。

进一步，步骤(d)中所述目标网络损失为判断输入DGA域名数据生成的DGA域名对抗样本的概率，其计算公式如下：

其中，L_D表示目标网络损失，M表示DGA域名，T表示DGA域名数据集，，R表示扰动网络，X表示合法域名，Z表示噪声，D表示目标网络。

进一步，步骤(e)中所述目标损失函数的计算公式如下：

其中，L表示目标损失函数，L_G表示扰动损失，L_D表示目标网络损失，G_D，θ表示ATN网络，θ为ATN网络的参数向量，X表示合法域名，M表示DGA域名，R表示扰动网络，Z表示噪声；β为权重系数，以平衡扰动损失和目标网络损失，β∈(0，1)。

进一步，步骤(f)中通过最小化目标损失函数更新ATN网络的参数向量，其计算公式如下：

其中，θ表示ATN网络的参数向量，L表示目标损失函数，α为学习率。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明基于几何向量的对抗样本生成方法，首先通过生成网络生成合法域名对抗样本，然后利用几何向量扰动DGA域名以生成DGA域名对抗样本，可以针对特定DGA类别生成其对抗样本。

2、基于几何向量的扰动不需要知道梯度信息，因此对于高维数据和复杂的神经网络，它不会因建立梯度信息而增加复杂度，并在一定程度上提高了生成效率。同时本发明适用于任一类别的对抗样本生成，它减少了建立生成对抗样本的网络架构的成本代价。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的基于几何向量的对抗样本生成方法的流程框图。

图2-4为本发明实施例样本数据示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下结合实施例对本发明的特征和性能作进一步的详细描述。

实施例1

本实施例提供的一种基于几何向量的对抗样本生成方法，包括如下步骤：

步骤1，对合法域名数据集和DGA域名数据集进行数据预处理；

步骤2，在数据预处理后进行模型预训练：初始化生成网络和目标网络，使生成网络在合法域名数据集上预训练，目标网络在合法域名数据集和DGA域名数据集上预训练；

步骤3，重复步骤(a)-(f)，直到收敛，得到DGA域名对抗样本：

(a)将合法域名输入ATN网络生成合法域名对抗样本，并得到扰动损失；

(b)将合法域名和以及合法域名对抗样本输入噪声扰动方向函数得到噪声；

(c)将噪声和DGA域名输入扰动网络得到DGA域名对抗样本；所述扰动网络为基于几何向量的扰动网络；

(d)将DGA域名对抗样本输入目标网络，得到目标网络损失；

(e)利用扰动损失和目标网络损失得到目标损失函数；

(f)通过最小化目标损失函数更新ATN网络。

1、数据预处理

即步骤1对合法域名数据集和DGA域名数据集进行数据预处理的方法为：

步骤1.1，对合法域名数据集和DGA域名数据集中的域名数据建立字符字典，并通过one-hot编码，得到编码后的合法域名数据向量和DGA域名数据向量；具体地，

设域名字符序列数据S＝{s₁s₂…s_m}，m为域名S的长度，s_i代表S的第i个字符，对域名数据建立字符映射字典V，字典大小为|V|，则通过one-hot编码，得到编码后的域名数据向量：

E(S)＝{ω_s1，ω_s2，…，ω_sm}

其中，E(S)表示域名数据向量，ω_si表示字符s_i在字典V中的位置。

步骤1.2，对合法域名数据集和DGA域名数据集中的域名数据以数据长度最长为准，对不足长度的域名数据进行数字0填充；具体地，

设合法域名数据集为Γ，DGA域名数据集为T。经编码后的合法域名数据X∈Γ，DGA域名数据M∈T。域名数据长度最长为n，对不足长度的域名数据进行数字0填充，则有：

X＝{x₁，x₂，…，x_|X|，x_|X|+1，…，x_n}

其中|X|是合法域名数据X的长度，x_j∈[1，|V|]，j∈[1，|X|]；x_j＝0，j∈[|X|+1，n]。

M＝{m₁，m₂，…，m_|M|，m_|M|+1，…，m_n}

其中|M|是DGA域名数据M的长度，m_j∈[1，|V|]，j∈[1，|M|]；x_j＝0，j∈[|M|+1，n]。

2、模型预训练

步骤2，在数据预处理后进行模型预训练：初始化ATN网络G_D，θ的生成网络G_θ和目标网络

使生成网络G_θ在合法域名数据集上预训练，目标网络

在合法域名数据集和DGA域名数据集上预训练；优选地，

(1)生成网络G_θ使用极大似然估计在合法域名数据集Γ上预训练；

(2)目标网络

使用最小化交叉熵在合法域名数据集Γ和DGA域名数据集T上预训练。

3、模型训练

即步骤3，重复步骤(a)-(f)，直到收敛，得到DGA域名对抗样本。

设合法域名数据集为Γ，合法域名数据X∈Γ；设DGA域名数据集为T，DGA域名数据M∈T。合法域名对抗样本为X′，DGA域名对抗样本为M′，V是域名字符字典，Z为噪声扰动方向函数，R为扰动函数，D表示目标网络，ATN网络G_D，θ由两部分组成：生成网络为G和目标网络D。则步骤(a)-(f)如下：

(a)将合法域名输入ATN网络生成合法域名对抗样本，并得到扰动损失；具体地：

(1)合法域名输入ATN网络生成合法域名对抗样本的计算公式如下：

G_D，θ：X→X′

其中，θ为ATN网络的参数向量。

(2)所述扰动损失为ATN网络生成合法域名对抗样本的损失，即目标网络对产生的合法域名对抗样本的加权平均，其计算公式如下：

其中，L_G表示扰动损失。

(b)将合法域名和以及合法域名对抗样本输入噪声扰动方向函数得到噪声；具体地：

所述噪声扰动方向函数的计算公式如下：

Z(X，G_D，θ(X))＝X-G_D，θ(X)＝X-X^′

(c)将噪声和DGA域名输入扰动网络得到DGA域名对抗样本；所述扰动网络为基于几何向量的扰动网络；具体地：

M′＝R(M，Z)＝|2X′-M+Z|％|V|

其中，|V|表示域名数据字符字典V的大小，域名字符是由域名字典所决定的，因此通过绝对值和取余函数来限定其取值范围。

(d)将DGA域名对抗样本输入目标网络，得到目标网络损失；具体地：

所述目标网络损失为判断输入DGA域名数据生成的DGA域名对抗样本的概率，其计算公式如下：

其中，L_D表示目标网络损失。

(e)利用扰动损失和目标网络损失得到目标损失函数；具体地：

所述目标损失函数的计算公式如下：

其中，L表示目标损失函数；β为权重系数，以平衡扰动损失和目标网络损失，β∈(0，1)。

(f)通过最小化目标损失函数更新ATN网络；具体地：

通过最小化目标损失函数更新ATN网络的参数向量的方式来更新ATN网络，其计算公式如下：

其中，α为学习率。

通过上述内容可知，本发明主要基于几何向量进行对抗样本的生成方法的思路是：利用合法域名对抗样本找到DGA域名对抗样本，其中利用了基于几何向量的扰动网络找到对抗样本。以下对基于几何向量的扰动网络可以找到对抗样本的方法进行验证：

对抗样本是指经过一个微小的扰动就可以让机器学习算法输出错误结果的输入样本，且保证该攻击不影响人眼的识别情况下，达到诱导分类器的目的。通过大量研究表明，对抗样本的产生是因为模型的局部线性性质。现有的方法通过在梯度信息方向上增加扰动来生成对抗样本。因此找到对抗扰动的方向是生成对抗样本的关键所在。

现代神经网络理论表明，尽管神经网络表示是一个高度非线性函数，但神经网络在局部区域是一个线性关系。假设一个如图2所示的局部训练集，分类超平面S大致将这些数据分为两部分。但分类结果并未真正拟合其真实分布。S虽拟合了大部分数据，但少量数据仍被误分类，因此在这类少量数据所存在的空间中最易找到能够成功实施对抗攻击的对抗样本。

如图3所示，局部训练集在分类超平面S下，具有如下向量关系：

其中，数据X′是合法域名X的对抗样本，数据M′是DGA域名M的对抗样本，由噪声Z＝X-X′可得到DGA域名M的对抗样本M′，即：

M′＝2X′-M+Z

所得到的DGA域名对抗样本M′是几何空间的数据处理结果，为保证得到的域名字符的真实性，应将其限定在所属的域名字符内，因此需要根据具体的字符字典将其限定。具体详见实施例1。

对于一个二类分类问题，其学习的目标是在特征空间中找到一个分类超平面，能够将实例A分到不同的类。分类超平面对应于方程W·A+b＝0，它由法向量W和截距b决定。分类超平面将特征空间划分为两部分，一部分是正类，一部分是负类，法向量指向的一侧为正类，另一侧为负类。在对抗样本存在的空间位置关系中，假定被误分类的样本就是对抗样本。因此有如下关系：

W·A+b＞0，W·A′+b<0。

若样本A属于正类，则其对抗样本A′被分离超平面判别为负类。那么只要找到满足上式关系的样本数据，就认为找到了其对抗样本。

如图4所示，“△”代表正样本(合法域名)，“▲”代表正样本的对抗样本，“○”代表负样本(DGA域名)，“●”代表负样本的对抗样本。设坐标原点为O，分类超平面S＝W·A+b，W为法向量，b为偏置，A为样本。已知合法域名X的某一个对抗样本X′，DGA域名M。则根据几何向量关系可知，M的对抗样本M′有如下关系：

将DGA域名对抗样本M′代入分类超平面有：

已知合法域名X为正样本、X′为正样本的对抗样本，DGA域名M为负样本，那么有：

W·X+b＞0

W·M+b<0

W·X′+b<0

故可知(5)式中的子式①大于零，子式②小于零。因此，存在某个对抗样本X′使得①+②＞0，从而得到DGA域名M的对抗样本M′。那么，必然存在映射函数f，使得M′＝f(X′)。

综上可知，在几何方向上的扰动可以找到对抗样本。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于几何向量的对抗样本生成方法，其特征在于，包括如下步骤：

步骤1，对合法域名数据集和DGA域名数据集进行数据预处理；

步骤2，在数据预处理后进行模型预训练：初始化ATN网络的生成网络和目标网络，使生成网络在合法域名数据集上预训练，目标网络在合法域名数据集和DGA域名数据集上预训练；

步骤3，重复步骤(a)-(f)，直到收敛，得到DGA域名对抗样本：

(a)将合法域名输入ATN网络生成合法域名对抗样本，并得到扰动损失；

(b)将合法域名和以及合法域名对抗样本输入噪声扰动方向函数得到噪声；

(c)将噪声和DGA域名输入扰动网络得到DGA域名对抗样本；所述扰动网络为基于几何向量的扰动网络；

(d)将DGA域名对抗样本输入目标网络，得到目标网络损失；

(e)利用扰动损失和目标网络损失得到目标损失函数；

(f)通过最小化目标损失函数更新ATN网络。

2.根据权利要求1所述的基于几何向量的对抗样本生成方法，其特征在于，步骤1的方法为：

步骤1.1，对合法域名数据集和DGA域名数据集中的域名数据建立字符字典，并通过one-hot编码，得到编码后的合法域名数据向量和DGA域名数据向量；

步骤1.2，对合法域名数据集和DGA域名数据集中的域名数据以数据长度最长为准，对不足长度的域名数据进行数字0填充。

3.根据权利要求1所述的基于几何向量的对抗样本生成方法，其特征在于，步骤2中，生成网络使用极大似然估计在合法域名数据集上预训练。

4.根据权利要求1所述的基于几何向量的对抗样本生成方法，其特征在于，步骤2中，目标网络使用最小化交叉熵在合法域名数据集和DGA域名数据集上预训练。

5.根据权利要求1所述的基于几何向量的对抗样本生成方法，其特征在于，步骤(a)中所述扰动损失为ATN网络生成合法域名对抗样本的损失，即目标网络对产生的合法域名对抗样本的加权平均，其计算公式如下：

其中，L_G表示扰动损失，G_D,θ表示ATN网络，θ为ATN网络的参数向量，X表示合法域名，Γ表示合法域名数据集，D表示目标网络。

6.根据权利要求1所述的基于几何向量的对抗样本生成方法，其特征在于，步骤(b)中所述噪声扰动方向函数的计算公式如下：

Z(X,G_D,θ(X))＝X-G_D,θ(X)＝X-X′

其中，Z为噪声，X表示合法域名，X′表示合法域名对抗样本，G_D,θ表示ATN网络，θ为ATN网络的参数向量。

7.根据权利要求1所述的基于几何向量的对抗样本生成方法，其特征在于，步骤(c)的计算公式如下：

M′＝R(M,Z)＝|2X′-M+Z|％|V|

其中，M′表示DGA域名对抗样本，M表示DGA域名，R表示扰动网络，Z表示噪声，|V|表示域名数据字符字典V的大小。

8.根据权利要求1所述的基于几何向量的对抗样本生成方法，其特征在于，步骤(d)中所述目标网络损失为判断输入DGA域名数据生成的DGA域名对抗样本的概率，其计算公式如下：

其中，L_D表示目标网络损失，M表示DGA域名，T表示DGA域名数据集，，R表示扰动网络，X表示合法域名，Z表示噪声，D表示目标网络。

9.根据权利要求1所述的基于几何向量的对抗样本生成方法，其特征在于，步骤(e)中所述目标损失函数的计算公式如下：

其中，L表示目标损失函数，L_G表示扰动损失，L_D表示目标网络损失，G_D,θ表示ATN网络，θ为ATN网络的参数向量，X表示合法域名，M表示DGA域名，R表示扰动网络，Z表示噪声；β为权重系数，以平衡扰动损失和目标网络损失，β∈(0,1)。

10.根据权利要求1所述的基于几何向量的对抗样本生成方法，其特征在于，步骤(f)中通过最小化目标损失函数更新ATN网络的参数向量，其计算公式如下：

其中，θ表示ATN网络的参数向量，L表示目标损失函数，α为学习率。

Images