CN111597551A - 针对深度学习算法的侧信道攻击的防护方法 - Google Patents

Abstract

本发明公开了一种针对深度学习算法的侧信道攻击的防护方法，通过随机化神经元中的运算，代替传统神经元中的顺序运算，能够去除泄露的侧信道信息与深度学习算法中敏感值的相关性，可以有效防护利用侧信道泄露来恢复深度学习算法的输入或参数等信息的攻击。

Description

针对深度学习算法的侧信道攻击的防护方法

技术领域

本发明涉及深度学习算法与侧信道攻击领域，尤其涉及一种针对深度学习算法的侧信道攻击的防护方法。

背景技术

近几年深度学习发展迅速，在图形分类、计算机视觉和语音识别等各个领域都获得了极好的效果。深度学习也被用在很多安全和隐私相关的领域，如智能交通、人脸识别和医疗图像处理等，因此深度学习算法的安全和数据隐私问题应该引起我们的关注和研究。首先，为了训练效果较好的深度学习模型，需要用到大量特定的数据集、动用很多计算资源和进行长时间的训练，因此这些深度学习模型结构和参数等具有很大的商业价值，也越来越多地被视为知识产权(IP)；其次，很多深度学习模型在训练时，会用到涉及隐私和机密的数据集，如基因类型、人脸图像和军事数据等，而这些模型的参数也会泄露有关训练数据集的信息，因此其结构和参数也需要保证机密不被窃取；同样，如果在推断阶段深度模型的输入被恢复出来，也会泄露隐私和机密信息。深度学习的这些隐私和安全问题，都可以利用侧信道技术来进行分析。

侧信道分析被广泛地应用到密码分析中，它能够利用加密电子设备在运行过程中的时间消耗、功率消耗或电磁辐射等侧信道信息，对加密设备进行攻击。侧信道分析能够十分有效地恢复出加密设备使用的密钥等信息，已被用来分析各种密码算法，如对称密码算法DES、AES，公钥密码算法RSA等。密码算法在硬件设备上会泄露侧信道信息，同样，深度学习算法在应用的时候也需要在硬件设备上进行实现，而设备在运行中不可避免地会泄露侧信道信息。

目前针对深度学习算法的侧信道分析正在迅速发展阶段。比如Lejla Batina等人的论文“CSI NN:Reverse Engineering of Neural Network Architectures throughElectromagnetic Side Channel”表明，利用DNN在运行中泄露的电磁侧信道信息，通过计算相关性等，攻击者能够获得以下信息：网络结构中使用的激活函数，层数和神经元数，输出类数以及神经网络中的权重。因此，攻击者可以使用侧信道信息有效地对网络进行逆向工程。

Lingxiao Wei等人的论文“I know what you see:Power side-channel attackon convolutional neural network accelerators”，对基于FPGA的卷积神经网络加速器进行了侧信道分析，利用泄露的功耗侧信道信息，在不知道神经网络的详细参数的情况下，能够从收集的能耗轨迹中恢复网络的输入图像。

由于类似的攻击是在近两年刚被提出的，因此相应的防护方法较少且不完善。2019年，Anuj Dubey等人的论文“MaskedNet:The First Hardware Inference EngineAiming Power Side-Channel Protection”，提出了利用掩码的方式来保护神经网络的参数，由于神经网络中存在不可逆函数，该方法对神经网络的一些函数进行了修改，导致设计比较复杂；并且对不同的神经网络和函数需要进行专门的设计，通用性较差。2019年，Yuntao Liu等人的论文“Mitigating Reverse Engineering Attacks on Deep NeuralNetworks”，用打乱内存访问顺序的方式，来保护神经网络不被逆向工程出其网络结构。该防护的目的是保护神经网络的结构，且防护针对的是cache侧信道攻击，可见，防护范围较小。

综上所述，当前针对深度学习算法侧信道的防护方法仍处于初始阶段，设计较为复杂，通用性差，且面向的侧信道攻击范围较小。

发明内容

本发明的目的是提供一种针对深度学习算法的侧信道攻击的防护方法，能够有效抵御侧信道攻击，避免敏感信息泄漏。

本发明的目的是通过以下技术方案实现的：

一种针对深度学习算法的侧信道攻击的防护方法，包括：

深度神经网络对于网络参数与输入数据进行运算处理之前，对网络参数与输入数据同时进行随机置换，并按照随机置换后的编号进行运算；随机置换后的编号相对于初始的顺序编号而言是随机的；

按照随机置换后的编号进行运算获得运算结果O′，该运算O′与按照顺序编号运算获得的运算结果O相同。

由上述本发明提供的技术方案可以看出，通过随机化神经元中的运算，代替传统神经元中的顺序运算，能够去除泄露的侧信道信息与深度学习算法中敏感值的相关性，可以有效防护利用侧信道泄露来恢复深度学习算法的输入或参数等信息的攻击。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的传统深度学习中顺序运算的示意图；

图2为本发明实施例提供的一种针对深度学习算法的侧信道攻击的防护方法的示意图；

图3为本发明实施例提供的随机置换模块的原理图；

图4为本发明实施例提供的多层感知机的结构示意图；

图5为本发明实施例提供的多层感知机中的单个神经元顺序运算的示意图；

图6为本发明实施例提供的MNIST原始图像与仿真攻击恢复图像的示意图；

图7为本发明实施例提供的无防护与有防护的仿真攻击恢复图像的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

深度学习算法中神经元中的运算是顺序进行的，攻击者可以获取其在推断运行时泄露的侧信道信息，然后推断出算法的输入，或通过计算相关性的方法猜测算法的权重等，这些攻击会泄露敏感或有价值信息。本发明提出了一种针对深度学习算法的侧信道攻击的防护方法，通过随机化神经元中的运算，代替传统神经元中的顺序运算，能够去除泄露的侧信道信息与深度学习算法中敏感值的相关性，可以有效防护利用侧信道泄露来恢复深度学习算法的输入或参数等信息的攻击。

本发明实施例中，定义整个深度神经网络(DNN)为一个参数化的函数F，满足Y＝F(θ,X)，其中两个多维向量X和Y分别表示整个网络的输入和预测输出，θ表示网络中所有的权重和偏置(也即后文所提到的θ₁,θ₂,…,θ_N与θ′)。深度学习模型的训练，即是利用给定训练数据集，来优化结构参数θ，达到对输入预测的高准确率。训练阶段结束后，参数θ等便确定下来。在推断阶段，对于给定输入X，深度神经网络即可计算出一个输出Y＝F(θ,X)。

如图1所示，为传统深度学习中顺序运算的示意图。深度神经网络中单个神经元与敏感值相关的运算为：

O＝f(θ₁,x₁；θ₂,x₂；…；θ_N,x_N；θ′)

其中，O为输出值，f为单个神经元的运算函数，N为输入的个数，x₁,x₂,…,x_N为输入数据，θ₁,θ₂,…,θ_N为与输入直接运算的网络权重等参数，θ′表示其他参数。例如，对于多层感知机MLP中单个神经元的运算f，x₁,x₂,…,x_N为输入图像的N个像素值，θ₁,θ₂,…,θ_N为与输入像素值直接相乘的权重参数，θ′为偏置参数。根据攻击者的目的，θ₁,θ₂,…,θ_N和x₁,x₂,…,x_N都可能成为敏感值：假设输入数据为图像数据，如果攻击者的目的是恢复输入图像或像素值，那么输入x₁,x₂,…,x_N便为敏感值；如果攻击者的目的是恢复神经网络的参数如权重等，那么θ₁,θ₂,…,θ_N便为敏感值。此处的敏感值运算是顺序进行的，即公式中下标从1,2,…,N顺序变化。

这种顺序运算会被攻击者利用。当神经网络在硬件设备上运行时，侧信道攻击者可以采集敏感设备运行中泄露的电磁、功耗或声音等侧信道轨迹。由于敏感运算是顺序进行的，攻击者能够将侧信道轨迹与敏感运算相对应，这会导致攻击者可以较容易地通过简单能量分析(SPA)或相关能量分析(CPA)等分析方式，恢复或部分恢复出敏感值。

为了破坏这种能够被攻击者利用的相关性，本发明利用随机置换的方式，对其运算顺序进行打乱，达到防护目的，具体方案如下：

深度神经网络对于网络参数与输入数据进行运算处理之前，对网络参数与输入数据同时进行随机置换，并按照随机置换后的编号进行运算；随机置换后的编号相对于初始的顺序编号而言是随机的；因为函数f对数据的运算顺序不敏感，所以按照随机置换后的编号进行运算获得的运算结果O′，与按照顺序编号(即从小到大的顺序编号)运算获得的运算结果O相同。

如图2所示，通过随机置换模块对网络参数与输入数据同时进行随机置换后，单个神经元的运算(也即按照随机置换后的编号进行运算)可以表示为：

O′＝f(θ_π(1),x_π(1)；θ_π(2),x_π(2)；…；θ_π(N),x_π(N)；θ′)

其中，π表示随机置换函数，π(1),π(2),…,π(N)表示随机置换后的编号。

假设有5组数据即N＝5，原来对数据的处理是按照编号大小顺序依次运算的，即1,2,3,4,5，O＝f(θ₁,x₁；θ₂,x₂；…；θ₅,x₅；θ′)，通过随机置换后的编号变为3,5,2,4,1，也即π(1)＝3,π(2)＝5,…π(5)＝1，O′＝f(θ_π(1),x_π(1)；θ_π(2),x_π(2)；…；θ_π(N),x_π(N)；θ′)；也就是先执行θ₃,x₃，再执行θ₅,x₅,...,最后执行θ₁,x₁。

如图3所示，为随机置换模块的原理图。通过随机置换后，尽管攻击者能获得侧信道轨迹，却无法将获得的轨迹与敏感值相对应，所以无法获得整个敏感信息。该防护破坏了他们之间的相关性。并且，由于深度神经网络中这种运算对数据的顺序没有要求，即函数f对数据的运算顺序不敏感，因此该打乱操作不会对最终结果产生影响，即保证了：O′＝O。

本发明实施例提供的上述方案参数灵活可控。对于其中的随机置换，根据不同的防护等级、安全要求和性能要求，有如下不同的配置方案供选择：

1.每次推断的每个神经元都独立使用一次随机置换。这种配置下防护效果最好，因为每个神经元用到的随机置换都是独立生成的，这样保证了每个神经元中的运算顺序都是随机，并且不同神经元中运算顺序没有关系。该配置用到的随机置换数量最多，性能牺牲会较大。

2.一次推断中多个神经元共用一次随机置换。这种配置下防护效果次之，因为同一次推断中，很多神经元用到的随机置换是一样的，这会导致不同神经元中运算顺序是一样的。该配置用到的随机置换数量次之，性能牺牲也会次之。

3.多次推断中多个神经元共用一次随机置换。这种配置下防护效果再次之，因为多次推断中的多个神经元用到随机置换是一样的，这会导致不同推断中的不同神经中的运算顺序是一样的。该配置用到的随机置换数量最少，性能牺牲也会较小。

本发明实施例中，使用的随机置换越多，代价也就越高，但是安全性也越高，因此，在实际应用中，用户可以根据实际情况来选择具体的配置方案。

相较于传统方案而言，本发明主要具有如下优点：

1、相较于Anuj Dubey等人的论文“MaskedNet:The First Hardware InferenceEngine Aiming Power Side-Channel Protection”而言，本发明利用随机置换的方式，不需要对神经网络中的函数进行修改，方便应用；并且不仅能保护神经网络的参数，也能保护其输入。

2、相较于Yuntao Liu等人的论文“Mitigating Reverse Engineering Attackson Deep Neural Networks”而言，本发明保护神经网络的参数与输入，并且本发明针对的是功耗、时间和电磁等侧信道攻击，面向的侧信道攻击范围更广。

总而言之，本发明提供了一种较为简单，通用性较好，且面向多种侧信道攻击的防护方法，能够有效保护神经网络的参数或输入等敏感信息。

为了便于理解，下面结合具体的网络为进行说明

如图4所示，是一个比较常见的DNN架构，即多层感知机(MLP)。多层感知器由输入层、输出层以及隐藏层组成，不同层的神经元之间是用权值和偏移来连接。多层感知器同一层中的所有神经元互相不连接，但是与相邻层的神经元全连接。激活函数将神经元的加权输入映射为输出，并将该输出作为下一层的输入。

如图5所示，其中单个神经元输出的计算公式为：

其中z为输出，w_i为权重，x_i为输入，b为偏移，g为激活函数。

此处神经元中对输入和权重的运算为顺序进行的，即i＝1,2,…,N。在防护方案中，为了去除测得的侧信道信息与输入之间的相关性，对神经元中的运算使用随机置换模块，如图3，进行随机打乱，即i＝π(1,2,…,N)，其中函数π是随机置换函数。这种转换操作不会对运算结果产生影响，不会影响神经网络的预测进度。并且，对于同一层不同神经元中的运算和不同层神经元中的运算，可以选择使用同样的随机置换序列，也可以重新生成新的随机置换序列。

同样的，卷积神经网络CNN也是一种经常使用的神经网络架构。它通常包含卷积层，池化层，归一化层，全连接层等。其中卷积层计算公式为：

其中O为(x,y)处的像素输出，w为权重，I为输入特征图的像素值，为卷积核大小。对于输出图像的所有像素，x＝1,2,…,M；y＝1,2,…,N；其中M,N分别为图片长宽方向上的像素值范围。

此处卷积神经网络中对输入和权重的运算为顺序进行的，即x＝1,2,…,M；y＝1,2,…,N，在上述的防护方案中，对卷积神经网络中的运算进行随机打乱，即x＝π(1,2,…,M)；y＝π(1,2,…,N)，其中函数π是随机置换函数。并且，对于同一层不同的特征图和不同层特征图中的卷积运算，可以选择使用同样的随机置换序列，也可以重新生成新的随机置换序列。

以上仅举了MLP和CNN的例子，但本发明对其他DNN模型仍然适用。

为了证明上述方案的防护效果，假设攻击者采集到的侧信道泄露信息L中与(θ_i,x_i)对应的部分为l_i，假设攻击者根据l_i能推断出敏感值θ_i(或x_i)的概率为p_i，那么，对于不采用本发明的原始设计(即按照顺序编号运算)，攻击者能成功恢复所有敏感值的概率为：

而对于采用了随机置换的本发明，虽然根据侧信道泄露l_i，攻击者仍然能以概率p_i推断出敏感值θ_i(或x_i)，由于随机置换的存在，攻击者能成功恢复原顺序的所有敏感值的概率为：

其中，N为输入数据总数，p_i表示成功恢复第i个敏感值的概率。

可见，如果需要达到同样的攻击效果，攻击者攻击采用本发明方案的成功概率，将是原始设计的N！之一。比如，对于MNIST数据集而言，输入图像大小为28*28个像素，若采用MLP神经网络，则N＝28*28＝784那么理论上攻击者的攻击难度为原来的(784)！≈3*10¹⁹³⁰倍。

并且，由于深度神经网络中存在多个无序的神经元或运算，这些神经元或运算对敏感值进行运算，可被侧信道攻击者攻击。本发明中提出的方法，可以仅生成一次随机置换，对多次运算重复使用；同样，为了提高安全性，也可对每次运算都生成一个随机置换。

为了对本发明的效果进行评估，下面采用仿真的方式，对MNIST数据集上实现的MLP进行实验。其训练集为60000张图片，测试集为10000张图片。测试精度为97.55％。

根据Lingxiao Wei等人的论文“I know what you see:Power side-channelattack on convolutional neural network accelerators”，攻击者能够根据功耗侧信道信息恢复输入图像像素值，即功耗的位置像素值为0，其余位置像素值不为0。为了仿真该攻击，假设攻击者能够恢复所有0像素值，而其余像素值为255。因此，仿真攻击的示意图如图6所示，其中上图为原始灰度图像，下图为仿真攻击恢复的黑白二值图像。仿真攻击恢复的二值图像的识别精度为95.60％。可见相比原始测试图像的识别精度97.55％，即便仿真攻击的识别精度略有下降，但仍能识别出大多数图像。

同样，为了仿真本发明中的防护方法，随机置换恢复的二值图像。原始图像的像素大小为28*28＝784，第一层神经元对这些输入进行的运算是无序的，即i＝1,2,…,784，因此，使用随机置换生成i′＝π(1,2,…,784)。对本发明防护后的仿真攻击的示意图如图7所示，其中上图为无防护的仿真恢复的二值图像，下图为本发明防护的仿真攻击恢复的二值图像。从图7可以看出，无防护的恢复图像中数字仍可识别，但防护后恢复的图像已经无法看出原始数字。由于MNIST数据集中仅有十个数字0-9，因此理论上随机猜测的正确率为1/10。本发明防护的恢复图像的识别精度为9.86％，与随机猜测的正确率近似，说明防护方法比较有效，攻击者无法从恢复图像中获取信息。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种针对深度学习算法的侧信道攻击的防护方法，其特征在于，包括：

深度神经网络对于网络参数与输入数据进行运算处理之前，对网络参数与输入数据同时进行随机置换，并按照随机置换后的编号进行运算；随机置换后的编号相对于初始的顺序编号而言是随机的；

按照随机置换后的编号进行运算获得运算结果O′，该运算O′与按照顺序编号运算获得的运算结果O相同。

2.根据权利要求1所述的一种针对深度学习算法的侧信道攻击的防护方法，其特征在于，深度神经网络包含多个层次，每一层都包含多个神经元；对于每个神经元单独进行一次随机置换，或者一次推断中多个神经元共用一次随机置换，或者多次推断中多个神经元共用一次随机置换。

3.根据权利要求1所述的一种针对深度学习算法的侧信道攻击的防护方法，其特征在于，

深度神经网络中单个神经元按照顺序编号运算表示为：

其中，f为单个神经元的运算函数，N为输入的个数，x₁，x₂，…，x_N为输入数据，θ₁，θ₂，…，θ_N为与输入数据直接运算的网络参数，θ′表示其他参数；

通过随机置换模块对网络参数与输入数据同时进行随机置换后，单个神经元运算表示为：

O′＝f(θ_π(1)，x_π(1)；θ_π(2)，x_π(2)；…；θ_π(N)，x_π(N)；θ′)

其中，π表示随机置换函数，π(1)，π(2)，...，π(N)表示随机置换后的编号。

4.根据权利要求1或3所述的一种针对深度学习算法的侧信道攻击的防护方法，其特征在于，深度神经网络运算处理中，网络参数与输入数据为敏感值；

深度神经网络按照顺序编号运算时，成功恢复所有敏感值的概率为：

通过随机置换后成功恢复原顺序的概率为：

其中，N为输入数据总数，p_i表示成功恢复第i个敏感值的概率。

Images