CN112766336A - 一种最大化随机平滑下提高模型可验证防御性能的方法 - Google Patents
一种最大化随机平滑下提高模型可验证防御性能的方法 Download PDFInfo
- Publication number
- CN112766336A CN112766336A CN202110028632.9A CN202110028632A CN112766336A CN 112766336 A CN112766336 A CN 112766336A CN 202110028632 A CN202110028632 A CN 202110028632A CN 112766336 A CN112766336 A CN 112766336A
- Authority
- CN
- China
- Prior art keywords
- defense
- classifier
- verifiable
- gradient
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007123 defense Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013507 mapping Methods 0.000 claims abstract description 42
- 238000009499 grossing Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000004880 explosion Methods 0.000 claims abstract description 15
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 43
- 238000013135 deep learning Methods 0.000 abstract description 8
- 238000010801 machine learning Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 101100533306 Mus musculus Setx gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于深度学习安全领域，涉及一种最大化随机平滑下提高模型可验证防御性能的方法，包括：步骤1、基于可微的连续映射函数推导出平滑分类器可验证防御半径与原始分类器输出之间的梯度关系；步骤2、采用平滑映射生成在可行域极值处的无穷小乘项与概率阈值限制可验证防御梯度值爆炸；步骤3、基于防御性能与准确率梯度推导可求解的目标函数；步骤4、基于目标优化函数对模型进行鲁棒性训练以实现最大化模型可验证防御。本发明通用于任意的深度学习以及机器学习分类器，首次求解了随机平滑技术下平滑分类器的可验证防御性能与原始分类器输出之间的梯度关系，解决了求解过程梯度爆炸问题，极大地提升了随机平滑下模型鲁棒性的训练效率。
Description
技术领域
本发明属于深度学习安全领域，涉及一种最大化随机平滑下提高模型可验证防御性能的方法。
背景技术
深度学习技术的出现给诸多领域带来了突破性的发展。然而现有深度学习鲁棒性较差，训练好的模型极易被微小篡改后生成的对抗样本误导，从而做出错误的决策，在某些领域将造成巨大的损失。因而，增强深度学习对对抗样本的鲁棒性，是提升其应用领域安全性的关键步骤。
当前主流的对抗样本防御方法可分为两大类：非可验证防御与可验证防御。对抗训练能提供最有效的非可验证防御，然而此类方法需要耗费巨大的训练时间成本，同时，其所提供的防御存在诸多安全漏洞：模型极易被未知的对抗样本所攻破。基于随机平滑技术的对抗样本防御方法能给大型神经网络带来可验证防御：其严谨地证明了在所提供的防御半径内，不存在任何有效的对抗样本攻击，因此可以最大程度地保证模型的安全运行。然而，由于该技术在训练模型过程中优化目标方向存在偏差，导致可验证防御性能训练效率较低。
发明内容
为了解决现有技术中存在的上述技术问题，本发明提供了一种最大化随机平滑下提高模型可验证防御性能的方法，其具体技术方案如下。
一种最大化随机平滑下提高模型可验证防御性能的方法，包括以下步骤：
步骤1、基于可微的连续映射函数推导出平滑分类器可验证防御半径与原始分类器输出之间的梯度关系；
步骤2、采用平滑映射生成在可行域极值处的无穷小乘项与概率阈值限制可验证防御梯度值爆炸；
步骤3、基于防御性能与准确率梯度推导可求解的目标函数；
步骤4、基于目标优化函数对模型进行鲁棒性训练以实现最大化模型可验证防御。
进一步的，所述步骤1具体包括：
步骤1.1、定义平滑分类器：对于任意神经网络分类器f，在随机平滑后生成相应的平滑分类器g，所述平滑分类器g定义为：
平滑分类器g(x)会返回原始分类器f在高斯噪声分布(x+ε)上预测概率期望最大的类别；其中，ε为均值是0的方差为σ2的各向同性高斯噪声，fθ(x+ε)c是原始分类器对于输入样本的预测结果；M为映射函数，其将原始分类器的输出映射为[0，1]间的概率值；c为class，表示某一类别，y为数据集的类别标签集合，c∈y表示当输入样本的类别属于数据集所有样本类别标签集合；E为求解分类器对输入变量x+ε～N(x,σ2I)的期望值，x为样本，N(x,σ2I)为样本x添加高斯噪声ε生成的对应的高斯分布，I为单位矩阵；
步骤1.2、求解平滑分类器的防御半径与原始分类器输出fθ(x+ε)之间的数学表达：根据随机平滑技术理论，平滑分类器的防御半径R与预测概率期望P关系为：
对某一类别预测概率期望的定义为：
其中，σ为所添加高斯噪声的标准差，Φ为高斯累计密度分布函数，PA 与
为对预测概率期望的向上与向下估计，A为获得最大预测概率的类别，B为第二大预测概率的类别，由于概率的和值(PA+PB)≤1，因此
表征为(1-PA )，则可验证的防御半径简化为：R＝σ*Φ-1(PA )，所述可验证的防御半径R，其物理意义为：
g(x+δ)＝g(x)，即对于任意二范数小于R的对抗扰动δ，平滑分类器对该对抗样本x+δ的分类结果g(x+δ)始终与对原始样本x的分类结果g(x)相同；基于对可验证防御半径R的推导和鲁棒性前提是将原始图片正确分类，得到防御半径R与原始分类器输出fθ(x+ε)的准确关系应表征为
其中1(·)是指示函数，当输入的布尔函数是true时，返回1，否则返回0；
步骤1.3、通过随机采样估计高斯分布x+ε最大类别的预测概率期望Pc：通过随机采样分布中n个样本点来估计整个分布，进而求解期望的近似解，其表达如下：
步骤1.4、通过可微分的映射函数M求解防御半径R的梯度值
根据所解的R与Pc，推导出梯度值
的值如下：
其中，
为所选可微分映射函数的梯度，由于Φ-1(Pc)的值在Pc趋近于1接近于无穷大，因此上述表达在可行域内可能存在无穷大解，即梯度爆炸。
进一步的，所述步骤2具体包括：
步骤2.1、挑选映射函数M以平滑梯度值
通过选取映射函数M，使得
在Pc趋近于1时值接近于0，实现对
的平滑；当映射函数M为SoftMax函数时，
的表达式为Pc*(1-Pc)，其值在Pc为1的情况下为0，满足平滑映射要求；
步骤2.2、设定Pc的最大阈值ρ限制梯度爆炸：由于
是比(1-Pc)高阶的无穷值，Pc越趋近于1时，SoftMax映射的平滑效果越小，因此对概率Pc的最大阈值设定一个上限ρ，具体地，ρ最佳的取值范围为0.99-0.9999，其中，过小的ρ会导致R的优化过程存在过大偏差；
进一步的，所述步骤3具体包括：
选用交叉熵损失作为模型对干净样本分类准确率的损失函数，最大化模型可验证防御性能的目标优化函数表达式为：
where,
其中，β为鲁棒性与准确率的平衡因子，D为整个数据集空间，ACC表示的是准确率损失值，具体的表征为
其中{gθ(x)≠y}表示的为判决条件
指的是当满足{gθ(x)≠y}条件，即分类错误的时候，判决值为1，反之判决值为0；
通过求解上述优化函数来最大化平滑分类器的可验证鲁棒性。
进一步的，所述步骤4具体包括：
步骤4.1、对输入样本进行预处理：在样本输入前先对每一个样本x添加均值为0，方差为σ2各项同性的高斯噪声ε，以生成对应的高斯分布N(x,σ2I)，然后从分布中采样n个点，生成对应的样本集合{x1',...,x'n}，其中x'n＝x+εn，再将每一个样本集合作为独立数据输入神经网络；
步骤4.2、计算神经网络对于每一个样本集合的预测概率期望：将样本集合中的每一个样本点x'n分别输入到神经网络进行计算，得到输出结果，具体的：对于多分类模型，将其最后一层全连接层输出fθ(x'n)作为计算结果，通过SoftMax映射得到每一个样本点的预测概率值MSoftMax(fθ(x'n))，计算样本集中所有的点概率平均值得到模型对该样本集的概率期望P；
步骤4.3、计算每一个batch中目标函数的梯度，并基于随机梯度下降算法更新网络参数：根据batch中所有样本集的预测概率期望，求得当前模型参数下目标函数的梯度值为：
其中，e是指数函数，Dbatch为整个数据空间中一个batch_size的数据集合。
本发明的有益效果：
本发明首次求解了随机平滑技术下平滑分类器的可验证防御性能与原始分类器输出之间的梯度关系，解决了其无法在训练过程中最大化的可验证防御性能的问题；其次，提出了平滑映射与概率阈值结合的策略，进一步优化了可验证防御性能的梯度，解决了求解过程梯度爆炸问题，使更易于随机梯度下降算法求解；最后，推导了最大化可验证防御性能目标函数与相应的鲁棒性训练，极大地提升了随机平滑下模型鲁棒性的训练效率；本方法在Cifar10与ImageNet上对ResNet模型进行了测试并对比同类最优方法，结果表明，基于本发明的方法能极大地提升可验证防御性能的训练效率。
本发明不涉及对模型本身的要求，通用于任意的深度学习以及机器学习分类器，且其效率远高于其他同类方法。
附图说明
图1是本发明的执行流程示意图；
图2是是本发明最大化可验证防御性能的训练框架示意图；
图3是本发明使用平滑映射与概率阈值前的梯度示意图；
图4是本发明使用平滑映射与概率阈值后的梯度示意图。
具体实施方式
为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图，对本发明作进一步详细说明。
如图1-4所示，一种最大化随机平滑下提高模型可验证防御性能的方法，包括：
步骤1、计算平滑分类器的可验证防御半径与原始分类器输出之间的梯度关系：由于现有随机平滑技术的可验证防御半径与原始分类器输出之间不存在可计算的梯度，导致在训练过程中无法最大化可验证防御性能，为保留平滑分类器可验证防御半径与原始分类器输出之间的梯度信息，采用可微的连续映射函数替代了原技术中离散的映射函数，解决离散映射梯度丢失的问题，推导出平滑分类器可验证防御半径与原始分类器输出之间的梯度关系，具体包括：
步骤1.1、定义平滑分类器：对于任意神经网络分类器f，在随机平滑后可以生成相应的平滑分类器g，其定义为：
平滑分类器g(x)会返回原始分类器f在高斯噪声分布(x+ε)上预测概率期望最大的类别。其中，ε为均值是0的方差为σ2的各向同性高斯噪声，fθ(x+ε)c是原始分类器对于输入样本的预测结果；M为映射函数，其将原始分类器的输出映射为[0，1]间的概率值；c为class，表示某一类别，y为数据集的类别标签集合，c∈y表示当输入样本的类别属于数据集所有样本类别标签集合；E为求解输入分类器对变量x+ε～N(x,σ2I)的期望值，x为样本，N(x,σ2I)为样本x添加高斯噪声ε生成的对应的高斯分布，I为单位矩阵。
步骤1.2、求解平滑分类器的防御半径与原始分类器输出fθ(x+ε)之间的数学表达：根据随机平滑技术理论，平滑分类器的防御半径R与预测概率期望P关系为：
对某一类别预测概率期望的定义为：
其中，σ为所添加高斯噪声的标准差，Φ为高斯累计密度分布函数，PA 与
为对预测概率期望的向上与向下估计，A为获得最大预测概率的类别，B为第二大预测概率的类别，由于概率的和值(PA+PB)≤1，因此
可以表征为(1-PA )，则可验证的防御半径可以简化为：R＝σ*Φ-1(PA )，对于可验证的防御半径R，其物理意义为：
g(x+δ)＝g(x)，即对于任意二范数小于R的对抗扰动δ，平滑分类器对该对抗样本x+δ的分类结果g(x+δ)始终与对原始样本x的分类结果g(x)相同；基于上述对可验证防御半径R的推导，并考虑到鲁棒性前提是将原始图片正确分类，因此，防御半径R与原始分类器输出fθ(x+ε)的准确关系应表征为：
其中1(·)是指示函数，如果输入的布尔函数是true，则返回1，否则返回0。
步骤1.3、通过随机采样估计高斯分布x+ε最大类别的预测概率期望Pc：由于神经网络的输入是一个高斯分布x+ε，无法枚举所有可能输入以求解该预测概率期望值的真实值，因而，通过随机采样分布中n个样本点来估计整个分布，进而求解期望的近似解，其表达如下：
步骤1.4、通过可微分的映射函数M求解防御半径R的梯度值
根据步骤1.2和步骤1.3所解的R与Pc，推导出梯度值
的值如下：
其中，
为所选可微分映射函数的梯度，由于Φ-1(Pc)的值在Pc趋近于1接近于无穷大，因此上述表达在可行域内可能存在无穷大解，即梯度爆炸问题。
步骤2、采用平滑映射生成在可行域极值处的无穷小乘项与概率阈值限制可验证防御梯度值爆炸：由于步骤一所得的梯度值在可行域内存在无穷值，因此直接通过梯度下降算法训练模型容易产生梯度爆炸现象；因此采用了平滑映射与概率阈值对梯度进行了优化，解决其可行域内梯度爆炸问题，具体包括：
步骤2.1、挑选映射函数M以平滑梯度值
的爆炸现象主要发生在Pc趋近于1时，因此，通过选取合适的映射函数，使得
在Pc趋近于1时值接近于0，实现对
的平滑；当映射函数M为SoftMax函数时，
的表达式为Pc*(1-Pc)，其值在Pc为1的情况下为0，满足平滑映射要求；
步骤2.2、设定Pc的最大阈值ρ限制梯度爆炸：由于
是比(1-Pc)高阶的无穷值，Pc越趋近于1时，SoftMax映射的平滑效果越小，因此对概率Pc的最大阈值设定一个上限ρ，具体地，ρ最佳的取值范围为0.99-0.9999，其中，过小的ρ会导致R的优化过程存在过大偏差。
步骤3、基于防御性能与准确率梯度推导可求解的目标函数，实现分类准确率与鲁棒性的联合优化：由于可验证鲁棒性的前提条件是平滑分类器对干净图片正确分类，因而为获得更大的可验证鲁棒性，应保证模型对尽可能多的干净样本分类正确，选用交叉熵损失作为分类准确率的损失函数，其目标优化函数表达如下：
where,
其中，β为鲁棒性与准确率的平衡因子，D为整个数据集空间，ACC表示的是准确率损失值，具体的表征为
其中{gθ(x)≠y}表示的为判决条件
指的是当满足{gθ(x)≠y}条件，即分类错误的时候，判决值为1，反之判决值为0；
通过求解上述优化函数来最大化平滑分类器的可验证鲁棒性。
步骤4、基于目标优化函数对模型进行鲁棒性训练以实现最大化模型可验证防御：对数据集中的每个样本添加预设的各向同性高斯噪声生，以成对应的高斯分布，并通过随机采样n个样本得到对应的样本集合，随后计算模型对每一个样本集合预测概率值的期望，基于期望值计算当前参数下模型的可验证防御半径，并对误差进行反向传播更新模型参数。
步骤4.1、对输入样本进行预处理：考虑到可验证防御半径的计算涉及对高斯噪声污染后分布预测概率的期望估计，因此，在样本输入前应先对每一个样本x添加均值为0，方差为σ2各项同性的高斯噪声ε，以生成对应的高斯分布N(x,σ2I)，再从分布中采样n个点，生成对应的样本集合{x1',...,x'n}，其中x'n＝x+εn，最后将每一个样本集合作为独立数据输入神经网络。
步骤4.2、计算神经网络对于每一个样本集合的预测概率期望：将样本集合中的每一个样本点x'n分别输入到神经网络进行计算，得到输出结果，具体的：对于多分类模型，将其最后一层全连接层输出fθ(x'n)作为计算结果，通过SoftMax映射得到每一个样本点的预测概率值MSoftMax(fθ(x'n))，计算样本集中所有的点概率平均值得到模型对该样本集的概率期望P。
步骤4.3、计算每一个batch中目标函数的梯度，并基于随机梯度下降算法更新网络参数：根据batch中所有样本集的预测概率期望，求得当前模型参数下目标函数的梯度值为：
其中，e是指数函数，Dbatch为整个数据空间中一个batch_size的数据集合。
将以在Cifar10与ImageNet数据集上分别最大化ResNet110和ResNet50的可验证防御性能作为实际任务对本发明的技术方案做进一步的详细描述。
在Cifar10上，采用了ResNet110网络，并设定最外层输出通道数为10。基于所提出的最大化可验证防御目标函数，本发明实验采用了SGD随机梯度下降算法对模型进行优化，其训练的总轮次为70轮，初始学习率为0.01，并在第40轮和第60轮乘上0.1的衰减系数。对于输入样本，对其添加了均值为0，方差σ2分别为0.25和0.50的高斯噪声，并设定随机采样点的个数为16。在ImageNet上，本实验采用了ResNet50网络，并设定最外层输出通道数为1000。基于所提出的最大化可验证防御目标函数，采用了SGD随机梯度下降算法对模型进行优化，其训练的总轮次为35轮，初始学习率为0.01，并在第25轮和第30轮乘上0.1的衰减系数。对于输入样本，对其添加了均值为0，方差σ2分别为0.25和0.50的高斯噪声，并设定随机采样点的个数为2。
本发明将最终两个模型的分类准确率，平均可验证防御半径与训练总时间与该领域同类最优的工作进行了对比，其具体信息如下表所示：
其结果表明，对比随机平滑结合对抗训练增强可验证防御性能的方法，在Cifar10数据集上，本发明仅用了11.1％的训练时间达到了近似的可验证防御性能，且在噪声方差为0.25的情况下提升了2.0％的分类准确率，在噪声方差为0.50的情况下提升了8.0％的分类准确率。在ImageNet数据集上，本发明仅用了17.2％的训练时间就达到了近似的可验证防御性能，且在噪声方差为0.25的情况下提升了2.0％的分类准确率，在噪声方差为0.50的情况下提升了3.0％的分类准确率。
本发明不涉及对模型本身的要求，因此该防御方法通用于任意的深度学习以及机器学习分类器。此外，本方法通过直接最大化模型的可验证防御性能，因此其效率远高于其他同类方法。
Claims (5)
1.一种最大化随机平滑下提高模型可验证防御性能的方法，其特征在于，包括以下步骤：
步骤1、基于可微的连续映射函数推导出平滑分类器可验证防御半径与原始分类器输出之间的梯度关系；
步骤2、采用平滑映射生成在可行域极值处的无穷小乘项与概率阈值限制可验证防御梯度值爆炸；
步骤3、基于防御性能与准确率梯度推导可求解的目标函数；
步骤4、基于目标优化函数对模型进行鲁棒性训练以实现最大化模型可验证防御。
2.如权利要求1所述的一种最大化随机平滑下提高模型可验证防御性能的方法，其特征在于，所述步骤1具体包括：
步骤1.1、定义平滑分类器：对于任意神经网络分类器f，在随机平滑后生成相应的平滑分类器g，所述平滑分类器g定义为：
平滑分类器g(x)会返回原始分类器f在高斯噪声分布(x+ε)上预测概率期望最大的类别；其中，ε为均值是0的方差为σ2的各向同性高斯噪声，fθ(x+ε)c是原始分类器对于输入样本的预测结果；M为映射函数，其将原始分类器的输出映射为[0，1]间的概率值；c为class，表示某一类别，y为数据集的类别标签集合，c∈y表示当输入样本的类别属于数据集所有样本类别标签集合；E为求解分类器在输入变量x+ε～N(x,σ2I)上的期望值，x为样本，N(x,σ2I)为样本x添加高斯噪声ε生成的对应的高斯分布，I为单位矩阵；
步骤1.2、求解平滑分类器的防御半径与原始分类器输出fθ(x+ε)之间的数学表达：根据随机平滑技术理论，平滑分类器的防御半径R与预测概率期望P关系为：
对某一类别预测概率期望的定义为：
其中，σ为所添加高斯噪声的标准差，Φ为高斯累计密度分布函数，PA 与
为对预测概率期望的向上与向下估计，A为获得最大预测概率的类别，B为第二大预测概率的类别，由于概率的和值(PA+PB)≤1，因此
表征为(1-PA )，则可验证的防御半径简化为：R＝σ*Φ-1(PA )，所述可验证的防御半径R，其物理意义为：
g(x+δ)＝g(x)，即对于任意二范数小于R的对抗扰动δ，平滑分类器对该对抗样本x+δ的分类结果g(x+δ)始终与对原始样本x的分类结果g(x)相同；基于对可验证防御半径R的推导和鲁棒性前提是将原始图片正确分类，得到防御半径R与原始分类器输出fθ(x+ε)的准确关系应表征为
其中1(·)是指示函数，当输入的布尔函数是true时，返回1，否则返回0；
步骤1.3、通过随机采样估计高斯分布x+ε最大类别的预测概率期望Pc：通过随机采样分布中n个样本点来估计整个分布，进而求解期望的近似解，其表达如下：
步骤1.4、通过可微分的映射函数M求解防御半径R的梯度值
根据所解的R与Pc，推导出梯度值
的值如下：
其中，
为所选可微分映射函数的梯度，由于Φ-1(Pc)的值在Pc趋近于1接近于无穷大，因此上述表达在可行域内可能存在无穷大解，即梯度爆炸。
3.如权利要求2所述的一种最大化随机平滑下提高模型可验证防御性能的方法，其特征在于，所述步骤2具体包括：
步骤2.1、挑选映射函数M以平滑梯度值
通过选取映射函数M，使得
在Pc趋近于1时值接近于0，实现对
的平滑；当映射函数M为SoftMax函数时，
的表达式为Pc*(1-Pc)，其值在Pc为1的情况下为0，满足平滑映射要求；
步骤2.2、设定Pc的最大阈值ρ限制梯度爆炸：由于
是比(1-Pc)高阶的无穷值，Pc越趋近于1时，SoftMax映射的平滑效果越小，因此对概率Pc的最大阈值设定一个上限ρ，ρ最佳的取值范围为0.99-0.9999。
4.如权利要求3所述的一种最大化随机平滑下提高模型可验证防御性能的方法，其特征在于，所述步骤3具体包括：
选用交叉熵损失作为模型对干净样本分类准确率的损失函数，最大化模型可验证防御性能的目标优化函数表达式为：
其中，β为鲁棒性与准确率的平衡因子，D为整个数据集空间，ACC表示的是准确率损失值，具体的表征为
其中{gθ(x)≠y}表示的为判决条件
指的是当满足{gθ(x)≠y}条件，即分类错误的时候，判决值为1，反之判决值为0；
通过求解上述优化函数来最大化平滑分类器的可验证鲁棒性。
5.如权利要求4所述的一种最大化随机平滑下提高模型可验证防御性能的方法，其特征在于，所述步骤4具体包括：
步骤4.1、对输入样本进行预处理：在样本输入前先对每一个样本x添加均值为0，方差为σ2各项同性的高斯噪声ε，以生成对应的高斯分布N(x,σ2I)，然后从分布中采样n个点，生成对应的样本集合{x′1,...,x′n}，其中x′n＝x+εn，再将每一个样本集合作为独立数据输入神经网络；
步骤4.2、计算神经网络对于每一个样本集合的预测概率期望：将样本集合中的每一个样本点x′n分别输入到神经网络进行计算，得到输出结果，具体的：对于多分类模型，将其最后一层全连接层输出fθ(x′n)作为计算结果，通过SoftMax映射得到每一个样本点的预测概率值MSoftMax(fθ(x′n))，计算样本集中所有的点概率平均值得到模型对该样本集的概率期望P；
步骤4.3、计算每一个batch中目标函数的梯度，并基于随机梯度下降算法更新网络参数：根据batch中所有样本集的预测概率期望，求得当前模型参数下目标函数的梯度值为：
其中，e为指数函数，Dbatch为整个数据空间中一个batch_size的数据集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110028632.9A CN112766336A (zh) | 2021-01-08 | 2021-01-08 | 一种最大化随机平滑下提高模型可验证防御性能的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110028632.9A CN112766336A (zh) | 2021-01-08 | 2021-01-08 | 一种最大化随机平滑下提高模型可验证防御性能的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112766336A true CN112766336A (zh) | 2021-05-07 |
Family
ID=75701190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110028632.9A Pending CN112766336A (zh) | 2021-01-08 | 2021-01-08 | 一种最大化随机平滑下提高模型可验证防御性能的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766336A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113361611A (zh) * | 2021-06-11 | 2021-09-07 | 南京大学 | 一种众包任务下的鲁棒分类器训练方法 |
-
2021
- 2021-01-08 CN CN202110028632.9A patent/CN112766336A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113361611A (zh) * | 2021-06-11 | 2021-09-07 | 南京大学 | 一种众包任务下的鲁棒分类器训练方法 |
| CN113361611B (zh) * | 2021-06-11 | 2023-12-12 | 南京大学 | 一种众包任务下的鲁棒分类器训练方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | A feature-reduction multi-view k-means clustering algorithm | |
| CN110334580A (zh) | 基于集成增量的动态权重组合的设备故障分类方法 | |
| CN110929848B (zh) | 基于多挑战感知学习模型的训练、跟踪方法 | |
| CN111553186A (zh) | 一种基于深度长短时记忆网络的电磁信号识别方法 | |
| CN108154186B (zh) | 一种模式识别方法和装置 | |
| CN116862022A (zh) | 一种通信高效的隐私保护个性化联邦学习方法 | |
| CN115952860A (zh) | 一种面向异质统计的分簇联邦学习方法 | |
| CN115344693A (zh) | 一种基于传统算法和神经网络算法融合的聚类方法 | |
| CN113378900B (zh) | 一种基于聚类的大规模不规则kpi时间序列的异常检测方法 | |
| CN112766336A (zh) | 一种最大化随机平滑下提高模型可验证防御性能的方法 | |
| CN110232151A (zh) | 一种混合概率分布检测的QoS预测模型的构建方法 | |
| CN113656707A (zh) | 一种理财产品推荐方法、系统、存储介质及设备 | |
| KR100869554B1 (ko) | 영역 밀도 표현에 기반한 점진적 패턴 분류 방법 | |
| Fischer et al. | Increasing the performance of a training algorithm for local model networks | |
| CN111950635A (zh) | 一种基于分层特征对齐的鲁棒特征学习方法 | |
| CN116787227A (zh) | 小样本下数据增强与多特征融合的刀具磨损状态监测方法 | |
| CN104408715A (zh) | 基于自适应模糊c均值聚类模糊化的sar图像分析方法 | |
| CN114124437B (zh) | 基于原型卷积网络的加密流量识别方法 | |
| CN116010832A (zh) | 联邦聚类方法、装置、中心服务器、系统和电子设备 | |
| CN113177078B (zh) | 基于条件生成模型的近似查询处理算法 | |
| CN115510986A (zh) | 一种基于AdvGAN的对抗样本生成方法 | |
| CN111612101B (zh) | 非参数Waston混合模型的基因表达数据聚类方法、装置及设备 | |
| CN115688873A (zh) | 图数据处理方法、设备及计算机程序产品 | |
| CN116015787B (zh) | 基于混合持续变分量子神经网络的网络入侵检测方法 | |
| CN110210988B (zh) | 一种基于深度哈希的符号社交网络嵌入方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210507 |
|
| RJ01 | Rejection of invention patent application after publication |