CN112884065A - 一种基于支持向量机的深度学习模型鲁棒边界评估方法、装置和应用 - Google Patents
一种基于支持向量机的深度学习模型鲁棒边界评估方法、装置和应用 Download PDFInfo
- Publication number
- CN112884065A CN112884065A CN202110272000.7A CN202110272000A CN112884065A CN 112884065 A CN112884065 A CN 112884065A CN 202110272000 A CN202110272000 A CN 202110272000A CN 112884065 A CN112884065 A CN 112884065A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- learning model
- support vector
- vector machine
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013136 deep learning model Methods 0.000 title claims abstract description 163
- 238000012706 support-vector machine Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000009826 distribution Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims abstract description 19
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 230000007123 defense Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012952 Resampling Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000010187 selection method Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 19
- 230000000694 effects Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004821 distillation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013140 knowledge distillation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241000209499 Lemna Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于支持向量机的深度学习模型鲁棒边界评估方法、装置和应用，包括为用于分类任务的深度学习模型的每个分类类别分配一个支持向量机；将样本数据分别输入至深度学习模型和每个支持向量机，得到样本数据在深度学习模型和每个支持向量机的特征空间分布；针对每个支持向量机，以样本数据在支持向量机的特征空间分布与在深度学习模型的特征空间分布的散度指标作为损失函数优化支持向量机的参数；优化结束后，每个支持向量机的决策边界即为深度学习模型对与支持向量机对应的分类类别的决策边界，依据该决策边界实现对深度学习模型鲁棒边界评估，进而实现训练阶段深度学习模型的安全性评估与提升。
Description
技术领域
本发明属于深度学习攻防领域，具体涉及一种支持向量机(SVM)的深度学习模型鲁棒边界评估方法、装置和应用。
背景技术
人工智能技术中的深度学习技术凭借在计算机视觉、自然语言处理等领域的良好表现而广泛应用于人机交互、无人驾驶等任务。在其逐步替代人类进行自主决策的过程中，由于深度学习自身存在黑盒模型解释性差、容易受到对抗攻击等问题，已经给网络安全和信息安全带来风险，会给社会安全带来意想不到的危害。
深度学习模型缺乏可解释性，对研究人员来说是个黑盒，难以通过数学推导的方式进行建模。为了实现对深度学习模型的可解释性，Robnik-Sikonja等(详见文献Robnik-
M,Bohanec M.Perturbation-based explanations of prediction models[M]//Human and machine learning.Springer,Cham,2018:159-175.)通过对输入样本单个属性值的预测进行分解的方式来观察属性值对该样本预测结果的影响。Kim等(详见文献Kim B,Wattenberg M,Gilmer J,et al.Interpretability beyond feature attribution:Quantitative testing with concept activation vectors(tcav)[C]//Internationalconference on machine learning.PMLR,2018:2668-2677.)提出概念激活向量TCAV，并基于此设计了测试方法来量化模型预测对学习获得的高级概念的敏感度，从而完成对深度学习模型的解释。
针对序列数据中的依赖关系解释问题，Guo等提出了LEMNA，利用可解释模型来近似循环神经网络的局部决策边界。Hinton等提出了一种知识蒸馏方法，通过训练单一的相对较小的网络来模拟原始复杂网络或协同网络模型的预测概率。Frosst等扩展了Hinton的知识蒸馏方法，提出利用决策树来模拟复杂深度神经网络模型的决策，提升了蒸馏知识的可解释性。
然而，蒸馏模型只是对原始复杂模型的一种全局近似，所做出的解释不一定能反映待解释模型的真实行为。现有的深度学习模型攻防研究已经提出了大量对抗攻击与防御方法，但目前尚无法直接从模型的内部运行过程来分析攻防的有效性。
与此同时，已有一系列深度学习模型的可解释技术帮助理解深度学习的黑盒模型，其研究目的在于解释模型自动学习到的样本关键特征与分类边界等，但他们并不针对模型的对抗攻防做解释。
发明内容
鉴于上述，本发明的目的是提供一种支持向量机的深度学习模型鲁棒边界评估方法、装置和应用。通过利用支持向量机对深度学习模型的决策边界进行逼近，来研究深度学习模型的决策边界并分析分类效果，实现训练阶段深度学习模型的安全性评估与提升。
为实现上述发明目的，本发明提供以下技术方案：
第一方面，一种支持向量机的深度学习模型鲁棒边界评估方法，包括以下步骤：
为用于分类任务的深度学习模型的每个分类类别分配一个支持向量机；
将样本数据分别输入至深度学习模型和每个支持向量机，得到样本数据在深度学习模型和每个支持向量机的特征空间分布；
针对每个支持向量机，以样本数据在支持向量机的特征空间分布与在深度学习模型的特征空间分布的散度指标作为损失函数优化支持向量机的参数；
优化结束后，每个支持向量机的决策边界即为深度学习模型对与支持向量机对应的分类类别的决策边界，依据该决策边界实现对深度学习模型鲁棒边界评估。
优选地，在对支持向量机的参数优化时，损失函数为：
其中，
表示基于KL散度的特征分布与决策边界相似度，log(·)表示对数函数，∫表示积分符号，
表示SVM分类器对目标类j的预测置信度，也即是特征空间分布，
表示深度学习模型对目标类的预测置信度，μ(x)为采样密度；
依据该损失函数优化支持向量机的参数时，当损失函数值小于设定阈值时，优化结束。
优选地，在优化支持向量机的参数时，对每一个样本数据采用定向重采样方式确定搜索方向，当特征分布接近时，即损失函数值变小，则继续按照上一次重采样方向移动，反之则向反方向移动。
优选地，所述深度学习模型用于图像分类，信号分类，所述样本数据为图像数据和信号数据。
第二方面，一种基于支持向量机的深度学习模型鲁棒边界评估装置，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在所述计算机处理器上执行的计算机程序，计算机处理器执行计算机程序时实现上述支持向量机的深度学习模型鲁棒边界评估方法。
第三方面，一种用户分类任务的深度学习模型的选择方法，包括以下步骤：
针对候选的每个深度学习模型，利用上述支持向量机的深度学习模型鲁棒边界评估方法确定每个深度学习模型的决策边界；
根据决策边界判定深度学习模型对每个目标类的分类情况，以筛选深度学习模型。
第四方面，一种用户分类任务的深度学习模型的选择装置，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在所述计算机处理器上执行的计算机程序，计算机处理器执行计算机程序时实现上述用户分类任务的深度学习模型的选择方法。
第五方面，一种用户分类任务的深度学习模型的防御方法，包括以下步骤：
对于深度学习模型，利用上述支持向量机的深度学习模型鲁棒边界评估方法确定深度学习模型针对每个目标类的决策边界；
根据每个目标类的决策边界，确定容易被攻击的目标类；
在容易被攻击的目标类对应的样本数据中添加扰动，得到增强样本数据，并利用增强样本数据对深度学习模型进行参数优化，以实现深度学习模型对容易被攻击的目标类的防御。
第六方面，一种用户分类任务的深度学习模型的防御装置，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，计算机处理器执行计算机程序时实现上述用户分类任务的深度学习模型的防御方法。
与现有技术相比，本发明具有的有益效果至少包括：
本发明提供的基于支持向量机的深度学习模型鲁棒边界评估方法和装置，为深度学习模型的每个分类类别分配一个支持向量机，依据特征空间分布状态将支持向量机来逼近深度学习模型，并将支持向量机的决策边界作为深度学习模型的决策边界，依此来评估深度学习模型的安全性，同时，获得的决策边界可以作为深度学习模型选择和防御的依据，实现对深度学习模型的筛选和防御。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1和图2是本发明实施例提供的基于支持向量机的深度学习模型鲁棒边界评估方法的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
为了克服目前深度学习模型可解释方法不能评估鲁棒边界，无法验证其有效性的问题，本发明提供了一种基于支持向量机的深度学习模型鲁棒边界评估方法，旨在通过利用利用支持向量机对深度学习模型的决策边界进行逼近，来研究深度学习模型的决策边界并分析分类效果。该深度学习模型可以是用于图像分类任务的深度学习模型，如人脸分类任务的深度学习模型，也可以是信号分类任务的深度学习模型，如调制信号分类任务的深度学习模型，针对用于图像分类任务和信号分类任务的深度学习模型，提供的基于支持向量机的深度学习模型鲁棒边界评估方法，旨在通过支持向量机的逼近实现深度学习模型在图像分类和信号分类时，针对每一类的决策边界，该决策边界能够评估对应的目标类的分类效果以及安全性，该分类效果可以用来指导作为模型选择和防御的依据。
实施例提供的基于支持向量机的深度学习模型鲁棒边界评估方法技术构思为：基于支持向量机的深度模型鲁棒边界评估方法，适用于多种深度学习模型，达到提高训练阶段深度模型的鲁棒性的效果。利用样本点随机采样构成数据集，训练多个二分类SVM分类器逼近模型的决策边界，基于KL散度评估SVM等价模型与深度模型的逼近程度，反馈其等价效果并增量采样数据迭代训练SVM，实现等价效果。
图1和图2是本发明实施例提供的基于支持向量机的深度学习模型鲁棒边界评估方法的流程图。如图1和图2所示，深度学习模型鲁棒边界评估方法包括以下步骤：
步骤1，为用于分类任务的深度学习模型的每个分类类别分配一个支持向量机。
实施例中，与深度学习模型不同，支持向量机(SVM)等简单的机器学习算法基于公式推导，可以用数学方法来计算边界。由此，利用SVM易于推导决策边界的优点，选择SVM作为逼近深度学习模型的基础分类器，用于拟合深度学习模型的分类任务。对于包含m类样本的数据集，即深度学习模型用于实现M类分类任务，则需要为深度学习模型配置并训练m个SVM分类器，每个分类器实现判别目标类和非目标类样本的二分类任务。
针对SVM，其决策边界的推导过程为：将类标定义为-1和+1，而所需要在n维空间中寻找的超平面，则被定义为：wTx+b＝0。由此，分类函数定义为f(x)＝wTx+b。SVM的动机是寻找一个最佳的决策边界，使得从决策边界与各组数据之间存在距离，并且需要使各侧的距离最大化。从决策边界到各个训练的距离越大，在分类操作的差错率就会越小。
将训练样本的坐标带入可以得到三种结果：f(x)＝0,则该点处于决策平面上；f(x)>0,属于y＝1类；f(x)<0，属于y＝-1类。而对于每个训练样例，可以通过计算如下定义的“函数间隔”，来判断是否分类正确(数值为负则说明错误)，以及通过数值大小看出测试点与决策平面的距离：
真正表征SVM决策边界距离宽窄的，是上式中值最小的那个，也就是说，距离边界最近的点，其到边界的距离，决定了距离的大小。距离边界最近的点到平面的几何距离计算如下：
为了最优化分类结果，要使几何距离最大化：
这就是SVM线性可分集的决策边界。
在训练前首先将训练样本数据进行归一化以达到更好的收敛效果，核函数选择RBF核函数，二分类任务gamma选择为0.5。惩罚系数C代表对误差的宽容度，选择为0.00001到10000之间，数字越大越容易过评估。
步骤2，利用支持向量机对深度学习模型进行决策边界逼近，以确定并评估深度学习模型的鲁棒边界。
步骤2的具体过程为：
步骤2-1，将样本数据分别输入至深度学习模型和每个支持向量机，得到样本数据在深度学习模型和每个支持向量机的特征空间分布。
针对每一个目标类的样本数据，该样本数据可以为图像数据，如目标类为动物任务的猫，该样本数据还可以信号数据，如目标类为调制信号的中的某一类型。对这些样本数据进行重采样，得到尺寸改为32×32的训练样本，并将这些训练样本输入训练好的深度学习模型(DNN)中，该参数确定的深度学习模型对于该目标类的训练样本存在固定的特征空间分布DDNN并输出。
同样，将重采样后的训练样本输入至SVM分类器中，得到SVM分类器的特征空间分布DSVM。
步骤2-2，针对每个支持向量机，以样本数据在支持向量机的特征空间分布与在深度学习模型的特征空间分布的散度指标作为损失函数优化支持向量机的参数；
记DDNN和DSVM分别为同一类训练样本输入到DNN和SVM两种分类器后的特征空间分布，两者在最优传输理论下的关联性指标定义如下。
其中，log(·)表示对数函数，∫表示积分符号，x表示Fi(·)和Fj(·)中的元素，μ(x)为采样密度，当存在满足DSVM＝0且DDNN>0的点时，KL散度指标是不对称的，而且还可能值是无穷大。KL散度值越大，两种分布之间的差异越大。
对于其中一个分类器
可以表示为：
其中，αi表示样本对应的拉格朗日系数，即在分类器中需要优化的参数，yi∈{1,-1}表示二分类中各个样本对应的类标，1表示目标类，-1表示除目标类外的其它类，K(·,·)表示核函数，β表示偏置，xi表示各个训练样本，x表示待识别的样本。
为了评估目标DNN对应的第j类数据的特征分布，j∈[0,m-1]，需要让SVM分类器的输出特征分布逼近DNN的输出特征分布，具体优化目标定义为：
其中，
表示基于KL散度的特征分布与决策边界相似度，log(·)表示对数函数，∫表示积分符号，
表示SVM分类器对目标类j的预测置信度，
表示深度模型对目标类的预测置信度，μ(x)为采样密度。
当
时，则认为SVM和DNN对目标类的特征映射分布情况接近，结束该目标类的优化。其中TBoundary表示特征分布的散度衡量阈值。为了加快优化的步骤，对每一个样本采用定向重采样的方式确定搜索方向，当特征分布接近时，即
变小，则继续按照上一次重采样方向移动，反之则向反方向移动。
在优化的过程中，采用在特征空间中的散度计算衡量分布接近情况，并反馈到重采样优化搜索方向，最后实现SVM决策边界对DNN决策边界的逼近。散度指标值变小，两个分布越接近，继续按照上一次重采样的方向移动，反之亦然。重复上述步骤，直到训练m个SVM分类器对所有类的样本都实现决策边界的逼近，由m个SVM组成的集合就是该目标DNN的等价模型。
步骤2-3，优化结束后，每个支持向量机的决策边界即为深度学习模型对与支持向量机对应的分类类别的决策边界，依据该决策边界实现对深度学习模型鲁棒边界评估。
当损失函数值小于设定阈值时，则优化结束，同时会获得SVM的决策边界，该决策边界即为深度学习模型对应分类的决策边界，由于SVM的决策边界清晰可见，通过该拟合逼近方法也实现了对深度学习模型的目标类的决策边界的可视化，便于分析深度学习模型对目标类的分类效果和安全性。
利用上述深度学习模型鲁棒边界评估方法进行实验，实验结果如表1所示，从表1可得，通过上述方法得到的决策边界，能够分清楚地分辨良性样本和对抗样本，即能够准确地分析解释深度学习模型的分类机理。
表1实验结果
上述深度学习模型鲁棒边界评估方法，能够适用于多种深度学习模型，利用SVM线性逼近模型的决策边界，评估深度模型的鲁棒边界并分析分类效果，计算训练样本的安全边界并提出可验证鲁棒性，实现训练阶段深度学习模型的安全性评估与提升。在真实图像上的实验结果表明，该算法具有良好的适用性和精度，能够有效地评估深度模型的决策边界并分析分类效果，实现了深度模型的鲁棒边界的等价。
实施例还提供了一种基于支持向量机的深度学习模型鲁棒边界评估装置，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在所述计算机处理器上执行的计算机程序，计算机处理器执行计算机程序时实现上述基于支持向量机的深度学习模型鲁棒边界评估方法。
实际应用中，计算机存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。计算机处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现基于支持向量机的深度学习模型鲁棒边界评估方法步骤。
上述实施例提供的基于支持向量机的深度学习模型鲁棒边界评估方法和装置，通过为深度学习模型的每个分类类别分配一个支持向量机，依据特征空间分布状态将支持向量机来逼近深度学习模型，并将支持向量机的决策边界作为深度学习模型的决策边界，即从内部机理出发，对模型的决策边界进行分析，在鲁棒边界内的样本不会影响模型的正常判断，而边界外的则会严重威胁模型的安全性。确定模型的鲁棒边界，使模型在应用过程中更加安全可靠。
实施例还提供了上述深度学习模型鲁棒边界评估方法和装置获得的决策边界的应用，即利用深度学习模型的决策边界进行模型的筛选和模型的防御。
其中一种应用提供了一种用户分类任务的深度学习模型的选择方法，包括以下步骤：
针对候选的每个深度学习模型，利用权利要求1～4任一项所述的基于支持向量机的深度学习模型鲁棒边界评估方法确定每个深度学习模型的决策边界；
根据决策边界判定深度学习模型对每个目标类的分类情况，以筛选深度学习模型。
其中另一种应用提供了一种用户分类任务的深度学习模型的选择装置，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在所述计算机处理器上执行的计算机程序，计算机处理器执行计算机程序时实现权利要求上述用户分类任务的深度学习模型的选择方法。
上述实施例提供的一种用户分类任务的深度学习模型的选择方法和装置，通过根据深度学习模型的决策边界来判断模型对目标类的分类效果，可以根据该分类效果选择满足分类要求的深度学习模型用于目标类的分类任务，以提升分类任务的准确性。
其中一种应用提供了一种用户分类任务的深度学习模型的防御方法，包括以下步骤：
对于深度学习模型，利用上述基于支持向量机的深度学习模型鲁棒边界评估方法确定深度学习模型针对每个目标类的决策边界；
根据每个目标类的决策边界，确定容易被攻击的目标类；
在容易被攻击的目标类对应的样本数据中添加扰动，得到增强样本数据，并利用增强样本数据对深度学习模型进行参数优化，以实现深度学习模型对容易被攻击的目标类的防御。
其中另一种应用提供了一种用户分类任务的深度学习模型的防御装置，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在所述计算机处理器上执行的计算机程序，计算机处理器执行计算机程序时实现上述用户分类任务的深度学习模型的防御方法。
上述实施例提供的一种用户分类任务的深度学习模型的防御方法和装置，通过根据深度学习模型的决策边界确定容易被攻击的目标类，针对这一目标类可以通过增加扰动的方式强化深度学习模型学习，以使再优化的深度学习模型能够实现对扰动的识别，达到防御攻击的目的。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于支持向量机的深度学习模型鲁棒边界评估方法，其特征在于，包括以下步骤：
为用于分类任务的深度学习模型的每个分类类别分配一个支持向量机；
将样本数据分别输入至深度学习模型和每个支持向量机，得到样本数据在深度学习模型和每个支持向量机的特征空间分布；
针对每个支持向量机，以样本数据在支持向量机的特征空间分布与在深度学习模型的特征空间分布的散度指标作为损失函数优化支持向量机的参数；
优化结束后，每个支持向量机的决策边界即为深度学习模型对与支持向量机对应的分类类别的决策边界，依据该决策边界实现对深度学习模型鲁棒边界评估。
2.如权利要求1所述的基于支持向量机的深度学习模型鲁棒边界评估方法，其特征在于，在对支持向量机的参数优化时，损失函数为：
其中，
表示基于KL散度的特征分布与决策边界相似度，log(·)表示对数函数，∫表示积分符号，
表示SVM分类器对目标类j的预测置信度，也即是特征空间分布，
表示深度学习模型对目标类的预测置信度，μ(x)为采样密度；
依据该损失函数优化支持向量机的参数时，当损失函数值小于设定阈值时，优化结束。
3.如权利要求1所述的基于支持向量机的深度学习模型鲁棒边界评估方法，其特征在于，在优化支持向量机的参数时，对每一个样本数据采用定向重采样方式确定搜索方向，当特征分布接近时，即损失函数值变小，则继续按照上一次重采样方向移动，反之则向反方向移动。
4.如权利要求1所述的基于支持向量机的深度学习模型鲁棒边界评估方法，其特征在于，所述深度学习模型用于图像分类，信号分类，所述样本数据为图像数据和信号数据。
5.一种基于支持向量机的深度学习模型鲁棒边界评估装置，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，计算机处理器执行计算机程序时实现权利要求1～4所述的基于支持向量机的深度学习模型鲁棒边界评估方法。
6.一种用户分类任务的深度学习模型的选择方法，包括以下步骤：
针对候选的每个深度学习模型，利用权利要求1～4任一项所述的基于支持向量机的深度学习模型鲁棒边界评估方法确定每个深度学习模型的决策边界；
根据决策边界判定深度学习模型对每个目标类的分类情况，以筛选深度学习模型。
7.一种用户分类任务的深度学习模型的选择装置，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，计算机处理器执行计算机程序时实现权利要求6所述的用户分类任务的深度学习模型的选择方法。
8.一种用户分类任务的深度学习模型的防御方法，包括以下步骤：
对于深度学习模型，利用权利要求1～4任一项所述的基于支持向量机的深度学习模型鲁棒边界评估方法确定深度学习模型针对每个目标类的决策边界；
根据每个目标类的决策边界，确定容易被攻击的目标类；
在容易被攻击的目标类对应的样本数据中添加扰动，得到增强样本数据，并利用增强样本数据对深度学习模型进行参数优化，以实现深度学习模型对容易被攻击的目标类的防御。
9.一种用户分类任务的深度学习模型的防御装置，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，计算机处理器执行计算机程序时实现权利要求8所述的用户分类任务的深度学习模型的防御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110272000.7A CN112884065B (zh) | 2021-03-12 | 2021-03-12 | 一种基于支持向量机的深度学习模型鲁棒边界评估方法、装置和应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110272000.7A CN112884065B (zh) | 2021-03-12 | 2021-03-12 | 一种基于支持向量机的深度学习模型鲁棒边界评估方法、装置和应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112884065A true CN112884065A (zh) | 2021-06-01 |
| CN112884065B CN112884065B (zh) | 2024-02-13 |
Family
ID=76042443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110272000.7A Active CN112884065B (zh) | 2021-03-12 | 2021-03-12 | 一种基于支持向量机的深度学习模型鲁棒边界评估方法、装置和应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112884065B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113849653A (zh) * | 2021-10-14 | 2021-12-28 | 鼎富智能科技有限公司 | 一种文本分类方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316046A (zh) * | 2017-03-09 | 2017-11-03 | 河北工业大学 | 一种基于增量补偿动态自适应增强的故障诊断方法 |
| CN110070060A (zh) * | 2019-04-26 | 2019-07-30 | 天津开发区精诺瀚海数据科技有限公司 | 一种轴承设备的故障诊断方法 |
-
2021
- 2021-03-12 CN CN202110272000.7A patent/CN112884065B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316046A (zh) * | 2017-03-09 | 2017-11-03 | 河北工业大学 | 一种基于增量补偿动态自适应增强的故障诊断方法 |
| CN110070060A (zh) * | 2019-04-26 | 2019-07-30 | 天津开发区精诺瀚海数据科技有限公司 | 一种轴承设备的故障诊断方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113849653A (zh) * | 2021-10-14 | 2021-12-28 | 鼎富智能科技有限公司 | 一种文本分类方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112884065B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Angra et al. | Machine learning and its applications: A review | |
| Wang et al. | Remote sensing image classification based on the optimal support vector machine and modified binary coded ant colony optimization algorithm | |
| Yas et al. | Comprehensive insights into evaluation and benchmarking of real-time skin detectors: Review, open issues & challenges, and recommended solutions | |
| González et al. | Validation methods for plankton image classification systems | |
| US9547807B2 (en) | Image processing and object classification | |
| CN111127364B (zh) | 图像数据增强策略选择方法及人脸识别图像数据增强方法 | |
| CN108446741B (zh) | 机器学习超参数重要性评估方法、系统及存储介质 | |
| Lee et al. | Localization uncertainty estimation for anchor-free object detection | |
| CN112668688B (zh) | 一种入侵检测方法、系统、设备及可读存储介质 | |
| CN111178533B (zh) | 实现自动半监督机器学习的方法及装置 | |
| CN116781346A (zh) | 基于数据增强的卷积双向长短期记忆网络入侵检测方法 | |
| CN115545300B (zh) | 一种基于图神经网络进行用户行为预测的方法及装置 | |
| US20230094415A1 (en) | Generating a target classifier for a target domain via source-free domain adaptation using an adaptive adversarial neural network | |
| CN114117141A (zh) | 一种自适应密度聚类方法、存储介质及系统 | |
| Devi et al. | A review of image classification and object detection on machine learning and deep learning techniques | |
| CN112884065A (zh) | 一种基于支持向量机的深度学习模型鲁棒边界评估方法、装置和应用 | |
| KR20200092989A (ko) | 아웃라이어 감지를 위한 비지도 파라미터 러닝을 이용한 생산용 유기체 식별 | |
| Muslim et al. | An improved light gradient boosting machine algorithm based on swarm algorithms for predicting loan default of peer-to-peer lending | |
| CN117371511A (zh) | 图像分类模型的训练方法、装置、设备及存储介质 | |
| CN114912549B (zh) | 风险交易识别模型的训练方法、风险交易识别方法和装置 | |
| US20230092949A1 (en) | System and method for estimating model metrics without labels | |
| El Amouri et al. | Constrained DTW preserving shapelets for explainable time-Series clustering | |
| Wu et al. | Review on Classification Algorithm and Evaluation System of Machine Learning | |
| Donadi et al. | Improving Generalization of Synthetically Trained Sonar Image Descriptors for Underwater Place Recognition | |
| Yas | A new methodology for evaluation and benchmarking of skin detector based on ai model using multi criteria analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |