CN113935496A - 一种面向集成模型的鲁棒性提升防御方法 - Google Patents
一种面向集成模型的鲁棒性提升防御方法 Download PDFInfo
- Publication number
- CN113935496A CN113935496A CN202111302450.2A CN202111302450A CN113935496A CN 113935496 A CN113935496 A CN 113935496A CN 202111302450 A CN202111302450 A CN 202111302450A CN 113935496 A CN113935496 A CN 113935496A
- Authority
- CN
- China
- Prior art keywords
- model
- sub
- feature
- training
- submodels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向集成模型的鲁棒性提升防御方法,包括步骤如下:S1:在每个训练样本上提取所有子模型的非鲁棒特征样本;S2:选取未训练的子模型,将其他子模型提取的非鲁棒特征样本分别输入该子模型进行训练;S3:通过结合特征层混合方法,将非鲁棒特征样本在正在训练的子模型的第t层中间特征层的输出值,以不同的比例混合为一个中间层输出feature_map;S4:将混合得到的feature_map继续输入该正在训练的子模型进行前向传播,计算交叉熵更新该子模型的参数;S5:对集成模型中的所有子模型都分别经过上述步骤S1~S5进行训练,直到所有子模型达到最大训练轮数,则得到最终的子模型。通过本发明训练得到的集成模型,不仅能有效防御白盒攻击和黑盒攻击方法,同时还基本不影响对干净样本的识别率。
Description
技术领域
本发明涉及深度学习技术领域,更具体的,涉及一种面向集成模型的鲁棒性提升防御方法。
背景技术
深度神经网络模型的特点之一就是通过线性特征间的线性组合来表达结果与特征的对应关系,因此只需要稍微篡改输入数据的少数内容,就会对提取的特征产生巨大的变化,让人工智能系统输出错误的结果。这将对基于深度学习的人工智能系统的鲁棒性产生巨大的威胁。
针对目前的深度学习模型,若攻击者对输入图像的内容进行轻微篡改,就会使特定的图像内容无法被人工智能系统检测或识别,对人工智能系统的安全性带来了极大的挑战。被篡改图像的扰动噪音往往比较小,不容易被人眼的视觉系统所察觉,但却容易干扰人工智能系统的判断。因此如何有效防御这些噪声攻击,也成了目前深度模型亟待解决的问题之一。但目前已有的防御方法,要么对扰动攻击的防御效果不理想,要么通过牺牲对干净样本的识别率来换取对扰动攻击较好的防御效果。两者都无法达到预期的结果,该问题依然未得到较好的解决。
发明内容
本发明为了解决以上现有技术中存在不足的问题,提供了一种面向集成模型的鲁棒性提升防御方法。
为实现上述本发明目的,采用的技术方案如下:
一种面向集成模型的鲁棒性提升防御方法,所述的方法包括步骤如下:
S1:在每个训练样本上提取所有子模型的非鲁棒特征样本;
S2:选取未训练的子模型,将其他子模型提取的非鲁棒特征样本分别输入该子模型进行训练,子模型间通过相互训练彼此生成的非鲁棒特征样本,以学习彼此的“脆弱性”;
S3:通过结合特征层混合方法,将非鲁棒特征样本在正在训练的子模型的第t层中间特征层的输出值,以不同的比例混合为一个中间层输出feature_map;
S4:将混合得到的feature_map继续输入该正在训练的子模型进行前向传播,计算交叉熵更新该子模型的参数;
S5:对集成模型中的所有子模型都分别经过上述步骤S1~S5进行训练,直到所有子模型达到最大训练轮数,则得到最终的子模型。
优选地,步骤S1,在提取所有子模型的非鲁棒特征样本之前,先进行初始化操作,具体如下:基于均匀分布U(-ε,ε)生成一个维度为h×w×c噪音矩阵对原图像xs进行初始化操作;其中h,w,c分别为训练样本集图像的高、宽、通道维度,ε表示添加的扰动的像素最大值。
进一步地,步骤S1,利用特征提取算法在非鲁棒特征图像z上提取子模型的非鲁棒特征样本,包括以下步骤:
S101:随机选取另一个目标图像x;
S102:以迭代的方式,将非鲁棒特征图像z在特征层的输出值逼近目标图像 x在特征层的输出值,形成最终的非鲁棒特征样本,其计算公式为:
式中:fi l(·)表示第i个子模型的第l层的输出值,其中括号内表示模型的输入;zi,l表示由第i个子模型通过第l特征层生成的非鲁棒特征样本;s.t.||.||∞表示使用无穷范数对生成的非鲁棒特征样本进行约束。
再进一步地,步骤S3,具体地,在训练第i个子模型时,将随机选取第j个子模型生成的非鲁棒特征图像,与除第i子模型和j子模型外的其他子模型生成的非鲁棒特征样本,分别按照比例λ和γ在第i个子模型的第t层中间特征层的输出混合成一个中间层输出feature_map。
再进一步地,所述的特征层混合方法,其计算公式为:
式中,λ和γ为混合系数,λ是服从Beta分布的随机矩阵系数,γ则定义为 (1-λ)/(N-2),其中,N是子模型的数量;t和l均是随机选取的特征层;k是除i和j外的任一子模型序号;fi t(zj,l)是第j子模型提取的非鲁棒特征样本在第i子模型的第t层的输出值;Yi t则是训练第i个子模型时,其他子模型生成的非鲁棒特征样本在该子模型的第t层中间特征层的输出值的混合结果feature_map。
再进一步地,计算混合后的feature_map的交叉熵,交叉熵计算公式为:
再进一步地,使用交叉熵更新子模型的参数,其公式为:
最小化式(4)让子模型i通过学习其他子模型生成的非鲁棒特征样本,从而学习到其他子模型的“脆弱性”。
再进一步地,在实际测试部署中,对于每个测试样本,同时输入经过上述步骤S1~S5训练得到的所有子模型进行查询;通过查询获取所有子模型的预测结果,计算预测结果的均值,将该均值作为最终的预测结果。
一种计算机系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述的处理器执行所述的计算机程序时,实现上述的方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述的计算机程序被处理器执行时,实现上述的方法的步骤。
本发明的有益效果如下:
本发明提供了一种面向集成模型的鲁棒性提升防御方法,首先在所有训练样本上提取所有子模型的非鲁棒特征,然后子模型间通过学习彼此的非鲁棒特征,来学习彼此的“脆弱性”,以此降低子模型间的迁移性;最后结合特征层混合方法,使子模型能够更好地学习到其他子模型的非鲁棒特征,进一步增大子模型间的差异性;交替训练所有子模型,最后通过多个差异性较大的子模型,能够更好地提升集成模型整体的鲁棒性。通过本发明训练得到的集成模型,不仅能有效防御白盒攻击和黑盒攻击方法,同时还基本不影响对干净样本的识别率。
附图说明
图1是实施例1所述的方法的流程图。
图2是实施例1所提出的防御方法的整体流程示例图。
图3是非鲁棒特征图像生成流程示例图。
图4是非鲁棒特征图像z的生成结果图像示例图。
图5是随机特征混合流程示例图。
图6是集成模型更新流程示例图。
图7是实施例1所提出的防御方法防御黑盒迁移攻击时的成功率结果图。
图8是实施例1所提出的防御方法防御白盒攻击时的成功率结果图。
具体实施方式
下面结合附图和具体实施方式对本发明做详细描述。
实施例1
如图1、图2所示,一种面向集成模型的鲁棒性提升防御方法,所述的方法包括步骤如下:
S1:使用特征提取算法在每个训练样本上提取所有子模型的非鲁棒特征样本;步骤S1的流程示例图如图3所示。
在一个具体的实施例中,在提取所有子模型的非鲁棒特征样本之前,先进行初始化操作,具体如下:基于均匀分布U(-ε,ε)生成一个维度为h×w×c噪音矩阵对原图像xs进行初始化操作;其中h,w,c分别为训练样本集图像的高、宽、通道维度,ε表示添加的扰动的像素最大值。原图像xs的示例如图3(a)所示。
在一个具体的实施例中,步骤S1,利用特征提取算法在非鲁棒特征图像z 上提取子模型的非鲁棒特征样本,效果示例如图3所示,包括以下步骤:
S101:随机选取另一个目标图像x;目标图像x的示例如图3(b)所示。
S102:以迭代的方式,将非鲁棒特征图像z在特征层的输出值逼近目标图像 x在特征层的输出值,形成最终的非鲁棒特征样本,其计算公式为:
式中:fi l(·)表示第i个子模型的第l层的输出值,其中括号内表示模型的输入;zi,l表示由第i个子模型通过第l特征层生成的非鲁棒特征样本;s.t.||.||∞表示使用无穷范数对生成的非鲁棒特征样本进行约束。
最小化式(1)可以在尽可能保持非鲁棒特征图像与原图像相似的同时,使非鲁棒特征图像的特征表示与目标图像接近。非鲁棒特征样本本质上是第i个子模型生成的对抗样本,其具有该子模型的“脆弱性”信息,即包含该子模型的非鲁棒特征。非鲁棒特征图像z的结果示例如图3(c)所示。
S2:选取未训练的子模型,将其他子模型提取的非鲁棒特征样本分别输入该子模型进行训练,子模型间通过相互训练彼此生成的非鲁棒特征样本,以学习彼此的“脆弱性”,有效降低子模型间的迁移性。通过不同子模型间相互训练彼此的非鲁棒特征样本,学习彼此的“脆弱性”,有效的降低子模型间的迁移性。
S3:如图5所示,在训练非鲁棒特征样本时,通过结合特征层混合方法,将非鲁棒特征样本在正在训练的子模型的第t层中间特征层的输出值,以不同的比例混合为一个中间层输出feature_map。
在一个具体的实施例中,具体地,在训练第i个子模型时,将随机选取第j个子模型生成的非鲁棒特征图像,与除第i子模型和j子模型外的其他子模型生成的非鲁棒特征样本,分别按照比例λ和γ在第i个子模型的第t层中间特征层的输出混合成一个中间层输出feature_map。
本实施例通过随机混合特征输出,可以降低子模型间训练数据或特征相似度,从而进一步降低了子模型间的迁移性,同时进一步地提升子模型间的差异性。
在一个具体的实施例中,所述的特征层混合方法,其计算公式为:
式中,λ和γ为混合系数,λ是服从Beta分布的随机矩阵系数,γ则定义为 (1-λ)/(N-2),其中,N是子模型的数量;t和l均是随机选取的特征层;k是除i和j外的任一子模型序号;fi t(zj,l)是第j子模型提取的非鲁棒特征样本在第 i子模型的第t层的输出值;Yi t则是训练第i个子模型时,其他子模型生成的非鲁棒特征样本在该子模型的第t层中间特征层的输出值的混合结果feature_map。
更直观的解释是,在每次训练的迭代中,本实施例会随机选取一个子模型生成的非鲁棒特征图像作为主要的训练样本,而剩余子模型生成的非鲁棒特征样本以不同的权重在特征层与主训练样本进行特征混合,得到一个混合feature_map。这能够在降低子模型间训练特征相似度的同时,使每个子模型依旧能学习到所有其他子模型的非鲁棒特征。
S4:将混合得到的feature_map继续输入该正在训练的子模型进行前向传播,计算交叉熵更新该子模型的参数;如图6所示,是集成模型更新流程示例图。
计算混合后的feature_map的交叉熵,交叉熵计算公式为:
式(3)表示交叉熵公式可以衡量预测结果与真实结果的不一致性。熵值越大表示预测越不准确,而熵值越小则表示预测越准确。
再进一步地,使用交叉熵更新子模型的参数,其公式为:
最小化式(4)让子模型i通过学习其他子模型生成的非鲁棒特征样本,从而学习到其他子模型的“脆弱性”。即对抗样本能够成功攻击其他子模型,也无法轻易成功攻击子模型i。结合特征混合算法,能够更好地学习到其他子模型的非鲁棒特征。
S5:对集成模型中的所有子模型都分别经过上述步骤S1~S5进行训练,直到所有子模型达到最大训练轮数,则得到最终的子模型。
再进一步地,在实际测试部署中,对于每个测试样本,同时输入经过上述步骤S1~S5训练得到的所有子模型进行查询;通过查询获取所有子模型的预测结果,计算预测结果的均值,将该均值作为最终的预测结果,公式为:
其中,Pi表示第i个子模型的预测概率结果,Pens则是结合了所有子模型给出的最终预测结果。
本实施例所述的方法的防御效果如图7和图8所示。图7展示了本实施例所述的方法防御黑盒迁移攻击的成功率,图8展示了本实施例所述的方法防御白盒攻击的成功率。第一行数据表示的是攻击扰动的强度,第一列的数字则代表了使用的子模型的数量。可以看出本实施例所述的方法已经可以做到在保持较高的干净样本准确率的同时,较好地防御黑盒迁移攻击。并且在防御白盒攻击时,针对低扰动攻击也有较好的防御效果。此外,本实施例所述的方法的防御效果可以随着子模型数量的增加而进一步增强。
实施例2
一种计算机系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述的处理器执行所述的计算机程序时,实现的方法步骤如下:
S1:在每个训练样本上提取所有子模型的非鲁棒特征样本;
S2:选取未训练的子模型,将其他子模型提取的非鲁棒特征样本分别输入该子模型进行训练,子模型间通过相互训练彼此生成的非鲁棒特征样本,以学习彼此的“脆弱性”;
S3:通过结合特征层混合方法,将非鲁棒特征样本在正在训练的子模型的第 t层中间特征层的输出值,以不同的比例混合为一个中间层输出feature_map;
S4:将混合得到的feature_map继续输入该正在训练的子模型进行前向传播,计算交叉熵更新该子模型的参数;
S5:对集成模型中的所有子模型都分别经过上述步骤S1~S5进行训练,直到所有子模型达到最大训练轮数,则得到最终的子模型。
实施例3
一种计算机可读存储介质,其上存储有计算机程序,所述的计算机程序被处理器执行时,实现的方法步骤如下:
S1:在每个训练样本上提取所有子模型的非鲁棒特征样本;
S2:选取未训练的子模型,将其他子模型提取的非鲁棒特征样本分别输入该子模型进行训练,子模型间通过相互训练彼此生成的非鲁棒特征样本,以学习彼此的“脆弱性”;
S3:通过结合特征层混合方法,将非鲁棒特征样本在正在训练的子模型的第 t层中间特征层的输出值,以不同的比例混合为一个中间层输出feature_map;
S4:将混合得到的feature_map继续输入该正在训练的子模型进行前向传播,计算交叉熵更新该子模型的参数;
S5:对集成模型中的所有子模型都分别经过上述步骤S1~S5进行训练,直到所有子模型达到最大训练轮数,则得到最终的子模型。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种面向集成模型的鲁棒性提升防御方法,其特征在于:所述的方法包括步骤如下:
S1:在每个训练样本上提取所有子模型的非鲁棒特征样本;
S2:选取未训练的子模型,将其他子模型提取的非鲁棒特征样本分别输入该子模型进行训练,子模型间通过相互训练彼此生成的非鲁棒特征样本,以学习彼此的“脆弱性”;
S3:通过结合特征层混合方法,将非鲁棒特征样本在正在训练的子模型的第t层中间特征层的输出值,以不同的比例混合为一个中间层输出feature_map;
S4:将混合得到的feature_map继续输入该正在训练的子模型进行前向传播,计算交叉熵更新该子模型的参数;
S5:对集成模型中的所有子模型都分别经过上述步骤S1~S5进行训练,直到所有子模型达到最大训练轮数,则得到最终的子模型。
2.根据权利要求1所述的面向集成模型的鲁棒性提升防御方法,其特征在于:步骤S1,在提取所有子模型的非鲁棒特征样本之前,先进行初始化操作,具体如下:基于均匀分布U(-ε,ε)生成一个维度为h×w×c噪音矩阵对原图像xs进行初始化操作;其中h,w,c分别为训练样本集图像的高、宽、通道维度,ε表示添加的扰动的像素最大值。
4.根据权利要求3所述的面向集成模型的鲁棒性提升防御方法,其特征在于:步骤S3,具体地,在训练第i个子模型时,将随机选取第j个子模型生成的非鲁棒特征图像,与除第i子模型和j子模型外的其他子模型生成的非鲁棒特征样本,分别按照比例λ和γ在第i个子模型的第t层中间特征层的输出混合成一个中间层输出feature_map。
8.根据权利要求1~7任一项所述的面向集成模型的鲁棒性提升防御方法,其特征在于:在实际测试部署中,对于每个测试样本,同时输入经过上述步骤S1~S5训练得到的所有子模型进行查询;通过查询获取所有子模型的预测结果,计算预测结果的均值,将该均值作为最终的预测结果。
9.一种计算机系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于:所述的处理器执行所述的计算机程序时,实现如权利要求1~7任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述的计算机程序被处理器执行时,实现如权利要求1~7任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111302450.2A CN113935496A (zh) | 2021-11-04 | 2021-11-04 | 一种面向集成模型的鲁棒性提升防御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111302450.2A CN113935496A (zh) | 2021-11-04 | 2021-11-04 | 一种面向集成模型的鲁棒性提升防御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113935496A true CN113935496A (zh) | 2022-01-14 |
Family
ID=79285720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111302450.2A Pending CN113935496A (zh) | 2021-11-04 | 2021-11-04 | 一种面向集成模型的鲁棒性提升防御方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113935496A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114531283A (zh) * | 2022-01-27 | 2022-05-24 | 西安电子科技大学 | 入侵检测模型的鲁棒性测定方法、系统、存储介质及终端 |
CN117454187A (zh) * | 2023-12-22 | 2024-01-26 | 中国科学技术大学 | 一种基于频域限制目标攻击的集成模型训练方法 |
-
2021
- 2021-11-04 CN CN202111302450.2A patent/CN113935496A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114531283A (zh) * | 2022-01-27 | 2022-05-24 | 西安电子科技大学 | 入侵检测模型的鲁棒性测定方法、系统、存储介质及终端 |
CN114531283B (zh) * | 2022-01-27 | 2023-02-28 | 西安电子科技大学 | 入侵检测模型的鲁棒性测定方法、系统、存储介质及终端 |
CN117454187A (zh) * | 2023-12-22 | 2024-01-26 | 中国科学技术大学 | 一种基于频域限制目标攻击的集成模型训练方法 |
CN117454187B (zh) * | 2023-12-22 | 2024-05-17 | 中国科学技术大学 | 一种基于频域限制目标攻击的集成模型训练方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3114540B1 (en) | Neural network and method of neural network training | |
US9619749B2 (en) | Neural network and method of neural network training | |
CN111753881B (zh) | 一种基于概念敏感性量化识别对抗攻击的防御方法 | |
CN109859288B (zh) | 基于生成对抗网络的图像上色方法及装置 | |
CN109948663A (zh) | 一种基于模型抽取的步长自适应的对抗攻击方法 | |
CN114399630B (zh) | 基于信念攻击和显著区域扰动限制的对抗样本生成方法 | |
CN112364885A (zh) | 一种基于深度神经网络模型可解释性的对抗样本防御方法 | |
CN111242157A (zh) | 联合深度注意力特征和条件对抗的无监督域自适应方法 | |
CN113642715B (zh) | 自适应分配动态隐私预算的差分隐私保护深度学习算法 | |
CN114817568B (zh) | 联合注意力机制与卷积神经网络的知识超图链接预测方法 | |
CN113935496A (zh) | 一种面向集成模型的鲁棒性提升防御方法 | |
CN113033822A (zh) | 基于预测校正和随机步长优化的对抗性攻击与防御方法及系统 | |
CN112580728B (zh) | 一种基于强化学习的动态链路预测模型鲁棒性增强方法 | |
CN112085050A (zh) | 基于pid控制器的对抗性攻击与防御方法及系统 | |
CN111311324B (zh) | 基于稳定神经协同过滤的用户-商品偏好预测系统和方法 | |
CN112560034B (zh) | 基于反馈式深度对抗网络的恶意代码样本合成方法及装置 | |
CN113255526B (zh) | 基于动量的对人群计数模型的对抗样本生成方法及系统 | |
CN114513337A (zh) | 一种基于邮件数据的隐私保护链接预测方法及系统 | |
CN112686249A (zh) | 一种基于对抗补丁的Grad-CAM攻击方法 | |
CN111950635A (zh) | 一种基于分层特征对齐的鲁棒特征学习方法 | |
CN115510986A (zh) | 一种基于AdvGAN的对抗样本生成方法 | |
CN117523359A (zh) | 一种基于强化学习的图像比对识别方法及设备 | |
CN115909027A (zh) | 一种态势估计方法及装置 | |
CN116824334A (zh) | 一种基于频域特征融合再构的模型后门攻击对抗方法 | |
CN113469330B (zh) | 双极网络腐蚀增强对抗样本迁移性的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |