CN115730300B - 基于混合式对抗元学习算法的程序安全模型构建方法 - Google Patents

基于混合式对抗元学习算法的程序安全模型构建方法 Download PDF

Info

Publication number
CN115730300B
CN115730300B CN202211591519.2A CN202211591519A CN115730300B CN 115730300 B CN115730300 B CN 115730300B CN 202211591519 A CN202211591519 A CN 202211591519A CN 115730300 B CN115730300 B CN 115730300B
Authority
CN
China
Prior art keywords
countermeasure
query
program
sampling
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211591519.2A
Other languages
English (en)
Other versions
CN115730300A (zh
Inventor
戴静桐
许梦可
王慧维
李华青
唐佳龙
石亚伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University
Original Assignee
Southwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University filed Critical Southwest University
Priority to CN202211591519.2A priority Critical patent/CN115730300B/zh
Publication of CN115730300A publication Critical patent/CN115730300A/zh
Application granted granted Critical
Publication of CN115730300B publication Critical patent/CN115730300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于混合式对抗元学习算法的程序安全模型构建方法,包括:通过获取程序安全性的任务分布,对多个任务进行采样,获取支持集和查询集,并根据支持集获取对抗支持集;采用微调算法对对抗支持集进行微调,获取目标对抗支持集;对查询集进行采样,并根据采样数据构造新查询集和新对抗查询集;基于混合式对抗元学习算法,根据目标对抗支持集、新查询集和新对抗查询集,将程序安全性问题转化为程序安全模型;通过对多个任务进行采样获取训练查询集,根据训练查询集得到任务的样本集和标签,并用于训练程序安全模型,得到目标程序安全模型。本发明能够通过程序安全模型提升程序的安全性,缓解了过拟合问题,提高了鲁棒精度。

Description

基于混合式对抗元学习算法的程序安全模型构建方法
技术领域
本发明涉及计算机技术领域,尤其涉及一种基于混合式对抗元学习算法的程序安全模型构建方法。
背景技术
现阶段的研究表明,当输入被轻微干扰时,深度神经网络(Deep NeuralNetworks,DNN)容易受到对抗样本的攻击和错误分类。对于一些要求高软件安全性的应用程序来说,增强DNN模型对干扰的鲁棒性迫在眉睫。例如,基于深度学习的自动驾驶汽车最终可能会因为干扰而卷入一场事故,当轻微的输入干扰导致其错误识别道路标志或其他车辆时,可能会造成潜在的灾难性后果。而生物识别系统,包括指纹认证,虹膜识别等,可以会因此被操纵。
为此,在过去的几年中,人们提出了一些基于预处理和对抗训练的方法来训练一个更稳健的通用深度学习模型,然而,这些方法需要依赖大量的训练数据,并进行较长的时间训练。
因此,为了构建一个在对抗样本只有少量的数据的情况下,准确地预测正确样本的模型,可以考虑通过元学习方法实现。但最近的研究表明,基于元学习的模型也容易受到对抗样本的影响,因此学者也提出了许多对抗的元学习训练方法。
然而,对抗元学习训练方法在短期内是良好的,但随着训练期数量的增加,会出现鲁棒过拟合的不良现象。即,在训练的开始,模型有一定的鲁棒性,但经过几个时期与对抗训练,模型对基于投影梯度下降方法的鲁棒性降低。
因此,亟需一种能够缓解过拟合、提高鲁棒精度、减少对抗训练时间的混合式对抗元学习算法的程序安全模型构建方法。
发明内容
基于此,有必要针对上述技术问题,提供一种基于混合式对抗元学习算法的程序安全模型构建方法。
一种基于混合式对抗元学习算法的程序安全模型构建方法,包括以下步骤:获取程序安全性的任务分布,所述任务分布中包含多个任务,每个任务包括有支持数据和查询数据;对所述多个任务进行采样,获取支持集和查询集,并根据所述支持集生成对应的对抗支持集;采用微调算法对所述对抗支持集进行微调,获取目标对抗支持集;对所述查询集进行采样,并根据采样数据构造新查询集和新对抗查询集;基于混合式对抗元学习算法,根据所述目标对抗支持集、新查询集和新对抗查询集,将程序的安全性问题转化为程序安全模型;对所述多个任务进行采样,获取训练查询集,根据所述训练查询集得到任务的样本集和标签,并根据所述样本集和标签对所述程序安全模型进行训练,得到目标程序安全模型。
在其中一个实施例中,所述获取程序安全性的任务分布,包括:设置程序安全性的任务分布为
Figure BDA0003994704690000021
学习率为μ和η,对抗算法为A,微调算法为A,Beta分布参数为α和β,任务
Figure BDA0003994704690000022
来自任务分布/>
Figure BDA0003994704690000023
且根据混合算法和Beta分布有:mixupλ(xi,xj)=λxi+(1-λ)xj,λ~Beta(α,β)。
在其中一个实施例中,所述对所述多个任务进行采样,获取支持集和查询集,并根据所述支持集生成对应的对抗支持集,包括:设置随机初始化参数θ0,并在程序安全性的任务分布中进行采样,获取任务集
Figure BDA0003994704690000024
对于所述任务集中所有的任务τi执行以下步骤:对任务τi进行采样,获取支持集/>
Figure BDA0003994704690000025
和查询集/>
Figure BDA0003994704690000026
采用对抗算法,根据所述支持集生成对应的对抗支持集。
在其中一个实施例中,所述采用微调算法对所述对抗支持集进行微调,获取目标对抗支持集,包括:根据所述微调算法,对所述对抗支持集进行微调,计算初始化参数
Figure BDA0003994704690000027
其中,φi是元学习在内循环进行对抗训练时,对抗支持集
Figure BDA0003994704690000028
从/>
Figure BDA00039947046900000214
开始微调的任务特定参数,/>
Figure BDA0003994704690000029
是由θ0参数化的模;根据所述初始化参数和对抗支持集,得到目标对抗支持集/>
Figure BDA00039947046900000210
在其中一个实施例中,所述对所述查询集进行采样,并根据采样数据构造新查询集和新对抗查询集,包括:对所述查询集
Figure BDA00039947046900000215
进行随机采样,获取成对的采样数据
Figure BDA00039947046900000211
根据所述成对的采样数据构造新查询集为
Figure BDA00039947046900000212
其中,/>
Figure BDA00039947046900000213
采用对抗算法,根据所述新查询集生成Kq个对抗样本/>
Figure BDA0003994704690000031
对所述对抗样本/>
Figure BDA0003994704690000032
进行随机采样,获取成对的对抗采样数据
Figure BDA0003994704690000033
根据所述成对的对抗采样数据,构造得到新对抗查询集/>
Figure BDA0003994704690000034
其中,/>
Figure BDA0003994704690000035
Figure BDA0003994704690000036
在其中一个实施例中,所述基于混合式对抗元学习算法,根据所述目标对抗支持集、新查询集和新对抗查询集,将程序的安全性问题转化为程序安全模型,包括:基于混合式对抗元学习算法,根据所述目标对抗支持集、新查询集和新对抗查询集,将将程序的安全性问题转化为程序安全模型,所述程序安全模型为:
Figure BDA0003994704690000037
其中,θ0为随机初始化参数,
Figure BDA0003994704690000038
和/>
Figure BDA0003994704690000039
分别采用程序的查询集/>
Figure BDA00039947046900000310
和对抗查询集
Figure BDA00039947046900000311
计算,/>
Figure BDA00039947046900000312
为交叉熵损失,/>
Figure BDA00039947046900000313
是由θ0参数化的模;
通过混合方法混合的程序正确样本对程序安全模型进行训练,所述混合方法为:
Figure BDA00039947046900000314
其中,λ~Beta(α,β)。
在其中一个实施例中,所述对所述多个任务进行采样,获取训练查询集,根据所述训练查询集得到任务的样本集和标签,并根据所述样本集和标签对所述程序安全模型进行训练,得到目标程序安全模型,具体包括:从任务τi中独立采样获取训练查询集;将
Figure BDA00039947046900000315
和/>
Figure BDA00039947046900000316
用于表示损失,其中,/>
Figure BDA00039947046900000317
为输入对,zj=(xj,yj)为输出对,预测值/>
Figure BDA00039947046900000318
记为/>
Figure BDA00039947046900000319
将Xi和Yi分别记为所述训练查询集中的样本集及对应的标签,则有:
Figure BDA00039947046900000320
根据所述样本集和标签对所述程序安全模型进行训练,得到目标程序安全模型。
相比于现有技术,本发明的优点及有益效果在于:通过获取程序安全性的任务分布,对任务分布中的多个任务进行采样,获取支持集和查询集,并根据支持集获取对应的对抗支持集;采用微调算法对对抗支持集进行微调,获取目标对抗支持集;对查询集进行采样,并根据采样数据构造新查询集和新对抗查询集,从而缩短对抗训练时间;基于混合式对抗元学习算法,根据获取的目标对抗支持集、新查询集和新对抗查询集,将程序安全性问题转化为程序安全模型;通过对多个任务进行采样获取训练查询集,根据训练查询集得到任务的样本集和标签,并用于训练程序安全模型,得到目标程序安全模型,从而能够通过程序安全模型实现程序安全性的提升,缓解了过拟合问题,提高了鲁棒精度。
附图说明
图1为一个实施例中一种基于混合式对抗元学习算法的程序安全模型构建方法的流程示意图;
图2为一个实施例中在CIFAR-FS数据集上的5路-1样本学习场景下混合训练对R2D2的鲁棒性的影响示意图;
图3为一个实施例中在ProtoNet和R2D2训练的100个阶段和FC100数据集上的5路-1样本学习场景上集成基于混合式对抗元学习算法后的AQ和与原AQ的比较示意图;
图4为一个实施例中在FC100数据集上的5路-1样本学习场景下,早期停止方法(ES)对ProtoNet的影响示意图;
图5为一个实施例中基于混合式对抗元学习算法对泛化的影响示意图。
具体实施方式
在进行本发明具体实施方式说明之前,先对本发明的整体构思进行如下说明:
本发明主要是基于提高应用程序安全性研发的,目前在提高应用程序安全性可采用的方法存在需要依赖大量的训练数据,并进行较长的时间训练,以及易受到对抗样本的影响和出现鲁棒过拟合的不良现象的问题。
发明人经过分析发现,出现上面的这些问题的主要原因是现有技术中提高应用程序安全性算法的不完善。因此本发明提出了一种基于混合式对抗元学习算法的程序安全模型构建方法,该方法能够与任何元学习方法集成,具有普遍性,且实现相同甚至更好的鲁棒性,同时显著减少对抗训练时间,针对“鲁棒过拟合”的失败模式,方法验证早期停止方法能够有效缓解鲁棒过拟合,提高鲁棒精度,提高程序安全性。
介绍完本发明的整体构思后,为了使本发明的目的、技术方案及优点更加清楚明白,下面通过具体实施方式结合附图对本发明做进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
在一个实施例中,如图1所示,提供了一种基于混合式对抗元学习算法的程序安全模型构建方法,包括以下步骤:
步骤S101,获取程序安全性的任务分布,任务分布中包含多个任务,每个任务包括有支持数据和查询数据。
具体地,在提高程序安全性时,要对应到程序安全性的每个任务,因此,首先获取程序安全性的任务分布,根据任务分布获取程序安全的所有任务,每个任务对应有支持数据和查询数据。
其中,步骤S101包括:设置程序安全性的任务分布为
Figure BDA0003994704690000057
学习率为μ,η,对抗算法为A,微调算法为A,Beta分布参数为α,β,任务/>
Figure BDA0003994704690000051
来自任务分布/>
Figure BDA0003994704690000052
且根据混合算法和beta算法有:
mixupλ(xi,xj)=λxi+(1-λ)xj,λ~Beta(α,β)。
具体地,设定程序安全性有关的参数,将任务分布设置为
Figure BDA0003994704690000056
元学习算法的学习率设置为μ和η,记对抗算法为A,微调算法为A,Beta分布的参数为α和β,任务分布中包括多个任务,并能够根据上述参数得到混合算法的公式,该公式用于构建程序安全模型。
步骤S102,对多个任务进行采样,获取支持集和查询集,并根据支持集生成对应的对抗支持集。
具体地,对多个任务进行分别采样,获取对应的支持数据的支持集和查询数据的查询集,并采用对抗算法,根据得到的支持集计算得到相应的对抗支持集。对于每个任务,附加的对抗样本均由对抗算法生成,并将对抗支持集用于增强元学习算法训练的鲁棒性。
其中,步骤S102包括:设置随机初始化参数θ0,并在程序安全性的任务分布中进行采样,获取任务集
Figure BDA0003994704690000053
对于任务集中所有的任务τi执行以下步骤:对任务τi进行采样,获取支持集/>
Figure BDA0003994704690000054
和查询集/>
Figure BDA0003994704690000055
采用对抗算法,根据支持集生成对应的对抗支持集。
具体地,随机设置模型的初始化参数,同时在程序安全性有关的任务分布中进行采样,获取任务机,对任务集中的所有任务进行采样,得到对应的支持集和查询集,并通过对抗算法生成支持集相应的对抗支持集,用于增强元训练的鲁棒性。
步骤S103,采用微调算法对对抗支持集进行微调,获取目标对抗支持集。
具体地,元学习算法包括有内循环和外循环。在内循环中,采用微调算法对对抗支持集进行微调,从而更易产生特定于任务的参数,得到目标对抗支持集。
其中,步骤S103包括:根据微调算法,对对抗支持集进行微调,计算初始化参数
Figure BDA0003994704690000061
其中,φi是元学习在内循环进行对抗训练时,对抗支持集
Figure BDA0003994704690000062
从/>
Figure BDA00039947046900000613
开始微调的任务特定参数;根据初始化参数和对抗支持集,得到目标对抗支持集/>
Figure BDA0003994704690000063
具体地,在内循环中,采用微调算法对得到的对抗支持集进行微调,产生特定于任务的初始化参数,根据该初始化参数对对抗支持集进行处理,得到目标对抗支持集。
步骤S104,对查询集进行采样,并根据采样数据构造新查询集和新对抗查询集。
具体地,对查询集中的查询数据进行采样,得到成对的采样数据,根据采样数据构造得到新查询集,并采用对抗算法,根据新查询集得到新对抗查询集。
其中,步骤S104包括:对查询集
Figure BDA00039947046900000614
进行随机采样,获取成对的采样数据
Figure BDA0003994704690000064
根据成对的采样数据构造新查询集为
Figure BDA0003994704690000065
其中,/>
Figure BDA0003994704690000066
采用对抗算法,根据新查询集生成Kq个对抗样本/>
Figure BDA0003994704690000067
对对抗样本
Figure BDA0003994704690000068
进行随机采样,获取成对的对抗采样数据/>
Figure BDA0003994704690000069
根据成对的对抗采样数据,构造得到新对抗查询集/>
Figure BDA00039947046900000610
其中,
Figure BDA00039947046900000611
Figure BDA00039947046900000612
具体地,对查询集中的查询数据进行随机采样,获取成对的采样数据,并根据得到的成对采样数据构建新查询集,新查询集中的数据为变形查询数据;基于对抗算法,根据新查询集得到若干个对抗样本;在若干个对抗样本中进行随机采样,得到成对的对抗采样数据,并根据成对的对抗采样数据构造得到新对抗查询集。
步骤S105,基于混合式对抗元学习算法,根据目标对抗支持集、新查询集、新对抗查询集,将程序的安全性问题转化为程序安全模型。
具体地,基于混合式对抗元学习算法,根据上述计算得到的目标对抗支持集、新查询集和新对抗集,将程序的安全性问题转化为程序安全模型,从而更好的训练程序安全模型,缩短对抗训练时间,以便于程序安全模型能够对程序的安全性进行提升。
其中,步骤S105包括:基于混合式对抗元学习算法,根据目标对抗支持集、新查询集和新对抗查询集,将将程序的安全性问题转化为程序安全模型,所述程序安全模型为:
Figure BDA0003994704690000071
其中,θ0为随机初始化参数,
Figure BDA0003994704690000072
和/>
Figure BDA0003994704690000073
分别采用程序的查询集/>
Figure BDA0003994704690000074
和对抗查询集
Figure BDA0003994704690000075
计算,/>
Figure BDA0003994704690000076
为交叉熵损失,/>
Figure BDA0003994704690000077
是由θ0参数化的模;通过混合方法混合的程序正确样本对程序安全模型进行训练,混合方法为:
Figure BDA0003994704690000078
其中,λ~Beta(α,β)。
具体地,根据上述得到的对抗支持集、新查询集和新对抗查询集,结合混合式对抗元学习算法,构建对应的程序安全模型,采用程序的对抗样本和由
Figure BDA0003994704690000079
中描述的混合方法混合的程序正确样本,对程序安全模型进行训练,从而增强元训练的鲁棒性。
步骤S106,对多个任务进行采样,获取训练查询集,根据训练查询集得到任务的样本集和标签,并根据样本集和标签对程序安全模型进行训练,得到目标程序安全模型。
具体地,在外循环中,对任务分布中的多个任务进行采样,得到训练查询集,根据训练查询集得到样本集和标签,并用于对程序安全模型进行训练,得到目标程序安全模型,能够尽量减少对程序变形查询数据和敌对查询数据的损失,缓解过拟合,提高鲁棒性,从而提升程序安全性,同时能够缩短对抗训练时间。此外,本方法能够与任何元学习方法集成,具有普遍适用性。
其中,步骤S106包括:从任务
Figure BDA0003994704690000087
中独立采样获取训练查询集;将/>
Figure BDA0003994704690000081
Figure BDA0003994704690000082
用于表示损失,其中,/>
Figure BDA0003994704690000083
为输入对,zj=(xj,yj)为输出对,预测值
Figure BDA0003994704690000085
记为/>
Figure BDA0003994704690000086
;将xi和Yi分别记为所述训练查询集中的样本集及对应的标签,则有:
Figure BDA0003994704690000084
根据样本集和标签对程序安全模型进行训练,得到目标程序安全模型。
具体地,对任务中进行查询数据采样,获取训练查询集,根据训练查询集得到样本集和标签,通过样本集和标签对获取的程序安全模型进行训练,得到目标程序安全模型,从而能够显著减少对抗训练时间,通过目标程序安全模型提升程序安全性,提高鲁棒精度。
在本实施例中,通过获取程序安全性的任务分布,对任务分布中的多个任务进行采样,获取支持集和查询集,并根据支持集获取对应的对抗支持集;采用微调算法对对抗支持集进行微调,获取目标对抗支持集;对查询集进行采样,并根据采样数据构造新查询集和新对抗查询集,从而缩短对抗训练时间;基于混合式对抗元学习算法,根据获取的目标对抗支持集、新查询集和新对抗查询集,将程序安全性问题转化为程序安全模型;通过对多个任务进行采样获取训练查询集,根据训练查询集得到任务的样本集和标签,并用于训练程序安全模型,得到目标程序安全模型,从而能够通过程序安全模型实现程序安全性的提升,缓解了过拟合问题,提高了鲁棒精度。
在一个实施例中,通过仿真软件Matlab对本方法进行仿真测试。基于本方法能够即插即用的特性,将本方法与下述三种对抗性的元学习算法集成起来:AdversarialTraining(对抗性训练,AT)、Adversarial Query(对抗性查询,AQ)和Long-term CrossAdversarial Training(长期交叉对抗训练,LCAT)。对于上述三种基准方法,在训练阶段采用7步Projected Gradient Descent(投影坡度下降,PGD)对抗性训练。在测试阶段,所有算法都在同一测试集上测试20步PGD攻击。
为了验证本方法的四个特征:可以在程序中从少量的标记数据中快速学习一个新的任务,即使只学习正确的样本;可以缓解程序在遇到对抗样本时的性能下降;通过利用对抗元学习算法可以减少保证程序安全性的基准方法的训练时间;通过利用对抗元学习算法可以提高保证程序安全性的基准方法的鲁棒泛化能力。通过三个基准数据集——ProtoNet,FC100和CIFAR-FS,进行验证。
ProtoNet包含100类的60000张彩色图像,每个类有600个样本,每个图像被调整到84×84。将100个类分为3个部分:64个用于培训,16个用于验证,20个用于测试。
FC100来自CIFAR100数据集,包含20个超类(60个类别),其中,包括训练集中的12个超类,验证集中的4个超类(20个类别),以及测试集中的4个超类(20个类别)。
CIFAR-FS类似于FC100数据集,它也来自CIFAR 100数据集,但不同之处在于它包含100个类别,每个类别有600张图像。在使用中,通常分为训练集(64种)、验证集(16种)、测试集(20种),图像大小统一为32×32。
仿真测试的细节:
样本集:考虑程序中有N路-K样本图像分类任务,通过该任务进行程序安全性的检验,在每个数据集上考虑5路-1样本和5路-5样本图像方案。在本实施例中,以多种方式转换图像,以创建不同的任务,例如以0.5的概率水平翻转每幅图像,并在一个范围为(-5°,5°)的范围内随机旋转每幅图像。
基本模型:在Windows系统上使用PyTorch(版本3.7)深度学习框架和NVIDIARTX8000 Ti显卡来训练和评估包括ProtoNet、R2D2和MetaOptNet在内的网络。
临界参数:将内循环的学习速率μ和外环的学习速率η都设置为0.1。在外循环中,选择Adam优化器。对于混合,Beta分布中的α和β被设置为1。在训练阶段,攻击界∈和步长γ分别设置为2.0/255和2.0/255。在所有经验的测试阶段,使用步长为2.0/255的20步PGD攻击,使用参数为1的交易损失。
混合性能:图2展示了在不同攻击大小的Fast Gradient Sign Method(快速梯度标记法,FGSM)攻击下,将R2D2模型积分训练与正常训练得到的对抗测试精度进行比较,结果表明,采用混合训练的元学习模型具有更强的鲁棒性。
混合式对抗元学习算法的鲁棒性:图3比较了在ProtoNet和R2D2训练的100个阶段和FC100数据集上的5路-1样本学习场景上集成混合式对抗元学习算法后的AQ和原AQ的鲁棒性。从曲线的趋势来看,集成混合式对抗元学习算法后的AQ的整体性能优于AQ。尽管此时方法存在鲁棒过拟合,在100个epoch的训练之后,其仍然实现了比左和右图表中的最初10个epoch分别高0.64%和3.97%的鲁棒准确度。
与标准训练不同,对抗性训练的鲁棒泛化从训练到收敛明显受损。为了减轻鲁棒过拟合,应用一种早期停止方法(Early Stopping,ES)。从图4中,发现ES可以有效地抑制鲁棒过拟合,并极大地提高鲁棒测试精度。特别是图4中的集成混合式对抗元学习算法后的LCAT(左)和集成混合式对抗元学习算法后的AQ(右)的鲁棒精度分别提高了7.78%和6.38%。
对混合式对抗元学习算法的推广:从图5的上部子图中,可以观察到集成混合式对抗元学习算法后的AQ比原始的AQ方法具有更好的测试性能。将泛化差距定义为训练损失和测试损失之间的差值。从图5的下部子图中可以看出,本方法具有较小的泛化间隙,即具有良好的泛化特性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
显然,本领域的技术人员应该明白,上述本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以,本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明所做的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (5)

1.一种基于混合式对抗元学习算法的程序安全模型构建方法,其特征在于,包括以下步骤:
获取程序安全性的任务分布,所述任务分布中包含多个任务,每个任务包括有支持数据和查询数据;
对所述多个任务进行采样,获取支持集和查询集,并根据所述支持集生成对应的对抗支持集;
采用微调算法对所述对抗支持集进行微调,获取目标对抗支持集;
对所述查询集进行采样,并根据采样数据构造新查询集和新对抗查询集;
基于混合式对抗元学习算法,根据所述目标对抗支持集、新查询集和新对抗查询集,将程序的安全性问题转化为程序安全模型,具体包括:
基于混合式对抗元学习算法,根据所述目标对抗支持集、新查询集和新对抗查询集,将将程序的安全性问题转化为程序安全模型,所述程序安全模型为:
Figure FDA0004235646920000011
Figure FDA0004235646920000012
其中,θ0为随机初始化参数,
Figure FDA0004235646920000013
和/>
Figure FDA0004235646920000014
分别采用程序的查询集/>
Figure FDA0004235646920000015
和对抗查询集
Figure FDA0004235646920000016
计算,/>
Figure FDA0004235646920000017
为交叉熵损失,/>
Figure FDA0004235646920000018
是由θ0参数化的模;
通过混合方法混合的程序正确样本对程序安全模型进行训练,所述混合方法为:
Figure FDA0004235646920000019
Figure FDA00042356469200000110
其中,λ~Beta(α,β);
对所述多个任务进行采样,获取训练查询集,根据所述训练查询集得到任务的样本集和标签,并根据所述样本集和标签对所述程序安全模型进行训练,得到目标程序安全模型,具体包括:
从任务
Figure FDA00042356469200000111
中独立采样获取训练查询集;
Figure FDA00042356469200000112
和/>
Figure FDA00042356469200000113
用于表示损失,其中,/>
Figure FDA00042356469200000114
为输入对,zj=(xj,yj)为输出对,预测值/>
Figure FDA00042356469200000115
记为/>
Figure FDA00042356469200000116
将Xi和Yi分别记为所述训练查询集中的样本集及对应的标签,则有:
Figure FDA00042356469200000117
根据所述样本集和标签对所述程序安全模型进行训练,得到目标程序安全模型。
2.根据权利要求1所述的基于混合式对抗元学习算法的程序安全模型构建方法,其特征在于,所述获取程序安全性的任务分布,包括:
设置程序安全性的任务分布为
Figure FDA0004235646920000021
学习率为μ和η,对抗算法为A,微调算法为A,Beta分布参数为α和β,任务/>
Figure FDA0004235646920000022
来自任务分布/>
Figure FDA0004235646920000023
且根据混合算法和Beta分布有:
mixupλ(xi,xj)=λxi+(1-λ)xj,λ~Beta(α,β)。
3.根据权利要求2所述的基于混合式对抗元学习算法的程序安全模型构建方法,其特征在于,所述对所述多个任务进行采样,获取支持集和查询集,并根据所述支持集生成对应的对抗支持集,包括:
设置随机初始化参数θ0,并在程序安全性的任务分布中进行采样,获取任务集
Figure FDA0004235646920000024
对于所述任务集中所有的任务/>
Figure FDA0004235646920000025
执行以下步骤:
对任务τi进行采样,获取支持集
Figure FDA0004235646920000026
和查询集/>
Figure FDA0004235646920000027
采用对抗算法,根据所述支持集生成对应的对抗支持集。
4.根据权利要求3所述的基于混合式对抗元学习算法的程序安全模型构建方法,其特征在于,所述采用微调算法对所述对抗支持集进行微调,获取目标对抗支持集,包括:
根据所述微调算法,对所述对抗支持集进行微调,计算初始化参数
Figure FDA0004235646920000028
其中,φi是元学习在内循环进行对抗训练时,对抗支持集/>
Figure FDA0004235646920000029
从/>
Figure FDA00042356469200000210
开始微调的任务特定参数,/>
Figure FDA00042356469200000211
是由θ0参数化的模;
根据所述初始化参数和对抗支持集,得到目标对抗支持集
Figure FDA00042356469200000212
5.根据权利要求4所述的基于混合式对抗元学习算法的程序安全模型构建方法,其特征在于,所述对所述查询集进行采样,并根据采样数据构造新查询集和新对抗查询集,包括:
对所述查询集
Figure FDA00042356469200000213
进行随机采样,获取成对的采样数据
Figure FDA00042356469200000214
根据所述成对的采样数据构造新查询集为
Figure FDA00042356469200000215
其中,
Figure FDA00042356469200000216
采用对抗算法,根据所述新查询集生成Kq个对抗样本
Figure FDA0004235646920000031
对所述对抗样本
Figure FDA0004235646920000032
进行随机采样,获取成对的对抗采样数据
Figure FDA0004235646920000033
根据所述成对的对抗采样数据,构造得到新对抗查询集
Figure FDA0004235646920000034
其中,/>
Figure FDA0004235646920000035
Figure FDA0004235646920000036
CN202211591519.2A 2022-12-12 2022-12-12 基于混合式对抗元学习算法的程序安全模型构建方法 Active CN115730300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211591519.2A CN115730300B (zh) 2022-12-12 2022-12-12 基于混合式对抗元学习算法的程序安全模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211591519.2A CN115730300B (zh) 2022-12-12 2022-12-12 基于混合式对抗元学习算法的程序安全模型构建方法

Publications (2)

Publication Number Publication Date
CN115730300A CN115730300A (zh) 2023-03-03
CN115730300B true CN115730300B (zh) 2023-06-27

Family

ID=85301128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211591519.2A Active CN115730300B (zh) 2022-12-12 2022-12-12 基于混合式对抗元学习算法的程序安全模型构建方法

Country Status (1)

Country Link
CN (1) CN115730300B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112078593A (zh) * 2020-07-24 2020-12-15 西安电子科技大学 基于多种网络协同模型的自动驾驶系统及方法
CN112101404A (zh) * 2020-07-24 2020-12-18 西安电子科技大学 基于生成对抗网络的图像分类方法、系统及电子设备
CN112613556A (zh) * 2020-09-01 2021-04-06 电子科技大学 基于元学习的少样本图像情感分类方法
CN112949693A (zh) * 2021-02-02 2021-06-11 北京嘀嘀无限科技发展有限公司 图像分类模型的训练方法、图像分类方法、装置和设备
CN113535953A (zh) * 2021-07-15 2021-10-22 湖南大学 一种基于元学习的少样本分类方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150170536A1 (en) * 2013-12-18 2015-06-18 William Marsh Rice University Time-Varying Learning and Content Analytics Via Sparse Factor Analysis
US11836611B2 (en) * 2017-07-25 2023-12-05 University Of Massachusetts Method for meta-level continual learning
JP6826021B2 (ja) * 2017-11-20 2021-02-03 株式会社日立製作所 ストレージシステム
CN111724083B (zh) * 2020-07-21 2023-10-13 腾讯科技(深圳)有限公司 金融风险识别模型的训练方法、装置、计算机设备及介质
CN112418013B (zh) * 2020-11-09 2024-02-09 贵州大学 一种小样本下基于元学习的复杂工况轴承故障诊断方法
CN112786030B (zh) * 2020-12-30 2022-04-29 中山大学 一种基于元学习的对抗采样训练方法及装置
CN113283577A (zh) * 2021-03-08 2021-08-20 中国石油大学(华东) 一种基于元学习和生成对抗网络的工业平行数据生成方法
CN114491028A (zh) * 2022-01-18 2022-05-13 四川大学 基于正则化元学习的小样本文本分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112078593A (zh) * 2020-07-24 2020-12-15 西安电子科技大学 基于多种网络协同模型的自动驾驶系统及方法
CN112101404A (zh) * 2020-07-24 2020-12-18 西安电子科技大学 基于生成对抗网络的图像分类方法、系统及电子设备
CN112613556A (zh) * 2020-09-01 2021-04-06 电子科技大学 基于元学习的少样本图像情感分类方法
CN112949693A (zh) * 2021-02-02 2021-06-11 北京嘀嘀无限科技发展有限公司 图像分类模型的训练方法、图像分类方法、装置和设备
CN113535953A (zh) * 2021-07-15 2021-10-22 湖南大学 一种基于元学习的少样本分类方法

Also Published As

Publication number Publication date
CN115730300A (zh) 2023-03-03

Similar Documents

Publication Publication Date Title
Leino et al. Stolen memories: Leveraging model memorization for calibrated {White-Box} membership inference
US11586860B2 (en) Method for preventing the extraction of a machine learning model
US20220067588A1 (en) Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model
CN113449783B (zh) 一种对抗样本生成方法、系统、计算机设备和存储介质
CN113128271A (zh) 脸部图像的伪造检测
CN111967573A (zh) 数据处理方法、装置、设备及计算机可读存储介质
EP3916597B1 (en) Detecting malware with deep generative models
US11341598B2 (en) Interpretation maps with guaranteed robustness
CN112232426A (zh) 目标检测模型的训练方法、装置、设备及可读存储介质
CN114913923A (zh) 针对单细胞染色质开放性测序数据的细胞类型识别方法
CN114220097B (zh) 一种基于对抗攻击的图像语义信息敏感像素域的筛选方法及应用方法与系统
CN115730300B (zh) 基于混合式对抗元学习算法的程序安全模型构建方法
Zhang et al. An SVM-based NAND flash endurance prediction method
CN110941824B (zh) 一种基于对抗样本增强模型抗攻击能力的方法和系统
CN109326324B (zh) 一种抗原表位的检测方法、系统及终端设备
US11887059B2 (en) Apparatus and methods for creating a video record
WO2022126917A1 (zh) 基于深度学习的人脸图像评估方法、装置、设备及介质
TWI742312B (zh) 機器學習系統、機器學習方法及其非暫態電腦可讀媒體
CN113838579A (zh) 一种医疗数据的异常检测方法、装置、设备及存储介质
Juárez et al. Black-box audits for group distribution shifts
CN116508035A (zh) 将经训练的人工智能模型转换为可信赖的人工智能模型
CN112784990A (zh) 一种成员推断模型的训练方法
CN111242449A (zh) 一种企业情报流失预测方法
US20240160915A1 (en) Explainable deep interpolation
CN113111833B (zh) 人工智能系统的安全性检测方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant