CN116030312A - 模型评估方法、装置、计算机设备和存储介质 - Google Patents
模型评估方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116030312A CN116030312A CN202310324457.7A CN202310324457A CN116030312A CN 116030312 A CN116030312 A CN 116030312A CN 202310324457 A CN202310324457 A CN 202310324457A CN 116030312 A CN116030312 A CN 116030312A
- Authority
- CN
- China
- Prior art keywords
- sample
- disturbance
- countermeasure
- target
- sample data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 54
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000009466 transformation Effects 0.000 claims abstract description 31
- 238000004590 computer program Methods 0.000 claims description 21
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 238000005282 brightening Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013097 stability assessment Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Complex Calculations (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种模型评估方法、装置、计算机设备和存储介质，涉及机器学习技术领域、人工智能技术领域。方法包括：获取第一样本数据；根据动量迭代梯度算法对第一样本数据进行处理，得到原始对抗样本；基于预设迭代策略以及物理变换，对原始对抗样本进行迭代处理，得到满足迭代条件的目标对抗样本，并将目标对抗样本对应的第一对抗扰动确定为目标通用扰动；基于目标通用扰动以及第二样本数据生成第二对抗样本，并根据第二对抗样本对待测模型进行稳定性评估。采用本方法能够提高原始对抗样本的迁移性，提高了目标通用扰动的鲁棒性，进而提高模型评估的准确率。
Description
技术领域
本申请涉及机器学习、人工智能技术领域，特别是涉及一种模型评估方法、装置、计算机设备和存储介质。
背景技术
随着深度学习技术的发展，在深度学习的安全问题越来越受到研究人员的关注。其中，对抗样本技术在深度学习中，通过模拟样本数据来欺骗深度学习模型，因此，对抗样本技术可以应用于模型的稳定性评估。
传统技术中，基于足量的样本数据以及通用对抗扰动生成方法，生成通用对抗扰动，然后，基于该通用对抗扰动，得到对抗扰动样本，进而，根据对抗扰动样本进行模型的稳定性评估。
然而，实际模型稳定性评估时，获取到的样本数据往往都是有限的，因此，在有限的样本数据下，生成的通用对抗扰动缺乏鲁棒性，模型稳定性评估准确率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种模型评估方法、装置、计算机设备和计算机可读存储介质。
第一方面，本申请提供了一种模型评估方法。所述方法包括：
获取第一样本数据；
根据动量迭代梯度算法对所述第一样本数据进行处理，得到原始对抗样本；
基于预设迭代策略以及物理变换，对所述原始对抗样本进行迭代处理，得到满足迭代条件的目标对抗样本，并将所述目标对抗样本对应的第一对抗扰动确定为目标通用扰动；
基于所述目标通用扰动以及第二样本数据生成第二对抗样本，并根据所述第二对抗样本对待测模型进行稳定性评估。
在其中一个实施例中，所述根据动量迭代梯度算法对所述第一样本数据进行处理，得到原始对抗样本，所述方法包括：
根据当前动量以及交叉熵损失，确定第一梯度，并根据所述第一样本数据以及所述第一梯度，确定第一动量迭代数据；
基于所述第一样本数据与所述第一动量迭代数据的输出差异，确定特征空间损失；
根据所述特征空间损失，确定第二梯度，并根据所述第一动量迭代数据以及所述第二梯度，确定第二动量迭代数据；
将所述第二动量迭代数据作为新的所述第一动量迭代数据，执行所述基于所述第一样本数据与所述第一动量迭代数据的输出差异，确定特征空间损失的步骤，直至达到预设迭代次数阈值的情况下，得到所述原始对抗样本。
在其中一个实施例中，所述基于预设迭代策略以及物理变换，对所述原始对抗样本进行迭代处理，得到满足迭代条件的目标对抗样本，并将所述目标对抗样本对应的第一对抗扰动确定为目标通用扰动，包括：
将第一对抗扰动添加至所述原始对抗样本中，得到第一对抗样本；
在不满足预设输出条件的情况下，更新所述第一对抗扰动；
基于更新后的第一对抗扰动以及物理变换，对所述第一对抗样本进行处理，得到第三对抗样本；
将所述第三对抗样本作为新的第一对抗样本，执行所述在不满足预设输出条件的情况下，更新所述第一对抗扰动的步骤，直至满足所述预设输出条件，将当前的第一对抗样本作为目标对抗样本，并确定当前的第一对抗扰动为目标通用扰动。
在其中一个实施例中，所述在不满足预设输出条件的情况下，更新所述第一对抗扰动，包括：
通过目标模型对所述第一对抗样本中的样本数据进行分类判别，得到所述目标模型分类判别对应的错误率；
在所述错误率不满足预设阈值的情况下，针对所述第一样本数据中扰动程度满足预设扰动条件的目标样本数据，更新所述第一对抗扰动。
在其中一个实施例中，所述在所述错误率不满足预设阈值的情况下，针对所述第一样本数据中扰动程度满足预设扰动条件的目标样本数据，更新所述第一对抗扰动，包括：
在所述错误率不满足预设阈值的情况下，将所述第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果；所述目标样本数据为当前循环的样本数据；
将所述原始对抗样本中的目标样本数据输入至模型分类器，得到第二分类结果；
在所述第一分类结果与所述第二分类结果一致的情况下，确定所述目标样本数据扰动程度满足预设扰动条件，更新所述第一对抗扰动。
在其中一个实施例中，所述将所述第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果之前，所述方法还包括：
判断所述第一对抗扰动是否在预设扰动范围；
当所述第一对抗扰动满足所述预设扰动范围，执行将所述第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果步骤；
当所述第一对抗扰动不满足所述预设扰动范围，对所述第一对抗扰动进行裁剪，将裁剪后的所述第一对抗扰动作为新的第一对抗扰动，执行所述判断所述第一对抗扰动是否在预设扰动范围步骤。
在其中一个实施例中，所述更新所述第一对抗扰动，包括：
对第一对抗扰动进行更新，得到初始第一对抗扰动；
将所述第一对抗样本输入至模型分类器，得到第三分类结果；
判断所述第三分类结果与第二分类结果是否一致；所述第二分类结果为将所述原始对抗样本中的目标样本数据输入至模型分类器得到的分类结果；
在所述第三分类结果与第二分类结果一致的情况下，执行所述对第一对抗扰动进行更新，得到初始第一对抗扰动的步骤，直至所述第三分类结果与第二分类结果不一致，确定所述初始第一对抗扰动为更新后的第一对抗扰动。
在其中一个实施例中，所述基于所述目标通用扰动以及第二样本数据生成第二对抗样本，并根据所述第二对抗样本对待测模型进行稳定性评估，所述方法包括：
将所述目标通用扰动添加至所述第二样本数据，得到所述第二对抗样本；
将所述第二对抗样本添加至所述待测模型，对所述第二对抗样本进行分类判别，得到第一准确率；
将所述第二样本数据添加至所述待测模型，对所述第二样本数据进行分类判别，得到第二准确率；
根据所述第一准确率与所述第二准确率，确定所述待测模型的稳定性评估结果。
第二方面，本申请还提供了一种模型评估装置。所述装置包括：
获取模块，获取第一样本数据；
处理模块，根据动量迭代梯度算法对所述第一样本数据进行处理，得到原始对抗样本；
迭代模块，基于预设迭代策略以及物理变换，对所述原始对抗样本进行迭代处理，得到满足迭代条件的目标对抗样本，并将所述目标对抗样本对应的第一对抗扰动确定为目标通用扰动；
评估模块，基于所述目标通用扰动以及第二样本数据生成第二对抗样本，并根据所述第二对抗样本对待测模型进行稳定性评估。
在其中一个实施例中，所述处理模块具体用于：
根据当前动量以及交叉熵损失，确定第一梯度，并根据所述第一样本数据以及所述第一梯度，确定第一动量迭代数据；
基于所述第一样本数据与所述第一动量迭代数据的输出差异，确定特征空间损失；
根据所述特征空间损失，确定第二梯度，并根据所述第一动量迭代数据以及所述第二梯度，确定第二动量迭代数据；
将所述第二动量迭代数据作为新的所述第一动量迭代数据，执行所述基于所述第一样本数据与所述第一动量迭代数据的输出差异，确定特征空间损失的步骤，直至达到预设迭代次数阈值的情况下，得到所述原始对抗样本。
在其中一个实施例中，所述迭代模块具体用于：
将第一对抗扰动添加至所述原始对抗样本中，得到第一对抗样本；
在不满足预设输出条件的情况下，更新所述第一对抗扰动；
基于更新后的第一对抗扰动以及物理变换，对所述第一对抗样本进行处理，得到第三对抗样本；
将所述第三对抗样本作为新的第一对抗样本，执行所述在不满足预设输出条件的情况下，更新所述第一对抗扰动的步骤，直至满足所述预设输出条件，将当前的第一对抗样本作为目标对抗样本，并确定当前的第一对抗扰动为目标通用扰动。
在其中一个实施例中，所述迭代模块具体用于：
通过目标模型对所述第一对抗样本中的样本数据进行分类判别，得到所述目标模型分类判别对应的错误率；
在所述错误率不满足预设阈值的情况下，针对所述第一样本数据中扰动程度满足预设扰动条件的目标样本数据，更新所述第一对抗扰动。
在其中一个实施例中，所述迭代模块具体用于：
在所述错误率不满足预设阈值的情况下，将所述第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果；所述目标样本数据为当前循环的样本数据；
将所述原始对抗样本中的目标样本数据输入至模型分类器，得到第二分类结果；
在所述第一分类结果与所述第二分类结果一致的情况下，确定所述目标样本数据扰动程度满足预设扰动条件，更新所述第一对抗扰动。
在其中一个实施例中，所述迭代模块具体用于：
判断所述第一对抗扰动是否在预设扰动范围；
当所述第一对抗扰动满足所述预设扰动范围，执行将所述第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果步骤；
当所述第一对抗扰动不满足所述预设扰动范围，对所述第一对抗扰动进行裁剪，将裁剪后的所述第一对抗扰动作为新的第一对抗扰动，执行所述判断所述第一对抗扰动是否在预设扰动范围步骤。
在其中一个实施例中，所述迭代模块具体用于：
对第一对抗扰动进行更新，得到初始第一对抗扰动；
将所述第一对抗样本输入至模型分类器，得到第三分类结果；
判断所述第三分类结果与第二分类结果是否一致；所述第二分类结果为将所述原始对抗样本中的目标样本数据输入至模型分类器得到的分类结果；
在所述第三分类结果与第二分类结果一致的情况下，执行所述对第一对抗扰动进行更新，得到初始第一对抗扰动的步骤，直至所述第三分类结果与第二分类结果不一致，确定所述初始第一对抗扰动为更新后的第一对抗扰动。
在其中一个实施例中，所述评估模块具体用于：
将所述目标通用扰动添加至所述第二样本数据，得到所述第二对抗样本；
将所述第二对抗样本添加至所述待测模型，对所述第二对抗样本进行分类判别，得到第一准确率；
将所述第二样本数据添加至所述待测模型，对所述第二样本数据进行分类判别，得到第二准确率；
根据所述第一准确率与所述第二准确率，确定所述待测模型的稳定性评估结果。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面的方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面的方法的步骤。
上述模型评估方法、装置、计算机设备和存储介质，根据动量迭代梯度算法与第一样本数据生成原始对抗样本，可以提高原始对抗样本的迁移性，基于具有迁移性的原始对抗样本迭代生成的通用扰动添加物理变化得到目标通用扰动，提高了目标通用扰动的鲁棒性，进一步提高目标对抗样本的鲁棒性，实现在有限数据或少量样本数据的情况下，提高待测模型稳定性评估的准确率。
附图说明
图1为一个实施例中模型评估方法的应用环境图；
图2为一个实施例中模型评估方法的流程示意图；
图3为一个实施例中根据动量迭代梯度算法生成原始对抗样本的流程示意图；
图4为一个实施例中第一对抗样本迭代及物理变换步骤的流程示意图；
图5为一个实施例中更新第一对抗扰动步骤的流程示意图；
图6为一个实施例中更新第一对抗扰动步骤的流程示意图；
图7为一个实施例中判断是否继续增大第一对抗扰动的步骤的流程示意图；
图8为一个实施例中更新第一对抗扰动步骤的流程示意图；
图9为一个实施例中模型稳定性评估方法的流程示意图；
图10为一个实施例中模型评估方法的示例的流程示意图；
图11为一个实施例中模型评估装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的模型评估方法，可以应用于如图1所示的终端102中，也可以应用于服务器104中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端获取少量的第一样本数据；根据动量迭代梯度算法对第一样本数据进行处理，得到原始对抗样本；基于预设迭代策略以及物理变换，对原始对抗样本进行迭代处理，得到满足迭代条件的第一对抗样本，并将第一对抗样本对应的第一对抗扰动确定为目标通用扰动；基于目标通用扰动以及第二样本数据生成第二对抗样本，并根据第二对抗样本对待测模型进行稳定性评估。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种模型评估方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤202，获取第一样本数据。
其中，第一样本数据包括目标模型用于训练的样本数据。
其中，目标模型为用于生成的UAP（Universal adversarial perturbations 通用对抗扰动）的模型。
本申请实施例中，终端获取目标模型的第一样本数据，此第一样本数据用于生成目标通用扰动。
步骤204，根据动量迭代梯度算法对第一样本数据进行处理，得到原始对抗样本。
其中，动量迭代梯度算法包括MI-FGSM（一种基于梯度的动量迭代攻击方法）算法。
本申请实施例中，终端根据动量迭代梯度算法对第一样本数据进行处理，生成原始对抗样本，具体处理过程如下公式所示：
（1-1）
（1-2）
其中，为每一步迭代的步长，为累计梯度，表示的衰减因子，代表求取梯度函数，表示损失函数，为损失函数的参考值，表征第t次的迭代结果，表征第t+1次的迭代结果。
终端使用一个动量来记录前面迭代时的优化方向，再结合当前步的导数，从而确定当前步的最终优化方向，从而提高作为原始输入的原始对抗样本的迁移性。
步骤206，基于预设迭代策略以及物理变换，对原始对抗样本进行迭代处理，得到满足迭代条件的第一对抗样本，并将第一对抗样本对应的第一对抗扰动确定为目标通用扰动。
其中，物理变换的操作可以但不限于包括通过加性因子重新缩放、旋转、变亮或变暗、添加高斯噪声和图像的平移等。
本申请实施例中，终端基于预设迭代策略和第一对抗扰动进行迭代，然后对迭代后的第一对抗扰动添加物理变换，得到能够使目标模型分类判别错误率达到预设阈值的第一对抗样本，将第一对抗样本对应的第一对抗扰动确定为目标通用扰动。具体的，例如第一对抗扰动样本包含m个图片，终端将此m个图片输入至目标模型中，得到目标模型的分类错误率，终端对此第一对抗扰动样本进行迭代，求取目标通用扰动，添加此目标通用扰动的第二对抗样本能够使得此目标模型以预设阈值以上的错误率对此m个图片进行分类的。
步骤208，基于目标通用扰动以及第二样本数据生成第二对抗样本，并根据第二对抗样本对待测模型进行稳定性评估。
其中，第二样本数据包括待测模型的样本数据，用于添加目标通用对抗扰动，形成对待测模型进行准确率测试的第二对抗样本。
本申请实施例中，终端将第二对抗样本与第二样本数据分别输入至待检测模型，根据输入第二对抗样本的待检测模型对于输入第二样本数据的待检测模型的准确率变化，确定待测模型的稳定性评估结果。
在一个可选的实施例中，在图像数据处理中，第一样本数据为目标模型对应的图像样本。因此，基于图像样本对待测模型进行模型稳定性评估时，针对目标图像分类模型获取第一图像样本数据；根据动量迭代梯度算法对第一图像样本数据进行处理，得到原始图像对抗样本；基于预设迭代策略以及物理变换，对原始图像对抗样本进行迭代处理，得到满足迭代条件的目标图像对抗样本，并将目标图像对抗样本对应的第一对抗扰动确定为目标通用扰动；其中，物理变换为针对原始图像样本中的图像样本数据通过加性因子重新缩放、旋转、变亮或变暗、添加高斯噪声和平移等。基于目标通用扰动以及第二图像样本数据生成第二图像对抗样本，并根据第二图像对抗样本对待测图像分类模型进行稳定性评估。
上述模型评估方法中，根据动量迭代梯度算法与第一样本数据生成原始对抗样本，可以提高原始对抗样本的迁移性，基于具有迁移性的原始对抗样本迭代生成的通用扰动添加物理变化得到目标通用扰动，提高了目标通用扰动的鲁棒性，进一步提高目标对抗样本的鲁棒性，实现在有限数据或少量样本数据的情况下，提高待测模型稳定性评估的准确率。
在一个实施例中，如图3所示，步骤204根据动量迭代梯度算法对第一样本数据进行处理，得到原始对抗样本，方法包括：
步骤302，根据当前动量以及交叉熵损失，确定第一梯度，并根据第一样本数据以及第一梯度，确定第一动量迭代数据。
其中，对于非第一次迭代的第一梯度，可以表示第一样本数据与第一动量迭代数据在图像空间的距离。
在本实施例中，可选的，动量迭代梯度算法可以是MI-FGSM算法。对于第一次迭代，当前动量为初始值；对于非第一次迭代的动量可以由第一样本数据以及第一动量迭代数据确定。终端根据每次更新的第一梯度及第一样本数据，可以得到新的第一动量迭代数据。
步骤304，基于第一样本数据与第一动量迭代数据的输出差异，确定特征空间损失。
其中，特征空间损失用于表示第一样本数据与第一动量迭代数据的特征空间的距离。
在本实施例中，终端根据第一样本数据与第一动量迭代数据的特征差异，作为特征空间距离进行输出。
步骤306，根据特征空间损失，确定第二梯度，并根据第一动量迭代数据以及第二梯度，确定第二动量迭代数据。
其中，第二梯度用于表示第一样本数据与初始第一样本数据在特征空间的距离。
在本实施例中，终端根据第一样本数据与第一动量迭代数据的特征差异，确定第二梯度，利用此第二梯度对第一样本数据增大扰动，得到第二样本数据。
步骤308，将第二动量迭代数据作为新的第一动量迭代数据，执行基于第一样本数据与第一动量迭代数据的输出差异，确定特征空间损失的步骤，直至达到预设迭代条件的情况下，得到原始对抗样本。
在本实施例中，终端可以根据第一动量迭代数据与第二动量迭代数据的特征空间损失，对第一动量迭代数据进行迭代；可选的，在迭代至预设次数时，将当前的迭代的第二动量迭代数据确定为原始对抗样本。
本实施例中，通过对第一样本数据根据动量迭代梯度算法（MI-FGSM）生成原始对抗样本，可以提高用于生成目标通用扰动的原始对抗样本的迁移性，使得生成的目标同扰动具有迁移性。
在一个实施例中，如图4所示，步骤206基于预设迭代策略以及物理变换，对原始对抗样本进行迭代处理，得到满足迭代条件的第一对抗样本，并将第一对抗样本对应的第一对抗扰动确定为目标通用扰动，方法包括：
步骤402，将第一对抗扰动添加至原始对抗样本中，得到第一对抗样本。
本申请实施例中，初始化第一对抗扰动为零，终端获取用于迭代的第一对抗扰动，根据第一对抗扰动和原始对抗样本得到第一对抗样本，第一对抗样本用于检验当前第一对抗样本所添加的第一对抗扰动是否对目标模型具有足够的扰动能力。
步骤404，在不满足预设输出条件的情况下，更新第一对抗扰动。
本申请实施例中，终端根据第一对抗样本得到该目标模型的错误率。具体的，终端将第一对抗样本中的所有样本数据输入至目标模型，得到第一模型分类结果；终端将第一样本数据中的所有样本数据输入至目标模型，得到第二模型分类结果，根据第一模型分类判别结果和第二模型分类判别结果计算并得到目标模型分类判别对应的错误率。
步骤406，基于更新后的第一对抗扰动以及物理变换，对第一对抗样本进行处理，得到第三对抗样本。
其中，物理变换的方法包括EOT（Expectation Over Transformation 一种构建对抗样本的通用框架）算法。
其中，对于图像样本，物理变换包括通过加性因子重新缩放、旋转、变亮或变暗、添加高斯噪声和图像的平移等方式。
本申请实施例中，终端对每次更新后的第一对抗样本添加一个物理变换，约束优化过程中对抗输入和原始输入的距离，得到第三对抗样本。
步骤408，将第三对抗样本作为新的第一对抗样本，执行在不满足预设输出条件的情况下，更新第一对抗扰动的步骤，直至满足预设输出条件，将当前的第一对抗样本作为目标对抗样本，并确定当前的第一对抗扰动为目标通用扰动。
本申请实施例中，终端将第三对抗样本对应的第一对抗扰动以及物理变换添加至原始对抗样本中，得到新的第一对抗样本，当此第一对抗扰动满足预设输出条件，终端终止迭代并将当此第一对抗扰动确定为目标通用扰动。
本实施例中，通过迭代求取目标通用扰动，能够提高原始通用扰动的鲁棒性，在第一对抗扰动的前提上增加物理变换操作，可以进一步提升第一对抗扰动的鲁棒性，使得最终生成的目标通用扰动具有更强的鲁棒性，使得数据有限的待测模型的样本数据所添加的目标通用对抗扰动具有更强的鲁棒性，提高对待测模型稳定性评估的准确率。
在一个实施例中，如图5所示，步骤404在不满足预设输出条件的情况下，更新第一对抗扰动，包括：
步骤502，通过目标模型对第一对抗样本中的样本数据进行分类判别，得到目标模型分类判别对应的错误率。
在本实施例中，终端将第一对抗样本中的样本数据输入至目标模型，对此样本数据进行分类判别，根据模型是否对样本图像数据正确判别，得到目标模型分类判别对应的错误率。
步骤504，在错误率不满足预设阈值的情况下，针对第一样本数据中扰动程度满足预设扰动条件的目标样本数据，更新第一对抗扰动。
本申请实施例中，在错误率不满足预设阈值且目标样本数据的扰动程度满足预设扰动条件的情况下，终端根据模型分类器的分类结果判断是否对第一对抗扰动进行更新，最终得到更新后的第一对抗扰动。具体地，终端将第一对抗扰动添加至原始对抗样本中，得到第一对抗样本，根据第一对抗样本在模型分类器的结果与原始对抗样本在模型分类器的分类结果，判断是否增大第一对抗扰动，直至第一对抗样本在模型分类器的结果与原始对抗样本在模型分类器的分类结果不一致，将此时的第一对抗扰动作为更新后的第一对抗扰动。
可选的，在错误率满足预设阈值的情况下，将当前轮次的第一对抗样本作为目标对抗样本进行输出。
本实施例中，通过对第一对抗样本进行目标模型的分类，可以得出添加此对抗扰动的样本数据是否对目标模型进行有效干扰，把错误率满足预设阈值的目标对抗样本进行输出可以保证通用对抗扰动的鲁棒性。
在一个实施例中，如图6所示，步骤504在错误率不满足预设阈值的情况下，针对第一样本数据中扰动程度满足预设扰动条件的目标样本数据，更新第一对抗扰动，包括：
步骤602，在错误率不满足预设阈值的情况下，将第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果。
其中，目标样本数据为当前循环的第一对抗样本的样本数据。
本申请实施例中，在添加当前第一对抗扰动的样本数据，不能使得目标模型的错误率达到预设阈值的情况下，终端需要根据当前第一对抗样本的样本数据在模型分类器下的分类结果与原始对抗样本的样本数据在模型分类器下的分类结果是否一致，判断将原始对抗样本中的下一个样本数据作为新的第一对抗样本的样本数据。因此，终端将未添加第一对抗样本的目标样本数据添输入至模型分类器，得到第一分类结果。
步骤604，在错误率不满足预设阈值的情况下，将原始对抗样本中的目标样本数据输入至模型分类器，得到第二分类结果。
本申请实施例中，与步骤602的原理相同，终端将原始对抗样本中的目标样本数据输入至模型分类器，得到第二分类结果。
步骤606，在第一分类结果与第二分类结果一致的情况下，确定目标样本数据扰动程度满足预设扰动条件，更新第一对抗扰动。
本申请实施例中，在第一分类结果与第二分类结果一致的情况下，说明此时的第一对抗扰动对于当前第一对抗样本的样本数据来说，扰动程度较小，不能被模型分类器判别为不同种类，所以需要继续增大第一对抗扰动，即更新第一对抗扰动。
在第一分类结果与第二分类结果不一致的情况下，说明此时的第一对抗扰动对于当前第一对抗样本的样本数据来说，满足当前样本数据的扰动程度，为了提高目标通用扰动的鲁棒性，终端将原始对抗样本的下一个样本数据，作为新的原始对抗样本，终端基于新的原始对抗样本来生成第一对抗样本。
本实施例中，通过将原始对抗样本中的所有样本数据进行第一对抗扰动的测试，可以提高第一对抗扰动的鲁棒性，进而提高目标通用扰动的鲁棒性，提高待测模型评估的准确率。
在一个实施例中，如图7所示，步骤602将第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果之前，方法还包括：
步骤702，判断第一对抗扰动是否在预设扰动范围。
本申请实施例中，终端判断更新后的第一对抗扰动是否在预设的扰动范围内。
可选的，第一样本数据为图像样本数据的情况下，此扰动范围表征预设的扰动的像素值范围。例如，终端判断更新后的第一对抗扰动是否处于预设的像素值内。
步骤704，当第一对抗扰动满足预设扰动范围内，执行将第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果步骤。
本申请实施例中，当第一对抗扰动满足预设扰动范围内，终端重新执行上述步骤602，即将第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果步骤。
步骤706，当第一对抗扰动不满足预设扰动范围，对第一对抗扰动进行裁剪，将裁剪后的第一对抗扰动作为新的第一对抗扰动，执行判断第一对抗扰动是否在预设扰动范围步骤。
本申请实施例中，当第一对抗扰动不满足预设扰动范围，终端可以通过clip（一种裁剪算法）操作对第一对抗扰动进行裁剪，使第一对抗扰动限制在预设扰动范围内，然后，重新对新的第一对抗扰动进行扰动范围的判断，即执行上述步骤702。
本实施例中，通过对超出预设扰动范围的第一对抗扰动进行裁剪，能够将第一对抗扰动限制在预设的扰动范围内，防止第一扰动过大使得第一对抗样本失真。
在一个实施例中，如图8所示，步骤404、504和606中任一个步骤更新第一对抗扰动，包括：
步骤802，对第一对抗扰动进行更新，得到初始第一对抗扰动。
本申请实施例中，终端对第一对抗扰动添加一个增量，将增大后的第一对抗扰动作为新的第一对抗扰动，用于迭代求取能够满足所有第一样本数据达到预设条件的第一对抗样本。
（2-1）
其中，目标样本数据的扰动程度为在当前扰动值下，本次使用的原始对抗样本中的样本数据，表征当前第一对抗扰动对此样本数据的扰动程度。其中，第一对抗扰动的增量取最小值，表征约束条件。
步骤804，将第一对抗样本输入至模型分类器，得到第三分类结果。
本申请实施例中，如公式（2-2）所示，在添加当前第一对抗扰动的样本数据，不能使得目标模型的错误率达到预设阈值的情况下，与步骤602的原理相同，终端将原始对抗样本中的目标样本数据输入至模型分类器，得到原始对抗样本的样本数据在模型分类器下的分类结果，作为第三分类结果。
（2-2）
其中，表征在模型分类器中的分类结果，表征添加物理变换。
步骤806，判断第三分类结果与第二分类结果是否一致。
其中，第二分类结果为将原始对抗样本中的目标样本数据输入至模型分类器得到的分类结果。
本申请实施例中，终端判断第三分类结果与第二分类结果是否一致，基于第三分类结果与第二分类结果是否一致，判断是否更新第一对抗扰动。具体的，在第三分类结果与第二分类结果相同的情况下，终端继续增大第一对抗扰动，直到第三分类结果与第二分类结果不同。
步骤808，在第三分类结果与第二分类结果一致的情况下，执行对第一对抗扰动进行更新，得到初始第一对抗扰动的步骤，直至第三分类结果与第二分类结果不一致，确定初始第一对抗扰动为更新后的第一对抗扰动。
本申请实施例中，在第三分类结果与第二分类结果一致的情况下，说明当前第一对抗扰动较小，终端继续增大第一对抗扰动，直至第一分类结果与第二分类结果不一致，确定初始第一对抗扰动为更新后的第一对抗扰动，其中，如公式（2-1）所示，对第一对抗扰动更新的增量选取最小值。
本实施例中，通过迭代寻找一个微小的扰动，使得添加更新后的第一对抗扰动的样本数据能够在模型分类器中的分类结果，与原始对抗样本的样本数据在模型分类器中的分类结果不同，能够使目标通用扰动的鲁棒性更强，提高模型评估的准确率。
在一个实施例中，如图9所示，步骤208基于目标通用扰动以及第二样本数据生成第二对抗样本，并根据第二对抗样本对待测模型进行稳定性评估，方法包括：
步骤902，将目标通用扰动添加至第二样本数据，得到第二对抗样本。
其中，第二样本数据为待测模型的样本数据。
本申请实施例中，终端将生成的目标通用扰动添加到待测模型的样本数据中，得到待测模型用于测试的对抗样本，即第二对抗样本。
步骤904，将第二对抗样本添加至待测模型，对第二对抗样本进行分类判别，得到第一准确率。
本申请实施例中，终端将第二对抗样本添加至待测模型，根据待测模型实现的功能，进行对第二对抗样本的分类或识别，得到待测模型的准确率，即第一准确率。
步骤906，将第二样本数据添加至待测模型，对第二样本数据进行分类判别，得到第二准确率。
本申请实施例中，与步骤704原理相同，终端根据相同原理，将第二样本数据添加至待测模型，对第二样本数据进行分类判别，得到待测模型的第二准确率。
步骤908，根据第一准确率与第二准确率，确定待测模型的稳定性评估结果。
本申请实施例中，当第二样本数据添加目标通用扰动后，待测模型的准确率会一定程度上降低，终端可以通过第二准确率到第一准确率的降低幅度，对待测模型进行稳定性评估。例如，终端预先设置有模型稳定性的梯度分级，根据第二准确率到第一准确率的降低幅度，确定对待测模型进行梯度分级，最终得到待测模型的稳定性评估结果。
本实施例中，通过对待测模型的样本数据添加目标通用扰动后的准确率变化进行分析，能够确定待测模型的稳定性评估结果。
本申请实施例还提供了一种模型评估方法的示例，如图10所示，具体包括以下步骤：
步骤1001，获取第一样本数据。
步骤1002，根据动量迭代梯度算法对第一样本数据进行处理，得到原始对抗样本。
步骤1003，将第一对抗扰动添加至原始对抗样本中，得到第一对抗样本。
步骤1004，通过目标模型对第一对抗样本中的样本数据进行分类判别，得到目标模型分类判别对应的错误率。在错误率满足预设阈值的情况下，将本轮次的第一对抗扰动作为目标对抗扰动进行输出；在不满足预设阈值的情况下，执行步骤1005。
步骤1005，判断第一对抗扰动是否在预设扰动范围，当第一对抗扰动满足预设扰动范围内，执行步骤1006；当第一对抗扰动不满足预设扰动范围，对第一对抗扰动进行裁剪，将裁剪后的第一对抗扰动作为新的第一对抗扰动，执行步骤1005。
步骤1006，将第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果。以及，将原始对抗样本中的目标样本数据输入至模型分类器，得到第二分类结果。在第一分类结果与第二分类结果一致的情况下，执行步骤1007；在第一分类结果与第二分类结果不一致的情况下，将原始对抗样本中的下一个样本数据作为本轮次的目标样本数据，该目标样本数据用于添加当前轮次第一对抗样本的样本数据，即执行步骤1004。
步骤1007，对第一对抗扰动进行更新，得到初始第一对抗扰动。将初始第一对抗样本输入至模型分类器，得到第三分类结果。判断第三分类结果与第二分类结果是否一致。在第三分类结果与第二分类结果一致的情况下，执行对第一对抗扰动进行更新，得到初始第一对抗扰动的步骤；在第三分类结果与第二分类结果不一致的情况下，执行步骤1008。
步骤1008，基于更新后的第一对抗扰动以及物理变换，对第一对抗样本进行处理，得到第三对抗样本。
步骤1009，将第三对抗样本作为新的第一对抗样本，执行通过目标模型对第一对抗样本中的样本数据进行分类判别，得到目标模型分类判别对应的错误率，直至错误率满足预设阈值，将当前的第一对抗样本作为目标对抗样本，并确定当前的第一对抗扰动为目标通用扰动。
步骤1010，将目标通用扰动添加至第二样本数据，得到第二对抗样本。
步骤1011，将第二对抗样本添加至待测模型，对第二对抗样本进行分类判别，得到第一准确率。
步骤1012，将第二样本数据添加至待测模型，对第二样本数据进行分类判别，得到第二准确率。
步骤1013，根据第一准确率与第二准确率，确定待测模型的稳定性评估结果。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的模型评估方法的模型评估装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个模型评估装置实施例中的具体限定可以参见上文中对于模型评估方法的限定，在此不再赘述。
在一个实施例中，如图11所示，提供了一种模型评估装置1000，包括：获取模块1101、处理模块1102、迭代模块1103和评估模块1104，其中：
获取模块1101，获取第一样本数据；
处理模块1102，根据动量迭代梯度算法对第一样本数据进行处理，得到原始对抗样本；
迭代模块1103，基于预设迭代策略以及物理变换，对原始对抗样本进行迭代处理，得到满足迭代条件的目标对抗样本，并将目标对抗样本对应的第一对抗扰动确定为目标通用扰动；
评估模块1104，基于目标通用扰动以及第二样本数据生成第二对抗样本，并根据第二对抗样本对待测模型进行稳定性评估。
在其中一个实施例中，处理模块1102具体用于：
根据当前动量以及交叉熵损失，确定第一梯度，并根据第一样本数据以及第一梯度，确定第一动量迭代数据；
基于第一样本数据与第一动量迭代数据的输出差异，确定特征空间损失；
根据特征空间损失，确定第二梯度，并根据第一动量迭代数据以及第二梯度，确定第二动量迭代数据；
将第二动量迭代数据作为新的第一动量迭代数据，执行基于第一样本数据与第一动量迭代数据的输出差异，确定特征空间损失的步骤，直至达到预设迭代次数阈值的情况下，得到原始对抗样本。
在其中一个实施例中，迭代模块1103具体用于：
将第一对抗扰动添加至原始对抗样本中，得到第一对抗样本；
在不满足预设输出条件的情况下，更新第一对抗扰动；
基于更新后的第一对抗扰动以及物理变换，对第一对抗样本进行处理，得到第三对抗样本；
将第三对抗样本作为新的第一对抗样本，执行在不满足预设输出条件的情况下，更新第一对抗扰动的步骤，直至满足预设输出条件，将当前的第一对抗样本作为目标对抗样本，并确定当前的第一对抗扰动为目标通用扰动。
在其中一个实施例中，迭代模块1103具体用于：
通过目标模型对第一对抗样本中的样本数据进行分类判别，得到目标模型分类判别对应的错误率；
在错误率不满足预设阈值的情况下，针对第一样本数据中扰动程度满足预设扰动条件的目标样本数据，更新第一对抗扰动。
在其中一个实施例中，迭代模块1103具体用于：
在错误率不满足预设阈值的情况下，将第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果；目标样本数据为当前循环的样本数据；
将原始对抗样本中的目标样本数据输入至模型分类器，得到第二分类结果；
在第一分类结果与第二分类结果一致的情况下，确定目标样本数据扰动程度满足预设扰动条件，更新第一对抗扰动。
在其中一个实施例中，迭代模块1103具体用于：
判断第一对抗扰动是否在预设扰动范围；
当第一对抗扰动满足预设扰动范围，执行将第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果步骤；
当第一对抗扰动不满足预设扰动范围，对第一对抗扰动进行裁剪，将裁剪后的第一对抗扰动作为新的第一对抗扰动，执行判断第一对抗扰动是否在预设扰动范围步骤。
在其中一个实施例中，迭代模块1103具体用于：
对第一对抗扰动进行更新，得到初始第一对抗扰动；
将第一对抗样本输入至模型分类器，得到第三分类结果；
判断第三分类结果与第二分类结果是否一致；第二分类结果为将原始对抗样本中的目标样本数据输入至模型分类器得到的分类结果；
在第三分类结果与第二分类结果一致的情况下，执行对第一对抗扰动进行更新，得到初始第一对抗扰动的步骤，直至第三分类结果与第二分类结果不一致，确定初始第一对抗扰动为更新后的第一对抗扰动。
在其中一个实施例中，评估模块1104具体用于：
将目标通用扰动添加至第二样本数据，得到第二对抗样本；
将第二对抗样本添加至待测模型，对第二对抗样本进行分类判别，得到第一准确率；
将第二样本数据添加至待测模型，对第二样本数据进行分类判别，得到第二准确率；
根据第一准确率与第二准确率，确定待测模型的稳定性评估结果。
上述模型评估装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种模型评估方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取第一样本数据；
根据动量迭代梯度算法对第一样本数据进行处理，得到原始对抗样本；
基于预设迭代策略以及物理变换，对原始对抗样本进行迭代处理，得到满足迭代条件的目标对抗样本，并将目标对抗样本对应的第一对抗扰动确定为目标通用扰动；
基于目标通用扰动以及第二样本数据生成第二对抗样本，并根据第二对抗样本对待测模型进行稳定性评估。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据当前动量以及交叉熵损失，确定第一梯度，并根据第一样本数据以及第一梯度，确定第一动量迭代数据；
基于第一样本数据与第一动量迭代数据的输出差异，确定特征空间损失；
根据特征空间损失，确定第二梯度，并根据第一动量迭代数据以及第二梯度，确定第二动量迭代数据；
将第二动量迭代数据作为新的第一动量迭代数据，执行基于第一样本数据与第一动量迭代数据的输出差异，确定特征空间损失的步骤，直至达到预设迭代次数阈值的情况下，得到原始对抗样本。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将第一对抗扰动添加至原始对抗样本中，得到第一对抗样本；
在不满足预设输出条件的情况下，更新第一对抗扰动；
基于更新后的第一对抗扰动以及物理变换，对第一对抗样本进行处理，得到第三对抗样本；
将第三对抗样本作为新的第一对抗样本，执行在不满足预设输出条件的情况下，更新第一对抗扰动的步骤，直至满足预设输出条件，将当前的第一对抗样本作为目标对抗样本，并确定当前的第一对抗扰动为目标通用扰动。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过目标模型对第一对抗样本中的样本数据进行分类判别，得到目标模型分类判别对应的错误率；
在错误率不满足预设阈值的情况下，针对第一样本数据中扰动程度满足预设扰动条件的目标样本数据，更新第一对抗扰动。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在错误率不满足预设阈值的情况下，将第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果；目标样本数据为当前循环的样本数据；
将原始对抗样本中的目标样本数据输入至模型分类器，得到第二分类结果；
在第一分类结果与第二分类结果一致的情况下，确定目标样本数据扰动程度满足预设扰动条件，更新第一对抗扰动。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
判断第一对抗扰动是否在预设扰动范围；
当第一对抗扰动满足预设扰动范围，执行将第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果步骤；
当第一对抗扰动不满足预设扰动范围，对第一对抗扰动进行裁剪，将裁剪后的第一对抗扰动作为新的第一对抗扰动，执行判断第一对抗扰动是否在预设扰动范围步骤。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对第一对抗扰动进行更新，得到初始第一对抗扰动；
将第一对抗样本输入至模型分类器，得到第三分类结果；
判断第三分类结果与第二分类结果是否一致；第二分类结果为将原始对抗样本中的目标样本数据输入至模型分类器得到的分类结果；
在第三分类结果与第二分类结果一致的情况下，执行对第一对抗扰动进行更新，得到初始第一对抗扰动的步骤，直至第三分类结果与第二分类结果不一致，确定初始第一对抗扰动为更新后的第一对抗扰动。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将目标通用扰动添加至第二样本数据，得到第二对抗样本；
将第二对抗样本添加至待测模型，对第二对抗样本进行分类判别，得到第一准确率；
将第二样本数据添加至待测模型，对第二样本数据进行分类判别，得到第二准确率；
根据第一准确率与第二准确率，确定待测模型的稳定性评估结果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (11)
1.一种模型评估方法，其特征在于，所述方法包括：
获取第一样本数据；
根据动量迭代梯度算法对所述第一样本数据进行处理，得到原始对抗样本；
基于预设迭代策略以及物理变换，对所述原始对抗样本进行迭代处理，得到满足迭代条件的目标对抗样本，并将所述目标对抗样本对应的第一对抗扰动确定为目标通用扰动；
基于所述目标通用扰动以及第二样本数据生成第二对抗样本，并根据所述第二对抗样本对待测模型进行稳定性评估。
2.根据权利要求1所述的方法，其特征在于，所述根据动量迭代梯度算法对所述第一样本数据进行处理，得到原始对抗样本，所述方法包括：
根据当前动量以及交叉熵损失，确定第一梯度，并根据所述第一样本数据以及所述第一梯度，确定第一动量迭代数据；
基于所述第一样本数据与所述第一动量迭代数据的输出差异，确定特征空间损失；
根据所述特征空间损失，确定第二梯度，并根据所述第一动量迭代数据以及所述第二梯度，确定第二动量迭代数据；
将所述第二动量迭代数据作为新的所述第一动量迭代数据，执行所述基于所述第一样本数据与所述第一动量迭代数据的输出差异，确定特征空间损失的步骤，直至达到预设迭代次数阈值的情况下，得到所述原始对抗样本。
3.根据权利要求1所述的方法，其特征在于，所述基于预设迭代策略以及物理变换，对所述原始对抗样本进行迭代处理，得到满足迭代条件的目标对抗样本，并将所述目标对抗样本对应的第一对抗扰动确定为目标通用扰动，包括：
将第一对抗扰动添加至所述原始对抗样本中，得到第一对抗样本；
在不满足预设输出条件的情况下，更新所述第一对抗扰动；
基于更新后的第一对抗扰动以及物理变换，对所述第一对抗样本进行处理，得到第三对抗样本；
将所述第三对抗样本作为新的第一对抗样本，执行所述在不满足预设输出条件的情况下，更新所述第一对抗扰动的步骤，直至满足所述预设输出条件，将当前的第一对抗样本作为目标对抗样本，并确定当前的第一对抗扰动为目标通用扰动。
4.根据权利要求3所述的方法，其特征在于，所述在不满足预设输出条件的情况下，更新所述第一对抗扰动，包括：
通过目标模型对所述第一对抗样本中的样本数据进行分类判别，得到所述目标模型分类判别对应的错误率；
在所述错误率不满足预设阈值的情况下，针对所述第一样本数据中扰动程度满足预设扰动条件的目标样本数据，更新所述第一对抗扰动。
5.根据权利要求4所述的方法，其特征在于，所述在所述错误率不满足预设阈值的情况下，针对所述第一样本数据中扰动程度满足预设扰动条件的目标样本数据，更新所述第一对抗扰动，包括：
在所述错误率不满足预设阈值的情况下，将所述第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果；所述目标样本数据为当前循环的样本数据；
将所述原始对抗样本中的目标样本数据输入至模型分类器，得到第二分类结果；
在所述第一分类结果与所述第二分类结果一致的情况下，确定所述目标样本数据扰动程度满足预设扰动条件，更新所述第一对抗扰动。
6.根据权利要求5所述的方法，其特征在于，所述将所述第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果之前，所述方法还包括：
判断所述第一对抗扰动是否在预设扰动范围；
当所述第一对抗扰动满足所述预设扰动范围，执行将所述第一对抗样本中的目标样本数据输入至模型分类器，得到第一分类结果步骤；
当所述第一对抗扰动不满足所述预设扰动范围，对所述第一对抗扰动进行裁剪，将裁剪后的所述第一对抗扰动作为新的第一对抗扰动，执行所述判断所述第一对抗扰动是否在预设扰动范围步骤。
7.根据权利要求3至6中任一项所述的方法，其特征在于，所述更新所述第一对抗扰动，包括：
对第一对抗扰动进行更新，得到初始第一对抗扰动；
将所述第一对抗样本输入至模型分类器，得到第三分类结果；
判断所述第三分类结果与第二分类结果是否一致；所述第二分类结果为将所述原始对抗样本中的目标样本数据输入至模型分类器得到的分类结果；
在所述第三分类结果与第二分类结果一致的情况下，执行所述对第一对抗扰动进行更新，得到初始第一对抗扰动的步骤，直至所述第三分类结果与第二分类结果不一致，确定所述初始第一对抗扰动为更新后的第一对抗扰动。
8.根据权利要求1所述的方法，其特征在于，所述基于所述目标通用扰动以及第二样本数据生成第二对抗样本，并根据所述第二对抗样本对待测模型进行稳定性评估，所述方法包括：
将所述目标通用扰动添加至所述第二样本数据，得到所述第二对抗样本；
将所述第二对抗样本添加至所述待测模型，对所述第二对抗样本进行分类判别，得到第一准确率；
将所述第二样本数据添加至所述待测模型，对所述第二样本数据进行分类判别，得到第二准确率；
根据所述第一准确率与所述第二准确率，确定所述待测模型的稳定性评估结果。
9.一种模型评估装置，其特征在于，所述装置包括：
获取模块，获取第一样本数据；
处理模块，根据动量迭代梯度算法对所述第一样本数据进行处理，得到原始对抗样本；
迭代模块，基于预设迭代策略以及物理变换，对所述原始对抗样本进行迭代处理，得到满足迭代条件的目标对抗样本，并将所述目标对抗样本对应的第一对抗扰动确定为目标通用扰动；
评估模块，基于所述目标通用扰动以及第二样本数据生成第二对抗样本，并根据所述第二对抗样本对待测模型进行稳定性评估。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310324457.7A CN116030312B (zh) | 2023-03-30 | 2023-03-30 | 模型评估方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310324457.7A CN116030312B (zh) | 2023-03-30 | 2023-03-30 | 模型评估方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116030312A true CN116030312A (zh) | 2023-04-28 |
| CN116030312B CN116030312B (zh) | 2023-06-16 |
Family
ID=86089726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310324457.7A Active CN116030312B (zh) | 2023-03-30 | 2023-03-30 | 模型评估方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116030312B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116738429A (zh) * | 2023-08-15 | 2023-09-12 | 之江实验室 | 基于生成对抗的目标检测引擎优化方法、装置及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949678A (zh) * | 2021-01-14 | 2021-06-11 | 西安交通大学 | 深度学习模型对抗样本生成方法、系统、设备及存储介质 |
| CN114331829A (zh) * | 2021-09-03 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 一种对抗样本生成方法、装置、设备以及可读存储介质 |
| WO2022205612A1 (zh) * | 2021-04-01 | 2022-10-06 | 重庆邮电大学 | 时序数据对抗样本生成方法、系统、电子设备及存储介质 |
| CN115439880A (zh) * | 2022-07-27 | 2022-12-06 | 阿里巴巴（中国）有限公司 | 深度神经网络鲁棒性评估方法和调优方法 |
| CN115830369A (zh) * | 2022-11-24 | 2023-03-21 | 中国人民解放军战略支援部队信息工程大学 | 基于深度神经网络的对抗样本生成方法及系统 |
-
2023
- 2023-03-30 CN CN202310324457.7A patent/CN116030312B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949678A (zh) * | 2021-01-14 | 2021-06-11 | 西安交通大学 | 深度学习模型对抗样本生成方法、系统、设备及存储介质 |
| WO2022205612A1 (zh) * | 2021-04-01 | 2022-10-06 | 重庆邮电大学 | 时序数据对抗样本生成方法、系统、电子设备及存储介质 |
| CN114331829A (zh) * | 2021-09-03 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 一种对抗样本生成方法、装置、设备以及可读存储介质 |
| CN115439880A (zh) * | 2022-07-27 | 2022-12-06 | 阿里巴巴（中国）有限公司 | 深度神经网络鲁棒性评估方法和调优方法 |
| CN115830369A (zh) * | 2022-11-24 | 2023-03-21 | 中国人民解放军战略支援部队信息工程大学 | 基于深度神经网络的对抗样本生成方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 刘恒;吴德鑫;徐剑;: "基于生成式对抗网络的通用性对抗扰动生成方法", 信息网络安全, no. 05 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116738429A (zh) * | 2023-08-15 | 2023-09-12 | 之江实验室 | 基于生成对抗的目标检测引擎优化方法、装置及系统 |
| CN116738429B (zh) * | 2023-08-15 | 2023-11-14 | 之江实验室 | 基于生成对抗的目标检测引擎优化方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116030312B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104539484B (zh) | 一种动态评估网络连接可信度的方法及系统 | |
| CN116030312B (zh) | 模型评估方法、装置、计算机设备和存储介质 | |
| US20220269928A1 (en) | Stochastic noise layers | |
| CN112468487B (zh) | 实现模型训练的方法、装置、实现节点检测的方法及装置 | |
| CN111611390B (zh) | 一种数据处理方法及装置 | |
| CN114154557A (zh) | 癌症组织分类方法、装置、电子设备及存储介质 | |
| CN117151855A (zh) | 欺诈风险预测方法、装置、计算机设备和可读存储介质 | |
| CN108229572B (zh) | 一种参数寻优方法及计算设备 | |
| CN116415957A (zh) | 异常交易对象识别方法、装置、计算机设备和存储介质 | |
| CN117874530B (zh) | 对抗样本检测方法、装置、设备、介质和产品 | |
| Tao et al. | User Behavior Threat Detection Based on Adaptive Sliding Window GAN | |
| CN114944962B (zh) | 一种数据安全防护方法及系统 | |
| CN117710100B (zh) | 基于区块链的数据分析方法及计算服务器 | |
| CN116776966A (zh) | 图像分类网络的训练方法、装置、计算机设备和存储介质 | |
| CN117851959B (zh) | 基于fhgs的动态网络子图异常检测方法、装置和设备 | |
| US20230195838A1 (en) | Discovering distribution shifts in embeddings | |
| Yang et al. | Feature selection based on network maximal correlation | |
| CN117017277A (zh) | 基于光电容积脉搏波的身份识别方法、装置、设备和介质 | |
| CN118473782A (zh) | 网络异常检测方法、装置、计算机设备、可读存储介质和程序产品 | |
| CN116894587A (zh) | 企业风险评分解释方法、装置、计算机设备和存储介质 | |
| CN118277271A (zh) | 异常定位方法、装置、计算机设备和存储介质 | |
| Xia et al. | Exploiting Redundancy in Network Flow Information for Efficient Security Attack Detection | |
| CN117435727A (zh) | 基于业务文本的安全测试方法、装置和计算机设备 | |
| CN118171953A (zh) | 目标企业筛选方法、装置、计算机设备和存储介质 | |
| CN118052556A (zh) | 交易检测方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |