CN115170855A - 虚拟中毒图像数据的后门触发器拟合方法及相关设备 - Google Patents

虚拟中毒图像数据的后门触发器拟合方法及相关设备 Download PDF

Info

Publication number
CN115170855A
CN115170855A CN202210492940.1A CN202210492940A CN115170855A CN 115170855 A CN115170855 A CN 115170855A CN 202210492940 A CN202210492940 A CN 202210492940A CN 115170855 A CN115170855 A CN 115170855A
Authority
CN
China
Prior art keywords
image data
virtual
data set
poisoning
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210492940.1A
Other languages
English (en)
Inventor
王玉龙
王东霞
李阳
苏森
徐鹏
双锴
程祥
张忠宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
32802 Troops Of People's Liberation Army Of China
Beijing University of Posts and Telecommunications
Original Assignee
32802 Troops Of People's Liberation Army Of China
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 32802 Troops Of People's Liberation Army Of China, Beijing University of Posts and Telecommunications filed Critical 32802 Troops Of People's Liberation Army Of China
Priority to CN202210492940.1A priority Critical patent/CN115170855A/zh
Publication of CN115170855A publication Critical patent/CN115170855A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Virology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种虚拟中毒图像数据的后门触发器拟合方法及相关设备。所述方法包括：根据原始图像数据集，随机生成张量数据；基于协方差自适应调整的进化策略(CMA‑ES)，随机生成原始图像数据集的多个候选坐标位置，并根据原始图像数据集和张量数据构造第一虚拟中毒图像数据集；将原始图像数据集和第一虚拟中毒图像数据集输入到预先训练的注入后门的分类模型中，根据计算得到的激活后门的第一成功率确定目标坐标位置并构造目标虚拟中毒图像数据集；迭代训练张量数据，将训练好的张量数据确定为虚拟中毒图像数据的后门触发器。本公开的方案拟合出的后门触发器没有尺寸大小的限制，检测后门更具通用性，从而提升神经网络模型的安全性。

Description

虚拟中毒图像数据的后门触发器拟合方法及相关设备
技术领域
本公开涉及深度学习技术，尤其涉及一种虚拟中毒图像数据的后门触发器拟合方法及相关设备。
背景技术
近年来，随着人工智能技术的发展，深度神经网络在图像处理、语音识别、视频分析等应用领域取得了突破性进展。然而深度神经网络缺乏透明性而容易受到后门攻击，带来严重的安全风险。后门可以无限期地隐藏，被注入后门的深度神经网络在纯净输入时表现正常，但是当输入包含攻击者预定义的触发器时，后门被激活从而造成危害。
为有效缓解后门攻击，首先需要检测后门。对于相关技术中的后门攻击的检测，如神经净化(Neural Cleanse，NC)，当后门触发器较大时，检测的准确率会降低。
发明内容
有鉴于此，本公开的目的在于提出一种虚拟中毒图像数据的后门触发器拟合方法、装置、电子设备及存储介质。
基于上述目的，本公开提供了一种虚拟中毒图像数据的后门触发器拟合方法，包括：
根据原始图像数据集，随机生成张量数据；
基于协方差自适应调整的进化策略(CMA-ES)，随机生成所述原始图像数据集的多个候选坐标位置；
通过下列操作得到分别与所述多个候选坐标位置对应的多个第一成功率：对于所述多个候选坐标位置中的每一个候选坐标位置，将所述张量数据覆盖到所述原始图像数据集中每个原始图像数据的该候选坐标位置上，以构造第一虚拟中毒图像数据集，并将所述原始图像数据集和所述第一虚拟中毒图像数据集输入到预先训练的注入后门的分类模型中，根据所述分类模型输出的第一预测结果，计算所述张量数据激活所述分类模型的所述后门的所述第一成功率；
选取所述多个候选坐标位置中与所述多个第一成功率中的最大值对应的一个候选坐标位置作为目标坐标位置；
将所述张量数据覆盖到所述原始图像数据集中每个原始图像数据中的所述目标坐标位置上，以构造目标虚拟中毒图像数据集；
将所述原始图像数据集和所述目标虚拟中毒图像数据集输入到所述分类模型中，迭代训练所述张量数据，将训练好的所述张量数据确定为所述虚拟中毒图像数据的后门触发器。
基于同一技术构思，本公开还提供了一种虚拟中毒图像数据的后门触发器拟合装置，包括：
第一生成模块，被配置为根据原始图像数据集，随机生成张量数据；
第二生成模块，被配置为基于CMA-ES，随机生成所述原始图像数据集的多个候选坐标位置；
计算模块，被配置为通过下列操作得到分别与所述多个候选坐标位置对应的多个第一成功率：对于所述多个候选坐标位置中的每一个候选坐标位置，将所述张量数据覆盖到所述原始图像数据集中每个原始图像数据的该候选坐标位置上，以构造第一虚拟中毒图像数据集，并将所述原始图像数据集和所述第一虚拟中毒图像数据集输入到预先训练的注入后门的分类模型中，根据所述分类模型输出的第一预测结果，计算所述张量数据激活所述分类模型的所述后门的所述第一成功率；
第一确定模块，被配置为选取所述多个候选坐标位置中与所述多个第一成功率中的最大值对应的一个候选坐标位置作为目标坐标位置；
构造模块，被配置为将所述张量数据覆盖到所述原始图像数据集中每个原始图像数据中的所述目标坐标位置上，以构造目标虚拟中毒图像数据集；
第二确定模块，被配置为将所述原始图像数据集和所述目标虚拟中毒图像数据集输入到所述分类模型中，迭代训练所述张量数据，将训练好的所述张量数据确定为所述虚拟中毒图像数据的后门触发器。
基于同一技术构思，本公开还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的方法。
基于同一技术构思，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上任意一项所述的方法。
从上面所述可以看出，本公开提供的虚拟中毒图像数据的后门触发器拟合方法、装置、电子设备及存储介质，基于CMA-ES，查找使张量数据激活后门成功率最大的最佳坐标位置，并运用反向传播的原理，以梯度下降的方法迭代训练张量数据，最终拟合出一个近似真实的后门触发器，能够用于检测目标网络是否存在后门，同时验证该拟合的触发器的有效性。本公开的方案，不受图像数据集和分类模型的限制，并且拟合的触发器与原始图像数据集和分类模型的预期应用场景一致，因而没有尺寸大小的限制。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例的虚拟中毒图像数据的后门触发器拟合方法的流程示意图；
图2为本公开实施例的训练注入后门的分类模型的流程示意图；
图3为本公开实施例的虚拟中毒图像数据的后门触发器拟合装置的结构示意图；
图4为本公开实施例的电子设备的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合附图对本公开的实施例进行详细说明。
需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
后门攻击是一类针对深度学习的攻击。注入的后门不会影响深度神经网络模型在纯净输入时的分类结果，但是会(且仅)在将预定义的触发器添加到输入时，激活模型后门，注入后门的模型会将任意输入都错误分类为相同的目标标签，应该被分类为任何其他标签的输入样本会在触发器的存在下被“重写覆盖”。例如，其他标签(如猫、鸟、鱼)的图像会被错误地分类到目标标签(如狗)中。
对于相关技术中的后门攻击的检测，如神经净化(Neural Cleanse，NC)，通过模型逆向推断触发器的位置、形状，然后判断是否存在后门。然而，上述的后门攻击的检测方法需要大量的输入样本才能实现高性能，并且对于较大的触发器可能会失效，当后门触发器较大时(超过25％)，检测的准确率会极大降低。
针对于上述相关技术存在的问题，本公开提供了一种虚拟中毒图像数据的后门触发器拟合方案，基于协方差自适应调整的进化策略(CMA-ES)，查找使张量数据激活后门成功率最大的最佳坐标位置，并运用反向传播的原理，以梯度下降的方法迭代训练张量数据，最终拟合出一个近似真实的后门触发器，能够用于检测目标网络是否存在后门，同时验证该拟合的触发器的有效性。本公开的方案，不受图像数据集和分类模型的限制，并且拟合的触发器与原始图像数据集和分类模型的预期应用场景一致，因而没有尺寸大小的限制。
本公开实施例的一种虚拟中毒图像数据的后门触发器拟合方法可应用于利用神经网络做图像分类的多个场景上，如人脸识别，自动驾驶。给定拟合出的近似真实的后门触发器，其目标是确定目标模型是否存在后门，同时验证该拟合的触发器的有效性。当将所述后门触发器添加到输入时，会显示出有针对性的错误分类。其中，所述模型结构可以是已知的经典网络结构、自定义的网络结构等，作为输入样本的原始图像数据集可以是公开图像数据集、上传的自定义图像数据集等，所述原始图像数据集的数量本公开实施例中不做限定。
参考图1，为本公开实施例的虚拟中毒图像数据的后门触发器拟合方法的流程示意图。该方法可以包括以下步骤：
步骤S101、根据原始图像数据集，随机生成张量数据。
本实施例中，根据测试、训练等使用场景，选择原始图像数据集。所选择的原始图像数据集可以是现有的公开图像数据集，也可以是被上传的自定义图像数据集。一般的，原始图像数据集中可以包含多个原始图像数据。具体的，该些原始图像数据的表现形式可以是像素级矩阵数据存储的图片。原始图像数据的形状(如矩形、圆形)、类别(如猫、鸟、鱼)可以是随机的，不是对于本方案需要考虑的影响因素。
本实施例中，根据所选择的原始图像数据集生成张量数据。获取原始图像数据集中任意一个原始图像数据的第一维度和第一尺寸，然后随机生成一个与原始图像数据的第一维度一致的张量数据，原始图像数据的维度大小与张量数据一致，保证覆盖时张量数据能够在维度上完全替换原始图像数据的相对位置上的像素。且在覆盖的同时张量数据不应有损失或超过原始图像数据的第一尺寸。
步骤S102、基于CMA-ES，随机生成所述原始图像数据集的多个候选坐标位置。
本实施例中，基于CMA-ES，对原始图像数据的全部坐标进行采样，随机选取N个坐标(x1,y1)，(x2,y2)，……，(xn,yn)作为初始值，张量数据将该些初始值对应的N个坐标点作为候选坐标位置。
具体实施时，坐标点的范围为像素级矩阵数据存储的图片区域。以图片区域的左下顶点为原点，该区域的下边界线为X轴，左边界线为Y轴，建立平面直角坐标系，则坐标的x值为该点到Y轴的距离，y值为该点到X轴的距离。
步骤S103、通过下列操作得到分别与所述多个候选坐标位置对应的多个第一成功率：对于所述多个候选坐标位置中的每一个候选坐标位置，将所述张量数据覆盖到所述原始图像数据集中每个原始图像数据的该候选坐标位置上，以构造第一虚拟中毒图像数据集，并将所述原始图像数据集和所述第一虚拟中毒图像数据集输入到预先训练的注入后门的分类模型中，根据所述分类模型输出的第一预测结果，计算所述张量数据激活所述分类模型的所述后门的所述第一成功率。
本实施例中，第一虚拟中毒图像数据集由多个第一虚拟中毒图像数据组成，该些第一虚拟中毒图像数据由张量数据分别覆盖在原始图像数据集中每个原始图像数据的每一个候选坐标位置(xn,yn)上得到。
本实施例中，会获得用于测试的分类模型。构建分类模型，并通过训练过程为该模型注入后门。具体训练步骤会在后续说明。
本实施例中，将原始图像数据集和第一虚拟中毒图像数据集混合组成测试集，输入到上述获得的注入后门的分类模型中。根据该分类模型输出的第一预测结果，计算张量数据激活分类模型的后门的成功率。
具体实施时，对于所选取的每一个候选坐标位置，可以从原始图像数据集中随机抽取100张原始图像数据，张量数据分别覆盖在每个原始图像数据的该候选坐标位置上得到100张第一虚拟中毒图像数据，构成第一虚拟中毒图像数据集，并输入到上述获得的注入后门的分类模型中。统计第一虚拟中毒图像数据集中虚拟后门攻击成功的有效虚拟中毒图像数据的第一数目。具体的，对于每个有效虚拟中毒图像数据，第一预测结果为预先设定的虚拟中毒攻击目标标签。计算第一数目与第一虚拟中毒图像数据集中的虚拟中毒图像数据的总数目(100张)的比值，作为第一成功率。例如，设定的虚拟中毒攻击目标标签为“狗”，对于任意类别的第一虚拟中毒图像数据(例如类别为“猫”、“鸟”、“鱼”等)，第一预测结果为“狗”，则可以认为激活了模型后门。
步骤S104、选取所述多个候选坐标位置中与所述多个第一成功率中的最大值对应的一个候选坐标位置作为目标坐标位置。
本实施例中，基于CMA-ES，输出激活成功率为最大值时对应的候选坐标并将该坐标作为目标坐标(x′,y′)。
具体实施时，将上述随机选取的N个候选坐标作为当前一代的采样种群，张量数据分别覆盖在所选取的每一个候选坐标位置上得到第一虚拟中毒图像数据集并输入到上述获得的注入后门的分类模型中，计算激活该分类模型后门的成功率。基于CMA-ES，根据张量数据分别在所选取的各候选坐标位置上的激活成功率，将激活成功率的值进行排序，挑选出当前这一代中激活成功率最高的K个值所对应的候选坐标位置(例如激活成功率前25％所对应的候选坐标位置)，并根据该些坐标位置获得下一代的协方差矩阵，然后从更新后的协方差矩阵得到的多元高斯分布中进行采样，即从该更新后得到的多元高斯分布中再随机选取N个候选坐标作为下一代的采样种群。反复迭代，当坐标位置不再变化时，即张量数据在该坐标位置激活成功率为最大值时，输出该坐标并将该坐标作为目标坐标(x′,y′)。
具体实施时，多元高斯分布中协方差矩阵有两个待优化参数x，y，因此对应的协方差矩阵为
Figure BDA0003631801350000071
协方差矩阵中D(X)增大会使得在进行采样时在图片区域X轴的方向上更分散(例如，采样种群在X轴的方向被拉伸，横坐标由原来的(-3,3)变为(-5,5))；D(Y)增大会使得在进行采样时在Y轴的方向上更分散；cov(X,Y)大于0会使得采样种群成正相关性偏移，即当采样种群在X轴的方向上更分散时在Y轴的方向上也会更分散。
此外，在一些实施方式中，反复迭代，当坐标位置稳定在一定范围内，即张量数据在该范围内的多个坐标位置的激活成功率稳定在某个数值附近且变化量微小时，也可以输出该些坐标并作为目标坐标。
步骤S105、将所述张量数据覆盖到所述原始图像数据集中每个原始图像数据中的所述目标坐标位置上，以构造目标虚拟中毒图像数据集。
本实施例中，目标虚拟中毒图像数据集由多个目标虚拟中毒图像数据组成，该些目标虚拟中毒图像数据由张量数据分别覆盖在原始图像数据集中每个原始图像数据的目标坐标位置(x′,y′)上得到。
步骤S106、将所述原始图像数据集和所述目标虚拟中毒图像数据集输入到所述分类模型中，迭代训练所述张量数据，将训练好的所述张量数据确定为所述虚拟中毒图像数据的后门触发器。
本实施例中，计算张量数据影响上述获得的注入后门的分类模型的预测值与真实值之间的损失，基于反向传播的原理，运用梯度下降的方法对张量数据进行训练，以达到最小化损失的目的。当满足预先设定的终止条件时，输出训练好的张量数据并作为虚拟中毒图像数据的后门触发器。
具体实施时，训练初始设置学习率为0.1，优化器为随机梯度下降(SGD)，训练轮次为200。
具体实施时，在上述训练过程中张量数据的尺寸会增大或缩小，但始终不会超过原始图像数据的尺寸。
由上述实施例可见，本公开的虚拟中毒图像数据的后门触发器拟合方法，运用CMA-ES，可以自适应地调整参数，并计算整个参数空间的协方差矩阵。进化是在选择过程中逐渐发生的。进化算法旨在优化无法直接建模的函数，核心是采样和更新。CMA-ES是性能最好的进化算法之一。CMA-ES算法可以得到每一次迭代的结果，并且自适应地在下一代的搜索中增大或者减小搜索空间。即，CMA-ES算法可以利用最优解的信息调整其均值和协方差矩阵，因此可以在距离最优解较远时对较大的空间进行搜索，在距离最优解较近时对较小的空间进行搜索。从而通过反复迭代调整参数使得产生好解的概率逐渐增大(沿好的搜索方向进行搜索的概率增大)。查找到使张量数据激活后门成功率最大的最佳坐标位置，然后在对张量数据的迭代训练和不断的拟合过程中激活成功率进一步提升，最终得到一个近似真实的后门触发器，能够用于检测目标网络是否存在后门，提升深度学习系统的安全性。由于拟合的触发器与原始图像数据集和分类模型的预期应用场景一致，因而没有尺寸大小的限制。且不受图像数据集和分类模型的限制。从而检测后门更具通用性。
根据本公开实施例，训练注入后门的分类模型的方法可以如图2所示。该方法可以包括下列步骤：
步骤S201、根据样本原始图像数据集，随机生成样本张量数据。
本实施例中，选择样本原始图像数据集。所选择的样本原始图像数据集可以是现有的公开图像数据集，也可以是被上传的自定义图像数据集。一般的，样本原始图像数据集中可以包含多个样本原始图像数据。具体的，该些样本原始图像数据的表现形式可以是像素级矩阵数据存储的图片。样本原始图像数据的形状(如矩形、圆形)、类别(如猫、鸟、鱼)可以是随机的，不是需要考虑的影响因素。
本实施例中，根据所选择的样本原始图像数据集生成样本张量数据。获取样本原始图像数据集中任意一个样本原始图像数据的维度大小及尺寸大小，然后随机生成一个与样本原始图像数据维度大小一致的样本张量数据，且样本张量数据不应超过样本原始图像数据的尺寸。
步骤S202、将所述样本张量数据覆盖到所述样本原始图像数据集中每个样本原始图像数据的预定坐标位置上，以构造样本虚拟中毒图像数据集。
本实施例中，在样本原始图像数据所代表的图片区域内随机选取一个坐标(x″,y″)。样本虚拟中毒图像数据集由多个样本虚拟中毒图像数据组成，该些样本虚拟中毒图像数据由样本张量数据分别覆盖在样本原始图像数据集中每个样本原始图像数据的上述预定的坐标位置(x″,y″)上得到。
步骤S203、利用所述样本原始图像数据集和所述样本虚拟中毒图像数据集混合对神经网络模型进行训练，得到所述注入后门的分类模型。
本实施例中，构建预训练分类模型，将样本原始图像数据集和样本虚拟中毒图像数据集混合组成训练图像数据集，输入到分类模型中，模型从该些训练图像数据中进行学习，进而被注入后门。
具体实施时，将所选择的样本原始图像数据集输入到所选的预训练模型中，当预训练模型对于样本原始图像数据集的分类准确度高于预定阈值时，即可得到可用的预训练分类模型。
其中，对于分类模型的结构不做限定。可以选择已知的经典网络结构模型，也可以上传自定义的网络结构模型等。具体的，根据使用者的设备和模型应用场景的需求，可以选用不同的预训练模型。例如ResNet18、ResNet50等神经网络模型，ResNet18和ResNet50的区别在于两种神经网络模型的结构层数不同。在需要快速获得优化模型的情况下，可以使用结构层数较少的神经网络模型，例如ResNet18；在需要获得相对安全的模型的情况下，可以使用结构层数较多的神经网络模型，例如ResNet50。
此外，在一些实施方式中，自定义的网络结构模型文件可以为python语言书写的py文件。具体的，常见的神经网络模型的使用可以利用开源工具TensorFlow、pytorch等实现。TensorFlow和pytorch都是作为一种工具而供神经网络模型实施。
需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一技术构思，与上述任意实施例方法相对应的，本公开还提供了一种虚拟中毒图像数据的后门触发器拟合装置。
参考图3，所述虚拟中毒图像数据的后门触发器拟合装置300，包括：
第一生成模块301，被配置为根据原始图像数据集，随机生成张量数据；
第二生成模块302，被配置为基于CMA-ES，随机生成所述原始图像数据集的多个候选坐标位置；
计算模块303，被配置为通过下列操作得到分别与所述多个候选坐标位置对应的多个第一成功率：对于所述多个候选坐标位置中的每一个候选坐标位置，将所述张量数据覆盖到所述原始图像数据集中每个原始图像数据的该候选坐标位置上，以构造第一虚拟中毒图像数据集，并将所述原始图像数据集和所述第一虚拟中毒图像数据集输入到预先训练的注入后门的分类模型中，根据所述分类模型输出的第一预测结果，计算所述张量数据激活所述分类模型的所述后门的所述第一成功率；
第一确定模块304，被配置为选取所述多个候选坐标位置中与所述多个第一成功率中的最大值对应的一个候选坐标位置作为目标坐标位置；
构造模块305，被配置为将所述张量数据覆盖到所述原始图像数据集中每个原始图像数据中的所述目标坐标位置上，以构造目标虚拟中毒图像数据集；
第二确定模块306，被配置为将所述原始图像数据集和所述目标虚拟中毒图像数据集输入到所述分类模型中，迭代训练所述张量数据，将训练好的所述张量数据确定为所述虚拟中毒图像数据的后门触发器。
在一些可选的实施例中，计算模块303，具体被配置为获得用于测试的分类模型，选择已知的经典网络结构模型或上传自定义的网络结构模型；通过训练过程为该模型注入后门。
在一些可选的实施例中，第二确定模块306，具体被配置为根据优化好的张量数据所覆盖的目标坐标位置及训练好的张量数据，构造用于测试的虚拟中毒图像数据集；将该虚拟中毒图像数据集输入到注入后门的分类模型中，衡量其激活模型后门的成功率，评估张量数据的虚拟中毒攻击能力与真实后门触发器之间的差距。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的中毒图像数据后门触发器拟合方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一技术构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一实施例所述的虚拟中毒图像数据的后门触发器拟合方法。
图4示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的虚拟中毒图像数据的后门触发器拟合方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一技术构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上任意一实施例所述的虚拟中毒图像数据的后门触发器拟合方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的虚拟中毒图像数据的后门触发器拟合方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种虚拟中毒图像数据的后门触发器拟合方法，其特征在于，包括：
根据原始图像数据集，随机生成张量数据；
基于协方差自适应调整的进化策略CMA-ES，随机生成所述原始图像数据集的多个候选坐标位置；
通过下列操作得到分别与所述多个候选坐标位置对应的多个第一成功率：对于所述多个候选坐标位置中的每一个候选坐标位置，将所述张量数据覆盖到所述原始图像数据集中每个原始图像数据的该候选坐标位置上，以构造第一虚拟中毒图像数据集，并将所述原始图像数据集和所述第一虚拟中毒图像数据集输入到预先训练的注入后门的分类模型中，根据所述分类模型输出的第一预测结果，计算所述张量数据激活所述分类模型的所述后门的所述第一成功率；
选取所述多个候选坐标位置中与所述多个第一成功率中的最大值对应的一个候选坐标位置作为目标坐标位置；
将所述张量数据覆盖到所述原始图像数据集中每个原始图像数据中的所述目标坐标位置上，以构造目标虚拟中毒图像数据集；
将所述原始图像数据集和所述目标虚拟中毒图像数据集输入到所述分类模型中，迭代训练所述张量数据，将训练好的所述张量数据确定为所述虚拟中毒图像数据的后门触发器。
2.根据权利要求1所述的方法，其特征在于，根据所述分类模型输出的第一预测结果，计算所述张量数据激活所述分类模型的所述后门的所述第一成功率，包括：
统计所述第一虚拟中毒图像数据集中虚拟后门攻击成功的有效虚拟中毒图像数据的第一数目，其中，对于每个所述有效虚拟中毒图像数据，所述第一预测结果为预定的虚拟中毒攻击目标标签；
计算所述第一数目与所述第一虚拟中毒图像数据集中的虚拟中毒图像数据的总数目的比值，作为所述第一成功率。
3.根据权利要求1或2所述的方法，其特征在于，所述迭代训练所述张量数据包括：
以梯度下降的方式迭代训练所述张量数据，直至满足预先设定的终止条件。
4.根据权利要求3所述的方法，其特征在于，所述终止条件包括下列中至少一个：迭代训练的次数达到预设次数阈值、所述张量数据激活所述分类模型的所述后门的成功率不再提高、所述张量数据的尺寸不再变化。
5.根据权利要求1或2所述的方法，其特征在于，所述根据原始图像数据集，随机生成张量数据，包括：
获取所述原始图像数据集中任意一个原始图像数据的第一维度和第一尺寸；
随机生成维度与所述第一维度一致的张量数据，所述张量数据的尺寸不超过所述第一尺寸。
6.根据权利要求1或2所述的方法，其特征在于，所述注入后门的分类模型是通过下列操作预先训练的：
根据样本原始图像数据集，随机生成样本张量数据；
将所述样本张量数据覆盖到所述样本原始图像数据集中每个样本原始图像数据的预定坐标位置上，以构造样本虚拟中毒图像数据集；
利用所述样本原始图像数据集和所述样本虚拟中毒图像数据集混合对神经网络模型进行训练，得到所述注入后门的分类模型。
7.根据权利要求6所述的方法，其特征在于，所述神经网络模型包括ResNet18或ResNet50。
8.一种虚拟中毒图像数据的后门触发器拟合装置，其特征在于，包括：
第一生成模块，用于根据原始图像数据集，随机生成张量数据；
第二生成模块，用于基于CMA-ES，随机生成所述原始图像数据集的多个候选坐标位置；
计算模块，用于通过下列操作得到分别与所述多个候选坐标位置对应的多个第一成功率：对于所述多个候选坐标位置中的每一个候选坐标位置，将所述张量数据覆盖到所述原始图像数据集中每个原始图像数据的该候选坐标位置上，以构造第一虚拟中毒图像数据集，并将所述原始图像数据集和所述第一虚拟中毒图像数据集输入到预先训练的注入后门的分类模型中，根据所述分类模型输出的第一预测结果，计算所述张量数据激活所述分类模型的所述后门的所述第一成功率；
第一确定模块，用于选取所述多个候选坐标位置中与所述多个第一成功率中的最大值对应的一个候选坐标位置作为目标坐标位置；
构造模块，用于将所述张量数据覆盖到所述原始图像数据集中每个原始图像数据中的所述目标坐标位置上，以构造目标虚拟中毒图像数据集；
第二确定模块，用于将所述原始图像数据集和所述目标虚拟中毒图像数据集输入到所述分类模型中，迭代训练所述张量数据，将训练好的所述张量数据确定为所述虚拟中毒图像数据的后门触发器。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的方法。
10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，其特征在于，所述计算机指令用于使计算机执行如权利要求1至7中任意一项所述的方法。
CN202210492940.1A 2022-05-07 2022-05-07 虚拟中毒图像数据的后门触发器拟合方法及相关设备 Pending CN115170855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210492940.1A CN115170855A (zh) 2022-05-07 2022-05-07 虚拟中毒图像数据的后门触发器拟合方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210492940.1A CN115170855A (zh) 2022-05-07 2022-05-07 虚拟中毒图像数据的后门触发器拟合方法及相关设备

Publications (1)

Publication Number Publication Date
CN115170855A true CN115170855A (zh) 2022-10-11

Family

ID=83483882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210492940.1A Pending CN115170855A (zh) 2022-05-07 2022-05-07 虚拟中毒图像数据的后门触发器拟合方法及相关设备

Country Status (1)

Country Link
CN (1) CN115170855A (zh)

Similar Documents

Publication Publication Date Title
CN112052787B (zh) 基于人工智能的目标检测方法、装置及电子设备
CN114868124B (zh) 控制方法、信息处理装置以及控制程序
CN109345553A (zh) 一种手掌及其关键点检测方法、装置和终端设备
US20230281310A1 (en) Systems and methods of uncertainty-aware self-supervised-learning for malware and threat detection
CN112633310A (zh) 具有改进的训练鲁棒性地对传感器数据进行分类的方法和系统
CN112989363B (zh) 漏洞定位方法、装置、电子设备和存储介质
US20220366259A1 (en) Method, apparatus and system for training a neural network, and storage medium storing instructions
CN113239914B (zh) 课堂学生表情识别及课堂状态评估方法、装置
CN109840413A (zh) 一种钓鱼网站检测方法及装置
CN114187483A (zh) 生成对抗样本的方法、检测器的训练方法及相关设备
CN115330579B (zh) 模型水印的构建方法、装置、设备及存储介质
CN115601629A (zh) 模型训练方法、图像识别方法、介质、装置和计算设备
CN114548300B (zh) 解释业务处理模型的业务处理结果的方法和装置
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN115439708A (zh) 一种图像数据处理方法和装置
CN115376518A (zh) 一种实时噪声大数据的声纹识别方法、系统、设备和介质
CN110490058B (zh) 行人检测模型的训练方法、装置、系统和计算机可读介质
CN113435531B (zh) 零样本图像分类方法、系统、电子设备及存储介质
CN117454187B (zh) 一种基于频域限制目标攻击的集成模型训练方法
EP4174769A1 (en) Method and apparatus for marking object outline in target image, and storage medium and electronic apparatus
CN116030312B (zh) 模型评估方法、装置、计算机设备和存储介质
KR102192461B1 (ko) 불확정성을 모델링할 수 있는 뉴럴네트워크 학습 장치 및 방법
CN115170855A (zh) 虚拟中毒图像数据的后门触发器拟合方法及相关设备
CN112742026B (zh) 游戏控制方法、装置、存储介质和电子设备
CN112347893B (zh) 用于视频行为识别的模型训练方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination