CN117371541B - 一种零知识、免真实数据的模型推理方法 - Google Patents

一种零知识、免真实数据的模型推理方法 Download PDF

Info

Publication number
CN117371541B
CN117371541B CN202311675484.5A CN202311675484A CN117371541B CN 117371541 B CN117371541 B CN 117371541B CN 202311675484 A CN202311675484 A CN 202311675484A CN 117371541 B CN117371541 B CN 117371541B
Authority
CN
China
Prior art keywords
distribution
model
representing
sub
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311675484.5A
Other languages
English (en)
Other versions
CN117371541A (zh
Inventor
高龙翔
贾晓聪
顾树俊
崔磊
吕光通
曲悠扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Qilu University of Technology
Priority to CN202311675484.5A priority Critical patent/CN117371541B/zh
Publication of CN117371541A publication Critical patent/CN117371541A/zh
Application granted granted Critical
Publication of CN117371541B publication Critical patent/CN117371541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Complex Calculations (AREA)

Abstract

本发明属于数据隐私保护和数据安全的技术领域，更具体地，涉及一种零知识、免真实数据的模型推理攻击方法。所述方法包括：将目标模型的分布切分为多个部分，并构建集中分布集，集中分布集中包含多个子分布，子分布中包含随机抽样噪声；将子分布中随机抽样的噪声输入目标模型中，得到相应的预测标签，基于预测标签得到该子分布的噪声在目标分布中的累计函数，并基于累计函数估计相应的目标分布；从估计的目标分布中随机抽样噪声，并结合预测标签，构建训练样本集；利用训练样本集训练替代模型，以拟合目标模型分布，完成模型推理攻击。本发明解决了现有方法中攻击者需要知道目标模型和训练集信息才能进行攻击的局限性的问题。

Description

一种零知识、免真实数据的模型推理方法
技术领域
本发明属于数据隐私保护和数据安全的技术领域，更具体地，涉及一种零知识、免真实数据的模型推理方法。
背景技术
随着深度学习的快速发展，云计算提供商已经将深度学习作为服务提供给客户，这些服务包括数据可视化、API、人脸识别、自然语言处理、预测分析等。客户只需要像使用其它云服务一样，就可以快速使用人工智能技术，无需安装软件。虽然深度学习作为服务带来了许多便利，但安全问题也接踵而至。即便使用加密技术进行防护，这种端对端的服务模式也不一定安全，在这种模式下，其中一个主要的威胁是由模型推理引起的，被称为模型推理攻击。例如在某些面向服务的应用中，每个用户都可以不受限制的随时访问模型接口。
因此，一些恶意用户可能会准确推断出所使用的模型。而深度学习模型往往需要付出昂贵的成本，如时间、数据、金钱，许多公司依靠这种服务盈利，如果这些商业模式被窃取并提供免费的服务(如盗版软件)，将损害健康的商业竞争。当模型泄露时，对手可以利用模型反转攻击恢复训练数据，这严重侵犯了数据持有者的隐私，尤其是在医疗和金融领域；许多服务平台将机器学习应用于恶意检测，如垃圾邮件分类和恶意代码检测，对抗者在获取目标模型后，可以构建对抗样本来规避安全检测。因此，必须重视模型的隐私和安全，尤其是在金融、医疗等模型具有巨大经济价值的领域。
本发明的目标是提出一种方法，即使是纯粹的通过采样也可以在深度学习作为服务的场景下推断出模型，完成模型推理，这对未来的模型安全和隐私研究具有重要意义。
现有的模型推断的方法有很多，其目的也不相同，包括推断目标模型的决策边界、模型结构、参数等信息。Tramer等人构建了各种查询样本来获取目标模型的输出，接着结合输入和输出对建立一个方程，通过求解这个方程来重构模型参数。Baluja等人建立了一个元模型，将目标模型的输出作为输入，试图推断出目标模型的结构和训练集的统计数据等信息。Chandrasekaran等人探讨了主动学习与模型推理之间的关系。Hong等人则将模型推理扩展到了超参数的推理。Papernot等人使用基于雅各布矩阵的数据增强技术(JbDA)来合成样本以捕捉目标模型输出，从而建立相似的替代模型。Juuti等人则对JbDA进行了推广，使合成数据能让替代模型更专业地执行其它有害行为。这些推理给人们敲响了警钟。
中国专利文献CN115329984A提出一种机器学习中的针对属性推理攻击的防御方法，该方法基于原始数据集构造得到伪装数据集，并采用原始数据集和伪装数据集对机器学习模型进行训练，得到投票模型，再基于原始数据集重新构造新的伪装数据集，采用投票模型对新的伪装数据集进行数据筛选，对于新的伪装数据集中的每一条样本，使用投票模型的输出作为其新的标签，完成对新的伪装数据集的重构，将重构后的伪装数据集和原始数据集共同参与训练，生成新的投票模型，重复迭代，直至达到最大迭代次数。该方法在保证机器学习模型效用的前提下提高模型的安全性。
以及，中国专利文献CN116361846A提出一种用于使服务抵御个人隐私推理攻击的方法和服务器，由处理器根据效用目标训练聊天机器人的语言模型LM，并由处理器利用个人属性预测器应用一个或多个防御目标，通过使用虚假攻击者模型和具有带注释的数据集的预定义属性，以对聊天机器人的目标LM进行微调，再由处理器使用聊天机器人的目标LM来抵御推理攻击，使得输入并发送到聊天机器人的内容的个人隐私无法被外部预测器预测，从而使聊天机器人的安全级别得到保证。
尽管上述的方法实现了好的效果，但对攻击者或攻击场景做了假设和限制。比如，攻击者在攻击过程中知道部分模型结构或训练数据的统计特征、需要一个真实的海量辅助数据集来推断模型、要求攻击者与受害者有物理连接。对于攻击者想获得模型结构或训练数据的统计特征来说具有挑战性。而要求攻击者与受害者有物理连接在云服务提供商向用户提供服务的场景中来说并不合理。这些局限性使得前人的工作不能彻底反映模型推理的威胁。
发明内容
本发明旨在克服上述现有技术的至少一种缺陷，提供一种零知识、免真实数据的模型推理方法，以解决现有推理方法中攻击者需要知道目标模型和训练集信息才能进行攻击的局限性这一技术问题。
本发明详细的技术方案如下：
一种零知识、免真实数据的模型推理方法，所述方法包括：
步骤S1、将目标模型的分布切分为多个部分，并构建集中分布集，所述集中分布集中包含用于拟合目标模型各部分分布的子分布，其中，所述子分布中包含随机抽样噪声；
步骤S2、将所述子分布中随机抽样的噪声输入目标模型中，得到相应的预测标签，基于所述预测标签得到该子分布的噪声在目标分布中的累计函数，并基于所述累计函数估计相应的目标分布；
步骤S3、从估计的目标分布中随机抽样噪声，并结合所述预测标签，构建用于训练替代模型的训练图像样本集；
步骤S4、利用所述训练图像样本集训练所述替代模型，并基于所述替代模型的输出结果拟合目标模型分布，从而实现模型推理。
根据本发明优选的，所述步骤S1中，所述将目标模型的分布切分为多个部分，并构建集中分布集，具体包括：
S11、使用多个集中分布函数构建所述集中分布集，所述集中分布集中包含多个集中分布；
S12、从所述集中分布集中随机抽样噪声，并将抽样噪声所在的集中分布标记为子分布。
根据本发明优选的，所述步骤S2进一步包括：计算所述估计的目标分布的平均值，以得到目标分布下的期望值，即有：
(1)
式(1)中，表示估计的目标分布的平均值，/>表示噪声样本，o表示目标分布，/>表示目标函数，/>表示来自目标分布o中的噪声样本，/>表示目标分布下的期望值。
根据本发明优选的，所述步骤S2中，所述估计的目标分布与随机抽样的噪声之间满足：
(2)
式(2)中，表示子分布/>中的随机抽样总数，/>表示子分布/>下的期望值；且当/>趋于无穷大时，/>越接近于/>，即估计的目标分布越准确。
根据本发明优选的，所述步骤S2进一步还包括：计算目标函数的经验平均值的估计值，以得到目标函数经验平均值的估计值的期望值，即有：
(3)
(4)
式(3)-(4)中，表示目标函数的经验平均值的估计值，/>表示子分布/>中的第/>个噪声样本，/>表示目标函数经验平均值的估计值的期望值；
其中，结合公式(1)可得：
(5)
式(5)中，表示来自目标分布o中的第/>个噪声样本；
并结合公式(2)可得：
(6)
且当趋于无穷大时，有：
(7)
即，所述目标函数的经验平均值的估计值与估计的目标分布的平均值相等，表示估计的目标分布的平均值为无偏估计。
根据本发明优选的，所述步骤S2中，基于所述累计函数估计相应的目标分布，并使用方差衡量估计误差，即有：
(8)
式(8)中，表示方差，/>表示从子分布/>抽样来估计目标函数经验平均值的估计误差，/>表示子分布/>的方差。
根据本发明优选的，所述步骤S2中，当使用个子分布的累计函数估计相应的目标分布时，估计总误差为：
(9)
式(9)中，表示/>个子分布的估计总误差，/>表示第/>个子分布，/>表示从第/>个子分布抽样的样本输入目标函数中，/> '表示/>个子分布中的随机抽样总数，且/>＞/>；
此时，得到估计的目标分布为：
(10)
式(10)中，表示子分布集，/>表示子分布集的期望值，/>表示从第/>个子分布中随机抽取的第/>个噪声样本/>，/>表示总体目标分布，/>表示总体目标分布的期望值；
根据大数定律，得到以下等式：
(11)。
根据本发明优选的，所述步骤S4进一步包括：将所述训练图像样本集输入替代模型，所述替代模型的输出类型为纯标签输出，在该输出类型下，所述替代模型训练过程中的损失函数为：
(12)
式(12)中，表示纯标签输出下的损失函数，/>表示噪声样本的真实标签，/>表示替代模型对标签预测的概率，/>表示目标分布的概率分布函数，/>表示训练图像样本集中的样本总数，/>表示训练图像样本集中的样本类别总数，/>表示类别，/>的取值为0或1，表示当第/>个样本为/>类时取值为1，否则为0，/>表示第/>个样本被替代模型预测为/>类的概率。
根据本发明优选的，所述步骤S4进一步还包括：将所述训练图像样本集输入替代模型，所述替代模型的输出类型为纯概率输出，在该输出类型下，所述替代模型训练过程中的损失函数为：
(13)
式(13)中，表示纯概率输出下的损失函数，/>是一个正数，用于调整权重比。
与现有技术相比，本发明的有益效果为：
（1）本发明提供的一种零知识、免真实数据的模型推理方法，通过构建子分布，并从子分布中随机抽样噪声输入到目标模型中，以得到相应的预测标签和目标分布，然后从得到的目标分布中随机抽样噪声并与预测标签相结合，得到新的图像数据样本，再将新的图像数据样本构建为训练图像样本集用于对替代模型进行训练，以拟合目标分布，从而实现模型推理。
（2）本发明利用多个子分布的累计函数来估计相应的目标分布，并通过一系列计算验证以及结合大数定律，验证了当应用多个集中分布来拟合一个更广泛的分布时，只要采样数足够大，最终估计的目标分布就是个合理的无偏估计，保证了本发明方法的合理性及有效性。
（3）本发明与现有的爬山法和模拟退火法等方法进行对比，通过对比结果可以看出本发明的方法准确度更高，推理效果更好。
附图说明
图1是本发明所述零知识、免真实数据的模型推理方法的流程图。
图2是本发明中模型推理的结构示意图。
图3是在MNIST数据集上仅提升网络容量大小对本发明的方法影响的实验结果图。
图4(a)是本发明方法在MNIST数据集上，不同容量的替代模型在纯标签情景下的精度示意图。
图4(b)是本发明方法在MNIST数据集上，不同容量的替代模型在纯概率情景下的精度示意图。
图4(c)是本发明方法在MNIST数据集上，纯标签情景下不同容量替代模型的损失示意图。
图4(d)是本发明方法在MNIST数据集上，纯概率情景下不同容量替代模型的损失示意图。
图5是本发明的方法在FM数据集上，不同替代模型的容量大小验证及训练精度的实验结果图。
具体实施方式
下面结合附图与实施例对本公开做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例
参图1、图2，本实施例提供一种零知识、免真实数据的模型推理方法，所述方法包括：
步骤S1、将目标模型的分布切分为多个部分，并构建集中分布集，所述集中分布集中包含用于拟合目标模型各部分分布的子分布，其中，所述子分布中包含随机抽样噪声。
本实施例中，目标模型的分布是指目标模型本身的分布，这里的目标模型可以是包含有卷积层、池化层和全连接层的卷积神经网络，此处不做具体限定。
具体地，所述步骤S1中，将目标模型的分布切分为多个部分，并构建集中分布集，具体包括：
S11、使用多个集中分布函数构建所述集中分布集，所述集中分布集中包含多个集中分布。
采用这种方法的原因是拟合高纬度和复杂的分布是很复杂的，使用多个集中分布函数拟合目标分布并且通过有限而充分的抽样，可以尽可能增加样本的多样性，从而更稳定地模拟目标模型的决策边界。
S12、从所述集中分布集中随机抽样噪声，并将抽样噪声所在的集中分布标记为子分布。
示范性地，假设目标模型的噪声样本有猫、狗两个类别，来自子分布的噪声被归类为猫类，那么该噪声将被视为猫类分布中的一个点，而子分布/>就是一个子分布。
构建子分布的目的是使每个噪声的统计特征尽可能不同，保持样本的多样性，避免数据失衡。
步骤S2、将所述子分布中随机抽样的噪声输入目标模型中，得到相应的预测标签，基于所述预测标签得到该子分布的噪声在目标分布中的累计函数，并基于所述累计函数估计相应的目标分布。
具体地，将步骤S12中随机抽样的噪声作为输入送入目标模型中，目标模型会根据其目标分布以一定的概率输出对应的标签，这样就得到了抽样噪声在目标分布中的累积函数，再利用该累计函数来估计相应的目标分布。应当理解，包含丰富特征的噪声分布对最终的拟合效果有决定性作用。
本实施例中，目标分布被切分为很多部分。通过从集中分布中抽取噪声作为输入获得目标模型的反馈，能够使被抽样的集中分布(子分布)越来越逼近目标分布的某个部分，即核心思想是通过从不同子分布中采样和从目标模型中获取反馈来拟合每个子分布。当噪声的特征足够丰富时，攻击者就可以利用噪声训练出与目标模型足够相似的替代模型，从而实现模型推理。
为了验证所述步骤S2的有效性，本实施例给出以下分析证明：
具体地，本实施例中，目的是让替代模型通过目标模型对噪声的反馈来学习目标模型的映射和分类能力，所以如何获得合理的噪声至关重要。因此，本实施例中将最优解视为目标分布下的期望值。一般情况下，目标分布下的期望值由公式(1)计算得到，而在本实施例中，由于目标分布是未知的，无法获取真实分布，因此需要通过估算上述步骤S2中得到的相应的目标分布的平均值来近似求解，即有：
(1)
式(1)中，k表示估计的目标分布的平均值，x表示噪声样本，o表示目标分布，表示目标函数，/>表示来自目标分布o中的噪声样本，/>表示目标分布下的期望值。
进一步地，为了确保样本来自随机分布和目标分布的值足够相似，本实施例中优选采用映射的方法以得到一个k的合理估计。在机器学习模型中，即使输入是一个无意义的值，模型也会给出分类结果。可以认为这是由于模型将任何输入映射到其学习到的分布上造成的。基于此，本实施例中可以通过观察目标模型是如何分类不同的噪声到特定的分布中，从而学习它所代表的分布空间。
具体地，将随机抽样的噪声送入到目标模型中后，目标模型会根据其目标分布以一定的概率输出对应的标签，这样就得到了噪声样本在目标分布中的累积函数，最终得到相应的目标分布，即，其中，/>表示来自子分布/>的噪声样本。此时只需要确保每个类别的样本都是均匀采样的，当抽取的样本足够多时，对目标分布的估计就越准确，可以用以下公式表示：
(2)
式(2)中，表示子分布/>中的随机抽样总数，/>表示子分布/>下的期望值；且当/>趋于无穷大时，/>越接近于/>，即估计的目标分布越准确。
在从子分布中抽样个样本之后，可以通过如下公式计算得到目标函数/>的经验平均值，即有：
(3)
式(3)中，表示目标函数的经验平均值的估计值，/>表示子分布/>中的第/>个噪声样本。
然后根据期望的运算性质，得出以下公式：
(4)
式(4)中，表示目标函数经验平均值的估计值的期望值。
再根据上述公式(1)~(4)可以得到：
(5)
式(5)中，表示来自目标分布o中的第/>个噪声样本。
上述公式(5)经过简化最终得到：
(6)。
由上述公式可以看出，当趋于无穷大时，目标函数/>的经验平均值的估计值与估计的目标分布的平均值相等，即表示最终估计的目标分布的平均值是个合理的无偏估计。
此外，假设在深度学习模型中，样本遵循独立同分布，这个假设在机器学习中是一个基本假设。根据大数定律可知，当样本足够多时，有以下等式：
(7)
由等式(7)可以证明本实施例的方法是合理的。
上述是对一种分布的估计。本实施例的最终目标是利用多个子分布的累积函数来估计目标分布。在累积过程中会不可避免的导致误差累积，需要保证累积误差是可控的。因此需要对多个子分布进行类似的估计，在这种无偏估计的情况下，本实施例中优选使用方差来衡量估计器的误差，即有：
(8)
式(8)中，表示方差，/>表示通过从子分布/>抽样来估计目标函数经验平均值的估计误差，/>子分布/>的方差。
当趋于无穷大时，如果子分布/>的方差/>是有界的，那么可以保证等式(8)的值可以收敛为0。本实施例中应用的分布是多个集中分布，比如几个标准差较小的正态分布，所以在理论上，本实施例中的采样将均匀地覆盖整个数据分布。对于分类模型来说，对于任何输入，都会输出一个置信度，因此/>一定是有界的。假设使用/>个子分布的累计函数来拟合目标分布，那么估计总误差为：
(9)
式(9)中，表示/>个子分布的估计总误差，/>表示第/>个子分布，/>表示从第/>个子分布抽样的样本输入目标函数中，/>表示/>个子分布中的随机抽样总数，且/> '＞/>。
只要保证单方差项是有界的，那么当增加时，一定有/>。
以上分析证明，当本实施例中应用多个集中分布来拟合一个更广泛的分布时，只要采样数足够大，分布估计值就是无偏的，这就保证了本实施例方法的合理性。因此，使用个子分布的累计函数得到估计的目标分布可以表示为：
(10)
式(10)中，表示子分布集，/>表示子分布集的期望值，/>表示从第/>个子分布中随机抽取的第/>个噪声样本/>，/>表示总体目标分布，/>表示总体目标分布的期望值。
根据大数定律，得到以下等式：
(11)。
通过式(11)可以证明，当样本足够多时，随着采样数的增加，可以用多个集中分布来拟合出目标模型的分布，从而完成模型推理。
步骤S3、从估计的目标分布中随机抽样噪声，并结合所述预测标签，构建用于训练替代模型的训练图像样本集。
本实施例中所述的替代模型可以是包含卷积层、Drop层、归一化层、全连接层的卷积神经网络模型，用于学习目标模型的分布。
具体地，将从估计的目标分布中随机抽样的噪声与预测标签通过append函数拼接在一起，并保存在SD列表中；然后用一个集合保存SD的信息，其中包含多个元组，每个元组包括一个子分布p和一个向量/>，这个向量表示来自SD的数据点在每个类别中的数量，这些数据点属于子分布p；使用topk算法选取前t个元组；定义一个空列表STD用于存储替代模型的训练图像数据集，对于集合/>中的每个分布项dis_item，如果包含类别label_i，则根据标签再次进行随机采样，生成图像数据样本，最后将这些样本添加到空列表STD中相对应的标签下，作为用于训练替代模型的训练图像样本集。
步骤S4、利用所述训练图像样本集训练所述替代模型，并基于所述替代模型的输出结果拟合目标模型分布，从而实现模型推理。
具体地，根据目标模型输出的类型可以将替代模型的输出分为两种类型：纯概率类型和纯标签类型。其中，纯概率类型是指目标模型的输出为概率分布，比如[0.2,0.5,0.3]表示模型认为当前输入属于第二类的概率是50%；纯标签类型是指目标模型的输出只有当前类别标签，比如[0,1,0]表示模型认为当前输入对应的类别是第二类。
以下为输出上述两种类型的目标模型训练分别单独设计训练过程中使用的损失函数。
Ⅰ）对于输出纯标签类型的目标模型训练：在仅有标签的情况下，只能得到one-hot向量。因此，本实施例中考虑使用传统的多类交叉熵作为损失函数，即：
(12)
式(12)中，表示纯标签输出下的损失函数，/>表示噪声样本的真实标签，/>表示替代模型对标签预测的概率，/>表示目标分布的概率分布函数，/>表示训练图像样本集中的样本总数，/>表示训练图像样本集中的样本类别总数，/>表示类别索引，/>的取值为0或1，表示当第/>个样本为/>类时取值为1，否则为0，/>表示第/>个样本被替代模型预测为/>类的概率。
Ⅱ）对于输出纯概率类型的目标模型训练：在纯概率的类型中，目标模型不仅输出样本的标签，还会输出每个类的置信度。本实施例的目标是模拟出目标模型的决策边界。Szegedy等人研究表明，置信度较低的样本会更接近决策边界，因此优选将样本的置信度添加到损失函数中，损失函数为：
(13)
式(13)中，表示纯概率输出下的损失函数，/>是一个正数，用于调整权重比。
在该损失函数中，样本的置信度越低，其权重就越大，从理论上讲，它可以帮助更好地找到目标模型的决策边界。
之后，根据目标模型的输出类型，选择相应的损失函数，并使用步骤S3得到的训练图像样本集对替代模型进行训练，采用梯度下降优化算法对替代模型参数进行迭代更新，以最小化损失函数，完成替代模型的训练。最后利用训练好的替代模型的输出结果拟合目标模型分布，完成模型推理。
进一步地，为了验证本发明的模型推理方法的性能，在MNIST数据集、FASHION_MNIST(简称FM)数据集和CIFAR10数据集上测试了本发明方法的效果。
在图像处理领域，这是三个最常用的数据集，它们的图像复杂度依次增加。其中，MNIST数据集包含70K张大小为28*28的0到9手写数字的灰度图像；FM数据集包含70K张大小为28*28的10个类别服装的灰度图像，其中10个类别分别为T恤、裤子、套衫、裙子、外套、凉鞋、汗衫、运动鞋、包、踝靴；CIFAR10数据集包含60K张大小为32*32*3的10个不同物体的彩色图像，其中10个类别分别为飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车。
为了直观地评价实验结果，将目标模型的验证集作为替代模型的验证集，其准确性可以判断本发明的推断结果，这里使用的验证集仅用于评估，不参与推断过程。
为了验证本发明的具体思想，首先在MNIST数据集上进行初步验证，实验过程首先是对目标模型使用所述方法进行随机抽样，利用抽样噪声训练替代模型，实验分为纯标签以及纯概率两种情况。
在本发明中，优选通过增加采样次数来确保数据平衡；本发明采用不同的模型结构来拟合采样噪声，以验证模型容量是否会影响模型的有效性，实验结果如下表1所示：
表1
由表1可知，目标模型在训练集上的准确率为98.11%。本发明获得的结果来自于在替代数据集上分别训练200个epoch(轮次)的替代模型；本发明中仅仅增加了网络的容量来验证拟合目标模型的能力是否会随着模型容量的增加而变得更好，实验结果如图3所示，当模型容量太小时效果会明显下降，但仅仅增加网络容量并不总是能显著提高推理效果。
因此，在推理目标模型时，需要尽可能设计合理的网络结构，以提高推理效果的下限；本发明比较了在纯标签和纯概率场景下不同大小的替代模型的拟合能力，结果如图4(a)-图4(d)所示，在纯标签和纯概率两种场景下实验结果并无太大的不同，原因可能是通过采样获得的低置信度样本太少，导致在训练时占的权重很低；本发明中使用爬山法和模拟退火法搜索目标模型的空间分布，从中随机采样噪声，利用采样的数据来训练替代模型，通过控制每类样本数量，考察样本数量对推理效果的影响，最后与本发明方法进行了对比，实验结果如下表2所示：
表2
如上所述，本发明采用替代模型在目标数据集上的准确性作为指标。从表2的对比结果可以看出，本发明方法的准确度要优于爬山法以及模拟退火法。这是因为由于爬山和模拟退火的局部最优性，很难获得各种特征分布导致其效果较弱。在实际应用中，初始值的选择对这两种方法都有很大的影响。但如果想让获得的噪声像真实数据一样具有丰富的特征，就不应该受到初始值的约束，而本发明的方法不存在这个缺陷，其目的是获得尽可能多的鲁棒特征，而不是特定的最优样本。
为了探索更复杂数据对本发明的影响，使用中等容量的网络作为替代模型在FASHION_MNIST数据集上进行实验，实验结果如下表3所示：
表3
根据表3来看，虽然整体效果不如在MNIST数据集上那么好，但需要注意的是，FASHION_MNIST数据集在特征表达上比MNIST数据集复杂，而且目标模型的准确率也只有92.75%，因此在使用MC-infer进行采样时，得到误分类的概率较大，导致最终的模型推理效果出现较为明显的随机误差，而这种误差会严重影响推理的上限，这种错误目前看来时无法提前预测以及避免的。
但由于在实际场景中，商业模型的准确率较高，因此该误差的影响将会减轻；本发明使用一个中等规模的网络作为目标模型，使其在不同的数据集上进行训练，然后分别使用不同容量的网络来推断目标模型的决策能力，实验结果如下表4所示：
表4
从表4可以看出，无论是在何种数据集上，大容量的替代模型要比小容量的替代模型效果好。
此外，如图5所示，当模型容量足够时，虽然替代模型在替代训练集上的准确率不高，但在目标验证集上的准确率会比在替代训练集上的准确率高10%-20%。通过实验发现替代模型的有效性与一开始的训练精度大致成正比。
显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种零知识、免真实数据的模型推理方法，其特征在于，所述方法包括：
S1：将目标模型的分布切分为多个部分，并构建集中分布集，所述集中分布集中包含用于拟合目标模型各部分分布的子分布，其中，所述子分布中包含随机抽样噪声；
S2：将所述子分布中随机抽样的噪声输入目标模型中，得到相应的预测标签，基于所述预测标签得到该子分布的噪声在目标分布中的累计函数，并基于所述累计函数估计相应的目标分布；
其中，基于所述累计函数估计相应的目标分布，并使用方差衡量估计误差，即有：
(8)；
式(8)中，表示方差，/>表示从子分布/>抽样来估计目标函数经验平均值的估计误差，/>表示子分布/>的方差；
且，当使用个子分布的累计函数估计相应的目标分布时，估计总误差为：
(9)；
式(9)中，表示/>个子分布的估计总误差，/>表示第/>个子分布，/>表示从第/>个子分布抽样的样本输入目标函数中，/>'表示/>个子分布中的随机抽样总数，且/>＞/>；
此时，得到估计的目标分布为：
(10)；
式(10)中，表示子分布集，/>表示子分布集的期望值，/>表示从第/>个子分布/>中随机抽取的第/>个噪声样本/>，/>表示总体目标分布，/>表示总体目标分布的期望值；
根据大数定律，得到以下等式：
(11)；
S3：从估计的目标分布中随机抽样噪声，并结合所述预测标签，构建用于训练替代模型的训练图像样本集；
S4：利用所述训练图像样本集训练所述替代模型，并基于所述替代模型的输出结果拟合目标模型分布，从而实现模型推理；
其中，将所述训练图像样本集输入替代模型，所述替代模型的输出类型为纯标签输出，在该输出类型下，所述替代模型训练过程中的损失函数为：
(12)；
式(12)中，表示纯标签输出下的损失函数，/>表示噪声样本的真实标签，/>表示替代模型对标签预测的概率，/>表示目标分布的概率分布函数，/>表示训练图像样本集中的样本总数，/>表示训练图像样本集中的样本类别总数，/>表示类别，/>的取值为0或1，表示当第/>个样本为/>类时取值为1，否则为0，/>表示第/>个样本被替代模型预测为/>类的概率。
2.根据权利要求1所述的一种零知识、免真实数据的模型推理方法，其特征在于，所述步骤S1中，所述将目标模型的分布切分为多个部分，并构建集中分布集，具体包括：
S11、使用多个集中分布函数构建所述集中分布集，所述集中分布集中包含多个集中分布；
S12、从所述集中分布集中随机抽样噪声，并将抽样噪声所在的集中分布标记为子分布。
3.根据权利要求1所述的一种零知识、免真实数据的模型推理方法，其特征在于，所述步骤S2进一步包括：计算所述估计的目标分布的平均值，以得到目标分布下的期望值，即有：
(1)；
式(1)中，表示估计的目标分布的平均值，/>表示噪声样本，/>表示目标分布，/>表示目标函数，/>表示来自目标分布/>中的噪声样本，/>表示目标分布下的期望值。
4.根据权利要求1所述的一种零知识、免真实数据的模型推理方法，其特征在于，所述步骤S2中，所述估计的目标分布与随机抽样的噪声之间满足：
(2)；
式(2)中，表示子分布/>中的随机抽样总数，/>表示子分布/>下的期望值；且当/>趋于无穷大时，/>越接近于/>，即估计的目标分布越准确。
5.根据权利要求3所述的一种零知识、免真实数据的模型推理方法，其特征在于，所述步骤S2进一步还包括：计算目标函数的经验平均值的估计值，以得到目标函数经验平均值的估计值的期望值，即有：
(3)；
(4)；
式(3)-(4)中，表示目标函数的经验平均值的估计值，/>表示子分布/>中的第/>个噪声样本，/>表示目标函数经验平均值的估计值的期望值；
其中，结合公式(1)可得：
(5)；
式(5)中，表示来自目标分布/>中的第/>个噪声样本；
并结合公式(2)可得：
(6)；
且当趋于无穷大时，有：
(7)；
即，所述目标函数的经验平均值的估计值与估计的目标分布的平均值相等，表示估计的目标分布的平均值为无偏估计。
6.根据权利要求1所述的一种零知识、免真实数据的模型推理方法，其特征在于，所述步骤S4进一步还包括：将所述训练图像样本集输入替代模型，所述替代模型的输出类型为纯概率输出，在该输出类型下，所述替代模型训练过程中的损失函数为：
(13)；
式(13)中，表示纯概率输出下的损失函数，/>是一个正数，用于调整权重比。
CN202311675484.5A 2023-12-08 2023-12-08 一种零知识、免真实数据的模型推理方法 Active CN117371541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311675484.5A CN117371541B (zh) 2023-12-08 2023-12-08 一种零知识、免真实数据的模型推理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311675484.5A CN117371541B (zh) 2023-12-08 2023-12-08 一种零知识、免真实数据的模型推理方法

Publications (2)

Publication Number Publication Date
CN117371541A CN117371541A (zh) 2024-01-09
CN117371541B true CN117371541B (zh) 2024-03-29

Family

ID=89404519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311675484.5A Active CN117371541B (zh) 2023-12-08 2023-12-08 一种零知识、免真实数据的模型推理方法

Country Status (1)

Country Link
CN (1) CN117371541B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027060A (zh) * 2019-12-17 2020-04-17 电子科技大学 基于知识蒸馏的神经网络黑盒攻击型防御方法
CN111275115A (zh) * 2020-01-20 2020-06-12 星汉智能科技股份有限公司 一种基于生成对抗网络的对抗攻击样本的生成方法
CN112989361A (zh) * 2021-04-14 2021-06-18 华南理工大学 一种基于生成对抗网络的模型安全性检测方法
CN114492596A (zh) * 2022-01-04 2022-05-13 西安电子科技大学 基于变分自编码器的成员推理攻击抵御方法
CN116644439A (zh) * 2023-07-25 2023-08-25 中国海洋大学 一种基于去噪扩散模型的模型安全性评估方法
CN116684428A (zh) * 2023-07-06 2023-09-01 齐鲁工业大学(山东省科学院) IoT场景中基于模型的区块链演化共识算法
CN116894187A (zh) * 2023-07-12 2023-10-17 山东省计算中心（国家超级计算济南中心） 一种基于深度迁移学习的齿轮箱故障诊断方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230153460A1 (en) * 2021-11-12 2023-05-18 The Hong Kong University Of Science And Technology Method and server for defending service from personal privacy inference attack

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027060A (zh) * 2019-12-17 2020-04-17 电子科技大学 基于知识蒸馏的神经网络黑盒攻击型防御方法
CN111275115A (zh) * 2020-01-20 2020-06-12 星汉智能科技股份有限公司 一种基于生成对抗网络的对抗攻击样本的生成方法
CN112989361A (zh) * 2021-04-14 2021-06-18 华南理工大学 一种基于生成对抗网络的模型安全性检测方法
CN114492596A (zh) * 2022-01-04 2022-05-13 西安电子科技大学 基于变分自编码器的成员推理攻击抵御方法
CN116684428A (zh) * 2023-07-06 2023-09-01 齐鲁工业大学(山东省科学院) IoT场景中基于模型的区块链演化共识算法
CN116894187A (zh) * 2023-07-12 2023-10-17 山东省计算中心（国家超级计算济南中心） 一种基于深度迁移学习的齿轮箱故障诊断方法
CN116644439A (zh) * 2023-07-25 2023-08-25 中国海洋大学 一种基于去噪扩散模型的模型安全性评估方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"A Blockchained Federated Learning Framework for Cognitive Computing in Industry 4.0 Networks";Qu, YY (Qu, Youyang) ; Pokhrel, SR (Pokhrel, Shiva Raj) ; Garg, S (Garg, Sahil) ; Gao, LX (Gao, Longxiang) ; Xiang, Y (Xiang, Yong);《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》;20210228;第17卷(第04期);Page2964-2973 *
"图像分类中的白盒对抗攻击技术综述";魏佳璇，杜世康，于志轩，张瑞生;《计算机应用》;20220930;第42卷(第09期);全文 *
Qu, YY (Qu, Youyang) ; Pokhrel, SR (Pokhrel, Shiva Raj) *
机器学习训练数据集的成员推理综述;王璐璐;张鹏;闫峥;周晓康;;《网络空间安全》;20191025(第10期);全文 *

Also Published As

Publication number Publication date
CN117371541A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
Tuor et al. Overcoming noisy and irrelevant data in federated learning
Dong et al. Federated class-incremental learning
CN110837850B (zh) 一种基于对抗学习损失函数的无监督域适应方法
Singla et al. Preparing network intrusion detection deep learning models with minimal data using adversarial domain adaptation
CN113536383B (zh) 基于隐私保护训练图神经网络的方法及装置
Di Noia et al. Taamr: Targeted adversarial attack against multimedia recommender systems
Wang et al. MIASec: Enabling data indistinguishability against membership inference attacks in MLaaS
Liu et al. Keep your data locally: Federated-learning-based data privacy preservation in edge computing
US20170300580A1 (en) System and method for identifying contacts of a target user in a social network
WO2020038100A1 (zh) 一种特征关系推荐方法及装置、一种计算设备及存储介质
CN114417427B (zh) 一种面向深度学习的数据敏感属性脱敏系统及方法
Rekha et al. Artificial intelligence marketing: An application of a novel lightly trained support vector data description
Yang et al. Intrusion detection: A model based on the improved vision transformer
Takemura et al. Model extraction attacks on recurrent neural networks
CN115293235A (zh) 建立风险识别模型的方法及对应装置
Ding et al. Efficient BiSRU combined with feature dimensionality reduction for abnormal traffic detection
Yang et al. Detection of shilling attack based on bayesian model and user embedding
Liu et al. AGRM: attention-based graph representation model for telecom fraud detection
Zhen et al. Intelligent-based ensemble deep learning model for security improvement in real-time wireless communication
Cai et al. Stereo Attention Cross-Decoupling Fusion-Guided Federated Neural Learning for Hyperspectral Image Classification
Ranbaduge et al. Differentially private vertical federated learning
Glazunov et al. Do Bayesian variational autoencoders know what they don’t know?
CN117371541B (zh) 一种零知识、免真实数据的模型推理方法
Fan et al. An intrusion detection framework for IoT using partial domain adaptation
Yang et al. Fedadmp: A joint anomaly detection and mobility prediction framework via federated learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant