CN116821966B - 机器学习模型训练数据集隐私保护方法、装置及设备 - Google Patents
机器学习模型训练数据集隐私保护方法、装置及设备 Download PDFInfo
- Publication number
- CN116821966B CN116821966B CN202311084964.4A CN202311084964A CN116821966B CN 116821966 B CN116821966 B CN 116821966B CN 202311084964 A CN202311084964 A CN 202311084964A CN 116821966 B CN116821966 B CN 116821966B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- data set
- sample initial
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000012549 training Methods 0.000 title claims abstract description 63
- 238000010801 machine learning Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 65
- 238000007477 logistic regression Methods 0.000 claims description 78
- 230000008569 process Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 17
- 239000000523 sample Substances 0.000 claims 122
- 239000000758 substrate Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供一种机器学习模型训练数据集隐私保护方法、装置及设备，包括：将样本初始图像分割成m个图像块，基于m个图像块生成多个变体图像，每个变体图像包括m个图像块中的部分图像块；基于多个变体图像获取样本初始图像对应的解释模型，基于解释模型确定m个图像块分别对应的权重值；基于m个图像块分别对应的权重值选取权重值大的n个图像块，生成样本初始图像对应的样本目标图像，样本目标图像包括n个图像块；基于目标数据集中每个样本初始图像对应的样本目标图像获取目标网络模型，将目标网络模型发送给终端设备，终端设备基于目标网络模型对输入图像进行处理。通过本申请方案，能够对样本图像或样本文本的敏感信息或隐私信息进行保护。
Description
技术领域
本申请涉及数据处理技术领域，尤其是涉及一种机器学习模型训练数据集隐私保护方法、装置及设备。
背景技术
机器学习是实现人工智能的一种途径，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习用于研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习更加注重算法设计，使计算机能够自动地从数据中学习规律，并利用规律对未知数据进行预测。
服务器可以采用数据集训练得到机器学习模型，并将机器学习模型发布给终端设备，由终端设备基于机器学习模式实现分类或检测等功能。
数据集通常包括大量样本数据（如图像或者文本等），而这些样本数据包括敏感信息或者隐私信息，在将机器学习模型发布给终端设备之后，若攻击者对机器学习模型进行攻击，如采用成员推理、属性推断、模型逆向攻击等方式对机器学习模型进行攻击，那么，若数据集包括的是样本图像，则能够推导出这些样本图像中的敏感信息或者隐私信息，从而导致样本图像的敏感信息或者隐私信息的泄露，即样本图像存在安全隐患。若数据集包括的是样本文本，则能够推导出这些样本文本中的敏感信息或者隐私信息，从而导致样本文本的敏感信息或者隐私信息的泄露，即样本文本存在安全隐患。
发明内容
有鉴于此，本申请提供一种机器学习模型训练数据集隐私保护方法、装置及设备，能够对样本图像或样本文本的敏感信息或者隐私信息进行安全保护，从而提高保证数据安全。
本申请提供一种机器学习模型训练数据集隐私保护方法，包括：
获取目标数据集，所述目标数据集包括多个样本初始图像；
针对每个样本初始图像，将所述样本初始图像分割成m个图像块，基于m个图像块生成多个变体图像，每个变体图像包括m个图像块中的部分图像块；
基于所述多个变体图像获取所述样本初始图像对应的解释模型，基于所述解释模型确定所述m个图像块分别对应的权重值；基于所述m个图像块分别对应的权重值选取权重值大的n个图像块，并生成所述样本初始图像对应的样本目标图像，所述样本目标图像包括所述n个图像块，n小于m；
基于所述目标数据集中每个样本初始图像对应的样本目标图像获取目标网络模型，将所述目标网络模型发送给终端设备，以使所述终端设备基于所述目标网络模型对输入图像进行处理，得到所述输入图像的处理结果。
本申请提供一种机器学习模型训练数据集隐私保护方法，包括：
获取目标数据集，所述目标数据集包括多个样本初始文本；
针对每个样本初始文本，基于所述样本初始文本获取m个文本特征块，所述m为大于1的正整数，基于所述m个文本特征块生成多个变体文本，每个变体文本包括所述m个文本特征块中的部分文本特征块；
基于所述多个变体文本获取所述样本初始文本对应的解释模型，基于所述解释模型确定所述m个文本特征块分别对应的权重值；基于所述m个文本特征块分别对应的权重值选取权重值大的n个文本特征块，并生成所述样本初始文本对应的样本目标文本，所述样本目标文本包括所述n个文本特征块，n小于m；
基于所述目标数据集中每个样本初始文本对应的样本目标文本获取目标网络模型，将所述目标网络模型发送给终端设备，以使所述终端设备基于所述目标网络模型对输入文本进行处理，得到所述输入文本的处理结果。
本申请提供一种机器学习模型训练数据集隐私保护装置，包括：
获取模块，用于获取目标数据集，所述目标数据集包括多个样本初始图像；
处理模块，用于针对每个样本初始图像，将所述样本初始图像分割成m个图像块，基于m个图像块生成多个变体图像，每个变体图像包括m个图像块中的部分图像块；基于所述多个变体图像获取所述样本初始图像对应的解释模型，基于所述解释模型确定所述m个图像块分别对应的权重值；基于所述m个图像块分别对应的权重值选取权重值大的n个图像块，生成所述样本初始图像对应的样本目标图像，所述样本目标图像包括所述n个图像块，n小于m；
发送模块，用于基于所述目标数据集中每个样本初始图像对应的样本目标图像获取目标网络模型，将所述目标网络模型发送给终端设备，以使终端设备基于所述目标网络模型对输入图像进行处理，得到所述输入图像的处理结果。
本申请提供一种机器学习模型训练数据集隐私保护装置，包括：
获取模块，用于获取目标数据集，所述目标数据集包括多个样本初始文本；
处理模块，用于针对每个样本初始文本，基于所述样本初始文本获取m个文本特征块，所述m为大于1的正整数，基于所述m个文本特征块生成多个变体文本，每个变体文本包括所述m个文本特征块中的部分文本特征块；基于所述多个变体文本获取所述样本初始文本对应的解释模型，基于所述解释模型确定所述m个文本特征块分别对应的权重值；基于所述m个文本特征块分别对应的权重值选取权重值大的n个文本特征块，并生成所述样本初始文本对应的样本目标文本，所述样本目标文本包括所述n个文本特征块，n小于m；
发送模块，用于基于所述目标数据集中每个样本初始文本对应的样本目标文本获取目标网络模型，将所述目标网络模型发送给终端设备，以使终端设备基于所述目标网络模型对输入文本进行处理，得到所述输入文本的处理结果。
本申请提供一种电子设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现机器学习模型训练数据集隐私保护方法。
本申请提供一种机器可读存储介质，所述机器可读存储介质存储有能够被处理器执行的机器可执行指令；其中，所述处理器用于执行所述机器可执行指令，以实现上述的机器学习模型训练数据集隐私保护方法。
本申请提供一种计算机程序，所述计算机程序存储于机器可读存储介质，当处理器执行所述机器可读存储介质中的所述计算机程序时，促使所述处理器实现上述的机器学习模型训练数据集隐私保护方法。
由以上技术方案可见，本申请实施例中，样本初始图像包括m个图像块，而样本初始图像对应的样本目标图像包括n个图像块，且n个图像块是m个图像块中的部分图像块，这样，在利用样本目标图像训练得到目标网络模型，将目标网络模型发送给终端设备之后，即使攻击者对目标网络模型进行攻击，也只能推导出样本初始图像的部分图像块，而无法推导出样本初始图像中的敏感信息或者隐私信息，从而对样本初始图像中的敏感信息或者隐私信息进行安全保护，减少敏感信息或者隐私信息泄露的风险，提高样本初始图像的安全性。
此外，样本初始文本对应m个文本特征块，而样本初始文本对应的样本目标文本包括n个文本特征块，且n个文本特征块是m个文本特征块中的部分特征块，这样，在利用样本目标文本训练得到目标网络模型，将目标网络模型发送给终端设备之后，即使攻击者对目标网络模型进行攻击，也只能推导出样本初始文本的部分文本特征块，而无法推导出样本初始文本中的敏感信息或者隐私信息，从而对样本初始文本中的敏感信息或者隐私信息进行安全保护，减少敏感信息或者隐私信息泄露的风险，提高样本初始文本的安全性。
附图说明
图1是机器学习模型训练数据集隐私保护方法的流程示意图；
图2是机器学习模型训练数据集隐私保护方法的流程示意图；
图3是机器学习模型训练数据集隐私保护方法的流程示意图；
图4是机器学习模型训练数据集隐私保护装置的结构示意图；
图5是本申请一种实施方式中的电子设备的硬件结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请实施例中提出一种机器学习模型训练数据集隐私保护方法，该方法可以应用于服务器，参见图1所示，该方法可以包括：
步骤101、获取目标数据集，该目标数据集包括多个样本初始图像。
步骤102、针对每个样本初始图像，将该样本初始图像分割成m个图像块，m可以为大于1的正整数，基于m个图像块生成多个变体图像，其中，针对每个变体图像，该变体图像可以包括m个图像块中的部分图像块。
步骤103、基于多个变体图像获取该样本初始图像对应的解释模型，并基于该解释模型确定m个图像块分别对应的权重值。基于m个图像块分别对应的权重值，选取权重值大的n个图像块，并生成该样本初始图像对应的样本目标图像，且该样本目标图像可以包括n个图像块，n可以小于m。
步骤104、基于目标数据集中每个样本初始图像对应的样本目标图像获取目标网络模型，并将该目标网络模型发送给终端设备，以使终端设备基于该目标网络模型对输入图像进行处理，得到该输入图像的处理结果。
示例性的，基于多个变体图像获取该样本初始图像对应的解释模型，可以包括但不限于：基于该目标数据集训练得到初始网络模型；针对该样本初始图像对应的每个变体图像，将该变体图像输入给该初始网络模型得到该变体图像对应的标签数据。然后，构建该样本初始图像对应的子数据集，该子数据集可以包括该样本初始图像对应的多个变体图像和每个变体图像对应的标签数据；基于该子数据集训练得到该样本初始图像对应的解释模型。
示例性的，m个图像块中的不同图像块的尺寸可以相同或不同。基于m个图像块生成多个变体图像，可以包括但不限于：从该样本初始图像的m个图像块中随机选取k1个图像块，且k1小于m；保持k1个图像块的像素值不变，并采用固定值对样本初始图像中除k1个图像块之外的剩余图像块进行填充，得到一个变体图像。或者，从该样本初始图像的m个图像块中随机选取k2个图像块，且k2小于m；采用固定值对k2个图像块进行填充，并保持样本初始图像中除k2个图像块之外的剩余图像块的像素值不变，得到一个变体图像。
示例性的，该解释模型可以包括但不限于已训练逻辑回归模型，基于多个变体图像获取该样本初始图像对应的解释模型，并基于该解释模型确定m个图像块分别对应的权重值，可以包括但不限于：将多个变体图像输入给待训练逻辑回归模型，得到每个变体图像对应的预测数据；其中，该待训练逻辑回归模型可以采用特征参数*权重参数+偏置参数的网络结构，且该变体图像的多个图像块对应特征参数。基于每个变体图像对应的预测数据和每个变体图像对应的标签数据，对该待训练逻辑回归模型的权重参数和偏置参数进行调整，得到调整后模型。基于此，若该调整后模型未收敛，则将该调整后模型作为待训练逻辑回归模型，并返回执行将多个变体图像输入给待训练逻辑回归模型的操作；若该调整后模型已收敛，则将该调整后模型作为已训练逻辑回归模型；基于已训练逻辑回归模型中的权重参数确定m个图像块分别对应的权重值。
示例性的，获取目标数据集，可以包括但不限于：将已获取的原始数据集确定为目标数据集，该原始数据集包括多个样本初始图像。或者，基于原始数据集生成多个样本组，每个样本组包括两个样本初始图像；基于每个样本组对应的互信息量，从所有样本组中选取互信息量小的P个样本组，将P个样本组中的样本初始图像添加到候选数据集。从候选数据集中移除第一条件信息量最小的样本初始图像，并将候选数据集之外的第二条件信息量最大的样本初始图像添加到候选数据集。若候选数据集对应的联合信息量不大于上一次候选数据集对应的联合信息量，则将候选数据集作为目标数据集；否则，返回执行从候选数据集中移除第一条件信息量最小的样本初始图像的操作。
示例性的，可以采用如下公式确定候选数据集对应的联合信息量：；S’表示候选数据集，H(S’)表示候选数据集对应的联合信息量，X1，…，Xn表示候选数据集中样本初始图像，x1，…，xn表示样本初始图像中像素位置的像素值，P(x1，…，xn)表示不同样本初始图像X1，…，Xn在同一像素位置上的像素值x1，…，xn出现的联合概率值。
示例性的，可以采用如下公式确定样本初始图像对应的第一条件信息量：；其中，S’用于表示该候选数据集，X用于表示该候选数据集中的任一样本初始图像，H(X|S’)用于表示样本初始图像X对应的第一条件信息量，Z表示该候选数据集中除样本初始图像X之外的任一样本初始图像，n表示该候选数据集中的样本初始图像总数量，P(x，z)表示样本初始图像X和样本初始图像Z在同一像素位置上的像素值x和像素值z出现的联合概率值，P(z)表示样本初始图像Z中的像素值z出现的比例。
示例性的，可以采用如下公式确定样本初始图像对应的第二条件信息量：；其中，S’用于表示该候选数据集，Y用于表示该候选数据集外的任一样本初始图像，H(Y|S’)用于表示样本初始图像Y对应的第二条件信息量，Z表示该候选数据集中除样本初始图像X之外的任一样本初始图像，n表示该候选数据集中的样本初始图像总数量，P(y，z)表示样本初始图像Y和样本初始图像Z在同一像素位置上的像素值y和像素值z出现的联合概率值，P(z)表示样本初始图像Z中的像素值z出现的比例。
示例性的，若终端设备为摄像机设备，摄像机设备采集目标场景的图像作为输入图像，将输入图像输入给目标网络模型得到输入图像的处理结果；其中，处理结果为输入图像的分类结果或检测结果。或者，若终端设备为门禁设备，门禁设备采集目标场景的图像作为输入图像，将输入图像输入给目标网络模型得到输入图像的处理结果；其中，处理结果为输入图像的检测结果。
由以上技术方案可见，本申请实施例中，样本初始图像包括m个图像块，而样本初始图像对应的样本目标图像包括n个图像块，且n个图像块是m个图像块中的部分图像块，这样，在利用样本目标图像训练得到目标网络模型，将目标网络模型发送给终端设备之后，即使攻击者对目标网络模型进行攻击，也只能推导出样本初始图像的部分图像块，而无法推导出样本初始图像中的敏感信息或者隐私信息，从而对样本初始图像中的敏感信息或者隐私信息进行安全保护，减少敏感信息或者隐私信息泄露的风险，提高样本初始图像的安全性。
以下结合具体应用场景，对本申请实施例的技术方案进行说明。
服务器可以采用数据集训练得到机器学习模型，并将机器学习模型发布给终端设备，由终端设备基于机器学习模式实现图像分类或图像检测等功能。数据集通常包括大量样本图像，而这些样本图像包括敏感信息或者隐私信息，在将机器学习模型发布给终端设备之后，若攻击者对机器学习模型进行攻击，则能够推导出这些样本图像中的敏感信息或者隐私信息，从而导致样本图像的敏感信息或者隐私信息的泄露，即数据集中的样本图像存在安全隐患。
针对上述发现，本申请实施例中提出一种机器学习模型训练数据集隐私保护方法，是针对机器学习模型的训练数据集的隐私攻击（如成员推理、属性推断、模型逆向攻击等）防御方案，能够避免隐私信息泄露给模型训练，缓解成员推理、属性推断、模型逆向攻击所带来的隐私泄露风险，保护模型训练数据集的隐私。能够对样本图像中的敏感信息或者隐私信息进行安全保护，减少敏感信息或者隐私信息泄露的风险，提高数据集中的样本图像的安全性。
本申请实施例中提出一种机器学习模型训练数据集隐私保护方法，参见图2所示，为该方法的流程示意图，该方法可以包括：
步骤201、服务器获取原始数据集，该原始数据集包括多个样本初始图像。
示例性的，原始数据集是用于训练机器学习模型的数据集，可以将该原始数据集中的样本图像称为样本初始图像，对此原始数据集的来源不做限制。
步骤202、服务器基于原始数据集生成多个样本组，每个样本组包括两个样本初始图像。基于每个样本组对应的互信息量，服务器从所有样本组中选取互信息量小的P个样本组，将P个样本组中的样本初始图像添加到候选数据集。
示例性的，基于原始数据集中的所有样本初始图像生成多个样本组，即任意两个样本初始图像组成一个样本组。比如说，假设原始数据集包括样本初始图像a1、样本初始图像a2和样本初始图像a3，则可以生成三个样本组，样本组b1包括样本初始图像a1和样本初始图像a2，样本组b2包括样本初始图像a1和样本初始图像a3，样本组b3包括样本初始图像a2和样本初始图像a3。
示例性的，针对每个样本组，计算该样本组对应的互信息量，即计算该样本组内的两个样本初始图像对应的互信息量，互信息是信息论中一种有用的信息度量，对此互信息量的计算方式不做限制。其中，互信息量能够反映这两个样本初始图像的相关性，即使用互信息量来衡量这两个样本初始图像之间共享的信息量。显然，在互信息量越大时，则表示这两个样本初始图像的相关性越大，即这两个样本初始图像的重复信息越多。在互信息量越小时，则表示这两个样本初始图像的相关性越小，即这两个样本初始图像的重复信息越少。
示例性的，在得到所有样本组对应的互信息量之后，基于每个样本组对应的互信息量，可以对所有样本组进行排序。基于排序结果从所有样本组中选取互信息量小的P个样本组，将P个样本组中的样本初始图像添加到候选数据集。
比如说，可以按照互信息量从小到大的顺序对所有样本组进行排序，并从第一个样本组开始选取排序靠前的P个样本组，将P个样本组中的样本初始图像添加到候选数据集。或者，可以按照互信息量从大到小的顺序对所有样本组进行排序，并从最后一个样本组开始选取排序靠后的P个样本组，将P个样本组中的样本初始图像添加到候选数据集。至此，得到一个候选数据集，该候选数据集可以包括P个样本组中的样本初始图像，P可以为正整数。
示例性的，通过将互信息量小的P个样本组中的样本初始图像添加到候选数据集，使得候选数据集内的样本初始图像之间的相关性小，即候选数据集内的样本初始图像的重复信息少，基于候选数据集训练网络模型时准确性更高。
步骤203、服务器从候选数据集中移除第一条件信息量最小的样本初始图像，并将候选数据集之外的第二条件信息量最大的样本初始图像添加到候选数据集。
示例性的，在得到候选数据集之后，可以计算候选数据集中的每个样本初始图像对应的第一条件信息量（将候选数据集中的每个样本初始图像对应的条件信息量称为第一条件信息量），第一条件信息量是通过条件熵来衡量互信息量，对此第一条件信息量的计算方式不做限制。比如说，针对候选数据集中的每个样本初始图像，可以采用如下公式（1）确定该样本初始图像对应的第一条件信息量。当然，公式（1）只是一个示例，对此确定方式不做限制。
公式（1）
其中，S’用于表示该候选数据集，X用于表示该候选数据集中的任一样本初始图像，H(X|S’)用于表示样本初始图像X对应的第一条件信息量，即针对该候选数据集中的每个样本初始图像，采用公式（1）计算第一条件信息量。Z用于表示该候选数据集中除样本初始图像X之外的任一样本初始图像，在样本初始图像X确定后，Z依次为该候选数据集中除样本初始图像X之外的每个样本初始图像。n用于表示该候选数据集中的样本初始图像总数量。
P(x，z)表示样本初始图像X和样本初始图像Z在同一像素位置上的像素值x和像素值z出现的联合概率值。比如说，假设样本初始图像X和样本初始图像Z均包括5*5个像素点，则共有（0，0）、（0，1）、…、（0，4）、（1，0）、（1，1）、…、（4，4）等25个像素位置，依次统计25个像素位置上样本初始图像X和样本初始图像Z的像素值。假设样本初始图像X和样本初始图像Z在（0，0）像素位置的像素值均为0，即[0,0]出现概率为1/25，[0,0]表示像素值x和像素值z均为0，P(0，0)为1/25。假设样本初始图像X和样本初始图像Z在（0，1）像素位置的像素值也均为0，则[0,0]出现概率就增加为2/25，因此，P(0，0)为2/25。假设样本初始图像X和样本初始图像Z在（0，2）像素位置的像素值分别为66和88，即[66,88]出现概率为1/25，[66,88]表示像素值x为66，像素值z为88，P(66，88)为1/25。依次遍历完25个像素位置，可以得到样本初始图像X和样本初始图像Z在同一像素位置上的像素值x和像素值z出现的联合概率值P(x，z)。
P(z)表示样本初始图像Z中的像素值z出现的比例。比如说，假设样本初始图像Z共有（0，1，…，255）等256种像素值，则P(z)表示每种像素值z出现的比例。比如说，由于是针对单帧样本初始图像Z，因此不需要计算联合概率，仅统计样本初始图像Z自身像素值比例即可。假设样本初始图像Z共有25个像素点，像素值为0的像素点点共有5个，则P(0) =5/25，依次计算P(1)、P(2)、…、P(255)即可，这样，就可以得到样本初始图像Z中的每种像素值z出现的比例。
显然，基于候选数据集中的每个样本初始图像对应的第一条件信息量，可以从候选数据集中移除第一条件信息量最小的样本初始图像。
示例性的，在得到候选数据集之后，可以计算候选数据集之外的每个样本初始图像（即位于原始数据集且不位于候选数据集的样本初始图像）对应的第二条件信息量（将候选数据集之外的每个样本初始图像对应的条件信息量称为第二条件信息量），第二条件信息量是通过条件熵来衡量互信息量，对此第二条件信息量的计算方式不做限制。比如说，针对候选数据集之外的每个样本初始图像，可以采用如下公式（2）确定该样本初始图像对应的第二条件信息量。当然，公式（2）只是一个示例，对此确定方式不做限制。
公式（2）
其中，S’用于表示该候选数据集，Y用于表示该候选数据集之外的任一样本初始图像，H(Y|S’)用于表示样本初始图像Y对应的第二条件信息量，即针对该候选数据集之外的每个样本初始图像，采用公式（2）计算第二条件信息量。Z用于表示该候选数据集中除样本初始图像X之外的任一样本初始图像，样本初始图像X是第一条件信息量最小的样本初始图像，即被从候选数据集中移除的样本初始图像，显然，在完成上述移除操作之后，Z依次为该候选数据集中剩余的每个样本初始图像。n表示该候选数据集中的样本初始图像总数量。
P(y，z)表示样本初始图像Y和样本初始图像Z在同一像素位置上的像素值y和像素值z出现的联合概率值，P(z)表示样本初始图像Z中的像素值z出现的比例。P(y，z)的含义可以参见P(x，z)的含义，在此不再重复赘述。
显然，基于候选数据集之外的每个样本初始图像对应的第二条件信息量，可以将第二条件信息量最大的样本初始图像添加到候选数据集。
示例性的，通过移除第一条件信息量最小的样本初始图像，并添加第二条件信息量最大的样本初始图像，使得候选数据集内的所有样本初始图像的整体信息量增加，这样，基于候选数据集训练网络模型时准确性更高。
步骤204、服务器判断该候选数据集对应的联合信息量是否不大于上一次候选数据集对应的联合信息量。若是，则执行步骤205，若否，则返回步骤203。
示例性的，从候选数据集中移除第一条件信息量最小的样本初始图像，将第二条件信息量最大的样本初始图像添加到候选数据集之后，可以计算该候选数据集对应的联合信息量，联合信息量是通过联合熵来衡量互信息量，对此联合信息量的计算方式不做限制。比如说，可以采用如下公式（3）确定该候选数据集对应的联合信息量。当然，公式（3）只是示例，对此确定方式不做限制。
公式（3）
其中，S’用于表示该候选数据集，H(S’)用于表示该候选数据集对应的联合信息量，X1，…，Xn用于表示该候选数据集中的样本初始图像，x1，…，xn用于表示样本初始图像中像素位置的像素值，P(x1，…，xn)用于表示不同样本初始图像X1，…，Xn在同一像素位置上的像素值x1，…，xn出现的联合概率值。
比如说，假设该候选数据集包括3个样本初始图像，且这3个样本初始图像均包括5*5个像素点，则共有（0，0）、（0，1）、…、（0，4）、（1，0）、（1，1）、…、（4，4）等25个像素位置，依次统计25个像素位置上3个样本初始图像的像素值。假设3个样本初始图像在（0，0）像素位置的像素值均为0，即[0,0,0]出现概率为1/25，[0,0,0]表示像素值x1、像素值x2和像素值x3均为0，P(0，0，0)为1/25。假设3个样本初始图像在（0，1）像素位置的像素值也均为0，则[0,0,0]出现概率就增加为2/25，因此，P(0，0，0)为2/25。假设3个样本初始图像在（0，2）像素位置的像素值分别为66、88和99，即[66,88,99]出现概率为1/25，[66,88,99]表示像素值x1为66，像素值x2为88，像素值x3为99，P(66，88，99)为1/25。
显然，依次遍历完25个像素位置，可以得到样本初始图像X1，…，Xn在同一像素位置上的像素值x1，…，xn出现的联合概率值P(x1，…，xn)。
针对在同一像素位置从未出现的像素值组合，假设为[100,100,100]，其出现的概率就为0，即P(100，100，100)为0。由于log要求真数不能为0，因此，当P(x1，…，xn)为0时，P(x1，…，xn) log P(x1，…，xn)为0。
通过将所有像素位置的取值概率P(0,0,1)、P(0,0,2)、…、P(255,255,255)按照公式（3）进行计算，就可以得到该候选数据集对应的联合熵，也可以称为该候选数据集对应的联合信息量。由于大部分取值组合并未出现，即这些取值组合为0，因此，计算联合信息量的实际计算开销很小，如仅需计算25次。
示例性的，在得到该候选数据集对应的联合信息量之后，判断该候选数据集对应的联合信息量是否不大于上一次候选数据集对应的联合信息量（上一次迭代过程中计算）。若是，则表示候选数据集对应的联合信息量无法继续增加，完成迭代过程，执行步骤205。若否，则表示候选数据集对应的联合信息量能够继续增加，返回步骤203，从候选数据集中移除第一条件信息量最小的样本初始图像，并将候选数据集之外的第二条件信息量最大的样本初始图像添加到候选数据集，以此类推，一直到候选数据集对应的联合信息量无法继续增加。
步骤205、服务器将该候选数据集作为目标数据集。至此，服务器成功得到目标数据集S’，且该目标数据集S’可以包括多个样本初始图像。
在一种可能的实施方式中，基于步骤201-步骤205，用于从原始数据集中选取目标数据集，目标数据集包括原始数据集中的部分样本初始图像，从而去除模型训练中不必要的隐私信息或者敏感信息，仅保留部分样本初始图像进行训练。比如说，从原始数据集S中选取部分样本初始图像组成目标数据集S’。
比如说，为了确保目标数据集S’（即迭代完成的候选数据集S’）包含尽可能多信息来训练具有良好性能的模型，可以使用联合熵来衡量目标数据集S’的信息量，即目标数据集S’的联合信息量，参见公式（3）所示的联合信息量。
为了确保目标数据集S’中样本初始图像尽可能彼此不相关，来减少重复样本和冗余信息，从而节省训练时间，可以使用互信息衡量两个样本初始图像之间共享的信息量，包含尽可能多的独立样本初始图像的目标数据集S’可以表示为公式（4）。在公式（4）中，Xi和Xj表示目标数据集S’中的两个样本初始图像，I(Xi；Xj)表示样本初始图像Xi和样本初始图像Xj之间的互信息量。
公式（4）
将公式（3）所示的联合信息量和公式（4）所示的互信息量合并为一个优化问题，则可以得到公式（5）所示的优化问题，α为用于调节重要性的权重。
公式（5）
比如说，可以采用贪心思想求解公式（5）的优化问题。首先，使用具有最小互信息和的P个样本组对候选数据集S’进行初始化，P值可以根据经验设置。然后，从候选数据集S’中去掉信息量最少的样本初始图像，从候选数据集S’外挑选出信息量最大的样本初始图像，不断迭代这个过程，直到候选数据集S’的信息量不再增加，将这个候选数据集S’作为目标数据集S’。其中，关于上述贪心思想求解公式（5）的优化问题的过程，可以参见步骤202-步骤205。
步骤206、服务器基于目标数据集训练得到初始网络模型。
比如说，由于目标数据集包括多个样本初始图像，且每个样本初始图像对应有标签数据（对此标签数据的来源不做限制），因此，可以基于目标数据集中的多个样本初始图像训练得到初始网络模型，对此训练过程不做限制。
步骤207、针对目标数据集中的每个样本初始图像（每个样本初始图像的处理过程相同，后续以一个样本初始图像为例），服务器将该样本初始图像分割成m个图像块，m可以为大于1的正整数，m个图像块中的不同图像块的尺寸可以相同或者不同，后续以不同图像块的尺寸相同为例进行说明。
比如说，假设样本初始图像是100*80的图像，m为4，则服务器将样本初始图像分割成4个图像块，图像块c1为样本初始图像左上角的50*40的图像块，图像块c2为样本初始图像右上角的50*40的图像块，图像块c3为样本初始图像左下角的50*40的图像块，图像块c4为样本初始图像右下角的50*40的图像块。
当然，上述是以采用均匀分割方式对样本初始图像进行分割为例，除了均匀分割方式，还可以根据像素点间的相似性进行语义分割，即将相似性高的像素点分割到同一个图像块，将相似性低的像素点分割到不同图像块。还可以采用其它分割方式，对此不做限制，能够将样本初始图像分割成多个图像块即可。
步骤208、服务器基于m个图像块生成多个变体图像，其中，针对每个变体图像，该变体图像可以包括m个图像块中的部分图像块。
在一种可能的实施方式中，从该样本初始图像的m个图像块中随机选取k1个图像块，且k1小于m。保持k1个图像块的像素值不变，并采用固定值对该样本初始图像中除k1个图像块之外的剩余图像块进行填充，得到变体图像。
比如说，从样本初始图像的m个图像块中选取图像块c1和图像块c2，保持图像块c1和图像块c2的像素值不变，采用固定值（如0等像素值）对图像块c3进行填充得到图像块c3’，采用固定值对图像块c4进行填充得到图像块c4’，至此，得到变体图像d1，变体图像d1包括图像块c1、图像块c2、图像块c3’和图像块c4’。显然，变体图像d1的尺寸与样本初始图像的尺寸相同，但是，变体图像d1只包括m个图像块中的部分图像块（即图像块c1和图像块c2），而图像块c3’和图像块c4’均是固定值填充，已经与样本初始图像不同。
从样本初始图像的m个图像块中选取图像块c3，保持图像块c3的像素值不变，采用固定值对图像块c1、图像块c2和图像块c4进行填充，得到图像块c1’、图像块c2’和图像块c4’，至此，可以得到一个变体图像d2。
从样本初始图像的m个图像块中选取图像块c1、图像块c2和图像块c3，保持图像块c1、图像块c2和图像块c3的像素值不变，采用固定值对图像块c4进行填充，得到图像块c4’，至此，可以得到一个变体图像d3。
以此类推，在每次从样本初始图像的m个图像块中随机选取k1个图像块时，k1个图像块可以是m个图像块中的任意图像块，在不同选取过程中，k1的值也可以发生变化，对此不做限制，只要能够得到多个变体图像即可。
在另一种可能的实施方式中，从该样本初始图像的m个图像块中随机选取k2个图像块，且k2小于m。采用固定值对k2个图像块进行填充，并保持样本初始图像中除k2个图像块之外的剩余图像块的像素值不变，得到变体图像。
比如说，从样本初始图像的m个图像块中选取图像块c1和图像块c2，采用固定值对图像块c1进行填充得到图像块c1’，采用固定值对图像块c2进行填充得到图像块c2’，保持图像块c3和图像块c4的像素值不变，至此，得到一个变体图像，该变体图像包括图像块c1’、图像块c2’、图像块c3和图像块c4。
以此类推，在每次从样本初始图像的m个图像块中随机选取k2个图像块时，k2个图像块可以是m个图像块中的任意图像块，在不同选取过程中，k2的值也可以发生变化，对此不做限制，只要能够得到多个变体图像即可。
步骤209、服务器基于多个变体图像获取该样本初始图像对应的解释模型，并基于该解释模型确定该样本初始图像中的m个图像块分别对应的权重值。
示例性的，在得到该样本初始图像对应的多个变体图像之后，针对每个变体图像，可以将该变体图像输入给初始网络模型，得到该变体图像对应的标签数据。比如说，虽然样本初始图像具有标签数据，但是，变体图像是对样本初始图像的m个图像块进行扰动后的新图像，变体图像没有对应的标签数据，因此，可以将变体图像输入给初始网络模型，由初始网络模型对该变体图像进行预测，对此预测过程不做限制，得到该变体图像对应的标签数据。
示例性的，在得到每个变体图像对应的标签数据之后，可以构建该样本初始图像对应的子数据集（不同样本初始图像对应不同子数据集），该子数据集包括该样本初始图像对应的多个变体图像和每个变体图像对应的标签数据。
示例性的，在得到该样本初始图像对应的子数据集之后，可以基于该子数据集训练得到该样本初始图像对应的解释模型。比如说，将该子数据集中的变体图像输入给待训练的解释模型，得到该变体图像对应的预测数据。基于该变体图像对应的预测数据和该变体图像对应的标签数据，确定该变体图像对应的损失值。比如说，可以预先构建损失函数，将该变体图像对应的预测数据和标签数据的差值作为该损失函数的输入，而该损失函数的输出就是损失值。显然，在该差值越大时，则该损失值越大，在该差值越小时，则该损失值越小。
然后，可以基于该损失值对待训练的解释模型的网络参数进行调整，调整目标是使损失值越来越小，例如，可以采用梯度下降法等方式对待训练的解释模型的网络参数进行调整，对此网络参数的调整过程不做限制。
在对待训练的解释模型的网络参数进行多次调整后，即进行多次迭代，若待训练的解释模型已收敛，则将已收敛的解释模型作为该样本初始图像对应的解释模型，即完成解释模型的训练过程。若待训练的解释模型未收敛，则继续对待训练的解释模型的网络参数进行调整，一直到待训练的解释模型已收敛。
示例性的，该解释模型可以是局部可解释的替代模型，该解释模型可以包括多个权重参数，假设样本初始图像包括m个图像块，则该解释模型可以包括m个图像块对应的m个权重参数，即图像块与权重参数一一对应。
针对每个变体图像，该变体图像包括m个图像块，变体图像的m个图像块与样本初始图像的m个图像块部分相同，剩余图像块采用固定值填充。变体图像的m个图像块与解释模型的m个权重参数也一一对应，这样，在将变体图像输入给解释模型之后，解释模型基于变体图像的m个图像块与解释模型的m个权重参数进行处理，对此处理过程不做限制，得到该变体图像对应的预测数据。
综上所述，在得到该样本初始图像对应的解释模型之后，该解释模型可以包括m个权重参数，这m个权重参数是已训练的权重参数，且这m个权重参数与样本初始图像的m个图像块一一对应，这样，就可以基于该解释模型的m个权重参数确定该样本初始图像中的m个图像块分别对应的权重值。
比如说，将第1个图像块对应的权重参数作为样本初始图像的第1个图像块对应的权重值，将第2个图像块对应的权重参数作为样本初始图像的第2个图像块对应的权重值，以此类推。又例如，对该解释模型的m个权重参数进行归一化，将这些权重参数映射到指定数值区间（如0-1），然后，将第1个图像块对应的权重参数作为样本初始图像的第1个图像块对应的权重值，以此类推。
至此，可以得到样本初始图像中的m个图像块分别对应的权重值。
在一种可能的实施方式中，解释模型可以包括但不限于逻辑回归模型，即待训练的解释模型是待训练逻辑回归模型，已训练的解释模型是已训练逻辑回归模型。当然，逻辑回归模型只是示例，对此不做限制，只要解释模型包括m个权重参数，能够表征样本初始图像中的m个图像块分别对应的权重值即可。
逻辑回归模型可以采用特征参数*权重参数+偏置参数的网络结构，即逻辑回归模型的网络结构为特征参数*权重参数+偏置参数。在该网络结构中，权重参数和偏置参数是逻辑回归模型的网络参数，在训练过程中，就是对逻辑回归模型中的权重参数和偏置参数进行优化的过程。在该网络结构中，特征参数是逻辑回归模型的输入特征，在将变体图像输入给逻辑回归模型时，变体图像的多个图像块对应该特征参数，比如说，可以提取每个图像块的图像特征，对此图像特征的类型不做限制，而多个图像块的图像特征就作为特征参数。
以m个图像块是4个图像块为例，那么，逻辑回归模型的网络结构可以包括：第1个图像块对应的特征参数*第1个图像块对应的权重参数+第1个图像块对应的偏置参数、第2个图像块对应的特征参数*第2个图像块对应的权重参数+第2个图像块对应的偏置参数、第3个图像块对应的特征参数*第3个图像块对应的权重参数+第3个图像块对应的偏置参数、第4个图像块对应的特征参数*第4个图像块对应的权重参数+第4个图像块对应的偏置参数。
基于上述网络结构，可以获取采用上述网络结构的待训练逻辑回归模型（不同样本初始图像对应的待训练逻辑回归模型可以相同，也可以不同），将该待训练逻辑回归模型作为该样本初始图像对应的待训练逻辑回归模型。
在得到样本初始图像对应的子数据集之后，将该子数据集中的变体图像（如多个变体图像）输入给该待训练逻辑回归模型，得到该变体图像对应的预测数据。比如说，变体图像包括4个图像块，待训练逻辑回归模型可以分别提取4个图像块对应的4个图像特征。第1个图像特征作为特征参数与第1个图像块对应的权重参数和偏置参数进行运算，第2个图像特征作为特征参数与第2个图像块对应的权重参数和偏置参数进行运算，第3个图像特征作为特征参数与第3个图像块对应的权重参数和偏置参数进行运算，第4个图像特征作为特征参数与第4个图像块对应的权重参数和偏置参数进行运算。基于上述4个运算结果，待训练逻辑回归模型可以输出该变体图像对应的预测数据。
基于变体图像对应的预测数据和变体图像对应的标签数据，可以对待训练逻辑回归模型的权重参数和偏置参数进行调整，得到调整后模型。比如说，基于变体图像对应的预测数据和变体图像对应的标签数据，确定该变体图像对应的损失值，对此损失值的确定方式不做限制。基于该损失值对待训练逻辑回归模型的权重参数和偏置参数进行调整，调整目标是使损失值越来越小，如可以采用梯度下降法对待训练逻辑回归模型的权重参数和偏置参数进行调整。
在得到调整后模型之后，可以判断该调整后模型是否收敛。比如说，若待训练逻辑回归模型的迭代次数达到次数阈值，则该调整后模型已收敛，若待训练逻辑回归模型的迭代次数未达到次数阈值，则该调整后模型未收敛。又例如，若待训练逻辑回归模型的迭代时长达到时长阈值，则该调整后模型已收敛，若待训练逻辑回归模型的迭代时长未达到时长阈值，则该调整后模型未收敛。又例如，若该调整后模型对应的损失值小于预设阈值，则该调整后模型已收敛，若该调整后模型对应的损失值不小于预设阈值，则该调整后模型未收敛。当然，上述只是确定调整后模型是否收敛的几个示例，对此确定方式不做限制。
若该调整后模型未收敛，则将该调整后模型作为待训练逻辑回归模型，并返回执行将变体图像输入给待训练逻辑回归模型的操作，以此类推，直到该调整后模型已收敛。若该调整后模型已收敛，则将该调整后模型作为已训练逻辑回归模型，即样本初始图像对应的已训练逻辑回归模型，完成模型训练过程。
在得到已训练逻辑回归模型之后，可以基于第1个图像块对应的权重参数确定样本初始图像中的第1个图像块对应的权重值，基于第2个图像块对应的权重参数确定样本初始图像中的第2个图像块对应的权重值，以此类推。
至此，可以得到样本初始图像中的m个图像块分别对应的权重值。
步骤210、服务器基于该样本初始图像中的m个图像块分别对应的权重值，选取权重值大的n个图像块，并生成该样本初始图像对应的样本目标图像，且该样本目标图像可以包括n个图像块，n可以小于m。
示例性的，在得到样本初始图像中的m个图像块分别对应的权重值后，可以按照权重值从大到小的顺序对m个图像块进行排序，或者，按照权重值从小到大的顺序对m个图像块进行排序，然后，可以基于排序结果选取权重值大的n个图像块，n个图像块是m个图像块中的部分图像块。其中，权重值大的n个图像块是m个图像块中的重要图像块，即n个图像块涵盖的信息量大，在基于n个图像块训练网络模型时，网络模型的可靠性大，性能比较高。
在得到n个图像块之后，可以基于n个图像块生成该样本初始图像对应的样本目标图像，该样本目标图像包括样本初始图像中的n个图像块，样本目标图像的尺寸与样本初始图像的尺寸可以相同，针对样本目标图像中的n个图像块之外的剩余图像块，可以采用固定值对剩余图像块进行填充。
比如说，样本初始图像包括左上角的图像块c1、右上角的图像块c2、左下角的图像块c3、右下角的图像块c4。n的取值可以根据经验配置，若n的取值是2，则从4个图像块中选取权重值大的2个图像块，如图像块c1和图像块c2。
基于此，在生成该样本初始图像对应的样本目标图像时，样本目标图像也包括4个图像块，左上角的图像块为图像块c1，右上角的图像块为图像块c2，左下角的图像块可以采用固定值填充，右下角的图像块可以采用固定值填充。
在对目标数据集中每个样本初始图像进行上述处理后，可以得到该样本初始图像对应的样本目标图像，即得到每个样本初始图像对应的样本目标图像。
步骤211、服务器基于目标数据集中每个样本初始图像对应的样本目标图像获取目标网络模型。其中，该目标网络模型可以是机器学习模型。
比如说，由于目标数据集包括多个样本初始图像，每个样本初始图像对应有标签数据，因此，在得到每个样本初始图像对应的样本目标图像后，每个样本目标图像也对应有标签数据，这样，可以基于多个样本目标图像和每个样本目标图像对应的标签数据训练得到目标网络模型，对此训练过程不做限制。
步骤212、服务器将该目标网络模型发送给终端设备，以使终端设备基于该目标网络模型对输入图像进行处理，得到该输入图像的处理结果。
比如说，目标网络模型可以是用于实现分类任务的网络模型，终端设备可以基于目标网络模型实现分类任务。比如说，终端设备将输入图像输入给目标网络模型，由目标网络模型输出该输入图像的处理结果，该处理结果为分类结果，如分类结果表示输入图像中的目标对象的类别，如人、猫、狗、车等。
又例如，目标网络模型可以是用于实现检测任务的网络模型，终端设备可以基于目标网络模型实现检测任务。比如说，终端设备将输入图像输入给目标网络模型，由目标网络模型输出该输入图像的处理结果，该处理结果为检测结果，如检测结果表示输入图像中的目标对象的位置（即从图像中定位出目标对象的位置），且检测结果表示输入图像中的目标对象的特征。
在一种可能的实施方式中，终端设备可以为摄像机设备，摄像机设备采集目标场景的图像作为输入图像，将输入图像输入给目标网络模型得到输入图像的处理结果；其中，处理结果为输入图像的分类结果或检测结果。比如说，若目标网络模型用于实现分类任务，则摄像机设备可以基于目标网络模型对自身采集到图像进行分类，得到分类结果。若目标网络模型用于实现检测任务，则摄像机设备可以基于目标网络模型对自身采集到图像进行检测，得到检测结果。
在一种可能的实施方式中，终端设备可以为门禁设备，门禁设备采集目标场景的图像作为输入图像，将输入图像输入给目标网络模型得到输入图像的处理结果；其中，处理结果为输入图像的检测结果。比如说，若目标网络模型用于实现检测任务，则门禁设备可以基于目标网络模型对自身采集到图像进行检测，得到检测结果。比如说，检测结果表示输入图像中的目标对象的位置（即从图像中定位出目标对象的位置），且检测结果表示输入图像中的目标对象的特征，门禁设备基于目标对象的特征确定是否允许目标对象进入。
由以上技术方案可见，本申请实施例中，样本初始图像包括m个图像块，而样本初始图像对应的样本目标图像包括n个图像块，且n个图像块是m个图像块中的部分图像块，这样，在利用样本目标图像训练得到目标网络模型，将目标网络模型发送给终端设备之后，即使攻击者对目标网络模型进行攻击，也只能推导出样本初始图像的部分图像块，而无法推导出样本初始图像中的敏感信息或者隐私信息，从而对样本初始图像中的敏感信息或者隐私信息进行安全保护，减少敏感信息或者隐私信息泄露的风险，提高样本初始图像的安全性。
目标数据集包括原始数据集中的部分样本初始图像，这样，在利用目标数据集训练得到目标网络模型，将目标网络模型发送给终端设备之后，即使攻击者对目标网络模型进行攻击，也只能推导出原始数据集中的部分样本初始图像，而无法推导出原始数据集中的敏感信息或者隐私信息，从而对原始数据集中的敏感信息或者隐私信息进行安全保护，减少敏感信息或者隐私信息泄露的风险。
能够有效防御原始数据集的隐私攻击，在不影响模型精度的情况下，加快模型收敛速度，提升模型鲁棒性。其中，原始数据集可以是用于实现图像分类的数据集，如FMNIST、CIFAR-10、UTKFace和 CelebA等数据集，这些数据集包含不同类型的对象，涵盖不同的任务。其中，目标网络模型可以是任意机器学习模型，如CNN（3 个卷积层和 2 个全连接层）模型、AlexNet模型、ResNet18模型、VGG19模型和wide ResNet w32-10模型等。
使用最小信息训练的模型具有如下优点：1、隐私保护性能提升，隐私攻击准确性降低了20%-40%，针对成员推理、属性推理、模型逆向等攻击方式来说，采用上述方式时，隐私攻击准确性明显更低。2、模型精度下降较少，如模型精度下降在5%以内。3、训练加速，节省3-10倍的训练时间，模型训练过程在收敛轮数和每轮耗时均显著降低。4、提高模型鲁棒安全性，抵御对抗样本攻击，面对不同强度下的鲁棒对抗样本攻击时，防御成功率显著提高。
本申请实施例中提出一种机器学习模型训练数据集隐私保护方法，该方法可以应用于服务器，参见图3所示，该方法可以包括：
步骤301、获取目标数据集，该目标数据集包括多个样本初始文本。
步骤302、针对每个样本初始文本，基于该样本初始文本获取m个文本特征块，m可以为大于1的正整数，基于m个文本特征块生成多个变体文本，针对每个变体文本，该变体文本可以包括m个文本特征块中的部分文本特征块。
步骤303、基于多个变体文本获取该样本初始文本对应的解释模型，并基于该解释模型确定m个文本特征块分别对应的权重值。基于m个文本特征块分别对应的权重值，选取权重值大的n个文本特征块，并生成该样本初始文本对应的样本目标文本，该样本目标文本包括n个文本特征块，n可以小于m。
步骤304、基于目标数据集中每个样本初始文本对应的样本目标文本获取目标网络模型，并将该目标网络模型发送给终端设备，以使终端设备基于该目标网络模型对输入文本进行处理，得到该输入文本的处理结果。
示例性的，基于多个变体文本获取该样本初始文本对应的解释模型，可以包括但不限于：基于该目标数据集训练得到初始网络模型；针对该样本初始文本对应的每个变体文本，将该变体文本输入给该初始网络模型得到该变体文本对应的标签数据。然后，构建该样本初始文本对应的子数据集，该子数据集可以包括该样本初始文本对应的多个变体文本和每个变体文本对应的标签数据；基于该子数据集训练得到该样本初始文本对应的解释模型。
示例性的，基于m个文本特征块生成多个变体文本，可以包括但不限于：从该样本初始文本的m个文本特征块中随机选取k1个文本特征块，且k1小于m；保持k1个文本特征块的像素值不变，并采用固定值对样本初始文本中除k1个文本特征块之外的剩余文本特征块进行填充，得到一个变体文本。或者，从该样本初始文本的m个文本特征块中随机选取k2个文本特征块，且k2小于m；采用固定值对k2个文本特征块进行填充，并保持样本初始文本中除k2个文本特征块之外的剩余文本特征块的像素值不变，得到一个变体文本。
示例性的，该解释模型可以包括但不限于已训练逻辑回归模型，基于多个变体文本获取该样本初始文本对应的解释模型，并基于该解释模型确定m个文本特征块分别对应的权重值，可以包括但不限于：将多个变体文本输入给待训练逻辑回归模型，得到每个变体文本对应的预测数据；其中，该待训练逻辑回归模型可以采用特征参数*权重参数+偏置参数的网络结构，且该变体文本的多个文本特征块对应特征参数。基于每个变体文本对应的预测数据和每个变体文本对应的标签数据，对该待训练逻辑回归模型的权重参数和偏置参数进行调整，得到调整后模型。基于此，若该调整后模型未收敛，则将该调整后模型作为待训练逻辑回归模型，并返回执行将多个变体文本输入给待训练逻辑回归模型的操作；若该调整后模型已收敛，则将该调整后模型作为已训练逻辑回归模型；基于已训练逻辑回归模型中的权重参数确定m个文本特征块分别对应的权重值。
示例性的，获取目标数据集，可以包括但不限于：将已获取的原始数据集确定为目标数据集，该原始数据集包括多个样本初始文本。或者，基于原始数据集生成多个样本组，每个样本组包括两个样本初始文本；基于每个样本组对应的互信息量，从所有样本组中选取互信息量小的P个样本组，将P个样本组中的样本初始文本添加到候选数据集。从候选数据集中移除第一条件信息量最小的样本初始文本，并将候选数据集之外的第二条件信息量最大的样本初始文本添加到候选数据集。若候选数据集对应的联合信息量不大于上一次候选数据集对应的联合信息量，则将候选数据集作为目标数据集；否则，返回执行从候选数据集中移除第一条件信息量最小的样本初始文本的操作。
基于文本的处理过程与基于图像的处理过程类似，在此不再重复赘述。
由以上技术方案可见，样本初始文本包括m个文本特征块，而样本初始文本对应的样本目标文本包括n个文本特征块，且n个文本特征块是m个文本特征块中的部分文本特征块，这样，在利用样本目标文本训练得到目标网络模型，将目标网络模型发送给终端设备之后，即使攻击者对目标网络模型进行攻击，也只能推导出样本初始文本的部分文本特征块，而无法推导出样本初始文本中的敏感信息或者隐私信息，对样本初始文本中的敏感信息或者隐私信息进行安全保护，减少敏感信息或者隐私信息泄露的风险，提高样本初始文本的安全性。
基于与上述方法同样的申请构思，本申请实施例中提出一种机器学习模型训练数据集隐私保护装置，参见图4所示，所述装置可以包括：
获取模块41，用于获取目标数据集，目标数据集包括多个样本初始图像；
处理模块42，用于针对每个样本初始图像，将所述样本初始图像分割成m个图像块，基于m个图像块生成多个变体图像，每个变体图像包括m个图像块中的部分图像块；基于所述多个变体图像获取所述样本初始图像对应的解释模型，基于所述解释模型确定所述m个图像块分别对应的权重值；基于所述m个图像块分别对应的权重值选取权重值大的n个图像块，生成所述样本初始图像对应的样本目标图像，所述样本目标图像包括所述n个图像块，n小于m；
发送模块43，用于基于所述目标数据集中每个样本初始图像对应的样本目标图像获取目标网络模型，将所述目标网络模型发送给终端设备，以使终端设备基于所述目标网络模型对输入图像进行处理，得到所述输入图像的处理结果。
示例性的，所述处理模块42基于所述多个变体图像获取所述样本初始图像对应的解释模型时具体用于：基于所述目标数据集训练得到初始网络模型；针对所述样本初始图像对应的每个变体图像，将变体图像输入给所述初始网络模型得到所述变体图像对应的标签数据；构建所述样本初始图像对应的子数据集，所述子数据集包括所述样本初始图像对应的多个变体图像和每个变体图像对应的标签数据；基于所述子数据集训练得到所述样本初始图像对应的解释模型。
示例性的，所述m个图像块中的不同图像块的尺寸相同或不同，所述处理模块42基于m个图像块生成多个变体图像时具体用于：从样本初始图像的m个图像块中随机选取k1个图像块，k1小于m；保持k1个图像块的像素值不变，采用固定值对所述样本初始图像中除所述k1个图像块之外的剩余图像块进行填充，得到一个变体图像；或，从样本初始图像的m个图像块中随机选取k2个图像块，k2小于m；采用固定值对所述k2个图像块进行填充，保持所述样本初始图像中除所述k2个图像块之外的剩余图像块的像素值不变，得到一个变体图像。
示例性的，所述解释模型包括已训练逻辑回归模型，所述处理模块42基于所述多个变体图像获取所述样本初始图像对应的解释模型，基于所述解释模型确定所述m个图像块分别对应的权重值时具体用于：将所述多个变体图像输入给待训练逻辑回归模型，得到每个变体图像对应的预测数据；其中，所述待训练逻辑回归模型采用特征参数*权重参数+偏置参数的网络结构，所述变体图像的多个图像块对应所述特征参数；基于每个变体图像对应的预测数据和每个变体图像对应的标签数据对待训练逻辑回归模型的权重参数和偏置参数进行调整，得到调整后模型；若所述调整后模型未收敛，则将所述调整后模型作为待训练逻辑回归模型，返回执行将所述多个变体图像输入给待训练逻辑回归模型的操作；若所述调整后模型已收敛，则将所述调整后模型作为已训练逻辑回归模型；基于已训练逻辑回归模型中的权重参数确定所述m个图像块分别对应的权重值。
示例性的，所述获取模块41获取目标数据集时具体用于：将已获取的原始数据集确定为所述目标数据集，所述原始数据集包括多个样本初始图像；或者，
基于所述原始数据集生成多个样本组，每个样本组包括两个样本初始图像；基于每个样本组对应的互信息量，从所有样本组中选取互信息量小的P个样本组，所述P为正整数，将所述P个样本组中的样本初始图像添加到候选数据集；从所述候选数据集中移除第一条件信息量最小的样本初始图像，并将所述候选数据集之外的第二条件信息量最大的样本初始图像添加到所述候选数据集；若所述候选数据集对应的联合信息量不大于上一次候选数据集对应的联合信息量，则将所述候选数据集作为所述目标数据集；否则，返回执行从所述候选数据集中移除第一条件信息量最小的样本初始图像的操作。
示例性的，所述获取模块41采用如下公式确定所述候选数据集对应的联合信息量：；
其中，S’表示所述候选数据集，H(S’)表示所述候选数据集对应的联合信息量，X1，…，Xn表示所述候选数据集中的样本初始图像，x1，…，xn表示样本初始图像中像素位置的像素值，P(x1，…，xn)表示不同样本初始图像X1，…，Xn在同一像素位置上的像素值x1，…，xn出现的联合概率值。
示例性的，所述获取模块41采用如下公式确定样本初始图像对应的第一条件信息量：；
其中，S’表示候选数据集，X表示候选数据集中的任一样本初始图像，H(X|S’)表示样本初始图像X对应的第一条件信息量，Z表示候选数据集中除样本初始图像X之外的任一样本初始图像，n表示候选数据集中的样本初始图像总数量，P(x，z)表示样本初始图像X和样本初始图像Z在同一像素位置上的像素值x和像素值z出现的联合概率值，P(z)表示样本初始图像Z中的像素值z出现的比例。
示例性的，所述获取模块41采用如下公式确定样本初始图像对应的第二条件信息量：；
其中，S’表示候选数据集，Y表示候选数据集外的任一样本初始图像，H(Y|S’)表示样本初始图像Y对应的第二条件信息量，Z表示候选数据集中除样本初始图像X之外的任一样本初始图像，n表示候选数据集中的样本初始图像总数量，P(y，z)表示样本初始图像Y和样本初始图像Z在同一像素位置上的像素值y和像素值z出现的联合概率值，P(z)表示样本初始图像Z中的像素值z出现的比例。
示例性的，若所述终端设备为摄像机设备，所述摄像机设备采集目标场景的图像作为输入图像，将所述输入图像输入给所述目标网络模型得到所述输入图像的处理结果；其中，所述处理结果为所述输入图像的分类结果或检测结果。
示例性的，若所述终端设备为门禁设备，所述门禁设备采集目标场景的图像作为输入图像，将所述输入图像输入给所述目标网络模型得到所述输入图像的处理结果；其中，所述处理结果为所述输入图像的检测结果。
基于与上述方法同样的申请构思，本申请实施例中提出一种机器学习模型训练数据集隐私保护装置，所述装置可以包括：
获取模块，用于获取目标数据集，所述目标数据集包括多个样本初始文本；
处理模块，用于针对每个样本初始文本，基于所述样本初始文本获取m个文本特征块，所述m为大于1的正整数，基于所述m个文本特征块生成多个变体文本，每个变体文本包括所述m个文本特征块中的部分文本特征块；基于所述多个变体文本获取所述样本初始文本对应的解释模型，基于所述解释模型确定所述m个文本特征块分别对应的权重值；基于所述m个文本特征块分别对应的权重值选取权重值大的n个文本特征块，并生成所述样本初始文本对应的样本目标文本，所述样本目标文本包括所述n个文本特征块，n小于m；
发送模块，用于基于所述目标数据集中每个样本初始文本对应的样本目标文本获取目标网络模型，将所述目标网络模型发送给终端设备，以使终端设备基于所述目标网络模型对输入文本进行处理，得到所述输入文本的处理结果。
示例性的，所述处理模块基于所述多个变体文本获取所述样本初始文本对应的解释模型时具体用于：基于所述目标数据集训练得到初始网络模型；针对所述样本初始文本对应的每个变体文本，将该变体文本输入给所述初始网络模型得到该变体文本对应的标签数据；构建所述样本初始文本对应的子数据集，所述子数据集包括该样本初始文本对应的多个变体文本和每个变体文本对应的标签数据；基于所述子数据集训练得到该样本初始文本对应的解释模型。
示例性的，所述处理模块基于所述m个文本特征块生成多个变体文本时具体用于：从所述样本初始文本的m个文本特征块中随机选取k1个文本特征块，且k1小于m；保持k1个文本特征块的像素值不变，并采用固定值对样本初始文本中除k1个文本特征块之外的剩余文本特征块进行填充，得到一个变体文本；或者，从该样本初始文本的m个文本特征块中随机选取k2个文本特征块，且k2小于m；采用固定值对k2个文本特征块进行填充，并保持样本初始文本中除k2个文本特征块之外的剩余文本特征块的像素值不变，得到一个变体文本。
示例性的，该解释模型可以包括已训练逻辑回归模型，所述处理模块基于多个变体文本获取该样本初始文本对应的解释模型，并基于该解释模型确定m个文本特征块分别对应的权重值时具体用于：将多个变体文本输入给待训练逻辑回归模型，得到每个变体文本对应的预测数据；其中，该待训练逻辑回归模型可以采用特征参数*权重参数+偏置参数的网络结构，且该变体文本的多个文本特征块对应特征参数；基于每个变体文本对应的预测数据和每个变体文本对应的标签数据，对该待训练逻辑回归模型的权重参数和偏置参数进行调整，得到调整后模型；若该调整后模型未收敛，则将该调整后模型作为待训练逻辑回归模型，并返回执行将多个变体文本输入给待训练逻辑回归模型的操作；若该调整后模型已收敛，则将该调整后模型作为已训练逻辑回归模型；基于已训练逻辑回归模型中的权重参数确定m个文本特征块分别对应的权重值。
示例性的，所述获取模块获取目标数据集时具体用于：将已获取的原始数据集确定为目标数据集，该原始数据集包括多个样本初始文本。或者，基于原始数据集生成多个样本组，每个样本组包括两个样本初始文本；基于每个样本组对应的互信息量，从所有样本组中选取互信息量小的P个样本组，将P个样本组中的样本初始文本添加到候选数据集。从候选数据集中移除第一条件信息量最小的样本初始文本，并将候选数据集之外的第二条件信息量最大的样本初始文本添加到候选数据集。若候选数据集对应的联合信息量不大于上一次候选数据集对应的联合信息量，则将候选数据集作为目标数据集；否则，返回执行从候选数据集中移除第一条件信息量最小的样本初始文本的操作。
基于与上述方法同样的申请构思，本申请实施例提出一种电子设备（如服务器），参见图5所示，包括处理器51和机器可读存储介质52，机器可读存储介质52存储有能够被处理器51执行的机器可执行指令；处理器51用于执行机器可执行指令，以实现上述机器学习模型训练数据集隐私保护方法。
基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，机器可读存储介质上存储有若干计算机指令，计算机指令被处理器执行时，能够实现上述示例的机器学习模型训练数据集隐私保护方法。
其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM（Radom Access Memory，随机存取存储器）、易失存储器、非易失性存储器、闪存、存储驱动器（如硬盘驱动器）、固态硬盘、任何类型的存储盘（如光盘、dvd等），或者类似的存储介质，或者它们的组合。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (12)
1.一种机器学习模型训练数据集隐私保护方法，其特征在于，包括：
获取目标数据集，所述目标数据集包括多个样本初始图像；
针对每个样本初始图像，将所述样本初始图像分割成m个图像块，基于m个图像块生成多个变体图像，每个变体图像包括m个图像块中的部分图像块；
基于所述多个变体图像获取所述样本初始图像对应的解释模型，基于所述解释模型确定所述m个图像块分别对应的权重值；基于所述m个图像块分别对应的权重值选取权重值大的n个图像块，并生成所述样本初始图像对应的样本目标图像，所述样本目标图像包括所述n个图像块，n小于m；其中，所述解释模型包括m个图像块对应的m个权重参数，所述m个权重参数与所述m个图像块一一对应；基于所述解释模型确定所述m个图像块分别对应的权重值包括：基于所述解释模型的m个权重参数确定所述m个图像块分别对应的权重值；
基于所述目标数据集中每个样本初始图像对应的样本目标图像获取目标网络模型，将所述目标网络模型发送给终端设备，以使所述终端设备基于所述目标网络模型对输入图像进行处理，得到所述输入图像的处理结果。
2.根据权利要求1所述的方法，其特征在于，
所述基于所述多个变体图像获取所述样本初始图像对应的解释模型，包括：
基于所述目标数据集训练得到初始网络模型；
针对所述样本初始图像对应的每个变体图像，将所述变体图像输入给所述初始网络模型得到所述变体图像对应的标签数据；
构建所述样本初始图像对应的子数据集，所述子数据集包括所述样本初始图像对应的多个变体图像和每个变体图像对应的标签数据；
基于所述子数据集训练得到所述样本初始图像对应的解释模型。
3.根据权利要求1所述的方法，其特征在于，所述m个图像块中的不同图像块的尺寸相同或不同，所述基于m个图像块生成多个变体图像，包括：
从所述样本初始图像的m个图像块中随机选取k1个图像块，k1小于m；保持所述k1个图像块的像素值不变，并采用固定值对所述样本初始图像中除所述k1个图像块之外的剩余图像块进行填充，得到一个变体图像；或者，
从所述样本初始图像的m个图像块中随机选取k2个图像块，k2小于m；采用固定值对所述k2个图像块进行填充，并保持所述样本初始图像中除所述k2个图像块之外的剩余图像块的像素值不变，得到一个变体图像。
4.根据权利要求1所述的方法，其特征在于，所述解释模型包括已训练逻辑回归模型，所述基于所述多个变体图像获取所述样本初始图像对应的解释模型，基于所述解释模型确定所述m个图像块分别对应的权重值，包括：
将所述多个变体图像输入给待训练逻辑回归模型，得到每个变体图像对应的预测数据；其中，所述待训练逻辑回归模型采用特征参数*权重参数+偏置参数的网络结构，所述变体图像的多个图像块对应所述特征参数；
基于每个变体图像对应的预测数据和每个变体图像对应的标签数据对所述待训练逻辑回归模型的权重参数和偏置参数进行调整，得到调整后模型；
若所述调整后模型未收敛，则将所述调整后模型作为待训练逻辑回归模型，并返回执行将所述多个变体图像输入给待训练逻辑回归模型的操作；
若所述调整后模型已收敛，则将所述调整后模型作为已训练逻辑回归模型；基于已训练逻辑回归模型中的权重参数确定所述m个图像块分别对应的权重值。
5.根据权利要求1-4任一项所述的方法，其特征在于，
所述获取目标数据集，包括：将已获取的原始数据集确定为所述目标数据集，所述原始数据集包括多个样本初始图像；或者，
基于原始数据集生成多个样本组，每个样本组包括两个样本初始图像；
基于每个样本组对应的互信息量，从所有样本组中选取互信息量小的P个样本组，将所述P个样本组中的样本初始图像添加到候选数据集；
从所述候选数据集中移除第一条件信息量最小的样本初始图像，将所述候选数据集之外的第二条件信息量最大的样本初始图像添加到所述候选数据集；
若所述候选数据集对应的联合信息量不大于上一次候选数据集对应的联合信息量，则将所述候选数据集作为所述目标数据集；否则，返回执行从所述候选数据集中移除第一条件信息量最小的样本初始图像的操作。
6.根据权利要求5所述的方法，其特征在于，
其中，采用如下公式确定所述候选数据集对应的联合信息量：
；
其中，S’表示所述候选数据集，H(S’)表示所述候选数据集对应的联合信息量，X1，…，Xn表示所述候选数据集中的样本初始图像，x1，…，xn表示样本初始图像中像素位置的像素值，P(x1，…，xn)表示不同样本初始图像X1，…，Xn在同一像素位置上的像素值x1，…，xn出现的联合概率值；
其中，采用如下公式确定样本初始图像对应的第一条件信息量：
；
其中，S’表示候选数据集，X表示候选数据集中的任一样本初始图像，H(X|S’)表示样本初始图像X对应的第一条件信息量，Z表示候选数据集中除样本初始图像X之外的任一样本初始图像，n表示候选数据集中的样本初始图像总数量，P(x，z)表示样本初始图像X和样本初始图像Z在同一像素位置上的像素值x和像素值z出现的联合概率值，P(z)表示样本初始图像Z中的像素值z出现的比例；
其中，采用如下公式确定样本初始图像对应的第二条件信息量：
；
其中，S’表示候选数据集，Y表示候选数据集外的任一样本初始图像，H(Y|S’)表示样本初始图像Y对应的第二条件信息量，Z表示候选数据集中除样本初始图像X之外的任一样本初始图像，n表示候选数据集中的样本初始图像总数量，P(y，z)表示样本初始图像Y和样本初始图像Z在同一像素位置上的像素值y和像素值z出现的联合概率值，P(z)表示样本初始图像Z中的像素值z出现的比例。
7.根据权利要求1-4任一项所述的方法，其特征在于，
若所述终端设备为摄像机设备，所述摄像机设备采集目标场景的图像作为输入图像，将所述输入图像输入给所述目标网络模型得到所述输入图像的处理结果；其中，所述处理结果为所述输入图像的分类结果或检测结果；
或者，若所述终端设备为门禁设备，所述门禁设备采集目标场景的图像作为输入图像，将所述输入图像输入给所述目标网络模型得到所述输入图像的处理结果；其中，所述处理结果为所述输入图像的检测结果。
8.一种机器学习模型训练数据集隐私保护方法，其特征在于，包括：
获取目标数据集，所述目标数据集包括多个样本初始文本；
针对每个样本初始文本，基于所述样本初始文本获取m个文本特征块，所述m为大于1的正整数，基于所述m个文本特征块生成多个变体文本，每个变体文本包括所述m个文本特征块中的部分文本特征块；
基于所述多个变体文本获取所述样本初始文本对应的解释模型，基于所述解释模型确定所述m个文本特征块分别对应的权重值；基于所述m个文本特征块分别对应的权重值选取权重值大的n个文本特征块，并生成所述样本初始文本对应的样本目标文本，所述样本目标文本包括所述n个文本特征块，n小于m；其中，所述解释模型包括所述m个文本特征块对应的m个权重参数，所述m个权重参数与所述m个文本特征块一一对应；所述基于所述解释模型确定所述m个文本特征块分别对应的权重值，包括：基于所述解释模型的m个权重参数确定所述m个文本特征块分别对应的权重值；
基于所述目标数据集中每个样本初始文本对应的样本目标文本获取目标网络模型，将所述目标网络模型发送给终端设备，以使所述终端设备基于所述目标网络模型对输入文本进行处理，得到所述输入文本的处理结果。
9.一种机器学习模型训练数据集隐私保护装置，其特征在于，包括：
获取模块，用于获取目标数据集，所述目标数据集包括多个样本初始图像；
处理模块，用于针对每个样本初始图像，将所述样本初始图像分割成m个图像块，基于m个图像块生成多个变体图像，每个变体图像包括m个图像块中的部分图像块；基于所述多个变体图像获取所述样本初始图像对应的解释模型，基于所述解释模型确定所述m个图像块分别对应的权重值；基于所述m个图像块分别对应的权重值选取权重值大的n个图像块，生成所述样本初始图像对应的样本目标图像，所述样本目标图像包括所述n个图像块，n小于m；其中，所述解释模型包括m个图像块对应的m个权重参数，所述m个权重参数与所述m个图像块一一对应；所述处理模块基于所述解释模型确定所述m个图像块分别对应的权重值时具体用于：基于所述解释模型的m个权重参数确定所述m个图像块分别对应的权重值；
发送模块，用于基于所述目标数据集中每个样本初始图像对应的样本目标图像获取目标网络模型，将所述目标网络模型发送给终端设备，以使终端设备基于所述目标网络模型对输入图像进行处理，得到所述输入图像的处理结果。
10.根据权利要求9所述的装置，其特征在于，
其中，所述处理模块基于所述多个变体图像获取所述样本初始图像对应的解释模型时具体用于：基于所述目标数据集训练得到初始网络模型；针对所述样本初始图像对应的每个变体图像，将所述变体图像输入给所述初始网络模型得到所述变体图像对应的标签数据；构建所述样本初始图像对应的子数据集，所述子数据集包括所述样本初始图像对应的多个变体图像和每个变体图像对应的标签数据；基于所述子数据集训练得到所述样本初始图像对应的解释模型；
其中，所述m个图像块中的不同图像块的尺寸相同或不同，所述处理模块基于m个图像块生成多个变体图像时具体用于：从样本初始图像的m个图像块中随机选取k1个图像块，k1小于m；保持k1个图像块的像素值不变，采用固定值对所述样本初始图像中除所述k1个图像块之外的剩余图像块进行填充，得到一个变体图像；或者，从样本初始图像的m个图像块中随机选取k2个图像块，k2小于m；采用固定值对所述k2个图像块进行填充，并保持所述样本初始图像中除所述k2个图像块之外的剩余图像块的像素值不变，得到一个变体图像；
其中，所述解释模型包括已训练逻辑回归模型，所述处理模块基于所述多个变体图像获取所述样本初始图像对应的解释模型，基于所述解释模型确定所述m个图像块分别对应的权重值时具体用于：将所述多个变体图像输入给待训练逻辑回归模型，得到每个变体图像对应的预测数据；其中，所述待训练逻辑回归模型采用特征参数*权重参数+偏置参数的网络结构，所述变体图像的多个图像块对应所述特征参数；基于每个变体图像对应的预测数据和每个变体图像对应的标签数据对待训练逻辑回归模型的权重参数和偏置参数进行调整，得到调整后模型；若所述调整后模型未收敛，则将所述调整后模型作为待训练逻辑回归模型，并返回执行将所述多个变体图像输入给待训练逻辑回归模型的操作；若所述调整后模型已收敛，则将所述调整后模型作为已训练逻辑回归模型；基于已训练逻辑回归模型中的权重参数确定所述m个图像块分别对应的权重值；
其中，所述获取模块获取目标数据集时具体用于：将已获取的原始数据集确定为所述目标数据集，所述原始数据集包括多个样本初始图像；或者，
基于所述原始数据集生成多个样本组，每个样本组包括两个样本初始图像；基于每个样本组对应的互信息量，从所有样本组中选取互信息量小的P个样本组，所述P为正整数，将所述P个样本组中的样本初始图像添加到候选数据集；从所述候选数据集中移除第一条件信息量最小的样本初始图像，并将所述候选数据集之外的第二条件信息量最大的样本初始图像添加到所述候选数据集；若所述候选数据集对应的联合信息量不大于上一次候选数据集对应的联合信息量，则将所述候选数据集作为所述目标数据集；否则，返回执行从所述候选数据集中移除第一条件信息量最小的样本初始图像的操作；
其中，所述获取模块采用如下公式确定所述候选数据集对应的联合信息量：
；
其中，S’表示所述候选数据集，H(S’)表示所述候选数据集对应的联合信息量，X1，…，Xn表示所述候选数据集中的样本初始图像，x1，…，xn表示样本初始图像中像素位置的像素值，P(x1，…，xn)表示不同样本初始图像X1，…，Xn在同一像素位置上的像素值x1，…，xn出现的联合概率值；
所述获取模块采用如下公式确定样本初始图像对应的第一条件信息量：
；
其中，S’表示候选数据集，X表示候选数据集中的任一样本初始图像，H(X|S’)表示样本初始图像X对应的第一条件信息量，Z表示候选数据集中除样本初始图像X之外的任一样本初始图像，n表示候选数据集中的样本初始图像总数量，P(x，z)表示样本初始图像X和样本初始图像Z在同一像素位置上的像素值x和像素值z出现的联合概率值，P(z)表示样本初始图像Z中的像素值z出现的比例；
所述获取模块采用如下公式确定样本初始图像对应的第二条件信息量：
；
其中，S’表示候选数据集，Y表示候选数据集外的任一样本初始图像，H(Y|S’)表示样本初始图像Y对应的第二条件信息量，Z表示候选数据集中除样本初始图像X之外的任一样本初始图像，n表示候选数据集中的样本初始图像总数量，P(y，z)表示样本初始图像Y和样本初始图像Z在同一像素位置上的像素值y和像素值z出现的联合概率值，P(z)表示样本初始图像Z中的像素值z出现的比例；
其中，若所述终端设备为摄像机设备，所述摄像机设备采集目标场景的图像作为输入图像，将所述输入图像输入给所述目标网络模型得到所述输入图像的处理结果；其中，所述处理结果为所述输入图像的分类结果或检测结果；
或者，若所述终端设备为门禁设备，所述门禁设备采集目标场景的图像作为输入图像，将所述输入图像输入给所述目标网络模型得到所述输入图像的处理结果；其中，所述处理结果为所述输入图像的检测结果。
11.一种机器学习模型训练数据集隐私保护装置，其特征在于，包括：
获取模块，用于获取目标数据集，所述目标数据集包括多个样本初始文本；
处理模块，用于针对每个样本初始文本，基于所述样本初始文本获取m个文本特征块，所述m为大于1的正整数，基于所述m个文本特征块生成多个变体文本，每个变体文本包括所述m个文本特征块中的部分文本特征块；基于所述多个变体文本获取所述样本初始文本对应的解释模型，基于所述解释模型确定所述m个文本特征块分别对应的权重值；基于所述m个文本特征块分别对应的权重值选取权重值大的n个文本特征块，并生成所述样本初始文本对应的样本目标文本，所述样本目标文本包括所述n个文本特征块，n小于m；其中，所述解释模型包括所述m个文本特征块对应的m个权重参数，所述m个权重参数与所述m个文本特征块一一对应；所述处理模块基于所述解释模型确定所述m个文本特征块分别对应的权重值时具体用于：基于所述解释模型的m个权重参数确定所述m个文本特征块分别对应的权重值；
发送模块，用于基于所述目标数据集中每个样本初始文本对应的样本目标文本获取目标网络模型，将所述目标网络模型发送给终端设备，以使终端设备基于所述目标网络模型对输入文本进行处理，得到所述输入文本的处理结果。
12.一种电子设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现权利要求1-8任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311084964.4A CN116821966B (zh) | 2023-08-25 | 2023-08-25 | 机器学习模型训练数据集隐私保护方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311084964.4A CN116821966B (zh) | 2023-08-25 | 2023-08-25 | 机器学习模型训练数据集隐私保护方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116821966A CN116821966A (zh) | 2023-09-29 |
| CN116821966B true CN116821966B (zh) | 2023-12-19 |
Family
ID=88139551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311084964.4A Active CN116821966B (zh) | 2023-08-25 | 2023-08-25 | 机器学习模型训练数据集隐私保护方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116821966B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860573A (zh) * | 2020-06-04 | 2020-10-30 | 北京迈格威科技有限公司 | 模型训练方法、图像类别检测方法、装置和电子设备 |
| CN113313215A (zh) * | 2021-07-30 | 2021-08-27 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、计算机设备和存储介质 |
| CN114969316A (zh) * | 2021-02-24 | 2022-08-30 | 腾讯科技（深圳）有限公司 | 一种文本数据处理方法、装置、设备以及介质 |
| CN115471671A (zh) * | 2022-08-16 | 2022-12-13 | 浙江大华技术股份有限公司 | 一种网络模型的训练方法、目标识别方法及相关设备 |
| WO2023029356A1 (zh) * | 2021-08-31 | 2023-03-09 | 平安科技（深圳）有限公司 | 基于句向量模型的句向量生成方法、装置及计算机设备 |
| CN115937071A (zh) * | 2022-05-13 | 2023-04-07 | 青岛海信电子技术服务有限公司 | 一种图像检测方法、装置、设备及介质 |
| CN116561787A (zh) * | 2023-07-04 | 2023-08-08 | 北京数牍科技有限公司 | 视觉图像分类模型的训练方法、装置及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780292B (zh) * | 2021-08-31 | 2022-05-06 | 北京交通大学 | 一种基于证据推理的语义分割网络模型不确定性量化方法 |
-
2023
- 2023-08-25 CN CN202311084964.4A patent/CN116821966B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860573A (zh) * | 2020-06-04 | 2020-10-30 | 北京迈格威科技有限公司 | 模型训练方法、图像类别检测方法、装置和电子设备 |
| CN114969316A (zh) * | 2021-02-24 | 2022-08-30 | 腾讯科技（深圳）有限公司 | 一种文本数据处理方法、装置、设备以及介质 |
| CN113313215A (zh) * | 2021-07-30 | 2021-08-27 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、计算机设备和存储介质 |
| WO2023029356A1 (zh) * | 2021-08-31 | 2023-03-09 | 平安科技（深圳）有限公司 | 基于句向量模型的句向量生成方法、装置及计算机设备 |
| CN115937071A (zh) * | 2022-05-13 | 2023-04-07 | 青岛海信电子技术服务有限公司 | 一种图像检测方法、装置、设备及介质 |
| CN115471671A (zh) * | 2022-08-16 | 2022-12-13 | 浙江大华技术股份有限公司 | 一种网络模型的训练方法、目标识别方法及相关设备 |
| CN116561787A (zh) * | 2023-07-04 | 2023-08-08 | 北京数牍科技有限公司 | 视觉图像分类模型的训练方法、装置及电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| Machine Learning for Microcontroller -class Hardware :A Review;Swapnil Sayan Saha;《IEEE Sensors Journal》;全文 * |
| 基于卷积神经网络的SAR图像目标检测算法;杜兰;刘彬;王燕;刘宏伟;代慧;;电子与信息学报(第12期);全文 * |
| 基于横向联邦学习的医疗图像分类方法研究;罗丹妮;《硕士电子期刊》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116821966A (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jia et al. | Badencoder: Backdoor attacks to pre-trained encoders in self-supervised learning | |
| Rouhani et al. | Deepsigns: A generic watermarking framework for ip protection of deep learning models | |
| Hong et al. | Handcrafted backdoors in deep neural networks | |
| CN111886059A (zh) | 自动减少在在线游戏环境中使用欺骗软件 | |
| KR102304661B1 (ko) | 견고한 적대적 방어를 위한 공격 기술에 독립적인 적대적 훈련 방법 | |
| CN107277065B (zh) | 基于强化学习的检测高级持续威胁的资源调度方法 | |
| Chen et al. | Backdoor attacks and defenses for deep neural networks in outsourced cloud environments | |
| CN111783713A (zh) | 基于关系原型网络的弱监督时序行为定位方法及装置 | |
| EP4288167A1 (en) | System and method for evaluating defensive performance using graph convolutional network | |
| Shaik et al. | Exploring the landscape of machine unlearning: A survey and taxonomy | |
| CN111046957B (zh) | 一种模型盗用的检测、模型的训练方法和装置 | |
| Chun | Improved probabilistic image-text representations | |
| Cappelli et al. | Adversarial robustness by design through analog computing and synthetic gradients | |
| Tran et al. | One-shot learning approach for unknown malware classification | |
| CN116821966B (zh) | 机器学习模型训练数据集隐私保护方法、装置及设备 | |
| CN115758337A (zh) | 基于时序图卷积网络的后门实时监测方法、电子设备、介质 | |
| WO2022018867A1 (en) | Inference apparatus, inference method and computer-readable storage medium | |
| CN113868671B (zh) | 数据处理方法、神经网络模型的后门防御方法及装置 | |
| CN112686300B (zh) | 一种数据处理方法、装置及设备 | |
| Vdovjak et al. | Modern CNNs Comparison for Fire Detection in RGB Images | |
| Gu et al. | Exploring Non-additive Randomness on ViT against Query-Based Black-Box Attacks | |
| Amrith et al. | An early malware threat detection model using Conditional Tabular Generative Adversarial Network | |
| Chen et al. | Reconstructing actions to explain deep reinforcement learning | |
| CN109598267A (zh) | 图像数据防泄漏方法、装置及设备 | |
| CN117390685B (zh) | 一种基于遗忘学习的行人重识别数据隐私保护方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |