CN112561076A - 模型处理方法和装置 - Google Patents
模型处理方法和装置 Download PDFInfo
- Publication number
- CN112561076A CN112561076A CN202011432596.4A CN202011432596A CN112561076A CN 112561076 A CN112561076 A CN 112561076A CN 202011432596 A CN202011432596 A CN 202011432596A CN 112561076 A CN112561076 A CN 112561076A
- Authority
- CN
- China
- Prior art keywords
- model
- training
- data
- target
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 213
- 238000000034 method Methods 0.000 claims abstract description 88
- 238000012545 processing Methods 0.000 claims description 71
- 238000001914 filtration Methods 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 31
- 238000009826 distribution Methods 0.000 claims description 28
- 238000013145 classification model Methods 0.000 claims description 23
- 230000003416 augmentation Effects 0.000 claims description 11
- 230000003321 amplification Effects 0.000 claims description 10
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 10
- 238000013501 data transformation Methods 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 238000013434 data augmentation Methods 0.000 claims description 4
- 238000004821 distillation Methods 0.000 description 17
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008261 resistance mechanism Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/12—Protecting executable software
- G06F21/14—Protecting executable software against software analysis or reverse engineering, e.g. by obfuscation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本说明书实施例提供了一种模型处理方法和装置。根据该实施例的方法，首先利用训练数据对第一模型进行第一训练，直至达到第一训练目标。然后在第一训练得到的第一模型的基础上，结合第二模型对第一模型进行第二训练，直至达到第二训练目标；其中，第二训练包括：将训练数据中第一模型的输入数据同时输入第二模型，利用第一模型和第二模型的输出数据的差异程度更新第一模型的参数；第二训练目标包括：最大化所述差异程度。最后利用所述第二训练得到的第一模型，获得目标模型。
Description
技术领域
本说明书一个或多个实施例涉及人工智能技术领域，尤其涉及针对人工智能系统的模型处理方法和装置。
背景技术
随着人工智能(Artificial Intelligence，AI)技术的快速发展，越来越多的人工智能系统步入人们的生产生活，包括人脸识别系统、自动零件缺陷检测系统、辅助驾驶系统等等。
人工智能系统的核心一般是机器学习模型或深度学习模型。一旦核心模型被窃取，整个系统的安全将受到巨大威胁。因此急需可靠的方法来防止模型被窃取，从而实现模型的隐私保护。
发明内容
本说明书一个或多个实施例描述了一种模型处理方法和装置，能够有效地防止模型被窃取，实现模型的隐私保护。
根据第一方面，提供了一种模型处理方法，该方法包括：
利用训练数据对第一模型进行第一训练，直至达到第一训练目标；
在所述第一训练得到的第一模型的基础上，结合第二模型对所述第一模型进行第二训练，直至达到第二训练目标；
利用所述第二训练得到的第一模型，获得目标模型；
其中，所述第二训练包括：将所述训练数据中第一模型的输入数据同时输入第二模型，利用所述第一模型和所述第二模型的输出数据的差异程度更新所述第一模型的参数；所述第二训练目标包括：最大化所述差异程度。
在一个实施例中，所述第一训练目标包括：最小化根据目标模型的任务设置的第一损失函数；
所述第二训练目标进一步包括：最小化所述第一损失函数。
在另一个实施例中，在所述利用训练数据对第一模型进行第一训练之前，该方法还包括：对所述训练数据进行增广处理后，将处理得到的增广数据添加入所述训练数据。
在一个实施例中，所述增广处理包括数据变换处理、数据组合处理和数据滤波处理中的至少一种。
在另一个实施例中，所述数据滤波处理包括：
采用预先训练得到的滤波处理模型进行滤波处理，滤波的目标是使得滤波后的数据在预先训练得到的分类模型上的性能在预设范围内波动。
在一个实施例中，利用所述第二训练得到的第一模型，获得目标模型包括：
对所述第二训练得到的第一模型的输出进行随机化处理；
利用所述随机化处理后得到的第一模型，获得目标模型。
在另一个实施例中，对所述第二训练得到的第一模型的输出进行随机化处理包括：
在所述第二训练得到的第一模型的输出上叠加随机分布；
若叠加随机分布后的输出不符合所述训练数据中的标签，则更换叠加的随机分布，直至叠加随机分布后的输出仍符合所述训练数据中的标签。
在一个实施例中，该方法还包括以下至少一种：
对所述目标模型进行文件加密处理；
对所述目标模型进行程序混淆处理。
在另一个实施例中，所述训练数据包括：人脸图像样本以及对人脸图像样本标注的用户标签；
所述第一模型为多分类模型；
所述第一训练目标包括：所述第一模型的目标输出为与输入的人脸图像样本对应的用户标签；
所述目标模型为人脸识别模型。
根据第二方面，提供一种模型处理装置，包括：
第一训练单元，被配置为利用训练数据对第一模型进行第一训练，直至达到第一训练目标；
第二训练单元，被配置为在所述第一训练得到的第一模型的基础上，结合第二模型对所述第一模型进行第二训练，直至达到第二训练目标；其中，所述第二训练包括：将所述训练数据中第一模型的输入数据同时输入第二模型，利用所述第一模型和所述第二模型的输出数据的差异程度更新所述第一模型的参数；所述第二训练目标包括：最大化所述差异程度；
模型获得单元，被配置为利用所述第二训练得到的第一模型，获得目标模型。
在一个实施例中，所述第一训练目标包括：最小化根据目标模型的任务设置的第一损失函数；
所述第二训练目标进一步包括：最小化所述第一损失函数。
在另一个实施例中，该装置还包括：
数据增广单元，被配置为对所述训练数据进行增广处理后，将处理得到的增广数据添加入所述训练数据。
在一个实施例中，所述数据增广单元执行的增广处理包括数据变换处理、数据组合处理和数据滤波处理中的至少一种。
在另一个实施例中，所述数据增广单元在执行所述数据滤波处理时，被配置为：采用预先训练得到的滤波处理模型进行滤波处理，滤波的目标是使得滤波后的数据在预先训练得到的分类模型上的性能在预设范围内波动。
在一个实施例中，所述模型获得单元，被具体配置为对所述第二训练得到的第一模型的输出进行随机化处理；利用所述随机化处理后得到的第一模型，获得目标模型。
在另一个实施例中，所述模型获得单元在对所述第二训练得到的第一模型的输出进行随机化处理时，具体被配置为：
在所述第二训练得到的第一模型的输出上叠加随机分布；
若叠加随机分布后的输出不符合所述训练数据中的标签，则更换叠加的随机分布，直至叠加随机分布后的输出仍符合所述训练数据中的标签。
在一个实施例中，该装置还包括文件加密单元和/或程序混淆单元；
所述文件加密单元，被配置为对所述目标模型进行文件加密处理；
所述程序混淆单元，被配置为对所述目标模型进行程序混淆处理。
在另一个实施例中，所述训练数据包括：人脸图像样本以及对人脸图像样本标注的用户标签；
所述第一模型为多分类模型；
所述第一训练目标包括：所述第一模型的目标输出为与输入的人脸图像样本对应的用户标签；
所述目标模型为人脸识别模型。
根据第三方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
根据本说明书实施例提供的方法和装置，通过在第一模型训练的过程中引入第二模型来模拟蒸馏学习机制，但最大化第一模型和第二模型的输出结果的差异程度来形成一种抗蒸馏方案，以提高训练得到的目标模型的抗蒸馏盗取的能力，实现模型的隐私保护。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据一个实施例的模型处理方法的流程图；
图2示出了根据一个实施例的第二训练处理的示意图；
图3示出根据另一个实施例的模型处理方法的流程图；
图4示出根据一个实施例的该模型处理装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
经过调查发现，目前市面上仍有很多人工智能系统没有对模型进行任何隐私保护处理，此类系统具有很高的模型泄漏风险。对于另一些人工智能系统虽然采用了模型加密或模型混淆等隐私保护方法，但这些方法仅仅是对于模型本身进行了保护，而对于模型输出并没有进行保护。如果攻击者采用模型蒸馏方式仍可以达到窃取模型隐私的目的。
所谓模型蒸馏方式，是通过窃取模型的“输入-输出对”后，利用“输入-输出对”训练替代模型从而达到窃取模型隐私的目的。本说明书提供的方式主要针对模型蒸馏方式提供了一种模型隐私保护方法，通过在模型训练过程中引入抗蒸馏机制，来提高模型抗蒸馏盗取的能力。
下面描述本说明书所提供构思的具体实现方式。
图1示出根据一个实施例的模型处理方法的流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图1所示，该方法包括:
步骤101，利用训练数据对第一模型进行第一训练，直至达到第一训练目标。
在本说明书中当需要训练目标模型时，往往是与具体的应用任务相关的。例如分类任务、预测任务等等，采用的模型类型也是相应的分类模型或预测模型等。选取的训练数据也是与具体的应用任务相关的。例如，对于图像分类任务，采用的训练数据往往包括图像样本以及对图像样本打上的类别标签。在本说明书中，对于模型训练所采用的训练数据和第一模型的类型并不加以限制，沿用现有技术中所采用的与具体的应用任务相关的训练数据以及合适的模型类型。
第一训练目标往往也是与具体应用任务相关的。通常会依据第一训练目标设置损失函数，在此称为第一损失函数。即最小化根据目标模型的任务设置的第一损失函数。
以图像分类任务为例。训练数据包括各图像样本以及对图像样本打上的类别标签。采用的模型类型为基于神经网络的分类模型。将该基于神经网络的分类模型作为第一模型，将各图像样本作为第一模型的输入，图像样本的类别标签作为目标输出进行训练即本步骤中的第一训练。训练过程中，利用第一模型对各图像样本的分类结果与对应类别标签的差异程度构建第一损失函数，利用第一损失函数进行前向反馈更新第一模型的模型参数，以最小化第一损失函数。
步骤103，在第一训练得到的第一模型的基础上，结合第二模型对第一模型进行第二训练，直至达到第二训练目标。其中，第二训练包括：将训练数据中第一模型的输入数据同时输入第二模型，利用第一模型和第二模型的输出数据的差异程度更新第一模型的参数；第二训练目标包括：最大化上述的差异程度。
在经过步骤101的训练之后，将训练得到的第一模型作为主模型，在此基础上引入第二模型作为辅助模型来模拟对第一模型的蒸馏过程。
因为通常在采用蒸馏的方式盗取模型时，往往是最小化两个模型之间输出的差异，从而使得对主模型进行蒸馏学习得到与主模型高度相似的模型。而本说明书中模拟对第一模型的蒸馏过程中采用“反向”的训练目标，即最大化第一模型和第二模型输出的差异程度，从而尽可能提高第一模型的抗蒸馏能力。另外，在第二训练过程中，除了最大化第一模型和第二模型输出的差异程度之外，同时最小化第一模型的输出结果与训练数据中对应标签的差异程度。
仍接续上述图像分类任务。在本步骤中，如图2中所示，图像样本同时作为第一模型和第二模型的输入，除了利用第一模型对各图像样本的分类结果与对应类别标签的差异程度构建第一损失函数(图中表示为loss1)之外，还利用第一模型和第二模型输出的分类结果的差异程度构建第二损失函数(图中表示为loss2)。在第二训练过程中，以最小化第一损失函数且最大化第二损失函数为目标，进行前向反馈更新第一模型的模型参数。
步骤105，利用第二训练得到的第一模型，获得目标模型。
经过上述步骤101和103的训练之后，得到的第一模型可以作为训练得到的目标模型。也可以对得到的第一模型进行进一步处理后，得到目标模型，具体将在后续实施例中进行详述。
由上述实施例可以看出，通过在第一模型训练的过程中引入第二模型来模拟蒸馏学习机制，但最大化第一模型和第二模型的输出结果的差异程度来形成一种抗蒸馏方案，以提高训练得到的目标模型的抗蒸馏盗取的能力。
图3示出根据另一个实施例的模型处理方法的流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图3所示，该方法包括:
步骤301，对训练数据进行增广处理后，将处理得到的增广数据加入训练数据。
本步骤实际上是利用现有的数据预处理技术对训练数据进行增广。具体的增广处理可以包括但不限于数据变换处理、数据组合处理和数据滤波处理中的至少一种。
其中数据变换处理可以是在不改变数据基本内容的基础上对训练数据中的各样本数据进行的“微调”。仍以图像样本为例，可以进行诸如翻转、模糊、剪裁、锐化、亮度调整、对比度调整等变换。
数据组合处理可以是对两个以上的样本数据进行组合拼接后形成一个新的样本数据。这里进行的组合可以是对原始的样本数据进行的组合拼接，也可以是对经过数据变换处理的样本数据进行的组合拼接，还可以是对原始的样本数据和经过数据变换处理的样本数据进行的组合拼接。
数据滤波处理可以是利用卷积层进行基于学习的数据滤波。即采用预先训练得到的滤波处理模型对训练数据进行滤波处理，其中滤波处理模型可以基于卷积层得到。滤波的目标是使得滤波后的数据在预先训练得到的分类模型上的性能在预设范围内波动。滤波后的数据与滤波前的原始数据有一定差异，但语义内容不会更改，从而实现对训练数据的增广。
其中，上述滤波处理模型训练方式可以包括：获取训练滤波处理模型所使用的训练数据(这里的训练数据与上述实时进行滤波处理的训练数据不同)，包括样本数据以及对该样本数据标注的分类结果；将滤波处理模型与预先训练得到的分类模型连接。样本数据输入到滤波处理模型，滤波处理模型滤波处理后的数据输出至分类模型。在训练目标包括两部分：一部分保证滤波处理模型输出的数据与样本数据的差异在一定数值范围内，即存在差异但差异不大；另一部分保证分类模型的分类结果仍然符合样本数据标注的分类结果，即分类准确率需要得到保障。可以利用这两部分训练目标构造损失函数，利用损失函数的取值进行前向反馈更新滤波处理模型的参数。整个训练过程中分类模型的参数保持不变。
仍以图像分类为例，上述的滤波处理模型可以采用诸如3×3的卷积层，采用的分类模型可以是ImageNet模型，预先训练一个滤波处理模型，使得经过滤波处理模型后的图片经过开源模型的分类后，分类准确度波动小于5％。
本步骤是本实施例中的可选步骤，优选执行，用以加入干扰因素，从而提高模型的防窃取能力。
步骤303：利用训练数据，执行如图1中所示实施例的步骤101和103对第一模型进行抗蒸馏训练。
本步骤具体参见图1所示实施例中步骤101和103中对第一模型的第一训练和第二训练过程，在此不做赘述。
步骤305：对第二训练得到的第一模型的输出进行随机化处理，利用随机化处理后得到的第一模型获得目标模型。
由于采用模型蒸馏方式窃取模型隐私是通过窃取模型的“输入-输出对”，利用窃取的“输入-输出对”训练替代模型从而达到窃取模型隐私的目的。因此，为了更进一步防止窃取模型隐私，本步骤中对训练得到的第一模型的输出进行随机化处理，在不影响模型最终结果的前提下加入随机分布。
作为一种优选的实施方式，本步骤可以在第二训练得到的第一模型的输出上叠加随机分布，例如叠加一个标准高斯分布，使得输出具有一定随机性。若叠加随机分布后的输出不符合训练数据中的标签，则更换叠加的随机分布，直至叠加随机分布后的输出仍符合训练数据中的标签。仍以图像分类任务为例，在训练得到的第一模型的输出上叠加随机分布后，需要保证叠加随机分布后输出在N个分类上的概率中最大概率的类别与叠加前的输出在N个分类上的概率中最大概率的类别是一致的，即不影响最终的分类结果。
本步骤是本实施例中的可选步骤，优选执行，用以在模型输出中加入干扰因素，从而提高模型的防窃取能力。
步骤307：对目标模型进行文件加密和/或程序混淆处理。
在得到目标模型后，为了进一步提高模型的防窃取能力，可以对模型文件进行加密处理，形成加密文件。只有获得对应的密钥和加密算法才能够对模型文件进行解密，从而加大了窃取模型文件的难度。具体对模型的加密方式可以采用目前已有的加密方法，在此不做具体限制。
由于目标模型的实质就是计算机程序对数据的处理，为了防止被人利用反编译的手段进行破解，可以采用程序混淆器对程序进行处理，将其转化为混淆化程序。混淆化程序与原程序在相同输入的情况下具有相同输出，但无法从混淆化程序中获得有关原程序的信息。具体程序混淆处理的方式可以采用目前已有的方式，在此不做具体限制。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
根据另一方面的实施例，提供了一种模型处理装置。图4示出根据一个实施例的该模型处理装置的示意性框图。可以理解，该装置可以通过任何具有计算、处理能力的装置、设备、平台和设备集群来实现。如图4所示，该装置400包括：第一训练单元401、第二训练单元402和模型获得单元403，还可以进一步包括数据增广单元404、文件加密单元405和/或程序混淆单元(图中仅示出了文件加密单元)。其中，各组成单元的主要功能如下：
第一训练单元401，被配置为利用训练数据对第一模型进行第一训练，直至达到第一训练目标。
第一训练所采用的训练数据、模型类型和训练目标往往是与具体应用任务相关的。通常会依据第一训练目标设置损失函数，在此称为第一损失函数。即最小化根据目标模型的任务设置的第一损失函数。
第二训练单元402，被配置为在第一训练得到的第一模型的基础上，结合第二模型对第一模型进行第二训练，直至达到第二训练目标；其中，第二训练包括：将训练数据中第一模型的输入数据同时输入第二模型，利用第一模型和第二模型的输出数据的差异程度更新第一模型的参数；第二训练目标包括：最大化差异程度。
在一个实施例中，可以利用利用第一模型和第二模型的输出数据的差异程度构建第二损失函数，第二训练目标可以包括：最大化第二损失函数并且最小化第一损失函数。
模型获得单元403，被配置为利用第二训练得到的第一模型，获得目标模型。
在一个实施例中，数据增广单元404，被配置为对训练数据进行增广处理后，将处理得到的增广数据添加入训练数据。
其中，数据增广单元404执行的增广处理可以包括数据变换处理、数据组合处理和数据滤波处理中的至少一种。
在一个实施例中，数据增广单元404在执行数据滤波处理时，被配置为：采用预先训练得到的滤波处理模型进行滤波处理，滤波的目标是使得滤波后的数据在预先训练得到的分类模型上的性能在预设范围内波动。滤波后的数据与滤波前的原始数据有一定差异，但语义内容不会更改，从而实现对训练数据的增广。
其中，上述滤波处理模型的训练可以由用以训练滤波处理模型的单元(图中未示出)执行，具体包括：获取训练滤波处理模型所使用的训练数据(这里的训练数据与上述实时进行滤波处理的训练数据不同)，包括样本数据以及对该样本数据标注的分类结果；将滤波处理模型与预先训练得到的分类模型连接。样本数据输入到滤波处理模型，滤波处理模型滤波处理后的数据输出至分类模型。在训练目标包括两部分：一部分保证滤波处理模型输出的数据与样本数据的差异在一定数值范围内，即存在差异但差异不大；另一部分保证分类模型的分类结果仍然符合样本数据标注的分类结果，即分类准确率需要得到保障。可以利用这两部分训练目标构造损失函数，利用损失函数的取值进行前向反馈更新滤波处理模型的参数。整个训练过程中分类模型的参数保持不变。
在一个实施例中，模型获得单元403，被具体配置为对第二训练得到的第一模型的输出进行随机化处理；利用随机化处理后得到的第一模型，获得目标模型。
在又一个实施例中，模型获得单元403在对第二训练得到的第一模型的输出进行随机化处理时，可以被配置为：在第二训练得到的第一模型的输出上叠加随机分布；若叠加随机分布后的输出不符合训练数据中的标签，则更换叠加的随机分布，直至叠加随机分布后的输出仍符合训练数据中的标签。
文件加密单元405，被配置为对目标模型进行文件加密处理。例如，可以对模型文件进行加密处理，形成加密文件。只有获得对应的密钥和加密算法才能够对模型文件进行解密，从而加大了窃取模型文件的难度。
程序混淆单元，被配置为对目标模型进行程序混淆处理。例如，可以采用程序混淆器对程序进行处理，将其转化为混淆化程序。混淆化程序与原程序在相同输入的情况下具有相同输出，但无法从混淆化程序中获得有关原程序的信息。
本说明书所提供的上述方法和装置实施例可以应用于多种应用场景，在此列举其中一个：
人脸识别模型目前已被广泛地应用于人们的生产和生活中，且往往应用于的产品对人脸识别模型具有较高的安全性要求。例如，在金融类应用中，采用人脸识别模型进行人脸识别进行登录、信息查看、转账等等操作。为了增强人脸识别模型的安全性，对其进行隐私保护。可以在训练人脸识别模型的过程中采用本说明书所提供的上述方法和装置来实现。
具体地，人脸识别模型实际上相当于一个多分类模型，在训练人脸识别模型时，将其作为上述方法和装置实施例中的第一模型进行训练。采用的训练数据为各人脸图像样本以及对人脸图像样本标注的用户标签。在训练过程中采用的第一训练目标可以为：第一模型的目标输出为训练样本中对应人脸图像样本的用户标签。第二训练目标可以为最大化第一模型与第二模型输出分类结果的差异程度。在该应用场景下采用本说明书中提供的方法和装置能够有效地提高人脸识别模型的抗蒸馏盗取能力，保护人脸识别模型的隐私。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图1或图3所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图1或图3所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (19)
1.模型处理方法，包括：
利用训练数据对第一模型进行第一训练，直至达到第一训练目标；
在所述第一训练得到的第一模型的基础上，结合第二模型对所述第一模型进行第二训练，直至达到第二训练目标；
利用所述第二训练得到的第一模型，获得目标模型；
其中，所述第二训练包括：将所述训练数据中第一模型的输入数据同时输入第二模型，利用所述第一模型和所述第二模型的输出数据的差异程度更新所述第一模型的参数；所述第二训练目标包括：最大化所述差异程度。
2.根据权利要求1所述的方法，其中，所述第一训练目标包括：最小化根据目标模型的任务设置的第一损失函数；
所述第二训练目标进一步包括：最小化所述第一损失函数。
3.根据权利要求1所述的方法，在所述利用训练数据对第一模型进行第一训练之前，该方法还包括：对所述训练数据进行增广处理后，将处理得到的增广数据添加入所述训练数据。
4.根据权利要求3所述的方法，其中，所述增广处理包括数据变换处理、数据组合处理和数据滤波处理中的至少一种。
5.根据权利要求4所述的方法，其中，所述数据滤波处理包括：
采用预先训练得到的滤波处理模型进行滤波处理，滤波的目标是使得滤波后的数据在预先训练得到的分类模型上的性能在预设范围内波动。
6.根据权利要求1所述的方法，其中，利用所述第二训练得到的第一模型，获得目标模型包括：
对所述第二训练得到的第一模型的输出进行随机化处理；
利用所述随机化处理后得到的第一模型，获得目标模型。
7.根据权利要求6所述的方法，其中，对所述第二训练得到的第一模型的输出进行随机化处理包括：
在所述第二训练得到的第一模型的输出上叠加随机分布；
若叠加随机分布后的输出不符合所述训练数据中的标签，则更换叠加的随机分布，直至叠加随机分布后的输出仍符合所述训练数据中的标签。
8.根据权利要求1所述的方法，该方法还包括以下至少一种：
对所述目标模型进行文件加密处理；
对所述目标模型进行程序混淆处理。
9.根据权利要求1至8中任一所述的方法，其中，所述训练数据包括：人脸图像样本以及对人脸图像样本标注的用户标签；
所述第一模型为多分类模型；
所述第一训练目标包括：所述第一模型的目标输出为与输入的人脸图像样本对应的用户标签；
所述目标模型为人脸识别模型。
10.模型处理装置，包括：
第一训练单元，被配置为利用训练数据对第一模型进行第一训练，直至达到第一训练目标；
第二训练单元，被配置为在所述第一训练得到的第一模型的基础上，结合第二模型对所述第一模型进行第二训练，直至达到第二训练目标；其中，所述第二训练包括：将所述训练数据中第一模型的输入数据同时输入第二模型，利用所述第一模型和所述第二模型的输出数据的差异程度更新所述第一模型的参数；所述第二训练目标包括：最大化所述差异程度；
模型获得单元，被配置为利用所述第二训练得到的第一模型，获得目标模型。
11.根据权利要求10所述的装置，其中，所述第一训练目标包括：最小化根据目标模型的任务设置的第一损失函数；
所述第二训练目标进一步包括：最小化所述第一损失函数。
12.根据权利要求10所述的装置，该装置还包括：
数据增广单元，被配置为对所述训练数据进行增广处理后，将处理得到的增广数据添加入所述训练数据。
13.根据权利要求12所述的装置，其中，所述数据增广单元执行的增广处理包括数据变换处理、数据组合处理和数据滤波处理中的至少一种。
14.根据权利要求13所述的装置，其中，所述数据增广单元在执行所述数据滤波处理时，被配置为：采用预先训练得到的滤波处理模型进行滤波处理，滤波的目标是使得滤波后的数据在预先训练得到的分类模型上的性能在预设范围内波动。
15.根据权利要求10所述的装置，其中，所述模型获得单元，被具体配置为对所述第二训练得到的第一模型的输出进行随机化处理；利用所述随机化处理后得到的第一模型，获得目标模型。
16.根据权利要求15所述的装置，其中，所述模型获得单元在对所述第二训练得到的第一模型的输出进行随机化处理时，具体被配置为：
在所述第二训练得到的第一模型的输出上叠加随机分布；
若叠加随机分布后的输出不符合所述训练数据中的标签，则更换叠加的随机分布，直至叠加随机分布后的输出仍符合所述训练数据中的标签。
17.根据权利要求10所述的装置，该装置还包括文件加密单元和/或程序混淆单元；
所述文件加密单元，被配置为对所述目标模型进行文件加密处理；
所述程序混淆单元，被配置为对所述目标模型进行程序混淆处理。
18.根据权利要求10至17中任一所述的装置，其中，所述训练数据包括：人脸图像样本以及对人脸图像样本标注的用户标签；
所述第一模型为多分类模型；
所述第一训练目标包括：所述第一模型的目标输出为与输入的人脸图像样本对应的用户标签；
所述目标模型为人脸识别模型。
19.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011432596.4A CN112561076B (zh) | 2020-12-10 | 2020-12-10 | 模型处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011432596.4A CN112561076B (zh) | 2020-12-10 | 2020-12-10 | 模型处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112561076A true CN112561076A (zh) | 2021-03-26 |
| CN112561076B CN112561076B (zh) | 2022-09-20 |
Family
ID=75060045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011432596.4A Active CN112561076B (zh) | 2020-12-10 | 2020-12-10 | 模型处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112561076B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359220A (zh) * | 2022-08-16 | 2022-11-18 | 支付宝(杭州)信息技术有限公司 | 虚拟世界的虚拟形象更新方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977707A (zh) * | 2017-11-23 | 2018-05-01 | 厦门美图之家科技有限公司 | 一种对抗蒸馏神经网络模型的方法及计算设备 |
| CN109815801A (zh) * | 2018-12-18 | 2019-05-28 | 北京英索科技发展有限公司 | 基于深度学习的人脸识别方法及装置 |
| US20190286986A1 (en) * | 2018-01-11 | 2019-09-19 | Huawei Technologies Co., Ltd. | Machine Learning Model Training Method And Apparatus |
| CN111126515A (zh) * | 2020-03-30 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 基于人工智能的模型训练方法和相关装置 |
| CN111177792A (zh) * | 2020-04-10 | 2020-05-19 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护确定目标业务模型的方法及装置 |
| CN111680672A (zh) * | 2020-08-14 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 人脸活体检测方法、系统、装置、计算机设备和存储介质 |
| CN111832291A (zh) * | 2020-06-02 | 2020-10-27 | 北京百度网讯科技有限公司 | 实体识别模型的生成方法、装置、电子设备及存储介质 |
-
2020
- 2020-12-10 CN CN202011432596.4A patent/CN112561076B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977707A (zh) * | 2017-11-23 | 2018-05-01 | 厦门美图之家科技有限公司 | 一种对抗蒸馏神经网络模型的方法及计算设备 |
| US20190286986A1 (en) * | 2018-01-11 | 2019-09-19 | Huawei Technologies Co., Ltd. | Machine Learning Model Training Method And Apparatus |
| CN109815801A (zh) * | 2018-12-18 | 2019-05-28 | 北京英索科技发展有限公司 | 基于深度学习的人脸识别方法及装置 |
| CN111126515A (zh) * | 2020-03-30 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 基于人工智能的模型训练方法和相关装置 |
| CN111177792A (zh) * | 2020-04-10 | 2020-05-19 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护确定目标业务模型的方法及装置 |
| CN111832291A (zh) * | 2020-06-02 | 2020-10-27 | 北京百度网讯科技有限公司 | 实体识别模型的生成方法、装置、电子设备及存储介质 |
| CN111680672A (zh) * | 2020-08-14 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 人脸活体检测方法、系统、装置、计算机设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359220A (zh) * | 2022-08-16 | 2022-11-18 | 支付宝(杭州)信息技术有限公司 | 虚拟世界的虚拟形象更新方法及装置 |
| CN115359220B (zh) * | 2022-08-16 | 2024-05-07 | 支付宝(杭州)信息技术有限公司 | 虚拟世界的虚拟形象更新方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112561076B (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Muhammad et al. | Image steganography using uncorrelated color space and its application for security of visual contents in online social networks | |
| KR102587254B1 (ko) | Ｃｎｎ과 ｒｎｎ을 이용한 얼굴인식 기반 키 생성 방법 및 장치 | |
| KR102184787B1 (ko) | 개인 정보를 보호하기 위하여 원본 데이터를 컨실링 처리하여 생성된 변조 데이터를 인식하기 위해 사용되는 사용자 러닝 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치 | |
| US20200143079A1 (en) | Privacy-preserving visual recognition via adversarial learning | |
| WO2018212811A1 (en) | Hiding information and images via deep learning | |
| CN111340008A (zh) | 对抗补丁生成、检测模型训练、对抗补丁防御方法及系统 | |
| CN114648130B (zh) | 纵向联邦学习方法、装置、电子设备及存储介质 | |
| US20150007258A1 (en) | Biometric identification using filters and by secure multipart calculation | |
| Li et al. | Deepobfuscator: Adversarial training framework for privacy-preserving image classification | |
| CN110610144B (zh) | 隐私保护的表情识别方法及系统 | |
| EP4009278A1 (en) | Method for producing labeled image from original image while preventing private information leakage of original image and server using the same | |
| CN111783146B (zh) | 基于隐私保护的图像处理方法、装置和电子设备 | |
| CN111680676B (zh) | 训练人脸识别模型、图像注册、人脸识别方法和装置 | |
| Madono et al. | Sia-gan: Scrambling inversion attack using generative adversarial network | |
| CN112561076B (zh) | 模型处理方法和装置 | |
| CN111783630A (zh) | 一种数据处理方法、装置及设备 | |
| Guesmi et al. | Sit: Stochastic input transformation to defend against adversarial attacks on deep neural networks | |
| CN113435264A (zh) | 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置 | |
| CN116432244B (zh) | 一种图像处理方法、装置、设备及系统 | |
| Jasmine et al. | A privacy preserving based multi-biometric system for secure identification in cloud environment | |
| CN115168633A (zh) | 一种可实现强加扰的人脸识别隐私保护方法 | |
| CN114140349A (zh) | 干扰图像的生成方法和装置 | |
| CN115131465A (zh) | 一种基于身份关系保持的人脸匿名图像生成及识别方法 | |
| EP4208820A1 (en) | Systems and methods for protecting machine learning models against adversarial attacks | |
| Wu et al. | Giid-net: generalizable image inpainting detection network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |