CN116628742A - 隐私保护模型的训练方法、隐私保护方法及系统 - Google Patents

Abstract

本说明书提供的一种隐私保护模型的训练方法、隐私保护方法及系统，包括：通过训练预设隐私保护模型，得到第一脱敏模块；基于第一脱敏模块的参数敏感度，以参数剪裁的方式训练所述第一脱敏模块，得到第二脱敏模块；以及以知识蒸馏的方式训练所述第二脱敏模块，得到所述脱敏模块。所述脱敏模块参数更少，体积更小，耗费的存储空间以及算力也更少，是轻量级的模块，同时性能可以趋近于所述第一脱敏模块的性能，从而在保证基于所述脱敏模块进行隐私保护的性能的同时，提升运算效率。

Description

隐私保护模型的训练方法、隐私保护方法及系统

技术领域

本说明书涉及隐私保护领域，尤其涉及一种隐私保护模型的训练方法、隐私保护方法及系统。

背景技术

目前，随着智能电子设备的广泛应用，生物识别技术得到了广泛推广，用户的生物识别图像被频繁采集、处理和传输，这将导致用户隐私信息的泄漏风险大幅增加。随着用户越来越重视对自身的图像等隐私信息的保护，因此，用户隐私信息的脱敏被广泛的应用于隐私保护领域。

如何得到安全性能高的轻量级隐私保护模型实现对用户隐私信息的保护，成为了当前面对的挑战之一。

需要说明的是，背景技术部分的内容仅仅是发明人个人所知晓的信息，并不代表上述信息在本公开申请日之前已经进入公共领域，也不代表其可以成为本公开的现有技术。

发明内容

本说明书提供的隐私保护模型的训练方法、隐私保护方法及系统，可以在保证隐私保护性能的前提下，得到轻量级的隐私保护模型。

第一方面，本说明书提供一种隐私保护模型的训练方法，包括：所述隐私保护模型包括脱敏模块，所述方法包括：训练预设隐私保护模型，得到第一脱敏模块；基于所述第一脱敏模块的参数的敏感度，基于所述第一脱敏模块的参数的敏感度，以参数剪裁的方式训练所述第一脱敏模块，得到第二脱敏模块；以及以知识蒸馏的方式训练所述第二脱敏模块，得到所述脱敏模块。

在一些实施例中，所述预设隐私保护模型包括预设脱敏模块，所述训练预设隐私保护模型，包括：将第一样本图像集输入至所述预设隐私保护模型，基于第一训练目标对所述预设隐私保护模型进行迭代训练，以更新所述预设隐私保护模型的参数，其中，在每次迭代中，基于所述预设脱敏模块的多个通道间的相关性，使所述预设脱敏模块的相关性低于预设的通道阈值的部分通道失活。

在一些实施例中，所述在每次迭代中，基于所述预设脱敏模块的多个通道间的相关性，使所述预设脱敏模块的相关性低于预设的通道阈值的部分通道失活，包括：将当前迭代的第一训练图像输入至所述预设隐私保护模型中，得到所述预设脱敏模块的中间层输出的所述多个通道的特征值，所述第一训练图像是所述第一样本图像集中的至少一个样本图像；基于所述多个通道的特征值，确定所述预设脱敏模块的所述多个通道间的相关性，并将相关性低于所述通道阈值的部分通道作为失活通道；将所述预设脱敏模块中的所述失活通道的参数置零，得到失活脱敏模块；将所述第一训练图像输入至所述失活脱敏模块中，得到与其对应的第一脱敏图像；确定所述第一训练图像对应的第一损失信息，并基于第一训练目标以及所述第一损失信息更新所述预设脱敏模块的参数。

在一些实施例中，所述确定所述第一训练图像对应的第一损失信息，包括：确定所述第一训练图像与其对应的第一脱敏图像的第一相似度；确定所述第一训练图像与其对应的第一重建图像的第一差异，其中，所述第一重建图像是基于预设反脱敏模块对所述第一脱敏图像进行反脱敏得到的；以及确定所述失活通道的数量与所述多个通道的数量的第一比例，所述第一损失信息包括所述第一相似度、所述第一差异以及所述第一比例。

在一些实施例中，所述第一训练目标包括：约束所述第一相似度小于预设的第一脱敏阈值；约束所述第一差异小于预设的第一重建阈值；以及约束所述第一比例在预设的失活比例范围内。

在一些实施例中，所述训练预设隐私保护模型还包括：训练所述预设反脱敏模块，得到反脱敏模块。

在一些实施例中，所述以参数剪裁的方式训练所述第一脱敏模块，得到第二脱敏模块，包括：将第二样本图像集输入至所述第一脱敏模块，基于第二训练目标对所述第一脱敏模块进行迭代训练，以更新所述第一脱敏模块的参数，其中，在每次迭代中，基于所述第一脱敏模块的每个参数的敏感度，确定当前迭代的裁剪参数，并基于所述裁剪参数对所述第一脱敏模块的参数进行剪裁；迭代结束后得到最后一次迭代对应的剪裁参数以及最后一次迭代对应的第一脱敏模块；以及基于所述最后一次迭代对应的剪裁参数对所述最后一次迭代对应的第一脱敏模块进行剪裁，得到所述第二脱敏模块。

在一些实施例中，所述在每次迭代中，基于所述第一脱敏模块的每个参数的敏感度，确定当前迭代的裁剪参数，并基于所述裁剪参数对所述第一脱敏模块的参数进行剪裁，包括对于所述当前迭代：所述第一脱敏模块的每个参数的敏感度；基于所述第一脱敏模块的每个参数的敏感度，确定所述第一脱敏模块的剪裁参数；基于所述第一脱敏模块的剪裁的参数，对所述第一脱敏模块进行剪裁，得到第一剪裁脱敏模块；将第二训练图像输入至所述第一剪裁脱敏模块中，输出与其对应的第二脱敏图像，所述第二训练图像是所述第二样本图像集中的至少一个样本图像；确定所述第二训练图像对应的第二损失信息，并基于第二训练目标以及所述第二损失信息更新所述所述第一脱敏模块的参数。

在一些实施例中，所述确定所述第二训练图像对应的第二损失信息，包括：确定所述第二训练图像与其对应的第二脱敏图像的第二相似度；确定所述第二训练图像与其对应的所述第二重建图像的第二差异，其中，所述第二重建图像是基于预先训练好的反脱敏模块对所述第二脱敏图像进行反脱敏得到的；以及确定所述剪裁参数的数量与所述第一脱敏模块的所有参数的数量的第二比例，所述第二损失信息包括所述第二相似度、所述第二差异以及所述第二比例。

在一些实施例中，所述第二训练目标包括：约束所述第二相似度小于预设的第二脱敏阈值；约束所述第二差异小于预设的第二重建阈值；以及约束所述第二比例在预设的剪裁比例范围内。

在一些实施例中，所述确定所述第一脱敏模块的每个参数的敏感度，包括：将所述第二训练图像输入至所述第一脱敏模块，输出与其对应的第三脱敏图像；确定所述第二训练图像对应的第三损失信息；以及对所述每个参数执行：对当前参数添加预设扰动，确定所述预设扰动添加前后所述第三损失信息的变化量，并基于所述变化量确定所述当前参数的敏感度。

在一些实施例中，所述确定所述第二训练图像对应的第三损失信息，包括：确定所述第二训练图像与其对应的第三脱敏图像的第三相似度；以及确定所述第二训练图像与其对应的第三重建图像的第三差异，其中，所述第三重建图像是基于预先训练好的反脱敏模块对所述第三脱敏图像进行反脱敏得到的，其中，所述第三损失信息包括所述第三相似度和所述第三差异。

在一些实施例中，所述基于所述第一脱敏模块的每个参数的敏感度，确定所述剪裁参数，包括：将所述每个参数以及所述每个参数的敏感度输入至预设强化学习模块中，以所述第三训练目标训练所述预设强化学习模块；将所述每个参数以及所述每个参数的敏感度输入至训练后的强化学习模块中，确定参数剪裁规则，所述参数剪裁规则包括多个参数剪裁组合中的一个；以及基于所述参数剪裁规则，确定所述剪裁参数。

在一些实施例中，所述第三训练目标包括：约束所述第二训练图像与其对应的强化脱敏图像之间的强化相似度小于预设的第二脱敏阈值，所述强化脱敏图像为基于所述预设强化学习模型输出的预测参数裁剪规则对所述第一脱敏模块进行裁剪得到的中间裁剪脱敏模块基于所述第二训练图像得到的；

约束所述第二训练图像与其对应的强化重建图像之间的强化差异小于预设的第二重建阈值，所述强化重建图像是基于预先训练好的反脱敏模块对所述强化脱敏图像进行反脱敏得到的；以及

约束所述预设强化学习模型输出的预测参数裁剪规则对应的预测剪裁参数的数量与所述第一脱敏模块的所有参数的数量的第二比例在预设的裁剪比例范围内。

在一些实施例中，所述以知识蒸馏的方式训练所述第二脱敏模块，包括：基于第三样本图像集，以所述第一脱敏模块为教师模型，以所述第二脱敏模块为学生模型，对所述第二脱敏模块进行知识蒸馏，通过迭代训练，更新所述第二脱敏模块的参数。

在一些实施例中，在每次迭代中，包括：将当前迭代的第三训练图像输入至所述第一脱敏模块中，输出与其对应的第四脱敏图像，所述第三训练图像包括所述第三样本图像集中的至少一个样本图像；将所述第三训练图像输入至所述第二脱敏模块中，输出与其对应的第五脱敏图像；将所述第三训练图像、所述第四脱敏图像以及所述第五脱敏图像分别输入预先训练好的监督模块中，输出对应的监督特征值，所述监督特征值包括与所述第三训练图像对应的第一特征值、与所述第四脱敏图像对应的第二特征值以及与所述第五脱敏图像对应的第三特征值；以及确定所述第三训练图像对应的第四损失信息，并基于第四训练目标以及所述第四损失信息更新所述第二脱敏模块的参数。

在一些实施例中，所述确定所述第三训练图像对应的第四损失信息，包括：确定所述第四脱敏图像与其对应的第五脱敏图像的第四差异；确定所述第二特征值与其对应的所述第三特征值的第五差异；以及确定所述第一特征值与其对应的第三特征值的第四相似度，所述第四损失信息包括所述第四差异、所述第五差异以及所述四相似度，其中，所述第四训练目标包括：约束所述第四差异小于预设的第一一致性阈值；约束所述第五差异小于预设的第二一致性阈值；以及约束所述第四相似度小于预设的隐私性阈值。

第二方面，本说明书提供一种隐私保护方法，包括：获取目标图像；以及基于隐私保护模型对所述目标图像进行脱敏，得到目标脱敏图像，其中，所述隐私保护模型是通过如第一方面所述的隐私模型的训练方法训练得到的。

第三方面，本说明书还提供一种隐私保护系统，包括：至少一个存储介质，存储有至少一个指令集，用于进行图像脱敏；以及至少一个处理器，同所述至少一个存储介质通信连接，其中当所述隐私保护系统运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集执行如第二方面所述的隐私保护方法。

由以上技术方案可知，本说明书提供的一种隐私保护模型的训练方法、隐私保护方法及系统，包括：训练预设隐私保护模型，得到第一脱敏模块，也就是压缩前的基础脱敏模块；基于第一脱敏模块的参数敏感度，以参数剪裁的方式训练所述第一脱敏模块，得到第二脱敏模块；以及以知识蒸馏的方式训练所述第二脱敏模块，得到所述脱敏模块。其中参数敏感度更能反映参数的重要程度，基于参数敏感度的裁剪可以在裁剪的同时保证模型的安全性能。由此可见，采用本说明书提供的一种隐私保护模型的训练方法得到的所述脱敏模块，在保证图像脱敏的安全性能的同时，参数更少，模型体积更小，耗费的存储空间和算力也更少，相比于所述第一脱敏模块更轻量级；同时，基于所述第一脱敏模块，将剪裁后得到的第二脱敏模块采用蒸馏学习的方式训练，使得所述脱敏模块性能可以趋近于所述第一脱敏模块的性能，从而在实现轻量级的同时保证了脱敏的性能(隐私保护的性能)。因此，将所述脱敏模块应用于隐私保护方法，部署在算力和模型体积等受限的用户终端设备上可以提升终端设备的脱敏运算效率，同时保证了终端设备的脱敏安全性能。

本说明书提供的隐私保护模型的训练方法、隐私保护方法及系统的其他功能将在以下说明中部分列出。根据描述，以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的隐私保护方法及系统的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。

附图说明

为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本说明书的实施例提供的一种隐私保护系统的应用场景示意图；

图2示出了根据本说明书的实施例提供的一种计算设备的结构示意图；

图3示出了根据本说明书的实施例提供的一种隐私保护模型的训练方法的流程图；

图4示出了根据本说明书的实施例提供的一种隐私保护模型的训练方法的示意图；

图5示出了根据本说明书的实施例提供的一种对预设脱敏模块训练过程中一次迭代的流程图；

图6示出了根据本说明书的实施例提供的一种在训练预设隐私保护模型过程中每次迭代时的数据传输图；

图7示出了根据本说明书的实施例提供的对第一脱敏模块训练过程中一次迭代的流程图；

图8示出了根据本说明书的实施例提供的一种在训练第一脱敏模块过程中每次迭代时的数据传输图；

图9示出了根据本说明书的实施例提供的对第二脱敏模块训练过程中一次迭代的流程图；以及

图10示出了根据本说明书的实施例提供的一种隐私保护方法的流程图。

具体实施方式

以下描述提供了本说明书的特定应用场景和要求，目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说，对所公开的实施例的各种局部修改是显而易见的，并且在不脱离本说明书的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用。因此，本说明书不限于所示的实施例，而是与权利要求一致的最宽范围。

这里使用的术语仅用于描述特定示例实施例的目的，而不是限制性的。比如，除非上下文另有明确说明，这里所使用的，单数形式“一”，“一个”和“该”也可以包括复数形式。当在本说明书中使用时，术语“包括”、“包含”和/或“含有”意思是指所关联的整数，步骤、操作、元素和/或组件存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。

考虑到以下描述，本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图，所有这些形成本说明书的一部分。然而，应该清楚地理解，附图仅用于说明和描述的目的，并不旨在限制本说明书的范围。还应理解，附图未按比例绘制。

本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解，流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。

常见的生物识别隐私保护方法大致可以被分为两种类型。第一种是基于纯终端设备的生物识别方法。这类方法将所有的生物识别模型和算法集成到终端设备。所有用户的生物识别数据在终端设备完成采集和处理，处理后即时销毁，最大程度降低隐私泄漏风险。但是，由于终端设备算力和存储资源有限，无法部署复杂的生物识别算法方案，导致整体的生物识别系统性能较差。第二种类型则是基于终端脱敏+云端反脱敏的生物识别隐私保护方法。这类方法在终端设备部署脱敏模块，因此可以采用所述脱敏模块将用户的原始图像进行脱敏处理，得到与其对应的脱敏图像，然后将所述脱敏图像发送给云端服务器，相应的，所述服务器上部署了反脱敏模块和用于生物识别模型和相关算法，所述服务器接收所述脱敏图像后，先采用所述反脱敏模块对所述脱敏图像进行处理，得到对应的反脱敏图像，也就是所述用户的原始图像的重建图像，然后，在基于所述反脱敏图像进行生物识别。区别于终端设备的便携性要求(如体积小、质量轻)以及价格要求而对算力和存储资源的限制，服务器对算力和存储资源限制较小，因此，第二种隐私保护方法的生物识别性能有所提升。但是由于需要在用户的终端设备上采用脱敏模块进行脱敏处理，也需要消耗大量算力，而通常情况下的简单的脱敏模块的隐私保护性能往往也较差。

本说明书提供的隐私保护模型的训练方法、隐私保护方法及系统，在保证隐私保护的安全性能的前提下，能够提供一种轻量级的隐私保护模型。

在对本说明书具体实施例说明之前，先对本说明书的应用场景进行如下介绍：本说明书提供的隐私保护方法可以应用在任意的隐私保护场景中，保护用户的隐私信息，所述用户的隐私信息可以包括于所述用户相关的图像、文本、语音等信息。比如，在基于生物特征的支付场景中，可以基于本说明书的隐私保护方法对采集的待支付用户的生物特征图像(比如人脸图像、掌纹图像、掌静脉图像，等等)进行脱敏保护后传输，再对脱敏图像进行反脱敏后进行生物识别；在活体识别中，可以基于本说明书的隐私保护方法对采集的待检测用户的图像进行脱敏保护后传输，再对脱敏图像进行反脱敏后进行活体识别；在身份验证场景中，可以基于本说明书的隐私保护方法对采集的用户的图像进行脱敏保护后传输，再对脱敏图像进行反脱敏后进行生物识别；在隐私信息的隐私存储过程中，可以基于本说明书的隐私保护方法对用户的隐私信息在其智能电子设备本地的进行隐私存储；在隐私信息的隐私传输过程中，还可以通过本说明书的隐私保护方法对用户发送的隐私信息进行隐私处理后传输。本说明书的隐私保护方法可以应用在任意的隐私保护场景中，在此就不再一一赘述。本领域技术人员应当明白，本说明书所述的隐私保护方法和系统应用于其他使用场景也在本说明书的保护范围内。

需要说明的是，当本说明书提供的隐私保护模型的训练方法、隐私保护方法及系统应用于生物识别场景时，不仅能够保证图像隐私保护的安全性能以及运算效率，同时能够提升生物识别的安全性能以及运算效率。为了方便展示，以下的描述中将以隐私保护模型的训练方法、隐私保护方法及系统应用于生物识别场景为例进行描述。本领域技术人员应当明白，隐私保护模型的训练方法、隐私保护方法及系统应用于其他场景也在本说明书的保护范围内。

为了方便描述，本说明书对以下描述可能会出现的术语进行解释：

隐私保护：采用脱敏等方式，屏蔽数据的敏感信息。

脱敏：一种屏蔽数据中敏感信息的方式，所述敏感信息可以包括：包含用户用于生物识别的信息、身份证号、手机号、卡号、姓名、地址、邮箱地址、薪资等信息，所述数据可以包括图像、语音以及文本等多种类型。脱敏方式可以包括：替换、重排、加密、截断、掩码等，原始数据经过脱敏处理后可以得到脱敏数据，具有权限方可以基于与所述脱敏方式相应的反脱敏方式以及所述脱敏数据，得到相应的重建数据，由于所述重建数据趋近于所述原始数据，所述具有权限方可以基于所述重建数据获得其中包括敏感信息在内的所有信息；相应的，不具有权限方难以通过所述脱敏数据获得其与原始数据的关联，因此无法获得所述原始数据中的敏感信息，从而对数据进行脱敏可以起到隐私保护的作用。

生物识别：利用生物固有的生理特性，如指纹、脸象、虹膜等，进行个人身份的识别。相应的，所述人脸图像、指纹图像、虹膜图像、唇纹图像可以作为生物识别的图像。

模型/模块压缩：利用压缩算法，将大体积、复杂的人工智能模型/模块压缩成小体积简单的人工智能模型/模块，同时保证所述人工智能模型/模块整体的性能不会明显降低。所述压缩算法可以包括：模型/模块剪裁、知识蒸馏、参数量化以及结构设计。

模型/模块剪裁：通常模型/模块的参数存在一定的冗余，因此，在一些受内存空间和计算能力的限制的使用场景，很难将模型/模块应用到相应的硬件设备上，所以就可以将冗余的参数从所述模型/模块中移除或者将所述冗余的参数的取值置为零，也就是模型/模块剪裁。

知识蒸馏：先正常训练一个较大的教师模型，再基于教师模型训练相对较小的学生模型。

两个数据的差异或相似度：可以通过两个数据的距离来表征，根据不同的数据类型及特点，可以采用欧式距离、曼哈顿距离、切比雪夫距离以及余弦距离等方式获得两个数据的距离。

需要说明的是，对于机器学习领域，为了便于区别，我们通常将机器学习所采用的上一级的网络称为模型，将所述模型的下一级子网络称为模块。因此，在本说明书中，所述隐私保护模型为上一级的网络，所述脱敏模块和/或反脱敏模块是所述隐私保护模型的下一级子网络，因此，模型和模块仅为名称上的区别。

通常，对于任意进行机器学习的模型，可以认为所述模型是一个包括多个参数的函数，在对所述模型的训练过程，可以看作是对所述函数的拟合过程。也就是说，在训练过程中，所述模型对输入的样本数据的处理是基于所述输入的样本数据与所述模型的参数进行各种数学运算实现的，例如，所述数学运算可以为卷积运算、连接运算、加法运算等。对于所述模型的训练通常需要经过多次迭代，对于每一次迭代，所述模型对输入的样本数据进行处理，输出与所述输入数据对应的输出数据，然后，所述模型基于所述输出数据、所述输入的样本数据的标签以及预先设定的损失函数，确定所述输入数据的损失信息，并将所述输入数据的损失信息反馈至所述模型的参数，以更新所述模型的参数的取值，从而，经过i次迭代，相应的，也就会i次更新所述模型的参数的取值，也就可以得到i组参数的取值。由于模型的损失函数与训练目标存在对应关系，因此，对于每一次迭代，所述模型可以通过输入样本数据的损失信息调整(更新)其参数的取值，从而使所述模型可以收敛于所述训练目标。通常，经过预设迭代次数(所述预设迭代次数的设置与训练所述模型的计算设备的存储资源和算力有关)，若在所述预设迭代次数完成以前，实现了所述模型的训练目标，也就是所述模型的损失函数收敛于所述训练目标，则所述模型训练结束，并可以达到期望的模型性能；若已完成所述预设迭代次数，则所述模型训练结束，但未能实现所述模型的训练目标，也就是所述模型的损失函数尚未收敛于所述训练目标，因此，模型不能达到期望的模型性能。

为了表述清楚，便于区别任意模型，将未完成训练的模型称为预设模型，将训练完成的模型称为训练好的模型，实际应用的模型为训练好的模型，为便于描述，以下简称训练好的模型为模型。

图1示出了根据本说明书的实施例提供的一种隐私保护系统001的应用场景示意图。隐私保护系统001(以下简称系统001)可以应用于任意隐私保护场景，比如，人脸支付场景下的生物识别、身份验证场景下的生物识别、人脸识别场景下的生物识别、本地图像隐私存储、图像隐私传输，等等。如图1所示，所述系统001可以包括第一设备200，例如，本地图像隐私存储场景，所述第一设备200可以是所述目标用户100目标终端，用于本地隐私存储所述目标用户100隐私信息。在一些实施例中，所述系统001还可以包括第二设备300，例如，对于人脸支付场景下的生物识别、身份验证场景下的生物识别、人脸识别场景下的生物识别场景，所述第一设备200可以是所述目标用户100的终端，所述第二设备300可以是进行生物识别的服务器；又例如，对于图像隐私传输场景，所述第一设备200可以是发送所述目标用户100的隐私信息的发送设备，所述第二设备300可以是接收所述目标用户100的隐私信息的接收设备。相应的，所述系统001的应用场景可以包括：目标用户100、系统001以及通信网络400。

其中，所述目标用户100可以是所述第一设备200的操作方，例如，所述目标用户100可以与所述第一设备200进行交互，以使得所述第一设备200发起生物识别流程，并进行图像采集；又例如，所述第一设备200可以是发送图像的发送设备；又例如，所述第一设备200可以是对本地图像进行隐私存储的设备。

在一些实施例中，所述第一设备200可以为智能电子设备。所述智能电子设备可以包括人机交互设备。所述人机交互设备用于与目标用户100进行人机交互。所述智能电子设备可以包括图像采集设备。所述图像采集设备可以用于采集目标用户100的图像或者视频数据。比如，第一设备200可以包括移动设备、平板电脑、笔记本电脑、机动车辆的内置设备或类似内容，或其任意组合。比如，所述移动设备可包括智能家居设备、智能移动设备、虚拟现实设备、增强现实设备或类似设备，或其任意组合。比如，所述智能家居装置可包括智能电视、台式电脑等，或任意组合。比如，所述智能移动设备可包括智能手机、个人数字辅助、游戏设备、导航设备等，或其任意组合。

在一些实施例中，所述人机交互设备可以包括人机交互界面，所述人机交互设备的人机交互功能可以包括但不限于：语音播报、语音输入、网络浏览、文字处理、状态提示、操作输入等。在一些实施例中，所述人机交互设备可以包括显示屏，所述显示屏可以是触摸屏式的液晶显示器(LCD)。所述显示屏具有图像用户界面(GUI)，可使得所述用户通过触摸所述图像用户界面(GUI)和/或通过手势与第一设备200进行人机交互。在一些实施例中，所述人机交互设备可以包括语音播放装置，比如扬声器。所述语音播放装置可以是任意形式的可以传递音频信号的装置。所述用户可以通过所述语音播放装置接收第一设备200传递的语音信息，从而与第一设备200进行人机交互。在一些实施例中，用于执行上述人机交互功能的可执行指令被存储在一个或多个处理器可执行的计算机程序产品或可读存储介质中。在一些实施例中，所述图像采集设备可以包括二维图像采集设备(比如RGB摄像头)，在一些实施例中，所述图像采集设备还可以包括深度图像采集设备(比如3D结构光摄像头、激光探测器，等等)。

在一些实施例中，所述第一设备200上可以安装至少一个应用(APP)。所述APP能够为所述目标用户100提供通过网络400同外界交互的能力以及界面。所述APP可以包括但不限于：网页浏览器类APP程序、搜索类APP程序、信息交互类APP程序、购物类APP程序、视频类APP程序、理财类APP程序、即时通信工具、邮箱客户端、社交平台软件等等。其中，每个所述应用可以包括计算机程序代码。所述计算机程序代码可以包括但不限于，程序、例程、对象、组件、数据结构、过程、模块，等等。所述至少一个应用包括目标应用。所述目标用户100在使用所述目标应用时，可以在所述第一设备200的显示屏上显示人机交互页面，所述目标用户100可以基于所述人机交互页面进行目标操作行为所述目标操作行为可以是能够触发基于本说明书中的隐私保护方法进行的隐私保护处理的操作行为。例如，所述目标应用为支付APP，所述目标用户100在采用所述支付APP支付过程中，触发了人脸支付场景下的生物识别；又例如，所述目标用户100在所述目标终端上触发隐私信息的隐私存储；再例如，所述目标用户100在所述目标终端上触发隐私信息的传输。

在一些实施例中，所述第二设备300可以是实现所述目标应用的各种功能的后台服务器。也就是说，所述目标应用是与所述第二设备300相应的用户端应用，以为目标用户100提供本地服务。所述目标应用可以通过所述第一设备200与所述第二设备300通信，从而所述第二设备300可以通过所述第一设备200向所述目标用户100提供服务。所述第二设备300可以与多个终端进行通信连接(图1中未示出)。所述第一设备200可以通过通信网络400与所述第二设备300交互，以接收或发送消息等，比如，接收或发送所述第一设备发送的所述目标用户100的图像、指示消息等数据。例如，所述第一设备200是所述目标用户的智能终端，所述第二设备300是进行生物认证的服务器，所述目标用户100的目标操作行为触发了生物识别认证流程(以下简称生物识别)，此时，所述第一设备200可以直接采集所述目标用户100的图像或者先采集所述目标用户100视频，再从视频中获得所述目标用户100的图像，然后采用本说明书中的目标脱敏模块对所述目标用户100的图像进行脱敏，并将脱敏后的所述目标用户的脱敏图像发送到所述第二设备300，相应的，所述第二设备300在接收到所述目标用户100的图像后，采用本说明书中的目标反脱敏模块对所述目标用户100的图像进行反脱敏处理，得到相应的反脱敏图像，也就是所述目标用户100图像对应的重建后图像，再基于所述目标用户100的反脱敏图像，对所述目标用户100进行生物识别的其他处理流程。

在一些实施例中，所述第二设备300可以是另一台智能电子设备。例如，所述第二设备300上装载了与所述第一设备200相同的目标应用，比如信息交互软件，从而所述第二设备300与所述第一设备200可以通过通信网络400，基于所述相同的目标应用实现信息交互，在信息交互过程中，所述目标用户100的目标操作行为可以是：采用所述第一设备200向所述第二设备发送目标图像，所述目标操作行为将触发所述第一设备200采用本说明书中的目标脱敏模块对所述目标图像进行脱敏处理，得到所述目标图像的脱敏图像，然后，所述第一设备将所述目标图像的脱敏图像发送给所述第二设备300，所述第二设备300接收到所述目标图像的脱敏图像后，采用本说明书中的目标反脱敏模块对所述目标图像进行反脱敏处理，得到相应的反脱敏图像，也就是所述目标图像的重建后图像，然后，向所述第二设备300的操作方用户展示所述重建后图像。

所述通信网络400用以在第一设备200和第二设备300之间提供通信连接的介质。通信网络400可以促进信息或数据的交换。如图1所示，第一设备200和第二设备300可以同通信网络400连接，并且通过通信网络400互相传输信息或数据。在一些实施例中，通信网络400可以是任何类型的有线或无线网络，也可以是其组合。比如，通信网络400可以包括电缆网络，有线网络、光纤网络、电信通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、大都市市区网(MAN)、广域网(WAN)、公用电话交换网(PSTN)、蓝牙^TM网络、ZigBee^TM网络、近场通信(NFC)网络或类似网络。在一些实施例中，通信网络400可以包括一个或多个网络接入点。例如，通信网络400可以包括有线或无线网络接入点，如基站或互联网交换点，通过该接入点，第一设备200和第二设备300的一个或多个组件可以连接到通信网络400以交换数据或信息。

应该理解，图1中的第一设备200、第二设备300和同通信网络400的数目仅仅是示意性的。根据实现需要，场景001中可以具有任意数目的第一设备200、第二设备300和通信网络400。

图2示出了根据本说明书的实施例提供的一种计算设备600的硬件结构图。所述计算设备600可以执行本说明书描述的隐私保护方法，所述隐私保护方法将在本说明书中的其他部分详细介绍。当所述隐私保护方法在第一设备200上执行时，所述计算设备600可以是第一设备200。当所述隐私保护方法在第二设备300上执行时，所述计算设备600可以是第二设备300。当所述隐私保护方法部分在第一设备200上执行，部分在第二设备300上执行时，所述计算设备600既可以是第一设备200，也可以是第二设备300。

如图2所示，所述计算设备600可以包括至少一个存储介质630和至少一个处理器620。在一些实施例中，计算设备600还可以包括通信端口650和内部通信总线610。同时，计算设备600还可以包括I/O组件660。

内部通信总线610可以连接不同的系统组件，包括存储介质630、处理器620和通信端口650。

I/O组件660支持计算设备600和其他组件之间的输入/输出。

通信端口650用于计算设备600同外界的数据通信，比如，通信端口650可以用于计算设备600同通信网络400之间的数据通信。通信端口650可以是有线通信端口也可以是无线通信端口。

存储介质630可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质，也可以是暂时性存储介质。比如，所述数据存储装置可以包括磁盘632、只读存储介质(ROM)634或随机存取存储介质(RAM)636中的一种或多种。存储介质630还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码，所述计算机程序代码可以包括执行本说明书提供的隐私保护方法的程序、例程、对象、组件、数据结构、过程、模块等等。

至少一个处理器620可以同至少一个存储介质630以及通信端口650通过内部通信总线610通信连接。至少一个处理器620用以执行上述至少一个指令集。当计算设备600运行时，至少一个处理器620读取所述至少一个指令集，并且根据所述至少一个指令集的指示，执行本说明书提供的隐私保护方法。处理器620可以执行隐私保护方法包含的所有步骤。处理器620可以是一个或多个处理器的形式，在一些实施例中，处理器620可以包括一个或多个硬件处理器，例如微控制器，微处理器，精简指令集计算机(RISC)，专用集成电路(ASIC)，特定于应用的指令集处理器(ASIP)，中心处理单元(CPU)，图形处理单元(GPU)，物理处理单元(PPU)，微控制器单元，数字信号处理器(DSP)，现场可编程门阵列(FPGA)，高级RISC机器(ARM)，可编程逻辑器件(PLD)，能够执行一个或多个功能的任何电路或处理器等，或其任何组合。仅仅为了说明问题，在本说明书中计算设备600中仅描述了一个处理器620。然而，应当注意，本说明书中计算设备600还可以包括多个处理器，因此，本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行，也可以由多个处理器联合执行。例如，如果在本说明书中计算设备600的处理器620执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同处理器620联合或分开执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一和第二处理器共同执行步骤A和B)。

为了便于理解，下面将以应用场景为生物识别场景、所述隐私信息为用户的图像为例，对本说明书所述隐私保护模型的训练方法、隐私保护方法及系统进行详细说明。

本说明书提出了一种隐私保护模型的训练方法，将采用隐私保护模型的训练方法训练得到的隐私保护模型应用于隐私保护方法和系统，能够在保证隐私保护的性能的前提下，可以得到轻量级的隐私保护模型，从而可以节省隐私保护耗费的算力和存储资源，使之适用于用户的终端设备。本说明书提出的隐私保护模型的训练方法，先对预设脱敏模块进行训练，得到第一脱敏模块，其次，再基于第一脱敏模块的参数的敏感度，以参数剪裁的方式训练所述第一脱敏模块，得到第二脱敏模块，使得所述第二脱敏模块的参数的数量远少于第一脱敏模块的参数数量，然后，再以知识蒸馏的方式训练所述第二脱敏模块，得到脱敏模块，以使得所述脱敏模块的性能与所述第一脱敏模块的性能保持一致，从而得到性能保持不变但更加轻量级的脱敏模块，进而得到所述隐私保护模型。相应的，本说明书提出的一种隐私保护方法，采用了隐私保护模型的训练方法得到的隐私保护模型对所述目标用户100的目标图像进行隐私保护，不仅可以提高隐私保护的运行效率，还能够保持隐私保护的性能。

图3示出了根据本说明书的实施例提供的隐私保护模型的训练方法P100的流程图。任意计算设备可以执行本说明书的隐私保护模型的训练方法P100，为便于理解，我们将执行本说明书的隐私保护模型的训练方法P100的任意计算设备称为训练设备，所述训练设备可以是本说明书中的所述计算设备600，也可以是第三方计算设备，所述第三方计算设备的硬件结构可以与所述硬件设备600的硬件结构相同，此处不再赘述。需要说明的是，在所述方法P100中所获取的目标用户100的数据以及其他用户的数据均经过用户授权。

如图3所示，P100可以包括：

S110：训练设备训练预设隐私保护模型，得到第一脱敏模块。

其中，所述预设隐私保护模型可以是初始的还未训练的隐私保护模型，也可以是训练过程中的隐私保护模型。在训练开始前，所述预设隐私保护模型的参数可以是初始参数。图4示出了根据本说明书的实施例提供的一种隐私保护模型的训练方法的示意图。如图4所示，所述预设隐私保护模型可以包括预设脱敏模块。相应的，所述预设脱敏模块可以是初始的还未训练的脱敏模块，也可以是训练过程中的脱敏模块。所述训练预设隐私保护模型可以包括训练所述预设脱敏模块，得到所述第一脱敏模块。

如图4所示，在一些实施例中，所述预设隐私保护模型也可以包括预设反脱敏模块。所述预设饭脱敏模块可以与所述预设脱敏模块相对应。所述预设脱敏模块可以用于对图像进行脱敏处理。所述预设反脱敏模块可以用于对经过所述预设脱敏模块进行脱敏处理后的图像进行反脱敏处理，以重建图像。在一些实施例中，所述预设反脱敏模块可以与所述预设脱敏模块一起训练。此时，训练预设隐私保护模型还可以包括训练所述预设反脱敏模块，以得到反脱敏模块。在一些实施例中，所述预设反脱敏模块也可以是提前训练好的模块。

如前所述，在一些实施例中，所述训练预设隐私保护模型可以包括：将第一样本图像集输入至所述预设隐私保护模型，基于第一训练目标对所述预设隐私保护模型进行迭代训练，以更新所述预设隐私保护模型的参数。

如前所述，在一些实施例中，训练所述预设隐私保护模型可以包括训练所述预设脱敏模块，即将第一样本图像集输入至所述预设脱敏模块，所述预设脱敏模块输出与之对应的脱敏图像，以及确定所述第一训练图像对应的第一损失信息，并基于所述第一训练目标以及所述第一损失信息更新所述预设脱敏模块的参数。

此时，所述第一训练目标可以包括约束所述第一训练图像与其对应的脱敏图像之间的相似度尽可能的小，如趋近于0或者其他阈值。在一些实施例中，所述第一训练目标还可以包括约束所述第一训练图像与其对应的重建图像之间的差异尽可能的小，如趋近于0或者其他阈值。其中，所述第一训练图像对应的重建图像是基于预设反脱敏模块对所述第一训练图像对应的脱敏图像进行反脱敏得到的。此时，所述预设反脱敏模块可以是预先训练好的模块。

如前所述，在一些实施例中，训练所述预设隐私保护模型可以包括训练所述预设脱敏模块以及所述预设反脱敏模块，即将第一样本图像集输入至所述预设脱敏模块，所述预设脱敏模块输出与之对应的脱敏图像，将所述脱敏图像输入至所述预设反脱敏模块，所述预设反脱敏模块输出与之对应的重建图像，基于第一训练目标对所述预设脱敏模块以及所述预设反脱敏模块进行迭代训练，以更新所述预设脱敏模块以及所述预设反脱敏模块的参数，从而得到所述第一脱敏模块以及反脱敏模块。此时，所述第一训练目标可以包括约束所述第一样本图像与其对应的脱敏图像之间的相似度趋近于0，以及约束所述第一样本图像与其对应的重建图像之间的差异趋近于0。

为了获取轻量化的隐私保护模型，后续需对所述第一脱敏模块进行模型压缩。为了保证后面的模型压缩的兼容性，避免模型压缩后导致信息量的丢失，在步骤S110中训练所述预设隐私保护模型时，可以增加所述第一脱敏模块的中间层特征的冗余度，以增加第一脱敏模块的信息冗余，避免模型压缩后的性能下降。因此，在训练所述预设隐私保护模型时，在每次迭代中，可以基于所述预设脱敏模块的多个通道间的相关性，使所述预设脱敏模块的相关性低于预设的通道阈值的部分通道失活。

需要说明的是，对于任意的机器学习模型(如深度神经网络模型、卷积神经网络模型等)，除了可以包括多个参数，也就是通过不同的参数取值来表征所述模型，此时每个参数代表一个通道，还可以对所述参数进行组合，从而产生多个通道(channel)，然后通过多个通道的特征值来表征所述模型。所述通道可以理解为所述模型的宽度，也就是所述模型可以提取的不同特征值的类型。示例的，对于样本图像Image而言，有的通道可以提取代表征Image色彩信息的特征值，例如，分别代表红色、绿色以及蓝色的三个通道，可以相应的提取Image的红色、黄色以及蓝色的特征值；有的通道可以提取表征Image灰度信息的特征值，所述灰度信息可以体现物体从白到黑的程度(0-255)；有的通道可以提取代表纹理信息的特征值，所述纹理信息可以体现物体表面具有缓慢变化或者周期性变化的表面结构组织的排列属性；有的通道可以提出表征Image的深度信息的特征值，所述深度特征可以体现图像中物体远近的差异，等等。可见，不同的通道可以表现Image中物体的不同特点。通常，所述模型具有的通道数与所述模型的功能是相关的，并且，所述模型往往具有多个通道，因为所述模型通道越多，则所述模型可以获取(捕捉)的特征类型也就越多，相应的，所述模型的功能也就越多或者性能也就越好。示例的，对于一个用于活体攻击分类的模型，所述模型需要区分当前进行操作的是真实用户(活体)还是攻击用户(比如戴面具的人)，所述活体攻击分类的模型的通道可以包括：用于提取纹理信息的通道，因为活体用户的纹理特征(如人的皮肤)和攻击用户的纹理特征(面具的材质)是不同的，所以所述纹理特征中携带了用于区别活体用户还是攻击用户的信息；进一步的，所述活体攻击分类的模型的通道还可以包括：所述用于提取光信息的通道，因为活体用户的对光线的折射和攻击用户对光线的折射是不同的，所以所述光特征中携带了用于区别活体用户还是攻击用户的信息。通常，所述模型的不同通道之间存在相关性，也就是说，所述不同通道提取的特征值之间存在一定相关性，例如，可以将一个彩色图像转换为灰度图像，也就是说，可以将RGB特征转化为灰度特征，因此，两者是具有相关性的。

基于此，本说明书中所述的脱敏模块的训练方法中，将所述预设脱敏模块训练得到所述第一脱敏模块(也就是基础的脱敏模块)的过程中，可以通过随机选择的方式进行通道剪裁，以使得获得的所述第一脱敏模块具有进行后期进行剪裁等模型压缩处理的兼容性，也就是说，通过随机选择的方式进行通道剪裁得到的所述第一脱敏模块所述第一脱敏模块的中间层特征的冗余度，以使得后期对所述第一脱敏模块进行剪裁后，模型的信息量也不会大量损失，从而有助于确保对所述第一脱敏模块进行剪裁后得到的第二脱敏模块的性能。需要说明的是，对通道进行剪裁，也就是对与所述通道相关的参数进行剪裁，即将与所述通道相关的参数的取值置零。

进一步的，若在所述脱敏模块的训练过程中，可以采用自适应通道选择的方式，也就是在每次迭代过程中，选择通道相关性低的预设通道失活比例的通道进行剪裁，可以进一步确保对所述第一脱敏模块进行压缩后的模型的性能。图5示出了一种训练所述预设隐私保护模型的方法流程图。图5对应的是在每次迭代中，基于所述预设脱敏模块的多个通道间的相关性，使所述预设脱敏模块的相关性低于预设的通道阈值的部分通道失活。需要说明的是，图5示出的步骤针对的是一次迭代过程。如图5所示，所述在每次迭代中，基于所述预设脱敏模块的多个通道间的相关性，使所述预设脱敏模块的相关性低于预设的通道阈值的部分通道失活，包括：

S1101：将当前迭代的第一训练图像输入至所述预设隐私保护模型中，得到所述预设脱敏模块的中间层输出的所述多个通道的特征值。

其中，所述第一样本图像集中可以包括多个用户的原始图像，每一个原始图像作为第一样本图像集中的一个样本图像。对所述预设隐私保护模型的训练可能经过多轮训练，每轮训练过程需要经过多次迭代。对于每轮训练，输入所述隐私保护模型的样本图像为第一训练图像。第一训练图像可以为从所述第一样本图像集中选择的预设数量的样本图像。所述预设数量的样本图像可以是所述第一样本图像集中的全部或部分样本图像。为了方便描述，我们将本轮训练中输入所述预设隐私保护模型的样本图像定义为第一训练图像。所述第一训练图像是所述第一样本图像集中的至少一个样本图像。其中，所述训练设备首先可以将当前迭代的第一训练图像输入至所述预设隐私保护模型中，所述预设脱敏模块的中间层可以输出所述多个通道的特征值。此时所述预设隐私保护模型的参数可以是上一次迭代结束后更新的参数。

如图5所示，所述在每次迭代中，基于所述预设脱敏模块的多个通道间的相关性，使所述预设脱敏模块的相关性低于预设的通道阈值的部分通道失活，还可以包括：

S1103：基于所述多个通道的特征值，确定所述预设脱敏模块的所述多个通道间的相关性，并将相关性低于所述通道阈值的部分通道作为失活通道。

基于所述多个通道的特征值，所述训练设备可以获得所述预设脱敏模块的所述多个通道间的相关性。例如，若所述隐私保护模型存在M个通道，每个通道的中间层特征值分别为[Feature1,Feature2,...,FeatureM]，则所述训练设备可以通过多种方式获得所述M个中间层特征值中每两个特征值的相关性。例如，斯皮尔曼相关性系数计算方式以及皮尔森相关性系数计算方式。其次，所述训练设备可以基于预设的通道阈值，对所述M个中间层特征值中每两个特征值的相关性进行排序，并按照相关性从低到高的顺序，将其中相关性低于所述通道阈值的部分通道作为所述失活通道。其中，所述预设的通道阈值可以通过机器学习的方式、经验的方式、实验方式或者统计学方式获得，本说明书实施例对此不做限定。

在一些实施例中，在步骤S1103可以通过通道失活模块执行。图6示出了一种在训练预设隐私保护模型过程中每次迭代时的数据传输图。如图6所示，将所述预设脱敏模块的中间层输出的所述多个通道的特征值输入至所述通道失活模块，所述通道失活模块基于所述多个通道间的相关性输出当前迭代中的每个中间层中需要失活的通道(即所述失活通道的编号)，并将所述失活通道输入至所述预设脱敏模块中。

S1105：将所述预设脱敏模块中的所述失活通道的参数取值置零，得到失活脱敏模块。

S1107：将所述第一训练图像输入至所述失活脱敏模块中，得到与其对应的第一脱敏图像。

然后，将所述第一训练图像输入所述失活脱敏模块中，所述失活脱敏模块输出与所述第一训练图像对应的脱敏后的第一脱敏图像。

S1109：确定所述第一训练图像对应的第一损失信息，并基于所述第一训练目标以及所述第一损失信息更新所述预设脱敏模块的参数。

在一些实施例中，所述第一训练图像对应的第一损失信息是基于第一损失函数获得的。具体的，所述第一损失函数可以包括第一脱敏损失函数、第一重建损失函数以及失活损失函数。相应的，所述第一训练图像对应的第一损失信息可以包括：第一脱敏损失信息、第一重建损失信息以及通道失活损失信息。

对于第i次迭代，在一些实施例中，所述确定所述第一训练图像对应的第一损失信息可以包括：确定第一脱敏损失信息，所述第一脱敏损失信息可以是所述第一训练图像与其对应的第一脱敏图像的第一相似度。在一些实施例中，所述确定所述第一训练图像对应的第一损失信息还可以包括：确定第一重建损失信息，所述第一重建损失信息可以是所述第一训练图像与其对应的第一重建图像的第一差异。在一些实施例中，所述确定所述第一训练图像对应的第一损失信息还可以包括：确定失活损失信息，所述失活损失信息可以是所述失活通道的数量与所述多个通道的数量的第一比例。即第一损失信息Loss1(i)可以包括第一相似度、所述第一差异以及所述第一比例。

在一些实施例中，所述第一训练目标可以包括约束所述第一相似度小于预设的第一脱敏阈值。其中，所述第一脱敏阈值可以是一个较小的值，比如0.01、0.05、0.1，或者更大或者更小的其他值。所述第一脱敏阈值可以通过机器学习的方式、经验的方式、实验方式或者统计学方式获得，本说明书实施例对此不做限定。也就是说所述第一训练目标可以约束所述第一训练图像与其对应的第一脱敏图像的第一相似度趋近于0。即约束所述脱敏模块向所述第一训练图像与其对应的第一脱敏图像的第一相似度趋近于0的方向迭代。也可以理解为，对所述预设脱敏模块的训练，对于每一次迭代，输入所述预设脱敏模块的第一训练图像与所述第一脱敏模块输出的所述第一训练图像相应的第一脱敏图像的差异应该尽量大，或者说，所述第一训练图像与其对应的第一脱敏图像的第一相似度小于预设的第一脱敏阈值，从而难以基于所述第一训练图像关联到所述第一脱敏图像。例如，所述第一训练图像可以是所述目标用户100的一张人脸图像，所述第一脱敏图像可以为一张近似噪声的图像。在一些实施例中，所述第一相似度可以基于所述第一训练图像与其对应的第一脱敏图像，通过结构相似性算法、均值Hash算法、或者通过预先训练好的用于获得两张图像的相似度的机器学习模型来获得，本说明书实施例对此不做限定。

在一些实施例中，所述第一训练目标还可以包括约束所述第一差异小于预设的第一重建阈值。其中，所述第一重建图像是基于前述的预设反脱敏模块对所述第一脱敏图像进行反脱敏得到的。其中，所述第一重建阈值可以通过机器学习的方式、经验的方式、实验方式或者统计学方式获得，本说明书实施例对此不做限定。第一重建阈值可以是一个较小的值，比如0.001、0.02、0.1，或者更大或者更小的其他值。也就是说所述第一训练目标可以约束所述第一训练图像与其对应的第一重建图像的第一差异趋近于0。即约束所述脱敏模块向所述第一训练图像与其对应的第一重建图像的第一差异趋近于0的方向迭代，使得基于第一脱敏图像重建后得到的第一重建图像趋近于第一训练图像，即尽可能从第一脱敏图像中恢复第一训练图像中的所有信息及特征。特别是对于生物识别场景来说，服务器是基于第一重建图像进行生物识别的，因此，所述第一训练图像与其对应的第一重建图像的差异越小，也就是所述第一训练图像与其对应的第一重建图像的相似度越高，则基于所述第一重建图像进行生物识别的结果也就越准确。其中，所述第一差异可以通过所述第一训练图像与其对应的第一重建图像的第一距离表征，也就说，所述第一差异越大，则所述第一距离也就越大，所述第一差异越小，所述第一距离也就越小，例如，所述第一距离可以通过欧式距离的方式获得。

在一些实施例中，所述第一训练目标还可以包括约束所述第一比例在预设的失活比例范围内。其中，所述失活比例范围可以通过机器学习的方式、经验的方式、实验方式或者统计学方式获得，本说明书实施例对此不做限定。所述失活比例范围可以是一个值，也可以是多个值，可以是一个连续的范围，也可以是多个间隔的范围。在一些实施例中，所述预设的失活比例范围可以为0.5±0.1。在一些实施例中，所述预设的失活比例范围可以为0.5±0.2。所述失活比例范围可以预先设定，也可以根据场景需求进行更改。进一步的，对所述预设脱敏模块的训练，所述训练设备还可以约束所述失活通道的数量与所述多个通道的数量的第一比例在预设的失活比例范围内，以确保训练好的所述第一脱敏模块的冗余度在适合的范围内，便于后续进行剪裁等压缩处理。示例的，若所述预设脱敏模块的通道总数为M＝100，所述相关性低于所述通道阈值的部分通道数可以基于M和所述预设的失活比例范围获得。可见，所述预设的通道阈值与所述预设的失活比例范围之间存在关联性，在所述预设脱敏模块的训练过程中，所述预设的通道阈值将基于所述预设的失活比例范围进行更新调整。

如上所述，所述训练设备可以基于所述第一训练目标，获得所述第一训练图像对应的第一损失信息，基于所述第一损失信息更新所述预设脱敏模块的参数，并将更新后的参数作为下一次迭代的预设隐私保护模型的参数。可见，在对所述预设隐私保护模型的训练过程中，并未对所述预设隐私保护模型进行通道剪裁，因此，训练后得到的所述第一脱敏模块的通道数依然与训练前的所述预设脱敏模块的通道数相同。

如图3和图4所示，所述训练方法P100还可以包括：

S130：基于所述第一脱敏模块的参数的敏感度，以参数剪裁的方式训练所述第一脱敏模块，得到第二脱敏模块。

基于前述的训练预设隐私保护模型的方法来增加通道之间的冗余度，可以使得步骤S130中对第一脱敏模块进行裁剪后得到的第二脱敏模块中避免信息的丢失，从而减少所述第一脱敏模块的参数的数量，减小所述第二脱敏模块的体积以及耗费存储空间及算力，同时可以保持所述第二脱敏模块的性能。

本说明书提供的训练方法P100可以基于参数的敏感度来评价参数的重要性，从而对重要性低的参数进行裁剪。基于参数敏感度的方法可以能够准确刻画参数的重要性，得到更合理的裁剪组合，在降低第二脱敏模块体积的情况下，提升第二脱敏模块的性能。

在一些实施例中，步骤S130可以包括：将第二样本图像集输入至所述第一脱敏模块，基于第二训练目标对所述第一脱敏模块进行迭代训练，以更新所述第一脱敏模块的参数，其中，在每次迭代中，基于所述第一脱敏模块的每个参数的敏感度，确定当前迭代的裁剪参数，并基于所述裁剪参数对所述第一脱敏模块的参数进行剪裁；迭代结束后得到最后一次迭代对应的剪裁参数以及最后一次迭代对应的第一脱敏模块；以及基于所述最后一次迭代对应的剪裁参数对所述最后一次迭代对应的第一脱敏模块进行剪裁，得到所述第二脱敏模块。其中，所述第二样本图像集可以包括多个用户的原始图像，所述第二样本图像集可以与所述第一样本集相同，也可以与所述第一样本集不同。假设迭代总次数为I，当前迭代次数为i，i小于或等于I，i为自然数。由于每次迭代都会所更新所述第一脱敏模块的参数，为便于描述，将当前迭代开始时对应的所述第一脱敏模块记为DModel1(i)，则在下一次迭代开始前，所述训练设备获得本次迭代的损失信息Loss2(i)，并将Loss2(i)反馈至DModel1(i)，从而更新所述第一脱敏模块的参数的取值，得到下一次迭代开始时对应的所述第一脱敏模块DModel1(i+1)。假设最后一次迭代为第N次迭代，最后一次迭代开始时的所述第一脱敏模块为DModel1(I)，最后一次迭代得到的剪裁参数记为ParaPruning(I)，则最后一次迭代结束后，可以得到DModel1(I+1)，然后，所述训练设备可以在DModel1(I+1)的基础上，基于ParaPruning(I)对DModel1(I+1)进行参数剪裁，得到所述第二脱敏模块。

图7示出了根据本说明书的实施例提供的一种对第一脱敏模块训练过程中一次迭代的流程图。图7对应在每次迭代中，基于所述第一脱敏模块的每个参数的敏感度，确定当前迭代的裁剪参数，并基于所述裁剪参数对所述第一脱敏模块的参数进行剪裁。需要说明的是，图7所示的步骤针对的是一次迭代。如图7所示，所述在每次迭代中，基于所述第一脱敏模块的每个参数的敏感度，确定当前迭代的裁剪参数，并基于所述裁剪参数对所述第一脱敏模块的参数进行剪裁可以包括：

S1301：确定所述第一脱敏模块的每个参数的敏感度。

为了方便描述，我们将本轮训练中输入所述第一脱敏模块的样本图像定义为第二训练图像。所述第二训练图像是所述第二样本图像集中的至少一个样本图像。

在一些实施例中，S1301可以包括，对于所述当前迭代：将所述第二训练图像输入至所述第一脱敏模块，输出与其对应的第三脱敏图像；确定所述第二训练图像对应的第三损失信息；以及对所述每个参数执行：对当前参数添加预设扰动，确定所述预设扰动添加前后所述第三损失信息的变化量，并基于所述变化量确定所述当前参数的敏感度。

在一些实施例中，所述第二训练图像对应的第三损失信息是基于第三损失函数获得的。具体的，所述第三损失函数可以包括第三脱敏损失函数、第三重建损失函数。相应的，所述第二训练图像对应的第三损失信息可以包括：第三脱敏损失信息以及第三重建损失信息。

对于第i次迭代，在一些实施例中，所述确定所述第二训练图像对应的第三损失信息可以包括：确定第三脱敏损失信息，所述第三脱敏损失信息可以是所述第二训练图像与其对应的第三脱敏图像的第三相似度。在一些实施例中，所述确定所述第二训练图像对应的第三损失信息还可以包括：确定第三重建损失信息，所述第三重建损失信息可以是所述第二训练图像与其对应的第三重建图像的第三差异，其中，所述第三重建图像可以是基于预先训练好的反脱敏模块对所述第三脱敏图像进行反脱敏得到的。即Loss3(i)可以包括所述第三相似度以及所述第三差异。在一些实施例中，所述第三相似度的获得方式可以参照前述第一相似度的获得方式，此处不再赘述。在一些实施例中，所述第三差异可以通过所述第二训练图像与其对应的第三重建图像的第三距离表征，即所述第三距离越小，则所述第三差异越小，所述第三距离越大，则所述第三差异越大，例如，所述第二训练图像与其对应的第三重建图像的距离可以通过欧式距离的方式获得。

具体的，假设当前迭代次数为i，当前迭代的所述第一脱敏模块为DModel1(i)，DModel1(i)共有J个参数，当前迭代输入的第二训练图像为Sample2(i)，将Sample2(i)输入DModel1(i)，DModel1(i)输出的第三脱敏图像DImage3(i)，基于相应的预先训练好的反脱敏模块ADModel(i)，可以获得DImage3(i)对应的ADImage3(i)，从而，获得Sample2(i)对于DModel1(i)的所述第三损失信息Loss3(i)。其中，Loss3(i)可以包括所述第三脱敏损失信息DLoss3(i)和所述第三重建损失信息ADLoss3(i)。其中，DLoss3(i)可以为Sample2(i)和DImage3(i)之间的第三相似度。其中，ADLoss3(i)可以为DImage3(i)与ADImage3(i)之间的第三差异。

对于DModel1(i)的每个参数j，j＝[1-J]，j为自然数，可以在DModel1(i)的第j个参数的基础上添加预设扰动(所述预设扰动可以是随机扰动)，其他参数保持不变，此时的第一脱敏模块可以记为DModel1(i,j)，将Sample2(i)输入DModel1(i,j)，可以获得Sample2(i)在DModel1(i,j)的损失信息Loss3(i,j)，Loss3(i,j)的获得方式可以参照前述Loss3(i)的获得方式，区别仅在于将第一脱敏模块由DModel1(i)替换为DModel1(i,j)，此处不再赘述。比较Loss3(i,j)与Loss3(i)，得到每个Loss3(i,j)与Loss3(i)之间的差异，也就是所述预设扰动添加前后所述第三损失信息的变化量ΔLoss3(i,j)，并基于ΔLoss3(i,j)，得到DModel1(i)的相应参数的敏感度SPara(i)＝[spara1,spara2,...,sparaJ]。例如，第j个参数的敏感度可以为ΔLoss3(i,j)，或者，还可以基于机器学习的方式、统计学方式或者经验的方式，获得以ΔLoss2(i,j)为自变量的第一函数，再基于ΔLoss3(i,j)和所述第一函数，得到第j个参数的敏感度。

在一些实施例中，所述参数的敏感度可以通过敏感度计算模块进行计算。所述敏感度计算模块的输入可以是所述第一脱敏模块的参数，输出可以是每个参数对应的敏感度。

S1303：基于所述第一脱敏模块的每个参数的敏感度，确定所述第一脱敏模块的剪裁参数。

在一些实施例中，S1303可以包括：将所述每个参数以及所述每个参数的敏感度输入至预设强化学习模块中，以第三训练目标训练所述预设强化学习模块；将所述每个参数以及所述每个参数的敏感度输入至训练后的强化学习模块中，确定参数剪裁规则，所述参数剪裁规则包括多个参数剪裁组合中的一个；以及基于所述参数剪裁规则，确定所述剪裁参数。

所述训练后的强化学习模块可以是在所述第一脱敏模块训练过程中的一次迭代中对预设强化学习模块进行训练后得到的强化学习模块。所述预设强化学习模块的训练可以在通过预设次数的迭代次数后结束。此次迭代结束后得到的训练后的强化学习模块可以是下一次迭代中的所述预设强化学习模块。所述预设强化学习模块在训练过程中每次迭代的输出可以是预设的多种参数裁剪组合各自对应的概率。其中概率最高的参数裁剪组合为所述预设强化学习模块在训练过程中每次迭代所对应的预测参数裁剪规则。所述训练后的强化学习模块输出的概率最高的参数裁剪组合为所述第一脱敏模块在训练过程中的当前迭代对应的所述参数裁剪规则。所述参数裁剪组合可以是基于参数敏感度的组合，示例的，可以将不同敏感度的参数进行组合。比如，所述参数裁剪组合可以是敏感度最低的20％的参数以及敏感度最高的20％的参数，或者，敏感度最低的20％的参数以及敏感度最高的30％的参数，或者，中敏感度最低的30％的参数以及敏感度最高的20％的参数，或者，敏感度最低的30％的参数以及敏感度最高的30％的参数。所述参数裁剪组合可以是预先设定的参数组合。在一些实施例中，所述预先设定的参数组合可以通过多种方式获取，比如经验方式、实验方式、统计方式或者机器学习方式，或者以上方式的组合。

在一些实施例中，所述第三训练目标可以包括：约束所述第二训练图像与其对应的强化脱敏图像之间的强化相似度小于预设的第二脱敏阈值。其中，所述强化脱敏图像为基于所述预设强化学习模型输出的预测参数裁剪规则对所述第一脱敏模块进行裁剪得到的中间裁剪脱敏模块基于所述第二训练图像得到的脱敏图像。在一些实施例中，所述第二脱敏阈值可以通过多种方式获取，比如经验方式、实验方式、统计方式或者机器学习方式，或者以上方式的组合。在一些实施例中，所述第二脱敏阈值可以是一个较小的值，比如0.05、0.1，甚至更小或更大的值，以使得所述第二训练图像与其对应的强化脱敏图像之间的相似度趋近于0，使得所述第二训练图像与其对应的强化脱敏图像之间的相似度尽可能的小，即所述第二训练图像与其对应的强化脱敏图像之间的差异尽可能的大，从而难以基于所述强化脱敏图像关联到所述第二训练图像。

在一些实施例中，所述第三训练目标还可以包括：约束所述第二训练图像与其对应的强化重建图像之间的强化差异小于预设的第二重建阈值。所述强化重建图像是基于预先训练好的反脱敏模块对所述强化脱敏图像进行反脱敏得到的。所述反脱敏模块与第一脱敏模块对应。在一些实施例中，所述第二重建阈值可以通过多种方式获取，比如经验方式、实验方式、统计方式或者机器学习方式，或者以上方式的组合。在一些实施例中，所述第二重建阈值可以是一个较小的值，比如0.04、0.09，甚至更小或更大的值，以使得所述强化重建图像趋近于所述第二训练图像，以使得强化重建图像可以从第二训练图像中获取尽可能多的信息。特别是对于生物识别场景来说，所述服务器是基于反脱敏后的重建图像进行生物识别的，因此，所述第二训练图像与其对应的强化重建图像的差异越小，也就是相似度越高，则基于所述强化重建图像进行生物识别的结果也就越准确。

在一些实施例中，所述第三训练目标还可以包括：约束所述预设强化学习模型输出的预测参数裁剪规则对应的预测剪裁参数的数量与所述第一脱敏模块的所有参数的数量的第二比例在预设的裁剪比例范围内，以使得所述第二比例趋近于预设的剪裁比例范围，以确保对第一脱敏模块进行合理的裁剪，避免裁剪数量过多导致模型性能下降，以及避免裁剪数量过少导致模型压缩率低。其中，所述剪裁比例范围可以通过基于机器学习的方式、统计学方式或者经验的方式获得。在一些实施例中，所述剪裁比例范围不小于75％。在一些实施例中，所述剪裁比例范围可以为[75％-85％]，也就是说，所述第二脱敏模块的参数的总数量与所述第一脱敏模块的参数的总数量的比值在[15％-25％]范围内。

具体的，对于所述第一脱敏模块在训练过程中的第i次迭代，在获得所述第一脱敏模块DModel1(i)的每个参数的敏感度SPara(i)后，所述训练设备可以保持所述第一脱敏模块DModel1(i)不更新参数，将DModel1(i)的每个参数的敏感度SPara(i)输入至预设强化学习模块中，以预设强化迭代次数和所述第三训练目标训练所述预设强化学习模块，在完成所述预设强化迭代次数后，获得相对于第i次迭代的训练后的强化学习模块。然后，训练设备可以将所述每个参数以及所述每个参数的敏感度输入至训练后的强化学习模块中，确定第i次迭代对应的参数剪裁规则，并基于所述参数剪裁规则，确定第i次迭代所对应的所述剪裁参数。

S1305：基于所述剪裁参数，对所述第一脱敏模块进行剪裁，得到第一剪裁脱敏模块。

在第i次迭代中，基于训练好的强化学习模块，可以得到此次迭代对应的裁剪规则。训练设备可以基于所述裁剪规则确定此次迭代对应的裁剪参数，并基于所述裁剪参数对此次迭代中的第一脱敏模块进行参数裁剪，得到第一剪裁脱敏模块。

S1307：将第二训练图像输入至所述第一剪裁脱敏模块中，输出与其对应的第二脱敏图像。

S1309：确定所述第二训练图像对应的第二损失信息，并基于所述第二训练目标以及所述第二损失信息更新所述第一脱敏模块的参数。

其中，在一些实施例中，所述第二训练图像对应的第二损失信息可以基于第二损失函数获得的。具体的，所述第二损失函数可以包括第二脱敏损失函数、第二重建损失函数以及剪裁损失函数。相应的，所述第二训练图像对应的第二损失信息可以包括：第二脱敏损失信息、第二重建损失信息以及剪裁损失信息。

对于所述第一脱敏模块训练时的第i次迭代中的所述预设强化学习模块训练时的每次迭代，在一些实施例中，所述确定所述第二训练图像对应的第二损失信息可以包括：确定所述第二脱敏损失信息，所述第二脱敏损失信息可以是所述第二训练图像与其对应的第二脱敏图像的第二相似度。在一些实施例中，所述确定所述第二训练图像对应的第二损失信息还可以包括：确定所述第二重建损失信息，所述第二重建损失信息可以是第二训练图像与其对应的所述第二重建图像的第二差异，其中，所述第二重建图像是基于预先训练好的反脱敏模块对所述第二脱敏图像进行反脱敏得到的。在一些实施例中，所述确定所述第二训练图像对应的第二损失信息还可以包括：确定所述剪裁损失信息，所述剪裁损失信息可以是所述剪裁参数的数量与所述第一脱敏模块的所有参数的数量的第二比例。也就是说，所述第二损失信息Loss2(i)可以包括所述第二相似度、所述第二差异以及所述第二比例。对于所述第二损失信息中的所述相似度和差异的获得方式，可参见前述第一损失信息中的所述相似度和差异的的获得方式，此处不再赘述。

对于所述第二损失信息中的所述相似度和差异的获得方式，可参见前述第一损失信息中的所述相似度和差异的的获得方式，此处不再赘述。

在一些实施例中，所述第二训练目标可以包括：约束所述第二相似度小于预设的第二脱敏阈值。所述第二脱敏阈值如前所述，在此不再赘述。

在一些实施例中，所述第二训练目标还可以包括：约束所述第二差异小于预设的第二重建阈值。所述第二重建阈值如前所述，在此不再赘述。

在一些实施例中，所述第二训练目标还可以包括：约束所述第二比例在预设的剪裁比例范围内，以使得所述第二比例趋近于预设的剪裁比例范围，以确保对第一脱敏模块进行合理的裁剪，避免裁剪数量过多导致模型性能下降，以及避免裁剪数量过少导致模型压缩率低。图8示出了一种在训练第一脱敏模块过程中每次迭代时的数据传输图。如图8所示，将所述第一脱敏模块的每个参数以及所述每个参数的敏感度输入至预设强化学习模块中，所述强化学习模块基于所述参数剪裁规则，确定所述剪裁参数，并将所述所述剪裁参输入至所述第一脱敏模块中。

需要注意的是，在每次迭代中，更新的是所述第一脱敏模块的参数，而不是所述第一裁剪脱敏模块的参数。所述第一裁剪脱敏模块只是作为中间状态存在。每次迭代中的所述第一脱敏模块的参数是上一次迭代结束后更新的所述第一脱敏模块的参数。

如图3和图4所示，所述训练方法P100还可以包括：

S150：以知识蒸馏的方式训练所述第二脱敏模块，得到所述脱敏模块。

如前所述，知识蒸馏的训练方式的原理为：基于预先训练好的教师模型训练轻量化的学生模型。基于此，在一些实现方式中，S150包括：基于第三样本图像集，以所述第一脱敏模块为教师模型，以所述第二脱敏模块为学生模型，对所述第二脱敏模块进行知识蒸馏，通过迭代训练，更新所述第二脱敏模块的参数，以使得训练好的第二脱敏模块的性能可以趋近于所述第一脱敏模块。其中，所述第三样本图像集可以与所述第二样本图像集或所述第三样本图像集相同，也可以与所述第二样本图像集和所述第三样本图像集均不相同，本说明书对此不做限定。

具体的，在一些实施例中，如图9所示，对于S150，在每次迭代中，可以包括如下步骤：

S1501：所述训练设备将当前迭代的第三训练图像输入至所述第一脱敏模块中，输出与其对应的第四脱敏图像，所述第三训练图像包括所述第三样本图像集中的至少一个样本图像。

也就是说，所述第四脱敏图像为所述教师模型的输出结果。

S1503：将所述第三训练图像输入至所述第二脱敏模块中，输出与其对应的第五脱敏图像。

也就是说，所述第五脱敏图像为所述学生模型的输出结果。

S1505：将所述第三训练图像、所述第四脱敏图像以及所述第五脱敏图像分别输入预先训练好的监督模块中，输出对应的监督特征值，所述监督特征值包括与所述第三训练图像对应的第一特征值、与所述第四脱敏图像对应的第二特征值以及与所述第五脱敏图像对应的第三特征值。

其中，示例的，所述监督模块可以是一个预先训练好的第三方模型，如图像分类模型，所述监督模块可以基于输入的图像，输出与其对应的中间层特征值。基于此，对于输入为所述第三训练图像，所述监督模块可以输出与其对应的第一特征值；对于输入为所述第四脱敏图像，所述监督模块可以输出与其对应的第二特征值；对于输入为所述第五脱敏图像，所述监督模块可以输出与其对应的第三特征值。

S1507：确定所述第三训练图像对应的第四损失信息，并基于第四训练目标以及所述第四损失信息更新所述第二脱敏模块的参数。

在一些实施例中，在一些实施例中，所述第三训练图像对应的第四损失信息可以基于第四损失函数获得。具体的，所述第四损失函数可以包括第一一致性损失函数、第二一致性损失函数以及隐私性损失函数。相应的，所述第三训练图像对应的第四损失信息可以包括：第一一致性损失信息、第二一致性损失信息以及隐私性损失信息。

在一些实施例中，所述确定所述第三训练图像对应的第四损失信息可以包括确定所述第一一致性损失信息，所述第一一致性损失信息可以是所述第四脱敏图像与其对应的第五脱敏图像的第四差异。在一些实施例中，所述确定所述第三训练图像对应的第四损失信息还可以包括确定所述第二一致性损失信息，所述第二一致性损失信息可以是所述第二特征值与其对应的所述第三特征值的第五差异。在一些实施例中，所述确定所述第三训练图像对应的第四损失信息还可以包括确定隐私性损失信息，所述隐私性损失信息可以是所述第一特征值与其对应的第三特征值的第四相似度。也就是说，所述第四损失信息Loss4(i)可以包括所述第四差异、所述第五差异以及所述第四相似度。

在一些实施例中，所述第四训练目标可以包括：约束所述第四差异小于预设的第一一致性阈值。在一些实施例中，所述第一一致性阈值可以通过多种方式获取，比如经验方式、实验方式、统计方式或者机器学习方式，或者以上方式的组合。在一些实施例中，所述第一一致性阈值可以是一个较小的值，比如0.03、0.08，甚至更小或更大的值，以使得所述第五脱敏图像趋近于所述第四脱敏图像，也就是所述第五脱敏图像与所述第四脱敏图像的差异趋近于0，以使得所述学生模型输出的脱敏图像可以尽可能的趋近于所述教师模型输出的脱敏图像，从而使得所述学生模型的脱敏性能趋近于所述教师模型的脱敏性能。

在一些实施例中，所述第四训练目标还可以包括：约束所述第五差异小于预设的第二一致性阈值。在一些实施例中，所述第二一致性阈值可以通过多种方式获取，比如经验方式、实验方式、统计方式或者机器学习方式，或者以上方式的组合。在一些实施例中，所述第二一致性阈值可以是一个较小的值，比如0.01、0.03，甚至更小或更大的值，以使得所述第五脱敏图像的中间层特征值趋近于所述第四脱敏图像的中间层特征值，给也就是所述第五脱敏图像的中间层特征值与所述第四脱敏图像的中间层特征值的差异趋近于0，从而进一步使得所述学生模型的脱敏性能趋近于所述教师模型的脱敏性能。

在一些实施例中，所述第四训练目标还可以包括：约束所述第四相似度小于预设的隐私性阈值，在一些实施例中，所述隐私性阈值可以通过多种方式获取，比如经验方式、实验方式、统计方式或者机器学习方式，或者以上方式的组合。在一些实施例中，所述隐私性阈值可以是一个较小的值，比如0.05、0.1，甚至更小或更大的值，以使得所述第一特征值与第三特征值之间的相似度趋近于0，即所述第一特征值与所述第三特征值之间的差异尽可能的大，从而难以基于所述第五脱敏图像关联到所述第三训练图像。从而，在体积减少(参数裁剪后)的情况下，保证了所述脱敏模块(学生模块)的性能趋近于第一脱敏模块(教师模块)的性能。

具体的，在另一些实施例中，对于S150，在每次迭代中，可以包括如下步骤：

S1511：所述训练设备将当前迭代的第三训练图像输入至所述第一脱敏模块中，输出与其对应的第四脱敏图像以及所述第四脱敏图像对应的第四特征值，所述第三训练图像包括所述第三样本图像集中的至少一个样本图像。所述第四脱敏图像为所述教师模型的输出结果。

S1513：将所述第三训练图像输入至所述第二脱敏模块中，输出与其对应的第五脱敏图像以及所述第五脱敏图像对应的第五特征值。所述第五脱敏图像为所述学生模型的输出结果。

S1515：确定所述第三训练图像对应的第五损失信息，并基于第五训练目标以及所述第五损失信息更新所述第二脱敏模块的参数。

在一些实施例中，所述第三训练图像对应的第五损失信息可以基于第五损失函数获得。具体的，所述第五损失函数可以包括第一一致性损失函数、第三一致性损失函数以及第四脱敏损失函数。相应的，所述第三训练图像对应的第五损失信息可以包括：第一一致性损失信息、第三一致性损失信息以及第四脱敏损失信息。

在一些实施例中，所述确定所述第三训练图像对应的第五损失信息可以包括确定所述第一致性损失信息，所述第一一致性损失信息可以是所述第四脱敏图像与其对应的第五脱敏图像的第四差异。在一些实施例中，所述确定所述第三训练图像对应的第五损失信息还可以包括确定所述第四一致性损失信息，所述第三一致性损失信息可以是所述第四特征值与所述第五特征值之间的第六差异。在一些实施例中，所述确定所述第三训练图像对应的第五损失信息还可以包括确定第四脱敏损失信息，所述第四脱敏损失信息可以是所述第三训练样本与其对应的第五脱敏图像之间的第五相似度。也就是说，所述第五损失信息可以包括所述第四差异、所述第六差异以及所述五相似度。从而，得到的所述脱敏模块，其输出结果(所述第五脱敏图像)趋近于所述第一脱敏模块的输出结果(所述第四脱敏图像)；所述第二脱敏模块输出所述第五脱敏图像的中间层特征值趋近于所述第一脱敏模块输出的所述第四脱敏图像的中间层特征值，也就是所述第二脱敏模块输出所述第五脱敏图像的中间层特征值与所述第一脱敏模块输出的所述第四脱敏图像的中间层特征值的差异趋近于0；同时，还可以保证所述第五脱敏图像与所述第三训练图像的差异尽可能的大(相似度尽可能的小)，也就是所述第五脱敏图像与所述第三训练图像的关联性尽可能的小，从而在体积减少(参数裁剪后)的情况下，保证了所述脱敏模块(学生模块)的性能趋近于第一脱敏模块(教师模块)的性能。

如图10所示，本说明书还提供了一种隐私保护方法P200，包括：

S210：所述第一设备200获取目标图像。

其中，所述目标图像可以是所述目标用户100的图像，例如，所述目标图像可以包括所述目标用户100的人脸图像、虹膜图像或者掌纹图像，等等，又例如，所述目标图像可以包括所述目标用户100的图像、重要证件图像、重要文件图像，等等。

S230：所述第一设备200基于隐私保护模型对所述目标图像进行脱敏，得到目标脱敏图像，其中，所述隐私保护模型是通过如上述隐私保护模型的训练方法P100训练得到的。

如前所述，对于所述隐私保护方法应用于图像隐私存储的场景，可以在所述第一设备200可以部署所述脱敏模块，对所述目标图像进行脱敏，得到并在本地保存所述目标脱敏图像。对于后续需要进行反脱敏，还可以在所述第一设备200上部署反脱敏模块，所述反脱敏模块可以是基于与P100相同的原理训练得到的，也就是经过压缩处理的轻量级的反脱敏模块，用于对所述目标脱敏图像进行反脱敏(重建)，从而得到趋近于所述目标图像的反脱敏图像。

对于所述隐私保护方法应用于图像隐私传输的场景，可以将所述脱敏模块部署于所述第一设备200，所述第一设备200基于所述脱敏模块获得并发送所述目标图像的目标脱敏图像至所述第二设备300，所述第二设备300上部署与所述脱敏模块相应的反脱敏模块，所述反脱敏模块可以是基于与P100相同的原理训练得到的，也就是经过压缩处理的轻量级的反脱敏模块，将所述目标脱敏图像输入所述反脱敏模块，可以得到相应的重建图像，所述重建图像趋近于所述目标图像。

对于所述隐私保护方法应用于生物识别场景，可以将所述脱敏模块部署于所述第一设备200(目标终端)，所述第一设备200基于所述脱敏模块获得并发送所述目标图像的目标脱敏图像至所述第二设备300(服务器)，所述第二设备300上部署与所述脱敏模块相应的反脱敏模块，所述反脱敏模块可以是常规训练方法得到的基础反脱敏模块，或者，所述反脱敏模块也可以是基于与P100相同的原理训练得到的，经过压缩处理的轻量级的反脱敏模块，所述将所述目标脱敏图像输入所述反脱敏模块，可以得到相应的重建图像，所述重建图像趋近于所述目标图像，可以用于生物识别。

由以上技术方案可知，本说明书提供的一种隐私保护模型的训练方法，通过训练预设隐私保护模型，得到第一脱敏模块，也就是压缩前的基础脱敏模块；基于第一脱敏模块的参数敏感度，以参数剪裁的方式训练所述第一脱敏模块，得到第二脱敏模块；以及以知识蒸馏的方式训练所述第二脱敏模块，得到所述脱敏模块。其中参数敏感度更能反映参数的重要程度，基于参数敏感度的裁剪可以在裁剪的同时保证模型的安全性能。由此可见，采用本说明书提供的一种隐私保护模型的训练方法得到的所述脱敏模块，在保证图像脱敏的安全性能的同时，参数更少，模型体积更小，耗费的存储空间和算力也更少，相比于所述第一脱敏模块更轻量级；同时，基于所述第一脱敏模块，将剪裁后得到的第二脱敏模块采用蒸馏学习的方式训练，使得所述脱敏模块性能可以趋近于所述第一脱敏模块的性能，从而在实现轻量级的同时保证了脱敏的性能(隐私保护的性能)。因此，将所述脱敏模块应用于隐私保护方法，部署在算力和模型体积等受限的用户终端设备上可以提升终端设备的脱敏运算效率，同时保证了终端设备的脱敏安全性能。

本说明书另一方面提供一种非暂时性存储介质，存储有至少一组用来进行隐私保护的可执行指令。当所述可执行指令被处理器执行时，所述可执行指令指导所述处理器实施本说明书所述的隐私保护方法P200的步骤。在一些可能的实施方式中，本说明书的各个方面还可以实现为一种程序产品的形式，其包括程序代码。当所述程序产品在计算设备600上运行时，所述程序代码用于使计算设备600执行本说明书描述的隐私保护方法P200的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)包括程序代码，并可以在计算设备600上运行。然而，本说明书的程序产品不限于此，在本说明书中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在计算设备600上执行、部分地在计算设备600上执行、作为一个独立的软件包执行、部分在计算设备600上部分在远程计算设备上执行、或者完全在远程计算设备上执行。

上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者是可能有利的。

综上所述，在阅读本详细公开内容之后，本领域技术人员可以明白，前述详细公开内容可以仅以示例的方式呈现，并且可以不是限制性的。尽管这里没有明确说明，本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变，改进和修改。这些改变，改进和修改旨在由本说明书提出，并且在本说明书的示例性实施例的精神和范围内。

此外，本说明书中的某些术语已被用于描述本说明书的实施例。例如，“一个实施例”，“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征，结构或特性可以包括在本说明书的至少一个实施例中。因此，可以强调并且应当理解，在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外，特定特征，结构或特性可以在本说明书的一个或多个实施例中适当地组合。

应当理解，在本说明书的实施例的前述描述中，为了帮助理解一个特征，出于简化本说明书的目的，本说明书将各种特征组合在单个实施例、附图或其描述中。然而，这并不是说这些特征的组合是必须的，本领域技术人员在阅读本说明书的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说，本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。

本文引用的每个专利，专利申请，专利申请的出版物和其他材料，例如文章，书籍，说明书，出版物，文件，物品等，可以通过引用结合于此。用于所有目的全部内容，除了与其相关的任何起诉文件历史，可能与本文件不一致或相冲突的任何相同的，或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说，如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时，使用本文件中的术语为准。

最后，应理解，本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此，本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此，本说明书的实施例不限于申请中被精确地描述过的实施例。

Claims (19)

1.一种隐私保护模型的训练方法，所述隐私保护模型包括脱敏模块，所述方法包括：

训练预设隐私保护模型，得到第一脱敏模块；

基于所述第一脱敏模块的参数的敏感度，以参数剪裁的方式训练所述第一脱敏模块，得到第二脱敏模块；以及

以知识蒸馏的方式训练所述第二脱敏模块，得到所述脱敏模块。

2.如权利要求1所述的方法，其中，所述预设隐私保护模型包括预设脱敏模块，所述训练预设隐私保护模型，包括：

将第一样本图像集输入至所述预设隐私保护模型，基于第一训练目标对所述预设隐私保护模型进行迭代训练，以更新所述预设隐私保护模型的参数，其中，在每次迭代中，基于所述预设脱敏模块的多个通道间的相关性，使所述预设脱敏模块的相关性低于预设的通道阈值的部分通道失活。

3.如权利要求2所述的方法，其中，所述在每次迭代中，基于所述预设脱敏模块的多个通道间的相关性，使所述预设脱敏模块的相关性低于预设的通道阈值的部分通道失活，包括：

将当前迭代的第一训练图像输入至所述预设隐私保护模型中，得到所述预设脱敏模块的中间层输出的所述多个通道的特征值，所述第一训练图像是所述第一样本图像集中的至少一个样本图像；

基于所述多个通道的特征值，确定所述预设脱敏模块的所述多个通道间的相关性，并将相关性低于所述通道阈值的部分通道作为失活通道；

将所述预设脱敏模块中的所述失活通道的参数置零，得到失活脱敏模块；

将所述第一训练图像输入至所述失活脱敏模块中，得到与其对应的第一脱敏图像；以及

确定所述第一训练图像对应的第一损失信息，并基于所述第一训练目标以及所述第一损失信息更新所述预设脱敏模块的参数。

4.如权利要求3所述的方法，其中，所述确定所述第一训练图像对应的第一损失信息，包括：

确定所述第一训练图像与其对应的第一脱敏图像的第一相似度；

确定所述第一训练图像与其对应的第一重建图像的第一差异，其中，所述第一重建图像是基于预设反脱敏模块对所述第一脱敏图像进行反脱敏得到的；以及

确定所述失活通道的数量与所述多个通道的数量的第一比例，

所述第一损失信息包括所述第一相似度、所述第一差异以及所述第一比例。

5.如权利要求4所述的方法，其中，所述第一训练目标包括：

约束所述第一相似度小于预设的第一脱敏阈值；

约束所述第一差异小于预设的第一重建阈值；以及

约束所述第一比例在预设的失活比例范围内。

6.如权利要求4所述的方法，其中，所述训练预设隐私保护模型还包括：训练所述预设反脱敏模块，得到反脱敏模块。

7.如权利要求1所述的方法，其中，所述基于所述第一脱敏模块的参数的敏感度，以参数剪裁的方式训练所述第一脱敏模块，得到第二脱敏模块，包括：

将第二样本图像集输入至所述第一脱敏模块，基于第二训练目标对所述第一脱敏模块进行迭代训练，以更新所述第一脱敏模块的参数，其中，在每次迭代中，基于所述第一脱敏模块的每个参数的敏感度，确定当前迭代的裁剪参数，并基于所述裁剪参数对所述第一脱敏模块的参数进行剪裁；

迭代结束后得到最后一次迭代对应的剪裁参数以及最后一次迭代对应的第一脱敏模块；以及

基于所述最后一次迭代对应的剪裁参数对所述最后一次迭代对应的第一脱敏模块进行剪裁，得到所述第二脱敏模块。

8.如权利要求7所述的方法，其中，所述在每次迭代中，基于所述第一脱敏模块的每个参数的敏感度，确定当前迭代的裁剪参数，并基于所述裁剪参数对所述第一脱敏模块的参数进行剪裁，包括对于所述当前迭代：

确定所述第一脱敏模块的每个参数的敏感度；

基于所述第一脱敏模块的每个参数的敏感度，确定所述剪裁参数；

基于所述剪裁参数，对所述第一脱敏模块进行剪裁，得到第一剪裁脱敏模块；

将第二训练图像输入至所述第一剪裁脱敏模块中，输出与其对应的第二脱敏图像，所述第二训练图像是所述第二样本图像集中的至少一个样本图像；以及

确定所述第二训练图像对应的第二损失信息，并基于所述第二训练目标以及所述第二损失信息更新所述第一脱敏模块的参数。

9.如权利要求8所述的方法，其中，所述确定所述第二训练图像对应的第二损失信息，包括：

确定所述第二训练图像与其对应的第二脱敏图像的第二相似度；

确定所述第二训练图像与其对应的所述第二重建图像的第二差异，其中，所述第二重建图像是基于预先训练好的反脱敏模块对所述第二脱敏图像进行反脱敏得到的；以及

确定所述剪裁参数的数量与所述第一脱敏模块的所有参数的数量的第二比例，

所述第二损失信息包括所述第二相似度、所述第二差异以及所述第二比例。

10.如权利要求9所述的方法，其中，所述第二训练目标包括：

约束所述第二相似度小于预设的第二脱敏阈值；

约束所述第二差异小于预设的第二重建阈值；以及

约束所述第二比例在预设的剪裁比例范围内。

11.如权利要求8所述的方法，其中，所述确定所述第一脱敏模块的每个参数的敏感度，包括：

将所述第二训练图像输入至所述第一脱敏模块，输出与其对应的第三脱敏图像；

确定所述第二训练图像对应的第三损失信息；以及

对所述每个参数执行：对当前参数添加预设扰动，确定所述预设扰动添加前后所述第三损失信息的变化量，并基于所述变化量确定所述当前参数的敏感度。

12.如权利要求11所述的方法，其中，所述确定所述第二训练图像对应的第三损失信息，包括：

确定所述第二训练图像与其对应的第三脱敏图像的第三相似度；以及

确定所述第二训练图像与其对应的第三重建图像的第三差异，其中，所述第三重建图像是基于预先训练好的反脱敏模块对所述第三脱敏图像进行反脱敏得到的，

其中，所述第三损失信息包括所述第三相似度和所述第三差异。

13.如权利要求8所述的方法，其中，所述基于所述第一脱敏模块的每个参数的敏感度，确定所述剪裁参数，包括：

将所述每个参数以及所述每个参数的敏感度输入至预设强化学习模块中，以第三训练目标训练所述预设强化学习模块；

将所述每个参数以及所述每个参数的敏感度输入至训练后的强化学习模块中，确定参数剪裁规则，所述参数剪裁规则包括多个参数剪裁组合中的一个；以及

基于所述参数剪裁规则，确定所述剪裁参数。

14.如权利要求13所述的方法，其中，所述第三训练目标包括：

约束所述第二训练图像与其对应的强化脱敏图像之间的强化相似度小于预设的第二脱敏阈值，所述强化脱敏图像为基于所述预设强化学习模型输出的预测参数裁剪规则对所述第一脱敏模块进行裁剪得到的中间裁剪脱敏模块基于所述第二训练图像得到的；

约束所述第二训练图像与其对应的强化重建图像之间的强化差异小于预设的第二重建阈值，所述强化重建图像是基于预先训练好的反脱敏模块对所述强化脱敏图像进行反脱敏得到的；以及

约束所述预设强化学习模型输出的预测参数裁剪规则对应的预测剪裁参数的数量与所述第一脱敏模块的所有参数的数量的第二比例在预设的裁剪比例范围内。

15.如权利要求1所述的方法，其中，所述以知识蒸馏的方式训练所述第二脱敏模块，包括：

基于第三样本图像集，以所述第一脱敏模块为教师模型，以所述第二脱敏模块为学生模型，对所述第二脱敏模块进行知识蒸馏，通过迭代训练，更新所述第二脱敏模块的参数。

16.如权利要求15所述的方法，其中，在每次迭代中，包括：

将当前迭代的第三训练图像输入至所述第一脱敏模块中，输出与其对应的第四脱敏图像，所述第三训练图像包括所述第三样本图像集中的至少一个样本图像；

将所述第三训练图像输入至所述第二脱敏模块中，输出与其对应的第五脱敏图像；

将所述第三训练图像、所述第四脱敏图像以及所述第五脱敏图像分别输入预先训练好的监督模块中，输出对应的监督特征值，所述监督特征值包括与所述第三训练图像对应的第一特征值、与所述第四脱敏图像对应的第二特征值以及与所述第五脱敏图像对应的第三特征值；以及

确定所述第三训练图像对应的第四损失信息，并基于第四训练目标以及所述第四损失信息更新所述第二脱敏模块的参数。

17.如权利要求16所述的方法，其中，所述确定所述第三训练图像对应的第四损失信息，包括：

确定所述第四脱敏图像与其对应的第五脱敏图像的第四差异；

确定所述第二特征值与其对应的所述第三特征值的第五差异；以及

确定所述第一特征值与其对应的第三特征值的第四相似度，

所述第四损失信息包括所述第四差异、所述第五差异以及所述四相似度，

其中，所述第四训练目标包括：

约束所述第四差异小于预设的第一一致性阈值；

约束所述第五差异小于预设的第二一致性阈值；以及

约束所述第四相似度小于预设的隐私性阈值。

18.一种隐私保护方法，包括：

获取目标图像；以及

基于隐私保护模型对所述目标图像进行脱敏，得到目标脱敏图像，

其中，所述隐私保护模型是通过如权利要求1-17任一项所述的方法训练得到的。

19.一种隐私保护系统，包括：

至少一个存储介质，存储有至少一个指令集，用于进行图像脱敏；以及

至少一个处理器，同所述至少一个存储介质通信连接，

其中当所述隐私保护系统运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集执行权利要求18所述的隐私保护方法。