CN113223101B - 基于隐私保护的图像处理方法、装置及设备 - Google Patents

Abstract

本说明书实施例提供了一种基于隐私保护的图像处理方法、装置及设备，其中方法包括：获取待进行隐私保护处理的原始图像，确定获取的原始图像的图像内容中是否包括人脸；若是，则通过预先训练的图像编码模型对原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露；其中，模型对抗图像与原始图像的视觉效果的差别程度小于第一阈值，且模型对抗图像与原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。

Description

基于隐私保护的图像处理方法、装置及设备

技术领域

本文件涉及图像处理技术领域，尤其涉及一种基于隐私保护的图像处理方法、装置及设备。

背景技术

随着互联网技术的不断发展，各种社交应用被广泛使用。用户会通过社交应用发布照片来记录生活，并且发布的照片中通常会包括用户自身或其他用户的人脸。而随着人工智能技术的不断发展，换脸技术可以很容易的将用户照片中的人脸应用到其他人体身上，从而制作恶搞图像、视频等并发布于网络。而这不仅造成了用户隐私信息的大范围泄露，而且会给用户带来很多麻烦和不便。

发明内容

本说明书一个或多个实施例提供了一种基于隐私保护的图像处理方法。该方法包括获取待进行隐私保护处理的原始图像。确定所述原始图像的图像内容中是否包括人脸。若是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露。其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值。所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。

本说明书一个或多个实施例提供了一种基于隐私保护的图像处理装置。该装置包括获取模块，获取待进行隐私保护处理的原始图像。该装置还包括确定模块，确定所述原始图像的图像内容中是否包括人脸。该装置还包括处理模块，若所述确定模块的确定结果为是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露。其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值。所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。

本说明书一个或多个实施例提供了一种基于隐私保护的图像处理设备。该设备包括处理器。该设备还包括被安排成存储计算机可执行指令的存储器。所述计算机可执行指令在被执行时使所述处理器获取待进行隐私保护处理的原始图像。确定所述原始图像的图像内容中是否包括人脸。若是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露。其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值。所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。

本说明书一个或多个实施例提供了一种存储介质。该存储介质用于存储计算机可执行指令。所述计算机可执行指令在被处理器执行时获取待进行隐私保护处理的原始图像。确定所述原始图像的图像内容中是否包括人脸。若是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露。其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值。所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例提供的一种基于隐私保护的图像处理方法的第一种流程示意图；

图2为本说明书一个或多个实施例提供的一种基于隐私保护的图像处理方法的第二种流程示意图；

图3为本说明书一个或多个实施例提供的一种基于隐私保护的图像处理方法的第三种流程示意图；

图4为本说明书一个或多个实施例提供的一种图像编码模型的训练方法的流程示意图；

图5为本说明书一个或多个实施例提供的步骤S100-6的细化流程图；

图6为本说明书一个或多个实施例提供的一种基于隐私保护的图像处理装置的第一种模块组成示意图；

图7为本说明书一个或多个实施例提供的一种基于隐私保护的图像处理设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。

图1为本说明书一个或多个实施例提供的一种基于隐私保护的图像处理方法的流程示意图，图1中的方法能够由基于隐私保护的图像处理装置(以下简称为图像处理装置)执行，如图1所示，该方法包括以下步骤：

步骤S102，获取待进行隐私保护处理的原始图像；

本说明书实施例中，图像处理装置可以设置于用户的终端设备中，还可以设置于服务端。具体的，当图像处理装置设置于用户的终端设备中时，其可以作为一个独立的应用安装于终端设备中，还可以设置于终端设备安装的其他图像处理相关的应用中，该图像处理相关的应用可以是独立的应用程序(Application，简称App)，也可以是设置于其他应用程序中的小程序，还可以是基于网页的应用等。用户可以操作该图像处理装置或图像处理装置所在的图像处理相关的应用，从图像库中选择待进行隐私保护处理的原始图像并上传；相应的，图像处理装置获取用户上传的该原始图像。或者，图像处理装置在获取到用户授权后，若确定用户进行了图像拍摄操作，则获取用户拍摄的图像，并将获取的图像确定为待进行隐私保护处理的原始图像。当图像处理装置设置于服务端时，用户可以操作其终端设备中的图像处理相关的客户端上传待进行隐私保护处理的原始图像，该客户端响应于用户的上传操作，获取原始图像并发送给服务端，图像处理装置将服务端接收到的原始图像确定为待进行隐私保护处理的原始图像。

步骤S104，确定原始图像的图像内容中是否包括人脸；

考虑到当原始图像中包括人脸时，存在用户隐私泄露的风险，因此，图像处理装置确定获取到的原始图像的图像内容中是否包括人脸，并在确定结果为是时执行步骤S106，在确定结果为否时，可以进行提示处理，如提示用户重新上传图像，或提示用户对原始图像进行其他处理等。

步骤S106，若是，则通过预先训练的图像编码模型对原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露；其中，模型对抗图像与原始图像的视觉效果的差别程度小于第一阈值，且模型对抗图像与原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。

其中，指定人脸检测模型可以是预先训练的模型，还可以是第三方的人脸检测模型。模型对抗图像与原始图像的视觉效果的差别程度小于第一阈值，即通过计算机处理技术对模型对抗图像和原始图像进行比对处理后，得到的二者的差异值小于第一阈值；例如通过计算机处理技术计算模型对抗图像的第一均方误差，并计算原始图像的第二均方误差，比对第一均方误差和第二均方误差得到差异值，该差异值小于第一阈值等。模型对抗图像与原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值，例如通过指定人脸检测模型对模型对抗图像进行人脸检测处理得到第四人脸检测结果，通过该指定人脸检测模型对原始图像进行人脸检测处理得到第五人脸检测结果，第四人脸检测结果中的人脸信息与第五人脸检测结果中的人脸信息的交并比大于第二阈值；或者，基于第四人脸检测结果中的人脸信息所计算的第三均方误差，与基于第五人脸检测结果中的人脸信息所计算的第四均方误差之间的差异值大于第二阈值等。由此，视觉效果的差别程度小于第一阈值，使得模型对抗图像中的人脸没有改变外观和表情，依然肉眼可见，即对原始图像进行编码处理后，并不影响视觉效果。同时，人脸检测结果的差别程度大于第二阈值，即对原始图像进行编码后，通过指定的人脸检测模型无法检测到模型对抗图像中的人脸；由此在不影响图像查看的基础上，实现了人脸的隐私保护。

本说明书一个或多个实施例中，通过采用预先训练的图像编码模型对含有人脸的原始图像进行编码得到模型对抗图像，该模型对抗图像与原始图像的视觉效果的差别程度小于第一阈值，且该模型对抗图像与原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。由此，在确保了不改变图像中人脸的轮廓和表情的基础上，即不影响模型对抗图像的视角效果的基础上，实现了用户的隐私保护，极大的避免了因隐私泄露而给用户带来的麻烦和不便。

考虑到在实际应用中，用户上传原始图像时，可能选择了未包括人脸的原始图像，而该原始图像并不涉及隐私泄露，基于此，本说明书一个或多个实施例中，基于预先训练的第二人脸检测模型对获取到的原始图像进行人脸检测处理，并在确定原始图像存在人脸时，进行后续的编码处理。具体的，步骤S104可以包括：

通过预先训练的第二人脸检测模型，对原始图像进行人脸检测处理，得到第二人脸检测结果信息；确定第二人脸检测结果信息是否表征检测到人脸；若是，则确定原始图像的图像内容中包括人脸；若否，则确定原始图像的图像内容中不包括人脸。其中，第二人脸检测模型与前述指定人脸检测模型可以相同，也可以不同，其可以在实际应用中根据需要自行设定。

为了不断的提升图像编码模型的图像编码效果，本说明书一个或多个实施例中，在初次训练得到图像编码模型之后，还不断的对图像编码模型进行优化。具体的，如图2所示，方法还包括：

步骤S108，通过预先部署的第一人脸检测模型，对指定图像库中的模型对抗图像进行人脸检测处理，得到第一人脸检测结果信息；

具体的，按照预设的时间间隔，依次将指定图像库中的各模型对抗图像输入至预先部署的第一人脸检测模型进行人脸检测处理，得到对应的各第一人脸检测结果信息。其中，时间间隔可以在实际应用中根据需要自行设定，第一人脸检测模型可以部署在云端，也可以部署在服务端，还可以是第三方开放的预先部署好的人脸检测模型等。第一人脸检测模型与前述指定人脸检测模型和第二人脸检测模型可以相同，也可以不同。

步骤S110，若根据第一人脸检测结果信息确定对至少一个模型对抗图像的人脸可检测程度大于第三阈值，则重新对图像编码模型进行训练，得到新的图像编码模型，以通过该新的图像编码模型进行编码处理。

其中，人脸可检测程度的衡量参数可以在实际应用中根据需要自行设定，本说明书中对此不做具体限定。作为示例，使用可检测的人脸像素点的占比来衡量，即根据每个第一人脸检测结果信息中的人脸信息确定可检测到的人脸像素点的第一数量，并根据第一数量和模型对抗图像中人脸的总的像素点的第二数量，计算可检测的人脸像素点所占的比例，当计算得到的至少一个比例大于第三阈值时，则重新对图像编码模型进行训练，得到新的图像编码模型。

需要指出的是，步骤S108和步骤S110可以在步骤S102之前执行，也可以在步骤S106之后执行。

由此，通过对指定图像库中的模型对抗图像进行人脸检测处理，以确定图像编码模型的编码效果，并在编码效果下降时，重新进行图像编码模型的训练，能够保障基于图像编码模型进行编码处理所得的模型对抗图像具有有效的隐私保护效果。同时，当第一人脸检测模型部署在云端或服务端等，由于其可以方便的随时进行更新，因此能够使得图像编码模型可以对抗更多的人脸检测模型，从而达到更好的隐私保护效果。当第一人脸检测模型是第三方开放的人脸检测模型时，可使得图像编码模型能够对抗更多的当前已投入实际应用的人脸检测模型，从而达到更好的隐私保护效果。

进一步的，由于图像编码模型可以不断的更新，考虑到当前部署的图像编码模型可能没有及时更新为最新的图像编码模型，从而影响编码效率，降低隐私保护的效力。基于此，本说明书一个或多个实施例中，如图3所示，步骤S106可以包括以下步骤S106-2至步骤S106-6：

步骤S106-2，若是，则确定当前部署的图像编码模型是否符合预设的更新条件，若符合，则执行步骤S106-4，若不符合，则执行步骤S106-6；

具体的，获取图像编码模型的最新版本信息，并确定当前部署的编码模型的当前版本信息；确定最新版本信息与当前版本信息是否一致；若是，则确定当前部署的图像编码模型不符合预设的更新条件；若否，则确定当前部署的图像编码模型符合预设的更新条件。

更加具体的，当图像处理装置设置于用户的终端设备时，为了便于各终端设备中的图像处理装置进行图像编码模型的更新，且确保各终端设备中的图像编码模型一致。本说明书一个或多个实施例中，可以将图像编码模型的更新数据和最新版本信息保存至云端、或指定的服务端、或区块链中；相应的，图像处理装置从云端、或指定的服务端、或区块链中获取图像编码模型的最新版本信息，以及在确定满足更新条件时，从云端、或指定的服务端、或区块链中获取更新数据，根据获取的更新数据对当前部署的图像编码模型进行更新处理。当图像处理装置设置于服务端时，可以将图像编码模型的更新数据和最新版本信息保存至云端或区块链中；相应的，图像处理装置从云端或区块链中获取图像编码模型的最新版本信息，以及在确定满足更新条件时，从云端或区块链中获取更新数据，根据获取的更新数据对当前部署的图像编码模型进行更新处理。

步骤S106-4，对当前部署的图像编码模型进行更新处理，并通过更新处理后的图像编码模型对原始图像进行编码处理，生成人脸图像的模型对抗图像；

步骤S106-6，通过当前部署的图像编码模型对原始图像进行编码处理，生成人脸图像的模型对抗图像。

由于在进行编码处理之前，首先确定图像编码模型是否满足更新条件，能够确保使用最新的图像编码模型进行编码处理，从而实现有效的隐私保护。

为了实现用户的隐私保护，本说明书一个或多个实施例中，预先进行图像编码模型的训练处理。具体的，如图4所示，方法还包括：步骤S100-2至步骤S100-10：

步骤S100-2，获取多个样本图像；其中，样本图像中包括人脸；

可选地，获取样本图像的方式可以为以下任意方式或任意方式的组合：从网络中获取包括人脸的样本图像、从指定的图像库中获取包括人脸的样本图像、从第三方权威机构获取包括人脸的样本图像等。

步骤S100-4，将获取的样本图像划分为训练集和测试集；

具体的，按照预设比例，将获取的样本图像划分为训练集和测试集。例如，将获取的样本图像中70％的样本图像确定为训练集，将剩余的30％的样本图像确定为测试集。

步骤S100-6，根据预设的图像编码模型的训练方式基于训练集进行训练处理，得到初始编码模型；

具体的，如图5所示，步骤S100-6可以包括以下步骤S100-6-2至步骤S100-6-14：

步骤S100-6-2，对训练集中每个样本图像的人脸框和人脸关键点进行标注处理，得到对应的第一标注结果信息和第二标注结果信息；

其中，第一标注结果信息可以包括人脸框的坐标信息、像素信息等，第二标注结果信息可以包括人脸关键点的坐标信息、像素信息等；人脸关键点可以包括眼睛、鼻子、嘴巴、眉毛、耳朵等。

步骤S100-6-4，迭代的通过待训练的图像编码网络对标注处理后的每个样本图像进行编码处理，得到对应的第一编码图像；

步骤S100-6-6，通过预先训练的至少一个人脸框检测模型对每个第一编码图像进行人脸框检测处理，得到对应的第一检测结果信息；

考虑到不同的人脸框检测模型的检测方式不同，检测结果也可能有所差异，为了提升覆盖度，本说明书一个或多个实施例中，可以采用的不同的训练方式预先训练多个人脸框检测模型，并将每个第一编码图像分别输入至每个人脸框检测模型进行人脸框检测处理，得到对应的多个第一检测结果信息。

步骤S100-6-8，通过预先训练的至少一个人脸关键点检测模型对每个第一编码图像进行人脸关键点检测处理，得到对应的第二检测结果信息；

基于与人脸框检测模型相同的考虑，本说明书一个或多个实施例中，可以采用的不同的训练方式预先训练多个人脸关键点检测模型，并将每个第一编码图像分别输入至每个人脸关键点检测模型进行人脸关键点检测处理，得到对应的多个第二检测结果信息。

步骤S100-6-10，根据预设的比对方式，对训练集中的每个样本图像与样本图像所对应的第一编码图像进行比对处理，得到对应的第一比对结果信息；

其中，比对方式和第一比对结果信息的形式均可以根据需要自行设定。例如，对样本图像与样本图像对应的第一编码图像分别计算均方误差，比对计算的均方误差，并将均方误差之间的差异值确定为第一比对结果；又如第一比对结果信息为将样本图像与样本图像对应的第一编码图像进行人脸信息比对得到的人脸信息的交并比，即将样本图像中的人脸信息与对应的第一编码图像中的人脸信息中相同的部分确定为交集，并计算该交集与样本图像中的人脸信息和第一编码图像中的人脸信息的并集的比例。

步骤S100-6-12，根据预设的损失函数，基于第一标注结果信息、第二标注结果信息、第一检测结果信息、第二检测结果信息和第一比对结果信息，确定编码网络的损失；

具体的，根据第一标注结果信息和第一检测结果信息，确定样本图像的人脸框与对应的第一编码图像的人脸框之间的第一差异值；根据第二标注结果信息和第二检测结果信息，确定样本图像的人脸关键点与对应的第一编码图像的人脸关键点之间的第二差异值；根据预设的损失函数，对第一比对结果、第一差异值和第二差异值进行计算处理，得到图像编码网络的损失。其中，第一差异值和第二差异值可以是坐标信息的差异值，也可以是像素的差异值等。

其中，根据预设的损失函数，对第一比对结果、第一差异值和第二差异值进行计算处理，得到图像编码网络的损失，可以包括：对第一差异值和相应的第二差异值进行加和处理，得到差异总值；对第一比对结果和相应的差异总值进行做差处理，得到编码网络的损失；或者，将第一比对结果与相应的第一差异值进行做差处理，得到第一计算结果；将第一计算结果与相应的第二差异值进行做差处理，得到编码网络的损失。

步骤S100-6-14，若确定编码网络的损失满足第二预设条件，则将图像编码网络确定为初始编码模型。

其中，第二预设条件可以在实际应用中根据需要自行设定，例如若确定编码网络的损失小于预设的损失阈值，则确定满足第二预设条件等。

步骤S100-8，通过测试集对初始编码模型进行测试处理，得到测试结果信息；

具体的，通过初始编码模型对测试集中的每个样本图像进行编码处理，得到对应的第二编码图像；通过预先训练的第三人脸检测模型，对第二编码图像进行人脸检测处理得到第三人脸检测结果信息；确定第三人脸检测结果信息中，表征未检测到人脸的第三人脸检测结果信息所占的第一比例；将第一比列确定为测试结果信息。其中，第三人脸检测模型与上述指定人脸检测模型、第一人脸检测模型和第二人脸检测模型可以相同，也可以不同。

步骤S100-10，若确定测试结果信息满足第一预设条件，则将初始编码模型确定为图像编码模型。

具体的，若确定测试结果信息大于预设比例，则确定测试结果信息满足第一预设条件，将初始编码模型确定为最终的目标图像编码模型。

进一步的，若确定测试结果不满足第一预设条件，则根据预设方式对图像编码网络进行调整处理后，返回步骤S100-4，并在步骤S100-4中，通过调整处理后的图像编码网络对标注处理后的每个样本图像进行编码处理，得到对应的第一编码图像。

由此，将样本图像与对应的第一编码图像之间的人脸框和人脸关键点的差别程度尽可能大、且样本图像与对应的第一编码图像之间的人脸的差别程度尽可能小作为目标，进行迭代训练，得到图像编码模型。使得通过该图像编码模型对待进行隐私保护处理的原始图像进行图像编码得到模型对抗图像后，该模型对抗图像中的人脸轮廓和表情等未发生肉眼可见的改变，即原始图像与模型对抗图像之间的视觉效果差别程度极小；并且通过指定人脸检测模型无法检测出模型对抗图像中的人脸，即实现了人脸隐私保护的目的。

本说明书一个或多个实施例中，通过采用预先训练的图像编码模型对含有人脸的原始图像进行编码得到模型对抗图像，该模型对抗图像与原始图像的视觉效果的差别程度小于第一阈值，且该模型对抗图像与原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。由此，在确保了不改变图像中人脸的轮廓和表情的基础上，即不影响模型对抗图像的视角效果的基础上，实现了用户的隐私保护，极大的避免了因隐私泄露而给用户带来的麻烦和不便。

对应上述描述的基于隐私保护的图像处理方法，基于相同的技术构思，本说明书一个或多个实施例还提供一种基于隐私保护的图像处理装置。图6为本说明书一个或多个实施例提供的一种基于隐私保护的图像处理装置的模块组成示意图，如图6所示，该装置包括：

获取模块201，获取待进行隐私保护处理的原始图像；

确定模块202，确定所述原始图像的图像内容中是否包括人脸；

处理模块203，若所述确定模块的确定结果为是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露；其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值，且所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。

可选地，所述装置还包括：第一训练模块；

所述第一训练模块，通过预先部署的第一人脸检测模型，对指定图像库中的所述模型对抗图像进行人脸检测处理，得到第一人脸检测结果信息；以及，

若根据所述第一人脸检测结果信息确定对至少一个所述模型对抗图像的人脸可检测程度大于第三阈值，则重新对所述图像编码模型进行训练，得到新的图像编码模型。

可选地，所述装置还包括：第二训练模块；

所述第二训练模块，获取多个样本图像；其中，所述样本图像中包括人脸；

将所述样本图像划分为训练集和测试集；

根据预设的所述图像编码模型的训练方式基于所述训练集进行训练处理，得到初始编码模型；

通过所述测试集对所述初始编码模型进行测试处理，得到测试结果信息；

若确定所述测试结果信息满足第一预设条件，则将所述初始编码模型确定为所述图像编码模型。

本说明书一个或多个实施例提供的基于隐私保护的图像处理装置，通过采用预先训练的图像编码模型对含有人脸的原始图像进行编码得到模型对抗图像，该模型对抗图像与原始图像的视觉效果的差别程度小于第一阈值，且该模型对抗图像与原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。由此，在确保了不改变图像中人脸的轮廓和表情的基础上，即不影响模型对抗图像的视角效果的基础上，实现了用户的隐私保护，极大的避免了因隐私泄露而给用户带来的麻烦和不便。

需要说明的是，本说明书中关于基于隐私保护的图像处理装置的实施例与本说明书中关于基于隐私保护的图像处理方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的基于隐私保护的图像处理方法的实施，重复之处不再赘述。

进一步地，对应上述描述的基于隐私保护的图像处理方法，基于相同的技术构思，本说明书一个或多个实施例还提供一种基于隐私保护的图像处理设备，该设备用于执行上述的基于隐私保护的图像处理方法，图7为本说明书一个或多个实施例提供的一种基于隐私保护的图像处理设备的结构示意图。

如图7所示，基于隐私保护的图像处理设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器301和存储器302，存储器302中可以存储有一个或一个以上存储应用程序或数据。其中，存储器302可以是短暂存储或持久存储。存储在存储器302的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括基于隐私保护的图像处理设备中的一系列计算机可执行指令。更进一步地，处理器301可以设置为与存储器302通信，在基于隐私保护的图像处理设备上执行存储器302中的一系列计算机可执行指令。基于隐私保护的图像处理设备还可以包括一个或一个以上电源303，一个或一个以上有线或无线网络接口304，一个或一个以上输入输出接口305，一个或一个以上键盘306等。

在一个具体的实施例中，基于隐私保护的图像处理设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对基于隐私保护的图像处理设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

获取待进行隐私保护处理的原始图像；

确定所述原始图像的图像内容中是否包括人脸；

若是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露；其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值，且所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。

本说明书一个或多个实施例提供的基于隐私保护的图像处理设备，通过采用预先训练的图像编码模型对含有人脸的原始图像进行编码得到模型对抗图像，该模型对抗图像与原始图像的视觉效果的差别程度小于第一阈值，且该模型对抗图像与原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。由此，在确保了不改变图像中人脸的轮廓和表情的基础上，即不影响模型对抗图像的视角效果的基础上，实现了用户的隐私保护，极大的避免了因隐私泄露而给用户带来的麻烦和不便。

需要说明的是，本说明书中关于基于隐私保护的图像处理设备的实施例与本说明书中关于基于隐私保护的图像处理方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的基于隐私保护的图像处理方法的实施，重复之处不再赘述。

进一步地，对应上述描述的基于隐私保护的图像处理方法，基于相同的技术构思，本说明书一个或多个实施例还提供了一种存储介质，用于存储计算机可执行指令，一个具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：

获取待进行隐私保护处理的原始图像；

确定所述原始图像的图像内容中是否包括人脸；

若是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露；其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值，且所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。

本说明书一个或多个实施例提供的存储介质存储的计算机可执行指令在被处理器执行时，通过采用预先训练的图像编码模型对含有人脸的原始图像进行编码得到模型对抗图像，该模型对抗图像与原始图像的视觉效果的差别程度小于第一阈值，且该模型对抗图像与原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值。由此，在确保了不改变图像中人脸的轮廓和表情的基础上，即不影响模型对抗图像的视角效果的基础上，实现了用户的隐私保护，极大的避免了因隐私泄露而给用户带来的麻烦和不便。

需要说明的是，本说明书中关于存储介质的实施例与本说明书中关于基于隐私保护的图像处理方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的基于隐私保护的图像处理方法的实施，重复之处不再赘述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (10)

1.一种基于隐私保护的图像处理方法，包括：

获取待进行隐私保护处理的原始图像；

确定所述原始图像的图像内容中是否包括人脸；

若是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露；其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值，且所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值；

所述图像编码模型是初始编码模型经训练处理后得到的，所述训练处理包括：

对训练集中每个样本图像的人脸框和人脸关键点进行标注处理，得到对应的第一标注结果信息和第二标注结果信息；

迭代的通过待训练的图像编码网络对所述标注处理后的每个样本图像进行编码处理，得到对应的第一编码图像；

通过预先训练的至少一个人脸框检测模型对每个所述第一编码图像进行人脸框检测处理，得到对应的第一检测结果信息；

通过预先训练的至少一个人脸关键点检测模型对每个所述第一编码图像进行人脸关键点检测处理，得到对应的第二检测结果信息；

根据预设的比对方式，对所述训练集中的每个样本图像与所述样本图像所对应的所述第一编码图像进行比对处理，得到对应的第一比对结果信息；

根据所述第一标注结果信息和所述第一检测结果信息，确定所述样本图像的人脸框与对应的所述第一编码图像的人脸框之间的第一差异值；

根据所述第二标注结果信息和所述第二检测结果信息，确定所述样本图像的人脸关键点与对应的所述第一编码图像的人脸关键点之间的第二差异值；

将所述第一比对结果与相应的所述第一差异值进行做差处理，得到第一计算结果；将所述第一计算结果与相应的所述第二差异值进行做差处理，得到所述编码网络的损失；

若确定所述编码网络的损失满足第二预设条件，则所述初始编码模型完成训练。

2.根据权利要求1所述的方法，所述方法还包括：

通过预先部署的第一人脸检测模型，对指定图像库中的所述模型对抗图像进行人脸检测处理，得到第一人脸检测结果信息；

若根据所述第一人脸检测结果信息确定对至少一个所述模型对抗图像的人脸可检测程度大于第三阈值，则重新对所述图像编码模型进行训练，得到新的图像编码模型。

3.根据权利要求1所述的方法，所述确定所述原始图像的图像内容中是否包括人脸，包括：

通过预先训练的第二人脸检测模型，对所述原始图像进行人脸检测处理，得到第二人脸检测结果信息；

确定所述第二人脸检测结果信息是否表征检测到人脸；

若是，则确定所述原始图像的图像内容中包括人脸；

若否，则确定所述原始图像的图像内容中不包括人脸。

4.根据权利要求1所述的方法，所述通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，包括：

确定当前部署的所述图像编码模型是否符合预设的更新条件；

若是，则对当前部署的所述图像编码模型进行更新处理，并通过更新处理后的所述图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像；

若否，则通过当前部署的所述图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像。

5.根据权利要求4所述的方法，所述确定当前部署的所述图像编码模型是否符合预设的更新条件，包括：

获取所述图像编码模型的最新版本信息；

确定当前部署的所述编码模型的当前版本信息；

确定所述最新版本信息与所述当前版本信息是否一致；

若是，则确定当前部署的所述图像编码模型不符合预设的更新条件；

若否，则确定当前部署的所述图像编码模型符合预设的更新条件。

6.根据权利要求1所述的方法，

所述初始编码模型经训练处理后进行测试处理，所述测试处理包括：

通过所述初始编码模型对测试集中的每个样本图像进行编码处理，得到对应的第二编码图像；

通过预先训练的第三人脸检测模型，对所述第二编码图像进行人脸检测处理得到第三人脸检测结果信息；

确定所述第三人脸检测结果信息中，表征未检测到人脸的第三人脸检测结果信息所占的第一比例；

将第一比例确定为测试结果信息；其中，若确定所述测试结果信息大于预设比例，则将所述初始编码模型确定为所述图像编码模型。

7.一种基于隐私保护的图像处理装置，包括：

获取模块，获取待进行隐私保护处理的原始图像；

确定模块，确定所述原始图像的图像内容中是否包括人脸；

处理模块，若所述确定模块的确定结果为是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露；其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值，且所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值；

所述图像编码模型是初始编码模型经训练处理后得到的，所述训练处理包括：

对训练集中每个样本图像的人脸框和人脸关键点进行标注处理，得到对应的第一标注结果信息和第二标注结果信息；

迭代的通过待训练的图像编码网络对所述标注处理后的每个样本图像进行编码处理，得到对应的第一编码图像；

通过预先训练的至少一个人脸框检测模型对每个所述第一编码图像进行人脸框检测处理，得到对应的第一检测结果信息；

通过预先训练的至少一个人脸关键点检测模型对每个所述第一编码图像进行人脸关键点检测处理，得到对应的第二检测结果信息；

根据预设的比对方式，对所述训练集中的每个样本图像与所述样本图像所对应的所述第一编码图像进行比对处理，得到对应的第一比对结果信息；

根据所述第一标注结果信息和所述第一检测结果信息，确定所述样本图像的人脸框与对应的所述第一编码图像的人脸框之间的第一差异值；

根据所述第二标注结果信息和所述第二检测结果信息，确定所述样本图像的人脸关键点与对应的所述第一编码图像的人脸关键点之间的第二差异值；

将所述第一比对结果与相应的所述第一差异值进行做差处理，得到第一计算结果；将所述第一计算结果与相应的所述第二差异值进行做差处理，得到所述编码网络的损失；

若确定所述编码网络的损失满足第二预设条件，则所述初始编码模型完成训练。

8.根据权利要求7所述的装置，所述装置还包括：第一训练模块；

所述第一训练模块，通过预先部署的第一人脸检测模型，对指定图像库中的所述模型对抗图像进行人脸检测处理，得到第一人脸检测结果信息；以及，

若根据所述第一人脸检测结果信息确定对至少一个所述模型对抗图像的人脸可检测程度大于第三阈值，则重新对所述图像编码模型进行训练，得到新的图像编码模型。

9.一种基于隐私保护的图像处理设备，包括：

处理器；以及，

被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器：

获取待进行隐私保护处理的原始图像；

确定所述原始图像的图像内容中是否包括人脸；

若是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露；其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值，且所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值；

所述图像编码模型是初始编码模型经训练处理后得到的，所述训练处理包括：

对训练集中每个样本图像的人脸框和人脸关键点进行标注处理，得到对应的第一标注结果信息和第二标注结果信息；

迭代的通过待训练的图像编码网络对所述标注处理后的每个样本图像进行编码处理，得到对应的第一编码图像；

通过预先训练的至少一个人脸框检测模型对每个所述第一编码图像进行人脸框检测处理，得到对应的第一检测结果信息；

通过预先训练的至少一个人脸关键点检测模型对每个所述第一编码图像进行人脸关键点检测处理，得到对应的第二检测结果信息；

根据预设的比对方式，对所述训练集中的每个样本图像与所述样本图像所对应的所述第一编码图像进行比对处理，得到对应的第一比对结果信息；

根据所述第一标注结果信息和所述第一检测结果信息，确定所述样本图像的人脸框与对应的所述第一编码图像的人脸框之间的第一差异值；

根据所述第二标注结果信息和所述第二检测结果信息，确定所述样本图像的人脸关键点与对应的所述第一编码图像的人脸关键点之间的第二差异值；

将所述第一比对结果与相应的所述第一差异值进行做差处理，得到第一计算结果；将所述第一计算结果与相应的所述第二差异值进行做差处理，得到所述编码网络的损失；

若确定所述编码网络的损失满足第二预设条件，则所述初始编码模型完成训练。

10.一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：

获取待进行隐私保护处理的原始图像；

确定所述原始图像的图像内容中是否包括人脸；

若是，则通过预先训练的图像编码模型对所述原始图像进行编码处理，生成人脸图像的模型对抗图像，以防止个人信息泄露；其中，所述模型对抗图像与所述原始图像的视觉效果的差别程度小于第一阈值，且所述模型对抗图像与所述原始图像在指定人脸检测模型下的人脸检测结果的差别程度大于第二阈值；

所述图像编码模型是初始编码模型经训练处理后得到的，所述训练处理包括：

对训练集中每个样本图像的人脸框和人脸关键点进行标注处理，得到对应的第一标注结果信息和第二标注结果信息；

迭代的通过待训练的图像编码网络对所述标注处理后的每个样本图像进行编码处理，得到对应的第一编码图像；

通过预先训练的至少一个人脸框检测模型对每个所述第一编码图像进行人脸框检测处理，得到对应的第一检测结果信息；

通过预先训练的至少一个人脸关键点检测模型对每个所述第一编码图像进行人脸关键点检测处理，得到对应的第二检测结果信息；

根据预设的比对方式，对所述训练集中的每个样本图像与所述样本图像所对应的所述第一编码图像进行比对处理，得到对应的第一比对结果信息；

根据所述第一标注结果信息和所述第一检测结果信息，确定所述样本图像的人脸框与对应的所述第一编码图像的人脸框之间的第一差异值；

根据所述第二标注结果信息和所述第二检测结果信息，确定所述样本图像的人脸关键点与对应的所述第一编码图像的人脸关键点之间的第二差异值；

将所述第一比对结果与相应的所述第一差异值进行做差处理，得到第一计算结果；将所述第一计算结果与相应的所述第二差异值进行做差处理，得到所述编码网络的损失；

若确定所述编码网络的损失满足第二预设条件，则所述初始编码模型完成训练。

Images