CN111582284A

CN111582284A - 用于图像识别的隐私保护方法、装置和电子设备

Info

Publication number: CN111582284A
Application number: CN202010346054.9A
Authority: CN
Inventors: 牛犇; 李凤华; 陈亚虹; 耿魁
Original assignee: Institute of Information Engineering of CAS
Current assignee: Institute of Information Engineering of CAS
Priority date: 2020-04-27
Filing date: 2020-04-27
Publication date: 2020-08-25
Anticipated expiration: 2040-04-27
Also published as: CN111582284B

Abstract

本发明实施例提供一种用于图像识别的隐私保护方法、装置和电子设备，其中方法包括：确定待识别图像；将所述待识别图像输入图像识别模型的特征提取层，得到所述特征提取层输出的图像特征；基于所述图像特征确定待传输数据；将所述待传输数据发送至服务器，以请求所述服务器将所述待传输数据输入至所述图像识别模型的特征识别层，得到所述特征识别层输出的图像识别结果；其中，所述特征识别层是基于客户端发送的样本图像特征对应的样本传输数据和样本图像识别结果训练得到的。本发明实施例提供的方法、装置和电子设备，实现了图像识别过程中保护数据隐私、保证模型性能和减小系统开销三者间的平衡。

Description

用于图像识别的隐私保护方法、装置和电子设备

技术领域

本发明涉及人工智能技术领域，具体涉及一种用于图像识别的隐私保护方法、装置和电子设备。

背景技术

深度学习中的图像识别模型大多结构复杂，训练时间和资源开销巨大，通常只能借助高性能服务器完成。随着互联网产业的发展，分布式深度学习架构应运而生。在这种架构下，客户端运行在用户本地，负责采集用户数据并上传至服务器，服务器收到客户端上传的数据后对其进行训练并生成模型，并对外提供预测服务，但是这种训练及推断模式存在用户隐私泄露的隐患。

现有技术中，基于差分技术进行隐私保护的图像识别方法在面对图像等超高维数据时，数据可用性低；用户设备采集到的原始数据体量庞大，向服务器上传全部数据会造成巨大的通信开销；大量数据的流出会造成数据所有者的资产损失，显著增加隐私泄露的风险。

发明内容

本发明实施例提供一种用于图像识别的隐私保护方法、装置及电子设备，用以解决现有的用于图像识别的隐私保护方法无法实现保护数据隐私、保证模型性能和减小系统开销三者间的平衡的问题。

第一方面，本发明实施例提供一种用于图像识别的隐私保护方法，包括：

确定待识别图像；

将所述待识别图像输入图像识别模型的特征提取层，得到所述特征提取层输出的图像特征；

基于所述图像特征确定待传输数据；

将所述待传输数据发送至服务器，以请求所述服务器将所述待传输数据输入至所述图像识别模型的特征识别层，得到所述特征识别层输出的图像识别结果；其中，所述特征识别层是基于客户端发送的样本图像特征对应的样本传输数据和样本图像识别结果训练得到的。

可选地，所述基于所述图像特征确定待传输数据，具体包括：

确定所述图像特征对应的二进制一维数组；

将所述二进制一维数组进行随机翻转，得到所述待传输数据。

可选地，所述确定所述图像特征对应的二进制一维数组，具体包括：

确定所述图像特征对应的标准化一维数组；

基于整数部分比特数和/或小数部分比特数，将所述标准化一维数组进行二进制转换，得到所述图像特征对应的二进制一维数组；

其中，所述整数部分比特数是基于所述标准化一维数组中各个实数绝对值的整数部分的最大值确定的，所述小数部分比特数是基于所述标准化一维数组中各个实数需要保留的精度确定的。

可选地，所述将所述二进制一维数组进行随机翻转，得到所述待传输数据，具体包括：

基于隐私预算和隐私预算系数，确定所述二进制一维数组中任一比特字符随机化概率；

基于所述二进制一维数组中每一比特字符随机化概率，对所述二进制一维数组中每一比特字符进行随机翻转，得到所述待传输数据；

其中，所述隐私预算是基于隐私需求确定的，所述隐私预算系数是基于数据可用性需求确定的。

可选地，所述确定待识别图像，具体包括：

获取多个候选图像；

基于代表性样本比例，从所述多个候选图像中选取对应比例的图像作为待识别图像。

可选地，所述将所述待识别图像输入图像识别模型的特征提取层，得到所述特征提取层输出的图像特征，具体包括：

将所述待识别图像输入所述特征提取层的零化矩阵层，得到所述零化矩阵层输出的零化特征；

将所述零化特征输入所述特征提取层的第一提取层，得到所述第一提取层输出的第一提取特征；

将所述第一提取特征输入所述特征提取层的随机加噪层，得到所述随机加噪层输出的加噪特征；

将所述加噪特征输入所述特征提取层的第二提取层，得到所述第二提取层输出的图像特征。

可选地，所述随机加噪层在所述特征提取层中的位置是基于预设扰动层参数确定的。

第二方面，本发明实施例提供一种用于图像识别的隐私保护装置，应用于客户端，包括：

图像确定单元，用于确定待识别图像；

特征提取单元，用于将所述待识别图像输入图像识别模型的特征提取层，得到所述特征提取层输出的图像特征；

数据确定单元，用于基于所述图像特征确定待传输数据；

数据发送单元，用于将所述待传输数据发送至服务器，以请求所述服务器将所述待传输数据输入至所述图像识别模型的特征识别层，得到所述特征识别层输出的图像识别结果；其中，所述特征识别层是基于客户端发送的样本图像特征对应的样本传输数据和样本图像识别结果训练得到的。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的用于图像识别的隐私保护方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的用于图像识别的隐私保护方法的步骤。

本发明实施例提供的用于图像识别的隐私保护方法、装置和电子设备，通过将图像识别模型的特征提取层部署在客户端，将图像识别模型的特征识别层部署在服务器，通过客户端提取图像特征并确定待传输数据，服务器获取待传输数据进行特征识别，避免了直接将待识别图像数据上传服务器，保护了用户数据隐私，减小了系统的通信开销，同时，由于待传输数据是由图像特征确定的，提高了数据可用性，进而保证了服务器中图像识别模型的性能，实现了图像识别过程中保护数据隐私、保证模型性能和减小系统开销三者间的平衡。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的用于图像识别的隐私保护方法的流程示意图；

图2为本发明实施例提供的用于图像识别的隐私保护装置的结构示意图；

图3为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

深度学习因其在分类和识别复杂数据等方面所展现的显著优势，成为了人工智能时代下最受欢迎的技术之一。在建立基于深度学习的智能系统时，移动终端、物联网等各种设备需要收集大量的用户数据用于训练，以保证模型的学习效果；而深度学习中的模型大多结构复杂，训练时间和资源开销巨大，通常只能借助高性能服务器完成。随着互联网产业的发展，大量的云平台的涌现，可为用户定制其需要的深度学习服务，分布式深度学习架构应运而生，即采用客户端/服务器架构，客户端运行在用户本地，负责采集用户数据并上传至服务器，服务器收到客户端上传的数据后对其进行训练并生成模型，并对外提供预测服务。

在这种架构的运行模式中，存在着诸多隐患。第一，用户将本地数据上传到服务器的过程中，数据的所有权和控制权相互分离，服务器可以利用获取的数据恢复原始数据中的隐私信息，而外部攻击者可以向服务器的模型发起逆向攻击来恢复出原始训练数据，这两种情况都对用户隐私造成巨大威胁。第二，对于一些特殊机构来说，例如数据驱动型公司、医疗机构等，数据是其专有资产，对外发布或上传会造成资产的流失。第三，从用户终端上采集到的数据往往繁乱冗余，将采集到的全部数据一并上传对客户端传输和服务器训练都将造成巨大的压力，而且冗余或关联的数据对后续模型训练工作的价值也不高。

数据隐私指的是外部攻击者或不可信服务器从客户端上传的数据中恢复出原始数据的能力，恢复能力通过原始数据和恢复出来的数据之间的相似程度来度量，包括欧式距离和MS-SSIM(Multi-Scale-Structural Similarity Index)距离中的至少一种。

模型性能指的是最终生成的目标模型的准确性。

系统开销指的是客户端本地的计算开销、上传数据的通信开销和服务器的计算开销。

现有的隐私保护技术大都需要引入一个第三方，如加密技术中的CA(CertificateAuthority)等。然而，现实生活中存在的第三方常常会牺牲用户以获取各种利益，并且仅仅让第三方对所有用户进行密钥管理容易产生性能瓶颈问题。因此，无需引入第三方的隐私保护方案应运而生并得到了广泛的应用，例如基于中心化差分隐私(DifferentialPrivacy，DP)或本地化差分隐私(Local Differential Privacy，LDP)的保护方案。现有的基于中心化差分隐私方案中，通常将模型的训练过程或推断过程分开考虑，因而无法同时兼顾训练和推断过程的隐私保护。现有的本地化差分隐私方案在实现时大多依赖于随机响应技术(Randomized Response Technique)，在面对神经网络模型的输入的高维数据时，由于计算得到的敏感度较大，数据随机翻转概率高，大大降低了数据的可用性，对模型的准确率影响较大。此外，用户设备采集到的原始数据体量庞大，向服务器上传全部数据会造成巨大的通信开销。而且其中不乏大量关联甚至重复的数据，它们的训练价值不高，对模型性能的提升有限，甚至会损害模型泛化性；同时大量数据的流出会造成数据所有者的资产损失，显著增加隐私泄露的风险。

在使用分布式深度学习架构时，如何充分防止隐私泄漏，同时保证模型性能和减小系统开销是亟待解决的问题。本发明实施例以分布式深度学习构架的场景下的图像识别任务为例就行说明。此处，分布式深度学习架构的场景即采用客户端/服务器构架完成深度学习任务的场景。深度学习任务为服务器在客户端提交的数据上进行图像识别模型的训练和推断。

其中，客户端是有深度学习需求而没有训练条件的个人或机构。服务器是受客户端委托完成深度学习任务的服务器，客户端会向服务器提供数据供其训练或推断。攻击者可以利用客户端提交的数据进行数据还原攻击，恢复客户端的原始数据，威胁用户隐私。数据还原攻击包括去噪攻击、模型逆推攻击。去噪攻击是利用高斯卷积去噪模型消除图像数据上存在的扰动噪声。模型逆推攻击指的是攻击者通过多次查询服务器的模型，利用获取到的大量输入输出数据还原模型的训练数据。

图1为本发明实施例提供的用于图像识别的隐私保护方法的流程示意图，如图1所示，该方法的执行主体可以是客户端，该方法包括：

步骤101，确定待识别图像；

具体地，待识别图像为用于输入图像识别模型进行识别的图像数据，本发明实施例对于待识别图像的类型和获取方式不做具体限定。

步骤102，将待识别图像输入图像识别模型的特征提取层，得到特征提取层输出的图像特征；

具体地，使用客户端/服务器架构完成图像识别任务。对图像识别模型进行切分，分为特征提取层和特征识别层。将图像识别模型的特征提取层部署于客户端，用于进行图像特征的提取。图像识别模型可以选用各种构架的神经网络模型，本发明实施例对于图像识别模型的类型不做具体限定。

例如，使用大型神经网络进行图像识别，可以将全连接层作为特征识别层部署在服务器，全连接层以外的所有其余网络结构作为特征提取层全部转移到客户端本地。

步骤103，基于图像特征确定待传输数据；

具体地，客户端根据图像识别模型的特征提取层输出的图像特征，确定将要上传至服务器中的待传输数据。此处的待传输数据可以是图像特征本身，也可以是对图像特征进行随机响应翻转等隐私化处理之后得到的数据。

步骤104，将待传输数据发送至服务器，以请求服务器将待传输数据输入至图像识别模型的特征识别层，得到特征识别层输出的图像识别结果；其中，特征识别层是基于客户端发送的样本图像特征对应的样本传输数据和样本图像识别结果训练得到的。

具体地，服务器中部署有图像识别模型的特征识别层。服务器可以将客户端发送的传输数据输入到特征识别层中进行图像识别，进而得到特征识别层输出的图像识别结果。图像识别结果是根据图像特征进行识别后得出的与图像特征相对应的结果，图像识别结果可以包括待识别图像中存在的对象类别，例如识别待识别图像中是否存在动物，存在动物的类型等。

在此之前，服务器可以预先训练得到特征识别层，具体可以通过如下方式训练得到特征提取网络：首先，收集大量样本图像特征对应的样本传输数据和样本图像识别结果。随即，将大量样本图像特征对应的样本传输数据和样本图像识别结果输入初始网络进行训练，从而得到特征识别层。需要说明的是，此处的样本图像特征对应的样本传输数据、可以是客户端在采集到样本图像之后通过客户端的特征提取层得到的，样本图像识别结果可以是客户端标注的。

例如，使用人脸图像进行性别预测时，图像识别模型可以选择神经网络。将神经网络中分为特征提取层和特征识别层。特征提取层包括了神经网络中的卷积层、激励层和池化层，部署在客户端。特征识别层包括了神经网络中的全连接层，部署在服务器。

客户端中特征提取层用于提取人脸图像中的图像特征。客户端根据图像特征确定传输数据，将传输数据上传至服务器。服务器中特征识别层根据传输数据进行识别，得到性别预测结果，即图像识别模型输出的图像识别结果。服务器还可以将性别预测结果返回至客户端。

由于客户端本地不涉及任何模型训练过程，因此客户端不需要额外添置高性能CPU(Central Processing Unit)或GPU(Graphics Processing Unit)等计算资源，普通的PC(Personal Computer)、智能手机或可穿戴设备等均可以完成客户端的计算任务。

本发明实施例提供的用于图像识别的隐私保护方法，通过将图像识别模型的特征提取层部署在客户端，将图像识别模型的特征识别层部署在服务器，通过客户端提取图像特征并确定待传输数据，服务器获取待传输数据进行特征识别，避免了直接将待识别图像数据上传服务器，降低了客户端上传数据的维度，保护了用户数据隐私，减小了系统的通信开销，同时，由于待传输数据是由图像特征确定的，提高了数据可用性，进而保证了服务器中图像识别模型的性能，实现了图像识别过程中保护数据隐私、保证模型性能和减小系统开销三者间的平衡。

基于上述实施例，步骤103具体包括：

确定图像特征对应的二进制一维数组；

将二进制一维数组进行随机翻转，得到待传输数据。

具体地，根据图像特征确定对应的待传输数据，可以进行隐私保护处理。将图像特征展开为二进制一维数组，对二进制一维数组进行随机翻转，得到待传输数据。

基于上述任一实施例，确定图像特征对应的二进制一维数组，具体包括：

确定图像特征对应的标准化一维数组；

基于整数部分比特数和/或小数部分比特数，将标准化一维数组进行二进制转换，得到图像特征对应的二进制一维数组；

其中，整数部分比特数是基于标准化一维数组中各个实数绝对值的整数部分的最大值确定的，小数部分比特数是基于标准化一维数组中各个实数需要保留的精度确定的。

具体地，标准化一维数组的计算过程是，在客户端中特征提取层输出的图像特征展开成一个一维数组，数组长度为r，该数组的各元素均为实数，计算各个元素的Z分数，得到标准化后的一维数组。

Z分数，即标准分数(standard score)，是以标准差为尺子去度量某一原始分数偏离平均数的距离，这段距离含有的标准差个数即为Z分数，从而确定这一数据在全体数据中的位置。计算Z分数的过程即为数组标准化的过程。

Z分数的计算公式可以表示为：

式中，X为标准化前一维数组的某一分量；

为原始一维数组各分量的平均数；S为数组中各分量的标准差。

在得到标准化一维数组后，根据整数部分比特数和/或小数部分比特数，将标准化一维数组进行二进制转换，得到图像特征对应的二进制一维数组。具体转换过程可以分为符号位转换、绝对值转换和字符串拼接。

符号位转换具体为确定标准化一维数组中每个实数转化后的二进制字符后串的开头符号位，正数为0，负数置1。

绝对值转换为根据整数部分比特数n和/或小数部分比特数m，分别对实数中的整数部分和小数部分分别进行二进制转换。整数部分比特数

小数部分比特数

二进制各位置的转换计算可以用公式表示为：

式中，x表示每个二进制字符串所对应的实数，n表示整数部分比特数，m表示小数部分比特数，g(i)表示该二进制字符串中的第i比特位的数值，i为该二进制字符串中比特位的标号，其中当k＝-m时，代表小数部分精度最高的位置。

字符串拼接为将每个实数转换后的二进制字符串按原数组中实数的顺序进行拼接，合并成一个长的由二进制比特串构成的一维数组。拼接后所得到的一维数组即为图像特征对应的二进制一维数组。

整数部分比特数是基于标准化一维数组中各个实数绝对值的整数部分的最大值确定的，小数部分比特数是基于标准化一维数组中各个实数需要保留的精度确定的。精度为二进制转化后小数部分对应的十进制值与转化前小数部分数值的接近程度。为了获得更高的精度，通常小数部分需要使用更多的比特位。

本发明实施例提供的用于图像识别的隐私保护方法，通过引入整数与小数部分所占比特数等参数来调整数据精度，以满足不同客户端对模型性能的要求。

在图像识别的分布式深度学习场景中，基于差分技术的隐私保护方案因其具有较强的理论支撑得到了广泛的应用。现有的本地化差分隐私的实现大多依赖于随机响应技术(Randomized Response Technique)，在面对图像等超高维数据时，由于计算得到的敏感度较大，数据随机翻转概率高，大大降低了数据的可用性，对模型性能影响较大。针对这一问题，基于上述任一实施例，本发明实施例中，将二进制一维数组进行随机翻转，得到待传输数据，具体包括：

基于隐私预算和隐私预算系数，确定二进制一维数组中任一比特字符随机化概率；

基于二进制一维数组中每一比特字符随机化概率，对二进制一维数组中每一比特字符进行随机翻转，得到待传输数据；

其中，隐私预算是基于隐私需求确定的，隐私预算系数是基于数据可用性需求确定的。

具体地，本地化差分隐私机制定义如下：

给定一个随机化函数M,定义域为

值域为R。若对于任意两个相邻数据集

与任意子集

满足Pr[M(x)∈S]≤e^εPr[M(x′)∈S]，则该随机扰动机制为满足ε-differential privacy的差分隐私机制,其中，Pr[M(x)∈S]为随机化函数M取值为x的概率，Pr[M(x′)∈S]为随机化函数M取值为x′的概率。

客户端可以根据隐私需求确定隐私预算，根据数据可用性需求确定隐私预算系数。隐私预算ε∈(0,∞)、隐私预算系数α∈(0,∞)。

隐私预算ε取决于隐私需求，隐私保护要求越高，隐私预算应越小。隐私预算系数α取决数据可用性需求，隐私预算系数越大，数据可用性越高。

根据隐私预算ε和隐私预算系数α，确定二进制一维数组中任一比特字符随机化概率，随机化概率即保留原始比特真实值的概率。可以用公式表示为：

式中，p(B[i]v)为二进制一维数组中v中第i比特字符随机化的概率；Pr[B[v1]＝1|v1]为二进制一维数组中偶数位置字符翻转结果为1概率；Pr[B[v2]＝0|v1]为二进制一维数组中偶数位置字符翻转结果为0概率；Pr[B[v1]＝1|v1]为二进制一维数组中奇数位置字符翻转结果为1概率；Pr[B[v2]＝0|v1]为二进制一维数组中奇数位置字符翻转结果为0概率；rl为字符串长度r×l；r为二进制一维数组长度；l为二进制一维数组中每个实数所对应二进制字符串的长度，l＝n+m+1。

根据二进制一维数组中每一比特字符随机化概率，对二进制一维数组中每一比特字符进行随机翻转。

将随机翻转后的二进制字符串和对应的数据标签上传到服务器，输入特征识别层，得到特征识别层输出的图像识别结果。

本发明实施例提供的用于图像识别的隐私保护方法，在客户端本地对数据进行隐私化处理，防止不可信的服务器或外部攻击者恢复原始数据，通过引入隐私预算系数，重新设计随机化概率值的计算方式并进行随机翻转数据，使得随机化概率的选择更加灵活，减少了隐私预算对模型性能的影响，实现了数据可用性的提升。

下面通过举例来说明。例如，使用人脸图像进行性别预测时，图像识别模型选择神经网络，进行图像识别中的隐私保护步骤如下。

步骤一、将神经网络中切分为特征提取层和特征识别层。特征提取层包括了神经网络中的卷积层、激励层和池化层等除全连接层以外的所有层，部署在客户端。特征识别层包括了神经网络中的全连接层，部署在服务器。

步骤二、使用客户端中特征提取层用于提取人脸图像中的图像特征。将特征提取层输出的图像特征展开为一个一维数组，数组长度为r，该数组的各元素均为实数，计算各个元素的Z分数，得到标准化后的一维数组。

步骤三、客户端根据实际需求确定隐私预算ε、隐私预算系数α、整数部分比特数n和小数部分比特数m等参数。

步骤四、根据整数部分比特数n和小数部分比特数m，将图像特征对应的标准化数组中的每个实数分别转换为一个二进制字符串，然后将每个实数转换后的二进制字符串共同拼接成一个新的一维数组。

步骤五、根据隐私预算ε和隐私预算系数α，计算随机化概率来对二进制串进行随机翻转。

步骤六、将随机翻转后的二进制字符串和对应的图像数据标签上传到服务器，输入特征识别层，即神经网络中的全连接层，得到性别预测结果，即图像识别模型输出的图像识别结果。服务器还可以将性别预测结果返回至客户端。

通过上述步骤，实现了图像识别模型的切分，将复杂的图像特征通过客户端神经网络的前馈过程展开成一维数组，起到了特征提取与降维的作用，大大降低了客户端向服务器传输数据过程中所产生的通信开销与服务器的计算开销。同时，在客户端实现了对图像特征对应的图像数据进行了隐私化处理，从而防止外部攻击者或不可信服务器获取客户端的图像数据，通过客户端设定隐私预算系数，计算随机翻转概率，减少了隐私预算对模型性能的影响，实现了数据可用性的提升。

现有的差分技术大多未考虑数据的训练价值，但是实际采集到的海量数据难免存在关联甚至重复，这些冗余性数据对于模型训练贡献有限，甚至会降低模型泛化性，同时大量数据的流出会造成数据所有者的资产损失，显著增加隐私泄露的风险。此外，客户端采集到的原始数据往往体量庞大，向服务器上传全部数据会带来巨大的通信开销，造成较长的网络延迟，影响学习效率。为了解决这一问题，基于上述任一实施例，步骤101具体包括：

获取多个候选图像；基于代表性样本比例，从多个候选图像中选取对应比例的图像作为待识别图像。

具体地，客户端根据代表性样本比例，从多个候选图像中筛选出对应比例的待识别图像，作为本次图像识别的数据集。筛选出的待识别图像也可以作为样本数据，上传至服务器，用于图像识别模型的训练过程。

代表性样本指的是多个候选图像组成的集合的一个子集，该集合中的数据相互独立、在统计特性上可以近似代表全集，即多个候选图像组成的集合中的每个候选图像可以近似地由代表性样本线性表示。代表性样本选取可以采用如下方法。

根据候选图像是否有标签，将多个候选图像组成的集合分为训练集和预测集。其中，训练集带有标签，预测集没有标签。根据不同标签类别对训练集进行分组。

设置代表性样本比例，代表性样本比例包括训练集代表性样本比例k₁和/或预测集代表性样本比例k₂。训练集代表性样本比例k₁∈(0,1]，预测集代表性样本比例k₂∈(0,1]。

根据训练集代表性样本比例k₁，在各组训练集上分别应用代表性样本选取算法，在各组内分别筛选出相应比例的代表性训练子集，组合后得到用于本次图像识别的训练集。

根据预测集代表性样本比例k₂，在预测集上应用代表性样本选取算法，筛选出相应比例的代表性预测子集，作为用于本次图像识别的预测集。

特别地，若客户端对模型性能要求极高，可以将训练集/预测集代表性样本比例设定为1，即向服务器提交全部数据用于模型训练或预测。

代表性样本选取算法可根据不同数据类型和数据来源特点进行适应性选择，例如SMRS(Sparse Modeling Representative Selection)算法或Kmedoids算法，本发明实施例对此不做具体限定。

本发明实施例提供的用于图像识别的隐私保护方法，通过代表性样本选取消除了冗余或相关的图像数据，以减少客户端提交的数据量，减少数据泄露，同时也降低了客户端的传输开销以及服务器的计算开销，根据不同的隐私保护需求和图像识别模型性能期望，客户端可以自定义代表性样本比例，筛选出最具有代表性的一组数据进行上传。

基于上述任一实施例，步骤102具体包括：

将待识别图像输入特征提取层的零化矩阵层，得到零化矩阵层输出的零化特征；

将零化特征输入特征提取层的第一提取层，得到第一提取层输出的第一提取特征；

将第一提取特征输入特征提取层的随机加噪层，得到随机加噪层输出的加噪特征；

将加噪特征输入特征提取层的第二提取层，得到第二提取层输出的图像特征。

具体地，将待识别图像输入特征提取层的零化矩阵层，得到零化矩阵层输出的零化特征。在零化矩阵层中，若客户端指定屏蔽项，则确定相对应的零化矩阵I_n，若无指定，则根据置零率μ∈[0,1)随机生成零化矩阵

为客户端待识别图像的向量空间。置零率μ可以由客户端根据实际需求设置，本发明实施例对置零率的设置方法不做具体限定。

将零化特征输入特征提取层的第一提取层，得到第一提取层输出的第一提取特征。在第一提取特征的提取过程中，不需要计算损失和梯度，无需更新图像识别模型参数。

将第一提取特征输入特征提取层的随机加噪层，根据噪声尺度σ，对第一提取特征中每一条数据，分别为其生成一个维度为N'的满足拉普拉斯分布的随机噪声向量，在该条数据中加入此噪声，得到随机加噪层输出的加噪特征。噪声尺度σ可以由客户端根据实际需求设置，本发明实施例对噪声尺度的设置方法不做具体限定。N'为经过第一提取层后输出的数据长度。

将加噪特征输入特征提取层的第二提取层，得到第二提取层输出的图像特征。在第二提取特征的提取过程中，不需要计算损失和梯度，无需更新图像识别模型参数。

本发明实施例提供的用于图像识别的隐私保护方法，通过设置多种参数，支持客户端个性化的数据隐私、模型性能和系统开销需求，同时，在使用差分方法时不再像传统的差分方法直接在原始数据上进行加噪，而是在部署在客户端的特征提取层上随机地选择某一层的输出进行加噪，以此抵御数据重建攻击。

基于上述任一实施例，随机加噪层在特征提取层中的位置是基于预设扰动层参数确定的。

具体地，预先设定扰动层参数l∈[1,L]，其中，L为客户端图像识别模型特征提取层的总层数。

根据预设扰动层参数l，在特征提取层中选中第l层为随机加噪层，图像识别模型特征提取层前l-1层为零化矩阵层和第一提取层，后L-l层为第二提取层。

下面通过举例来说明。例如，使用人脸图像进行性别预测时，图像识别模型可以选择神经网络。

与前述实施例相同之处在于，将神经网络中切分为特征提取层和特征识别层。特征提取层包括了神经网络中的卷积层、激励层和池化层等除全连接层以外的所有层，部署在客户端。特征识别层包括了神经网络中的全连接层，部署在服务器。

与前述实施例不同之处在于，本实施例的主要思路是结合用户所设置的个性化参数，筛选并输出添加扰动的数据，将其发送给服务器。上述操作均在客户端本地完成，对服务器端完全透明，具体实施步骤如下。

步骤一、在客户端获取的多个候选图像，将其转换为图像识别任务的向量表示。

步骤二、在客户端设定多项参数，包括训练集代表性样本比例k₁∈(0,1]、预测集代表性样本比例k₂∈(0,1]、扰动层l∈[1,L]、置零率μ∈[0,1)和噪声尺度σ等。根据置零率μ∈[0,1)随机生成零化矩阵

其中，L为客户端图像识别模型特征提取层的总层数，

为客户端待识别图像的向量空间。

步骤三、根据候选图像是否有性别标签，将其分为训练集和预测集。其中，训练集带有性别标签，预测集没有性别标签。根据不同性别标签对训练集进行分组，分成男子组和女子组。

根据训练集代表性样本比例k₁，在男子组和女子组训练集上分别应用代表性样本选取算法，在各组内分别筛选出相应比例的代表性训练子集，组合后得到用于图像识别模型处理使用的训练集。

根据预测集代表性样本比例k₂，在预测集上应用代表性样本选取算法，筛选出相应比例的代表性预测子集，作为用于图像识别模型处理使用的预测集。

步骤四、将用于图像识别模型处理使用的训练集和/或用于图像识别模型处理使用的预测集输入特征提取层的零化矩阵层，得到零化矩阵层输出的零化特征。

将第一提取特征输入特征提取层的随机加噪层，根据噪声尺度σ，对第一提取特征中每一条数据，分别为其生成一个维度为N'的满足拉普拉斯分布的随机噪声向量，在该条数据中加入此噪声，得到随机加噪层输出的加噪特征。N'为经过第一提取层后输出的数据长度。

将加噪特征输入特征提取层的第二提取层，得到第二提取层输出的图像特征。第二提取层输出的图像特征中包含了随机噪声，能够对图像特征中的真实数据进行隐私保护。

将包含随机噪声的图像特征上传到服务器，输入特征识别层，即神经网络中的全连接层，得到性别训练结果和/或性别预测结果，即图像识别模型输出的图像识别结果。服务器还可以将性别预测结果返回至客户端。

通过上述步骤，客户端使用代表性样本选取，消除了冗余或相关的候选图像，以减少客户端提交的数据量，减少图像数据泄露，同时也降低了客户端的传输开销以及服务器的计算开销，在部署在客户端的特征提取层上随机地选择某一层的输出进行加噪，以此抵御数据重建攻击。

基于上述任一实施例，图2为本发明实施例提供的用于图像识别的隐私保护装置的结构示意图，如图2所示，该装置包括：

图像确定单元201，用于确定待识别图像；

特征提取单元202，用于将待识别图像输入图像识别模型的特征提取层，得到特征提取层输出的图像特征；

数据确定单元203，用于基于图像特征确定待传输数据；

数据发送单元204，用于将待传输数据发送至服务器，以请求服务器将待传输数据输入至图像识别模型的特征识别层，得到特征识别层输出的图像识别结果；其中，特征识别层是基于客户端发送的样本图像特征对应的样本传输数据和样本图像识别结果训练得到的。

具体地，隐私保护装置应用于客户端，该客户端部署图像识别模型的特征提取层，具体包括图像确定单元201、特征提取单元202、数据确定单元203和数据发送单元204。

图像确定单元201用于确定待识别图像，特征提取单元202用于将待识别图像输入图像识别模型的特征提取层，得到特征提取层输出的图像特征，数据确定单元203用于根据客户端中图像识别模型的特征提取层输出的图像特征，确定将要上传至服务器中的传输数据，数据发送单元204用于将待传输数据发送至服务器，以请求服务器将待传输数据输入至图像识别模型的特征识别层，得到特征识别层输出的图像识别结果。图像识别模型的特征识别层部署在服务器中。

服务器中特征识别层可以预先训练得到，具体可以通过如下方式训练得到特征提取网络：首先，收集大量样本图像特征对应的样本传输数据和样本图像识别结果。随即，将大量样本图像特征对应的样本传输数据和样本图像识别结果输入初始网络进行训练，从而得到特征识别层。

本发明实施例提供的用于图像识别的隐私保护装置，通过将图像识别模型的特征提取层部署在客户端，将图像识别模型的特征识别层部署在服务器，通过客户端提取图像特征并确定待传输数据，服务器获取待传输数据进行特征识别，避免了直接将待识别图像数据上传服务器，降低了客户端上传数据的维度，保护了用户数据隐私，减小了系统的通信开销，同时，由于待传输数据是由图像特征确定的，提高了数据可用性，进而保证了服务器中图像识别模型的性能，实现了图像识别过程中保护数据隐私、保证模型性能和减小系统开销三者间的平衡。

基于上述任一实施例，数据确定单元203具体包括：

数组确定子单元，用于确定图像特征对应的二进制一维数组；

随机翻转子单元，用于将二进制一维数组进行随机翻转，得到待传输数据。

基于上述任一实施例，数组确定子单元具体用于：

确定图像特征对应的标准化一维数组；

基于上述任一实施例，随机翻转子单元具体用于：

基于上述任一实施例，图像确定单元201具体用于：

获取多个候选图像；

基于代表性样本比例，从多个候选图像中选取对应比例的图像作为待识别图像。

基于上述任一实施例，特征提取单元202具体包括：

零化矩阵子单元，用于将待识别图像输入特征提取层的零化矩阵层，得到零化矩阵层输出的零化特征；

第一提取子单元，用于将零化特征输入特征提取层的第一提取层，得到第一提取层输出的第一提取特征；

随机加噪子单元，用于将第一提取特征输入特征提取层的随机加噪层，得到随机加噪层输出的加噪特征；

第二提取子单元，用于将加噪特征输入特征提取层的第二提取层，得到第二提取层输出的图像特征。

基于上述任一实施例，随机加噪子单元包括：

扰动层确定模块，用于基于预设扰动层参数确定随机加噪层在特征提取层中的位置。

基于上述任一实施例，图3为本发明实施例提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(CommunicationsInterface)304、存储器(memory)302和通信总线303，其中，处理器301，通信接口304，存储器302通过通信总线303完成相互间的通信。处理器301可以调用存储器302中的逻辑指令，以执行如下方法：

确定待识别图像；将待识别图像输入图像识别模型的特征提取层，得到特征提取层输出的图像特征；基于图像特征确定待传输数据；将待传输数据发送至服务器，以请求服务器将待传输数据输入至图像识别模型的特征识别层，得到特征识别层输出的图像识别结果；其中，特征识别层是基于客户端发送的样本图像特征对应的样本传输数据和样本图像识别结果训练得到的。

此外，上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例提供的非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时上述各实施例提供的方法，例如包括：确定待识别图像；将待识别图像输入图像识别模型的特征提取层，得到特征提取层输出的图像特征；基于图像特征确定待传输数据；将待传输数据发送至服务器，以请求服务器将待传输数据输入至图像识别模型的特征识别层，得到特征识别层输出的图像识别结果；其中，特征识别层是基于客户端发送的样本图像特征对应的样本传输数据和样本图像识别结果训练得到的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种用于图像识别的隐私保护方法，其特征在于，包括：

确定待识别图像；

基于所述图像特征确定待传输数据；

2.根据权利要求1所述的用于图像识别的隐私保护方法，其特征在于，所述基于所述图像特征确定待传输数据，具体包括：

确定所述图像特征对应的二进制一维数组；

3.根据权利要求2所述的用于图像识别的隐私保护方法，其特征在于，所述确定所述图像特征对应的二进制一维数组，具体包括：

确定所述图像特征对应的标准化一维数组；

4.根据权利要求2所述的用于图像识别的隐私保护方法，其特征在于，所述将所述二进制一维数组进行随机翻转，得到所述待传输数据，具体包括：

5.根据权利要求1所述的用于图像识别的隐私保护方法，其特征在于，所述确定待识别图像，具体包括：

获取多个候选图像；

6.根据权利要求1所述的用于图像识别的隐私保护方法，其特征在于，所述将所述待识别图像输入图像识别模型的特征提取层，得到所述特征提取层输出的图像特征，具体包括：

7.根据权利要求6所述的用于图像识别的隐私保护方法，其特征在于，所述随机加噪层在所述特征提取层中的位置是基于预设扰动层参数确定的。

8.一种用于图像识别的隐私保护装置，其特征在于，应用于客户端，包括：

图像确定单元，用于确定待识别图像；

数据确定单元，用于基于所述图像特征确定待传输数据；

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的用于图像识别的隐私保护方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7中任一项所述的用于图像识别的隐私保护方法的步骤。