CN111368795B - 一种人脸特征提取方法、装置及设备 - Google Patents

一种人脸特征提取方法、装置及设备 Download PDF

Info

Publication number
CN111368795B
CN111368795B CN202010197691.4A CN202010197691A CN111368795B CN 111368795 B CN111368795 B CN 111368795B CN 202010197691 A CN202010197691 A CN 202010197691A CN 111368795 B CN111368795 B CN 111368795B
Authority
CN
China
Prior art keywords
encoder
user
vector
face
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010197691.4A
Other languages
English (en)
Other versions
CN111368795A (zh
Inventor
徐崴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010197691.4A priority Critical patent/CN111368795B/zh
Publication of CN111368795A publication Critical patent/CN111368795A/zh
Application granted granted Critical
Publication of CN111368795B publication Critical patent/CN111368795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本说明书实施例公开了一种用于隐私保护的人脸特征提取方法、装置及设备。该方案包括：将待识别用户的人脸图像输入图像编码器，得到所述图像编码器输出的所述人脸图像的编码向量，所述编码向量为对所述人脸图像进行特征化处理后得到的向量数据；利用全连接的深度神经网络模型接收所述编码向量后，输出所述待识别用户的人脸特征向量。其中，所述图像编码器为自编码器中的编码器；所述图像编码器的输出与所述深度神经网络模型的输入连接。

Description

一种人脸特征提取方法、装置及设备
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种人脸特征提取方法、装置及设备。
背景技术
随着计算机技术以及光学成像技术的发展，基于人脸识别技术的用户识别方式正在日渐普及。目前，通常需要将客户端设备采集的待识别用户的人脸图像发送至服务端设备处，以便于该服务端设备从该待识别用户的人脸图像中提取出人脸特征向量，从而可以基于该人脸特征向量去生成用户识别结果。由于待识别用户的人脸图像属于用户敏感信息，因此，这种需将待识别用户的人脸图像发送至其他设备进行特征提取的方法存在泄漏用户敏感信息的风险。
基于此，如何在保证用户人脸信息的隐私性的基础上去提取用户人脸特征，已成为亟待解决的技术问题。
发明内容
有鉴于此，本说明书一个或多个实施例提供了一种人脸特征提取方法、装置及设备，用于在保证用户人脸信息的隐私性的基础上去提取用户人脸特征。
为解决上述技术问题，本说明书实施例是这样实现的：
本说明书实施例提供的一种人脸特征提取方法，所述方法使用了用于隐私保护的人脸特征提取模型，所述人脸特征提取模型包括：图像编码器及全连接的深度神经网络模型；所述图像编码器为自编码器中的编码器；所述图像编码器的输出与所述深度神经网络模型的输入连接；所述方法包括：
将待识别用户的人脸图像输入所述图像编码器，得到所述图像编码器输出的所述人脸图像的编码向量，所述编码向量为对所述人脸图像进行特征化处理后得到的向量数据；
所述深度神经网络模型接收所述编码向量后，输出所述待识别用户的人脸特征向量。
本说明书实施例提供的一种针对用于隐私保护的人脸特征提取模型的训练方法，所述方法包括：
获取第一训练样本集合，所述第一训练样本集合中的训练样本为人脸图像；
利用所述第一训练样本集合对初始自编码器进行训练，得到训练后的自编码器；
获取第二训练样本集合，所述第二训练样本集合中的训练样本为编码向量，所述编码向量为利用所述训练后的自编码器中的编码器对人脸图像进行特征化处理后得到的向量数据；
利用所述第二训练样本集合对全连接的初始深度神经网络模型进行训练，得到训练后的深度神经网络模型；
根据所述编码器及所述训练后的深度神经网络模型，生成用于隐私保护的人脸特征提取模型。
本说明书实施例提供的一种人脸特征提取装置，所述装置使用了用于隐私保护的人脸特征提取模型，所述人脸特征提取模型包括：图像编码器及全连接的深度神经网络模型；所述图像编码器为自编码器中的编码器；所述图像编码器的输出与所述深度神经网络模型的输入连接；所述装置包括：
输入模块，用于将待识别用户的人脸图像输入所述图像编码器，得到所述图像编码器输出的所述人脸图像的编码向量，所述编码向量为对所述人脸图像进行特征化处理后得到的向量数据；
人脸特征向量生成模块，用于令所述深度神经网络模型接收所述编码向量后，输出所述待识别用户的人脸特征向量。
本说明书实施例提供的一种针对用于隐私保护的人脸特征提取模型的训练装置，所述装置包括：
第一获取模块，用于获取第一训练样本集合，所述第一训练样本集合中的训练样本为人脸图像；
第一训练模块，用于利用所述第一训练样本集合对初始自编码器进行训练，得到训练后的自编码器；
第二获取模块，用于获取第二训练样本集合，所述第二训练样本集合中的训练样本为编码向量，所述编码向量为利用所述训练后的自编码器中的编码器对人脸图像进行特征化处理后得到的向量数据；
第二训练模块，用于利用所述第二训练样本集合对全连接的初始深度神经网络模型进行训练，得到训练后的深度神经网络模型；
人脸特征提取模型生成模块，用于根据所述编码器及所述训练后的深度神经网络模型，生成用于隐私保护的人脸特征提取模型。
本说明书实施例提供的一种客户端设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有图像编码器以及可被所述至少一个处理器执行的指令，所述图像编码器为自编码器中的编码器，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
将待识别用户的人脸图像输入所述图像编码器，得到所述图像编码器输出的所述人脸图像的编码向量，所述编码向量为对所述人脸图像进行特征化处理后得到的向量数据；
发送所述编码向量至服务端设备，以便于所述服务端设备利用全连接的深度神经网络模型根据所述编码向量生成所述待识别用户的人脸特征向量。
本说明书实施例提供的一种服务端设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有全连接的深度神经网络模型以及可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取待识别用户的人脸图像的编码向量，所述编码向量是利用自编码器中的编码器对所述人脸图像进行特征化处理而得到的向量数据；
所述全连接的深度神经网络模型接收所述编码向量后，输出所述待识别用户的人脸特征向量。
本说明书实施例提供的一种针对用于隐私保护的人脸特征提取模型的训练设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取第一训练样本集合，所述第一训练样本集合中的训练样本为人脸图像；
利用所述第一训练样本集合对初始自编码器进行训练，得到训练后的自编码器；
获取第二训练样本集合，所述第二训练样本集合中的训练样本为编码向量，所述编码向量为利用所述训练后的自编码器中的编码器对人脸图像进行特征化处理后得到的向量数据；
利用所述第二训练样本集合对全连接的初始深度神经网络模型进行训练，得到训练后的深度神经网络模型；
根据所述编码器及所述训练后的深度神经网络模型，生成用于隐私保护的人脸特征提取模型。
本说明书一个实施例实现了能够达到以下有益效果：
由于图像编码器生成的待识别用户的人脸图像的编码向量为对该人脸图像进行特征化处理后得到的向量数据，使得对该待识别用户的人脸图像的编码向量进行传输、存储或使用时，不会对用户人脸信息的隐私性及安全性产生影响。因此，服务提供商可以通过获取并处理待识别用户的人脸图像的编码向量，以生成待识别用户的人脸特征向量，而无需去获取待识别用户的原始人脸图像，以确保用户人脸信息的隐私性及安全性。
附图说明
此处所说明的附图用来提供对本说明书一个或多个实施例的进一步理解，构成本说明书一个或多个实施例的一部分，本说明书的示意性实施例及其说明用于解释本说明书一个或多个实施例，并不构成对本说明书一个或多个实施例的不当限定。在附图中：
图1为本说明书实施例提供的一种人脸特征提取方法的流程示意图；
图2为本说明书实施例提供的一种用于隐私保护的人脸特征提取模型的结构示意图；
图3为本说明书实施例提供的一种针对用于隐私保护的人脸特征提取模型的训练方法的流程示意图；
图4为本说明书实施例提供的对应于图1的一种人脸特征提取装置的结构示意图；
图5为本说明书实施例提供的对应于图3的一种针对用于隐私保护的人脸特征提取模型的训练装置。
具体实施方式
为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书一个或多个实施例保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
现有技术中，在基于人脸识别技术进行用户识别时，通常需要将待识别用户的人脸图像发送至服务器提供商，以令该服务提供商从待识别用户的人脸图像中提取出人脸特征向量，并基于该人脸特征向量进行用户识别。由于这种方法需令服务提供商获取、存储或处理用户的人脸图像，从而容易对用户的人脸信息的隐私性及安全性产生影响。
且目前，在从用户人脸图像中提取人脸特征向量时，通常会对用户人脸图像进行预处理以后再去提取人脸特征向量。例如，在基于主成分分析(principal componentanalysis,PCA)的人脸识别方法中，会先从用户人脸图片中提取主成分信息，并丢弃部分细节信息，以基于该主成分信息生成人脸特征向量。基于该方法生成的人脸特征向量存在人脸特征信息丢失的问题，可见，目前提取到的人脸特征向量的准确性也较差。
为了解决现有技术中的缺陷，本方案给出了以下实施例：
图1为本说明书实施例提供的一种人脸特征提取方法的流程示意图。所述方法使用了用于隐私保护的人脸特征提取模型去提取人脸特征向量。
图2为本说明书实施例提供的一种用于隐私保护的人脸特征提取模型的结构示意图，如图2所示，用于隐私保护的人脸特征提取模型201包括：图像编码器202及全连接的深度神经网络模型203；所述图像编码器202的输入为人脸图像204，所述图像编码器202的输出与所述深度神经网络模型203的输入连接。
从程序角度而言，图1中所示的流程的执行主体可以为人脸特征提取系统或者搭载于人脸特征提取系统上的程序。该人脸特征提取系统可以包括客户端设备及服务端设备。其中，该客户端设备中可以搭载有用于隐私保护的人脸特征提取模型中的图像编码器，该服务端设备中可以搭载有用于隐私保护的人脸特征提取模型中的深度神经网络模型。
如图1所示，该流程可以包括以下步骤：
步骤102：将待识别用户的人脸图像输入所述图像编码器，得到所述图像编码器输出的所述人脸图像的编码向量，所述编码向量为对所述人脸图像进行特征化处理后得到的向量数据。
在本说明书实施例中，用户在使用各类应用程序时，通常需在各个应用处注册账号。当用户对该注册账号进行登录、解锁，或者用户使用该注册账号进行支付等场景，通常需对该注册账号的操作用户(即待识别用户)进行用户识别，并在确定待识别用户为该注册账号的认证用户(即指定用户)后，才允许该待识别用户执行后续操作。或者，针对用户需通过门禁系统的这一场景，通常需对该用户进行识别，并在确定该用户(即待识别用户)为门禁系统的白名单用户(即指定用户)后，才允许该用户通过门禁系统。
当基于人脸识别技术对待识别用户进行用户识别时，客户端设备(例如，搭载有指定应用的终端设备或门禁设备等)通常需采集该待识别用户的人脸图像，并利用其搭载的图像编码器提取该人脸图像的编码向量。客户端设备还可以将该编码向量发送至服务端设备(例如，指定应用的服务器或门禁设备的服务器等)，以便于服务端设备根据该编码向量生成待识别用户的人脸特征向量，进而可以基于该待识别用户的人脸特征向量进行用户识别。
其中，所述图像编码器可以为自编码器(auto encoder,AE)中的编码器。
自编码器是深度学习中的一种网络模型结构，其特点是可以使用输入图像自身作为监督信息，以对输入图像进行重建为目标进行网络训练，从而达到对输入图像进行编码(encoding)的目的。由于自编码器不需要除输入图像以外的其他信息作为网络训练中的监督信息，使得自编码器的训练成本较低，经济实用。
具体的，自编码器通常可以包含编码器(encoder)和解码器(decoder)两部分。其中，自编码器中的编码器(即步骤102中的图像编码器)可以用于对人脸图像进行编码处理，以得到人脸图像的编码向量，而自编码器中的解码器则可以根据该编码向量，对该人脸图像进行重建，以得到重建人脸图像。
由于自编码器中的编码器生成的人脸图像的编码向量为对人脸图像进行特征化处理后得到的向量数据，使得该人脸图像的编码向量无法体现待识别用户的相貌信息，因此，服务提供商对该图像编码器生成的待识别用户的人脸图像的编码向量进行传输、存储及处理，并不会对待识别用户的人脸信息的安全性及隐私性产成影响。
在本说明书实施例中，由于自编码器是一种能够通过无监督学习学到输入数据，并可以对输入数据进行高效精确表示的人工神经网络。因此，基于该自编码器中的编码器生成的人脸图像的编码向量中包含的人脸特征信息较全面，且噪声较小，从而在基于自编码器中的编码器生成的人脸图像的编码向量去提取人脸特征向量时，可以提升得到的人脸特征向量的准确性，进而有利于提升基于该人脸特征向量生成的用户识别结果的准确性。
在本说明书实施例中，待识别用户的人脸图像可以为多通道人脸图像。在实际应用中，当客户端设备采集的待识别用户的人脸图像为单通道人脸图像时，可以先确定该待识别用户的单通道图像数据；并根据所述单通道图像数据生成该待识别用户的多通道图像，以便于利用图像编码器对该待识别用户的多通道人脸图像进行处理。其中，所述待识别用户的多通道人脸图像的各个通道的图像数据均与所述单通道图像数据相同。
步骤104：所述深度神经网络模型接收所述编码向量后，输出所述待识别用户的人脸特征向量。
在本说明书实施例中，由于自编码器的训练目标为使得重建人脸图像与原使人脸图像之间的差异最小，而并非是用于对用户人脸进行分类，因此，若使用自编码器中的编码器提取的待识别用户的人脸图像的编码向量直接作为待识别用户的人脸特征向量去进行用户识别，会影响用户识别结果的准确性。
在本说明书实施例中，可以在服务端设备上部署深度神经网络模型(DeepNeuralNetworks，DNN)。由于深度神经网络模型可以用于分类场景，因此，当将待识别用户的人脸图像的编码向量输入该深度神经网络模型后，该深度神经网络模型的输出向量可以作为待识别用户的人脸特征向量。当基于该深度神经网络模型输出的人脸特征向量进行用户识别时，可以提升用户识别结果的准确性。
在本说明书实施例中，服务端设备上部署的深度神经网络模型既可以是全连接的深度神经网络模型，也可以是非全连接的深度神经网络模型。其中，全连接的深度神经网络模型是指模型中的第i层的任意一个神经元与第i+1层的各个神经元均相连，而非全连接的深度神经网络模型是指模型中的第i层的任意一个神经元可以与第i+1层中的部分神经元相连。全连接的深度神经网络模型相较于非全连接的深度神经网络模型的可以提取更多的人脸特征信息，但是计算量也较大，容易影响计算效率。因此，服务端设备上部署的深度神经网络模型可以根据实际需求去确定。
应当理解，本说明书一个或多个实施例所述的方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。
图1中的方法，由于服务提供商可以从待识别用户的人脸图像的编码向量中提取出人脸特征向量，从而无需获取待识别用户的人脸图像，避免了服务提供商对用户人脸图像的传输、存储及使用，以确保待识别用户的人脸信息的隐私性及安全性。
且由于待识别用户的人脸图像的编码向量是利用自编码器中的编码器从待识别用户的人脸图像中提取出的，该编码向量所包含的人脸特征信息较全面且噪声较少，从而有利于提升基于该编码向量生成的人脸特征向量的准确性。
基于图1中的方法，本说明书实施例还提供了该方法的一些具体实施方案，下面进行说明。
本说明书实施例中，自编码器由前至后可以包括：输入层、第一隐藏层、瓶颈层、第二隐藏层及输出层。
其中，所述图像编码器可以包括：所述自编码器的输入层、第一隐藏层及瓶颈层；所述输入层与所述第一隐藏层连接，所述第一隐藏层与所述瓶颈层连接，所述瓶颈层与所述深度神经网络模型连接。
具体的，所述输入层，可以用于接收所述待识别用户的人脸图像。
所述第一隐藏层，可以用于对人脸图像进行编码处理，得到第一特征向量。
所述瓶颈层，可以用于对该第一特征向量进行降维处理，得到所述人脸图像的编码向量，所述编码向量的维度数量小于所述第一特征向量的维度数量。
本说明书实施例中，由于自编码器中的编码器需对图像进行编码处理，为保证编码效果，所述第一隐藏层中可以包括多个卷积层，所述第一隐藏层中还可以包括池化层及全连接层。所述瓶颈层(Bottleneck layer)可以用于降低特征维度。与瓶颈层连接的隐藏层所输出的特征向量的维度均高于该瓶颈层输出的特征向量的维度。
对应的，自编码器中的解码器可以包括：所述自编码器中的第二隐藏层及输出层。其中，所述第二隐藏层与所述瓶颈层连接，所述第二隐藏层还与所述输出层连接。
所述第二隐藏层，可以用于对瓶颈层输出的人脸图像的编码向量进行解密处理，得到第二特征向量，该第二特征向量的维度数据大于该编码向量的维度数量。所述第二隐藏层中也可以包括多个卷积层，以及池化层和/或全连接层。
所述输出层，可以用于根据第二特征向量生成重建人脸图像数据。
本说明书实施例中，由于自编码器中的解码器可以对该自编码器中的编码器生成的待识别用户的人脸图像的编码向量进行解码处理，以得到该待识别用户的重建人脸图像数据。为避免因泄露该重建人脸图像数据而对待识别用户的人脸信息的隐私性产生影响，可以对该自编码器中的解码器进行锁定，当该解码器为被锁定的模型时，服务提供商或其他用户将无法获取到该解码器输出的重建人脸图像数据，以保证待识别用户的。
本实际应用中，可以通过将自编码器中的解码器存储于第三方设备处，以对该解码器进行锁定，或者，使用加密软件对自编码器中的解码器进行锁定，以令用户无法读取该解码器输出的重建人脸图像数据。在本说明书实施例中，锁定自编码器的解码器的实现方式有多种，对此不作具体限定，只需保证该解码器输出的重建人脸图像数据的使用安全性即可。当然，服务提供商或其他用户也可以在取得针对待识别用户的重建人脸图像数据的读取权限后，去读取该重建人脸图像数据，以提升数据利用率。
本说明书实施例中，所述全连接的深度神经网络模型具体可以包括：输入层、多个全连接层及输出层；其中，所述输入层与所述图像编码器的输出连接，所述输入层还与所述全连接层连接，所述全连接层与所述输出层连接。
所述输入层，可以用于接收所述图像编码器输出的所述编码向量。
所述全连接层，可以用于对所述编码向量进行特征提取，得到所述待识别用户的人脸特征向量。
所述输出层，可以用于根据所述全连接层输出的所述待识别用户的人脸特征向量，生成人脸分类结果；其中，所述待识别用户的人脸特征向量既可以为与所述输出层相邻的全连接层的输出向量，也可以为与所述输出层间隔N个网络层的全连接层的输出向量。
本说明书实施例中，全连接层(fully connected layers，FC)可以起到“分类器”的作用。深度神经网络模型中的全连接层的层数与该模型的非线性表达能力成正比。因此，当深度神经网络模型包含多个全连接层时，可以提升基于该深度神经网络模型生成的待识别用户的人脸特征的准确性。
本说明书实施例中，由于步骤104中生成的待识别用户的人脸特征向量可以用于用户识别场景。因此，所述人脸特征提取模型还可以包括用户匹配模型，所述用户匹配模型的输入可以与所述深度神经网络模型的输出连接。
步骤104之后，还可以包括：所述用户匹配模型接收所述待识别用户的人脸特征向量及指定用户的人脸特征向量，并根据所述待识别用户的人脸特征向量和所述指定用户的人脸特征向量之间的向量距离，生成表示所述待识别用户是否为所述指定用户的输出信息，其中，所述指定用户的人脸特征向量为利用所述图像编码器及所述全连接的深度神经网络模型对所述指定用户的人脸图像进行处理而得到的。
本说明书实施例中，待识别用户的人脸特征向量和指定用户的人脸特征向量之间的向量距离，可以用于表示待识别用户的人脸特征向量和指定用户的人脸特征向量之间的相似度。具体的，当该向量距离小于等于阈值时，可以确定待识别用户与指定用户为同一用户。而当该向量距离大于阈值时，可以确定待识别用户与指定用户为不同用户。该阈值可以根据实际需求确定，对此不做具体限定。
本说明书实施例中，可以采用图1中的方法去生成待识别用户的人脸特征向量和指定用户的人脸特征向量。由于基于基于图1中方法生成的用户人脸特征向量的准确性较好，因此，有利于提升用户识别结果的准确性。
图3为本说明书实施例提供的一种针对用于隐私保护的人脸特征提取模型的训练方法的流程示意图。从程序角度而言，该流程的执行主体可以为服务器或者搭载于服务器上的程序。如图3所示，该流程可以包括以下步骤：
步骤302：获取第一训练样本集合，所述第一训练样本集合中的训练样本为人脸图像。
本说明书实施例中，所述第一训练样本集合中的训练样本为已取得使用权限的人脸图像。如，公开人脸数据库中的人脸图像或者用户授权使用的人脸图像等，以确保人脸识别模型训练过程不会对用户人脸信息的隐私性产生影响。
本说明书实施例中，所述第一训练样本集合中的训练样本可以为多通道人脸图像，当公开人脸数据库中的人脸图像或者用户授权的人脸图片为单通道人脸图像时，可以先确定该人脸图像的单通道图像数据；根据所述单通道图像数据生成多通道图像，所述多通道人脸图像的各个通道的图像数据均与所述单通道图像数据相同，从而可以将处理得到的多通道图像作为第一训练样本集合中的训练样本，以保证第一训练样本集合中的训练样本的一致性。
步骤304：利用所述第一训练样本集合对初始自编码器进行训练，得到训练后的自编码器。
本说明书实施例中，步骤304具体可以包括：针对所述第一训练样本集合中的每个训练样本，将所述训练样本输入所述初始自编码器，得到重建人脸图像数据。以最小化图像重建损失为目标，对所述初始自编码器的模型参数进行优化，得到训练后的自编码器；所述图像重建损失为所述重建人脸图像数据与所述训练样本之间的差异值。
本说明书实施例中，所述自编码器中的输入层、第一隐藏层及瓶颈层组成编码器，所述自编码器中的第二隐藏层与输出层组成解码器。该编码器可以用于对人脸图像进行编码处理，以得到该人脸图像的编码向量。而该解码器则可以对编码器生成的编码向量进行解码处理，得到重建人脸图像。
其中，所述输入层与所述第一隐藏层连接，所述第一隐藏层与所述瓶颈层连接；所述瓶颈层与所述第二隐藏层连接，所述第二隐藏层与所述输出层连接。所述自编码器的各个层的功能与图1中方法的实施例中提及的自编码器的各个层的功能可以是相同的，对此，不再赘述。
所述利用所述训练后的自编码器中的编码器对人脸图像进行特征化处理后得到的向量数据，具体可以包括：
利用所述输入层接收人脸图像后，所述第一隐藏层对所述人脸图像进行编码处理，得到第一特征向量，所述瓶颈层对所述第一特征向量进行降维处理，得到编码向量，所述编码向量的维度数量小于所述第一特征向量的维度数量。
步骤306：获取第二训练样本集合，所述第二训练样本集合中的训练样本为编码向量，所述编码向量为利用所述训练后的自编码器中的编码器对人脸图像进行特征化处理后得到的向量数据。
本说明书实施例中，所述第二训练样本集合中的训练样本可以是利用训练后的自编码器中的编码器，对需进行隐私保护的用户的人脸图像进行特征化处理而得到的向量数据。其中，需进行隐私保护的用户可以根据实际需求而确定。例如，指定应用处的已注册账号的操作用户及认证用户。或者，基于人脸识别技术的门禁处的待识别用户及白名单用户等。
本说明书实施例中，可以预先使用训练后的自编码器中的编码器去生成并存储第二训练样本集合中的训练样本。当执行步骤306时，只需从数据库去提取预先生成的第二训练样本集合中的训练样本即可。由于数据库中存储的第二训练样本集合中的训练样本为用户人脸图像的编码向量，该编码向量无法体现待识别用户的相貌信息，因此，服务提供商对该第二训练样本集合中的训练样本进行传输、存储及处理，不会对用户的人脸信息的安全性及隐私性产成影响。
步骤308：利用所述第二训练样本集合对全连接的初始深度神经网络模型进行训练，得到训练后的深度神经网络模型。
本说明书实施例中，所述利用所述第二训练样本集合对全连接的初始深度神经网络模型进行训练，具体可以包括：
针对所述第二训练样本集合中的每个编码向量，利用所述初始深度神经网络模型对所述编码向量进行分类处理，得到所述编码向量的类别标签预测值。
获取针对所述编码向量的类别标签预设值。
以最小化分类损失为目标，对该初始深度神经网络模型的模型参数进行优化，该分类损失为所述类别标签预测值与所述类别标签预设值之间的差异值。
步骤310：根据所述编码器及所述训练后的深度神经网络模型，生成用于隐私保护的人脸特征提取模型。
本说明书实施例中，所述编码器(即训练后的自编码器中的编码器)的输入用于接收待识别用户的人脸图像，所述编码器的输出与所述训练后的深度神经网络模型的输入连接，所述训练后的深度神经网络模型的输出为待识别用户的人脸特征向量。
本说明书实施例中，通过对自编码器及深度神经网络进行训练，以得到训练后的自编码器中的编码器及训练后的深度神经网络，从而可以基于该训练后的自编码器中的编码器及训练后的深度神经网络搭建用于隐私保护的人脸特征提取模型。由于自编码器不需要除输入图像以外的其他信息作为网络训练中的监督信息，从而可以降低该用于隐私保护的人脸特征提取模型的训练成本，经济实用。
基于图3的方法，本说明书实施例还提供了该方法的一些具体实施方案，下面进行说明。
本说明书实施例中，由于图3中方法生成的人脸特征提取模型可以应用于用户识别场景，当基于该人脸特征提取模型提取出用户人脸特征向量后，通常还需要对用户人脸特征向量进行比较，以生成最终的用户识别结果。因此，步骤310中所述生成用于隐私保护的人脸特征提取模型之前，还可以包括：建立用户匹配模型。
其中，所述用户匹配模型可以用于根据待识别用户的第一人脸特征向量与指定用户的第二人脸特征向量之间的向量距离，生成表示所述待识别用户是否为所述指定用户的输出结果，所述第一人脸特征向量是利用所述编码器及所述训练后的深度神经网络模型对所述待识别用户的人脸图像进行处理得到的，所述第二人脸特征向量是利用所述编码器及所述训练后的深度神经网络模型对所述指定用户的人脸图像进行处理得到的。即待识别用户的第一人脸特征向量与指定用户的第二人脸特征向量均可以是基于图3中生成的用于隐私保护的人脸特征提取模型对用户人脸图像进行处理而得到的。
步骤310具体可以包括：生成由所述编码器、所述训练后的深度神经网络模型及所述用户匹配模型构成的用于隐私保护的人脸特征提取模型。
本说明书实施例中，用户匹配模型用于计算两个特征向量之间的向量距离，而该向量距离可以采用现有的欧式距离计算公式而实现，由于欧式距离计算公式中不包含可调参数，因此，可以无需对用户匹配模型进行训练，从而有利于降低模型训练成本。
基于同样的思路，本说明书实施例还提供了上述方法对应的装置。图4为本说明书实施例提供的对应于图1的一种人脸特征提取装置的结构示意图。所述装置使用了用于隐私保护的人脸特征提取模型，所述人脸特征提取模型包括：图像编码器及全连接的深度神经网络模型；所述图像编码器为自编码器中的编码器；所述图像编码器的输出与所述深度神经网络模型的输入连接。如图4所示，该装置可以包括：
输入模块402，用于将待识别用户的人脸图像输入所述图像编码器，得到所述图像编码器输出的所述人脸图像的编码向量，所述编码向量为对所述人脸图像进行特征化处理后得到的向量数据。
人脸特征向量生成模块404，用于令所述深度神经网络模型接收所述编码向量后，输出所述待识别用户的人脸特征向量。
基于图4的装置，本说明书实施例还提供了该装置的一些具体实施方案，下面进行说明。
可选的，所述图像编码器可以包括：自编码器的输入层、第一隐藏层及瓶颈层；所述输入层与所述第一隐藏层连接，所述第一隐藏层与所述瓶颈层连接，所述瓶颈层与所述深度神经网络模型连接。
其中，所述自编码器的输入层，可以用于接收所述待识别用户的人脸图像。所述第一隐藏层，可以用于对所述人脸图像进行编码处理，得到第一特征向量。所述瓶颈层，可以用于对所述第一特征向量进行降维处理，得到所述人脸图像的编码向量，所述编码向量的维度数量小于所述第一特征向量的维度数量。
可选的，所述全连接的深度神经网络模型可以包括：输入层及多个全连接层；其中，所述输入层与所述图像编码器的输出连接，所述输入层还与所述全连接层连接。所述输入层，可以用于接收所述图像编码器输出的所述编码向量。所述全连接层，可以用于对所述编码向量进行特征提取，得到所述待识别用户的人脸特征向量。
可选的，所述人脸特征提取模型还可以包括用户匹配模型，所述用户匹配模型的输入与所述深度神经网络模型的输出连接；图4中的装置还可以包括：
用户识别模块，用于令所述用户匹配模型接收所述待识别用户的人脸特征向量及指定用户的人脸特征向量，并根据所述待识别用户的人脸特征向量和所述指定用户的人脸特征向量之间的向量距离，生成表示所述待识别用户是否为所述指定用户的输出信息，其中，所述指定用户的人脸特征向量为利用所述图像编码器及所述全连接的深度神经网络模型对所述指定用户的人脸图像进行处理而得到的。
基于同样的思路，本说明书实施例还提供了上述方法对应的装置。图5为本说明书实施例提供的对应于图3的一种针对用于隐私保护的人脸特征提取模型的训练装置。如图5所示，该装置可以包括：
第一获取模块502，可以用于获取第一训练样本集合，所述第一训练样本集合中的训练样本为人脸图像。
第一训练模块504，可以用于利用所述第一训练样本集合对初始自编码器进行训练，得到训练后的自编码器。
第二获取模块506，可以用于获取第二训练样本集合，所述第二训练样本集合中的训练样本为编码向量，所述编码向量为利用所述训练后的自编码器中的编码器对人脸图像进行特征化处理后得到的向量数据。
第二训练模块508，可以用于利用所述第二训练样本集合对全连接的初始深度神经网络模型进行训练，得到训练后的深度神经网络模型。
人脸特征提取模型生成模块510，可以用于根据所述编码器及所述训练后的深度神经网络模型，生成用于隐私保护的人脸特征提取模型。
本说明书实施例中，通过第一训练模块504对自编码器进行训练，并通过人脸特征提取模型生成模块510去根据训练后的自编码器中的编码器及训练后的深度神经网络模型，生成用于隐私保护的人脸特征提取模型。由于自编码器不需要除输入图像以外的其他信息作为网络训练中的监督信息，从而可以降低该用于隐私保护的人脸特征提取模型的训练成本，经济实用。
基于图5的装置，本说明书实施例还提供了该装置的一些具体实施方案，下面进行说明。
可选的，所述第一训练模块502，具体可以用于：
针对所述第一训练样本集合中的每个训练样本，将所述训练样本输入所述初始自编码器，得到重建人脸图像数据；以最小化图像重建损失为目标，对所述初始自编码器的模型参数进行优化，得到训练后的自编码器；所述图像重建损失为所述重建人脸图像数据与所述训练样本之间的差异值。
可选的，所述第二训练模块508，具体可以用于：
针对所述第二训练样本集合中的每个编码向量，利用所述初始深度神经网络模型对所述编码向量进行分类处理，得到所述编码向量的类别标签预测值；获取针对所述编码向量的类别标签预设值；以最小化分类损失为目标，对所述初始深度神经网络模型的模型参数进行优化，所述分类损失为所述类别标签预测值与所述类别标签预设值之间的差异值。
可选的，图5中的装置还包括：用户匹配模型建立模块，用于建立用户匹配模型，所述用户匹配模型用于根据待识别用户的第一人脸特征向量与指定用户的第二人脸特征向量之间的向量距离，生成表示所述待识别用户是否为所述指定用户的输出结果，所述第一人脸特征向量是利用所述编码器及所述训练后的深度神经网络模型对所述待识别用户的人脸图像进行处理得到的，所述第二人脸特征向量是利用所述编码器及所述训练后的深度神经网络模型对所述指定用户的人脸图像进行处理得到的。
对应的，所述人脸特征提取模型生成模块501，具体可以用于：生成由所述编码器、所述训练后的深度神经网络模型及所述用户匹配模型构成的用于隐私保护的人脸特征提取模型。
基于同样的思路，本说明书实施例还提供了上述方法对应的一种客户端设备。该客户端设备，可以包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有图像编码器以及可被所述至少一个处理器执行的指令，所述图像编码器为自编码器中的编码器，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
将待识别用户的人脸图像输入所述图像编码器，得到所述图像编码器输出的所述人脸图像的编码向量，所述编码向量为对所述人脸图像进行特征化处理后得到的向量数据。
发送所述编码向量至服务端设备，以便于所述服务端设备利用全连接的深度神经网络模型根据所述编码向量生成所述待识别用户的人脸特征向量。
在本说明书实施例中，通过令客户端设备可以利用其搭载的图像编码器去生成待识别用户的人脸图像的编码向量，从而令客户端设备可以向服务端设备设备发送该待识别用户的人脸图像的编码向量以进行用户识别，而无需向服务端设备设备发送待识别用户的人脸图像，避免了对待识别用户的人脸图像的传输，以保证待识别用户的人脸信息的隐私性及安全性。
基于同样的思路，本说明书实施例还提供了上述方法对应的一种服务端设备。该服务端设备，可以包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有全连接的深度神经网络模型以及可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取待识别用户的人脸图像的编码向量，所述编码向量是利用自编码器中的编码器对所述人脸图像进行特征化处理而得到的向量数据。
所述全连接的深度神经网络模型接收所述编码向量后，输出所述待识别用户的人脸特征向量。
在本说明书实施例中，通过令服务端设备可以利用其搭载的深度神经网络模型，去根据待识别用户的人脸图像的编码向量，生成待识别用户的人脸特征向量，从而令服务端设备无需去获取待识别用户的人脸图像即可以进行用户识别，不仅避免了对待识别用户的人脸图像的传输操作，还可以避免服务端设备存储、处理该待识别用户的人脸图像，以提升待识别用户的人脸信息的隐私性及安全性。
基于同样的思路，本说明书实施例还提供了图3中方法对应的一种针对用于隐私保护的人脸特征提取模型的训练设备。该设备，可以包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取第一训练样本集合，该第一训练样本集合中的训练样本为人脸图像。
利用所述第一训练样本集合对初始自编码器进行训练，得到训练后的自编码器。
获取第二训练样本集合，所述第二训练样本集合中的训练样本为编码向量，所述编码向量为利用所述训练后的自编码器中的编码器对人脸图像进行特征化处理后得到的向量数据。
利用所述第二训练样本集合对全连接的初始深度神经网络模型进行训练，得到训练后的深度神经网络模型。
根据所述编码器及所述训练后的深度神经网络模型，生成用于隐私保护的人脸特征提取模型。
本说明书实施例中，通过对自编码器进行训练，并通过根据训练后的自编码器中的编码器及训练后的深度神经网络模型，生成用于隐私保护的人脸特征提取模型。由于自编码器不需要除输入图像以外的其他信息作为网络训练中的监督信息，从而可以降低该用于隐私保护的人脸特征提取模型的训练成本，经济实用。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(FieldProgrammableGateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced BooleanExpression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell UniversityProgramming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware DescriptionLanguage)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、AtmelAT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例是参照根据本说明书一个或多个实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的权利要求范围之内。

Claims (24)

1.一种人脸特征提取方法，所述方法使用了用于隐私保护的人脸特征提取模型，所述人脸特征提取模型包括：图像编码器及全连接的深度神经网络模型；所述图像编码器为自编码器中的编码器；所述自编码器是利用第一训练样本集合对初始自编码器进行训练得到的；所述自编码器还包括被锁定的解码器；所述图像编码器的输出与所述深度神经网络模型的输入连接；所述方法包括：
将待识别用户的人脸图像输入所述图像编码器，得到所述图像编码器输出的所述人脸图像的编码向量，所述编码向量为对所述人脸图像进行特征化处理后得到的向量数据；
所述深度神经网络模型接收所述编码向量后，输出所述待识别用户的人脸特征向量。
2.如权利要求1所述的方法，所述图像编码器包括：所述自编码器的输入层、第一隐藏层及瓶颈层；所述输入层与所述第一隐藏层连接，所述第一隐藏层与所述瓶颈层连接，所述瓶颈层与所述深度神经网络模型连接；
所述输入层，用于接收所述待识别用户的人脸图像；
所述第一隐藏层，用于对所述人脸图像进行编码处理，得到第一特征向量；
所述瓶颈层，用于对所述第一特征向量进行降维处理，得到所述人脸图像的编码向量，所述编码向量的维度数量小于所述第一特征向量的维度数量。
3.如权利要求2所述的方法，所述自编码器还包括第二隐藏层及输出层；所述第二隐藏层与所述瓶颈层连接，所述第二隐藏层还与所述输出层连接；
其中，所述第二隐藏层与所述输出层组成解码器，所述解码器用于对所述编码向量进行解码处理，所述解码器为被锁定的模型。
4.如权利要求1所述的方法，所述全连接的深度神经网络模型包括：输入层及多个全连接层；
其中，所述输入层与所述图像编码器的输出连接，所述输入层还与所述全连接层连接；
所述输入层，用于接收所述图像编码器输出的所述编码向量；
所述全连接层，用于对所述编码向量进行特征提取，得到所述待识别用户的人脸特征向量。
5.如权利要求4所述的方法，所述全连接的深度神经网络模型还包括输出层，所述输出层与所述全连接层连接；所述输出层，用于根据所述全连接层输出的所述待识别用户的人脸特征向量，生成人脸分类结果；
其中，所述待识别用户的人脸特征向量为与所述输出层相邻的全连接层的输出向量。
6.如权利要求1所述的方法，所述人脸特征提取模型还包括用户匹配模型，所述用户匹配模型的输入与所述深度神经网络模型的输出连接；所述方法还包括：
所述用户匹配模型接收所述待识别用户的人脸特征向量及指定用户的人脸特征向量，并根据所述待识别用户的人脸特征向量和所述指定用户的人脸特征向量之间的向量距离，生成表示所述待识别用户是否为所述指定用户的输出信息，其中，所述指定用户的人脸特征向量为利用所述图像编码器及所述全连接的深度神经网络模型对所述指定用户的人脸图像进行处理而得到的。
7.一种针对用于隐私保护的人脸特征提取模型的训练方法，所述方法包括：
获取第一训练样本集合，所述第一训练样本集合中的训练样本为人脸图像；
利用所述第一训练样本集合对初始自编码器进行训练，得到训练后的自编码器；
获取第二训练样本集合，所述第二训练样本集合中的训练样本为编码向量，所述编码向量为利用所述训练后的自编码器中的编码器对人脸图像进行特征化处理后得到的向量数据；
利用所述第二训练样本集合对全连接的初始深度神经网络模型进行训练，得到训练后的深度神经网络模型；
根据所述编码器及所述训练后的深度神经网络模型，生成用于隐私保护的人脸特征提取模型。
8.如权利要求7所述的方法，所述利用所述第一训练样本集合对初始自编码器进行训练，得到训练后的自编码器，具体包括：
针对所述第一训练样本集合中的每个训练样本，将所述训练样本输入所述初始自编码器，得到重建人脸图像数据；
以最小化图像重建损失为目标，对所述初始自编码器的模型参数进行优化，得到训练后的自编码器；所述图像重建损失为所述重建人脸图像数据与所述训练样本之间的差异值。
9.如权利要求8所述的方法，所述编码器包括所述自编码器中的输入层、第一隐藏层及瓶颈层；所述输入层与所述第一隐藏层连接，所述第一隐藏层与所述瓶颈层连接；
所述利用所述训练后的自编码器中的编码器对人脸图像进行特征化处理后得到的向量数据，具体包括：
利用所述输入层接收人脸图像后，所述第一隐藏层对所述人脸图像进行编码处理，得到第一特征向量，所述瓶颈层对所述第一特征向量进行降维处理，得到编码向量，所述编码向量的维度数量小于所述第一特征向量的维度数量。
10.如权利要求9所述的方法，所述自编码器还包括：第二隐藏层及输出层；所述第二隐藏层与所述瓶颈层连接，所述第二隐藏层还与所述输出层连接；
其中，所述第二隐藏层与所述输出层组成解码器，所述解码器用于对所述编码向量进行解码处理，以得到重建人脸图像数据。
11.如权利要求7所述的方法，所述利用所述第二训练样本集合对全连接的初始深度神经网络模型进行训练，具体包括：
针对所述第二训练样本集合中的每个编码向量，利用所述初始深度神经网络模型对所述编码向量进行分类处理，得到所述编码向量的类别标签预测值；
获取针对所述编码向量的类别标签预设值；
以最小化分类损失为目标，对所述初始深度神经网络模型的模型参数进行优化，所述分类损失为所述类别标签预测值与所述类别标签预设值之间的差异值。
12.如权利要求7所述的方法，所述第一训练样本集合中的训练样本为已取得使用权限的人脸图像；所述第二训练样本集合中的训练样本是利用所述编码器对需进行隐私保护的用户的人脸图像进行特征化处理而得到的向量数据。
13.如权利要求7所述的方法，所述生成用于隐私保护的人脸特征提取模型之前，还包括：
建立用户匹配模型，所述用户匹配模型用于根据待识别用户的第一人脸特征向量与指定用户的第二人脸特征向量之间的向量距离，生成表示所述待识别用户是否为所述指定用户的输出结果，所述第一人脸特征向量是利用所述编码器及所述训练后的深度神经网络模型对所述待识别用户的人脸图像进行处理得到的，所述第二人脸特征向量是利用所述编码器及所述训练后的深度神经网络模型对所述指定用户的人脸图像进行处理得到的；
所述生成用于隐私保护的人脸特征提取模型，具体包括：
生成由所述编码器、所述训练后的深度神经网络模型及所述用户匹配模型构成的用于隐私保护的人脸特征提取模型。
14.一种人脸特征提取装置，所述装置使用了用于隐私保护的人脸特征提取模型，所述人脸特征提取模型包括：图像编码器及全连接的深度神经网络模型；所述图像编码器为自编码器中的编码器；所述自编码器是利用第一训练样本集合对初始自编码器进行训练得到的；所述自编码器还包括被锁定的解码器；所述图像编码器的输出与所述深度神经网络模型的输入连接；所述装置包括：
输入模块，用于将待识别用户的人脸图像输入所述图像编码器，得到所述图像编码器输出的所述人脸图像的编码向量，所述编码向量为对所述人脸图像进行特征化处理后得到的向量数据；
人脸特征向量生成模块，用于令所述深度神经网络模型接收所述编码向量后，输出所述待识别用户的人脸特征向量。
15.如权利要求14所述的装置，所述图像编码器包括：所述自编码器的输入层、第一隐藏层及瓶颈层；所述输入层与所述第一隐藏层连接，所述第一隐藏层与所述瓶颈层连接，所述瓶颈层与所述深度神经网络模型连接；
所述输入层，用于接收所述待识别用户的人脸图像；
所述第一隐藏层，用于对所述人脸图像进行编码处理，得到第一特征向量；
所述瓶颈层，用于对所述第一特征向量进行降维处理，得到所述人脸图像的编码向量，所述编码向量的维度数量小于所述第一特征向量的维度数量。
16.如权利要求14所述的装置，所述全连接的深度神经网络模型包括：输入层及多个全连接层；
其中，所述输入层与所述图像编码器的输出连接，所述输入层还与所述全连接层连接；
所述输入层，用于接收所述图像编码器输出的所述编码向量；
所述全连接层，用于对所述编码向量进行特征提取，得到所述待识别用户的人脸特征向量。
17.如权利要求14所述的装置，所述人脸特征提取模型还包括用户匹配模型，所述用户匹配模型的输入与所述深度神经网络模型的输出连接；所述装置还包括：
用户识别模块，用于令所述用户匹配模型接收所述待识别用户的人脸特征向量及指定用户的人脸特征向量，并根据所述待识别用户的人脸特征向量和所述指定用户的人脸特征向量之间的向量距离，生成表示所述待识别用户是否为所述指定用户的输出信息，其中，所述指定用户的人脸特征向量为利用所述图像编码器及所述全连接的深度神经网络模型对所述指定用户的人脸图像进行处理而得到的。
18.一种针对用于隐私保护的人脸特征提取模型的训练装置，所述装置包括：
第一获取模块，用于获取第一训练样本集合，所述第一训练样本集合中的训练样本为人脸图像；
第一训练模块，用于利用所述第一训练样本集合对初始自编码器进行训练，得到训练后的自编码器；
第二获取模块，用于获取第二训练样本集合，所述第二训练样本集合中的训练样本为编码向量，所述编码向量为利用所述训练后的自编码器中的编码器对人脸图像进行特征化处理后得到的向量数据；
第二训练模块，用于利用所述第二训练样本集合对全连接的初始深度神经网络模型进行训练，得到训练后的深度神经网络模型；
人脸特征提取模型生成模块，用于根据所述编码器及所述训练后的深度神经网络模型，生成用于隐私保护的人脸特征提取模型。
19.如权利要求18所述的装置，所述第一训练模块，具体用于：
针对所述第一训练样本集合中的每个训练样本，将所述训练样本输入所述初始自编码器，得到重建人脸图像数据；
以最小化图像重建损失为目标，对所述初始自编码器的模型参数进行优化，得到训练后的自编码器；所述图像重建损失为所述重建人脸图像数据与所述训练样本之间的差异值。
20.如权利要求18所述的装置，所述第二训练模块，具体用于：
针对所述第二训练样本集合中的每个编码向量，利用所述初始深度神经网络模型对所述编码向量进行分类处理，得到所述编码向量的类别标签预测值；
获取针对所述编码向量的类别标签预设值；
以最小化分类损失为目标，对所述初始深度神经网络模型的模型参数进行优化，所述分类损失为所述类别标签预测值与所述类别标签预设值之间的差异值。
21.如权利要求18所述的装置，还包括：
用户匹配模型建立模块，用于建立用户匹配模型，所述用户匹配模型用于根据待识别用户的第一人脸特征向量与指定用户的第二人脸特征向量之间的向量距离，生成表示所述待识别用户是否为所述指定用户的输出结果，所述第一人脸特征向量是利用所述编码器及所述训练后的深度神经网络模型对所述待识别用户的人脸图像进行处理得到的，所述第二人脸特征向量是利用所述编码器及所述训练后的深度神经网络模型对所述指定用户的人脸图像进行处理得到的；
所述人脸特征提取模型生成模块，具体用于：
生成由所述编码器、所述训练后的深度神经网络模型及所述用户匹配模型构成的用于隐私保护的人脸特征提取模型。
22.一种客户端设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有图像编码器以及可被所述至少一个处理器执行的指令，所述图像编码器为自编码器中的编码器，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
将待识别用户的人脸图像输入所述图像编码器，得到所述图像编码器输出的所述人脸图像的编码向量，所述编码向量为对所述人脸图像进行特征化处理后得到的向量数据；
发送所述编码向量至服务端设备，以便于所述服务端设备利用全连接的深度神经网络模型根据所述编码向量生成所述待识别用户的人脸特征向量。
23.一种服务端设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有全连接的深度神经网络模型以及可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取待识别用户的人脸图像的编码向量，所述编码向量是利用自编码器中的编码器对所述人脸图像进行特征化处理而得到的向量数据；
所述全连接的深度神经网络模型接收所述编码向量后，输出所述待识别用户的人脸特征向量。
24.一种针对用于隐私保护的人脸特征提取模型的训练设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取第一训练样本集合，所述第一训练样本集合中的训练样本为人脸图像；
利用所述第一训练样本集合对初始自编码器进行训练，得到训练后的自编码器；
获取第二训练样本集合，所述第二训练样本集合中的训练样本为编码向量，所述编码向量为利用所述训练后的自编码器中的编码器对人脸图像进行特征化处理后得到的向量数据；
利用所述第二训练样本集合对全连接的初始深度神经网络模型进行训练，得到训练后的深度神经网络模型；
根据所述编码器及所述训练后的深度神经网络模型，生成用于隐私保护的人脸特征提取模型。
CN202010197691.4A 2020-03-19 2020-03-19 一种人脸特征提取方法、装置及设备 Active CN111368795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010197691.4A CN111368795B (zh) 2020-03-19 2020-03-19 一种人脸特征提取方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010197691.4A CN111368795B (zh) 2020-03-19 2020-03-19 一种人脸特征提取方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111368795A CN111368795A (zh) 2020-07-03
CN111368795B true CN111368795B (zh) 2023-04-18

Family

ID=71209110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010197691.4A Active CN111368795B (zh) 2020-03-19 2020-03-19 一种人脸特征提取方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111368795B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401273B (zh) * 2020-03-19 2022-04-29 支付宝(杭州)信息技术有限公司 一种用于隐私保护的用户特征提取系统及设备
CN112115443B (zh) * 2020-11-19 2021-02-12 索信达(北京)数据技术有限公司 一种终端用户鉴权方法及系统
CN113592003B (zh) * 2021-08-04 2023-12-26 智道网联科技(北京)有限公司 一种图片传输方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009520A (zh) * 2017-12-21 2018-05-08 东南大学 一种基于卷积变分自编码器神经网络的手指静脉识别方法及系统
CN110826593A (zh) * 2019-09-29 2020-02-21 腾讯科技（深圳）有限公司 融合图像处理模型的训练方法、图像处理方法、装置及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826420B (zh) * 2015-01-19 2023-05-16 创新先进技术有限公司 人脸识别模型的训练方法及装置
US20170236057A1 (en) * 2016-02-16 2017-08-17 Carnegie Mellon University, A Pennsylvania Non-Profit Corporation System and Method for Face Detection and Landmark Localization
CN106709482A (zh) * 2017-03-17 2017-05-24 中国人民解放军国防科学技术大学 基于自编码器的人物亲缘关系识别方法
CN109784249B (zh) * 2019-01-04 2020-09-22 华南理工大学 一种基于变分级联信息瓶颈的置乱人脸识别方法
CN110633650A (zh) * 2019-08-22 2019-12-31 首都师范大学 基于隐私保护的卷积神经网络人脸识别方法及装置
CN110598464B (zh) * 2019-10-10 2021-04-27 浪潮集团有限公司 一种人脸识别系统的数据与模型安全保护方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009520A (zh) * 2017-12-21 2018-05-08 东南大学 一种基于卷积变分自编码器神经网络的手指静脉识别方法及系统
CN110826593A (zh) * 2019-09-29 2020-02-21 腾讯科技（深圳）有限公司 融合图像处理模型的训练方法、图像处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN111368795A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111401272B (zh) 一种人脸特征提取方法、装置及设备
CN111401273B (zh) 一种用于隐私保护的用户特征提取系统及设备
CN111368795B (zh) 一种人脸特征提取方法、装置及设备
CN112398838A (zh) 一种基于隐私保护的认证方法、装置及设备
CN114238904B (zh) 身份识别方法、双通道超分模型的训练方法及装置
KR102054058B1 (ko) 얼굴 움직임 관계를 이용한 얼굴 특성 분석 방법 및 그 시스템
CN115600157A (zh) 一种数据处理的方法、装置、存储介质及电子设备
CN114359775A (zh) 关键帧检测方法、装置、设备及存储介质、程序产品
CN112597459A (zh) 一种身份验证方法及装置
CN116863484A (zh) 一种字符识别的方法、装置、存储介质及电子设备
CN111242105A (zh) 一种用户识别方法、装置及设备
CN116704433A (zh) 基于上下文感知关系预测编码的自监督群体行为识别方法
CN113239852B (zh) 一种基于隐私保护的隐私图像处理方法、装置及设备
CN114662144A (zh) 一种生物检测方法、装置及设备
CN115546908A (zh) 一种活体检测方法、装置及设备
CN115577336A (zh) 一种生物识别处理方法、装置及设备
CN117612269A (zh) 一种生物攻击检测方法、装置及设备
CN112950732B (zh) 一种图像生成方法、装置、存储介质及电子设备
CN114882290A (zh) 一种认证方法、训练方法、装置及设备
CN117539452B (zh) 人脸识别方法和装置及电子设备
CN115499635B (zh) 数据压缩处理方法及装置
CN117874706A (zh) 一种多模态知识蒸馏学习方法及装置
CN116597525A (zh) 活体检测方法和系统
CN115984931A (zh) 一种人脸视频篡改攻击检测方法、装置以及设备
CN117495649A (zh) 一种图像的处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40033202

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant