CN112052834B - 一种基于隐私保护的面部识别方法、装置及设备 - Google Patents

一种基于隐私保护的面部识别方法、装置及设备 Download PDF

Info

Publication number
CN112052834B
CN112052834B CN202011051980.XA CN202011051980A CN112052834B CN 112052834 B CN112052834 B CN 112052834B CN 202011051980 A CN202011051980 A CN 202011051980A CN 112052834 B CN112052834 B CN 112052834B
Authority
CN
China
Prior art keywords
image
face
dimensional
target user
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011051980.XA
Other languages
English (en)
Other versions
CN112052834A (zh
Inventor
胡永恒
马晨光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202011051980.XA priority Critical patent/CN112052834B/zh
Publication of CN112052834A publication Critical patent/CN112052834A/zh
Application granted granted Critical
Publication of CN112052834B publication Critical patent/CN112052834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例公开了一种基于隐私保护的面部识别方法、装置及设备，该方法包括：获取包括目标用户的面部的三维图像和二维图像，并基于目标用户的面部对应的预设图像关键点，对三维图像和二维图像进行对齐处理，得到对齐后的三维图像和二维图像；对对齐后的二维图像进行分块，得到对齐后的二维图像的多个分块图像，并对每个分块图像进行Arnold变换，得到像素点混淆的分块图像，以保护个人信息；基于像素点混淆的分块图像和对齐后的三维图像，得到目标用户的面部的图像数据；将目标用户的面部的图像数据输入预设的面部识别模型中，得到目标用户的面部的图像数据对应的特征向量，进而确定目标用户的身份信息，该面部识别模型基于神经网络构建。

Description

一种基于隐私保护的面部识别方法、装置及设备
技术领域
本说明书涉及计算机技术领域，尤其涉及一种基于隐私保护的面部识别方法、装置及设备。
背景技术
随着人脸识别技术的不断成熟以及大规模应用，极大地方便人们的生活，刷脸支付、人脸考勤、人脸识别门禁等已经随处可见。与此同时，人们也越来越关注自己的隐私信息，而当前随处可见的摄像头将面部信息进行收集，一旦面部信息被泄漏，用户的隐私也将遭受严重的侵害。因此，隐私保护是面部识别技术中一个重要环节。
目前的面部识别方案大多数是基于二维人脸为主，辅以其他方案(例如三维人脸)，但无论是二维面部识别还是以二维面部识别为主，辅以其他模态的多模态融合方案，但无论是单纯基于二维面部图像还是二维面部图像+深度信息的方式，均不能彻底摆脱二维面部图像，也就无法从根本上克服隐私保护的缺陷，而当前基于三维面部图像的方式相比二维面部图像，在性能上会更差，基于三维面部图像的面部识别系统性能远不能满足业务需求，为此，需要提供一种面部识别性能更好、隐私保护能力更优的技术方案。
发明内容
本说明书实施例的目的是提供一种面部识别性能更好、隐私保护能力更优的技术方案。
为了实现上述技术方案，本说明书实施例是这样实现的：
本说明书实施例提供的一种基于隐私保护的面部识别方法，所述方法包括：获取包括目标用户的面部的三维图像和二维图像，并基于所述目标用户的面部对应的预设图像关键点，对所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像。对所述对齐后的所述二维图像进行分块，得到所述对齐后的所述二维图像的多个分块图像，并对每个所述分块图像进行Arnold变换，得到像素点混淆的分块图像，以保护个人信息。基于所述像素点混淆的分块图像和所述对齐后的所述三维图像，得到所述目标用户的面部的图像数据。将所述目标用户的面部的图像数据输入预设的面部识别模型中，得到所述目标用户的面部的图像数据对应的特征向量，基于所述目标用户的面部的图像数据对应的特征向量，确定所述目标用户的身份信息，所述面部识别模型为基于神经网络构建的模型。
本说明书实施例提供的一种基于隐私保护的面部识别装置，所述装置包括：对齐处理模块，获取包括目标用户的面部的三维图像和二维图像，并基于所述目标用户的面部对应的预设图像关键点，对所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像。混淆模块，对所述对齐后的所述二维图像进行分块，得到所述对齐后的所述二维图像的多个分块图像，并对每个所述分块图像进行Arnold变换，得到像素点混淆的分块图像，以保护个人信息。图像数据确定模块，基于所述像素点混淆的分块图像和所述对齐后的所述三维图像，得到所述目标用户的面部的图像数据。身份识别模块，将所述目标用户的面部的图像数据输入预设的面部识别模型中，得到所述目标用户的面部的图像数据对应的特征向量，基于所述目标用户的面部的图像数据对应的特征向量，确定所述目标用户的身份信息，所述面部识别模型为基于神经网络构建的模型。
本说明书实施例提供的一种基于隐私保护的面部识别设备，所述基于隐私保护的面部识别设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取包括目标用户的面部的三维图像和二维图像，并基于所述目标用户的面部对应的预设图像关键点，对所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像。对所述对齐后的所述二维图像进行分块，得到所述对齐后的所述二维图像的多个分块图像，并对每个所述分块图像进行Arnold变换，得到像素点混淆的分块图像，以保护个人信息。基于所述像素点混淆的分块图像和所述对齐后的所述三维图像，得到所述目标用户的面部的图像数据。将所述目标用户的面部的图像数据输入预设的面部识别模型中，得到所述目标用户的面部的图像数据对应的特征向量，基于所述目标用户的面部的图像数据对应的特征向量，确定所述目标用户的身份信息，所述面部识别模型为基于神经网络构建的模型。
本说明书实施例还提供了一种存储介质，其中，所述存储介质用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：获取包括目标用户的面部的三维图像和二维图像，并基于所述目标用户的面部对应的预设图像关键点，对所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像。对所述对齐后的所述二维图像进行分块，得到所述对齐后的所述二维图像的多个分块图像，并对每个所述分块图像进行Arnold变换，得到像素点混淆的分块图像，以保护个人信息。基于所述像素点混淆的分块图像和所述对齐后的所述三维图像，得到所述目标用户的面部的图像数据。将所述目标用户的面部的图像数据输入预设的面部识别模型中，得到所述目标用户的面部的图像数据对应的特征向量，基于所述目标用户的面部的图像数据对应的特征向量，确定所述目标用户的身份信息，所述面部识别模型为基于神经网络构建的模型。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一种基于隐私保护的面部识别方法实施例；
图2为本说明书一种基于隐私保护的面部识别的系统的结构示意图；
图3为本说明书另一种基于隐私保护的面部识别方法实施例；
图4为本说明书一种基于隐私保护的面部识别装置实施例；
图5为本说明书一种基于隐私保护的面部识别设备实施例。
具体实施方式
本说明书实施例提供一种基于隐私保护的面部识别方法、装置及设备。
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
实施例一
如图1所示，本说明书实施例提供一种基于隐私保护的面部识别方法，该方法的执行主体可以为终端设备或服务器，其中的终端设备可以如手机、平板电脑、个人计算机，还可以如支付机具、结算机具、售卖机具、面部识别机具等，该服务器可以是为某项业务(如进行交易的业务或金融业务等)的后台服务器，具体如，该服务器可以是支付业务的服务器，也可以是涉及面部识别的相关业务的服务器等。
如图2所示为一种基于隐私保护的面部识别的系统，其中包括面部识别机具和业务服务器，面部识别机具可以包括多个，每个面部识别机具可以处于不同的位置，每个面部识别机具中可以安装有需要进行面部识别的应用，如钱包应用或金融类应用等，还可以是某应用中的钱包小程序或金融类小程序等。在实际应用中，每个面部识别机具中可以安装有进行面部识别的SDK等，并可以与业务服务器进行数据交互。
该方法具体可以包括以下步骤：
在步骤S102中，获取包括目标用户的面部的三维图像和二维图像，并基于目标用户的面部对应的预设图像关键点，对上述三维图像和上述二维图像进行对齐处理，得到对齐后的三维图像和二维图像。
其中，目标用户可以是任意用户，在本说明书实施例中，目标用户可以是需要进行面部识别或面部验证的用户。预设图像关键点可以是预先设定的面部中的关键点在图像中对应的点，面部中的关键点可以根据实际情况设定，例如，眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。二维图像可以是包含红、绿、蓝三个通道的彩色图像，还可以是包含灰度单通道的图像等，具体可以根据实际情况设定。
在实施中，随着人脸识别技术的不断成熟以及大规模应用，极大地方便人们的生活，刷脸支付、人脸考勤、人脸识别门禁等已经随处可见。与此同时，人们也越来越关注自己的隐私信息，而当前随处可见的摄像头将面部信息进行收集，一旦面部信息被泄漏，用户的隐私也将遭受严重的侵害。因此，隐私保护是面部识别技术中一个重要环节。
目前的面部识别方案大多数是基于二维人脸为主，辅以其他方案(例如三维人脸)，但无论是二维面部识别还是以二维面部识别为主，辅以其他模态的多模态融合方案，隐私保护都是其固有的缺陷。当前基于RGB摄像头的面部识别中占主导地位，因此，主流的人脸识别算法多使用该摄像头采集到的RGB图像(即二维面部图像)作为原始数据，但二维面部图像容易被肉眼所辨认，从而对使用者个人隐私构成了重大威胁。
目前，也有一些面部识别算法利用的是深度相机采集的深度数据，但上述解决方案也存在相应的问题，如采用双目深度相机，即利用两颗摄像头(模拟人眼)拍摄物体，再通过三角形原理计算该物体的距离得到相应的深度信息，此方式虽然可以获得深度信息，但仍然是基于二维面部图像实现的，因此，此方式依然会对使用者个人隐私构成了重大威胁。又例如采用深度相机，即获得深度相机采集的深度数据后，采用传统方法(非深度学习方法)对深度数据进行特征提取(特征提取算子是手动设计的)，然后在提取的特征的基础上套用传统的机器学习算法，但上述方式得到的面部识别系统在性能上达不到线下支付场景的需求。因此，单纯基于二维面部图像或是二维面部图像+深度信息的方式由于不能彻底摆脱二维面部图像，也就无法从根本上克服隐私保护的缺陷，而当前基于三维面部图像的方式相比二维面部图像，在性能上会更差，基于三维面部图像的面部识别系统性能远不能满足业务需求。为此需要提供一种面部识别性能更好、隐私保护能力更优的技术方案。本说明书实施例提供一种可实现的技术方案，具体可以包括以下内容：
为了对用户的身份进行识别，可以设置生物识别组件，例如面部识别组件等，该生物识别组件可以设置于用户的终端设备中或者需要对用户的身份进行识别的设备(如结算机具或售卖机具等)中，同时，还可以预先设置需要对用户的身份进行识别或验证的应用程序，例如支付应用或即时通讯应用等。终端设备或上述需要对用户的身份进行识别的设备中可以安装有上述应用程序，当某用户(即目标用户)需要支付、结算或购买某商品时，目标用户可以启动终端设备或上述需要对目标用户的身份进行识别的设备中安装的相应的应用程序，然后，目标用户可以从该应用程序中查找需要使用的功能(如支付功能、结算功能等)，并可以启动该功能，此时，终端设备或上述设备可以启动摄像组件，该摄像组件可以是能够拍摄三维图像的摄像组件，也可以是能够拍摄二维图像的摄像组件，或者，该摄像组件可以包括能够拍摄三维图像的摄像组件和能够拍摄二维图像的摄像组件等。通过摄像组件可以分别拍摄包括目标用户的面部在内的二维图像和三维图像，其中的三维图像可以是包含深度信息的图像等。上述拍摄的二维图像可以是一个或多个，拍摄的三维图像也可以是一个或多个，具体可以根据实际情况设定，本说明书实施例对此不做限定。
通过上述方式得到包括目标用户的面部在内的二维图像后，可以对得到的二维图像进行特征提取，得到目标用户的面部中的关键点在二维图像中相应的图像关键点，通过上述得到的图像关键点可以对二维图像进行处理，得到目标用户的面部中的关键点位于该二维图像中特定位置的二维图像。对于得到的包括目标用户的面部在内的三维图像，可以对该三维图像进行预处理，具体如对该三维图像进行筛选，以选取图像质量较好的三维图像，然后，可以基于三维图像的深度信息和目标用户的面部中的关键点在二维图像中相应的图像关键点对选取的三维图像进行处理，得到深度信息以指定的分布方式分布的三维图像。
上述三维图像和二维图像按照上述方式处理后，三维图像和二维图像的像素点本质上是没有对齐的，由于在对三维图像中记录了目标用户的面部中的关键点所在的位置，因此，可以将三维图像中记录的目标用户的面部中的关键点对齐到二维图像中记录的目标用户的面部中的关键点所在的位置，从而使得三维图像和二维图像对齐，得到对齐后的三维图像和二维图像。
在步骤S104中，对对齐后的二维图像进行分块，得到对齐后的二维图像的多个分块图像，并对每个分块图像进行Arnold变换，得到像素点混淆的分块图像，以保护个人信息。
其中，Arnold变换(又可称为猫脸变换)可以用于对图像进行置乱，使得原本存在某种意义的图像变成一张无意义的图像。Arnold变换也可以在对某图像进行图像处理前对该图像进行预处理，例如在将数字盲水印嵌入图像中之前，对该水印进行置乱等。
在实施中，由于二维图像容易被肉眼所辨认，从而对使用者个人隐私构成威胁，因此，可以对二维图像中的像素点进行混淆处理，具体地，为了加快处理速度，可以将二维图像平均划分为多个指定形状的子图像，从而得到对齐后的二维图像的多个分块图像，例如，可以将二维图像平均划分为多个正方形的子图像，每一个子图像可以作为一个分块图像，具体如，对齐后的二维图像的大小可以为96*112，可以按照每8个像素的长度对上述对齐后的二维图像进行分块，从而得到12*14个大小为8*8的正方形子图像(即分块图像)。然后，可以对每个分块图像的像素点进行混淆处理，其中，为了提高处理效率，可以对多个分块图像进行并行处理，即并行的对每个分块图像的像素点进行混淆处理，其中，对每个分块图像的像素点进行混淆处理可以包括多种实现方式，以下提供一种可选的处理方式，具体可以包括以下内容：通过对每个分块图像进行Arnold变换，以对每个分块图像的像素点进行混淆处理，通过对每个分块图像进行Arnold变换，可以对每个分块图像的像素点进行乱置混淆，通过上述方式可以得到变换后的每个分块图像，进而可以得到变换后的二维图像。变换后的二维图像难以辨认并且很难恢复出原始图像，从而摆脱了对二维图像直接进行识别的依赖。
在步骤S106中，基于上述像素点混淆的分块图像和对齐后的三维图像，得到目标用户的面部的图像数据。
在实施中，通过上述处理可以将二维图像进行乱置混淆，得到的变换后的二维图像难以辨认并且很难恢复出原始图像，摆脱了对二维图像直接进行识别的依赖，此外，为了使得三维图像在面部识别性能得到提升，可以将上述像素点混淆的分块图像与对齐后的三维图像进行数据融合处理，得到目标用户的面部的图像数据，从而使得三维图像在面部识别性能上达到与二维图像相同或相近的效果，进而可以使得在达到业务的需求的同时，保护人脸的隐私。
在步骤S108中，将目标用户的面部的图像数据输入预设的面部识别模型中，得到目标用户的面部的图像数据对应的特征向量，基于目标用户的面部的图像数据对应的特征向量，确定目标用户的身份信息。
其中，面部识别模型可以通过多种不同的算法构建，例如可以基于神经网络构建，具体如可以基于卷积神经网络构建，或者，可以基于循环神经网络构建等，具体可以根据实际情况设定，本说明书实施例对此不做限定。面部识别模型可以用于确定能够唯一标定用户的面部的特征向量。
在实施中，可以预先基于多种不同的算法构建面部识别模型，具体地，可以基于上述步骤S102～步骤S106的处理获取多个不同用户的面部的历史图像数据，并可以基于获取的历史图像数据对面部识别模型进行训练，得到训练后的面部识别模型，然后，可以再次获取多个不同用户的面部的历史图像数据，可以基于再次获取的历史图像数据对训练后的面部识别模型进行评估，如果最终的评估结果为通过，则训练后的面部识别模型可以作为确定特征向量的面部识别模型，如果最终的评估结果为未通过，则可以继续获取多个不同用户的面部的历史图像数据，并可以基于获取的历史图像数据对面部识别模型继续进行训练，得到训练后的面部识别模型，可以再次对训练后的面部识别模型进行评估，直到评估结果为通过为止，从而得到面部识别模型。
通过上述方式得到目标用户的面部的图像数据后，可以将目标用户的面部的图像数据输入到上述面部识别模型中，通过面部识别模型对目标用户的面部的图像数据进行处理，最终可以得到目标用户的面部的图像数据对应的特征向量。通过得到的目标用户的面部的图像数据对应的特征向量，可以对目标用户进行身份识别，具体如，可以基于得到的目标用户的面部的图像数据对应的特征向量与预先存储的目标用户的面部对应的基准特征向量，计算两者的向量距离，如果得到的向量距离小于预定阈值，则确定对目标用户的面部识别通过，否则，确定对目标用户的面部识别未通过；或者，可以基于得到的目标用户的面部的图像数据对应的特征向量与预先存储的多个不同用户的面部对应的基准特征向量，计算目标用户与上述每个用户之间的向量距离，如果得到的向量距离小于预定阈值，则确定目标用户与相应的用户匹配。
本说明书实施例提供一种基于隐私保护的面部识别方法，通过获取包括目标用户的面部的三维图像和二维图像，并基于目标用户的面部对应的预设图像关键点，对三维图像和所述二维图像进行对齐处理，得到对齐后的三维图像和二维图像，然后，对对齐后的二维图像进行分块，得到对齐后的二维图像的多个分块图像，并对每个分块图像进行Arnold变换，得到像素点混淆的分块图像，这样，通过对而为图像进行分块，然后对每一个分块图像的像素进行Arnold变换进行混淆，从而使得二维图像难以辨认，并无法通过其他手段恢复，从而保护使用者的隐私，此外，基于像素点混淆的分块图像和对齐后的三维图像，得到目标用户的面部的图像数据，这样通过将像素点混淆的分块图像和对齐后的三维图像进行融合，可以产生一张新的具有隐私保护的多通道图像，由于多通道图像对二维图像部分进一步进行混淆，因而更加难以辨认，进一步保护使用者的隐私。
实施例二
如图3所示，本说明书实施例提供一种基于隐私保护的面部识别方法，该方法的执行主体可以为终端设备或服务器，其中的终端设备可以如手机、平板电脑、个人计算机，还可以如支付机具、结算机具、售卖机具、面部识别机具等，该服务器可以是为某项业务(如进行交易的业务或金融业务等)的后台服务器，具体如，该服务器可以是支付业务的服务器，也可以是涉及面部识别的相关业务的服务器等。相应的基于隐私保护的面部识别的系统可以如图2所示。该方法具体可以包括以下步骤：
在步骤S302中，获取包括一个或多个不同用户的面部的三维历史图像和二维历史图像，并基于上述用户的面部对应的预设图像关键点，对上述三维历史图像和二维历史图像进行对齐处理，得到对齐后的三维历史图像和二维历史图像。
上述步骤S302的具体处理过程可以参见上述实施例一中的相关内容，在此不再赘述。
需要说明的是，上述对上述三维历史图像和二维历史图像进行对齐处理，得到对齐后的三维历史图像和二维历史图像的处理可以多种多样，以下再提供一种可选的处理方式，具体可以包括以下内容：分别对上述二维历史图像和上述三维历史图像进行对正处理，得到对正后的三维历史图像和二维历史图像；基于用户的面部对应的预设图像关键点，对对正后的三维历史图像和二维历史图像进行对齐处理，得到对齐后的三维历史图像和二维历史图像。
其中，对于二维历史图像的对正处理可以包括多种可实现方式，以下提供一种可选的处理方式，具体可以包括以下内容：对上述二维历史图像进行特征提取，得到目标用户的面部对应的预设图像关键点的特征；基于目标用户的面部对应的预设图像关键点的特征，对二维图像进行对正处理，得到对正后的二维图像。
对于三维历史图像的对正处理可以包括多种可实现方式，以下提供一种可选的处理方式，具体可以包括以下内容：从上述三维图像中获取深度图质量超过预定质量阈值的三维图像；将获取的三维图像进行双边滤波处理，得到获取的三维图像的点云数据；对获取的三维图像的点云数据进行归一化处理，处理后的三维图像，将处理后的三维图像作为对正后的三维图像。
对于上述基于目标用户的面部对应的预设图像关键点，对对正后的三维图像和二维图像进行对齐处理，得到对齐后的三维图像和二维图像的处理可以包括多种可实现方式，以下提供一种可选的处理方式，具体可以包括以下内容：基于预设的仿射变换，将三维图像中包含的目标用户的面部对应的预设图像关键点对齐到二维图像中包含的目标用户的面部对应的预设图像关键点所在的位置，得到对齐后的三维图像和二维图像。
上述具体处理过程可以参见后续的相关内容。
在步骤S304中，对对齐后的二维历史图像进行分块，得到对齐后的二维历史图像的多个历史分块图像，并对每个历史分块图像进行Arnold变换，得到像素点混淆的历史分块图像，以保护个人信息。
上述步骤S304的具体处理过程可以参见上述实施例一中的相关内容，在此不再赘述。
在步骤S306中，基于像素点混淆的历史分块图像和对齐后的三维历史图像，得到上述用户的面部的历史图像数据。
上述步骤S306的具体处理过程可以参见上述实施例一中的相关内容，在此不再赘述。
需要说明的是，上述步骤S306的处理可以包括多种可实现方式，以下提供一种可选的处理方式，具体可以包括以下内容：将像素点混淆的历史分块图像和对齐后的三维历史图像的图像通道进行通道串联，得到上述用户的面部的历史图像数据。
上述具体处理过程可以参见后续的相关内容。
在步骤S308中，基于上述历史图像数据对面部识别模型进行训练，得到训练后的面部识别模型，该面部识别模型为基于深度神经网络算法构建的模型。
其中，深度神经网络算法中可以涉及卷积层、池化层、非线性激活层和全连接层等，具体可以根据实际情况设定。
上述步骤S308的具体处理过程可以参见上述实施例一中的相关内容，在此不再赘述。
基于上述方式构建面部识别模型后，可以基于构建的面部识别模型对获取的用户的面部的图像数据，具体可以参见下述步骤S310～步骤S326的处理。
在步骤S310中，获取包括目标用户的面部的三维图像和二维图像。
在步骤S312中，分别对上述二维图像和上述三维图像进行对正处理，得到对正后的三维图像和二维图像。
其中，对上述二维图像进行对正处理，得到对正后的二维图像的处理可以包括多种可实现方式，以下提供一种可选的处理方式，具体可以包括以下步骤A2和步骤A4的处理。
在步骤A2中，对上述二维图像进行特征提取，得到目标用户的面部对应的预设图像关键点的特征。
在实施中，可以根据实际情况设定特征提取算法，并可以基于该特征提取算法对上述二维图像进行特征提取，得到目标用户的面部对应的预设图像关键点的特征，例如，基于该特征提取算法对上述二维图像进行特征提取，得到目标用户的面部的五个预设的指定关键点(如眉毛、眼睛、鼻子、嘴巴、脸部轮廓等)对应的特征。
在步骤A4中，基于目标用户的面部对应的预设图像关键点的特征，对二维图像进行对正处理，得到对正后的二维图像。
在实施中，利用上述得到的目标用户的面部对应的预设图像关键点的特征对目标用户的面部的二维图像进行裁剪与转正，转正后得到目标用户的面部对应的预设图像关键点(如上述五个预设的指定关键点)在二维图像特定位置的二维图像。
其中，对上述三维图像进行对正处理，得到对正后的三维图像的处理可以包括多种可实现方式，以下提供一种可选的处理方式，具体可以包括以下步骤B2～步骤B6的处理。
在步骤B2中，从上述三维图像中获取深度图质量超过预定质量阈值的三维图像。
其中，质量阈值可以根据实际情况设定，具体如90％或80％等。
在实施中，由于深度相机或三维图像对应的摄像组件采集到的原始数据存在精度、完整度上的缺陷，因此，很难被直接用作数据融合的训练数据，基于此，需要对三维图像进行预处理，首先需要对三维图像的质量进行判定，质量判定的目的是剔除图像质量较差的三维图像，具体地，由于图像质量不好的三维图像会对后续的面部识别的性能产生负面影响，因此需要剔除质量较差的面部的三维图像，为此，可以预先构建三维图像的质量评价模型，该模型可以基于卷积神经网络模型(即CNN)构建，该卷积神经网络模型中可以包括输入层、卷积层、激励层、池化层、全连接层、输出层等，其中，输入层可以用于数据的输入，卷积层可以使用卷积核进行特征提取和特征映射，由于卷积也是一种线性运算，因此需要增加非线性映射，池化层可以用于压缩数据和参数的量，以减小过拟合，对于全连接层，通常可以设置于卷积神经网络模型的尾部，以进行重新拟合，减少特征信息的损失，输出层可以用于输出结果。考虑到上述对三维图像的质量判定属于回归问题，因此，可以获取不同用户的三维图像，并可以基于获取的三维图像对卷积神经网络模型进行训练，同时设定该卷积神经网络模型可以解决上述对三维图像的质量判定的回归问题，最终得到训练后的卷积神经网络模型。
通过上述方式得到目标用户的面部的三维图像后，可以将该三维图像的数据输入到上述训练的卷积神经网络模型中，通过该卷积神经网络模型，可以得到目标用户的面部的三维图像对应的质量评分，可以将得到的质量评分与预先设定的质量阈值进行比较，从而得到上述三维图像中深度图质量超过预定质量阈值的三维图像。
在步骤B4中，将获取的三维图像进行双边滤波处理，得到获取的三维图像的点云数据。
其中，双边滤波处理是一种非线性滤波处理，它可以达到保持边缘、降噪平滑的效果。双边滤波处理采用加权平均的方法，通过周边像素亮度值的加权平均以代表某个像素的强度，所用的加权平均可以基于高斯分布实现。其中，双边滤波的权重不仅考虑了像素的欧氏距离，还考虑了像素范围域中的辐射差异(例如卷积核中像素与中心像素之间相似程度、颜色强度，深度距离等)，在计算中心像素时可以考虑上述两个权重。
在实施中，双边滤波的权重由三维图像中的色彩距离和空间距离构成，具体可以参见下述表达式
Figure BDA0002709853670000121
其中，σr表示三维图像中的色彩图像的滤波参数，σd表示三维图像中的深度图像的滤波参数，(i，j)表示三维图像中的色彩图像的像素坐标，(k，l)表示三维图像中的深度图像的像素坐标，fc(i,j)表示像素坐标为(i，j)处的像素值，fc(k,l)表示像素坐标为(k，l)处的像素值,w(i,j,k,l)表示双边滤波的权重。通过上述上边滤波处理，可以使得在三维图像的平坦区域，像素值变化很小，对应的像素范围域权重接近于1，此时空间域权重起主要作用，相当于进行高斯模糊；在三维图像的边缘区域，像素值变化很大，像素范围域权重变大，从而保持了边缘的信息。
在步骤B6中，对获取的三维图像的点云数据进行归一化处理，以保护个人信息，将处理后的三维图像作为对正后的三维图像。
在实施中，通过上述处理过程可以得到三维图像的点云数据，可以对该点云数据进行归一化处理，具体地，可以根据目标用户的面部对应的预设图像关键点，计算出目标用户的面部区域的平均深度，然后，可以对面部区域的分割，从而排除前景和背景的干扰，之后，可以将分割后的面部区域的深度值归一化到面部区域平均深度的前和后的40mm(不限于40mm)范围内。通过归一化处理的三维图像不仅包含丰富的形状特征，同时可以很好地保护使用者的隐私。
在步骤S314中，基于目标用户的面部对应的预设图像关键点，对对正后的三维图像和二维图像进行对齐处理，得到对齐后的三维图像和二维图像。
上述步骤S314的具体处理除了可以通过上述实施例一中的方式处理外，还可以通过多种方式处理，以下提供一种可选的处理方式，具体可以包括以下内容：基于预设的仿射变换，将三维图像中包含的目标用户的面部对应的预设图像关键点对齐到二维图像中包含的目标用户的面部对应的预设图像关键点所在的位置，得到对齐后的三维图像和二维图像。
其中，仿射变换可以为一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间的变换方式。仿射变换是在几何上定义为两个向量空间之间的一个仿射变换或者仿射映射，可以由一个非奇异的线性变换接上一个平移变换组成。在有限维的情况，每个仿射变换可以由一个矩阵和一个向量给出，它可以写作矩阵和一个附加的列。一个仿射变换对应于一个矩阵和一个向量的乘法，而仿射变换的复合对应于矩阵乘法，只需要加入一个额外的行到矩阵的底部。
在实施中，三维图像和二维图像按照上述方式处理后会产生对正后的三维图像和二维图像，但是，上述两张图像的像素点本质上是没有对齐的。由于在对三维图像中记录了目标用户的面部中的关键点所在的位置，因此，三维图像在上述归一化处理后的三维图像中目标用户的面部中的关键点所在的位置也已知，可以将三维图像中记录的目标用户的面部中的关键点利用仿射变换对齐到二维图像中记录的目标用户的面部中的关键点所在的位置，从而使得三维图像和二维图像对齐，得到对齐后的三维图像和二维图像。
在步骤S316中，对对齐后的二维图像进行分块，得到对齐后的二维图像的多个分块图像。
在步骤S318中，通过下述公式
Figure BDA0002709853670000131
对每个分块图像进行Arnold变换，得到每个分块图像中的像素点变换坐标，其中，N为正方体的边长，mod(N)为对N取模运算，(x，y)为像素点的坐标，(x’，y’)为像素点(x，y)变换后的坐标，a和b为参数，0≤a≤10，0≤b≤10。
在步骤S320中，基于每个分块图像中的像素点变换坐标，对每个分块图像进行多次Arnold变换，得到像素点混淆的分块图像，以保护个人信息。
在实施中，进行一次Arnold变换后，最终得到的结果可能达不到理想效果，此时，可以对每个分块图像进行连续多次Arnold变换。Arnold变换具有周期性，即对每个分块图像连续进行Arnold变换，最终又能得到原分块图像，上述变换的周期和图像的尺寸相关。通过对每个分块图像进行上述Arnold变换K次可以对每个分块图像的像素点进行乱置混淆。
需要说明的是，当分块图像是一张方形的图像时，Arnold变换存在逆变换，经过N次Arnold变换后的数据可以通过N次逆变换来恢复原数据。为使得Arnold变换后的图像不可恢复，可以考虑对Arnold变换次数K进行随机化，通过对K随机取0～10之间的任意数值，从而使得二维图像具有不可辨认性并且不可恢复为原始二维图像。
在步骤S322中，将像素点混淆的分块图像和对齐后的三维图像的图像通道进行通道串联，得到目标用户的面部的图像数据，进一步保护个人信息。
在步骤S324中，将目标用户的面部的图像数据输入预设的面部识别模型中，得到目标用户的面部的图像数据对应的特征向量。
需要说明的是，上述得到的特征向量可以是目标用户的面部的图像数据对应的紧凑的特征表示，例如可以为256维的特征向量等。
在步骤S326中，基于目标用户的面部的图像数据对应的特征向量和预先存储的多个不同用户对应的面部的基准特征向量对目标用户进行身份识别，确定目标用户的身份信息。
在实施中，针对1:N人脸识别情况，可以基于目标用户的面部的图像数据对应的特征向量和预先存储的N个基准特征向量，确定目标用户的身份信息，具体可以参见上述相关内容，在此不再赘述。
此外，针对1:1人脸验证情况，还可以通过下述处理实现：基于目标用户的面部的图像数据对应的特征向量和预先存储的目标用户对应的面部的基准特征向量，确定目标用户的身份验证是否通过，以确定目标用户的身份信息。
上述具体处理过程可以参见上述相关内容，在此不再赘述。
本说明书实施例提供一种基于隐私保护的面部识别方法，通过获取包括目标用户的面部的三维图像和二维图像，并基于目标用户的面部对应的预设图像关键点，对三维图像和所述二维图像进行对齐处理，得到对齐后的三维图像和二维图像，然后，对对齐后的二维图像进行分块，得到对齐后的二维图像的多个分块图像，并对每个分块图像进行Arnold变换，得到像素点混淆的分块图像，这样，通过对而为图像进行分块，然后对每一个分块图像的像素进行Arnold变换进行混淆，从而使得二维图像难以辨认，并无法通过其他手段恢复，从而保护使用者的隐私，此外，基于像素点混淆的分块图像和对齐后的三维图像，得到目标用户的面部的图像数据，这样通过将像素点混淆的分块图像和对齐后的三维图像进行融合，可以产生一张新的具有隐私保护的多通道图像，由于多通道图像对二维图像部分进一步进行混淆，因而更加难以辨认，进一步保护使用者的隐私。
此外，针对二维图像进行分块随机Arnold变换后与对应的三维图像进行通道串联，变换后的二维图像难以辨认并且无法恢复出原始图像，从而摆脱了对二维图像直接进行识别的依赖。而且，将预处理后的二维图像进行分块随机Arnold变换后的图像与三维图像进行通道串联作为基础数据，构建一个端到端的基于深度学习的面部识别模型。基于深度学习的网络相比于手动设计的特征提取算法，面部特征能够得到更充分的表示，从而比手动设计的特征提取算子得到的特征具有更强的判决性。同时，由于将二维图像进行分块随机变换，使得变换后的二维图像与三维图像通道串联后在识别性能上达到与二维图像相近的效果，达到业务的需求的同时，保护了使用者的面部隐私。
实施例三
以上为本说明书实施例提供的基于隐私保护的面部识别方法，基于同样的思路，本说明书实施例还提供一种基于隐私保护的面部识别装置，如图4所示。
该基于隐私保护的面部识别装置包括：对齐处理模块401、混淆模块402、图像数据确定模块403和身份识别模块404，其中：
对齐处理模块401，获取包括目标用户的面部的三维图像和二维图像，并基于所述目标用户的面部对应的预设图像关键点，对所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像；
混淆模块402，对所述对齐后的所述二维图像进行分块，得到所述对齐后的所述二维图像的多个分块图像，并对每个所述分块图像进行Arnold变换，得到像素点混淆的分块图像，以保护个人信息；
图像数据确定模块403，基于所述像素点混淆的分块图像和所述对齐后的所述三维图像，得到所述目标用户的面部的图像数据；
身份识别模块404，将所述目标用户的面部的图像数据输入预设的面部识别模型中，得到所述目标用户的面部的图像数据对应的特征向量，基于所述目标用户的面部的图像数据对应的特征向量，确定所述目标用户的身份信息，所述面部识别模型为基于神经网络构建的模型。
本说明书实施例中，所述对齐处理模块401，包括：
对正处理单元，分别对所述二维图像和所述三维图像进行对正处理，得到对正后的所述三维图像和所述二维图像；
对齐处理单元，基于所述目标用户的面部对应的预设图像关键点，对所述对正后的所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像。
本说明书实施例中，所述对正处理单元，对所述二维图像进行特征提取，得到所述目标用户的面部对应的预设图像关键点的特征；基于所述目标用户的面部对应的预设图像关键点的特征，对所述二维图像进行对正处理，得到对正后的所述二维图像。
本说明书实施例中，所述对正处理单元，从所述三维图像中获取深度图质量超过预定质量阈值的三维图像；将获取的三维图像进行双边滤波处理，得到所述获取的三维图像的点云数据；对所述获取的三维图像的点云数据进行归一化处理，以保护个人信息，将处理后的三维图像作为所述对正后的三维图像。
本说明书实施例中，所述对齐处理模块401，基于预设的仿射变换，将所述三维图像中包含的所述目标用户的面部对应的预设图像关键点对齐到所述二维图像中包含的所述目标用户的面部对应的预设图像关键点所在的位置，得到对齐后的所述三维图像和所述二维图像。
本说明书实施例中，所述混淆模块402，包括：
坐标变换单元，通过下述公式
Figure BDA0002709853670000161
对每个所述分块图像进行Arnold变换，得到每个所述分块图像中的像素点变换坐标，其中，N为正方体的边长，mod(N)为对N取模运算，(x，y)为像素点的坐标，(x’，y’)为像素点(x，y)变换后的坐标，a和b为参数，0≤a≤10，0≤b≤10；
混淆单元，基于每个所述分块图像中的像素点变换坐标，对每个所述分块图像进行多次Arnold变换，得到像素点混淆的分块图像。
本说明书实施例中，所述图像数据确定模块403，将所述像素点混淆的分块图像和所述对齐后的所述三维图像的图像通道进行通道串联，得到所述目标用户的面部的图像数据，进一步保护个人信息。
本说明书实施例中，所述装置还包括：
历史图像处理模块，获取包括一个或多个不同用户的面部的三维历史图像和二维历史图像，并基于所述用户的面部对应的预设图像关键点，对所述三维历史图像和所述二维历史图像进行对齐处理，得到对齐后的所述三维历史图像和所述二维历史图像；
历史图像对齐模块，对所述对齐后的所述二维历史图像进行分块，得到所述对齐后的所述二维历史图像的多个历史分块图像，并对每个所述历史分块图像进行Arnold变换，得到像素点混淆的历史分块图像，以保护个人信息；
历史图像确定模块，基于所述像素点混淆的历史分块图像和所述对齐后的所述三维历史图像，得到所述用户的面部的历史图像数据；
模型训练模块，基于所述历史图像数据对所述面部识别模型进行训练，得到训练后的面部识别模型，所述面部识别模型为基于深度神经网络算法构建的模型。
本说明书实施例中，所述身份识别模块404，基于所述目标用户的面部的图像数据对应的特征向量和预先存储的所述目标用户对应的面部的基准特征向量，确定所述目标用户的身份验证是否通过，以确定所述目标用户的身份信息；或者，基于所述目标用户的面部的图像数据对应的特征向量和预先存储的多个不同用户对应的面部的基准特征向量对所述目标用户进行身份识别，确定所述目标用户的身份信息。
本说明书实施例提供一种基于隐私保护的面部识别装置，通过获取包括目标用户的面部的三维图像和二维图像，并基于目标用户的面部对应的预设图像关键点，对三维图像和所述二维图像进行对齐处理，得到对齐后的三维图像和二维图像，然后，对对齐后的二维图像进行分块，得到对齐后的二维图像的多个分块图像，并对每个分块图像进行Arnold变换，得到像素点混淆的分块图像，这样，通过对而为图像进行分块，然后对每一个分块图像的像素进行Arnold变换进行混淆，从而使得二维图像难以辨认，并无法通过其他手段恢复，从而保护使用者的隐私，此外，基于像素点混淆的分块图像和对齐后的三维图像，得到目标用户的面部的图像数据，这样通过将像素点混淆的分块图像和对齐后的三维图像进行融合，可以产生一张新的具有隐私保护的多通道图像，由于多通道图像对二维图像部分进一步进行混淆，因而更加难以辨认，进一步保护使用者的隐私。
此外，针对二维图像进行分块随机Arnold变换后与对应的三维图像进行通道串联，变换后的二维图像难以辨认并且无法恢复出原始图像，从而摆脱了对二维图像直接进行识别的依赖。而且，将预处理后的二维图像进行分块随机Arnold变换后的图像与三维图像进行通道串联作为基础数据，构建一个端到端的基于深度学习的面部识别模型。基于深度学习的网络相比于手动设计的特征提取算法，面部特征能够得到更充分的表示，从而比手动设计的特征提取算子得到的特征具有更强的判决性。同时，由于将二维图像进行分块随机变换，使得变换后的二维图像与三维图像通道串联后在识别性能上达到与二维图像相近的效果，达到业务的需求的同时，保护了使用者的面部隐私。
实施例四
以上为本说明书实施例提供的基于隐私保护的面部识别装置，基于同样的思路，本说明书实施例还提供一种基于隐私保护的面部识别设备，如图5所示。
所述基于隐私保护的面部识别设备可以为上述实施例提供的终端设备或服务器等。
基于隐私保护的面部识别设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器1801和存储器1802，存储器1802中可以存储有一个或一个以上存储应用程序或数据。其中，存储器1802可以是短暂存储或持久存储。存储在存储器1802的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对基于隐私保护的面部识别设备中的一系列计算机可执行指令。更进一步地，处理器1801可以设置为与存储器1802通信，在基于隐私保护的面部识别设备上执行存储器1802中的一系列计算机可执行指令。基于隐私保护的面部识别设备还可以包括一个或一个以上电源1803，一个或一个以上有线或无线网络接口1804，一个或一个以上输入输出接口1805，一个或一个以上键盘1806。
具体在本实施例中，基于隐私保护的面部识别设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对基于隐私保护的面部识别设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
获取包括目标用户的面部的三维图像和二维图像，并基于所述目标用户的面部对应的预设图像关键点，对所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像；
对所述对齐后的所述二维图像进行分块，得到所述对齐后的所述二维图像的多个分块图像，并对每个所述分块图像进行Arnold变换，得到像素点混淆的分块图像，以保护个人信息；
基于所述像素点混淆的分块图像和所述对齐后的所述三维图像，得到所述目标用户的面部的图像数据；
将所述目标用户的面部的图像数据输入预设的面部识别模型中，得到所述目标用户的面部的图像数据对应的特征向量，基于所述目标用户的面部的图像数据对应的特征向量，确定所述目标用户的身份信息，所述面部识别模型为基于神经网络构建的模型。
本说明书实施例中，所述基于所述目标用户的面部对应的预设图像关键点，对所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像，包括：
基于预设的仿射变换，将所述三维图像中包含的所述目标用户的面部对应的预设图像关键点对齐到所述二维图像中包含的所述目标用户的面部对应的预设图像关键点所在的位置，得到对齐后的所述三维图像和所述二维图像。
本说明书实施例中，所述对每个所述分块图像进行Arnold变换，得到像素点混淆的分块图像，包括：
通过下述公式
Figure BDA0002709853670000191
对每个所述分块图像进行Arnold变换，得到每个所述分块图像中的像素点变换坐标，其中，N为正方体的边长，mod(N)为对N取模运算，(x，y)为像素点的坐标，(x’，y’)为像素点(x，y)变换后的坐标，a和b为参数，0≤a≤10，0≤b≤10；
基于每个所述分块图像中的像素点变换坐标，对每个所述分块图像进行多次Arnold变换，得到像素点混淆的分块图像。
本说明书实施例中，所述基于所述像素点混淆的分块图像和所述对齐后的所述三维图像，得到所述目标用户的面部的图像数据，包括：
将所述像素点混淆的分块图像和所述对齐后的所述三维图像的图像通道进行通道串联，得到所述目标用户的面部的图像数据，进一步保护个人信息。
本说明书实施例中，还包括：
获取包括一个或多个不同用户的面部的三维历史图像和二维历史图像，并基于所述用户的面部对应的预设图像关键点，对所述三维历史图像和所述二维历史图像进行对齐处理，得到对齐后的所述三维历史图像和所述二维历史图像；
对所述对齐后的所述二维历史图像进行分块，得到所述对齐后的所述二维历史图像的多个历史分块图像，并对每个所述历史分块图像进行Arnold变换，得到像素点混淆的历史分块图像，以保护个人信息；
基于所述像素点混淆的历史分块图像和所述对齐后的所述三维历史图像，得到所述用户的面部的历史图像数据；
基于所述历史图像数据对所述面部识别模型进行训练，得到训练后的面部识别模型，所述面部识别模型为基于深度神经网络算法构建的模型。
本说明书实施例中，所述基于所述目标用户的面部的图像数据对应的特征向量，确定所述目标用户的身份信息，包括：
基于所述目标用户的面部的图像数据对应的特征向量和预先存储的所述目标用户对应的面部的基准特征向量，确定所述目标用户的身份验证是否通过，以确定所述目标用户的身份信息；或者，
基于所述目标用户的面部的图像数据对应的特征向量和预先存储的多个不同用户对应的面部的基准特征向量对所述目标用户进行身份识别，确定所述目标用户的身份信息。
本说明书实施例提供一种基于隐私保护的面部识别设备，通过获取包括目标用户的面部的三维图像和二维图像，并基于目标用户的面部对应的预设图像关键点，对三维图像和所述二维图像进行对齐处理，得到对齐后的三维图像和二维图像，然后，对对齐后的二维图像进行分块，得到对齐后的二维图像的多个分块图像，并对每个分块图像进行Arnold变换，得到像素点混淆的分块图像，这样，通过对而为图像进行分块，然后对每一个分块图像的像素进行Arnold变换进行混淆，从而使得二维图像难以辨认，并无法通过其他手段恢复，从而保护使用者的隐私，此外，基于像素点混淆的分块图像和对齐后的三维图像，得到目标用户的面部的图像数据，这样通过将像素点混淆的分块图像和对齐后的三维图像进行融合，可以产生一张新的具有隐私保护的多通道图像，由于多通道图像对二维图像部分进一步进行混淆，因而更加难以辨认，进一步保护使用者的隐私。
此外，针对二维图像进行分块随机Arnold变换后与对应的三维图像进行通道串联，变换后的二维图像难以辨认并且无法恢复出原始图像，从而摆脱了对二维图像直接进行识别的依赖。而且，将预处理后的二维图像进行分块随机Arnold变换后的图像与三维图像进行通道串联作为基础数据，构建一个端到端的基于深度学习的面部识别模型。基于深度学习的网络相比于手动设计的特征提取算法，面部特征能够得到更充分的表示，从而比手动设计的特征提取算子得到的特征具有更强的判决性。同时，由于将二维图像进行分块随机变换，使得变换后的二维图像与三维图像通道串联后在识别性能上达到与二维图像相近的效果，达到业务的需求的同时，保护了使用者的面部隐私。
实施例五
进一步地，基于上述图1至图3所示的方法，本说明书一个或多个实施例还提供了一种存储介质，用于存储计算机可执行指令信息，一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令信息在被处理器执行时，能实现以下流程：
获取包括目标用户的面部的三维图像和二维图像，并基于所述目标用户的面部对应的预设图像关键点，对所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像；
对所述对齐后的所述二维图像进行分块，得到所述对齐后的所述二维图像的多个分块图像，并对每个所述分块图像进行Arnold变换，得到像素点混淆的分块图像，以保护个人信息；
基于所述像素点混淆的分块图像和所述对齐后的所述三维图像，得到所述目标用户的面部的图像数据；
将所述目标用户的面部的图像数据输入预设的面部识别模型中，得到所述目标用户的面部的图像数据对应的特征向量，基于所述目标用户的面部的图像数据对应的特征向量，确定所述目标用户的身份信息，所述面部识别模型为基于神经网络构建的模型。
本说明书实施例中，所述基于所述目标用户的面部对应的预设图像关键点，对所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像，包括：
基于预设的仿射变换，将所述三维图像中包含的所述目标用户的面部对应的预设图像关键点对齐到所述二维图像中包含的所述目标用户的面部对应的预设图像关键点所在的位置，得到对齐后的所述三维图像和所述二维图像。
本说明书实施例中，所述对每个所述分块图像进行Arnold变换，得到像素点混淆的分块图像，包括：
通过下述公式
Figure BDA0002709853670000221
对每个所述分块图像进行Arnold变换，得到每个所述分块图像中的像素点变换坐标，其中，N为正方体的边长，mod(N)为对N取模运算，(x，y)为像素点的坐标，(x’，y’)为像素点(x，y)变换后的坐标，a和b为参数，0≤a≤10，0≤b≤10；
基于每个所述分块图像中的像素点变换坐标，对每个所述分块图像进行多次Arnold变换，得到像素点混淆的分块图像。
本说明书实施例中，所述基于所述像素点混淆的分块图像和所述对齐后的所述三维图像，得到所述目标用户的面部的图像数据，包括：
将所述像素点混淆的分块图像和所述对齐后的所述三维图像的图像通道进行通道串联，得到所述目标用户的面部的图像数据，进一步保护个人信息。
本说明书实施例中，还包括：
获取包括一个或多个不同用户的面部的三维历史图像和二维历史图像，并基于所述用户的面部对应的预设图像关键点，对所述三维历史图像和所述二维历史图像进行对齐处理，得到对齐后的所述三维历史图像和所述二维历史图像；
对所述对齐后的所述二维历史图像进行分块，得到所述对齐后的所述二维历史图像的多个历史分块图像，并对每个所述历史分块图像进行Arnold变换，得到像素点混淆的历史分块图像，以保护个人信息；
基于所述像素点混淆的历史分块图像和所述对齐后的所述三维历史图像，得到所述用户的面部的历史图像数据；
基于所述历史图像数据对所述面部识别模型进行训练，得到训练后的面部识别模型，所述面部识别模型为基于深度神经网络算法构建的模型。
本说明书实施例中，所述基于所述目标用户的面部的图像数据对应的特征向量，确定所述目标用户的身份信息，包括：
基于所述目标用户的面部的图像数据对应的特征向量和预先存储的所述目标用户对应的面部的基准特征向量，确定所述目标用户的身份验证是否通过，以确定所述目标用户的身份信息；或者，
基于所述目标用户的面部的图像数据对应的特征向量和预先存储的多个不同用户对应的面部的基准特征向量对所述目标用户进行身份识别，确定所述目标用户的身份信息。
本说明书实施例提供一种存储介质，通过获取包括目标用户的面部的三维图像和二维图像，并基于目标用户的面部对应的预设图像关键点，对三维图像和所述二维图像进行对齐处理，得到对齐后的三维图像和二维图像，然后，对对齐后的二维图像进行分块，得到对齐后的二维图像的多个分块图像，并对每个分块图像进行Arnold变换，得到像素点混淆的分块图像，这样，通过对而为图像进行分块，然后对每一个分块图像的像素进行Arnold变换进行混淆，从而使得二维图像难以辨认，并无法通过其他手段恢复，从而保护使用者的隐私，此外，基于像素点混淆的分块图像和对齐后的三维图像，得到目标用户的面部的图像数据，这样通过将像素点混淆的分块图像和对齐后的三维图像进行融合，可以产生一张新的具有隐私保护的多通道图像，由于多通道图像对二维图像部分进一步进行混淆，因而更加难以辨认，进一步保护使用者的隐私。
此外，针对二维图像进行分块随机Arnold变换后与对应的三维图像进行通道串联，变换后的二维图像难以辨认并且无法恢复出原始图像，从而摆脱了对二维图像直接进行识别的依赖。而且，将预处理后的二维图像进行分块随机Arnold变换后的图像与三维图像进行通道串联作为基础数据，构建一个端到端的基于深度学习的面部识别模型。基于深度学习的网络相比于手动设计的特征提取算法，面部特征能够得到更充分的表示，从而比手动设计的特征提取算子得到的特征具有更强的判决性。同时，由于将二维图像进行分块随机变换，使得变换后的二维图像与三维图像通道串联后在识别性能上达到与二维图像相近的效果，达到业务的需求的同时，保护了使用者的面部隐私。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书的实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程欺诈案例的串并设备的处理器以产生一个机器，使得通过计算机或其他可编程欺诈案例的串并设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程欺诈案例的串并设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程欺诈案例的串并设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (16)

1.一种基于隐私保护的面部识别方法，所述方法包括：
获取包括目标用户的面部的三维图像和二维图像，并基于所述目标用户的面部对应的预设图像关键点，对所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像；
对所述对齐后的所述二维图像进行分块，得到所述对齐后的所述二维图像的多个分块图像，并对每个所述分块图像进行Arnold变换，得到像素点混淆的分块图像，以保护个人信息；
基于所述像素点混淆的分块图像和所述对齐后的所述三维图像，得到所述目标用户的面部的图像数据；
将所述目标用户的面部的图像数据输入预设的面部识别模型中，得到所述目标用户的面部的图像数据对应的特征向量，基于所述目标用户的面部的图像数据对应的特征向量，确定所述目标用户的身份信息，所述面部识别模型为基于神经网络构建的模型。
2.根据权利要求1所述的方法，所述基于所述目标用户的面部对应的预设图像关键点，对所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像，包括：
分别对所述二维图像和所述三维图像进行对正处理，得到对正后的所述三维图像和所述二维图像；
基于所述目标用户的面部对应的预设图像关键点，对所述对正后的所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像。
3.根据权利要求2所述的方法，对所述二维图像进行对正处理，得到对正后的所述二维图像，包括：
对所述二维图像进行特征提取，得到所述目标用户的面部对应的预设图像关键点的特征；
基于所述目标用户的面部对应的预设图像关键点的特征，对所述二维图像进行对正处理，得到对正后的所述二维图像。
4.根据权利要求2所述的方法，对所述三维图像进行对正处理，得到对正后的所述三维图像，包括：
从所述三维图像中获取深度图质量超过预定质量阈值的三维图像；
将获取的三维图像进行双边滤波处理，得到所述获取的三维图像的点云数据；
对所述获取的三维图像的点云数据进行归一化处理，以保护个人信息，将处理后的三维图像作为所述对正后的三维图像。
5.根据权利要求1所述的方法，所述基于所述目标用户的面部对应的预设图像关键点，对所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像，包括：
基于预设的仿射变换，将所述三维图像中包含的所述目标用户的面部对应的预设图像关键点对齐到所述二维图像中包含的所述目标用户的面部对应的预设图像关键点所在的位置，得到对齐后的所述三维图像和所述二维图像。
6.根据权利要求1所述的方法，所述对每个所述分块图像进行Arnold变换，得到像素点混淆的分块图像，包括：
通过下述公式
Figure FDA0002709853660000021
对每个所述分块图像进行Arnold变换，得到每个所述分块图像中的像素点变换坐标，其中，N为正方体的边长，mod(N)为对N取模运算，(x，y)为像素点的坐标，(x’，y’)为像素点(x，y)变换后的坐标，a和b为参数，0≤a≤10，0≤b≤10；
基于每个所述分块图像中的像素点变换坐标，对每个所述分块图像进行多次Arnold变换，得到像素点混淆的分块图像。
7.根据权利要求1所述的方法，所述基于所述像素点混淆的分块图像和所述对齐后的所述三维图像，得到所述目标用户的面部的图像数据，包括：
将所述像素点混淆的分块图像和所述对齐后的所述三维图像的图像通道进行通道串联，得到所述目标用户的面部的图像数据，进一步保护个人信息。
8.根据权利要求1所述的方法，所述方法还包括：
获取包括一个或多个不同用户的面部的三维历史图像和二维历史图像，并基于所述用户的面部对应的预设图像关键点，对所述三维历史图像和所述二维历史图像进行对齐处理，得到对齐后的所述三维历史图像和所述二维历史图像；
对所述对齐后的所述二维历史图像进行分块，得到所述对齐后的所述二维历史图像的多个历史分块图像，并对每个所述历史分块图像进行Arnold变换，得到像素点混淆的历史分块图像，以保护个人信息；
基于所述像素点混淆的历史分块图像和所述对齐后的所述三维历史图像，得到所述用户的面部的历史图像数据；
基于所述历史图像数据对所述面部识别模型进行训练，得到训练后的面部识别模型，所述面部识别模型为基于深度神经网络算法构建的模型。
9.根据权利要求1所述的方法，所述基于所述目标用户的面部的图像数据对应的特征向量，确定所述目标用户的身份信息，包括：
基于所述目标用户的面部的图像数据对应的特征向量和预先存储的所述目标用户对应的面部的基准特征向量，确定所述目标用户的身份验证是否通过，以确定所述目标用户的身份信息；或者，
基于所述目标用户的面部的图像数据对应的特征向量和预先存储的多个不同用户对应的面部的基准特征向量对所述目标用户进行身份识别，确定所述目标用户的身份信息。
10.一种基于隐私保护的面部识别装置，所述装置包括：
对齐处理模块，获取包括目标用户的面部的三维图像和二维图像，并基于所述目标用户的面部对应的预设图像关键点，对所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像；
混淆模块，对所述对齐后的所述二维图像进行分块，得到所述对齐后的所述二维图像的多个分块图像，并对每个所述分块图像进行Arnold变换，得到像素点混淆的分块图像，以保护个人信息；
图像数据确定模块，基于所述像素点混淆的分块图像和所述对齐后的所述三维图像，得到所述目标用户的面部的图像数据；
身份识别模块，将所述目标用户的面部的图像数据输入预设的面部识别模型中，得到所述目标用户的面部的图像数据对应的特征向量，基于所述目标用户的面部的图像数据对应的特征向量，确定所述目标用户的身份信息，所述面部识别模型为基于神经网络构建的模型。
11.根据权利要求10所述的装置，所述混淆模块，包括：
坐标变换单元，通过下述公式
Figure FDA0002709853660000041
对每个所述分块图像进行Arnold变换，得到每个所述分块图像中的像素点变换坐标，其中，N为正方体的边长，mod(N)为对N取模运算，(x，y)为像素点的坐标，(x’，y’)为像素点(x，y)变换后的坐标，a和b为参数，0≤a≤10，0≤b≤10；
混淆单元，基于每个所述分块图像中的像素点变换坐标，对每个所述分块图像进行多次Arnold变换，得到像素点混淆的分块图像。
12.根据权利要求10所述的装置，所述图像数据确定模块，将所述像素点混淆的分块图像和所述对齐后的所述三维图像的图像通道进行通道串联，得到所述目标用户的面部的图像数据，进一步保护个人信息。
13.根据权利要求10所述的装置，所述装置还包括：
历史图像处理模块，获取包括一个或多个不同用户的面部的三维历史图像和二维历史图像，并基于所述用户的面部对应的预设图像关键点，对所述三维历史图像和所述二维历史图像进行对齐处理，得到对齐后的所述三维历史图像和所述二维历史图像；
历史图像对齐模块，对所述对齐后的所述二维历史图像进行分块，得到所述对齐后的所述二维历史图像的多个历史分块图像，并对每个所述历史分块图像进行Arnold变换，得到像素点混淆的历史分块图像，以保护个人信息；
历史图像确定模块，基于所述像素点混淆的历史分块图像和所述对齐后的所述三维历史图像，得到所述用户的面部的历史图像数据；
模型训练模块，基于所述历史图像数据对所述面部识别模型进行训练，得到训练后的面部识别模型，所述面部识别模型为基于深度神经网络算法构建的模型。
14.根据权利要求10所述的装置，所述身份识别模块，基于所述目标用户的面部的图像数据对应的特征向量和预先存储的所述目标用户对应的面部的基准特征向量，确定所述目标用户的身份验证是否通过，以确定所述目标用户的身份信息；或者，基于所述目标用户的面部的图像数据对应的特征向量和预先存储的多个不同用户对应的面部的基准特征向量对所述目标用户进行身份识别，确定所述目标用户的身份信息。
15.一种基于隐私保护的面部识别设备，所述基于隐私保护的面部识别设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取包括目标用户的面部的三维图像和二维图像，并基于所述目标用户的面部对应的预设图像关键点，对所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像；
对所述对齐后的所述二维图像进行分块，得到所述对齐后的所述二维图像的多个分块图像，并对每个所述分块图像进行Arnold变换，得到像素点混淆的分块图像，以保护个人信息；
基于所述像素点混淆的分块图像和所述对齐后的所述三维图像，得到所述目标用户的面部的图像数据；
将所述目标用户的面部的图像数据输入预设的面部识别模型中，得到所述目标用户的面部的图像数据对应的特征向量，基于所述目标用户的面部的图像数据对应的特征向量，确定所述目标用户的身份信息，所述面部识别模型为基于神经网络构建的模型。
16.一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：
获取包括目标用户的面部的三维图像和二维图像，并基于所述目标用户的面部对应的预设图像关键点，对所述三维图像和所述二维图像进行对齐处理，得到对齐后的所述三维图像和所述二维图像；
对所述对齐后的所述二维图像进行分块，得到所述对齐后的所述二维图像的多个分块图像，并对每个所述分块图像进行Arnold变换，得到像素点混淆的分块图像，以保护个人信息；
基于所述像素点混淆的分块图像和所述对齐后的所述三维图像，得到所述目标用户的面部的图像数据；
将所述目标用户的面部的图像数据输入预设的面部识别模型中，得到所述目标用户的面部的图像数据对应的特征向量，基于所述目标用户的面部的图像数据对应的特征向量，确定所述目标用户的身份信息，所述面部识别模型为基于神经网络构建的模型。
CN202011051980.XA 2020-09-29 2020-09-29 一种基于隐私保护的面部识别方法、装置及设备 Active CN112052834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011051980.XA CN112052834B (zh) 2020-09-29 2020-09-29 一种基于隐私保护的面部识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011051980.XA CN112052834B (zh) 2020-09-29 2020-09-29 一种基于隐私保护的面部识别方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112052834A CN112052834A (zh) 2020-12-08
CN112052834B true CN112052834B (zh) 2022-04-08

Family

ID=73606245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011051980.XA Active CN112052834B (zh) 2020-09-29 2020-09-29 一种基于隐私保护的面部识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112052834B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734436A (zh) * 2021-01-08 2021-04-30 支付宝(杭州)信息技术有限公司 一种支持人脸识别的终端以及方法
CN112818389B (zh) * 2021-01-26 2023-12-22 支付宝(杭州)信息技术有限公司 一种基于隐私保护的数据处理方法、装置及设备
CN113762033A (zh) * 2021-04-20 2021-12-07 腾讯科技（深圳）有限公司 人脸识别方法、装置、设备及介质
CN113673374B (zh) * 2021-08-03 2024-01-30 支付宝(杭州)信息技术有限公司 一种面部识别方法、装置及设备
CN113630587A (zh) * 2021-08-09 2021-11-09 北京朗达和顺科技有限公司 一种实时视频敏感信息保护系统及其方法
CN113837998A (zh) * 2021-08-19 2021-12-24 佛山科学技术学院 一种基于深度学习的图片自动调整对齐的方法及装置
CN114419067A (zh) * 2022-01-19 2022-04-29 支付宝(杭州)信息技术有限公司 基于隐私保护的图像处理方法及装置
CN116664393B (zh) * 2023-07-05 2024-02-27 北京大学 面部数据漂白方法、装置、计算设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377544A (zh) * 2018-11-30 2019-02-22 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法、装置和可读介质
CN111310734A (zh) * 2020-03-19 2020-06-19 支付宝(杭州)信息技术有限公司 保护用户隐私的人脸识别方法和装置
CN111488856A (zh) * 2020-04-28 2020-08-04 江西吉为科技有限公司 一种基于正交引导学习的多模态2d及3d人脸表情识别

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929775B2 (en) * 2005-06-16 2011-04-19 Strider Labs, Inc. System and method for recognition in 2D images using 3D class models
US7972266B2 (en) * 2007-05-22 2011-07-05 Eastman Kodak Company Image data normalization for a monitoring system
US10599916B2 (en) * 2017-11-13 2020-03-24 Facebook, Inc. Methods and systems for playing musical elements based on a tracked face or facial feature
US20190034716A1 (en) * 2017-12-28 2019-01-31 Intel Corporation Privacy-preserving demographics identification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377544A (zh) * 2018-11-30 2019-02-22 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法、装置和可读介质
CN111310734A (zh) * 2020-03-19 2020-06-19 支付宝(杭州)信息技术有限公司 保护用户隐私的人脸识别方法和装置
CN111488856A (zh) * 2020-04-28 2020-08-04 江西吉为科技有限公司 一种基于正交引导学习的多模态2d及3d人脸表情识别

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Deepfakes for Medical Video De-Identification: Privacy";Bingquan Zhu.et al;《arXiv:2003.00813v1》;20200207;全文 *
"卷积神经网络的人脸隐私保护识别";章坚武等;《中国图象图形学报》;20190531;全文 *

Also Published As

Publication number Publication date
CN112052834A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN112052834B (zh) 一种基于隐私保护的面部识别方法、装置及设备
CN109416727B (zh) 一种人脸图像中眼镜去除方法及装置
CN111814194B (zh) 基于隐私保护的图像处理方法、装置和电子设备
Deb et al. Look locally infer globally: A generalizable face anti-spoofing approach
CN111553333B (zh) 人脸图像识别模型训练方法、识别方法、装置和电子设备
US10984225B1 (en) Masked face recognition
CN103150561A (zh) 人脸识别方法和设备
CN111274977A (zh) 多任务卷积神经网络模型及使用方法、装置和存储介质
CN111783146B (zh) 基于隐私保护的图像处理方法、装置和电子设备
US20230076017A1 (en) Method for training neural network by using de-identified image and server providing same
CN109416734B (zh) 用于虹膜图像编码的自适应量化方法
CN113614731A (zh) 使用软生物特征的认证验证
CN107256543A (zh) 图像处理方法、装置、电子设备及存储介质
CN114238904A (zh) 身份识别方法、双通道超分模型的训练方法及装置
Liu et al. Spoof trace disentanglement for generic face anti-spoofing
CN111914668A (zh) 一种基于图像增强技术的行人重识别方法、装置及系统
WO2023123981A1 (zh) 一种视频处理方法、装置、计算机设备和存储介质
Barni et al. Iris deidentification with high visual realism for privacy protection on websites and social networks
CN105580050A (zh) 提供图像中的控制点
CN112115811A (zh) 基于隐私保护的图像处理方法、装置和电子设备
Liu et al. Physics-guided spoof trace disentanglement for generic face anti-spoofing
Jwaid et al. Study and analysis of copy-move & splicing image forgery detection techniques
CN112488054B (zh) 一种人脸识别方法、装置、终端设备及存储介质
Sabeena et al. Digital image forensic using deep flower pollination with adaptive Harris hawk optimization
Kumar et al. SVM based adaptive Median filter design for face detection in noisy images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40042512

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant