CN116912926B - 一种基于自掩码的人脸隐私的人脸识别方法 - Google Patents

一种基于自掩码的人脸隐私的人脸识别方法 Download PDF

Info

Publication number
CN116912926B
CN116912926B CN202311187051.5A CN202311187051A CN116912926B CN 116912926 B CN116912926 B CN 116912926B CN 202311187051 A CN202311187051 A CN 202311187051A CN 116912926 B CN116912926 B CN 116912926B
Authority
CN
China
Prior art keywords
face
image
masking
reconstruction module
restored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311187051.5A
Other languages
English (en)
Other versions
CN116912926A (zh
Inventor
周书田
王泽江
段明亮
袁臻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Wuhou Community Technology Co ltd
Original Assignee
Chengdu Wuhou Community Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Wuhou Community Technology Co ltd filed Critical Chengdu Wuhou Community Technology Co ltd
Priority to CN202311187051.5A priority Critical patent/CN116912926B/zh
Publication of CN116912926A publication Critical patent/CN116912926A/zh
Application granted granted Critical
Publication of CN116912926B publication Critical patent/CN116912926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于自掩码的人脸隐私的人脸识别方法，包括以下步骤：S1：将原始人脸图片随机遮罩，得到遮罩人脸图像；S2：使用重建模块对遮罩人脸图像进行还原得到还原人脸图像；S3：将还原人脸图像和原始人脸图片进行损失计算并对重建模块的更新；S4：重复S1‑S3，得到训练完成的重建模块；S5：获取用户图像并随机遮罩后上传至服务器；S6：服务器中训练完成的重建模块对随机遮罩的用户图像进行重建还原得到还原用户图像；S7：将还原用户图像送入人脸识别模型进行识别，本申请采用随机遮罩的方法，不影响人脸图像的语义信息，提高了人脸识别性能，并且本申请不需要用户上传完整的可分辨的人脸图像，降低了额外的隐私泄露风险。

Description

一种基于自掩码的人脸隐私的人脸识别方法
技术领域
本发明属于人脸识别技术领域，具体涉及一种基于自掩码的人脸隐私的人脸识别方法。
背景技术
从金融认证到门禁，人脸识别与认证已经渗透到方方面面，然而人脸识别也带来一系列的隐私泄露事故，在传统的人脸识别的扭曲方法中，如模糊、噪声和遮盖等，可减少人脸识别时的隐私泄露，基于GAN的方法可生成具有身份模糊性的人脸、去身份化的人脸或去属性化的人脸来生成隐私保护人脸数据集，然而，现有技术存在以下缺点：
在传统的扭曲方法中，如模糊、噪声和遮盖等，虽然能够减少隐私泄露，但会影响人脸图像的语义信息，从而降低人脸识别性能。
基于GAN (适应性生成对抗网络)的人脸识别方法需要使用本人的原始人脸图像来训练生成模型，带来了额外的隐私泄露风险。
发明内容
为解决上述背景技术中提出的问题，本发明提供一种基于自掩码的人脸隐私的人脸识别方法，以解决现有技术中扭曲方法会影响人脸图像的语义信息，基于GAN的的人脸识别方法存在额外的隐私泄露的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于自掩码的人脸隐私的人脸识别方法，包括以下步骤：
S1：训练阶段，将公开数据中的原始人脸图片随机遮罩预定百分比的内容，得到遮罩人脸图像；
S2：使用重建模块对遮罩人脸图像进行还原，得到还原人脸图像，重建模块为变压器结构的vit架构；
S3：将还原人脸图像和原始人脸图片进行L2损失计算，并将损失计算的结果使用反向传播用于对重建模块的更新，L2损失计算的公式为：
L2损失= 1/n * Σ (yi - i)^2 ；
其中，n表示样本数量，yi表示实际值，i表示预测值；
S4：重复S1-S3，直至损失结果降低至预定范围内，得到训练完成的重建模块；
S5：部署阶段，获取用户图像并随机遮罩预定百分比的内容后上传至服务器；
S6：服务器中训练完成的重建模块对随机遮罩的用户图像进行重建还原，得到还原用户图像；
S7：将还原用户图像送入人脸识别模型进行识别，人脸识别模型做出是否为目标人物的判断。
优选地，S1的遮罩人脸图像具体获得步骤为：
S3.1：将原始人脸图片设置为224*224大小，得到方形图片；
S3.2：将方形图片进行14*14的分块处理，得到分块图片；
S3.3：将分块图片中75%的分块进行遮罩层处理，得到遮罩人脸图像。
优选地，S2中图片送入重建模块后，经过两层卷积层和全联接层输入vit架构获得还原人脸图像。
优选地，人脸识别模型采用VGG16网络。
与现有技术相比，本发明的有益效果是：
1、本申请采用随机遮罩的方法，用户上传的为随机遮罩的图片，训练过的遮罩还原的重建模块可在服务器端还原用户上传的图片，在减少隐私泄露的同时，不影响人脸图像的语义信息，提高了人脸识别性能。
2、本发明不需要用户上传完整的可分辨的人脸图像，上传遮罩后的即可进行识别，并且识别准确率与全脸模型相比没有区别，降低了额外的隐私泄露风险。
附图说明
图1为本发明的训练流程示意图；
图2为本发明的部署流程示意图。
具体实施方式
为便于本领域技术人员理解本发明的技术内容，以下结合附图和具体的实例对本发明作进一步地详细说明。应当理解，此处所描述的具体实例仅用以解释本发明，并不用于限定本发明。
实施例1：
如图1、图2所示，一种基于自掩码的人脸隐私的人脸识别方法，包括以下步骤：
S1：训练阶段，将公开数据中的原始人脸图片随机遮罩预定百分比的内容，得到遮罩人脸图像，使用公开数据，避免了搜集人脸图像带来的隐私问题；
S2：使用重建模块对遮罩人脸图像进行还原，得到还原人脸图像，重建模块为transformer变压器结构的vit架构；
S3：将还原人脸图像和原始人脸图片进行L2损失计算，并将损失计算的结果使用反向传播用于对重建模块的更新，L2损失计算的公式为：
L2损失= 1/n * Σ (yi - i)^2 ；
其中，n表示样本数量，yi表示实际值，i表示预测值；
S4：重复S1-S3，直至损失结果降低至预定范围内，得到训练完成的重建模块；
S5：部署阶段，获取用户图像并随机遮罩预定百分比的内容后上传至服务器；
S6：服务器中训练完成的重建模块对随机遮罩的用户图像进行重建还原，得到还原用户图像；
S7：将还原用户图像送入人脸识别模型进行识别，人脸识别模型做出是否为目标人物的判断。
在本实施例中，本申请采用随机遮罩的方法，并训练了遮罩还原的重建模块，在减少隐私泄露的同时，不影响人脸图像的语义信息，提高了人脸识别性能，并且本申请不需要用户上传完整的可分辨的人脸图像，上传遮罩后的即可进行识别，并且识别准确率与全脸模型相比没有区别，降低了额外的隐私泄露风险。
实施例2：
本实施例与实施例1的区别在于：S1的遮罩人脸图像具体获得步骤为：
S3.1：将原始人脸图片设置为224*224大小，得到方形图片；
S3.2：将方形图片进行14*14的分块处理，得到分块图片；
S3.3：将分块图片中75%的分块进行遮罩层处理，得到遮罩人脸图像。
在本实施例中，将不规则的范围遮罩变成一个个方形的块状遮罩，降低重建模块的还原难度，提高还原的精准程度。
实施例3：
本实施例与实施例1的区别在于：S2中图片送入重建模块后，经过两层卷积层和全联接层输入vit架构获得还原人脸图像。
在本实施例中，卷积网络的每一层卷积的输出中，都会输出一个[b,c,h,w]维度的数据，b是图像块batch的大小，c是通道数，h,w是高和宽，再将其从(B,C,H,W)重塑为(B,N,PxPxC)，其中N和P分别为图像块的数量和图像块的大小，即将3通道的图像转换成N个维度大小为PxPxC的向量，然后将其送入全连接层将其嵌入到指定的维度空间大小，记为dim，即从PxPxC project到dim，转换成为token(B,N,dim)；然后再加上位置嵌入positionembedding，从而为各个patch添加位置信息，位置嵌入是所有图像共享的、可学习的，shape与每张图的token相对应，即：(N,dim)，根据预设的掩码比例75%，使用服从均匀分布的随机采样策略采样一部分tokens输入Encoder，另一部分进行mask操作；将Encoder编码后的tokens与加入位置信息后的masked tokens按照原先在patch形态时对应的次序拼在一起，然后输入Decoder(如果Encoder编码后的token的维度与Decoder要求的输入维度不一致，则需要先经过linear projection将维度映射到符合Decoder的要求)，Decoder解码后取出masked tokens对应的部分送入到全连接层，对masked patches的像素值进行预测，最后将预测结果与masked patches进行比较，计算MSE loss，其中Decoder为vit。
实施例4：
本实施例与实施例3的区别在于：人脸识别模型采用VGG16网络，VGG-16网络中的16代表的含义为：含有参数的有16个层，VGG-16网络结构很规整，没有那么多的超参数，专注于构建简单的网络，都是几个卷积层后面跟一个可以压缩图像大小的池化层。即：全部使用3*3的小型卷积核和2*2的最大池化层。使用VGG16网络可简化卷积神经网络的结构。

Claims (4)

1.一种基于自掩码的人脸隐私的人脸识别方法，其特征在于，包括以下步骤：
S1：训练阶段，将公开数据中的原始人脸图片随机遮罩预定百分比的内容，得到遮罩人脸图像；
S2：使用重建模块对遮罩人脸图像进行还原，得到还原人脸图像，重建模块为变压器结构的vit架构；
S3：将还原人脸图像和原始人脸图片进行L2损失计算，并将损失计算的结果使用反向传播用于对重建模块的更新，L2损失计算的公式为：
L2损失= 1/n * Σ (yi - i)^2 ；
其中，n表示样本数量，yi表示实际值，i表示预测值；
S4：重复S1-S3，直至损失结果降低至预定范围内，得到训练完成的重建模块；
S5：部署阶段，获取用户图像并随机遮罩预定百分比的内容后上传至服务器；
S6：服务器中训练完成的重建模块对随机遮罩的用户图像进行重建还原，得到还原用户图像；
S7：将还原用户图像送入人脸识别模型进行识别，人脸识别模型做出是否为目标人物的判断。
2.根据权利要求1所述的一种基于自掩码的人脸隐私的人脸识别方法，其特征在于，S1的遮罩人脸图像具体获得步骤为：
S3.1：将原始人脸图片设置为224*224大小，得到方形图片；
S3.2：将方形图片进行14*14的分块处理，得到分块图片；
S3.3：将分块图片中75%的分块进行遮罩层处理，得到遮罩人脸图像。
3.根据权利要求1所述的一种基于自掩码的人脸隐私的人脸识别方法，其特征在于，S2中图片送入重建模块后，经过两层卷积层和全联接层输入vit架构获得还原人脸图像。
4.根据权利要求1所述的一种基于自掩码的人脸隐私的人脸识别方法，其特征在于，人脸识别模型采用VGG16网络。
CN202311187051.5A 2023-09-14 2023-09-14 一种基于自掩码的人脸隐私的人脸识别方法 Active CN116912926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311187051.5A CN116912926B (zh) 2023-09-14 2023-09-14 一种基于自掩码的人脸隐私的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311187051.5A CN116912926B (zh) 2023-09-14 2023-09-14 一种基于自掩码的人脸隐私的人脸识别方法

Publications (2)

Publication Number Publication Date
CN116912926A CN116912926A (zh) 2023-10-20
CN116912926B true CN116912926B (zh) 2023-12-19

Family

ID=88367361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311187051.5A Active CN116912926B (zh) 2023-09-14 2023-09-14 一种基于自掩码的人脸隐私的人脸识别方法

Country Status (1)

Country Link
CN (1) CN116912926B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127308A (zh) * 2019-12-08 2020-05-08 复旦大学 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法
CN113591681A (zh) * 2021-07-28 2021-11-02 北京朗达和顺科技有限公司 人脸检测和保护方法、装置、电子设备及存储介质
CN115424318A (zh) * 2022-08-09 2022-12-02 华为技术有限公司 一种图像识别方法及设备
CN115496919A (zh) * 2022-10-24 2022-12-20 西安交通大学 基于窗口掩码策略的混合卷积-变压器架构及自监督方法
CN115578770A (zh) * 2022-10-24 2023-01-06 山东师范大学 基于自监督的小样本面部表情识别方法及系统
CN115619681A (zh) * 2022-11-04 2023-01-17 福州大学 基于多粒度Vit自动编码器的图像重建方法
CN115708135A (zh) * 2021-08-11 2023-02-21 腾讯科技（深圳）有限公司 人脸识别模型的处理方法、人脸识别方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11687835B2 (en) * 2021-02-26 2023-06-27 Inception Institute of Artificial Intelligence Ltd Domain specific pre-training of cross modality transformer model

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127308A (zh) * 2019-12-08 2020-05-08 复旦大学 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法
CN113591681A (zh) * 2021-07-28 2021-11-02 北京朗达和顺科技有限公司 人脸检测和保护方法、装置、电子设备及存储介质
CN115708135A (zh) * 2021-08-11 2023-02-21 腾讯科技（深圳）有限公司 人脸识别模型的处理方法、人脸识别方法及装置
CN115424318A (zh) * 2022-08-09 2022-12-02 华为技术有限公司 一种图像识别方法及设备
CN115496919A (zh) * 2022-10-24 2022-12-20 西安交通大学 基于窗口掩码策略的混合卷积-变压器架构及自监督方法
CN115578770A (zh) * 2022-10-24 2023-01-06 山东师范大学 基于自监督的小样本面部表情识别方法及系统
CN115619681A (zh) * 2022-11-04 2023-01-17 福州大学 基于多粒度Vit自动编码器的图像重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Constructing Adaptive Multi-Scale Feature via Transformer-Aware Patch for Occluded Person Re-Identification;Zhi Liu等;《Symmetry 2022》;1-12 *
Latent-OFER: Detect, Mask, and Reconstruct with Latent Vectors for Occluded Facial Expression Recognition;Isack Lee等;《Proceedings of the IEEE/CVF International Conference on Computer Vision》;1-11 *
VoRTX: Volumetric 3D Reconstruction With Transformers for Voxelwise View Selection and Fusion;Noah Stier;《2021 International Conference on 3D Vision (3DV)》;320-330 *
可用性增强的缩略图保持加密;叶茜等;《计算机工程与科学》;第45卷(第9期);1563-1571 *

Also Published As

Publication number Publication date
CN116912926A (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN111612708B (zh) 一种基于对抗生成网络的图像修复方法
CN113450290B (zh) 基于图像修补技术的低照度图像增强方法及系统
CN115131214A (zh) 基于自注意力的室内老人图像超分辨率重构方法及系统
CN116433914A (zh) 一种二维医学图像分割方法及系统
US20230154140A1 (en) Neural network-based high-resolution image restoration method and system
CN111241993B (zh) 座位数的确定方法、装置、电子设备及存储介质
CN112508961A (zh) 一种基于改进ResNet-Unet的CT图像分割方法
CN114444679A (zh) 二值化输入模型的量化方法及系统、计算机可读存储介质
CN118397367A (zh) 一种基于卷积视觉Mamba的篡改检测方法
CN116912926B (zh) 一种基于自掩码的人脸隐私的人脸识别方法
CN117893409A (zh) 基于光照条件约束扩散模型的人脸超分辨率重建方法及系统
CN111814543B (zh) 深度视频对象修复篡改检测方法
CN115934484B (zh) 基于扩散模型数据增强的异常检测方法、存储介质及设备
CN114663536B (zh) 一种图像压缩方法及装置
CN116468638A (zh) 一种基于生成和鉴别平衡对抗的人脸图像修复方法及系统
CN116664425A (zh) 基于伪随机掩码自编码器的图像复原方法
CN116579940A (zh) 一种基于卷积神经网络的实时低照度图像增强方法
CN112990225B (zh) 一种复杂环境下的图像目标识别方法及装置
Xie et al. Just noticeable visual redundancy forecasting: a deep multimodal-driven approach
CN112669240B (zh) 高清图像修复方法、装置、电子设备和存储介质
CN112906637B (zh) 基于深度学习的指纹图像识别方法、装置和电子设备
CN112261415B (zh) 基于过拟合卷积自编码网络的图像压缩编码方法
CN111144492B (zh) 面向移动端虚拟现实与增强现实的场景图谱生成方法
Arunpandian et al. An effective image compression technique based on burrows wheeler transform with set partitioning in hierarchical trees
CN113744158A (zh) 图像生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Face Recognition Method Based on Self Masking for Facial Privacy

Granted publication date: 20231219

Pledgee: Chengdu SME financing Company Limited by Guarantee

Pledgor: Chengdu Wuhou Community Technology Co.,Ltd.

Registration number: Y2024980027167

PE01 Entry into force of the registration of the contract for pledge of patent right