CN111127308A - 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法 - Google Patents
用于局部遮挡下单样本人脸识别的镜像特征重排修复方法 Download PDFInfo
- Publication number
- CN111127308A CN111127308A CN201911254391.9A CN201911254391A CN111127308A CN 111127308 A CN111127308 A CN 111127308A CN 201911254391 A CN201911254391 A CN 201911254391A CN 111127308 A CN111127308 A CN 111127308A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- network
- generator
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000008707 rearrangement Effects 0.000 title claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 23
- 230000008439 repair process Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于数字图像处理技术领域,具体为一种用于局部遮挡下单样本人脸识别的镜像特征重排修复方法。本发明针对人脸被部分遮挡的情况,构造深度神经网络作为图像生成器,引入全局‑局部判别器和人脸特征提取网络辅助图像生成器学习人脸修复任务,使得图像生成器可以产生自然的人脸图像;本发明步骤包括:从待修复图像中标记出局部遮挡区域;将输入图像和对应的遮挡区域标记共同载入生成器;通过编码器构建初步的人脸特征;将特征送入空间镜像变换器进行特征重排;将初步特征和镜像特征送入转换器和解码器,通过深度网络生成修复的人脸图像。实验结果表明,本发明可以生成自然的人脸,有效保持人物身份信息,提高部分遮挡下的单样本人脸识别率。
Description
技术领域
本发明属于数字图像处理技术领域,具体涉及一种图像修复方法,更具体的说,涉及一 种用于局部遮挡下单样本人脸识别的镜像特征重排修复方法。
背景技术
人脸识别因其在信息安全、监控执法、访问控制等领域有着广阔的应用场景,一直是社 会各界关注的热点。虽然已有许多方法取得了很好的业绩,但是它们只能在受约束的条件下 工作良好。它们中的大多数都需要使用完整的脸部图像来识别人物。图库图像和查询图像必 须经过严格的对齐。在实际情况中,摄像机中拍摄的脸部图像常常被不同的物体遮挡。对于 不受控制或控制程度较低的情景中的人脸识别,仍然有许多问题需要解决。此外,在人脸识 别的应用中,图库中通常只有非常有限的训练样本。单样本人脸识别问题非常具有挑战性, 因为单个样本库集合中只能提供非常有限的信息,导致库集无法预测查询样本中存在的各种 面部变化。因此,如何克服小样本部分遮挡情况下的人脸识别是非常有价值的工作。
Weng等人提出了一种用于部分人脸识别的鲁棒点集匹配方法[1]。由于遮挡区域与图库人 脸相似性相差很大,他们认为应去除遮挡区域再进行识别。Yang等人提出了具有局部自适应 卷积特征的联合和协同表示方法[2],通过对人脸点的密集采样和稀疏检测,提取出完整且鲁 棒的局部区域,并利用卷积神经网络学习自适应局部区域的人脸识别特征。
不同于以往的人脸识别方法排除遮挡区域的信息,我们认为可以通过图像修复重建一张 清晰脸部图像。随着生成对抗网络[3]的广泛使用,图像修复方法已经可以生成细节的纹理。 GLCIC提出用全局和局部鉴别器使网络具有更大的接收场[4],产生更详细的局部信息。CA提 出一种带语境关注的图像生成方法[5],可以在网络训练中显式地利用周围的图像特征作为参 考,从而做出更好的预测。
人脸图像不同于自然图像,它具有更加明确的结构性和对称性。对于人脸识别任务,能 够最大限度地保持人物身份信息是最重要的。利用未遮挡区域的信息修复缺失区域,对于保 持人物身份特征具有很大的研究价值。
发明内容
为了克服现有技术的不足,本发明的目的在于提供一种应用于局部遮挡下单样本人脸识 别的镜像特征重排修复方法。
本发明提供的应用于局部遮挡下单样本人脸识别的镜像特征重排修复方法,主要针对人 脸被部分遮挡的情况,构造深度神经网络作为图像生成器,同时引入全局-局部判别器和人脸 特征提取网络来辅助图像生成器学习人脸修复任务,使得图像生成器可以产生自然的人脸图 像,同时更好地保持人物的身份信息。
本发明中,所述深度神经网络由一个生成器、一个全局-局部判别器和一个身份信息保留 模块组成;生成器包括一个特征学习模块、一个空间镜像变换模块和一个解码器。其中,特 征学习模块包含一个编码器和一个转换器;空间镜像变换模块包含一个镜像对称网络和一个 空间变换网络。输入图像与掩码一起发送到深度神经网络中,由编码器构造出初步的人脸特 征,然后再发送到空间镜像变换模块进行特征重排;最后,网络输出一张干净的人脸。所述 身份信息保留模块由一个预先训练好的人脸特征提取网络构成,在网络训练中,引入全局- 局部判别器和人脸特征提取网络,帮助生成器更好地保留人的身份。网络测试时只需要生成 器。
本发明提供的应用于局部遮挡下单样本人脸识别的镜像特征重排修复方法,具体步骤如 下:
(1)从待修复图像中标记出局部遮挡区域
针对部分遮挡下的人脸修复,构建一个与输入图像X大小相同的全零矩阵M,将遮挡区 域对应位置的矩阵M像素点置为1;
(2)将输入图像和对应的遮挡区域标记共同载入编码器
通过编码器,网络构建初步的人脸特征,从输入图像中提取特征,将图像压缩成256个 64×64的特征向量;
(3)将初步特征送入空间镜像变换模块进行特征重排
空间镜像变换模块包含一个镜像对称网络和一个空间变换网络,输入为编码器的输出特 征,输出为经过特征适应重排后的新特征层。首先,镜像对称网络根据人脸的中轴线做对称, 输出为带有遮挡区域参考信息的新特征层,通过镜像对称操作给遮挡区域提供对应的参考。 随后,空间变换网络将已有的人脸特征进行自适应重排,参考特征移动到合适的位置。为解 决训练中变换参数消失的问题,引入变换损失,控制空间变换网络每次的输出相近;
这样做的原因是:传统的图像修复方法仅仅依靠网络的学习能力,生成缺失区域的纹理。 在人脸修复任务上,这样的网络只能完成基本的修复目标,但是不能保持人物的身份信息。 这样的问题尤其在瞳孔颜色上表现更为明显。为了能将修复图像用于人脸识别任务,必须尽 可能的保留人物的身份信息。由于人脸具有对称性,本发明通过将未遮挡区域可用的信息转 移到缺失区域,可以有效解决这个问题;
(4)生成修复的人脸图像
将初步特征和镜像特征送入转换器和解码器,生成修复的人脸图像;
本发明中,所述转换器使用6个残差块,每个残差块由两个卷积层构成,在转换特征时 能达到保留原始图像特征的目标。所述解码器利用反卷积层完成从特征向量中还原出低级特 征的工作,最终得到生成图像;
(5)通过优化损失函数更新生成器、判别器的参数
在网络的训练中引入全局判别器、局部判别器和人脸特征提取网络来辅助生成器学习人 脸修复任务。采用判别器作为二值分类器来区分真实图像和假图像。全局判别器输出为整个 图像的分类结果,使得整个图像尽可能真实。局部判别器对局部遮挡的标记区域进行鉴别, 可以更好地修复局部区域的细节纹理。将全局和局部两个判别器的输出连接成一个2048维的 向量,通过一个全连接层然后用sigmoid响应得到整体图像一致性的分数;
这样做的原因是:仅仅通过训练生成器来填充修复区域会生成边缘模糊、内容粗糙的结 果,而引入判别器可以提高生成图片的质量,使经过训练的鉴别器可以判别生成图像的真假, 强制生成器学习更真实的人脸细节;
通过输入图像与修复图像之间的重构损失计算生成器参数的梯度,通过真实图像和生成 图像计算全局判别器参数的梯度,通过真实图像和生成图像的局部遮挡区域计算局部判别器 参数的梯度,通过梯度回传更新网络的参数;
身份信息保留模块由一个预先训练好的人脸特征提取网络构成,在整体网络训练时参数 是固定的,通过真实图像和生成图像的人脸特征计算身份损失,使得新生成的图像保持输入 图像的身份信息。
本发明中,人脸特征提取网络基于VGG Face模型,使用VGG Face网络的“fc7”层作为 编码器,将生成图像与原始图像的人脸特征进行提取,计算两者的MSE损失作为网络的身份 损失。损失最终被反向传播到生成器,使得网络可以更好地保持人物地身份信息,提高修复 后的人脸识别率。
假设定义训练集X={x1,x2,…,xn},对于训练集中的每个图像xi,生成器通过从xi中移 除遮挡区域,利用深度网络产生新的修复图像zi。训练时,网络优化更新的整体损失函数定 义为:
L=λGANLGAN+λRecLRec+λIdenLIden+λSTNLSTN,
其中,λGAN、λRec、λIden和λSTN为平衡不同损失的权重,LGAN为生成器和判别器的生成对抗损失,定义为:
其中D(·)代表判别器的结果,G(·)代表生成器的结果,E是分布的期望;
LRec为重构损失,定义为:
LRec=||zi-xi||1,
LIden为身份损失,定义为:
其中,f(·)是VGG Face网络的“fc7”层;
LSTN为变换损失,定义为:
其中,Δpi是前后两轮训练中空间变换网络输出的仿射变换参数之差。
在测试(即修复人脸图像)时,网络只需要使用生成器。
本发明的有益效果在于:本发明利用图像修复的思想恢复出完整的人脸,并通过空间镜 像变换有效解决在局部遮挡下的单样本人脸识别问题。本发明不仅考虑了生成人脸的真实性, 还考虑了人物身份信息的保留。引入空间镜像转换模块,利用人脸的对称性,将未遮挡区域 的人脸特征进行重排,通过镜像变换给缺失区域提供有效参考。引入人物身份保持模块,通 过生成图像与原始图像人脸特征的比较,使新生成的图像可以有效保留人物的身份信息,增 加人脸识别率。本发明的生成图像真实自然,并且在人脸识别的测试中也取得了较好的效果。
附图说明
图1为本发明的网络框架图。
图2为本发明人脸修复的效果图。
具体实施方式
对于一张部分遮挡的人脸照片,将遮挡区域标记为待修复区域,可以采用图1所示网络 进行新的人脸图像生成。
具体过程为:
(1)从待修复图像中标记出局部遮挡区域
针对部分遮挡下的人脸修复,构建一个与输入图像大小相同的全零矩阵,将遮挡区域对 应位置的矩阵像素点置为1;
(2)将输入图像和对应的遮挡区域标记共同载入编码器
通过特征学习模块,编码器构建初步的人脸特征;
(3)将初步特征送入空间镜像变换器进行特征重排
由于人脸具有对称性,空间变换网络将已有的人脸特征移动到合适的位置,通过镜像对 称给遮挡区域对应的参考;
(4)生成修复的人脸图像
将初步特征和镜像特征送入转换器和解码器,通过深度网络生成修复的人脸图像;
(5)通过优化损失函数更新生成器、判别器的参数
在网络的训练中引入全局判别器、局部判别器和人脸特征提取网络来辅助生成器学习人 脸修复任务。共使用Celeb-ID数据集中37644张图片做训练,12610张图片做测试,用作测 试的身份ID不在训练集中。在测试(即修复人脸图像)时,网络只需要使用生成器。
表1为本发明人脸修复的定量评测结果,第一行为GLCIC的评测结果,第二行为CA的评 测结果,第三行为本发明的评测结果,其中L1值越小越好,PSNR、MS-SSIM值越大越好。
表2为本发明在单样本人脸识别上的评测结果,图库共有100个人的图片样本,每个人 仅有一张图片,用不同方法修复过的人脸图像进行测试。第一行为GLCIC的评测结果,第二 行为CA的评测结果,第三行为本发明的评测结果,其中识别率越高越好。
图2为本发明人脸修复的效果图,第1列为待修复图像,第2列为GLCIC的修复效果,第3列为CA的修复效果,第4列为本发明的修复效果,第5列为原始真实图像;可以看出, 本发明的修复图片比GLCIC、CA方法修复的图片真实、自然,没有明显的修复痕迹,并且可 以较好地保持人物的身份信息。
表1,本发明人脸修复的定量评测结果。
方法 | L1 | MS-SSIM | PSNR |
GLCIC | 0.02768 | 0.8705524 | 34.2419dB |
CA | 0.02318 | 0.8721188 | 34.9564dB |
本发明 | 0.02041 | 0.8902209 | 35.0672dB |
表2,本发明在单样本人脸识别上的评测结果。
方法 | 识别率(图库图片数:100) |
GLCIC | 57.26% |
CA | 59.13% |
本发明 | 65.71% |
参考文献
[1]Weng R,Lu J,Tan Y P.Robust Point Set Matching for Partial FaceRecognition[J].IEEE Transactions on Image Processing,2016,25(3):1-1.
[2]Yang M,Wang X,Zeng G,et al.Joint and Collaborative Representationwith Local Adaptive Convolution Feature for Face Recognition with SingleSample Per Person[J].Pattern Recognition,2016,66(C):117-128.
[3]Goodfellow I,Pouget-Abadie J,Mirza M,et al.Generative adversarialnets[C]//Advances in neural information processing systems.2014:2672-2680.
[4]Iizuka S,Simo-Serra E,Ishikawa H.Globally and locally consistentimage completion[J].ACM Transactions on Graphics(ToG),2017,36(4):107.
[5]Yu J,Lin Z,Yang J,et al.Generative image inpainting withcontextual attention[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition.2018:5505-5514.。
Claims (5)
1.一种用于局部遮挡下单样本人脸识别的镜像特征重排修复方法,其特征在于,包括针对人脸被部分遮挡的情况,构造深度神经网络作为图像生成器,同时引入全局-局部判别器和人脸特征提取网络来辅助图像生成器学习人脸修复任务,使得图像生成器可以产生自然的人脸图像,同时更好地保持人物的身份信息;
所述深度神经网络由一个生成器、一个全局-局部判别器和一个身份信息保留模块组成;生成器包括一个特征学习模块、一个空间镜像变换模块和一个解码器;其中,特征学习模块包含一个编码器和一个转换器;空间镜像变换模块包含一个镜像对称网络和一个空间变换网络;输入图像与掩码一起发送到深度神经网络中,由编码器构造出初步的人脸特征,然后再发送到空间镜像变换模块进行特征重排;最后,网络输出一张干净的人脸;所述身份信息保留模块由一个预先训练好的人脸特征提取网络构成,在网络训练中,引入全局-局部判别器和人脸特征提取网络,帮助生成器更好地保留人的身份。
2.根据权利要求1所述的镜像特征重排修复方法,其特征在于,具体步骤如下:
(1)从待修复图像中标记出局部遮挡区域
针对部分遮挡下的人脸修复,构建一个与输入图像X大小相同的全零矩阵M,将遮挡区域对应位置的矩阵M像素点置为1;
(2)将输入图像和对应的遮挡区域标记共同载入编码器
通过编码器,网络构建初步的人脸特征,从输入图像中提取特征,将图像压缩成256个64×64的特征向量;
(3)将初步特征送入空间镜像变换模块进行特征重排
空间镜像变换模块包含一个镜像对称网络和一个空间变换网络,输入为编码器的输出特征,输出为经过特征适应重排后的新特征层;首先,镜像对称网络根据人脸的中轴线做对称,输出为带有遮挡区域参考信息的新特征层,通过镜像对称操作给遮挡区域提供对应的参考;随后,空间变换网络将已有的人脸特征进行自适应重排,参考特征移动到合适的位置;
为解决训练中变换参数消失的问题,引入变换损失,控制空间变换网络每次的输出相近;
(4)生成修复的人脸图像
将初步特征和镜像特征送入转换器和解码器,生成修复的人脸图像;
(5)通过优化损失函数更新生成器、判别器的参数
在网络的训练中引入全局判别器、局部判别器和人脸特征提取网络来辅助生成器学习人脸修复任务;采用判别器作为二值分类器来区分真实图像和假图像;其中,全局判别器输出为整个图像的分类结果,使得整个图像尽可能真实;局部判别器对局部遮挡的标记区域进行鉴别,用于更好地修复局部区域的细节纹理;将全局和局部两个判别器的输出连接成一个2048维的向量,通过一个全连接层然后用sigmoid响应得到整体图像一致性的分数;
通过输入图像与修复图像之间的重构损失计算生成器参数的梯度,通过真实图像和生成图像计算全局判别器参数的梯度,通过真实图像和生成图像的局部遮挡区域计算局部判别器参数的梯度,通过梯度回传更新网络的参数;
身份信息保留模块在整体网络训练时参数是固定的,通过真实图像和生成图像的人脸特征计算身份损失,使得新生成的图像保持输入图像的身份信息。
3.根据权利要求2所述的镜像特征重排修复方法,其特征在于,所述转换器使用6个残差块,每个残差块由两个卷积层构成,在转换特征时能达到保留原始图像特征的目标;所述解码器利用反卷积层完成从特征向量中还原出低级特征的工作,最终得到生成图像。
4.根据权利要求3所述的镜像特征重排修复方法,其特征在于,所述人脸特征提取网络基于VGG Face模型,使用VGG Face网络的“fc7”层作为编码器,将生成图像与原始图像的人脸特征进行提取,计算两者的MSE损失作为网络的身份损失;损失最终被反向传播到生成器,使得网络更好地保持人物地身份信息,提高修复后的人脸识别率。
5.根据权利要求4所述的镜像特征重排修复方法,其特征在于,所述网络训练过程为:
假设定义训练集X={x1,x2,…,xn},对于训练集中的每个图像xi,生成器通过从xi中移除遮挡区域,利用深度网络产生新的修复图像zi;训练时,网络优化更新的整体损失函数定义为:
L=λGANLGAN+λRecLRec+λIdenLIden+λSTNLSTN,
其中,λGAN、λRec、λIden和λSTN为平衡不同损失的权重;其中:
LGAN为生成器和判别器的生成对抗损失,定义为:
其中D(·)代表判别器的结果,G(·)代表生成器的结果,E是分布的期望;
LRec为重构损失,定义为:
LRec=||zi-xi||1,
LIden为身份损失,定义为:
其中,f(·)是VGG Face网络的“fc7”层;
LSTN为变换损失,定义为:
其中,Δpi是前后两轮训练中空间变换网络输出的仿射变换参数之差。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911254391.9A CN111127308B (zh) | 2019-12-08 | 2019-12-08 | 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911254391.9A CN111127308B (zh) | 2019-12-08 | 2019-12-08 | 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111127308A true CN111127308A (zh) | 2020-05-08 |
CN111127308B CN111127308B (zh) | 2023-06-30 |
Family
ID=70496280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911254391.9A Active CN111127308B (zh) | 2019-12-08 | 2019-12-08 | 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111127308B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111667425A (zh) * | 2020-06-02 | 2020-09-15 | 大连民族大学 | 一种基于先验算法的人脸表情图像遮挡修复方法 |
CN111931707A (zh) * | 2020-09-16 | 2020-11-13 | 平安国际智慧城市科技股份有限公司 | 基于对抗补丁的人脸图像预测方法、装置、设备和介质 |
CN112597854A (zh) * | 2020-12-15 | 2021-04-02 | 重庆电子工程职业学院 | 无配合式人脸识别系统及方法 |
CN112633154A (zh) * | 2020-12-22 | 2021-04-09 | 云南翼飞视科技有限公司 | 一种异源人脸特征向量之间的转换方法及系统 |
CN112766105A (zh) * | 2021-01-07 | 2021-05-07 | 北京码牛科技有限公司 | 一种应用于图码联采系统的图像转换方法及装置 |
CN113298736A (zh) * | 2021-06-24 | 2021-08-24 | 河北工业大学 | 一种基于面部样式的人脸图像修复方法 |
CN113378980A (zh) * | 2021-07-02 | 2021-09-10 | 西安电子科技大学 | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 |
CN113706428A (zh) * | 2021-07-02 | 2021-11-26 | 杭州海康威视数字技术股份有限公司 | 一种图像生成方法及装置 |
CN113989902A (zh) * | 2021-11-15 | 2022-01-28 | 天津大学 | 一种基于特征重建的遮挡人脸识别方法、装置及存储介质 |
CN114764754A (zh) * | 2022-03-25 | 2022-07-19 | 燕山大学 | 一种基于几何感知先验引导的遮挡人脸修复方法 |
CN116912926A (zh) * | 2023-09-14 | 2023-10-20 | 成都武侯社区科技有限公司 | 一种基于自掩码的人脸隐私的人脸识别方法 |
WO2023245927A1 (zh) * | 2022-06-23 | 2023-12-28 | 中国科学院自动化研究所 | 图像生成器的训练方法、装置、电子设备和可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016050729A1 (en) * | 2014-09-30 | 2016-04-07 | Thomson Licensing | Face inpainting using piece-wise affine warping and sparse coding |
CN109886167A (zh) * | 2019-02-01 | 2019-06-14 | 中国科学院信息工程研究所 | 一种遮挡人脸识别方法及装置 |
WO2019153175A1 (zh) * | 2018-02-08 | 2019-08-15 | 国民技术股份有限公司 | 基于机器学习的遮挡人脸识别系统、方法及存储介质 |
CN110414394A (zh) * | 2019-07-16 | 2019-11-05 | 公安部第一研究所 | 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型 |
-
2019
- 2019-12-08 CN CN201911254391.9A patent/CN111127308B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016050729A1 (en) * | 2014-09-30 | 2016-04-07 | Thomson Licensing | Face inpainting using piece-wise affine warping and sparse coding |
WO2019153175A1 (zh) * | 2018-02-08 | 2019-08-15 | 国民技术股份有限公司 | 基于机器学习的遮挡人脸识别系统、方法及存储介质 |
CN109886167A (zh) * | 2019-02-01 | 2019-06-14 | 中国科学院信息工程研究所 | 一种遮挡人脸识别方法及装置 |
CN110414394A (zh) * | 2019-07-16 | 2019-11-05 | 公安部第一研究所 | 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型 |
Non-Patent Citations (1)
Title |
---|
阳策;李重;任义;刘恒;: "基于标准肤色的人脸图像纹理合成与三维重建应用", 计算机系统应用 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111667425B (zh) * | 2020-06-02 | 2023-05-26 | 大连民族大学 | 一种基于先验算法的人脸表情图像遮挡修复方法 |
CN111667425A (zh) * | 2020-06-02 | 2020-09-15 | 大连民族大学 | 一种基于先验算法的人脸表情图像遮挡修复方法 |
CN111931707A (zh) * | 2020-09-16 | 2020-11-13 | 平安国际智慧城市科技股份有限公司 | 基于对抗补丁的人脸图像预测方法、装置、设备和介质 |
CN112597854A (zh) * | 2020-12-15 | 2021-04-02 | 重庆电子工程职业学院 | 无配合式人脸识别系统及方法 |
CN112633154A (zh) * | 2020-12-22 | 2021-04-09 | 云南翼飞视科技有限公司 | 一种异源人脸特征向量之间的转换方法及系统 |
CN112766105A (zh) * | 2021-01-07 | 2021-05-07 | 北京码牛科技有限公司 | 一种应用于图码联采系统的图像转换方法及装置 |
CN113298736B (zh) * | 2021-06-24 | 2022-03-04 | 河北工业大学 | 一种基于面部样式的人脸图像修复方法 |
CN113298736A (zh) * | 2021-06-24 | 2021-08-24 | 河北工业大学 | 一种基于面部样式的人脸图像修复方法 |
CN113378980A (zh) * | 2021-07-02 | 2021-09-10 | 西安电子科技大学 | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 |
CN113706428A (zh) * | 2021-07-02 | 2021-11-26 | 杭州海康威视数字技术股份有限公司 | 一种图像生成方法及装置 |
CN113378980B (zh) * | 2021-07-02 | 2023-05-09 | 西安电子科技大学 | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 |
CN113706428B (zh) * | 2021-07-02 | 2024-01-05 | 杭州海康威视数字技术股份有限公司 | 一种图像生成方法及装置 |
CN113989902A (zh) * | 2021-11-15 | 2022-01-28 | 天津大学 | 一种基于特征重建的遮挡人脸识别方法、装置及存储介质 |
CN114764754A (zh) * | 2022-03-25 | 2022-07-19 | 燕山大学 | 一种基于几何感知先验引导的遮挡人脸修复方法 |
CN114764754B (zh) * | 2022-03-25 | 2024-04-09 | 燕山大学 | 一种基于几何感知先验引导的遮挡人脸修复方法 |
WO2023245927A1 (zh) * | 2022-06-23 | 2023-12-28 | 中国科学院自动化研究所 | 图像生成器的训练方法、装置、电子设备和可读存储介质 |
CN116912926A (zh) * | 2023-09-14 | 2023-10-20 | 成都武侯社区科技有限公司 | 一种基于自掩码的人脸隐私的人脸识别方法 |
CN116912926B (zh) * | 2023-09-14 | 2023-12-19 | 成都武侯社区科技有限公司 | 一种基于自掩码的人脸隐私的人脸识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111127308B (zh) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111127308B (zh) | 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法 | |
Zhang et al. | Semantic image inpainting with progressive generative networks | |
Anwar et al. | Image colorization: A survey and dataset | |
Gurrola-Ramos et al. | A residual dense u-net neural network for image denoising | |
Ancuti et al. | NTIRE 2021 nonhomogeneous dehazing challenge report | |
Cai et al. | Blind inpainting using the fully convolutional neural network | |
Cai et al. | FCSR-GAN: Joint face completion and super-resolution via multi-task learning | |
CN111444881A (zh) | 伪造人脸视频检测方法和装置 | |
Kolesnikov et al. | PixelCNN models with auxiliary variables for natural image modeling | |
Anvari et al. | Dehaze-GLCGAN: unpaired single image de-hazing via adversarial training | |
Wang et al. | Deeply supervised face completion with multi-context generative adversarial network | |
Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
Zhang et al. | Underwater image enhancement using improved generative adversarial network | |
Hovhannisyan et al. | AED-Net: A single image dehazing | |
Dzhanashia et al. | Low complexity template-based watermarking with neural networks and various embedding templates | |
Hua et al. | Dynamic scene deblurring with continuous cross-layer attention transmission | |
Zheng et al. | Overwater image dehazing via cycle-consistent generative adversarial network | |
Salem et al. | A novel face inpainting approach based on guided deep learning | |
She et al. | Facial image inpainting algorithm based on attention mechanism and dual discriminators | |
Li et al. | Fine-grained adversarial image inpainting with super resolution | |
CN115115685A (zh) | 一种基于自注意力神经网络的单目图像深度估计算法 | |
Zhao et al. | Face Restoration Based on GANs and NST | |
Zhong et al. | Digital recognition of street view house numbers based on DCGAN | |
Liang et al. | Parallel CNN classification for human gait identification with optimal cross data-set transfer learning | |
Tu et al. | Facial image inpainting with variational autoencoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |