CN108182390B - 一种基于人脸图像的眼镜框去除方法及装置 - Google Patents

一种基于人脸图像的眼镜框去除方法及装置 Download PDF

Info

Publication number
CN108182390B
CN108182390B CN201711341825.XA CN201711341825A CN108182390B CN 108182390 B CN108182390 B CN 108182390B CN 201711341825 A CN201711341825 A CN 201711341825A CN 108182390 B CN108182390 B CN 108182390B
Authority
CN
China
Prior art keywords
facial image
glasses
neural
network
deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711341825.XA
Other languages
English (en)
Other versions
CN108182390A (zh
Inventor
程福运
郝敬松
王刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201711341825.XA priority Critical patent/CN108182390B/zh
Priority to EP17932826.5A priority patent/EP3698269A4/en
Priority to PCT/CN2017/118279 priority patent/WO2019100511A1/en
Publication of CN108182390A publication Critical patent/CN108182390A/zh
Application granted granted Critical
Publication of CN108182390B publication Critical patent/CN108182390B/zh
Priority to US16/881,059 priority patent/US11501563B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

本申请公开了一种基于人脸图像的眼镜框去除方法及装置，用以避免眼镜框残留的问题。基于人脸图像的眼镜框去除方法包括：建立基于人脸图像的深层神经网络；将眼镜框待去除人脸图像输入到所述基于人脸图像的深层神经网络，输出与所述眼镜框待去除人脸图像对应的不戴眼镜的人脸图像；根据所述眼镜框待去除人脸图像和所述不戴眼镜的人脸图像，确定眼镜框区域；将所述眼镜框待去除人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像。

Description

一种基于人脸图像的眼镜框去除方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于人脸图像的眼镜框去除方法及装置。
背景技术
眼镜(特别是深色粗框眼镜)作为一种常见的面部装饰物，影响着人脸识别的准确率，将戴眼镜的人脸图像进行眼镜去除和修复，能够有效地减弱或消除眼镜对人脸识别效果的影响，为了减弱或消除眼镜对人脸识别效果的影响，大量的眼镜框摘除方法被相继提出。
常见的眼镜框摘除方法多采用基于重构的眼镜框摘除方法。该方法主要通过大量不戴眼镜的人脸图像来构建人脸特征子空间，将戴眼镜的人脸图像向该人脸特征子空间进行投影以去除和修复眼镜框区域，如：基于主成分分析(Principle Component Analysis，PCA)的眼镜框去除和修复方法，基于独立分析(Independent Component Analysis，ICA)的眼镜框去除和修复方法，基于稀疏表达的眼镜框去除和修复方法等。
现有技术基于重构的眼镜框摘除方法虽然可以有效地对眼镜框进行去除和修复，但现有技术中基于重构的眼镜框摘除方法仅采用单层神经网络对戴眼镜的人脸图像进行重构，单层神经网络结构对图像的重构能力差，导致现有技术对人脸图像眼镜框修复效果较差，眼镜框区域会出现严重的残留痕迹，即使使用迭代式的误差补偿方法，仍然会存在眼镜框残留的问题。
发明内容
本申请实施例提供了一种基于人脸图像的眼镜框去除方法及装置，用以避免眼镜框残留的问题，使修复后的图像更加自然。
本申请实施例提供的一种基于人脸图像的眼镜框去除方法，包括：
建立基于人脸图像的深层神经网络；
将所述眼镜框待去除人脸图像输入到所述预先建立的深层神经网络，输出与所述眼镜框待去除人脸图像对应的不戴眼镜的人脸图像；
根据所述眼镜框待去除人脸图像和所述不戴眼镜的人脸图像，确定眼镜框区域；
将所述眼镜框待去除人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像。
本申请实施例提供的基于人脸图像的眼镜框去除方法，建立了基于人脸图像的深层神经网络，由于深层神经网络具有更深的网络层数以及较强的非线性，从而利用预先建立的基于人脸图像的深层神经网络对人脸图像中的眼镜框去除，可以避免眼镜框的残留，并且可以使最终得到的眼镜框去除图像更加自然，实现更高质量的眼镜框去除。
可选地，建立基于人脸图像的深层神经网络具体包括：
建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；
建立人脸图像样本库，所述人脸图像样本库包括至少一张不戴眼镜的人脸图像、以及根据该不戴眼镜的人脸图像生成的戴不同眼镜的多张戴眼镜人脸图像；
选择所述人脸图像样本库中的多张戴眼镜人脸图像作为所述单层神经网络训练图像，分别利用每一单层网络训练图像从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练，其中，将每一层单层神经网络进行训练后的输出作为下一层单层神经网络的输入；
将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；
分别将人脸图像样本库中的多张戴眼镜的人脸图像输入到所述新的深层神经网络，将与所述戴眼镜的人脸图像对应的不戴眼镜的人脸图像作为所述新的深层神经网络的输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络。
可选地，建立基于人脸图像的深层神经网络具体包括：
建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；
建立人脸图像样本库，所述人脸图像样本库包括多张不戴眼镜的人脸图像；
利用所述人脸图像样本库中的多张不戴眼镜的人脸图像，分别从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练；其中，将每一层单层神经网络进行训练后的输出作为下一层单层神经网络的输入；
将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；
以所述人脸图像样本库中的每一不戴眼镜的人脸图像为输入和输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络。
可选地，所述单层神经网络为受限玻尔兹曼机，逐层对所述单层神经网络进行训练具体包括：采用对比散度算法逐层对所述受限玻尔兹曼机进行训练。
可选地，所述人脸图像样本库中的所述戴眼镜的人脸图像是根据不戴眼镜的人脸图像采用眼镜自动生成算法生成的。
可选地，将所述戴眼镜的人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像之后，该方法还包括：
将所述眼镜框去除图像输入到所述预先建立的基于人脸图像的深层神经网络，输出眼镜框去除修复图像。
可选地，根据所述戴眼镜的人脸图像和所述与不戴眼镜的人脸图像，确定眼镜框区域具体包括：
计算所述戴眼镜的人脸图像与所述不戴眼镜的人脸图像的差值的绝对值，并采用自适应二值算法得到眼镜模板，所述眼镜模板中像素值为1的区域为所述眼镜框区域，所述眼镜模板中像素值为0的区域为非眼镜框区域。
本申请实施例提供了一种基于人脸图像的眼镜框去除装置，包括：
深层神经网络模块，用于建立基于人脸图像的深层神经网络；
眼镜框去除模块，用于将眼镜框待去除人脸图像输入到所述基于人脸图像的深层神经网络，输出与所述眼镜框待去除人脸图像对应的不戴眼镜的人脸图像；
眼镜框定位模块，用于根据所述眼镜框待去除人脸图像和所述不戴眼镜的人脸图像，确定眼镜框区域；
眼镜框修复模块，用于将所述眼镜框待去除人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像。
可选地，所述深层神经网络模块具体包括：
待训练深层神经网络建立模块，用于建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；
人脸图像样本库建立模块，用于建立人脸图像样本库，所述人脸图像样本库包括至少一张不戴眼镜的人脸图像、以及根据该不戴眼镜的人脸图像生成的戴不同眼镜的多张戴眼镜人脸图像；
训练模块，用于选择所述人脸图像样本库中的多张戴眼镜人脸图像作为所述单层神经网络训练图像，分别利用每一单层网络训练图像从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练，其中，将每一层单层神经网络进行训练后的输出作为下一层单层神经网络的输入；
深层神经网络生成模块，用于将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；
微调模块，用于分别将人脸图像样本库中的多张戴眼镜的人脸图像输入到所述新的深层神经网络，将与所述戴眼镜的人脸图像对应的不戴眼镜的人脸图像作为所述新的深层神经网络的输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络。
可选地，所述深层神经网络模块具体包括：
待训练深层神经网络建立模块，用于建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；
人脸图像样本库建立模块，用于建立人脸图像样本库，所述人脸图像样本库包括多张不戴眼镜的人脸图像；
训练模块，用于利用所述人脸图像样本库中的多张不戴眼镜的人脸图像，分别从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练；其中，将每一层单层神经网络进行训练后的输出作为下一层单层神经网络的输入；
深层神经网络生成模块，用于将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；
微调模块，用于以所述人脸图像样本库中的每一不戴眼镜的人脸图像为输入和输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络。
可选地，所述单层神经网络为受限玻尔兹曼机，所述训练模块逐层对所述单层神经网络进行训练具体包括：采用对比散度算法逐层对所述受限玻尔兹曼机进行训练。
可选地，人脸图像样本库建立模块，根据不戴眼镜的人脸图像采用眼镜自动生成算法生成所述戴眼镜的人脸图像。
可选地，所述装置还包括图像再修复模块，用于将所述眼镜框去除图像输入到所述预先建立的基于人脸图像的深层神经网络，输出眼镜框去除修复图像。
可选地，所述眼镜框定位模块具体用于：计算所述戴眼镜的人脸图像与所述不戴眼镜的人脸图像的差值的绝对值，并采用自适应二值算法得到眼镜模板，所述眼镜模板中像素值为1的区域为所述眼镜框区域，所述眼镜模板中像素值为0的区域为非眼镜框区域。
附图说明
图1为本申请实施例提供的一种基于人脸图像的眼镜框去除方法流程图；
图2为本申请实施例提供的一种建立基于人脸图像的深层神经网络的流程图；
图3为本申请实施例提供的另一种建立基于人脸图像的深层神经网络的流程图；
图4为本申请实施例提供的建立戴眼镜图像与不戴眼镜图像之间的映射关系时的逐层训练过程示意图；
图5为本申请实施例提供的建立戴眼镜图像与不戴眼镜图像之间的映射关系时的堆叠过程示意图；
图6为本申请实施例提供的建立戴眼镜图像与不戴眼镜图像之间的映射关系时的微调过程示意图；
图7为本申请实施例提供的一种基于人脸图像的眼镜框去除装置框图。
具体实施方式
本申请实施例提供了一种基于人脸图像的眼镜框去除方法及装置，用以避免眼镜框残留的问题，使修复后的图像更加自然。
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
如图1所示，本申请具体实施例提供了一种基于人脸图像的眼镜框去除方法，包括：
S101、建立基于人脸图像的深层神经网络；
S102、将所述眼镜框待去除人脸图像输入到所述预先建立的深层神经网络，输出与所述眼镜框待去除人脸图像对应的不戴眼镜的人脸图像；
S103、根据所述眼镜框待去除人脸图像和所述不戴眼镜的人脸图像，确定眼镜框区域；
S104、将所述眼镜框待去除人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像。
本申请实施例提供的基于人脸图像的眼镜框去除方法，建立了基于人脸图像的深层神经网络，由于深层神经网络具有更深的网络层数以及较强的非线性，从而利用预先建立的基于人脸图像的深层神经网络对人脸图像中的眼镜框去除，可以避免眼镜框的残留，并且可以使最终得到的眼镜框去除图像更加自然，实现更高质量的眼镜框去除。
需要说明的是，本申请具体实施例建立的基于人脸图像深层神经网络虽然能够输出不戴眼镜的人脸图像，但经过该深层神经网络得到的不戴眼镜的人脸图像在非眼镜框区域也会造成较为严重的信息损失，为了使不戴眼镜的人脸图像尽可能的与原图像一致，需要使用经过该深层神经网络后输出的不戴眼镜的人脸图像对原始的戴眼镜的人脸图像进行修复，得到最终的眼镜框去除图像。
可选地，如图2所示，步骤S101建立基于人脸图像的深层神经网络具体包括：
S201、建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；
S202、建立人脸图像样本库，所述人脸图像样本库包括至少一张不戴眼镜的人脸图像、以及根据该不戴眼镜的人脸图像生成的戴不同眼镜的多张戴眼镜人脸图像；
S203、选择所述人脸图像样本库中的多张戴眼镜人脸图像作为所述单层神经网络训练图像，分别利用每一单层网络训练图像从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练；
其中，将每一层单层神经网络进行训练后的输出作为下一层单层神经网络的输入；
S204、将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；
S205、分别将人脸图像样本库中的多张戴眼镜的人脸图像输入到所述新的深层神经网络，将与所述戴眼镜的人脸图像对应的不戴眼镜的人脸图像作为所述新的深层神经网络的输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络。
需要说明的是，上述步骤S201和S202的顺序可交换，如图2所示的建立基于人脸图像的深层神经网络的过程即建立戴眼镜的人脸图像与不戴眼镜的人脸图像的映射关系的过程，与现有技术中的基于重构的眼镜框去除方法相比，基于映射的方法得到的修复图像不易出现眼镜框残留的问题，使修复后的图像更加自然，并且无需采用多次迭代，此外，本申请实施例提供的建立基于人脸图像的深层神经网络为深层非线性模型，与传统的浅层线性模型相比，深层非线性模型能够更好地建立戴眼镜图像与不戴眼镜图像的映射关系，实现更高质量的眼镜框去除。所述下一层单层神经网络是按照第一层单层神经网络至最后一层单层神经网络的顺序的下一层单层神经网络。
可选地，步骤S101建立基于人脸图像的深层神经网络也可以采用如图3所示的方法，具体包括：
S301、建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；
S302、建立人脸图像样本库，所述人脸图像样本库包括多张不戴眼镜的人脸图像；
S303、利用所述人脸图像样本库中的多张不戴眼镜的人脸图像，分别从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练；
其中，将每一层单层神经网络进行训练后的输出作为下一层单层神经网络的输入；
S304、将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；
S305、以所述人脸图像样本库中的每一不戴眼镜的人脸图像为输入和输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络。
需要说明的是，上述步骤S301和S302的顺序可交换；如图3所示的建立基于人脸图像的深层神经网络的过程，即使用大量不戴眼镜的人脸图像训练深层神经网络的参数(或深层人脸特征空间)，经过大量不戴眼镜的图像训练、微调的深层人脸特征空间不包含眼镜特征，将戴眼镜的人脸图像输入到采用如图3所示的方法建立的深层神经网络中并重构，就可以得到与输入图像相对应的不戴眼镜的图像。本申请实施例提供的人脸图像眼镜框去除方法，采用如图3所示的流程建立的基于人脸图像的深层神经网络，与单神经网络相比，深层神经网络具有更深的网络层数和更强的非线性，能够更好地对眼镜框区域的图像进行重构，使修复后的图像更加自然，实现更高质量的眼镜框去除。
可选地，所述单层神经网络为受限玻尔兹曼机(Restricted BoltzmannMachines，RBM)，步骤S203、步骤S303中逐层对所述单层神经网络进行训练具体包括：采用对比散度算法逐层对所述受限玻尔兹曼机进行训练。RBM是一种连接对称、无需反馈的生产式非线性神经网络模型，它由可见层v、隐藏层h以及连接系数θ(w、a、b)组成，现有技术提供了一种基于对比散度(Contrastive Divergence，CD)的RBM快速学习算法，这种算法可以快速地实现网络系数的优化。
具体实施时，本申请具体实施例以深层神经网络使用三个单层的RBM为例进行介绍，当然，在实际应用中，深层神经网络还可以使用两个单层的RBM或使用大于三个单层的RBM。以建立戴眼镜的人脸图像和不戴眼镜的人脸图像的映射关系为例进行举例说明，本申请具体实施例首先需要将戴眼镜的人脸图像进行归一化后，具体地，RBM模型要求输入为0到1之间的实数，而图像的像素值为0到255的整数，归一化过程中将图像像素矩阵中的每一个像素值除以255，归一化到0到1之间的实数，然后将像素矩阵扁平化，即按照某一顺序将像素矩阵变成行向量。接着，将归一化后的戴眼镜的人脸图像输入到第一层的RBM中，如图4所示，采用对比散度算法对第一层的RBM进行训练，将第一层RBM的输出Feature1作为第一层RBM网络提取的特征，并将提取的特征Feature1输入到第二层RBM中进一步提取更高层次的特征，依次重复，逐层训练RBM。如图5所示，将训练好的三个RBM网络进行堆叠，逐层提取图像深层特征，并由图像深层特征反向逐层重构出原始图像，从而构成了一个六层的映射模型，该六层的映射模型即为形成的新的深层神经网络。如图6所示，以戴眼镜的人脸图像为输入，以与戴眼镜的人脸图像相对应的不戴眼镜的人脸图像为输出(监督)，使用反向传播(Backpropagation，BP)算法进行微调，从而建立戴眼镜的人脸图像与不戴眼镜的人脸图像之间的非线性映射关系。微调时，当网络收敛即可停止，其中，当映射出来的图像与不戴眼镜的人脸图像对应像素之差的欧式距离不再下降即认为网络收敛。图6中w1、w2、w3分为模型RBM1、RBM2、RBM3的系数，w1T、w2T和w3T分别为w1、w2、w3的转置。对网络进行微调会造成w1、w2、w3、w1T、w2T和w3T的改变，δ1、δ2、δ3、δ4、δ5和δ6分别对应系数的改变量。
可选地，所述人脸图像样本库中的所述戴眼镜的人脸图像是根据不戴眼镜的人脸图像采用眼镜自动生成算法生成的。眼镜自动生成算法的具体计算过程与现有技术相同，这里不再赘述。
可选地，在采用如图3所示的步骤建立基于人脸图像的深层神经网络的情况下，将所述戴眼镜的人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像之后，该方法还包括：
将所述眼镜框去除图像输入到所述预先建立的基于人脸图像的深层神经网络，输出眼镜框去除修复图像。
可选地，步骤S103根据所述戴眼镜的人脸图像和所述与不戴眼镜的人脸图像，确定眼镜框区域具体包括：
计算所述戴眼镜的人脸图像与所述不戴眼镜的人脸图像的差值的绝对值，并采用自适应二值算法得到眼镜模板，所述眼镜模板中像素值为1的区域为所述眼镜框区域，所述眼镜模板中像素值为0的区域为非眼镜框区域。
具体实施时，首先需要对经过新的深层神经网络后输出的不戴眼镜的人脸图像的眼镜框区域进行定位，设图像img1为戴眼镜的人脸图像，img1输入到本申请具体实施例中的新的深层神经网络后得到的不戴眼镜的人脸图像为img2，计算img1与img2的差值的绝对值，即M＝abs(img1-img2)，并采用自适应二值算法得到眼镜模板M。由于img1与img2的主要差异是眼镜框的有无，因此眼镜模板M为1的区域多为眼镜框区域，为0的区域多为非眼镜框区域。
之后，步骤S104将所述眼镜框待去除人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，对眼镜框区域进行修复，得到眼镜框去除图像具体包括，当眼镜模板M某一位置的值为1时，使用img2对应位置处的像素值代替img1对应位置处的像素值，即R＝M.*img2+(1-M).*img1，其中“.*”代表图像对应点相乘，修复图像R即为最后的输出的不戴眼镜的人脸图像。
基于同一发明构思，本申请实施例还提供了一种基于人脸图像的眼镜框去除装置，如图7所示，包括：
深层神经网络模块71，用于存储基于人脸图像的深层神经网络；
眼镜框去除模块72，用于将眼镜框待去除人脸图像输入到所述基于人脸图像的深层神经网络，输出与所述眼镜框待去除人脸图像对应的不戴眼镜的人脸图像；
眼镜框定位模块73，用于根据所述眼镜框待去除人脸图像和所述不戴眼镜的人脸图像，确定眼镜框区域；
眼镜框修复模块74，用于将所述眼镜框待去除人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像。
可选地，所述深层神经网络模块具体包括：
待训练深层神经网络建立模块，用于建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；
人脸图像样本库建立模块，用于建立人脸图像样本库，所述人脸图像样本库包括至少一张不戴眼镜的人脸图像、以及根据该不戴眼镜的人脸图像生成的戴不同眼镜的多张戴眼镜人脸图像；
训练模块，用于选择所述人脸图像样本库中的多张戴眼镜人脸图像作为所述单层神经网络训练图像，分别利用每一单层网络训练图像从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练，其中，将每一层单层神经网络的输出作为下一层单层神经网络的输入；
深层神经网络生成模块，用于将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；
微调模块，用于分别将人脸图像样本库中的多张戴眼镜的人脸图像输入到所述新的深层神经网络，将与所述戴眼镜的人脸图像对应的不戴眼镜的人脸图像作为所述新的深层神经网络的输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络。
可选地，所述深层神经网络模块具体包括：
待训练深层神经网络建立模块，用于建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；
人脸图像样本库建立模块，用于建立人脸图像样本库，所述人脸图像样本库包括多张不戴眼镜的人脸图像；
训练模块，用于利用所述人脸图像样本库中的多张不戴眼镜的人脸图像，分别从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练；
深层神经网络生成模块，用于将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；
微调模块，用于以所述人脸图像样本库中的每一不戴眼镜的人脸图像为输入和输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络。
可选地，所述单层神经网络为受限玻尔兹曼机，所述训练模块逐层对所述单层神经网络进行训练具体包括：采用对比散度算法逐层对所述受限玻尔兹曼机进行训练。
可选地，人脸图像样本库建立模块，根据不戴眼镜的人脸图像采用眼镜自动生成算法生成所述戴眼镜的人脸图像。
可选地，所述装置还包括图像再修复模块，用于将所述眼镜框去除图像输入到所述预先建立的基于人脸图像的深层神经网络，输出眼镜框去除修复图像。
可选地，所述眼镜框定位模块具体用于：计算所述戴眼镜的人脸图像与所述不戴眼镜的人脸图像的差值的绝对值，并采用自适应二值算法得到眼镜模板，所述眼镜模板中像素值为1的区域为所述眼镜框区域，所述眼镜模板中像素值为0的区域为非眼镜框区域。
综上，本申请实施例提供的基于人脸图像的眼镜框去除方法及装置，建立了基于人脸图像的深层神经网络，由于深层神经网络具有更深的网络层数以及较强的非线性，从而利用预先建立的基于人脸图像的深层神经网络对人脸图像中的眼镜框去除，可以避免眼镜框的残留，并且可以使最终得到的眼镜框去除图像更加自然，实现更高质量的眼镜框去除。本申请实施例提供的如图2所示的建立基于人脸图像的深层神经网络的过程即建立戴眼镜的人脸图像与不戴眼镜的人脸图像的映射关系的过程，与现有技术中的基于重构的眼镜框去除方法相比，基于映射的方法得到的修复图像不易出现眼镜框残留的问题，使修复后的图像更加自然，并且无需采用多次迭代，此外，本申请实施例提供的建立基于人脸图像的深层神经网络为深层非线性模型，与传统的浅层线性模型相比，深层非线性模型能够更好地建立戴眼镜图像与不戴眼镜图像的映射关系，实现更高质量的眼镜框去除。本申请实施例提供的如图3所示的建立基于人脸图像的深层神经网络的过程，即使用大量不戴眼镜的人脸图像训练深层神经网络的参数(或深层人脸特征空间)，经过大量不戴眼镜的图像训练、微调的深层人脸特征空间不包含眼镜特征，将戴眼镜的人脸图像输入到采用如图3所示的方法建立的深层神经网络中并重构，就可以得到与输入图像相对应的不戴眼镜的图像。本申请实施例提供的人脸图像眼镜框去除方法，采用如图3所示的流程建立的基于人脸图像的深层神经网络，与单神经网络相比，深层神经网络具有更深的网络层数和更强的非线性，能够更好地对眼镜框区域的图像进行重构，使修复后的图像更加自然，实现更高质量的眼镜框去除。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于人脸图像的眼镜框去除方法，其特征在于，该方法包括：
建立基于人脸图像的深层神经网络；
将眼镜框待去除人脸图像输入到所述基于人脸图像的深层神经网络，输出与所述眼镜框待去除人脸图像对应的不戴眼镜的人脸图像；
根据所述眼镜框待去除人脸图像和所述不戴眼镜的人脸图像，确定眼镜框区域；
将所述眼镜框待去除人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像；
建立基于人脸图像的深层神经网络具体包括：
建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；
建立人脸图像样本库，所述人脸图像样本库包括至少一张不戴眼镜的人脸图像、以及根据该不戴眼镜的人脸图像生成的戴不同眼镜的多张戴眼镜人脸图像；
选择所述人脸图像样本库中的多张戴眼镜人脸图像作为所述单层神经网络训练图像，分别利用每一单层网络训练图像从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练，其中，将每一层单层神经网络进行训练后的输出作为下一层单层神经网络的输入；
将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；
分别将人脸图像样本库中的多张戴眼镜的人脸图像输入到所述新的深层神经网络，将与所述戴眼镜的人脸图像对应的不戴眼镜的人脸图像作为所述新的深层神经网络的输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络；
或者，建立基于人脸图像的深层神经网络具体包括：
建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；
建立人脸图像样本库，所述人脸图像样本库包括多张不戴眼镜的人脸图像；
利用所述人脸图像样本库中的多张不戴眼镜的人脸图像，分别从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练；其中，将每一层单层神经网络进行训练后的输出作为下一层单层神经网络的输入；
将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；
以所述人脸图像样本库中的每一不戴眼镜的人脸图像为输入和输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络。
2.根据权利要求1所述的眼镜框去除方法，其特征在于，所述单层神经网络为受限玻尔兹曼机，逐层对所述单层神经网络进行训练具体包括：采用对比散度算法逐层对所述受限玻尔兹曼机进行训练。
3.根据权利要求1所述的眼镜框去除方法，其特征在于，所述人脸图像样本库中的所述戴眼镜的人脸图像是根据不戴眼镜的人脸图像采用眼镜自动生成算法生成的。
4.根据权利要求1所述的眼镜框去除方法，其特征在于，将所述戴眼镜的人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像之后，该方法还包括：
将所述眼镜框去除图像输入到所述预先建立的基于人脸图像的深层神经网络，输出眼镜框去除修复图像。
5.根据权利要求1所述的眼镜框去除方法，其特征在于，根据所述戴眼镜的人脸图像和所述与不戴眼镜的人脸图像，确定眼镜框区域具体包括：
计算所述戴眼镜的人脸图像与所述不戴眼镜的人脸图像的差值的绝对值，并采用自适应二值算法得到眼镜模板，所述眼镜模板中像素值为1的区域为所述眼镜框区域，所述眼镜模板中像素值为0的区域为非眼镜框区域。
6.一种基于人脸图像的眼镜框去除装置，其特征在于，包括：
深层神经网络模块，用于建立基于人脸图像的深层神经网络；
眼镜框去除模块，用于将眼镜框待去除人脸图像输入到所述基于人脸图像的深层神经网络，输出与所述眼镜框待去除人脸图像对应的不戴眼镜的人脸图像；
眼镜框定位模块，用于根据所述眼镜框待去除人脸图像和所述不戴眼镜的人脸图像，确定眼镜框区域；
眼镜框修复模块，用于将所述眼镜框待去除人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像；
所述深层神经网络模块具体包括：
待训练深层神经网络建立模块，用于建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；
人脸图像样本库建立模块，用于建立人脸图像样本库，所述人脸图像样本库包括至少一张不戴眼镜的人脸图像、以及根据该不戴眼镜的人脸图像生成的戴不同眼镜的多张戴眼镜人脸图像；
训练模块，用于选择所述人脸图像样本库中的多张戴眼镜人脸图像作为所述单层神经网络训练图像，分别利用每一单层网络训练图像从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练，其中，将每一层单层神经网络进行训练后的输出作为下一层单层神经网络的输入；
深层神经网络生成模块，用于将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；
微调模块，用于分别将人脸图像样本库中的多张戴眼镜的人脸图像输入到所述新的深层神经网络，将与所述戴眼镜的人脸图像对应的不戴眼镜的人脸图像作为所述新的深层神经网络的输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络；
或者，所述深层神经网络模块具体包括：
待训练深层神经网络建立模块，用于建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；
人脸图像样本库建立模块，用于建立人脸图像样本库，所述人脸图像样本库包括多张不戴眼镜的人脸图像；
训练模块，用于利用所述人脸图像样本库中的多张不戴眼镜的人脸图像，分别从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练；其中，将每一层单层神经网络进行训练后的输出作为下一层单层神经网络的输入；
深层神经网络生成模块，用于将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；
微调模块，用于以所述人脸图像样本库中的每一不戴眼镜的人脸图像为输入和输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络。
7.根据权利要求6所述的眼镜框去除装置，其特征在于，所述单层神经网络为受限玻尔兹曼机，所述训练模块逐层对所述单层神经网络进行训练具体包括：采用对比散度算法逐层对所述受限玻尔兹曼机进行训练。
8.根据权利要求6所述的眼镜框去除装置，其特征在于，人脸图像样本库建立模块，根据不戴眼镜的人脸图像采用眼镜自动生成算法生成所述戴眼镜的人脸图像。
9.根据权利要求6所述的眼镜框去除装置，其特征在于，所述装置还包括图像再修复模块，用于将所述眼镜框去除图像输入到所述预先建立的基于人脸图像的深层神经网络，输出眼镜框去除修复图像。
10.根据权利要求6所述的眼镜框去除装置，其特征在于，所述眼镜框定位模块具体用于：计算所述戴眼镜的人脸图像与所述不戴眼镜的人脸图像的差值的绝对值，并采用自适应二值算法得到眼镜模板，所述眼镜模板中像素值为1的区域为所述眼镜框区域，所述眼镜模板中像素值为0的区域为非眼镜框区域。
CN201711341825.XA 2017-11-22 2017-12-14 一种基于人脸图像的眼镜框去除方法及装置 Active CN108182390B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711341825.XA CN108182390B (zh) 2017-12-14 2017-12-14 一种基于人脸图像的眼镜框去除方法及装置
EP17932826.5A EP3698269A4 (en) 2017-11-22 2017-12-25 IMAGE PROCESSING METHOD AND SYSTEM
PCT/CN2017/118279 WO2019100511A1 (en) 2017-11-22 2017-12-25 An image processing method and system
US16/881,059 US11501563B2 (en) 2017-11-22 2020-05-22 Image processing method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711341825.XA CN108182390B (zh) 2017-12-14 2017-12-14 一种基于人脸图像的眼镜框去除方法及装置

Publications (2)

Publication Number Publication Date
CN108182390A CN108182390A (zh) 2018-06-19
CN108182390B true CN108182390B (zh) 2019-09-17

Family

ID=62546000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711341825.XA Active CN108182390B (zh) 2017-11-22 2017-12-14 一种基于人脸图像的眼镜框去除方法及装置

Country Status (1)

Country Link
CN (1) CN108182390B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3698269A4 (en) 2017-11-22 2020-12-09 Zhejiang Dahua Technology Co., Ltd. IMAGE PROCESSING METHOD AND SYSTEM
CN110705337A (zh) * 2018-07-10 2020-01-17 普天信息技术有限公司 一种针对眼镜遮挡的人脸识别方法及装置
CN110866436B (zh) * 2019-08-29 2023-04-07 西安理工大学 基于卷积神经网络特征重构的眼镜自动去除方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020579A (zh) * 2011-09-22 2013-04-03 上海银晨智能识别科技有限公司 人脸识别方法及系统、人脸图像的眼镜框去除方法与装置
CN104408426A (zh) * 2014-11-27 2015-03-11 小米科技有限责任公司 人脸图像眼镜去除方法及装置
CN105139000A (zh) * 2015-09-16 2015-12-09 浙江宇视科技有限公司 一种去除眼镜痕迹的人脸识别方法及装置
CN107463920A (zh) * 2017-08-21 2017-12-12 吉林大学 一种消除局部遮挡物影响的人脸识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020579A (zh) * 2011-09-22 2013-04-03 上海银晨智能识别科技有限公司 人脸识别方法及系统、人脸图像的眼镜框去除方法与装置
CN104408426A (zh) * 2014-11-27 2015-03-11 小米科技有限责任公司 人脸图像眼镜去除方法及装置
CN105139000A (zh) * 2015-09-16 2015-12-09 浙江宇视科技有限公司 一种去除眼镜痕迹的人脸识别方法及装置
CN107463920A (zh) * 2017-08-21 2017-12-12 吉林大学 一种消除局部遮挡物影响的人脸识别方法

Also Published As

Publication number Publication date
CN108182390A (zh) 2018-06-19

Similar Documents

Publication Publication Date Title
CN108182390B (zh) 一种基于人脸图像的眼镜框去除方法及装置
CN109615582B (zh) 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109657595B (zh) 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法
CN110633748A (zh) 一种鲁棒的自动人脸融合方法
CN109919830A (zh) 一种基于美学评价的带参考人眼图像修复方法
CN111080511A (zh) 一种端到端的高分辨率多特征提取的人脸交换方法
CN107635136B (zh) 基于视觉感知和双目竞争的无参考立体图像质量评价方法
CN108391121B (zh) 一种基于深度神经网络的无参考立体图像质量评价方法
CN107122796A (zh) 一种基于多分支网络融合模型的光学遥感图像分类方法
CN103093444A (zh) 基于自相似性和结构信息约束的图像超分辨重建方法
CN104811693B (zh) 一种立体图像视觉舒适度客观评价方法
CN110895795A (zh) 改进的语义图像修补模型方法
CN109934062A (zh) 眼镜摘除模型的训练方法、人脸识别方法、装置和设备
TWI385592B (zh) 編碼簿產生方法
Cheng et al. Towards pose-invariant lip-reading
CN111161158B (zh) 一种基于生成网络结构的图像修复方法
Jia et al. Stacked denoising tensor auto-encoder for action recognition with spatiotemporal corruptions
CN114897742B (zh) 一种纹理和结构特征两次融合的图像修复方法
CN109409380B (zh) 一种基于双学习网络的立体图像视觉显著提取方法
CN105740787B (zh) 基于多核鉴别彩色空间的人脸识别方法
CN111062899B (zh) 基于引导的生成对抗网络的眨眼视频生成方法
CN113112416A (zh) 一种语义引导的人脸图像修复方法
CN111915589A (zh) 基于空洞卷积的立体图像质量评价方法
Li et al. Adaptive cyclopean image-based stereoscopic image-quality assessment using ensemble learning
Modak et al. A deep learning framework to reconstruct face under mask

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant