CN109360170A - 基于高级特征的人脸修复方法 - Google Patents

基于高级特征的人脸修复方法 Download PDF

Info

Publication number
CN109360170A
CN109360170A CN201811244307.0A CN201811244307A CN109360170A CN 109360170 A CN109360170 A CN 109360170A CN 201811244307 A CN201811244307 A CN 201811244307A CN 109360170 A CN109360170 A CN 109360170A
Authority
CN
China
Prior art keywords
facial image
damaged
image
advanced features
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811244307.0A
Other languages
English (en)
Other versions
CN109360170B (zh
Inventor
刘瑞军
李善玺
师于茜
王向上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Technology and Business University
Original Assignee
Beijing Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Technology and Business University filed Critical Beijing Technology and Business University
Priority to CN201811244307.0A priority Critical patent/CN109360170B/zh
Publication of CN109360170A publication Critical patent/CN109360170A/zh
Application granted granted Critical
Publication of CN109360170B publication Critical patent/CN109360170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明公开了一种基于高级特征的人脸修复方法，包括：获取破损人脸图像；将所述破损人脸图像输出为两个呈轴对称的图像矩阵；在每个所述图像矩阵中确定破损区域；检测与所述破损区域相对称的区域是否破损；如果是，提取所述破损人脸图像的高级特征；获取参考数据集；从所述参考数据集中获取与所述破损人脸图像的高级特征相同的人脸图像，作为参考人脸图像；根据所述参考数据集中的人脸图像模拟得到模拟人脸图像；在所述模拟人脸图像中提取所述破损区域对应的数据，得到初始修复数据；对所述初始修复数据进行优化，得到修复数据；采用所述修复数据对所述破损人脸图像进行修复，生成修复完成的人脸图像。通过本发明，提高了破损人脸图像的修复效果。

Description

基于高级特征的人脸修复方法
技术领域
本发明属于图像处理技术领域，更具体地，涉及一种基于高级特征的人脸修复方法。
背景技术
图像修补是数字图像处理研究的重要部分，其目的是根据未破损部分的信息修补已经破坏或损失的部分。图像修补主要分为两大类图像修复和图像补全，图像修复主要是针对图中的噪音或者是除噪音之外的其他痕迹对图像造成的损坏进行图像的修复，主要的工作体现在纠正虚假或损坏数据或者移除不需要的对象，图像补全主要是针对图像的缺失内容进行补全。
图像修补主要分为内容和纹理的修补，根据破损周围的图像学习到破损区域的纹理信息，然后根据训练人脸数据集生成的模型联想出损坏或缺失部分的内容信息，充分结合纹理信息和内容信息使修复后的图像更加逼真或者达到原图的视觉效果。图像修补可以很好的应用到图像编辑和修复破损照片区域，传统的图像修补方法一般是采用对称原则来实现修补的，例如当一张人脸图像的右眼区域破损时可以参考左眼来修复右眼，当一张人脸图像的左半嘴角破损时可以参考右半嘴角来修复，但是当图像大面积缺失时现有的方法不能得到较好的修补效果。因此，修复大面积缺失的图像(主要的研究对象是人脸图像)仍是一个具有挑战性的研究课题。
发明内容
有鉴于此，本发明提供了一种基于高级特征的人脸修复方法，以提高破损人脸图像的修复效果。
一种基于高级特征的人脸修复方法，包括：
获取破损人脸图像；
将所述破损人脸图像输出为两个呈轴对称的图像矩阵；
在每个所述图像矩阵中确定破损区域；
检测与所述破损区域相对称的区域是否破损；
如果检测到与所述破损区域相对称的区域破损，提取所述破损人脸图像的高级特征，其中，所述高级特征为人脸图像所对应的人的特征；
获取参考数据集，其中，所述参考数据集包括多个人脸图像的数据，每个所述人脸图像的数据包括人脸图像和所述高级特征；
从所述参考数据集中获取与所述破损人脸图像的高级特征相同的人脸图像，作为参考人脸图像；
根据所述参考数据集中的人脸图像模拟得到模拟人脸图像；
在所述模拟人脸图像中提取所述破损区域对应的数据，得到初始修复数据；
根据所述参考人脸图像以及所述破损人脸图像对所述初始修复数据进行优化，得到修复数据；
采用所述修复数据对所述破损人脸图像进行修复，生成修复完成的人脸图像。
优选地，如果检测到与所述破损区域相对称的区域未破损，则通过对称算法对所述破损人脸图像进行修复；
所述对称算法为：v＝R(u)；
其中，所述v为损坏像素点，R为映射规则，u为映射参考点。
优选地，所述高级特征包括：肤色、表情和年龄。
优选地，所述表情包括以下任意一种或多种：
生气、厌恶、恐惧、开心、悲伤、惊讶和正常。
优选地，所述高级特征还包括：性别。
优选地，提取所述破损人脸图像的高级特征的步骤具体包括：
对所述破损人脸图像的RGB进行均值偏移聚类计算，丢弃所述破损人脸图像中因强光或照明引起的异常值，进行K-Means聚类算法计算，计算得到的簇群中心值为肤色；
分别训练单独的线性SVM分类器，以分别对年龄、性别以及表情进行提取，得到所述破损人脸图像的高级特征。
优选地，根据所述参考数据集中的人脸图像模拟得到模拟人脸图像的步骤包括：
构建一种生成式对抗网络；
以所述参考数据集中的人脸图像作为训练样本，对所述生成式对抗网络进行训练，以优化所述生成式对抗网络中生成器和鉴别器的参数，直至训练好所述生成器为止；
通过已训练好的生成器生成所述模拟人脸图像。
优选地，根据所述参考人脸图像以及所述破损人脸图像对所述初始修复数据进行优化，得到修复数据的步骤包括：
根据所述初始修复数据使用最优编码公式中的纹理损失函数提取所述破损人脸图像中未破损区域的纹理信息；
使用最优编码公式中的内容损失函数提取所述参考人脸图像的的内容信息，结合所述未破损区域的纹理信息、所述内容信息以及初始修复数据得到最优编码，通过所述最优编码得到修复数据；
所述最优编码公式为： 为最优编码，z为所述模拟人脸图像的图像值，L(z)为包括所述纹理损失函数与所述内容损失函数的总损失函数；；
所述内容损失函数：
其中，代表参考人脸图像，代表初始修复数据，Rl代表参考人脸图像在第l层的特征代表，Fl代表初始修复数据在第l层的特征代表。R、其中为向量，Nl×Ml为向量的维度，Nl代表第l层的特征矩阵的数量，Ml代表第l层的特征矩阵的高x宽；
所述纹理损失函数：
其中，代表破损人脸图像，代表生成的图片，L代表破损人脸图像的层数，wij代表[i，j]像素处的权重，Bl代表破损人脸图像在第l层特征矩阵的Gram Matrix(格雷姆矩阵)，Gl代表初始修复数据在第l层特征矩阵的Gram Matrix，其中Nl代表第l层的特征矩阵的数量，Ml代表第l层的特征矩阵的高x宽；本发明实施例中，Gram Matrix可以获取当前l层中不同特征矩阵的特征相关性。
优选地，所述总损失函数L(z)还包括：
生成损失函数Lg(z)；
所述生成损失函数
其中，G为生成器，V(D,G)为生成式对抗网络，D(G(z))代表鉴别器判断生成器生成图片为真实的概率，pz(z)'：代表模拟人脸图像。
优选地，所述生成式对抗网络为深度卷积生成对抗网络。
优选地，所述参考数据集包括：索引号以及高级特征的标签。
与现有技术相比，本发明提供的基于高级特征的人脸修复方法，至少实现了如下的有益效果：
1)将破损人脸图像输出为对称图像矩阵，方便检测破损区域的是否有相对称的未破损区域。
2)在与破损区域相对称的区域无破损时，通过对称算法对进行修复，从而保障了破损人脸图像的快速修复。
3)从参考数据集中获取参考人脸图像，以完成对初始修复数据的优化，从而保障了优化的效果。
4)在修复过程中，充分结合纹理信息与内容信息使修复后的图像更加逼真或者达到原图的视觉效果。
当然，实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是本发明实施例基于高级特征的人脸修复方法的一种流程图；
图2是本发明实施例基于高级特征的人脸修复方法得到的人脸修复效果图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
如图1所示是本发明实施例基于高级特征的人脸修复方法，具体地包括以下步骤：
步骤100：开始。
步骤101：获取破损人脸图像。
步骤102：将所述破损人脸图像输出为两个呈轴对称的图像矩阵。
需要说明的是，将破损人脸图像输出两个呈轴对称的图像矩阵，可以根据人脸的特征将人脸对称中心线作为对称轴，使破损人脸图像分为A区图像矩阵和B区图像矩阵。
步骤103：在每个所述图像矩阵中确定破损区域。
步骤104：检测与所述破损区域相对称的区域是否破损；如果是，执行步骤105；否则，执行步骤113。
具体地，如果A区图像矩阵中确定有破损区域，则检测与A区图像矩阵对应的B区图像矩阵的区域中是否有破损；如果B区图像矩阵中确定有破损，则检测与B区图像矩阵对应的A区图像矩阵的区域中是否有破损。
步骤105：提取所述破损人脸图像的高级特征，其中，所述高级特征为人脸图像所对应的人的特征。
本发明的一个实施例中，所述高级特征可以包括：肤色、表情和年龄。表情可以包括以下任意一种或多种：生气、厌恶、恐惧、开心、悲伤、惊讶和正常。肤色可以包括：黄色、黑色和白色。年龄可以包括：0～3岁婴儿期，3～6岁幼儿期，7～12岁儿童期，13～18岁少年期，19～30岁青年期，31～60岁中年期，60岁以上老年期。当然，高级特征可以不限定于上述的特征，还可以包括脸型、耳廓、嘴巴等任意一种或多种特征。
具体地，本实施例中提取所述破损人脸图像的高级特征的步骤具体包括：
1)对所述破损人脸图像的RGB进行均值偏移聚类计算，丢弃所述破损人脸图像中因强光或照明引起的异常值，进行K-Means聚类算法计算，计算得到的簇群中心值为肤色。
具体地，肤色包括：黄、白、黑，根据破损人脸图像的像素点的RGB取值范围进行K-Means聚类算法计算，最后得到聚类中心值的肤色，则为破损人脸图像的肤色。K-Means聚类算法：是选取k(k≥1)个点根据范德蒙距离聚类，然后求出每个簇的簇中心值，然后再根据距离重新聚类，反复迭代直到簇不再改变时，聚类成功此时的簇心值就是本簇的簇中心值。
2)分别训练单独的线性SVM分类器，以分别对年龄以及表情进行提取，得到所述破损人脸图像的高级特征。
SVM分类器(支持向量机，support vector machine)，SVM分类器是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。
本发明的另一个实施例中，所述高级特征还可以包括：性别。
具体地，当高级特征还包括性别时，提取所述破损人脸图像的高级特征的步骤具体包括：
1)对所述破损人脸图像的RGB进行均值偏移聚类计算，丢弃所述破损人脸图像中因强光或照明引起的异常值，进行K-Means聚类算法计算，计算得到的簇群中心值为肤色。
2)分别训练单独的线性SVM分类器，以分别对年龄、性别以及表情进行提取，得到所述破损人脸图像的高级特征。
步骤106：获取参考数据集，其中，所述参考数据集包括多个人脸图像的数据，每个所述人脸图像的数据包括人脸图像和所述高级特征。
具体地，获取参考数据集可以通过以下两种方式的任一种实现：
第一种，获取人脸训练集，根据所述高级特征在所述人脸训练集中提取若干含有所述高级特征的图片，得到参考数据集。
需要说明的是，人脸训练集可以为公开的人脸图像集，根据高级特征排列组合原理，可以在人脸训练集中提取设定个数图片，比如，设定个数为336，设定个数为肤色种类*年龄种类*性别*表情种类得到，比如，336＝3(肤色种类)*2(性别)*8(年龄)*7(表情)，得到参考数据集。
公开的人脸图像集可以为64x 64x 3的Celeba人脸数据集。Celeba人脸数据集(CelebFaces Attributes Dataset，简称CelebA数据集)是一个大型的人脸属性数据集，拥有超过20万人脸图像，每个图像都有40个属性注释，此数据集中的图像覆盖了大多的姿势变化和杂乱的背景。CelebA数据集具有多样性，样本量巨大和注释丰富，因此可选择此数据集作为预训练DCGAN的数据集。
第二种，获取人脸训练集，根据所述高级特征通过训练所述人脸训练集得到参考数据集。
需要说明的是，本实施例中可以建立一个关于高级特征的模型，将人脸训练集输入到所述模型，从而训练出一个关于高级特征的参考数据集。
具体地，参考数据集包括：索引号以及高级特征的标签。进一步，参考数据集可以为：统一大小64x64RGB的人脸图像，每个图像的名字为该图像的特征顺序为：index_age_gender_facialExpression_complexiin，例如：000001_3_0_2_1，(000001为图片的索引号index，3代表年龄age的标签label—儿童期，0代表性别gender的标签label—男人，2代表表情facialexpression的标签label—恐惧，1代表肤色complexion的标签label—白种人)。
步骤107：从所述参考数据集中获取与所述破损人脸图像的高级特征相同的人脸图像，作为参考人脸图像。
步骤108：根据所述参考数据集中的人脸图像模拟得到模拟人脸图像。
具体地，根据所述参考数据集中的人脸图像模拟得到模拟人脸图像的步骤包括：
1)构建一种生成式对抗网络。
生成对抗网络(Generative Adversarial Net，GAN)，GAN启发自博弈论中的二人零和博弈(two-player game)，GAN中的两位博弈方分别为生成模型(generative model)和判别模型(discriminative model)，生成模型G捕捉样本数据的分布，用服从某一分布(均匀分布或高斯分布等)的噪声z生成一个类似真实训练数据的样本，追求效果是越像真实样本越好；判别模型D是一个二分类器，估计一个样本来自于训练数据(而非生成数据)的概率，如果样本来自于真实的训练数据，D输出大概率，否则D输出小概率。
具体地，生成对抗网络模型的公式如下：
式(1)中，G为生成器，D为鉴别器；x：代表真实未破损人脸图像的训练集数据中的像素点的像素值；pdata(x)：代表真实未破损的训练集中的数据；z1：代表一个随机噪声点；pz(z1)：代表随机噪声点生成的随机值，pz(z1)∈[-1,1]，D(x)代表鉴别器D判别真实图片为真实的概率，D(G(z1))代表鉴别器D判断生成器G生成图片为真实的概率，G(z1)代表根据一个噪声值生成器生成的图片。
2)以所述参考数据集中的人脸图像作为训练样本，对所述生成式对抗网络进行训练，以优化所述生成式对抗网络中生成器和鉴别器的参数，直至训练好所述生成器为止。
将参考数据集中人脸图像作为训练样本训练的过程中，生成器G控制生成的人脸图像越来接近真实，也就是说，生成器G希望D(G(z1))尽可能的大，而(1-D(G(z1))))则会可能的小，从而V(D，G)会变小，即为模型中
同时，在参考数据集中人脸图像作为训练样本训练的过程中，D(x)越来越接近1，鉴别器D控制当前真实的概率越来越低，而生成器G则控制概率越来越高。当D(x)越大的时候证明判别能力越强，则D(G(z1))会越小而(1-D(G(z1)))则会越大，此时V(D，G)会变的越大，即为模型中
在训练过程中生成器G的目标是尽量生成真实的图片去欺骗鉴别器D，而鉴别器D的目标就是尽量把生成器G生成的图片和真实的图片分别开来，这样生成器G和鉴别器D构成了一个动态的“博弈过程”，最后的理想博弈结果为，生成器G足以生成“以假乱真”的图片G(z1)。对于鉴别器D来说，它难以判定生成器G生成的图片是不是真的，因此，当D(G(z1))＝0.5时博弈终止。
本发明实施例中，生成式对抗网络可以为深度卷积生成对抗网络(DeepConvolutional Generative Adversarial Networks，DCGAN)，DCGAN网络的生成器G与鉴别器D分别由深度卷积神经网络构成。其中生成器G的作用为从pz中随机选区一个分布点z作为输入，输入到训练好的生成器G中，生成器G生成一个图像的模拟样本pdata∈[-1,1]。
需要说明的是，DCGAN主要在一下几方面对GAN可以进行了改进：
I.所有的pooling(池化)层使用步幅卷积(判别网络)和微步幅卷积(生成网络)进行替换。
II.在生成网络和判别网络上使用批处理规范化。
III.对于更深的架构移除全连接隐藏层。
IV.除了输出层使用常规Tanh激活函数，在生成网络的所有层上使用ReLu激活函数。
V.判别网络中的所有层使用LeakyReLu激活函数。
3)通过已训练好的生成器生成所述模拟人脸图像。
步骤109：在所述模拟人脸图像中提取所述破损区域对应的数据，得到初始修复数据。
步骤110：根据所述参考人脸图像以及所述破损人脸图像对所述初始修复数据进行优化，得到修复数据。
具体地，根据所述参考人脸图像以及所述破损人脸图像对所述初始修复数据进行优化，得到修复数据的步骤包括：
根据所述初始修复数据使用最优编码公式中的纹理损失函数提取所述破损人脸图像中未破损区域的纹理信息，使用最优编码公式中的内容损失函数提取所述参考人脸图像的内容信息，结合所述未破损区域的纹理信息、所述内容信息以及初始修复数据得到最优编码，通过所述最优编码得到修复数据。
需要说明的是，所述最优编码为损失函数为最小值时生成器得到的人脸图像，所述最优编码公式为： 为最优编码，z为所述模拟人脸图像的图像值，所述图像值可以是模拟人脸图像的像素点的像素值，L(z)为包括所述纹理损失函数与所述内容损失函数的总损失函数。
所述内容损失函数：
式(2)中，代表参考人脸图像，代表初始修复数据，Rl代表参考人脸图像在第l层的特征代表，Fl代表初始修复数据在第l层的特征代表。R、其中为向量，Nl×Ml为向量的维度，Nl代表第l层的特征矩阵的数量，Ml代表第l层的特征矩阵的高x宽。
所述纹理损失函数：
式(3)中，代表破损人脸图像，代表生成的图片，L代表破损人脸图像的层数，wij代表[i，j]像素处的权重，Bl代表破损人脸图像在第l层特征矩阵的Gram Matrix(格雷姆矩阵)，Gl代表初始修复数据在第l层特征矩阵的Gram Matrix，其中Nl代表第l层的特征矩阵的数量，Ml代表第l层的特征矩阵的高x宽；本发明实施例中，Gram Matrix可以获取当前l层中不同特征矩阵的特征相关性。
本申请中增加wij目的是为了得到更加逼真的图像，使生成图像的纹理与破损位置附近的纹理信息相近，而不是剩余所有的未破损图像纹理信息相近，位置相差很远的未破损图像纹理可能会误导图像的纹理生成。
具体地，
式(4)中，i代表图像中像素的位置索引，其中i∈D，D为图像的像素点集合，D∈N*，N*代表正整数。wi代表在位置i处的权重值，N(i)是在本地区域位置i处的邻居集合，|N(i)|是N(i)的基数；M是与图像大小相等的二进制掩码。j是属于N(i)内的像素点，j∈N*，Mj代表j处的二进制掩码，Mi代表i处的二进制掩码。本发明实施例中内容信息来自于参考人脸图像，对于参考人脸图像来说，浅层卷积层的特征矩阵已经可以重构出比较好的图像，但是随着卷积层的加深，从特征矩阵中重构出的图像损失的像素点越严重，但是却能够保留图像中的更加高级的内容信息。纹理信息来源于破损人脸图像，对破损人脸图像来说，随着DCGAN网络的卷积层的加深，特征矩阵重构出的图像能够更大程度上保留破损图像的纹理信息。
进一步，可以使用在图像网络中预训练过的VGG19提取的特征图，来提取图像的高级特征，通过优化生成图像和参考图像特征图的MSE(mean-square error，均方误差)，可以使生成图与参考图在VGG19上输出相似的结果，因此生成图像和参考图在内容上是一致的，生成图像在纹理上和破损图像是一致的。
步骤111：采用所述修复数据对所述破损人脸图像进行修复，生成修复完成的人脸图像。
具体地，采用修复数据对破损人脸图像进行修复的过程可以是将总损失函数进行迭代求最小值的过程。
本发明的另一个实施例中，修复损失函数为：
式(5)中，代表破损人脸图像，代表生成的图片，代表参考人脸图像，α是指第一参数，β是指第二参数；
生成损失函数为：
式(6)中，G为生成器，V(D,G)为生成式对抗网络，D(G(z))代表鉴别器判断生成器生成图片为真实的概率，pz(z)'：代表模拟人脸图像。
总损失函数为：
式(7)中，λ是指第三参数；需要说明的是，第一参数α、第二参数β以及第三参数λ是在迭代运算中实时赋值的权重值。
优化生成网络模型从而通过生成网络模型生成更加真实的人脸图像。需要说明的是，可以通过反复迭代使总损失函数达到最小，从而优化生成网络，得到最优的修复数据。
图2为本发明实施例基于高级特征的人脸修复方法得到的人脸修复效果图，在图2中，T1为破损人脸图像的原图，T2为参考人脸图像，T3为破损人脸图像，T4为采用初始修复数据修补破损区域图，T5为生成网络进行500次迭代后的修补图片，T6为生成网络进行900次迭代后的修补图片。通过将图2中T1与T6相对比，可以确定通过本发明方法得到的人脸修复图像比较接近破损人脸图像的原图。
步骤112：结束。
步骤113：通过对称算法对所述破损人脸图像进行修复，执行步骤112。
具体地，所述对称算法为：
v＝R(u)(8)；
式(8)中，所述v为损坏像素点，R为映射规则，u为映射参考点。
本发明实施例提供的基于高级特征的人脸修复方法，获取破损人脸图像后，将破损人脸图像输出为两个呈轴对称的图像矩阵，在每个图像矩阵中确定破损区域，检测与所述破损区域相对称的区域是否破损，如果是，提取破损人脸图像的高级特征，获取参考数据集，在所述参考数据集中获取所述破损人脸的高级特征相同的人脸图像，作为参考人脸图像。基于所述参考人脸图像以及所述破损人脸图像对破损人脸图像进行修复，生成修复完的人脸图像。通过本发明提高了人脸修复效果。
通过上述实施例可知，本发明提供的基于高级特征的人脸修复方法，至少实现了如下的有益效果：
1)将破损人脸图像输出为对称图像矩阵，方便检测破损区域的是否有相对称的未破损区域。
2)在与破损区域相对称的区域无破损时，通过对称算法对进行修复，从而保障了破损人脸图像的快速修复。
3)从参考数据集中获取参考人脸图像，以完成对初始修复数据的优化，从而保障了优化的效果。
4)在修复过程中，充分结合纹理信息与内容信息使修复后的图像更加逼真或者达到原图的视觉效果。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种基于高级特征的人脸修复方法，其特征在于，包括：
获取破损人脸图像；
将所述破损人脸图像输出为两个呈轴对称的图像矩阵；
在每个所述图像矩阵中确定破损区域；
检测与所述破损区域相对称的区域是否破损；
如果检测到与所述破损区域相对称的区域破损，提取所述破损人脸图像的高级特征，其中，所述高级特征为人脸图像所对应的人的特征；
获取参考数据集，其中，所述参考数据集包括多个人脸图像的数据，每个所述人脸图像的数据包括人脸图像和所述高级特征；
从所述参考数据集中获取与所述破损人脸图像的高级特征相同的人脸图像，作为参考人脸图像；
根据所述参考数据集中的人脸图像模拟得到模拟人脸图像；
在所述模拟人脸图像中提取所述破损区域对应的数据，得到初始修复数据；
根据所述参考人脸图像以及所述破损人脸图像对所述初始修复数据进行优化，得到修复数据；
采用所述修复数据对所述破损人脸图像进行修复，生成修复完成的人脸图像。
2.根据权利要求1所述的基于高级特征的人脸修复方法，其特征在于，如果检测到与所述破损区域相对称的区域未破损，则通过对称算法对所述破损人脸图像进行修复；
所述对称算法为：v＝R(u)；
其中，所述v为损坏像素点，R为映射规则，u为映射参考点。
3.根据权利要求1或2所述的基于高级特征的人脸修复方法，其特征在于，所述高级特征包括：肤色、表情和年龄。
4.根据权利要求3所述的基于高级特征的人脸修复方法，其特征在于，所述表情包括以下任意一种或多种：
生气、厌恶、恐惧、开心、悲伤、惊讶和正常。
5.根据权利要求4所述的基于高级特征的人脸修复方法，其特征在于，所述高级特征还包括：性别。
6.根据权利要求5所述的基于高级特征的人脸修复方法，其特征在于，提取所述破损人脸图像的高级特征的步骤具体包括：
对所述破损人脸图像的RGB进行均值偏移聚类计算，丢弃所述破损人脸图像中因强光或照明引起的异常值，进行K-Means聚类算法计算，计算得到的簇群中心值为肤色；
分别训练单独的线性SVM分类器，以分别对年龄、性别以及表情进行提取，得到所述破损人脸图像的高级特征。
7.根据权利要求6所述的基于高级特征的人脸修复方法，其特征在于，根据所述参考数据集中的人脸图像模拟得到模拟人脸图像的步骤包括：
构建一种生成式对抗网络；
以所述参考数据集中的人脸图像作为训练样本，对所述生成式对抗网络进行训练，以优化所述生成式对抗网络中生成器和鉴别器的参数，直至训练好所述生成器为止；
通过已训练好的生成器生成所述模拟人脸图像。
8.根据权利要求7所述的基于高级特征的人脸修复方法，其特征在于，根据所述参考人脸图像以及所述破损人脸图像对所述初始修复数据进行优化，得到修复数据的步骤包括：
根据所述初始修复数据使用最优编码公式中的纹理损失函数提取所述破损人脸图像中未破损区域的纹理信息；
使用最优编码公式中的内容损失函数提取所述参考人脸图像的的内容信息，结合所述未破损区域的纹理信息、所述内容信息以及初始修复数据得到最优编码，通过所述最优编码得到修复数据；
所述最优编码公式为： 为最优编码，z为所述模拟人脸图像的图像值，L(z)为包括所述纹理损失函数与所述内容损失函数的总损失函数；
所述内容损失函数：
其中，代表参考人脸图像，代表初始修复数据，Rl代表参考人脸图像在第l层的特征代表，Fl代表初始修复数据在第l层的特征代表。R、其中为向量，Nl×Ml为向量的维度，Nl代表第l层的特征矩阵的数量，Ml代表第l层的特征矩阵的高x宽；
所述纹理损失函数：
其中，代表破损人脸图像，代表生成的图片，L代表破损人脸图像的层数，wij代表[i，j]像素处的权重，Bl代表破损人脸图像在第l层特征矩阵的Gram Matrix(格雷姆矩阵)，Gl代表初始修复数据在第l层特征矩阵的Gram Matrix，其中Nl代表第l层的特征矩阵的数量，Ml代表第l层的特征矩阵的高x宽；本发明实施例中，Gram Matrix可以获取当前l层中不同特征矩阵的特征相关性。
9.根据权利要求8所述的基于高级特征的人脸修复方法，其特征在于，所述总损失函数L(z)还包括：
生成损失函数Lg(z)；
所述生成损失函数
其中，G为生成器，V(D,G)为生成式对抗网络，D(G(z))代表鉴别器判断生成器生成图片为真实的概率，pz(z)'：代表模拟人脸图像。
10.根据权利要求9所述的基于高级特征的人脸修复方法，其特征在于，所述生成式对抗网络为深度卷积生成对抗网络。
CN201811244307.0A 2018-10-24 2018-10-24 基于高级特征的人脸修复方法 Active CN109360170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811244307.0A CN109360170B (zh) 2018-10-24 2018-10-24 基于高级特征的人脸修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811244307.0A CN109360170B (zh) 2018-10-24 2018-10-24 基于高级特征的人脸修复方法

Publications (2)

Publication Number Publication Date
CN109360170A true CN109360170A (zh) 2019-02-19
CN109360170B CN109360170B (zh) 2020-08-14

Family

ID=65346614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811244307.0A Active CN109360170B (zh) 2018-10-24 2018-10-24 基于高级特征的人脸修复方法

Country Status (1)

Country Link
CN (1) CN109360170B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948548A (zh) * 2019-03-20 2019-06-28 齐鲁工业大学 一种基于机器学习的色彩匹配的口红推荐方法及系统
CN110310247A (zh) * 2019-07-05 2019-10-08 Oppo广东移动通信有限公司 图像处理方法、装置、终端及计算机可读存储介质
CN110427843A (zh) * 2019-07-18 2019-11-08 广州利科科技有限公司 一种人脸智能识别方法
CN110536095A (zh) * 2019-08-30 2019-12-03 Oppo广东移动通信有限公司 通话方法、装置、终端及存储介质
CN110956097A (zh) * 2019-11-13 2020-04-03 北京影谱科技股份有限公司 遮挡人体提取方法及模块、场景转换方法及装置
CN111062904A (zh) * 2019-12-09 2020-04-24 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111105369A (zh) * 2019-12-09 2020-05-05 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
WO2021109680A1 (zh) * 2019-12-06 2021-06-10 中兴通讯股份有限公司 一种人脸图像处理方法、装置、计算机设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050147302A1 (en) * 2003-11-14 2005-07-07 Fuji Photo Film Co., Ltd. Methods and apparatus for object recognition using textons
CN103310415A (zh) * 2013-03-15 2013-09-18 清华大学 基于人脸的图像缺损补绘方法及系统
CN106558025A (zh) * 2015-09-29 2017-04-05 腾讯科技（深圳）有限公司 一种图片的处理方法和装置
CN106910176A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的人脸图像去遮挡方法
CN107330904A (zh) * 2017-06-30 2017-11-07 北京金山安全软件有限公司 图像处理方法、装置、电子设备及存储介质
CN107945118A (zh) * 2017-10-30 2018-04-20 南京邮电大学 一种基于生成式对抗网络的人脸图像修复方法
CN108346175A (zh) * 2018-02-06 2018-07-31 腾讯科技（深圳）有限公司 一种人脸图像修复方法、装置及存储介质
CN108520503A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN108537133A (zh) * 2018-03-16 2018-09-14 江苏经贸职业技术学院 一种基于监督学习深度自编码器的人脸重构方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050147302A1 (en) * 2003-11-14 2005-07-07 Fuji Photo Film Co., Ltd. Methods and apparatus for object recognition using textons
CN103310415A (zh) * 2013-03-15 2013-09-18 清华大学 基于人脸的图像缺损补绘方法及系统
CN106558025A (zh) * 2015-09-29 2017-04-05 腾讯科技（深圳）有限公司 一种图片的处理方法和装置
CN106910176A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的人脸图像去遮挡方法
CN107330904A (zh) * 2017-06-30 2017-11-07 北京金山安全软件有限公司 图像处理方法、装置、电子设备及存储介质
CN107945118A (zh) * 2017-10-30 2018-04-20 南京邮电大学 一种基于生成式对抗网络的人脸图像修复方法
CN108346175A (zh) * 2018-02-06 2018-07-31 腾讯科技（深圳）有限公司 一种人脸图像修复方法、装置及存储介质
CN108537133A (zh) * 2018-03-16 2018-09-14 江苏经贸职业技术学院 一种基于监督学习深度自编码器的人脸重构方法
CN108520503A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948548A (zh) * 2019-03-20 2019-06-28 齐鲁工业大学 一种基于机器学习的色彩匹配的口红推荐方法及系统
CN110310247A (zh) * 2019-07-05 2019-10-08 Oppo广东移动通信有限公司 图像处理方法、装置、终端及计算机可读存储介质
CN110310247B (zh) * 2019-07-05 2021-06-01 Oppo广东移动通信有限公司 图像处理方法、装置、终端及计算机可读存储介质
CN110427843A (zh) * 2019-07-18 2019-11-08 广州利科科技有限公司 一种人脸智能识别方法
CN110427843B (zh) * 2019-07-18 2021-07-13 广州利科科技有限公司 一种人脸智能识别方法
CN110536095A (zh) * 2019-08-30 2019-12-03 Oppo广东移动通信有限公司 通话方法、装置、终端及存储介质
CN110956097A (zh) * 2019-11-13 2020-04-03 北京影谱科技股份有限公司 遮挡人体提取方法及模块、场景转换方法及装置
CN110956097B (zh) * 2019-11-13 2023-07-21 北京影谱科技股份有限公司 遮挡人体提取方法及模块、场景转换方法及装置
WO2021109680A1 (zh) * 2019-12-06 2021-06-10 中兴通讯股份有限公司 一种人脸图像处理方法、装置、计算机设备及介质
CN111062904A (zh) * 2019-12-09 2020-04-24 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111105369A (zh) * 2019-12-09 2020-05-05 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111062904B (zh) * 2019-12-09 2023-08-11 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN109360170B (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN109360170A (zh) 基于高级特征的人脸修复方法
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN107563396B (zh) 一种电力巡检中保护屏智能识别系统的构建方法
CN109034210A (zh) 基于超特征融合与多尺度金字塔网络的目标检测方法
CN110458844A (zh) 一种低光照场景的语义分割方法
CN109543606A (zh) 一种加入注意力机制的人脸识别方法
CN106599854A (zh) 基于多特征融合的人脸表情自动识别方法
CN108596039A (zh) 一种基于3d卷积神经网络的双模态情感识别方法及系统
CN110222668A (zh) 基于生成对抗网络的多姿态面部表情识别方法
CN107066934A (zh) 胃部肿瘤细胞图像识别判定装置、方法及胃部肿瘤切片识别判定设备
CN107506722A (zh) 一种基于深度稀疏卷积神经网络人脸情感识别方法
Zhao et al. A large-scale attribute dataset for zero-shot learning
CN106156793A (zh) 结合深层特征提取和浅层特征提取的医学图像分类方法
CN110827260B (zh) 一种基于lbp特征与卷积神经网络的布匹缺陷分类方法
CN107729819A (zh) 一种基于稀疏全卷积神经网络的人脸标注方法
CN104268593A (zh) 一种小样本情况下多稀疏表示的人脸识别方法
CN109117879A (zh) 图像分类方法、装置及系统
CN105139004A (zh) 基于视频序列的人脸表情识别方法
CN106056059B (zh) 多方向slgs特征描述及性能云加权融合的人脸识别方法
CN110032925A (zh) 一种基于改进胶囊网络与算法的手势图像分割与识别方法
CN101916369B (zh) 基于核最近子空间的人脸识别方法
CN110532946A (zh) 一种基于卷积神经网络识别绿通车车辆轴型的方法
CN107133558A (zh) 一种基于概率传播的红外行人显著性检测方法
CN105138975B (zh) 一种基于深度信念网络的人体肤色区域分割方法
CN110175248A (zh) 一种基于深度学习和哈希编码的人脸图像检索方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant