CN109360170B - 基于高级特征的人脸修复方法 - Google Patents
基于高级特征的人脸修复方法 Download PDFInfo
- Publication number
- CN109360170B CN109360170B CN201811244307.0A CN201811244307A CN109360170B CN 109360170 B CN109360170 B CN 109360170B CN 201811244307 A CN201811244307 A CN 201811244307A CN 109360170 B CN109360170 B CN 109360170B
- Authority
- CN
- China
- Prior art keywords
- face image
- damaged
- image
- face
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000008439 repair process Effects 0.000 claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 230000014509 gene expression Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000003064 k means clustering Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000011541 reaction mixture Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000000366 juvenile effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 101710184444 Complexin Proteins 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于高级特征的人脸修复方法，包括：获取破损人脸图像；将所述破损人脸图像输出为两个呈轴对称的图像矩阵；在每个所述图像矩阵中确定破损区域；检测与所述破损区域相对称的区域是否破损；如果是，提取所述破损人脸图像的高级特征；获取参考数据集；从所述参考数据集中获取与所述破损人脸图像的高级特征相同的人脸图像，作为参考人脸图像；根据所述参考数据集中的人脸图像模拟得到模拟人脸图像；在所述模拟人脸图像中提取所述破损区域对应的数据，得到初始修复数据；对所述初始修复数据进行优化，得到修复数据；采用所述修复数据对所述破损人脸图像进行修复，生成修复完成的人脸图像。通过本发明，提高了破损人脸图像的修复效果。
Description
技术领域
本发明属于图像处理技术领域，更具体地，涉及一种基于高级特征的人脸修复方法。
背景技术
图像修补是数字图像处理研究的重要部分，其目的是根据未破损部分的信息修补已经破坏或损失的部分。图像修补主要分为两大类图像修复和图像补全，图像修复主要是针对图中的噪音或者是除噪音之外的其他痕迹对图像造成的损坏进行图像的修复，主要的工作体现在纠正虚假或损坏数据或者移除不需要的对象，图像补全主要是针对图像的缺失内容进行补全。
图像修补主要分为内容和纹理的修补，根据破损周围的图像学习到破损区域的纹理信息，然后根据训练人脸数据集生成的模型联想出损坏或缺失部分的内容信息，充分结合纹理信息和内容信息使修复后的图像更加逼真或者达到原图的视觉效果。图像修补可以很好的应用到图像编辑和修复破损照片区域，传统的图像修补方法一般是采用对称原则来实现修补的，例如当一张人脸图像的右眼区域破损时可以参考左眼来修复右眼，当一张人脸图像的左半嘴角破损时可以参考右半嘴角来修复，但是当图像大面积缺失时现有的方法不能得到较好的修补效果。因此，修复大面积缺失的图像(主要的研究对象是人脸图像)仍是一个具有挑战性的研究课题。
发明内容
有鉴于此，本发明提供了一种基于高级特征的人脸修复方法，以提高破损人脸图像的修复效果。
一种基于高级特征的人脸修复方法，包括：
获取破损人脸图像；
将所述破损人脸图像输出为两个呈轴对称的图像矩阵；
在每个所述图像矩阵中确定破损区域；
检测与所述破损区域相对称的区域是否破损；
如果检测到与所述破损区域相对称的区域破损，提取所述破损人脸图像的高级特征，其中，所述高级特征为人脸图像所对应的人的特征；
获取参考数据集，其中，所述参考数据集包括多个人脸图像的数据，每个所述人脸图像的数据包括人脸图像和所述高级特征；
从所述参考数据集中获取与所述破损人脸图像的高级特征相同的人脸图像，作为参考人脸图像；
根据所述参考数据集中的人脸图像模拟得到模拟人脸图像；
在所述模拟人脸图像中提取所述破损区域对应的数据，得到初始修复数据；
根据所述参考人脸图像以及所述破损人脸图像对所述初始修复数据进行优化，得到修复数据；
采用所述修复数据对所述破损人脸图像进行修复，生成修复完成的人脸图像。
优选地，如果检测到与所述破损区域相对称的区域未破损，则通过对称算法对所述破损人脸图像进行修复；
所述对称算法为：v＝R(u)；
其中，所述v为损坏像素点，R为映射规则，u为映射参考点。
优选地，所述高级特征包括：肤色、表情和年龄。
优选地，所述表情包括以下任意一种或多种：
生气、厌恶、恐惧、开心、悲伤、惊讶和正常。
优选地，所述高级特征还包括：性别。
优选地，提取所述破损人脸图像的高级特征的步骤具体包括：
对所述破损人脸图像的RGB进行均值偏移聚类计算，丢弃所述破损人脸图像中因强光或照明引起的异常值，进行K-Means聚类算法计算，计算得到的簇群中心值为肤色；
分别训练单独的线性SVM分类器，以分别对年龄、性别以及表情进行提取，得到所述破损人脸图像的高级特征。
优选地，根据所述参考数据集中的人脸图像模拟得到模拟人脸图像的步骤包括：
构建一种生成式对抗网络；
以所述参考数据集中的人脸图像作为训练样本，对所述生成式对抗网络进行训练，以优化所述生成式对抗网络中生成器和鉴别器的参数，直至训练好所述生成器为止；
通过已训练好的生成器生成所述模拟人脸图像。
优选地，根据所述参考人脸图像以及所述破损人脸图像对所述初始修复数据进行优化，得到修复数据的步骤包括：
根据所述初始修复数据使用最优编码公式中的纹理损失函数提取所述破损人脸图像中未破损区域的纹理信息；
使用最优编码公式中的内容损失函数提取所述参考人脸图像的内容信息，结合所述未破损区域的纹理信息、所述内容信息以及初始修复数据得到最优编码，通过所述最优编码得到修复数据；
所述最优编码公式为：
为最优编码，z为所述模拟人脸图像的图像值，L(z)为包括所述纹理损失函数
与所述内容损失函数
的总损失函数；
所述内容损失函数：
其中，
代表参考人脸图像，
代表初始修复数据，l代表参考人脸图像的层数，[i，j]代表人脸参考图像中位于第i行、第j列处的像素，Rl代表参考人脸图像在第l层的特征代表，Fl代表初始修复数据在第l层的特征代表。R、
其中
为向量，Nl×Ml为向量的维度，Nl代表第l层的特征矩阵的数量，Ml代表第l层的特征矩阵的高×宽；
所述纹理损失函数：
其中，
代表破损人脸图像，
代表生成的图片，L代表破损人脸图像的层数，wij代表[i，j]像素处的权重，Bl代表破损人脸图像在第l层特征矩阵的Gram Matrix(格雷姆矩阵)，Gl代表初始修复数据在第l层特征矩阵的Gram Matrix，其中Nl代表第l层的特征矩阵的数量，Ml代表第l层的特征矩阵的高×宽；本发明实施例中，Gram Matrix可以获取当前l层中不同特征矩阵的特征相关性。
优选地，所述总损失函数L(z)还包括：
生成损失函数Lg(z)；
所述生成损失函数
其中，G为生成器，V(D,G)为生成式对抗网络，D(G(z))代表鉴别器判断生成器生成图片为真实的概率，pz(z)'：代表模拟人脸图像。
优选地，所述生成式对抗网络为深度卷积生成对抗网络。
优选地，所述参考数据集包括：索引号以及高级特征的标签。
与现有技术相比，本发明提供的基于高级特征的人脸修复方法，至少实现了如下的有益效果：
1)将破损人脸图像输出为对称图像矩阵，方便检测破损区域的是否有相对称的未破损区域。
2)在与破损区域相对称的区域无破损时，通过对称算法对进行修复，从而保障了破损人脸图像的快速修复。
3)从参考数据集中获取参考人脸图像，以完成对初始修复数据的优化，从而保障了优化的效果。
4)在修复过程中，充分结合纹理信息与内容信息使修复后的图像更加逼真或者达到原图的视觉效果。
当然，实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是本发明实施例基于高级特征的人脸修复方法的一种流程图；
图2是本发明实施例基于高级特征的人脸修复方法得到的人脸修复效果图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
如图1所示是本发明实施例基于高级特征的人脸修复方法，具体地包括以下步骤：
步骤100：开始。
步骤101：获取破损人脸图像。
步骤102：将所述破损人脸图像输出为两个呈轴对称的图像矩阵。
需要说明的是，将破损人脸图像输出两个呈轴对称的图像矩阵，可以根据人脸的特征将人脸对称中心线作为对称轴，使破损人脸图像分为A区图像矩阵和B区图像矩阵。
步骤103：在每个所述图像矩阵中确定破损区域。
步骤104：检测与所述破损区域相对称的区域是否破损；如果是，执行步骤105；否则，执行步骤113。
具体地，如果A区图像矩阵中确定有破损区域，则检测与A区图像矩阵对应的B区图像矩阵的区域中是否有破损；如果B区图像矩阵中确定有破损，则检测与B区图像矩阵对应的A区图像矩阵的区域中是否有破损。
步骤105：提取所述破损人脸图像的高级特征，其中，所述高级特征为人脸图像所对应的人的特征。
本发明的一个实施例中，所述高级特征可以包括：肤色、表情和年龄。表情可以包括以下任意一种或多种：生气、厌恶、恐惧、开心、悲伤、惊讶和正常。肤色可以包括：黄色、黑色和白色。年龄可以包括：0～3岁婴儿期，3～6岁幼儿期，7～12岁儿童期，13～18岁少年期，19～30岁青年期，31～60岁中年期，60岁以上老年期。当然，高级特征可以不限定于上述的特征，还可以包括脸型、耳廓、嘴巴等任意一种或多种特征。
具体地，本实施例中提取所述破损人脸图像的高级特征的步骤具体包括：
1)对所述破损人脸图像的RGB进行均值偏移聚类计算，丢弃所述破损人脸图像中因强光或照明引起的异常值，进行K-Means聚类算法计算，计算得到的簇群中心值为肤色。
具体地，肤色包括：黄、白、黑，根据破损人脸图像的像素点的RGB取值范围进行K-Means聚类算法计算，最后得到聚类中心值的肤色，则为破损人脸图像的肤色。K-Means聚类算法：是选取k(k≥1)个点根据范德蒙距离聚类，然后求出每个簇的簇中心值，然后再根据距离重新聚类，反复迭代直到簇不再改变时，聚类成功此时的簇心值就是本簇的簇中心值。
2)分别训练单独的线性SVM分类器，以分别对年龄以及表情进行提取，得到所述破损人脸图像的高级特征。
SVM分类器(支持向量机，support vector machine)，SVM分类器是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。
本发明的另一个实施例中，所述高级特征还可以包括：性别。
具体地，当高级特征还包括性别时，提取所述破损人脸图像的高级特征的步骤具体包括：
1)对所述破损人脸图像的RGB进行均值偏移聚类计算，丢弃所述破损人脸图像中因强光或照明引起的异常值，进行K-Means聚类算法计算，计算得到的簇群中心值为肤色。
2)分别训练单独的线性SVM分类器，以分别对年龄、性别以及表情进行提取，得到所述破损人脸图像的高级特征。
步骤106：获取参考数据集，其中，所述参考数据集包括多个人脸图像的数据，每个所述人脸图像的数据包括人脸图像和所述高级特征。
具体地，获取参考数据集可以通过以下两种方式的任一种实现：
第一种，获取人脸训练集，根据所述高级特征在所述人脸训练集中提取若干含有所述高级特征的图片，得到参考数据集。
需要说明的是，人脸训练集可以为公开的人脸图像集，根据高级特征排列组合原理，可以在人脸训练集中提取设定个数图片，比如，设定个数为336，设定个数为肤色种类*年龄种类*性别*表情种类得到，比如，336＝3(肤色种类)*2(性别)*8(年龄)*7(表情)，得到参考数据集。
公开的人脸图像集可以为64x 64x 3的Celeba人脸数据集。Celeba人脸数据集(CelebFaces Attributes Dataset，简称CelebA数据集)是一个大型的人脸属性数据集，拥有超过20万人脸图像，每个图像都有40个属性注释，此数据集中的图像覆盖了大多的姿势变化和杂乱的背景。CelebA数据集具有多样性，样本量巨大和注释丰富，因此可选择此数据集作为预训练DCGAN的数据集。
第二种，获取人脸训练集，根据所述高级特征通过训练所述人脸训练集得到参考数据集。
需要说明的是，本实施例中可以建立一个关于高级特征的模型，将人脸训练集输入到所述模型，从而训练出一个关于高级特征的参考数据集。
具体地，参考数据集包括：索引号以及高级特征的标签。进一步，参考数据集可以为：统一大小64x64RGB的人脸图像，每个图像的名字为该图像的特征顺序为：index_age_gender_facialExpression_complexiin，例如：000001_3_0_2_1，(000001为图片的索引号index，3代表年龄age的标签label—儿童期，0代表性别gender的标签label—男人，2代表表情facial expression的标签label—恐惧，1代表肤色complexion的标签label—白种人)。
步骤107：从所述参考数据集中获取与所述破损人脸图像的高级特征相同的人脸图像，作为参考人脸图像。
步骤108：根据所述参考数据集中的人脸图像模拟得到模拟人脸图像。
具体地，根据所述参考数据集中的人脸图像模拟得到模拟人脸图像的步骤包括：
1)构建一种生成式对抗网络。
生成对抗网络(Generative Adversarial Net，GAN)，GAN启发自博弈论中的二人零和博弈(two-player game)，GAN中的两位博弈方分别为生成模型(generative model)和判别模型(discriminative model)，生成模型G捕捉样本数据的分布，用服从某一分布(均匀分布或高斯分布等)的噪声z生成一个类似真实训练数据的样本，追求效果是越像真实样本越好；判别模型D是一个二分类器，估计一个样本来自于训练数据(而非生成数据)的概率，如果样本来自于真实的训练数据，D输出大概率，否则D输出小概率。
具体地，生成对抗网络模型的公式如下：
式(1)中，G为生成器，D为鉴别器；x：代表真实未破损人脸图像的训练集数据中的像素点的像素值；pdata(x)：代表真实未破损的训练集中的数据；z1：代表一个随机噪声点；pz(z1)：代表随机噪声点生成的随机值，pz(z1)∈[-1,1]，D(x)代表鉴别器D判别真实图片为真实的概率，D(G(z1))代表鉴别器D判断生成器G生成图片为真实的概率，G(z1)代表根据一个噪声值生成器生成的图片。
2)以所述参考数据集中的人脸图像作为训练样本，对所述生成式对抗网络进行训练，以优化所述生成式对抗网络中生成器和鉴别器的参数，直至训练好所述生成器为止。
将参考数据集中人脸图像作为训练样本训练的过程中，生成器G控制生成的人脸图像越来接近真实，也就是说，生成器G希望D(G(z1))尽可能的大，而(1-D(G(z1))))则会可能的小，从而V(D，G)会变小，即为模型中
同时，在参考数据集中人脸图像作为训练样本训练的过程中，D(x)越来越接近1，鉴别器D控制当前真实的概率越来越低，而生成器G则控制概率越来越高。当D(x)越大的时候证明判别能力越强，则D(G(z1))会越小而(1-D(G(z1)))则会越大，此时V(D，G)会变的越大，即为模型中
在训练过程中生成器G的目标是尽量生成真实的图片去欺骗鉴别器D，而鉴别器D的目标就是尽量把生成器G生成的图片和真实的图片分别开来，这样生成器G和鉴别器D构成了一个动态的“博弈过程”，最后的理想博弈结果为，生成器G足以生成“以假乱真”的图片G(z1)。对于鉴别器D来说，它难以判定生成器G生成的图片是不是真的，因此，当D(G(z1))＝0.5时博弈终止。
本发明实施例中，生成式对抗网络可以为深度卷积生成对抗网络(DeepConvolutional Generative Adversarial Networks，DCGAN)，DCGAN网络的生成器G与鉴别器D分别由深度卷积神经网络构成。其中生成器G的作用为从pz中随机选区一个分布点z作为输入，输入到训练好的生成器G中，生成器G生成一个图像的模拟样本pdata∈[-1,1]。
需要说明的是，DCGAN主要在一下几方面对GAN可以进行了改进：
I.所有的pooling(池化)层使用步幅卷积(判别网络)和微步幅卷积(生成网络)进行替换。
II.在生成网络和判别网络上使用批处理规范化。
III.对于更深的架构移除全连接隐藏层。
IV.除了输出层使用常规Tanh激活函数，在生成网络的所有层上使用ReLu激活函数。
V.判别网络中的所有层使用LeakyReLu激活函数。
3)通过已训练好的生成器生成所述模拟人脸图像。
步骤109：在所述模拟人脸图像中提取所述破损区域对应的数据，得到初始修复数据。
步骤110：根据所述参考人脸图像以及所述破损人脸图像对所述初始修复数据进行优化，得到修复数据。
具体地，根据所述参考人脸图像以及所述破损人脸图像对所述初始修复数据进行优化，得到修复数据的步骤包括：
根据所述初始修复数据使用最优编码公式中的纹理损失函数提取所述破损人脸图像中未破损区域的纹理信息，使用最优编码公式中的内容损失函数提取所述参考人脸图像的内容信息，结合所述未破损区域的纹理信息、所述内容信息以及初始修复数据得到最优编码，通过所述最优编码得到修复数据。
需要说明的是，所述最优编码为损失函数为最小值时生成器得到的人脸图像，所述最优编码公式为：
为最优编码，z为所述模拟人脸图像的图像值，所述图像值可以是模拟人脸图像的像素点的像素值，L(z)为包括所述纹理损失函数
与所述内容损失函数
的总损失函数。
所述内容损失函数：
式(2)中，
代表参考人脸图像，
代表初始修复数据，l代表参考人脸图像的层数，[i，j]代表人脸参考图像中位于第i行、第j列处的像素，Rl代表参考人脸图像在第l层的特征代表，Fl代表初始修复数据在第l层的特征代表。
其中
为向量，Nl×Ml为向量的维度，Nl代表第l层的特征矩阵的数量，Ml代表第l层的特征矩阵的高×宽。
所述纹理损失函数：
式(3)中，
代表破损人脸图像，
代表生成的图片，L代表破损人脸图像的层数，wij代表[i，j]像素处的权重，Bl代表破损人脸图像在第l层特征矩阵的Gram Matrix(格雷姆矩阵)，Gl代表初始修复数据在第l层特征矩阵的Gram Matrix，其中Nl代表第l层的特征矩阵的数量，Ml代表第l层的特征矩阵的高×宽；本发明实施例中，Gram Matrix可以获取当前l层中不同特征矩阵的特征相关性。
本申请中增加wij目的是为了得到更加逼真的图像，使生成图像的纹理与破损位置附近的纹理信息相近，而不是剩余所有的未破损图像纹理信息相近，位置相差很远的未破损图像纹理可能会误导图像的纹理生成。
具体地，
式(4)中，i代表图像中像素的位置索引，其中i∈D，D为图像的像素点集合，D∈N*，N*代表正整数。wi代表在位置i处的权重值，N(i)是在本地区域位置i处的邻居集合，|N(i)|是N(i)的基数；M是与图像大小相等的二进制掩码。j是属于N(i)内的像素点，j∈N*，Mj代表j处的二进制掩码，Mi代表i处的二进制掩码。本发明实施例中内容信息来自于参考人脸图像，对于参考人脸图像来说，浅层卷积层的特征矩阵已经可以重构出比较好的图像，但是随着卷积层的加深，从特征矩阵中重构出的图像损失的像素点越严重，但是却能够保留图像中的更加高级的内容信息。纹理信息来源于破损人脸图像，对破损人脸图像来说，随着DCGAN网络的卷积层的加深，特征矩阵重构出的图像能够更大程度上保留破损图像的纹理信息。
进一步，可以使用在图像网络中预训练过的VGG19提取的特征图，来提取图像的高级特征，通过优化生成图像和参考图像特征图的MSE(mean-square error，均方误差)，可以使生成图与参考图在VGG19上输出相似的结果，因此生成图像和参考图在内容上是一致的，生成图像在纹理上和破损图像是一致的。
步骤111：采用所述修复数据对所述破损人脸图像进行修复，生成修复完成的人脸图像。
具体地，采用修复数据对破损人脸图像进行修复的过程可以是将总损失函数进行迭代求最小值的过程。
本发明的另一个实施例中，修复损失函数为：
式(5)中，
代表破损人脸图像，
代表生成的图片，
代表参考人脸图像，α是指第一参数，β是指第二参数；
生成损失函数为：
式(6)中，G为生成器，V(D,G)为生成式对抗网络，D(G(z))代表鉴别器判断生成器生成图片为真实的概率，pz(z)'：代表模拟人脸图像。
总损失函数为：
式(7)中，λ是指第三参数；需要说明的是，第一参数α、第二参数β以及第三参数λ是在迭代运算中实时赋值的权重值。
优化生成网络模型从而通过生成网络模型生成更加真实的人脸图像。需要说明的是，可以通过反复迭代使总损失函数达到最小，从而优化生成网络，得到最优的修复数据。
图2为本发明实施例基于高级特征的人脸修复方法得到的人脸修复效果图，在图2中，T1为破损人脸图像的原图，T2为参考人脸图像，T3为破损人脸图像，T4为采用初始修复数据修补破损区域图，T5为生成网络进行500次迭代后的修补图片，T6为生成网络进行900次迭代后的修补图片。通过将图2中T1与T6相对比，可以确定通过本发明方法得到的人脸修复图像比较接近破损人脸图像的原图。
步骤112：结束。
步骤113：通过对称算法对所述破损人脸图像进行修复，执行步骤112。
具体地，所述对称算法为：
v＝R(u) (8)；
式(8)中，所述v为损坏像素点，R为映射规则，u为映射参考点。
本发明实施例提供的基于高级特征的人脸修复方法，获取破损人脸图像后，将破损人脸图像输出为两个呈轴对称的图像矩阵，在每个图像矩阵中确定破损区域，检测与所述破损区域相对称的区域是否破损，如果是，提取破损人脸图像的高级特征，获取参考数据集，在所述参考数据集中获取所述破损人脸的高级特征相同的人脸图像，作为参考人脸图像。基于所述参考人脸图像以及所述破损人脸图像对破损人脸图像进行修复，生成修复完的人脸图像。通过本发明提高了人脸修复效果。
通过上述实施例可知，本发明提供的基于高级特征的人脸修复方法，至少实现了如下的有益效果：
1)将破损人脸图像输出为对称图像矩阵，方便检测破损区域的是否有相对称的未破损区域。
2)在与破损区域相对称的区域无破损时，通过对称算法对进行修复，从而保障了破损人脸图像的快速修复。
3)从参考数据集中获取参考人脸图像，以完成对初始修复数据的优化，从而保障了优化的效果。
4)在修复过程中，充分结合纹理信息与内容信息使修复后的图像更加逼真或者达到原图的视觉效果。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。
Claims (8)
1.一种基于高级特征的人脸修复方法，其特征在于，包括：
获取破损人脸图像；
将所述破损人脸图像输出为两个呈轴对称的图像矩阵；
在每个所述图像矩阵中确定破损区域；
检测与所述破损区域相对称的区域是否破损；
如果检测到与所述破损区域相对称的区域破损，提取所述破损人脸图像的高级特征，其中，所述高级特征为人脸图像所对应的人的特征；
获取参考数据集，其中，所述参考数据集包括多个人脸图像的数据，每个所述人脸图像的数据包括人脸图像和所述高级特征；
从所述参考数据集中获取与所述破损人脸图像的高级特征相同的人脸图像，作为参考人脸图像；
根据所述参考数据集中的人脸图像模拟得到模拟人脸图像；
在所述模拟人脸图像中提取所述破损区域对应的数据，得到初始修复数据；
根据所述参考人脸图像以及所述破损人脸图像对所述初始修复数据进行优化，得到修复数据；
采用所述修复数据对所述破损人脸图像进行修复，生成修复完成的人脸图像；
其中，所述根据所述参考人脸图像以及所述破损人脸图像对所述初始修复数据进行优化，得到修复数据的步骤，包括：
根据所述初始修复数据使用最优编码公式中的纹理损失函数提取所述破损人脸图像中未破损区域的纹理信息；
使用最优编码公式中的内容损失函数提取所述参考人脸图像的内容信息，结合所述未破损区域的纹理信息、所述内容信息以及初始修复数据得到最优编码，通过所述最优编码得到修复数据；
所述最优编码公式为：
为最优编码，z为所述模拟人脸图像的图像值，L(z)为包括所述纹理损失函数
与所述内容损失函数
的总损失函数；
所述内容损失函数：
其中，
代表参考人脸图像，
代表初始修复数据，l代表参考人脸图像的层数，[i，j]代表人脸参考图像中位于第i行、第j列处的像素，Rl代表参考人脸图像在第l层的特征代表，Fl代表初始修复数据在第l层的特征代表；R、
其中
为向量，Nl×Ml为向量的维度，Nl代表第l层的特征矩阵的数量，Ml代表第l层的特征矩阵的高×宽；
所述纹理损失函数：
其中，
代表破损人脸图像，
代表生成的图片，L代表破损人脸图像的层数，wij代表[i，j]像素处的权重，Bl代表破损人脸图像在第l层特征矩阵的格雷姆矩阵，Gl代表初始修复数据在第l层特征矩阵的格雷姆矩阵，其中Nl代表第l层的特征矩阵的数量，Ml代表第l层的特征矩阵的高×宽；格雷姆矩阵用于获取当前l层中不同特征矩阵的特征相关性。
2.根据权利要求1所述的基于高级特征的人脸修复方法，其特征在于，如果检测到与所述破损区域相对称的区域未破损，则通过对称算法对所述破损人脸图像进行修复；
所述对称算法为：v＝R(u)；
其中，所述v为损坏像素点，R为映射规则，u为映射参考点。
3.根据权利要求1或2所述的基于高级特征的人脸修复方法，其特征在于，所述高级特征包括：肤色、表情和年龄。
4.根据权利要求3所述的基于高级特征的人脸修复方法，其特征在于，所述表情包括以下任意一种或多种：
生气、厌恶、恐惧、开心、悲伤、惊讶和正常。
5.根据权利要求4所述的基于高级特征的人脸修复方法，其特征在于，所述高级特征还包括：性别。
6.根据权利要求5所述的基于高级特征的人脸修复方法，其特征在于，提取所述破损人脸图像的高级特征的步骤具体包括：
对所述破损人脸图像的RGB进行均值偏移聚类计算，丢弃所述破损人脸图像中因强光或照明引起的异常值，进行K-Means聚类算法计算，计算得到的簇群中心值为肤色；
分别训练单独的线性SVM分类器，以分别对年龄、性别以及表情进行提取，得到所述破损人脸图像的高级特征。
7.根据权利要求6所述的基于高级特征的人脸修复方法，其特征在于，根据所述参考数据集中的人脸图像模拟得到模拟人脸图像的步骤包括：
构建一种生成式对抗网络；
以所述参考数据集中的人脸图像作为训练样本，对所述生成式对抗网络进行训练，以优化所述生成式对抗网络中生成器和鉴别器的参数，直至训练好所述生成器为止；
通过已训练好的生成器生成所述模拟人脸图像。
8.根据权利要求7所述的基于高级特征的人脸修复方法，其特征在于，所述生成式对抗网络为深度卷积生成对抗网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811244307.0A CN109360170B (zh) | 2018-10-24 | 2018-10-24 | 基于高级特征的人脸修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811244307.0A CN109360170B (zh) | 2018-10-24 | 2018-10-24 | 基于高级特征的人脸修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109360170A CN109360170A (zh) | 2019-02-19 |
| CN109360170B true CN109360170B (zh) | 2020-08-14 |
Family
ID=65346614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811244307.0A Active CN109360170B (zh) | 2018-10-24 | 2018-10-24 | 基于高级特征的人脸修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109360170B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948548B (zh) * | 2019-03-20 | 2021-04-23 | 齐鲁工业大学 | 一种基于机器学习的色彩匹配的口红推荐方法及系统 |
| CN110310247B (zh) * | 2019-07-05 | 2021-06-01 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及计算机可读存储介质 |
| CN110427843B (zh) * | 2019-07-18 | 2021-07-13 | 广州利科科技有限公司 | 一种人脸智能识别方法 |
| CN110536095A (zh) * | 2019-08-30 | 2019-12-03 | Oppo广东移动通信有限公司 | 通话方法、装置、终端及存储介质 |
| CN110956097B (zh) * | 2019-11-13 | 2023-07-21 | 北京影谱科技股份有限公司 | 遮挡人体提取方法及模块、场景转换方法及装置 |
| CN112926369A (zh) * | 2019-12-06 | 2021-06-08 | 中兴通讯股份有限公司 | 一种人脸图像处理方法、装置、计算机设备及介质 |
| CN111062904B (zh) * | 2019-12-09 | 2023-08-11 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
| CN111105369B (zh) * | 2019-12-09 | 2024-08-20 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106910176A (zh) * | 2017-03-02 | 2017-06-30 | 中科视拓（北京）科技有限公司 | 一种基于深度学习的人脸图像去遮挡方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7680330B2 (en) * | 2003-11-14 | 2010-03-16 | Fujifilm Corporation | Methods and apparatus for object recognition using textons |
| CN103310415A (zh) * | 2013-03-15 | 2013-09-18 | 清华大学 | 基于人脸的图像缺损补绘方法及系统 |
| CN106558025B (zh) * | 2015-09-29 | 2021-02-09 | 腾讯科技（深圳）有限公司 | 一种图片的处理方法和装置 |
| CN107330904B (zh) * | 2017-06-30 | 2020-12-18 | 北京乐蜜科技有限责任公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN107945118B (zh) * | 2017-10-30 | 2021-09-28 | 南京邮电大学 | 一种基于生成式对抗网络的人脸图像修复方法 |
| CN108346175B (zh) * | 2018-02-06 | 2023-10-20 | 腾讯科技（深圳）有限公司 | 一种人脸图像修复方法、装置及存储介质 |
| CN108537133A (zh) * | 2018-03-16 | 2018-09-14 | 江苏经贸职业技术学院 | 一种基于监督学习深度自编码器的人脸重构方法 |
| CN108520503B (zh) * | 2018-04-13 | 2020-12-22 | 湘潭大学 | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 |
-
2018
- 2018-10-24 CN CN201811244307.0A patent/CN109360170B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106910176A (zh) * | 2017-03-02 | 2017-06-30 | 中科视拓（北京）科技有限公司 | 一种基于深度学习的人脸图像去遮挡方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109360170A (zh) | 2019-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360170B (zh) | 基于高级特征的人脸修复方法 | |
| CN108520535B (zh) | 基于深度恢复信息的物体分类方法 | |
| CN109508669B (zh) | 一种基于生成式对抗网络的人脸表情识别方法 | |
| CN106096535B (zh) | 一种基于双线性联合cnn的人脸验证方法 | |
| CN105069400B (zh) | 基于栈式稀疏自编码的人脸图像性别识别系统 | |
| CN109543640B (zh) | 一种基于图像转换的活体检测方法 | |
| CN106778796B (zh) | 基于混合式协同训练的人体动作识别方法及系统 | |
| CN109376582A (zh) | 一种基于生成对抗网络的交互式人脸卡通方法 | |
| CN110473142B (zh) | 基于深度学习的单幅图像超分辨率重建方法 | |
| CN112507617B (zh) | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 | |
| Carlucci et al. | $^ 2$ CO: Deep depth colorization | |
| CN106303233A (zh) | 一种基于表情融合的视频隐私保护方法 | |
| Kumar et al. | A GAN-based model of deepfake detection in social media | |
| CN113807265B (zh) | 一种多样化的人脸图像合成方法及系统 | |
| CN112580502B (zh) | 基于sicnn的低质量视频人脸识别方法 | |
| CN116310008B (zh) | 一种基于少样本学习的图像处理方法及相关设备 | |
| CN111612799A (zh) | 面向人脸数据对不完整的网纹人脸修复方法、系统及存储介质 | |
| WO2022166840A1 (zh) | 人脸属性编辑模型的训练方法、人脸属性编辑方法及设备 | |
| Webb et al. | Emotion recognition from face images in an unconstrained environment for usage on social robots | |
| CN107563319A (zh) | 一种基于图像的亲子间人脸相似性度量计算方法 | |
| Liu et al. | Modern architecture style transfer for ruin or old buildings | |
| CN118196231A (zh) | 一种基于概念分割的终身学习文生图方法 | |
| Jiang et al. | DeepFakes detection: the DeeperForensics dataset and challenge | |
| Rodrigues et al. | Line Art Colorization of Fakemon using Generative Adversarial Neural Networks | |
| JP7258375B2 (ja) | ユーザのバイオメトリック特性を有する画像中の物体を識別して、画像のうちバイオメトリック特性を含む部分を他の部分から分離することにより当該ユーザのｉｄを検証するための方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |