CN109961407A - 基于人脸相似性的人脸图像修复方法 - Google Patents
基于人脸相似性的人脸图像修复方法 Download PDFInfo
- Publication number
- CN109961407A CN109961407A CN201910110981.8A CN201910110981A CN109961407A CN 109961407 A CN109961407 A CN 109961407A CN 201910110981 A CN201910110981 A CN 201910110981A CN 109961407 A CN109961407 A CN 109961407A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- repaired
- network model
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000008439 repair process Effects 0.000 claims abstract description 65
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000013480 data collection Methods 0.000 claims abstract description 13
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000012360 testing method Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 11
- 238000012804 iterative process Methods 0.000 claims description 9
- 238000003475 lamination Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于人脸相似性的人脸图像修复方法。该方法包括：构建包含多个相似人脸图像的人脸数据集，将人脸数据集划分为修复样本集、测试样本集和训练样本集，从修复样本集中提取出待修复人脸对应的加权相似人脸集；构建包含多层卷积层的人脸修复网络模型，人脸修复网络模型的损失函数包括像素间的差距和纹理间的差距因素，利用训练样本集对人脸修复网络模型进行训练；将加权相似人脸集作为参考信息，与待修复人脸图像一同输入到训练完成的人脸修复网络模型中，将人脸修复网络模型输出的图像填补到待修复人脸图像中，得到修复后的人脸图像。本发明提供了一种基于人脸相似性的人脸图像修复方法，以克服现有技术的问题。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于人脸相似性的人脸图像修复方法。
背景技术
近年来，深度学习和神经网络在图像处理上得到了广泛的应用，并取得了前所未有的成就，深度学习和神经网络包括图像分类，图像识别，图像超分辨率以及图像的修复。GAN(Generative Adversarial Net,生成对抗网络)由于其可以生成具有相同数据分布的图像这一特性，使得其被用在大面积缺失图像的修复上。GAN网络旨在通过捕捉图像的数据分布来生成新的同类别图像。图像修复的主要目的是根据图像中现有的信息来恢复由于受损或其他原因导致的丢失的图像信息，图像修复在复原老照片或者破损画像上得到了广泛的应用。为了使得恢复后的图像更加的符合人类视觉习惯，有关图像修复的算法也不断被提出。
在早期的图像修复算法中，通过引入局部或者全局的先验知识来填补缺失的图像，可以通过专业的恢复工具来恢复受损的图像或者视频。近几年，由于GAN网络能够生成与训练样本具有相似数据分布，并且得到符合人眼视觉习惯的同类型图像，它被广泛的应用在了图像修复中，并且取得了很大的成果。其中，参考文献[1]提出了一种无监督视觉特征学习算法，该算法基于上下文的像素预测，并且可以根据周围环境生成任意图像区域的内容。在参考文献[2]中，语义的修复被认为是一个生成图像的约束条件，它可以利用不断优化的生成模型来恢复缺失区域。参考文献[3]提出了一种新的基于生成模型的方法，它不仅可以合成新的图像结构，而且可以明显地利用周围的图像特征进行更好的预测。
上述现有技术中的图像修复方法的缺点为：由于GAN网络是捕获数据分布的方法，用它来生成人脸图像，所生成的图像可能与原始图像有很大的不同内容，从而导致图像修复的结果的精度不高。
参考文献[1]D.Pathak,P.Krahenbuhl,J.Donahue,“Context encoders:Featurelearning by inpainting,”IEEE Conference on Computer Vision and PatternRecognition,pp.2536-2544,2016
参考文献[2]T.Y.L.R.A.Yeh,C.Chen,“Semantic image inpainting with deepgenerative models,”IEEE Conference on Computer Vision and PatternRecognition,IEEE Computer Society,pp.6882-6890,2017.
参考文献[3]J.Yu,Z.Lin,J.Yang,“Context encoders:Feature learning byinpainting,”IEEE Conference on Computer Vision and Pattern Recognition,2018.
发明内容
本发明的实施例提供了一种基于人脸相似性的人脸图像修复方法，以克服现有技术的问题。
为了实现上述目的，本发明采取了如下技术方案。
一种基于人脸相似性的人脸图像修复方法，构建包含多个相似人脸图像的人脸数据集，将所述人脸数据集划分为修复样本集、测试样本集和训练样本集，所述方法包括：
从所述修复样本集中提取出待修复人脸对应的加权相似人脸集；
构建包含多层卷积层的人脸修复网络模型，所述人脸修复网络模型的损失函数包括像素间的差距和纹理间的差距因素，利用所述训练样本集对所述人脸修复网络模型进行训练；
将所述加权相似人脸集作为参考信息，与所述待修复人脸图像一同输入到训练完成的人脸修复网络模型中，将所述人脸修复网络模型输出的图像填补到所述待修复人脸图像中，得到修复后的人脸图像。
优选地，所述的从所述修复样本集中提取出待修复人脸对应的加权相似人脸集，包括；
根据待修复人脸图像的形状结构设置遮挡矩阵，将所述遮挡矩阵与所述修复样本集中的相似人脸图像进行叠加处理，叠加处理后的相似人脸图像只保留了与所述待修复人脸图像中未丢失区域对应的区域；
计算所述叠加处理后的相似人脸图像的灰度图与所述待修复图像的灰度图之间的相似度，将各个相似人脸图像的相似度按照从大到小的顺序进行排序，选取排名前列的设定数量个的相似人脸图像组成加权相似人脸集。
优选地，所述的方法还包括：
根据各个相似人脸图像的相似度得到所述加权相似人脸集对应的相似度矩阵，对所述相似度矩阵进行归一化和加权处理，根据各个相似人脸图像的相似度给每个相似人脸图像分配相应的权重。
优选地，所述的构建包含多层卷积层的人脸修复网络模型，包括：
构建基于加权人脸相似性的人脸修复网络模型，将所述加权相似人脸集中的相似人脸图像与所述待修复人脸图像作为参考信息引入到所述人脸修复网络模型中，所述人脸修复网络模型为多层结构，每一层都包括卷积层和反卷积层，所述卷积层用于下采样，所述反卷积层用于上采样，在下采样过程中提取所述待修复人脸图像的缺失区域与已知区域的联系特征，所述已知区域包括了所述待修复人脸图像中保留的信息和所述加权相似人脸集，在下采样过程中用带泄露修正线性单元函数作为激活函数。
优选地，所述的人脸修复网络模型的损失函数包括像素间的差距和纹理间的差距因素，包括：
选取像素值的均方误差MSE作为像素间差异的指标，选取局部二值模式LBP作为相似人脸图像的纹理特征，所述人脸修复网络模型的损失函数L表示如下：
L＝‖x*-x‖2+(Norm(LBP(x*))-Norm(LBP(x)))2 (8)
其中，x*为每次迭代过程中通过人脸修复网络模型生成的图像，x为每次迭代过程中未被破坏的原始图像，这里‖x*-x‖2表示损失函数里对均方误差的计算，Norm(LBP(x*))是x*归一化后的LBP特征矩阵，Norm(LBP(x))是x归一化后的LBP特征矩阵，(Norm(LBP(x*))-Norm(LBP(x)))2则是通过人脸修复网络模型生成的图像x*与原图x关于所求LBP特征矩阵之间的差异；通过迭代计算得到损失函数L的值，在每次迭代过程中，以模型生成图像x*与原图x之间的像素值均方误差MSE和模型生成图像x*与原图x之间的纹理特征矩阵LBP的均方差这两种因素作为模型是否训练完成的标准，在这一训练过程当中，损失函数L会逐渐减小，此时代表人脸修复网络模型生成的图像正在逐步的趋近于原图，当模型损失函数L小于设定的阈值，则迭代计算收敛，得到最终的人脸修复网络模型生成的图像。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例通过构建包含多层卷积层的人脸修复网络模型，可以有效地对待修复人脸图像进行修复处理。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提出的一种基于人脸相似性的人脸图像修复方法的处理流程图；
图2为本发明实施例提供的一种WSFS的生成过程示意图；
图3是本发明实施例提供的一种丢失中心区域的遮挡矩阵示意图；
图4为本发明实施例提供的一种人脸修复网络模型FIN的结构框图；
图5为本发明实施例提供的一种针对128×128大小的人脸图像修复网络的结构图；
图6为本发明实施例提供的一种圆形对称领域集(V，RLBP)示意图；
图7是本发明实施例提出的一种FIN生成的图像与修复后图像的对比示意图；
图8为本发明实施例提出的一种加入参考信息WSFS和LBP纹理特征的性能示意图；
图9为本发明实施例展示了几个去除人脸遮挡的人脸图像修复的例子示意图。
图10是本发明实施例方法和参考文献[1]、参考文献[2]和参考文献[3]三种图像修复方法的修复结果对比示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当本发明实施例称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
实施例一
考虑到人脸是人的一个重要生物特征，所以恢复的人脸与图像本身越像越好。本发明实施例从符合人眼视觉习惯的角度出发，人脸图像的修复可以被考虑是一个像素级的图像填补，而非是一个数据分布的恢复。由于全连接网络(Fully ConvolutionalNetworks)可以直接工作在像素级，本发明实施例采样了全连接网络来修复人脸图像。本发明实施例通过全连接网络结构寻找待修复人脸与其相似人脸之间的相似性，从而更好的恢复待修复的人脸。
在本发明实施例中，相似人脸数据集与待修复人脸中的可用部分用作网络模型的输入。其基本思想是：首先，根据结构相似性(Structural Similarity Index,SSIM)寻找一个加权相似人脸集(Weighted Similar Face Set,WSFS)，WSFS用来为恢复缺失的人脸提供更多的参考信息；然后人脸修复网络模型(Face Inpainting Network,FIN)用来描述模型的输入和待恢复图像之间的关系。除此之外，在本发明实施例中，一个新的损失函数应用在了网络中，这个损失函数考虑到了恢复图像和原图像素间和纹理间两种因素的差别。
为了尽可能准确地恢复人脸图像，本发明实施例用了卷积神经网络(ConvolutionNeural Network,CNN)来作为修复方法，因为卷积网络可以直接作用在图像内容上而不是数据分布上。然而，卷积核是一种对局部图像块的运算，因此它不能有效地处理图像中的大面积缺失。由于这个原因，本发明实施例提出了一个基于加权人脸相似性的人脸修复网络模型。在这个网络里，WSFS中与待修复图像相似的人脸被作为参考信息引入到FIN网络中。图1中所示，所提出的FIN结构总体分为两个阶段：第一阶段是关于WSFS的生成。第二阶段是FIN的设计。在第一阶段中，首先从一个人脸数据集中找出n个相似人脸，这里设n为相似人脸集(Similar Face Set,SFS)的大小，但是由于每个相似的人脸与待修复人脸的相似程度不一样，所以这里又根据各个相似人脸的相似度高低，为各个相似人脸分配了不同的权值；在第二阶段中，加权相似人脸集作为参考信息，与待修复人脸图像一同输入到FIN中，并且在FIN模型被训练的时候，损失函数考虑到了像素间的差距和纹理间的差距两方面因素。最后，通过一个后处理过程，将网络生成的图像对应填补到待修复的人脸图像中去。接下来的内容将从加权相似人脸集的生成，人脸修复网络模型的设计，损失函数和修复图像四方面进行介绍。
本发明实施例提出的一种基于人脸相似性的人脸图像修复方法的处理流程如图1所示，包括如下的处理步骤：
步骤S110：构建包含多个相似人脸图像的人脸数据集。
为了给人脸修复网络模型提供先验信息，本发明实施例为每一个待修复人脸寻找一个WSFS。由于要寻找相似的人脸图像，所以需要一个人脸数据集来提供相似人脸，因此，首先构建包含多个相似人脸图像的人脸数据集，将所述人脸数据集划分为修复样本集、测试样本集和训练样本集。上述人脸数据集中包括的相似人脸图像的数量需要比较大。训练样本集用来训练人脸修复网络模型FIN，测试样本集用来测试本发明的方法，修复样本集用来生成WSFS。
步骤S120：从人脸数据集中的修复样本集中提取出待修复人脸对应的WSFS。
根据待修复人脸图像的形状结构设置遮挡矩阵，将所述遮挡矩阵与所述修复样本集中的相似人脸图像进行叠加处理，叠加处理后的相似人脸图像只保留了与所述待修复人脸图像中未丢失区域对应的区域。
计算所述叠加处理后的相似人脸图像的灰度图与所述待修复图像的灰度图之间的相似度，将各个相似人脸图像的相似度按照从大到小的顺序进行排序，选取排名前列的设定数量个的相似人脸图像组成加权相似人脸集。
本发明实施例提供的一种WSFS的生成过程如图2所示，设修复样本集为Φ：
在从Φ中选择相似人脸图像之前，需要进行一系列的预处理过程，以便于相似度的对比仅在于待修复图像的未缺失部分和人脸数据集Φ中图像的对应部分进行对比。为了达到上述目的，首先定义了一个遮挡矩阵，在这个遮挡矩阵中丢失的部分设置为0，未丢失的部分设置为1，图3是本发明实施例提供的一种丢失中心区域的遮挡矩阵示意图。然后用这个遮挡矩阵M去处理Φ中的图像，公式如下所示，其中，⊙表示是矩阵对应元素相乘。是Φ中的第i个图像。
在经过预处理过程之后，Φ中图像得到一个只保留了与未丢失区域对应的区域，以确保相似度的计算是只在未丢失区域上的一个计算。
因为SSIM是一个高效的对比两幅图像相似度的方法，在SSIM方法中，亮度，对比度和图像结构都被进行了考虑。本发明实施例通过相似人脸图像的内容、结构等方面信息来恢复待修复的人脸图像，但是这些相似人脸图像的颜色信息却是不必要的信息。这些信息有可能导致网络生成的图像与原图在颜色上出现不一致的情况。鉴于上述理由，本发明实施例只计算预处理过程之后的Φ中的图像的灰度图与待修复图像的灰度图之间的相似度。
在上述两个公式中，ugd和ugi分别是灰度图gd和gi的亮度平均值。σgd和σgi分别是灰度图gd和gi的标准差。V1和V2是用来维持稳定的常数，在本发明实施例中，用来避免或者趋近于0。在计算了相似度之后，n个最相似的人脸图像被选择出来组成SFS，表示为R＝{r1，…，ri，…，rn}，而在这一过程中，也得到了R所对应的相似度矩阵S＝{s1，…，si，…，sn}。对于不同的相似人脸图像，其相似度一定是不同的，为了消除这种相似度不同带来的负面影响，本发明实施例对相似度矩阵S做了归一化和加权处理，并根据各个相似人脸图像的相似度给每个相似人脸图像分配相应的权重。
其中，si是SFS中第i个人脸的相似度，W＝{w1，…，wi，…，wn}是SFS中相似人脸所对应的权重分配。最终，WSFS是待修复人脸图像所对应的加权人脸数据集C＝{c1，…，ci，…，cn}。其中
ci＝wi×ri (5)
在公式中，ci是WSFS中第i个加权相似人脸图像。在本发明实施例中，需要为每一个待修复的人脸图像找到WSFS。假设训练样本包含了Num个人脸图像，那么这个训练样本总的加权相似人脸集为一个大小为Num×n的矩阵
步骤S130：构建包含多层卷积层的人脸修复网络模型，利用所述训练样本集对所述人脸修复网络模型进行训练，所述人脸修复网络模型的损失函数包括像素间的差距和纹理间的差距因素。
图4为本发明实施例提供的一种人脸修复网络模型FIN的结构框图。由于全卷积网络能够接受任意大小的输入，并且通过一系列的学习，产生相应大小的输出，为了尽可能准确地恢复人脸图像，本发明实施例的FIN借鉴了全卷积网络的设计。与全卷积网络相同，本发明中所有的层都是通过卷积和反卷积的运算来实现。并且在其中，将人脸修复网络模型的结构分为了两大部分，图像特征提取部分和图像恢复部分，在图像特征的提取部分，主要是通过卷积层和激活函数LReLU来实现，在图像的修复部分，则是通过反卷积和ReLU的激活函数实现。然而，由于卷积核是一种对图像块的计算，所以用它直接填补大区域内容缺失的图像，可能会造成模糊等问题。针对这个问题，WSFS被引入作为参考信息去帮助修复被损失的人脸图像。这里，本发明实施例提供的一种针对128×128大小的人脸图像修复网络的结构如图5所示。在人脸修复网络模型中，为了更好地预测缺失的内容，卷积层和反卷积层被用作代替下采样和上采样操作。从图5中可以看出，下采样层用来做特征提取，在这个过程中，缺失区域与已知区域的联系被提取出来，其中已知区域包括了被损坏的图像中保留的信息和加权相似人脸集WSFS。这里，本发明实施例的FIN包括了5层卷积层，其卷积核的大小为5×5，这一过程可以被表示为如下公式：
Di＝LReLU(fi(Di-1))，(0<i≤5) (6)
在公式6中，fi表示第i层的特征提取，Di是第i层提取所得的结果。其中输入包括了被损坏的人脸图像和对应的WSFS，并且在该网络结构中输入被表示为D0。除此之外，在提取特征这一部分，为了保留更多的输入信息，本发明实施例用了带泄露修正线性单元函数(Leaky Rectified Linear Unit,Leaky ReLU)作为激活函数。在图像恢复部分用了5层反卷积层，其卷积核的大小为5×5，这一过程可以被表示为如下公式：
Ui＝ReLU(hi(Ui-1))，(0<i≤5) (7)
在公式中，hi表示第i层的反卷积层，Ui是第i层反卷积层得到的特征图。其中图像恢复这一部分的输入U0为特征提取所得结果D5。除此之外，为了保证图像恢复网络的稀疏性以及网络的高效性，本发明实施例用了线性整流函数(Rectified Linear Unit,ReLU)作为激活函数。得益于特征提取和图像恢复两方面的网络结构，本发明实施例的人脸图像修复网络可以高效地探索损坏人脸图像和其WSFS之间的关系。
为了更加真实和准确地恢复出人脸图像，一个有效的损失函数是必不可少的。本发明实施例中，将损失函数L2与纹理信息相结合，力求高效且准确的恢复图像，损失函数L2表示如下：
L2＝‖x*-x‖2 (8)
其中，x*是FIN得到的生成图像，x是原本未被破坏的图像。L2损失函数已经很广泛的被用在了图像修复上，并且它能够准确的捕捉到生成的区域与原图的区别。然而，L2更趋向于将两幅图之前像素的区别平均处理，这种处理可能忽略掉了对纹理信息的处理。因此，为了能够得到更加清晰的纹理，本发明实施例在损失函数中引入了纹理特征。由于局部二值模式(Local Binary Pattern,LBP)计算简单，以及在人脸识别中得到了很好的性能，本发明实施例选区了LBP作为纹理特征。LBP是一个在灰度图中计算的特征，它描述了图像纹理的局部空间结构。
为了计算LBP特征，本发明需要得到一个圆形对称领域集(V，RLBP)示意图，如图6所示。通过在这个圆形对称邻域集上的运算，可以得出该像素所在区域的纹理情况，比如是处于图像的平滑区，线条部分还是在一个点上。在这个方法中，模型生成图像x*的纹理特征矩阵与原图x纹理特征矩阵LBP的均方差被引入到损失函数中，同x*与x的均方误差MSE共同作用，进行训练。在模型的训练过程中，损失函数逐步减小。每一次迭代得到的修复图像都会求一个LBP特征，同时，也为它所对应的原图求一个LBP特征，并得到它们两幅图像得到的LBP特征的差异。在这个过程中，如果求的是模型得到的修复图像，则Vc是修复图像的像素点，如果求的是原图(待修复人脸图像)的LBP，则Vc是原图(待修复人脸图像)的像素点。
这里的中心像素点Vc所指代的意思是以图像中某一点作为中心像素，然后求它的邻域像素值。比如一个128*128大小的图像，则Vc从第一个像素点开始为中心，求得一个邻域和它最终的LBP值，然后再以第二个像素点为Vc，求邻域和LBP值，然后第三个像素等等……，最终图像的LBP特征依旧是一个二维矩阵，大小为128*128。
通过迭代计算得到损失函数L的值，x*为每次迭代过程中通过FIN生成的图像，x为每次迭代过程中未被破坏的原始图像，在每次迭代过程中，以模型生成图像x*与原图x之间的像素值均方误差MSE和模型生成图像x*与原图x之间的纹理特征矩阵LBP的均方差这两种因素作为模型是否训练完成的标准。训练过程当中，损失函数L会逐渐减小，此时代表网络模型生成的图像正在逐步的趋近于原图，当模型损失函数L小于设定的阈值，则迭代计算收敛，得到最终的FIN生成的图像。
从图6中可以看出，vc是中心像素点的灰度值， 是一个圆形对称邻域集。在这个圆形对称领域集中，vi是半径为RLBP(RLBP>0)所对应的像素的灰度值。在LBP特征中，各个方向上的vi-vc被认为是一个具有高区分度的纹理算子。在平滑区，vi-vc在所有的方向上都趋于0，在一条线上，在某一个方向上的vi-vc值会增加，在一个点上，vi-vc在所有方向上的值都相对较高。LBP为了避免平均亮度不同所引起的影响，所以通过一个函数d(x)来标记vi和vc的大小。LBP的计算和标记vi和vc大小的公式如下所示：
上述两个公式中，d(vi-vc)标记了vi和vc的大小，当vi-vc大于0时，d(vi-vc)为0，而vi-vc小于0时，d(vi-vc)为1。除此之外，在本发明实施例中，RLBP取3，P为8。为了将所得LBP矩阵限制在与L2一样的数值范围内，本发明实施例对LBP矩阵进行了标准化处理：
这里，LBP是代表了图像纹理特征的矩阵，它的大小和待修复人脸图像的大小相同。同时将归一化后的LBP特征引入到网络的损失函数中，得到如下公式：
在上述公式中，x*代表了通过FIN生成的图像，x代表原本未缺失的图像。
利用所述训练样本集对所述人脸修复网络模型进行训练。在整个的训练过程中，本发明将待修复的人脸图像和它的WSFS相似人脸集都作为输入，输入到网络中，并且以L作为损失函数进行训练。当进行多次迭代后，损失函数L将会逐渐减小，在此过程中，模型所生成的图像也将逐步的趋近于原图，得到输出。最终，当达到一定的迭代次数时，我们认为训练完成，并对训练完成的人脸修复网络模型进行测试。
步骤S140：利用人脸修复网络模型修复损失人脸。
将所述加权相似人脸集作为参考信息，与所述待修复人脸图像一同输入到训练完成的人脸修复网络模型中，将所述人脸修复网络模型输出的图像填补到所述待修复人脸图像中，得到修复后的人脸图像。
在得到从FIN网络中生成的人脸图像之后，本发明实施例需要通过一个后处理过程。在这个过程中，生成图像将填补到被破坏后的图像内以形成修复后的人脸图像。这个公式如下所示：
在这个公式中，xd代表待修复人脸图像，x*为被本发明实施例所提出的FIN网络生成的人脸图像。是最终修复得到的人脸图像。⊙代表元素对应相乘。图7是本发明实施例提出的一张FIN生成的图像与修复后图像的对比示意图。
实施例二：
本发明实施例选择一个拥有202,599张人脸的人脸数据集CelebA(Celeb FacesAttributes Dataset)来验证本发明实施例方法的性能。其中，400张图像被用来选取相似人脸集和提供参考信息，2000张图像被用来作为测试样本，其余的人脸图像被用来训练人脸修复模型。本发明实施例主要分析了在不同丢失面积下，人脸图像恢复情况，其中图像正中间缺失图像的25％的面积(中心模式，Center Mode)，缺失图像左边的50％的面积(垂直模式，Vertical Mode)，缺失图像上方50％的面积(水平模式，Horizontal Mode)。
在本发明实施例中，为了更加准确且符合人类视觉特性的修复人脸图像，本发明实施例引入了人脸相似性作为辅助信息。除此之外，考虑到L2损失函数是一种对平均像素间差异的损失函数，它也许会忽略掉纹理信息，本发明实施例在人脸修复网络模型时引入了LBP纹理特征，以确保能更好的恢复人脸图像的纹理。图8为本发明实施例提出的一种加入参考信息WSFS和LBP纹理特征的性能示意图，NRF_NT代表既不引入参考信息也不引入LBP纹理特征，NRF表示不引入加权人脸数据集WSFS作为参考信息，NT表示在损失函数中不引入LBP特征。从图8中可以明显看出本发明实施例所提出的方法恢复的人脸图像更加真实，并且具有更好的纹理结构。特别是在图8中被放大的方框区域。
为了证明本发明实施例可以用于实际应用中，本发明实施例将当前算法引入到了去除遮挡物的问题中。在本发明实施例的日常生活中，人脸经常会被太阳眼镜，帽子或者其他的物体遮挡住，因此，去遮挡是图像修复的一个重要的应用。这里，图9为本发明实施例展示了几个去除人脸遮挡的人脸图像修复的例子示意图。
除此之外，为了证明本算法的有效性，本发明实施例从峰值信噪比(Peak Signalto Noise Ratio,PSNR)，SSIM和语义相似性三个方面对比了本发明实施例方法和文献[10]，[12]和[14]三种图像修复方法，其中PSNR表示恢复图像与原图像素之间的差异，SSIM代表了恢复图像与原图像整体相似性的差异，而语义相似性包括了两个指标，被检测为人脸的比例(DP)和人脸的身份距离(Identity Distance)，对于Identity Distance而言，越小代表两张图像越有可能是同一个人。表1列出了本发明实施例算法与其他算法的对比结果，图10是本发明实施例方法和参考文献[1]、参考文献[2]和参考文献[3]三种图像修复方法的修复结果对比示意图。
表1本发明实施例方法所得修复结果与参考文献[1]、参考文献[2]和参考文献[3]之间的对比
从表1可以看出，在PSNR指标中，本发明与参考文献[1]，[2]，[3]相比，在CenterMode上的提升大于1.97dB，在Vertical Mode和Horizontal Mode上分别提升为0.6dB和1.5dB左右。在SSIM的指标上，在Center Mode上的提升大于0.04，在Vertical Mode和Horizontal Mode上分别提升为0.05和0.08左右。除此以外，与参考文献[1]，[2]，[3]相比，本发明的修复人脸图像中，有更多的图像被检测为人脸，并且所得的Identity Distance更低，其中在Center Mode上中的降低大于0.23，在Vertical Mode和Horizontal Mode上分别降低为0.09和0.22左右。
综上所述，本发明的基于人脸相似性的人脸图像修复方法无论在像素之间的差异，整体相似性还是在语义相似性上，与现有技术的图像修复算法相比，都有明显的提升，本发明实施例通过构建包含多层卷积层的人脸修复网络模型，可以有效地对待修复人脸图像进行修复处理。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采样递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (5)
1.一种基于人脸相似性的人脸图像修复方法，其特征在于，构建包含多个相似人脸图像的人脸数据集，将所述人脸数据集划分为修复样本集、测试样本集和训练样本集，所述方法包括：
从所述修复样本集中提取出待修复人脸对应的加权相似人脸集；
构建包含多层卷积层的人脸修复网络模型，所述人脸修复网络模型的损失函数包括像素间的差距和纹理间的差距因素，利用所述训练样本集对所述人脸修复网络模型进行训练；
将所述加权相似人脸集作为参考信息，与所述待修复人脸图像一同输入到训练完成的人脸修复网络模型中，将所述人脸修复网络模型输出的图像填补到所述待修复人脸图像中，得到修复后的人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述的从所述修复样本集中提取出待修复人脸对应的加权相似人脸集，包括；
根据待修复人脸图像的形状结构设置遮挡矩阵，将所述遮挡矩阵与所述修复样本集中的相似人脸图像进行叠加处理，叠加处理后的相似人脸图像只保留了与所述待修复人脸图像中未丢失区域对应的区域；
计算所述叠加处理后的相似人脸图像的灰度图与所述待修复图像的灰度图之间的相似度，将各个相似人脸图像的相似度按照从大到小的顺序进行排序，选取排名前列的设定数量个的相似人脸图像组成加权相似人脸集。
3.根据权利要求2所述的方法，其特征在于，所述的方法还包括：
根据各个相似人脸图像的相似度得到所述加权相似人脸集对应的相似度矩阵，对所述相似度矩阵进行归一化和加权处理，根据各个相似人脸图像的相似度给每个相似人脸图像分配相应的权重。
4.根据权利要求1或2或3所述的方法，其特征在于，所述的构建包含多层卷积层的人脸修复网络模型，包括：
构建基于加权人脸相似性的人脸修复网络模型，将所述加权相似人脸集中的相似人脸图像与所述待修复人脸图像作为参考信息引入到所述人脸修复网络模型中，所述人脸修复网络模型为多层结构，每一层都包括卷积层和反卷积层，所述卷积层用于下采样，所述反卷积层用于上采样，在下采样过程中提取所述待修复人脸图像的缺失区域与已知区域的联系特征，所述已知区域包括了所述待修复人脸图像中保留的信息和所述加权相似人脸集，在下采样过程中用带泄露修正线性单元函数作为激活函数。
5.根据权利要求4所述的方法，其特征在于，所述的人脸修复网络模型的损失函数包括像素间的差距和纹理间的差距因素，包括：
选取像素值的均方误差MSE作为像素间差异的指标，选取局部二值模式LBP作为相似人脸图像的纹理特征，所述人脸修复网络模型的损失函数L表示如下：
L＝||x*-x||2+(Norm(LBP(x*))-Norm(LBP(x)))2 (8)
其中，x*为每次迭代过程中通过人脸修复网络模型生成的图像，x为每次迭代过程中未被破坏的原始图像，这里||x*-x||2表示损失函数里对均方误差的计算，Norm(LBP(x*))是x*归一化后的LBP特征矩阵，Norm(LBP(x))是x归一化后的LBP特征矩阵，(Norm(LBP(x*))-Norm(LBP(x)))2则是通过人脸修复网络模型生成的图像x*与原图x关于所求LBP特征矩阵之间的差异；通过迭代计算得到损失函数L的值，在每次迭代过程中，以模型生成图像x*与原图x之间的像素值均方误差MSE和模型生成图像x*与原图x之间的纹理特征矩阵LBP的均方差这两种因素作为模型是否训练完成的标准，在这一训练过程当中，损失函数L会逐渐减小，此时代表人脸修复网络模型生成的图像正在逐步的趋近于原图，当模型损失函数L小于设定的阈值，则迭代计算收敛，得到最终的人脸修复网络模型生成的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910110981.8A CN109961407B (zh) | 2019-02-12 | 2019-02-12 | 基于人脸相似性的人脸图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910110981.8A CN109961407B (zh) | 2019-02-12 | 2019-02-12 | 基于人脸相似性的人脸图像修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109961407A true CN109961407A (zh) | 2019-07-02 |
| CN109961407B CN109961407B (zh) | 2021-01-26 |
Family
ID=67023613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910110981.8A Active CN109961407B (zh) | 2019-02-12 | 2019-02-12 | 基于人脸相似性的人脸图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109961407B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110310247A (zh) * | 2019-07-05 | 2019-10-08 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及计算机可读存储介质 |
| CN111046757A (zh) * | 2019-11-27 | 2020-04-21 | 西安电子科技大学 | 人脸画像生成模型的训练方法、装置及相关设备 |
| CN111177469A (zh) * | 2019-12-20 | 2020-05-19 | 国久大数据有限公司 | 人脸检索方法及人脸检索装置 |
| CN111507914A (zh) * | 2020-04-10 | 2020-08-07 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
| CN112215778A (zh) * | 2020-10-22 | 2021-01-12 | 北京计算机技术及应用研究所 | 一种基于三级区域划分的图像修复方法 |
| CN116152530A (zh) * | 2023-04-21 | 2023-05-23 | 青岛尘元科技信息有限公司 | 图像差异的确定方法和装置、存储介质及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016050729A1 (en) * | 2014-09-30 | 2016-04-07 | Thomson Licensing | Face inpainting using piece-wise affine warping and sparse coding |
| CN107145820A (zh) * | 2017-03-16 | 2017-09-08 | 杭州岱石科技有限公司 | 基于hog特征和fast算法的双眼定位方法 |
| CN108460746A (zh) * | 2018-04-10 | 2018-08-28 | 武汉大学 | 一种基于结构和纹理分层预测的图像修复方法 |
| CN108537133A (zh) * | 2018-03-16 | 2018-09-14 | 江苏经贸职业技术学院 | 一种基于监督学习深度自编码器的人脸重构方法 |
| CN109191402A (zh) * | 2018-09-03 | 2019-01-11 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和系统 |
| CN109255769A (zh) * | 2018-10-25 | 2019-01-22 | 厦门美图之家科技有限公司 | 图像增强网络的训练方法和训练模型、及图像增强方法 |
-
2019
- 2019-02-12 CN CN201910110981.8A patent/CN109961407B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016050729A1 (en) * | 2014-09-30 | 2016-04-07 | Thomson Licensing | Face inpainting using piece-wise affine warping and sparse coding |
| CN107145820A (zh) * | 2017-03-16 | 2017-09-08 | 杭州岱石科技有限公司 | 基于hog特征和fast算法的双眼定位方法 |
| CN108537133A (zh) * | 2018-03-16 | 2018-09-14 | 江苏经贸职业技术学院 | 一种基于监督学习深度自编码器的人脸重构方法 |
| CN108460746A (zh) * | 2018-04-10 | 2018-08-28 | 武汉大学 | 一种基于结构和纹理分层预测的图像修复方法 |
| CN109191402A (zh) * | 2018-09-03 | 2019-01-11 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和系统 |
| CN109255769A (zh) * | 2018-10-25 | 2019-01-22 | 厦门美图之家科技有限公司 | 图像增强网络的训练方法和训练模型、及图像增强方法 |
Non-Patent Citations (2)
| Title |
|---|
| S YI 等: "Deep Learning Face Representation from Predicting 10,000 Classes", 《IEEE CONFERENCE ON COMPUTER VISION&PATTERN RECOGNITION》 * |
| 白慧慧 等: "基于压缩感知的自适应深度图像编码", 《铁道学报》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110310247A (zh) * | 2019-07-05 | 2019-10-08 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及计算机可读存储介质 |
| CN110310247B (zh) * | 2019-07-05 | 2021-06-01 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及计算机可读存储介质 |
| CN111046757A (zh) * | 2019-11-27 | 2020-04-21 | 西安电子科技大学 | 人脸画像生成模型的训练方法、装置及相关设备 |
| CN111046757B (zh) * | 2019-11-27 | 2024-03-05 | 西安电子科技大学 | 人脸画像生成模型的训练方法、装置及相关设备 |
| CN111177469A (zh) * | 2019-12-20 | 2020-05-19 | 国久大数据有限公司 | 人脸检索方法及人脸检索装置 |
| CN111507914A (zh) * | 2020-04-10 | 2020-08-07 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
| CN111507914B (zh) * | 2020-04-10 | 2023-08-08 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
| CN112215778A (zh) * | 2020-10-22 | 2021-01-12 | 北京计算机技术及应用研究所 | 一种基于三级区域划分的图像修复方法 |
| CN116152530A (zh) * | 2023-04-21 | 2023-05-23 | 青岛尘元科技信息有限公司 | 图像差异的确定方法和装置、存储介质及电子设备 |
| CN116152530B (zh) * | 2023-04-21 | 2023-10-03 | 青岛尘元科技信息有限公司 | 图像差异的确定方法和装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109961407B (zh) | 2021-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109961407A (zh) | 基于人脸相似性的人脸图像修复方法 | |
| CN110570353B (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| Gurrola-Ramos et al. | A residual dense u-net neural network for image denoising | |
| CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN110555434B (zh) | 一种局部对比和全局指导的立体图像视觉显著性检测方法 | |
| CN111275637B (zh) | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 | |
| CN109815893B (zh) | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 | |
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN111127308B (zh) | 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法 | |
| CN107977932A (zh) | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 | |
| CN110175986B (zh) | 一种基于卷积神经网络的立体图像视觉显著性检测方法 | |
| CN108399362A (zh) | 一种快速行人检测方法及装置 | |
| CN111861961A (zh) | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 | |
| CN109819321A (zh) | 一种视频超分辨率增强方法 | |
| CN110619638A (zh) | 一种基于卷积块注意模块的多模态融合显著性检测方法 | |
| CN113436076B (zh) | 逐步融合特征的图像超分辨率重建方法及电子设备 | |
| CN110705566B (zh) | 一种基于空间金字塔池的多模态融合显著性检测方法 | |
| CN112784779A (zh) | 一种基于特征金字塔多级特征融合的遥感影像场景分类方法 | |
| CN106097250B (zh) | 一种基于鉴别典型相关的超分辨率稀疏重构方法 | |
| CN102982520A (zh) | 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法 | |
| CN115018727A (zh) | 一种多尺度图像修复方法、存储介质及终端 | |
| CN113450288A (zh) | 基于深度卷积神经网络单图像去雨方法、系统和存储介质 | |
| CN114926343A (zh) | 一种基于金字塔融合注意力网络的图像超分辨率方法 | |
| CN111539888A (zh) | 一种基于金字塔通道特征注意力的神经网络图像去雾方法 | |
| CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |