CN110580680A - 基于组合学习的人脸超分辨率方法及装置 - Google Patents
基于组合学习的人脸超分辨率方法及装置 Download PDFInfo
- Publication number
- CN110580680A CN110580680A CN201910849721.2A CN201910849721A CN110580680A CN 110580680 A CN110580680 A CN 110580680A CN 201910849721 A CN201910849721 A CN 201910849721A CN 110580680 A CN110580680 A CN 110580680A
- Authority
- CN
- China
- Prior art keywords
- face
- resolution
- image
- component
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 8
- 238000000638 solvent extraction Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 21
- 230000003042 antagnostic effect Effects 0.000 claims description 12
- 239000000126 substance Substances 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000001788 irregular Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于组合学习的人脸超分辨率方法及装置，属于人脸图像超分辨率领域，该方法包括：对下采样得到的低分辨率人脸图像进行组件分割；将低分辨率人脸图像和分割后的人脸组件图像块进行分块操作，分出相互重叠的图像块；将图像块输入各组件生成对抗网络产生高分辨率组件图像块，由上采样后的低分辨率人脸背景图像生成高分辨率人脸背景图像；通过融合网络提取高分辨率图像块特征及人脸背景图像组件特征；将两种特征进行融合后，重建得到目标人脸组件图像块；通过人脸组件在人脸图像中的坐标点，将目标人脸组件图像块对应合并至高分辨率人脸背景图像中，形成高分辨率人脸图像。本发明可以提高网络的重建性能，产生更高质量的人脸图像。
Description
技术领域
本发明属于人脸图像超分辨率技术领域，更具体地，涉及一种基于组合学习的人脸超分辨率方法及装置。
背景技术
人脸超分辨率是指从低分辨率(Low Resolution，LR)输入图像生成高分辨率(High Resolution，HR)人脸图像，被广泛应用在安防、监控成像和人脸识别等领域。
目前人脸超分辨率方法分为传统方法和基于深度学习的方法。在传统方法中能够使用样本提供的先验信息来学习低分辨率图像对和高分辨率图像对之间的映射关系，现有的传统人脸超分辨率方法分为：贝叶斯推理方法，子空间学习方法，贝叶斯推理和子空间学习方法的组合，以及基于稀疏表达的方法。
近年来，基于深度卷积神经网络(Convolutional Neural Networks，CNN)的方法取得了优于传统超分辨率方法的显著效果。例如，出现了以下方式：使用三层CNN用于图像超分辨率并获得了良好的重建效果(Deep Convolutional Network for Image Super-Resolution，SRCNN)；在SRCNN的基础上，出现了(Accurate image super-resolutionusing very deep convolutional networks，VDSR)，将网络加深至20层，通过网络学习残差图像，与SRCNN相比获得了更好的重建效果；通过级联两个网络循环训练的方式来进一步增强网络的重建性能；为了获取与原始高分辨率图像更加相近的逼真效果，首次在生成网络中加入判别器运用到图像超分辨率领域；在(Photo-realistic single image super-resolution using a generative adversarial network，SRGAN)的基础上增强判别网络的性能提出了(Enhanced discriminative generative adversarial network for facesuper-resolution，EDGAN)，并使用在人脸超分辨率中；提出采用组件生成的方式并使用两步法单独增强人脸组件的人脸重建算法(Learning to hallucinate face images viaComponent Generation and Enhancement，LCGE)；在LCGE的基础上，使用两步法首先使用卷积神经网络去噪后采用多层邻域嵌入来提升人脸图像重建效果。
然而上述超分辨率重建算法在网络的重建性能及人脸图像的质量上均存在一定的局限性。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种基于组合学习的人脸超分辨率方法及装置，由此解决目前超分辨率重建算法在网络的重建性能及人脸图像的质量上均存在一定的局限性的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于组合学习的人脸超分辨率方法，包括：
(1)将高分辨率人脸图像下采样至目标低分辨率人脸图像，并对所述目标低分辨率人脸图像进行组件分割得到人脸组件图像块，将所述目标低分辨率人脸图像和所述人脸组件图像块进行分块操作，分出相互重叠的图像块；
(2)将所述相互重叠的图像块输入各组件对应的组件生成对抗网络，通过各所述组件生成对抗网络生成高分辨率组件图像块，并将上采样后的低分辨率人脸背景图像输入深层残差网络以生成高分辨率人脸背景图像；
(3)通过融合网络提取所述高分辨率组件图像块的特征及所述高分辨率人脸背景图像对应组件的特征，并将两种特征进行自适应融合后，对融合后的图像块进行重建得到重建的目标人脸组件图像块；
(4)通过人脸组件在人脸图像中的坐标点，将所述重建的目标人脸组件图像块对应合并至所述高分辨率人脸背景图像中，形成最终的高分辨率人脸图像。
优选地，步骤(1)包括：
(1.1)将N张高分辨率人脸图像通过下采样得到低分辨率人脸图像数据集，并将所述低分辨率人脸图像数据集中的各图像数据相加后并点除以N，得到人脸数据集的平均脸，N为正整数；
(1.2)对所述平均脸进行超像素分割，分割出人脸组件部分，获取每个组件对应区域的组件标签，并通过所述组件标签确定人脸图像中的不规则人脸组件图像块；
(1.3)根据各所述人脸组件图像块在人脸图像中的位置，提取各所述人脸组件图像块的所有坐标点，并根据所述坐标点得到最小的横纵坐标点和最大的横纵坐标点，基于所述最小的横纵坐标点和所述最大的横纵坐标点确定各所述人脸组件图像块的具体位置，并提取出规则的矩形人脸组件图像块；
(1.4)基于预设图像块大小对所述规则的矩形人脸组件图像块进行分块，分出相互重叠的图像块。
优选地，在步骤(2)中，将所述相互重叠的图像块输入各组件对应的组件生成对抗网络，通过各所述组件生成对抗网络生成高分辨率组件图像块，包括：
将所述相互重叠的图像块输入生成网络提取所述相互重叠的图像块的特征，并经过上采样后得到高分辨率组件图像块；
将所述高分辨率组件图像块与原始的高分辨率图像块馈入判别网络，将所述判别网络生成的判别信息反向传播至所述生成网络，以增强所述高分辨率组件图像块的视觉效果，其中，所述组件生成对抗网络包括生成网络和判别网络。
优选地，所述生成网络的损失函数为：
其中，表示生成网络的参数，表示所述原始高分辨率组件图像块，表示生成的高分辨率组件图像块，表示生成网络的损失，表示第j个组件含有i个图像块，表示低分辨率组件图像，表示高分辨率组件图像，表示低分辨率组件和原始高分辨率组件图像的联合分布。
优选地，所述判别网络的损失函数为：其中，表示生成的图像块是原始组件图像块的概率，表示判别网络的参数，表示判别网络损失函数，表示原始高分辨率图像数据分布，表示重建图像的数据分布，表示已生成的图像块。
优选地，在步骤(2)中，将上采样后的低分辨率人脸背景图像输入深层残差网络以生成高分辨率人脸背景图像，包括：
将上采样后的低分辨率人脸背景图像经过第一个卷积层提取特征图，将所述特征图继续向前传播，所述残差网络中间采用若干层提取残差信息，将所述残差信息经过最后一层卷积层，并加上输入的所述低分辨率人脸背景图像形成高分辨率人脸背景图像，其中，所述残差网络中间采用的若干层中的每一层均为一个卷积层后级联一个激活层。
优选地，所述残差网络的损失函数为：其中，ri表示残差图像，表示残差网络生成的残差图像。
优选地，步骤(3)包括：
使用人脸组件标签模板对所述高分辨率人脸背景图像分割出相应的人脸组件图像块，将分割得到的所述人脸组件图像块和所述高分辨率组件图像块输入组件融合网络；
由所述组件融合网络采用两个并行的特征提取模块分别提取分割得到的所述人脸组件图像块的特征和所述高分辨率组件图像块的特征，然后将提取的两种特征进行连接后，输入至若干卷积层进一步提取特征，并通过最后一层卷积层生成重建的目标人脸组件图像块，其中，特征提取模块均使用卷积层网络。
优选地，所述组件融合网络的损失函数为：其中，表示组件融合网络的模型参数，Vi j表示所述重建的目标人脸组件图像块，表示原始的组件图像块，Fj表示含有j个融合网络，表示j个融合网络的损失。
按照本发明的另一方面，提供了一种基于组合学习的人脸超分辨率装置，包括：
分割模块，用于将高分辨率人脸图像下采样至目标低分辨率人脸图像，并对所述目标低分辨率人脸图像进行组件分割得到人脸组件图像块，将所述目标低分辨率人脸图像和所述人脸组件图像块进行分块操作，分出相互重叠的图像块；
重建模块，用于将所述相互重叠的图像块输入各组件对应的组件生成对抗网络，通过各所述组件生成对抗网络生成高分辨率组件图像块，并将上采样后的低分辨率人脸背景图像输入深层残差网络以生成高分辨率人脸背景图像；
融合模块，用于通过融合网络提取所述高分辨率组件图像块的特征及所述高分辨率人脸背景图像对应组件的特征，并将两种特征进行自适应融合后，对融合后的图像块进行重建得到重建的目标人脸组件图像块；
合并模块，用于通过人脸组件在人脸图像中的坐标点，将所述重建的目标人脸组件图像块对应合并至所述高分辨率人脸背景图像中，形成最终的高分辨率人脸图像。
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现如上述任一所述的基于组合学习的人脸超分辨率方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明考虑人脸图像独特的结构性，专注于人脸重要区域纹理细节信息的恢复，采用生成式对抗网络GAN模型恢复人脸组件复杂的纹理信息，CNN模型恢复人脸背景图像，充分利用不同深度学习模型的优势进一步获取图像先验信息的来源，从而提高网络的重建性能，并产生更高质量的人脸图像。
附图说明
图1是本发明实施例提供的一种基于组合学习的人脸超分辨率方法的流程示意图；
图2是本发明实施例提供的一种组合学习网络框架图；
图3是本发明实施例提供的一种人脸组件分割提取流程图；
图4是本发明实施例提供的一种组件生成对抗网络结构图；
图5是本发明实施例提供的一种组件融合网络结构图；
图6是本发明实施例提供的一种基于组合学习的人脸超分辨率装置的结构示意图；
图7是本发明实施例提供的一种实验结果图，其中，(a)为低分辨率输入图像；(b)为本发明方法结果图；(c)为原始高分辨率图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提出了一种基于组合学习的人脸超分辨率方法及装置，专注于恢复人脸组件中复杂的纹理信息，采用GAN模型恢复人脸组件复杂的纹理信息，CNN模型恢复人脸背景图像，充分利用不同深度学习模型的优势进一步获取图像先验信息的来源，从而提高网络的重建性能。
如图1所示，本发明提出的一种基于组合学习的人脸超分辨率方法，应用于如图2所示的组合学习网络，图2中的组合学习网络包括组件生成对抗网络及组件融合网络，图1所示的方法包括以下步骤：
S1：将高分辨率人脸图像下采样至目标低分辨率人脸图像，并对目标低分辨率人脸图像进行组件分割得到人脸组件图像块，将目标低分辨率人脸图像和人脸组件图像块进行分块操作，分出相互重叠的图像块；
具体地，假设有N张高分辨率人脸图像，可以将高分辨率数据集中的N张高分辨率人脸图像通过双三次插值下采样至原始图像大小的得到的低分辨率数据集为高分辨率数据集为 xi大小为m×n，yi大小为mt×nt，t表示下采样因子，m表示图像的高度，n表示图像的宽度；
将低分辨率数据集中的各数据相加后并点除以N，得到人脸数据集的平均脸使用超像素分割对平均脸生成相应的组件标签Lab：
其中，k和m表示此算法的输入参数，SLIC()表示超像素分割算法；将人脸数据集输入超像素分割算法，由组件标签提取相应的不规则人脸组件图像块；
如图3所示为本发明实施例提供的一种人脸组件分割提取流程图，可以采用matlab的find()函数提取组件图像块的所有坐标点，通过min()和max()求出相应组件图像块的最小和最大横纵坐标。然后通过rect()矩形化函数获取最终的规则的矩形人脸组件图像块，从而进一步生成人脸组件数据集为Cj表示j个人脸组件，a表示人脸组件的高度，b表示人脸组件的宽度，在本发明实施例中，j表示人脸组件索引，优选取j＝3。
S2：将相互重叠的图像块输入各组件对应的组件生成对抗网络，通过各组件生成对抗网络生成高分辨率组件图像块，并将上采样后的低分辨率人脸背景图像输入深层残差网络以生成高分辨率人脸背景图像；
具体地，采用4个GPU并行训练4个网络，其中3个子网络为组件生成对抗网络，组件生成对抗网络由生成网络和判别网络组成，如图4所示为本发明实施例提供的一种组件生成对抗网络结构图。
将低分辨率人脸组件输入到相应的生成网络中，首先在采用了一个k5n64s1的卷积层来提取丰富的特征，k表示卷积核的大小，n表示通道数，s表示步长。其它层卷积核大小为3×3，并且生成网络中采用ReLU激活函数，使生成网络更加容易收敛，在生成网络的中间加入两个反卷积层上采样至高分辨人脸组件图像大小，然后经过k3n3s1的卷积层生成高分辨人脸组件图像块并且通过损失函数来约束训练提升生成网络性能，生成网络的损失函数为：
其中，表示生成网络的参数，表示生成网络的损失，表示原始的高分辨率组件图像块，表示第j个组件含有i个图像块，Gj表示生成网络生成的高分辨率人脸组件图像块，表示低分辨率组件图像，表示高分辨率组件图像，表示低分辨率组件和原始高分辨率组件图像的联合分布。
将生成的人脸组件图像块和原始的高分辨率人脸组件图像块传播至判别网络，该判别网络可以是：通过4个卷积核大小为5×5的卷积层，并且通过3个最大池化层减小特征图，最终得到判别信息并反向传播至生成网络。采用以下损失函数来约束判别网络，判别网络损失函数为：
其中，表示判别网络的参数，表示判别网络损失函数，表示生成的图像块是原始人脸组件图像块的概率，表示原始高分辨率图像数据分布，表示重建图像的数据分布，表示已生成的图像块。
将上采样至高分辨率图像大小表示为残差图像在本发明实施例中，可以将低分辨率图像馈入一个20层的残差网络提取人脸背景图像残差信息，第一层为k3n64s1的卷积层组成，中间采用18层卷积层和ReLU激活层提取人脸背景图像的残差信息，经过最后一层为k3n3s1的卷积层加上输入的低分辨率人脸背景图像形成最终的高分辨率人脸背景图像采用以下损失函数来约束残差网络，损失函数为：
S3：通过融合网络提取高分辨率组件图像块的特征及高分辨率人脸背景图像对应组件的特征，并将两种特征进行自适应融合后，对融合后的图像块进行重建得到重建的目标人脸组件图像块；
具体地，使用人脸组件标签模板对生成的人脸背景图像分割出相应的人脸组件图像将和同时输入组件融合网络，如图5所示为组件融合网络结构图，首先采用两个并行的特征提取模块提取其特征，特征提取模块均使用k3n64s1的卷积层，通过Concat()函数连接不同的特征，并输入至k1n64s1的卷积层，使用5个k3n64s1的卷积层，进一步提取特征，通过最后一层k3n3s1的卷积层生成最终的人脸组件图像Vi j。
组件融合网络采用以下损失函数约束，损失函数为：
其中，表示组件融合网络的参数，Fj表示含有j个融合网络，表示j个融合网络的损失。
S4：通过人脸组件在人脸图像中的坐标点，将所述重建的目标人脸组件图像块对应合并至所述高分辨率人脸背景图像中，形成最终的高分辨率人脸图像；
具体地，采用组件坐标点合成方式将最终重建的人脸组件重建图像块Vi j和人脸背景图像合并。
首先采用matlab的load()函数加载组件坐标点，并且顺序读取相应的组件块和人脸背景图像。将相应的组件按照读取的4个坐标点定位至人脸图像中，形成最终的人脸高分辨率重建图像
如图6所示使本发明提出的一种基于组合学习的人脸超分辨率装置的结构示意图，包括：
分割模块，用于将高分辨率人脸图像下采样至目标低分辨率人脸图像，并对所述目标低分辨率人脸图像进行组件分割得到人脸组件图像块，将所述目标低分辨率人脸图像和所述人脸组件图像块进行分块操作，分出相互重叠的图像块；
重建模块，用于将相互重叠的图像块输入各组件对应的组件生成对抗网络，通过各所述组件生成对抗网络生成高分辨率组件图像块，并将上采样后的低分辨率人脸背景图像输入深层残差网络以生成高分辨率人脸背景图像；
融合模块，用于通过融合网络提取所述高分辨率组件图像块的特征及所述高分辨率人脸背景图像对应组件的特征，并将两种特征进行自适应融合后，对融合后的图像块进行重建得到重建的目标人脸组件图像块；
合并模块，用于通过人脸组件在人脸图像中的坐标点，将所述重建的目标人脸组件图像块对应合并至所述高分辨率人脸背景图像中，形成最终的高分辨率人脸图像。
其中，各模块的具体实施方式可以参考方法实施例中的描述，本发明实施例将不再赘述。
在本发明的另一实施例中，还提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现如上述任一所述的基于组合学习的人脸超分辨率方法。
测试实施例：
实验采用FEI人脸数据库，FEI数据库含有200人，每个人挑选出两张不同表情的正面人脸图像(中性和微笑表情)，每幅图大小为260×360像素，下采样4倍得到低分辨率图像大小为65×90像素，提取低分辨率人脸图像中眼睛组件为48×16像素，鼻子组件大小为19×20像素，嘴巴组件大小为28×17像素。
本发明与其他的图像超分辨重建算法对比，提供实验数据来表达本方法的有效性，试验结果如图7所示，对比试验结果如下表1所示，表1为40张人脸图像对比实验结果(平均PSNR、SSIM和VIF)，其中，(a)为低分辨率输入图像；(b)为本发明方法结果图；(c)为原始高分辨率图像。
表1
| Bicubic | SRCNN | VDSR | LCGE | EDGAN | 本发明 | |
| PSNR | 36.25 | 38.58 | 39.54 | 38.55 | 38.67 | 39.78 |
| SSIM | 0.9418 | 0.9529 | 0.9590 | 0.9519 | 0.9475 | 0.9614 |
| VIF | 0.6467 | 0.6870 | 0.7144 | 0.6875 | 0.6645 | 0.7312 |
从以上表格实验数据可以看出，本发明方法均对比方法获得了高的分数，即优于对比算法。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于组合学习的人脸超分辨率方法，其特征在于，包括：
(1)将高分辨率人脸图像下采样至目标低分辨率人脸图像，并对所述目标低分辨率人脸图像进行组件分割得到人脸组件图像块，将所述目标低分辨率人脸图像和所述人脸组件图像块进行分块操作，分出相互重叠的图像块；
(2)将所述相互重叠的图像块输入各组件对应的组件生成对抗网络，通过各所述组件生成对抗网络生成高分辨率组件图像块，并将上采样后的低分辨率人脸背景图像输入深层残差网络以生成高分辨率人脸背景图像；
(3)通过融合网络提取所述高分辨率组件图像块的特征及所述高分辨率人脸背景图像对应组件的特征，并将两种特征进行自适应融合后，对融合后的图像块进行重建得到重建的目标人脸组件图像块；
(4)通过人脸组件在人脸图像中的坐标点，将所述重建的目标人脸组件图像块对应合并至所述高分辨率人脸背景图像中，形成最终的高分辨率人脸图像。
2.根据权利要求1所述的方法，其特征在于，步骤(1)包括：
(1.1)将N张高分辨率人脸图像通过下采样得到低分辨率人脸图像数据集，并将所述低分辨率人脸图像数据集中的各图像数据相加后并点除以N，得到人脸数据集的平均脸，N为正整数；
(1.2)对所述平均脸进行超像素分割，分割出人脸组件部分，获取每个组件对应区域的组件标签，并通过所述组件标签确定人脸图像中的不规则人脸组件图像块；
(1.3)根据各所述人脸组件图像块在人脸图像中的位置，提取各所述人脸组件图像块的所有坐标点，并根据所述坐标点得到最小的横纵坐标点和最大的横纵坐标点，基于所述最小的横纵坐标点和所述最大的横纵坐标点确定各所述人脸组件图像块的具体位置，并提取出规则的矩形人脸组件图像块；
(1.4)基于预设图像块大小对所述规则的矩形人脸组件图像块进行分块，分出相互重叠的图像块。
3.根据权利要求1或2所述的方法，其特征在于，在步骤(2)中，将所述相互重叠的图像块输入各组件对应的组件生成对抗网络，通过各所述组件生成对抗网络生成高分辨率组件图像块，包括：
将所述相互重叠的图像块输入生成网络提取所述相互重叠的图像块的特征，并经过上采样后得到高分辨率组件图像块；
将所述高分辨率组件图像块与原始的高分辨率图像块馈入判别网络，将所述判别网络生成的判别信息反向传播至所述生成网络，以增强所述高分辨率组件图像块的视觉效果，其中，所述组件生成对抗网络包括生成网络和判别网络。
4.根据权利要求3所述的方法，其特征在于，所述生成网络的损失函数为：
其中，表示生成网络的参数，表示所述原始高分辨率组件图像块，表示生成的高分辨率组件图像块，表示生成网络的损失，表示第j个组件含有i个图像块，表示低分辨率组件图像，表示高分辨率组件图像，表示低分辨率组件和原始高分辨率组件图像的联合分布。
5.根据权利要求3所述的方法，其特征在于，所述判别网络的损失函数为：其中，表示生成的图像块是原始组件图像块的概率，表示判别网络的参数，表示判别网络损失函数，表示原始高分辨率图像数据分布，表示重建图像的数据分布，表示已生成的图像块。
6.根据权利要求1或2所述的方法，其特征在于，在步骤(2)中，将上采样后的低分辨率人脸背景图像输入深层残差网络以生成高分辨率人脸背景图像，包括：
将上采样后的低分辨率人脸背景图像经过第一个卷积层提取特征图，将所述特征图继续向前传播，所述残差网络中间采用若干层提取残差信息，将所述残差信息经过最后一层卷积层，并加上输入的所述低分辨率人脸背景图像形成高分辨率人脸背景图像，其中，所述残差网络中间采用的若干层中的每一层均为一个卷积层后级联一个激活层。
7.根据权利要求6所述的方法，其特征在于，所述残差网络的损失函数为：其中，ri表示残差图像，表示残差网络生成的残差图像。
8.根据权利要求1所述的方法，其特征在于，步骤(3)包括：
使用人脸组件标签模板对所述高分辨率人脸背景图像分割出相应的人脸组件图像块，将分割得到的所述人脸组件图像块和所述高分辨率组件图像块输入组件融合网络；
由所述组件融合网络采用两个并行的特征提取模块分别提取分割得到的所述人脸组件图像块的特征和所述高分辨率组件图像块的特征，然后将提取的两种特征进行连接后，输入至若干卷积层进一步提取特征，并通过最后一层卷积层生成重建的目标人脸组件图像块，其中，特征提取模块均使用卷积层网络。
9.根据权利要求8所述的方法，其特征在于，所述组件融合网络的损失函数为：其中，表示组件融合网络的参数，Vi j表示所述重建的目标人脸组件图像块，表示原始的组件图像块，Fj表示含有j个融合网络，表示j个融合网络的损失。
10.一种基于组合学习的人脸超分辨率装置，其特征在于，包括：
分割模块，用于将高分辨率人脸图像下采样至目标低分辨率人脸图像，并对所述目标低分辨率人脸图像进行组件分割得到人脸组件图像块，将所述目标低分辨率人脸图像和所述人脸组件图像块进行分块操作，分出相互重叠的图像块；
重建模块，用于将所述相互重叠的图像块输入各组件对应的组件生成对抗网络，通过各所述组件生成对抗网络生成高分辨率组件图像块，并将上采样后的低分辨率人脸背景图像输入深层残差网络以生成高分辨率人脸背景图像；
融合模块，用于通过融合网络提取所述高分辨率组件图像块的特征及所述高分辨率人脸背景图像对应组件的特征，并将两种特征进行自适应融合后，对融合后的图像块进行重建得到重建的目标人脸组件图像块；
合并模块，用于通过人脸组件在人脸图像中的坐标点，将所述重建的目标人脸组件图像块对应合并至所述高分辨率人脸背景图像中，形成最终的高分辨率人脸图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910849721.2A CN110580680B (zh) | 2019-09-09 | 2019-09-09 | 基于组合学习的人脸超分辨率方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910849721.2A CN110580680B (zh) | 2019-09-09 | 2019-09-09 | 基于组合学习的人脸超分辨率方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110580680A true CN110580680A (zh) | 2019-12-17 |
| CN110580680B CN110580680B (zh) | 2022-07-05 |
Family
ID=68812832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910849721.2A Active CN110580680B (zh) | 2019-09-09 | 2019-09-09 | 基于组合学习的人脸超分辨率方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110580680B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111627087A (zh) * | 2020-06-03 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种人脸图像的展示方法、装置、计算机设备及存储介质 |
| CN111915487A (zh) * | 2020-08-04 | 2020-11-10 | 武汉工程大学 | 基于分层多尺度残差融合网络的人脸超分辨率方法及装置 |
| CN112529825A (zh) * | 2020-12-11 | 2021-03-19 | 平安科技（深圳）有限公司 | 人脸图像分辨率重建方法、装置、设备及存储介质 |
| CN112967185A (zh) * | 2021-02-18 | 2021-06-15 | 复旦大学 | 基于频率域损失函数的图像超分辨率算法 |
| CN113628107A (zh) * | 2021-07-02 | 2021-11-09 | 上海交通大学 | 人脸图像超分辨率方法和系统 |
| WO2022179606A1 (zh) * | 2021-02-27 | 2022-09-01 | 华为技术有限公司 | 一种图像处理方法及相关装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060088207A1 (en) * | 2004-10-22 | 2006-04-27 | Henry Schneiderman | Object recognizer and detector for two-dimensional images using bayesian network based classifier |
| CN102306374A (zh) * | 2011-08-30 | 2012-01-04 | 西安交通大学 | 一种位置块非线性映射的人脸图像超分辨率重建方法 |
| CN102880866A (zh) * | 2012-09-29 | 2013-01-16 | 宁波大学 | 一种人脸特征提取方法 |
| WO2014001610A1 (en) * | 2012-06-25 | 2014-01-03 | Nokia Corporation | Method, apparatus and computer program product for human-face features extraction |
| CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| WO2019029486A1 (zh) * | 2017-08-09 | 2019-02-14 | 北京市商汤科技开发有限公司 | 人脸图像处理方法、装置和电子设备 |
-
2019
- 2019-09-09 CN CN201910849721.2A patent/CN110580680B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060088207A1 (en) * | 2004-10-22 | 2006-04-27 | Henry Schneiderman | Object recognizer and detector for two-dimensional images using bayesian network based classifier |
| CN102306374A (zh) * | 2011-08-30 | 2012-01-04 | 西安交通大学 | 一种位置块非线性映射的人脸图像超分辨率重建方法 |
| WO2014001610A1 (en) * | 2012-06-25 | 2014-01-03 | Nokia Corporation | Method, apparatus and computer program product for human-face features extraction |
| CN102880866A (zh) * | 2012-09-29 | 2013-01-16 | 宁波大学 | 一种人脸特征提取方法 |
| CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| WO2019029486A1 (zh) * | 2017-08-09 | 2019-02-14 | 北京市商汤科技开发有限公司 | 人脸图像处理方法、装置和电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 黄福珍等: "联合局部约束的邻域嵌入人脸超分辨率重建", 《中国图象图形学报》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111627087A (zh) * | 2020-06-03 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种人脸图像的展示方法、装置、计算机设备及存储介质 |
| CN111915487A (zh) * | 2020-08-04 | 2020-11-10 | 武汉工程大学 | 基于分层多尺度残差融合网络的人脸超分辨率方法及装置 |
| CN111915487B (zh) * | 2020-08-04 | 2022-05-10 | 武汉工程大学 | 基于分层多尺度残差融合网络的人脸超分辨率方法及装置 |
| CN112529825A (zh) * | 2020-12-11 | 2021-03-19 | 平安科技（深圳）有限公司 | 人脸图像分辨率重建方法、装置、设备及存储介质 |
| CN112967185A (zh) * | 2021-02-18 | 2021-06-15 | 复旦大学 | 基于频率域损失函数的图像超分辨率算法 |
| WO2022179606A1 (zh) * | 2021-02-27 | 2022-09-01 | 华为技术有限公司 | 一种图像处理方法及相关装置 |
| CN113628107A (zh) * | 2021-07-02 | 2021-11-09 | 上海交通大学 | 人脸图像超分辨率方法和系统 |
| CN113628107B (zh) * | 2021-07-02 | 2023-10-27 | 上海交通大学 | 人脸图像超分辨率方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110580680B (zh) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110580680B (zh) | 基于组合学习的人脸超分辨率方法及装置 | |
| WO2022001509A1 (zh) | 图像优化方法、装置、计算机存储介质以及电子设备 | |
| CN111915487B (zh) | 基于分层多尺度残差融合网络的人脸超分辨率方法及装置 | |
| CN109360156A (zh) | 基于生成对抗网络的图像分块的单张图像去雨方法 | |
| CN113221743B (zh) | 表格解析方法、装置、电子设备和存储介质 | |
| CN112734642B (zh) | 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置 | |
| CN112184585B (zh) | 一种基于语义边缘融合的图像补全方法及系统 | |
| CN113221925B (zh) | 一种基于多尺度图像的目标检测方法及装置 | |
| CN112418165B (zh) | 基于改进型级联神经网络的小尺寸目标检测方法与装置 | |
| CN111626927B (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
| Sun et al. | Multiscale generative adversarial network for real‐world super‐resolution | |
| CN110674824A (zh) | 基于R2U-Net的手指静脉分割方法、装置和存储介质 | |
| CN103020898A (zh) | 序列虹膜图像超分辨率重建方法 | |
| Zhang et al. | Multi-task convnet for blind face inpainting with application to face verification | |
| CN113554742A (zh) | 一种三维图像的重建方法、装置、设备及存储介质 | |
| Chen et al. | Single depth image super-resolution using convolutional neural networks | |
| CN113723399A (zh) | 一种车牌图像矫正方法、车牌图像矫正装置和存储介质 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN112950478B (zh) | 基于双重身份属性约束的人脸超分辨率方法及系统 | |
| CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
| Li et al. | If-gan: Generative adversarial network for identity preserving facial image inpainting and frontalization | |
| CN117315735A (zh) | 基于先验信息与注意力机制的人脸超分辨率重建方法 | |
| CN113191947B (zh) | 一种图像超分辨率的方法及系统 | |
| CN110853040B (zh) | 一种基于超分辨率重建的图像协同分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |