CN112288626B - 一种基于双路径深度融合的人脸幻构方法及系统 - Google Patents
一种基于双路径深度融合的人脸幻构方法及系统 Download PDFInfo
- Publication number
- CN112288626B CN112288626B CN202011080370.2A CN202011080370A CN112288626B CN 112288626 B CN112288626 B CN 112288626B CN 202011080370 A CN202011080370 A CN 202011080370A CN 112288626 B CN112288626 B CN 112288626B
- Authority
- CN
- China
- Prior art keywords
- face
- local
- image
- resolution
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 37
- 238000005070 sampling Methods 0.000 claims abstract description 31
- 230000001815 facial effect Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 19
- 238000010276 construction Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 description 4
- 208000004547 Hallucinations Diseases 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双路径深度融合的人脸幻构方法及系统，本发明在人脸的全局特征提取过程中，利用循环卷积和残差学习来提取人脸特征，用于人脸的全局轮廓建模。在基于块的人脸局部结构信息表达过程中，对输入的人脸进行采样，得到大量的局部人脸块，用于独立建模低分辨率和高分辨率局部块之间的映射关系；此外，局部块的特征表达被重排映射回全局人脸空间。在人脸全局和局部特征融合幻构中，将全局的轮廓特征和人脸的局部特征进行融合，从而实现高质量人脸幻构。本发明有效提取人脸的全局轮廓特征和独立学习局部块的高低维映射关系，并实现有效的融合，使得幻构的人脸图像轮廓更清晰，纹理细节更丰富。
Description
技术领域
本发明属于数字图像技术领域，涉及一种低分辨率人脸幻构方法及系统，具体涉及一种基于双路径深度融合的人脸幻构方法及系统。
背景技术
视频监控等获得低质量人脸图像具有信息量少，内容模糊，分辨率低等特点，极大影响了对图像或视频内容的理解，从而干扰下游的高层次计算机视觉任务的精度。因此，低分辨率人脸幻构是一项改善图像视觉体验的基本处理，也是许多计算机视觉任务(如人脸检测、识别和行人追踪等等)的重要预处理步骤。
由于深度学习，特别是卷积神经网络(CNN)在图像处理领域取得了较好的成果，近年来，基于深度学习的人脸幻构方法被相继提出并得到了迅速发展。2016年，Yu等构建了一个鉴别生成网络来超分幻构对齐人脸。2017年，Dahl提出像素递归网络来处理人脸的高质量幻构。2019年，通过在残差图像或特征图上添加额外的面部属性信息，Yu等人提出了一个属性嵌入的采样网络，显著降低了人脸超分辨率中的模糊度。
现有基于深度学习的人脸幻构模型利用卷积神经网络，直接学习得到高分辨率幻构人脸图像。这种方式虽然可以提升输入图像和分辨率和增加部分信息量，但却没有考虑人脸全局和局部特征的表达差异和内在关联，未能判别学习全局人脸轮廓和局部五官特征。因此，对于极低分辨率或者压缩失真的人脸，现有人脸幻构算法通常对局部五官特征表示能力有限，无法幻构出高质量的人脸图像。
发明内容
为了解决上述技术问题，本发明提供了一种基于双路径深度融合的人脸幻构方法及系统。
本发明的方法所采用的技术方案是：一种基于双路径深度融合的人脸幻构系统，其特征在于，包括以下步骤：
步骤1：构建人脸图像数据集，包括训练数据集和测试数据集；每个数据集包含若干数量的成对数据，即高分辨率人脸图像和对应的低分辨率人脸图像；将训练数据集中的人脸图像对进行裁剪，得到N×N大小的图像块，作为训练样本；其中，N为预设值；
步骤2：分批次将步骤1中人脸图像块输入到卷积神经网络中，分别输入到全局记忆分支网络和局部增强分支网络进行特征提取；
步骤3：在全局记忆分支网络中，利用初始化卷积将低分辨率人脸图像块从图像空间映射到特征空间，编码图像的全局特征关联，学习人脸的全局轮廓特征；
步骤4：在局部增强子网络中，通过M×M的采样器对输入的低分辨率人脸图像块进行无重叠采样，得到(N/M)×(N/M)个人脸块；
步骤5：对步骤4得到的人脸块进行特征提取，学习低分辨率到高分辨率图像局部块之间的映射关系，得到人脸块的特征表达；
步骤6：将步骤5中得到的人脸块的特征表达输入到上采样层，利用亚像素卷积将这些局部映射编码重排到全局空间，得到整张人脸的局部特征表达；
步骤7：将步骤3得到的全局人脸轮廓特征和步骤6中得到的人脸的局部特征进行特征的融合，实现人脸特征的全局和局部协同表达，并映射到原始的图像空间，并输出对应的残差人脸图像；将回归得到的残差人脸图像与低分辨率人脸图像的插值结果进行相加，输出得到高质量人脸图像，作为高质量幻构人脸；
步骤8：通过最小化步骤7中输出的高质量幻构人脸和原始高分辨率人脸的余弦距离，优化提出的双路径深度融合网络，实现低分辨率人脸的幻构。
本发明的系统所采用的技术方案是：一种基于双路径深度融合的人脸幻构系统，其特征在于，包括：人脸图像数据集构建模块、输入模块、人脸全局轮廓特征学习模块、低分辨率人脸图像块无重叠采样模块、人脸块特征表达获取模块、整张人脸局部特征表达获取模块、高质量人脸幻构图像获取模块、低分辨率人脸幻构模块；
所述人脸图像数据集构建模块，用于构建人脸图像数据集，包括训练数据集和测试数据集；每个数据集包含若干数量的成对数据，即高分辨率人脸图像和对应的低分辨率人脸图像；将训练数据集中的人脸图像对进行裁剪，得到N×N大小的图像块，作为训练样本；其中，N为预设值；
所述输入模块，用于分批次将人脸图像数据集构建模块中人脸图像块输入到卷积神经网络中，分别输入到全局记忆分支网络和局部增强分支网络进行特征提取；
所述人脸全局轮廓特征学习模块，用于在全局记忆分支网络中，利用初始化卷积将低分辨率人脸图像块从图像空间映射到特征空间，编码图像的全局特征关联，学习人脸的全局轮廓特征；
所述低分辨率人脸图像块无重叠采样模块，用于在局部增强子网络中，通过M×M的采样器对输入的低分辨率人脸图像块进行无重叠采样，得到(N/M)×(N/M)个人脸块；
所述人脸块特征表达获取模块，用于对低分辨率人脸图像块无重叠采样模块中得到的人脸块进行特征提取，学习低分辨率到高分辨率图像局部块之间的映射关系，得到人脸块的特征表达；
所述整张人脸局部特征表达获取模块，用于将得到的人脸块的特征表达输入到上采样层，利用亚像素卷积将这些局部映射编码重排到全局空间，得到整张人脸的局部特征表达；
所述高质量人脸幻构图像获取模块，用于将得到的全局人脸轮廓特征和得到的人脸的局部特征进行特征的融合，实现人脸特征的全局和局部协同表达，并映射到原始的图像空间，并输出对应的残差人脸图像；将回归得到的残差人脸图像与低分辨率人脸图像的插值结果进行相加，输出得到高质量人脸图像，作为高质量幻构人脸；
所述低分辨率人脸幻构模块，用于通过最小化高质量幻构人脸和原始高分辨率人脸的余弦距离，优化提出的双路径深度融合网络，实现低分辨率人脸的幻构。
本发明在人脸的全局特征提取过程中，利用循环卷积和残差学习来提取人脸特征，用于人脸的全局轮廓建模。在基于块的人脸局部结构信息表达过程中，对输入的人脸进行采样，得到大量的局部人脸块，用于独立建模低分辨率和高分辨率局部块之间的映射关系；此外，局部块的特征表达被重排映射回全局人脸空间。在人脸全局和局部特征融合幻构中，将全局的轮廓特征和人脸的局部特征进行融合，从而实现高质量人脸幻构。
本发明通过联合循环卷积和密集残差网络，强化全局特征的关联表达，有益于全局人脸轮廓的表示学习；同时通过独立建模低分辨率和高分辨率人脸块之间的映射关系，强化局部特征的表达；本发明有效提取人脸的全局轮廓特征和独立学习局部块的高低维映射关系，并实现有效的融合，使得幻构的人脸图像轮廓更清晰，纹理细节更丰富。通过对全局和局部人脸特征的协同表达，使得对于人脸特征的建模更准确，幻构效果更好。
附图说明
图1本发明实施例的流程图；
图2为本发明实施例的多路径残差操作原理图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于双路径深度融合的人脸幻构系统，包括以下步骤：
步骤1：包括训练数据集和测试数据集；每个数据集包含若干数量的成对数据，即高分辨率人脸图像和对应的低分辨率人脸图像；将训练数据集中的人脸图像对进行裁剪，得到N×N大小的图像块，作为训练样本；其中，N为预设值；
步骤2：分批次将步骤1中人脸图像块输入到卷积神经网络中，分别输入到全局记忆分支网络和局部增强分支网络进行特征提取；
步骤3：在全局记忆分支网络中，利用初始化卷积将低分辨率人脸图像块从图像空间映射到特征空间，利用若干个残差密集循环模块(现有技术)编码图像的全局特征关联，学习人脸的全局轮廓特征；
本实施例中，利用一个3×3的卷积将低分辨率人脸从图像空间映射到特征空间，获得初始化人脸特征表达，具体利用下式：
fini＝Fini(ILR)
其中，Fini(·)表示初始化卷积，ILR表示低分辨率人脸输入样本，fini表示人脸的初始化特征。随后，在特征空间利用若干个残差密集循环模块编码图像的全局特征关联，学习人脸的全局轮廓特征，具体利用算式：
fI，global＝FRDRB(fini)
其中，FRDRB(·)表示残差密集循环，通过多个密集残差单元提取人脸特征，将不同残差单元的输出聚合起来，通过递归单元建模不同阶段和空间区域之间的相互依赖关系，从初始化特征fini中学习全局的人脸轮廓特征fI，global。
步骤4：在局部增强子网络中，通过M×M的采样器对输入的低分辨率人脸图像块进行无重叠采样，得到(N/M)×(N/M)个人脸块；
本实例中，通过特定尺寸的采样器对输入图像进行采样，得到多个低分辨率人脸块，具体利用算式：
I(N/M)×(N/M)＝SampleM×M(ILR)
其中，SampleM×M(·)表示尺寸为M×M的采样算子，In，(N/M)×(N/M)表示用采样器采样得到的(N/M)×(N/M)个人脸块。
为了获得合适的人脸块，并保持一定的局部结构，采用原始输入尺寸1/4大小的采样器对输入图像进行无重叠采样，可以得到16个低分辨率人脸块。
步骤5：利用若干个多路径残差操作，具体结构见附图2，对步骤4得到的人脸块进行特征提取，学习低分辨率到高分辨率图像局部块之间的映射关系，得到人脸块的特征表达；
本实例中，为了强化对局部特征关联的建模，利用多个多路径残差模块来提取局部人脸特征，通过融合不同路径和阶段的特征信息，学习低分辨率到高分辨率图像局部块之间的映射关系，得到基于人脸块的特征表达，具体利用算式：
flocal＝FMRB(In，(N/M)×(N/M))
其中，FMRB(·)表示多路径残差操作，具体结构见附图2，学习低分辨率到高分辨率局部人脸块的映射关系flocal，强化局部人脸块的特征表达。
步骤6：将步骤5中得到的人脸块的特征表达输入到上采样层，利用亚像素卷积将这些局部映射编码重排到全局空间，得到整张人脸的局部特征表达；
本实例中，采用连续三次亚像素上采样，将人脸局部块的特征表达进行编码重排，映射到全局人脸空间，得到与原始输入人脸分辨率大小的特征映射图，具体利用算式：
fI，local＝FSP(flocal)
其中，FSP(·)表示亚像素上采样操作，将局部人脸块特征进行编码重排，得到整张人脸的局部特征表示fI，local。
步骤7：将步骤3得到的全局人脸轮廓特征和步骤6中得到的人脸的局部特征输入到融合和幻构进行特征的融合，实现人脸特征的全局和局部协同表达，并映射到原始的图像空间，并输出对应的残差人脸图像；将回归得到的残差人脸图像与低分辨率人脸图像的插值结果进行相加，输出得到高质量人脸图像，作为高质量幻构人脸；
本实例中，利用若干个卷积对步骤全局人脸轮廓特征fI，global和整张人脸的局部特征fI，local进行融合，并将融合后的特征输入到上采样层，利用亚像素卷积进行超分辨率幻构，实现人脸特征的全局和局部协同表达，并映射到原始的图像空间，输出对应的残差人脸图像，具体利用算式：
IRES＝FFR(fI，global，fI，local)
其中，FFR(·)表示融合和幻构，用于融合局部和全局人脸特征，并幻构得到对应的残差人脸图像IRES。随后，将回归得到的残差人脸图像IRES与低分辨率人脸图像ILR的插值结果IBic进行相加，输出得到高质量的人脸幻构图像ISR；具体利用算式：
ISR＝IBic+IRES
步骤8：通过最小化步骤7中输出的高质量幻构人脸和原始高分辨率人脸的余弦距离，优化提出的双路径深度融合网络，实现低分辨率人脸的幻构。
本实例中，使用基于Charbonnier损失函数来约束网络生成的幻构的高质量人脸图像ISR尽可能逼近原始的高分辨率人脸图像IHR，实现双路径深度融合的人脸幻构方法的优化；Charbonnier损失函数作为L1范数的一个变体，通过加入了补偿项使训练过程更加稳定，同时避免生成的结果过于平滑；
具体利用算式：其中，
L(θ)＝argmin∑((IHR-ISR)^2+ε^2)
其中，L(θ)和θ分别表示优化目标方程和参数，其中补偿因子ε＝10-3。
本发明还提供了一种基于双路径深度融合的人脸幻构系统，包括：人脸图像数据集构建模块、输入模块、人脸全局轮廓特征学习模块、低分辨率人脸图像块无重叠采样模块、人脸块特征表达获取模块、整张人脸局部特征表达获取模块、高质量人脸幻构图像获取模块、低分辨率人脸幻构模块；
人脸图像数据集构建模块，用于构建人脸图像数据集，包括训练数据集和测试数据集；每个数据集包含若干数量的成对数据，即高分辨率人脸图像和对应的低分辨率人脸图像；将训练数据集中的人脸图像对进行裁剪，得到N×N大小的图像块，作为训练样本；其中，N为预设值；
输入模块，用于分批次将人脸图像数据集构建模块中人脸图像块输入到卷积神经网络中，分别输入到全局记忆分支网络和局部增强分支网络进行特征提取；
人脸全局轮廓特征学习模块，用于在全局记忆分支网络中，利用初始化卷积将低分辨率人脸图像块从图像空间映射到特征空间，编码图像的全局特征关联，学习人脸的全局轮廓特征；
低分辨率人脸图像块无重叠采样模块，用于在局部增强子网络中，通过M×M的采样器对输入的低分辨率人脸图像块进行无重叠采样，得到(N/M)×(N/M)个人脸块；
人脸块特征表达获取模块，用于对低分辨率人脸图像块无重叠采样模块中得到的人脸块进行特征提取，学习低分辨率到高分辨率图像局部块之间的映射关系，得到人脸块的特征表达；
整张人脸局部特征表达获取模块，用于将得到的人脸块的特征表达输入到上采样层，利用亚像素卷积将这些局部映射编码重排到全局空间，得到整张人脸的局部特征表达；
高质量人脸幻构图像获取模块，用于将得到的全局人脸轮廓特征和得到的人脸的局部特征进行特征的融合，实现人脸特征的全局和局部协同表达，并映射到原始的图像空间，并输出对应的残差人脸图像；将回归得到的残差人脸图像与低分辨率人脸图像的插值结果进行相加，输出得到高质量人脸图像，作为高质量幻构人脸；
低分辨率人脸幻构模块，用于通过最小化高质量人脸幻构图像获取模块中输出的高质量幻构人脸和原始高分辨率人脸的余弦距离，优化提出的双路径深度融合网络，实现低分辨率人脸的幻构。
与早期基于深度学习的人脸幻构算法相比，本发明通过引入循环卷积来学习全局人脸特征的长程依赖性，辅助全局人脸轮廓的建模；同时设计局部增强子网络，学习低分辨率人脸局部块到高分辨率人脸块之间的映射关系，用于强化对局部人脸特征，特别是五官特征的建模。通过联合全局人脸轮廓特征和局部的人脸表达，实现全局和局部的人脸特征的协同表示，得到高质量的人脸幻构结果。通过对全局和局部人脸特征的协同表达，本方法能够有效提取和融合全局和局部特征，使得对于人脸特征的建模更准确，幻构效果更好。通过在现有的人脸数据集ALFW和CelebA上做了验证实验，并使用现有的图像质量评估指标进行评估，如峰值信噪比(PSNR)和结构相似度(SSIM)，结论如下：本实例算法相比于双三次插值模型，实现了更好的幻构性能，具体实验结果见附表1。
表1
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (8)
1.一种基于双路径深度融合的人脸幻构方法，其特征在于，包括以下步骤：
步骤1：构建人脸图像数据集，包括训练数据集和测试数据集；每个数据集包含若干数量的成对数据，即高分辨率人脸图像和对应的低分辨率人脸图像；将训练数据集中的人脸图像对进行裁剪，得到N×N大小的图像块，作为训练样本；其中，N为预设值；
步骤2：分批次将步骤1中人脸图像块输入到卷积神经网络中，分别输入到全局记忆分支网络和局部增强分支网络进行特征提取；
步骤3：在全局记忆分支网络中，利用初始化卷积将低分辨率人脸图像块从图像空间映射到特征空间，编码图像的全局特征关联，学习人脸的全局轮廓特征；
步骤4：在局部增强子网络中，通过M×M的采样器对输入的低分辨率人脸图像块进行无重叠采样，得到(N/M)×(N/M)个人脸块；
步骤5：对步骤4得到的人脸块进行特征提取，学习低分辨率到高分辨率图像局部块之间的映射关系，得到人脸块的特征表达；
步骤6：将步骤5中得到的人脸块的特征表达输入到上采样层，利用亚像素卷积将这些局部映射编码重排到全局空间，得到整张人脸的局部特征表达；
步骤7：将步骤3得到的全局人脸轮廓特征和步骤6中得到的人脸的局部特征进行特征的融合，实现人脸特征的全局和局部协同表达，并映射到原始的图像空间，并输出对应的残差人脸图像；将回归得到的残差人脸图像与低分辨率人脸图像的插值结果进行相加，输出得到高质量人脸图像，作为高质量幻构人脸；
步骤8：通过最小化步骤7中输出的高质量幻构人脸和原始高分辨率人脸的余弦距离，优化提出的双路径深度融合网络，实现低分辨率人脸的幻构。
2.根据权利要求1所述的基于双路径深度融合的人脸幻构方法，其特征在于，步骤3中所述利用初始化卷积将低分辨率人脸从图像空间映射到特征空间，具体利用下式：
fini＝Fini(ILR)；
其中，Fini(·)表示初始化卷积，ILR表示低分辨率人脸图像块输入样本，fini表示人脸的初始化特征；
所述编码图像的全局特征关联，学习人脸的全局轮廓特征，具体利用算式：
fI,global＝FRDRB(fini)；
其中，FRDRB(·)表示残差密集循环，从初始化特征fini中学习全局的人脸轮廓特征fI,global。
3.根据权利要求1所述的基于双路径深度融合的人脸幻构方法，其特征在于，步骤4中得到(N/M)×(N/M)个人脸块，具体利用算式：
I(N/M)×(N/M)＝SampleM×M(ILR)；
其中，SampleM×M(·)表示尺寸为M×M的采样算子，ILR表示低分辨率人脸图像块输入样本，In,(N/M)×(N/M)表示用采样器采样得到的(N/M)×(N/M)个人脸块。
4.根据权利要求1所述的基于双路径深度融合的人脸幻构方法，其特征在于，步骤5中所述学习低分辨率到高分辨率图像局部块之间的映射关系，具体利用算式：
flocal＝FMRB(I(N/M)×(N/M))；
其中，FMRB(·)表示多路径残差模块，学习低分辨率到高分辨率局部人脸块的映射关系flocal，强化局部人脸块的特征表达；In,(N/M)×(N/M)表示用采样器采样得到的(N/M)×(N/M)个人脸块。
5.根据权利要求1所述的基于双路径深度融合的人脸幻构方法，其特征在于，步骤6中具体利用下式得到整张人脸的局部特征表达：
fI,local＝FSP(flocal)；
其中，FSP(·)表示亚像素上采样操作，将局部人脸块的特征表达进行编码重排，得到整张人脸的局部特征表示fI,local；flocal表示低分辨率到高分辨率局部人脸块的映射关系。
6.根据权利要求1所述的基于双路径深度融合的人脸幻构方法，其特征在于，步骤7中具体利用下式建得到残差人脸图像IRES：
IRES＝FFR(fI,global,fI,local)；
其中，FFR(·)表示融合和幻构，用于融合局部和全局人脸特征，并幻构得到对应的残差人脸图像IRES；
将回归得到的残差人脸图像IRES与低分辨率人脸图像块输入样本ILR的插值结果IBic进行相加，输出得到高质量的人脸幻构图像ISR；
ISR＝IBic+IRES。
7.根据权利要求1-6 任意一项所述的基于双路径深度融合的人脸幻构方法，其特征在于：步骤8中，使用基于Charbonnier损失函数来约束网络生成的高质量的人脸幻构图像ISR尽可能逼近原始的高分辨率人脸图像IHR，实现双路径深度融合的人脸幻构方法的优化；
Charbonnier损失函数为：
L(θ)＝argmin∑((IHR-ISR)^2+ε^2)
其中，L(θ)和θ分别表示优化目标方程和参数，其中补偿因子ε＝10-3。
8.一种基于双路径深度融合的人脸幻构系统，其特征在于，包括：人脸图像数据集构建模块、输入模块、人脸全局轮廓特征学习模块、低分辨率人脸图像块无重叠采样模块、人脸块特征表达获取模块、整张人脸局部特征表达获取模块、高质量人脸幻构图像获取模块、低分辨率人脸幻构模块；
所述人脸图像数据集构建模块，用于构建人脸图像数据集，包括训练数据集和测试数据集；每个数据集包含若干数量的成对数据，即高分辨率人脸图像和对应的低分辨率人脸图像；将训练数据集中的人脸图像对进行裁剪，得到N×N大小的图像块，作为训练样本；其中，N为预设值；
所述输入模块，用于分批次将人脸图像数据集构建模块中人脸图像块输入到卷积神经网络中，分别输入到全局记忆分支网络和局部增强分支网络进行特征提取；
所述人脸全局轮廓特征学习模块，用于在全局记忆分支网络中，利用初始化卷积将低分辨率人脸图像块从图像空间映射到特征空间，编码图像的全局特征关联，学习人脸的全局轮廓特征；
所述低分辨率人脸图像块无重叠采样模块，用于在局部增强子网络中，通过M×M的采样器对输入的低分辨率人脸图像块进行无重叠采样，得到(N/M)×(N/M)个人脸块；
所述人脸块特征表达获取模块，用于对低分辨率人脸图像块无重叠采样模块中得到的人脸块进行特征提取，学习低分辨率到高分辨率图像局部块之间的映射关系，得到人脸块的特征表达；
所述整张人脸局部特征表达获取模块，用于将得到的人脸块的特征表达输入到上采样层，利用亚像素卷积将这些局部映射编码重排到全局空间，得到整张人脸的局部特征表达；
所述高质量人脸幻构图像获取模块，用于将得到的全局人脸轮廓特征和得到的人脸的局部特征进行特征的融合，实现人脸特征的全局和局部协同表达，并映射到原始的图像空间，并输出对应的残差人脸图像；将回归得到的残差人脸图像与低分辨率人脸图像的插值结果进行相加，输出得到高质量人脸图像，作为高质量幻构人脸；
所述低分辨率人脸幻构模块，用于通过最小化高质量幻构人脸和原始高分辨率人脸的余弦距离，优化提出的双路径深度融合网络，实现低分辨率人脸的幻构。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011080370.2A CN112288626B (zh) | 2020-10-10 | 2020-10-10 | 一种基于双路径深度融合的人脸幻构方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011080370.2A CN112288626B (zh) | 2020-10-10 | 2020-10-10 | 一种基于双路径深度融合的人脸幻构方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112288626A CN112288626A (zh) | 2021-01-29 |
| CN112288626B true CN112288626B (zh) | 2022-04-15 |
Family
ID=74421890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011080370.2A Active CN112288626B (zh) | 2020-10-10 | 2020-10-10 | 一种基于双路径深度融合的人脸幻构方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112288626B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191953B (zh) * | 2021-06-04 | 2022-02-18 | 山东财经大学 | 一种基于Transformer的人脸图像超分辨的方法 |
| CN113887435A (zh) * | 2021-09-30 | 2022-01-04 | 北京百度网讯科技有限公司 | 人脸图像处理方法、装置、设备、存储介质及程序产品 |
| WO2024025134A1 (en) * | 2022-07-27 | 2024-02-01 | Samsung Electronics Co., Ltd. | A system and method for real time optical illusion photography |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101635048A (zh) * | 2009-08-20 | 2010-01-27 | 上海交通大学 | 融合全局特征与局部信息的人脸图像超分辨率处理方法 |
| US9836820B2 (en) * | 2016-03-03 | 2017-12-05 | Mitsubishi Electric Research Laboratories, Inc. | Image upsampling using global and local constraints |
| CN109064405A (zh) * | 2018-08-23 | 2018-12-21 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于双路径网络的多尺度图像超分辨率方法 |
| CN110084745A (zh) * | 2019-03-12 | 2019-08-02 | 天津大学 | 基于并联的稠密卷积神经网络的图像超分辨率重建方法 |
-
2020
- 2020-10-10 CN CN202011080370.2A patent/CN112288626B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112288626A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112288626B (zh) | 一种基于双路径深度融合的人脸幻构方法及系统 | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN110020989B (zh) | 一种基于深度学习的深度图像超分辨率重建方法 | |
| CN111340738B (zh) | 一种基于多尺度渐进融合的图像去雨方法 | |
| CN109584161A (zh) | 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法 | |
| CN113901894A (zh) | 一种视频生成方法、装置、服务器及存储介质 | |
| CN112949636B (zh) | 一种车牌超分辨率识别方法、系统及计算机可读介质 | |
| CN112288627A (zh) | 一种面向识别的低分辨率人脸图像超分辨率方法 | |
| CN112364838B (zh) | 一种利用合成的联机文本图像改进手写ocr性能的方法 | |
| CN111797891A (zh) | 基于生成对抗网络的非成对异质人脸图像生成方法、装置 | |
| CN112950480A (zh) | 一种融合多感受野和密集残差注意的超分辨率重建方法 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN112686830A (zh) | 基于图像分解的单一深度图的超分辨率方法 | |
| CN116777745A (zh) | 一种基于稀疏自适应聚类的图像超分辨率重建方法 | |
| CN116703719A (zh) | 一种基于人脸3d先验信息的人脸超分辨率重建装置及方法 | |
| Huang et al. | CLSR: cross-layer interaction pyramid super-resolution network | |
| CN110111257A (zh) | 一种基于特征通道自适应加权的超分辨图像重建方法 | |
| CN113205005B (zh) | 一种面向低光照低分辨率的人脸图像幻构方法 | |
| CN114677281A (zh) | 一种基于生成对抗网络的fib-sem超分辨率算法 | |
| CN111291223B (zh) | 四胞胎卷积神经网络视频指纹方法 | |
| Gan et al. | Image super-resolution reconstruction based on deep residual network | |
| CN114022360B (zh) | 基于深度学习的渲染图像超分辨系统 | |
| Ren et al. | Research on image super-resolution based on attention mechanism and multi-scale | |
| CN115909045B (zh) | 一种基于对比学习的two-stage滑坡图谱特征智能识别方法 | |
| Wen et al. | RetouchFormer: Semi-supervised High-Quality Face Retouching Transformer with Prior-Based Selective Self-Attention |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |