CN113628107A - 人脸图像超分辨率方法和系统 - Google Patents

人脸图像超分辨率方法和系统 Download PDF

Info

Publication number
CN113628107A
CN113628107A CN202110749972.0A CN202110749972A CN113628107A CN 113628107 A CN113628107 A CN 113628107A CN 202110749972 A CN202110749972 A CN 202110749972A CN 113628107 A CN113628107 A CN 113628107A
Authority
CN
China
Prior art keywords
image
attribute
network
features
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110749972.0A
Other languages
English (en)
Other versions
CN113628107B (zh
Inventor
张娅
姜文波
赵贵华
张小云
董洋轶
张毅军
王延峰
蔺飞
袁旭稚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110749972.0A priority Critical patent/CN113628107B/zh
Publication of CN113628107A publication Critical patent/CN113628107A/zh
Application granted granted Critical
Publication of CN113628107B publication Critical patent/CN113628107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸超分辨率方法及系统，包括：对输入的人脸属性标签信息，使用全连接网络与激活层进行特征优化，获得属性语义特征；对输入的低分辨率图像信息，使用卷积神经网络提取视觉特征；对属性语义特征与视觉特征使用特征融合网络进行特征融合，并在训练时与教师特征通过属性法向量约束，从而保持融合特征与教师特征属性一致；使用图像恢复网络将融合特征映射为输出图像，由于图像恢复网络经过预训练，它生成的图像具有逼真的细节。通过本发明，生成的人脸高清图像具有属性保持与细节。

Description

人脸图像超分辨率方法和系统
技术领域
本发明涉及一种计算机视觉和图像处理领域的方法，特别涉及一种人脸图像超分辨率方法及系统。
背景技术
人脸超分辨率，旨在提高人脸图像的分辨率，将一个低分辨率人脸图像(LR)生成相应的高分辨率人脸图像(HR)。在过去的几年，基于深度神经网络的许多超分辨方法取得了巨大的成功。然而，超分辨是一个病态的问题，多个高分辨图像退化后可为同一低分辨率图像，即一个低分辨率图像对应着多个高分辨率图像。在训练时，网络也受到这一对多关系的影响，拟合的是一个低分辨率图像对应多个高分辨率图像的平均，这导致了输出图像是模糊的。考虑到了这一点，有些方法使用了预训练的生成模型，这些预训练的模型由于在高清图像数据集上训练，它们的网络参数具有生成高清图像的特性。但是以上方法都没有关注到人脸的属性信息，人脸属性信息具有十分重要的语义信息，输入这一信息能够帮助网络生成与真实图像的人脸属性信息接近的人脸超分辨图像。
经检索，中国发明专利公开号为CN111915487A，申请号为CN202010771552.8，该发明公开了一种基于分层多尺度残差融合网络的人脸超分辨率方法及装置，该方法包括：将高分辨率人脸图像下采样至目标低分辨率人脸图像，将目标低分辨率图像进行分块操作，分出相互重叠的图像块后，使用瓶颈注意力模块提取精细的脸部特征图；将提取的精细脸部特征图发送到多尺度残差模块，多尺度残差模块内使用不同卷积层提取特征信息，使用交叉的方式实现特征信息共享，多尺度残差模块外使用跳跃连接的方式实现多尺度特征信息融合，以更有效的提高SR性能；通过特征融合来更新目标低分辨率人脸图像的特征图以产生高分辨率结果。但是该专利图像超分辨率效果有待进一步提升，尤其在输入图像受损严重时。
发明内容
本发明针对上述现有技术中的缺陷，本发明提出了一种人脸图像超分辨率方法，利用预训练的图像恢复网络生成具有细节特征的高分辨率，利用输入的人脸属性信息增强网路对人脸属性的关注，从而能够生成属性准确的人脸高分辨率图像。
为解决上述技术问题，本发明是通过如下技术方案实现的：
本发明提供一种人脸图像超分辨方法，其包括：
对输入的人脸属性标签信息，利用全连接网络与激活层进行特征优化，获得属性语义特征；
对输入图像利用卷积神经网络提取视觉特征；
使用特征融合网络，利用优化后的所述属性语义特征以及提取的所述视觉特征进行特征融合得到融合特征，并在训练时获取教师特征与使用属性法向量约束，保持所述融合特征的属性准确性；
使用图像恢复网络将所述融合特征映射为输出图像，优化生成图像的细节信息。
可选地，所述利用全连接网络与激活层进行特征优化，获得属性语义特征，包括：
输入人脸属性标签信息
Figure BDA0003145767600000021
其中Cf为数据集中的输入属性类别数量，所述数据集为人脸图像与人脸属性标签对应的数据集；利用全连接网络与激活层进行特征优化后的语义特征为
Figure BDA0003145767600000022
其中k为特征维度，N对应预训练的Stylegan模型的层数，
Figure BDA0003145767600000023
为实数域。
可选地，所述对输入图像利用卷积神经网络提取视觉特征，包括：
输入低分辨率图像
Figure BDA0003145767600000024
其中C为图像通道数，W为图像的宽，H为图像的高，利用卷积神经网络提取图像视觉特征
Figure BDA0003145767600000025
其中k为特征维度，N对应了预训练的Stylegan模型的层数。
可选地，所述使用特征融合网络，利用优化后的所述属性语义特征以及提取的所述视觉特征进行特征融合得到融合特征，其中，
输入语义特征
Figure BDA0003145767600000026
与图像视觉特征
Figure BDA0003145767600000027
通过特征融合获得融合特征
Figure BDA0003145767600000028
其中k为特征维度，N对应预训练的Stylegan模型的层数。
可选地，所述在训练时获取教师特征与使用属性法向量约束，通过所述教师特征对特征融合网络进行监督，其中：
输入高清图像
Figure BDA0003145767600000031
其中C为图像通道数，W为图像的宽，H为图像的高；提取图像视觉特征
Figure BDA0003145767600000032
其中k为特征维度，N对应了预训练的Stylegan模型的层数；
提取图像视觉特征
Figure BDA0003145767600000033
的输入图像为高清图像，得到的图像视觉特征作为教师特征，并相对低分辨率输入图像得到的图像视觉特征具有更准确的属性信息。
可选地，所述图像恢复网络为一个预训练的Stylegan模型，该模型将融合特征映射为输出图像，所述Stylegan模型经过预训练，它生成的图像具有逼真的细节，图像恢复网络的输出为
Figure BDA0003145767600000034
整个网络的损失函数L为：
L＝Lrec+λWLW+λvggLvgg,
其中，Lrec与Lvgg为S14中的图像恢复网络的损失函数，LW为S13中的特征融合网络的损失函数，λW和λvgg为平衡几个损失的权重，其中C为图像通道数，W为图像的宽，H为图像的高。
本发明还提供一种人脸图像超分辨率系统，包括：
属性标签提取优化模块，该模块对输入的人脸属性标签信息，利用全连接网络与激活层进行特征优化，获得属性语义特征；
图像信息提取模块，该模块对输入图像利用卷积神经网络提取视觉特征；
特征融合模块，该模块使用特征融合网络，利用所述属性标签提取优化模块优化后的属性语义特征以及所述图像信息提取模块提取的视觉特征进行特征融合得到融合特征，并在训练时获取教师特征与使用属性法向量约束，保持所述融合特征的属性准确性；
图像恢复模块，该模块使用图像恢复网络将所述特征融合模块得到的融合特征映射为输出图像，优化生成图像的细节信息。
相较于现有技术，本发明实施例具有以下至少一种优点：
(1)本发明提供的基于预训练生成模型的人脸图像超分辨方法及系统，通过预训练的图像恢复网络，生成具有细节的高分辨率图像，改善了现有技术生成高分辨率图像模糊的问题。
(2)本发明提供的基于预训练生成模型的人脸图像超分辨方法及系统，使用人脸属性语义信息作为输入。这一输入使网络能够准确地得到输入图像的属性语义信息，生成属性准确的高分辨率人脸图像。
(3)本发明提供的基于预训练生成模型的人脸图像超分辨方法及系统，获取教师特征与属性法向量，利用两者构建属性，损失促进了网络对输入人脸图像属性特征的学习。
附图说明
下面结合附图对本发明的实施方式作进一步说明：
图1为本发明一实施例的基于预训练生成模型的人脸图像超分辨方法的流程图；
图2为本发明一实施例的基于预训练生成模型的人脸图像超分辨系统的框图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。以下没有详细说明的部分可以采用现有技术实现。
如图1所示，为本发明一实施例的基于预训练生成模型的人脸图像超分辨方法的流程图。
请参考图1，本实施例的基于预训练生成模型的人脸图像超分辨方法包括：
S11：对输入的人脸属性标签信息，利用全连接网络与激活层进行特征优化，获得属性语义特征；
S12：对输入图像利用卷积神经网络提取视觉特征；
S13：使用特征融合网络，利用所述S11优化后的语义特征以及S12得到的视觉特征进行特征融合，并在训练时获取教师特征与使用属性法向量约束，保持融合特征的属性准确性；
S14：使用预训练的图像恢复网络将融合特征映射为输出图像，优化生成图像的细节信息。
本发明上述实施例，采用预训练的图像恢复网络，它生成的图像具有逼真的细节，生成的人脸高清图像具有属性保持与细节。
较佳实施例中，S11中，若干层全连接层和激活层提取输入属性标签的属性语义特征。输入属性标签向量为
Figure BDA0003145767600000051
其中Cf为数据集中的输入属性类别数量。经过若干层全连接层和激活层提取优化的语义特征
Figure BDA0003145767600000052
其中k为特征维度，N对应了预训练的Stylegan模型的层数。
较佳实施例中，S12对输入图像利用卷积神经网络提取视觉特征。输入低清图像为
Figure BDA0003145767600000053
其中C为图像通道数，W为图像的宽，H为图像的高。通过图像信息提取得到图像视觉特征
Figure BDA0003145767600000054
其中k为特征维度，N对应了预训练的Stylegan模型的层数。
较佳实施例中，S13的特征融合网络利用全连接网络与激活层进行特征融合。输入语义特征
Figure BDA0003145767600000055
与图像视觉特征
Figure BDA0003145767600000056
通过特征融合获得融合特征
Figure BDA0003145767600000057
在训练时利用教师特征对特征融合网络进行监督。输入高清图像为
Figure BDA0003145767600000058
其中C为图像通道数，W为图像的宽，H为图像的高。利用图像信息提取技术提取图像视觉特征
Figure BDA0003145767600000059
其中k为特征维度，N对应了预训练的Stylegan模型的层数。由于输入图像信息提取的图像为高清图像，其得到的图像视觉特征可作为教师特征，并相对低清输入图像得到的图像视觉特征具有更准确的属性信息。在训练时将融合特征与教师特征通过属性法向量约束，优化提取的融合特征。将教师特征根据其对应的属性标签，使用SVM支持向量机方法训练获得属性超平面，将超平面对应的法向量作为属性法向量
Figure BDA00031457676000000510
训练时，约束融合特征与教师特征在属性法向量上距离尽量小。计算如下损失函数：
Figure BDA00031457676000000511
其中，WSr为特征融合网络所预测的融合特征，WHr为输入高清图像利用图像信息提取所预测的教师特征。通过最小化该损失函数学习对于人脸属性的预测，以便能够约束生成图像与目标图像相近。
较佳实施例中，S14的图像恢复网络使用一个预训练的Stylegan模型将融合特征映射为输出图像，由于Stylegan模型经过预训练，它生成的图像具有逼真的细节，图像恢复网络的输出为
Figure BDA00031457676000000512
通过以下损失函数，将损失传递给S11-S13步骤，指导这三个步骤学习：
Lrec＝‖Sr-Hr‖2,
通过最小化该损失函数学习对于输入低分辨率图像恢复为高分辨率图像。为了使生成的图像具有更逼真的细节，使用了一个在imagenet数据集上预训练的vgg网络，并使用其网络第五层的输出计算损失函数：
Figure BDA0003145767600000061
其中，Sr为图像恢复网络所预测的图像，Hr为输入低分辨率图像所对应的高分辨率图像。
整个网络(S11-S14)的损失函数如下：
L＝Lrec+λWLW+λvggLvgg,
其中，Lrec与Lvgg为S14中的图像恢复网络的损失函数，LW为S13中的特征融合网络的损失函数，λW和λvgg为平衡几个损失的权重，在一实施例中可以取值：λW＝0.01,λvgg＝0.01。
本发明上述较佳实施例中，通过输入人脸属性信息，获取准确的人脸属性信息；通过获取教师特征与属性法向量，使网络更好地生成人脸属性；通过预训练的生成模型，帮助网络生成具有细节的高分辨率图像。
本发明上述实施例中，使用了一个预训练的图像恢复网络提供丰富的先验信息，能够在图像超分辨率任务中取得更好的效果，尤其在输入图像受损严重时。另外，本发明上述实施例中使用获取的教师特征指导S11,S12,S13训练，更容易训练。
如图2所示为本发明一实施例的基于预训练生成模型的人脸图像超分辨系统的框图。
请参考图2，本实施例的基于预训练生成模型的人脸图像超分辨系统用于实现上述实施例的基于预训练生成模型的人脸图像超分辨方法，其包括：属性信息提取优化模块、图像信息提取模块、特征融合模块、图像恢复模块。属性标签提取优化模块对输入的人脸属性标签信息，利用全连接网络与激活层进行特征优化，获得属性语义特征；图像信息提取模块对输入图像利用卷积神经网络提取视觉特征；特征融合模块使用特征融合网络，利用所述属性标签提取优化模块优化后的属性语义特征以及所述图像信息提取模块提取的视觉特征进行特征融合得到融合特征，并在训练时获取教师特征与使用属性法向量约束，保持所述融合特征的属性准确性；图像恢复模块使用图像恢复网络将所述特征融合模块得到的融合特征映射为输出图像，优化生成图像的细节信息。
可选地，属性信息提取优化模块对输入属性标签向量为
Figure BDA0003145767600000071
其中Cf为数据集中的输入属性类别数量。使用全连接层与激活层训练，优化后的语义特征
Figure BDA0003145767600000072
其中k为特征维度，N对应了预训练的Stylegan模型的层数。
可选地，图像信息提取模块使用卷积神经网络提取视觉特征。输入低分辨率图像为
Figure BDA0003145767600000073
其中C为图像通道数，W为图像的宽，H为图像的高。利用图像信息提取技术提取图像视觉特征
Figure BDA0003145767600000074
其中k为特征维度，N对应了预训练的Stylegan模型的层数。
可选地，特征融合模块的特征融合网络利用全连接网络与激活层进行特征融合。输入语义特征
Figure BDA0003145767600000075
与图像视觉特征
Figure BDA0003145767600000076
通过特征融合获得融合特征
Figure BDA0003145767600000077
在训练时利用教师特征对特征融合网络进行监督。输入高清图像为
Figure BDA0003145767600000078
其中C为图像通道数，W为图像的宽，H为图像的高。利用图像信息提取提取图像视觉特征
Figure BDA0003145767600000079
其中k为特征维度，N对应了预训练的Stylegan模型的层数。由于输入图像信息提取的图像为高清图像，其得到的图像视觉特征可作为教师特征，并相对低清输入图像得到的图像视觉特征具有更准确的属性信息。在训练时将融合特征与教师特征通过属性法向量约束，优化提取的融合特征。将教师特征根据其对应的属性标签，使用SVM支持向量机方法训练获得属性超平面，将超平面对应的法向量作为属性法向量
Figure BDA00031457676000000710
训练时，约束融合特征与教师特征在属性法向量上距离尽量小。计算如下损失函数：
Figure BDA00031457676000000711
其中，WSr为特征融合网络所预测的融合特征，WHr为输入高清图像利用图像信息提取所预测的教师特征。通过最小化该损失函数学习对于人脸属性的预测。
可选地，图像恢复模块利用一个预训练的Stylegan模型将融合特征映射为输出图像，由于Stylegan模型经过预训练，它生成的图像具有逼真的细节，图像恢复的输出为
Figure BDA00031457676000000712
通过以下损失函数，将损失传递给属性信息提取优化模块、图像信息提取模块、特征融合模块，指导学习：
Lrec＝‖Sr-Hr‖2,
通过最小化该损失函数学习对于输入低分辨率图像恢复为高清图像。为了使生成的图像具有更逼真的细节，使用了一个在imagenet数据集上预训练的vgg网络，并使用其网络第五层的输出计算损失函数：
Figure BDA00031457676000000713
其中，Sr为图像恢复网络所预测的图像，Hr为输入低分辨率图像所对应的高分辨率图像。
上述各个模块所采用的技术可以参照人脸图像超分辨方法的说明，在此不再赘述。
综上，上述实施例提供的人脸图像超分辨方法及系统，输入人脸属性信息与低分辨率图像，利用教师特征进行监督，并使用预训练的生成网络，使人脸超分辨网络的性能得到提升。输入属性标签信息通过属性标签信息提取优化得到属性语义特征，输入低分辨率图像通过图像信息提取得到图像视觉特征，两者通过特征融合得到融合特征，最后经过图像恢复得到人脸属性准确的高分辨率图像。
需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

Claims (10)

1.一种人脸图像超分辨率方法，其特征在于，包括：
对输入的人脸属性标签信息，利用全连接网络与激活层进行特征优化，获得属性语义特征；
对输入图像利用卷积神经网络提取视觉特征；
使用特征融合网络，利用优化后的所述属性语义特征以及提取的所述视觉特征进行特征融合得到融合特征，并在训练时获取教师特征与使用属性法向量约束，保持所述融合特征的属性准确性；
使用预训练的图像恢复网络将所述融合特征映射为输出图像，优化生成图像的细节信息。
2.根据权利要求1所述的人脸图像超分辨率方法，其特征在于，所述利用全连接网络与激活层进行特征优化，获得属性语义特征，包括：
输入人脸属性标签信息
Figure FDA0003145767590000011
其中Cf为数据集中的输入属性类别数量，所述数据集为人脸图像与人脸属性标签对应的数据集；利用全连接网络与激活层进行特征优化后的语义特征为
Figure FDA0003145767590000012
其中k为特征维度，N对应预训练的图像恢复网络的网络层数，
Figure FDA0003145767590000013
为实数域。
3.根据权利要求1所述的人脸图像超分辨率方法，其特征在于，所述对输入图像利用卷积神经网络提取视觉特征，包括：
输入低分辨率图像
Figure FDA0003145767590000014
其中C为图像通道数，W为图像的宽，H为图像的高，利用卷积神经网络提取图像视觉特征
Figure FDA0003145767590000015
其中k为特征维度，N对应预训练的图像恢复网络的网络层数。
4.根据权利要求1所述的人脸图像超分辨率方法，其特征在于，所述使用特征融合网络，利用优化后的所述属性语义特征以及提取的所述视觉特征进行特征融合得到融合特征，其中，
输入语义特征
Figure FDA0003145767590000016
与图像视觉特征
Figure FDA0003145767590000017
通过特征融合获得融合特征
Figure FDA0003145767590000018
其中k为特征维度，N对应预训练的图像恢复网络的网络层数。
5.根据权利要求1所述的人脸图像超分辨率方法，其特征在于，所述在训练时获取教师特征与使用属性法向量约束，通过所述教师特征对特征融合网络进行监督，其中：
输入高清图像
Figure FDA0003145767590000021
其中C为图像通道数，W为图像的宽，H为图像的高；提取图像视觉特征
Figure FDA0003145767590000022
其中k为特征维度，N对应了预训练的图像恢复网络的网络层数的层数；
提取图像视觉特征
Figure FDA0003145767590000023
的输入图像为高清图像，得到的图像视觉特征作为教师特征，并相对低分辨率输入图像得到的图像视觉特征具有更准确的属性信息。
6.根据权利要求5所述的人脸图像超分辨率方法，其特征在于，所述在训练时获取教师特征与使用属性法向量约束，优化提取的融合特征，其中：
将教师特征根据其对应的属性标签，使用SVM支持向量机方法训练获得属性超平面，将超平面对应的法向量作为属性法向量
Figure FDA0003145767590000024
训练时，约束融合特征与教师特征在属性法向量上距离尽量小，计算如下损失函数LW：
Figure FDA0003145767590000025
其中，WSr为特征融合网络所预测的融合特征，WHr为输入高清图像进行图像信息提取所预测的教师特征，通过最小化上述损失函数学习对于人脸属性的预测。
7.根据权利要求1所述的人脸图像超分辨率方法，其特征在于，所述图像恢复网络为一个预训练的Stylegan模型，该模型将融合特征映射为输出图像，所述Stylegan模型经过预训练，它生成的图像具有逼真的细节，图像恢复网络的输出为
Figure FDA0003145767590000026
整个网络的损失函数L为：
L＝Lrec+λWLW+λvggLvgg,
其中，Lrec与Lvgg为S14中的图像恢复网络的损失函数，LW为S13中的特征融合网络的损失函数，λW和λvgg为平衡几个损失的权重，其中C为图像通道数，W为图像的宽，H为图像的高。
8.根据权利要求7所述的人脸图像超分辨率方法，其特征在于，所述图像恢复网络具有如下损失函数Lrec：
Lrec＝‖Sr-Hr‖2,
其中，Sr为图像恢复网络所预测的图像，Hr为输入低清图像所对应的高清图像；
通过最小化该损失函数学习对于输入低清图像恢复为高清图像。
9.根据权利要求8所述的人脸图像超分辨率方法，其特征在于，所述图像恢复网络为了使生成的图像具有更逼真的细节，使用一个在imagenet数据集上预训练的vgg网络，并使用其网络第五层的输出计算损失函数Lvgg：
Figure FDA0003145767590000031
其中，Sr为图像恢复网络所预测的图像，Hr为输入低清图像所对应的高清图像；通过最小化该损失函数学习对于输入低分辨率图像恢复为具有细节的高分辨率图像。
10.一种人脸图像超分辨率系统，其特征在于，包括：
属性标签提取优化模块，该模块对输入的人脸属性标签信息，利用全连接网络与激活层进行特征优化，获得属性语义特征；
图像信息提取模块，该模块对输入图像利用卷积神经网络提取视觉特征；
特征融合模块，该模块使用特征融合网络，利用所述属性标签提取优化模块优化后的属性语义特征以及所述图像信息提取模块提取的视觉特征进行特征融合得到融合特征，并在训练时获取教师特征与使用属性法向量约束，保持所述融合特征的属性准确性；
图像恢复模块，该模块使用图像恢复网络将所述特征融合模块得到的融合特征映射为输出图像，优化生成图像的细节信息。
CN202110749972.0A 2021-07-02 2021-07-02 人脸图像超分辨率方法和系统 Active CN113628107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110749972.0A CN113628107B (zh) 2021-07-02 2021-07-02 人脸图像超分辨率方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110749972.0A CN113628107B (zh) 2021-07-02 2021-07-02 人脸图像超分辨率方法和系统

Publications (2)

Publication Number Publication Date
CN113628107A true CN113628107A (zh) 2021-11-09
CN113628107B CN113628107B (zh) 2023-10-27

Family

ID=78378891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110749972.0A Active CN113628107B (zh) 2021-07-02 2021-07-02 人脸图像超分辨率方法和系统

Country Status (1)

Country Link
CN (1) CN113628107B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205117A (zh) * 2022-07-04 2022-10-18 中国电信股份有限公司 图像重建方法及装置、计算机存储介质、电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447020A (zh) * 2018-03-12 2018-08-24 南京信息工程大学 一种基于极深卷积神经网络的人脸超分辨率重建方法
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN110580680A (zh) * 2019-09-09 2019-12-17 武汉工程大学 基于组合学习的人脸超分辨率方法及装置
CN110610464A (zh) * 2019-08-15 2019-12-24 天津中科智能识别产业技术研究院有限公司 一种基于稠密残差神经网络的人脸图像超分辨率方法
CN110706157A (zh) * 2019-09-18 2020-01-17 中国科学技术大学 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
CN111080521A (zh) * 2019-12-12 2020-04-28 天津中科智能识别产业技术研究院有限公司 一种基于结构先验的人脸图像超分辨率方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447020A (zh) * 2018-03-12 2018-08-24 南京信息工程大学 一种基于极深卷积神经网络的人脸超分辨率重建方法
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN110610464A (zh) * 2019-08-15 2019-12-24 天津中科智能识别产业技术研究院有限公司 一种基于稠密残差神经网络的人脸图像超分辨率方法
CN110580680A (zh) * 2019-09-09 2019-12-17 武汉工程大学 基于组合学习的人脸超分辨率方法及装置
CN110706157A (zh) * 2019-09-18 2020-01-17 中国科学技术大学 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
CN111080521A (zh) * 2019-12-12 2020-04-28 天津中科智能识别产业技术研究院有限公司 一种基于结构先验的人脸图像超分辨率方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205117A (zh) * 2022-07-04 2022-10-18 中国电信股份有限公司 图像重建方法及装置、计算机存储介质、电子设备
CN115205117B (zh) * 2022-07-04 2024-03-08 中国电信股份有限公司 图像重建方法及装置、计算机存储介质、电子设备

Also Published As

Publication number Publication date
CN113628107B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
WO2021093435A1 (zh) 语义分割网络结构的生成方法、装置、设备及存储介质
CN111079532B (zh) 一种基于文本自编码器的视频内容描述方法
Kaymak et al. A brief survey and an application of semantic image segmentation for autonomous driving
KR101865102B1 (ko) 시각 문답을 위한 시스템 및 방법
CN110276354B (zh) 一种高分辨率街景图片语义分割训练与实时分割方法
CN108734210B (zh) 一种基于跨模态多尺度特征融合的对象检测方法
CN110782420A (zh) 一种基于深度学习的小目标特征表示增强方法
US11983903B2 (en) Processing images using self-attention based neural networks
CN111062395B (zh) 一种实时的视频语义分割方法
CN114049381A (zh) 一种融合多层语义信息的孪生交叉目标跟踪方法
CN111191608A (zh) 基于YOLOv3改进的交通标志检测与识别方法
CN110751111A (zh) 基于高阶空间信息全局自动感知的道路提取方法和系统
JP2022161564A (ja) テキスト画像の文字を認識する機械学習モデルを訓練するシステム
US20230316536A1 (en) Systems and methods for object tracking
Srinivas et al. A comprehensive survey of techniques, applications, and challenges in deep learning: A revolution in machine learning
US20220270341A1 (en) Method and device of inputting annotation of object boundary information
CN113628107A (zh) 人脸图像超分辨率方法和系统
CN116310916A (zh) 一种高分辨率遥感城市图像语义分割方法及系统
CN114155560B (zh) 基于空间降维的高分辨率人体姿态估计模型的轻量化方法
US20230072445A1 (en) Self-supervised video representation learning by exploring spatiotemporal continuity
CN116258931A (zh) 基于ViT和滑窗注意力融合的视觉指代表达理解方法和系统
CN114998702A (zh) 基于BlendMask的实体识别、知识图谱生成方法及系统
Zhou et al. Quality-aware pattern diffusion for video object segmentation
CN111898456B (zh) 基于多层次注意力机制的文本修改图片网络模型训练方法
Shinde et al. Automatic Data Collection from Forms using Optical Character Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant