CN113628107B - 人脸图像超分辨率方法和系统 - Google Patents
人脸图像超分辨率方法和系统 Download PDFInfo
- Publication number
- CN113628107B CN113628107B CN202110749972.0A CN202110749972A CN113628107B CN 113628107 B CN113628107 B CN 113628107B CN 202110749972 A CN202110749972 A CN 202110749972A CN 113628107 B CN113628107 B CN 113628107B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- attribute
- features
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 92
- 230000000007 visual effect Effects 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 31
- 238000005457 optimization Methods 0.000 claims abstract description 20
- 230000004913 activation Effects 0.000 claims abstract description 15
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 36
- 238000011084 recovery Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸超分辨率方法及系统,包括:对输入的人脸属性标签信息,使用全连接网络与激活层进行特征优化,获得属性语义特征;对输入的低分辨率图像信息,使用卷积神经网络提取视觉特征;对属性语义特征与视觉特征使用特征融合网络进行特征融合,并在训练时与教师特征通过属性法向量约束,从而保持融合特征与教师特征属性一致;使用图像恢复网络将融合特征映射为输出图像,由于图像恢复网络经过预训练,它生成的图像具有逼真的细节。通过本发明,生成的人脸高清图像具有属性保持与细节。
Description
技术领域
本发明涉及一种计算机视觉和图像处理领域的方法,特别涉及一种人脸图像超分辨率方法及系统。
背景技术
人脸超分辨率,旨在提高人脸图像的分辨率,将一个低分辨率人脸图像(LR)生成相应的高分辨率人脸图像(HR)。在过去的几年,基于深度神经网络的许多超分辨方法取得了巨大的成功。然而,超分辨是一个病态的问题,多个高分辨图像退化后可为同一低分辨率图像,即一个低分辨率图像对应着多个高分辨率图像。在训练时,网络也受到这一对多关系的影响,拟合的是一个低分辨率图像对应多个高分辨率图像的平均,这导致了输出图像是模糊的。考虑到了这一点,有些方法使用了预训练的生成模型,这些预训练的模型由于在高清图像数据集上训练,它们的网络参数具有生成高清图像的特性。但是以上方法都没有关注到人脸的属性信息,人脸属性信息具有十分重要的语义信息,输入这一信息能够帮助网络生成与真实图像的人脸属性信息接近的人脸超分辨图像。
经检索,中国发明专利公开号为CN111915487A,申请号为CN202010771552.8,该发明公开了一种基于分层多尺度残差融合网络的人脸超分辨率方法及装置,该方法包括:将高分辨率人脸图像下采样至目标低分辨率人脸图像,将目标低分辨率图像进行分块操作,分出相互重叠的图像块后,使用瓶颈注意力模块提取精细的脸部特征图;将提取的精细脸部特征图发送到多尺度残差模块,多尺度残差模块内使用不同卷积层提取特征信息,使用交叉的方式实现特征信息共享,多尺度残差模块外使用跳跃连接的方式实现多尺度特征信息融合,以更有效的提高SR性能;通过特征融合来更新目标低分辨率人脸图像的特征图以产生高分辨率结果。但是该专利图像超分辨率效果有待进一步提升,尤其在输入图像受损严重时。
发明内容
本发明针对上述现有技术中的缺陷,本发明提出了一种人脸图像超分辨率方法,利用预训练的图像恢复网络生成具有细节特征的高分辨率,利用输入的人脸属性信息增强网路对人脸属性的关注,从而能够生成属性准确的人脸高分辨率图像。
为解决上述技术问题,本发明是通过如下技术方案实现的:
本发明提供一种人脸图像超分辨方法,其包括:
对输入的人脸属性标签信息,利用全连接网络与激活层进行特征优化,获得属性语义特征;
对输入图像利用卷积神经网络提取视觉特征;
使用特征融合网络,利用优化后的所述属性语义特征以及提取的所述视觉特征进行特征融合得到融合特征,并在训练时获取教师特征与使用属性法向量约束,保持所述融合特征的属性准确性;
使用图像恢复网络将所述融合特征映射为输出图像,优化生成图像的细节信息。
可选地,所述利用全连接网络与激活层进行特征优化,获得属性语义特征,包括:
输入人脸属性标签信息其中Cf为数据集中的输入属性类别数量,所述数据集为人脸图像与人脸属性标签对应的数据集;利用全连接网络与激活层进行特征优化后的语义特征为/>其中k为特征维度,N对应预训练的Stylegan模型的层数,为实数域。
可选地,所述对输入图像利用卷积神经网络提取视觉特征,包括:
输入低分辨率图像其中C为图像通道数,W为图像的宽,H为图像的高,利用卷积神经网络提取图像视觉特征/>其中k为特征维度,N对应了预训练的Stylegan模型的层数。
可选地,所述使用特征融合网络,利用优化后的所述属性语义特征以及提取的所述视觉特征进行特征融合得到融合特征,其中,
输入语义特征与图像视觉特征/>通过特征融合获得融合特征/>其中k为特征维度,N对应预训练的Stylegan模型的层数。
可选地,所述在训练时获取教师特征与使用属性法向量约束,通过所述教师特征对特征融合网络进行监督,其中:
输入高清图像其中C为图像通道数,W为图像的宽,H为图像的高;提取图像视觉特征/>其中k为特征维度,N对应了预训练的Stylegan模型的层数;
提取图像视觉特征的输入图像为高清图像,得到的图像视觉特征作为教师特征,并相对低分辨率输入图像得到的图像视觉特征具有更准确的属性信息。
可选地,所述图像恢复网络为一个预训练的Stylegan模型,该模型将融合特征映射为输出图像,所述Stylegan模型经过预训练,它生成的图像具有逼真的细节,图像恢复网络的输出为整个网络的损失函数L为:
L=Lrec+λWLW+λvggLvgg,
其中,Lrec与Lvgg为S14中的图像恢复网络的损失函数,LW为S13中的特征融合网络的损失函数,λW和λvgg为平衡几个损失的权重,其中C为图像通道数,W为图像的宽,H为图像的高。
本发明还提供一种人脸图像超分辨率系统,包括:
属性标签提取优化模块,该模块对输入的人脸属性标签信息,利用全连接网络与激活层进行特征优化,获得属性语义特征;
图像信息提取模块,该模块对输入图像利用卷积神经网络提取视觉特征;
特征融合模块,该模块使用特征融合网络,利用所述属性标签提取优化模块优化后的属性语义特征以及所述图像信息提取模块提取的视觉特征进行特征融合得到融合特征,并在训练时获取教师特征与使用属性法向量约束,保持所述融合特征的属性准确性;
图像恢复模块,该模块使用图像恢复网络将所述特征融合模块得到的融合特征映射为输出图像,优化生成图像的细节信息。
相较于现有技术,本发明实施例具有以下至少一种优点:
(1)本发明提供的基于预训练生成模型的人脸图像超分辨方法及系统,通过预训练的图像恢复网络,生成具有细节的高分辨率图像,改善了现有技术生成高分辨率图像模糊的问题。
(2)本发明提供的基于预训练生成模型的人脸图像超分辨方法及系统,使用人脸属性语义信息作为输入。这一输入使网络能够准确地得到输入图像的属性语义信息,生成属性准确的高分辨率人脸图像。
(3)本发明提供的基于预训练生成模型的人脸图像超分辨方法及系统,获取教师特征与属性法向量,利用两者构建属性,损失促进了网络对输入人脸图像属性特征的学习。
附图说明
下面结合附图对本发明的实施方式作进一步说明:
图1为本发明一实施例的基于预训练生成模型的人脸图像超分辨方法的流程图;
图2为本发明一实施例的基于预训练生成模型的人脸图像超分辨系统的框图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。以下没有详细说明的部分可以采用现有技术实现。
如图1所示,为本发明一实施例的基于预训练生成模型的人脸图像超分辨方法的流程图。
请参考图1,本实施例的基于预训练生成模型的人脸图像超分辨方法包括:
S11:对输入的人脸属性标签信息,利用全连接网络与激活层进行特征优化,获得属性语义特征;
S12:对输入图像利用卷积神经网络提取视觉特征;
S13:使用特征融合网络,利用所述S11优化后的语义特征以及S12得到的视觉特征进行特征融合,并在训练时获取教师特征与使用属性法向量约束,保持融合特征的属性准确性;
S14:使用预训练的图像恢复网络将融合特征映射为输出图像,优化生成图像的细节信息。
本发明上述实施例,采用预训练的图像恢复网络,它生成的图像具有逼真的细节,生成的人脸高清图像具有属性保持与细节。
较佳实施例中,S11中,若干层全连接层和激活层提取输入属性标签的属性语义特征。输入属性标签向量为其中Cf为数据集中的输入属性类别数量。经过若干层全连接层和激活层提取优化的语义特征/>其中k为特征维度,N对应了预训练的Stylegan模型的层数。
较佳实施例中,S12对输入图像利用卷积神经网络提取视觉特征。输入低清图像为其中C为图像通道数,W为图像的宽,H为图像的高。通过图像信息提取得到图像视觉特征/>其中k为特征维度,N对应了预训练的Stylegan模型的层数。
较佳实施例中,S13的特征融合网络利用全连接网络与激活层进行特征融合。输入语义特征与图像视觉特征/>通过特征融合获得融合特征/>在训练时利用教师特征对特征融合网络进行监督。输入高清图像为/>其中C为图像通道数,W为图像的宽,H为图像的高。利用图像信息提取技术提取图像视觉特征/>其中k为特征维度,N对应了预训练的Stylegan模型的层数。由于输入图像信息提取的图像为高清图像,其得到的图像视觉特征可作为教师特征,并相对低清输入图像得到的图像视觉特征具有更准确的属性信息。在训练时将融合特征与教师特征通过属性法向量约束,优化提取的融合特征。将教师特征根据其对应的属性标签,使用SVM支持向量机方法训练获得属性超平面,将超平面对应的法向量作为属性法向量/>训练时,约束融合特征与教师特征在属性法向量上距离尽量小。计算如下损失函数:
其中,WSr为特征融合网络所预测的融合特征,WHr为输入高清图像利用图像信息提取所预测的教师特征。通过最小化该损失函数学习对于人脸属性的预测,以便能够约束生成图像与目标图像相近。
较佳实施例中,S14的图像恢复网络使用一个预训练的Stylegan模型将融合特征映射为输出图像,由于Stylegan模型经过预训练,它生成的图像具有逼真的细节,图像恢复网络的输出为通过以下损失函数,将损失传递给S11-S13步骤,指导这三个步骤学习:
Lrec=‖Sr-Hr‖2,
通过最小化该损失函数学习对于输入低分辨率图像恢复为高分辨率图像。为了使生成的图像具有更逼真的细节,使用了一个在imagenet数据集上预训练的vgg网络,并使用其网络第五层的输出计算损失函数:
其中,Sr为图像恢复网络所预测的图像,Hr为输入低分辨率图像所对应的高分辨率图像。
整个网络(S11-S14)的损失函数如下:
L=Lrec+λWLW+λvggLvgg,
其中,Lrec与Lvgg为S14中的图像恢复网络的损失函数,LW为S13中的特征融合网络的损失函数,λW和λvgg为平衡几个损失的权重,在一实施例中可以取值:λW=0.01,λvgg=0.01。
本发明上述较佳实施例中,通过输入人脸属性信息,获取准确的人脸属性信息;通过获取教师特征与属性法向量,使网络更好地生成人脸属性;通过预训练的生成模型,帮助网络生成具有细节的高分辨率图像。
本发明上述实施例中,使用了一个预训练的图像恢复网络提供丰富的先验信息,能够在图像超分辨率任务中取得更好的效果,尤其在输入图像受损严重时。另外,本发明上述实施例中使用获取的教师特征指导S11,S12,S13训练,更容易训练。
如图2所示为本发明一实施例的基于预训练生成模型的人脸图像超分辨系统的框图。
请参考图2,本实施例的基于预训练生成模型的人脸图像超分辨系统用于实现上述实施例的基于预训练生成模型的人脸图像超分辨方法,其包括:属性信息提取优化模块、图像信息提取模块、特征融合模块、图像恢复模块。属性标签提取优化模块对输入的人脸属性标签信息,利用全连接网络与激活层进行特征优化,获得属性语义特征;图像信息提取模块对输入图像利用卷积神经网络提取视觉特征;特征融合模块使用特征融合网络,利用所述属性标签提取优化模块优化后的属性语义特征以及所述图像信息提取模块提取的视觉特征进行特征融合得到融合特征,并在训练时获取教师特征与使用属性法向量约束,保持所述融合特征的属性准确性;图像恢复模块使用图像恢复网络将所述特征融合模块得到的融合特征映射为输出图像,优化生成图像的细节信息。
可选地,属性信息提取优化模块对输入属性标签向量为其中Cf为数据集中的输入属性类别数量。使用全连接层与激活层训练,优化后的语义特征/>其中k为特征维度,N对应了预训练的Stylegan模型的层数。
可选地,图像信息提取模块使用卷积神经网络提取视觉特征。输入低分辨率图像为其中C为图像通道数,W为图像的宽,H为图像的高。利用图像信息提取技术提取图像视觉特征/>其中k为特征维度,N对应了预训练的Stylegan模型的层数。
可选地,特征融合模块的特征融合网络利用全连接网络与激活层进行特征融合。输入语义特征与图像视觉特征/>通过特征融合获得融合特征/>在训练时利用教师特征对特征融合网络进行监督。输入高清图像为/>其中C为图像通道数,W为图像的宽,H为图像的高。利用图像信息提取提取图像视觉特征/>其中k为特征维度,N对应了预训练的Stylegan模型的层数。由于输入图像信息提取的图像为高清图像,其得到的图像视觉特征可作为教师特征,并相对低清输入图像得到的图像视觉特征具有更准确的属性信息。在训练时将融合特征与教师特征通过属性法向量约束,优化提取的融合特征。将教师特征根据其对应的属性标签,使用SVM支持向量机方法训练获得属性超平面,将超平面对应的法向量作为属性法向量/>训练时,约束融合特征与教师特征在属性法向量上距离尽量小。计算如下损失函数:
其中,WSr为特征融合网络所预测的融合特征,WHr为输入高清图像利用图像信息提取所预测的教师特征。通过最小化该损失函数学习对于人脸属性的预测。
可选地,图像恢复模块利用一个预训练的Stylegan模型将融合特征映射为输出图像,由于Stylegan模型经过预训练,它生成的图像具有逼真的细节,图像恢复的输出为通过以下损失函数,将损失传递给属性信息提取优化模块、图像信息提取模块、特征融合模块,指导学习:
Lrec=‖Sr-Hr‖2,
通过最小化该损失函数学习对于输入低分辨率图像恢复为高清图像。为了使生成的图像具有更逼真的细节,使用了一个在imagenet数据集上预训练的vgg网络,并使用其网络第五层的输出计算损失函数:
其中,Sr为图像恢复网络所预测的图像,Hr为输入低分辨率图像所对应的高分辨率图像。
上述各个模块所采用的技术可以参照人脸图像超分辨方法的说明,在此不再赘述。
综上,上述实施例提供的人脸图像超分辨方法及系统,输入人脸属性信息与低分辨率图像,利用教师特征进行监督,并使用预训练的生成网络,使人脸超分辨网络的性能得到提升。输入属性标签信息通过属性标签信息提取优化得到属性语义特征,输入低分辨率图像通过图像信息提取得到图像视觉特征,两者通过特征融合得到融合特征,最后经过图像恢复得到人脸属性准确的高分辨率图像。
需要说明的是,本发明提供的所述方法中的步骤,可以利用所述系统中对应的模块、装置、单元等予以实现,本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程,即,所述系统中的实施例可理解为实现所述方法的优选例,在此不予赘述。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的系统及其各项装置可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
此处公开的仅为本发明的优选实施例,本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化,均应落在本发明所保护的范围内。
Claims (5)
1.一种人脸图像超分辨率方法,其特征在于,包括:
对输入的人脸属性标签信息,利用全连接网络与激活层进行特征优化,获得属性语义特征;
对输入图像利用卷积神经网络提取视觉特征;
使用特征融合网络,利用优化后的所述属性语义特征以及提取的所述视觉特征进行特征融合得到融合特征,并在训练时获取教师特征与使用属性法向量约束,保持所述融合特征的属性准确性;
使用预训练的图像恢复网络将所述融合特征映射为输出图像,优化生成图像的细节信息;
所述在训练时获取教师特征与使用属性法向量约束,通过所述教师特征对特征融合网络进行监督,其中:
输入高清图像其中C为图像通道数,W为图像的宽,H为图像的高;提取图像视觉特征/>其中k为特征维度,N对应了预训练的图像恢复网络的网络层数的层数,/>为实数域;
提取图像视觉特征的输入图像为高清图像,得到的图像视觉特征作为教师特征,比相对低分辨率输入图像得到的图像视觉特征具有更准确的属性信息;
所述在训练时获取教师特征与使用属性法向量约束,优化提取的融合特征,其中:
将教师特征根据其对应的属性标签,使用SVM支持向量机方法训练获得属性超平面,将超平面对应的法向量作为属性法向量训练时,约束融合特征与教师特征在属性法向量上距离尽量小,计算如下损失函数LW:
其中,WSr为特征融合网络所预测的融合特征,WHr为输入高清图像进行图像信息提取所预测的教师特征,通过最小化上述损失函数LW学习对于人脸属性的预测;
所述图像恢复网络为一个预训练的Stylegan模型,该模型将融合特征映射为输出图像,所述Stylegan模型经过预训练,它生成的图像具有逼真的细节,图像恢复网络的输出为整个网络的损失函数L为:
L=Lrec+λWLW+λvggLvgg,
其中,Lrec与Lvgg为S14中的图像恢复网络的损失函数,LW为S13中的特征融合网络的损失函数,λW和λvgg为平衡几个损失的权重,其中C为图像通道数,W为图像的宽,H为图像的高;
所述图像恢复网络具有如下损失函数Lrec:
Lrec=||Sr-Hr||2,
其中,Sr为图像恢复网络所预测的图像,Hr为输入低清图像所对应的高清图像;通过最小化该损失函数Lrec学习对于输入低清图像恢复为高清图像;
所述图像恢复网络为了使生成的图像具有更逼真的细节,使用一个在imagenet数据集上预训练的vgg网络,并使用其网络第五层的输出计算损失函数Lvgg:
其中,Sr为图像恢复网络所预测的图像,Hr为输入低清图像所对应的高清图像;通过最小化该损失函数Lvgg学习对于输入低分辨率图像恢复为具有细节的高分辨率图像。
2.根据权利要求1所述的人脸图像超分辨率方法,其特征在于,所述利用全连接网络与激活层进行特征优化,获得属性语义特征,包括:
输入人脸属性标签信息其中Cf为数据集中的输入属性类别数量,所述数据集为人脸图像与人脸属性标签对应的数据集;利用全连接网络与激活层进行特征优化后的语义特征为/>其中k为特征维度,N对应预训练的图像恢复网络的网络层数,为实数域。
3.根据权利要求1所述的人脸图像超分辨率方法,其特征在于,所述对输入图像利用卷积神经网络提取视觉特征,包括:
输入低分辨率图像其中C为图像通道数,W为图像的宽,H为图像的高,利用卷积神经网络提取图像视觉特征/>其中k为特征维度,N对应预训练的图像恢复网络的网络层数。
4.根据权利要求1所述的人脸图像超分辨率方法,其特征在于,所述使用特征融合网络,利用优化后的所述属性语义特征以及提取的所述视觉特征进行特征融合得到融合特征,其中,
输入语义特征与图像视觉特征/>通过特征融合获得融合特征其中k为特征维度,N对应预训练的图像恢复网络的网络层数。
5.一种人脸图像超分辨率系统,其特征在于,包括:
属性标签提取优化模块,该模块对输入的人脸属性标签信息,利用全连接网络与激活层进行特征优化,获得属性语义特征;
图像信息提取模块,该模块对输入图像利用卷积神经网络提取视觉特征;
特征融合模块,该模块使用特征融合网络,利用所述属性标签提取优化模块优化后的属性语义特征以及所述图像信息提取模块提取的视觉特征进行特征融合得到融合特征,并在训练时获取教师特征与使用属性法向量约束,保持所述融合特征的属性准确性;
图像恢复模块,该模块使用图像恢复网络将所述特征融合模块得到的融合特征映射为输出图像,优化生成图像的细节信息;
所述特征融合模块,在训练时获取教师特征与使用属性法向量约束,通过所述教师特征对特征融合网络进行监督,其中:
输入高清图像其中C为图像通道数,W为图像的宽,H为图像的高;提取图像视觉特征/>其中k为特征维度,N对应了预训练的图像恢复网络的网络层数的层数,/>为实数域;
提取图像视觉特征的输入图像为高清图像,得到的图像视觉特征作为教师特征,比相对低分辨率输入图像得到的图像视觉特征具有更准确的属性信息;
所述在训练时获取教师特征与使用属性法向量约束,优化提取的融合特征,其中:
将教师特征根据其对应的属性标签,使用SVM支持向量机方法训练获得属性超平面,将超平面对应的法向量作为属性法向量训练时,约束融合特征与教师特征在属性法向量上距离尽量小,计算如下损失函数LW:
其中,WSr为特征融合网络所预测的融合特征,WHr为输入高清图像进行图像信息提取所预测的教师特征,通过最小化上述损失函数LW学习对于人脸属性的预测;
所述图像恢复网络为一个预训练的Stylegan模型,该模型将融合特征映射为输出图像,所述Stylegan模型经过预训练,它生成的图像具有逼真的细节,图像恢复网络的输出为整个网络的损失函数L为:
L=Lrec+λWLW+λvggLvgg,
其中,Lrec与Lvgg为S14中的图像恢复网络的损失函数,LW为S13中的特征融合网络的损失函数,λW和λvgg为平衡几个损失的权重,其中C为图像通道数,W为图像的宽,H为图像的高;
所述图像恢复网络具有如下损失函数Lrec:
Lrec=‖Sr-Hr‖2,
其中,Sr为图像恢复网络所预测的图像,Hr为输入低清图像所对应的高清图像;通过最小化该损失函数Lrec学习对于输入低清图像恢复为高清图像;
所述图像恢复网络为了使生成的图像具有更逼真的细节,使用一个在imagenet数据集上预训练的vgg网络,并使用其网络第五层的输出计算损失函数Lvgg:
其中,Sr为图像恢复网络所预测的图像,Hr为输入低清图像所对应的高清图像;通过最小化该损失函数Lvgg学习对于输入低分辨率图像恢复为具有细节的高分辨率图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110749972.0A CN113628107B (zh) | 2021-07-02 | 2021-07-02 | 人脸图像超分辨率方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110749972.0A CN113628107B (zh) | 2021-07-02 | 2021-07-02 | 人脸图像超分辨率方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113628107A CN113628107A (zh) | 2021-11-09 |
CN113628107B true CN113628107B (zh) | 2023-10-27 |
Family
ID=78378891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110749972.0A Active CN113628107B (zh) | 2021-07-02 | 2021-07-02 | 人脸图像超分辨率方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113628107B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115205117B (zh) * | 2022-07-04 | 2024-03-08 | 中国电信股份有限公司 | 图像重建方法及装置、计算机存储介质、电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
CN109615582A (zh) * | 2018-11-30 | 2019-04-12 | 北京工业大学 | 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 |
CN110580680A (zh) * | 2019-09-09 | 2019-12-17 | 武汉工程大学 | 基于组合学习的人脸超分辨率方法及装置 |
CN110610464A (zh) * | 2019-08-15 | 2019-12-24 | 天津中科智能识别产业技术研究院有限公司 | 一种基于稠密残差神经网络的人脸图像超分辨率方法 |
CN110706157A (zh) * | 2019-09-18 | 2020-01-17 | 中国科学技术大学 | 一种基于身份先验生成对抗网络的人脸超分辨率重建方法 |
CN111080521A (zh) * | 2019-12-12 | 2020-04-28 | 天津中科智能识别产业技术研究院有限公司 | 一种基于结构先验的人脸图像超分辨率方法 |
-
2021
- 2021-07-02 CN CN202110749972.0A patent/CN113628107B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
CN109615582A (zh) * | 2018-11-30 | 2019-04-12 | 北京工业大学 | 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 |
CN110610464A (zh) * | 2019-08-15 | 2019-12-24 | 天津中科智能识别产业技术研究院有限公司 | 一种基于稠密残差神经网络的人脸图像超分辨率方法 |
CN110580680A (zh) * | 2019-09-09 | 2019-12-17 | 武汉工程大学 | 基于组合学习的人脸超分辨率方法及装置 |
CN110706157A (zh) * | 2019-09-18 | 2020-01-17 | 中国科学技术大学 | 一种基于身份先验生成对抗网络的人脸超分辨率重建方法 |
CN111080521A (zh) * | 2019-12-12 | 2020-04-28 | 天津中科智能识别产业技术研究院有限公司 | 一种基于结构先验的人脸图像超分辨率方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113628107A (zh) | 2021-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2023056889A1 (zh) | 模型训练和场景识别方法、装置、设备及介质 | |
WO2021093435A1 (zh) | 语义分割网络结构的生成方法、装置、设备及存储介质 | |
CN111079532B (zh) | 一种基于文本自编码器的视频内容描述方法 | |
Kim et al. | Beyond classification: Directly training spiking neural networks for semantic segmentation | |
CN110276354B (zh) | 一种高分辨率街景图片语义分割训练与实时分割方法 | |
Cadena et al. | Pedestrian graph: Pedestrian crossing prediction based on 2d pose estimation and graph convolutional networks | |
US11983903B2 (en) | Processing images using self-attention based neural networks | |
Shi et al. | Face hallucination by attentive sequence optimization with reinforcement learning | |
CN111062395B (zh) | 一种实时的视频语义分割方法 | |
CN112200266B (zh) | 基于图结构数据的网络训练方法、装置以及节点分类方法 | |
CN111784623A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
JP2020507824A (ja) | 電子装置及びその制御方法 | |
CN113516133B (zh) | 一种多模态图像分类方法及系统 | |
CN111696110A (zh) | 场景分割方法及系统 | |
Straka et al. | PreCNet: Next-frame video prediction based on predictive coding | |
CN114565087B (zh) | 一种人物意图推理方法、装置、设备及存储介质 | |
CN113628107B (zh) | 人脸图像超分辨率方法和系统 | |
CN113065496B (zh) | 神经网络机器翻译模型训练方法、机器翻译方法和装置 | |
CN115292439A (zh) | 一种数据处理方法及相关设备 | |
Li et al. | Holoparser: Holistic visual parsing for real-time semantic segmentation in autonomous driving | |
CN114155560B (zh) | 基于空间降维的高分辨率人体姿态估计模型的轻量化方法 | |
CN114120076A (zh) | 基于步态运动估计的跨视角视频步态识别方法 | |
CN113822790A (zh) | 一种图像处理方法、装置、设备及计算机可读存储介质 | |
CN111898456B (zh) | 基于多层次注意力机制的文本修改图片网络模型训练方法 | |
CN117456176A (zh) | 一种实现视频图像时域一致性语义分割的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |