CN114170108B - 基于人脸退化模型迁移的自然场景图像盲复原系统 - Google Patents

基于人脸退化模型迁移的自然场景图像盲复原系统 Download PDF

Info

Publication number
CN114170108B
CN114170108B CN202111525479.7A CN202111525479A CN114170108B CN 114170108 B CN114170108 B CN 114170108B CN 202111525479 A CN202111525479 A CN 202111525479A CN 114170108 B CN114170108 B CN 114170108B
Authority
CN
China
Prior art keywords
degradation
image
quality
features
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111525479.7A
Other languages
English (en)
Other versions
CN114170108A (zh
Inventor
李晓明
左旺孟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202111525479.7A priority Critical patent/CN114170108B/zh
Publication of CN114170108A publication Critical patent/CN114170108A/zh
Application granted granted Critical
Publication of CN114170108B publication Critical patent/CN114170108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于人脸退化模型迁移的自然场景图像盲复原系统，属于图像复原技术领域。本发明针对低质量的自然场景图像由于无法模拟其真实退化过程而无法获得满意的复原结果的问题。包括：采用退化表示学习网络由真实低质量人脸图像样本和对应的复原后高质量人脸图像样本模拟图像真实退化过程，获得图像退化表示特征；采用退化图像生成网络通过退化表示特征控制退化过程获得新生成退化人脸图像；再由高质量自然图像通过退化表示特征控制自然图像退化过程，获得退化后低质量自然图像；再由采集的高质量自然图像与退化后目标场景低质量自然图像形成的数据对，对通用场景复原网络进行训练，获得目标场景复原网络。本发明用于真实场景下低质量自然图像的复原。

Description

基于人脸退化模型迁移的自然场景图像盲复原系统
技术领域
本发明涉及基于人脸退化模型迁移的自然场景图像盲复原系统，属于图像复原技术领域。
背景技术
真实低质量的自然场景图像由于其复杂的退化类型无法确定，使得现有以数据驱动的复原网络无法模拟其真实退化过程，进而无法取得令人满意的复原结果。
人脸图像由于固定的五官形成了独特的结构先验，使得可以采用人脸图像盲复原技术复原真实场景的低质量人脸图像，并且复原结果与真实高质量图像相差无几。
因此，需要提供一种自然场景图像盲复原系统，能够借助人脸图像的退化过程对低质量的自然场景图像进行复原。
发明内容
针对现有低质量的自然场景图像由于无法模拟其真实退化过程，因而无法获得满意的复原结果的问题，本发明提供一种基于人脸退化模型迁移的自然场景图像盲复原系统。
本发明的一种基于人脸退化模型迁移的自然场景图像盲复原系统，包括，
退化表示学习网络，用于根据真实低质量人脸图像样本和对应的复原后高质量人脸图像样本，模拟复原后高质量人脸图像样本退化为真实低质量人脸图像样本的过程，获得图像退化表示特征，并完成网络的训练；
退化表示池，将每张真实低质量人脸图像样本和对应的复原后高质量人脸图像样本作为一个数据对，每个数据对对应一个退化表示特征，由所有的退化表示特征形成退化表示池；
退化图像生成网络，用于根据相应的退化表示特征对复原后高质量人脸图像样本进行退化处理，获得趋近于真实低质量人脸图像样本的新生成退化人脸图像，并完成网络的训练；
退化图像生成网络再由退化表示池随机获取一个退化表示特征，对采集的高质量自然图像进行退化处理，获得退化后低质量自然图像；
通用场景复原网络，采用采集的高质量自然图像与退化后低质量自然图像形成的数据对，完成对通用场景复原网络的训练；
目标场景退化特征获得模块，将目标场景低质量人脸图像和复原后目标场景高质量人脸图像采用退化表示学习网络获得目标场景退化表示特征；
再采用退化图像生成网络由目标场景退化表示特征对采集的高质量自然图像进行退化处理，获得退化后目标场景低质量自然图像；
再由采集的高质量自然图像与退化后目标场景低质量自然图像形成的数据对，对通用场景复原网络进行训练，获得目标场景复原网络；目标场景复原网络用于目标场景图像的盲复原。
根据本发明的基于人脸退化模型迁移的自然场景图像盲复原系统，所述退化表示学习网络的图像处理过程包括：
对真实低质量人脸图像样本和对应的复原后高质量人脸图像样本依次进行八次卷积、归一化、激活操作，以及第一次全连接、激活、第二次全连接操作，获得图像退化表示特征。
根据本发明的基于人脸退化模型迁移的自然场景图像盲复原系统，所有归一化操作均采用普归一化；所有激活操作的激活函数均采用LeakyReLU；
其中第一次卷积操作为64个3*3，步长为1的卷积操作；
第二次卷积操作为128个3*3，步长为2的卷积操作；
第三次卷积操作为256个3*3，步长为2的卷积操作；
第四次到第八次卷积操作均为512个3*3，步长为2的卷积操作。
根据本发明的基于人脸退化模型迁移的自然场景图像盲复原系统，退化图像生成网络获得趋近于真实低质量人脸图像样本的新生成退化人脸图像的过程包括：
将复原后高质量人脸图像样本进行随机裁剪，获得预期尺寸的图像块；
对所有图像块依次进行七次卷积、归一化、激活操作；
并在第二次卷积、归一化、激活操作后，获得尺度为1的高质量人脸特征；
在第三次卷积、归一化、激活操作后，获得尺度为2的高质量人脸特征；
在第四次卷积、归一化、激活操作后，获得尺度为3的高质量人脸特征；
在第五次卷积、归一化、激活操作后，获得尺度为4的高质量人脸特征；
在第六次卷积、归一化、激活操作后，获得尺度为5的高质量人脸特征；
在第七次卷积、归一化、激活操作后，获得尺度为6的高质量人脸特征。
根据本发明的基于人脸退化模型迁移的自然场景图像盲复原系统，退化图像生成网络中：
所有归一化操作均采用普归一化；所有激活操作的激活函数均采用LeakyReLU；
其中第一次卷积操作为64个3*3，步长为1的卷积操作；
第二次卷积操作为128个3*3，步长为2的卷积操作；
第三次卷积操作为256个3*3，步长为2的卷积操作；
第四次到第七次卷积操作均为512个3*3，步长为2的卷积操作。
根据本发明的基于人脸退化模型迁移的自然场景图像盲复原系统，退化图像生成网络中：
对退化表示学习网络获得的图像退化表示特征依次进行P次全连接层操作，获得退化风格特征；其中P为大于1的整数；
将尺度为6的高质量人脸特征与退化风格特征进行调制卷积操作，获得尺度为6的低质量人脸特征；
将尺度为6的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为5的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为5的低质量人脸特征；
将尺度为5的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为4的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为4的低质量人脸特征；
将尺度为4的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为3的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为3的低质量人脸特征；
将尺度为3的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为2的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为2的低质量人脸特征；
将尺度为2的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为1的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为1的低质量人脸特征；
由所有图像块获得的尺度为1的低质量人脸特征组合后获得趋近于真实低质量人脸图像样本的新生成退化人脸图像。
本发明的有益效果：本发明探索了人脸图像的真实退化过程，即从高质量人脸图像退化为低质量人脸图像的过程入手，获得退化过程的表征。再将退化过程的表征迁移到自然场景中，来有效地模拟真实低质量自然图像合成过程。
对于一些特定场景，例如老电影，人脸图像通常与同一场景的非人脸区域经历相似的退化过程，因此通过其中的人脸图像获得该场景的退化表示，再将该场景的退化表示应用到高质量自然场景图像中，获得对应的低质量自然场景图像，再用来训练盲复原网络，最终获得目标场景复原网络。从而使目标场景复原网络提高了对目标场景的特定复原能力。
本发明方法最终获得的目标场景复原网络可用于真实低质量自然图像的合成以及复原。
附图说明
图1是本发明所述基于人脸退化模型迁移的自然场景图像盲复原系统的流程框图；
图2是采集的目标场景真实低质量图像；
图3是采用本发明方法对图2的复原结果；
图4是图2中对应于人脸区域的复原前后对比图；
图5是采集的高质量自然图像与将目标场景退化表示特征迁移到采集的高质量自然图像后获得的退化后目标场景低质量自然图像的对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一、结合图1至图5所示，本发明提供了一种基于人脸退化模型迁移的自然场景图像盲复原系统，包括，
退化表示学习网络100，用于根据真实低质量人脸图像样本和对应的复原后高质量人脸图像样本，模拟复原后高质量人脸图像样本退化为真实低质量人脸图像样本的过程，获得图像退化表示特征，该退化表示特征能够控制图像退化过程，并完成网络的训练；它能够模拟人脸图像的真实退化过程，控制退化图像的生成；训练的过程，相当于获取退化表示特征参数的过程；真实低质量人脸图像样本和对应的复原后高质量人脸图像样本的尺寸可以表示为(W,W)；
退化表示池200，将每张真实低质量人脸图像样本和对应的复原后高质量人脸图像样本作为一个数据对，每个数据对对应一个退化表示特征，由所有的退化表示特征形成退化表示池；所有的退化表示特征在退化表示池200内进行离线存储；
退化图像生成网络300，用于根据相应的退化表示特征对复原后高质量人脸图像样本进行退化处理，获得趋近于真实低质量人脸图像样本的新生成退化人脸图像，并完成网络的训练；该网络获得的新生成退化人脸图像是在相应的控制下获得的，控制的目的是使新生成退化人脸图像尽量与真实低质量人脸图像样本吻合，从而使网络性能更可靠；
退化图像生成网络300再由退化表示池200随机获取一个退化表示特征，对采集的高质量自然图像进行退化处理，获得退化后低质量自然图像；由采集的高质量自然图像获得退化后低质量自然图像可以采用任意基于数据驱动的复原网络实现；
通用场景复原网络400，采用采集的高质量自然图像与退化后低质量自然图像形成的数据对，完成对通用场景复原网络400的训练；通用场景复原网络400作为自然图像盲复原的基础网络；
目标场景退化特征获得模块500，将目标场景低质量人脸图像和复原后目标场景高质量人脸图像采用退化表示学习网络100获得目标场景退化表示特征；目标场景包括老电影中的场景；目标场景退化表示特征与目标场景自然影像的退化形势一致；
再采用退化图像生成网络300由目标场景退化表示特征对采集的高质量自然图像进行退化处理，获得退化后目标场景低质量自然图像；
再由采集的高质量自然图像与退化后目标场景低质量自然图像形成的数据对，对通用场景复原网络400进行训练，获得目标场景复原网络600；目标场景复原网络600用于目标场景图像的盲复原。
目标场景复原网络600由该场景中存在的真实低质量人脸和复原后高质量人脸提取的真实退化表示，迁移到自然场景中，获得该特定场景的特定退化表示，获得相似退化的自然图像低质量/高质量数据对；相当于对通用场景复原网络400采用该场景的自然图像低质量/高质量数据对进行特定微调，获得最终的目标场景复原网络600。
本实施方式的整体思路是，由于人脸图像复原已经是成熟的复原技术，因此借助于高清与低质量人脸图像，获得对应的退化表示特征；然后用获得的退化表示特征再对高清自然场景图像进行处理，获得低质量自然场景图像；然后再利用自然场景图像退化过程中产生的退化参数作用到目标场景图像，获得复原前与复原后的数据对，实现对相应网络的训练，最后获得可用于目标场景任意图像盲复原的复原网络。
本实施方式中，真实低质量人脸图像样本和对应的复原后高质量人脸图像样本可以采用已有的人脸复原系统处理获得；在目标场景退化表示特征获得模块500中，获得的目标场景低质量人脸图像和复原后目标场景高质量人脸图像也是对目标场景图像进行采集后采用已有的复原系统进行处理后获得。这是由于人脸图像的盲复原技术比较成熟，因此，对目标场景的盲复原依然采用由人脸图像获得的目标场景退化表示特征作为基础，再进行真实目标场景自然图像的盲复原。
进一步，所述退化表示学习网络100的图像处理过程包括：
对真实低质量人脸图像样本和对应的复原后高质量人脸图像样本依次进行八次卷积、归一化、激活操作，以及第一次全连接、激活、第二次全连接操作，获得图像退化表示特征。
具体为：第一次卷积、归一化、激活操作；第二次卷积、归一化、激活操作；第三次卷积、归一化、激活操作；第四次卷积、归一化、激活操作；第五次卷积、归一化、激活操作；第六次卷积、归一化、激活操作；第七次卷积、归一化、激活操作；第八次卷积、归一化、激活操作。
第一次全连接、激活、第二次全连接操作，可获得1*N维的退化表示特征。
再进一步，所有归一化操作均采用普归一化；所有激活操作的激活函数均采用LeakyReLU；
其中第一次卷积操作为64个3*3，步长为1的卷积操作；
第二次卷积操作为128个3*3，步长为2的卷积操作；
第三次卷积操作为256个3*3，步长为2的卷积操作；
第四次到第八次卷积操作均为512个3*3，步长为2的卷积操作。
再进一步，退化图像生成网络300获得趋近于真实低质量人脸图像样本的新生成退化人脸图像的过程包括：
将复原后高质量人脸图像样本进行随机裁剪，获得预期尺寸的图像块；图像块的尺寸可以为(W//2，W//2)；
对所有图像块依次进行七次卷积、归一化、激活操作；
并在第二次卷积、归一化、激活操作后，获得尺度为1的高质量人脸特征；
在第三次卷积、归一化、激活操作后，获得尺度为2的高质量人脸特征；
在第四次卷积、归一化、激活操作后，获得尺度为3的高质量人脸特征；
在第五次卷积、归一化、激活操作后，获得尺度为4的高质量人脸特征；
在第六次卷积、归一化、激活操作后，获得尺度为5的高质量人脸特征；
在第七次卷积、归一化、激活操作后，获得尺度为6的高质量人脸特征。
再进一步，退化图像生成网络300中：
所有归一化操作均采用普归一化；所有激活操作的激活函数均采用LeakyReLU；
其中第一次卷积操作为64个3*3，步长为1的卷积操作；
第二次卷积操作为128个3*3，步长为2的卷积操作；
第三次卷积操作为256个3*3，步长为2的卷积操作；
第四次到第七次卷积操作均为512个3*3，步长为2的卷积操作。
再进一步，退化图像生成网络300中：
对退化表示学习网络100获得的图像退化表示特征依次进行P次全连接层操作，获得退化风格特征；其中P为大于1的整数；
将尺度为6的高质量人脸特征与退化风格特征进行调制卷积操作，获得尺度为6的低质量人脸特征；
将尺度为6的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为5的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为5的低质量人脸特征；
将尺度为5的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为4的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为4的低质量人脸特征；
将尺度为4的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为3的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为3的低质量人脸特征；
将尺度为3的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为2的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为2的低质量人脸特征；
将尺度为2的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为1的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为1的低质量人脸特征；
由所有图像块获得的尺度为1的低质量人脸特征组合后获得趋近于真实低质量人脸图像样本的新生成退化人脸图像。
再进一步，所述退化表示特征包括：
其中为样本数据的图像退化表示特征，/>为退化表示学习网络100，/>为真实低质量人脸图像样本，/>为复原后高质量人脸图像样本，ΘDeg为退化表示学习网络(100)的可学习参数；
为采用退化表示学习网络(100)由复原后高质量人脸图像样本/>进行传统退化操作获得传统人脸退化图像/>的约束退化表示特征一；传统人脸退化图像/>为对复原后高质量人脸图像样本/>进行包含随机模糊、降采样、噪声及压缩等传统退化操作获得的合成退化图像；
为采用退化表示学习网络(100)由采集的高质量自然图像/>进行传统退化操作获得传统自然退化图像/>的约束退化表示特征二。传统自然退化图像/>为对采集的高质量自然图像/>进行包含随机模糊、降采样、噪声及压缩等传统退化操作获得的合成退化图像；
其中退化到/>与/>退化到/>具有一样的退化过程和参数。
再进一步，退化表示学习网络100和退化图像生成网络300的学习目标函数，包括解耦损失，用来将退化表示与图像内容进行解耦；
采用解耦损失将退化表示特征与相应的高质量图像进行解耦，获得相应的低质量图像；解耦损失为：
式中λ为损失权重，∈为常量，∈＝1e-6。
约束经过相同退化但具有不同内容的人脸和自然图得到的退化表示接近，同时使得具有相同内容但是具有不同退化类型的人脸图像尽可能远，进行约束退化学习网络获得与内容无关只与退化形式有关的退化类型表示。
再进一步，退化图像生成网络300包括重建损失，包括：
1)定义在像素域和特征域的均方根误差损失
式中为退化图像生成网络300的输出结果，/>表示图像的长高宽尺寸，Φi为预训练好的Vgg19模型的第i层特征；
2)真实性损失，包括风格损失和判别损失；
风格损失为：
第一判别损失和第二判别损失/>分别为：
式中D为判别器；
式中为退化图像生成网络300。
再进一步，重建损失还包括：
3)退化一致性损失约束经过相同退化的人脸图像和自然图像获得的退化表示向量和/>分别用来重建低质量自然图像和人脸图像的结果约束一致性，退化一致性损失/>为：
θSyn为为退化图像生成网络(300)的可学习参数。
本发明利用神经网络结构中卷积操作和多层卷积操作实现，并不局限于一种神经网络。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (10)

1.一种基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于包括，
退化表示学习网络(100)，用于根据真实低质量人脸图像样本和对应的复原后高质量人脸图像样本，模拟复原后高质量人脸图像样本退化为真实低质量人脸图像样本的过程，获得图像退化表示特征，并完成网络的训练；
退化表示池(200)，将每张真实低质量人脸图像样本和对应的复原后高质量人脸图像样本作为一个数据对，每个数据对对应一个退化表示特征，由所有的退化表示特征形成退化表示池；
退化图像生成网络(300)，用于根据相应的退化表示特征对复原后高质量人脸图像样本进行退化处理，获得趋近于真实低质量人脸图像样本的新生成退化人脸图像，并完成网络的训练；
退化图像生成网络(300)再由退化表示池(200)随机获取一个退化表示特征，对采集的高质量自然图像进行退化处理，获得退化后低质量自然图像；
通用场景复原网络(400)，采用采集的高质量自然图像与退化后低质量自然图像形成的数据对，完成对通用场景复原网络(400)的训练；
目标场景退化特征获得模块(500)，将目标场景低质量人脸图像和复原后目标场景高质量人脸图像采用退化表示学习网络(100)获得目标场景退化表示特征；
再采用退化图像生成网络(300)由目标场景退化表示特征对采集的高质量自然图像进行退化处理，获得退化后目标场景低质量自然图像；
再由采集的高质量自然图像与退化后目标场景低质量自然图像形成的数据对，对通用场景复原网络(400)进行训练，获得目标场景复原网络(600)；目标场景复原网络(600)用于目标场景图像的盲复原。
2.根据权利要求1所述的基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于，
所述退化表示学习网络(100)的图像处理过程包括：
对真实低质量人脸图像样本和对应的复原后高质量人脸图像样本依次进行八次卷积、归一化、激活操作，以及第一次全连接、激活、第二次全连接操作，获得图像退化表示特征。
3.根据权利要求2所述的基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于，
所有归一化操作均采用普归一化；所有激活操作的激活函数均采用LeakyReLU；
其中第一次卷积操作为64个3*3，步长为1的卷积操作；
第二次卷积操作为128个3*3，步长为2的卷积操作；
第三次卷积操作为256个3*3，步长为2的卷积操作；
第四次到第八次卷积操作均为512个3*3，步长为2的卷积操作。
4.根据权利要求3所述的基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于，退化图像生成网络(300)获得趋近于真实低质量人脸图像样本的新生成退化人脸图像的过程包括：
将复原后高质量人脸图像样本进行随机裁剪，获得预期尺寸的图像块；
对所有图像块依次进行七次卷积、归一化、激活操作；
并在第二次卷积、归一化、激活操作后，获得尺度为1的高质量人脸特征；
在第三次卷积、归一化、激活操作后，获得尺度为2的高质量人脸特征；
在第四次卷积、归一化、激活操作后，获得尺度为3的高质量人脸特征；
在第五次卷积、归一化、激活操作后，获得尺度为4的高质量人脸特征；
在第六次卷积、归一化、激活操作后，获得尺度为5的高质量人脸特征；
在第七次卷积、归一化、激活操作后，获得尺度为6的高质量人脸特征。
5.根据权利要求4所述的基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于，退化图像生成网络(300)中：
所有归一化操作均采用普归一化；所有激活操作的激活函数均采用LeakyReLU；
其中第一次卷积操作为64个3*3，步长为1的卷积操作；
第二次卷积操作为128个3*3，步长为2的卷积操作；
第三次卷积操作为256个3*3，步长为2的卷积操作；
第四次到第七次卷积操作均为512个3*3，步长为2的卷积操作。
6.根据权利要求5所述的基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于，退化图像生成网络(300)中：
对退化表示学习网络(100)获得的图像退化表示特征依次进行P次全连接层操作，获得退化风格特征；其中P为大于1的整数；
将尺度为6的高质量人脸特征与退化风格特征进行调制卷积操作，获得尺度为6的低质量人脸特征；
将尺度为6的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为5的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为5的低质量人脸特征；
将尺度为5的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为4的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为4的低质量人脸特征；
将尺度为4的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为3的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为3的低质量人脸特征；
将尺度为3的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为2的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为2的低质量人脸特征；
将尺度为2的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为1的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为1的低质量人脸特征；
由所有图像块获得的尺度为1的低质量人脸特征组合后获得趋近于真实低质量人脸图像样本的新生成退化人脸图像。
7.根据权利要求6所述的基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于，
所述退化表示特征包括：
其中为样本数据的图像退化表示特征，/>为退化表示学习网络(100)，/>为真实低质量人脸图像样本，/>为复原后高质量人脸图像样本，ΘDeg为退化表示学习网络(100)的可学习参数；
为采用退化表示学习网络(100)由复原后高质量人脸图像样本/>进行传统退化操作获得传统人脸退化图像/>的约束退化表示特征一；
为采用退化表示学习网络(100)由采集的高质量自然图像/>进行传统退化操作获得传统自然退化图像/>的约束退化表示特征二。
8.根据权利要求7所述的基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于，采用解耦损失将退化表示特征与相应的高质量图像进行解耦，获得相应的低质量图像；
解耦损失为：
式中λ为损失权重，∈为常量，∈＝1e-6。
9.根据权利要求8所述的基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于，退化图像生成网络(300)包括重建损失，包括：
1)定义在像素域和特征域的均方根误差损失
式中为退化图像生成网络(300)的输出结果，/>表示图像的长高宽尺寸，Φi为预训练好的Vgg19模型的第i层特征；
2)真实性损失，包括风格损失和判别损失；
风格损失为：
第一判别损失和第二判别损失/>分别为：
式中D为判别器；
式中为退化图像生成网络(300)。
10.根据权利要求9所述的基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于，重建损失还包括：
3)退化一致性损失
θSyn为退化图像生成网络(300)的可学习参数。
CN202111525479.7A 2021-12-14 2021-12-14 基于人脸退化模型迁移的自然场景图像盲复原系统 Active CN114170108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111525479.7A CN114170108B (zh) 2021-12-14 2021-12-14 基于人脸退化模型迁移的自然场景图像盲复原系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111525479.7A CN114170108B (zh) 2021-12-14 2021-12-14 基于人脸退化模型迁移的自然场景图像盲复原系统

Publications (2)

Publication Number Publication Date
CN114170108A CN114170108A (zh) 2022-03-11
CN114170108B true CN114170108B (zh) 2024-04-12

Family

ID=80486391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111525479.7A Active CN114170108B (zh) 2021-12-14 2021-12-14 基于人脸退化模型迁移的自然场景图像盲复原系统

Country Status (1)

Country Link
CN (1) CN114170108B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537754A (zh) * 2018-04-12 2018-09-14 哈尔滨工业大学 基于形变引导图的人脸图像复原系统
CN111260577A (zh) * 2020-01-15 2020-06-09 哈尔滨工业大学 基于多引导图和自适应特征融合的人脸图像复原系统
CN111768354A (zh) * 2020-08-05 2020-10-13 哈尔滨工业大学 基于多尺度人脸部位特征字典的人脸图像复原系统
CN113450267A (zh) * 2021-05-14 2021-09-28 桂林电子科技大学 可快速获取多种自然退化图像复原模型的迁移学习方法
CN113554569A (zh) * 2021-08-04 2021-10-26 哈尔滨工业大学 基于双记忆字典的人脸图像复原系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537754A (zh) * 2018-04-12 2018-09-14 哈尔滨工业大学 基于形变引导图的人脸图像复原系统
CN111260577A (zh) * 2020-01-15 2020-06-09 哈尔滨工业大学 基于多引导图和自适应特征融合的人脸图像复原系统
CN111768354A (zh) * 2020-08-05 2020-10-13 哈尔滨工业大学 基于多尺度人脸部位特征字典的人脸图像复原系统
CN113450267A (zh) * 2021-05-14 2021-09-28 桂林电子科技大学 可快速获取多种自然退化图像复原模型的迁移学习方法
CN113554569A (zh) * 2021-08-04 2021-10-26 哈尔滨工业大学 基于双记忆字典的人脸图像复原系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
利用BP神经网络实现监控图像盲复原;李青峰;胡访宇;;计算机仿真;20090515(第05期);全文 *
快速非均匀模糊图像的盲复原模型;程俊廷 左旺孟;《黑龙江科技大学学报》;20170331;全文 *

Also Published As

Publication number Publication date
CN114170108A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN109859147B (zh) 一种基于生成对抗网络噪声建模的真实图像去噪方法
CN107403415B (zh) 基于全卷积神经网络的压缩深度图质量增强方法及装置
Wang et al. Domain adaptation for underwater image enhancement
CN113658051A (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
CN110276753B (zh) 基于特征空间统计信息映射的目标自适应隐藏方法
CN108989731B (zh) 一种提高视频空间分辨率的方法
CN113989129A (zh) 基于门控和上下文注意力机制的图像修复方法
CN112381716B (zh) 一种基于生成式对抗网络的图像增强方法
CN112686816A (zh) 一种基于内容注意力机制和掩码先验的图像补全方法
WO2023066173A1 (zh) 图像处理方法、装置及存储介质、电子设备
CN113673675A (zh) 模型训练方法、装置、计算机设备和存储介质
CN113379715A (zh) 一种水下图像增强和数据集真值图像获得方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
Lin et al. Unsupervised image denoising in real-world scenarios via self-collaboration parallel generative adversarial branches
Gao et al. Learning to Incorporate Texture Saliency Adaptive Attention to Image Cartoonization.
CN112686817B (zh) 一种基于不确定性估计的图像补全方法
CN114494387A (zh) 一种生成数据集网络模型及雾图生成方法
CN113763268A (zh) 人脸图像盲修复方法及系统
CN114170108B (zh) 基于人脸退化模型迁移的自然场景图像盲复原系统
CN116362991A (zh) 一种基于域对齐gan先验的盲脸恢复方法
CN116228550A (zh) 一种基于生成对抗网络的图像自增强去雾算法
CN116051407A (zh) 一种图像修复方法
CN114998107A (zh) 一种图像盲超分辨网络模型、方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant