CN114202460A - 面对不同损伤图像的超分辨率高清重建方法和系统及设备 - Google Patents
面对不同损伤图像的超分辨率高清重建方法和系统及设备 Download PDFInfo
- Publication number
- CN114202460A CN114202460A CN202111435322.5A CN202111435322A CN114202460A CN 114202460 A CN114202460 A CN 114202460A CN 202111435322 A CN202111435322 A CN 202111435322A CN 114202460 A CN114202460 A CN 114202460A
- Authority
- CN
- China
- Prior art keywords
- face
- enhancement
- resolution
- loss
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006378 damage Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 81
- 230000006870 function Effects 0.000 claims description 43
- 210000000056 organ Anatomy 0.000 claims description 38
- 238000006731 degradation reaction Methods 0.000 claims description 33
- 230000015556 catabolic process Effects 0.000 claims description 32
- 230000003042 antagnostic effect Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 19
- 208000032538 Depersonalisation Diseases 0.000 claims description 18
- 230000006735 deficit Effects 0.000 claims description 17
- 230000007850 degeneration Effects 0.000 claims description 14
- 230000008447 perception Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000003062 neural network model Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 8
- 230000003902 lesion Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008439 repair process Effects 0.000 claims description 7
- 238000007635 classification algorithm Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 5
- 238000006467 substitution reaction Methods 0.000 claims description 5
- 230000003321 amplification Effects 0.000 abstract description 2
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 11
- 230000003993 interaction Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种面对不同损伤图像的超分辨率高清重建方法和系统及智能设备、介质，包括：超分增强步骤：对原始图像进行损伤去除和超分辨增强；人脸增强步骤：对超分增强步骤处理后的图像进行人脸增强，得到重建图像。本发明使用基于深度神经网络的结构，在去噪、去模糊、去伪影的同时实现图像的超分辨率放大重建，并重点针对图像中的人脸提供了基于编解码修复和生成对抗网络的人脸增强模型，以进一步提升图像中人脸的质量。
Description
技术领域
本发明涉及数字图像处理领域，具体地，涉及面对不同损伤图像的超分辨率高清重建方法和系统。
背景技术
超分辨率技术(Super-Resolution)是指从观测到的低分辨率图像重建出相应的高分辨率图像。现有技术中主要有两类技术方案。第一类技术方案未考虑到人脸识别的特殊性问题，例如文献Real-ESRGAN：Training Real-World Blind Super-Resolution withPure Synthetic Data，在人脸增强和人脸超分的问题上会引入明显的失真；其仅针对超分问题，不能在原分辨率对图像进行增强。第二类技术方案不能适用于图像中的非人脸部分，例如文献Towards Real-World Blind Face Restorat ion with Generative FacialPrior，仅针对人脸增强，不能处理图像中非人脸的部分。
此外，申请号为202011207247.2的专利文献，公开了一种多阶特征循环增强的渐进高倍人脸超分辨率系统及其方法：低分辨率人脸图像(A)、初级特征提取与上采样模块(10)、多阶特征循环增强与上采样模块(20)、残差人脸生成模块(30)、加法器模块(50)和高分辨率人脸图像(B)依次交互；低分辨率人脸图像(A)、初始人脸超分辨率模块(40)和加法器模块(50)依次交互。申请号为202010204393.3 的专利文献，采用条件增强生成对抗网络，用于人脸草图合成；所述条件增强生成对抗网络由三个相互交互的子网络组成；所述三个子网络为用于基本人脸草图合成的跨模态转换网络、用于改进人脸草图合成的单模态优化网络、用于增强人脸草图风格的感知损失网络；条件增强生成对抗网络旨在从第一阶段子网和原始照片/图像中继承更多有关基本人脸草图的视觉信息，并探索更多有效的视觉内容，以解决在高分辨率人脸草图生成过程中丢失的细节视觉表达和图像草图之间的关联性问题。但是超分增加与人脸增强两者叠加之后的最终效果仍然有待提高。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种面对不同损伤图像的超分辨率高清重建方法和系统。
根据本发明提供的一种面对不同损伤图像的超分辨率高清重建方法，包括：
超分增强步骤：对原始图像进行损伤去除和超分辨增强；
人脸增强步骤：对超分增强步骤处理后的图像进行人脸增强，得到重建图像。
优选地，在所述超分增强步骤中：
建立超分辨率网络模型，使用面向峰值信噪比的方式训练超分辨率网络模型，对于原分辨率增强和多种倍数超分的需求，分别训练对应的神经网络模型；
建立基于超分辨率网络模型的生成对抗神经网络模型，其中，生成对抗神经网络的生成器使用已建立的超分辨率网络模型，并使用已训练好的超分辨率网络模型的模型参数进行初始化；
生成对抗神经网络的鉴别器使用编解码器结构，并使用谱归一化的方法；
生成对抗神经网络的训练过程采用L1损失函数，感知损失函数和对抗损失函数，得到适用于多种不同需求各自的通用增强超分模型，其中，所述通用增强超分模型包括训练后的超分辨率网络、训练后的生成对抗神经网络；
利用所述通用增强超分模型，对原始图像进行损伤去除和超分辨增强。
优选地，在所述人脸增强步骤中：
预训练人脸生成器，使用人脸图片数据集预训练一个包含了人脸先验知识的人脸生成器；该人脸生成器根据输入的低维度高级语义特征生成对应的高维度人脸图片，其中，低维度高级语义特征由人脸编码器得到，该低维度高级语义特征只包含了与人脸增强相关的信息；
建立一个编解码器模型，将输入的低质量人脸图片进行初步损伤去除和修复，并通过编码器提取一个对应于输入图片的低维度高级语义特征；通过解码器提取对应于输入图片的多尺度细节特征；其中，编解码器具有损伤去除功能，因而提取的高级语义特征和多尺度细节特征都是基于损伤去除以后的特征；
将编码器提取的低维度高级语义特征送入已预训练好的人脸生成器中，生成对应于低维度高级语义特征的多尺度包含人脸先验的特征；
将编码器提取的多尺度细节特征和编码器提取的多尺度包含人脸先验的特细节征进行融合增强。
优选地，人脸生成器训练过程中使用的损伤函数包括：重构损失、对抗损失、身份特征损失、人脸局部器官损失；
将解码的每一个分辨率都和真实高质量图像对应分辨率的图像计算一次重构损失，重构损失函数公式如下：
Lrec表示重构损失；
λL1表示权重；
y表示真实高质量图像；
λper表示权重；
φ(y)表示真实高质量图像的VGG-19特征；
||·||1表示计算L1损失；
第一项
计算生成图像与真实高质量图像的L1损失，第二项
计算生成图像与真实高质量图像在VGG-19特征域上的L1感知损失；
对抗损失函数公式如下：
Ladv表示对抗损失；
λadv表示对抗损失的权重；
x表示待修复的人脸图片；
pdata(x)表示待修复人脸图片的数据分布；
D(·)表示鉴别器；
G(·)表示人脸增强模型；
身份特征损失公式如下：
Lid表示身份特征损失；
λid表示身份特征损失的权重；
η(·)表示预训练的人脸识别特征提取器；
计算人脸识别特征的余弦相似度替代L1损失；
人脸局部器官损失公式如下：
Lcomp表示人脸局部器官损失；
ROI表示感兴趣的区域，包括左眼、右眼以及嘴巴；
λlocal表示局部器官对抗损失的权重
DROI表示针对ROI区域的鉴别器；
λfs表示风格匹配损失的权重；
Gram(·)表示计算gram矩阵；
ψ(·)表示DROI提取的多尺度特征；
式中第一项
计算人脸局部器官的对抗损失，对于每一种区域，分别训练一个鉴别器D计算对抗损失；
式中第二项
计算人脸局部器官的风格匹配损失，提取多尺度特征，计算Gram矩阵；
在所述人脸增强步骤中：
使用对应人种的更多图片数据，在原始人脸增强模型的基础上继续训练，生成对应人种的人脸增强模型，使得对应人种的人脸增强模型的结果相比于原始人脸增强模型的结果更加具有对应人种的面部特征；
其中，对原始人脸增强模型进行调整：
通过人种分类算法对人脸数据进行分类，将人脸数据分为白色人种、黄色人种和黑色人种三类；
使用目标人种的更多数据图片，在原始人脸增强模型的基础上继续训练，对人脸增强模型进行调整，得到适用于对应人种的人脸增强模型；
在已知人种的应用场景下，使用对应人种的人脸增强模型，使结果具有更多对应人种的面部特征。
优选地，包括：
训练数据生成步骤：利用多阶段随机退化模型，生成带有各类损伤的低分辨率数据图片作为增强超分模型的训练数据；
在所述训练数据生成步骤中：
多阶段随机退化模型的阶段数目为随机的，用于模拟真实生活场景中的数目随机的损伤过程；
多阶段随机退化模型中的每个阶段的基本退化操作有：
添加随机模糊：按照设定概率随机选择一种模糊核，并随机选择模糊核的大小，对图像进行模糊；
随机缩放：随机选择一个缩放值，对图片进行缩放；
添加随机噪声：从多种类型噪声中随机产生一种强度的噪声，叠加在图片上；
添加随机JPEG损伤：对图片随机添加一种程度的JPEG损伤；
通过sinc滤波器：模拟伪影；
以设定的概率对低质量图片进行色彩退化，在一个范围内随机选择参数，分别对图像的对比度、饱和度、色调、亮度进行调整；
以设定的概率将低质量图片变成黑白图片；
其中，制作不带有色彩增强的数据集时剔除了色彩基本退化操作；在后续训练过程中，使用带有色彩增强的数据集训练带有色彩增强的模型，使用不带有色彩增强的数据集训练不带有色彩增强的模型。
根据本发明提供的一种面对不同损伤图像的超分辨率高清重建系统，包括：
超分增强模块：对原始图像进行损伤去除和超分辨增强；
人脸增强模块：对超分增强模块处理后的图像进行人脸增强，得到重建图像。
优选地，在所述超分增强模块中：
建立超分辨率网络模型，使用面向峰值信噪比的方式训练超分辨率网络模型，对于原分辨率增强和多种倍数超分的需求，分别训练对应的神经网络模型；
建立基于超分辨率网络模型的生成对抗神经网络模型，其中，生成对抗神经网络的生成器使用已建立的超分辨率网络模型，并使用已训练好的超分辨率网络模型的模型参数进行初始化；
生成对抗神经网络的鉴别器使用编解码器结构，并使用谱归一化的方法；
生成对抗神经网络的训练过程采用L1损失函数，感知损失函数和对抗损失函数，得到适用于多种不同需求各自的通用增强超分模型，其中，所述通用增强超分模型包括训练后的超分辨率网络、训练后的生成对抗神经网络；
利用所述通用增强超分模型，对原始图像进行损伤去除和超分辨增强。
优选地，在所述人脸增强模块中：
预训练人脸生成器，使用人脸图片数据集预训练一个包含了人脸先验知识的人脸生成器；该人脸生成器根据输入的低维度高级语义特征生成对应的高维度人脸图片，其中，低维度高级语义特征由人脸编码器得到，该低维度高级语义特征只包含了与人脸增强相关的信息；
建立一个编解码器模型，将输入的低质量人脸图片进行初步损伤去除和修复，并通过编码器提取一个对应于输入图片的低维度高级语义特征；通过解码器提取对应于输入图片的多尺度细节特征；其中，编解码器具有损伤去除功能，因而提取的高级语义特征和多尺度细节特征都是基于损伤去除以后的特征；
将编码器提取的低维度高级语义特征送入已预训练好的人脸生成器中，生成对应于低维度高级语义特征的多尺度包含人脸先验的特征；
将编码器提取的多尺度细节特征和编码器提取的多尺度包含人脸先验的特细节征进行融合增强。
优选地，人脸生成器训练过程中使用的损伤函数包括：重构损失、对抗损失、身份特征损失、人脸局部器官损失；
将解码的每一个分辨率都和真实高质量图像对应分辨率的图像计算一次重构损失，重构损失函数公式如下：
Lrec表示重构损失；
λL1表示权重；
y表示真实高质量图像；
λper表示权重；
φ(y)表示真实高质量图像的VGG-19特征；
||·||1表示计算L1损失；
第一项
计算生成图像与真实高质量图像的L1损失，第二项
计算生成图像与真实高质量图像在VGG-19特征域上的L1感知损失；
对抗损失函数公式如下：
Ladv表示对抗损失；
λadv表示对抗损失的权重；
x表示待修复的人脸图片；
pdata(x)表示待修复人脸图片的数据分布；
D(·)表示鉴别器；
G(·)表示人脸增强模型；
身份特征损失公式如下：
Lid表示身份特征损失；
λid表示身份特征损失的权重；
η(·)表示预训练的人脸识别特征提取器；
计算人脸识别特征的余弦相似度替代L1损失；
人脸局部器官损失公式如下：
Lcomp表示人脸局部器官损失；
ROI表示感兴趣的区域，包括左眼、右眼以及嘴巴；
λlocal表示局部器官对抗损失的权重
DROI表示针对ROI区域的鉴别器；
λfs表示风格匹配损失的权重；
Gram(·)表示计算gram矩阵；
ψ(·)表示DROI提取的多尺度特征；
式中第一项
计算人脸局部器官的对抗损失，对于每一种区域，分别训练一个鉴别器D计算对抗损失；
式中第二项
计算人脸局部器官的风格匹配损失，提取多尺度特征，计算Gram矩阵；
在所述人脸增强模块中：
使用对应人种的更多图片数据，在原始人脸增强模型的基础上继续训练，生成对应人种的人脸增强模型，使得对应人种的人脸增强模型的结果相比于原始人脸增强模型的结果更加具有对应人种的面部特征；
其中，对原始人脸增强模型进行调整：
通过人种分类算法对人脸数据进行分类，将人脸数据分为白色人种、黄色人种和黑色人种三类；
使用目标人种的更多数据图片，在原始人脸增强模型的基础上继续训练，对人脸增强模型进行调整，得到适用于对应人种的人脸增强模型；
在已知人种的应用场景下，使用对应人种的人脸增强模型，使结果具有更多对应人种的面部特征。
优选地，包括：
训练数据生成模块：利用多阶段随机退化模型，生成带有各类损伤的低分辨率数据图片作为增强超分模型的训练数据；
在所述训练数据生成步骤中：
多阶段随机退化模型的阶段数目为随机的，用于模拟真实生活场景中的数目随机的损伤过程；
多阶段随机退化模型中的每个阶段的基本退化操作有：
添加随机模糊：按照设定概率随机选择一种模糊核，并随机选择模糊核的大小，对图像进行模糊；
随机缩放：随机选择一个缩放值，对图片进行缩放；
添加随机噪声：从多种类型噪声中随机产生一种强度的噪声，叠加在图片上；
添加随机JPEG损伤：对图片随机添加一种程度的JPEG损伤；
通过sinc滤波器：模拟伪影；
以设定的概率对低质量图片进行色彩退化，在一个范围内随机选择参数，分别对图像的对比度、饱和度、色调、亮度进行调整；
以设定的概率将低质量图片变成黑白图片；
其中，制作不带有色彩增强的数据集时剔除了色彩基本退化操作；在后续训练过程中，使用带有色彩增强的数据集训练带有色彩增强的模型，使用不带有色彩增强的数据集训练不带有色彩增强的模型。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述的面对不同损伤图像的超分辨率高清重建方法的步骤。
根据本发明提供的一种智能设备，包括所述面对不同损伤图像的超分辨率高清重建系统，或者包括所述的存储有计算机程序的计算机可读存储介质。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过采用多阶段人脸随机退化模型，合成了更加符合真实场景中不同损伤的低质量人脸图片数据集，解决了模型在真实场景中泛化性差的问题，提高了人脸增强的效果，生成了更加清晰、伪影更少、失真更少的人脸增强图像，拓宽了人脸增强模型可使用的场景。
2、本发明通过使用特定人种数据集微调人脸增强模型，解决了增强后人脸出现其他人种特征的问题，有利于生成更加符合特定人种的特征，在已知人种的应用场景下得到更好的人脸增强效果。
3、本发明通过采用基于用户交互的超分辨率高清图像重建架构，解决了通用增强模型人脸增强效果差而人脸增强模型背景增强效果差的问题，将人脸增强、背景增强和图像超分重建的任务一起完成，并设计用户交互接口，依据用户的需求，可以单独实现其中的一个或两个任务。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为超分辨率高清图像重建总体流程图。
图2为带有色彩增强的多阶段随机退化模型原理示意图。
图3为人脸增强模型原理示意图。
图4为一组重建前后的对比图。
图5为另一组重建前后的对比图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明提供了一种面对不同损伤图像的超分辨率高清重建方法，使用基于深度神经网络的结构，在去噪、去模糊、去伪影的同时实现图像的超分辨率放大重建，并重点针对图像中的人脸提供了基于编解码修复和生成对抗网络的人脸增强模型，以进一步提升图像中人脸的质量。其中，本发明通过采用多阶段随机退化模型合成训练数据，模拟更加接近真实生活场景中的损伤图片，提高了模型的效果和在真实场景中的泛化性能，有利于应对各种不同损伤的图像，以生成更加清晰、失真更少、质量更高的超分辨率高清图像。如图4、图5所示。
如图1、图2、图3所示，根据本发明提供的一种面对不同损伤图像的超分辨率高清重建方法，包括：
步骤1：训练数据生成步骤。通过多场景高分辨率的数据构成的高质量数据集，生成成对的低质量的训练数据，低质量的训练数据中的低分辨率数据包含两部分：一部分是经典的通过各类下采样卷积核生成的低分辨率数据，另一部分是通过多阶段随机退化模型生成的带有各类损伤的低分辨率数据。这两部分数据按照一定的比例分布，分别模拟真实生活中的较高质量图片和包含各种损伤的较低质量图片。
在所述步骤1中，设计多阶段随机退化模型，生成带有各类损伤的低分辨率数据图片：
1.1：考虑到真实场景下的低质量损伤图片中的损伤通常都很复杂，很可能来自不同退化过程的复杂组合，如传感器限制、图像编辑、图像压缩、图片褪色等。
1.2：因而采用多阶段随机退化模型，用于模拟生成真实场景下的包含了各类损伤的图片，有利于训练出在真实场景下效果更好的增强超分模型。
1.3：多阶段随机退化模型的阶段数目为随机的，用于模拟真实生活场景中的数目随机的损伤过程。
1.4：多阶段随机退化模型中的每个阶段的基本退化操作有：模糊、缩放、加噪、JPEG 损伤、通过sinc滤波器和色彩退化基本操作。色彩退化基本操作包括饱和度调整、对比度调整、色度调整、亮度调整、转化为黑白图片：
1.4.1：添加随机模糊：按照一定概率随机选择一种模糊核，并随机选择模糊核的大小，对图像进行模糊。
1.4.2：随机缩放：随机选择一个缩放值，对图片进行缩放。
1.4.3：添加随机噪声：从多种类型噪声中随机产生一种强度的噪声，叠加在图片上。
1.4.4：添加随机JPEG损伤：对图片随机添加一种程度的JPEG损伤。
1.4.5：通过sinc滤波器：模拟伪影。
1.4.6：以一定的概率对低质量图片进行色彩退化，在一个范围内随机选择参数，分别对图像的对比度、饱和度、色调、亮度进行调整。
1.4.7：以一定的概率将低质量图片变成黑白图片。
其中，1.4.6和1.4.7为色彩基本退化操作。
1.5：在每个阶段中，每个基本退化操作出现的概率随机，出现的顺序随机。
1.6：特别地，为了满足用户色彩增强的个性化需求，制作带有色彩增强的数据集时包含了完整的基本退化操作。制作不带有色彩增强的数据集时剔除了色彩基本退化操作。在后续训练过程中，使用带有色彩增强的数据集训练带有色彩增强的模型，使用不带有色彩增强的数据集训练不带有色彩增强的模型。
步骤2：超分增强步骤：对原始图像进行损伤去除和超分辨增强。训练通用增强超分模型，对图片整体进行损伤去除和超分辨增强。在所述步骤2中：
2.1：建立超分辨率网络模型，使用残差网络和密集连接的结构提升超分辨率结果图像的质量。
2.2：使用面向峰值信噪比的方式训练超分辨率网络模型，对于原分辨率增强、2倍超分、3倍超分以及4倍超分这四种不同的需求，分别训练对应的神经网络模型。
2.3：进一步地，建立基于超分辨率网络模型的生成对抗神经网络模型，提高通用增强超分模型结果的视觉效果，使生成结果更加真实。
2.4：生成对抗神经网络的生成器使用步骤2.1中建立的超分辨率网络模型，并使用 2.2中训练好的超分辨率网络模型的模型参数进行初始化。
2.5：生成对抗神经网络的鉴别器使用编解码器结构，并使用谱归一化的方法使训练过程更加稳定。
2.6：生成对抗神经网络的训练过程采用L1损失函数，感知损失函数和对抗损失函数，最终得到适用于4种不同需求的4种通用增强超分模型，其中，所述通用增强超分模型包括训练后的超分辨率网络、训练后的生成对抗神经网络。
步骤3：人脸增强步骤：对超分增强步骤处理后的图像进行人脸增强，得到重建图像。训练人脸增强模型，进一步地，针对图片中的人脸部分，结合人脸先验特征对人脸部分进行进一步地增强。在所述步骤3中：
3.1：预训练人脸生成器，使用人脸图片数据集预训练一个包含了大量人脸先验知识的人脸生成器。该人脸生成器可以根据输入的低维度高级语义特征生成对应的高维度人脸图片，其中，低维度高级语义特征由人脸编码器得到，该低维度高级语义特征只包含了与人脸增强相关的信息。
3.2：建立一个编解码器模型，将输入的低质量人脸图片进行初步损伤去除和修复。并通过编码器提取一个对应于输入图片的低维度高级语义特征；通过解码器提取对应于输入图片的多尺度细节特征。其中，高级语义特征，也成为高层语义特征。
3.3：特别地，步骤3.2中的编解码器具有损伤去除功能，因而提取的高级语义特征和多尺度细节特征都是基于损伤去除以后的特征。
3.4：将步骤3.3中提取的低维度高级语义特征送入步骤3.1中预训练好的人脸生成器中，生成对应于低维度高级语义特征的多尺度包含人脸先验的特征。
3.5：将步骤3.2中提取的多尺度细节特征和步骤3.3中提取的多尺度包含人脸先验的特征进行融合增强，在人脸先验和输入图片细节之间保持一个平衡。在充分保留原始图片人脸细节的同时，达到人脸修复增强的效果。
3.6：训练过程中使用的损伤函数包括：重构损失、对抗损失、身份特征损失、人脸局部器官损失。
3.6.1：为了提升编解码模型对低质量图像的修复效果，将解码的每一个分辨率都和真实高质量图像对应分辨率的图像计算一次重构损失，重构损失函数公式如下：
Lrec表示重构损失；
λL1表示权重；
y表示真实高质量图像；
λper表示权重；
φ(y)表示真实高质量图像的VGG-19特征；
||·||1表示计算L1损失；
第一项
计算生成图像与真实高质量图像的L1损失，第二项
计算生成图像与真实高质量图像在VGG-19特征域上的L1感知损失。
3.6.2：为了生成自然的图片和更加真实的细节采用对抗损失，对抗损失函数公式如下：
Ladv表示对抗损失；
λadv表示对抗损失的权重；
x表示待修复的人脸图片；
pdata(x)表示待修复人脸图片的数据分布；
D(·)表示鉴别器；
G(·)表示人脸增强模型；
3.6.3：为了保证人脸增强后的人物身份保持不变，采用身份特征损失，身份特征损失公式如下：
Lid表示身份特征损失；
λid表示身份特征损失的权重；
η(·)表示预训练的人脸识别特征提取器；
特别地，计算人脸识别特征的余弦相似度替代L1损失，避免特征幅度对相似度计算的影响。
3.6.4：为了生成更加真实的人脸局部器官，采用人脸局部器官损失，人脸局部器官损失公式如下：
Lcomp表示人脸局部器官损失；
ROI表示感兴趣的区域，包括左眼、右眼以及嘴巴；
λlocal表示局部器官对抗损失的权重
DROI表示针对ROI区域的鉴别器；
λfs表示风格匹配损失的权重；
Gram(·)表示计算gram矩阵；
ψ(·)表示DROI提取的多尺度特征；
式中第一项
计算人脸局部器官的对抗损失，对于每一种区域，分别训练一个鉴别器D计算对抗损失。
式中第二项
计算人脸局部器官的风格匹配损失，提取多尺度特征，计算Gram矩阵。
3.7：根据实际应用场景的人种需求，对人脸增强模型进行微调。使用对应人种的更多图片数据，在原始人脸增强模型的基础上继续训练，生成对应人种的人脸增强模型，使得人脸增强模型的结果更加具有对应人种的面部特征。
其中，根据实际应用场景的人种需求，对人脸增强模型进行微调：
3.7.1：通过人种分类算法对人脸数据进行分类，将人脸数据分为白色人种、黄色人种和黑色人种三类。
3.7.2：使用目标人种的更多数据图片，在原始人脸增强模型的基础上继续训练，对人脸增强模型进行微调，得到适用于对应人种的人脸增强模型。
3.7.3：特别地，在已知人种的应用场景下，使用对应人种的人脸增强模型，可以达到更好的生成效果，使结果具有更多对应人种的面部特征。
4、交互。为适应不同的修复和应用需求，设置用户交互接口，由用户选择是否进行通用增强、是否进行超分及超分倍数、是否进行人脸增强、人脸增强是否需要进行色彩增强，然后根据用户的需求完成对输入图片的超分辨率高清重建。
其中，基于用户交互的超分辨率高清图像重建，具体为：
4.1设计交互参数，包括：是否使用通用增强超分模型，超分倍数，是否使用人脸增强模型，是否使用色彩增强。
4.2判断是否使用通用增强超分模型，若使用通用增强超分模型，则依据超分倍数选择步骤2中相应的通用增强超分模型对输入的图片进行整体的质量提升，达到去噪、去模糊、去伪影、清晰化、超分的目的。
4.3判断是否使用人脸增强模型，若使用人脸增强模型，则在这一步针对输入图片中的人脸进行修复增强，达到对输入图片中的人脸进行去噪、去模糊、去伪影、清晰化的目的，该过程通常可以达到比通用背景增强更好的人脸增强效果。
4.3.1：人脸检测：对输入图片进行人脸检测，截取输入图片中的人脸部分，并记录人脸在输入图片的位置。
4.3.2：人脸矫正：根据人脸五点landmark对截取的人脸进行人脸矫正。
4.3.3：使用人脸增强模型对矫正后的人脸进行增强。
4.4：图像融合，若使用了人脸增强模型，则在这一步依据是否使用了通用增强超分模型将增强后的人脸与输入图片或者进行了增强超分后的输入图片进行融合。
4.4.1：将步骤3.3.3中增强后的人脸恢复至矫正前的状态
4.4.2：判断是否使用过通用增强超分模型，若没有使用通用增强超分模型，则按照步骤4.3.1中记录的人脸位置将步骤4.4.1中恢复后的人脸贴回原始输入图片。若使用过通用增强超分模型，则将人脸按照相应的超分倍数放大，并按照步骤4.3.1中记录的人脸位置重新计算超分后的人脸位置，然后将放大后的人脸贴回增强超分后的图片中。
4.4.3在融合的边缘进行高斯模糊，使人脸融合更加自然。
本发明还提供一种面对不同损伤图像的超分辨率高清重建系统，可以通过执行面对不同损伤图像的超分辨率高清重建方法的步骤流程实现，本领域技术人员可以将所述面对不同损伤图像的超分辨率高清重建方法理解为所述面对不同损伤图像的超分辨率高清重建系统的一个优选的实现方式。
根据本发明提供的一种面对不同损伤图像的超分辨率高清重建系统，包括：
超分增强模块：对原始图像进行损伤去除和超分辨增强；
人脸增强模块：对超分增强模块处理后的图像进行人脸增强，得到重建图像。
优选地，在所述超分增强模块中：
建立超分辨率网络模型，使用面向峰值信噪比的方式训练超分辨率网络模型，对于原分辨率增强和多种倍数超分的需求，分别训练对应的神经网络模型；
建立基于超分辨率网络模型的生成对抗神经网络模型，其中，生成对抗神经网络的生成器使用已建立的超分辨率网络模型，并使用已训练好的超分辨率网络模型的模型参数进行初始化；
生成对抗神经网络的鉴别器使用编解码器结构，并使用谱归一化的方法；
生成对抗神经网络的训练过程采用L1损失函数，感知损失函数和对抗损失函数，得到适用于多种不同需求各自的通用增强超分模型，其中，所述通用增强超分模型包括训练后的超分辨率网络、训练后的生成对抗神经网络；
利用所述通用增强超分模型，对原始图像进行损伤去除和超分辨增强。
优选地，在所述人脸增强模块中：
预训练人脸生成器，使用人脸图片数据集预训练一个包含了人脸先验知识的人脸生成器；该人脸生成器根据输入的低维度高级语义特征生成对应的高维度人脸图片，其中，低维度高级语义特征由人脸编码器得到，该低维度高级语义特征只包含了与人脸增强相关的信息；
建立一个编解码器模型，将输入的低质量人脸图片进行初步损伤去除和修复，并通过编码器提取一个对应于输入图片的低维度高级语义特征；通过解码器提取对应于输入图片的多尺度细节特征；其中，编解码器具有损伤去除功能，因而提取的高级语义特征和多尺度细节特征都是基于损伤去除以后的特征；
将编码器提取的低维度高级语义特征送入已预训练好的人脸生成器中，生成对应于低维度高级语义特征的多尺度包含人脸先验的特征；
将编码器提取的多尺度细节特征和编码器提取的多尺度包含人脸先验的特细节征进行融合增强。
优选地，人脸生成器训练过程中使用的损伤函数包括：重构损失、对抗损失、身份特征损失、人脸局部器官损失；
将解码的每一个分辨率都和真实高质量图像对应分辨率的图像计算一次重构损失，重构损失函数公式如下：
Lrec表示重构损失；
λL1表示权重；
y表示真实高质量图像；
λper表示权重；
φ(y)表示真实高质量图像的VGG-19特征；
||·||1表示计算L1损失；
第一项
计算生成图像与真实高质量图像的L1损失，第二项
计算生成图像与真实高质量图像在VGG-19特征域上的L1感知损失；
对抗损失函数公式如下：
Ladv表示对抗损失；
λadv表示对抗损失的权重；
x表示待修复的人脸图片；
pdata(x)表示待修复人脸图片的数据分布；
D(·)表示鉴别器；
G(·)表示人脸增强模型；
身份特征损失公式如下：
Lid表示身份特征损失；
λid表示身份特征损失的权重；
η(·)表示预训练的人脸识别特征提取器；
计算人脸识别特征的余弦相似度替代L1损失；
人脸局部器官损失公式如下：
Lcomp表示人脸局部器官损失；
ROI表示感兴趣的区域，包括左眼、右眼以及嘴巴；
λlocal表示局部器官对抗损失的权重
DROI表示针对ROI区域的鉴别器；
λfs表示风格匹配损失的权重；
Gram(·)表示计算gram矩阵；
ψ(·)表示DROI提取的多尺度特征；
式中第一项
计算人脸局部器官的对抗损失，对于每一种区域，分别训练一个鉴别器D计算对抗损失；
式中第二项
计算人脸局部器官的风格匹配损失，提取多尺度特征，计算Gram矩阵；
在所述人脸增强模块中：
使用对应人种的更多图片数据，在原始人脸增强模型的基础上继续训练，生成对应人种的人脸增强模型，使得对应人种的人脸增强模型的结果相比于原始人脸增强模型的结果更加具有对应人种的面部特征；
其中，对原始人脸增强模型进行调整：
通过人种分类算法对人脸数据进行分类，将人脸数据分为白色人种、黄色人种和黑色人种三类；
使用目标人种的更多数据图片，在原始人脸增强模型的基础上继续训练，对人脸增强模型进行调整，得到适用于对应人种的人脸增强模型；
在已知人种的应用场景下，使用对应人种的人脸增强模型，使结果具有更多对应人种的面部特征。
优选地，还包括：
训练数据生成模块：利用多阶段随机退化模型，生成带有各类损伤的低分辨率数据图片作为增强超分模型的训练数据；
在所述训练数据生成步骤中：
多阶段随机退化模型的阶段数目为随机的，用于模拟真实生活场景中的数目随机的损伤过程；
多阶段随机退化模型中的每个阶段的基本退化操作有：
添加随机模糊：按照设定概率随机选择一种模糊核，并随机选择模糊核的大小，对图像进行模糊；
随机缩放：随机选择一个缩放值，对图片进行缩放；
添加随机噪声：从多种类型噪声中随机产生一种强度的噪声，叠加在图片上；
添加随机JPEG损伤：对图片随机添加一种程度的JPEG损伤；
通过sinc滤波器：模拟伪影；
以设定的概率对低质量图片进行色彩退化，在一个范围内随机选择参数，分别对图像的对比度、饱和度、色调、亮度进行调整；
以设定的概率将低质量图片变成黑白图片；
其中，制作不带有色彩增强的数据集时剔除了色彩基本退化操作；在后续训练过程中，使用带有色彩增强的数据集训练带有色彩增强的模型，使用不带有色彩增强的数据集训练不带有色彩增强的模型。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述的面对不同损伤图像的超分辨率高清重建方法的步骤。
根据本发明提供的一种智能设备，包括所述面对不同损伤图像的超分辨率高清重建系统，或者包括所述的存储有计算机程序的计算机可读存储介质。所述智能设备可以是智能手机、平板电脑、智能手表、VR眼镜、AR眼镜。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种面对不同损伤图像的超分辨率高清重建方法，其特征在于，包括：
超分增强步骤：对原始图像进行损伤去除和超分辨增强；
人脸增强步骤：对超分增强步骤处理后的图像进行人脸增强，得到重建图像。
2.根据权利要求1所述的面对不同损伤图像的超分辨率高清重建方法，其特征在于，在所述超分增强步骤中：
建立超分辨率网络模型，使用面向峰值信噪比的方式训练超分辨率网络模型，对于原分辨率增强和多种倍数超分的需求，分别训练对应的神经网络模型；
建立基于超分辨率网络模型的生成对抗神经网络模型，其中，生成对抗神经网络的生成器使用已建立的超分辨率网络模型，并使用已训练好的超分辨率网络模型的模型参数进行初始化；
生成对抗神经网络的鉴别器使用编解码器结构，并使用谱归一化的方法；
生成对抗神经网络的训练过程采用L1损失函数，感知损失函数和对抗损失函数，得到适用于多种不同需求各自的增强超分模型，其中，所述增强超分模型包括训练后的超分辨率网络、训练后的生成对抗神经网络；
利用所述增强超分模型，对原始图像进行损伤去除和超分辨增强。
3.根据权利要求1或2所述的面对不同损伤图像的超分辨率高清重建方法，其特征在于，在所述人脸增强步骤中：
预训练人脸生成器，使用人脸图片数据集预训练一个包含了人脸先验知识的人脸生成器；该人脸生成器根据输入的低维度高级语义特征生成对应的高维度人脸图片，其中，低维度高级语义特征由人脸编码器得到，该低维度高级语义特征只包含了与人脸增强相关的信息；
建立一个编解码器模型，将输入的低质量人脸图片进行初步损伤去除和修复，并通过编码器提取一个对应于输入图片的低维度高级语义特征；通过解码器提取对应于输入图片的多尺度细节特征；其中，编解码器具有损伤去除功能，因而提取的高级语义特征和多尺度细节特征都是基于损伤去除以后的特征；
将编码器提取的低维度高级语义特征送入已预训练好的人脸生成器中，生成对应于低维度高级语义特征的多尺度包含人脸先验的特征；
将编码器提取的多尺度细节特征和编码器提取的多尺度包含人脸先验的特细节征进行融合增强；
人脸生成器训练过程中使用的损伤函数包括：重构损失、对抗损失、身份特征损失、人脸局部器官损失；
将解码的每一个分辨率都和真实高质量图像对应分辨率的图像计算一次重构损失，重构损失函数公式如下：
Lrec表示重构损失；
λL1表示权重；
y表示真实高质量图像；
λper表示权重；
φ(y)表示真实高质量图像的VGG-19特征；
||·||1表示计算L1损失；
第一项
计算生成图像与真实高质量图像的L1损失，第二项
计算生成图像与真实高质量图像在VGG-19特征域上的L1感知损失；
对抗损失函数公式如下：
Ladv表示对抗损失；
λadv表示对抗损失的权重；
x表示待修复的人脸图片；
pdata(x)表示待修复人脸图片的数据分布；
D(·)表示鉴别器；
G(·)表示人脸增强模型；
身份特征损失公式如下：
Lid表示身份特征损失；
λid表示身份特征损失的权重；
η(·)表示预训练的人脸识别特征提取器；
计算人脸识别特征的余弦相似度替代L1损失；
人脸局部器官损失公式如下：
Lcomp表示人脸局部器官损失；
ROI表示感兴趣的区域，包括左眼、右眼以及嘴巴；
λlocal表示局部器官对抗损失的权重
DROI表示针对ROI区域的鉴别器；
λfs表示风格匹配损失的权重；
Gram(·)表示计算gram矩阵；
ψ(·)表示DROI提取的多尺度特征；
式中第一项
计算人脸局部器官的对抗损失，对于每一种区域，分别训练一个鉴别器D计算对抗损失；
式中第二项
计算人脸局部器官的风格匹配损失，提取多尺度特征，计算Gram矩阵；
在所述人脸增强步骤中：
使用对应人种的更多图片数据，在原始人脸增强模型的基础上继续训练，生成对应人种的人脸增强模型，使得对应人种的人脸增强模型的结果相比于原始人脸增强模型的结果更加具有对应人种的面部特征；
其中，对原始人脸增强模型进行调整：
通过人种分类算法对人脸数据进行分类，将人脸数据分为白色人种、黄色人种和黑色人种三类；
使用目标人种的更多数据图片，在原始人脸增强模型的基础上继续训练，对人脸增强模型进行调整，得到适用于对应人种的人脸增强模型；
在已知人种的应用场景下，使用对应人种的人脸增强模型，使结果具有更多对应人种的面部特征。
4.根据权利要求1所述的面对不同损伤图像的超分辨率高清重建方法，其特征在于，包括：
训练数据生成步骤：利用多阶段随机退化模型，生成带有各类损伤的低分辨率数据图片作为增强超分模型的训练数据；
在所述训练数据生成步骤中：
多阶段随机退化模型的阶段数目为随机的，用于模拟真实生活场景中的数目随机的损伤过程；
多阶段随机退化模型中的每个阶段的基本退化操作有：
添加随机模糊：按照设定概率随机选择一种模糊核，并随机选择模糊核的大小，对图像进行模糊；
随机缩放：随机选择一个缩放值，对图片进行缩放；
添加随机噪声：从多种类型噪声中随机产生一种强度的噪声，叠加在图片上；
添加随机JPEG损伤：对图片随机添加一种程度的JPEG损伤；
通过sinc滤波器：模拟伪影；
以设定的概率对低质量图片进行色彩退化，在一个范围内随机选择参数，分别对图像的对比度、饱和度、色调、亮度进行调整；
以设定的概率将低质量图片变成黑白图片；
其中，制作不带有色彩增强的数据集时剔除了色彩基本退化操作；在后续训练过程中，使用带有色彩增强的数据集训练带有色彩增强的模型，使用不带有色彩增强的数据集训练不带有色彩增强的模型。
5.一种面对不同损伤图像的超分辨率高清重建系统，其特征在于，包括：
超分增强模块：对原始图像进行损伤去除和超分辨增强；
人脸增强模块：对超分增强模块处理后的图像进行人脸增强，得到重建图像。
6.根据权利要求5所述的面对不同损伤图像的超分辨率高清重建系统，其特征在于，在所述超分增强模块中：
建立超分辨率网络模型，使用面向峰值信噪比的方式训练超分辨率网络模型，对于原分辨率增强和多种倍数超分的需求，分别训练对应的神经网络模型；
建立基于超分辨率网络模型的生成对抗神经网络模型，其中，生成对抗神经网络的生成器使用已建立的超分辨率网络模型，并使用已训练好的超分辨率网络模型的模型参数进行初始化；
生成对抗神经网络的鉴别器使用编解码器结构，并使用谱归一化的方法；
生成对抗神经网络的训练过程采用L1损失函数，感知损失函数和对抗损失函数，得到适用于多种不同需求各自的通用增强超分模型，其中，所述通用增强超分模型包括训练后的超分辨率网络、训练后的生成对抗神经网络；
利用所述通用增强超分模型，对原始图像进行损伤去除和超分辨增强。
7.根据权利要求5或6所述的面对不同损伤图像的超分辨率高清重建系统，其特征在于，在所述人脸增强模块中：
预训练人脸生成器，使用人脸图片数据集预训练一个包含了人脸先验知识的人脸生成器；该人脸生成器根据输入的低维度高级语义特征生成对应的高维度人脸图片，其中，低维度高级语义特征由人脸编码器得到，该低维度高级语义特征只包含了与人脸增强相关的信息；
建立一个编解码器模型，将输入的低质量人脸图片进行初步损伤去除和修复，并通过编码器提取一个对应于输入图片的低维度高级语义特征；通过解码器提取对应于输入图片的多尺度细节特征；其中，编解码器具有损伤去除功能，因而提取的高级语义特征和多尺度细节特征都是基于损伤去除以后的特征；
将编码器提取的低维度高级语义特征送入已预训练好的人脸生成器中，生成对应于低维度高级语义特征的多尺度包含人脸先验的特征；
将编码器提取的多尺度细节特征和编码器提取的多尺度包含人脸先验的特细节征进行融合增强；
人脸生成器训练过程中使用的损伤函数包括：重构损失、对抗损失、身份特征损失、人脸局部器官损失；
将解码的每一个分辨率都和真实高质量图像对应分辨率的图像计算一次重构损失，重构损失函数公式如下：
Lrec表示重构损失；
λL1表示权重；
y表示真实高质量图像；
λper表示权重；
φ(y)表示真实高质量图像的VGG-19特征；
||·||1表示计算L1损失；
第一项
计算生成图像与真实高质量图像的L1损失，第二项
计算生成图像与真实高质量图像在VGG-19特征域上的L1感知损失；
对抗损失函数公式如下：
Ladv表示对抗损失；
λadv表示对抗损失的权重；
x表示待修复的人脸图片；
pdata(x)表示待修复人脸图片的数据分布；
D(·)表示鉴别器；
G(·)表示人脸增强模型；
身份特征损失公式如下：
Lid表示身份特征损失；
λid表示身份特征损失的权重；
η(·)表示预训练的人脸识别特征提取器；
计算人脸识别特征的余弦相似度替代L1损失；
人脸局部器官损失公式如下：
Lcomp表示人脸局部器官损失；
ROI表示感兴趣的区域，包括左眼、右眼以及嘴巴；
λlocal表示局部器官对抗损失的权重
DROI表示针对ROI区域的鉴别器；
λfs表示风格匹配损失的权重；
Gram(·)表示计算gram矩阵；
ψ(·)表示DROI提取的多尺度特征；
式中第一项
计算人脸局部器官的对抗损失，对于每一种区域，分别训练一个鉴别器D计算对抗损失；
式中第二项
计算人脸局部器官的风格匹配损失，提取多尺度特征，计算Gram矩阵；
在所述人脸增强模块中：
使用对应人种的更多图片数据，在原始人脸增强模型的基础上继续训练，生成对应人种的人脸增强模型，使得对应人种的人脸增强模型的结果相比于原始人脸增强模型的结果更加具有对应人种的面部特征；
其中，对原始人脸增强模型进行调整：
通过人种分类算法对人脸数据进行分类，将人脸数据分为白色人种、黄色人种和黑色人种三类；
使用目标人种的更多数据图片，在原始人脸增强模型的基础上继续训练，对人脸增强模型进行调整，得到适用于对应人种的人脸增强模型；
在已知人种的应用场景下，使用对应人种的人脸增强模型，使结果具有更多对应人种的面部特征。
8.根据权利要求5所述的面对不同损伤图像的超分辨率高清重建系统，其特征在于，包括：
训练数据生成模块：利用多阶段随机退化模型，生成带有各类损伤的低分辨率数据图片作为增强超分模型的训练数据；
在所述训练数据生成步骤中：
多阶段随机退化模型的阶段数目为随机的，用于模拟真实生活场景中的数目随机的损伤过程；
多阶段随机退化模型中的每个阶段的基本退化操作有：
添加随机模糊：按照设定概率随机选择一种模糊核，并随机选择模糊核的大小，对图像进行模糊；
随机缩放：随机选择一个缩放值，对图片进行缩放；
添加随机噪声：从多种类型噪声中随机产生一种强度的噪声，叠加在图片上；
添加随机JPEG损伤：对图片随机添加一种程度的JPEG损伤；
通过sinc滤波器：模拟伪影；
以设定的概率对低质量图片进行色彩退化，在一个范围内随机选择参数，分别对图像的对比度、饱和度、色调、亮度进行调整；
以设定的概率将低质量图片变成黑白图片；
其中，制作不带有色彩增强的数据集时剔除了色彩基本退化操作；在后续训练过程中，使用带有色彩增强的数据集训练带有色彩增强的模型，使用不带有色彩增强的数据集训练不带有色彩增强的模型。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的面对不同损伤图像的超分辨率高清重建方法的步骤。
10.一种智能设备，其特征在于，包括权利要求5至8中任一项所述面对不同损伤图像的超分辨率高清重建系统，或者包括权利要求9所述的存储有计算机程序的计算机可读存储介质。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111435322.5A CN114202460A (zh) | 2021-11-29 | 2021-11-29 | 面对不同损伤图像的超分辨率高清重建方法和系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111435322.5A CN114202460A (zh) | 2021-11-29 | 2021-11-29 | 面对不同损伤图像的超分辨率高清重建方法和系统及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114202460A true CN114202460A (zh) | 2022-03-18 |
Family
ID=80649617
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111435322.5A Pending CN114202460A (zh) | 2021-11-29 | 2021-11-29 | 面对不同损伤图像的超分辨率高清重建方法和系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114202460A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116523754A (zh) * | 2023-05-10 | 2023-08-01 | 广州民航职业技术学院 | 一种飞机蒙皮损伤自动识别图像质量增强方法及系统 |
| TWI832787B (zh) * | 2022-07-22 | 2024-02-11 | 聯發科技股份有限公司 | 從低解析度圖像生成高解析度圖像以實現盲超解析度 |
-
2021
- 2021-11-29 CN CN202111435322.5A patent/CN114202460A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI832787B (zh) * | 2022-07-22 | 2024-02-11 | 聯發科技股份有限公司 | 從低解析度圖像生成高解析度圖像以實現盲超解析度 |
| CN116523754A (zh) * | 2023-05-10 | 2023-08-01 | 广州民航职业技术学院 | 一种飞机蒙皮损伤自动识别图像质量增强方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dong et al. | Deep spatial–spectral representation learning for hyperspectral image denoising | |
| CN108520503B (zh) | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 | |
| Yang et al. | Sparse gradient regularized deep retinex network for robust low-light image enhancement | |
| Yoo et al. | Photorealistic style transfer via wavelet transforms | |
| Yang et al. | Deep edge guided recurrent residual learning for image super-resolution | |
| Arad et al. | Ntire 2022 spectral recovery challenge and data set | |
| Guo et al. | Dense scene information estimation network for dehazing | |
| CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| CN112507617B (zh) | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| CN110738153B (zh) | 异质人脸图像转换方法、装置、电子设备及存储介质 | |
| CN114202460A (zh) | 面对不同损伤图像的超分辨率高清重建方法和系统及设备 | |
| Yin et al. | Deep prior guided network for high-quality image fusion | |
| CN113450290A (zh) | 基于图像修补技术的低照度图像增强方法及系统 | |
| CN116152120A (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
| CN115131203A (zh) | Lr图像生成方法及基于不确定性的真实图像超分辨率方法 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN115641391A (zh) | 一种基于密集残差和双流注意力的红外图像彩色化方法 | |
| US11948278B2 (en) | Image quality improvement method and image processing apparatus using the same | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| Liu et al. | X-gans: Image reconstruction made easy for extreme cases | |
| Wang et al. | LLDiffusion: Learning degradation representations in diffusion models for low-light image enhancement | |
| CN116894770A (zh) | 图像处理方法、图像处理设备和计算机程序 | |
| Speck et al. | The Importance of Growing Up: Progressive Growing GANs for Image Inpainting | |
| CN115115537B (zh) | 一种基于掩码训练的图像修复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |