CN110610464A - 一种基于稠密残差神经网络的人脸图像超分辨率方法 - Google Patents
一种基于稠密残差神经网络的人脸图像超分辨率方法 Download PDFInfo
- Publication number
- CN110610464A CN110610464A CN201910752651.9A CN201910752651A CN110610464A CN 110610464 A CN110610464 A CN 110610464A CN 201910752651 A CN201910752651 A CN 201910752651A CN 110610464 A CN110610464 A CN 110610464A
- Authority
- CN
- China
- Prior art keywords
- resolution
- face image
- neural network
- dense residual
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 30
- 238000005070 sampling Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000013434 data augmentation Methods 0.000 claims description 4
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002969 morbid Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本发明公开基于稠密残差神经网络的人脸图像超分辨率方法，包括步骤：将人脸图像数据集的图像数据预处理，得到训练数据集与测试数据集；使用训练数据集训练包括稠密残差神经网络与判别网络的模型，得到能对低分辨率人脸图像进行超分到高分辨人脸图像的人脸图像超分模型；使用训练好的人脸图像超分模型，对测试数据集中的低分辨率图像超分处理，测试训练好的人脸图像超分模型的超分性能。本发明使用稠密残差神经网络，提高了模型容量和加快训练速度，提高模型的泛化能力和加快训练速度；引入判别网络，使生成的高分辨率人脸图像更加接近真实的高分辨率人脸图像，显著的提高生成的高分辨率图像的视觉质量。
Description
技术领域
本发明涉及人脸图像超分技术领域，特别是涉及一种基于稠密残差神经网络的人脸图像超分辨率方法。
背景技术
人脸图像超分任务，指的是从给定的一张低分辨人脸图像中推理恢复出对应的高分辨人脸图像(一般研究单张人脸图像的超分任务，即只有一张低分辨率人脸图像作为参考)。人脸图像超分辨率是计算机视觉和图像处理中一个重要的任务，并且受到了AI公司和研究社区的广泛关注。在现实世界的很多场景下都能够看到广泛的应用，比如高铁安全检查、门禁系统和实验室打卡系统等等。
除了提高人脸图像的视觉质量外，人脸图像超分任务还为其他的计算机视觉和图像处理任务提供帮助，比如人脸识别、上妆和转脸等。所以人脸图像超分任务具有重要的研究意义。
但是这个问题仍然具有挑战性，因为这是个典型的病态问题，即给定一张低分辨率的人脸图像，可能存在多张对应的高分辨率人脸图像。
因此，现有人脸图像超分技术在还待进一步的提升。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于稠密残差神经网络的人脸图像超分辨率方法。
为实现本发明的目的所采用的技术方案是：
一种基于稠密残差神经网络的人脸图像超分辨率方法，包括步骤：
S1.将人脸图像数据集的图像数据预处理，得到训练数据集与测试数据集：
S2.使用训练数据集训练模型，得到能对低分辨率人脸图像进行超分到高分辨人脸图像的人脸图像超分模型；包括：
利用低分辨率人脸图像和对应的目标高分辨率人脸图像作为模型的输入，训练模型中的稠密残差神经网络；
将目标高分辨率人脸图像和稠密残差神经网络所生成的高分辨率人脸图像输入到判别网络中，由判别网络判断出输入图像的真假，模型迭代多次达到稳定后完成模型的训练；
S3.使用训练好的人脸图像超分模型，对测试数据集中的低分辨率图像超分处理，测试训练好的人脸图像超分模型的超分性能。
进一步的，步骤S2包括：
S21.使用标准高斯分布随机初始化稠密残差神经网络和判别网络的权重参数，其中稠密残差神经网络的损失函数为L2，对抗损失函数为判别网络的损失函数为
S22.将低分辨率人脸图像输入到稠密残差神经网络中，稠密残差神经网络输出与目标高分辨率人脸图像大小一致的生成图像，将生成图像作为判别网络的输入，依次迭代使对抗损失函数和损失函数L2均降低至趋于稳定，
S23.判别网络输入为稠密残差神经网络生成的高分辨率人脸图像和目标高分辨率人脸图像，判别网络判断输入图像真假，计算损失函数该损失函数只用于更新判别网络参数，
S24.交替训练稠密残差神经网络和判别网络，直到所有损失函数不再降低，得到最终人脸图像超分模型。
其中，所述稠密残差神经网络的目标函数如下：
其中，λ1，λ2为平衡因子，用于调整各个损失函数所占的权重；
所述判别网络的目标函数为
其中，
其中x，y分别为从低分辨图像集X和高分辨率图像集Y中采样出来的低分辨率人脸图像和对应的高分辨率人脸图像，E(*)表示取平均操作，表示L2范数，Fgenerator为稠密残差神经网络对应的映射函数。
其中，
其中，E(*)表示取平均操作，x～P(X)表示低分辨率图像从P(X)中采样取得，D(*)表示判别网络的映射函数，G(x)表示稠密残差神经网络生成的高分辨率人脸图像。
其中，
其中，E(*)表示取平均操作，y～P(Y)表示目标高分辨率图像从分布P(Y)中采样得到，D(*)表示判别网络的映射函数，x～P(X)表示低分辨率图像从分布P(X)中采样得到，G(x)表示稠密残差神经网络生成的高分辨率图像。
其中，所述训练数据集中的图像对为[x，y]，其中，x为低分辨率人脸图像，y为目标高分辨率人脸图像，且稠密残差神经网络的输出为
其中，步骤S1包括以下步骤：
以统一对齐裁剪方式裁剪原始的高分辨率人脸图像，只保留人脸区域；使用双线性下采样方法下采样对齐裁剪后的高分辨率人脸图像，得到对应的低分辨人脸图像；，对生成的低分-高分人脸图像对进行数据增广，以增加训练数据集中的图像数量；第四，划分人脸数据集，将80％作为训练数据集，20％作为测试数据集，用于测试模型的泛化性能。
其中，步骤S1中，所述人脸图像超分模型的超分辨倍数为4×。
本发明基于稠密残差神经网络的人脸图像超分辨率方法，使用稠密残差块作为构建网络的基础，结合多种损失函数，使得模型收敛更快，效果更好，泛化能力更强；可生成具有丰富纹理细节的人脸图像。
本发明使用稠密残差神经网络，提高了模型容量和加快训练速度，提高模型的泛化能力和加快训练速度；引入了判别网络，使生成的高分辨率人脸图像更加接近真实的高分辨率人脸图像，显著的提高生成的高分辨率图像的视觉质量。
附图说明
图1是本发明在测试数据集中的一张人脸图像上的测试结果，左边是GroundTruth真实高分辨率人脸图像，中间是降采样插值后的低分辨人脸图像，右边是模型生成的高分辨率图像。
图2是本发明基于稠密残差神经网络的人脸图像超分辨率方法的流程图；
图中：LR表示输入的低分辨率图像，Conv表示卷积神经网络，16RDB表示16个稠密残差块RDB，稠密残差块RDB结构如小圆角方框中所示，Pixelshuffle表示上采样网络，H_rec表示重建的高分辨率图像，HR_tar表示目标高分辨率图像，D表示判别网络。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明通过一种基于稠密残差神经网络的人脸图像超分辨率方法来学习一组高度复杂的非线性的变换，用来把低分辨率的人脸图像映射到高分辨的图像，同时保持很好的纹理和身份特征。
如图2所示，基于稠密残差神经网络的人脸图像超分辨率方法，包括以下步骤：
步骤S1，先对CelebA人脸数据集中的人脸图像进行预处理。
第一，以统一的对齐裁剪方式裁剪原始的高分辨率人脸图像，且只保留人脸区域；
第二，使用双线性下采样方法下采样对齐裁剪后的高分辨率人脸图像，得到对应的低分辨人脸图像；
第三，对生成的低分-高分人脸图像对进行数据增广，以增加训练数据集中的图像数量，包括随机水平翻转，随机颜色变换；
第四，划分CelebA人脸数据集，将80％作为训练数据集，20％作为测试数据集，用于测试模型的泛化性能。
在所述步骤S1中，预处理之后的CelebA人脸数据集中低分辨率人脸图像为16*16，对应的目标高分辨图像为64*64，高分辨率图像作为整个模型的生成目标，即GroundTruth。
步骤S2，利用步骤S1形成的训练数据集，训练基于稠密残差神经网络的人脸图像超分辨率方法模型，以用来完成人脸图像的超分辨率任务。
模型中的稠密残差神经网络，主要结构为16个稠密残差块RDB，每个稠密残差块里包含5个卷积层，该5个卷积层以稠密连接和残差连接的方式结合。
在稠密残差神经网络中，利用卷积神经网络结构先进行浅层的特征提取，然后通过16个稠密残差块进行深层的特征提取，其次通过pixelshuffle层上采样操作保持生成的人脸图像的大小和目标高分辨率人脸图像GroundTruth的大小一致，最后通过一份卷积层以将通道数缩放到3。
所述稠密残差神经网络，第一个卷积层的输入通道数，输出通道数，滤波器大小，步长和填充分别是3，64，3，1，1。稠密残差块中包含5个卷积层，其连接方式为稠密连接和残差连接的结合。稠密残差块中的5个卷积层的输出通道均为32，输入通道数分别为64，64+32，64+2*32，64+3*32，64+4*32，滤波器大小，步长和填充分别是3，1，1。最后一个卷积层输入通道数，输出通道数，滤波器大小，步长和填充分别是64，3，3，1，1。
所述Pixelshuffle层中包含一个卷积层、pixelshuffle和relu层。稠密残差块中的每一层卷积层的输入均为前面所有卷积层输出之合。稠密残差块的输入与最终输出之间有前传连接。
所述稠密残差神经网络中的卷积层，除最后一个卷积层外，均连接有rule激活层。稠密残差块的个数可根据实际情况进行选择设置。
所述判别网络结构为由卷积层，BN层和激活层堆叠而成的，其中卷积层滤波器大小，步长，填充分别为3，1，1，在本发明中卷积层个数为7，这一部分作为图像的特征提取，然后在加上两个全连接层来分类，该判别网络的输入为稠密残差神经网络生成的高分辨率人脸图像和真实的目标高分辨率人脸图像y，同样判别器的网络结构可根据需求自由设置。
该步骤中，利用低分辨率人脸图像作为模型的输入，真实的高分辨率人脸图像作为生成目标，交替训练稠密残差神经网络和判别网络完成人脸图像超分辨率任务。
具体地，通过稠密残差神经网络对低分辨比率人脸图像进行超分处理，得到生成的高分辨率人脸图像，与真实的高分辨率人脸图像进行L2损失的计算，并将其作为判别网络的输入，判别网络计算对抗损失通过判别网络对输入的生成的高分辨率人脸图像和目标高分辨率人脸图像判断真假，并计算对抗损失函数该损失函数只用于更新判别网络的参数。模型迭代多次达到稳定后完成模型的训练。
本发明中利用卷积神经网络的高度非线性拟合能力，针对人脸图像超分任务，构造以低分辨人脸图像作为输入的神经网络模型。特别的，稠密残差神经网络以稠密残差块为基础，具有更好的模型容量且不易出现梯度消失和爆炸的问题。
这样，通过图2所示网络，可训练一个具有良好感知效果的人脸图像超分模型。测试阶段，使用测试集中的低分辨人脸图像作为模型的输入，且只通过稠密残差神经网络，判别网络不参与测试，得到生成的效果图，如图1所示。
具体的，一种基于稠密残差神经网络的人脸图像超分辨率模型包含两个网络，分别是稠密残差神经网络和判别网络。特别的，模型的稠密残差神经网络目标函数如下：
其中，λ1，λ2为平衡因子，用于调整各个损失函数所占的权重。
上述的稠密残差神经网络模型，主要完成人脸图像超分任务，所述模型的最终目标为L2，两个损失函数降低至最低且保持稳定。
所述基于稠密残差神经网络的人脸图像超分辨率模型的两个网络如下训练：
步骤S21：初始化模型中的稠密残差神经网络，λ1，λ2分别设置为0.1，0.7，批处理大小设为32，学习率设为10-4；
S22：对于人脸图像超分任务，具体地，通过稠密残差神经网络对低分辨图像进行超分辨处理，得到生成的高分辨率人脸图像，与真实的高分辨率人脸图像进行L2损失的计算，通过判别网络对输入的目标高分辨人脸图像和稠密残差神经网络输出的高分辨率图像做损失函数的计算，模型迭代多次达到稳定后完成模型的训练。
S23：判别网络的输入为稠密残差神经网络生成的高分辨率人脸图像和目标高分辨率人脸图像。判别网络判断输入人脸图像的真假，并计算损失函数。该损失函数只用于更新判别网络的参数。
S24：模型中的稠密残差神经网络和判别网络同时交替训练，更新其网络权重。
S3：使用训练好的模型中的稠密残差神经网络，对测试数据集中的低分辨率人脸图像进行超分处理。
为了详细说明本发明的具体实施方式及验证本发明的有效性，将本发明提出的方法应用于一个公开的数据集中训练(CelebA)，该人脸图像大概有2万多张人脸图像。选择该数据集的80％作为训练数据集，剩余的20％作为测试数据集，用于测试模型的泛化性能。
验证时，先对CelebA人脸数据集中的人脸图像预处理。第一，以一种统一的对齐裁剪方式裁剪原始的高分辨率人脸图像，且只保留人脸区域；第二，使用双线性下采样方法下采样对齐裁剪后的高分辨率人脸图像，得到对应的低分辨人脸图像；第三，对生成的低分-高分人脸图像对进行数据增广，以增加训练数据集中的图像数量，包括随机水平翻转，随机颜色变换。使用训练数据集训练模型，利用梯度反传技术优化模型参数，得到用来人脸图像超分的模型。
为了测试该模型的有效性，使用剩余的20％人脸图像作为训练好的模型的测试集，可视化的结果如图1所示。在实验中，与GroundTruth真实图像进行了对比，实验的结果如图1所示。该实施例有效证明了本发明所提出方法对人脸图像超分辨率的有效性。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种基于稠密残差神经网络的人脸图像超分辨率方法，其特征在于，包括步骤：
S1.将人脸图像数据集的图像数据预处理，得到训练数据集与测试数据集：
S2.使用训练数据集训练模型，得到能对低分辨率人脸图像进行超分到高分辨人脸图像的人脸图像超分模型；包括：
利用低分辨率人脸图像和对应的目标高分辨率人脸图像作为模型的输入，训练模型中的稠密残差神经网络；
将目标高分辨率人脸图像和稠密残差神经网络所生成的高分辨率人脸图像输入到判别网络中，由判别网络判断出输入图像的真假，模型迭代多次达到稳定后完成模型的训练；
S3.使用训练好的人脸图像超分模型，对测试数据集中的低分辨率图像超分处理，测试训练好的人脸图像超分模型的超分性能。
2.根据权利要求1所述的基于稠密残差神经网络的人脸图像超分辨方法，其特征在于，步骤S2包括：
S21.使用标准高斯分布随机初始化稠密残差神经网络和判别网络的权重参数，其中稠密残差神经网络的损失函数为L2，对抗损失函数为判别网络的损失函数为
S22.将低分辨率人脸图像输入到稠密残差神经网络中，稠密残差神经网络输出与目标高分辨率人脸图像大小一致的生成图像，将生成图像作为判别网络的输入，依次迭代使对抗损失函数和损失函数L2均降低至趋于稳定，
S23.判别网络输入为稠密残差神经网络生成的高分辨率人脸图像和目标高分辨率人脸图像，判别网络判断输入图像真假，计算损失函数该损失函数只用于更新判别网络参数，
S24.交替训练稠密残差神经网络和判别网络，直到所有损失函数不再降低，得到最终人脸图像超分模型。
3.根据权利要求2所述的基于稠密残差神经网络的人脸图像超分辨率方法，其特征在于，所述稠密残差神经网络的目标函数如下：
其中，λ1，λ2为平衡因子，用于调整各个损失函数所占的权重；
所述判别网络的目标函数为
4.根据权利要求2所述的基于稠密残差神经网络的人脸图像超分辨率方法，其特征在于，
其中x，y分别为从低分辨图像集X和高分辨率图像集Y中采样出来的低分辨率人脸图像和对应的高分辨率人脸图像，E(*)表示取平均操作，表示L2范数，Fgenerator为稠密残差神经网络对应的映射函数。
5.根据权利要求2所述的基于稠密残差神经网络的人脸图像超分辨率方法，其特征在于,
其中，E(*)表示取平均操作，x～P(X)表示低分辨率图像从P(X)中采样取得，D(*)表示判别网络的映射函数，G(x)表示稠密残差神经网络生成的高分辨率人脸图像。
6.根据权利要求2所述的基于稠密残差神经网络的人脸图像超分辨率方法，其特征在于,
其中，E(*)表示取平均操作，y～P(Y)表示目标高分辨率图像从分布P(Y)中采样得到，D(*)表示判别网络的映射函数，x～P(X)表示低分辨率图像从分布P(X)中采样得到，G(x)表示稠密残差神经网络生成的高分辨率图像。
7.根据权利要求1所述的基于稠密残差神经网络的人脸图像超分辨率方法，其特征在于：
所述训练数据集中的图像对为[x,y]，其中，x为低分辨率人脸图像，y为目标高分辨率人脸图像，且稠密残差神经网络的输出为
8.根据权利要求1所述的基于稠密残差神经网络的人脸图像超分辨率方法，其特征在于，步骤S1包括以下步骤：
以统一对齐裁剪方式裁剪原始的高分辨率人脸图像，只保留人脸区域；使用双线性下采样方法下采样对齐裁剪后的高分辨率人脸图像，得到对应的低分辨人脸图像；，对生成的低分-高分人脸图像对进行数据增广，以增加训练数据集中的图像数量；第四，划分人脸数据集，将80％作为训练数据集，20％作为测试数据集，用于测试模型的泛化性能。
9.根据权利要求1所述的基于稠密残差神经网络的人脸图像超分辨率方法，其特征在于，步骤S1中，所述人脸图像超分模型的超分辨倍数为4×。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910752651.9A CN110610464A (zh) | 2019-08-15 | 2019-08-15 | 一种基于稠密残差神经网络的人脸图像超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910752651.9A CN110610464A (zh) | 2019-08-15 | 2019-08-15 | 一种基于稠密残差神经网络的人脸图像超分辨率方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110610464A true CN110610464A (zh) | 2019-12-24 |
Family
ID=68889824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910752651.9A Pending CN110610464A (zh) | 2019-08-15 | 2019-08-15 | 一种基于稠密残差神经网络的人脸图像超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110610464A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223163A (zh) * | 2020-01-07 | 2020-06-02 | 苏州瑞派宁科技有限公司 | 图像重建方法、装置、设备、系统及计算机可读存储介质 |
| CN111476353A (zh) * | 2020-04-07 | 2020-07-31 | 中国科学院重庆绿色智能技术研究院 | 一种引入显著性的gan图像超分辨率方法 |
| CN111626937A (zh) * | 2020-05-28 | 2020-09-04 | 成都三零凯天通信实业有限公司 | 一种人像超分辨率重建方法 |
| CN111626927A (zh) * | 2020-04-09 | 2020-09-04 | 上海交通大学 | 采用视差约束的双目图像超分辨率方法、系统及装置 |
| CN111860212A (zh) * | 2020-06-29 | 2020-10-30 | 北京金山云网络技术有限公司 | 人脸图像的超分方法、装置、设备及存储介质 |
| CN112233021A (zh) * | 2020-11-20 | 2021-01-15 | 福建师范大学 | 基于降质分类和定向数据增广的鲁棒人脸超分辨处理方法 |
| WO2021218765A1 (zh) * | 2020-04-27 | 2021-11-04 | 深圳市中兴微电子技术有限公司 | 图像去噪方法及装置、电子设备以及存储介质 |
| CN113628107A (zh) * | 2021-07-02 | 2021-11-09 | 上海交通大学 | 人脸图像超分辨率方法和系统 |
| CN114241078A (zh) * | 2022-02-23 | 2022-03-25 | 南昌睿度医疗科技有限公司 | 一种加速磁共振超分辨率成像方法、装置、设备及介质 |
| WO2023052755A1 (en) * | 2021-09-30 | 2023-04-06 | Smiths Detection France S.A.S. | Denoising and super resolution |
| WO2023072176A1 (zh) * | 2021-10-28 | 2023-05-04 | 北京字跳网络技术有限公司 | 一种视频的超分辨率方法及装置 |
| CN116721316A (zh) * | 2023-08-11 | 2023-09-08 | 之江实验室 | 一种模型训练和地磁图优化方法、装置、介质及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109003240A (zh) * | 2018-07-16 | 2018-12-14 | 安徽理工大学 | 一种基于多尺度并行cnn的图像去噪方法 |
| CN109325931A (zh) * | 2018-08-22 | 2019-02-12 | 中北大学 | 基于生成对抗网络和超分辨率网络的多模态图像融合方法 |
| CN109993698A (zh) * | 2019-03-29 | 2019-07-09 | 西安工程大学 | 一种基于生成对抗网络的单幅图像超分辨纹理增强方法 |
-
2019
- 2019-08-15 CN CN201910752651.9A patent/CN110610464A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109003240A (zh) * | 2018-07-16 | 2018-12-14 | 安徽理工大学 | 一种基于多尺度并行cnn的图像去噪方法 |
| CN109325931A (zh) * | 2018-08-22 | 2019-02-12 | 中北大学 | 基于生成对抗网络和超分辨率网络的多模态图像融合方法 |
| CN109993698A (zh) * | 2019-03-29 | 2019-07-09 | 西安工程大学 | 一种基于生成对抗网络的单幅图像超分辨纹理增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨娟，李文静，汪荣贵，蒋丽霞: "融合感知损失的生成式对抗超分辨率算法" * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223163B (zh) * | 2020-01-07 | 2023-09-26 | 苏州瑞派宁科技有限公司 | 图像重建方法、装置、设备、系统及计算机可读存储介质 |
| CN111223163A (zh) * | 2020-01-07 | 2020-06-02 | 苏州瑞派宁科技有限公司 | 图像重建方法、装置、设备、系统及计算机可读存储介质 |
| CN111476353A (zh) * | 2020-04-07 | 2020-07-31 | 中国科学院重庆绿色智能技术研究院 | 一种引入显著性的gan图像超分辨率方法 |
| CN111476353B (zh) * | 2020-04-07 | 2022-07-15 | 中国科学院重庆绿色智能技术研究院 | 一种引入显著性的gan图像超分辨率方法 |
| CN111626927B (zh) * | 2020-04-09 | 2023-05-30 | 上海交通大学 | 采用视差约束的双目图像超分辨率方法、系统及装置 |
| CN111626927A (zh) * | 2020-04-09 | 2020-09-04 | 上海交通大学 | 采用视差约束的双目图像超分辨率方法、系统及装置 |
| WO2021218765A1 (zh) * | 2020-04-27 | 2021-11-04 | 深圳市中兴微电子技术有限公司 | 图像去噪方法及装置、电子设备以及存储介质 |
| CN111626937A (zh) * | 2020-05-28 | 2020-09-04 | 成都三零凯天通信实业有限公司 | 一种人像超分辨率重建方法 |
| CN111860212B (zh) * | 2020-06-29 | 2024-03-26 | 北京金山云网络技术有限公司 | 人脸图像的超分方法、装置、设备及存储介质 |
| CN111860212A (zh) * | 2020-06-29 | 2020-10-30 | 北京金山云网络技术有限公司 | 人脸图像的超分方法、装置、设备及存储介质 |
| CN112233021B (zh) * | 2020-11-20 | 2022-05-31 | 福建师范大学 | 基于降质分类和定向数据增广的鲁棒人脸超分辨处理方法 |
| CN112233021A (zh) * | 2020-11-20 | 2021-01-15 | 福建师范大学 | 基于降质分类和定向数据增广的鲁棒人脸超分辨处理方法 |
| CN113628107A (zh) * | 2021-07-02 | 2021-11-09 | 上海交通大学 | 人脸图像超分辨率方法和系统 |
| CN113628107B (zh) * | 2021-07-02 | 2023-10-27 | 上海交通大学 | 人脸图像超分辨率方法和系统 |
| GB2611519A (en) * | 2021-09-30 | 2023-04-12 | Smiths Detection France S A S | Denoising and super resolution |
| WO2023052755A1 (en) * | 2021-09-30 | 2023-04-06 | Smiths Detection France S.A.S. | Denoising and super resolution |
| WO2023072176A1 (zh) * | 2021-10-28 | 2023-05-04 | 北京字跳网络技术有限公司 | 一种视频的超分辨率方法及装置 |
| CN114241078A (zh) * | 2022-02-23 | 2022-03-25 | 南昌睿度医疗科技有限公司 | 一种加速磁共振超分辨率成像方法、装置、设备及介质 |
| CN116721316A (zh) * | 2023-08-11 | 2023-09-08 | 之江实验室 | 一种模型训练和地磁图优化方法、装置、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110610464A (zh) | 一种基于稠密残差神经网络的人脸图像超分辨率方法 | |
| CN111080513B (zh) | 一种基于注意力机制的人脸图像超分辨率方法 | |
| CN108710831B (zh) | 一种基于机器视觉的小数据集人脸识别算法 | |
| CN109815928B (zh) | 一种基于对抗学习的人脸图像合成方法和装置 | |
| CN111798400B (zh) | 基于生成对抗网络的无参考低光照图像增强方法及系统 | |
| CN108520503B (zh) | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 | |
| CN108334816B (zh) | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 | |
| CN111428667A (zh) | 一种基于解耦表达学习生成对抗网络的人脸图像转正方法 | |
| CN110660020B (zh) | 一种基于融合互信息的对抗生成网络的图像超分辨率方法 | |
| CN110827213A (zh) | 一种基于生成式对抗网络的超分辨率图像修复方法 | |
| CN111080521A (zh) | 一种基于结构先验的人脸图像超分辨率方法 | |
| CN110211035B (zh) | 融合互信息的深度神经网络的图像超分辨率方法 | |
| CN111985405B (zh) | 一种人脸年龄合成方法及系统 | |
| CN107871099A (zh) | 人脸定位方法和装置 | |
| CN112233012B (zh) | 一种人脸生成系统及方法 | |
| CN114663440A (zh) | 一种基于深度学习的眼底图像病灶分割方法 | |
| CN112002009A (zh) | 一种基于生成对抗网络的无监督重建三维人脸方法 | |
| CN112149526B (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
| CN111210382A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN114078276A (zh) | 一种条件对抗域泛化的人脸活体检测方法及网络模型架构 | |
| CN110889797B (zh) | 基于对抗样本生成的深度自适应图像隐藏方法 | |
| CN116403290A (zh) | 一种基于自监督域聚类与域泛化的活体检测方法 | |
| CN116563682A (zh) | 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 | |
| CN114882537A (zh) | 一种基于神经辐射场的手指新视角图像生成方法 | |
| CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191224 |