CN110211035A - 融合互信息的深度神经网络的图像超分辨率方法 - Google Patents

融合互信息的深度神经网络的图像超分辨率方法 Download PDF

Info

Publication number
CN110211035A
CN110211035A CN201910314724.6A CN201910314724A CN110211035A CN 110211035 A CN110211035 A CN 110211035A CN 201910314724 A CN201910314724 A CN 201910314724A CN 110211035 A CN110211035 A CN 110211035A
Authority
CN
China
Prior art keywords
network
resolution
image
mutual information
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910314724.6A
Other languages
English (en)
Other versions
CN110211035B (zh
Inventor
马鑫
侯峦轩
赫然
孙哲南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Zhongke Intelligent Identification Co ltd
Original Assignee
Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co Ltd filed Critical Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co Ltd
Priority to CN201910314724.6A priority Critical patent/CN110211035B/zh
Publication of CN110211035A publication Critical patent/CN110211035A/zh
Application granted granted Critical
Publication of CN110211035B publication Critical patent/CN110211035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image

Abstract

本发明公开一种融合互信息的深度神经网络的图像超分辨率方法，包括：将图像数据库中的图像数据预处理操作；利用预处理操作后形成的图像数据进行模型训练，通过训练得到能对低分辨率图像进行超分辨到高分辨率图像的深度神经网络模型；使用训练好的深度神经网络模型，对测试数据集中的低分辨率图像进行超分辨处理。本发明通过融合互信息的图像超分辨率模型，可生成在感知上效果非常好的图像。

Description

融合互信息的深度神经网络的图像超分辨率方法
技术领域
本发明涉及计算机视觉、计算机图像学、机器学习技术领域，特别是涉及一种融合互信息的深度神经网络的图像超分辨率方法。
背景技术
图像超分辨率，指的是从一张低分辨图像中推理恢复出对应的高分辨图像(一般研究单张图像的超分辨率，即只有一张低分辨率图像作为参考)。图像超分辨率是计算机视觉和图像处理中一个重要任务。在现实世界的很多场景下都能够看到广泛的应用，比如医疗摄影、监控和安防等等。除了提高图像的视觉质量外，图像超分辨率还为其他的计算机视觉和图像处理任务提供帮助，比如人脸识别、上妆和转脸等。所以图像超分辨率具有重要研究意义。但这个问题仍然具有挑战性，因为这是一个典型的病态问题，即给定一张低分辨率的图像，可能存在多张对应的高分辨率图像。
之前存在着许多传统的方法来解决图像超分辨这个方法，比如基于稀疏表示的方法、基于边缘的方法和基于统计的方法。近年来随着硬件算力的大幅度上升和其价格的大幅度下降，机器学习以深度学习为基础开始了又一次复兴。各种基于深度学习的算法如春笋般浮现，在图像超分辨率领域，研究人员也提出了大量的基于深度学习的方法，这些方法都取得了令人满意的效果，比如SRCNN和SRGAN等等。基于学习的方法普遍使用卷积神经网络来构建图像超分辨率网络结构，将低分辨率图像输入到该网络结构中，进行一系列的非线性处理(用来拟合一个复杂的映射函数)得到生成图像，将生成图像与真实的高分辨率图像作为损失函数的输入并计算该损失函数的值，求梯度来最小化这个值，并利用反向传播函数将求得的梯度反向传播并更新网络权重的参数，多次迭代直到该损失函数不变为止。
随着社会的不断进步，人们在满足日常所需之时，也对各方面的需求不断提高，包括网络游戏、视频通话和拍照质量等等。高质量的图像对于用户的体验和市场的竞争都具有重要的意义。因此，在这样的背景下，开发一种融合互信息的深度神经网络的图像超分变率方法是很有必要的。
发明内容
本发明的目的是针对图像超分辨率中的病态问题，提供一种能提高图像超分辨率生成质量并降低不确定性的融合互信息的深度神经网络的图像超分辨率方法。
为实现本发明的目的所采用的技术方案是：
一种融合互信息的深度神经网络的图像超分辨率方法，包括：
S1.将图像数据库中的图像数据进行预处理操作：包括将原始高分辨图像降采样生成低分辨图像；以及将高分辨图像和低分辨图像打包成h5py格式；
S2.通过训练得到能对低分辨率图像进行超分辨到高分辨率图像的深度神经网络模型，包括：利用步骤S1形成的低分辨率图像和对应的高分辨图像作为网络输入，真实高分辨图像作为GroundTruth，训练深度神经网络模型中的生成网络和互信息网络，完成深度神经网络模型的训练。
S3.使用训练好的深度神经网络模型，对测试数据集中的低分辨率图像进行超分辨处理。
与现有技术相比，本发明的有益效果是：
本发明使用了感知损失和互信息损失作为部分的损失函数，能提高视觉质量和减小不确定性；使用残差网络结构作为基础，提高了模型容量和加快训练速度；所提出的损失函数可提高整个模型的准确性和鲁棒性，所使用残差网络结构可提高模型的泛化能力。
本发明通过融合互信息的图像超分辨率模型，可以生成在感知上效果非常好的图像；本发明提出的融合互信息的深度神经网络的图像超分辨率模型，使用残差网络作为构建模型的基础，结合了多种损失函数，特别是互信息损失函数，使得模型的收敛更快，效果更好，并且泛化能力更强。
附图说明
图1是本发明在测试数据集中的一张蝴蝶图像上的测试结果；其中左边是GroundTruth真实高分辨率图像，中间是低分辨图像，右边是模型生成的高分辨率图像。
图2是本发明中融合互信息的神经网络的图像超分辨率方法流程图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明是对输入的训练图像预处理操作，用matlab程序对输入的高分辨率图像下采样生成对应的低分辨率图像；用另一个matlab程序对生成的高分辨图像和对应的低分辨图像对打包生成h5py格式；将打包好的图像输入到设计的模型中，进行图像超分辨率操作的。
本发明通过融合互信息的神经网络的图像超分辨率模型来学习一组高度复杂的非线性的变换，用来把低分辨率的图像映射到高分辨的图像，同时保持很好的纹理和身份特征。
如图2所示,本发明的一种融合互信息的神经网络的图像超分辨率方法，该方法包括以下几个步骤：
步骤S1，先对训练数据集中的图像使用matlab程序进行下采样，缩小倍数为4，生成对应大小为24*24的低分辨率图像，然后使用另一个matlab程序将配对好的高/低分辨率图像打包生成h5py格式，加快I/O的读取速度。
步骤S2，利用所述训练输入数据，训练融合互信息的神经网络的图像超分辨率模型，以用来完成图像的超分辨率任务。
在生成网络中利用卷积神经网络结构先进行特征提取，再进行上采样操作来保持生成图像的大小和GroundTruth真实高分辨率图像的大小一致。
在这一实例中，所述卷积神经网络结构由前中后三个卷积神经网络组成，在前中卷积神经网络中包含16个残差块，其中前中后卷积神经网络滤波器大小，步长，填充分别为9*9，1，4；3*3,1,1；9*9,1,4。
残差块具体结构为卷积神经网络，实例归一化层，激活层，卷积层，激活层，其中卷积层滤波器大小，步长，填充分别为3*3,1,1。残差层输入与输出之间有前传连接。卷积层的层数和每层卷积层中滤波器的个数及大小可根据实际情况进行选择设置。同理，残差块的个数也可以根据实际情况进行选择设置。
在感知网络中，输入为模型输出和GroundTruth真实高分辨率图像y，网络结构为在ImageNet数据集上预训练过的VGG-16。在互信息网络中，输入为从生成网络中提取出来的全局特征和局部特征图，其网络有两个子网络组成，分别为全局鉴别网络和局部鉴别网络，均由全连接层组成，其中全局鉴别网络由3个卷积层组成，局部鉴别网络由3个全连接层组成。卷积层的层数和每层卷积层中滤波器的个数及大小可根据实际情况进行选择设置。
该步骤中，利用低分辨率图像作为模型的输入，真实的高分辨率图像作为生成目标，同时训练生成子网和互信息子网完成图像超分辨率任务，感知网络不更新参数。具体地，通过生成网络对低分辨比率图像进行处理，得到生成的高分辨率图像，与真实的高分辨率图像进行L2损失的计算，通过互信息网络对输入的全局特征和局部特征图做Lmutual互信息损失的计算，通过感知网络对真的高分辨图像和生成的高分辨图像做Lperceptual感知损失计算，模型迭代多次达到稳定后完成模型的训练。
本发明中利用所述卷积神经网络的高度非线性拟合能力，针对图像超分辨率任务，构造以低分辨图像作为输入的神经网络。特别的，网络通过外加的损失函数的限制可以很好地生成纹理细节。这样通过如图2所示的网络，利用互信息网络可以训练一个，具有良好感知效果的图像超分辨率模型。
在测试阶段，使用测试集中的低分辨图像作为模型的输入，且只通过生成子网，感知网络和互信息网络不参与测试，得到生成的效果图，如图1所示。
具体的，融合互信息的神经网络的图像超分辨率模型包含三个子网网络，分别是生成网络，互信息网络，感知网络。整个模型的目标函数如下：
Ltotal＝λ1L2+λ2Lmutual+λ3Lperceptual
其中，λ1，λ2，λ3为平衡因子，用于调整各个损失函数所起作用的大小。
上述的卷积神经网络，主要完成图像超分辨率任务，所述模型的最终目标为L2，Lmutual，Lperceptual几个损失函数降低至最低且保持稳定。
所述生成网络和互信息网络进行如下训练：
步骤S21：初始化模型中的生成网络和互信息网络，λ1，λ2，λ3分别设置为0.1,0.7,0.2，批处理大小设为32，学习率开始设为10-4；
步骤S22：对于图像超分辨率任务，具体地，通过生成网络对低分辨比率图像进行处理，得到生成的高分辨率图像，与真实的高分辨率图像进行L2损失的计算，通过互信息网络对输入的全局特征和局部特征图做Lmutual损失的计算，通过感知网络对真实的高分辨图像和生成的高分辨图像做Lperceptual感知损失计算，模型迭代多次达到稳定后完成模型的训练。
步骤S23：模型中的生成网络和互信息网络同时训练，更新其网络权重，感知网络不更新参数。
步骤S3：使用训练好的模型中生成网络，对测试数据进行超分辨率处理。
为了详细说明本发明的具体实施方式及验证本发明的有效性，将本发明提出的方法应用于一个公开的数据集中训练，经过增广后大约有2万多张图像的训练数据集。该数据库包含一些自然场景的照片，比如花，树等等。选择该数据集的全部图像作为训练数据集，先对训练数据集中的所有图像使用matlab程序进行下采样，缩小倍数为4，生成对应的低分辨率图像，然后使用另一个matlab程序将配对好的高/低分辨率图像打包生成h5py格式，作为模型的输入，利用梯度反传训练生成网络、互信息网络，直到最后网络收敛，得到用来图像超分辨率的模型。
为了测试该模型的有效性，使用Set5和Set14作为训练好的模型的测试集，可视化的结果如图1所示。在实验中，验证了有/无互信息损失函数对模型性能的影响，并与GroundTruth真实图像进行了对比，实验的结果如图1所示。该实施例有效证明了本发明所提出方法对图像超分辨率的有效性。
本发明针对计算机视觉中的图像超分辨率问题，提出了一种基于互信息的深度神经网络模型，该模型可以将低分辨率图像超分辨到高分辨率图像，超分辨倍数为4×，并且超分辨处理后生成的高分辨率图像具有丰富的纹理细节。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.融合互信息的深度神经网络的图像超分辨率方法，其特征在于，包括：
S1.将图像数据库中的图像数据进行预处理操作：包括将训练数据集中的原始高分辨图像降采样生成低分辨图像；以及将高分辨图像和低分辨图像打包成h5py格式；
S2.通过训练得到能对低分辨率图像进行超分辨到高分辨率图像的深度神经网络模型，包括：利用步骤S1形成的低分辨率图像和对应的高分辨图像作为生成网络对输入，真实高分辨图像作为GroundTruth，训练深度神经网络模型中的生成网络和互信息网络，完成深度神经网络模型的训练。
S3.使用训练好的深度神经网络模型，对测试数据集中的低分辨率图像进行超分辨处理。
2.根据权利要求1所述的融合互信息的深度神经网络的图像超分辨方法，其特征在于，步骤S2中，在训练深度神经网络模型时，是通过生成网络对低分辨率图像处理，得到与GroundTruth大小一致的生成的高分辨率图像，与真实的高分辨率图像进行生成网络的损失函数L2的计算，通过互信息网络对输入的全局特征和局部特征做互信息网络损失函数Lmutual的计算，通过感知网络对真实的高分辨图像和生成的高分辨图像做感知损失函数Lperceptual的计算，模型迭代多次达到稳定后完成模型的训练。
3.根据权利要求2所述的融合互信息的深度神经网络的图像超分辨方法，其特征在于，步骤S2中，具体的步骤如下：
使用标准高斯分布随机初始化生成网络和互信息网络的权重参数，各个网络的损失函数分别为，生成网络的损失函数L2，感知损失函数Lperceptual和互信息网络的损失函数Lmutal；
对于图像超分变率任务，将生成网络的输出分别作为感知网络和生成网络损失函数的输入，将从生成网络中提取出来的全局特征和局部特征作为互信息网络的输入，依次迭代使得互信息网络的损失函数Lmutual、感知损失函数Lperceptual和生成网络的损失函数L2均降低至趋于稳定；
同时训练生成网络和互信息网络，感知损失网络参与训练但不更新感知损失网络的参数，直到所有的损失函数不再降低，从而得到最终的图像超分辨模型。
4.根据权利要求3所述的融合互信息的深度神经网络的图像超分变辨率方法，其特征在于，所述的图像超分辨模型的目标函数Ltotal如下：
Ltotal＝λ1L2+λ2Lmutual+λ3Lperceptual
其中，λ1，λ2，λ3为平衡因子，用于调整各个损失函数所占的比重。
5.根据权利要求3所述的融合互信息的深度神经网络的图像超分辨率方法，其特征在于，训练数据集中的图像对为[x，y]，其中，x为低分辨率图像，y为GroundTruth真实高分辨率图像。
6.根据权利要求5所述的融合互信息的深度神经网络的图像超分辨率方法，其特征在于，生成网络的损失函数L2为：
E[*]为取均值，为生成网络输出的高分辨图像，且其中Fgenerator为生成网络对应的映射函数。
7.根据权利要求6所述的融合互信息的深度神经网络的图像超分变率方法，其特征在于，生成网络的感知损失函数Lperceptual为：
其中，j表示网络的第j层，CjHjWj表示第j层的特征图的大小，Φ表示损失网络，Φj表示损失网络的第j层，Φ即为在ImageNet数据集上预训练好的VGG-16网络。
8.根据权利要求7所述的融合互信息的深度神经网络的图像超分辨方法，其特征在于，互信息网络由两个鉴别网络组成，互信息网络的损失函数Lmutual为：
其中，表示最小化 表示x所产生的的分布，Ti(i＝1,2)分别为全局和局部鉴别网络，Cij为中间局部特征图，α,β,γ均为平衡因子，用于调整各项的所起作用的比重，为低分辨率图像数据的分布，表示生成的高分辨图像数据的分布，σ表示激活函数，中的hw表示局部特征图的高和宽，KL[*]表示KL散度，为生成的高分辨率图像的先验分布。
CN201910314724.6A 2019-04-18 2019-04-18 融合互信息的深度神经网络的图像超分辨率方法 Active CN110211035B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910314724.6A CN110211035B (zh) 2019-04-18 2019-04-18 融合互信息的深度神经网络的图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910314724.6A CN110211035B (zh) 2019-04-18 2019-04-18 融合互信息的深度神经网络的图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN110211035A true CN110211035A (zh) 2019-09-06
CN110211035B CN110211035B (zh) 2023-03-24

Family

ID=67785414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910314724.6A Active CN110211035B (zh) 2019-04-18 2019-04-18 融合互信息的深度神经网络的图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN110211035B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110851634A (zh) * 2019-11-18 2020-02-28 广东三维家信息科技有限公司 图片检索的方法、装置及电子设备
CN111080528A (zh) * 2019-12-20 2020-04-28 北京金山云网络技术有限公司 图像超分辨率和模型训练方法、装置、电子设备及介质
CN111080521A (zh) * 2019-12-12 2020-04-28 天津中科智能识别产业技术研究院有限公司 一种基于结构先验的人脸图像超分辨率方法
CN112070668A (zh) * 2020-08-18 2020-12-11 西安理工大学 一种基于深度学习和边缘增强的图像超分辨方法
CN112435162A (zh) * 2020-11-13 2021-03-02 中国科学院沈阳自动化研究所 一种基于复数域神经网络的太赫兹图像超分辨重建方法
CN113242201A (zh) * 2021-04-16 2021-08-10 西北大学 基于生成分类网络的无线信号增强解调方法及系统
CN113627411A (zh) * 2021-10-14 2021-11-09 广州市玄武无线科技股份有限公司 一种基于超分辨率的商品识别与价格匹配方法及系统
CN113763230A (zh) * 2020-06-04 2021-12-07 北京达佳互联信息技术有限公司 图像风格迁移模型训练方法、风格迁移方法及装置
CN114581347A (zh) * 2022-01-24 2022-06-03 中国科学院空天信息创新研究院 无参考影像的光学遥感空谱融合方法、装置、设备及介质
CN116010805A (zh) * 2023-03-24 2023-04-25 昆明理工大学 基于卷积神经网络的滚动轴承故障特征提取方法、装置
CN113763230B (zh) * 2020-06-04 2024-05-17 北京达佳互联信息技术有限公司 图像风格迁移模型训练方法、风格迁移方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008131658A (ja) * 2006-11-22 2008-06-05 Tektronix Inc ビデオ・フレーム測定装置及び方法
CN101609549A (zh) * 2009-07-24 2009-12-23 河海大学常州校区 视频模糊图像的多尺度几何分析超分辨处理方法
US20180096457A1 (en) * 2016-09-08 2018-04-05 Carnegie Mellon University Methods and Software For Detecting Objects in Images Using a Multiscale Fast Region-Based Convolutional Neural Network
CN107944379A (zh) * 2017-11-20 2018-04-20 中国科学院自动化研究所 基于深度学习的眼白图像超分辨率重建与图像增强方法
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN108171320A (zh) * 2017-12-06 2018-06-15 西安工业大学 一种基于生成式对抗网络的图像域转换网络和转换方法
CN108182669A (zh) * 2018-01-02 2018-06-19 华南理工大学 一种基于多个图片尺寸的生成对抗网络的超分辨率复原方法
CN108537754A (zh) * 2018-04-12 2018-09-14 哈尔滨工业大学 基于形变引导图的人脸图像复原系统
CN109191402A (zh) * 2018-09-03 2019-01-11 武汉大学 基于对抗生成神经网络的图像修复方法和系统
CN109509152A (zh) * 2018-12-29 2019-03-22 大连海事大学 一种基于特征融合的生成对抗网络的图像超分辨率重建方法
CN109559276A (zh) * 2018-11-14 2019-04-02 武汉大学 一种基于无参考质量评价和特征统计的图像超分辨率重建方法
US20200184245A1 (en) * 2018-12-11 2020-06-11 Amazon Technologies, Inc. Improper neural network input detection and handling

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008131658A (ja) * 2006-11-22 2008-06-05 Tektronix Inc ビデオ・フレーム測定装置及び方法
CN101609549A (zh) * 2009-07-24 2009-12-23 河海大学常州校区 视频模糊图像的多尺度几何分析超分辨处理方法
US20180096457A1 (en) * 2016-09-08 2018-04-05 Carnegie Mellon University Methods and Software For Detecting Objects in Images Using a Multiscale Fast Region-Based Convolutional Neural Network
CN107944379A (zh) * 2017-11-20 2018-04-20 中国科学院自动化研究所 基于深度学习的眼白图像超分辨率重建与图像增强方法
CN108171320A (zh) * 2017-12-06 2018-06-15 西安工业大学 一种基于生成式对抗网络的图像域转换网络和转换方法
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN108182669A (zh) * 2018-01-02 2018-06-19 华南理工大学 一种基于多个图片尺寸的生成对抗网络的超分辨率复原方法
CN108537754A (zh) * 2018-04-12 2018-09-14 哈尔滨工业大学 基于形变引导图的人脸图像复原系统
CN109191402A (zh) * 2018-09-03 2019-01-11 武汉大学 基于对抗生成神经网络的图像修复方法和系统
CN109559276A (zh) * 2018-11-14 2019-04-02 武汉大学 一种基于无参考质量评价和特征统计的图像超分辨率重建方法
US20200184245A1 (en) * 2018-12-11 2020-06-11 Amazon Technologies, Inc. Improper neural network input detection and handling
CN109509152A (zh) * 2018-12-29 2019-03-22 大连海事大学 一种基于特征融合的生成对抗网络的图像超分辨率重建方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
SIMAIAO YU ET AL.: "deep de-aliasing for fast compressive sensing MRI", 《ARXIV:1705.07137V1》 *
YOCHAI BLAU ET AL.: "THE PERCEPTION-DISTORTION TRADEOFF", 《ARXIV:1711.06077V2》 *
唐松泽等: "全局和局部结构内容自适应正则化的单幅图像超分辨模型", 《中国图象图形学报》 *
应自炉 等: "多尺度密集残差网络的单幅图像超分辨率重建", 《中国图象图形学报》 *
朱中杭: "基于深度学习的图像超分辨率重建方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
李方彪 等: "基于超分辨率重建的亚像素图像配准", 《光学精密工程》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110851634A (zh) * 2019-11-18 2020-02-28 广东三维家信息科技有限公司 图片检索的方法、装置及电子设备
CN111080521A (zh) * 2019-12-12 2020-04-28 天津中科智能识别产业技术研究院有限公司 一种基于结构先验的人脸图像超分辨率方法
CN111080528B (zh) * 2019-12-20 2023-11-07 北京金山云网络技术有限公司 图像超分辨率和模型训练方法、装置、电子设备及介质
CN111080528A (zh) * 2019-12-20 2020-04-28 北京金山云网络技术有限公司 图像超分辨率和模型训练方法、装置、电子设备及介质
CN113763230A (zh) * 2020-06-04 2021-12-07 北京达佳互联信息技术有限公司 图像风格迁移模型训练方法、风格迁移方法及装置
CN113763230B (zh) * 2020-06-04 2024-05-17 北京达佳互联信息技术有限公司 图像风格迁移模型训练方法、风格迁移方法及装置
CN112070668A (zh) * 2020-08-18 2020-12-11 西安理工大学 一种基于深度学习和边缘增强的图像超分辨方法
CN112435162A (zh) * 2020-11-13 2021-03-02 中国科学院沈阳自动化研究所 一种基于复数域神经网络的太赫兹图像超分辨重建方法
CN113242201A (zh) * 2021-04-16 2021-08-10 西北大学 基于生成分类网络的无线信号增强解调方法及系统
CN113627411A (zh) * 2021-10-14 2021-11-09 广州市玄武无线科技股份有限公司 一种基于超分辨率的商品识别与价格匹配方法及系统
CN114581347B (zh) * 2022-01-24 2024-03-12 中国科学院空天信息创新研究院 无参考影像的光学遥感空谱融合方法、装置、设备及介质
CN114581347A (zh) * 2022-01-24 2022-06-03 中国科学院空天信息创新研究院 无参考影像的光学遥感空谱融合方法、装置、设备及介质
CN116010805A (zh) * 2023-03-24 2023-04-25 昆明理工大学 基于卷积神经网络的滚动轴承故障特征提取方法、装置

Also Published As

Publication number Publication date
CN110211035B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN110211035A (zh) 融合互信息的深度神经网络的图像超分辨率方法
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
Chen et al. Fsrnet: End-to-end learning face super-resolution with facial priors
CN106204468B (zh) 一种基于ReLU卷积神经网络的图像去噪方法
CN107977932A (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN109886881B (zh) 人脸妆容去除方法
CN108334816A (zh) 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法
CN110211045A (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN111062872A (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
Yan et al. Fine-grained attention and feature-sharing generative adversarial networks for single image super-resolution
CN111985405B (zh) 一种人脸年龄合成方法及系统
CN111080513B (zh) 一种基于注意力机制的人脸图像超分辨率方法
CN107423678A (zh) 一种提取特征的卷积神经网络的训练方法及人脸识别方法
CN110660020B (zh) 一种基于融合互信息的对抗生成网络的图像超分辨率方法
CN111428667A (zh) 一种基于解耦表达学习生成对抗网络的人脸图像转正方法
Chen et al. Face sketch synthesis with style transfer using pyramid column feature
CN107316004A (zh) 基于深度学习的空间目标识别方法
Liu et al. Psgan++: Robust detail-preserving makeup transfer and removal
CN110188667B (zh) 一种基于三方对抗生成网络的人脸摆正方法
CN104504672B (zh) 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
CN110210278A (zh) 一种视频目标检测方法、装置及存储介质
CN109961407A (zh) 基于人脸相似性的人脸图像修复方法
CN111127309A (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN113724354A (zh) 基于参考图颜色风格的灰度图像着色方法
CN111414988B (zh) 基于多尺度特征自适应融合网络的遥感影像超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 300457 unit 1001, block 1, msd-g1, TEDA, No.57, 2nd Street, Binhai New Area Economic and Technological Development Zone, Tianjin

Patentee after: Tianjin Zhongke intelligent identification Co.,Ltd.

Address before: 300457 unit msd-g1-1001, TEDA, No.57, 2nd Street, Tianjin Economic and Technological Development Zone, Binhai New Area, Tianjin

Patentee before: TIANJIN ZHONGKE INTELLIGENT IDENTIFICATION INDUSTRY TECHNOLOGY RESEARCH INSTITUTE Co.,Ltd.

CP03 Change of name, title or address