CN109035146A - 一种基于深度学习的低质量图像超分方法 - Google Patents
一种基于深度学习的低质量图像超分方法 Download PDFInfo
- Publication number
- CN109035146A CN109035146A CN201810901714.8A CN201810901714A CN109035146A CN 109035146 A CN109035146 A CN 109035146A CN 201810901714 A CN201810901714 A CN 201810901714A CN 109035146 A CN109035146 A CN 109035146A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- low
- resolution
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000013135 deep learning Methods 0.000 title claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 claims description 3
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 210000000299 nuclear matrix Anatomy 0.000 claims description 3
- 238000003475 lamination Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000012634 fragment Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像编辑技术领域，具体为一种基于深度学习的低质量图像超分方法。本发明方法包括：图像中干扰信息特征的提取，图像特征与模糊及噪声特征的融合，高分辨率图像的重构。本发明不仅可以对理想条件下通过Bicubic降采样方法获得的低分辨率图像进行超分，还可以处理受到其它干扰的更真实的低分辨率图像。由于在真实条件下，低分辨率图像往往还受到模糊和噪声的干扰，本发明充分利用生成低分辨率图像的过程的信息，来增强对受干扰图像的超分效果。实验结果表明，本方法不仅较好地实现了理想条件下的图像超分，还可以对从真实条件中获得的受到未知干扰的低分辨率图像进行处理，以生成具有更符合主观视觉质量的高分辨率图像。
Description
技术领域
本发明属于图像编辑技术领域，具体涉及一种图像超分方法，更具体的说，涉及一种针对受噪声或模糊等其它干扰的图像的超分方法。
背景技术
传统的图像超分技术基本是作为图像质量增强技术的研究分支。它是一门具有较高科学研究价值及较为广泛应用领域的现代图像处理技术。
图像分辨率是图像质量的重要指标,分辨率越高,细节越精细,质量越佳，图像提供的信息越丰富。因此具有更高分辨率的图像在各个领域都有着重要的应用价值及研究前景。但由于图像在采集、存储、传输过程中的限制或干扰，导致其存在不同程度的质量退化。通常获取高分辨率图像最直接的方法是使用高分辨率相机，但由于成本问题，实际情况下许多应用并没有条件使用高分辨率相机。而图像超分技术采用基于信号处理的方法提高图像分辨率，是一种有效提高图像分辨率、改善图像性能的途径，并且该方法成本低，因此对高效高质量的图像超分技术的研究显得更加重要。目前，通过从低质量的图像中重构出新的具有更丰富细节内容的高分辨率图像，图像超分技术在生物医学、航空研究、军事应用、图像监控、图像格式转换、图像增强和复原(如老旧电影的翻制)、显微成像、虚拟现实等领域都表现出巨大的应用潜力。
传统的图像超分方法是基于一个简单的图像降采样模型，对通过Bicubic降采样方法得到的低分辨率图像进行超分。但是这种图像降采样模型是简化的理想条件下的获取低分辨率图像的模型，因此传统的图像超分方法往往不能很好地处理现实场景中的低分辨率图像。在现实应用中，低分辨率图像通常受到一些额外的如噪声或模糊等污染。理想条件下的低分辨率图像只是由Bicubic降采样得到，相对真实图像而言，这种图像具有较高的质量和较多的图像信息，从而更容易提取到原始高分辨率图像的信息。因此，基于理想降采样模型的超分方法并不具有很高的实际应用意义。由于更符合真实场景的受到模糊和噪声干扰的低分辨率图像对传统图像超分技术的效果提出了更大的挑战，因此提出一种对受多种干扰的低分辨率图像进行超分的方法具有更大的现实意义及应用价值。
本发明方法涉及图像超分技术，是在已有的受到多种干扰的低分辨率图像的基础上，利用图像内的局部结构信息及纹理关联信息并结合图像生成过程中所受干扰的先验信息，重构出更真实的具有丰富内容及清晰细节的高分辨率图像。传统的基于理性降采样模型的图像超分技术的主要思想是采用一定的算法，从低分辨率的图像重构出高分辨率图像，从而使获得的图像明显减少模糊、噪声等瑕疵而具有更丰富的高频细节及纹理信息而表现出更好的视觉质量，这类图像超分技术是计算机图像处理领域的一个基本问题。
图像超分可以通过基于插值的算法、基于实例方法和基于神经网络的方法来实现。早期的超分方法是基于插值的，如双三次插值和兰索斯重采样，由于超分是一种不适定问题，每个像素从低分辨率图像到高分辨率图像的映射上有许多解，并且这类方法仅使用低分辨率图像的信息，因此很难模拟真实图像的视觉复杂性，对于纹理复杂、平滑着色的图像，插值法很可能生成不真实的效果。不能很好地重构出高分辨率图像。
因此，超分需要很强的先验来约束解空间，最近大多数较好的方法采用基于实例的策略来学习强大的先验知识。该方法通过找到多个低分辨率碎片与高分辨率碎片间的对应关系，为每个低分辨率碎片在低分辨率图像中找到与该碎片最相似的几个碎片，并计算出使重构代价最小的权值参数，最后使用多个低分辨率片和权值参数来生成高分辨率片形成高分辨率图像。该方法的不足是会损失图像中的高频内容，此外由于存在重叠片的计算会导致计算量的增大。
近年来，随着CNN在计算机视觉领域的应用，出现了许多基于CNN的图像超分方法。这些方法实现了这一技术突破性的发展，其中以SRCNN[1]及VDSR[3]方法最具代表性。通过对图像每一帧采用这些方法可以简单地将图像超分扩展到图像超分领域。
C.Dong等人在2015年提出来基于卷积神经网络的图像超分方法(SRCNN)，通过学习低分辨率和高分辨率图像间的映射关系来重建高分辨率图像。映射表现为一个CNN，将低分辨率图像作为输入，将高分辨率图像作为输出。该方法利用了神经网络的优越性，将图像超分问题建模为神经网络结构，通过优化目标函数训练合适的神经网络得到简单有效的增强图像分辨率的模型。
神经网络容易对大量训练集数据学习得到，此外一旦训练好超分的模型后，对高分辨率图像的重构就是简单的前馈过程，因此计算复杂度也得到大幅度降低。C.Dong等人又对SRCNN方法进行了改进，提出了FSRCNN[2]方法，改进了神经网络的结构实现更快的超分效果。
Kim J等人2016年通过加深神经网络结构在图像分辨率上取得了更好的效果，同时利用残差学习提高网络效率加快网络的训练速度。
随着卷积神经网络在超分领域实现不断提升的效果，更多的学者通过继续改进网络结构在超分结果的主观视觉质量及客观数值标准上得到不断突破。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种更具有实际应用价值的图像超分方法，它主要针对受噪声或模糊等其它干扰的低分辨率图像进行处理。
本发明提供的图像超分方法，是基于深度学习的低质量图像超分方法，具体步骤如下：
(1)图像中干扰信息特征的提取
首先，将二维模糊核矩阵k和一维噪声方差n同时输入到特征提取网络(Degradation Feature Extraction)FE中，生成图像中存在的干扰信息的特征d：
d＝FE(k,n)
(2)图像特征与干扰信息特征的融合
先将输入的低分辨率图像ILR输入到特征融合网络(Feature Integration)FM中降维处理，学习出图像特征p，再将其与上一步特征提取网络得到的特征d级联；随后将级联的特征经过特征融合卷积层的处理，得到一个融合了图像信息与图像干扰信息的特征f：
f＝FM(ILR,d)
(3)高分辨率图像的重构
将上一步得到的特征f经过图像重构网络(Image Reconstruction)FG的处理，重构出高分辨率图像，以恢复原图像中丰富的边缘纹理等细节信息：
IHR＝FG(f)。
本发明利用图像生成模型的干扰信息，并结合输入的低分辨率图像内部的结构细节重复的特性，在抑制输入图像的干扰杂质的同时估计出损失的高频信息得到更好的重构效果。
本发明步骤(1)中，输入的两个图像干扰信号分别通过不同特征提取步骤被映射到相同的特征空间并生成最终的图像干扰信息特征。具体过程为：
首先，提取大小为15×15的二维模糊核k的特征的向量vk；将k经过一个卷积核为5×5的卷积层将二维模糊核映射到特征空间；再将生成的feature maps输入到两个连续的大小为3×3的卷积层中，这两个卷积层均采用了步幅为4的卷积操作可以将空间尺寸为15×15的模糊核特征依次降维到4×4、1×1，最后生成15个大小为1×1的feature maps作为模糊核特征向量vk：
vk＝Conv1(Conv2(Conv3(k)))
这里，向量vk作为大小为1×1×15的特征图，噪声n作为大小为1×1×1的特征图；
其次，在第三通道处将噪声n与向量vk级联，得到一个集合了模糊信息及噪声信息的向量v:
最后，将向量v拉伸到低分辨率图像特征的空间维度上(H/4×W/4，其中H、W分别表示低分辨率图像的高和宽)，得到三维特征d：
d＝stretch(v)。
本发明步骤(2)中，特征融合网络采用了Encoder-Decoder结构，并将Encoder与Decoder的对应卷积层连接起来，以降低网络的训练难度并减少特征信息的损失。具体过程为：
首先，将低分辨率图像输入Encoder，得到图像特征p；其中，Encoder由三层卷积构成，后两层卷积层的步长为2用来将图像特征从H×W降维到H/4×W/4的空间上：
p＝Encoder(ILR)
其次，在Encoder-Decoder的中间瓶颈处，级联图像特征p与特征提取网络的输出d，最后，将级联的特征经过Decoder生成融合特征f；Decoder结构与Encoder相对称，采用三个去卷积层构成，其中后两个去卷积层的步长也为二用来恢复图像特征的空间大小：
本发明步骤(3)中，高分辨率图像的重构的具体过程为：首先，将上一步生成的融合了图像特征和干扰信息的特征图f作为图像重构网络FG的输入，经过7个级联的残差块生成重构图像与真实高分辨率图像间的残差图Ires，并在网络最后一层使用去卷积层将图像的尺寸放大到高分辨率图像的空间：
Ires＝Deconv(GHU7(GHU6,GHU5,...,GHU1,f))
最后，将上采样后的低分辨率图像与该残差图相加，得到网络最终输出的高分辨率图像：
ISR＝Ires+Bic(ILR)。
所述图像重构网络FG由多个残差块组成，所述残差块采用gated highway unit[4]结构，其中，多个gated highway unit使用密集连接(dense connection)的方式连接起来，即每个gated highway unit的输入包含了前面所有gated highway unit输出的信息。为了减少级联的feature maps的数目以降低计算量，级联的feature maps再经过一层卷积层进行降维，输出32个feature maps作为下一个gated highway unit的输入。这样可以使每个gated highway unit学习到的图像特征得到充分利用。
本发明方法不仅可以对理想条件下通过Bicubic降采样方法获得的低分辨率图像进行超分，还可以处理受到其它干扰的更真实的低分辨率图像。由于在真实条件下，低分辨率图像往往还受到模糊和噪声的干扰，因此本发明方法充分利用了生成低分辨率图像的过程的信息，来增强对受干扰图像的超分效果。本发明方法通过利用低分辨率图像生成模型的先验，可以实现端到端地从模糊的纹理中预测出低分辨率图像中丢失的高频细节并同时抑制原图像中的噪声，生成具有更高视觉质量的高分辨率图像。实验结果表明，本方法不仅较好地实现了理想条件下的图像超分，还可以对从真实条件中获得的受到未知干扰的低分辨率图像进行处理以生成具有更符合主观视觉质量的高分辨率图像。因此相较于传统的图像超分方法，本发明具有更现实的应用价值及更丰富的研究意义。
本发明的有益效果在于：本发明方法不仅考虑了低分辨率图像的降采样过程，也考虑到其它降低图像质量的干扰因素，在减少这些干扰噪声的同时恢复出高分辨率图像，是一种更具有实际应用价值的图像超分方法。本发明主要针对受到模糊及噪声等污染的低分辨率图像，对真实图像进行超分可以实现更好的效果。本方法有效提取了干扰图像中杂质信息的特征，与图像重构过程相结合，极大提升了图像恢复的效果抑制了图像中存在的杂质干扰。
附图说明
图1为本发明的流程图。
图2为利用本方法将对非理想条件下的低分辨率图像超分的结果。
具体实施方式
对于一张受到噪声及模糊等污染的图像，可以采用图1所示的方法，进行超分处理。具体步骤为：
(1)首先将低分辨率图像与对应干扰该图像的信息(模糊核及噪声方差)输入到网络中。特征提取网络会将输入的干扰信息进行处理，生成干扰信息的特征。
参见图1中的干扰信息特征提取网络(Degradation Feature Extraction)所示，特征提取网络将二维的模糊核矩阵k，经过包含三个卷积层的Encoder降维生成一个表示模糊核特征的一维向量vk。再将噪声值n与向量vk级联起来，得到集合了模糊及噪声信息的向量v。最后将向量v拉伸到与低分辨率图像特征相等的空间维度上，得到三维特征d。
(2)特征融合网络先提取输入的图像特征，再将得到的图像特征与特征提取网络得到的干扰信息特征相结合，将结合得到的特征经过处理，生成融合了干扰信息的图像特征。
如图1中的特征融合网络(Feature Integration)所示，特征融合网络将低分辨率图像输入到由三层卷积层组成的Encoder结构中，得到图像特征p。其次，在Encoder-Decoder的中间瓶颈处，级联图像特征p与特征提取网络的输出d。最后，将级联的特征经过Decoder生成融合特征f，该Decoder结构由三层去卷积层(deconvolution)组成。其中，将Encoder与Decoder对应的卷积层的输出通过相加连接起来。
(3)最后融合的特征将结构图像重构网络，恢复出高分辨率图像的细节内容，生成高质量的图像。
如图1中的图像重构网络(Image Reconstruction)所示，该网络是由多个gatedhighway unit组成，其中多个gated highway unit使用密集连接(dense connection)的方式连接起来，即每个gated highway unit的输入包含了前面所有gated highway unit输出的信息。
首先将上一步的特征输入到第一个gated highway unit学习到中间特征，再将该输出与gated highway unit的输入级联起来得到更多的feature maps。为了减少级联的feature maps的数目以降低计算量，级联的feature maps再经过一层卷积层进行降维，输出32个feature maps作为下一个gated highway unit的输入。这样可以使每个gatedhighway unit学习到的图像特征得到充分利用。
图2为一个实验例子。其中，(a)、(b)图分别是输入的受噪声及受模糊污染的低分辨率图像，(b)、(e)图则是对应的使用本发明方法进行4倍超分重构出来的高分辨率图像，(c)、(f)是真实的高分辨率图像。可以看出，本发明方法可以有效地恢复出原始高分辨率图像中的纹理及边缘信息，同时降低噪声干扰锐化模糊的细节纹理。
参考文献：
[1]C.Dong,C.C.Loy,K.He,and X.Tang.Image super-resolution using deepconvolutional networks.IEEE Transactions on Pattern Analysis and MachineIntelligence (TPAMI),38(2):295–307,2015.(SRCNN)
[2]C.Dong,C.C.Loy,and X.Tang.Accelerating the super-resolutionconvolutional neural network.In European Conference on Computer Vision(ECCV),pages 391–407.Springer International Publishing,2016.(FSRCNN)
[3]Kim J,Lee J K,Lee K M.Accurate Image Super-Resolution Using VeryDeep Convolutional Networks[C]//IEEE Conference on Computer Vision andPattern Recognition.IEEE Computer Society,2016:1646-1654.
[4]Ke Li,Bahetiyaer Bare,Bo Yan.HNSR:HIGHWAY NETWORKS BASED DEEPCONVOLUTIONAL NEURAL NETWORKS MODEL FOR SINGLE IMAGE SUPER-RESOLUTION.2018。
Claims (4)
1.一种基于深度学习的低质量图像超分方法，其特征在于，具体步骤如下：
(1)图像中干扰信息特征的提取
首先，将二维模糊核矩阵k和一维噪声方差n同时输入到特征提取网络FE中，生成图像中存在的干扰信息的特征d：
d＝FE(k,n)；
(2)图像特征与模糊及噪声特征的融合
首先，将输入的低分辨率图像ILR输入到特征融合网络FM中进行降维处理，学习出图像特征p，再将其与上一步特征提取网络得到的特征d级联；随后将级联的特征经过特征融合卷积层的处理，得到一个融合了图像信息与图像干扰信息的特征f：
f＝FM(ILR,d)
(3)高分辨率图像的重构
将上一步得到的特征f经过图像重构网络FG的处理，重构出高分辨率图像，以恢复原图像中丰富的边缘纹理等细节信息：
IHR＝FG(f)。
2.根据权利要求1所述的基于深度学习的低质量图像超分方法，其特征在于，步骤(1)的具体过程为：
首先，提取大小为15×15的二维模糊核k的特征的向量vk；将k经过一个卷积核为5×5的卷积层将二维模糊核映射到特征空间；再将生成的feature maps输入到两个连续的大小为3×3的卷积层中，这两个卷积层均采用步幅为4的卷积操作，将空间尺寸为15×15的模糊核特征依次降维到4×4、1×1，最后生成15个大小为1×1的feature maps作为模糊核特征向量vk：
vk＝Conv1(Conv2(Conv3(k)))
这里，向量vk作为大小为1×1×15的特征图，噪声n作为大小为1×1×1的特征图；
其次，在第三通道处将噪声n与向量vk级联，得到一个集合了模糊信息及噪声信息的向量v:
最后，将向量v拉伸到低分辨率图像特征的空间维度上：H/4×W/4，其中H、W分别表示低分辨率图像的高和宽，得到三维特征d：
d＝stretch(v)。
3.根据权利要求2所述的基于深度学习的低质量图像超分方法，其特征在于，步骤(2)中，特征融合网络采用Encoder-Decoder结构，并将Encoder与Decoder的对应卷积层连接起来，以降低网络的训练难度并减少特征信息的损失；其中，Encoder由步长为2的三层卷积构成，Decoder结构由对应于步长为2的三个去卷积层构成；步骤(2)的具体过程为：
首先，将低分辨率图像输入Encoder，得到图像特征p；其中，Encoder由三层卷积构成，后两层卷积层的步长为2用来将图像特征从H×W降维到H/4×W/4的空间上：
p＝Encoder(ILR)
其次，在Encoder-Decoder的中间瓶颈处，级联图像特征p与特征提取网络的输出d；
最后，将级联的特征经过Decoder生成融合特征f；Decoder结构与Encoder相对称，由三个去卷积层构成，其中后两个去卷积层的步长也为2，用来恢复图像特征的空间大小：
4.根据权利要求3所述的基于深度学习的低质量图像超分方法，其特征在于，步骤(3)的具体过程为：首先，将上一步生成的融合了图像特征和干扰信息的特征图f作为图像重构网络FG的输入，经过7个级联的残差块生成重构图像与真实高分辨率图像间的残差图Ires，并在网络最后一层使用去卷积层将图像的尺寸放大到高分辨率图像的空间：
Ires＝Deconv(GHU7(GHU6,GHU5,...,GHU1,f))
最后，将上采样后的低分辨率图像与该残差图相加，得到网络最终输出的高分辨率图像：
ISR＝Ires+Bic(ILR)
所述图像重构网络FG由多个残差块组成，所述残差块采用gated highway unit结构，其中，多个gated highway unit使用密集连接的方式连接起来，即每个gated highway unit的输入包含前面所有gated highway unit输出的信息；级联的feature maps再经过一层卷积层进行降维，输出32个feature maps作为下一个gated highway unit的输入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810901714.8A CN109035146B (zh) | 2018-08-09 | 2018-08-09 | 一种基于深度学习的低质量图像超分方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810901714.8A CN109035146B (zh) | 2018-08-09 | 2018-08-09 | 一种基于深度学习的低质量图像超分方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109035146A true CN109035146A (zh) | 2018-12-18 |
| CN109035146B CN109035146B (zh) | 2022-12-20 |
Family
ID=64633336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810901714.8A Active CN109035146B (zh) | 2018-08-09 | 2018-08-09 | 一种基于深度学习的低质量图像超分方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109035146B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903219A (zh) * | 2019-02-28 | 2019-06-18 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
| CN110120011A (zh) * | 2019-05-07 | 2019-08-13 | 电子科技大学 | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 |
| CN110322530A (zh) * | 2019-06-21 | 2019-10-11 | 湖南大学 | 一种基于深度残差网络的可交互图像着色 |
| CN110544212A (zh) * | 2019-07-31 | 2019-12-06 | 华南理工大学 | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 |
| CN110675333A (zh) * | 2019-08-26 | 2020-01-10 | 山东大学 | 一种基于神经网络超分辨率技术的显微成像处理方法 |
| CN111311522A (zh) * | 2020-03-26 | 2020-06-19 | 重庆大学 | 基于神经网络的双光子荧光显微图像复原方法、存储介质 |
| CN111461987A (zh) * | 2020-04-01 | 2020-07-28 | 中国科学院空天信息创新研究院 | 一种网络构建方法、图像超分辨率重建方法及系统 |
| CN111667416A (zh) * | 2019-03-05 | 2020-09-15 | 佳能株式会社 | 图像处理方法、装置、学习模型制造方法和图像处理系统 |
| CN111667410A (zh) * | 2020-06-10 | 2020-09-15 | 腾讯科技（深圳）有限公司 | 图像分辨率提升方法、装置及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204467A (zh) * | 2016-06-27 | 2016-12-07 | 深圳市未来媒体技术研究院 | 一种基于级联残差神经网络的图像去噪方法 |
| CN108259994A (zh) * | 2018-01-15 | 2018-07-06 | 复旦大学 | 一种提高视频空间分辨率的方法 |
-
2018
- 2018-08-09 CN CN201810901714.8A patent/CN109035146B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204467A (zh) * | 2016-06-27 | 2016-12-07 | 深圳市未来媒体技术研究院 | 一种基于级联残差神经网络的图像去噪方法 |
| CN108259994A (zh) * | 2018-01-15 | 2018-07-06 | 复旦大学 | 一种提高视频空间分辨率的方法 |
Non-Patent Citations (3)
| Title |
|---|
| BAHETIYAER BARE.ET: ""A Deep Learning Based No-Reference Image Quality Assessment Model for Single-Image Super-Resolution"", 《2018 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 * |
| CHAO DONG.ET: ""Image Super-Resolution Using Deep Convolutional Networks"", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| WEIMIN TAN.ET: ""Feature Super-Resolution: Make Machine See More Clearly"", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903219A (zh) * | 2019-02-28 | 2019-06-18 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
| CN111667416A (zh) * | 2019-03-05 | 2020-09-15 | 佳能株式会社 | 图像处理方法、装置、学习模型制造方法和图像处理系统 |
| CN110120011A (zh) * | 2019-05-07 | 2019-08-13 | 电子科技大学 | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 |
| CN110120011B (zh) * | 2019-05-07 | 2022-05-31 | 电子科技大学 | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 |
| CN110322530A (zh) * | 2019-06-21 | 2019-10-11 | 湖南大学 | 一种基于深度残差网络的可交互图像着色 |
| CN110544212A (zh) * | 2019-07-31 | 2019-12-06 | 华南理工大学 | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 |
| CN110675333A (zh) * | 2019-08-26 | 2020-01-10 | 山东大学 | 一种基于神经网络超分辨率技术的显微成像处理方法 |
| CN110675333B (zh) * | 2019-08-26 | 2023-04-07 | 山东大学 | 一种基于神经网络超分辨率技术的显微成像处理方法 |
| CN111311522A (zh) * | 2020-03-26 | 2020-06-19 | 重庆大学 | 基于神经网络的双光子荧光显微图像复原方法、存储介质 |
| CN111311522B (zh) * | 2020-03-26 | 2023-08-08 | 重庆大学 | 基于神经网络的双光子荧光显微图像复原方法、存储介质 |
| CN111461987A (zh) * | 2020-04-01 | 2020-07-28 | 中国科学院空天信息创新研究院 | 一种网络构建方法、图像超分辨率重建方法及系统 |
| CN111461987B (zh) * | 2020-04-01 | 2023-11-24 | 中国科学院空天信息创新研究院 | 一种网络构建方法、图像超分辨率重建方法及系统 |
| CN111667410A (zh) * | 2020-06-10 | 2020-09-15 | 腾讯科技（深圳）有限公司 | 图像分辨率提升方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109035146B (zh) | 2022-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035146A (zh) | 一种基于深度学习的低质量图像超分方法 | |
| CN108537733B (zh) | 基于多路径深度卷积神经网络的超分辨率重建方法 | |
| Wang et al. | Esrgan: Enhanced super-resolution generative adversarial networks | |
| CN110033410B (zh) | 图像重建模型训练方法、图像超分辨率重建方法及装置 | |
| CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
| CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
| CN108259994B (zh) | 一种提高视频空间分辨率的方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN110232653A (zh) | 快速轻型超分辨率重建密集残差网络 | |
| CN110060204B (zh) | 一种基于可逆网络的单一图像超分辨率方法 | |
| CN111768340B (zh) | 一种基于密集多路径网络的超分辨图像重构方法和系统 | |
| CN108989731B (zh) | 一种提高视频空间分辨率的方法 | |
| CN112200724B (zh) | 一种基于反馈机制的单图像超分辨率重建系统及方法 | |
| Chen et al. | Single image super-resolution using deep CNN with dense skip connections and inception-resnet | |
| CN112288630A (zh) | 一种基于改进的广泛深度神经网络的超分辨率图像重建方法及系统 | |
| CN116682120A (zh) | 基于深度学习的多语种马赛克图像文本识别方法 | |
| Wang et al. | Underwater image super-resolution and enhancement via progressive frequency-interleaved network | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| CN109272450B (zh) | 一种基于卷积神经网络的图像超分方法 | |
| Yang et al. | RSAMSR: A deep neural network based on residual self-encoding and attention mechanism for image super-resolution | |
| CN109087247A (zh) | 一种对立体图像进行超分的方法 | |
| Wang | Single image super-resolution with u-net generative adversarial networks | |
| CN110853040B (zh) | 一种基于超分辨率重建的图像协同分割方法 | |
| Wang et al. | Research on image super-resolution reconstruction based on transformer | |
| Li et al. | Super-resolution of fisheye rectified image based on deep multi-path cascaded network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |