CN108876721A - 基于课程学习的超分辨率图像重建方法及系统 - Google Patents
基于课程学习的超分辨率图像重建方法及系统 Download PDFInfo
- Publication number
- CN108876721A CN108876721A CN201810552826.7A CN201810552826A CN108876721A CN 108876721 A CN108876721 A CN 108876721A CN 201810552826 A CN201810552826 A CN 201810552826A CN 108876721 A CN108876721 A CN 108876721A
- Authority
- CN
- China
- Prior art keywords
- training
- image
- super
- resolution
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 84
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 230000003321 amplification Effects 0.000 claims abstract description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims description 9
- 238000007619 statistical method Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 101150054870 Slc29a1 gene Proteins 0.000 claims description 3
- 101150117133 Slc29a2 gene Proteins 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 101100440696 Caenorhabditis elegans cor-1 gene Proteins 0.000 claims description 2
- 238000013459 approach Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 238000007796 conventional method Methods 0.000 abstract description 2
- 238000012163 sequencing technique Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于课程学习的超分辨率图像重建方法，该方法设计了一种新的深度神经网络训练方法，通过为训练样本设置学习的先后顺序，促进神经网络的收敛。包括以下步骤：1)对输入图像进行预处理；2)按照训练样本的纹理复杂度将训练样本分成多个训练子集；3)基于改进的课程学习方法在已分类的训练子集上训练深度神经网络；4）训练多个神经网络来实现不同倍数的放大，从而依据实际情况恢复出丢失的纹理细节。本发明还公开了一种基于课程学习的超分辨率图像重建系统。本发明解决了深度神经网络训练时间较长的问题，同时，在超分辨率重建上的效果也明显优于传统方法训练的深度网络。
Description
技术领域
本发明涉及一种超分辨率图像重建方法及系统，属于图像处理、计算机视觉、深度学习技术领域。
背景技术
超分辨率重建的任务是由一幅低分辨率图像(Low Resolution Image,LR)去推断最为可能的高分辨率图像(High Resolution Image,HR)。超分辨率重建是计算机视觉的经典问题之一，在图像去模糊、图像压缩、视频传输等方面具有很大的应用场景，在安防等领域也愈发显得重要。传统机器学习方法鲁棒性不高，在细节纹理等的恢复效果上也有所欠缺。基于深度学习的算法在超分辨重建上获得了巨大成功。经典的超分辨率网络包括VDSR、SRResNet、EDSR等，ResNet、DenseNet等基础网络在超分辨率中的应用则进一步提升了模型的泛化性能。但是深层网络参数较多不易训练，通常需要大量的迭代才能收敛到较好的解，较长的训练时间也在阻碍着深度网络在超分辨率上的应用。
发明内容
本发明所要解决的技术问题是：为了克服现有技术的缺点和不足，本发明提供一种可有效提高深度神经网络收敛速度，同时获得更好超分辨率效果的训练方法：课程学习方法，对图像纹理细节的恢复明显的效果提升。
为解决以上技术问题，本发明采用的技术方案为：
本发明首先提出一种基于课程学习的超分辨率图像重建方法，该方法包括以下步骤：
1)、数据预处理步骤：对输入图片提取YUV色彩空间中的Y通道，将其归一化作为输入特征；
2)、基于课程学习的方法训练深度神经网络，包括如下子步骤：
2.1)、图像特征提取：采用统计方法中的灰度共生矩阵法来描述各像素值的空间分布特性以及纹理特征；
2.2)、采用基于密度峰值的聚类方法将训练集按照纹理信息分成多个子集；
2.3)、基于划分好的训练子集，采用课程学习训练深度超分辨率网络，先拟合简单的训练样本，再拟合困难样本，加速收敛；
3)、超分辨率图像生成：基于训练好的深度神经网络实现对输入图像的多倍数放大，恢复低分辨率图像丢失的高频信息。
进一步的，本发明所提出的方法中，数据预处理步骤具体如下：
对于低分辨率图像，RGB与YUV的转换的公式如下：
Y＝(B*1868+G*9617+R*4899+8192)/16384
U＝((B-Y)*9241+8192)/16384+128
V＝((R-Y)*11682+8192)/16384+128
R＝Y+1.14V
G＝Y-0.39U-0.58V
B＝Y+2.03U
其中，YUV色彩空间的亮度信号Y和色度信号U、V是分离的，将Y通道归一化后作为深度神经网络的输入。
进一步的，本发明所提出的方法中，在步骤2.1)所述图像特征提取，提取以下5种特征:纹理能量Ene、纹理均匀性Homo、纹理对比度Con、纹理的熵Ent以及纹理相关性Cor，以此来实现降维；这5个特征量反映了包括图像的纹理复杂度、一致性、均匀程度的信息。
进一步的，本发明所提出的方法中，在步骤2.2)所述采用基于密度峰值的聚类方法将训练集按照纹理信息分成多个子集，具体为：
首先，基于余弦相似度来定义图像之间的纹理相似度，设图像I1、I2的纹理特征分别为：
Fea1＝(Ene1，Homo1，Con1，Ent1，Gor1)，
Fea2＝(Ene2，Homo2，Con2，Ent2，Cor2)；
则它们的余弦相似度为：
对于图像Ii，其密度定义为：
其中
γ为依据实际情况设定的阈值，图像Ii的密度ρi反映了训练集Is中与Ii余弦相似度大于γ的图像数目；
其次，将训练集按照纹理信息分成多个子集，使得每个子集的聚类中心密度最大，每个中心都连接其周围密度相对低的点，同时不同子集的聚类中心彼此相似度小，步骤如下：
A、设定阈值n1、n2，筛选出密度大于n1同时彼此相似度小于n2的多幅图像作为多个聚类中心；
B、将Is中的所有图像连接到与其最相似且密度比它大的图像样本，直至连接到聚类中心；
C、所有共享一个聚类中心的图像属于同一个训练子集，这些图像在包括纹理复杂度、均匀程度、一致性的方面均基本保持一致。
进一步的，阈值n1为图像总数的20％，n2为0.1。
进一步的，本发明所提出的方法中，步骤2.3)所述采用课程学习训练深度超分辨率网络，具体为：
1)、训练初始化，对N个训练子集以相等概率抽取样本来训练网络模型；
2)、每迭代M次，分别测试网络模型在N个训练子集上的性能效果，迭代L次时(L＝K*M)，在第i个训练子集上最近的K次测试结果记为并剔除最大值和最小值,即：
3)、最近L次迭代，网络模型在训练集i上的学习曲线斜率定义为:
4)、重新分配在每个训练子集上的样本抽取概率：
重复执行以上步骤至模型收敛。
进一步的，本发明所提出的方法中，超分辨率图像生成步骤具体如下：
预先训练好多个超分辨率网络，放大倍数分别设为2,3,4,5；
依据图像的模糊程度，分别选择相应的超分辨率网络，实现图像的超分辨率，恢复出相应的细节纹理。
本发明还提出一种基于课程学习的超分辨率图像重建系统，包括：
数据预处理单元，用于对输入图片提取YUV色彩空间中的Y通道，将其归一化作为输入特征；
网络训练单元，基于课程学习的方法训练深度神经网络，被配置以执行以下步骤：
1)、图像特征提取：采用统计方法中的灰度共生矩阵法来描述各像素值的空间分布特性以及纹理特征；
2)、采用基于密度峰值的聚类方法将训练集按照纹理信息分成多个子集；
3)、基于划分好的训练子集，采用课程学习训练深度超分辨率网络，先拟合简单的训练样本，再拟合困难样本，加速收敛；
超分辨率图像生成单元，用于基于训练好的深度神经网络实现对输入图像的多倍数放大，恢复低分辨率图像丢失的高频信息。
本发明相比现有技术，具有以下有益效果：
本发明提出的基于课程学习的超分辨率方法可以加速深度网络的收敛速度，同时训练好的深度网络在超分辨率重建上的效果也明显优于传统方法训练的深度网络。同时，本发明对传统课程学习方法做出改进，依据训练时网络模型在各个子集上的学习曲线斜率来实时调整训练样本在不同子集上的概率分布，从而避免了对易学习样本的遗忘，从而获得更好的超分辨率重建效果。
附图说明
图1是本发明所提出的基于课程学习的超分辨率方法示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例和说明书附图1对本发明的技术方案进行清楚、完整的描述，显然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本发明提出一种基于课程学习的超分辨率图像重建方法，如图1所示，通过合理划分训练集，从而设置读取训练集的先后顺序，实现超分辨率网络更快地收敛，同时获得更好的超分辨率重建效果。具体包括如下步骤：
1)数据预处理步骤：对输入图片提取YUV色彩空间中的Y通道，将其归一化作为输入特征。
2)深度神经网络训练：基于课程学习的方法训练深度网络，包括如下步骤：
图像特征提取：采用统计方法中的灰度共生矩阵法来描述各像素值的空间分布特性以及纹理特征。
采用基于密度峰值的聚类方法(Density Peaks)将训练集按照纹理信息分成多个子集。
基于划分好的训练子集，采用课程学习训练深度超分辨率网络。先拟合简单的训练样本，再拟合困难样本，加速收敛，同时获得更好的训练效果。
3)超分辨率图像生成：基于训练好的深度网络实现对输入图像的多倍数放大，恢复低分辨率图像丢失的纹理细节等高频信息。
进一步地，数据预处理步骤具体如下：
YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。对于低分辨率图像，RGB与YUV的转换的公式如下：
Y＝(B*1868+G*9617+R*4899+8192)/16384
U＝((B-Y)*9241+8192)/16384+128
V＝((R-Y)*11682+8192)/16384+128
R＝Y+1.14V
G＝Y-0.39U-0.58V
B＝Y+2.03U
将Y通道归一化后作为深度神经网络的输入，有利于获得更好的超分辨率效果。
进一步地，深度神经网络训练步骤具体如下：
1)图像特征提取：采用统计方法中的灰度共生矩阵法来描述各像素值的空间分布特性以及纹理特征。提取以下5种特征:纹理能量Ene、纹理均匀性Homo、纹理对比度Con、纹理的熵Ent以及纹理相关性Cor，以此来实现降维。这5个特征量反映了图像的纹理复杂度、一致性、均匀程度等信息。
2)训练集的划分：采用基于密度峰值的聚类方法(Density Peaks,DP)将训练集按照纹理信息分成多个子集。首先基于余弦相似度来定义图像之间的纹理相似度。设图像I1、I2的纹理特征分别为：
Fea1＝(Ene1，Homo1，Con1，Ent1，Cor1)
Fea2＝(Ene2，Homo2，Con2，Ent2，Cor2)
则它们的余弦相似度为：
对于图像Ii，其密度定义为：
其中
γ为依据实际情况设定的阈值。所以图像Ii的密度ρi反映了训练集Is中与Ii余弦相似度大于γ的图像数目。
DP聚类算法的核心思想是每个子集的聚类中心密度最大，每个中心都连接其周围密度相对低的点，同时不同子集的聚类中心彼此相似度较小。主要步骤如下：
1)筛选出密度大同时彼此相似度较小的多幅图像作为多个聚类中心。
2)Is中的所有图像连接到与其最相似且密度比它大的图像样本，直至连接到聚类中心。所有共享一个聚类中心的图像属于同一个训练子集，这些图像在纹理复杂度、均匀程度、一致性等方面均基本保持一致。
3)课程学习方法：
训练初始化，对N个训练子集以相等概率抽取样本来训练网络模型。
每迭代M次，分别测试网络模型在N个训练子集上的性能效果。迭代L次时(L＝K*M)，在第i个训练子集上最近的K次测试结果记为为避免噪声的影响，剔除最大值和最小值,即：
最近L次迭代，网络模型在训练集i上的学习曲线斜率定义为:
重新分配在每个训练子集上的样本抽取概率：
重复执行以上步骤至模型收敛。
进一步地，超分辨率图像生成步骤具体步骤如下：
预先训练好多个超分辨率网络，放大倍数分别为2,3,4,5。依据图像的模糊程度，选择相应的超分辨率网络，实现图像的超分辨率，恢复出相应的细节纹理。
本发明还提出一种基于课程学习的超分辨率图像重建系统，包括：
数据预处理单元，用于对输入图片提取YUV色彩空间中的Y通道，将其归一化作为输入特征；
网络训练单元，基于课程学习的方法训练深度神经网络，被配置以执行以下步骤：
1)、图像特征提取：采用统计方法中的灰度共生矩阵法来描述各像素值的空间分布特性以及纹理特征；
2)、采用基于密度峰值的聚类方法将训练集按照纹理信息分成多个子集；
3)、基于划分好的训练子集，采用课程学习训练深度超分辨率网络，先拟合简单的训练样本，再拟合困难样本，加速收敛；
超分辨率图像生成单元，用于基于训练好的深度神经网络实现对输入图像的多倍数放大，恢复低分辨率图像丢失的高频信息。
本技术领域技术人员可以理解的是，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来生成机器，从而通过计算机或其他可编程数据处理方法的处理器来执行的指令创建了用于实现结构图和/或框图和/或流图的框或多个框中指定的方法。
本技术领域技术人员可以理解的是，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
上面结合附图对本发明的实施方式作了详细地说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (8)
1.一种基于课程学习的超分辨率图像重建方法，其特征在于，该方法包括以下步骤：
1)、数据预处理步骤：对输入图片提取YUV色彩空间中的Y通道，将其归一化作为输入特征；
2)、基于课程学习的方法训练深度神经网络，包括如下子步骤：
2.1)、图像特征提取：采用统计方法中的灰度共生矩阵法来描述各像素值的空间分布特性以及纹理特征；
2.2)、采用基于密度峰值的聚类方法将训练集按照纹理信息分成多个子集；
2.3)、基于划分好的训练子集，采用课程学习训练深度超分辨率网络，先拟合简单的训练样本，再拟合困难样本，加速收敛；
3)、超分辨率图像生成：基于训练好的深度神经网络实现对输入图像的多倍数放大，恢复低分辨率图像丢失的高频信息。
2.根据权利要求1所述的方法，其特征在于，数据预处理步骤具体如下：
对于低分辨率图像，RGB与YUV的转换的公式如下：
Y＝(B*1868+G*9617+R*4899+8192)/16384
U＝((B-Y)*9241+8192)/16384+128
V＝((R-Y)*11682+8192)/16384+128
R＝Y+1.14V
G＝Y-0.39U-0.58V
B＝Y+2.03U
其中，YUV色彩空间的亮度信号Y和色度信号U、V是分离的，将Y通道归一化后作为深度神经网络的输入。
3.根据权利要求1所述的方法，其特征在于，在步骤2.1)所述图像特征提取，提取以下5种特征:纹理能量Ene、纹理均匀性Homo、纹理对比度Con、纹理的熵Ent以及纹理相关性Cor，以此来实现降维；这5个特征量反映了包括图像的纹理复杂度、一致性、均匀程度的信息。
4.根据权利要求3所述的方法，其特征在于，在步骤2.2)所述采用基于密度峰值的聚类方法将训练集按照纹理信息分成多个子集，具体为：
首先，基于余弦相似度来定义图像之间的纹理相似度，设图像I1、I2的纹理特征分别为：
Fea1＝(Ene1，Homo1，Con1，Ent1，Cor1)
Fea2＝(Ene2，Homo2，Con2，Ent2，Cor2)
则它们的余弦相似度为：
对于图像Ii，其密度定义为：
其中
γ为依据实际情况设定的阈值，图像Ii的密度ρi反映了训练集Is中与Ii余弦相似度大于γ的图像数目；
其次，将训练集按照纹理信息分成多个子集，使得每个子集的聚类中心密度最大，每个中心都连接其周围密度相对低的点，同时不同子集的聚类中心彼此相似度小，步骤如下：
A、设定阈值n1、n2，筛选出密度大于n1同时彼此相似度小于n2的多幅图像作为多个聚类中心；
B、将Is中的所有图像连接到与其最相似且密度比它大的图像样本，直至连接到聚类中心；
C、所有共享一个聚类中心的图像属于同一个训练子集。
5.根据权利要求4所述的方法，其特征在于，阈值n1为图像总数的20％，n2为0.1。
6.根据权利要求1所述的方法，其特征在于，步骤2.3)所述采用课程学习训练深度超分辨率网络，具体为：
6.1)、训练初始化，对N个训练子集以相等概率抽取样本来训练网络模型；
6.2)、每迭代M次，分别测试网络模型在N个训练子集上的性能效果，迭代L次时，L＝K*M，在第i个训练子集上最近的K次测试结果记为并剔除最大值和最小值，即：
6.3)、最近L次迭代，网络模型在训练集i上的学习曲线斜率定义为:
6.4)、重新分配在每个训练子集上的样本抽取概率：
重复执行以上步骤至模型收敛。
7.根据权利要求1所述的方法，其特征在于，超分辨率图像生成步骤具体如下：
预先训练好多个超分辨率网络，放大倍数分别设为2,3,4,5；
依据图像的模糊程度，分别选择相应的超分辨率网络，实现图像的超分辨率，恢复出相应的细节纹理。
8.一种基于课程学习的超分辨率图像重建系统，其特征在于，包括：
数据预处理单元，用于对输入图片提取YUV色彩空间中的Y通道，将其归一化作为输入特征；
网络训练单元，基于课程学习的方法训练深度神经网络，被配置以执行以下步骤：
1)、图像特征提取：采用统计方法中的灰度共生矩阵法来描述各像素值的空间分布特性以及纹理特征；
2)、采用基于密度峰值的聚类方法将训练集按照纹理信息分成多个子集；
3)、基于划分好的训练子集，采用课程学习训练深度超分辨率网络，先拟合简单的训练样本，再拟合困难样本，加速收敛；
超分辨率图像生成单元，用于基于训练好的深度神经网络实现对输入图像的多倍数放大，恢复低分辨率图像丢失的高频信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810552826.7A CN108876721A (zh) | 2018-05-31 | 2018-05-31 | 基于课程学习的超分辨率图像重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810552826.7A CN108876721A (zh) | 2018-05-31 | 2018-05-31 | 基于课程学习的超分辨率图像重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108876721A true CN108876721A (zh) | 2018-11-23 |
Family
ID=64335199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810552826.7A Pending CN108876721A (zh) | 2018-05-31 | 2018-05-31 | 基于课程学习的超分辨率图像重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108876721A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197156A (zh) * | 2019-05-30 | 2019-09-03 | 清华大学 | 基于深度学习的单图像的人手动作与形状重建方法及装置 |
| CN110414581A (zh) * | 2019-07-19 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 图片检测方法和装置、存储介质及电子装置 |
| US20230052483A1 (en) * | 2020-02-17 | 2023-02-16 | Intel Corporation | Super resolution using convolutional neural network |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9123140B1 (en) * | 2013-09-25 | 2015-09-01 | Pixelworks, Inc. | Recovering details in single frame super resolution images |
| US20160191940A1 (en) * | 2014-05-28 | 2016-06-30 | Peking University Shenzhen Graduate School | Method and device for video encoding or decoding based on image super-resolution |
| CN106485656A (zh) * | 2016-09-19 | 2017-03-08 | 华南理工大学 | 一种图像超分辨率重构的方法 |
| CN106910161A (zh) * | 2017-01-24 | 2017-06-30 | 华南理工大学 | 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 |
-
2018
- 2018-05-31 CN CN201810552826.7A patent/CN108876721A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9123140B1 (en) * | 2013-09-25 | 2015-09-01 | Pixelworks, Inc. | Recovering details in single frame super resolution images |
| US20160191940A1 (en) * | 2014-05-28 | 2016-06-30 | Peking University Shenzhen Graduate School | Method and device for video encoding or decoding based on image super-resolution |
| CN106485656A (zh) * | 2016-09-19 | 2017-03-08 | 华南理工大学 | 一种图像超分辨率重构的方法 |
| CN106910161A (zh) * | 2017-01-24 | 2017-06-30 | 华南理工大学 | 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王一宁等: "基于残差神经网络的图像超分辨率改进算法", 《计算机应用》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197156A (zh) * | 2019-05-30 | 2019-09-03 | 清华大学 | 基于深度学习的单图像的人手动作与形状重建方法及装置 |
| CN110197156B (zh) * | 2019-05-30 | 2021-08-17 | 清华大学 | 基于深度学习的单图像的人手动作与形状重建方法及装置 |
| CN110414581A (zh) * | 2019-07-19 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 图片检测方法和装置、存储介质及电子装置 |
| CN110414581B (zh) * | 2019-07-19 | 2023-05-30 | 腾讯科技（深圳）有限公司 | 图片检测方法和装置、存储介质及电子装置 |
| US20230052483A1 (en) * | 2020-02-17 | 2023-02-16 | Intel Corporation | Super resolution using convolutional neural network |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
| CN107492070B (zh) | 一种双通道卷积神经网络的单图像超分辨率计算方法 | |
| CN109671023B (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN111127308B (zh) | 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法 | |
| CN110033410A (zh) | 图像重建模型训练方法、图像超分辨率重建方法及装置 | |
| CN104021523B (zh) | 一种基于边缘分类的图像超分辨率放大的方法 | |
| CN108876721A (zh) | 基于课程学习的超分辨率图像重建方法及系统 | |
| CN110232650B (zh) | 一种彩色图像水印嵌入方法、检测方法及系统 | |
| CN112308803A (zh) | 一种基于深度学习的自监督低照度图像增强及去噪方法 | |
| CN113781308A (zh) | 图像超分辨率重建方法、装置、存储介质及电子设备 | |
| CN106709872A (zh) | 一种快速图像超分辨率重构方法 | |
| CN116403063A (zh) | 基于多区域特征融合的无参考屏幕内容图像质量评估方法 | |
| CN109840895B (zh) | 一种带有可逆信息隐藏功能的可逆肤色平滑方法及其原始图像恢复方法 | |
| CN111489333A (zh) | 一种无参考夜间自然图像质量评价方法 | |
| CN108616757B (zh) | 一种翻拍后能提取水印的视频水印嵌入与提取方法 | |
| CN114463207A (zh) | 基于全局动态范围压缩与局部亮度估计的色阶映射方法 | |
| CN116579940A (zh) | 一种基于卷积神经网络的实时低照度图像增强方法 | |
| CN110766597A (zh) | 一种图片伪装方法、装置、电子设备和存储介质 | |
| Zhang et al. | Image super-resolution reconstruction algorithm based on FSRCNN and residual network | |
| CN116563133A (zh) | 基于模拟曝光和多尺度融合的低照度彩色图像增强方法 | |
| CN109543425A (zh) | 一种基于张量分解的图像数据隐藏方法 | |
| CN113034390B (zh) | 一种基于小波先验注意力的图像修复方法及系统 | |
| CN116091330A (zh) | 一种基于生成对抗网络的图像修复方法 | |
| Lyn et al. | Image super-resolution reconstruction based on attention mechanism and feature fusion | |
| Tanaka et al. | Invertible color-to-monochrome transformation based on clustering with lightness constraint |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |