CN106709875A - 一种基于联合深度网络的压缩低分辨率图像复原方法 - Google Patents
一种基于联合深度网络的压缩低分辨率图像复原方法 Download PDFInfo
- Publication number
- CN106709875A CN106709875A CN201611258018.7A CN201611258018A CN106709875A CN 106709875 A CN106709875 A CN 106709875A CN 201611258018 A CN201611258018 A CN 201611258018A CN 106709875 A CN106709875 A CN 106709875A
- Authority
- CN
- China
- Prior art keywords
- characteristic pattern
- image
- resolution
- network
- compression artefacts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000007906 compression Methods 0.000 claims abstract description 120
- 230000006835 compression Effects 0.000 claims abstract description 120
- 238000012549 training Methods 0.000 claims abstract description 63
- 230000004927 fusion Effects 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000012800 visualization Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 26
- 238000005070 sampling Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 17
- 230000003321 amplification Effects 0.000 claims description 16
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 13
- 238000011478 gradient descent method Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000006731 degradation reaction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000008929 regeneration Effects 0.000 claims description 2
- 238000011069 regeneration method Methods 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 239000000155 melt Substances 0.000 claims 2
- 238000007792 addition Methods 0.000 claims 1
- 230000006399 behavior Effects 0.000 claims 1
- 238000012805 post-processing Methods 0.000 abstract description 5
- 238000013526 transfer learning Methods 0.000 abstract description 2
- 230000007850 degeneration Effects 0.000 abstract 1
- 238000004880 explosion Methods 0.000 abstract 1
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 9
- 230000000903 blocking effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
一种基于联合深度网络的压缩低分辨率图像复原方法属于数字图像/视频信号处理领域。本发明从协同处理压缩失真和降采样因素的角度出发,可完成含有压缩失真与低分辨率随机组合的退化图像复原;本发明的网络含有28卷积层,建立细长型的网络结构,根据迁移学习的思想,对预先训练好的模型采用微调的方式完成极深网络的训练收敛,解决梯度消失、梯度爆炸的问题;本发明通过特征可视化完成网络模型参数的设定,端对端的学习退化特征与理想特征的关系,且省去预处理和后处理;最后,本发明完成三个重要融合,相同尺寸特征图的融合,残差图像的融合,高频信息与高频初始估计图的融合,能协同解决具有压缩失真的低分辨率图像的超分辨复原问题。
Description
技术领域
本发明属于数字图像/视频信号处理领域,特别涉及一种基于联合深度网络的压缩低分辨率图像复原方法。
背景技术
随着多媒体技术的快速发展和广泛的应用,高质量的图像和视频已经成为一种主流的需求。视频数据的质量越高,其分析价值越大。然而,受到有限的信道带宽和存储能力等因素的影响,图像和视频均已压缩形式传输和常态存储。最常见的图像退化因素有下采样和压缩失真。下采样减少了图像的空间分辨率,而压缩失真导致图像存在块效应、振铃、以及模糊等问题。因此,针对压缩失真的低分辨率图像,研究多降质因素图像复原技术,具有重要的理论意义和实际应用价值。
图像超分辨率复原方法能够利用单帧或多帧的低分辨率图像恢复出高分辨率图像。在采用针对无压缩图像的超分辨率方法直接对压缩失真的低分辨率图像进行超分辨率复原时,图像分辨率会提高,但严重的块效应失真现象也会放大。因此,去除块效应成为退化图像复原过程中的一个重要问题。广大学者往往采用预处理、后处理的去噪方法来减少块效应,提高重建图像的主观质量,具有灵活、简单、有效等优势。
现有的传统处理方法通常将图像去压缩失真和超分辨率复原作为分别独立的任务加以解决。或者,有些方法将含有压缩失真的低分辨率图像进行依次串行处理。已有的主要方法分为基于图像增强的预处理方法和后处理方法。在预处理方法中,图像去噪、去块处理模块后级联一个超分辨率复原模块。该方法基本实现图像去块、去噪和空间分辨率提高等功能。但在去噪过程中,其不可避免地丢失的一些图像细节信息,从而降低超分辨率复原的性能。基于图像增强的后处理方法,则在超分辨率复原模块后级联一个图像去噪模块。该方法虽然实现空间分辨率放大,但在超分辨率复原过程中,压缩失真现象也随之放大,这对后续的压缩失真处理造成困难。
以上方法均为浅层学习的方法。由于学习能力有限,这些方法提取的特征是图像的底层特征,该方法的重建性能受到制约。另外,两个降质因素分别独立处理的方式,未能充分考虑两个问题的相互关系。
近年来,基于深度学习的图像复原方法受到了人们的关注。这类方法在领域知识引导及数据驱动下进行网络学习,所获得的特征在预测任务中被证实比传统的手工设计的特征具备更强的表征能力,从而提升预测的准确性。相比于传统的浅层学习方法,深度学习方法取得更优的重建质量。
基于卷积神经网络的超分辨率复原方法与基于稀疏编码的超分辨率复原方法构建等价性,将特征提取、非线性映射、图像重建三个阶段统一到一个深度卷积神经网络中,通过卷积神经网络直接学习低分辨率图像到高分辨率图像的映射关系。在去噪声问题中,该方法在改变训练样本之后,端对端的学习退化图像与复原图像之间的映射关系,可以实现去噪声功能。该方法表明深度卷积神经网络具有强大的特征表示学习能力。然而,在针对同时含有压缩失真和低分辨率降质因素的图像复原中,该方法的重建图像的平坦区域仍含有较明显的块效应。
基于卷积神经网络的去压缩失真复原方法根据去压缩失真任务的特点,在特征提取层后加入特征增强层。该方法首先通过特征提取过程中得到含噪声影响的特征,再将其映射到理想的特征空间,最后完成图像重建。该方法表明深度学习在特征学习过程中具有去压缩失真的能力,并为退化特征到理想特征的映射关系学习提供指导。然而,该方法的卷积核尺寸是为了去压缩失真任务而特定设置,未能实现空间分辨率的放大。
虽然基于深度学习的图像复原方法具有较好的重建效果,但是由于此方法针对解决图像单降质因素问题,当对多降质因素的处理时,此方法无法得到较好的重建图像。
发明内容
本发明的目的在于克服现有技术的不足,针对同时含有压缩失真和低分辨率两种降质问题的低质量图像,提供一个去压缩失真与超分辨率复原的联合深度网络,使其能协同解决具有压缩失真的低分辨率图像的超分辨复原问题。
本发明是采用以下技术手段实现的:一种基于联合深度网络的压缩低分辨率图像复原方法,主要包括整体流程、离线部分和在线部分。
整体流程:首先设计了图像复原的处理流程;然后根据此流程设计了网络结构;最后将该网络各阶段特征图尺寸的调整,完成退化图像映射到复原图像;
离线部分:主要包括3个步骤:训练样本彩色空间变换;训练样本库生成;网络训练及模型获取。其中,训练样本库生成方法中包括训练样本获取的三个阶段;网络模型训练及模型获取阶段包括损失函数、梯度下降法的选取;
在线部分:主要包括5个步骤:特征提取;特征增强;特征图重建;高频信息提取;高频信息融合。其中,特征提取包括图像块提取,特征表示;高频信息融合包括特征融合,残差图像融合。
所述的整体流程,具体步骤如下:
(1)本发明的整体流程。如附图1所示,图像复原流程主要包括去压缩失真处理和超分辨率复原处理。当待处理的退化图像放大倍数为a时,本发明的图像复原流程具体如下:
在去压缩失真处理中,输入退化图像,对其进行特征提取、特征增强和特征映射重建,产生去压缩失真的特征图;然后,在超分辨率复原处理中,首先将去压缩失真的特征图插值放大a倍,输出后的高分辨率HR初始估计图像是输入退化图像尺寸的a倍;然后,将HR初始估计图经过高频特征提取和高频信息融合得到残差图像;最后,残差图像与HR初始估计图像相加后得到重建后的HR图像。
(2)本发明设计的网络结构,各层对应于图像复原的处理流程,具有不同的物理意义。如附图3所示,本发明的网络结构包括28个卷积层,25个RELU激活模块,一个双三次(Bicubic)插值放大模块,两个融合层。其中,在去压缩失真的步骤中,由4个卷积层和3个RELU激活模块组成去压缩失真的子模块,每个卷积层对应本发明中特征提取、特征增强、非线性映射、特征重建的步骤;在尾端级联一个相同的去压缩失真子模块,由两个去压缩失真子模块组成一个去压缩失真的子网络,包括8个卷积层和6个RELU激活模块。在超分辨率复原的步骤中,由一个插值放大模块,20个卷积层,19个RELU激活模块,两个融合层组成一个超分辨率复原子网络,其中高频信息提取阶段采用19个卷积层,重建阶段采用1个卷积层,两个融合层包括特征图融合、残差图像融合。
在CNN的图像处理过程中,卷积层之间需要通过卷积滤波器联系,卷积滤波器的定义表示为W×H×C×D,其中,C代表被滤波图像的通道数;W、H分别代表滤波范围的宽、高;D代表卷积滤波器的种类。如5×5×3×20:代表滤波器宽高各为5个像素,输入图像通道数为3,共20种。
(3)本发明在图像复原过程中,各卷积层输入和输出特征图的变化如下:
本发明中没有加入池化层和全连接层,在前8个卷积层中先采用先卷积操作,再对输出尺寸变化的特征图采用上采样操作,旨在保证输入特征图与输出特征图的尺寸不变。在压缩失真处理过程中,输入图像大小为1×64×64的特征图,在第一个卷积层中,先经过64个卷积核9×9之后会产生64×56×56的特征图,再经过上采样得到64×64×64的特征图;在第二个卷积层中,输入大小为64×64×64的特征图,先经过32个卷积核7×7之后会产生32×58×58的特征图,再经过上采样得到32×64×64的特征图;在第三个卷积层中,输入大小为32×64×64的特征图,先经过16个卷积核1×1之后会产生16×64×64的特征图;在第四个卷积层中,输入大小为16×64×64的特征图,先经过1个卷积核5×5之后会产生1×60×60的特征图,再经过上采样得到1×64×64的特征图,此时,第四个卷积层的输出特征图与第一个卷积层的输入特征图相等,与第一个到第四个卷积层相同,第五个到第八个卷积层重复它们的操作,第八个卷积层会产生1×64×64的特征图,完成前八个卷积层的去压缩失真处理。在超分辨率复原操作中,去压缩失真处理的输出特征图可作为超分辨率复原处理的输入特征图,输入大小为1×64×64的特征图,经过四倍双三次插值放大产生1×256×256的特征图,作为高分辨率初始估计图,再经过二十个卷积层处理。其中,在第一个卷积层中,输入大小为1×256×256的特征图,先经过64个卷积核3×3之后会产生64×254×254的特征图,再经过64×254×254的特征图上下左右各一个补零后得到64×256×256的特征图;其余第二个到第十九个卷积层与第一个卷积层呈现相同的操作,第十九个卷积层会产生64×256×256的特征图,它是没有信息融合所得到的特征图;在特征图融合层中,分别为第十八个和第十九个卷积层的输出特征图赋予权重0.4和0.6,它们加权后的结果为64×256×256的信息融合特征图;在第二十个卷积层中,分别处理有无信息融合的特征图,在第一个处理过程中,将输入大小为64×256×256的无信息融合特征图经过1个卷积核3×3之后会产生1×254×254的特征图,再经过上采样得到1×256×256的无信息融合的残差图像;在第二个处理过程中,将输入大小为64×256×256的有信息融合特征图经过1个卷积核3×3之后会产生1×254×254的特征图,再经过上采样得到1×256×256的有信息融合残差图像,前后共得到两个输出图像;在残差图像融合层中,给有无信息融合的残差图像分别赋予权重0.6和0.4,它们加权后的结果为1×256×256的残差图像;最后,将与1×256×256的残差图像与1×256×256的高分辨率初始估计图相加后得到1×256×256的高分辨率图像。
所述的离线部分,具体步骤如下:
(1)训练样本彩色空间变换:将图像从RGB彩色空间转换到YCbCr彩色空间;只对图像的亮度通道(Y)进行处理;
(2)训练样本库生成:首先采用滑动窗在图像上滑动,随机裁剪生成大量子图像Z;然后先经过不同放大倍数的下采样D,再经过不同放大倍数上采样U,生成无压缩失真的低分辨率训练样本;最后采用JPEG压缩方法Q,分别进行不同压缩质量参数(CQ)的压缩处理,生成不同压缩失真程度的低分辨率训练样本X。所得训练样本可根据不同阶段重建监督的需求进行分组;图像退化过程如公式(1)所示。
X=DUQ(Z) (1)
(3)训练网络:首先,为去压缩失真子网络和超分辨率复原子网络分别建立损失监督,并采用常用的梯度下降法求解最小化损失函数的问题。其中,去压缩失真子网络采用MSE损失函数确定误差,通过随机梯度下降法(SGD)调整最优化网络参数,基础学习率设置为0.0001,每训练1000次减半;权重衰减设为0.0005,动量设置为0.9;超分辨率复原子网络采用微批梯度下降法(mini-batch)计算网络误差并调节网络参数,基础学习率设置为0.1,每训练1000次减半;权重衰减设为0.0005,动量设置为0.9;最后,经过反复迭代,当达到预设的最大迭代次数(4万次)时停止训练,获得图像复原的网络模型。
所述的在线部分,具体步骤如下:
(1)对输入图像进行特征提取:获取一幅待处理的压缩失真的低分辨率,采用滑动窗提取重叠的图像块;并将每个图像块表示为向量,由这些向量组合成特征图的集合;根据逐层特征图可视化得到特征变换的重要信息,但是特征提取阶段所得到的特征图含有噪声和伪影;
(2)对含噪声的特征图进行去噪声并实现特征增强:对特征提取得到的特征图进行卷积操作;利用离线训练所得到的含噪声特征与无噪声特征的映射关系,进行含噪声特征的自适应调节,完成含噪声特征到理想特征空间的映射;特征增强层产生去除噪声的特征图,但是所得到的特征图过亮或过暗;
(3)去噪声特征图的重建:将去除噪声特征图中的向量非线性映射到另一个向量中;由这些向量组成多个重建特征图,再由多个重建的特征图平均产生一个重建特征图;
以上三个步骤为一个去压缩失真子模块的处理过程,在去压缩失真子模块之后需要级联一个相同的去压缩失真子模块,重复前三个步骤处理过程,获得去压缩失真重建特征图,它的尺寸与输入图像的尺寸相同;
(4)高频信息提取:对去压缩失真得到的特征图处理,采用双三次插值放大(Bicubic)的方式进行a倍插值放大,产生高分辨率HR初始估计图像,它的尺寸是去压缩失真特征图尺寸的a倍;采用十九个卷积层得到卷积滤波后的特征图;
(5)高频信息融合:第十九层的特征图作为无融合的特征图;将各层卷积后的特征图进行逐层特征可视化、分析各层特征图的相关性,选择加权融合第十八、十九层的特征图,得到融合后的特征图;将有无融合的特征图通过重建层产生两个残差图像,再将两个残差图像加权融合得到融合后的残差图像;最后将融合后的残差图像与高分辨率HR初始估计图相加后得到最终的重建图像。
本发明的特点:
首先,本发明从协同处理压缩失真和降采样因素的角度出发,建立了一种基于联合深度网络的压缩低分辨率图像复原方法,可完成含有压缩失真与低分辨率随机组合的退化图像复原;其次,本发明的网络含有28卷积层,建立细长型的网络结构,根据迁移学习的思想,对预先训练好的模型采用微调的方式完成极深网络的训练收敛,解决梯度消失、梯度爆炸的问题;再者,本发明通过特征可视化完成网络模型参数的设定,端对端的学习退化特征与理想特征的关系,且省去预处理和后处理;最后,本发明完成三个重要融合,相同尺寸特征图的融合,残差图像的融合,高频信息与高频初始估计图的融合。
附图说明:
图1、发明方法总体流程图;
图2、发明方法离线部分流程图;
图3、发明方法在线部分流程图;
图4、去压缩失真子网络逐层可视化结果图;
图5、有无去压缩失真级联结构的实验结果图;
(a)一个去压缩失真子模块的实验结果图;
(b)两个级联去压缩失真子模块的实验结果图;
图6、有无特征融合的实验结果图;
(a)无特征融合层的实验结果图;
(b)有特征融合层的实验结果图;
图7、本发明方法与现有方法主观实验结果比较;
(a)原始图像;
(b)待处理的低质量图像(L4Q20:由原图下采样四倍,JPEG压缩20得到);
(c)VDSR方法的实验结果图;
(d)FSRCNN方法的实验结果图;
(e)CSCN方法的实验结果图;
(f)本发明的实验结果图;
图8、本发明方法与现有方法客观实验结果比较;
(a)测试图片:(放大四倍,不同压缩比的“buttery”图像),不同方法的PSNR曲线;
(b)测试图片:(放大两倍,不同压缩比的“buttery”图像),不同方法的PSNR曲线。
具体实施方式:
以下结合说明书附图,对本发明的实施实例加以详细说明:
一种基于联合深度网络的压缩低分辨率图像复原方法,整体流程图如附图1所示;算法分为离线部分和在线部分;其流程图分别如附图2和附图3所示;离线部分,根据图像下采样和压缩失真程度建立训练样本库;对于一幅尺寸为M×N图像,在第一阶段,首先对其进行S倍下采样,然后进行S倍上采样,最后得到尺寸为M×N低分辨率LR图像;在第二阶段,采用不同压缩质量参数(CQ,Compressed Quality)值对低分辨率图像进行压缩;在第三阶段,首先将有无压缩失真的训练样本作为第一组训练样本库,将高低分辨率的训练样本作为第二组训练样本库;然后将第一、二组训练样本库分别进行去压缩失真子网络和超分辨率子网络的训练;最后由两个级联结构的子网络构成一个联合深度网络。在线部分,避免图像预处理及后处理,对需要输入压缩失真的低分辨率图像,由网络模型预测得出复原图像,进一步提升网络预测性能。
所述离线部分分为3个步骤:
(1)在训练样本彩色空间变换过程中,考虑到国内外通用数据集“91image”的普遍性及重要的实验对比意义,本发明采用图像复原领域通用的包含有91幅自然图像的数据集作为训练样本,该数据集包含91幅无压缩失真的高分辨率图像;在JPEG压缩和模糊前,将图像从RGB彩色空间转换到YCbCr彩色空间;由于数据量化阶段中,亮度数据Y的量化明显比色差数据Cr和Cb的量化表带来的数据损失要小,因此,只对图像的亮度通道(Y)进行处理;
(2)在训练样本库生成的过程中,为了实现去压缩失真与超分辨率复原子网络的协同训练,本发明经过三个阶段获得训练样本库。第一阶段,采用33×33的滑动窗在图像上滑动,将高分辨率HR图像随机裁剪生成大约24,800个33×33子图像,作为无压缩的HR训练样本Zi;第二阶段,先经过不同放大倍数Si的下采样(Si=2,3,4),再经过不同放大倍数Si的上采样,输出图像与输入图像(称为无压缩的高分辨率训练样本Zi)尺寸大小相同,生成74,400幅无压缩失真的低分辨率LR训练样本Yi;第三阶段,对74,400幅无压缩失真的LR训练样本运用JPEG压缩方法,分别进行不同压缩质量参数(CQ)值的压缩处理,CQ设定为(10,20,30,40),生成不同压缩失真程度的低分辨率训练样本Xi;最后阶段,将训练样本分组,将有无压缩失真的低分辨率训练样本可作为去压缩失真子网络的训练样本库,将无压缩失真的高低分辨率训练样本作为超分辨率复原子网络的训练样本库;
(3)网络训练及模型获取的方法,分别为去压缩失真子网络和超分辨率复原子网络建立训练机制,并通过端到端学习得到其映射关系;
去压缩失真模块训练数据集为其中,Xi是压缩失真的低分辨率训练样本,Yi是无压缩失真的低分辨率训练样本,N为训练样本的数量;用均方误差MSE作为损失函数,如公式(2);通过反向传播的随机梯度下降法SGD使得损失函数最小化,得到调节后的网络参数θ1={W1,W2,W3,B1,B2,B3};
超分辨率复原模块训练数据集为其中,Yi是无压缩失真的低分辨率训练样本,Zi是无压缩失真的高分辨率训练样本,N为训练样本的数量;残差图像为ri=Zi-Yi,通过CNN网络训练得到Yi的残差预测F(Yi),最后,残差预测F(Yi)与插值放大的低分辨率图像Yi相结合得到高分辨率图像Zi,如公式(4);
用均方误差MSE作为损失函数,如公式(3);通过反向传播微批(mini-batch)梯度下降法使得损失函数最小化,得到调节后的网络参数θ1={W1,...,W20,B1,...,B20};
Zi=F(Yi)+Yi (4)
经过反复迭代训练,当达到预设的最大迭代次数(4万次)时停止训练,获得图像复原的网络模型。
所述的在线部分,具体步骤如下:
(1)对输入图像进行特征提取。采用卷积神经网络CNN进行自底向上的特征提取和表达。输入图像为一幅待处理的压缩失真的低分辨率图像,首先对输入的图像采用滑动窗,步长为1,提取重叠的图像块,并将其表示为向量,由这些向量组成特征图的结合;然后根据卷积滤波器的参数设定得到逐级变换的特征图,并实现逐层特征图可视化,根据特征图可视化的结果对卷积滤波器进行优化,可达到网络参数优化的作用;最后特征提取阶段所得到的特征图含有噪声和伪影,需要对其处理。特征提取层公式表示如下:
F1(X)=max(0,W1*X+B1) (5)
式中,W1和B1分别表示特征提取层的卷积滤波器和偏置,W1的尺寸是1×9×9×64,它表示64种不同的卷积滤波器,每个卷积的核尺寸1×9×9,F1(X)是特征提取层得到的特征图;
(2)对含噪声的特征图进行去噪声并实现特征增强。首先,将特征提取阶段所得到的特征图作为特征增强层的处理对象;然后采用训练阶段得到的一组卷积滤波器对其处理,完成含噪声特征到理想特征空间的映射,最后特征增强层达到对特征提取层特征图去噪声的作用。特征增强层的公式表示如下:
F2(X)=max(0,W2*F1(X)+B2) (6)
式中,W2和B2分别表示特征增强层的卷积滤波器和偏置,W2的尺寸是64×7×7×32,它表示32种不同的卷积滤波器,每个卷积的核尺寸64×7×7,F2(X)是特征增强层卷积得到的特征图;
(3)无压缩失真特征图重建。首先,将去噪声后特征图中的向量非线性映射到另一个向量中;然后,采用类似于均值滤波器的卷积操作,将特征图中多个过亮和过暗的特征图重建,其中,特征重建层与特征提取层相对应,采用均值功能的卷积滤波器聚合多个特征图为一个特征图;无压缩失真特征图重建的公式表示如下:
F3(X)=max(0,W3*F2(X)+B3) (7)
式中,W3和B3分别表示非线性映射层的卷积滤波器和偏置,W3的尺寸是32×1×1×16。一个非线性映射层具有16种不同的卷积滤波器。每个卷积的核尺寸是32×1×1,F3(X)是通过非线性映射层产生的特征图;
F4(X)=W4*F3(X)+B4 (8)
式中,W4和B4分别表示特征重建层的卷积滤波器和偏置,W4的尺寸是16×5×5×1,特征重建层有1个卷积滤波器,等同于均值滤波器的作用,每个卷积的核尺寸是16×5×5,能够实现平均特征图的作用,F3(X)是特征重建层产生的特征图;
(4)级联网络。以上三个步骤可作为一个去压缩失真子模块,在其后级联1个相同的去压缩失真子模块,由两个去压缩失真子模块组成一个去压缩失真子网络;最后,输入的退化图像经过去压缩失真子网络处理后,产生去压缩失真的特征图;
(5)高频信息提取。首先,在去压缩失真子网络后加入一个双三次bicubic插值放大层,将去压缩失真特征图调整尺寸,得到HR初始估计图Y,其中,双三次bicubic插值放大也是一种卷积操作;然后,采用VGG19网络结构,通过19个卷积层逐层特征提取,其中,更深层的网络会学习到细节信息更多的特征图;该步骤由下式实现:
F1(X)=W1*Y+B1 (9)
Fi+1(X)=max(0,Wi*Fi(X)+Bi){i=2,...19} (10)
式中,Wi和Bi分别表示高频信息提取阶段的卷积滤波器和偏置,其中,卷积滤波器W1的尺寸是1×3×3×64,第2-19层卷积层Wi的尺寸是64×3×3×64,每个卷积核的尺寸为64×3×3。非线性激活函数ReLu的表示为max(0,X),可以提取有用的特征图;
(6)高频信息融合。首先观察各层特征图,并分析各层特征图,每层包含64种相同尺寸的特征图;然后,通过双流网络得到特征图,一流网络得到未融合的第19层的特征图,另一流网络加权融合第18、19卷积层的特征图,分别为其赋予权值,得到有融合的特征图;最后,有无融合的特征图分别经过第20个卷积层重建获得各自的残差图像,并为其赋予权值,加权融合得到融合后的残差图像;最后,融合后的残差图像与高分辨率HR初始估计图相加后得到最终的重建图像,高频信息融合由以下公式实现:
A(X)=a×F18(X)+(1-a)F19(X) (11)
式中,F18(X)和F19(X)分别表示为第18层和第19层的特征图,分别为其赋予权值,a为0.4。分别为有无信息融合的特征图通过重建层产生残差图像,由以下公式实现:
K(X)=max(0,W20*F19(X)+B20) (12)
L(X)=max(0,W20*A(X)+B20) (13)
F=a×K(X)+(1-a)L(X) (14)
式中,W20和B20分别表示为重建层的卷积滤波器和偏置,其中,卷积滤波器W20的尺寸是64×3×3×1,每个卷积核的尺寸为64×3×3。L(X)和K(X)分别是通过重建层产生的有无加权融合的残差图像,分别为其赋予权值,a为0.4,得到融合后的残差图像F;
R=Y+F (15)
式中,将残差图像F和高分辨率初始估计图Y相加得到重建图像R。
Claims (2)
1.一种基于联合深度网络的压缩低分辨率图像复原方法,包括整体流程、离线部分和在线部分;其特征在于:
整体流程:首先设计了图像复原的处理流程;然后根据此流程设计了网络结构;最后将该网络各阶段特征图尺寸的调整,完成退化图像映射到复原图像;
离线部分:包括3个步骤:训练样本彩色空间变换;训练样本库生成;网络训练及模型获取;其中,训练样本库生成方法中包括训练样本获取的三个阶段;网络模型训练及模型获取阶段包括损失函数、梯度下降法的选取;
在线部分:包括5个步骤:特征提取;特征增强;特征图重建;高频信息提取;高频信息融合;其中,特征提取包括图像块提取,特征表示;高频信息融合包括特征融合,残差图像融合;
所述的整体流程,具体步骤如下:
(1)图像复原流程包括去压缩失真处理和超分辨率复原处理;当待处理的退化图像放大倍数为a时,图像复原流程具体如下:
在去压缩失真处理中,输入退化图像,对其进行特征提取、特征增强和特征映射重建,产生去压缩失真的特征图;然后,在超分辨率复原处理中,首先将去压缩失真的特征图插值放大a倍,输出后的HR初始估计图像的尺寸是输入退化图像尺寸的a倍,但是HR初始估计图像缺少图像高频信息;然后,经过高频特征提取和高频信息融合得到残差图像;最后,残差图像与HR初始估计图像相加后得到重建后的HR图像;
(2)网络结构包括28个卷积层,25个RELU激活模块,1个双三次(Bicubic)插值放大模块,2个融合层;其中,在去压缩失真的步骤中,由4个卷积层和3个RELU激活模块组成去压缩失真的子模块,每个卷积层对应特征提取、特征增强、非线性映射、特征重建的步骤,在尾端级联一个相同的去压缩失真子模块,由两个去压缩失真子模块组成一个去压缩失真的子网络,包括8个卷积层和6个RELU激活模块;在超分辨率复原的步骤中,由1个双三次(Bicubic)插值放大模块,20个卷积层,19个RELU激活模块,两个融合层组成一个超分辨率复原子网络,其中高频信息提取阶段采用19个卷积层,重建阶段采用1个卷积层,两个融合层包括特征图融合、残差图像融合;
在CNN的图像处理过程中,卷积层之间需要通过卷积滤波器联系,卷积滤波器的定义表示为W×H×C×D,其中,C代表被滤波图像的通道数;W、H分别代表滤波范围的宽、高;D代表卷积滤波器的种类;如5×5×3×20:代表滤波器宽高各为5个像素,输入图像通道数为3,共20种滤波器;
所述的离线部分,具体步骤如下:
(1)训练样本彩色空间变换:将图像从RGB颜色空间转换到YCbCr颜色空间;只对图像的亮度通道(Y)进行处理;
(2)训练样本库生成:首先采用滑动窗在图像上滑动,随机裁剪生成大量子图像Z;然后先经过不同放大倍数的下采样D,再经过不同放大倍数上采样U,生成无压缩失真的低分辨率训练样本;最后采用JPEG压缩方法Q,分别进行不同压缩质量参数CQ的压缩处理,生成不同压缩失真程度的低分辨率训练样本X。所得训练样本根据不同阶段重建监督的需求进行分组;图像退化过程如公式(1)所示。
X=DUQ(Z) (1)
(3)训练网络:首先,为去压缩失真子网络和超分辨率复原子网络分别建立损失监督,并采用常用的梯度下降法求解最小化损失函数的问题。其中,去压缩失真子网络采用MSE损失函数确定误差,通过随机梯度下降法(SGD)调整最优化网络参数,基础学习率设置为0.0001,每训练1000次减半;权重衰减设为0.0005,动量设置为0.9;超分辨率复原子网络采用微批梯度下降法(mini-batch)计算网络误差并调节网络参数,基础学习率设置为0.1,每训练1000次减半;权重衰减设为0.0005,动量设置为0.9;最后,经过反复迭代,当达到预设的最大迭代次数(4万次)时停止训练,获得图像复原的网络模型。
所述的在线部分,具体步骤如下:
(1)对输入图像进行特征提取:获取一幅待处理的压缩失真的低分辨率,采用滑动窗提取重叠的图像块;并将每个图像块表示为向量,由这些向量组合成特征图的集合;根据逐层特征图可视化得到特征变换的重要信息,但是特征提取阶段所得到的特征图含有噪声和伪影;
(2)对含噪声的特征图进行去噪声并实现特征增强:对特征提取得到的特征图进行卷积操作;利用离线训练所得到的含噪声特征与无噪声特征的映射关系,进行含噪声特征的自适应调节,完成含噪声特征到理想特征空间的映射;特征增强层产生去除噪声的特征图,但是所得到的特征图过亮或过暗;
(3)去噪声特征图的重建:将去除噪声特征图中的向量非线性映射到另一个向量中;由这些向量组成多个重建特征图,再由多个重建的特征图平均产生一个重建特征图;
以上三个步骤为一个去压缩失真子模块的处理过程,在去压缩失真子模块之后需要级联一个相同的去压缩失真子模块,重复前三个步骤处理过程,获得去压缩失真重建特征图,它的尺寸与输入图像的尺寸相同;
(4)高频信息提取:对去压缩失真得到的特征图处理,采用双三次插值放大(Bicubic)的方式进行a倍插值放大,产生高分辨率HR初始估计图像,它的尺寸是去压缩失真特征图尺寸的a倍;采用十九个卷积层得到卷积滤波后的特征图;
(5)高频信息融合:第十九层的特征图作为无融合的特征图;将各层卷积后的特征图进行逐层特征可视化、分析各层特征图的相关性,选择加权融合第十八、十九层的特征图,作为融合的特征图;将有无融合的特征图通过重建层产生两个残差图像,再将两个残差图像加权融合得到融合后的残差图像;最后将融合后的残差图像与高分辨率HR初始估计图相加后得到最终的重建图像。
2.根据权利要求1所述方法,其特征在于:在图像复原过程中,各卷积层输入和输出特征图的变化如下:
没有加入池化层和全连接层,在前8个卷积层中先采用先卷积操作,再对输出尺寸变化的特征图采用上采样操作,旨在保证输入特征图与输出特征图的尺寸不变;在压缩失真处理过程中,输入图像大小为1×64×64的特征图,在第一个卷积层中,先经过64个卷积核9×9之后会产生64×56×56的特征图,再经过上采样得到64×64×64的特征图;在第二个卷积层中,输入大小为64×64×64的特征图,先经过32个卷积核7×7之后会产生32×58×58的特征图,再经过上采样得到32×64×64的特征图;在第三个卷积层中,输入大小为32×64×64的特征图,先经过16个卷积核1×1之后会产生16×64×64的特征图;在第四个卷积层中,输入大小为16×64×64的特征图,先经过1个卷积核5×5之后会产生1×60×60的特征图,再经过上采样得到1×64×64的特征图,此时,第四个卷积层的输出特征图与第一个卷积层的输入特征图相等,与第一个到第四个卷积层相同,第五个到第八个卷积层重复它们的操作,第八个卷积层会产生1×64×64的特征图,完成前八个卷积层的去压缩失真处理;在超分辨率复原操作中,去压缩失真处理的输出特征图作为超分辨率复原处理的输入特征图,输入大小为1×64×64的特征图,经过四倍双三次插值放大产生1×256×256的特征图,作为高分辨率初始估计图,再经过二十个卷积层处理;其中,在第一个卷积层中,输入大小为1×256×256的特征图,先经过64个卷积核3×3之后会产生64×254×254的特征图,再经过64×254×254的特征图上下左右各一个补零后得到64×256×256的特征图;其余第二个到第十九个卷积层与第一个卷积层呈现相同的操作,第十九个卷积层会产生64×256×256的特征图,它是没有信息融合所得到的特征图;在特征图融合层中,分别为第十八个和第十九个卷积层的输出特征图赋予权重0.4和0.6,它们加权后的结果为64×256×256的信息融合特征图;在第二十个卷积层中,分别处理有无信息融合的特征图,在第一个处理过程中,将输入大小为64×256×256的无信息融合特征图经过1个卷积核3×3之后会产生1×254×254的特征图,再经过上采样得到1×256×256的无信息融合的残差图像;在第二个处理过程中,将输入大小为64×256×256的有信息融合特征图经过1个卷积核3×3之后会产生1×254×254的特征图,再经过上采样得到1×256×256的有信息融合残差图像,前后共得到两个输出图像;在残差图像融合层中,给有无信息融合的残差图像分别赋予权重0.6和0.4,它们加权后的结果为1×256×256的残差图像;最后,将与1×256×256的残差图像与1×256×256的高分辨率初始估计图相加后得到1×256×256的高分辨率图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611258018.7A CN106709875B (zh) | 2016-12-30 | 2016-12-30 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611258018.7A CN106709875B (zh) | 2016-12-30 | 2016-12-30 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106709875A true CN106709875A (zh) | 2017-05-24 |
CN106709875B CN106709875B (zh) | 2020-02-18 |
Family
ID=58906305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611258018.7A Active CN106709875B (zh) | 2016-12-30 | 2016-12-30 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106709875B (zh) |
Cited By (110)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107301662A (zh) * | 2017-06-30 | 2017-10-27 | 深圳大学 | 深度图像的压缩恢复方法、装置、设备及存储介质 |
CN107392868A (zh) * | 2017-07-21 | 2017-11-24 | 深圳大学 | 基于全卷积神经网络的压缩双目图像质量增强方法及装置 |
CN107403415A (zh) * | 2017-07-21 | 2017-11-28 | 深圳大学 | 基于全卷积神经网络的压缩深度图质量增强方法及装置 |
CN107464217A (zh) * | 2017-08-16 | 2017-12-12 | 清华-伯克利深圳学院筹备办公室 | 一种图像处理方法及装置 |
CN107463989A (zh) * | 2017-07-25 | 2017-12-12 | 福建帝视信息科技有限公司 | 一种基于深度学习的图像去压缩伪影方法 |
CN107464216A (zh) * | 2017-08-03 | 2017-12-12 | 济南大学 | 一种基于多层卷积神经网络的医学图像超分辨率重构方法 |
CN107480772A (zh) * | 2017-08-08 | 2017-12-15 | 浙江大学 | 一种基于深度学习的车牌超分辨率处理方法及系统 |
CN107507134A (zh) * | 2017-09-21 | 2017-12-22 | 大连理工大学 | 基于卷积神经网络的超分辨率方法 |
CN107563965A (zh) * | 2017-09-04 | 2018-01-09 | 四川大学 | 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 |
CN107578375A (zh) * | 2017-08-21 | 2018-01-12 | 北京陌上花科技有限公司 | 图像处理方法及装置 |
CN107633223A (zh) * | 2017-09-15 | 2018-01-26 | 深圳市唯特视科技有限公司 | 一种基于深层对抗网络的视频人体属性识别方法 |
CN107689034A (zh) * | 2017-08-16 | 2018-02-13 | 清华-伯克利深圳学院筹备办公室 | 一种神经网络的训练方法、去噪方法及装置 |
CN107730453A (zh) * | 2017-11-13 | 2018-02-23 | 携程计算机技术(上海)有限公司 | 图像质量提升方法 |
CN107784296A (zh) * | 2017-11-21 | 2018-03-09 | 中山大学 | 一种低分辨率图像的人脸识别方法 |
CN107888707A (zh) * | 2017-12-08 | 2018-04-06 | 北京奇艺世纪科技有限公司 | 一种图片传输方法、装置及电子设备 |
CN107909150A (zh) * | 2017-11-29 | 2018-04-13 | 华中科技大学 | 基于逐块随机梯度下降法在线训练cnn的方法与系统 |
CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
CN108109109A (zh) * | 2017-12-22 | 2018-06-01 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及计算设备 |
CN108182669A (zh) * | 2018-01-02 | 2018-06-19 | 华南理工大学 | 一种基于多个图片尺寸的生成对抗网络的超分辨率复原方法 |
CN108205580A (zh) * | 2017-09-27 | 2018-06-26 | 深圳市商汤科技有限公司 | 一种图像检索方法、装置及计算机可读存储介质 |
CN108416755A (zh) * | 2018-03-20 | 2018-08-17 | 南昌航空大学 | 一种基于深度学习的图像去噪方法及系统 |
CN108428212A (zh) * | 2018-01-30 | 2018-08-21 | 中山大学 | 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法 |
CN108495132A (zh) * | 2018-02-05 | 2018-09-04 | 西安电子科技大学 | 基于轻量级深度卷积网络的遥感影像大倍率压缩方法 |
CN108564552A (zh) * | 2018-04-28 | 2018-09-21 | 深圳市商汤科技有限公司 | 图像去模糊的方法及装置 |
CN108596024A (zh) * | 2018-03-13 | 2018-09-28 | 杭州电子科技大学 | 一种基于人脸结构信息的肖像生成方法 |
CN108596855A (zh) * | 2018-04-28 | 2018-09-28 | 国信优易数据有限公司 | 一种视频图像质量增强方法、装置以及视频画质增强方法 |
CN108629737A (zh) * | 2018-05-09 | 2018-10-09 | 复旦大学 | 一种提高jpeg格式图像空间分辨率的方法 |
CN108805828A (zh) * | 2018-05-22 | 2018-11-13 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN108830809A (zh) * | 2018-06-05 | 2018-11-16 | 陕西师范大学 | 一种基于膨胀卷积图像去噪方法 |
CN108900848A (zh) * | 2018-06-12 | 2018-11-27 | 福建帝视信息科技有限公司 | 一种基于自适应可分离卷积的视频质量增强方法 |
CN108921910A (zh) * | 2018-07-30 | 2018-11-30 | 浙江大学 | 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法 |
CN109003239A (zh) * | 2018-07-04 | 2018-12-14 | 华南理工大学 | 一种基于迁移学习神经网络的多光谱图像锐化方法 |
CN109064394A (zh) * | 2018-06-11 | 2018-12-21 | 西安电子科技大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
CN109087247A (zh) * | 2018-08-17 | 2018-12-25 | 复旦大学 | 一种对立体图像进行超分的方法 |
CN109118428A (zh) * | 2018-06-07 | 2019-01-01 | 西安电子科技大学 | 一种基于特征增强的图像超分辨率重建方法 |
CN109146813A (zh) * | 2018-08-16 | 2019-01-04 | 广州视源电子科技股份有限公司 | 一种多任务图像重建方法、装置、设备和介质 |
CN109272452A (zh) * | 2018-08-30 | 2019-01-25 | 北京大学 | 小波域中基于集团结构子带共同学习超分辨率网络的方法 |
CN109272450A (zh) * | 2018-08-22 | 2019-01-25 | 复旦大学 | 一种基于卷积神经网络的图像超分方法 |
CN109389552A (zh) * | 2017-08-02 | 2019-02-26 | 中山大学 | 一种基于上下文相关多任务深度学习的图像超分辨算法 |
CN109509149A (zh) * | 2018-10-15 | 2019-03-22 | 天津大学 | 一种基于双通道卷积网络特征融合的超分辨率重建方法 |
CN109543548A (zh) * | 2018-10-26 | 2019-03-29 | 桂林电子科技大学 | 一种人脸识别方法、装置及存储介质 |
CN109584196A (zh) * | 2018-12-20 | 2019-04-05 | 北京达佳互联信息技术有限公司 | 数据集生成方法、装置、电子设备及存储介质 |
CN109785252A (zh) * | 2018-12-25 | 2019-05-21 | 山西大学 | 基于多尺度残差密集网络夜间图像增强方法 |
CN109785249A (zh) * | 2018-12-22 | 2019-05-21 | 昆明理工大学 | 一种基于持续性记忆密集网络的图像高效去噪方法 |
CN109840890A (zh) * | 2019-01-31 | 2019-06-04 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN109903351A (zh) * | 2019-03-02 | 2019-06-18 | 复旦大学 | 基于卷积神经网络和传统编码相结合的图像压缩方法 |
CN109903228A (zh) * | 2019-02-28 | 2019-06-18 | 合肥工业大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
CN109903221A (zh) * | 2018-04-04 | 2019-06-18 | 华为技术有限公司 | 图像超分方法及装置 |
CN109949240A (zh) * | 2019-03-11 | 2019-06-28 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
CN109978772A (zh) * | 2017-12-27 | 2019-07-05 | 四川大学 | 基于深度学习与双域互补的压缩图像复原方法 |
CN110047044A (zh) * | 2019-03-21 | 2019-07-23 | 深圳先进技术研究院 | 一种图像处理模型的构建方法、装置及终端设备 |
CN110084862A (zh) * | 2019-04-04 | 2019-08-02 | 湖北工业大学 | 基于多尺度小波变换与深度学习的图像压缩感知算法 |
CN110087092A (zh) * | 2019-03-11 | 2019-08-02 | 西安电子科技大学 | 基于图像重构卷积神经网络的低码率视频编解码方法 |
CN110136057A (zh) * | 2018-02-08 | 2019-08-16 | 杭州海康威视数字技术股份有限公司 | 一种图像超分辨率重建方法、装置及电子设备 |
CN110210551A (zh) * | 2019-05-28 | 2019-09-06 | 北京工业大学 | 一种基于自适应主体敏感的视觉目标跟踪方法 |
CN110223224A (zh) * | 2019-04-29 | 2019-09-10 | 杰创智能科技股份有限公司 | 一种基于信息过滤网络的图像超分辨实现算法 |
CN110246084A (zh) * | 2019-05-16 | 2019-09-17 | 五邑大学 | 一种超分辨率图像重构方法及其系统、装置、存储介质 |
CN110363830A (zh) * | 2018-04-10 | 2019-10-22 | 阿里巴巴集团控股有限公司 | 元素图像生成方法、装置及系统 |
CN110428382A (zh) * | 2019-08-07 | 2019-11-08 | 杭州微帧信息科技有限公司 | 一种用于移动终端的高效视频增强方法、装置和存储介质 |
CN110473151A (zh) * | 2019-07-04 | 2019-11-19 | 北京航空航天大学 | 基于分区卷积和关联损失的双阶段图像补全方法及系统 |
CN110770784A (zh) * | 2017-06-21 | 2020-02-07 | 佳能株式会社 | 图像处理装置、成像装置、图像处理方法、程序、以及存储介质 |
CN110838089A (zh) * | 2019-09-18 | 2020-02-25 | 浙江工业大学 | 一种基于OctBlock密集块的快速图像去噪方法 |
CN110930333A (zh) * | 2019-11-22 | 2020-03-27 | 北京金山云网络技术有限公司 | 图像修复方法、装置、电子设备及计算机可读存储介质 |
CN110929726A (zh) * | 2020-02-11 | 2020-03-27 | 南京智莲森信息技术有限公司 | 一种铁路接触网支柱号牌识别方法及系统 |
CN111091515A (zh) * | 2019-12-24 | 2020-05-01 | 展讯通信(天津)有限公司 | 图像复原方法及装置、计算机可读存储介质 |
CN111105357A (zh) * | 2018-10-25 | 2020-05-05 | 杭州海康威视数字技术股份有限公司 | 一种失真图像的去失真方法、装置及电子设备 |
CN111163314A (zh) * | 2018-11-07 | 2020-05-15 | 合肥图鸭信息科技有限公司 | 一种图像压缩方法及系统 |
CN111161363A (zh) * | 2018-11-07 | 2020-05-15 | 合肥图鸭信息科技有限公司 | 一种图像编码模型训练方法及装置 |
CN111161150A (zh) * | 2019-12-30 | 2020-05-15 | 北京工业大学 | 一种基于多尺度注意级联网络的图像超分辨率重建方法 |
CN111182254A (zh) * | 2020-01-03 | 2020-05-19 | 北京百度网讯科技有限公司 | 一种视频处理方法、装置、设备及存储介质 |
WO2020103171A1 (zh) * | 2018-11-21 | 2020-05-28 | 北京大学深圳研究生院 | 用于图像去模糊的Bi-Level优化方法 |
KR20200067113A (ko) * | 2018-12-03 | 2020-06-11 | 단국대학교 산학협력단 | 이미지 송신 장치 |
CN111291866A (zh) * | 2020-01-22 | 2020-06-16 | 上海商汤临港智能科技有限公司 | 神经网络的生成、图像处理、智能行驶控制方法及装置 |
CN111340729A (zh) * | 2019-12-31 | 2020-06-26 | 深圳大学 | 二维码去摩尔纹的深度残差网络的训练方法 |
CN111382845A (zh) * | 2020-03-12 | 2020-07-07 | 成都信息工程大学 | 一种基于自注意力机制的模板重建方法 |
CN111582432A (zh) * | 2019-02-19 | 2020-08-25 | 北京嘉楠捷思信息技术有限公司 | 一种网络参数处理方法及装置 |
WO2020177582A1 (zh) * | 2019-03-06 | 2020-09-10 | 腾讯科技(深圳)有限公司 | 视频合成的方法、模型训练的方法、设备及存储介质 |
WO2020181641A1 (zh) * | 2019-03-12 | 2020-09-17 | 深圳市华星光电技术有限公司 | 图像放大方法及图像放大装置 |
CN111683244A (zh) * | 2018-04-30 | 2020-09-18 | 迪斯尼企业公司 | 用于多个质量等级上的失真去除的系统和方法 |
CN111726638A (zh) * | 2019-03-18 | 2020-09-29 | 四川大学 | 一种结合去压缩效应与超分辨率的hevc编码优化方法 |
CN111898432A (zh) * | 2020-06-24 | 2020-11-06 | 南京理工大学 | 一种基于改进YOLOv3算法的行人检测系统及方法 |
CN111968034A (zh) * | 2020-07-30 | 2020-11-20 | 北京大米科技有限公司 | 图像复原方法、装置、电子设备和计算机可读存储介质 |
CN111985549A (zh) * | 2020-08-12 | 2020-11-24 | 中国科学院光电技术研究所 | 针对给定刚体目标进行部件自动定位识别的深度学习方法 |
CN111986102A (zh) * | 2020-07-15 | 2020-11-24 | 万达信息股份有限公司 | 一种数字病理图像去模糊方法 |
CN111986078A (zh) * | 2019-05-21 | 2020-11-24 | 四川大学 | 一种基于引导数据的多尺度岩心ct图像融合重建的方法 |
CN112070668A (zh) * | 2020-08-18 | 2020-12-11 | 西安理工大学 | 一种基于深度学习和边缘增强的图像超分辨方法 |
CN112116526A (zh) * | 2019-06-19 | 2020-12-22 | 中国石油化工股份有限公司 | 基于深度卷积神经网络的火炬烟雾图像的超分辨率方法 |
CN112150356A (zh) * | 2019-06-28 | 2020-12-29 | 四川大学 | 基于级联框架的单幅压缩图像超分辨率重建方法 |
CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
CN112435165A (zh) * | 2020-11-25 | 2021-03-02 | 哈尔滨工业大学(深圳) | 基于生成对抗网络的两阶段视频超分辨率重建方法 |
CN112543347A (zh) * | 2019-09-23 | 2021-03-23 | 腾讯美国有限责任公司 | 基于机器视觉编解码的视频超分辨率方法和系统 |
CN112868034A (zh) * | 2018-10-18 | 2021-05-28 | 索尼公司 | 用于放大的增强颜色再现 |
CN112906721A (zh) * | 2021-05-07 | 2021-06-04 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
CN112950475A (zh) * | 2021-03-05 | 2021-06-11 | 北京工业大学 | 一种基于残差学习及空间变换网络的光场超分辨率重建方法 |
US20210224953A1 (en) * | 2017-04-10 | 2021-07-22 | Samsung Electronics Co., Ltd. | System and method for deep learning image super resolution |
CN113284112A (zh) * | 2021-05-27 | 2021-08-20 | 中国科学院国家空间科学中心 | 一种基于深度神经网络的熔滴图像轮廓提取方法及系统 |
CN113365107A (zh) * | 2020-03-05 | 2021-09-07 | 阿里巴巴集团控股有限公司 | 视频处理方法、影视视频处理方法及装置 |
CN113362239A (zh) * | 2021-05-31 | 2021-09-07 | 西南科技大学 | 一种基于特征交互的深度学习图像修复方法 |
CN113362225A (zh) * | 2021-06-03 | 2021-09-07 | 太原科技大学 | 基于残差递归补偿和特征融合的多描述压缩图像增强方法 |
CN113450267A (zh) * | 2021-05-14 | 2021-09-28 | 桂林电子科技大学 | 可快速获取多种自然退化图像复原模型的迁移学习方法 |
CN113538238A (zh) * | 2021-07-09 | 2021-10-22 | 深圳市深光粟科技有限公司 | 一种高分辨率的光声图像成像方法、装置及电子设备 |
CN113658050A (zh) * | 2020-05-12 | 2021-11-16 | 武汉Tcl集团工业研究院有限公司 | 一种图像的去噪方法、去噪装置、移动终端及存储介质 |
CN113837935A (zh) * | 2020-06-24 | 2021-12-24 | 四川大学 | 基于增强注意力网络的压缩图像超分辨率重建方法 |
WO2022105638A1 (zh) * | 2020-11-19 | 2022-05-27 | 北京有竹居网络技术有限公司 | 图像退化处理方法、装置、存储介质及电子设备 |
WO2022141660A1 (zh) * | 2020-12-28 | 2022-07-07 | 苏州大学 | 基于神经网络的高分辨率图像复原方法及系统 |
CN115022253A (zh) * | 2022-05-25 | 2022-09-06 | 西安北斗安全技术有限公司 | 基于北斗三代卫星短报文和人工智能的图像传输方法 |
WO2022183325A1 (zh) * | 2021-03-01 | 2022-09-09 | 京东方科技集团股份有限公司 | 视频块处理方法及装置、神经网络的训练方法和存储介质 |
CN115147426A (zh) * | 2022-09-06 | 2022-10-04 | 北京大学 | 基于半监督学习的模型训练与图像分割方法和系统 |
CN117576095A (zh) * | 2024-01-16 | 2024-02-20 | 南京航空航天大学 | 一种多尺度学习任务的金属表面缺陷检测和分类方法 |
US11948279B2 (en) | 2020-11-23 | 2024-04-02 | Samsung Electronics Co., Ltd. | Method and device for joint denoising and demosaicing using neural network |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI822623B (zh) * | 2023-04-06 | 2023-11-11 | 友達光電股份有限公司 | 影像復原方法與影像處理裝置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103907132A (zh) * | 2011-11-03 | 2014-07-02 | 皇家飞利浦有限公司 | 图像数据处理 |
US20140270519A1 (en) * | 2008-10-17 | 2014-09-18 | Samsung Electronics Co., Ltd. | Image processing apparatus and method of providing high sensitive color images |
CN104778659A (zh) * | 2015-04-15 | 2015-07-15 | 杭州电子科技大学 | 基于深度学习的单帧图像超分辨率重建方法 |
-
2016
- 2016-12-30 CN CN201611258018.7A patent/CN106709875B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140270519A1 (en) * | 2008-10-17 | 2014-09-18 | Samsung Electronics Co., Ltd. | Image processing apparatus and method of providing high sensitive color images |
CN103907132A (zh) * | 2011-11-03 | 2014-07-02 | 皇家飞利浦有限公司 | 图像数据处理 |
CN104778659A (zh) * | 2015-04-15 | 2015-07-15 | 杭州电子科技大学 | 基于深度学习的单帧图像超分辨率重建方法 |
Non-Patent Citations (2)
Title |
---|
刘娜等: "基于多层卷积神经网络学习的单帧图像超分辨率重建方法", 《中国科技论文》 * |
李晓光等: "高分辨率与高动态范围图像联合重建研究进展", 《测控技术》 * |
Cited By (171)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11694305B2 (en) * | 2017-04-10 | 2023-07-04 | Samsung Electronics Co., Ltd. | System and method for deep learning image super resolution |
US20210224953A1 (en) * | 2017-04-10 | 2021-07-22 | Samsung Electronics Co., Ltd. | System and method for deep learning image super resolution |
CN110770784A (zh) * | 2017-06-21 | 2020-02-07 | 佳能株式会社 | 图像处理装置、成像装置、图像处理方法、程序、以及存储介质 |
CN110770784B (zh) * | 2017-06-21 | 2023-09-01 | 佳能株式会社 | 图像处理装置、成像装置、图像处理方法、程序、以及存储介质 |
CN107301662A (zh) * | 2017-06-30 | 2017-10-27 | 深圳大学 | 深度图像的压缩恢复方法、装置、设备及存储介质 |
CN107392868A (zh) * | 2017-07-21 | 2017-11-24 | 深圳大学 | 基于全卷积神经网络的压缩双目图像质量增强方法及装置 |
CN107403415A (zh) * | 2017-07-21 | 2017-11-28 | 深圳大学 | 基于全卷积神经网络的压缩深度图质量增强方法及装置 |
CN107463989A (zh) * | 2017-07-25 | 2017-12-12 | 福建帝视信息科技有限公司 | 一种基于深度学习的图像去压缩伪影方法 |
CN107463989B (zh) * | 2017-07-25 | 2019-09-27 | 福建帝视信息科技有限公司 | 一种基于深度学习的图像去压缩伪影方法 |
CN109389552A (zh) * | 2017-08-02 | 2019-02-26 | 中山大学 | 一种基于上下文相关多任务深度学习的图像超分辨算法 |
CN107464216A (zh) * | 2017-08-03 | 2017-12-12 | 济南大学 | 一种基于多层卷积神经网络的医学图像超分辨率重构方法 |
CN107480772A (zh) * | 2017-08-08 | 2017-12-15 | 浙江大学 | 一种基于深度学习的车牌超分辨率处理方法及系统 |
CN107689034A (zh) * | 2017-08-16 | 2018-02-13 | 清华-伯克利深圳学院筹备办公室 | 一种神经网络的训练方法、去噪方法及装置 |
CN107464217A (zh) * | 2017-08-16 | 2017-12-12 | 清华-伯克利深圳学院筹备办公室 | 一种图像处理方法及装置 |
CN107464217B (zh) * | 2017-08-16 | 2020-12-29 | 清华-伯克利深圳学院筹备办公室 | 一种图像处理方法及装置 |
CN107689034B (zh) * | 2017-08-16 | 2020-12-01 | 清华-伯克利深圳学院筹备办公室 | 一种去噪方法及装置 |
CN107578375A (zh) * | 2017-08-21 | 2018-01-12 | 北京陌上花科技有限公司 | 图像处理方法及装置 |
CN107578375B (zh) * | 2017-08-21 | 2020-10-02 | 北京陌上花科技有限公司 | 图像处理方法及装置 |
CN107563965A (zh) * | 2017-09-04 | 2018-01-09 | 四川大学 | 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 |
CN107633223A (zh) * | 2017-09-15 | 2018-01-26 | 深圳市唯特视科技有限公司 | 一种基于深层对抗网络的视频人体属性识别方法 |
CN107507134B (zh) * | 2017-09-21 | 2020-09-11 | 大连理工大学 | 基于卷积神经网络的超分辨率方法 |
CN107507134A (zh) * | 2017-09-21 | 2017-12-22 | 大连理工大学 | 基于卷积神经网络的超分辨率方法 |
CN108205580A (zh) * | 2017-09-27 | 2018-06-26 | 深圳市商汤科技有限公司 | 一种图像检索方法、装置及计算机可读存储介质 |
US11256737B2 (en) | 2017-09-27 | 2022-02-22 | Shenzhen Sensetime Technology Co., Ltd. | Image retrieval methods and apparatuses, devices, and readable storage media |
CN107730453A (zh) * | 2017-11-13 | 2018-02-23 | 携程计算机技术(上海)有限公司 | 图像质量提升方法 |
CN107784296A (zh) * | 2017-11-21 | 2018-03-09 | 中山大学 | 一种低分辨率图像的人脸识别方法 |
CN107909150A (zh) * | 2017-11-29 | 2018-04-13 | 华中科技大学 | 基于逐块随机梯度下降法在线训练cnn的方法与系统 |
CN107909150B (zh) * | 2017-11-29 | 2020-08-18 | 华中科技大学 | 基于逐块随机梯度下降法在线训练cnn的方法与系统 |
CN107888707A (zh) * | 2017-12-08 | 2018-04-06 | 北京奇艺世纪科技有限公司 | 一种图片传输方法、装置及电子设备 |
CN107888707B (zh) * | 2017-12-08 | 2021-04-20 | 北京奇艺世纪科技有限公司 | 一种图片传输方法、装置及电子设备 |
CN108109109B (zh) * | 2017-12-22 | 2021-11-16 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及计算设备 |
CN108109109A (zh) * | 2017-12-22 | 2018-06-01 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及计算设备 |
CN109978772A (zh) * | 2017-12-27 | 2019-07-05 | 四川大学 | 基于深度学习与双域互补的压缩图像复原方法 |
CN109978772B (zh) * | 2017-12-27 | 2023-04-11 | 四川大学 | 基于深度学习与双域互补的压缩图像复原方法 |
CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
CN107977932B (zh) * | 2017-12-28 | 2021-04-23 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
CN108182669A (zh) * | 2018-01-02 | 2018-06-19 | 华南理工大学 | 一种基于多个图片尺寸的生成对抗网络的超分辨率复原方法 |
CN108428212A (zh) * | 2018-01-30 | 2018-08-21 | 中山大学 | 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法 |
CN108495132A (zh) * | 2018-02-05 | 2018-09-04 | 西安电子科技大学 | 基于轻量级深度卷积网络的遥感影像大倍率压缩方法 |
CN108495132B (zh) * | 2018-02-05 | 2019-10-11 | 西安电子科技大学 | 基于轻量级深度卷积网络的遥感影像大倍率压缩方法 |
CN110136057A (zh) * | 2018-02-08 | 2019-08-16 | 杭州海康威视数字技术股份有限公司 | 一种图像超分辨率重建方法、装置及电子设备 |
CN110136057B (zh) * | 2018-02-08 | 2023-06-09 | 杭州海康威视数字技术股份有限公司 | 一种图像超分辨率重建方法、装置及电子设备 |
CN108596024A (zh) * | 2018-03-13 | 2018-09-28 | 杭州电子科技大学 | 一种基于人脸结构信息的肖像生成方法 |
CN108596024B (zh) * | 2018-03-13 | 2021-05-04 | 杭州电子科技大学 | 一种基于人脸结构信息的肖像生成方法 |
CN108416755B (zh) * | 2018-03-20 | 2020-06-30 | 南昌航空大学 | 一种基于深度学习的图像去噪方法及系统 |
CN108416755A (zh) * | 2018-03-20 | 2018-08-17 | 南昌航空大学 | 一种基于深度学习的图像去噪方法及系统 |
CN109903221B (zh) * | 2018-04-04 | 2023-08-22 | 华为技术有限公司 | 图像超分方法及装置 |
CN109903221A (zh) * | 2018-04-04 | 2019-06-18 | 华为技术有限公司 | 图像超分方法及装置 |
US11593916B2 (en) | 2018-04-04 | 2023-02-28 | Huawei Technologies Co., Ltd. | Image super-resolution method and apparatus |
WO2019192588A1 (zh) * | 2018-04-04 | 2019-10-10 | 华为技术有限公司 | 图像超分方法及装置 |
CN110363830B (zh) * | 2018-04-10 | 2023-05-02 | 阿里巴巴集团控股有限公司 | 元素图像生成方法、装置及系统 |
CN110363830A (zh) * | 2018-04-10 | 2019-10-22 | 阿里巴巴集团控股有限公司 | 元素图像生成方法、装置及系统 |
CN108564552A (zh) * | 2018-04-28 | 2018-09-21 | 深圳市商汤科技有限公司 | 图像去模糊的方法及装置 |
CN108596855A (zh) * | 2018-04-28 | 2018-09-28 | 国信优易数据有限公司 | 一种视频图像质量增强方法、装置以及视频画质增强方法 |
CN111683244A (zh) * | 2018-04-30 | 2020-09-18 | 迪斯尼企业公司 | 用于多个质量等级上的失真去除的系统和方法 |
CN108629737B (zh) * | 2018-05-09 | 2022-11-18 | 复旦大学 | 一种提高jpeg格式图像空间分辨率的方法 |
CN108629737A (zh) * | 2018-05-09 | 2018-10-09 | 复旦大学 | 一种提高jpeg格式图像空间分辨率的方法 |
CN108805828A (zh) * | 2018-05-22 | 2018-11-13 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN108830809B (zh) * | 2018-06-05 | 2022-05-03 | 陕西师范大学 | 一种基于膨胀卷积图像去噪方法 |
CN108830809A (zh) * | 2018-06-05 | 2018-11-16 | 陕西师范大学 | 一种基于膨胀卷积图像去噪方法 |
CN109118428A (zh) * | 2018-06-07 | 2019-01-01 | 西安电子科技大学 | 一种基于特征增强的图像超分辨率重建方法 |
CN109118428B (zh) * | 2018-06-07 | 2023-05-19 | 西安电子科技大学 | 一种基于特征增强的图像超分辨率重建方法 |
CN109064394A (zh) * | 2018-06-11 | 2018-12-21 | 西安电子科技大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
CN108900848A (zh) * | 2018-06-12 | 2018-11-27 | 福建帝视信息科技有限公司 | 一种基于自适应可分离卷积的视频质量增强方法 |
CN109003239B (zh) * | 2018-07-04 | 2022-03-29 | 华南理工大学 | 一种基于迁移学习神经网络的多光谱图像锐化方法 |
CN109003239A (zh) * | 2018-07-04 | 2018-12-14 | 华南理工大学 | 一种基于迁移学习神经网络的多光谱图像锐化方法 |
CN108921910A (zh) * | 2018-07-30 | 2018-11-30 | 浙江大学 | 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法 |
CN109146813A (zh) * | 2018-08-16 | 2019-01-04 | 广州视源电子科技股份有限公司 | 一种多任务图像重建方法、装置、设备和介质 |
CN109146813B (zh) * | 2018-08-16 | 2022-03-11 | 广州视源电子科技股份有限公司 | 一种多任务图像重建方法、装置、设备和介质 |
CN109087247A (zh) * | 2018-08-17 | 2018-12-25 | 复旦大学 | 一种对立体图像进行超分的方法 |
CN109087247B (zh) * | 2018-08-17 | 2022-12-20 | 复旦大学 | 一种对立体图像进行超分的方法 |
CN109272450A (zh) * | 2018-08-22 | 2019-01-25 | 复旦大学 | 一种基于卷积神经网络的图像超分方法 |
CN109272452A (zh) * | 2018-08-30 | 2019-01-25 | 北京大学 | 小波域中基于集团结构子带共同学习超分辨率网络的方法 |
CN109509149A (zh) * | 2018-10-15 | 2019-03-22 | 天津大学 | 一种基于双通道卷积网络特征融合的超分辨率重建方法 |
CN112868034B (zh) * | 2018-10-18 | 2024-01-16 | 索尼公司 | 用于放大的增强颜色再现 |
CN112868034A (zh) * | 2018-10-18 | 2021-05-28 | 索尼公司 | 用于放大的增强颜色再现 |
CN111105357B (zh) * | 2018-10-25 | 2023-05-02 | 杭州海康威视数字技术股份有限公司 | 一种失真图像的去失真方法、装置及电子设备 |
CN111105357A (zh) * | 2018-10-25 | 2020-05-05 | 杭州海康威视数字技术股份有限公司 | 一种失真图像的去失真方法、装置及电子设备 |
CN109543548A (zh) * | 2018-10-26 | 2019-03-29 | 桂林电子科技大学 | 一种人脸识别方法、装置及存储介质 |
CN111161363A (zh) * | 2018-11-07 | 2020-05-15 | 合肥图鸭信息科技有限公司 | 一种图像编码模型训练方法及装置 |
CN111163314A (zh) * | 2018-11-07 | 2020-05-15 | 合肥图鸭信息科技有限公司 | 一种图像压缩方法及系统 |
WO2020103171A1 (zh) * | 2018-11-21 | 2020-05-28 | 北京大学深圳研究生院 | 用于图像去模糊的Bi-Level优化方法 |
KR20200067113A (ko) * | 2018-12-03 | 2020-06-11 | 단국대학교 산학협력단 | 이미지 송신 장치 |
KR102273113B1 (ko) * | 2018-12-03 | 2021-07-06 | 단국대학교 산학협력단 | 이미지 송신 장치 |
CN109584196A (zh) * | 2018-12-20 | 2019-04-05 | 北京达佳互联信息技术有限公司 | 数据集生成方法、装置、电子设备及存储介质 |
CN109785249A (zh) * | 2018-12-22 | 2019-05-21 | 昆明理工大学 | 一种基于持续性记忆密集网络的图像高效去噪方法 |
CN109785252A (zh) * | 2018-12-25 | 2019-05-21 | 山西大学 | 基于多尺度残差密集网络夜间图像增强方法 |
CN109785252B (zh) * | 2018-12-25 | 2023-03-24 | 山西大学 | 基于多尺度残差密集网络夜间图像增强方法 |
CN109840890B (zh) * | 2019-01-31 | 2023-06-09 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN109840890A (zh) * | 2019-01-31 | 2019-06-04 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111582432B (zh) * | 2019-02-19 | 2023-09-12 | 嘉楠明芯(北京)科技有限公司 | 一种网络参数处理方法及装置 |
CN111582432A (zh) * | 2019-02-19 | 2020-08-25 | 北京嘉楠捷思信息技术有限公司 | 一种网络参数处理方法及装置 |
CN109903228B (zh) * | 2019-02-28 | 2023-03-24 | 合肥工业大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
CN109903228A (zh) * | 2019-02-28 | 2019-06-18 | 合肥工业大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
CN109903351A (zh) * | 2019-03-02 | 2019-06-18 | 复旦大学 | 基于卷积神经网络和传统编码相结合的图像压缩方法 |
CN109903351B (zh) * | 2019-03-02 | 2023-05-30 | 复旦大学 | 基于卷积神经网络和传统编码相结合的图像压缩方法 |
US11356619B2 (en) | 2019-03-06 | 2022-06-07 | Tencent Technology (Shenzhen) Company Limited | Video synthesis method, model training method, device, and storage medium |
WO2020177582A1 (zh) * | 2019-03-06 | 2020-09-10 | 腾讯科技(深圳)有限公司 | 视频合成的方法、模型训练的方法、设备及存储介质 |
CN110087092B (zh) * | 2019-03-11 | 2020-06-05 | 西安电子科技大学 | 基于图像重构卷积神经网络的低码率视频编解码方法 |
CN109949240A (zh) * | 2019-03-11 | 2019-06-28 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
CN110087092A (zh) * | 2019-03-11 | 2019-08-02 | 西安电子科技大学 | 基于图像重构卷积神经网络的低码率视频编解码方法 |
WO2020181641A1 (zh) * | 2019-03-12 | 2020-09-17 | 深圳市华星光电技术有限公司 | 图像放大方法及图像放大装置 |
CN111726638A (zh) * | 2019-03-18 | 2020-09-29 | 四川大学 | 一种结合去压缩效应与超分辨率的hevc编码优化方法 |
WO2020186888A1 (zh) * | 2019-03-21 | 2020-09-24 | 深圳先进技术研究院 | 一种图像处理模型的构建方法、装置及终端设备 |
CN110047044B (zh) * | 2019-03-21 | 2021-01-29 | 深圳先进技术研究院 | 一种图像处理模型的构建方法、装置及终端设备 |
CN110047044A (zh) * | 2019-03-21 | 2019-07-23 | 深圳先进技术研究院 | 一种图像处理模型的构建方法、装置及终端设备 |
CN110084862B (zh) * | 2019-04-04 | 2022-11-15 | 湖北工业大学 | 基于多尺度小波变换与深度学习的图像压缩感知算法 |
CN110084862A (zh) * | 2019-04-04 | 2019-08-02 | 湖北工业大学 | 基于多尺度小波变换与深度学习的图像压缩感知算法 |
CN110223224A (zh) * | 2019-04-29 | 2019-09-10 | 杰创智能科技股份有限公司 | 一种基于信息过滤网络的图像超分辨实现算法 |
CN110246084A (zh) * | 2019-05-16 | 2019-09-17 | 五邑大学 | 一种超分辨率图像重构方法及其系统、装置、存储介质 |
CN110246084B (zh) * | 2019-05-16 | 2023-03-31 | 五邑大学 | 一种超分辨率图像重构方法及其系统、装置、存储介质 |
CN111986078B (zh) * | 2019-05-21 | 2023-02-10 | 四川大学 | 一种基于引导数据的多尺度岩心ct图像融合重建的方法 |
CN111986078A (zh) * | 2019-05-21 | 2020-11-24 | 四川大学 | 一种基于引导数据的多尺度岩心ct图像融合重建的方法 |
CN110210551B (zh) * | 2019-05-28 | 2021-07-30 | 北京工业大学 | 一种基于自适应主体敏感的视觉目标跟踪方法 |
CN110210551A (zh) * | 2019-05-28 | 2019-09-06 | 北京工业大学 | 一种基于自适应主体敏感的视觉目标跟踪方法 |
CN112116526A (zh) * | 2019-06-19 | 2020-12-22 | 中国石油化工股份有限公司 | 基于深度卷积神经网络的火炬烟雾图像的超分辨率方法 |
CN112150356A (zh) * | 2019-06-28 | 2020-12-29 | 四川大学 | 基于级联框架的单幅压缩图像超分辨率重建方法 |
CN110473151A (zh) * | 2019-07-04 | 2019-11-19 | 北京航空航天大学 | 基于分区卷积和关联损失的双阶段图像补全方法及系统 |
CN110428382B (zh) * | 2019-08-07 | 2023-04-18 | 杭州微帧信息科技有限公司 | 一种用于移动终端的高效视频增强方法、装置和存储介质 |
CN110428382A (zh) * | 2019-08-07 | 2019-11-08 | 杭州微帧信息科技有限公司 | 一种用于移动终端的高效视频增强方法、装置和存储介质 |
CN110838089B (zh) * | 2019-09-18 | 2022-07-26 | 浙江工业大学 | 一种基于OctBlock密集块的快速图像去噪方法 |
CN110838089A (zh) * | 2019-09-18 | 2020-02-25 | 浙江工业大学 | 一种基于OctBlock密集块的快速图像去噪方法 |
CN112543347A (zh) * | 2019-09-23 | 2021-03-23 | 腾讯美国有限责任公司 | 基于机器视觉编解码的视频超分辨率方法和系统 |
CN112543347B (zh) * | 2019-09-23 | 2022-06-03 | 腾讯美国有限责任公司 | 基于机器视觉编解码的视频超分辨率方法、装置、系统和介质 |
CN110930333A (zh) * | 2019-11-22 | 2020-03-27 | 北京金山云网络技术有限公司 | 图像修复方法、装置、电子设备及计算机可读存储介质 |
CN111091515B (zh) * | 2019-12-24 | 2022-08-09 | 展讯通信(天津)有限公司 | 图像复原方法及装置、计算机可读存储介质 |
CN111091515A (zh) * | 2019-12-24 | 2020-05-01 | 展讯通信(天津)有限公司 | 图像复原方法及装置、计算机可读存储介质 |
CN111161150A (zh) * | 2019-12-30 | 2020-05-15 | 北京工业大学 | 一种基于多尺度注意级联网络的图像超分辨率重建方法 |
CN111161150B (zh) * | 2019-12-30 | 2023-06-23 | 北京工业大学 | 一种基于多尺度注意级联网络的图像超分辨率重建方法 |
CN111340729B (zh) * | 2019-12-31 | 2023-04-07 | 深圳大学 | 二维码去摩尔纹的深度残差网络的训练方法 |
CN111340729A (zh) * | 2019-12-31 | 2020-06-26 | 深圳大学 | 二维码去摩尔纹的深度残差网络的训练方法 |
CN111182254B (zh) * | 2020-01-03 | 2022-06-24 | 北京百度网讯科技有限公司 | 一种视频处理方法、装置、设备及存储介质 |
US11416967B2 (en) | 2020-01-03 | 2022-08-16 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Video processing method, apparatus, device and storage medium |
CN111182254A (zh) * | 2020-01-03 | 2020-05-19 | 北京百度网讯科技有限公司 | 一种视频处理方法、装置、设备及存储介质 |
CN111291866B (zh) * | 2020-01-22 | 2024-03-26 | 上海商汤临港智能科技有限公司 | 神经网络的生成、图像处理、智能行驶控制方法及装置 |
CN111291866A (zh) * | 2020-01-22 | 2020-06-16 | 上海商汤临港智能科技有限公司 | 神经网络的生成、图像处理、智能行驶控制方法及装置 |
CN110929726A (zh) * | 2020-02-11 | 2020-03-27 | 南京智莲森信息技术有限公司 | 一种铁路接触网支柱号牌识别方法及系统 |
CN113365107A (zh) * | 2020-03-05 | 2021-09-07 | 阿里巴巴集团控股有限公司 | 视频处理方法、影视视频处理方法及装置 |
CN111382845B (zh) * | 2020-03-12 | 2022-09-02 | 成都信息工程大学 | 一种基于自注意力机制的模板重建方法 |
CN111382845A (zh) * | 2020-03-12 | 2020-07-07 | 成都信息工程大学 | 一种基于自注意力机制的模板重建方法 |
CN113658050A (zh) * | 2020-05-12 | 2021-11-16 | 武汉Tcl集团工业研究院有限公司 | 一种图像的去噪方法、去噪装置、移动终端及存储介质 |
CN111898432B (zh) * | 2020-06-24 | 2022-10-14 | 南京理工大学 | 一种基于改进YOLOv3算法的行人检测系统及方法 |
CN111898432A (zh) * | 2020-06-24 | 2020-11-06 | 南京理工大学 | 一种基于改进YOLOv3算法的行人检测系统及方法 |
CN113837935A (zh) * | 2020-06-24 | 2021-12-24 | 四川大学 | 基于增强注意力网络的压缩图像超分辨率重建方法 |
CN111986102B (zh) * | 2020-07-15 | 2024-02-27 | 万达信息股份有限公司 | 一种数字病理图像去模糊方法 |
CN111986102A (zh) * | 2020-07-15 | 2020-11-24 | 万达信息股份有限公司 | 一种数字病理图像去模糊方法 |
CN111968034A (zh) * | 2020-07-30 | 2020-11-20 | 北京大米科技有限公司 | 图像复原方法、装置、电子设备和计算机可读存储介质 |
CN111985549B (zh) * | 2020-08-12 | 2023-03-31 | 中国科学院光电技术研究所 | 针对给定刚体目标进行部件自动定位识别的深度学习方法 |
CN111985549A (zh) * | 2020-08-12 | 2020-11-24 | 中国科学院光电技术研究所 | 针对给定刚体目标进行部件自动定位识别的深度学习方法 |
CN112070668A (zh) * | 2020-08-18 | 2020-12-11 | 西安理工大学 | 一种基于深度学习和边缘增强的图像超分辨方法 |
CN112233038B (zh) * | 2020-10-23 | 2021-06-01 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
WO2022105638A1 (zh) * | 2020-11-19 | 2022-05-27 | 北京有竹居网络技术有限公司 | 图像退化处理方法、装置、存储介质及电子设备 |
US11948279B2 (en) | 2020-11-23 | 2024-04-02 | Samsung Electronics Co., Ltd. | Method and device for joint denoising and demosaicing using neural network |
CN112435165A (zh) * | 2020-11-25 | 2021-03-02 | 哈尔滨工业大学(深圳) | 基于生成对抗网络的两阶段视频超分辨率重建方法 |
CN112435165B (zh) * | 2020-11-25 | 2023-08-04 | 哈尔滨工业大学(深圳) | 基于生成对抗网络的两阶段视频超分辨率重建方法 |
WO2022141660A1 (zh) * | 2020-12-28 | 2022-07-07 | 苏州大学 | 基于神经网络的高分辨率图像复原方法及系统 |
WO2022183325A1 (zh) * | 2021-03-01 | 2022-09-09 | 京东方科技集团股份有限公司 | 视频块处理方法及装置、神经网络的训练方法和存储介质 |
CN112950475A (zh) * | 2021-03-05 | 2021-06-11 | 北京工业大学 | 一种基于残差学习及空间变换网络的光场超分辨率重建方法 |
CN112906721A (zh) * | 2021-05-07 | 2021-06-04 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
CN113450267A (zh) * | 2021-05-14 | 2021-09-28 | 桂林电子科技大学 | 可快速获取多种自然退化图像复原模型的迁移学习方法 |
CN113284112A (zh) * | 2021-05-27 | 2021-08-20 | 中国科学院国家空间科学中心 | 一种基于深度神经网络的熔滴图像轮廓提取方法及系统 |
CN113284112B (zh) * | 2021-05-27 | 2023-11-10 | 中国科学院国家空间科学中心 | 一种基于深度神经网络的熔滴图像轮廓提取方法及系统 |
CN113362239A (zh) * | 2021-05-31 | 2021-09-07 | 西南科技大学 | 一种基于特征交互的深度学习图像修复方法 |
CN113362225A (zh) * | 2021-06-03 | 2021-09-07 | 太原科技大学 | 基于残差递归补偿和特征融合的多描述压缩图像增强方法 |
CN113362225B (zh) * | 2021-06-03 | 2022-06-14 | 太原科技大学 | 基于残差递归补偿和特征融合的多描述压缩图像增强方法 |
CN113538238A (zh) * | 2021-07-09 | 2021-10-22 | 深圳市深光粟科技有限公司 | 一种高分辨率的光声图像成像方法、装置及电子设备 |
CN115022253A (zh) * | 2022-05-25 | 2022-09-06 | 西安北斗安全技术有限公司 | 基于北斗三代卫星短报文和人工智能的图像传输方法 |
CN115147426A (zh) * | 2022-09-06 | 2022-10-04 | 北京大学 | 基于半监督学习的模型训练与图像分割方法和系统 |
CN117576095A (zh) * | 2024-01-16 | 2024-02-20 | 南京航空航天大学 | 一种多尺度学习任务的金属表面缺陷检测和分类方法 |
CN117576095B (zh) * | 2024-01-16 | 2024-04-05 | 南京航空航天大学 | 一种多尺度学习任务的金属表面缺陷检测和分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106709875B (zh) | 2020-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106709875A (zh) | 一种基于联合深度网络的压缩低分辨率图像复原方法 | |
CN109741256B (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
CN108765296B (zh) | 一种基于递归残差注意力网络的图像超分辨率重建方法 | |
CN107463989B (zh) | 一种基于深度学习的图像去压缩伪影方法 | |
CN108921786A (zh) | 基于残差卷积神经网络的图像超分辨率重构方法 | |
CN107240066A (zh) | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 | |
Huang et al. | Interpretable detail-fidelity attention network for single image super-resolution | |
CN103871041B (zh) | 基于认知正则化参数构建的图像超分辨率重构方法 | |
CN107492070A (zh) | 一种双通道卷积神经网络的单图像超分辨率计算方法 | |
CN104574336B (zh) | 基于自适应亚模字典选择的超分辨率图像重建系统 | |
CN106952228A (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
CN105844590A (zh) | 基于稀疏表示的图像超分辨率重建方法及系统 | |
CN108805808A (zh) | 一种利用卷积神经网络提高视频分辨率的方法 | |
CN111861961A (zh) | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 | |
CN110136060B (zh) | 基于浅层密集连接网络的图像超分辨率重建方法 | |
CN112801877A (zh) | 一种视频帧的超分辨率重构方法 | |
CN110610467B (zh) | 一种基于深度学习的多帧视频去压缩噪声方法 | |
CN107833182A (zh) | 基于特征提取的红外图像超分辨率重建方法 | |
CN104299193B (zh) | 一种基于高频和中频信息的图像超分辨率重建方法 | |
CN112270646B (zh) | 基于残差密集跳跃网络的超分辨增强方法 | |
CN108492252A (zh) | 基于二次重建的人脸图像超分辨率重建方法 | |
CN113191972B (zh) | 一种轻量真实图像去噪的神经网络设计及训练方法 | |
CN114926883A (zh) | 一种满足多种降质模型的人脸图像处理方法 | |
CN112150356A (zh) | 基于级联框架的单幅压缩图像超分辨率重建方法 | |
CN110223224A (zh) | 一种基于信息过滤网络的图像超分辨实现算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |