CN112381722A - 一种单图像的超分与感知图像增强的联合任务学习方法 - Google Patents
一种单图像的超分与感知图像增强的联合任务学习方法 Download PDFInfo
- Publication number
- CN112381722A CN112381722A CN202010716171.XA CN202010716171A CN112381722A CN 112381722 A CN112381722 A CN 112381722A CN 202010716171 A CN202010716171 A CN 202010716171A CN 112381722 A CN112381722 A CN 112381722A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- size
- resolution
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000008447 perception Effects 0.000 title claims abstract description 12
- 238000012937 correction Methods 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 239000013589 supplement Substances 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 230000006872 improvement Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 abstract description 4
- 238000002156 mixing Methods 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 abstract 1
- 230000009466 transformation Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种单图像的超分与感知图像增强的联合任务学习方法，针对实际场景中的实际需求，常常将超分与感知图像增强两种任务混合组合，从低分辨率的原始图像中获得高质量的高分辨率增强图像。本申请提出了一个名为Deep SR‑PIE的超分与感知图像增强任务联合学习框架，该框架包括多路径超分辨率网络(MSRnet)、细节互补网络(DCN)和混合类U‑net增强网络(FULENet)。MSRnet利用多路径学习策略来同时描述局部和全局信息，DCN利用双旁通共享卷积来采样和增强高频细节，FULENet寻求最佳融合颜色校正矩阵来学习颜色和色调映射。通过对四个数据集的定量和定性评价，可以得出我们的联合学习框架在大多数指标上优于比较方法的结论。通过本申请提出的方法，可以更加快速高效地得到高质量的高质量的高分辨率增强图像。
Description
技术领域
本发明属于人工智能技术领域，涉及一种单图像的超分与感知图像增强的联合任务学习方法。
背景技术
图像超分和感知图像增强是计算机视觉和图像处理领域的主要研究课题。近年来，深度学习技术在各种计算机视觉任务中取得了可观的成绩，极大地促进了超分和感知图像增强的发展。为了解决超分任务，开发了基于传统卷积神经网络和生成对抗网络(GAN,Generative Adversarial Networks)等多种深度学习方法。针对感知图像增强任务，开发了一系列自动处理方法来处理颜色还原、图像清晰度、亮度和对比度等问题。对于联合问题，人们想当然地认为从原始低分图像生成增强感知图像需要依次执行超分与感知图像增强方法。然而，因为在级联进程中会传播错误，这种依次执行的做法是低效和不准确的。在联合方案下执行时，这两个任务产生的输出可以相互补充，从而产生更好的结果。目前针对此类联合任务，E.Schwartz,R.Giryes,and A.M.Bronstein,2018，“Deepisp:Towardlearning,an end-to-end image processing pipeline,”利用深度神经网络学习特定数码相机的色彩校正制图，在他们的工作之后，X.Xu,Y.Ma,and W.Sun,2019，“Towards realscene super-resolution with raw images,”设计了一种能同时利用原始数据和彩色图像实现超分辨率真实场景的双网络，可以很好地适用于不同的相机；同时，K.Mei,J.Li,J.Zhang,H.Wu,J.Li,and R.Huang,2019，“Higher resolution network for imagedemosaicing and enhancing采用两条并行路径学习不同分辨率下的图像特征。针对超分与感知图像增强的联合任务，目前这些方法只是把感知图像增强作为解决真实场景下的图像的超分问题时的辅助产品，大部分方法相较于颜色而言更加关注细节。
发明内容
本发明的目的在于提供一种单图像的超分与感知图像增强的联合任务学习方法，以克服现有技术的不足。
为达到上述目的，本发明采用如下技术方案：
一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，该深度学习框架包含以下三个模块：
模块1)多路径超分辨率网络(MSRnet)，为了增加特征图的多样性，我们考虑了不同的下采样尺度，以提供更好的建模能力；
模块2)细节补充网络(DCN)，将细节部分从原始低分图像中提取出之后，通过我们提出的上采样网络来捕捉高频细节；
模块3)混合类U-net增强网络(FULENet)，提出一个类似于U-net的网络来生成融合的颜色校正矩阵来校正MSRnet和DCN的结果，使恢复的图像在局部和整体上具有良好的空间一致性。
进一步的，该深度学习网络首先对输入图像进行预处理，采用一种高效的引导滤波器来保存边缘和纹理，更好地保存图像的高频信息，包含以下步骤：
Ib＝low_filter(I) (1)
步骤1)如式(1)所示，其中low_filter表示引导滤波器，以原图作为引导图，对原始输入图像进行滤波处理，得到基础信息层图像Ib；
步骤2)如式(2)所示，其中
表示逐元素除法运算，对原始输入图像与基础信息层图像Ib进行逐元素除法运算，得到细节信息层图像Id。
Id图像较好的保留了边缘与纹理，我们将原图I与Id叠加的结果图像Ii+d作为模型的一个输入。
进一步的，在MSRnet中，设计大小两个编解码残差网络与局部残差网络三个部分。在大编解码残差网络的解码阶段与小编解码残差网络的编码阶段建立一个跳跃连接，来防止梯度传播中出现梯度消失。
进一步的，在编解码残差网络组利用残差密集块提取深度特征。用以下三种改进方法来提高残差块的性能：
方法1)删除批量标准化层；
方法2)将PReLu层替换为RRelu层；
方法3)删除通道注意力模块。
进一步的，在局部残差网络中，对不同内核大小的轻量多尺度残差块进行叠加，提取特征。
进一步的，通过细节补充网络(DCN)解决固定内核大小限制的问题，使用多种尺度，并互相交换信息，以补充更多细节。
进一步的，混合类U-net增强网络(FULENet)被设计用来纠正和输入与输出图像之间失去的感知，合并了两种不同的全局结构来获取高级信息，使改进后的网络对全局特征变化更加敏感。
进一步的，FULENet的设计：对于一个大小为W×H×3的输入图像，在编码阶段，通过一系列卷积操作降采样至
之后通过两种策略处理该特征图：第一种，将上述特征图降采样至
再通过RRelu激活层与全连接层降至1×1×64，之后1×1×64的特征图在复制
份；第二种，对大小为
的特征图进行平均池化，得到大小为1×1×64的特征图，然后将其复制
次。在解码阶段，将上述两份按照不同策略复制的特征图合并为
并将
的特征图与编码器部分呈现的相同大小的特征图进行拼接，得到一幅同时捕获局部和全局特征的大小为的
特征图。从MSRnet到FULENet的一个跳跃连接与多路径超分网络的输出串联，被馈入一个反卷积层和另一个卷积层。通过之后的调整大小和上采样操作，得到大小为2W×2H×3×3×3的特征，记为
进一步的，学习一种融合和级联的颜色变换，以调整矫正颜色与色调映射，颜色转换包含以下两个步骤：
步骤1)、全局转换
在大小为
的特征图后，附加一个全局平均池化，得到一个单一的1×1×64的特征向量。然后是全连接层，输出3×12的全局校正矩阵G；
步骤2)、局部转换ξ：使用全局变换生成一个
的全局色彩校正矩阵，融合变换ξ可以表示为大小为2W x2h x12的
然后采用
对ISR的每个空间位置进行颜色校正。
进一步的，深度神经网络优化目标为最小化如式(1)所示的损失函数：
L＝ω1Lcon+ω2Ltv+ω3Lcolor+ω4LMSSIM+ω5L1 (1)
其中，Lcon表示内容损失，Ltv表示全变差损失，Lcolor表示颜色损失，LMSSIM表示多尺度结构相似性损失，L1表示像素损失。ω1、ω1、ω1、ω1、ω1的大小分别是：0.001、1、0.0005、300、0.05。
进一步的，深度网络优化训练时采用带有Adam加速器的随机梯度下降方法对目标函数进行优化，共进行140次。前50次中，内核大小设置为64×64，学习率为1×10-4，后70次中，内核大小设置为88×88，学习率为1×10-5。随着内核大小的不同，批处理的大小也从16个减少为4个。
与现有技术相比，本发明具有以下有益的技术效果：
本发明一种单图像的超分与感知图像增强的联合任务学习方法，针对在实际场景中的超分任务实际需求，将这感知图像增强与超分两种任务混合，从低分辨率的原始图像中获得高质量的高分辨率增强图像，提出了一个名为Deep SR-PIE的超分与感知图像增强的联合学习框架，该框架包括多路径超分辨率网络(MSRnet)、细节互补网络(DCN)和混合类U-net增强网络(FULENet)。MSRnet利用多路径学习策略来同时描述局部和全局信息，DCN利用双旁通共享卷积来采样和增强高频细节，FULENet寻求最佳融合颜色校正矩阵来学习颜色和色调映射。即使该申请主要针对的并不是超分问题，但是在超分方面，也均达到了较好的效果。同时，本发明能够恢复更多的细节和实现更好的对比度；其次，它产生了生动自然的色彩，使重建结果更加真实；另外，本发明可以消除噪音和污点，产生更多的视觉愉悦的结果。进一步的，本发明的运行时间效率较好，与EDRN[1]、HERN[2]、IMDN[3]、SRFBN[4]、RCAN[5]和DPE[6]在数据集上进行比较，模型的大小和运行时间都处于中间位置，但在所有指标上都获得了最佳的性能增强。
附图说明
图1为本发明的总体网络架构图。
图2为多路径超分辨率网络(MSRnet)的具体网络架构图。
图3为细节互补网络(DCN)的具体网络架构图。
图4为混合类U-net增强网络(FULENet)的具体网络架构图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
如图1所示，一种单图像的超分与感知图像增强的联合任务学习方法，包括以下步骤：对输入图像进行预处理，采用一种高效的引导滤波器来保存边缘和纹理，更好地保存图像的高频信息；图片输入到多路径超分辨率网络，利用多路径学习策略来同时描述局部和全局信息，结合预处理得到的原图I以及细节信息层图像Id作为输入到细节互补网络，利用双旁通共享卷积来采样和增强高频细节；同时将原图输入到混合类U-net增强网络中，寻求最佳融合颜色校正矩阵来学习颜色和色调映射。
如图2所示，在MSRnet中，设计大小两个编解码残差网络与局部残差网络三个部分。在大编解码残差网络的解码阶段与小编解码残差网络的编码阶段建立一个跳跃连接，来防止梯度传播中出现梯度消失。在编解码残差网络组利用残差密集块提取深度特征；在局部残差网络中，对不同内核大小的轻量多尺度残差块进行叠加，提取特征。
如图3所示，通过使用多种尺度，并互相交换信息的方式，在细节补充网络(DCN)解决固定内核大小限制的问题，以补充更多细节。
如图4所示，混合类U-net增强网络(FULENet)被设计用来纠正输入图像与输出图像之间失去的感知，合并了两种不同的全局结构来获取高级信息，对于一个大小为W×H×3的输入图像，在编码阶段，通过一系列卷积操作降采样至
之后通过两种策略处理该特征图：第一种，将上述特征图降采样至
再通过RRelu激活层与全连接层降至1×1×64，之后1×1×64的特征图在复制
份；第二种，对大小为
的特征图进行平均池化，得到大小为1×1×64的特征图，然后将其复制
次。在解码阶段，将上述两份按照不同策略复制的特征图合并为
并将
的特征图与编码器部分呈现的相同大小的特征图进行拼接，得到一幅同时捕获局部和全局特征的大小为的
特征图。从MSRnet到FULENet的一个跳跃连接与多路径超分网络的输出串联，被馈入一个反卷积层和另一个卷积层。通过之后的调整大小和上采样操作，得到大小为2W×2H×3×3×3的特征，记为
之后学习一种融合和级联的颜色变换，以调整矫正颜色与色调映射，颜色转换包含以下两个步骤：
步骤1)、全局转换
在大小为
的特征图后，附加一个全局平均池化，得到一个单一的1×1×64的特征向量。然后是全连接层，输出3×12的全局校正矩阵G；
步骤2)、局部转换ξ：使用全局变换生成一个
的全局色彩校正矩阵，融合变换ξ可以表示为大小为2W x2h x12的
然后采用
对ISR的每个空间位置进行颜色校正。
本申请在训练时使用了多个训练集。在之前的工作中，选择DIV2K dataset作为训练集之一。它包含800张LR-HR 2K分辨率的图像，涵盖了各种图像类别，包括动物、建筑、食物、景观、人、植物等。但是，针对超分和感知图像增强的混合问题，没有特定的基准数据集，因此我们进一步发布了一个名为Alltuu2的真实数据集，它是由各种ISP设备(佳能EOS 5DMark IV、尼康D810、佳能EOS 5D Mark III等)捕获的。在我们的实际应用中，我们从不同的场景中采集了数百万2K的图像，并按照场景类别进行存储。对于这些原始低分输入图像，一些熟练的摄影师使用adobe Photoshop或lightroom增强图像，生成输入输出图像对。然后从不同的类别中随机提取图像对，避免图像间的高度相干性。总共为我们的实验准备了5,153张训练图像和304张测试图像。在测试阶段，除了数据集Alltuu2之外，在推理过程中引入了三个广泛使用的基准数据集：BSD100，作为BSD 500[38]的一个子集，提供了100个自然场景收集从伯克利分割数据集；Set14由[39]报告的14幅不同对象的图像组成；Urban100包含100个HR的图片，其中包含从Flickr获取的各种真实建筑结构，使用的关键字包括城市、城市、建筑和结构等。
利用本发明中叙述的方法对单张低分图像进行超分以及感知增强，最终得到高分辨率的增强图像。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。
参考文献
[1]G.Cheng,A.Matsune,Q.Li,L.Zhu,H.Zang,and S.Zhan,“Encoder-decoderresidual network for real super-resolution,”in Proceedings ofthe IEEEConference on Computer Vision and Pattern Recognition Workshops,2019,pp.0–0
[2]K.Mei,J.Li,J.Zhang,H.Wu,J.Li,and R.Huang,“Higher-resolutionnetwork for image demosaicing and enhancing,”arXiv preprint arXiv:1911.08098,2019.
[3]Z.Hui,X.Gao,Y.Yang,and X.Wang,“Lightweight image super-resolutionwith information multi-distillation network,”in Proceedings of the 27th ACMInternational Conference on Multimedia,2019,pp.2024–2032
[4]Z.Li,J.Yang,Z.Liu,X.Yang,G.Jeon,and W.Wu,“Feedback network forimage super-resolution,”in Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition,2019,pp.3867–3876.
[5]Y.Zhang,K.Li,K.Li,L.Wang,B.Zhong,and Y.Fu,“Image super-resolutionusing very deep residual channel attention networks,”in Proceedings of theEuropean Conference on Computer Vision (ECCV),2018,pp.286–301
[6]Y.-S.Chen,Y.-C.Wang,M.-H.Kao,and Y.-Y.Chuang,“Deep photo enhancer:Unpaired learning for image enhancement from photographs with gans,”inProceedings of the IEEE Conference on Computer Vision and PatternRecognition,2018,pp.6306–6314
Claims (11)
1.一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，该深度学习框架包含以下三个模块：
(1)多路径超分辨率网络(MSRnet)，为了增加特征图的多样性，我们考虑了不同的下采样尺度，以提供更好的建模能力；
(2)细节补充网络(DCN)，将细节部分从原始低分辨率图像中提取出之后，通过我们提出的上采样网络来捕捉高频细节；
(3)混合类U-net增强网络(FULENet)，提出一个类似于U-net的网络来生成融合的颜色校正矩阵来校正MSRnet和DCN的结果，使恢复的图像在局部和整体上具有良好的空间一致性。
2.根据权利要求1所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，首先对输入图像进行预处理，采用一种高效的引导滤波器来保存边缘和纹理，更好地保存图像的高频信息，包含以下步骤：
Ib＝low_filter(I) (1)
步骤1)如式(1)所示，其中low_filter表示引导滤波器，以原图作为引导图，对原始输入图像进行滤波处理，得到基础信息层图像Ib；
步骤2)如式(2)所示，其中
表示逐元素除法运算，对原始输入图像与基础信息层图像Ib进行逐元素除法运算，得到细节信息层图像Id。
Id图像较好的保留了边缘与纹理，我们将原图I与Id叠加的结果图像Ii+d作为模型的一个输入。
3.根据权利要求1所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，在MSRnet中，设计大小两个编解码残差网络与局部残差网络三个部分。在大编解码残差网络的解码阶段与小编解码残差网络的编码阶段建立一个跳跃连接，来防止梯度传播中出现梯度消失。
4.根据权利要求3所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，在编解码残差网络组利用残差密集块提取深度特征。用以下三种改进方法来提高残差块的性能：
(1)删除批量标准化层；
(2)将PReLu层替换为RRelu层；
(3)删除通道注意力模块。
5.根据权利要求3所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，在局部残差网络中，对不同内核大小的轻量多尺度残差块进行叠加，提取特征。
6.根据权利要求1所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，通过细节补充网络(DCN)解决固定内核大小限制的问题，使用多种尺度，并互相交换信息，以补充更多细节。
7.根据权利要求1所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，混合类U-net增强网络(FULENet)被设计用来纠正输入图像与输出图像之间失去的感知，合并了两种不同的全局结构来获取高级信息，使改进后的网络对全局特征变化更加敏感。
8.根据权利要求7所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，FULENet的设计：对于一个大小为W×H×3的输入图像，在编码阶段，通过一系列卷积操作降采样至
之后通过两种策略处理该特征图：第一种，将上述特征图降采样至
再通过RRelu激活层与全连接层降至1×1×64，之后1×1×64的特征图在复制
份；第二种，对大小为
的特征图进行平均池化，得到大小为1×1×64的特征图，然后将其复制
次。在解码阶段，将上述两份按照不同策略复制的特征图合并为
并将
的特征图与编码器部分呈现的相同大小的特征图进行拼接，得到一幅同时捕获局部和全局特征的大小为的
特征图。从MSRnet到FULENet的一个跳跃连接与多路径超分网络的输出串联，被馈入一个反卷积层和另一个卷积层。通过之后的调整大小和上采样操作，得到大小为2W×2H×3×3×3的特征，记为
9.根据权利要求7所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，学习一种融合和级联的颜色变换，以调整矫正颜色与色调映射，颜色转换包含以下两个步骤：
步骤1)、全局转换
在大小为
的特征图后，附加一个全局平均池化，得到一个单一的1×1×64的特征向量。然后是全连接层，输出3×12的全局校正矩阵G；
步骤2)、局部转换ξ：使用全局变换生成一个
的全局色彩校正矩阵，融合变换ξ可以表示为大小为2W x2h x12的
然后采用
对ISR的每个空间位置进行颜色校正。
10.根据权利要求1所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，深度网络优化目标为最小化如式(1)所示的损失函数：
L＝ω1Lcon+ω2Ltv+ω3Lcolor+ω4LMSSIM+ω5L1 (1)
其中，Lcon表示内容损失，Ltv表示全变差损失，Lcolor表示颜色损失，LMSSIM表示多尺度结构相似性损失，L1表示像素损失。ω1、ω1、ω1、ω1、ω1的大小分别是：0.001、1、0.0005、300、0.05。
11.根据权利要求8所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，深度网络优化训练时采用带有Adam加速器的随机梯度下降方法对目标函数进行优化，共进行140次。前50次中，内核大小设置为64×64，学习率为1×10-4，后70次中，内核大小设置为88×88，学习率为1×10-5。随着内核大小的不同，批处理的大小也从16个减少为4个。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010716171.XA CN112381722A (zh) | 2020-07-23 | 2020-07-23 | 一种单图像的超分与感知图像增强的联合任务学习方法 |
| CN202110466163.9A CN112991231B (zh) | 2020-07-23 | 2021-04-28 | 单图像超分与感知图像增强联合任务学习系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010716171.XA CN112381722A (zh) | 2020-07-23 | 2020-07-23 | 一种单图像的超分与感知图像增强的联合任务学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112381722A true CN112381722A (zh) | 2021-02-19 |
Family
ID=74586366
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010716171.XA Withdrawn CN112381722A (zh) | 2020-07-23 | 2020-07-23 | 一种单图像的超分与感知图像增强的联合任务学习方法 |
| CN202110466163.9A Active CN112991231B (zh) | 2020-07-23 | 2021-04-28 | 单图像超分与感知图像增强联合任务学习系统 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110466163.9A Active CN112991231B (zh) | 2020-07-23 | 2021-04-28 | 单图像超分与感知图像增强联合任务学习系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN112381722A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160055A (zh) * | 2021-04-07 | 2021-07-23 | 哈尔滨理工大学 | 一种基于深度学习的图像超分辨率重建方法 |
| CN113298744A (zh) * | 2021-06-07 | 2021-08-24 | 长春理工大学 | 一种端到端的红外与可见光图像融合方法 |
| CN113822830A (zh) * | 2021-08-30 | 2021-12-21 | 天津大学 | 基于深度感知增强的多曝光图像融合方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115936983A (zh) * | 2022-11-01 | 2023-04-07 | 青岛哈尔滨工程大学创新发展中心 | 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11756160B2 (en) * | 2018-07-27 | 2023-09-12 | Washington University | ML-based methods for pseudo-CT and HR MR image estimation |
| CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统 |
| CN110322530A (zh) * | 2019-06-21 | 2019-10-11 | 湖南大学 | 一种基于深度残差网络的可交互图像着色 |
| CN110288598A (zh) * | 2019-07-05 | 2019-09-27 | 杭州喔影网络科技有限公司 | 一种基于深度学习的模糊照片检测方法 |
| CN110443867B (zh) * | 2019-08-01 | 2022-06-10 | 太原科技大学 | 基于生成对抗网络的ct图像超分辨率重构方法 |
| CN110570353B (zh) * | 2019-08-27 | 2023-05-12 | 天津大学 | 密集连接生成对抗网络单幅图像超分辨率重建方法 |
| CN111080533B (zh) * | 2019-10-21 | 2023-05-16 | 南京航空航天大学 | 一种基于自监督残差感知网络的数码变焦方法 |
| CN111340738B (zh) * | 2020-03-24 | 2022-03-04 | 武汉大学 | 一种基于多尺度渐进融合的图像去雨方法 |
-
2020
- 2020-07-23 CN CN202010716171.XA patent/CN112381722A/zh not_active Withdrawn
-
2021
- 2021-04-28 CN CN202110466163.9A patent/CN112991231B/zh active Active
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160055A (zh) * | 2021-04-07 | 2021-07-23 | 哈尔滨理工大学 | 一种基于深度学习的图像超分辨率重建方法 |
| CN113298744A (zh) * | 2021-06-07 | 2021-08-24 | 长春理工大学 | 一种端到端的红外与可见光图像融合方法 |
| CN113822830A (zh) * | 2021-08-30 | 2021-12-21 | 天津大学 | 基于深度感知增强的多曝光图像融合方法 |
| CN113822830B (zh) * | 2021-08-30 | 2023-06-06 | 天津大学 | 基于深度感知增强的多曝光图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112991231B (zh) | 2021-11-16 |
| CN112991231A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112381722A (zh) | 一种单图像的超分与感知图像增强的联合任务学习方法 | |
| Engin et al. | Cycle-dehaze: Enhanced cyclegan for single image dehazing | |
| CN111161150B (zh) | 一种基于多尺度注意级联网络的图像超分辨率重建方法 | |
| CN109671023B (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN108537733B (zh) | 基于多路径深度卷积神经网络的超分辨率重建方法 | |
| CN111861961B (zh) | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 | |
| CN110163801B (zh) | 一种图像超分辨和着色方法、系统及电子设备 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| WO2017219263A1 (zh) | 基于双向递归卷积神经网络的图像超分辨率增强方法 | |
| CN109035146B (zh) | 一种基于深度学习的低质量图像超分方法 | |
| CN112200724B (zh) | 一种基于反馈机制的单图像超分辨率重建系统及方法 | |
| CN111626918B (zh) | 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统 | |
| CN111640060A (zh) | 基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法 | |
| CN108989731B (zh) | 一种提高视频空间分辨率的方法 | |
| CN111768340B (zh) | 一种基于密集多路径网络的超分辨图像重构方法和系统 | |
| CN112017116B (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| CN115984111A (zh) | 一种基于知识蒸馏压缩模型的图像超分辨率方法及装置 | |
| CN113178010B (zh) | 基于深度学习的高分影像阴影区域恢复重建方法 | |
| CN111951171A (zh) | Hdr图像生成方法、装置、可读存储介质及终端设备 | |
| CN109087247B (zh) | 一种对立体图像进行超分的方法 | |
| CN115578260A (zh) | 针对图像超分辨率的方向解耦的注意力方法和系统 | |
| CN115660984A (zh) | 一种图像高清还原方法、装置及存储介质 | |
| CN113362240A (zh) | 一种基于轻量级特征金字塔模型的图像修复方法 | |
| CN113793262A (zh) | 一种基于残差特征聚合注意块的图像去马赛克方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210219 |
|
| WW01 | Invention patent application withdrawn after publication |