CN111476721B - 一种基于Wasserstein距离的图像快速增强方法 - Google Patents
一种基于Wasserstein距离的图像快速增强方法 Download PDFInfo
- Publication number
- CN111476721B CN111476721B CN202010166731.9A CN202010166731A CN111476721B CN 111476721 B CN111476721 B CN 111476721B CN 202010166731 A CN202010166731 A CN 202010166731A CN 111476721 B CN111476721 B CN 111476721B
- Authority
- CN
- China
- Prior art keywords
- image
- layers
- score
- inputting
- tensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000013136 deep learning model Methods 0.000 claims abstract description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 14
- 238000011084 recovery Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000013138 pruning Methods 0.000 claims description 6
- 229920006395 saturated elastomer Polymers 0.000 claims description 6
- 230000001965 increasing effect Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000007667 floating Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于Wasserstein距离的图像快速增强方法，属于计算机视觉领域。该方法包括：S1：利用已有公开的盲去模糊的数据集构建模糊到清晰且色彩饱满的多任务数据集；S2：将构建的数据集输入到构建的深度学习模型中，对模型进行训练，模型训练为两个网络模块竞争训练，即图像得分网络不断激励图像重建网络恢复更优的图像；S3：将待处理的运动模糊图像输入到训练完成的深度学习模型中得到清晰且色彩饱满的图像。本发明能快速增强运动模糊图像的清晰度和色彩效果。这种将两种处理效果融入到一个处理模型中的方式大大提高了图像处理时间，降低了处理设备对硬件的要求，能提升低端设备的用户体验。
Description
技术领域
本发明属于计算机视觉领域，涉及一种基于Wasserstein距离的图像快速增强方法。
背景技术
照片是一种具有巨大使用价值的信息载体。人们能从照片中获取多种多样的信息。照片在社会发展中起着举足轻重的作用。随着经济发展，社会物质水平极大提高，拍照不再是一种奢侈的生活仪式。几乎人手一部手机的时代，人们可以随时随地地记录各种有意义的瞬间。能否抓住这美丽的瞬间需要具备一定的拍摄技术。因为拍照者要尽量克服运动模糊这一种常见的拍照现象。如果出现了运动模糊，那照片的观赏性和记录意义将大打折扣。一张清晰的照片能够给人传递非常直观的信息，如果它色彩饱满，对比度适中，亮度柔和的时候，它就有了美的意义。但现在流行的低端设备如智能手机能一步到位地拍摄出令人满意的照片是很难的。因为手机本身的限制，它只能安装一些简洁的摄像头并只能实现短距离的聚焦。要么是曝光度不够，拍出来的照片暗淡无光；要么是对比度不强，照片不够立体；要么是色彩平淡，照片不够夺目等等。如果要拍摄出优质的照片，需要良好的硬件设备和拍摄技巧。
运动模糊消除和图像色彩增强在计算机视觉领域都是经典问题。国内外都对这两个问题进行了大量的研究。对两者的处理方法都可以分为传统方法和基于深度学习的方法。对于运动模糊来说，传统方法如基于规范化稀疏化和先验暗通道等方法对预设的模糊核进行估算。而图像增强的传统实现则是采用启发式算法或者基于拉普拉斯算子等方法。近来，在这两个问题的研究上也都采用了基于深度学习的算法来学习输入到目标的隐射关系。但是，将图像用两个不同的算法单独处理势必会增加处理时间。
发明内容
有鉴于此，本发明的目的在于提供一种能快速增强运动模糊图像的清晰度和色彩效果的图像处理方法，旨在提升图像处理效率，以便增强智能设备的用户体验。
为达到上述目的，本发明提供如下技术方案：
一种基于Wasserstein距离的图像快速增强方法，包括以下步骤：
S1：利用已有公开的盲去模糊的数据集构建模糊到清晰且色彩饱满的多任务数据集；
S2：将构建的数据集输入到构建的深度学习模型中，对模型进行训练；
S3：将待处理的运动模糊图像输入到训练完成的深度学习模型中得到清晰且色彩饱满的图像。
进一步，步骤S1具体包括：将公开数据集GoPRO的清晰图像输入到公开的图像色彩增强模型中得到清晰且色彩饱满的目标图像。
进一步，步骤S2中深度学习模型的训练步骤包括：
S21：将运动模糊图像输入到图像重建网络，图像重建网络中的下采样模块提取运动模糊图像的特征，下采样的处理过程表示为：
Enc()＝3ResBe()
ResBe()＝2Conv()+Conv(2Conv())
其中
表示输入图像具有3个通道且尺寸为h×w，Enc()代表下采样编码操作，ResBe()代表下采样残差块操作，Conv()代表卷积操作；
S22：将下采样模块得到的特征输入到上采样模块中得到恢复图像：
featureconc＝Concatenate(featuree，featured)
Dec()＝3ResBd()
ResBd()＝DConv(Conv(Conv(X)+X))
其中
为恢复图像，Dec()为上采样解码操作，ResBd()代表上采样残差块，Concatenate()代表拼接操作，DConv()代表反卷积操作；
S23：将恢复图像与目标图像输入到L1损失计算模块中计算恢复图像和目标图像之间的L1像素损失，L1像素损失的计算由如下公式表示：
其中w，h，c分别代表图像的宽度、高度和通道数；
S24：将恢复图像和目标图像再输入到带有参数剪枝操作的图像得分网络中计算Wasserstein距离，所述图像得分网络包括5层卷积层和2层全连接层，每层卷积层得到的特征个数为其输入特征的两倍且特征尺寸为输入的一半，2层全连接层将得到的特征处理为数据分布得分，图像得分网络的过程表示为：
Disc()＝5Conv()
score＝FC2(line1024)
其中Disc()表示图像得分网络的卷积操作，FC()表示全连接操作，line1024表示第一个全连接层操作得到的尺寸为1024的一维向量，score为最后的数据分布得分；
S25：将恢复图像的数据分布得分和目标图像的数据分布得分进行差值运算后得到它们之间的Wasserstein距离：
Dloss＝scoreG-scoreT
其中scoreG，scoreT分别代表恢复图像的数据分布得分和目标图像的数据分布得分，图像得分网络以降低此距离为目标不断优化参数；
S26：将恢复图像的数据分布得分取反后加入到其与目标图像的像素损失中得到图像重建网络的优化目标：
Gloss＝-scoreG+L1(G，X)
当Gloss收敛到稳定状态时，则停止训练，最后得到的图像重建网络参数便是图像重建网络恢复清晰且色彩饱满图像的关键。
进一步，步骤S21中，所述运动模糊图像的特征共256个，包括纹理特征、色彩特征、边缘特征。
进一步，所述下采样模块下包括9层卷积层，每3层为一个残差块，即前两层的卷积结果与第三层的卷积结果进行残差连接，每个残差块提取的特征个数是其前一个残差块提取的两倍且特征尺度减半。
进一步，所述上采样模块与下采样模块具有对称结构，拥有6层卷积层和3层为反卷积层，每个残差块得到恢复特征个数为前一个残差块恢复的一半且尺寸翻倍，上采样模块中设置有跳跃连接操作，即第一个和第二个残差块的输出与对应的下采样模块中的残差块的输出进行拼接操作。
进一步，步骤S3中，将待处理图像解析为适应模型处理的数据，然后将该数据输入到构建的模型中并加载训练得到的图像重建网络参数，当得到图像重建网络恢复的数据后，再将该恢复数据编码成具体格式的图像。
进一步，步骤S3具体包括如下步骤：
S31：将待处理的单张运动模糊图像处理为适应于模型的数据，即，将输入图像解码为相应的灰度级为256级的3维整型张量，然后再将该张量进行归一化处理为3维浮点张量，最后提升该张量的维度为4维：
S32：将经过处理后得到的张量输入到训练完成的模型的图像重建网络中得到恢复张量：
S33：将得到的恢复张量编码成具体的图像格式便得到了处理后的图像：
其中，Clip()代表将张量的值剪枝到特定范围，此处为剪枝到(0，255.0)，SqueezeDim()代表降低张量维度操作，Img代表恢复的清晰且色彩饱满的图像。
本发明的有益效果在于：本发明在能快速增强运动模糊图像的清晰度和色彩效果。这种将两种处理效果融入到一个处理模型中大大提高了图像处理时间，降低了处理设备对硬件的要求，能提升低端设备的用户体验。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明所述基于Wasserstein距离的图像快速增强方法总体流程图；
图2为本发明所构建模型的总体结构图；
图3为本发明中图像重建网络的结构图；
图4为本发明中图像得分网络的结构图；
图5为本发明中步骤S3的具体流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
图1为本发明优选的一种实施例的图像快速增强方法的总体流程图，本实施例所述图像快速增强方法可以作为计算机程序来执行，也可作为插件在其他程序中执行，具体执行过程为：
步骤S1：构建数据集。
将公开数据集GoPRO的清晰图像输入到公开的图像色彩增强模型中得到清晰且色彩饱满的目标图像。
步骤S2：将构建的数据集输入到构建的深度学习模型中，对模型进行训练：
步骤S3：将待处理的运动模糊图像输入到训练完成的深度学习模型中得到清晰且色彩饱满的图像。
具体的，如图2所示，步骤S2具体包括以下包括：
步骤S21：将运动模糊图像输入到图像重建网络，图像重建网络中的下采样模块提取运动模糊图像的各种特征，如纹理特征、色彩特征、边缘特征等，总共256个。下采样模块由9层卷积层组成，每层卷积后面带有Relu函数激活层，每3层卷积层组合为一个残差块，即前两层的卷积结果与第三层的卷积结果进行残差连接。每个残差块提取的特征个数是其前一个卷积块提取的两倍且特征尺度减半。下采样的处理过程可以由如下公式表示：
Enc()＝3ResBe()
ResBe()＝2Conv()+Conv(2Conv())
其中
表示输入图像具有3个通道且尺寸为h×w，Enc()代表下采样编码操作，ResBe()代表下采样残差块操作，Conv()代表卷积操作。下采样块的具体结构如图3所示，其卷积层结构参数如下表所示：
步骤S22：将下采样模块得到的特征输入到上采样模块中得到恢复图像。上采样模块同下采样模块具有对称结构，其拥有6层卷积层和3层为反卷积层，每个残差块得到恢复特征个数为前一个残差块恢复的一半且尺寸翻倍。其中，上采样模块中也设置了跳跃连接操作，即第一个和第二个残差块的输出与对应的下采样模块中的残差块的输出进行拼接操作。本步骤的处理过程可以用如下公式表示：
featureconc＝Concatenate(featuree，featured)
Dec()＝3ResBd()
ResBd()＝DConv(Conv(Conv(X)+X))
其中
为恢复图像，Dec()为上采样解码操作，ResBd()代表上采样残差块，Concatenate()代表拼接操作，DConv()代表反卷积操作。上采样块的具体结构如图3所示，其卷积层结构参数如下表所示：：
步骤S23：将恢复图像与目标图像输入到L1损失计算模块中计算恢复图像和目标图像之间的L1像素损失。L1像素损失的计算可以由如下公式表示：
其中w，h，c分别代表图像的宽度、高度和通道数。
步骤S24：将恢复图像和目标图像再输入到带有参数剪枝操作的图像得分网络中计算各自的数据分布得分。图像得分网络具有5层卷积层和两层全连接层。每层卷积层得到的特征个数为其输入特征的两倍且特征尺寸为输入的一半。两层全连接层将得到的特征处理为数据分布得分。图像得分网络的过程可以由以下公式表示：
Disc()＝5Conv()
score＝FC2(line1024)
其中Disc()表示图像得分网络的卷积操作，FC()表示全连接操作，line1024表示第一个全连接层操作得到的尺寸为1024的一维向量，score为最后数据分布得分。图像得分网络的具体卷积结构如图4所示，其卷积层结构参数如下表所示：
步骤S25：将恢复图像的数据分布得分和目标图像的数据分布得分进行差值运算后得到它们之间的Wasserstein距离。其计算公式如下所示：
Dloss＝scoreG-scoreT
其中scoreG，scoreT分别代表恢复图像的数据分布得分和目标图像的数据分布得分。图像得分网络以降低此距离为目标不断优化参数。
步骤S26：将恢复图像的数据分布得分取反后加入到其与目标图像的像素损失中得到图像重建网络的优化目标。其计算可以由如下公式表示：
Gloss＝-scoreG+L1(G，X)
当Gloss收敛到稳定状态时，则停止训练。最后得到的图像重建网络参数便是图像重建网络恢复清晰且色彩饱满图像的关键。
如图5所示，步骤S3将模糊的图像输入到训练完成的模型中得到清晰且色彩饱满的图像的具体步骤如下：
S31：将待处理的单张运动模糊图像处理为适应于模型的数据。即，将输入图像解码为相应的灰度级为256级的3维整型张量，然后再将该张量进行归一化处理为3维浮点张量，最后提升该张量的维度为4维。该处理过程可以表示为如下公式：
S32：将经过处理后得到的张量输入到训练完成的模型的图像重建网络中得到恢复张量。
该过程可由如下公式表示：
S33：最后，将上一步得到的恢复张量编码成具体的图像格式便得到了处理后的图像。该处理过程可由如下公式表示：
其中，Clip()代表将张量的值剪枝到特定范围，此处为剪枝到(0，255.0)，SqueezeDim()代表降低张量维度操作，Img即代表恢复的清晰且色彩饱满的图像。
本发明方法的图像处理效果与其他方法的处理效果的对比结果如下表所示：
其中模型1、2、3分别代表Kupyn等人在2018年CVPR上发表的去模糊方法、Sainandan等人在2017年在ICCV上发表的去模糊方法、Xin等人在2018年在CVPR上发表的去模糊方方法与Chen等人在2018年在CVPR上发表的图像增强方法相结合的模型。模型4代表本发明训练的模型。时间代表这4种模型在配备了酷睿i7-7700HQ CPU和NVIDIA GTX1050GPU的个人电脑上处理一张尺寸为256*256的图像所使用的时间。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种基于Wasserstein距离的图像快速增强方法，其特征在于：包括以下步骤：
S1：利用已有公开的盲去模糊的数据集构建模糊到清晰且色彩饱满的多任务数据集；
S2：将构建的数据集输入到构建的深度学习模型中，对模型进行训练；包括以下步骤：
S21：将运动模糊图像输入到图像重建网络，图像重建网络中的下采样模块提取运动模糊图像的特征，下采样的处理过程表示为：
Enc()＝3ResBe()
ResBe()＝2Conv()+Conv(2Conv())
其中
表示输入图像具有3个通道且尺寸为h×w，Enc()代表下采样编码操作，ResBe()代表下采样残差块操作，Conv()代表卷积操作；
S22：将下采样模块得到的特征输入到上采样模块中得到恢复图像：
featureconc＝Concatenate(featuree，featured)
Dec()＝3ResBd()
ResBd()＝DConv(Conv(Conv(X)+X))
其中
为恢复图像，Dec()为上采样解码操作，ResBd()代表上采样残差块，Concatenate()代表拼接操作，DConv()代表反卷积操作；
S23：将恢复图像与目标图像输入到L1损失计算模块中计算恢复图像和目标图像之间的L1像素损失，L1像素损失的计算由如下公式表示：
其中w，h，c分别代表图像的宽度、高度和通道数；
S24：将恢复图像和目标图像再输入到带有参数剪枝操作的图像得分网络中计算Wasserstein距离，所述图像得分网络包括5层卷积层和2层全连接层，每层卷积层得到的特征个数为其输入特征的两倍且特征尺寸为输入的一半，2层全连接层将得到的特征处理为数据分布得分，图像得分网络的过程表示为：
Disc()＝5Conv()
score＝FC2(line1024)
其中Disc()表示图像得分网络的卷积操作，FC()表示全连接操作，line1024表示第一个全连接层操作得到的尺寸为1024的一维向量，score为最后的数据分布得分；
S25：将恢复图像的数据分布得分和目标图像的数据分布得分进行差值运算后得到它们之间的Wasserstein距离：
Dloss＝scoreG-scoreT
其中scoreG，scoreT分别代表恢复图像的数据分布得分和目标图像的数据分布得分，图像得分网络以降低此距离为目标不断优化参数；
S26：将恢复图像的数据分布得分取反后加入到其与目标图像的像素损失中得到图像重建网络的优化目标：
Gloss＝-scoreG+L1(G，X)
当Gloss收敛到稳定状态时，则停止训练，最后得到的图像重建网络参数便是图像重建网络恢复清晰且色彩饱满图像的关键；
S3：将待处理的运动模糊图像输入到训练完成的深度学习模型中得到清晰且色彩饱满的图像。
2.根据权利要求1所述的基于Wasserstein距离的图像快速增强方法，其特征在于：步骤S1具体包括：将公开数据集GoPRO的清晰图像输入到公开的图像色彩增强模型中得到清晰且色彩饱满的目标图像。
3.根据权利要求1所述的基于Wasserstein距离的图像快速增强方法，其特征在于：步骤S21中，所述运动模糊图像的特征共256个，包括纹理特征、色彩特征、边缘特征。
4.根据权利要求1所述的基于Wasserstein距离的图像快速增强方法，其特征在于：所述下采样模块下包括9层卷积层，每3层为一个残差块，即前两层的卷积结果与第三层的卷积结果进行残差连接，每个残差块提取的特征个数是其前一个残差块提取的两倍且特征尺度减半。
5.根据权利要求1所述的基于Wasserstein距离的图像快速增强方法，其特征在于：所述上采样模块与下采样模块具有对称结构，拥有6层卷积层和3层为反卷积层，每个残差块得到恢复特征个数为前一个残差块恢复的一半且尺寸翻倍，上采样模块中设置有跳跃连接操作，即第一个和第二个残差块的输出与对应的下采样模块中的残差块的输出进行拼接操作。
6.根据权利要求1所述的基于Wasserstein距离的图像快速增强方法，其特征在于：步骤S3中，将待处理图像解析为适应模型处理的数据，然后将该数据输入到构建的模型中并加载训练得到的图像重建网络参数，当得到图像重建网络恢复的数据后，再将该恢复数据编码成具体格式的图像。
7.根据权利要求1所述的基于Wasserstein距离的图像快速增强方法，其特征在于：步骤S3具体包括如下步骤：
S31：将待处理的单张运动模糊图像处理为适应于模型的数据，即，将输入图像解码为相应的灰度级为256级的3维整型张量，然后再将该张量进行归一化处理为3维浮点张量，最后提升该张量的维度为4维：
S32：将经过处理后得到的张量输入到训练完成的模型的图像重建网络中得到恢复张量：
S33：将得到的恢复张量编码成具体的图像格式便得到了处理后的图像：
其中，Clip()代表将张量的值剪枝到特定范围，此处为剪枝到(0，255.0)，SqueezeDim()代表降低张量维度操作，Img代表恢复的清晰且色彩饱满的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010166731.9A CN111476721B (zh) | 2020-03-10 | 2020-03-10 | 一种基于Wasserstein距离的图像快速增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010166731.9A CN111476721B (zh) | 2020-03-10 | 2020-03-10 | 一种基于Wasserstein距离的图像快速增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111476721A CN111476721A (zh) | 2020-07-31 |
| CN111476721B true CN111476721B (zh) | 2022-04-29 |
Family
ID=71747332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010166731.9A Active CN111476721B (zh) | 2020-03-10 | 2020-03-10 | 一种基于Wasserstein距离的图像快速增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111476721B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112150400B (zh) * | 2020-10-10 | 2024-03-12 | 清华大学 | 图像增强方法、装置和电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108711138A (zh) * | 2018-06-06 | 2018-10-26 | 北京印刷学院 | 一种基于生成对抗网络的灰度图片彩色化方法 |
| CN109903223A (zh) * | 2019-01-14 | 2019-06-18 | 北京工商大学 | 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法 |
| CN110378985A (zh) * | 2019-07-19 | 2019-10-25 | 中国传媒大学 | 一种基于gan的动漫绘画辅助创作方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10825219B2 (en) * | 2018-03-22 | 2020-11-03 | Northeastern University | Segmentation guided image generation with adversarial networks |
-
2020
- 2020-03-10 CN CN202010166731.9A patent/CN111476721B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108711138A (zh) * | 2018-06-06 | 2018-10-26 | 北京印刷学院 | 一种基于生成对抗网络的灰度图片彩色化方法 |
| CN109903223A (zh) * | 2019-01-14 | 2019-06-18 | 北京工商大学 | 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法 |
| CN110378985A (zh) * | 2019-07-19 | 2019-10-25 | 中国传媒大学 | 一种基于gan的动漫绘画辅助创作方法 |
Non-Patent Citations (2)
| Title |
|---|
| Intelligent Analysis for Georeferenced Video Using Context-Based Random Graphs;Feng等;《《International Journal of Distributed Sensor Networks》》;20130501;1-15页 * |
| 基于深度生成模型的图像修复研究;刘昱;《《中国优秀硕士学位论文全文数据库 (信息科技辑)》》;20191215;I138-414 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111476721A (zh) | 2020-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tassano et al. | Fastdvdnet: Towards real-time deep video denoising without flow estimation | |
| US20230080693A1 (en) | Image processing method, electronic device and readable storage medium | |
| WO2022267641A1 (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
| CN107463989B (zh) | 一种基于深度学习的图像去压缩伪影方法 | |
| CN102656877A (zh) | 用以产生光学效应的数字图像组合 | |
| CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| Chang et al. | Vornet: Spatio-temporally consistent video inpainting for object removal | |
| CN111901532B (zh) | 基于循环神经网络迭代策略的视频稳定方法 | |
| CN113139909B (zh) | 一种基于深度学习的图像增强方法 | |
| CN111476721B (zh) | 一种基于Wasserstein距离的图像快速增强方法 | |
| CN113724136A (zh) | 一种视频修复方法、设备及介质 | |
| Zhang et al. | Hierarchical attention aggregation with multi-resolution feature learning for GAN-based underwater image enhancement | |
| Zhang et al. | Multi-branch and progressive network for low-light image enhancement | |
| Qiao et al. | Adaptive deep learning network with multi-scale and multi-dimensional features for underwater image enhancement | |
| Zhang et al. | Mutual dual-task generator with adaptive attention fusion for image inpainting | |
| Liu et al. | Semantic information supplementary pyramid network for dynamic scene deblurring | |
| CN116485654A (zh) | 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法 | |
| CN114820395B (zh) | 一种基于多领域信息融合的水下图像增强方法 | |
| CN116309215A (zh) | 一种基于双解码器的图像融合方法 | |
| CN113810597A (zh) | 一种基于半预测滤波的快速图像散景渲染方法 | |
| Li et al. | Enhanced spatial-temporal freedom for video frame interpolation | |
| CN113538338B (zh) | 一种基于限制性预测滤波的图像散景渲染方法及系统 | |
| Wang et al. | CNN-based Single Image Dehazing via Attention Module | |
| Song et al. | Reference-based JPEG image artifacts removal | |
| Li | Low-light image enhancement with contrast regularization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |