CN111210394A - 一种基于深度分解合成网络的图像增强技术 - Google Patents
一种基于深度分解合成网络的图像增强技术 Download PDFInfo
- Publication number
- CN111210394A CN111210394A CN202010006899.3A CN202010006899A CN111210394A CN 111210394 A CN111210394 A CN 111210394A CN 202010006899 A CN202010006899 A CN 202010006899A CN 111210394 A CN111210394 A CN 111210394A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- technology based
- real
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 33
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 22
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 21
- 238000005516 engineering process Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 6
- 239000000428 dust Substances 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 101100072002 Arabidopsis thaliana ICME gene Proteins 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000001464 adherent effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 231100000289 photo-effect Toxicity 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度分解合成网络的图像增强技术，步骤如下；S10、输入图像；S20、图像分解；S30、合成；S40、数据采集；S50、数据集构建；S60训练；本发明，分解网络的目标是为了将原图像分割成清晰背景和噪声层，与传统的架构不同，分解模型除了包含图像背景层的组件外，还包含一个用于提取噪声层的额外组件，在训练阶段利用合成网络将分离出来的清晰背景图像和噪声信息重新生成原图像，因此可以进一步提高增强图像的质量，此外，训练模型使用了真实图像数据进行了微调，以更好地适应实际情况，不同于其他图像增强的方法，不仅在单帧图像上完成去噪效果，提取清晰背景图层信息，在运行时间上也快于其他方法，可以满足现实世界中实时任务的需求。
Description
技术领域
本发明涉及图像处理和深度学习技术领域，具体为一种基于深度分解合成网络的图像增强技术。
背景技术
在计算机视觉以及图像处理的过程中，往往会遇到各种各样的噪声，尤其是对于室外拍摄的场景，在下雨天拍摄的照片会存在雨点或者模糊，在光线不充足的夜晚拍摄的照片会有很多噪点，在雾霾天气下拍摄的照片会模糊不清，这些情况会显著的降低图片的质量，在许多计算机视觉任务，比如图像检测和图像追踪过程中，通常能很好的处理高能见度的图像，但是如果使用低质量的输入将会导致结果退化甚至失败，例如在雨天或者雾霾天气中，使用监控摄像头监控街道，或使用自动驾驶车辆在道路上行驶将会非常困难。因此，会使用一种图像增强技术来对图片进行处理。
但市场上大多数的图像增强技术在使用的时候不能很好的提高深层结构的有效性，更好地利用训练数据，获得更准确的恢复结果，不能很好的提高图像的处理效率，以满足现实生活中实时任务的要求。
发明专利内容
本发明的目的在于提供一种基于深度分解合成网络的图像增强技术，以解决上述背景技术提出的目前市场上的图像增强技术在使用的时候不能很好的提高深层结构的有效性，更好地利用训练数据，获得更准确的恢复结果，不能很好的提高图像的处理效率，以满足现实生活中实时任务的要求的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度分解合成网络的图像增强技术，其特征在于：步骤如下：
S10、输入图像；S20、图像分解；S30、合成；S40、数据采集；S50、数据集构建；S60训练。
进一步的，所述S10、输入图像：将需要去除图像中的雨滴、灰尘以及雾霾，提高去雨图像质量的图片导入。
进一步的，所述S20、图像分解：将输入图像分割成清晰背景和噪声层，主要有两个分支构成，分解网络由编码器和解码器组成。
进一步的，所述S30、合成：从分解模型的输出中学习原始图像，然后使用构造好的图像作为自监督学习的信息来指导反向传播。
进一步的，所述S40、数据采集：对合成图片数据和真实图片数据进行收集。
进一步的，所述S50、数据集构建：合成图片数据集和真实图片数据集。
进一步的，所述S60训练：训练主要包括使用合成图像进行预训练以及使用真实图像进行微调。
与现有技术相比，本发明的有益效果是：
本发明，由分解网络和合成网络两个子网络组成，分解网络的目标是为了将原图像分割成清晰背景和噪声层，与传统的架构不同，分解模型除了包含图像背景层的组件外，还包含一个用于提取噪声层的额外组件，在训练阶段利用合成网络将分离出来的清晰背景图像和噪声信息重新生成原图像，因此可以进一步提高增强图像的质量，此外，训练模型使用了真实图像数据进行了微调，以更好地适应实际情况，本发明，不同于其他图像增强的方法，不仅可以在单帧图像上完成去噪效果，提取清晰背景图层信息，在合成图像和真实图像上的实验结果表明了设计的有效性，与其他最先进的方法相比显示了其明显的优势，在运行时间上也明显快于其他方法，可以满足现实世界中实时任务的需求。
附图说明
图1是本发明方法中的模型整体结构图；
图2为本发明增强前后对比图；左侧为被灰尘和水渍噪声干扰的图像，右侧为本专利增强后的图像；
图3为本发明增强前后对比图；左侧为被雨水噪声干扰的图像，右侧为本专利增强后的图像；
图4为本发明的步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图4，本发明提供一种技术方案：一种基于深度分解合成网络的图像增强技术，其特征在于：步骤如下：
S10、输入图像；S20、图像分解；S30、合成；S40、数据采集；S50、数据集构建；S60训练。
优选的，所述S10、输入图像：将需要去除图像中的雨滴、灰尘以及雾霾，提高去雨图像质量的图片导入。
优选的，所述S20、图像分解：将输入图像分割成清晰背景和噪声层，主要有两个分支构成，分解网络由编码器和解码器组成，分解网络由编码器和解码器分别用于恢复背景和还原噪声信息，分解网络由编码器和解码器分别包含五个卷积模块，每个模块由几个卷积层、修正线性单元和跳跃连接组成。
解码器的第1、2、3、4、5个卷积模块的特征图大小分别为输入图像大小的1/2、1/4、1/8、1/16和1/32，与其对应的解码器采用了上采样操作，构建从低分辨率到高分辨率的特征图。
编码器的前两个卷积层利用空洞卷积来扩大接受域，空洞卷积层的步长是1×1，使用最大池对样本特征图进行下采样。解码器分为清晰背景分支和辅助噪声分支两部分，分别恢复清晰背景层和噪声层。
我们将背景分支的反卷积模块特征分别连接到噪声分支的对应模块上，以便在上采样阶段(图1中向下的箭头) 通过背景特征帮助排除属于背景的纹理，从而更好地获取噪声信息。因为噪声纹理通常比背景纹理更简单、更规则，通过将噪声特性加入到背景分支中并没有得到明显改进效果，所以我们并没有采用将特征从噪声分支向上复制到背景分支。
优选的，所述S30、合成：从分解模型的输出中学习原始图像，然后使用构造好的图像作为自监督学习的信息来指导反向传播。
合成网络的目的是从分解模型的输出中学习原始图像，然后使用构造好的图像作为自监督学习的信息来指导反向传播。利用分解模型，我们可以将一幅原始噪声图像分解成两个相应的分量：从清晰背景分支恢复的背景图像B，以及由噪声分支恢复的噪声图像R。因此，可以用一种简单的方法直接合成相应的原图像O：
O = B + R
尽管上述公式是去除噪声中的标准模型，但由于噪声图像中还涉及其他因素，因此在实际情况中并不适用。
为了解决这一问题，我们首先将分解网络中的干净背景图像和噪声连接起来，然后采用一个额外的卷积神经网络模块对真实图像进行建模。我们定义了一个二次训练成本函数来计算合成网络输出和原始雨图像之间的差异：
其中f为图1所示的整个网络。最后，我们不再使用简单的添加模式(O = B + R)，而是提倡使用屏幕混合模式来合成数据，以便更好地模拟真实情况。屏幕模式表示为：
O = 1 - (1 - B) ◦(1 - R) = B + R – B ◦ R
其中，◦代表哈达玛积。
优选的，所述S40、数据采集：对合成图片数据和真实图片数据进行收集。
优选的，所述S50、数据集构建：合成图片数据集和真实图片数据集；首先使用合成图像进行预训练，我们使用BSD300数据集【15】作为背景用于合成图像。此外，噪声部分R是根据方法【16】的不同强度、方向和重叠生成的。最后，以屏幕混合模式将两部分融合在一起，因此合成的噪声图像更具有物理意义。最终，我们得到了一个包含10400个三元组的数据集（原始图像，清晰背景，噪声层）。
由于合成图像无法区分真实场景的影响，我们使用了一些Flicker和谷歌的真实图像，包括干净图像和雨水、雾霾等图像来微调我们的模型。在微调阶段，我们采集了15张真实图像，随机裁剪为240张224×224大小的样本。
优选的，所述S60训练：训练主要包括使用合成图像进行预训练以及使用真实图像进行微调；使用合成图像进行预训练阶段，我们首先将图像增强问题转化为成对的图像到图像的映射问题，其中我们使用干净的图像和相应的相同大小的噪声图像作为配对信息。为了测量恢复后的图像与原始图像之间的差异，我们通过计算恢复结果与原始图像之间的欧氏距离，因此损失函数可表示为:
以及
其中N表示在每个过程中训练图片的总个数，||·||F表示弗洛贝尼乌斯范数，Oi，Bi和Ri分别表示第i个输入、背景和噪声图片，Fb和Fr分别是清晰背景分支和辅助噪声分支。
使用真实图像进行微调阶段，我们的目标是可以通过分解网络恢复的图像，欺骗鉴别器来区分真实的图像，我们通过引入生成性对抗网络【14】等来更好地模拟噪声图像的形成。生成性对抗网络是基于极大极小二人博弈的，它提供了一种简单而有效的估计目标分布和生成新样本的方法。生成性对抗网络框架由两部分组成：生成模型G和判别模型D。生成模型G可以捕获数据分布，判别模型D可以估计样本来自训练数据而不是生成器的概率，生成器以噪声为输入，试图产生不同的样本来欺骗判别器，判别器的目的是确定样本是来自模型分布还是数据分布，最后达到生成器生成的样本不能被判别器 D区分的目标。判别器D由五个卷积层组成，每个卷积层后面跟着一个修正线性单元，在最后一卷积层的输出端使用sigmoid激活函数，判断输入图像检测为“真”或“假”的概率。
在这一阶段使用的是非监督学习，但为了提高恢复图片的真实性，我们希望对抗模型能够帮助训练分解网络，从而欺骗鉴别器无法区分真实图像和恢复的背景图像。对抗性损失函数为：
在训练中，我们使用的批大小为8，输入图像大小为224×224。我们使用随机梯度下降(SGD)技术进行优化，其权值衰减为10−6，动量为0.9。迭代的最大次数为100K，我们对前70K次迭代采用10−3的学习率，后30K次迭代采用10−4的学习率。整个网络使用Keras框架在Nvidia GTX 1080 GPU上进行训练。
工作原理：本专利提出了一种新的单帧图像的增强技术，即深度分解-合成网络，它由分解网络和合成网络两个子网络组成，分解网络的目标是为了将原图像分割成清晰背景和噪声层，与传统的架构不同，我们的分解模型除了包含图像背景层的组件外，还包含一个用于提取噪声层的额外组件，在训练阶段利用合成网络将分离出来的清晰背景图像和噪声信息重新生成原图像，因此可以进一步提高增强图像的质量，此外，我们的训练模型使用了真实图像数据进行了微调，以更好地适应实际情况。
实施例1
本专利提出了一种新的基于深度分解-合成网络的图像增强方法，它主要由分解网络和合成网络两部分组成。
我们对本专利的方法进行实验，并与其他主流算法进行对比，实验结果表明本专利无论在去除噪声的效果，还是在还原图像背景的效果都能比其他主流方法更加有效，因为只有合成图片测试集才包含了原图，所以在表1、表2和表3中列举出合成数据集在去除噪声后的峰值信噪比(PSNR)，结构相似性(SSIM)等量化指标，GMM【7】【8】表示Li提出的基于层先验的高斯混合模型的方法，JORDER【9】表示Yang通过多重卷积层分别学习雨水层和雨雾层对图像还原，DDN【10】表示Fu提出的深度细节网络，ID-CGAN【11】是 Zhang采用类似图像分割网络的生成对抗网络实现去雨层的学习和去除，DID-MDN【12】表示Zhang和Patel设计的密度感知多流密集连接的对流神经网络用于图像去噪，表1中Rain20表示Garg和Nayar【13】提出的公共数据集，其中包括20个用于测试的合成雨图像，然后从BSD300数据集中随机选取50幅清晰图像，合成50幅噪声图像，称为Rain50，对该方法进行评价，表2中PKU200数据集【9】包含200个用于测试的合成雨图像，Fu【10】在DDN中提出的数据集由1000个背景图像组成，每个背景生成14个不同的雨图像，我们随机为每个背景选择一个噪声图像，构成表3中的XMU1000数据集。
表2显示了PKU200数据集上PSNR和SSIM方面的性能比较，从数值结果可以看出，本专利的方法和JORDER以及DDN性能接近，优于ID-CGAN和DID-MDN，本专利的方法在PSNR上优于JORDER，而在SSIM上低于JORDER，表3比较了XMU1000数据集上的性能差异，本专利方法和DDN明显优于其他方法，因此，本专利的方法在多个数据集上都有良好的表现，显示了其较强的泛化能力。
此外，本专利与其他主流算法相比需要更少的运行时间，表4表示了不同方法所花费的时间，由于GMM是使用CPU实现的，而ID-CGAN和DID-MDN的当前版本只适用于GPU，因此我们只提供GMM的CPU时间和ID-CGAN和DID-MDN的GPU时间，从表中可以看出，本专利的方法和DID-MDN明显快于其他方法，如前所述，考虑到噪声去除质量的原因，本专利的方法更适合实际使用，另外，在效率方面采用深度神经网络压缩技术可以进一步提高设计效率，满足实际应用中的实时性要求。
表1 Rain20和Rain50数据集的PSNR和SSIM性能对比。最佳结果以粗体突出显示。
表2 PKU200数据集的PSNR和SSIM性能对比。最佳结果以粗体突出显示。
表3 XMU1000数据集的PSNR和SSIM性能对比。最佳结果以粗体突出显示。
| 图像大小 | GMM | JORDER | DDN | ID-CGAN | DID-MDN | 本专利 |
| 250x250 | 234.9(C) | 48.59/2.23(C/G) | 1.81/0.27(C/G) | 0.15(G) | 0.02(G) | 0.98/<i>0.03</i>(C/G) |
| 500x500 | 772.4(C) | 88.61/3.34(C/G) | 13.27/0.74(C/G) | 0.55(G) | 0.08(G) | 4.04/<i>0.12</i>(C/G) |
表4 运行时间对比(秒)。最佳结果和次佳结果分别以粗体和斜体突出显示。CPU时间和GPU时间分别用C和G表示。
另外，我们在多幅真实图像上对本专利的性能进行了评价，我们收集了20幅真实世界中的雨水、灰尘和雾霾等场景下拍摄的图像，并使用自然图像质量评价（NIQE）来评估本专利的方法与其他最新的主流方法。如表5所示，我们的方法在20幅真实图像上取得了最佳性能。
表5 真实图像的NIQE性能对比。最佳结果以粗体突出显示。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
主要参考文献
【1】Garg， K.， Nayar， S.， 2004. Detection and removal of rain from videos，in: CVPR， pp. 1528–1535.
【2】Zhang， X.， Li， H.， Qi， Y.， Leow， W.， Ng， T.， 2006. Rain removal invideo by combining temporal and chromatic properties， in: ICME， pp. 461–464.4
【3】You， S.， Tan， R.， Kawakami， R.， Ikeuchi， K.， 2013. Adherent raindropdetection and removal in video， in: CVPR， pp. 1035–1042.
【4】Kang， L.， Lin， C.， Fu， Y.， 2012. Automatic single-image-based rainstreaks removal via image decomposition. IEEE TIP 21， 1742–1755.
【5】Huang， D.， Kang， L.， Wang， Y.， Lin， C.， 2014. Self-learning basedimage decomposition with applications to single image denoising. IEEE TMM 16，83–93.
【6】Sun， S.， Pan， S.， Wang， Y.， 2014. Exploiting image structuralsimilarity for single image rain removal， in: ICME， pp. 4482–4486.
【7】Li， Y.， Tan， R.， Guo， X.， Lu， J.， Brown， M.， 2016. Rain streak removalusing layer priors， in: CVPR， pp. 2736–2744.
【8】Li， Y.， Tan， R.， Guo， X.， Lu， J.， Brown， M.， 2017. Single image rainstreak decomposition using layer priors. IEEE TIP 26， 3874–3885.
【9】Yang， W.， Tan， R.T.， Feng， J.， Liu， J.， Guo， Z.， Yan， S.， 2017a. Deepjoint rain detection and removal from a single image， in: CVPR， pp. 1357–1366.
【10】Fu， X.， Huang， J.， Zeng， D.， Huang， Y.， Ding， X.， Paisley， J.， 2017.Removing rain from single images via a deep detail network， in: CVPR， pp.1715– 1723.
【11】Zhang， H.， Sindagi， V.， Patel， V.M.， 2017. Image de-raining using aconditional generative adversarial network. arXiv:1701.05957v2 .
【12】Zhang， H.， Patel， V.M.， 2018. Density-aware single image de-rainingusing a multi-stream dense network， in: CVPR， pp. 695–704.
【13】Garg， K.， Nayar， S.， 2007. Vision and rain. IJCV 75， 3–27.
【14】Goodfellow， I.， Pouget-Abadie， J.， Mirza， M.， Xu， B.， Warde-Farley，D.， Ozair，S.， Courville， A.， Bengio， Y.， 2014. Generative adversarial nets，in: NIPS， pp. 2672–2680.
【15】https://www2.eecs.berkeley.edu/Research/Projects/ CS/vision/bsds/。
【16】http://www.photoshopessentials.com/photo- effects/ rain/。
Claims (7)
1.一种基于深度分解合成网络的图像增强技术，其特征在于：步骤如下：
S10、输入图像；S20、图像分解；S30、合成；S40、数据采集；S50、数据集构建；S60训练。
2.根据权利要求1所述的一种基于深度分解合成网络的图像增强技术，其特征在于：所述S10、输入图像：将需要去除图像中的雨滴、灰尘以及雾霾，提高去雨图像质量的图片导入。
3.根据权利要求1所述的一种基于深度分解合成网络的图像增强技术，其特征在于：所述S20、图像分解：将输入图像分割成清晰背景和噪声层，主要有两个分支构成，分解网络由编码器和解码器组成。
4.根据权利要求1所述的一种基于深度分解合成网络的图像增强技术，其特征在于：所述S30、合成：从分解模型的输出中学习原始图像，然后使用构造好的图像作为自监督学习的信息来指导反向传播。
5.根据权利要求1所述的一种基于深度分解合成网络的图像增强技术，其特征在于：所述S40、数据采集：对合成图片数据和真实图片数据进行收集。
6.根据权利要求1所述的一种基于深度分解合成网络的图像增强技术，其特征在于：所述S50、数据集构建：合成图片数据集和真实图片数据集。
7.根据权利要求1所述的一种基于深度分解合成网络的图像增强技术，其特征在于：所述S60训练：训练主要包括使用合成图像进行预训练以及使用真实图像进行微调。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010006899.3A CN111210394A (zh) | 2020-01-03 | 2020-01-03 | 一种基于深度分解合成网络的图像增强技术 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010006899.3A CN111210394A (zh) | 2020-01-03 | 2020-01-03 | 一种基于深度分解合成网络的图像增强技术 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111210394A true CN111210394A (zh) | 2020-05-29 |
Family
ID=70786646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010006899.3A Pending CN111210394A (zh) | 2020-01-03 | 2020-01-03 | 一种基于深度分解合成网络的图像增强技术 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111210394A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915545A (zh) * | 2020-08-06 | 2020-11-10 | 中北大学 | 一种多波段图像的自监督学习融合方法 |
| CN113806734A (zh) * | 2021-08-20 | 2021-12-17 | 北京工业大学 | 一种基于条件的能量生成对抗网络的网络攻击恢复方法 |
| CN114529480A (zh) * | 2022-03-02 | 2022-05-24 | 北京大学 | 一种基于随机重配对的无监督一锅式多帧图像去噪方法 |
| CN117196985A (zh) * | 2023-09-12 | 2023-12-08 | 军事科学院军事医学研究院军事兽医研究所 | 一种基于深度强化学习的视觉去雨雾方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016014930A2 (en) * | 2014-07-24 | 2016-01-28 | Exelis Inc. | A vision-based system for dynamic weather detection |
| CN106971377A (zh) * | 2016-08-22 | 2017-07-21 | 上海海洋大学 | 一种基于稀疏与低秩矩阵分解的单幅图像去雨方法 |
| CN109360156A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于生成对抗网络的图像分块的单张图像去雨方法 |
| CN110517203A (zh) * | 2019-08-30 | 2019-11-29 | 山东工商学院 | 一种基于参考图像重建的去雾方法 |
-
2020
- 2020-01-03 CN CN202010006899.3A patent/CN111210394A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016014930A2 (en) * | 2014-07-24 | 2016-01-28 | Exelis Inc. | A vision-based system for dynamic weather detection |
| CN106971377A (zh) * | 2016-08-22 | 2017-07-21 | 上海海洋大学 | 一种基于稀疏与低秩矩阵分解的单幅图像去雨方法 |
| CN109360156A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于生成对抗网络的图像分块的单张图像去雨方法 |
| CN110517203A (zh) * | 2019-08-30 | 2019-11-29 | 山东工商学院 | 一种基于参考图像重建的去雾方法 |
Non-Patent Citations (1)
| Title |
|---|
| SIYUAN LI等: "Single image rain removal via a deep decomposition–composition network", COMPUTER VISION AND IMAGE UNDERSTANDING，ELSEVIER * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915545A (zh) * | 2020-08-06 | 2020-11-10 | 中北大学 | 一种多波段图像的自监督学习融合方法 |
| CN111915545B (zh) * | 2020-08-06 | 2022-07-05 | 中北大学 | 一种多波段图像的自监督学习融合方法 |
| CN113806734A (zh) * | 2021-08-20 | 2021-12-17 | 北京工业大学 | 一种基于条件的能量生成对抗网络的网络攻击恢复方法 |
| CN113806734B (zh) * | 2021-08-20 | 2024-02-09 | 北京工业大学 | 一种基于条件的能量生成对抗网络的网络攻击恢复方法 |
| CN114529480A (zh) * | 2022-03-02 | 2022-05-24 | 北京大学 | 一种基于随机重配对的无监督一锅式多帧图像去噪方法 |
| CN114529480B (zh) * | 2022-03-02 | 2024-06-18 | 北京大学 | 一种基于随机重配对的无监督一锅式多帧图像去噪方法 |
| CN117196985A (zh) * | 2023-09-12 | 2023-12-08 | 军事科学院军事医学研究院军事兽医研究所 | 一种基于深度强化学习的视觉去雨雾方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360156B (zh) | 基于生成对抗网络的图像分块的单张图像去雨方法 | |
| CN111210394A (zh) | 一种基于深度分解合成网络的图像增强技术 | |
| Zhang et al. | Dual attention-in-attention model for joint rain streak and raindrop removal | |
| Yue et al. | Image denoising by exploring external and internal correlations | |
| CN102098440B (zh) | 针对摄像机抖动下运动目标检测的电子稳像方法及系统 | |
| CN110580472B (zh) | 一种基于全卷积网络和条件对抗网络的视频前景检测方法 | |
| Ma et al. | Learning to jointly generate and separate reflections | |
| CN111179189B (zh) | 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 | |
| Wang et al. | MAGAN: Unsupervised low-light image enhancement guided by mixed-attention | |
| CN112270654A (zh) | 基于多通道gan的图像去噪方法 | |
| CN113538243B (zh) | 基于多视差注意力模块组合的超分辨图像重建方法 | |
| Wang et al. | Background extraction based on joint gaussian conditional random fields | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| Guo et al. | Joint raindrop and haze removal from a single image | |
| CN115131203A (zh) | Lr图像生成方法及基于不确定性的真实图像超分辨率方法 | |
| Huang et al. | Removing reflection from a single image with ghosting effect | |
| CN113362338A (zh) | 铁轨分割方法、装置、计算机设备和铁轨分割处理系统 | |
| Zhao et al. | A simple and robust deep convolutional approach to blind image denoising | |
| Wang et al. | First image then video: a two-stage network for spatiotemporal video denoising | |
| KR102466061B1 (ko) | 계층적 생성 적대 네트워크를 이용한 노이즈 제거 장치 및 그 방법 | |
| RahmaniKhezri et al. | Unsupervised single-image reflection removal | |
| CN111626944B (zh) | 一种基于时空金字塔网络和对抗自然先验的视频去模糊方法 | |
| Yun et al. | Coarse-to-fine video denoising with dual-stage spatial-channel transformer | |
| CN112200756A (zh) | 一种子弹特效短视频智能生成方法 | |
| Ji et al. | A cross domain multi-modal dataset for robust face anti-spoofing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200529 |