CN112288738A - 基于深度学习的单幅图像去雪花方法、装置及存储介质 - Google Patents
基于深度学习的单幅图像去雪花方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112288738A CN112288738A CN202011297039.6A CN202011297039A CN112288738A CN 112288738 A CN112288738 A CN 112288738A CN 202011297039 A CN202011297039 A CN 202011297039A CN 112288738 A CN112288738 A CN 112288738A
- Authority
- CN
- China
- Prior art keywords
- image
- snow
- free
- snowflake
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000533950 Leucojum Species 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 230000007246 mechanism Effects 0.000 claims abstract description 20
- 238000010586 diagram Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 15
- 238000012545 processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30192—Weather; Meteorology
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的单幅图像去雪花方法、装置及存储介质,所述方法包括:通过注意力机制,将成对的具有相同背景的含雪和无雪图像作为输入,根据网络的自动学习能力,提取雪花像素的特征生成雪花注意力图;将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入,利用U‑net网络以及残差网络恢复出无雪图像;将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入,用以训练判别器判断真假图像的能力;采用训练后的判别器对输入的图像进行特征提取,通过提取到的特征做出判断,从而使得生成器生成的图像越来越接近真实的无雪图像。本发明处理后的图像中雪花去除效果很好,而且较原图像能保留更多的细节特征;在修复被雪花覆盖的像素时避免了图像失真与模糊等问题。
Description
技术领域
本发明涉及图像去噪技术,属于图像处理领域,尤其涉及一种基于深度学习的单幅图像去雪花方法、装置及存储介质。
背景技术
雪花作为一种特殊的天气现象,会降低背景场景的能见度,影响图像的清晰度,使得图像中有用的信息减少。对后续的图像处理任务产生巨大的负面效果,例如:目标检测、场景分析,以及其他的图像处理任务。尤其是在人工智能的应用方向上,大多数情况下需要清晰干净的图像来提取和处理正确的信息。因此,从单一图像中去除雪花具有重要的研究意义。
尽管目前大多数高光去除算法取得了一些成就,但还存在以下问题:
第一、大多数方法使用的是传统的建模方法,仅使用了雪花的一个或几个空间特征,使得基于建模的方法在实际的应用中泛用性不强;
第二、目前注意力机制在单幅图像去雪花方向没有得到广泛的应用,而且一般的U-net(U型结构网络)在修复雪花像素时存在图像失真等问题。
发明内容
针对单幅图像中雪花检测与修复任务,本发明提供了一种基于深度学习的单幅图像去雪花方法、装置及存储介质,处理后的图像中雪花去除效果很好,而且较原图像能保留更多的细节特征;在修复被雪花覆盖的像素时避免了图像失真与模糊等问题,详见下文描述:
第一方面,一种基于深度学习的单幅图像去雪花方法方法,所述方法包括:
通过注意力机制,将成对的具有相同背景的含雪和无雪图像作为输入,根据网络的自动学习能力,提取雪花像素的特征生成雪花注意力图;
将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入,利用U-net网络以及残差网络恢复出无雪图像;
将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入,用以训练判别器判断真假图像的能力;
采用训练后的判别器对输入的图像进行特征提取,通过提取到的特征做出判断,从而使得生成器生成的图像越来越接近真实的无雪图像。
在一种实现方式中,所述注意力机制通过对比学习成对的含雪与无雪图像,来识别图像中的雪花,从而提取雪花像素的特征。
在一种实现方式中,所述无雪图像生成部分包括:编码部分和解码部分,
编码部分包含4个下采样层,每个下采样层包含一个卷积层和激活层;在每一个下采样层中,将图像的分辨率降为原来的1/2,同时提取的特征数变为原来的两倍;将第一个下采样层输入的特征数设置为32,图像的分辨率为256*256;通过4层下采样操作后,得到的特征数为512,图像的分辨率为16*16;在U-net的第五层,使用残差网络来提高网络的感受野;
解码部分使用了跳跃连接,将下采样层的输出与具有相同分辨率的上采样层输出合并,输入到下一上采样层中;上采样层结构与下采样层结构相同,每一个上采样层使得图像的分辨率变为原来的两倍,特征数降为原来的1/2;经过4层上采样操作,得到解码后的无雪图像特征,特征数为32,图像分辨率为256*256;通过Tanh层,使用无雪图像特征恢复出彩色的无雪图像。
在一种实现方式中,所述方法通过感知损失计算无雪图像生成部分输出图像的特征与对应的干净背景图像之间的全局差异。
第二方面,一种基于深度学习的单幅图像去雪花装置,所述装置包括:
提取模块,用于通过注意力机制,将成对的具有相同背景的含雪和无雪图像作为输入,根据网络的自动学习能力,提取雪花像素的特征生成雪花注意力图;
无雪图像生成模块,用于将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入,利用U-net网络以及残差网络恢复出无雪图像;
训练模块,用于将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入,用以训练判别器判断真假图像的能力;
生成模块,用于采用训练后的判别器对输入的图像进行特征提取,通过提取到的特征做出判断,从而使得生成器生成的图像越来越接近真实的无雪图像。
在一种实现方式中,所述提取模块包括:注意力机制单元,
所述注意力机制单元,用于通过对比学习成对的含雪与无雪图像,来识别图像中的雪花,从而提取雪花像素的特征。
在一种实现方式中,所述装置还包括:
计算模块,用于通过感知损失计算无雪图像生成部分输出图像的特征与对应的干净背景图像之间的全局差异。
第三方面,一种基于深度学习的单幅图像去雪花装置,所述装置包括:处理器和存储器,所述存储器中存储有程序指令,所述处理器调用存储器中存储的程序指令以使装置执行第一方面所述的方法步骤。
第四方面,一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时使所述处理器执行第一方面所述的方法步骤。
本发明提供的技术方案的有益效果是:
1、本发明利用神经网络的自我学习能力,自动提取图片中雪花像素的特征,从而提高了单幅图像雪花检测的效率;
2、本发明在雪花像素恢复时使用U-net与空洞卷积,在少量提高网络参数的情况下,提高了修复后无雪图像的质量。
附图说明
图1为一种基于深度学习的单幅图像去雪花方法的流程图;
图2为一种基于深度学习的单幅图像去雪花方法的另一流程图;
图3为雪花注意图生成部分的示意图;
图4为无雪图像生成部分的示意图;
图5为判别器的示意图;
图6为用到的两种残差块的示意图;
图7为含雪图像及网络生成的雪花注意力图的示意图;
图8为合成含雪图像的示意图;
图9为对图8处理后得到的无雪图像的示意图;
图10为真实含雪图像的示意图;
图11为对图10处理后得到的无雪图像的示意图;
图12为一种基于深度学习的单幅图像去雪花装置的结构示意图;
图13为基于深度学习的单幅图像去雪花的结构示意图;
图14为一种基于深度学习的单幅图像去雪花装置的另一结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
本发明实施例采用的实验对象包括合成的下雪图像以及现实生活中的随机拍摄的下雪图像,针对含雪图像中信息丢失的问题,本发明实施例提出了一种基于深度学习的单幅图像去雪花方法,参见图1,该方法包括以下步骤:
步骤101:以单幅图像去雪花模型为基础,其中描述单幅含雪图像表示如下:
步骤102:通过注意力机制,将成对的具有相同背景的含雪和无雪图像作为输入,根据网络的自动学习能力,提取雪花像素的特征生成雪花注意力图;
步骤103:将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入,利用U-net网络以及残差网络恢复出无雪图像;
步骤104:将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入,用以训练判别器判断真假图像的能力;
步骤105:采用训练后的判别器对输入的图像进行特征提取,通过提取到的特征做出判断,从而使得生成器生成的图像越来越接近真实的无雪图像。
即,生成器的训练过程是尽可能的让判别器犯错,而判别器的训练过程则是提高区分真实样本和由生成器生成的假样本的能力。通过不断训练使得生成器的能力改善,能够生成与真实样本相似的假样本。通过不断地训练同时提高生成器和判别器的能力,从而达到单幅图像去雪花操作。
综上所述,本发明实施例通过上述步骤101-步骤105对单幅图像进行雪花检测与修复,处理后的图像中雪花去除效果很好,而且较原图像能保留更多的细节特征;在修复被雪花覆盖的像素时避免了图像失真与模糊等问题。
下面结合图2-图11、具体的计算公式,对上述实施例中的一种基于深度学习的单幅图像去雪方法进行详细地细化和扩展,该方法包括以下步骤:
步骤201:以单幅图像去雪花模型为基础,获取单幅含雪图像;
其中,该步骤的具体操作参见上述实施例中的步骤101,本发明实施例在此不作赘述。
步骤202:注意力机制通过对比学习成对的含雪与无雪图像,来识别图像中的雪花,从而提取雪花像素的特征;
在训练注意力机制部分时,使用雪花注意力图与相应的雪花二值掩模之间的均方误差(MSE)作为该模块的损失函数,该损失函数可表示为:
其中,At表示注意力估计模块在第t次训练时产生的注意力图,表示均方误差函数,α表示可调参数,本发明实施例中以数值0.7为例进行说明,A表示训练中生成的注意力图,N表示使用的注意力生成模块的个数,本发明实施例中以数值4为例进行说明,表示损失函数,{A}表示一次训练中生成的注意力图的集合。具体实现时,本发明实施例对上述的取值不做限制。
At的表达式为:At=AMLt(Ft-1,Ht-1,Ct-1),Ft-1是输入图像和前一次训练产生的注意力图的拼接;Ht-1表示上一模块中LSTM的最终输出,Ct-1表示上一模块中LSTM输出的状态门的值。
LSTM单元包含了输入门it,遗忘门ft,输出门ot以及单元状态门Ct。状态门与其他门的相互作用定义如下:
其中,σ表示激活函数,本方法中使用sigmod函数;Wxi表示输入门参数矩阵1;Whi表示输入门参数矩阵2;Wci表示输入门参数矩阵3;bi表示输入门偏置常数矩阵;Wxf表示遗忘门参数矩阵1;Whf表示遗忘门参数矩阵2;Wcf表示遗忘门参数矩阵3;bf表示遗忘门偏置常数矩阵;Wxc表示单元状态门参数矩阵1;Whc表示单元状态门参数矩阵2;bc表示单元状态门偏置常数矩阵;Wxo表示输出门参数矩阵1;Xt表示当前输入数据;Who表示输出门参数矩阵2;Wco表示输出门参数矩阵3;bo表示输出门偏置常数矩阵;ot表示输出门输出。
当t=1时,Ft-1为输入图像与初始注意力图像的拼接,定义初始注意力图的值为0.5,函数AMLt表示第t次训练时的注意力估计模块。在本发明实施例中,设定N=4,α=0.7。具体实现时,本发明实施例对上述的取值不做限制。
步骤203:在无雪图像生成部分,将网络分为编码部分和解码部分。
1、编码部分包含4个下采样层,其中,每个下采样层包含一个卷积层和激活层。在每一个下采样层中,将图像的分辨率降为原来的1/2,同时提取的特征数变为原来的两倍。将第一个下采样层输入的特征数设置为32,图像的分辨率为256*256。通过4层下采样操作后,得到的特征数为512,图像的分辨率为16*16。在U-net的第五层,使用残差网络2来提高网络的感受野,在少量增加网络参数的情况下提高生成无雪图像的质量。
2、在解码部分,为了更好地保存图像的细节信息,使用了跳跃连接,将下采样层的输出与具有相同分辨率的上采样层输出合并,输入到下一上采样层中。上采样层结构与下采样层结构相同,但是作用相反。每一个上采样层使得图像的分辨率变为原来的两倍,特征数降为原来的1/2。经过4层上采样操作,得到的解码后的无雪图像特征,其中特征数为32,图像分辨率为256*256。最后通过Tanh层(激活函数),使用无雪图像特征恢复出彩色的无雪图像。
为了解决传统的U-net在图像修复时并不能完全的将雪花像素复原,本发明实施例在U-net的第五层使用残差网络,在少量增加参数量的情况下解决了雪花像素修复的问题。
为了计算不同层级之间产生的不同尺度的生成图像与原图像在像素上的差异,本发明实施例采用平均绝对误差(MAE)来表示此差异,该网络的损失函数定义为:
其中,表示无雪图像生成部分的损失函数,{R}表示解码器输出图像的集合,{T}表示真实图像集合,表示平均绝对误差函数,Ri表示解码器的第i个输出图像,Ti表示相应的无雪背景。βi表示不同尺度下的不同的损失权重,I为解码器的层数,本发明实施例以5层为例进行说明。在本发明实施例中,将β设置为0.5,0.6,0.8,1,分别对应原图尺度的1/8,1/4,1/2,1时的中间输出以及最终输出。具体实现时,本发明实施例对上述的取值不做限制。
此外,本发明实施例同时使用了一种感知损失[1]来计算无雪图像生成模块输出图像的特征与对应的干净背景图像之间的全局差异。这些特征可以通过一个训练好的CNN网络来提取,例如在ImageNet数据集上训练好的VGG16网络。该损失函数定义如下:
综合上述的损失函数,生成器部分可以表示为:
步骤204:判别器的损失函数定义如下:
步骤205:生成器与判别器同时训练,通过同时训练不断更新网络参数,提高两部分的网络性能。
基于同一发明构思,作为上述方法的实现,参见图12,本发明实施例还提供了一种基于深度学习的单幅图像去雪方法装置,该装置包括:提取模块1,用于通过注意力机制,将成对的具有相同背景的含雪和无雪图像作为输入,根据网络的自动学习能力,提取雪花像素的特征生成雪花注意力图;
无雪图像生成模块2,用于将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入,利用U-net网络以及残差网络恢复出无雪图像;
训练模块3,用于将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入,用以训练判别器判断真假图像的能力;
生成模块4,用于采用训练后的判别器对输入的图像进行特征提取,通过提取到的特征做出判断,从而使得生成器生成的图像越来越接近真实的无雪图像。
在一种实现方式中,该提取模块1包括:注意力机制单元,
所述注意力机制单元,用于通过对比学习成对的含雪与无雪图像,来识别图像中的雪花,从而提取雪花像素的特征。
在一种实现方式中,参见图13,该装置还包括:
计算模块5,用于通过感知损失计算无雪图像生成部分输出图像的特征与对应的干净背景图像之间的全局差异。
这里需要指出的是,以上实施例中的装置描述是与上述方法实施例描述相对应的,本发明实施例在此不做赘述。
上述各个模块、单元的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件,具体实现时,本发明实施例对执行主体不做限制,根据实际应用中的需要进行选择。
基于同一发明构思,本发明实施例还提供了一种基于深度学习的单幅图像去雪方法装置,参见图14,该装置包括:处理器6和存储器7,存储器7中存储有程序指令,处理器6调用存储器7中存储的程序指令以使装置执行实施例中的以下方法步骤:
通过注意力机制,将成对的具有相同背景的含雪和无雪图像作为输入,根据网络的自动学习能力,提取雪花像素的特征生成雪花注意力图;
将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入,利用U-net网络以及残差网络恢复出无雪图像;
将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入,用以训练判别器判断真假图像的能力;
采用训练后的判别器对输入的图像进行特征提取,通过提取到的特征做出判断,从而使得生成器生成的图像越来越接近真实的无雪图像。
在一种实现方式中,注意力机制通过对比学习成对的含雪与无雪图像,来识别图像中的雪花,从而提取雪花像素的特征。
这里需要指出的是,以上实施例中的装置描述是与实施例中的方法描述相对应的,本发明实施例在此不做赘述。
上述的处理器和存储器的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件,具体实现时,本发明实施例对执行主体不做限制,根据实际应用中的需要进行选择。
存储器7和处理器6之间通过总线8传输数据信号,本发明实施例对此不做赘述。
基于同一发明构思,本发明实施例还提供了一种计算机可读存储介质,存储介质包括存储的程序,在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。
该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
这里需要指出的是,以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的,本发明实施例在此不做赘述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例的流程或功能。
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
本发明实施例对各器件的型号除做特殊说明的以外,其他器件的型号不做限制,只要能完成上述功能的器件均可。
参考文献
[1]J.Johnson,A.Alahi,and L.Fei-Fei,"Perceptual losses for real-timestyle transfer and super-resolution,"in European conference on computervision,2016,pp.694-711.
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于深度学习的单幅图像去雪花方法,其特征在于,所述方法包括:
通过注意力机制,将成对的具有相同背景的含雪和无雪图像作为输入,根据网络的自动学习能力,提取雪花像素的特征生成雪花注意力图;
将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入,利用U-net网络以及残差网络恢复出无雪图像;
将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入,用以训练判别器判断真假图像的能力;
采用训练后的判别器对输入的图像进行特征提取,通过提取到的特征做出判断,从而使得生成器生成的图像越来越接近真实的无雪图像。
2.根据权利要求1所述的一种基于深度学习的单幅图像去雪花方法,其特征在于,所述注意力机制通过对比学习成对的含雪与无雪图像,来识别图像中的雪花,从而提取雪花像素的特征。
3.根据权利要求1所述的一种基于深度学习的单幅图像去雪花方法,其特征在于,所述无雪图像生成部分包括:编码部分和解码部分,
编码部分包含4个下采样层,每个下采样层包含一个卷积层和激活层;在每一个下采样层中,将图像的分辨率降为原来的1/2,同时提取的特征数变为原来的两倍;将第一个下采样层输入的特征数设置为32,图像的分辨率为256*256;通过4层下采样操作后,得到的特征数为512,图像的分辨率为16*16;在U-net的第五层,使用残差网络来提高网络的感受野;
解码部分使用了跳跃连接,将下采样层的输出与具有相同分辨率的上采样层输出合并,输入到下一上采样层中;上采样层结构与下采样层结构相同,每一个上采样层使得图像的分辨率变为原来的两倍,特征数降为原来的1/2;经过4层上采样操作,得到解码后的无雪图像特征,特征数为32,图像分辨率为256*256;通过Tanh层,使用无雪图像特征恢复出彩色的无雪图像。
4.根据权利要求1所述的一种基于深度学习的单幅图像去雪花方法,其特征在于,所述方法通过感知损失计算无雪图像生成部分输出图像的特征与对应的干净背景图像之间的全局差异。
5.一种基于深度学习的单幅图像去雪花装置,其特征在于,所述装置包括:
提取模块,用于通过注意力机制,将成对的具有相同背景的含雪和无雪图像作为输入,根据网络的自动学习能力,提取雪花像素的特征生成雪花注意力图;
无雪图像生成模块,用于将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入,利用U-net网络以及残差网络恢复出无雪图像;
训练模块,用于将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入,用以训练判别器判断真假图像的能力;
生成模块,用于采用训练后的判别器对输入的图像进行特征提取,通过提取到的特征做出判断,从而使得生成器生成的图像越来越接近真实的无雪图像。
6.根据权利要求5所述的一种基于深度学习的单幅图像去雪花装置,其特征在于,所述提取模块包括:注意力机制单元,
所述注意力机制单元,用于通过对比学习成对的含雪与无雪图像,来识别图像中的雪花,从而提取雪花像素的特征。
7.根据权利要求5所述的一种基于深度学习的单幅图像去雪花装置,其特征在于,所述所述装置还包括:
计算模块,用于通过感知损失计算无雪图像生成部分输出图像的特征与对应的干净背景图像之间的全局差异。
8.一种基于深度学习的单幅图像去雪花装置,其特征在于,所述装置包括:处理器和存储器,所述存储器中存储有程序指令,所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-4中的任一项所述的方法步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时使所述处理器执行权利要求1-4中的任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011297039.6A CN112288738B (zh) | 2020-11-18 | 2020-11-18 | 基于深度学习的单幅图像去雪花方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011297039.6A CN112288738B (zh) | 2020-11-18 | 2020-11-18 | 基于深度学习的单幅图像去雪花方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112288738A true CN112288738A (zh) | 2021-01-29 |
CN112288738B CN112288738B (zh) | 2022-07-29 |
Family
ID=74398156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011297039.6A Active CN112288738B (zh) | 2020-11-18 | 2020-11-18 | 基于深度学习的单幅图像去雪花方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112288738B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190005684A1 (en) * | 2017-06-28 | 2019-01-03 | Deepmind Technologies Limited | Generalizable medical image analysis using segmentation and classification neural networks |
US10176405B1 (en) * | 2018-06-18 | 2019-01-08 | Inception Institute Of Artificial Intelligence | Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations |
CN109447918A (zh) * | 2018-11-02 | 2019-03-08 | 北京交通大学 | 基于注意力机制的单幅图像去雨方法 |
CN110866879A (zh) * | 2019-11-13 | 2020-03-06 | 江西师范大学 | 一种基于多密度雨纹感知的图像去雨方法 |
CN110992275A (zh) * | 2019-11-18 | 2020-04-10 | 天津大学 | 一种基于生成对抗网络的细化单幅图像去雨方法 |
CN111127346A (zh) * | 2019-12-08 | 2020-05-08 | 复旦大学 | 基于部分到整体注意力机制的多层次图像修复方法 |
CN111275627A (zh) * | 2019-02-27 | 2020-06-12 | 中国科学院沈阳自动化研究所 | 一种基于雪模型和深度学习融合的图像去雪算法 |
CN111445465A (zh) * | 2020-03-31 | 2020-07-24 | 江南大学 | 基于深度学习的光场图像雪花或雨带检测去除方法及设备 |
CN111738124A (zh) * | 2020-06-15 | 2020-10-02 | 西安电子科技大学 | 基于Gabor变换和注意力的遥感图像云检测方法 |
CN111915522A (zh) * | 2020-07-31 | 2020-11-10 | 天津中科智能识别产业技术研究院有限公司 | 一种基于注意力机制的图像修复方法 |
CN111951191A (zh) * | 2020-08-14 | 2020-11-17 | 新疆大学 | 一种视频图像去雪方法、装置及存储介质 |
WO2021179826A1 (zh) * | 2020-03-09 | 2021-09-16 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
-
2020
- 2020-11-18 CN CN202011297039.6A patent/CN112288738B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190005684A1 (en) * | 2017-06-28 | 2019-01-03 | Deepmind Technologies Limited | Generalizable medical image analysis using segmentation and classification neural networks |
US10176405B1 (en) * | 2018-06-18 | 2019-01-08 | Inception Institute Of Artificial Intelligence | Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations |
CN109447918A (zh) * | 2018-11-02 | 2019-03-08 | 北京交通大学 | 基于注意力机制的单幅图像去雨方法 |
CN111275627A (zh) * | 2019-02-27 | 2020-06-12 | 中国科学院沈阳自动化研究所 | 一种基于雪模型和深度学习融合的图像去雪算法 |
CN110866879A (zh) * | 2019-11-13 | 2020-03-06 | 江西师范大学 | 一种基于多密度雨纹感知的图像去雨方法 |
CN110992275A (zh) * | 2019-11-18 | 2020-04-10 | 天津大学 | 一种基于生成对抗网络的细化单幅图像去雨方法 |
CN111127346A (zh) * | 2019-12-08 | 2020-05-08 | 复旦大学 | 基于部分到整体注意力机制的多层次图像修复方法 |
WO2021179826A1 (zh) * | 2020-03-09 | 2021-09-16 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
CN111445465A (zh) * | 2020-03-31 | 2020-07-24 | 江南大学 | 基于深度学习的光场图像雪花或雨带检测去除方法及设备 |
CN111738124A (zh) * | 2020-06-15 | 2020-10-02 | 西安电子科技大学 | 基于Gabor变换和注意力的遥感图像云检测方法 |
CN111915522A (zh) * | 2020-07-31 | 2020-11-10 | 天津中科智能识别产业技术研究院有限公司 | 一种基于注意力机制的图像修复方法 |
CN111951191A (zh) * | 2020-08-14 | 2020-11-17 | 新疆大学 | 一种视频图像去雪方法、装置及存储介质 |
Non-Patent Citations (4)
Title |
---|
LIN GAO等: "RASWNet: An Algorithm That Can Remove All Severe Weather Features from a Degraded Image", 《IEEE ACCESS》, vol. 8, 21 April 2020 (2020-04-21), pages 76002 - 76018, XP011786033, DOI: 10.1109/ACCESS.2020.2989355 * |
Y. WANG等: "A Hierarchical Approach for Rain or Snow Removing in a Single Color Image", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 26, no. 8, 26 May 2017 (2017-05-26), pages 3936 - 3950, XP011653028, DOI: 10.1109/TIP.2017.2708502 * |
丁明航等: "基于注意力生成对抗网络的图像超分辨率重建方法", 《计算机系统应用》, 15 February 2020 (2020-02-15), pages 205 - 211 * |
张峥: "基于多尺度特征融合的单帧图像去雨生成算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 June 2020 (2020-06-15), pages 138 - 1062 * |
Also Published As
Publication number | Publication date |
---|---|
CN112288738B (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113673307B (zh) | 一种轻量型的视频动作识别方法 | |
CN108509978B (zh) | 基于cnn的多级特征融合的多类目标检测方法及模型 | |
JP4964159B2 (ja) | ビデオのフレームのシーケンスにおいてオブジェクトを追跡するコンピュータに実装される方法 | |
CN111861925B (zh) | 一种基于注意力机制与门控循环单元的图像去雨方法 | |
CN110276354B (zh) | 一种高分辨率街景图片语义分割训练与实时分割方法 | |
CN111563508A (zh) | 一种基于空间信息融合的语义分割方法 | |
CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
CN111696110B (zh) | 场景分割方法及系统 | |
CN111915530A (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
CN113870335A (zh) | 一种基于多尺度特征融合的单目深度估计方法 | |
CN114936605A (zh) | 基于知识蒸馏的神经网络训练方法、设备及存储介质 | |
CN114048822A (zh) | 一种图像的注意力机制特征融合分割方法 | |
CN111382759A (zh) | 一种像素级分类方法、装置、设备及存储介质 | |
CN113807361A (zh) | 神经网络、目标检测方法、神经网络训练方法及相关产品 | |
CN113066025A (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
CN115115698A (zh) | 设备的位姿估计方法及相关设备 | |
Nguyen et al. | UnfairGAN: An enhanced generative adversarial network for raindrop removal from a single image | |
CN113393385B (zh) | 基于多尺度融合的无监督去雨方法、系统、装置及介质 | |
Cho et al. | Modified perceptual cycle generative adversarial network-based image enhancement for improving accuracy of low light image segmentation | |
CN114202473A (zh) | 一种基于多尺度特征和注意力机制的图像复原方法及装置 | |
CN116342675B (zh) | 一种实时单目深度估计方法、系统、电子设备及存储介质 | |
CN117197438A (zh) | 一种基于视觉显著性的目标检测方法 | |
CN112288738B (zh) | 基于深度学习的单幅图像去雪花方法、装置及存储介质 | |
Jia et al. | Single-image snow removal based on an attention mechanism and a generative adversarial network | |
CN115115860A (zh) | 一种基于深度学习的图像特征点检测匹配网络 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |