CN112288738B - 基于深度学习的单幅图像去雪花方法、装置及存储介质 - Google Patents

基于深度学习的单幅图像去雪花方法、装置及存储介质 Download PDF

Info

Publication number
CN112288738B
CN112288738B CN202011297039.6A CN202011297039A CN112288738B CN 112288738 B CN112288738 B CN 112288738B CN 202011297039 A CN202011297039 A CN 202011297039A CN 112288738 B CN112288738 B CN 112288738B
Authority
CN
China
Prior art keywords
image
snow
free
snowflake
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011297039.6A
Other languages
English (en)
Other versions
CN112288738A (zh
Inventor
贾振红
贾爱文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang University
Original Assignee
Xinjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang University filed Critical Xinjiang University
Priority to CN202011297039.6A priority Critical patent/CN112288738B/zh
Publication of CN112288738A publication Critical patent/CN112288738A/zh
Application granted granted Critical
Publication of CN112288738B publication Critical patent/CN112288738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的单幅图像去雪花方法、装置及存储介质，所述方法包括：通过注意力机制，将成对的具有相同背景的含雪和无雪图像作为输入，根据网络的自动学习能力，提取雪花像素的特征生成雪花注意力图；将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入，利用U‑net网络以及残差网络恢复出无雪图像；将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入，用以训练判别器判断真假图像的能力；采用训练后的判别器对输入的图像进行特征提取，通过提取到的特征做出判断，从而使得生成器生成的图像越来越接近真实的无雪图像。本发明处理后的图像中雪花去除效果很好，而且较原图像能保留更多的细节特征；在修复被雪花覆盖的像素时避免了图像失真与模糊等问题。

Description

基于深度学习的单幅图像去雪花方法、装置及存储介质
技术领域
本发明涉及图像去噪技术，属于图像处理领域，尤其涉及一种基于深度学习的单幅图像去雪花方法、装置及存储介质。
背景技术
雪花作为一种特殊的天气现象，会降低背景场景的能见度，影响图像的清晰度，使得图像中有用的信息减少。对后续的图像处理任务产生巨大的负面效果，例如：目标检测、场景分析，以及其他的图像处理任务。尤其是在人工智能的应用方向上，大多数情况下需要清晰干净的图像来提取和处理正确的信息。因此，从单一图像中去除雪花具有重要的研究意义。
尽管目前大多数高光去除算法取得了一些成就，但还存在以下问题：
第一、大多数方法使用的是传统的建模方法，仅使用了雪花的一个或几个空间特征，使得基于建模的方法在实际的应用中泛用性不强；
第二、目前注意力机制在单幅图像去雪花方向没有得到广泛的应用，而且一般的U-net(U型结构网络)在修复雪花像素时存在图像失真等问题。
发明内容
针对单幅图像中雪花检测与修复任务，本发明提供了一种基于深度学习的单幅图像去雪花方法、装置及存储介质，处理后的图像中雪花去除效果很好，而且较原图像能保留更多的细节特征；在修复被雪花覆盖的像素时避免了图像失真与模糊等问题，详见下文描述：
第一方面，一种基于深度学习的单幅图像去雪花方法方法，所述方法包括：
通过注意力机制，将成对的具有相同背景的含雪和无雪图像作为输入，根据网络的自动学习能力，提取雪花像素的特征生成雪花注意力图；
将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入，利用U-net网络以及残差网络恢复出无雪图像；
将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入，用以训练判别器判断真假图像的能力；
采用训练后的判别器对输入的图像进行特征提取，通过提取到的特征做出判断，从而使得生成器生成的图像越来越接近真实的无雪图像。
在一种实现方式中，所述注意力机制通过对比学习成对的含雪与无雪图像，来识别图像中的雪花，从而提取雪花像素的特征。
在一种实现方式中，所述无雪图像生成部分包括：编码部分和解码部分，
编码部分包含4个下采样层，每个下采样层包含一个卷积层和激活层；在每一个下采样层中，将图像的分辨率降为原来的1/2，同时提取的特征数变为原来的两倍；将第一个下采样层输入的特征数设置为32，图像的分辨率为256*256；通过4层下采样操作后，得到的特征数为512，图像的分辨率为16*16；在U-net的第五层，使用残差网络来提高网络的感受野；
解码部分使用了跳跃连接，将下采样层的输出与具有相同分辨率的上采样层输出合并，输入到下一上采样层中；上采样层结构与下采样层结构相同，每一个上采样层使得图像的分辨率变为原来的两倍，特征数降为原来的1/2；经过4层上采样操作，得到解码后的无雪图像特征，特征数为32，图像分辨率为256*256；通过Tanh层，使用无雪图像特征恢复出彩色的无雪图像。
在一种实现方式中，所述方法通过感知损失计算无雪图像生成部分输出图像的特征与对应的干净背景图像之间的全局差异。
第二方面，一种基于深度学习的单幅图像去雪花装置，所述装置包括：
提取模块，用于通过注意力机制，将成对的具有相同背景的含雪和无雪图像作为输入，根据网络的自动学习能力，提取雪花像素的特征生成雪花注意力图；
无雪图像生成模块，用于将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入，利用U-net网络以及残差网络恢复出无雪图像；
训练模块，用于将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入，用以训练判别器判断真假图像的能力；
生成模块，用于采用训练后的判别器对输入的图像进行特征提取，通过提取到的特征做出判断，从而使得生成器生成的图像越来越接近真实的无雪图像。
在一种实现方式中，所述提取模块包括：注意力机制单元，
所述注意力机制单元，用于通过对比学习成对的含雪与无雪图像，来识别图像中的雪花，从而提取雪花像素的特征。
在一种实现方式中，所述装置还包括：
计算模块，用于通过感知损失计算无雪图像生成部分输出图像的特征与对应的干净背景图像之间的全局差异。
第三方面，一种基于深度学习的单幅图像去雪花装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面所述的方法步骤。
第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面所述的方法步骤。
本发明提供的技术方案的有益效果是：
1、本发明利用神经网络的自我学习能力，自动提取图片中雪花像素的特征，从而提高了单幅图像雪花检测的效率；
2、本发明在雪花像素恢复时使用U-net与空洞卷积，在少量提高网络参数的情况下，提高了修复后无雪图像的质量。
附图说明
图1为一种基于深度学习的单幅图像去雪花方法的流程图；
图2为一种基于深度学习的单幅图像去雪花方法的另一流程图；
图3为雪花注意图生成部分的示意图；
图4为无雪图像生成部分的示意图；
图5为判别器的示意图；
图6为用到的两种残差块的示意图；
图7为含雪图像及网络生成的雪花注意力图的示意图；
图8为合成含雪图像的示意图；
图9为对图8处理后得到的无雪图像的示意图；
图10为真实含雪图像的示意图；
图11为对图10处理后得到的无雪图像的示意图；
图12为一种基于深度学习的单幅图像去雪花装置的结构示意图；
图13为基于深度学习的单幅图像去雪花的结构示意图；
图14为一种基于深度学习的单幅图像去雪花装置的另一结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
本发明实施例采用的实验对象包括合成的下雪图像以及现实生活中的随机拍摄的下雪图像，针对含雪图像中信息丢失的问题，本发明实施例提出了一种基于深度学习的单幅图像去雪花方法，参见图1，该方法包括以下步骤：
步骤101：以单幅图像去雪花模型为基础，其中描述单幅含雪图像表示如下：
Figure BDA0002785713440000041
其中，I表示输入的含雪图像，B表示干净的背景像素，S表示雪花像素，M表示雪花像素的掩模，操作
Figure BDA0002785713440000042
表示以元素相乘。本发明实施例将单幅含雪图像作为雪花与无雪背景的组合。
步骤102：通过注意力机制，将成对的具有相同背景的含雪和无雪图像作为输入，根据网络的自动学习能力，提取雪花像素的特征生成雪花注意力图；
步骤103：将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入，利用U-net网络以及残差网络恢复出无雪图像；
步骤104：将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入，用以训练判别器判断真假图像的能力；
步骤105：采用训练后的判别器对输入的图像进行特征提取，通过提取到的特征做出判断，从而使得生成器生成的图像越来越接近真实的无雪图像。
即，生成器的训练过程是尽可能的让判别器犯错，而判别器的训练过程则是提高区分真实样本和由生成器生成的假样本的能力。通过不断训练使得生成器的能力改善，能够生成与真实样本相似的假样本。通过不断地训练同时提高生成器和判别器的能力，从而达到单幅图像去雪花操作。
综上所述，本发明实施例通过上述步骤101-步骤105对单幅图像进行雪花检测与修复，处理后的图像中雪花去除效果很好，而且较原图像能保留更多的细节特征；在修复被雪花覆盖的像素时避免了图像失真与模糊等问题。
下面结合图2-图11、具体的计算公式，对上述实施例中的一种基于深度学习的单幅图像去雪方法进行详细地细化和扩展，该方法包括以下步骤：
步骤201：以单幅图像去雪花模型为基础，获取单幅含雪图像；
其中，该步骤的具体操作参见上述实施例中的步骤101，本发明实施例在此不作赘述。
步骤202：注意力机制通过对比学习成对的含雪与无雪图像，来识别图像中的雪花，从而提取雪花像素的特征；
在训练注意力机制部分时，使用雪花注意力图与相应的雪花二值掩模之间的均方误差(MSE)作为该模块的损失函数，该损失函数可表示为：
Figure BDA0002785713440000051
其中，At表示注意力估计模块在第t次训练时产生的注意力图，
Figure BDA0002785713440000057
表示均方误差函数，α表示可调参数，本发明实施例中以数值0.7为例进行说明，A表示训练中生成的注意力图，N表示使用的注意力生成模块的个数，本发明实施例中以数值4为例进行说明，
Figure BDA0002785713440000058
表示损失函数，{A}表示一次训练中生成的注意力图的集合。具体实现时，本发明实施例对上述的取值不做限制。
At的表达式为：At＝AMLt(Ft-1,Ht-1,Ct-1)，Ft-1是输入图像和前一次训练产生的注意力图的拼接；Ht-1表示上一模块中LSTM的最终输出，Ct-1表示上一模块中LSTM输出的状态门的值。
LSTM单元包含了输入门it，遗忘门ft，输出门ot以及单元状态门Ct。状态门与其他门的相互作用定义如下：
Figure BDA0002785713440000052
Figure BDA0002785713440000053
Figure BDA0002785713440000054
Figure BDA0002785713440000055
Figure BDA0002785713440000056
其中，σ表示激活函数，本方法中使用sigmod函数；Wxi表示输入门参数矩阵1；Whi表示输入门参数矩阵2；Wci表示输入门参数矩阵3；bi表示输入门偏置常数矩阵；Wxf表示遗忘门参数矩阵1；Whf表示遗忘门参数矩阵2；Wcf表示遗忘门参数矩阵3；bf表示遗忘门偏置常数矩阵；Wxc表示单元状态门参数矩阵1；Whc表示单元状态门参数矩阵2；bc表示单元状态门偏置常数矩阵；Wxo表示输出门参数矩阵1；Xt表示当前输入数据；Who表示输出门参数矩阵2；Wco表示输出门参数矩阵3；bo表示输出门偏置常数矩阵；ot表示输出门输出。
当t＝1时，Ft-1为输入图像与初始注意力图像的拼接，定义初始注意力图的值为0.5，函数AMLt表示第t次训练时的注意力估计模块。在本发明实施例中，设定N＝4，α＝0.7。具体实现时，本发明实施例对上述的取值不做限制。
步骤203：在无雪图像生成部分，将网络分为编码部分和解码部分。
1、编码部分包含4个下采样层，其中，每个下采样层包含一个卷积层和激活层。在每一个下采样层中，将图像的分辨率降为原来的1/2，同时提取的特征数变为原来的两倍。将第一个下采样层输入的特征数设置为32，图像的分辨率为256*256。通过4层下采样操作后，得到的特征数为512，图像的分辨率为16*16。在U-net的第五层，使用残差网络2来提高网络的感受野，在少量增加网络参数的情况下提高生成无雪图像的质量。
2、在解码部分，为了更好地保存图像的细节信息，使用了跳跃连接，将下采样层的输出与具有相同分辨率的上采样层输出合并，输入到下一上采样层中。上采样层结构与下采样层结构相同，但是作用相反。每一个上采样层使得图像的分辨率变为原来的两倍，特征数降为原来的1/2。经过4层上采样操作，得到的解码后的无雪图像特征，其中特征数为32，图像分辨率为256*256。最后通过Tanh层(激活函数)，使用无雪图像特征恢复出彩色的无雪图像。
为了解决传统的U-net在图像修复时并不能完全的将雪花像素复原，本发明实施例在U-net的第五层使用残差网络，在少量增加参数量的情况下解决了雪花像素修复的问题。
为了计算不同层级之间产生的不同尺度的生成图像与原图像在像素上的差异，本发明实施例采用平均绝对误差(MAE)来表示此差异，该网络的损失函数定义为：
Figure BDA0002785713440000061
其中，
Figure BDA0002785713440000062
表示无雪图像生成部分的损失函数，{R}表示解码器输出图像的集合，{T}表示真实图像集合，
Figure BDA0002785713440000063
表示平均绝对误差函数，Ri表示解码器的第i个输出图像，Ti表示相应的无雪背景。βi表示不同尺度下的不同的损失权重，I为解码器的层数，本发明实施例以5层为例进行说明。在本发明实施例中，将β设置为0.5,0.6,0.8,1，分别对应原图尺度的1/8,1/4,1/2,1时的中间输出以及最终输出。具体实现时，本发明实施例对上述的取值不做限制。
此外，本发明实施例同时使用了一种感知损失[1]来计算无雪图像生成模块输出图像的特征与对应的干净背景图像之间的全局差异。这些特征可以通过一个训练好的CNN网络来提取，例如在ImageNet数据集上训练好的VGG16网络。该损失函数定义如下：
Figure BDA0002785713440000071
其中，
Figure BDA0002785713440000072
表示感知损失函数，Oi表示生成器最终的输出图像，Ti表示相对应的干净的背景图像，VGG是一个已经训练好的CNN(卷积神经网络)，用以提取图像的特征，{O}表示输入图像集合。
综合上述的损失函数，生成器部分可以表示为：
Figure BDA0002785713440000073
其中，
Figure BDA0002785713440000074
表示生成器的总损失函数，
Figure BDA0002785713440000075
O表示生成器最终的输出图像。
步骤204：判别器的损失函数定义如下：
Figure BDA0002785713440000076
其中，
Figure BDA0002785713440000077
表示判别器损失函数，T是真实的无雪图像，I为输入的含雪图像，D(T)为输入为真实图像时判别器的输出，D(G(I)为输入为生成图像时判别器的输出。
步骤205：生成器与判别器同时训练，通过同时训练不断更新网络参数，提高两部分的网络性能。
基于同一发明构思，作为上述方法的实现，参见图12，本发明实施例还提供了一种基于深度学习的单幅图像去雪方法装置，该装置包括：提取模块1，用于通过注意力机制，将成对的具有相同背景的含雪和无雪图像作为输入，根据网络的自动学习能力，提取雪花像素的特征生成雪花注意力图；
无雪图像生成模块2，用于将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入，利用U-net网络以及残差网络恢复出无雪图像；
训练模块3，用于将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入，用以训练判别器判断真假图像的能力；
生成模块4，用于采用训练后的判别器对输入的图像进行特征提取，通过提取到的特征做出判断，从而使得生成器生成的图像越来越接近真实的无雪图像。
在一种实现方式中，该提取模块1包括：注意力机制单元，
所述注意力机制单元，用于通过对比学习成对的含雪与无雪图像，来识别图像中的雪花，从而提取雪花像素的特征。
在一种实现方式中，参见图13，该装置还包括：
计算模块5，用于通过感知损失计算无雪图像生成部分输出图像的特征与对应的干净背景图像之间的全局差异。
这里需要指出的是，以上实施例中的装置描述是与上述方法实施例描述相对应的，本发明实施例在此不做赘述。
上述各个模块、单元的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
基于同一发明构思，本发明实施例还提供了一种基于深度学习的单幅图像去雪方法装置，参见图14，该装置包括：处理器6和存储器7，存储器7中存储有程序指令，处理器6调用存储器7中存储的程序指令以使装置执行实施例中的以下方法步骤：
通过注意力机制，将成对的具有相同背景的含雪和无雪图像作为输入，根据网络的自动学习能力，提取雪花像素的特征生成雪花注意力图；
将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入，利用U-net网络以及残差网络恢复出无雪图像；
将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入，用以训练判别器判断真假图像的能力；
采用训练后的判别器对输入的图像进行特征提取，通过提取到的特征做出判断，从而使得生成器生成的图像越来越接近真实的无雪图像。
在一种实现方式中，注意力机制通过对比学习成对的含雪与无雪图像，来识别图像中的雪花，从而提取雪花像素的特征。
这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
上述的处理器和存储器的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
存储器7和处理器6之间通过总线8传输数据信号，本发明实施例对此不做赘述。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。
该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
参考文献
[1]J.Johnson,A.Alahi,and L.Fei-Fei,"Perceptual losses for real-timestyle transfer and super-resolution,"in European conference on computervision,2016,pp.694-711.
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习的单幅图像去雪花方法，其特征在于，所述方法包括：
通过注意力机制，将成对的具有相同背景的含雪和无雪图像作为输入，根据网络的自动学习能力，提取雪花像素的特征生成雪花注意力图；
将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入，利用U-net网络以及残差网络恢复出无雪图像；
将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入，用以训练判别器判断真假图像的能力；
采用训练后的判别器对输入的图像进行特征提取，通过提取到的特征做出判断，从而使得生成器生成的图像越来越接近真实的无雪图像；
其中，所述注意力机制通过对比学习成对的含雪与无雪图像，来识别图像中的雪花，从而提取雪花像素的特征；
使用雪花注意力图与相应的雪花二值掩模之间的均方误差作为损失函数，表示为：
Figure FDA0003653889580000011
其中，At表示注意力估计模块在第t次训练时产生的注意力图，lMSE表示均方误差函数，α表示可调参数，A表示训练中生成的注意力图，N表示使用的注意力生成模块的个数，lAML表示损失函数，{A}表示一次训练中生成的注意力图的集合；M表示雪花像素的掩模；
At的表达式为：At＝AMLt(Ft-1,Ht-1,Ct-1)，Ft-1是输入图像和前一次训练产生的注意力图的拼接；Ht-1表示上一模块中LSTM的最终输出，Ct-1表示上一模块中LSTM输出的状态门的值；AMLt表示第t次训练时的注意力估计模块；
其中，所述无雪图像生成部分包括：编码部分和解码部分，
编码部分包含4个下采样层，每个下采样层包含一个卷积层和激活层；在每一个下采样层中，将图像的分辨率降为原来的1/2，同时提取的特征数变为原来的两倍；将第一个下采样层输入的特征数设置为32，图像的分辨率为256*256；通过4层下采样操作后，得到的特征数为512，图像的分辨率为16*16；在U-net的第五层，使用残差网络来提高网络的感受野；
解码部分使用了跳跃连接，将下采样层的输出与具有相同分辨率的上采样层输出合并，输入到下一上采样层中；上采样层结构与下采样层结构相同，每一个上采样层使得图像的分辨率变为原来的两倍，特征数降为原来的1/2；经过4层上采样操作，得到解码后的无雪图像特征，特征数为32，图像分辨率为256*256；通过Tanh层，使用无雪图像特征恢复出彩色的无雪图像。
2.根据权利要求1所述的一种基于深度学习的单幅图像去雪花方法，其特征在于，所述方法通过感知损失计算无雪图像生成部分输出图像的特征与对应的干净背景图像之间的全局差异。
3.一种基于深度学习的单幅图像去雪花装置，其特征在于，所述装置用于执行权利要求1中的所述方法步骤，所述装置包括：
提取模块，用于通过注意力机制，将成对的具有相同背景的含雪和无雪图像作为输入，根据网络的自动学习能力，提取雪花像素的特征生成雪花注意力图；
无雪图像生成模块，用于将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入，利用U-net网络以及残差网络恢复出无雪图像；
训练模块，用于将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入，用以训练判别器判断真假图像的能力；
生成模块，用于采用训练后的判别器对输入的图像进行特征提取，通过提取到的特征做出判断，从而使得生成器生成的图像越来越接近真实的无雪图像。
4.根据权利要求3所述的一种基于深度学习的单幅图像去雪花装置，其特征在于，所述提取模块包括：注意力机制单元，
所述注意力机制单元，用于通过对比学习成对的含雪与无雪图像，来识别图像中的雪花，从而提取雪花像素的特征。
5.根据权利要求3所述的一种基于深度学习的单幅图像去雪花装置，其特征在于，所述装置还包括：
计算模块，用于通过感知损失计算无雪图像生成部分输出图像的特征与对应的干净背景图像之间的全局差异。
6.一种基于深度学习的单幅图像去雪花装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-2中的任一项所述的方法步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行权利要求1-2中的任一项所述的方法步骤。
CN202011297039.6A 2020-11-18 2020-11-18 基于深度学习的单幅图像去雪花方法、装置及存储介质 Active CN112288738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011297039.6A CN112288738B (zh) 2020-11-18 2020-11-18 基于深度学习的单幅图像去雪花方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011297039.6A CN112288738B (zh) 2020-11-18 2020-11-18 基于深度学习的单幅图像去雪花方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112288738A CN112288738A (zh) 2021-01-29
CN112288738B true CN112288738B (zh) 2022-07-29

Family

ID=74398156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011297039.6A Active CN112288738B (zh) 2020-11-18 2020-11-18 基于深度学习的单幅图像去雪花方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112288738B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992275A (zh) * 2019-11-18 2020-04-10 天津大学 一种基于生成对抗网络的细化单幅图像去雨方法
CN111275627A (zh) * 2019-02-27 2020-06-12 中国科学院沈阳自动化研究所 一种基于雪模型和深度学习融合的图像去雪算法
WO2021179826A1 (zh) * 2020-03-09 2021-09-16 Oppo广东移动通信有限公司 图像处理方法及相关产品

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3596697B1 (en) * 2017-06-28 2021-03-17 Deepmind Technologies Limited Generalizable medical image analysis using segmentation and classification neural networks
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
CN109447918A (zh) * 2018-11-02 2019-03-08 北京交通大学 基于注意力机制的单幅图像去雨方法
CN110866879B (zh) * 2019-11-13 2022-08-05 江西师范大学 一种基于多密度雨纹感知的图像去雨方法
CN111127346B (zh) * 2019-12-08 2023-09-05 复旦大学 基于部分到整体注意力机制的多层次图像修复方法
CN111445465B (zh) * 2020-03-31 2023-06-16 江南大学 基于深度学习的光场图像雪花或雨带检测去除方法及设备
CN111738124B (zh) * 2020-06-15 2023-08-22 西安电子科技大学 基于Gabor变换和注意力的遥感图像云检测方法
CN111915522A (zh) * 2020-07-31 2020-11-10 天津中科智能识别产业技术研究院有限公司 一种基于注意力机制的图像修复方法
CN111951191B (zh) * 2020-08-14 2022-05-24 新疆大学 一种视频图像去雪方法、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275627A (zh) * 2019-02-27 2020-06-12 中国科学院沈阳自动化研究所 一种基于雪模型和深度学习融合的图像去雪算法
CN110992275A (zh) * 2019-11-18 2020-04-10 天津大学 一种基于生成对抗网络的细化单幅图像去雨方法
WO2021179826A1 (zh) * 2020-03-09 2021-09-16 Oppo广东移动通信有限公司 图像处理方法及相关产品

Also Published As

Publication number Publication date
CN112288738A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN108509978B (zh) 基于cnn的多级特征融合的多类目标检测方法及模型
JP4964159B2 (ja) ビデオのフレームのシーケンスにおいてオブジェクトを追跡するコンピュータに実装される方法
CN111462013B (zh) 一种基于结构化残差学习的单图去雨方法
CN111861925B (zh) 一种基于注意力机制与门控循环单元的图像去雨方法
CN112308860A (zh) 基于自监督学习的对地观测图像语义分割方法
CN110503063B (zh) 基于沙漏卷积自动编码神经网络的跌倒检测方法
CN111915530A (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN111696110B (zh) 场景分割方法及系统
CN112508960A (zh) 一种基于改进注意力机制的低精度图像语义分割方法
CN113870335A (zh) 一种基于多尺度特征融合的单目深度估计方法
CN113807361B (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
CN114048822A (zh) 一种图像的注意力机制特征融合分割方法
CN111382759A (zh) 一种像素级分类方法、装置、设备及存储介质
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
CN113066025A (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
CN113269224A (zh) 一种场景图像分类方法、系统及存储介质
CN113393385B (zh) 基于多尺度融合的无监督去雨方法、系统、装置及介质
CN114202473A (zh) 一种基于多尺度特征和注意力机制的图像复原方法及装置
CN116342675B (zh) 一种实时单目深度估计方法、系统、电子设备及存储介质
Cho et al. Modified perceptual cycle generative adversarial network-based image enhancement for improving accuracy of low light image segmentation
CN117197438A (zh) 一种基于视觉显著性的目标检测方法
CN112288738B (zh) 基于深度学习的单幅图像去雪花方法、装置及存储介质
Jia et al. Single-image snow removal based on an attention mechanism and a generative adversarial network
CN115115860A (zh) 一种基于深度学习的图像特征点检测匹配网络
CN115760589A (zh) 一种用于运动模糊图像的图像优化方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant