CN111340738B - 一种基于多尺度渐进融合的图像去雨方法 - Google Patents
一种基于多尺度渐进融合的图像去雨方法 Download PDFInfo
- Publication number
- CN111340738B CN111340738B CN202010211418.2A CN202010211418A CN111340738B CN 111340738 B CN111340738 B CN 111340738B CN 202010211418 A CN202010211418 A CN 202010211418A CN 111340738 B CN111340738 B CN 111340738B
- Authority
- CN
- China
- Prior art keywords
- rain
- image
- scale
- fusion
- pyramid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000000750 progressive effect Effects 0.000 title claims abstract description 32
- 230000014509 gene expression Effects 0.000 claims abstract description 41
- 238000005070 sampling Methods 0.000 claims abstract description 23
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多尺度渐进融合的图像去雨方法，包括雨图像的金字塔分解，雨条纹的关联性学习，多尺度特征的渐进融合和重建。在雨图像的金字塔分解过程中，利用不同尺度的高斯采样算子对原始雨图像进行采样分解；在雨条纹的关联性学习过程中，利用非局部网络学习全局的纹理特征关联；在多尺度特征的渐进融合和重建过程中，利用多尺度金字塔网络分别处理对应尺度的特征，同时渐进融合多尺度雨条纹信息来辅助最高金字塔层的特征表达，实现雨条纹信息的多尺度融合，重建残差雨图像，再从雨图像中减去残差图像，得到无雨图像。本发明有效利用了同一尺度和不同尺度图像中雨条纹的相关性，更准确地建模雨条纹，达到更好的去雨效果。
Description
技术领域
本发明属于数字图像技术领域，涉及一种图像去雨方法，具体涉及一种基于多尺度渐进融合的图像去雨方法。
背景技术
雨天所获得的图像或视频数据遭受严重的降质，极大影响图像或视频内容的质量和可读性，从而干扰下游的高层次计算机视觉任务的精度。因此，单张图像雨条纹移除是一项改善图像视觉体验的基本处理，也是许多计算机视觉任务(如分割、检测、跟踪、识别、分类等等)的重要预处理步骤。
由于深度学习，特别是卷积神经网络(CNN)在图像处理领域取得了较好的成果，近年来，基于深度学习的图像去雨方法被相继提出并得到了迅速发展。2017年，Fu等最先构建一个三层的CNN来同时评估雨条纹和进行图像去雨。2018年，Zhang等通过考虑雨条纹的密度信息，提出了一个多任务的深度神经网络实现雨条纹密度的评估和移除。2019年，Yang等人提出了多阶段的循环神经网络，通过阶段性的去雨实现图像的效果复原，降低了去雨难度。
现有基于深度学习的单张图像去雨模型利用卷积神经网络，直接学习带雨图像和干净图像之间的差异。这种方式虽然可以去除大部分的雨条纹，但却没有考虑雨条纹的相似性，未能充分发掘雨图像中不同尺度雨条纹的相关信息。由于对多尺度雨条纹信息的开发利用不够，对于复杂的降雨场景，现有去雨方法不能产生理想的修复结果。
发明内容
为了解决上述技术问题，本发明提供了一种基于多尺度渐进融合的图像去雨方法。与早期基于深度学习的单尺度图像去雨方法相比，该方法通过非局部网络来学习全局特征的长程依赖性，辅助目标雨条纹的建模；同时利用多尺度金字塔网络实现不同尺度雨条纹信息的提取和融合。通过联合非局部网络和多尺度渐进融合机制，实现多尺度雨条纹的协同表达，以取得理想的去雨效果。
本发明所采用的技术方案是：一种基于多尺度渐进融合的图像去雨方法，其特征在于，包括以下步骤：
步骤1：构建雨图像数据集，包括训练数据和测试数据；选取部分雨图像数据Y，裁剪得到N×N大小的图像块，作为训练样本；其中，N为预设值；
步骤2：分批次将步骤1中带雨图像块输入到卷积神经网络中，在进行特征提取之前先利用高斯采样算子对带雨图像块进行采样，得到雨图像金字塔；
步骤3：将获得的雨图像金字塔输入到非局部网络，利用若干个非局部操作分别计算每一个金字塔层输入图像的全局特征关联，即计算所有像素对每一个像素的相关性，获得相关性矩阵f(xi,xj)，xi和xj分别表示位置i和位置j的特征；
步骤4：将步骤3中学习的得到的相关性矩阵用Softmax函数进行归一化，赋值权重到0-1之间，获得对应位置的全局融合权重矩阵fsoftmax(xi,xj)；
步骤5：利用非线性函数对所有位置的特征信息进行变换，映射到嵌入空间，得到全局特征的嵌入表达，其中，g(xj)表示位置j的嵌入表达；
步骤6：将步骤4中得到的全局融合权重矩阵与步骤5中提取的所有位置的嵌入表达进行矩阵乘法，计算所有像素点对每一个参考像素点的关联特征；
步骤7：将步骤6中得到的全局的关联特征通过卷积操作映射到原始空间，并与原始输入进行融合，获得强化后的全局融合特征；
步骤8：对每一个金字塔层的输入图像重复步骤3-7，并将输出的特征信息输入到多尺度金字塔网络；
步骤9：将构建多尺度金字塔网络，用于带雨图像的多尺度金字塔分解、雨条纹的关联学习和多尺度特征的渐进融合和重建；利用构建的多尺度金字塔网络分别处理对应尺度的特征信息，同时利用所有低分辨率金字塔层的输出和前一阶段的特征信息来引导当前金字塔层的雨条纹表达；通过迭代的采样和融合，实现不同金字塔层间多尺度雨条纹信息的协同表达；
步骤10：将步骤7中得到的强化后的全局融合特征和步骤9得到的多尺度雨条纹信息的协同表达特征利用步骤9中的多尺度渐进融和机制进行进一步的融合，实现对原始雨图像中雨条纹的同尺度和跨尺度协同表达，并输出对应的残差雨图像；通过从原始雨图像中减去回归得到的残差雨图像，输出干净的无雨图像；
步骤11：通过最小化步骤10中输出的无雨图像和原始干净图像的余弦距离，优化多尺度金字塔网络，实现对带雨图像中雨条纹的去除。
本发明公开了一种基于多尺度渐进融合的图像去雨方法，包括雨图像的金字塔分解，雨条纹的关联性学习，多尺度雨条纹信息的渐进融合和残差雨图像的重建。本发明通过联合非局部网络和多尺度金字塔网络，发掘同一尺度和不同尺度图像中雨条纹的相关性，因而对于雨条纹的建模更准确，去雨效果更好。
附图说明
图1本发明实施例的流程图；
图2本发明实施例构建的多尺度金字塔网络结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于多尺度渐进融合的图像去雨方法，包括以下步骤：
步骤1：构建雨图像数据集，包括训练数据和测试数据；选取部分雨图像数据Y，裁剪得到N×N大小的图像块，作为训练样本；其中，N为预设值；
步骤2：分批次将步骤1中带雨图像块输入到卷积神经网络中，在进行特征提取之前先利用高斯采样算子对带雨图像块进行采样，得到雨图像金字塔；
本实施例中，通过不同尺度的高斯采样算子对带雨图像块进行多尺度采样，得到雨图像金字塔，具体利用算式：
In＝Gauss(I,n)；
其中，Gauss(·)表示高斯采样算子，I表示雨图像输入样本，In表示用采样因子为n的高斯采样算子获得的雨图像子样本。
为了获得不同尺度的雨图像子样本，本方法采用高斯卷积对原始雨图像进行采样，分别获得下采样↓2和↓4的子样本，与原始雨图像一起作为网络的输入。
步骤3：将获得的雨图像金字塔输入到非局部网络，利用若干个非局部操作分别计算每一个金字塔层输入图像的全局特征关联，即计算所有像素对每一个像素的相关性，获得相关性矩阵f(xi,xj)，xi和xj分别表示位置i和位置j的特征；
本实施例中，首先利用两个1×1卷积将位置i和j的特征映射到嵌入空间，具体利用算式：
其中，Wθ和
表示1×1卷积核参数，xi和xj分别表示位置i和位置j的特征，θ(xi)和
分别为xi和xj的嵌入表达；随后在嵌入空间计算参考位置i和所有位置j的特征相关性，具体利用算式：
其中，θ(xi)T表示θ(xi)的转置，并与
作矩阵乘法，得到相似性矩阵f(xi,xj)。
步骤4：将步骤3中学习的得到的相关性矩阵用Softmax函数进行归一化，赋值权重到0-1之间，获得对应位置的全局融合权重矩阵fsoftmax(xi,xj)；
本实施例中，利用Softmax函数对相似性矩阵进行归一化，将全局融合权重值映射到0-1之间，具体利用算式：
其中，C(x)为归一化函数，等同于
fsoftmax(xi,xj)表示全局融合权重矩阵；通过Softmax函数，对学习得到的相关性矩阵进行归一化赋值，使得每一个像素的全局融合权重矩阵的值都在0-1之间，即fsoftmax(xi,xj)。
步骤5：利用非线性函数对所有位置的特征信息进行变换，映射到嵌入空间，得到全局特征的嵌入表达，其中，g(xj)表示位置j的嵌入表达；
本实施例中，利用1×1卷积将对所有位置特征进行信息变换和嵌入表达，具体利用算式：
g(xj)＝Wgxj；
其中，Wg表示1×1卷积核参数，g(xj)表示为位置j的嵌入表达。
步骤6：将步骤4中得到的全局融合权重矩阵与步骤5中提取的所有位置的嵌入表达进行矩阵乘法，计算所有像素点对每一个参考像素点的关联特征；
本实施例中，将获得的全局融合权重矩阵fsoftmax(xi,xj)与所有位置的嵌入表达g(xj)进行矩阵乘法，计算所有位置对每一个位置特征的加权平均值y(xi)；即与当前雨条纹相近的区域融合权重尽量大，差异大的区域的融合权重尽可能小，具体利用算式：
其中，C(x)表示归一化函数.
步骤7：将步骤6中得到的全局的关联特征通过卷积操作映射到原始空间，并与原始输入进行融合，获得强化后的全局融合特征；
本实施例中，利用1×1卷积将全局的关联特征从嵌入空间转换到原始空间，并与原始输入xi进行融合，获得强化后的雨条纹表达z(xi)，具体利用算式：
z(xi)＝Wzy(xi)+xi；
其中，Wz表示转换卷积的参数。
步骤8：对每一个金字塔层的输入图像重复步骤3-7，并将输出的特征信息输入到多尺度金字塔网络；
步骤9：将构建的多尺度金字塔网络分别处理对应尺度的特征信息，同时利用所有低分辨率金字塔层的输出和前一阶段的特征信息来引导当前金字塔层的雨条纹表达；通过迭代的采样和融合，实现不同金字塔层间多尺度雨条纹信息的协同表达；
请见图2，本实施例构建的多尺度金字塔网络，主要包含三部分：带雨图像的多尺度金字塔分解，雨条纹的关联学习和多尺度特征的渐进融合和重建；第一部分是将输入的带雨图像利用不同尺度的高斯采样算子对原始雨图像进行采样分解，随后用若干3×3的卷积分别从对应尺度的输入图像中提取浅层特征。第二部分利用非局部网络学习雨条纹的全局纹理特征关联，主要包含三个非局部模块，每一个模块首先用两个1×1的卷积将位置i和j的特征映射到嵌入空间，并在嵌入空间计算参考位置i和所有位置j的特征相关性，得到相似性矩阵f(xi,xj)；随后将得到的相关性矩阵用Softmax函数进行归一化，赋值权重到0-1之间，获得对应位置的全局融合权重矩阵fsoftmax(xi,xj)；接着利用一个1×1的卷积对所有位置的特征信息进行变换，映射到嵌入空间，得到全局特征的嵌入表达；将全局融合权重矩阵与所有位置的嵌入表达进行矩阵乘法，计算所有像素点对每一个参考像素点的关联特征；最后，利用一个1×1卷积将全局的关联特征嵌入。第三部分主要是包括若干并行的多尺度注意力模块来处理多尺度的雨条纹特征；其中，一个基础的通道注意力模块包括两个3×3的卷积，用于强化特征表达，另外两个1×1的卷积用于调整通道数，并通过全局池化层和Sigmoid函数学习通道注意力权重，作用于强化特征实现雨条纹的精细化表达；最后，采用多个3×3的卷积，并联合多尺度渐进融和机制，实现对全局融合特征和多尺度雨条纹信息的同尺度和跨尺度协同表达，并输出对应的残差雨图像；通过从原始雨图像中减去回归得到的残差雨图像，输出得到干净的无雨图像。
本实施例中，利用所有低分辨率金字塔层的输出和前一阶段的特征信息来引导当前金字塔层的雨条纹表达，实现雨条纹信息的多尺度渐进融合，具体利用算式：
其中，Gi-1,n和Gi,n分别表示第n层金字塔前一阶段和当前阶段的输出，
表示所有n-1层低分辨率金字塔的输出，F()为卷积函数。
同时，为了强化对输入信息的提取，本实例采用通道注意力模块作为基础单元，通过学习特定尺度的雨条纹信息，引导多尺度信息的精细融合。通道注意力模块通过学习通道融合权重，能够引导网络专注于最具信息量的特定尺度特征，合理分配计算资源，实现更高效的多尺度融合和协同表达。
步骤10：将步骤7中得到的强化后的全局融合特征和步骤9得到的多尺度雨条纹信息的协同表达特征利用步骤9中的多尺度渐进融和机制进行进一步的融合，实现对原始雨图像中雨条纹的同尺度和跨尺度协同表达，并输出对应的残差雨图像；通过从原始雨图像中减去回归得到的残差雨图像，输出干净的无雨图像；
步骤11：通过最小化步骤10中输出的无雨图像和原始干净图像的余弦距离，优化多尺度金字塔网络，实现对带雨图像中雨条纹的去除。
本实施例中，使用基于Charbonnier损失函数来约束网络生成的无雨图像尽可能逼近干净的样本图像，实现多尺度渐进融合的单张图像雨去除方法的优化；Charbonnier损失函数作为L1范数的一个变体，通过加入了补偿项使训练过程更加稳定，同时避免生成的结果过于平滑；
具体利用算式：其中，
L(θ)＝argmin∑(x^2+ε^2)；
其中，L(θ)和θ分别表示本实施例的优化目标方程和参数，x表示生成的无雨图像与干净的样本图像的残差，其中补偿因子ε＝10-3。
本方法能够在降低计算消耗的同时，保证图像雨条纹移除的效果。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (9)
1.一种基于多尺度渐进融合的图像去雨方法，其特征在于，包括以下步骤：
步骤1：构建雨图像数据集，包括训练数据和测试数据；选取部分雨图像数据Y，裁剪得到N×N大小的图像块，作为训练样本；其中，N为预设值；
步骤2：分批次将步骤1中带雨图像块输入到卷积神经网络中，在进行特征提取之前先利用高斯采样算子对带雨图像块进行采样，得到雨图像金字塔；
步骤3：将获得的雨图像金字塔输入到非局部网络，利用若干个非局部操作分别计算每一个金字塔层输入图像的全局特征关联，即计算所有像素对每一个像素的相关性，获得相关性矩阵f(xi,xj)，xi和xj分别表示位置i和位置j的特征；
步骤4：将步骤3中学习得到的相关性矩阵用Softmax函数进行归一化，赋值权重到0-1之间，获得对应位置的全局融合权重矩阵fsoftmax(xi,xj)；
步骤5：利用非线性函数对所有位置的特征信息进行变换，映射到嵌入空间，得到全局特征的嵌入表达，其中，g(xj)表示位置j的嵌入表达；
步骤6：将步骤4中得到的全局融合权重矩阵与步骤5中提取的所有位置的嵌入表达进行矩阵乘法，计算所有像素点对每一个参考像素点的关联特征；
步骤7：将步骤6中得到的全局的关联特征通过卷积操作映射到原始空间，并与原始输入进行融合，获得强化后的全局融合特征；
步骤8：对每一个金字塔层的输入图像重复步骤3-7，并将输出的特征信息输入到多尺度金字塔网络；
步骤9：将构建的多尺度金字塔网络，用于带雨图像的多尺度金字塔分解、雨条纹的关联学习和多尺度特征的渐进融合和重建；利用构建的多尺度金字塔网络分别处理对应尺度的特征信息，同时利用所有低分辨率金字塔层的输出和前一阶段的特征信息来引导当前金字塔层的雨条纹表达；通过迭代的采样和融合，实现不同金字塔层间多尺度雨条纹信息的协同表达；
其中构建的多尺度金字塔网络，包含三部分：带雨图像的多尺度金字塔分解，雨条纹的关联学习和多尺度特征的渐进融合和重建；第一部分是将输入的带雨图像利用不同尺度的高斯采样算子对原始雨图像进行采样分解，随后用若干3×3的卷积分别从对应尺度的输入图像中提取浅层特征；第二部分利用非局部网络学习雨条纹的全局纹理特征关联，包含三个非局部模块，每一个模块首先用两个1×1的卷积将位置i和j的特征映射到嵌入空间，并在嵌入空间计算参考位置i和所有位置j的特征相关性，得到相似性矩阵f(xi,xj)；随后将得到的相关性矩阵用Softmax函数进行归一化，赋值权重到0-1之间，获得对应位置的全局融合权重矩阵fsoftmax(xi，xj)；接着利用一个1×1的卷积对所有位置的特征信息进行变换，映射到嵌入空间，得到全局特征的嵌入表达；将全局融合权重矩阵与所有位置的嵌入表达进行矩阵乘法，计算所有像素点对每一个参考像素点的关联特征；最后，利用一个1×1卷积将全局的关联特征嵌入；第三部分包括若干并行的多尺度注意力模块来处理多尺度的雨条纹特征；其中，一个基础的通道注意力模块包括两个3×3的卷积，用于强化特征表达，另外两个1×1的卷积用于调整通道数，并通过全局池化层和Sigmoid函数学习通道注意力权重，作用于强化特征实现雨条纹的精细化表达；最后，采用多个3×3的卷积，并联合多尺度渐进融和机制，实现对全局融合特征和多尺度雨条纹信息的同尺度和跨尺度协同表达，并输出对应的残差雨图像；通过从原始雨图像中减去回归得到的残差雨图像，输出得到干净的无雨图像；
步骤10：将步骤7中得到的强化后的全局融合特征和步骤9得到的多尺度雨条纹信息的协同表达特征利用步骤9中的多尺度渐进融和机制进行进一步的融合，实现对原始雨图像中雨条纹的同尺度和跨尺度协同表达，并输出对应的残差雨图像；通过从原始雨图像中减去回归得到的残差雨图像，输出干净的无雨图像；
步骤11：通过最小化步骤10中输出的无雨图像和原始干净图像的余弦距离，优化多尺度金字塔网络，实现对带雨图像中雨条纹的去除。
2.根据权利要求1所述的基于多尺度渐进融合的图像去雨方法，其特征在于：步骤2中，通过不同尺度的高斯采样算子对带雨图像块进行多尺度采样，得到雨图像金字塔，具体利用算式：
In＝Gauss(I，n)；
其中，Gauss(·)表示高斯采样算子，I表示雨图像输入样本，In表示用采样因子为n的高斯采样算子获得的雨图像子样本。
3.根据权利要求1所述的基于多尺度渐进融合的图像去雨方法，其特征在于：步骤3中，首先利用两个1×1卷积将位置i和位置j的特征映射到嵌入空间，具体利用算式：
其中，Wθ和
表示1×1卷积核参数，xi和xj分别表示位置i和位置j的特征，θ(xi)和
分别为xi和xj的嵌入表达；随后在嵌入空间计算参考位置i和所有位置j的特征相关性，具体利用算式：
其中，θ(xi)T表示θ(xi)的转置，并与
作矩阵乘法，得到相似性矩阵f(xi，xj)。
4.根据权利要求1所述的基于多尺度渐进融合的图像去雨方法，其特征在于：步骤4中，利用Softmax函数对相似性矩阵进行归一化，将全局融合权重值映射到0-1之间，具体利用算式：
其中，C(x)为归一化函数，等同于
fsoftmax(xi，xj)表示全局融合权重矩阵；通过Softmax函数，对学习得到的相关性矩阵进行归一化赋值，使得每一个像素的全局融合权重矩阵的值都在0-1之间，即fsoftmax(xi，xj)。
5.根据权利要求1所述的基于多尺度渐进融合的图像去雨方法，其特征在于：步骤5中，利用1×1卷积将对所有位置特征进行变换和嵌入表达，具体利用算式：
g(xj)＝Wgxj；
其中，Wg表示1×1卷积核参数，g(xj)表示为位置j的嵌入表达。
6.根据权利要求1所述的基于多尺度渐进融合的图像去雨方法，其特征在于：步骤6中，将获得的全局融合权重矩阵fsoftmax(xi，xj)与所有位置的嵌入表达g(xj)进行矩阵乘法，计算所有位置对每一个位置特征的加权平均值y(xi)；即与当前雨条纹相近的区域融合权重尽量大，差异大的区域的融合权重尽可能小，具体利用算式：
其中，C(x)表示归一化函数。
7.根据权利要求1所述的基于多尺度渐进融合的图像去雨方法，其特征在于：步骤7中，利用1×1卷积将全局的关联特征从嵌入空间转换到原始空间，并与原始输入xi进行融合，获得强化后的雨条纹表达z(xi)，具体利用算式：
z(xi)＝Wzy(xi)+xi；
其中，Wz表示转换卷积的参数。
8.根据权利要求1所述的基于多尺度渐进融合的图像去雨方法，其特征在于：步骤9中，利用所有低分辨率金字塔层的输出和前一阶段的特征信息来引导当前金字塔层的雨条纹表达，实现雨条纹信息的多尺度渐进融合，具体利用算式：
其中，Gi-1，n和Gi，n分别表示第n层金字塔前一阶段和当前阶段的输出，
表示所有n-1层低分辨率金字塔的输出，F()为卷积函数。
9.根据权利要求1-8任意一项所述的基于多尺度渐进融合的图像去雨方法，其特征在于：步骤11中，使用基于Charbonnier损失函数来约束网络生成的无雨图像尽可能逼近干净的样本图像，实现多尺度渐进融合的单张图像雨去除方法的优化；Charbonnier损失函数作为L1范数的一个变体，通过加入了补偿项使训练过程更加稳定，同时避免生成的结果过于平滑；
具体利用算式：其中，
L(θ)＝argmin∑(x^2+ε^2)；
其中，L(θ)和θ分别表示优化目标方程和参数，x表示生成的无雨图像与干净的样本图像的残差，其中补偿因子ε＝10-3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010211418.2A CN111340738B (zh) | 2020-03-24 | 2020-03-24 | 一种基于多尺度渐进融合的图像去雨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010211418.2A CN111340738B (zh) | 2020-03-24 | 2020-03-24 | 一种基于多尺度渐进融合的图像去雨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111340738A CN111340738A (zh) | 2020-06-26 |
| CN111340738B true CN111340738B (zh) | 2022-03-04 |
Family
ID=71182722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010211418.2A Active CN111340738B (zh) | 2020-03-24 | 2020-03-24 | 一种基于多尺度渐进融合的图像去雨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340738B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112381722A (zh) * | 2020-07-23 | 2021-02-19 | 杭州喔影网络科技有限公司 | 一种单图像的超分与感知图像增强的联合任务学习方法 |
| CN111861926B (zh) * | 2020-07-24 | 2023-09-29 | 南京信息工程大学滨江学院 | 一种基于空域组增强机制与长短时记忆网络的图像去雨方法 |
| TWI734598B (zh) * | 2020-08-26 | 2021-07-21 | 元智大學 | 影像雨紋去除方法 |
| CN114240761B (zh) * | 2020-09-09 | 2023-09-22 | 成都鼎桥通信技术有限公司 | 图像去雨模型训练方法、图像去雨方法及设备 |
| CN112241939B (zh) * | 2020-10-15 | 2023-05-30 | 天津大学 | 一种基于多尺度和非局部的轻量去雨方法 |
| CN112598596A (zh) * | 2020-12-25 | 2021-04-02 | 北京大学 | 一种基于动态网络路由的图像去雨方法及电子装置 |
| CN112734675B (zh) * | 2021-01-19 | 2024-02-09 | 西安理工大学 | 一种基于金字塔模型和非局部增强密集块的图像去雨方法 |
| CN112861691B (zh) * | 2021-01-29 | 2022-09-09 | 中国科学技术大学 | 基于部位感知建模的遮挡场景下的行人重识别方法 |
| CN113393385B (zh) * | 2021-05-12 | 2024-01-02 | 广州工程技术职业学院 | 基于多尺度融合的无监督去雨方法、系统、装置及介质 |
| CN113673590B (zh) * | 2021-08-13 | 2022-12-23 | 广东工业大学 | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 |
| CN114463237B (zh) * | 2022-01-30 | 2024-04-19 | 武汉大学 | 基于全局运动补偿和帧间时域关联性的实时视频去雨方法 |
| CN114638768B (zh) * | 2022-05-19 | 2022-08-09 | 武汉大学 | 一种基于动态关联学习网络的图像去雨方法、系统及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109614957A (zh) * | 2019-01-04 | 2019-04-12 | 王卫星 | 一种铁路调车信号安全预警系统 |
| CN110009580A (zh) * | 2019-03-18 | 2019-07-12 | 华东师范大学 | 基于图片块雨滴密集度的单张图片双向去雨方法 |
| CN110070506A (zh) * | 2019-04-15 | 2019-07-30 | 武汉大学 | 一种基于多尺度混合指数模型的视频去雨方法 |
| CN110443761A (zh) * | 2019-07-16 | 2019-11-12 | 大连理工大学 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11037276B2 (en) * | 2016-08-26 | 2021-06-15 | Nokia Technologies Oy | Method, apparatus and computer program product for removing weather elements from images |
| US10135145B2 (en) * | 2016-12-06 | 2018-11-20 | At&T Intellectual Property I, L.P. | Apparatus and methods for generating an electromagnetic wave along a transmission medium |
-
2020
- 2020-03-24 CN CN202010211418.2A patent/CN111340738B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109614957A (zh) * | 2019-01-04 | 2019-04-12 | 王卫星 | 一种铁路调车信号安全预警系统 |
| CN110009580A (zh) * | 2019-03-18 | 2019-07-12 | 华东师范大学 | 基于图片块雨滴密集度的单张图片双向去雨方法 |
| CN110070506A (zh) * | 2019-04-15 | 2019-07-30 | 武汉大学 | 一种基于多尺度混合指数模型的视频去雨方法 |
| CN110443761A (zh) * | 2019-07-16 | 2019-11-12 | 大连理工大学 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
Non-Patent Citations (2)
| Title |
|---|
| Uncertainty Guided Multi-Scale Residual Learning-using a Cycle Spinning CNN for Single Image De-Raining;Rajeev Yasarla 等;《IEEE》;20200109;第8397-8406页 * |
| 基于深度邻近连接网络的单幅图像去雨方法;傅雪阳 等;《计算机科学》;20191029;第1-10页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111340738A (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340738B (zh) | 一种基于多尺度渐进融合的图像去雨方法 | |
| CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
| WO2022111219A1 (zh) | 一种域自适应设备运检系统和方法 | |
| CN113449594B (zh) | 一种多层网络组合的遥感影像地类语义分割与面积计算方法 | |
| CN114255238A (zh) | 一种融合图像特征的三维点云场景分割方法及系统 | |
| CN112184577B (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
| CN114266977B (zh) | 基于超分辨可选择网络的多auv的水下目标识别方法 | |
| CN113554032B (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
| CN113838064B (zh) | 一种基于分支gan使用多时相遥感数据的云去除方法 | |
| CN112884758B (zh) | 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统 | |
| CN114638768B (zh) | 一种基于动态关联学习网络的图像去雨方法、系统及设备 | |
| CN114724155A (zh) | 基于深度卷积神经网络的场景文本检测方法、系统及设备 | |
| Shi et al. | CloudU-Netv2: A cloud segmentation method for ground-based cloud images based on deep learning | |
| CN113837290A (zh) | 一种基于注意力生成器网络的无监督非成对图像翻译方法 | |
| Zhou et al. | MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution | |
| CN114596477A (zh) | 基于领域自适应和注意力机制的雾天火车故障检测方法 | |
| Zhang | Research on remote sensing image de‐haze based on GAN | |
| CN114445620A (zh) | 一种改进Mask R-CNN的目标分割方法 | |
| CN117727046A (zh) | 新型山洪前端仪器仪表读数自动识别方法及系统 | |
| CN114049541A (zh) | 基于结构化信息特征解耦与知识迁移的视觉场景识别方法 | |
| CN113096133A (zh) | 一种基于注意力机制的语义分割网络的构建方法 | |
| CN114202694A (zh) | 基于流形混合插值和对比学习的小样本遥感场景图像分类方法 | |
| CN108052981B (zh) | 基于非下采样Contourlet变换和卷积神经网络的图像分类方法 | |
| CN112785629A (zh) | 一种基于无监督深度光流网络的极光运动表征方法 | |
| Huang | Network model to optimize the process of green environmental features and urban building recognition based on lightweight image search system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |