CN111681176B - 自适应卷积的残差修正单幅图像去雨方法 - Google Patents
自适应卷积的残差修正单幅图像去雨方法 Download PDFInfo
- Publication number
- CN111681176B CN111681176B CN202010408566.3A CN202010408566A CN111681176B CN 111681176 B CN111681176 B CN 111681176B CN 202010408566 A CN202010408566 A CN 202010408566A CN 111681176 B CN111681176 B CN 111681176B
- Authority
- CN
- China
- Prior art keywords
- network
- convolution
- rain
- adaptive
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013507 mapping Methods 0.000 claims abstract description 3
- 238000010586 diagram Methods 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种自适应卷积的残差修正单幅图像去雨方法，该方法加入雨线修正系数(Refine factor)，改进现有雨图模型，更精确描述雨图中各个像素受到雨线的影响。构建自适应选择卷积网络(SKNet)，自适应的选择不同卷积核对应维度的信息，进一步学习，融合不同卷积核的信息，提高网络的表达力。最后构建自适应卷积的残差修正网络(SKRF)网络，直接学习雨线图和残差修正系数(RF)，减少映射区间，减少背景误判。该方法能够取得比现有方法更高的精确度。图片结果在客观指标和生成图片的雨线去除效果上均取得改善。本发明能够自适应地选择不同尺寸卷积核对应通道的特征信息；更加精确地表达到每个像素点受到雨影响。
Description
技术领域
本发明涉及图像处理技术领域，尤其是一种基于深度学习的自适应卷积的残差修正单幅图像去雨方法。
背景技术
计算机视觉依赖图像的质量，对于从户外采集的图像，经常会受到包括雨、雪、雾等恶劣天气的影响。雨天作为自然界中最常见的天气之一，雨滴在空中会形成混乱的雨线，此时收集的图像的部分区域会出现像素值偏高的白色线条，同时雨在空中会形成水雾，这些因素都会人的影响视线。单幅图像去雨算法在自动驾驶、视频监控等技术中有着一定的应用价值。
当前阶段图像去雨算法主要是指下面两个的方向：单幅图像去雨算法、视频或图像序列去雨算法视频或图像序列由许多图片按照特定的时间顺序排列而成，相比于单幅图像，前者更容易捕捉雨水的动态变化信息，背景信息也更容易获取，使得两种形式的去雨算法在技术实现上有些许不同。
现有的研究方法初步上可以达到去雨的效果，其中，传统去雨算法大多数基于数学建模进行像素级别的优化求解，在运行速度上很难有保障，实用性并不高。同时去雨后的图片视觉效果并不佳，常常出现雨线残留和背景丢失现象。
基于深度学习的方法应用使算法在性能上有很大改善，但表达能力仍然有局限，现有部分算法使用相对较为复杂的结构，包括增加网络层数、分支等，来增加网络表达力，使得网络过于复杂。
网络去雨的过程包括雨线的检测去除和背景的修复，部分算法使用到图像分解技术以期望雨线更容易检测，但这会引入额外的步骤，同时这种操作会导致生成图像存在背景细节丢失。
发明内容
针对现有技术的不足，本发明提供一种自适应卷积的残差修正单幅图像去雨方法，本发明通过在有限的网络空间下寻求更好的网络表达方式，建立一个端到端的图像去雨网络。构建选择卷积网络来提供一个不同尺寸卷积核特征通道之间的学习机制，使得神经元可以自适应地调整感受野大小，增强网络的的表达能力，提升去雨效果。
本发明的技术方案为：自适应卷积的残差修正单幅图像去雨方法，包括以下步骤：
S1)、构建自适应卷积的残差修正网络，输入一张RGB通道的有雨图片，使用网络进行特征提取，将图像转化成特征空间：
layer1＝Relu(BN(Conv9×9(O)))；
通过选择大尺度卷积核进行特征提取，使得网络学习足够多的雨线信息，然后将提取的特征图分别经过两路网络处理，两路网络分别为：一路为雨线检测网络，另一路修正系数网络；
并利用雨线检测网络得到初步雨线检测图像Rain，利用修正系数网络得到修正图像Factor；
S2)、利用初步雨线检测图像Rain和修正图像Factor的相应像素值的点积得到残差值矩阵Residual，即
Residual＝Rain*Factor；
最后利用输入图像和矩阵Residual计算得到最终去雨后的图像：
Output＝Input-Residual。
优选的，步骤S1)中，在雨线检测网络中，首先使用1×1的卷积核将上一层网络得到的特征图进行降维，同时使得该特征图获得进一步跨通道信息交互的机会，然后使用自适应选择卷积网络的2个不同尺寸的卷积核进行雨线特征学习，具体过程如下：
通过上述操作将特征维度降到3，使得其通道数和图像通道数目一致：
其中，Relu代表Relu激活函数，BN代表批归一化，layeri (1)上标(1)代表第一路网络中的操作，Convi×i(·)代表卷积操作，i代表卷积核尺寸大小，Rain为初步雨线检测结果。
优选的，上述方法中，雨线检测网络中，降维处理后使用自适应选择卷积网络对输入的特征进行分裂、融合、选择操作处理。
优选的，上述方法中，分裂操作是指利用不同尺寸的卷积核产生两个特征提取的路径，即对于特征X∈RH'×W'×C'，分别使用两路卷积得到特征图
和
其中，式中，RH'×W'×C'表示输入特征图矩阵的形状，H'，W'，C'分别表示高度、宽度和维度。
Convi×i(·)代表卷积操作，i代表卷积核尺寸大小，β代表批归一化和δ代表Relu激活函数。
优选的，上述方法中，所述的融合操作是通过将两路卷积得到的特征信息进行聚合，得到特征图U：
式中，RH×W×C表示输出特征图矩阵的形状，H，W，C分别表示高度、宽度和维度
特征图U通过全局平均池化得到特征m，其中，元素mk由U中第k个通道的特征图Uk通过全局平均池化操作ψgp(·)得到，即
其中，k∈[0,1,...,C-1]，H和W分别代表特征图的高度和宽度，i,j代表特征图中元素的坐标；
为确保自适应选择能力，通过一个全连接层ψfc(·)得到n，n∈Rd×1：
n＝ψfc(m)＝δ(β(wm))；
其中，w∈Rd×C代表权值，d为输出维度，β代表批归一化和δ代表Relu激活函数。
优选的，上述方法中，所述的选择算子操作是根据不同大小内核的特征聚合信息，计算映射到特征图
和
各自对应通道的权重ak，bk：
其中，k∈[0,1,...,C-1]，A,B∈RC×d为学习对应特征图的权重矩阵，并对同维度的两个权值使用softmax进行归一化得到a,b，Ak为权值矩阵A中第k个向量，Bk为权值矩阵B中第k个向量，ak为a∈RC×1的第k个元素，bk为b的第k个元素，最终作用于
和
的第k个通道；
通过权重ak，bk来实现对应卷积核产生特征图通道各个通道信息的选择，即
ak+bk＝1；
其中，k∈[0,1,...,C-1]，得到特征图Y∈RH×W×C为最终的输出结果，Yk为其第k张特征图。
优选的，步骤S1)在修正系数网络中，首先使用1×1卷积进行降维的是正常卷积，然后使用两个正常卷积对每个像素进一步学习修正系数，接着将维度降到3，每个维度和初步雨线图的通道对应，最后，网络输出部分特征图中每个值加上1为最终的修正系数，具体过程如下：
其中，Factor为Rain中对应像素的修正值。
优选的，所述的雨线检测网络的参数配置如表1所示：
表1 雨线检测网络参数配置
所述的修正系数网络的参数配置如表2所示：
其中，第一层为两路网络共同特征提取网络，为9×9的大尺寸卷积核，输出的特征图数目为128。
优选的，雨线检测网络中的两层网络使用自适应选择卷积网络，具体为：选择卷积网络中两个卷积分别为尺寸为3×3的常规卷积，和尺寸为3×3、放缩率为2的空洞卷积，并且两种卷积均带有Relu激活函数，和批归一化操作。
优选的，所述的修正系数网络中，使用的是正常卷积，两层网络的卷积核尺寸均为3，特征图数目为32，网络的前四层均使用了批归一化处理和Relu激活函数，在第五层的修正系数网络输出层使用Sigmoid激活函数，可以输出[0,1]范围的数值，再加上额外的常量1，最终的修正系数范围为[1,2]。
本发明的有益效果为：
1、本发明通过构建的自适应选择卷积网络，能够自适应地选择不同尺寸卷积核对应通道的特征信息；
2、本发明在基本雨图模型基础上加入修正系数，更加精确地表达到每个像素点受到雨影响；
3、本发明采用残差学习思想，利用雨图直接学习雨线图，减少映射区间，保留原图细节。
附图说明
图1为本发明构建的自适应卷积的残差修正单幅图像去雨算法网络结构图；
图2为本发明构建的自适应选择卷积网络结构图；
图3为利用本发明方法处理的图像和使用现有技术处理的图像的对比结果示意图一，图中，SKRF为本发明方法处理的去雨图；
图4为利用本发明方法处理的图像和使用现有技术处理的图像的对比结果示意图二，图中，SKRF为本发明方法处理的去雨图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明：
本实施例主要提供一种自适应卷积的残差修正单幅图像去雨方法，包括以下步骤：
S1)数据采集，数据集分为训练数据集和测试数据集两部分。
其中训练阶段，需要为卷积网络提供有雨图及其对应的无雨图。现实采集过程中直接获取同一个场景下无雨和有雨两种情况的图片很困难，因为即使能使相机的位置完全不变，但是拍摄时的亮度等周围的环境条件也会有差异。现有的基于深度学习去雨算法都采用合成雨图的方式来训练网络。无雨图通过photoshop加入不同形状大小的雨线，合成过程中需保证与真实情况接近；
本实施例的数据集包括300对图像，并且由于图像的尺寸大小不统一，读取过程中，为了保证同批次的数据的差异性，对于每个批次的图像，程序从打乱图片队列中读取4张图片，然后选择随机的32个33×33大小的图像区域，形成一个批次大小为128的训练数据，提供给网络训练使用，最终分割的小图像对共计4万对。
另外，由于图像的RGB三通道数值范围为[0,255]，为了方便网络训练，需要在数据处理阶段将归一化到[0,1]之间。
网络损失函数为均方误差，批次大小为128，使用指数衰减学习率的方式，初始值为0.01，衰减系数为0.9，衰减步数10k，训练迭代次数为500k次，优化器选择自适应学习率优化算法。
本实施例使用的软硬件环境如表3所示：
表3 实验环境配置
S2)、构建自适应卷积的残差修正网络(SKRF)，其结构参见图1所示，本实施例向网络输入一张RGB通道的有雨图片，并使用网络进行特征提取，将图像转化成特征空间：
layer1＝Relu(BN(Conv9×9(O)))；
这里选择大尺度卷积核进行特征提取，使得网络学习足够多的雨线信息，然后网络分别为两路：一路为雨线检测网络，另一路修正系数网络；本实施例9×9的大尺寸卷积核，输出的特征图数目为128。大尺寸的卷积核可以保证拥有足够大的感受野的情况下，获取输入图像中足够丰富的信息。多维度的特征图数目，可以保证两路网络可以获得各种需要的信息。接下来两路网络均首先使用1×1卷积降低特征图的维度，减少计算量的同时增加网络的非线性表达能力。其中，雨线检测网络的参数配置如表1所示，所述的修正系数网络的参数配置如表2所示：
表1 雨线检测网络参数配置
表2 修正系数网络参数配置
在雨线检测网络中，首先使用1×1卷积将上一层网络得到的特征图进行降维，同时使得该特征图获得进一步跨通道信息交互的机会，然后使用2个选择核卷积模块进行雨线特征学习，具体过程如下：
上标(1)代表第一路雨线检测网络中的操作，通过上述操作将特征维度降到3，使得其通道数和图像通道数目一致：
其中，Convi×i(·)代表卷积操作，i代表卷积核尺寸大小，Rain为初步雨线检测结果。
并且，雨线检测网络中的第三层和第四层网络在降维后使用自适应选择卷积网络(SK)对输入的特征进行相应的处理，自适应选择卷积网络的结构图参见图2。具体地，选择卷积网络中两个卷积分别为尺寸为3×3的常规卷积，尺寸为3×3、放缩率为2的空洞卷积，这样在卷积核参数量不变的情况下，提升网络的感受野，两种卷积均带有Relu激活函数，和批归一化操作。本实施例在降维处理后利用自适应选择卷积网络的输入的特征进行分裂、融合、选择操作处理。
其中，分裂操作利用不同尺寸的卷积核产生两个特征提取的路径，即对于特征X∈RH'×W'×C'，分别使用两路卷积得到特征图
和
其中，Convi×i(·)代表卷积操作，i代表卷积核尺寸大小，β代表批归一化和δ代表Relu激活函数。
所述的融合操作是通过将两路得到的特征信息进行聚合，得到特征图U：
特征图U通过全局平均池化得到m，其中，mk由U中第k个通道的特征图Uk通过全局平均池化操作ψgp(·)得到，即
其中，k∈[0,1,...,C-1]，H和W分别代表特征图的高度和宽度，i,j代表特征图中元素的坐标；
为确保自适应选择能力，通过一个全连接层ψfc(·)得到n，n∈Rd×1：
n＝ψfc(m)＝δ(β(wm))；
其中，w∈Rd×C代表权值，d为输出维度，β代表批归一化和δ代表Relu激活函数。
所述的选择算子操作是根据不同大小内核的特征聚合信息，计算映射到特征图
和
各自对应通道的权重ak，bk：
其中，k∈[0,1,...,C-1]，A,B∈RC×d为学习对应特征图的权重矩阵，并对同维度的两个权值使用softmax进行归一化得到a,b，Ak为权值矩阵A中第k个向量，Bk为权值矩阵B中第k个向量，ak为a∈RC×1的第k个元素，bk为b的第k个元素，最终作用于
和
的第k个通道；
通过权重ak，bk来实现对应卷积核产生特征图通道各个通道信息的选择，即
ak+bk＝1；
其中，k∈[0,1,...,C-1]，得到特征图Y∈RH×W×C为最终的输出结果，Yk为其第k张特征图。
在修正系数网络中，首先使用1×1卷积进行降维的是正常卷积，然后使用两个正常卷积对每个像素进一步学习修正系数，接着将维度降到3，每个维度和初步雨线图的通道对应，最后，网络输出部分特征图中每个值加上1，为最终的修正系数，具体过程如下：
其中，上标(2)代表第二路修正系数网络的操作，Factor为Rain中对应像素的修正值。
修正系数网络中，使用的是正常卷积，第三层和第四层网络的卷积核尺寸均为3，特征图数目为32。网络的前四层均使用了批归一化处理和Relu激活函数。在第五层修正系数网络输出层使用Sigmoid激活函数，可以输出[0,1]范围的数值，再加上额外的常量1，最终的修正系数范围为[1,2]。
然后利用雨线图Rain和修正系数Factor的点积得到残差值Residual，即
Residual＝Rain*Factor；
最后利用输入图像和残差值计算得到最终去雨后的图像：
Output＝Input-Residual。
本实施的测试数据集有两个部分，一个为网络公开rain12数据集，一个为本地测试数据集共计10对图片。本实施例对比引入了几个主流的单幅图像去雨算法，如表4。
表4 对比算法及其主要思想
测试结果如表5、表6所示。
表5 Rain12数据集测试结果对比
表6 本地数据集测试结果对比
处理结果如附图3、附图4所示其中，图3(g)、图4(f)为采用本实施例方法处理的去雨图。
上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。
Claims (7)
1.自适应卷积的残差修正单幅图像去雨方法，其特征在于，包括以下步骤：
S1)、构建自适应卷积的残差修正网络，输入RGB通道的有雨图片，使用网络进行特征提取，将图像转化成特征空间：
layer1＝Relu(BN(Conv9×9(O)))；
通过选择大尺度卷积核进行特征提取，使得网络学习足够多的雨线信息，然后将提取的特征图分别经过两路网络处理；
两路网络分别为：一路为雨线检测网络，另一路修正系数网络；
并利用雨线检测网络得到初步雨线检测图像Rain，利用修正系数网络得到修正图像Factor；
雨线检测网络中，降维处理后使用自适应选择卷积网络SK对输入的特征进行分裂、融合、选择操作处理；
其中，所述的选择操作是指根据不同大小内核的特征聚合信息，计算映射到特征图
和
各自对应通道的权重ak，bk：
其中，k∈[0,1,...,C-1]，A,B∈RC×d为学习对应特征图的权重矩阵，并对同维度的两个权值使用softmax进行归一化得到a,b，Ak为权值矩阵A中第k个向量，Bk为权值矩阵B中第k个向量，ak为a∈RC×1的第k个元素，bk为b的第k个元素，最终作用于
和
的第k个通道；
通过权重ak，bk来实现对应卷积核产生特征图通道各个通道信息的选择，即
ak+bk＝1；
其中，k∈[0,1,...,C-1]，得到特征图Y∈RH×W×C为最终的输出结果，Yk为其第k张特征图；
S2)、利用初步雨线检测图像Rain和修正图像Factor的相应像素值的点积得到残差值矩阵Residual，即，
Residual＝Rain*Factor；
最后利用输入图像和矩阵Residual计算得到最终去雨后的图像：
Output＝Input-Residual。
2.根据权利要求1所述的构建自适应卷积的残差修正网络，其特征在于：步骤S1)中，在雨线检测网络中，首先使用1×1的卷积核将上一层网络得到的特征图进行降维，同时使得该特征图获得进一步跨通道信息交互的机会，然后使用自适应选择卷积网络的2个不同尺寸的卷积核进行雨线特征学习，具体过程如下：
通过上述操作将特征维度降到3，使得其通道数和图像通道数目一致：
其中，Relu代表Relu激活函数，BN代表批归一化，
上标(1)代表第一路网络中的操作，Convi×i(·)代表卷积操作，i代表卷积核尺寸大小。
3.根据权利要求1所述的构建自适应卷积的残差修正网络，其特征在于：所述的分裂操作是指利用不同尺寸的卷积核产生两个特征提取的路径，即对于特征X∈RH'×W'×C'，分别使用两路卷积得到特征图
和
其中，式中，RH'×W'×C'表示输入特征图矩阵的形状，H'，W'，C'分别表示特征图的高度、宽度和维度;
Convi×i(·)代表卷积操作，i代表卷积核尺寸大小，β代表批归一化和δ代表Relu激活函数。
4.根据权利要求1所述的构建自适应卷积的残差修正网络，其特征在于：所述的融合操作是指通过将两路卷积得到的特征信息进行聚合，得到特征图U：
式中，RH×W×C表示输出特征图矩阵的形状，H，W，C分别表示特征图U的高度、宽度和维度特征图U通过全局平均池化得到特征m，其中，元素mk由U中第k个通道的特征图Uk通过全局平均池化操作ψgp(·)得到，即
其中，k∈[0,1,...,C-1]，H和W分别代表特征图的高度和宽度，i,j代表特征图中元素的坐标；为确保自适应选择能力，通过一个全连接层ψfc(·)得到n，n∈Rd×1：
n＝ψfc(m)＝δ(β(wm))；
其中，w∈Rd×C代表权值，d为输出维度，β代表批归一化和δ代表Relu激活函数。
5.根据权利要求2所述的构建自适应卷积的残差修正网络，其特征在于：步骤S1)在修正系数网络中，首先使用1×1卷积进行降维的是正常卷积，然后使用两个正常卷积对每个像素进一步学习修正系数，接着将维度降到3，每个维度和初步雨线图的通道对应，最后，网络输出部分特征图中每个值加上1为最终的修正系数，具体过程如下：
6.根据权利要求1所述的构建自适应卷积的残差修正网络，其特征在于：雨线检测网络中的两层网络使用自适应选择卷积网络SK；具体为：
选择卷积网络中两个卷积分别为尺寸为3×3的常规卷积，和尺寸为3×3、放缩率为2的空洞卷积，并且两种卷积均带有Relu激活函数，和批归一化操作。
7.根据权利要求1所述的构建自适应卷积的残差修正网络，其特征在于：所述的修正系数网络中，使用的是正常卷积，两层网络的卷积核尺寸均为3，特征图数目为32，网络的前四层均使用了批归一化处理和Relu激活函数，在第五层的修正系数网络输出层使用Sigmoid激活函数，可以输出[0,1]范围的数值，再加上额外的常量1，最终的修正系数范围为[1,2]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010408566.3A CN111681176B (zh) | 2020-05-14 | 2020-05-14 | 自适应卷积的残差修正单幅图像去雨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010408566.3A CN111681176B (zh) | 2020-05-14 | 2020-05-14 | 自适应卷积的残差修正单幅图像去雨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111681176A CN111681176A (zh) | 2020-09-18 |
| CN111681176B true CN111681176B (zh) | 2023-04-07 |
Family
ID=72433521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010408566.3A Active CN111681176B (zh) | 2020-05-14 | 2020-05-14 | 自适应卷积的残差修正单幅图像去雨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111681176B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883669A (zh) * | 2023-08-03 | 2023-10-13 | 深圳扬奇医芯智能科技有限公司 | 一种基于动态注意力联邦框架的多目标分割技术 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537761A (zh) * | 2018-04-18 | 2018-09-14 | 广东工业大学 | 一种图像去雨模型的训练方法、装置及图像去雨方法 |
| CN108648159A (zh) * | 2018-05-09 | 2018-10-12 | 华南师范大学 | 一种图像去雨方法及系统 |
| CN110310238A (zh) * | 2019-06-18 | 2019-10-08 | 华南农业大学 | 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法 |
| CN110751612A (zh) * | 2019-11-05 | 2020-02-04 | 哈尔滨理工大学 | 多通道多尺度卷积神经网络的单幅图像去雨方法 |
| CN111062892A (zh) * | 2019-12-26 | 2020-04-24 | 华南理工大学 | 一种基于复合残差网络和深层监督的单幅图像去雨方法 |
-
2020
- 2020-05-14 CN CN202010408566.3A patent/CN111681176B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537761A (zh) * | 2018-04-18 | 2018-09-14 | 广东工业大学 | 一种图像去雨模型的训练方法、装置及图像去雨方法 |
| CN108648159A (zh) * | 2018-05-09 | 2018-10-12 | 华南师范大学 | 一种图像去雨方法及系统 |
| CN110310238A (zh) * | 2019-06-18 | 2019-10-08 | 华南农业大学 | 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法 |
| CN110751612A (zh) * | 2019-11-05 | 2020-02-04 | 哈尔滨理工大学 | 多通道多尺度卷积神经网络的单幅图像去雨方法 |
| CN111062892A (zh) * | 2019-12-26 | 2020-04-24 | 华南理工大学 | 一种基于复合残差网络和深层监督的单幅图像去雨方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111681176A (zh) | 2020-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929602B (zh) | 一种基于卷积神经网络的地基云图云状识别方法 | |
| CN107909556B (zh) | 基于卷积神经网络的视频图像去雨方法 | |
| CN103093444B (zh) | 基于自相似性和结构信息约束的图像超分辨重建方法 | |
| CN113673590B (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
| CN112184577A (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
| CN106651795A (zh) | 一种利用光照估计来校正图像颜色的方法 | |
| CN113658057B (zh) | 一种Swin Transformer微光图像增强方法 | |
| CN112489164B (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
| CN107958465A (zh) | 一种基于深度卷积神经网络的单幅图像去雾方法 | |
| Huang et al. | Towards unsupervised single image dehazing with deep learning | |
| CN112561899A (zh) | 电力巡检图像识别方法 | |
| CN112070688A (zh) | 一种基于上下文引导生成对抗网络的单幅图像去雾方法 | |
| CN112164010A (zh) | 一种多尺度融合卷积神经网络图像去雾方法 | |
| CN117451716A (zh) | 一种工业产品表面缺陷检测方法 | |
| CN114863266A (zh) | 一种基于深度时空模式交互网络的土地利用分类方法 | |
| CN110751271B (zh) | 一种基于深度神经网络的图像溯源特征表征方法 | |
| CN115690574A (zh) | 一种基于自监督学习的遥感图像船舶检测方法 | |
| CN111681176B (zh) | 自适应卷积的残差修正单幅图像去雨方法 | |
| CN113962905A (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
| CN113936022A (zh) | 一种基于多模态特征与极化注意力的图像去雾方法 | |
| CN113011506A (zh) | 一种基于深度重分形频谱网络的纹理图像分类方法 | |
| CN110415816B (zh) | 一种基于迁移学习的皮肤病临床图像多分类方法 | |
| CN117132621A (zh) | 一种基于全局多尺度策略特征增强的目标跟踪方法 | |
| CN116957974A (zh) | 一种基于混合网络的图像去雨方法及设备 | |
| CN116664421A (zh) | 一种基于多光照角度图像融合的航天器图像去阴影的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |