CN110390654A - 一种针对去雨图像的多级迭代协同表示的后处理方法 - Google Patents
一种针对去雨图像的多级迭代协同表示的后处理方法 Download PDFInfo
- Publication number
- CN110390654A CN110390654A CN201910688638.1A CN201910688638A CN110390654A CN 110390654 A CN110390654 A CN 110390654A CN 201910688638 A CN201910688638 A CN 201910688638A CN 110390654 A CN110390654 A CN 110390654A
- Authority
- CN
- China
- Prior art keywords
- rain
- picture
- image
- block
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013459 approach Methods 0.000 title claims abstract description 15
- 238000012805 post-processing Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 239000000203 mixture Substances 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000011160 research Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 229910000673 Indium arsenide Inorganic materials 0.000 claims description 3
- 239000012141 concentrate Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- VTYYLEPIZMXCLO-UHFFFAOYSA-L Calcium carbonate Chemical compound [Ca+2].[O-]C([O-])=O VTYYLEPIZMXCLO-UHFFFAOYSA-L 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 13
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种针对去雨图像的多级迭代协同表示的后处理方法，基于训练图像对，即去雨图像和对应的无雨图像，使得在去雨过程中丢失的部分细节，可以通过训练图像对组成的训练集学习其回归关系来恢复。本发明提出迭代协同的表示方法，即在训练阶段系统的学习去雨图像与对应的无雨图像特征对之间的多层次映射模型，随后利用多级映射模型，在相应的迭代中不断优化去雨图像，有效地提高去雨图像的视觉质量。
Description
技术领域
本发明涉及图像处理领域，更具体地说，涉及一种针对去雨图像的多级迭代协同表示的后处理方法。
背景技术
在雨天环境中，雨条纹的存在会严重影响图像成像的质量，使得户外视觉系统无法准确地进行目标检测、识别、跟踪等工作。因此，图像去雨是图像处理领域中重要的技术手段，如何有效地去除雨水天气对图像成像产生的干扰、改善图像质量，具有非常重要的实际应用价值。
现有技术提供了多种图像去雨方法，如基于传统数学建模去除雨条、利用深度学习网络学习雨条特征、基于生成对抗网络的图像去雨方法等。
但现有图像去雨方法在去除雨条纹后的图像中，往往存在部分未能去除雨条纹或是去雨痕迹，在去雨图像质量上仍有较大改进空间。
发明内容
本发明的目的在于克服现有技术的不足，提供一种提高去雨图像质量的针对去雨图像的多级迭代协同表示的后处理方法。
本发明的技术方案如下：
一种针对去雨图像的多级迭代协同表示的后处理方法，步骤如下：
1)输入去雨图像和对应的无雨图像；其中，去雨图像为有雨图像经过去雨算法后得到的图像，无雨图像为对应场景采集到的未包含雨条信息的图像；
2)分别在RGB三通道上对去雨图像进行水平方向和垂直方向上的滤波，提取RGB每个通道的梯度和拉普拉斯特征块，最后将RGB三通道的特征块进行合并，进行PCA降维，得到融合特征块；
3)将得到的融合特征块，利用K-SVD算法训练去雨图像字典DL；
4)对于去雨图像字典DL中的每个原子从去雨图像-无雨图像训练特征块集中搜索其相应的去雨图像-无雨图像特征块的最近邻域，并求取其映射矩阵；其中，去雨图像和对应的无雨图像作为一对训练图像对，分别对各训练图像对中的去雨图像提取梯度和拉普拉斯特征，组成去雨图像-无雨图像训练特征块；
5)以去雨图像字典DL中的作为起始点，定义去雨图像的优化为一个协同问题，通过多级迭代协同表示从映射矩阵中提取去雨图像特征，进而优化去雨图像。
作为优选，步骤3)中，利用K-SVD算法训练去雨图像字典DL，具体如下：
其中，为字典的起始点，n为字典迭代的次数，是第一级迭代中去雨图像块的特征块，ci是去雨图像块相对应的系数，i为输入图片对的数量，L为训练字典的最大稀疏度。
作为优选，步骤4)中，采用余弦相似度的绝对值来度量与之间的相似度，进而得到邻域，通过邻域求取映射矩阵；其中，度量公式如下：
其中，为相应字典中的原子，k为相应的字典中融合特征块的数量。
作为优选，步骤4)中，计算映射矩阵具体如下：
其中，为第一次迭代产生的映射矩阵，为当前无雨图像邻域，表示当前去雨图像邻域，表示去雨图像块，λ是超参数，I为去雨图像。
作为优选，步骤5)中，协同问题表示为：
其中，表示为解决问题而选择的去雨图像邻域，表示去雨图像块，ω是超过的正则化系数，λ是超参数，I为去雨图像，k为相应的字典中融合特征块的数量。
作为优选，步骤5)中，去雨图像特征的提取计算如下：
其中，为当前无雨图像邻域，和构成相应的去雨图像-无雨图像融合特征块邻域。
作为优选，步骤5)中，多级迭代如下：重复训练各级映射矩阵提取各级映射矩阵的去雨优化图像，并输出作为相应级的训练图像，最终生成最后的映射矩阵
本发明的有益效果如下：
本发明所述的针对去雨图像的多级迭代协同表示的后处理方法，基于训练图像对，即去雨图像和对应的无雨图像，使得在去雨过程中丢失的部分细节，可以通过训练图像对组成的训练集学习其回归关系来恢复。本发明提出迭代协同的表示方法，即在训练阶段系统的学习去雨图像与对应的无雨图像特征对之间的多层次映射模型，随后利用多级映射模型，在相应的迭代中不断优化去雨图像，有效地提高去雨图像的视觉质量。
附图说明
图1是对应于本发明的训练与测试的流程示意图。
具体实施方式
以下结合附图及实施例对本发明进行进一步的详细说明。
本发明是对去雨图像进行后处理以提高去雨图像质量，提供了一种针对去雨图像的多级迭代协同表示的后处理方法，具体实施步骤如下：
1)输入去雨图像和对应的无雨图像；其中，去雨图像为有雨图像经过去雨算法后得到的图像，即经过深度学习方法训练学习后得到的去除有雨图像上雨条信息的去雨图像，无雨图像为对应场景采集到的未包含雨条信息的图像。
2)本实施例中，采用高通滤波器，分别在RGB三通道上对去雨图像进行水平方向和垂直方向上的滤波，提取RGB每个通道的梯度和拉普拉斯特征块，最后将RGB三通道的特征块进行合并，进行PCA降维，得到融合特征块；其中，采用PCA算法对去雨图像的特征块进行降维，以减少计算量。
3)将得到的融合特征块，利用K-SVD算法训练去雨图像字典DL；其中，利用K-SVD算法训练去雨图像字典DL，具体如下：
其中，为字典的起始点，n为字典迭代的次数，是第一级迭代中去雨图像块的特征块，ci是去雨图像块相对应的系数，i为输入图片对的数量，L为训练字典的最大稀疏度，本实施例中，L＝3。
4)对于去雨图像字典DL中的每个原子从去雨图像-无雨图像训练特征块集中搜索其相应的去雨图像-无雨图像特征块的最近邻域，并求取其映射矩阵；其中，去雨图像和对应的无雨图像作为一对训练图像对，分别对各训练图像对中的去雨图像提取梯度和拉普拉斯特征，组成去雨图像-无雨图像训练特征块。
本实施例中，采用余弦相似度的绝对值来度量与之间的相似度，进而得到邻域，通过邻域求取映射矩阵；其中，度量公式如下：
其中，为相应字典中的原子，k为相应的字典中融合特征块的数量。
计算映射矩阵具体如下：
其中，为第一次迭代产生的映射矩阵，为当前无雨图像邻域，表示当前去雨图像邻域，表示去雨图像块，λ是超参数，I为去雨图像。
5)以去雨图像字典DL中的作为起始点，定义去雨图像的优化为一个协同问题，通过多级迭代协同表示从映射矩阵中提取去雨图像特征，进而优化去雨图像。
具体地，协同问题表示为：
其中，表示为解决问题而选择的去雨图像邻域，表示去雨图像块，ω是超过的正则化系数，λ是超参数，I为去雨图像，k为相应的字典中融合特征块的数量。
本实施例中，去雨图像特征的提取计算如下：
其中，为当前无雨图像邻域，和构成相应的去雨图像-无雨图像融合特征块邻域。
在训练最终的映射矩阵之前，使用训练过的多级模型，即到的映射矩阵先后完善去雨图像，到为其他分级训练出的映射矩阵。具体地，步骤5)中，多级迭代如下：重复训练各级映射矩阵提取各级映射矩阵的去雨优化图像，并输出作为相应级的训练图像，最终生成最后的映射矩阵其中，为了训练第n次迭代的映射矩阵本实施例中，从训练图像对中提取去雨图像-无雨图像对，从而学习字典和映射矩阵，训练的过程与第一次迭代的类似，即的训练过程与同理。
对本发明所述的方法进行测试，如图1所示，测试过程为输入一张去雨图像，利用每一级迭代的映射矩阵，提炼出质量较高的去雨图像，经过多级迭代协同表示之后，提炼出最后的去雨优化图像。
上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。
Claims (7)
1.一种针对去雨图像的多级迭代协同表示的后处理方法，其特征在于，步骤如下：
1)输入去雨图像和对应的无雨图像；其中，去雨图像为有雨图像经过去雨算法后得到的图像，无雨图像为对应场景采集到的未包含雨条信息的图像；
2)分别在RGB三通道上对去雨图像进行水平方向和垂直方向上的滤波，提取RGB每个通道的梯度和拉普拉斯特征块，最后将RGB三通道的特征块进行合并，进行PCA降维，得到融合特征块；
3)将得到的融合特征块，利用K-SVD算法训练去雨图像字典DL；
4)对于去雨图像字典DL中的每个原子从去雨图像-无雨图像训练特征块集中搜索其相应的去雨图像-无雨图像特征块的最近邻域，并求取其映射矩阵；其中，去雨图像和对应的无雨图像作为一对训练图像对，分别对各训练图像对中的去雨图像提取梯度和拉普拉斯特征，组成去雨图像-无雨图像训练特征块；
5)以去雨图像字典DL中的作为起始点，定义去雨图像的优化为一个协同问题，通过多级迭代协同表示从映射矩阵中提取去雨图像特征，进而优化去雨图像。
2.根据权利要求1所述的针对去雨图像的多级迭代协同表示的后处理方法，其特征在于，步骤3)中，利用K-SVD算法训练去雨图像字典DL，具体如下：
其中，为字典的起始点，n为字典迭代的次数，是第一级迭代中去雨图像块的特征块，ci是去雨图像块相对应的系数，i为输入图片对的数量，L为训练字典的最大稀疏度。
3.根据权利要求1所述的针对去雨图像的多级迭代协同表示的后处理方法，其特征在于，步骤4)中，采用余弦相似度的绝对值来度量与之间的相似度，进而得到邻域，通过邻域求取映射矩阵；其中，度量公式如下：
其中，为相应字典中的原子，k为相应的字典中融合特征块的数量。
4.根据权利要求3所述的针对去雨图像的多级迭代协同表示的后处理方法，其特征在于，步骤4)中，计算映射矩阵具体如下：
其中，为第一次迭代产生的映射矩阵，为当前无雨图像邻域，表示当前去雨图像邻域，表示去雨图像块，λ是超参数，I为去雨图像。
5.根据权利要求1所述的针对去雨图像的多级迭代协同表示的后处理方法，其特征在于，步骤5)中，协同问题表示为：
其中，表示为解决问题而选择的去雨图像邻域，表示去雨图像块，ω是超过的正则化系数，λ是超参数，I为去雨图像，k为相应的字典中融合特征块的数量。
6.根据权利要求5所述的针对去雨图像的多级迭代协同表示的后处理方法，其特征在于，步骤5)中，去雨图像特征的提取计算如下：
其中，为当前无雨图像邻域，和构成相应的去雨图像-无雨图像融合特征块邻域。
7.根据权利要求1所述的针对去雨图像的多级迭代协同表示的后处理方法，其特征在于，步骤5)中，多级迭代如下：重复训练各级映射矩阵提取各级映射矩阵的去雨优化图像，并输出作为相应级的训练图像，最终生成最后的映射矩阵
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910688638.1A CN110390654B (zh) | 2019-07-29 | 2019-07-29 | 一种针对去雨图像的多级迭代协同表示的后处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910688638.1A CN110390654B (zh) | 2019-07-29 | 2019-07-29 | 一种针对去雨图像的多级迭代协同表示的后处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110390654A true CN110390654A (zh) | 2019-10-29 |
| CN110390654B CN110390654B (zh) | 2022-11-01 |
Family
ID=68287859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910688638.1A Active CN110390654B (zh) | 2019-07-29 | 2019-07-29 | 一种针对去雨图像的多级迭代协同表示的后处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110390654B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130236116A1 (en) * | 2012-03-08 | 2013-09-12 | Industrial Technology Research Institute | Method and apparatus for single-image-based rain streak removal |
| CN106204499A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于卷积神经网络的单幅图像去雨方法 |
| CN107133935A (zh) * | 2017-05-25 | 2017-09-05 | 华南农业大学 | 一种基于深度卷积神经网络的单图像精细去雨方法 |
| CN107240084A (zh) * | 2017-06-14 | 2017-10-10 | 湘潭大学 | 一种单幅图像去雨方法及装置 |
| CN107657593A (zh) * | 2017-04-20 | 2018-02-02 | 湘潭大学 | 一种单幅图像去雨方法 |
| CN108765327A (zh) * | 2018-05-18 | 2018-11-06 | 百年金海科技有限公司 | 一种基于景深和稀疏编码的图像去雨方法 |
| CN109360156A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于生成对抗网络的图像分块的单张图像去雨方法 |
| CN109886900A (zh) * | 2019-03-15 | 2019-06-14 | 西北大学 | 一种基于字典训练和稀疏表示的合成雨图除雨方法 |
-
2019
- 2019-07-29 CN CN201910688638.1A patent/CN110390654B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130236116A1 (en) * | 2012-03-08 | 2013-09-12 | Industrial Technology Research Institute | Method and apparatus for single-image-based rain streak removal |
| CN106204499A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于卷积神经网络的单幅图像去雨方法 |
| CN107657593A (zh) * | 2017-04-20 | 2018-02-02 | 湘潭大学 | 一种单幅图像去雨方法 |
| CN107133935A (zh) * | 2017-05-25 | 2017-09-05 | 华南农业大学 | 一种基于深度卷积神经网络的单图像精细去雨方法 |
| CN107240084A (zh) * | 2017-06-14 | 2017-10-10 | 湘潭大学 | 一种单幅图像去雨方法及装置 |
| CN108765327A (zh) * | 2018-05-18 | 2018-11-06 | 百年金海科技有限公司 | 一种基于景深和稀疏编码的图像去雨方法 |
| CN109360156A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于生成对抗网络的图像分块的单张图像去雨方法 |
| CN109886900A (zh) * | 2019-03-15 | 2019-06-14 | 西北大学 | 一种基于字典训练和稀疏表示的合成雨图除雨方法 |
Non-Patent Citations (3)
| Title |
|---|
| DUAN-YU CHEN 等: "Visual Depth Guided Color Image Rain Streaks Removal Using Sparse Coding", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 * |
| 林向伟 等: "基于多细节卷积神经网络的单幅图像去雨方法", 《信号处理》 * |
| 汤红忠 等: "面向单幅图像去雨的非相干字典学习及其稀疏表示研究", 《通信学报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110390654B (zh) | 2022-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080629B (zh) | 一种图像拼接篡改的检测方法 | |
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| CN107909556B (zh) | 基于卷积神经网络的视频图像去雨方法 | |
| CN108629338B (zh) | 一种基于lbp和卷积神经网络的人脸美丽预测方法 | |
| CN108537191B (zh) | 一种基于结构光摄像头的三维人脸识别方法 | |
| CN107423760A (zh) | 基于预分割和回归的深度学习目标检测方法 | |
| CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN107424161B (zh) | 一种由粗至精的室内场景图像布局估计方法 | |
| CN109255358B (zh) | 一种基于视觉显著性和深度图的3d图像质量评价方法 | |
| CN103903013A (zh) | 一种无标记平面物体识别的优化算法 | |
| CN108289222A (zh) | 一种基于结构相似度映射字典学习的无参考图像质量评价方法 | |
| CN109948471A (zh) | 基于改进InceptionV4网络的交通雾霾能见度检测方法 | |
| CN112257741B (zh) | 一种基于复数神经网络的生成性对抗虚假图片的检测方法 | |
| CN104408741A (zh) | 一种时序一致性约束的视频全局运动估计方法 | |
| CN112464844A (zh) | 一种基于深度学习与运动目标检测的人体行为动作识别方法 | |
| CN113066025A (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
| CN112488165A (zh) | 一种基于深度学习模型的红外行人识别方法及系统 | |
| CN112200766A (zh) | 基于区域关联神经网络的工业产品表面缺陷检测方法 | |
| CN116402802A (zh) | 一种基于颜色空间多特征融合的水下图像质量评价方法 | |
| CN113496485B (zh) | 卫星遥感图像质量评价方法及装置 | |
| CN110390654A (zh) | 一种针对去雨图像的多级迭代协同表示的后处理方法 | |
| CN116385716A (zh) | 一种基于遥感图的三维地图地物数据自动化生产方法 | |
| CN113744205B (zh) | 一种端到端的道路裂缝检测系统 | |
| CN113688849A (zh) | 一种用于卷积神经网络的灰度图像序列特征提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |