CN106971378A - 一种基于深度去噪自编码器的单幅图像去雨方法 - Google Patents
一种基于深度去噪自编码器的单幅图像去雨方法 Download PDFInfo
- Publication number
- CN106971378A CN106971378A CN201610711655.9A CN201610711655A CN106971378A CN 106971378 A CN106971378 A CN 106971378A CN 201610711655 A CN201610711655 A CN 201610711655A CN 106971378 A CN106971378 A CN 106971378A
- Authority
- CN
- China
- Prior art keywords
- rain
- encoding encoder
- single image
- denoising self
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 8
- 230000015556 catabolic process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供的一种基于深度去噪自编码器的单幅图像去雨方法，具有这样的特征，包括以下步骤：第一步：制作训练数据；第二步：深度去噪自编码器的训练；以及第三步：去雨部分。
Description
技术领域
本发明涉及计算机视觉领域，特别涉及图像分解、图像去噪、图像增强，具有字典学习和低秩表示等的一种基于深度去噪自编码器的单幅图像去雨方法。
背景技术
近年来，随着计算机科学与技术的飞速发展，室外视觉系统被广泛的应用于交通监控、驾驶辅助系统等领域。但是恶劣天气，例如雨、雪、雾等，会导致拍摄得到的图像对比度降低、图像模糊、细节信息丢失，严重影响了户外视觉系统的性能。其中，雨天作为生活中一种常见的恶劣天气，对雨天中拍摄得到的图像进行去雨等清晰化处理具有重要的现实意义和广泛的应用价值。
根据研究去雨的不同方法，可以把这些方法分为两个方向：基于视频的去雨方法和基于单幅图像的去雨方法。其中，基于视频的去雨方法通常需要大量连续帧的图像信息。
Garg和Nayar提出了一种基于视频检测和去除雨痕迹的方法。他们通过雨滴的光学特性和时空相关特性检测视频中受雨影响的像素，这种方法需要多帧图像信息并且在检测雨痕迹时很耗时，在大雨情况下检测效果较差。此后，很多研究工作将基于他们提出的方法，并且在视频去雨中取得了较好的结果。
但是，当仅能提供单幅图像时，比如由相机拍摄得到的图片，基于视频的方法就不适用了。相比于视频去雨方法，单幅图像没有多帧图像信息可以利用并且缺少时域信息，使其具有较大的难度。但是日常生活中，我们很多图像都是单幅的，而非一系列视频图像。因此，对基于单幅图像进行去雨研究就显得很有必要且很有实际意义。
Kang等人于2012年首先提出了基于稀疏表示单幅图像的雨水去除方法。首先使用双边滤波器将图像分解为低频(LF)和高频(HF)部分。将高频(HF)部分图像再分为许多小块。然后通过字典学习和稀疏表示将高频部分图像分解成“雨的部分”和“几何部分”。Huang等[4]人又在字典学习中引入情景感知。2014年，Huang等人在发表的文章中又利用相似性传播对指定字典进行无监督聚类。同年，Sun等人提出利用结构相似性的集群字典。但是，上述所提的方法有一些共同的不足之处:第一，单幅图像最终的去雨效果严重依赖字典分类；第二点上述方法都要经过一次滤波，滤波参数的大小直接影响到最后的重建效果，而传统方法往往基于经验，对参数赋予固定值，无法根据图像的具体情况进行调节。因此如何有效的将图像分解成低频与高频成分是有重要意义的。
在之前的方法中，单幅图像去雨的第一步主要采用滤波的方式进行，存在适应性不强等问题。图1所示的是现有方法的流程图。因此，本专利提出使用深度去噪自编码器的单幅图像去雨方法。
近年来深度学习是机器学习领域中一个重要的分支领域。已经证明，浅层结构在解决很多简单或者限制条件较多的问题上效果明显，但是由于其建模能力有限，在遇到复杂问题时效果不佳。然而，深度结构能从复杂的结构中提取出丰富有效的信息。深度去噪自编码器是根据自编码器发展而来的。自编码器是典型的无监督学习算法，其结构如图2所示。它的输入和输出都是同一幅图像，通过学习得到中间隐层的参数。但是由于这种编码器的抗噪性能差，Yoshua Bengio等人在2008年提出了去噪自动编码器，在输入数据进入第一个隐层之前先对其添加随机噪声，然后将加噪后的数据进行编码和解码操作，并希望解码出来的输出信号能够逼近原来的输入信号，如图3所示。随着深度学习的火热发展，人们提出了堆叠自编码器，其目标仍然是使输出信号与输入信号相同。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种鲁棒性强，适用范围广的一种基于深度去噪自编码器的单幅图像去雨方法。
本发明提供的一种基于深度去噪自编码器的单幅图像去雨方法，具有这样的特征，包括以下步骤：
第一步：制作训练数据；
第二步：深度去噪自编码器的训练；以及
第三步：去雨部分。
本发明提供的一种基于深度去噪自编码器的单幅图像去雨方法，还具有这样的特征：其中，步骤一，首先收集大量的不含有雨滴的图片，然后根据雨滴的模型，通过软件将雨滴添加在原始图像上，合成后的图像作为输入图像，原始图像作为训练输出部分。
本发明提供的一种基于深度去噪自编码器的单幅图像去雨方法，还具有这样的特征：其中，步骤二，将训练图像分成图像块，训练过程中采用逐层训练方式。
本发明提供的一种基于深度去噪自编码器的单幅图像去雨方法，还具有这样的特征：其中，图像块的大小为64×64。
本发明提供的一种基于深度去噪自编码器的单幅图像去雨方法，还具有这样的特征：其中，逐层训练方式为，先训练输入层和第一个隐层，然后第一个隐层再作为输入和第二个隐层作为一个子网络进行训练，最后再通过反馈算法进行调节，直到收敛为止。
本发明提供的一种基于深度去噪自编码器的单幅图像去雨方法，还具有这样的特征：其中，步骤三，输入一副带雨图像，将带雨图像分成无重叠的子块，然后将每个子块进行去雨操作，最后再将这些子块重新拼接成输出图像。
本发明提供的一种基于深度去噪自编码器的单幅图像去雨方法，还具有这样的特征：其中，子块大小都为64×64。
发明作用和效果
根据本发明所涉及一种基于深度去噪自编码器的单幅图像去雨方法，实现了单幅图像的去雨操作，由于在去雨的过程中无需训练字典等过程，在去雨处理的速度上会有明显的提高；整个去雨的过程实现了自动化处理，无需人工干预；本专利提出的方法想比之前的方法能够更好的保留图像的细节信息，而且具有很好的延展性。
附图说明
图1是现有的利用稀疏表示的单幅图像去雨方法的流程图；
图2是现有的自编码器的流程图；
图3是现有的噪自编码器的流程图；以及
图4是本发明在实施例中的一种基于深度去噪自编码器的单幅图像去雨方法的流程图。
具体实施方式
以下参照附图及实施例对本发明所涉及的一种基于深度去噪自编码器的单幅图像去雨方法作详细的描述。
实施例
图4是本发明在实施例中的一种基于深度去噪自编码器的单幅图像去雨方法的流程图。
如图4所示，一种基于深度去噪自编码器的单幅图像去雨方法，具有以下步骤：
第一步：制作训练数据，进入步骤二。首先收集大量的不含有雨滴的图片，然后根据雨滴的模型，通过软件将雨滴添加在原始图像上，合成后的图像作为输入图像，原始图像作为训练输出部分。
第二步：深度去噪自编码器的训练，进入步骤三。将训练图像分成大小为64×64的图像块。训练过程中采用逐层训练方式，逐层训练方式为，先训练输入层和第一个隐层，然后第一个隐层再作为输入和第二个隐层作为一个子网络进行训练，最后再通过反馈算法进行调节，直到收敛为止。
第三步：去雨部分。输入一副带雨图像，将带雨图像分成无重叠的大小为64×64的子块，然后将每个子块进行去雨操作，最后再将这些子块重新拼接成输出图像。
实施例的作用与效果
根据本实施例所涉及一种基于深度去噪自编码器的单幅图像去雨方法，实现了单幅图像的去雨操作，由于在去雨的过程中无需训练字典等过程，在去雨处理的速度上会有明显的提高；整个去雨的过程实现了自动化处理，无需人工干预；本专利提出的方法想比之前的方法能够更好的保留图像的细节信息，而且具有很好的延展性。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。
Claims (7)
1.一种基于深度去噪自编码器的单幅图像去雨方法,其特征在于，包括以下步骤：
第一步：制作训练数据；
第二步：深度去噪自编码器的训练；以及
第三步：去雨部分。
2.根据权利要求1所述的一种基于深度去噪自编码器的单幅图像去雨方法，其特征在于：
其中，所述步骤一，首先收集大量的不含有雨滴的图片，然后根据所述雨滴的模型，通过软件将所述雨滴添加在原始图像上，合成后的图像作为输入图像，所述原始图像作为训练输出部分。
3.根据权利要求1所述的一种基于深度去噪自编码器的单幅图像去雨方法，其特征在于：
其中，所述步骤二，将训练图像分成图像块，
训练过程中采用逐层训练方式。
4.根据权利要求3所述的一种基于深度去噪自编码器的单幅图像去雨方法，其特征在于：
其中，所述图像块的大小为64×64。
5.根据权利要求3所述的一种基于深度去噪自编码器的单幅图像去雨方法，其特征在于：
其中，逐层训练方式为，先训练输入层和第一个隐层，然后所述第一个隐层再作为输入和第二个隐层作为一个子网络进行训练，最后再通过反馈算法进行调节，直到收敛为止。
6.根据权利要求1所述的一种基于深度去噪自编码器的单幅图像去雨方法，其特征在于：
其中，步骤三，输入一副带雨图像，将所述带雨图像分成无重叠的子块，然后将每个所述子块进行去雨操作，最后再将这些所述子块重新拼接成输出图像。
7.根据权利要求6所述的一种基于深度去噪自编码器的单幅图像去雨方法，其特征在于：
其中，所述子块大小都为64×64。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610711655.9A CN106971378A (zh) | 2016-08-23 | 2016-08-23 | 一种基于深度去噪自编码器的单幅图像去雨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610711655.9A CN106971378A (zh) | 2016-08-23 | 2016-08-23 | 一种基于深度去噪自编码器的单幅图像去雨方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106971378A true CN106971378A (zh) | 2017-07-21 |
Family
ID=59335237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610711655.9A Pending CN106971378A (zh) | 2016-08-23 | 2016-08-23 | 一种基于深度去噪自编码器的单幅图像去雨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106971378A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107885832A (zh) * | 2017-11-09 | 2018-04-06 | 安徽律正科技信息服务有限公司 | 一种图形商标检索方法 |
| CN109087258A (zh) * | 2018-07-27 | 2018-12-25 | 中山大学 | 一种基于深度学习的图像去雨方法及装置 |
| CN109360156A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于生成对抗网络的图像分块的单张图像去雨方法 |
| CN109360155A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于多尺度特征融合的单帧图像去雨方法 |
| CN109598695A (zh) * | 2017-09-29 | 2019-04-09 | 南京大学 | 一种基于深度学习网络的无参考图像模糊程度估计方法 |
| CN109886900A (zh) * | 2019-03-15 | 2019-06-14 | 西北大学 | 一种基于字典训练和稀疏表示的合成雨图除雨方法 |
| CN109886975A (zh) * | 2019-02-19 | 2019-06-14 | 武汉大学 | 一种基于生成对抗网络的图像优化处理去雨滴方法和系统 |
| CN109902617A (zh) * | 2019-02-25 | 2019-06-18 | 百度在线网络技术（北京）有限公司 | 一种图片识别方法、装置、计算机设备和介质 |
| CN110570376A (zh) * | 2019-09-10 | 2019-12-13 | 广州工程技术职业学院 | 一种图像去雨方法、装置、设备和计算机可读存储介质 |
| CN111046887A (zh) * | 2018-10-15 | 2020-04-21 | 华北电力大学（保定） | 一种带噪图像特征提取的方法 |
| CN111178196A (zh) * | 2019-12-19 | 2020-05-19 | 东软集团股份有限公司 | 一种细胞分类的方法、装置及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104112259A (zh) * | 2014-06-19 | 2014-10-22 | 中国科学院深圳先进技术研究院 | 单幅图像去雨方法和系统 |
| WO2016014930A2 (en) * | 2014-07-24 | 2016-01-28 | Exelis Inc. | A vision-based system for dynamic weather detection |
| CN106204499A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于卷积神经网络的单幅图像去雨方法 |
-
2016
- 2016-08-23 CN CN201610711655.9A patent/CN106971378A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104112259A (zh) * | 2014-06-19 | 2014-10-22 | 中国科学院深圳先进技术研究院 | 单幅图像去雨方法和系统 |
| WO2016014930A2 (en) * | 2014-07-24 | 2016-01-28 | Exelis Inc. | A vision-based system for dynamic weather detection |
| CN106204499A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于卷积神经网络的单幅图像去雨方法 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598695A (zh) * | 2017-09-29 | 2019-04-09 | 南京大学 | 一种基于深度学习网络的无参考图像模糊程度估计方法 |
| CN107885832A (zh) * | 2017-11-09 | 2018-04-06 | 安徽律正科技信息服务有限公司 | 一种图形商标检索方法 |
| CN109087258B (zh) * | 2018-07-27 | 2021-07-20 | 中山大学 | 一种基于深度学习的图像去雨方法及装置 |
| CN109087258A (zh) * | 2018-07-27 | 2018-12-25 | 中山大学 | 一种基于深度学习的图像去雨方法及装置 |
| CN109360155A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于多尺度特征融合的单帧图像去雨方法 |
| CN109360156A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于生成对抗网络的图像分块的单张图像去雨方法 |
| CN109360155B (zh) * | 2018-08-17 | 2020-10-13 | 上海交通大学 | 基于多尺度特征融合的单帧图像去雨方法 |
| CN111046887A (zh) * | 2018-10-15 | 2020-04-21 | 华北电力大学（保定） | 一种带噪图像特征提取的方法 |
| CN109886975A (zh) * | 2019-02-19 | 2019-06-14 | 武汉大学 | 一种基于生成对抗网络的图像优化处理去雨滴方法和系统 |
| CN109902617A (zh) * | 2019-02-25 | 2019-06-18 | 百度在线网络技术（北京）有限公司 | 一种图片识别方法、装置、计算机设备和介质 |
| CN109886900A (zh) * | 2019-03-15 | 2019-06-14 | 西北大学 | 一种基于字典训练和稀疏表示的合成雨图除雨方法 |
| CN109886900B (zh) * | 2019-03-15 | 2023-04-28 | 西北大学 | 一种基于字典训练和稀疏表示的合成雨图除雨方法 |
| CN110570376A (zh) * | 2019-09-10 | 2019-12-13 | 广州工程技术职业学院 | 一种图像去雨方法、装置、设备和计算机可读存储介质 |
| CN110570376B (zh) * | 2019-09-10 | 2022-05-20 | 广州工程技术职业学院 | 一种图像去雨方法、装置、设备和计算机可读存储介质 |
| CN111178196A (zh) * | 2019-12-19 | 2020-05-19 | 东软集团股份有限公司 | 一种细胞分类的方法、装置及设备 |
| CN111178196B (zh) * | 2019-12-19 | 2024-01-23 | 东软集团股份有限公司 | 一种细胞分类的方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106971378A (zh) | 一种基于深度去噪自编码器的单幅图像去雨方法 | |
| CN107133935B (zh) | 一种基于深度卷积神经网络的单图像精细去雨方法 | |
| CN109829443B (zh) | 基于图像增强与3d卷积神经网络的视频行为识别方法 | |
| CN110555368B (zh) | 基于三维卷积神经网络的跌倒行为识别方法 | |
| CN107590489A (zh) | 基于级联卷积神经网络的目标检测方法 | |
| CN108664953B (zh) | 一种基于卷积自编码器模型的图像特征提取方法 | |
| CN112907479B (zh) | 基于注意力机制的残差单幅图像去雨方法 | |
| CN110310238B (zh) | 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法 | |
| CN111915530A (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN110503613A (zh) | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 | |
| CN106600560A (zh) | 一种适用于行车记录仪的图像去雾方法 | |
| CN113221943B (zh) | 一种柴油车黑烟图像识别方法、系统及存储介质 | |
| CN108520212A (zh) | 基于改进的卷积神经网络的交通标志检测方法 | |
| CN110288535B (zh) | 一种图像去雨方法和装置 | |
| CN114332569B (zh) | 基于注意力机制的低扰动对抗攻击方法 | |
| CN106504204A (zh) | 一种基于稀疏表示的单幅图像去雨方法 | |
| CN109583334B (zh) | 一种基于时空关联神经网络的动作识别方法及其系统 | |
| CN106971377A (zh) | 一种基于稀疏与低秩矩阵分解的单幅图像去雨方法 | |
| CN102129670B (zh) | 电影划痕损伤的检测修复方法 | |
| CN110111267A (zh) | 一种基于优化算法结合残差网络的单幅图像除雨方法 | |
| CN104112138A (zh) | 物体颜色分类方法及装置 | |
| CN111414860A (zh) | 一种实时的人像跟踪分割方法 | |
| CN114299286A (zh) | 一种异常天气下基于类别分组的道路场景语义分割方法 | |
| CN111126185B (zh) | 一种针对道路卡口场景的深度学习车辆目标识别方法 | |
| CN114463340B (zh) | 一种边缘信息引导的敏捷型遥感图像语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170721 |