CN111738932A - 一种车载摄像头拍照图像自动去雨方法 - Google Patents

一种车载摄像头拍照图像自动去雨方法 Download PDF

Info

Publication number
CN111738932A
CN111738932A CN202010403121.6A CN202010403121A CN111738932A CN 111738932 A CN111738932 A CN 111738932A CN 202010403121 A CN202010403121 A CN 202010403121A CN 111738932 A CN111738932 A CN 111738932A
Authority
CN
China
Prior art keywords
image
rainy
vehicle
rain
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010403121.6A
Other languages
English (en)
Inventor
张忠祥
陈兵兵
陈明生
孔勐
范程华
曹欣远
梅炜炜
曹新明
陈静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Normal University
Huainan Normal University
Original Assignee
Hefei Normal University
Huainan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Normal University, Huainan Normal University filed Critical Hefei Normal University
Priority to CN202010403121.6A priority Critical patent/CN111738932A/zh
Publication of CN111738932A publication Critical patent/CN111738932A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提出的一种车载摄像头拍照图像自动去雨方法，将雨滴视为噪声，首先建立输入和输出为雨天相同场景下不同时刻的图像的网络模型，通过网络模型获得雨天噪声分布；然后通过去噪声网络对雨天图像进行处理，获得无雨效果图。本发明中，基于输入和输出为相同场景下不同时刻的雨天图像的样本进行训练，获得雨天噪声分布，并结余雨天噪声分布对雨天图像进行去雨处理。如此，本发明中，模型的训练不需要干净的无雨图像，简化了数据处理难度，提高了可行性，并保证了数据处理的精确程度。

Description

一种车载摄像头拍照图像自动去雨方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种车载摄像头拍照图像自动去雨方法。
背景技术
目前在车载摄像头拍照和无人驾驶辅助系统设计领域，对于雨天环境下的拍照分析处理非常困难，大雨天气往往导致拍照模糊或者大雨信息干扰，造成计算机分析系统出错，进而出现故障，增加车祸风险。对于照片或者视频中大雨的去除，目前尚无成熟方案，如何将大雨环境下的照片还原为无雨环境，将对车载拍照分析和无人驾驶辅助分析系统至关重要。
发明内容
基于背景技术存在的技术问题，本发明提出了一种车载摄像头拍照图像自动去雨方法。
本发明提出的一种车载摄像头拍照图像自动去雨方法，将雨滴视为噪声，首先建立输入和输出为雨天相同场景下不同时刻的图像的网络模型，通过网络模型获得雨天噪声分布；然后通过去噪声网络对雨天图像进行处理，获得无雨效果图。
优选的，雨天噪声分布的获得具体包括以下步骤：
获取样本，每一个样本由雨天相同场景下不同时刻的两张图像组成，且前一时刻的图像作为输入图像，后一时刻的图像作为输出图像；
建立均包含多个样本的训练样本数据集和测试样本数据集，并结合训练样本数据集和测试样本数据集获得雨天噪声分布。
优选的，训练样本数据集中的样本数量大于或等于100000。
优选的，样本中的图像、去噪声网络的输入图像和输出图像均尺寸相同。
优选的，基于Vnet网络对训练样本数据集进行训练。
优选的，训练过程中采用MSE作为损失函数。
优选的，基于CycleGAN网络对训练样本数据集进行训练。
优选的，通过去噪声网络对雨天图像进行处理的方法为：结合获得的雨天噪声分布建立输入为雨天图像，输出为无雨图像的去噪声网络，然后通过去噪声网络对待处理的雨天图像进行去雨处理。
优选的，通过去噪声网络对雨天图像进行处理的步骤包括：
获得雨天图像，并根据去噪声网络的输入图像尺寸对雨天图像进行尺寸整形；
将整形后的雨天图像输入去噪声网络，获得输出图像；
根据整形前的雨天图像尺寸对输出图像进行尺寸还原，获得去雨效果图。
本发明提出的一种车载摄像头拍照图像自动去雨方法，基于卷积神经网络，构建下雨照片还原网络，将一张雨景照片还原为无雨照片，进而避免下雨对车外道路环境分析的干扰。
且，本发明中，基于输入和输出为相同场景下不同时刻的雨天图像的样本进行训练，获得雨天噪声分布，并结余雨天噪声分布对雨天图像进行去雨处理。如此，本发明中，模型的训练不需要干净的无雨图像，简化了数据处理难度，提高了可行性，并保证了数据处理的精确程度。
附图说明
图1为本发明提出的一种车载摄像头拍照图像自动去雨方法流程图；
图2为本发明实施例提出的一种车载摄像头拍照图像自动去雨方法流程图；
图3为本发明中通过去噪声网络对待处理的雨天图像进行去雨处理的方法流程图。
具体实施方式
参照图1，本发明提出的一种车载摄像头拍照图像自动去雨方法，将雨滴视为噪声，首先建立输入和输出为雨天相同场景下不同时刻的图像的网络模型，通过网络模型获得雨天噪声分布；然后通过去噪声网络对雨天图像进行处理，获得无雨效果图。
参照图2，本实施方式中的去雨方法具体包括以下步骤：
S1、获取样本，每一个样本由雨天相同场景下不同时刻的两张图像组成，且前一时刻的图像作为输入图像，后一时刻的图像作为输出图像。
S2、建立均包含多个样本的训练样本数据集和测试样本数据集，并结合训练样本数据集和测试样本数据集获得雨天噪声分布。
具体的，本步骤中，基于Vnet网络对训练样本数据集进行训练，具体训练时，可采用MSE作为损失函数。本步骤具体实施时，也可基于CycleGAN网络对训练样本数据集进行训练。
本步骤中，为了保证获得雨天噪声分布的精确，训练样本数据集中的样本数量至少为100000。
S3、结合获得的雨天噪声分布建立输入为雨天图像，输出为无雨图像的去噪声网络。
S4、通过去噪声网络对待处理的雨天图像进行去雨处理。
具体实施时，为了避免图像尺寸对模型处理的不利影响，样本中的图像、去噪声网络的输入图像和输出图像均尺寸相同。
如此，参照图3，步骤S4具体包括：获得雨天图像，并根据去噪声网络的输入图像尺寸对雨天图像进行尺寸整形；将整形后的雨天图像输入去噪声网络，获得输出图像；根据整形前的雨天图像尺寸对输出图像进行尺寸还原，获得去雨效果图。
具体的，本实施方式中，对获得的雨天图像进行整形时，计算公式如下：
Figure BDA0002490255050000041
其中，Ws为雨天图像原图的宽度，M、N分别为去噪声网络输入图像的宽度和高度，WA、HA分别为整形后的雨天图像的宽度和高度。
对于去噪声网络的输出图像，可进一步通过插值法进行尺寸整形，获得与原雨天图像相同尺寸的去雨效果图。
以上所述，仅为本发明涉及的较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种车载摄像头拍照图像自动去雨方法，其特征在于，将雨滴视为噪声，首先建立输入和输出为雨天相同场景下不同时刻的图像的网络模型，通过网络模型获得雨天噪声分布；然后通过去噪声网络对雨天图像进行处理，获得无雨效果图。
2.如权利要求1所述的车载摄像头拍照图像自动去雨方法，其特征在于，雨天噪声分布的获得具体包括以下步骤：
获取样本，每一个样本由雨天相同场景下不同时刻的两张图像组成，且前一时刻的图像作为输入图像，后一时刻的图像作为输出图像；
建立均包含多个样本的训练样本数据集和测试样本数据集，并结合训练样本数据集和测试样本数据集获得雨天噪声分布。
3.如权利要求2所述的车载摄像头拍照图像自动去雨方法，其特征在于，训练样本数据集中的样本数量大于或等于100000。
4.如权利要求2所述的车载摄像头拍照图像自动去雨方法，其特征在于，样本中的图像、去噪声网络的输入图像和输出图像均尺寸相同。
5.如权利要求2所述的车载摄像头拍照图像自动去雨方法，其特征在于，基于Vnet网络对训练样本数据集进行训练。
6.如权利要求5所述的车载摄像头拍照图像自动去雨方法，其特征在于，训练过程中采用MSE作为损失函数。
7.如权利要求2所述的车载摄像头拍照图像自动去雨方法，其特征在于，基于CycleGAN网络对训练样本数据集进行训练。
8.如权利要求1所述的车载摄像头拍照图像自动去雨方法，其特征在于，通过去噪声网络对雨天图像进行处理的方法为：结合获得的雨天噪声分布建立输入为雨天图像，输出为无雨图像的去噪声网络，然后通过去噪声网络对待处理的雨天图像进行去雨处理。
9.如权利要求8所述的车载摄像头拍照图像自动去雨方法，其特征在于，通过去噪声网络对雨天图像进行处理的步骤包括：
获得雨天图像，并根据去噪声网络的输入图像尺寸对雨天图像进行尺寸整形；
将整形后的雨天图像输入去噪声网络，获得输出图像；
根据整形前的雨天图像尺寸对输出图像进行尺寸还原，获得去雨效果图。
CN202010403121.6A 2020-05-13 2020-05-13 一种车载摄像头拍照图像自动去雨方法 Pending CN111738932A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010403121.6A CN111738932A (zh) 2020-05-13 2020-05-13 一种车载摄像头拍照图像自动去雨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010403121.6A CN111738932A (zh) 2020-05-13 2020-05-13 一种车载摄像头拍照图像自动去雨方法

Publications (1)

Publication Number Publication Date
CN111738932A true CN111738932A (zh) 2020-10-02

Family

ID=72647254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010403121.6A Pending CN111738932A (zh) 2020-05-13 2020-05-13 一种车载摄像头拍照图像自动去雨方法

Country Status (1)

Country Link
CN (1) CN111738932A (zh)

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285640A (ja) * 2000-03-31 2001-10-12 Fuji Photo Film Co Ltd 画像処理方法、画像処理装置および記録媒体
CN102305930A (zh) * 2011-06-01 2012-01-04 镇江光宁航海电子科技有限公司 一种抑制雷达回波中雨雪杂波的方法
CN104820974A (zh) * 2015-05-14 2015-08-05 浙江科技学院 基于elm的图像去噪方法
JP2015180048A (ja) * 2014-02-25 2015-10-08 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
CN106331433A (zh) * 2016-08-25 2017-01-11 上海交通大学 基于深度递归神经网络的视频去噪方法
CN107248144A (zh) * 2017-04-27 2017-10-13 东南大学 一种基于压缩型卷积神经网络的图像去噪方法
CN107909548A (zh) * 2017-05-09 2018-04-13 西安交通大学 一种基于噪声建模的视频去雨方法
CN109035157A (zh) * 2018-06-25 2018-12-18 华南师范大学 一种基于静态雨纹的图像去雨方法及系统
CN109087255A (zh) * 2018-07-18 2018-12-25 中国人民解放军陆军工程大学 一种基于混合损失的轻量级深度图像去噪方法
CN109685743A (zh) * 2018-12-30 2019-04-26 陕西师范大学 基于噪声学习神经网络模型的图像混合噪声消除方法
CN109886975A (zh) * 2019-02-19 2019-06-14 武汉大学 一种基于生成对抗网络的图像优化处理去雨滴方法和系统
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN110148088A (zh) * 2018-03-14 2019-08-20 北京邮电大学 图像处理方法、图像去雨方法、装置、终端及介质
CN110163813A (zh) * 2019-04-16 2019-08-23 中国科学院深圳先进技术研究院 一种图像去雨方法、装置、可读存储介质及终端设备
CN110288535A (zh) * 2019-05-14 2019-09-27 北京邮电大学 一种图像去雨方法和装置
CN110503610A (zh) * 2019-07-16 2019-11-26 江苏大学 一种基于gan网络的图像雨雪痕迹去除方法
CN110517199A (zh) * 2019-08-26 2019-11-29 电子科技大学 一种便于智能车辆驾驶的图像去雨方法
CN110599413A (zh) * 2019-08-15 2019-12-20 江苏大学 基于深度学习卷积神经网络的激光光斑图像去噪的方法
CN110738605A (zh) * 2019-08-30 2020-01-31 山东大学 基于迁移学习的图像去噪方法、系统、设备及介质
CN110826391A (zh) * 2019-09-10 2020-02-21 中国三峡建设管理有限公司 泌水区域检测方法、系统、计算机设备和存储介质
CN110838095A (zh) * 2019-11-06 2020-02-25 广西师范大学 一种基于循环密集神经网络的单幅图像去雨方法和系统
AU2020100196A4 (en) * 2020-02-08 2020-03-19 Juwei Guan A method of removing rain from single image based on detail supplement
CN111127354A (zh) * 2019-12-17 2020-05-08 武汉大学 一种基于多尺度字典学习的单图像去雨方法

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285640A (ja) * 2000-03-31 2001-10-12 Fuji Photo Film Co Ltd 画像処理方法、画像処理装置および記録媒体
CN102305930A (zh) * 2011-06-01 2012-01-04 镇江光宁航海电子科技有限公司 一种抑制雷达回波中雨雪杂波的方法
JP2015180048A (ja) * 2014-02-25 2015-10-08 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
CN104820974A (zh) * 2015-05-14 2015-08-05 浙江科技学院 基于elm的图像去噪方法
CN106331433A (zh) * 2016-08-25 2017-01-11 上海交通大学 基于深度递归神经网络的视频去噪方法
CN107248144A (zh) * 2017-04-27 2017-10-13 东南大学 一种基于压缩型卷积神经网络的图像去噪方法
CN107909548A (zh) * 2017-05-09 2018-04-13 西安交通大学 一种基于噪声建模的视频去雨方法
CN110148088A (zh) * 2018-03-14 2019-08-20 北京邮电大学 图像处理方法、图像去雨方法、装置、终端及介质
CN109035157A (zh) * 2018-06-25 2018-12-18 华南师范大学 一种基于静态雨纹的图像去雨方法及系统
CN109087255A (zh) * 2018-07-18 2018-12-25 中国人民解放军陆军工程大学 一种基于混合损失的轻量级深度图像去噪方法
CN109685743A (zh) * 2018-12-30 2019-04-26 陕西师范大学 基于噪声学习神经网络模型的图像混合噪声消除方法
CN109886975A (zh) * 2019-02-19 2019-06-14 武汉大学 一种基于生成对抗网络的图像优化处理去雨滴方法和系统
CN110163813A (zh) * 2019-04-16 2019-08-23 中国科学院深圳先进技术研究院 一种图像去雨方法、装置、可读存储介质及终端设备
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN110288535A (zh) * 2019-05-14 2019-09-27 北京邮电大学 一种图像去雨方法和装置
CN110503610A (zh) * 2019-07-16 2019-11-26 江苏大学 一种基于gan网络的图像雨雪痕迹去除方法
CN110599413A (zh) * 2019-08-15 2019-12-20 江苏大学 基于深度学习卷积神经网络的激光光斑图像去噪的方法
CN110517199A (zh) * 2019-08-26 2019-11-29 电子科技大学 一种便于智能车辆驾驶的图像去雨方法
CN110738605A (zh) * 2019-08-30 2020-01-31 山东大学 基于迁移学习的图像去噪方法、系统、设备及介质
CN110826391A (zh) * 2019-09-10 2020-02-21 中国三峡建设管理有限公司 泌水区域检测方法、系统、计算机设备和存储介质
CN110838095A (zh) * 2019-11-06 2020-02-25 广西师范大学 一种基于循环密集神经网络的单幅图像去雨方法和系统
CN111127354A (zh) * 2019-12-17 2020-05-08 武汉大学 一种基于多尺度字典学习的单图像去雨方法
AU2020100196A4 (en) * 2020-02-08 2020-03-19 Juwei Guan A method of removing rain from single image based on detail supplement

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHAOYUE WANG等: ""Perceptual Adversarial Networks for Image-to-Image Transformation"", 《IEEE》 *
JAAKKO LEHTINEN等: ""Noise2Noise: Learning Image Restoration without Clean Data"", 《ARXIV》, pages 1 - 3 *
朱海龙: ""复杂气象条件下动态人群场景分析方法研究"", 《万方》 *
王一鸣: ""基于生成对抗网络的图像修复算法研究"", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
赵嘉兴;王夏黎;王丽红;曹晨洁;: "多尺度密集时序卷积网络的单幅图像去雨方法", 计算机技术与发展, no. 05 *

Similar Documents

Publication Publication Date Title
CN108230264B (zh) 一种基于ResNet神经网络的单幅图像去雾方法
CN108376392B (zh) 一种基于卷积神经网络的图像运动模糊去除方法
CN110163818B (zh) 一种用于海事无人机的低照度视频图像增强方法
CN110503610B (zh) 一种基于gan网络的图像雨雪痕迹去除方法
CN116071243B (zh) 一种基于边缘增强的红外图像超分辨率重建方法
CN105913392A (zh) 复杂环境下退化图像综合质量提升方法
CN112053308B (zh) 一种图像去模糊方法、装置、计算机设备及存储介质
CN112419191B (zh) 基于卷积神经网络的图像运动模糊去除方法
WO2023082453A1 (zh) 一种图像处理方法及装置
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN112598587A (zh) 一种联合人脸去口罩和超分辨率的图像处理系统和方法
DE112020005730T5 (de) Gemeinsame Rolling-Shutter-Korrektur und Bildscharfzeichnung
CN113962905B (zh) 基于多阶段特征互补网络的单幅图像去雨方法
CN108122209B (zh) 一种基于对抗生成网络的车牌去模糊方法
CN113096032B (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN112767280B (zh) 一种基于循环迭代机制的单幅图像雨滴去除方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN110400270B (zh) 一种利用图像分解和多重校正融合的车牌去雾方法
CN109886900B (zh) 一种基于字典训练和稀疏表示的合成雨图除雨方法
CN111738932A (zh) 一种车载摄像头拍照图像自动去雨方法
CN116823662A (zh) 一种融合原生特征的图像去噪去模糊方法
CN113658050A (zh) 一种图像的去噪方法、去噪装置、移动终端及存储介质
CN112734675B (zh) 一种基于金字塔模型和非局部增强密集块的图像去雨方法
CN113012071B (zh) 一种基于深度感知网络的图像失焦去模糊方法
CN106934344B (zh) 一种基于神经网络的快速行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination