CN109102475B - 一种图像去雨方法及装置 - Google Patents
一种图像去雨方法及装置 Download PDFInfo
- Publication number
- CN109102475B CN109102475B CN201810917404.5A CN201810917404A CN109102475B CN 109102475 B CN109102475 B CN 109102475B CN 201810917404 A CN201810917404 A CN 201810917404A CN 109102475 B CN109102475 B CN 109102475B
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- convolutional neural
- rain
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 119
- 230000006870 function Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像去雨方法和装置，包括：将带雨滴的待检测图像分离为高频分量图像和低频分量图像；将高频分量图像输入至训练好的含残差结构的卷积神经网络，输出去雨图像，将去雨图像与待检测图像综合，得到无雨图像；将无雨图像输入至训练好的含判别结构的卷积神经网络，输出无雨图像和待检测图像对应的无雨滴图像比较的类别，将该类别输入至含残差结构的卷积神经网络，并更新含残差结构的卷积神经网络的参数，得到最终的无雨图像。本发明得到的最终的无雨图像，保留了待检测图像中没有雨区域的纹理细节，使得最终的无雨图像与待检测图像对应的无雨滴图像接近，很好地保留了待检测图像中的重要因素。
Description
技术领域
本发明涉及图像处理和机器学习技术领域，尤其涉及一种图像去雨方法及装置。
背景技术
随着机器学习技术的迅猛发展以及图像处理技术的日趋成熟，户外计算机视觉系统由于精准、快速、可靠且能直观、实时和全面反映被监测对象，及时获得大量丰富且高分辨率的图像信息等优点，尤其在不易被人类直接观察的场合，可以解决人工观测难的问题，被广泛的应用于各种领域，如汽车无人驾驶或远程监视系统，但是，在现实生活中，在雨雪天气下，由于光线和折射的影响，图像中的物体很容易模糊，并被单独的雨痕阻挡，因此雨雪对户外计算机视觉系统造成很大的影响，导致汽车无人驾驶出现故障，或在重要位置设置的摄像头也会因为风沙雨雪的遮挡，导致无法提供给公安人员足够的信息来进行对罪犯的身份确定。因此，需要对该类图像进行去雨处理。
目前，基于深度学习的图像去雨方法主要包括基于纯粹物理模型和数学推导的算法、基于图像处理知识的算法和基于稀疏编码字典学习和分类器的算法等，由于雨水和背景纹理的内在重叠性，当前大部分算法会平滑没有雨区域的纹理细节，同时雨水在图像中引起的变化是复杂的，当前的图像去雨方法不能很好地覆盖真实雨水图像中的一些重要因素，例如水气、雨水的不同形状或方向等。
因此，目前基于深度学习的图像去雨方法存在会平滑雨水图像中没有雨区域的纹理细节，同时不能很好地覆盖真实雨水图像中的一些重要因素的问题。
发明内容
为了解决目前基于深度学习的图像去雨方法存在会平滑雨水图像中没有雨区域的纹理细节，同时不能很好地覆盖真实雨水图像中的一些重要因素的问题，本发明提供了一种图像去雨方法，包括：
获取带雨滴的待检测图像；
将待检测图像分离为高频分量图像和低频分量图像；
将高频分量图像输入至训练好的含残差结构的卷积神经网络，输出去雨图像，将去雨图像与待检测图像综合，得到无雨图像；
将无雨图像输入至训练好的含判别结构的卷积神经网络，输出无雨图像和待检测图像对应的无雨滴图像比较的类别，将类别输入至含残差结构的卷积神经网络，并更新含残差结构的卷积神经网络的参数，得到最终的无雨图像。
优选地，含残差结构的卷积神经网络包括顺序进行的第一卷积层，非线性激活函数层，第一池化层和反卷积层。
优选地，含残差结构的卷积神经网络的训练函数为：
其中，D(p)为含残差结构的卷积神经网络的训练函数，p为含残差结构的卷积神经网络的网络参数，IGT为待检测图像对应的无雨滴图像，IRE为含残差结构的卷积神经网络输出的去雨图像，N为图片张数，i为图片数目。
优选地，含判别结构的卷积神经网络包括顺序进行的第二卷积层、第二池化层和全联接层。
优选地，含判别结构的卷积神经网络的训练函数为：
D(p1)＝min[-log(D(IGT)-log(1-D(IRE)]
其中，D(p1)为含判别结构的卷积神经网络的训练函数，p1为含判别结构的网络参数，IGT为待检测图像对应的无雨滴图像，IRE为含残差结构的卷积神经网络输出的去雨图像。
优选地，含残差结构的卷积神经网络的训练集为高频分量图像与待检测图像对应的无雨滴图像，待检测图像对应的无雨滴图像由公开数据库采集或人工采集。
优选地，含判别结构的卷积神经网络的训练集为含残差结构的神经网络输出的去雨图像和待检测图像对应的无雨滴图像。
优选地，含残差结构的卷积神经网络共有16阶层，含判别结构的卷积神经网络共有8阶层。
另一方面，本发明提供了一种图像去雨装置，包括：
获取模块，用于获取带雨滴的待检测图像；
处理模块，用于将待检测图像输入至训练好的含残差结构的卷积神经网络，输出去雨图像，将去雨图像与待检测图像综合，得到无雨图像；
反馈模块，用于将无雨图像输入至训练好的含判别结构的卷积神经网络，输出无雨图像和待检测图像对应的无雨滴图像比较的类别，将类别输入至含残差结构的卷积神经网络，并更新含残差结构的卷积神经网络的参数。
再一方面，本发明提供了一种用于图像去雨的电子设备，包括：
存储器和处理器，处理器和存储器通过总线完成相互间的通信；存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行上述的方法。
又一方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。
本发明提供的一种图像去雨方法及装置，通过对图像去雨方法进行建模，在该模型中设计一个含有残差结构的卷积神经网络和一个用于对该含有残差结构的卷积神经网络进行反馈的含有判别结构的卷积神经网络，将带雨滴的待检测图像将待检测图像分离为高频分量图像和低频分量图像；将高频分量图像输入至训练好的含残差结构的卷积神经网络，输出去雨图像，将去雨图像与待检测图像综合，得到无雨图像；将无雨图像输入至训练好的含判别结构的卷积神经网络，输出无雨图像和待检测图像对应的无雨滴图像比较的类别，将该类别输入至含残差结构的卷积神经网络，并更新含残差结构的卷积神经网络的参数，得到最终的无雨图像。本发明将经过含残差结构的卷积神经网络输出的去雨图像与待检测图像综合，得到无雨图像，保留了待检测图像中没有雨区域的纹理细节，同时经过一个含有残差结构的卷积神经网络和一个用于对该含有残差结构的卷积神经网络组成的模型处理，使得最终的无雨图像与待检测图像对应的无雨滴图像接近，很好地保留了待检测图像中的重要因素。
附图说明
图1为根据本发明的一个优选实施例的一种图像去雨方法的流程示意图；
图2为根据本发明的一个优选实施例的一种图像去雨装置的结构示意图；
图3为根据本发明的一个优选实施例的用于一种用于图像去雨的电子设备的结构示意图；
图4为根据本发明的一个优选实施例的一种图像去雨方法的流程结构图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为根据本发明的一个优选实施例的一种图像去雨方法的流程示意图，图4为根据本发明的一个优选实施例的一种图像去雨方法的流程结构图，如图1和图4所示，本发明实施例提供了一种图像去雨方法，包括：
步骤S101、获取带雨滴的待检测图像；
步骤S102、将待检测图像分离为高频分量图像和低频分量图像；
步骤S103、将高频分量图像输入至训练好的含残差结构的卷积神经网络，输出去雨图像，将去雨图像与待检测图像综合，得到无雨图像；
步骤S104、将无雨图像输入至训练好的含判别结构的卷积神经网络，输出无雨图像和待检测图像对应的无雨滴图像比较的类别，将类别输入至含残差结构的卷积神经网络，并更新含残差结构的卷积神经网络的参数，得到最终的无雨图像。
具体地，首先需要获取待检测图像，待检测图像通常由照相机或摄像机在雨雪天气下拍摄采集、用于后续处理的带雨滴图像。
进一步地，雨纹可以看作是图像的高频信息部分，所以对带雨滴的待测图像进行去雨处理，实际主要是对带雨滴的待检测图像的高频信息部分进行处理，因此，对待检测图像作傅里叶变化，将待检测图像中的像素信息转移到频域中，将待检测图像分离为高频分量图像和低频分量图像，然后针对高频分量图像进行处理。
具体地，本发明实施例提供的图像去雨方法建立的模型，包括一个含残差结构的卷积神经网络和对该含残差结构的卷积神经网络进行反馈的含判别结构的卷积神经网络。
进一步地，将高频分量图像输入至输入至训练好的含残差结构的卷积神经网络，输出去雨图像，将去雨图像与待检测图像综合，得到无雨图像，然后将无雨图像输入至训练好的含判别结构的卷积神经网络，输出无雨图像和待检测图像对应的无雨滴图像比较的类别，将类别输入至含残差结构的卷积神经网络，并更新含残差结构的卷积神经网络的参数，得到最终的无雨图像。
其中，类别表示含残差结构的卷积神经网络输出的无雨图像与待检测图像对应的无雨滴图像的相似程度。
本发明实施例经过含残差结构的卷积神经网络输出的去雨图像与待检测图像综合，得到无雨图像，保留了待检测图像中没有雨区域的纹理细节，同时经过一个含有残差结构的卷积神经网络和一个用于对该含有残差结构的卷积神经网络组成的模型处理，使得最终的无雨图像与待检测图像对应的无雨滴图像接近，很好地保留了待检测图像中的重要因素。
基于上述实施例，含残差结构的卷积神经网络包括顺序进行的第一卷积层，非线性激活函数层，第一池化层和反卷积层。
其中，第一卷积层用于对含残差结构的卷积神经网络进行特征提取，使用多个卷积层得到更深层次的特征；非线性激活函数层用于加入非线性因素；第一池化层对输入的特征图像进行压缩，一方面使特征图像变小，简化网络计算复杂度，另一方面进行特征压缩，以提取主要特征；反卷积层用于将低维特征映射成高维输入，与第一卷积层的作用相反，针对输入的特征起到还原的作用，输出还原的图像。
本发明实施例中含残差结构的卷积神经网络和普通的含残差结构的卷积神经网络的不同之处在于移除了BN层，因为BN层在深度学习的物体检测图像分类这一领域可以取得比较好的结果，在图像去雨滴中，移除BN层对图像去雨的精度没有损失，同时可以减少参数和减少训练过程中显存的占用，能够节省显存空间优化网络训练过程
基于上述实施例，含残差结构的卷积神经网络的训练函数采用绝对值距离误差函数，与普遍使用的均方误差函数不同，因为使用均方误差函数会使得恢复的图像比较平滑，丢失较多细节信息；使用绝对值距离误差函数可以有效避免。
含残差结构的卷积神经网络的训练函数为：
其中，D(p)为含残差结构的卷积神经网络的训练函数，p为含残差结构的卷积神经网络的网络参数，IGT为待检测图像对应的无雨滴图像，IRE为含残差结构的卷积神经网络输出的去雨图像，N为图片张数，i为图片数目。
基于上述实施例，含判别结构的卷积神经网络包括顺序进行的第二卷积层、第二池化层和全联接层。
其中，第二卷积层和第一卷积层作用相同，用于对含判别结构的卷积神经网络进行特征提取，使用多个卷积层得到更深层次的特征；第二池化层和第一池化层作用相同，用于对输入的特征图像进行压缩，一方面使特征图像变小，简化网络计算复杂度，另一方面进行特征压缩，以提取主要特征；全连接层则用于判断输入的图片是经过含残差结构的卷积神经网络产生的无雨图片，还是待检测图像对应的无雨滴图像。
基于上述实施例，含判别结构的卷积神经网络输出无雨图像和待检测图像对应的无雨滴图像比较的类别，将该类别输入至含残差结构的卷积神经网络，并更新含残差结构的卷积神经网络的参数，得到最终的无雨图像，使得含残差结构的卷积神经网络的去雨效果最好。
含判别结构的卷积神经网络的训练函数为：
D(p1)＝min[-log(D(IGT)-log(1-D(IRE)]
其中，D(p1)为含判别结构的卷积神经网络的训练函数，p1为含判别结构的网络参数，IGT为待检测图像对应的无雨滴图像，IRE为含残差结构的卷积神经网络输出的去雨图像。
基于上述实施例，含残差结构的卷积神经网络的训练集为高频分量图像与待检测图像对应的无雨滴图像，待检测图像对应的无雨滴图像由公开数据库采集或人工采集。
基于上述实施例，含判别结构的卷积神经网络的训练集为含残差结构的神经网络输出的去雨图像和待检测图像对应的无雨滴图像。
进一步地，含残差结构的卷积神经网络共有16阶层，含判别结构的卷积神经网络共有8阶层。
图2为根据本发明的一个优选实施例的一种图像去雨装置的结构示意图，如图2所示，本发明实施例提供了一种图像去雨装置，用于完成上述实施例中的所述方法，该装置包括获取模块201、处理模块202和反馈模块203，其中：
获取模块201，用于获取带雨滴的待检测图像；
处理模块202，用于将待检测图像分离出的高频分量图像输入至训练好的含残差结构的卷积神经网络，输出去雨图像，将去雨图像与待检测图像综合，得到无雨图像；
反馈模块203，用于将无雨图像输入至训练好的含判别结构的卷积神经网络，输出无雨图像和待检测图像对应的无雨滴图像比较的类别，将类别输入至含残差结构的卷积神经网络，并更新含残差结构的卷积神经网络的参数。
图3为根据本发明的一个优选实施例的用于一种用于图像去雨的电子设备的结构示意图，本发明实施例提供了一种用于图像去雨的电子设备，该设备包括处理器301、存储器302和总线303。
其中，处理器301和存储器302通过所述总线303完成相互间的通信；处理器301用于调用存储器302中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：
获取待检测图像；
将待检测图像分离为高频分量图像和低频分量图像；
将高频分量图像输入至训练好的含残差结构的卷积神经网络，输出去雨图像，将去雨图像与待检测图像综合，得到无雨图像；
将无雨图像输入至训练好的含判别结构的卷积神经网络，输出无雨图像和待检测图像对应的无雨滴图像比较的类别，将该类别输入至含残差结构的卷积神经网络，并更新含残差结构的卷积神经网络的参数，得到最终的无雨图像。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：
获取待检测图像；
将待检测图像分离为高频分量图像和低频分量图像；
将高频分量图像输入至训练好的含残差结构的卷积神经网络，输出去雨图像，将去雨图像与待检测图像综合，得到无雨图像；
将无雨图像输入至训练好的含判别结构的卷积神经网络，输出无雨图像和待检测图像对应的无雨滴图像比较的类别，将该类别输入至含残差结构的卷积神经网络，并更新含残差结构的卷积神经网络的参数，得到最终的无雨图像。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：
获取待检测图像；
将待检测图像分离为高频分量图像和低频分量图像；
将高频分量图像输入至训练好的含残差结构的卷积神经网络，输出去雨图像，将去雨图像与待检测图像综合，得到无雨图像；
将无雨图像输入至训练好的含判别结构的卷积神经网络，输出无雨图像和待检测图像对应的无雨滴图像比较的类别，将该类别输入至含残差结构的卷积神经网络，并更新含残差结构的卷积神经网络的参数，得到最终的无雨图像。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置及设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
本发明提供的一种图像去雨方法及装置，通过对图像去雨方法进行建模，在该模型中设计一个含有残差结构的卷积神经网络和一个用于对该含有残差结构的卷积神经网络进行反馈的含有判别结构的卷积神经网络，将带雨滴的待检测图像将待检测图像分离为高频分量图像和低频分量图像；将高频分量图像输入至训练好的含残差结构的卷积神经网络，输出去雨图像，将去雨图像与待检测图像综合，得到无雨图像；将无雨图像输入至训练好的含判别结构的卷积神经网络，输出无雨图像和待检测图像对应的无雨滴图像比较的类别，将该类别输入至含残差结构的卷积神经网络，并更新含残差结构的卷积神经网络的参数，得到最终的无雨图像。本发明将经过含残差结构的卷积神经网络输出的去雨图像与待检测图像综合，得到无雨图像，保留了待检测图像中没有雨区域的纹理细节，同时经过一个含有残差结构的卷积神经网络和一个用于对该含有残差结构的卷积神经网络组成的模型处理，使得最终的无雨图像与待检测图像对应的无雨滴图像接近，很好地保留了待检测图像中的重要因素。
最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种图像去雨方法，其特征在于，包括：
获取带雨滴的待检测图像；
将所述待检测图像分离为高频分量图像和低频分量图像；
将所述高频分量图像输入至训练好的含残差结构的卷积神经网络，输出去雨图像，将所述去雨图像与所述待检测图像综合，得到无雨图像；
将所述无雨图像输入至训练好的含判别结构的卷积神经网络，输出所述无雨图像和所述待检测图像对应的无雨滴图像比较的类别，将所述类别输入至所述含残差结构的卷积神经网络，并更新所述含残差结构的卷积神经网络的参数，得到最终的无雨图像；
所述含残差结构的卷积神经网络包括顺序进行的第一卷积层、非线性激活函数层、第一池化层和反卷积层，所述含残差结构的卷积神经网络移除了BN层；所述含残差结构的卷积神经网络的训练集为所述高频分量图像与所述待检测图像对应的无雨滴图像，所述待检测图像对应的无雨滴图像由公开数据库采集或人工采集；
所述含残差结构的卷积神经网络的训练函数采用绝对值距离误差函数，所述含残差结构的卷积神经网络的训练函数为：
其中，D(p)为所述含残差结构的卷积神经网络的训练函数，p为所述含残差结构的卷积神经网络的网络参数，IGT为所述待检测图像对应的无雨滴图像，IRE为所述含残差结构的卷积神经网络输出的去雨图像，N为图片张数，i为图片数目。
2.根据权利要求1所述的一种图像去雨方法，其特征在于，所述含判别结构的卷积神经网络包括顺序进行的第二卷积层、第二池化层和全联接层。
3.根据权利要求1所述的一种图像去雨方法，其特征在于，所述含判别结构的卷积神经网络的训练函数为：
D(p1)＝min[-log(D(IGT)-log(1-D(IRE)]
其中，D(p1)为所述含判别结构的卷积神经网络的训练函数，p1为所述含判别结构的网络参数，IGT为所述待检测图像对应的无雨滴图像，IRE为所述含残差结构的卷积神经网络输出的去雨图像。
4.根据权利要求1所述的一种图像去雨方法，其特征在于，所述含判别结构的卷积神经网络的训练集为所述含残差结构的神经网络输出的去雨图像和所述待检测图像对应的无雨滴图像。
5.根据权利要求1所述的一种图像去雨方法，其特征在于，所述含残差结构的卷积神经网络共有16阶层，所述含判别结构的卷积神经网络共有8阶层。
6.一种图像去雨装置，其特征在于，包括：
获取模块，用于获取带雨滴的待检测图像；
处理模块，用于将所述待检测图像分离为高频分量图像和低频分量图像，将所述高频分量图像输入至训练好的含残差结构的卷积神经网络，输出去雨图像，将所述去雨图像与所述待检测图像综合，得到无雨图像；
反馈模块，用于将所述无雨图像输入至训练好的含判别结构的卷积神经网络，输出所述无雨图像和所述待检测图像对应的无雨滴图像比较的类别，将所述类别输入至所述含残差结构的卷积神经网络，并更新所述含残差结构的卷积神经网络的参数，得到最终的无雨图像；
所述含残差结构的卷积神经网络包括顺序进行的第一卷积层、非线性激活函数层、第一池化层和反卷积层，所述含残差结构的卷积神经网络移除了BN层；所述含残差结构的卷积神经网络的训练集为所述高频分量图像与所述待检测图像对应的无雨滴图像，所述待检测图像对应的无雨滴图像由公开数据库采集或人工采集；
所述含残差结构的卷积神经网络的训练函数采用绝对值距离误差函数，所述含残差结构的卷积神经网络的训练函数为：
其中，D(p)为所述含残差结构的卷积神经网络的训练函数，p为所述含残差结构的卷积神经网络的网络参数，IGT为所述待检测图像对应的无雨滴图像，IRE为所述含残差结构的卷积神经网络输出的去雨图像，N为图片张数，i为图片数目。
7.一种用于图像去雨的电子设备，其特征在于，包括：
存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至5任一所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810917404.5A CN109102475B (zh) | 2018-08-13 | 2018-08-13 | 一种图像去雨方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810917404.5A CN109102475B (zh) | 2018-08-13 | 2018-08-13 | 一种图像去雨方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109102475A CN109102475A (zh) | 2018-12-28 |
| CN109102475B true CN109102475B (zh) | 2021-03-09 |
Family
ID=64849671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810917404.5A Active CN109102475B (zh) | 2018-08-13 | 2018-08-13 | 一种图像去雨方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109102475B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110517199B (zh) * | 2019-08-26 | 2022-03-08 | 电子科技大学 | 一种便于智能车辆驾驶的图像去雨方法 |
| CN110544217B (zh) * | 2019-08-30 | 2021-07-20 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
| WO2021179147A1 (zh) * | 2020-03-09 | 2021-09-16 | 华为技术有限公司 | 一种基于神经网络的图像处理方法及装置 |
| CN111445465B (zh) * | 2020-03-31 | 2023-06-16 | 江南大学 | 基于深度学习的光场图像雪花或雨带检测去除方法及设备 |
| CN112507327B (zh) * | 2020-08-31 | 2022-11-18 | 华南理工大学 | 一种基于机器学习的晴雨检测与处理方法 |
| CN113487519B (zh) * | 2021-09-03 | 2022-02-25 | 南通欧泰机电工具有限公司 | 一种基于人工智能的图像去雨方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1669983A1 (en) * | 2004-12-08 | 2006-06-14 | Harman Becker Automotive Systems-Wavemakers, Inc. | System for suppressing rain noise |
| CN106204499A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于卷积神经网络的单幅图像去雨方法 |
| CN107909556A (zh) * | 2017-11-27 | 2018-04-13 | 天津大学 | 基于卷积神经网络的视频图像去雨方法 |
-
2018
- 2018-08-13 CN CN201810917404.5A patent/CN109102475B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1669983A1 (en) * | 2004-12-08 | 2006-06-14 | Harman Becker Automotive Systems-Wavemakers, Inc. | System for suppressing rain noise |
| CN106204499A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于卷积神经网络的单幅图像去雨方法 |
| CN107909556A (zh) * | 2017-11-27 | 2018-04-13 | 天津大学 | 基于卷积神经网络的视频图像去雨方法 |
Non-Patent Citations (2)
| Title |
|---|
| Image De-raining Using a Conditional Generative Adversarial Network;He Zhang et.al;《arXiv：1701.05957v1 [cs.CV]》;20170121;第3-10页 * |
| Removing rain from single images via a deep detail network;Xueyang Fu et.al;《2017 IEEE Conference on Computer Vision and Pattern Recognition》;20171109;第1716-1722页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109102475A (zh) | 2018-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109102475B (zh) | 一种图像去雨方法及装置 | |
| Pei et al. | Does haze removal help cnn-based image classification? | |
| Bayar et al. | On the robustness of constrained convolutional neural networks to jpeg post-compression for image resampling detection | |
| CN107529650B (zh) | 闭环检测方法、装置及计算机设备 | |
| CN107153817B (zh) | 行人重识别数据标注方法和装置 | |
| CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN102750385B (zh) | 基于标签检索的相关性—质量排序图像检索方法 | |
| CN108875645B (zh) | 一种煤矿井下复杂光照条件下的人脸识别方法 | |
| CN114170516B (zh) | 一种基于路侧感知的车辆重识别方法、装置及电子设备 | |
| WO2023082453A1 (zh) | 一种图像处理方法及装置 | |
| Pei et al. | Effects of image degradations to cnn-based image classification | |
| CN113610144A (zh) | 一种基于多分支局部注意力网络的车辆分类方法 | |
| CN111582410B (zh) | 图像识别模型训练方法、装置、计算机设备及存储介质 | |
| CN111723773A (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
| EP2497052A1 (en) | Method for illumination normalization on a digital image for performing face recognition | |
| CN112819007A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| Satrasupalli et al. | Single Image Haze Removal Based on transmission map estimation using Encoder-Decoder based deep learning architecture | |
| Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
| Wan et al. | Classification of fog situations based on Gaussian mixture model | |
| CN116542865A (zh) | 一种基于结构重参数化的多尺度实时去雾方法及装置 | |
| CN112633089B (zh) | 一种视频行人重识别方法、智能终端及存储介质 | |
| CN115358952A (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN110175509A (zh) | 一种基于级联超分辨率的全天候眼周识别方法 | |
| CN114155165A (zh) | 一种基于半监督的图像去雾方法 | |
| CN114283087A (zh) | 一种图像去噪方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210207 Address after: 215000 unit 2-b702, creative industry park, 328 Xinghu street, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant after: SUZHOU FEISOU TECHNOLOGY Co.,Ltd. Address before: Room 1216, 12 / F, Beijing Beiyou science and technology and cultural exchange center, 10 Xitucheng Road, Haidian District, Beijing, 100876 Applicant before: BEIJING FEISOU TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |