CN113487519B - 一种基于人工智能的图像去雨方法 - Google Patents

一种基于人工智能的图像去雨方法 Download PDF

Info

Publication number
CN113487519B
CN113487519B CN202111034427.XA CN202111034427A CN113487519B CN 113487519 B CN113487519 B CN 113487519B CN 202111034427 A CN202111034427 A CN 202111034427A CN 113487519 B CN113487519 B CN 113487519B
Authority
CN
China
Prior art keywords
rain
image
frequency
layer
free
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111034427.XA
Other languages
English (en)
Other versions
CN113487519A (zh
Inventor
李梅
李亚芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Aotai Electromechanical Tools Co ltd
Original Assignee
Nantong Aotai Electromechanical Tools Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Aotai Electromechanical Tools Co ltd filed Critical Nantong Aotai Electromechanical Tools Co ltd
Priority to CN202111034427.XA priority Critical patent/CN113487519B/zh
Publication of CN113487519A publication Critical patent/CN113487519A/zh
Application granted granted Critical
Publication of CN113487519B publication Critical patent/CN113487519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像去噪领域，具体涉及一种基于人工智能的图像去雨方法，包括：获取有雨图像，并将其进行图像分层处理，获得有雨图像所对应的高频图像；建立去雨网络模型：获取相同环境下无雨正常图像和经过分层处理后的高频有雨图像，提取该高频有雨图像和无雨图像两张图像的特征数据，并将提取的特征数据输入到网络训练模型中进行训练，输出高频有雨图像的无雨特征图像；完成去雨网络模型的训练；将待处理的有雨图像所对应的高频图像输入所述训练好的去雨网络模型，输出对应的去雨图像。通过上述图像去雨方法可以有效降低系统计算量，提高图像去雨效果。

Description

一种基于人工智能的图像去雨方法
技术领域
本发明涉及图像去噪领域，具体涉及一种基于人工智能的图像去雨方法。
背景技术
图像的处理和分析影响着人们生活工作中的多个领域，对于室外图片的采集，由于外界环境因素、天气因素等影响，难免会导致所采集的图像出现大量的噪声以及模糊等现象，同时当阴雨天气时，相机采集的图像数据会出现雨点、雨雾等非需要数据会引起图像的可见度、对比度降低。图像的质量会直接影响后续基于计算机视觉的检测分析结果，因此，图像的去雨操作对于计算机视觉领域而言至关重要。
图像去雨的主要目的是保证在不丢失细节信息，顺利修复图片中特征层次信息，还原图片对比度的同时，避免引入额外的信息对图像的研究造成新的干扰。现有图像去雨方法得到的图像存在去雨精度不够、对比还原度低等问题。
发明内容
为了克服上述现有技术的缺点，本发明提供一种通过人工智能方式以及神经网络模型对图像进一步分析，以实现图像的去雨效果。
本发明提供了一种人工智能的图像去雨方法，包括以下步骤：
获取有雨图像，并将其进行图像分层处理，获得有雨图像所对应的高频图像；
建立去雨网络模型：获取相同环境下无雨正常图像和经过分层处理后的高频有雨图像，提取该高频有雨图像和无雨图像两张图像的特征数据，并将提取的特征数据输入到网络训练模型中进行训练，输出高频有雨图像的无雨特征图像；完成去雨网络模型的训练；
将待处理的有雨图像所对应的高频图像输入所述训练好的去雨网络模型，输出对应的去雨图像。
所述去雨网络模型包括：第一编码器和第二编码器，其中第一编码器用于提取高频有雨图像的内容特征，第二编码器用于提取无雨图像中的无雨特征。
所述第一编码器和第二编码器中分别设置多个池化层和多个卷积层；
将去雨网络模型分为第一支路和第二支路两个支路，第一支路中第一编码器的卷积层用于提取有雨高频图像的内容特征；第二支路中第二编码器卷积层用于提取无雨正常图像的无雨特征。
所述卷积层提取的特征图的表达式为：
Figure DEST_PATH_IMAGE002
式中：N为第r层产生的特征图个数，
Figure DEST_PATH_IMAGE004
为第r层卷积得到的第j个特征图，
Figure DEST_PATH_IMAGE006
为卷积层第r层最终的特征图。
所述去雨网络模型还包括用于对网络模型进行监督学习的损失函数
Figure DEST_PATH_IMAGE008
：
Figure DEST_PATH_IMAGE010
式中:
Figure DEST_PATH_IMAGE012
为网络第一支路中在对高频有雨图像分析时图像内容的损失函数，
Figure DEST_PATH_IMAGE014
为网络第二支路中在对无雨图像分析时的无雨特征损失函数；
其中
Figure 345684DEST_PATH_IMAGE012
的表达式为：
Figure DEST_PATH_IMAGE016
式中:
Figure DEST_PATH_IMAGE018
为第r层的权值，
Figure DEST_PATH_IMAGE020
为输入有雨高频图像在第r层最终特征图上
Figure DEST_PATH_IMAGE022
处的特征值，
Figure DEST_PATH_IMAGE024
为随机生成的白噪声图像在第r层的最终特征图上
Figure 406700DEST_PATH_IMAGE022
处的特征值；
其中
Figure 327382DEST_PATH_IMAGE014
的表达式为：
Figure DEST_PATH_IMAGE026
Figure DEST_PATH_IMAGE028
式中：
Figure DEST_PATH_IMAGE030
为第r层的无雨特征损失，
Figure DEST_PATH_IMAGE032
为无雨特征损失模型参数，
Figure DEST_PATH_IMAGE034
为第r层的权值，
Figure DEST_PATH_IMAGE036
为输入的正常图像
Figure DEST_PATH_IMAGE038
第r层的特征矩阵，
Figure DEST_PATH_IMAGE040
为随机生成的白噪声图像第r层的特征矩阵，
Figure DEST_PATH_IMAGE042
分别为特征图的长、宽、高。
所述去雨网络模型还包括最终损失函数
Figure DEST_PATH_IMAGE044
：
Figure DEST_PATH_IMAGE046
其中
Figure DEST_PATH_IMAGE048
是各个损失函数的权重，
Figure DEST_PATH_IMAGE050
为色调损失函数，
Figure DEST_PATH_IMAGE052
为判定损失函数。
所述判定损失函数是按照如下方法建立：
建立相似度模型为:
Figure DEST_PATH_IMAGE054
Figure DEST_PATH_IMAGE056
Figure DEST_PATH_IMAGE058
式中：
Figure DEST_PATH_IMAGE060
是去雨后输出图像的特征矩阵，
Figure DEST_PATH_IMAGE062
是输入无雨图像的特征矩阵，
Figure DEST_PATH_IMAGE064
为去雨输出图像特征与无雨图像特征的相似度；
基于建立的相似度分析模型，生成无雨图像与输入无雨图像之间的无雨特征判定损失函数，该判定损失函数的表达式为：
Figure DEST_PATH_IMAGE066
所述色调损失函数
Figure 630581DEST_PATH_IMAGE050
按照如下方式建立：
对输入的高频有雨图像和输出的去雨图像的R、G、B通道进行归一化处理，建立色调约束函数，该色调约束函数的表达式为：
Figure DEST_PATH_IMAGE068
通过色调约束函数获取无雨图像和有雨图像的色调，基于该色调约束函数构建色调损失函数
Figure 211997DEST_PATH_IMAGE050
为：
Figure DEST_PATH_IMAGE070
式中:
Figure DEST_PATH_IMAGE072
为X的2范数的平方，
Figure DEST_PATH_IMAGE074
为输出去雨图像的色调约束值，
Figure DEST_PATH_IMAGE076
本发明的有益效果是：本发明首先对单帧图像进行数据处理操作，以获取图像中的含有雨水的高频图像，该方法能够仅对含有雨水的高频信号进行处理，减少对无关区域的处理分析，有效降低系统计算量，提高图像去雨效率，同时进一步加快后续去雨网络的收敛速度，提高去雨精度。本发明提供一种去雨网络模型，用于生成对应的去雨图像，对于对比度低、不具有清晰线条的图像，本发明将对去雨后的图像和输入正常图像
Figure DEST_PATH_IMAGE078
的无雨特征进行判定，并构建判定损失函数，获取网络的最终的最优损失函数，进一步优化监督网络，从而得到更好的效果，提高网络的去雨精度。本发明能够有效降低系统计算量，同时通过优化网络实现准确去除图像中的雨水，提高图像的全局去雨效果。
附图说明
图1是本发明的图像去雨方法流程示意图;
图2是本发明的图像分层处理过程示意图;
图3是本发明的图像去雨网络模型建立流程图;
图4是本发明实施例中去雨前的图像；
图5是本发明实施例中去雨后的图像。
具体实施方式
为了让本领域技术人员更好的理解本发明，下面结合实施例对本发明展开描述。
实施例一：
本发明主要适用于图像去雨的处理分析，如图1本发明提供了一种基于人工智能的图像去雨方法，所述图像去雨方法包括：
1.获取如图4的有雨图像，并将其进行图像分层处理，获得有雨图像所对应的高频图像；
该步骤主要目的是获取有雨图像所对应的高频图像。根据先验知识可知，雨水噪声多存在于图像的高频数据中，因此，本发明将基于高频图像对图像的雨水特征进行分析，提高网络的特征提取速度，同时降低对无关数据的分析。
如图2所述图像分层具体为：
1)首先通过频域变换算法将待处理图像转化成频域信息进行处理分析，所述频域变换的方法有很多：傅里叶变换、短时傅里叶变换、小波变换等算法，实施者可自行选取，优选的本发明采用小波变换对待处理图像进行频域转换；
2)然后对变换后的频域图像进行处理，本发明将设置频率阈值设定函数，该函数表达式为：
Figure DEST_PATH_IMAGE080
式中：
Figure DEST_PATH_IMAGE082
分别为最大、最小频率值。
基于阈值函数针对不同的图像获取其频域信息的频率阈值
Figure DEST_PATH_IMAGE084
，本发明主要获取高频数据信息，因此，本发明设定将低于频率阈值的数据滤除，保留高频数据信息；
3)最后，对于步骤2）中获取的高频数据信息，通过小波逆变换将所保留的高频数据变换到时域中，获取对应的高频图像。
至此，即可根据所述方法获取有雨图像所对应的高频图像，作为后续的图像去雨处理基础。
2.建立去雨网络模型：获取相同环境下无雨正常图像和经过分层处理后的高频有雨图像，提取该高频有雨图像和无雨图像两张图像的特征数据，并将提取的特征数据输入到网络训练模型中进行训练，输出高频有雨图像的无雨特征图像；完成去雨网络模型的训练。
该步骤主要目的是建立图像去雨网络模型，用于对含有雨水噪声的图像进行去雨处理。所述网络模型具体过程为：输入为两张图像，一张是经分层处理后的高频有雨图像
Figure DEST_PATH_IMAGE086
，另一张对应的没有雨的正常图像
Figure 566885DEST_PATH_IMAGE078
，本发明将通过网络的编码器分别提取两张图像的特征数据，通过网络学习输入图像的特征数据，最终获取一张去雨后的图像
Figure DEST_PATH_IMAGE088
，所述去雨后的图像
Figure 928858DEST_PATH_IMAGE088
与图像
Figure 206387DEST_PATH_IMAGE086
内容相同且与图像
Figure 281790DEST_PATH_IMAGE078
的无雨特征相同。本发明将在网络模型中设置两个特征提取编码器，第一编码器用于提取内容特征，第二编码器用于提取所述的无雨特征，以便网络进行训练学习。为方便理解在此需要指出，本发明中的有雨特征和无雨特征是指图像的纹理风格特征，网络训练过程中，第二编码器在进行特征提取时，学习的是图像的无雨风格特征。
如图3本发明所述去雨网络模型的结构具体设置为：
1)首先本发明设置两个编码器，对于编码器均设置多层卷积层以及池化层，层数实施者可自行设置，本发明分别将其设置为4个池化层，5个卷积层；
2)本发明网络分为两个支路，一个输入为高频有雨图像
Figure 291466DEST_PATH_IMAGE086
，并在网络模型中添加第一编码器。根据神经网络的特性可知，网络卷积层的底层能够很好地提取图像深层的内容特征，可以完整的保留内容信息，因此，本发明将第一编码器的前三个卷积层作为内容提取层，且对每层进行权值分配
Figure DEST_PATH_IMAGE090
为层数，用于后续分析随机生成的白噪声图像与高频有雨图像之间的内容损失；
3)对于另一支路输入无雨的正常图像
Figure 734211DEST_PATH_IMAGE078
，并在网络模型中添加第二编码器，用于提取学习其整体轮廓、风格、纹理等表层特征信息，对于本发明所述去雨网络而言，网络的高层卷积主要提取图像的无雨特征数据，因此，本发明将对第二编码器的五个卷积层所提取的特征进行权值分配
Figure DEST_PATH_IMAGE092
，
Figure DEST_PATH_IMAGE094
为层数，以保证网络能够准确完整的提取正常图像的无雨特征，便于网络更好地学习无雨特征，生成去雨图像。
4)但是考虑到网络的卷积层在进行卷积提取特征图的过程中，卷积层仅仅是提取卷积核生成特征图中的一个，因此，卷积层提取的特征信息是不完整、不全面的，为提高编码器各卷积层的特征提取精度，本发明将对网络各层进行优化处理，以保证每层卷积特征提取的准确性。在卷积操作生成特征图时，将卷积生成的特征图进行特征的处理：
Figure DEST_PATH_IMAGE002A
其中，N为第r层产生的特征图个数，
Figure 977280DEST_PATH_IMAGE004
为第r层卷积得到的第j个特征图，
Figure 907190DEST_PATH_IMAGE006
为卷积层第r层最终的特征图。对于第一编码器而言，各层提取的特征图代表的是高频图像
Figure 353346DEST_PATH_IMAGE086
的内容特征，对于第二编码器各特征图代表正常图像
Figure 673600DEST_PATH_IMAGE078
的无雨风格特征。至此，即可准确获取各层所对应的特征图。
5) 为实现网络模型的快速收敛及准确去雨效果，本发明将基于上述获取的特征图，构建两个损失函数对网络进行监督训练，保证随机生成的白噪声图像能够学习图像
Figure 355248DEST_PATH_IMAGE086
的内容特征和图像
Figure 280610DEST_PATH_IMAGE078
的无雨特征，不断更新网络参数，保证网络的训练效果。对于网络第一分支将分析白噪声图像与高频有雨图像
Figure 756722DEST_PATH_IMAGE086
之间的内容损失，构建损失函数1，具体为：
Figure DEST_PATH_IMAGE096
式中，
Figure 315005DEST_PATH_IMAGE018
为第r层的权值，
Figure 687429DEST_PATH_IMAGE020
为输入有雨高频图像在第r层最终特征图上
Figure 591931DEST_PATH_IMAGE022
处的特征值，
Figure 379889DEST_PATH_IMAGE024
为随机生成的白噪声图像在第r层的最终特征图上
Figure 737053DEST_PATH_IMAGE022
处的特征值。
同时，对于另一分支本发明将分析白噪声图像与正常图像
Figure 901449DEST_PATH_IMAGE078
之间的无雨特征损失，构建损失函数2，用于监督训练第二特征提取编码器。根据步骤4），可分别得到每层卷积层对应的最终特征图，并将每层得到的最终特征图进行处理，以得到特征图所对应的特征矩阵，所述特征矩阵的具体分析过程为：对于所述特征图，本发明将其每行作为一个特征向量，设每个特征图有n个特征向量
Figure DEST_PATH_IMAGE098
，本发明将n个特征向量进行处理组成一个
Figure DEST_PATH_IMAGE100
的特征矩阵
Figure DEST_PATH_IMAGE102
，所述特征矩阵的元素为特征向量两两内积构成，该特征矩阵用于度量各特征向量自身的特性以及各个特征向量之间的关系，可体现图像的纹理、风格等特征，本发明将用于表示图像的无雨特征，
Figure 771709DEST_PATH_IMAGE102
用于表示第r层的特征矩阵：
Figure DEST_PATH_IMAGE104
其中，
Figure DEST_PATH_IMAGE106
，
Figure DEST_PATH_IMAGE108
为特征向量
Figure DEST_PATH_IMAGE110
的转置。
本发明将通过上述卷积层的特征矩阵来构建损失函数2，所述损失函数2具体为：
Figure DEST_PATH_IMAGE026A
Figure DEST_PATH_IMAGE028A
其中，
Figure 816720DEST_PATH_IMAGE030
为第r层的无雨特征损失，
Figure 864442DEST_PATH_IMAGE032
为无雨特征损失模型参数，实施者自行设定，本发明设置为
Figure DEST_PATH_IMAGE112
，
Figure 379999DEST_PATH_IMAGE034
为第r层的权值，
Figure 665618DEST_PATH_IMAGE036
为输入的正常图像
Figure 185592DEST_PATH_IMAGE078
第r层的特征矩阵，
Figure 670012DEST_PATH_IMAGE040
为随机生成的白噪声图像第r层的特征矩阵。
Figure 972948DEST_PATH_IMAGE042
分别为特征图的长、宽、高。
至此，即可得到所述去雨网络模型及对应的损失函数。
6） 本发明将根据步骤5）所构建的损失函数，构建去雨网络模型的损失函数
Figure 50757DEST_PATH_IMAGE008
，对去雨网络模型进行监督训练，以实现网络输出所需要的无雨图像。所述去雨网络模型的损失函数
Figure 741632DEST_PATH_IMAGE008
具体为：
Figure DEST_PATH_IMAGE114
至此，即可通过所述方法实现对去雨网络模型的训练，保证网络模型输出所需的无雨图像。
上述去雨网络模型对于输入为颜色对比度高或者线条明显的无雨图像
Figure 983520DEST_PATH_IMAGE078
，可以很好的提取其无雨特征以实现生成最佳的去雨图像，但是对于大多数图像，有雨无雨的纹理风格特征不太明显，网络训练的去雨效果会出现去雨不明显的情况，导致图像去雨不完全，因此，本发明将对所述去雨网络模型做进一步的优化，用于进一步提高网络的图像去雨精度，保证网络的去雨效果，客观量化去雨网络所生成图像的效果优劣程度。
本发明所述去雨网络的进一步优化过程具体为：
a)首先，设置判定模型加入到所述去雨网络模型中，并构建判定函数，对网络进行优化，以保证网络的去雨效果最佳。本发明将通过相似度分析模型分析网络输出图像
Figure 293410DEST_PATH_IMAGE088
与网络输入无雨的正常图像
Figure 881517DEST_PATH_IMAGE078
的去雨特征的相似度，以此作为判定模型判定去雨网络模型输出图像的去雨效果，并基于此构建判定损失函数，用于监督网络最终输出的无雨图像与输入正常图像之间的无雨特征损失。所述去雨网络输出图像
Figure 353081DEST_PATH_IMAGE088
与网络输入无雨的正常图像
Figure 659428DEST_PATH_IMAGE078
的相似度分析模型为：
Figure DEST_PATH_IMAGE116
Figure DEST_PATH_IMAGE056A
Figure DEST_PATH_IMAGE058A
式中，
Figure DEST_PATH_IMAGE118
分别为输出图像
Figure 905165DEST_PATH_IMAGE088
与输入图像
Figure 19883DEST_PATH_IMAGE078
的特征矩阵，
Figure DEST_PATH_IMAGE120
为两者之间的无雨特征的相似度，
Figure DEST_PATH_IMAGE122
分别为模型的可调参数，实施者自行设定，本发明设置为
Figure DEST_PATH_IMAGE124
。模型函数值越大，则对应的相似度越高。基于相似度分析模型，构建判定网络生成图像与输入无雨图像之间的无雨特征损失的函数，以对整个网络模型进行优化，保证网络的去雨效果，所述判定损失函数为：
Figure DEST_PATH_IMAGE066A
b)然后，在保证网络去雨效果的同时，为降低最终输出去雨图像的色调损失，改善图像的对比度，本发明将基于图像通道对图像进行处理分析建立色调约束函数，并基于此构建色调损失函数，对整个去雨网络模型的损失函数进行调整，以保证网络最终输出去雨图像的图像质量。对输入图像
Figure 395105DEST_PATH_IMAGE086
和网络输出的去雨图像
Figure 595274DEST_PATH_IMAGE088
的R、G、B通道进行归一化处理，建立色调约束函数：
Figure DEST_PATH_IMAGE068A
可通过上述色调约束模型获取图像
Figure 466540DEST_PATH_IMAGE086
和图像
Figure 639027DEST_PATH_IMAGE088
的色调，基于所述色调约束函数构建色调损失函数，将其加入到去雨网络模型的损失函数中，通过缩小该色调损失函数以达到训练的目的，色调损失函数具体为：
Figure DEST_PATH_IMAGE070A
式中，
Figure 422699DEST_PATH_IMAGE072
为X的2范数的平方。
C) 最后，基于所述判定损失函数和色调损失函数构建整个网络最终的损失函数L，以实现整个去雨网络模型的去雨精度：
Figure DEST_PATH_IMAGE046A
其中
Figure 380336DEST_PATH_IMAGE048
是各个损失函数的权重，通过调整各损失函数的权重值，可以保证最终网络的去雨效果。本发明将损失函数权重设置为
Figure DEST_PATH_IMAGE126
、
Figure DEST_PATH_IMAGE128
、
Figure DEST_PATH_IMAGE130
。
至此，即可完成所述去雨网络模型的优化过程,实现对去雨网络模型的监督训练。所述网络优化过程主要目的就是根据相似度分析模型构建判定损失函数，基于色调约束函数构建色调损失函数，用于进一步监督上述去雨网络模型的输出图像
Figure 337184DEST_PATH_IMAGE088
的去雨特征及图像质量。
3.将待处理的有雨图像图4所对应的高频图像输入所述训练好的去雨网络模型，输出所需的图5去雨图像。
将待处理的有雨图像所对应的高频图像输入所述训练好的去雨网络模型，将网络输出的高频去雨图像与前面所述的低频图像进行重构恢复，获取有雨图像所对应的去雨图像。在此指出，图像重构方法有很多，可以通过DNN网络模型、图像的加法处理等，该过程为公知技术，不在本发明的保护范围内，因此不做相关阐述。
如图4是未处理的有雨图像，图5是经过网络去雨模型输出的去雨图像，将去雨处理前后的图像进行对比，发现通过本发明提供的一种基于人工智能的图像去雨方法获取的去雨图像具有较高的对比还原度和清晰度。所述图像去雨方法可有效提高图像去雨精度，保证全局去雨效果。
以上实施例仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (5)

1.一种人工智能的图像去雨方法，其特征在于，包括：
获取有雨图像，并将其进行图像分层处理，获得有雨图像所对应的高频图像；
建立去雨网络模型：获取相同环境下无雨正常图像和经过分层处理后的高频有雨图像，提取该高频有雨图像和无雨图像两张图像的特征数据，并将提取的特征数据输入到网络训练模型中进行训练，输出高频有雨图像的无雨特征图像；所述去雨网络模型中用于对网络模型进行监督学习的损失函数
Figure DEST_PATH_IMAGE001
包括：
Figure DEST_PATH_IMAGE003
式中:
Figure 111279DEST_PATH_IMAGE004
为网络第一支路中在对高频有雨图像分析时图像内容的损失函数，
Figure DEST_PATH_IMAGE005
为网络第二支路中在对无雨图像分析时的无雨特征损失函数；
所述
Figure 768394DEST_PATH_IMAGE004
的表达式为：
Figure DEST_PATH_IMAGE007
式中：
Figure 794119DEST_PATH_IMAGE008
为第r层的权值，
Figure DEST_PATH_IMAGE009
为输入有雨高频图像在第r层最终特征图上
Figure 670939DEST_PATH_IMAGE010
处的特征值，
Figure DEST_PATH_IMAGE011
为随机生成的白噪声图像在第r层的最终特征图上
Figure 246670DEST_PATH_IMAGE010
处的特征值；
所述
Figure 446707DEST_PATH_IMAGE005
的表达式为：
Figure DEST_PATH_IMAGE013
Figure DEST_PATH_IMAGE015
式中：
Figure 315437DEST_PATH_IMAGE016
为第r层的无雨特征损失，
Figure DEST_PATH_IMAGE017
为无雨特征损失模型参数，
Figure 646931DEST_PATH_IMAGE018
为第r层的权值，
Figure DEST_PATH_IMAGE019
为输入的正常图像
Figure 852784DEST_PATH_IMAGE020
第r层的特征矩阵，
Figure DEST_PATH_IMAGE021
为随机生成的白噪声图像第r层的特征矩阵，
Figure 221842DEST_PATH_IMAGE022
分别为特征图的长、宽、高；
完成去雨网络模型的训练；
将待处理的有雨图像所对应的高频图像输入所述训练好的去雨网络模型，输出高频去雨图像，将高频去雨图像与低频图像重构恢复，获得去雨图像。
2.根据权利要求1所述一种人工智能的图像去雨方法，其特征在于，所述去雨网络模型包括：第一编码器和第二编码器，所述第一编码器用于提取高频有雨图像的内容特征，所述第二编码器用于提取无雨图像中的无雨特征。
3.根据权利要求2所述一种人工智能的图像去雨方法，其特征在于，所述第一编码器和第二编码器中分别设置多个池化层和多个卷积层；
将去雨网络模型分为第一支路和第二支路两个支路，第一支路中第一编码器的卷积层用于提取有雨高频图像的内容特征；第二支路中第二编码器卷积层用于提取无雨正常图像的无雨特征。
4.根据权利要求3所述一种人工智能的图像去雨方法，其特征在于，所述卷积层提取的特征图的表达式为：
Figure 854948DEST_PATH_IMAGE024
式中：N为第r层产生的特征图个数，
Figure DEST_PATH_IMAGE025
为第r层卷积得到的第j个特征图，
Figure 565415DEST_PATH_IMAGE026
为卷积层第r层最终的特征图。
5.根据权利要求1所述一种人工智能的图像去雨方法，其特征在于，所述去雨网络模型还包括最终损失函数
Figure DEST_PATH_IMAGE027
：
Figure DEST_PATH_IMAGE029
其中
Figure 948861DEST_PATH_IMAGE030
是各个损失函数的权重，
Figure DEST_PATH_IMAGE031
为色调损失函数，
Figure 936540DEST_PATH_IMAGE032
为判定损失函数。
CN202111034427.XA 2021-09-03 2021-09-03 一种基于人工智能的图像去雨方法 Active CN113487519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111034427.XA CN113487519B (zh) 2021-09-03 2021-09-03 一种基于人工智能的图像去雨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111034427.XA CN113487519B (zh) 2021-09-03 2021-09-03 一种基于人工智能的图像去雨方法

Publications (2)

Publication Number Publication Date
CN113487519A CN113487519A (zh) 2021-10-08
CN113487519B true CN113487519B (zh) 2022-02-25

Family

ID=77947153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111034427.XA Active CN113487519B (zh) 2021-09-03 2021-09-03 一种基于人工智能的图像去雨方法

Country Status (1)

Country Link
CN (1) CN113487519B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355563B (zh) * 2016-08-31 2019-05-24 河南工业大学 一种图像去雾方法和装置
CN109493303B (zh) * 2018-05-30 2021-08-17 湘潭大学 一种基于生成对抗网络的图像去雾方法
CN109102475B (zh) * 2018-08-13 2021-03-09 苏州飞搜科技有限公司 一种图像去雨方法及装置
CN113191964B (zh) * 2021-04-09 2024-04-05 上海海事大学 一种使用高低频分解的无监督夜间图像去雾方法

Also Published As

Publication number Publication date
CN113487519A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
WO2022160771A1 (zh) 基于自适应多尺度特征提取模型的高光谱图像分类方法
CN111242862B (zh) 多尺度融合并行稠密残差卷积神经网络图像去噪方法
CN108629338B (zh) 一种基于lbp和卷积神经网络的人脸美丽预测方法
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN108827605B (zh) 一种基于改进稀疏滤波的机械故障特征自动提取方法
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN109890043B (zh) 一种基于生成式对抗网络的无线信号降噪方法
CN107085704A (zh) 基于elm自编码算法的快速人脸表情识别方法
CN111126332B (zh) 基于轮廓特征的跳频信号分类方法
CN116645716B (zh) 基于局部特征和全局特征的表情识别方法
CN114663685B (zh) 一种行人重识别模型训练的方法、装置和设备
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN114157539B (zh) 一种数据知识双驱动的调制智能识别方法
CN111461025A (zh) 一种自主进化的零样本学习的信号识别方法
CN111507155A (zh) 联合U-Net++和UDA的微地震有效信号初至拾取方法及装置
CN108596044B (zh) 基于深度卷积神经网络的行人检测方法
CN111160392A (zh) 一种基于小波宽度学习系统的高光谱分类方法
CN113657472B (zh) 一种基于子空间学习的多源遥感数据融合方法
CN113076920B (zh) 一种基于非对称域对抗自适应模型的智能故障诊断方法
CN113436101A (zh) 基于高效通道注意力机制的龙格库塔模块去雨的方法
CN113487519B (zh) 一种基于人工智能的图像去雨方法
CN105389573B (zh) 一种基于局部三值模式分层重构的人脸识别方法
CN113192076B (zh) 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法
CN110738249B (zh) 一种基于深度神经网络的极光图像聚类方法
CN114792375A (zh) 一种基于视听信息融合的地形分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant