CN110163813A - 一种图像去雨方法、装置、可读存储介质及终端设备 - Google Patents
一种图像去雨方法、装置、可读存储介质及终端设备 Download PDFInfo
- Publication number
- CN110163813A CN110163813A CN201910303078.3A CN201910303078A CN110163813A CN 110163813 A CN110163813 A CN 110163813A CN 201910303078 A CN201910303078 A CN 201910303078A CN 110163813 A CN110163813 A CN 110163813A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- rain
- model
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000012549 training Methods 0.000 claims abstract description 232
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims abstract description 20
- 238000003475 lamination Methods 0.000 claims description 49
- 238000004590 computer program Methods 0.000 claims description 19
- 230000004069 differentiation Effects 0.000 claims description 19
- 230000009191 jumping Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 15
- 238000012545 processing Methods 0.000 abstract description 6
- 239000010410 layer Substances 0.000 description 133
- 230000008569 process Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域，尤其涉及一种图像去雨方法、装置、可读存储介质及终端设备。本发明提供的方法包括：获取带雨图像；将带雨图像输入至训练完成的生成对抗网络模型，得到生成对抗网络模型输出的带雨图像去雨后的清晰图像；其中，生成对抗网络模型包括设置为对抗式训练的生成模型与判别模型，生成模型为利用从第二图像中提取的特征对第一图像进行特征监督训练所得到的全卷积网络模型，第一图像为第一训练带雨图像，第二图像为与第一训练带雨图像对应的第一训练清晰图像，以通过清晰图像的特征监督来进行生成对抗网络模型的训练，从而优化生成对抗网络模型的特征提取功能，提高对图像原有纹理特征的提取准确性，提高图像的去雨效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像去雨方法、装置、计算机可读存储介质及终端设备。
背景技术
随着图像处理技术的快速发展，基于图像分析的目标检测识别广泛应用于各种领域，如自动驾驶、目标检索等领域，但在下雨天气中，图像中的目标容易被雨滴遮挡，易造成图像成像模糊和信息覆盖，从而影响目标检测识别，因此需对带雨的图像进行去雨处理。
目前，通常通过字典学习、非局部均值滤波、低秩矩阵分解、高斯混合模型等方法来进行去雨处理，这些方法均是通过特征分离来进行去雨处理，而这些方法在特征分离时常常会去除图像原有的纹理信息，导致过平滑的背景，造成去雨效果差。
发明内容
本发明实施例提供了一种图像去雨方法、装置、计算机可读存储介质及终端设备，能够在较好地保留图像纹理信息的基础上对图像进行去雨处理，提高图像的去雨效果。
本发明实施例的第一方面，提供了一种图像去雨方法，包括：
获取带雨图像；
将所述带雨图像输入至训练完成的生成对抗网络模型，得到所述生成对抗网络模型输出的所述带雨图像去雨后的清晰图像；
其中，所述生成对抗网络模型包括设置为对抗式训练的生成模型与判别模型，所述生成模型为利用从第二图像中提取的特征对第一图像进行特征监督训练所得到的全卷积网络模型，所述第一图像为第一训练带雨图像，所述第二图像为与所述第一训练带雨图像对应的第一训练清晰图像。
进一步地，所述生成模型包括卷积层和反卷积层，所述生成模型通过下述步骤训练得到：
获取训练样本对，每一所述训练样本对包括第二训练带雨图像以及与所述第二训练带雨图像对应的第二训练清晰图像；
将所述训练样本对输入至初始的生成模型，在所述生成模型的卷积层中获取所述第二训练带雨图像对应的第一特征图和所述第二训练清晰图像对应的第二特征图；
根据所述第一特征图和所述第二特征图计算特征监督的正则化损失；
在所述反卷积层中根据所述第一特征图进行图像重构，得到所述初始的生成模型输出的生成图像；
计算所述生成图像与所述第二训练清晰图像之间的像素损失；
将所述生成图像输入至所述判别模型，得到所述判别模型输出的判别结果；
根据所述正则化损失、所述像素损失和所述判别结果确定所述生成模型本轮训练的训练误差；
若所述训练误差满足预设条件，则确定所述生成模型训练完成；
若所述训练误差不满足所述预设条件，则调整所述生成模型的模型参数，并将模型参数调整后的生成模型确定为初始的生成模型，返回执行将所述训练样本对输入至初始的生成模型的步骤以及后续步骤。
优选地，所述根据所述第一特征图和所述第二特征图计算特征监督的正则化损失，包括：
根据下述公式计算所述正则化损失：
其中，Llayer(G)为正则化损失，ηj为第j层卷积层的损失加权因子，E为数学期望，Gj(x)为第j层卷积层中的第一特征图，Gj(y)为第j层卷积层中的第二特征图，‖·‖1为L1范数距离。
可选地，所述计算所述生成图像与所述第二训练清晰图像之间的像素损失，包括：
根据下述公式计算所述像素损失：
Lgt(G)＝Ex,y[‖y-G(x)‖1]
其中，Lgt(G)为像素损失，y为第二训练清晰图像，G(x)为生成图像，‖·‖1为L1范数距离。
进一步地，所述根据所述正则化损失、所述像素损失和所述判别结果确定所述生成模型本轮训练的训练误差，包括：
根据下述公式确定所述生成模型本轮训练的训练误差：
Loss(G)＝Ex[log(1-D(G(x)))]+Llayer(G)+Lgt(G)
其中，Loss(G)为训练误差，D(G(x))为判别模型输出的生成图像G(x)对应的第一判别结果，Llayer(G)为正则化损失，Lgt(G)为像素损失。
优选地，所述判别模型与所述生成模型通过下述目标函数进行对抗式训练：
其中，D(x,y)为判别模型输出的第二判别结果，所述第二判别结果表示为判断图像x来自第二训练清晰图像y的概率。
可选地，所述反卷积层与所述卷积层之间跳跃连接；
所述在所述反卷积层中根据所述第一特征图进行图像重构，得到所述初始的生成模型输出的生成图像，包括：
在所述反卷积层中对所述第一特征图进行特征提取，得到所对应的第三特征图；
根据所述第三特征图和与所述反卷积层跳跃连接的卷积层中的第一特征图进行图像重构，得到所述初始的生成模型输出的生成图像。
本发明实施例的第二方面，提供了一种图像去雨装置，包括：
图像获取模块，用于获取带雨图像；
图像去雨模块，用于将所述带雨图像输入至训练完成的生成对抗网络模型，得到所述生成对抗网络模型输出的所述带雨图像去雨后的清晰图像；
其中，所述生成对抗网络模型包括设置为对抗式训练的生成模型与判别模型，所述生成模型为利用从第二图像中提取的特征对第一图像进行特征监督训练所得到的全卷积网络模型，所述第一图像为第一训练带雨图像，所述第二图像为与所述第一训练带雨图像对应的第一训练清晰图像。
本发明实施例的第三方面，提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述第一方面所述图像去雨方法的步骤。
本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前述第一方面所述图像去雨方法的步骤。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，在获取到带雨图像时，可将所述带雨图像输入至训练完成的生成对抗网络模型，得到所述生成对抗网络模型输出的所述带雨图像去雨后的清晰图像；其中，所述生成对抗网络模型包括设置为对抗式训练的生成模型与判别模型，所述生成模型为利用从第二图像中提取的特征对第一图像进行特征监督训练所得到的全卷积网络模型，所述第一图像为第一训练带雨图像，所述第二图像为与所述第一训练带雨图像对应的第一训练清晰图像。即本发明实施例中，可通过清晰图像的特征监督来进行生成对抗网络模型的训练，以优化生成对抗网络模型的特征提取功能，避免对雨滴特征的提取，同时提高对图像原有纹理特征的提取准确性，使得生成对抗网络模型根据所提取的特征生成的无雨的清晰图像能较好地保留图像纹理信息，提高图像的去雨效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种图像去雨方法的一个实施例流程图；
图2为本发明实施例提供的生成模型的结构示意图；
图3为本发明实施例提供的判别模型的结构示意图；
图4为本发明实施例中一种图像去雨方法在一个应用场景下训练生成模型的流程示意图；
图5为基准图像，图5a为在图5的基础上合成的带雨图像，图5b为DSC方法对图5a去雨后的图像，图5c为SPM方法对图5a去雨后的图像，图5d为GMM方法对图5a去雨后的图像，图5e为CNN方法对图5a去雨后的图像，图5f为本发明实施例提供的图像去雨方法对图5a去雨后的图像；
图6a为真实的带雨图像，图6b为DSC方法对图6a去雨后的图像，图6c为SPM方法对图6a去雨后的图像，图6d为GMM方法对图6a去雨后的图像，图6e为CNN方法对图6a去雨后的图像，图6f为本发明实施例提供的图像去雨方法对图6a去雨后的图像；
图7为本发明实施例中一种图像去雨装置的一个实施例结构图；
图8为本发明实施例提供的一种终端设备的示意图。
具体实施方式
本发明实施例提供了一种图像去雨方法、装置、计算机可读存储介质及终端设备，用于在较好地保留图像纹理信息的基础上对图像进行去雨处理，提高图像的去雨效果。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
此外，本发明实施例中所描述的“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。
为了说明本发明实施例所述的技术方案，下面将通过具体实施例来进行说明。
请参阅图1，本发明实施例提供了一种图像去雨方法，所述图像去雨方法包括：
步骤S101、获取带雨图像；
步骤S102、将所述带雨图像输入至训练完成的生成对抗网络模型，得到所述生成对抗网络模型输出的所述带雨图像去雨后的清晰图像；
其中，所述生成对抗网络模型包括设置为对抗式训练的生成模型与判别模型，所述生成模型为利用从第二图像中提取的特征对第一图像进行特征监督训练所得到的全卷积网络模型，所述第一图像为第一训练带雨图像，所述第二图像为与所述第一训练带雨图像对应的第一训练清晰图像。
本发明实施例中，所述生成对抗网络模型包括如图2所示的生成模型和如图3所示的判别模型，其中，所述生成模型和所述判别模型均为全卷积网络模型，所述生成模型与所述判别模型设置成对抗训练模式。
如图2所示，在一个具体训练场景中，所述生成模型可包括第一生成网络和第二生成网络，所述第一生成网络可包括一个或者多个第一卷积层20和反卷积层21，所述第二生成网络可包括一个或者多个第二卷积层22，所述第一卷积层20和所述第二卷积层22之间共享权重，所述第二卷积层22用于对第一训练清晰图像进行第二特征的提取，并利用所提取的各第二特征监督第一卷积层20对第一训练带雨图像进行第一特征提取的过程，所述反卷积层21则根据所述第一特征重构去雨图像，即可通过第二生成网络从清晰图像中提取的第二特征来对生成对抗网络模型进行特征监督的训练，以优化生成对抗网络模型的特征提取功能，避免对雨滴特征的提取，同时可提高对图像原有纹理特征的提取准确性，使得生成对抗网络模型根据所提取的特征生成的无雨的清晰图像能较好地保留图像纹理信息，提高图像的去雨效果。
进一步地，在该训练场景中，第一卷积层20和第二卷积层22均可以包括多层(如下表1所述的11层)，且第一卷积层20和第二卷积层22的各层之间的权重共享，反卷积层21也可以包括多层(如下表1所述的6层)，且反卷积层21与第一卷积层20之间跳跃连接，在此，卷积层和反卷积层的参数可按照下表1进行设置：
表1
上表1以输入480×320图像为例，其中1至11层为卷积层，12至17层为反卷积层，[m,n]/k+z表示该卷积层或者反卷积层包括n个mxm、步长为k的卷积核，z表示将从该反卷积层中提取的特征与从z层中提取的特征连接起来，即反卷积层在进行图像重构时，可将该反卷积层中提取的特征与从z层中提取的特征进行结合来进行图像重构，以通过隔层的跳跃连接生成更真实、精确的图像，并降低图像生成的复杂度。另外，各卷积层可以使用弱修正线性单元(Leaky-ReLU)作为激活函数，各反卷积层则可以使用双曲正切函数(tanh)作为激活函数。
需要说明的是，所述生成模型当然也可只包括一个生成网络，该生成网络中的卷积层可以首先从第一训练清晰图像中提取出第二特征，并利用所提取的各第二特征监督该生成网络对第一训练带雨图像进行第一特征提取的过程，简化训练过程中生成模型的结构。
如图3所示，在一个具体训练场景中，所述判别模型可以包括多个卷积层30(如下表2所述的9个卷积层)和一个输出层，各卷积层30可使用修正线性单元(ReLU)作为激活函数，输出层可使用Sigmoid函数作为激活函数，其中所述判别模型的参数可按照下表2进行设置：
表2
本发明实施例中，所述生成对抗网络模型的生成模型和判别模型为对抗式交替训练，即在训练过程中，可首先固定判别模型，然后将训练带雨图像和所对应的训练清晰图像输入至生成模型，由生成模型生成该训练带雨图像去雨后的生成图像，然后可将所生成的生成图像和对应的训练清晰图像输入至判别模型，由判别模型对该生成图像进行真假判断，即判断生成图像为训练清晰图像的概率，并根据判断结果来更新生成模型的模型参数，以此对生成模型进行训练；完成对生成模型的训练后，可固定生成模型，并将训练带雨图像输入至生成模型，由生成模型生成该训练带雨图像去雨后的生成图像，然后将所生成的生成图像和所对应的训练清晰图像输入至判别模型，由判别模型对该生成图像进行真假判断，并根据真假判断结果来更新判别模型的模型参数，以此对判别模型进行训练；完成对判别模型的训练后，可重新再进行生成模型的训练，然后重新在进行判别模型的训练，以此交替进行，直到生成对抗网络模型满足预设条件为止。
在生成对抗网络模型满足预设条件后，可将该生成对抗网络模型用于进行后续带雨图像的去雨处理，即可将带雨图像输入至生成对抗网络模型中，生成对抗网络模型中的生成模型则可对该带雨图像进行去雨处理，得到该带雨图像所对应的去雨后的清晰图像。
具体地，如图4所示，本发明实施例中，所述生成模型通过下述步骤训练得到：
步骤S401、获取训练样本对，每一所述训练样本对包括第二训练带雨图像以及与所述第二训练带雨图像对应的第二训练清晰图像；
可以理解的是，在训练所述生成对抗网络模型之前，需要预先获取用于训练用的训练样本，即获取多张第二训练带雨图像以及所对应的多张第二训练清晰图像，并可将每一张第二训练带雨图像与该第二训练带雨图像所对应的第二训练清晰图像组成一训练样本对。
步骤S402、将所述训练样本对输入至初始的生成模型，在所述生成模型的卷积层中获取所述第二训练带雨图像对应的第一特征图和所述第二训练清晰图像对应的第二特征图；
在获取到各训练样本对后，可分别将各训练样本对输入至初始的生成模型中，如输入至图2所示的初始的生成模型，该生成模型中的第二卷积层22则可对各训练样本对的第二训练清晰图像中进行第二特征的提取，并可根据所提取的第二特征生成各第二训练清晰图像所对应的第二特征图；同时，该生成模型中的第一卷积层20则可对各训练样本对的第二训练带雨图像进行第一特征的提取，并可根据所提取的第一特征生成各第二训练带雨图像所对应的第一特征图。
步骤S403、根据所述第一特征图和所述第二特征图计算特征监督的正则化损失；
可以理解的是，在获取到各第二训练带雨图像对应的第一特征图和各第二训练清晰图像对应的第二特征图后，则可根据第一特征图和第二特征图来计算特征监督的正则化损失。
具体地，本发明实施例中，所述根据所述第一特征图和所述第二特征图计算特征监督的正则化损失，可以包括：
根据下述公式计算所述正则化损失：
其中，Llayer(G)为正则化损失，ηj为第j层卷积层的损失加权因子，E为数学期望，Gj(x)为第j层卷积层中的第一特征图，Gj(y)为第j层卷积层中的第二特征图，‖·‖1为L1范数距离。
在此，通过将清晰图像的特征监督作用于生成模型的各个卷积层中，来约束生成模型，以优化生成模型的特征提取功能，提高对图像原有纹理特征的提取准确性，使得生成对抗网络模型根据所提取的特征生成的无雨的清晰图像能较好地保留图像纹理信息，提高图像的去雨效果。
步骤S404、在所述反卷积层中根据所述第一特征图进行图像重构，得到所述初始的生成模型输出的生成图像；
如图2所示，生成模型的最后一层卷积层在获取到第二训练带雨图像所对应的第一特征图后，即可将最后所获取的第一特征图输送至反卷积层，反卷积层则可对该第一特征图进行上采样，并根据上采样的特征来进行图像重构，以得到初始的生成模型输出的第二训练带雨图像对应的生成图像。
优选地，如图2所示，在一具体训练场景中，所述反卷积层与所述卷积层之间跳跃连接，所述在所述反卷积层中根据所述第一特征图进行图像重构，得到所述初始的生成模型输出的生成图像，可以包括：
步骤a、在所述反卷积层中对所述第一特征图进行特征提取，得到所对应的第三特征图；
步骤b、根据所述第三特征图和与所述反卷积层跳跃连接的卷积层中的第一特征图进行图像重构，得到所述初始的生成模型输出的生成图像。
对于上述步骤a和步骤b，可以理解的是，反卷积层可与卷积层进行跳跃连接，如上述表1中的第12层(第一层反卷积层)可与第9层(第九层卷积层)连接、第13层(第二层反卷积层)可与第7层(第七层卷积层)连接、第14层(第三层反卷积层)可与第5层(第五层卷积层)连接、第15层(第四层反卷积层)可与第3层(第三层卷积层)连接以及第16层(第五层反卷积层)可与第1层(第一层卷积层)连接。
在此，第一层卷积层(即上述表1中所述的第1层)获取到第二训练带雨图像所对应的第一特征图后，可以将第一特征图输送至第二层卷积层(即上述表1中所述的第2层)和第六层反卷积层(即上述表1中所述的第16层)，第二层卷积层则可对第一特征图再次进行特征提取，并可将新提取的第一特征图输送至第三层卷积层(即上述表1中所述的第3层)，第三层卷积层则可对新提取的第一特征图进行特征提取，并将再次新提取到的第一特征图输送至第四层卷积层(即上述表1中所述的第4层)和第四层反卷积层(即上述表1中所述的第15层)，以此类推。因此，第一层反卷积层(即上述表1中所述的第12层)在获取到最后一层卷积层(即上述表1中所述的第11层)输送的第一特征图后，可对第一特征图进行上采样，并将上采样的特征结合第九层卷积层(即上述表1中所述的第9层)提取的第一特征图来进行图像重构，同时将重构的特征图输送至第二层反卷积层(即上述表1中所述的第13层)，第二层反卷积层同样可对传送过来的特征图进行上采样，并将上采样的特征结合第七层卷积层(即上述表1中所述的第7层)提取的第一特征图来进行图像重构，并可将重构的特征图输送至第三层反卷积层(即上述表1中所述的第14层)，以此类推，直到最后一层反卷积层根据接收到的特征图完成图像重构，从而得到第二训练带雨图像所对应的生成图像。
步骤S405、计算所述生成图像与所述第二训练清晰图像之间的像素损失；
可以理解的是，在得到各第二训练带雨图像对应的生成图像后，可计算各生成图像与对应的第二训练清晰图像之间的像素损失。具体地，所述计算所述生成图像与所述第二训练清晰图像之间的像素损失，可以包括：
根据下述公式计算所述像素损失：
Lgt(G)＝Ex,y[‖y-G(x)‖1]
其中，Lgt(G)为像素损失，y为第二训练清晰图像，G(x)为生成图像，‖·‖1为L1范数距离。
步骤S406、将所述生成图像输入至所述判别模型，得到所述判别模型输出的判别结果；
本发明实施例中，在得到各训练带雨图像对应的生成图像后，还可将各生成图像与该生成图像所对应的第二训练清晰图像输入至生成对抗网络模型中的判别模型，以使得所述判别模型根据对应的第二训练清晰图像对各生成图像进行真假判断，得到各生成图像所对应的判别结果，即可通过所述判别模型判别生成图像为真实的第二训练清晰图像的概率等。
步骤S407、根据所述正则化损失、所述像素损失和所述判别结果确定所述生成模型本轮训练的训练误差；
本发明实施例中可根据正则化损失、像素损失和判别结果来确定生成模型本轮训练的训练误差，并根据训练误差来确定生成模型是否训练完成，即通过在生成模型的训练中增加特征监督的正则化损失项来约束生成模型，以提高生成模型对图像原有纹理特征的提取准确性，使得根据所提取的特征生成的无雨的清晰图像能较好地保留图像纹理信息，提高图像的去雨效果。
具体地，本发明实施例中，所述根据所述正则化损失、所述像素损失和所述判别结果确定所述生成模型本轮训练的训练误差，可以包括：
根据下述公式确定所述生成模型本轮训练的训练误差：
Loss(G)＝Ex[log(1-D(G(x)))]+Llayer(G)+Lgt(G)
其中，Loss(G)为训练误差，D(G(x))为判别模型输出的生成图像G(x)对应的第一判别结果，Llayer(G)为正则化损失，Lgt(G)为像素损失。
步骤S408、判断所述训练误差是否满足预设条件；
步骤S409、若所述训练误差满足所述预设条件，则确定所述生成模型训练完成；
步骤S410、若所述训练误差不满足所述预设条件，则调整所述生成模型的模型参数，并将模型参数调整后的生成模型确定为初始的生成模型，返回执行将所述训练样本对输入至初始的生成模型的步骤以及后续步骤。
对于上述步骤S408至步骤S410，在得到所述训练误差后，可判断所述训练误差是否满足预设条件，例如判断所述训练误差是否达到最优值。在此，所述预设条件可以在训练具体的生成对抗网络模型时确定。当所述训练误差满足所述预设条件时，则可确定所述生成模型当次训练完成；而当所述训练误差不满足所述预设条件时，则可调整所述生成模型的模型参数，并将模型参数调整后的生成模型确定为初始的学生模型，然后重新进行训练样本对的训练，以通过反复调整生成模型的模型参数，并进行多次训练样本对的训练，来使得后续训练得到的训练误差满足所述预设条件。
进一步地，本发明实施例中，所述判别模型与所述生成模型通过下述目标函数进行对抗式训练：
其中，D(x,y)为判别模型输出的第二判别结果，所述第二判别结果表示为判断图像x来自第二训练清晰图像y的概率。
即在生成对抗网络模型的训练过程中，可首先固定判别模型，即先固定Ex,y[logD(x,y)]，然后利用训练带雨图像和所对应的训练清晰图像来训练生成模型，以使得生成模型的Loss(G)达到最优化；在Loss(G)达到最优化后，则可固定生成模型，即固定Loss(G)，并利用训练带雨图像和所对应的训练清晰图像来训练判别模型，以使得判别模型的Ex,y[logD(x,y)]达到最优化；在Ex,y[logD(x,y)]达到最优化后，可再次固定判别模型，并再次训练生成模型，以使得生成模型的Loss(G)再次达到最优化；在Loss(G)再次达到最优化后，可再次固定生成模型，并再次训练判别模型，以使得判别模型的Ex,y[logD(x,y)]再次达到最优化，……，以此迭代进行，直达迭代次数满足预设次数阈值，或者minGmaxDV(D,G)满足预设条件时，确定生成对抗网络模型训练完成，可用于进行后续带雨图像的去雨处理。
下表3显示了本发明实施例中的图像去雨方法(下表3中所述的FS-GAN方法)和DSC方法(Discriminative Sparse Coding，基于稀疏编码的图像去雨方法)、SPM方法(Sparsedictionary-based Method，基于稀疏字典的图像去雨方法)、GMM方法(基于高斯混合模型的图像去雨方法)以及CNN方法(基于深度卷积神经网络的图像去雨方法)进行图像去雨的测试对比结果，其中，主要使用峰值信噪比(PSNR)和结构相似指数(SSIM)两个度量来对不同的去雨方法进行数据比较，并且对应度量的数值越大表明去雨效果越好。由下表3所示的测试对比结果可知，本发明实施例中的图像去雨方法的平均SSIM可达到0.7829，而平均PSNR可达到24.44，均明显优于DSC方法、SPM方法、GMM方法和CNN方法。
表3
另外，请参见图5至图5f，图5b至图5f示出了不同的图像去雨方法对合成的带雨图像去雨后的主观视觉效果图，其中，图5为无雨的基准图像，图5a为在图5的基础上合成的带雨图像，图5b为使用DSC方法对图5a的带雨图像去雨后的图像，图5c为使用SPM方法对图5a的带雨图像去雨后的图像，图5d为使用GMM方法对图5a的带雨图像去雨后的图像，图5e为使用CNN方法对图5a的带雨图像去雨后的图像，图5f为本发明实施例中的图像去雨方法对图5a的带雨图像去雨后的图像，由图5b至图5f可以看出，在合成的带雨图像场景中，本发明实施例中的图像去雨方法去雨后的视觉效果明显优于其他方法，本发明实施例中的图像去雨方法既去除了合成图像中的雨滴效应，又较好地保留了原始基准图像的纹理信息。
进一步地，请参见图6a至6f，图6b至图6f示出了不同的图像去雨方法对真实的带雨图像去雨后的主观视觉效果图，其中，图6a为真实的带雨图像，图6b为使用DSC方法对图6a的带雨图像去雨后的图像，图6c为使用SPM方法对图6a的带雨图像去雨后的图像，图6d为使用GMM方法对图6a的带雨图像去雨后的图像，图6e为使用CNN方法对图6a的带雨图像去雨后的图像，图6f为本发明实施例中的图像去雨方法对图6a的带雨图像去雨后的图像，由图6b至图6f可以看出，在真实的雨图场景中，本发明实施例中的图像去雨方法去雨后的主观视觉效果也明显优于其他方法，既有效去除了真实图像中的雨滴分量，又较好地保留了背景目标信息。
综上可知，本发明实施例提供的图像去雨方法不仅对合成图像的去雨效果较好，同样对真实带雨图像的去雨效果也较好，具有较好的泛化能力。
本发明实施例中，在获取到带雨图像时，可将所述带雨图像输入至训练完成的生成对抗网络模型，得到所述生成对抗网络模型输出的所述带雨图像去雨后的清晰图像；其中，所述生成对抗网络模型包括设置为对抗式训练的生成模型与判别模型，所述生成模型为利用从第二图像中提取的特征对第一图像进行特征监督训练所得到的全卷积网络模型，所述第一图像为第一训练带雨图像，所述第二图像为与所述第一训练带雨图像对应的第一训练清晰图像。即本发明实施例中，通过清晰图像的特征监督来进行生成对抗网络模型的训练，以优化生成对抗网络模型的特征提取功能，避免对雨滴特征的提取，同时提高对图像原有纹理特征的提取准确性，使得生成对抗网络模型根据所提取的特征生成的无雨的清晰图像能较好地保留图像纹理信息，提高图像的去雨效果。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
上面主要描述了一种图像去雨方法，下面将对一种图像去雨装置进行详细描述。
图7示出了本发明实施例中一种图像去雨装置的一个实施例结构图。如图7所示，所述图像去雨装置包括：
图像获取模块701，用于获取带雨图像；
图像去雨模块702，用于将所述带雨图像输入至训练完成的生成对抗网络模型，得到所述生成对抗网络模型输出的所述带雨图像去雨后的清晰图像；
其中，所述生成对抗网络模型包括设置为对抗式训练的生成模型与判别模型，所述生成模型为利用从第二图像中提取的特征对第一图像进行特征监督训练所得到的全卷积网络模型，所述第一图像为第一训练带雨图像，所述第二图像为与所述第一训练带雨图像对应的第一训练清晰图像。
进一步地，所述生成模型包括卷积层和反卷积层，所述图像去雨装置还可以包括：
样本对获取模块，用于获取训练样本对，每一所述训练样本对包括第二训练带雨图像以及与所述第二训练带雨图像对应的第二训练清晰图像；
特征图获取模块，用于将所述训练样本对输入至初始的生成模型，在所述生成模型的卷积层中获取所述第二训练带雨图像对应的第一特征图和所述第二训练清晰图像对应的第二特征图；
正则化损失计算模块，用于根据所述第一特征图和所述第二特征图计算特征监督的正则化损失；
生成图像获取模块，用于在所述反卷积层中根据所述第一特征图进行图像重构，得到所述初始的生成模型输出的生成图像；
像素损失计算模块，用于计算所述生成图像与所述第二训练清晰图像之间的像素损失；
判别结果获取模块，用于将所述生成图像输入至所述判别模型，得到所述判别模型输出的判别结果；
训练误差获取模块，用于根据所述正则化损失、所述像素损失和所述判别结果确定所述生成模型本轮训练的训练误差；
训练完成确定模块，用于若所述训练误差满足预设条件，则确定所述生成模型训练完成；
模型参数调整模块，用于若所述训练误差不满足所述预设条件，则调整所述生成模型的模型参数，并将模型参数调整后的生成模型确定为初始的生成模型，返回执行将所述训练样本对输入至初始的生成模型的步骤以及后续步骤。
优选地，所述正则化损失计算模块，具体用于根据下述公式计算所述正则化损失：
其中，Llayer(G)为正则化损失，ηj为第j层卷积层的损失加权因子，E为数学期望，Gj(x)为第j层卷积层中的第一特征图，Gj(y)为第j层卷积层中的第二特征图，‖·‖1为L1范数距离。
可选地，所述像素损失计算模块，具体用于根据下述公式计算所述像素损失：
Lgt(G)＝Ex,y[‖y-G(x)‖1]
其中，Lgt(G)为像素损失，y为第二训练清晰图像，G(x)为生成图像，‖·‖1为L1范数距离。
进一步地，所述训练误差获取模块，具体用于根据下述公式确定所述生成模型本轮训练的训练误差：
Loss(G)＝Ex[log(1-D(G(x)))]+Llayer(G)+Lgt(G)
其中，Loss(G)为训练误差，D(G(x))为判别模型输出的生成图像G(x)对应的第一判别结果，Llayer(G)为正则化损失，Lgt(G)为像素损失。
优选地，所述判别模型与所述生成模型通过下述目标函数进行对抗式训练：
其中，D(x,y)为判别模型输出的第二判别结果，所述第二判别结果表示为判断图像x来自第二训练清晰图像y的概率。
可选地，所述反卷积层与所述卷积层之间跳跃连接；
所述生成图像获取模块，可以包括：
特征提取单元，用于在所述反卷积层对所述第一特征图进行特征提取，得到所对应的第三特征图；
图像重构单元，用于根据所述第三特征图和与所述反卷积层跳跃连接的卷积层中的第一特征图进行图像重构，得到所述初始的生成模型输出的生成图像。
图8是本发明一实施例提供的终端设备的示意图。如图8所示，该实施例的终端设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82，例如图像去雨程序。所述处理器80执行所述计算机程序82时实现上述各个图像去雨方法实施例中的步骤，例如图1所示的步骤S101至步骤S102。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图7所示的模块701至模块702的功能。
示例性的，所述计算机程序82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由所述处理器80执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序82在所述终端设备8中的执行过程。例如，所述计算机程序82可以被分割成图像获取模块、图像去雨模块，各模块具体功能如下：
图像获取模块，用于获取带雨图像；
图像去雨模块，用于将所述带雨图像输入至训练完成的生成对抗网络模型，得到所述生成对抗网络模型输出的所述带雨图像去雨后的清晰图像；
其中，所述生成对抗网络模型包括设置为对抗式训练的生成模型与判别模型，所述生成模型为利用从第二图像中提取的特征对第一图像进行特征监督训练所得到的全卷积网络模型，所述第一图像为第一训练带雨图像，所述第二图像为与所述第一训练带雨图像对应的第一训练清晰图像。
所述终端设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是终端设备8的示例，并不构成对终端设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81可以是所述终端设备8的内部存储单元，例如终端设备8的硬盘或内存。所述存储器81也可以是所述终端设备8的外部存储设备，例如所述终端设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种图像去雨方法，其特征在于，包括：
获取带雨图像；
将所述带雨图像输入至训练完成的生成对抗网络模型，得到所述生成对抗网络模型输出的所述带雨图像去雨后的清晰图像；
其中，所述生成对抗网络模型包括设置为对抗式训练的生成模型与判别模型，所述生成模型为利用从第二图像中提取的特征对第一图像进行特征监督训练所得到的全卷积网络模型，所述第一图像为第一训练带雨图像，所述第二图像为与所述第一训练带雨图像对应的第一训练清晰图像。
2.根据权利要求1所述的图像去雨方法，其特征在于，所述生成模型包括卷积层和反卷积层，所述生成模型通过下述步骤训练得到：
获取训练样本对，每一所述训练样本对包括第二训练带雨图像以及与所述第二训练带雨图像对应的第二训练清晰图像；
将所述训练样本对输入至初始的生成模型，在所述生成模型的卷积层中获取所述第二训练带雨图像对应的第一特征图和所述第二训练清晰图像对应的第二特征图；
根据所述第一特征图和所述第二特征图计算特征监督的正则化损失；
在所述反卷积层中根据所述第一特征图进行图像重构，得到所述初始的生成模型输出的生成图像；
计算所述生成图像与所述第二训练清晰图像之间的像素损失；
将所述生成图像输入至所述判别模型，得到所述判别模型输出的判别结果；
根据所述正则化损失、所述像素损失和所述判别结果确定所述生成模型本轮训练的训练误差；
若所述训练误差满足预设条件，则确定所述生成模型训练完成；
若所述训练误差不满足所述预设条件，则调整所述生成模型的模型参数，并将模型参数调整后的生成模型确定为初始的生成模型，返回执行将所述训练样本对输入至初始的生成模型的步骤以及后续步骤。
3.根据权利要求2所述的图像去雨方法，其特征在于，所述根据所述第一特征图和所述第二特征图计算特征监督的正则化损失，包括：
根据下述公式计算所述正则化损失：
其中，Llayer(G)为正则化损失，ηj为第j层卷积层的损失加权因子，E为数学期望，Gj(x)为第j层卷积层中的第一特征图，Gj(y)为第j层卷积层中的第二特征图，‖·‖1为L1范数距离。
4.根据权利要求3所述的图像去雨方法，其特征在于，所述计算所述生成图像与所述第二训练清晰图像之间的像素损失，包括：
根据下述公式计算所述像素损失：
Lgt(G)＝Ex,y[‖y-G(x)‖1]
其中，Lgt(G)为像素损失，y为第二训练清晰图像，G(x)为生成图像，‖·‖1为L1范数距离。
5.根据权利要求4所述的图像去雨方法，其特征在于，所述根据所述正则化损失、所述像素损失和所述判别结果确定所述生成模型本轮训练的训练误差，包括：
根据下述公式确定所述生成模型本轮训练的训练误差：
Loss(G)＝Ex[log(1-D(G(x)))]+Llayer(G)+Lgt(G)
其中，Loss(G)为训练误差，D(G(x))为判别模型输出的生成图像G(x)对应的第一判别结果，Llayer(G)为正则化损失，Lgt(G)为像素损失。
6.根据权利要求5所述的图像去雨方法，其特征在于，所述判别模型与所述生成模型通过下述目标函数进行对抗式训练：
其中，D(x,y)为判别模型输出的第二判别结果，所述第二判别结果表示为判断图像x来自第二训练清晰图像y的概率。
7.根据权利要求2至6中任一项所述的图像去雨方法，其特征在于，所述反卷积层与所述卷积层之间跳跃连接；
所述在所述反卷积层中根据所述第一特征图进行图像重构，得到所述初始的生成模型输出的生成图像，包括：
在所述反卷积层中对所述第一特征图进行特征提取，得到所对应的第三特征图；
根据所述第三特征图和与所述反卷积层跳跃连接的卷积层中的第一特征图进行图像重构，得到所述初始的生成模型输出的生成图像。
8.一种图像去雨装置，其特征在于，包括：
图像获取模块，用于获取带雨图像；
图像去雨模块，用于将所述带雨图像输入至训练完成的生成对抗网络模型，得到所述生成对抗网络模型输出的所述带雨图像去雨后的清晰图像；
其中，所述生成对抗网络模型包括设置为对抗式训练的生成模型与判别模型，所述生成模型为利用从第二图像中提取的特征对第一图像进行特征监督训练所得到的全卷积网络模型，所述第一图像为第一训练带雨图像，所述第二图像为与所述第一训练带雨图像对应的第一训练清晰图像。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述图像去雨方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述图像去雨方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910303078.3A CN110163813B (zh) | 2019-04-16 | 2019-04-16 | 一种图像去雨方法、装置、可读存储介质及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910303078.3A CN110163813B (zh) | 2019-04-16 | 2019-04-16 | 一种图像去雨方法、装置、可读存储介质及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110163813A true CN110163813A (zh) | 2019-08-23 |
| CN110163813B CN110163813B (zh) | 2022-02-01 |
Family
ID=67638571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910303078.3A Active CN110163813B (zh) | 2019-04-16 | 2019-04-16 | 一种图像去雨方法、装置、可读存储介质及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110163813B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110544221A (zh) * | 2019-09-05 | 2019-12-06 | 迪爱斯信息技术股份有限公司 | 训练方法及装置、去雨方法、终端设备、存储介质 |
| CN110807749A (zh) * | 2019-11-06 | 2020-02-18 | 广西师范大学 | 基于密集多尺度生成对抗网络的单幅图像去雨滴方法 |
| CN111079893A (zh) * | 2019-11-05 | 2020-04-28 | 深圳大学 | 用于干涉条纹图滤波的生成器网络的获取方法和装置 |
| CN111291769A (zh) * | 2020-05-12 | 2020-06-16 | 南京智莲森信息技术有限公司 | 一种高铁接触网异物检测方法及系统 |
| CN111738932A (zh) * | 2020-05-13 | 2020-10-02 | 合肥师范学院 | 一种车载摄像头拍照图像自动去雨方法 |
| CN111754419A (zh) * | 2020-05-15 | 2020-10-09 | 新加坡依图有限责任公司(私有) | 图像处理方法、训练方法、装置、设备及计算机可读存储介质 |
| CN111899199A (zh) * | 2020-08-07 | 2020-11-06 | 深圳市捷顺科技实业股份有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN112215784A (zh) * | 2020-12-03 | 2021-01-12 | 江西博微新技术有限公司 | 图像去污方法、装置、可读存储介质及计算机设备 |
| CN112488943A (zh) * | 2020-12-02 | 2021-03-12 | 北京字跳网络技术有限公司 | 模型训练和图像去雾方法、装置、设备 |
| CN113379641A (zh) * | 2021-06-25 | 2021-09-10 | 南昌航空大学 | 一种基于自编码卷积神经网络的单幅图像去雨方法及系统 |
| CN113393385A (zh) * | 2021-05-12 | 2021-09-14 | 广州工程技术职业学院 | 基于多尺度融合的无监督去雨方法、系统、装置及介质 |
| CN113706392A (zh) * | 2020-05-20 | 2021-11-26 | Tcl科技集团股份有限公司 | 摩尔纹处理方法、计算机可读存储介质及终端设备 |
| CN114240761A (zh) * | 2020-09-09 | 2022-03-25 | 成都鼎桥通信技术有限公司 | 图像去雨模型训练方法、图像去雨方法及设备 |
| WO2022267327A1 (zh) * | 2021-06-24 | 2022-12-29 | 厦门美图宜肤科技有限公司 | 一种色斑预测方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230278A (zh) * | 2018-02-24 | 2018-06-29 | 中山大学 | 一种基于生成对抗网络的图像去雨滴方法 |
| CN108615226A (zh) * | 2018-04-18 | 2018-10-02 | 南京信息工程大学 | 一种基于生成式对抗网络的图像去雾方法 |
| CN108765344A (zh) * | 2018-05-30 | 2018-11-06 | 南京信息工程大学 | 一种基于深度卷积神经网络的单幅图像雨线去除的方法 |
| CN108986044A (zh) * | 2018-06-28 | 2018-12-11 | 广东工业大学 | 一种图像去雨雾方法、装置、设备及存储介质 |
| CN109166102A (zh) * | 2018-07-24 | 2019-01-08 | 中国海洋大学 | 一种基于判别区域候选对抗网络的图像转图像翻译方法 |
| CN109447918A (zh) * | 2018-11-02 | 2019-03-08 | 北京交通大学 | 基于注意力机制的单幅图像去雨方法 |
-
2019
- 2019-04-16 CN CN201910303078.3A patent/CN110163813B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230278A (zh) * | 2018-02-24 | 2018-06-29 | 中山大学 | 一种基于生成对抗网络的图像去雨滴方法 |
| CN108615226A (zh) * | 2018-04-18 | 2018-10-02 | 南京信息工程大学 | 一种基于生成式对抗网络的图像去雾方法 |
| CN108765344A (zh) * | 2018-05-30 | 2018-11-06 | 南京信息工程大学 | 一种基于深度卷积神经网络的单幅图像雨线去除的方法 |
| CN108986044A (zh) * | 2018-06-28 | 2018-12-11 | 广东工业大学 | 一种图像去雨雾方法、装置、设备及存储介质 |
| CN109166102A (zh) * | 2018-07-24 | 2019-01-08 | 中国海洋大学 | 一种基于判别区域候选对抗网络的图像转图像翻译方法 |
| CN109447918A (zh) * | 2018-11-02 | 2019-03-08 | 北京交通大学 | 基于注意力机制的单幅图像去雨方法 |
Non-Patent Citations (1)
| Title |
|---|
| XI ZHAO 等: "Deep Fully Convolutional Regression Networks for Single Image Haze Removal", 《2017 IEEE》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110544221B (zh) * | 2019-09-05 | 2022-03-29 | 迪爱斯信息技术股份有限公司 | 训练方法及装置、去雨方法、终端设备、存储介质 |
| CN110544221A (zh) * | 2019-09-05 | 2019-12-06 | 迪爱斯信息技术股份有限公司 | 训练方法及装置、去雨方法、终端设备、存储介质 |
| CN111079893A (zh) * | 2019-11-05 | 2020-04-28 | 深圳大学 | 用于干涉条纹图滤波的生成器网络的获取方法和装置 |
| CN111079893B (zh) * | 2019-11-05 | 2023-05-09 | 深圳大学 | 用于干涉条纹图滤波的生成器网络的获取方法和装置 |
| CN110807749A (zh) * | 2019-11-06 | 2020-02-18 | 广西师范大学 | 基于密集多尺度生成对抗网络的单幅图像去雨滴方法 |
| CN110807749B (zh) * | 2019-11-06 | 2022-11-25 | 联友智连科技有限公司 | 基于密集多尺度生成对抗网络的单幅图像去雨滴方法 |
| CN111291769A (zh) * | 2020-05-12 | 2020-06-16 | 南京智莲森信息技术有限公司 | 一种高铁接触网异物检测方法及系统 |
| CN111738932A (zh) * | 2020-05-13 | 2020-10-02 | 合肥师范学院 | 一种车载摄像头拍照图像自动去雨方法 |
| CN111754419A (zh) * | 2020-05-15 | 2020-10-09 | 新加坡依图有限责任公司(私有) | 图像处理方法、训练方法、装置、设备及计算机可读存储介质 |
| CN113706392A (zh) * | 2020-05-20 | 2021-11-26 | Tcl科技集团股份有限公司 | 摩尔纹处理方法、计算机可读存储介质及终端设备 |
| CN111899199B (zh) * | 2020-08-07 | 2024-03-19 | 深圳市捷顺科技实业股份有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN111899199A (zh) * | 2020-08-07 | 2020-11-06 | 深圳市捷顺科技实业股份有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN114240761B (zh) * | 2020-09-09 | 2023-09-22 | 成都鼎桥通信技术有限公司 | 图像去雨模型训练方法、图像去雨方法及设备 |
| CN114240761A (zh) * | 2020-09-09 | 2022-03-25 | 成都鼎桥通信技术有限公司 | 图像去雨模型训练方法、图像去雨方法及设备 |
| CN112488943A (zh) * | 2020-12-02 | 2021-03-12 | 北京字跳网络技术有限公司 | 模型训练和图像去雾方法、装置、设备 |
| CN112488943B (zh) * | 2020-12-02 | 2024-02-02 | 北京字跳网络技术有限公司 | 模型训练和图像去雾方法、装置、设备 |
| CN112215784A (zh) * | 2020-12-03 | 2021-01-12 | 江西博微新技术有限公司 | 图像去污方法、装置、可读存储介质及计算机设备 |
| CN112215784B (zh) * | 2020-12-03 | 2021-04-06 | 江西博微新技术有限公司 | 图像去污方法、装置、可读存储介质及计算机设备 |
| CN113393385A (zh) * | 2021-05-12 | 2021-09-14 | 广州工程技术职业学院 | 基于多尺度融合的无监督去雨方法、系统、装置及介质 |
| CN113393385B (zh) * | 2021-05-12 | 2024-01-02 | 广州工程技术职业学院 | 基于多尺度融合的无监督去雨方法、系统、装置及介质 |
| WO2022267327A1 (zh) * | 2021-06-24 | 2022-12-29 | 厦门美图宜肤科技有限公司 | 一种色斑预测方法、装置、设备及存储介质 |
| CN113379641A (zh) * | 2021-06-25 | 2021-09-10 | 南昌航空大学 | 一种基于自编码卷积神经网络的单幅图像去雨方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110163813B (zh) | 2022-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163813A (zh) | 一种图像去雨方法、装置、可读存储介质及终端设备 | |
| CN107463949B (zh) | 一种视频动作分类的处理方法及装置 | |
| CN105938559B (zh) | 使用卷积神经网络的数字图像处理 | |
| CN114937151A (zh) | 基于多感受野和注意力特征金字塔的轻量级目标检测方法 | |
| CN110378381A (zh) | 物体检测方法、装置和计算机存储介质 | |
| CN106203363A (zh) | 人体骨架运动序列行为识别方法 | |
| CN107229904A (zh) | 一种基于深度学习的目标检测与识别方法 | |
| CN111667399A (zh) | 风格迁移模型的训练方法、视频风格迁移的方法以及装置 | |
| CN110222717A (zh) | 图像处理方法和装置 | |
| CN105139004A (zh) | 基于视频序列的人脸表情识别方法 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN110084293A (zh) | 一种全明格局房屋的确定方法和装置 | |
| CN111832592B (zh) | Rgbd显著性检测方法以及相关装置 | |
| CN113989890A (zh) | 基于多通道融合和轻量级神经网络的人脸表情识别方法 | |
| CN109598732A (zh) | 一种基于三维空间加权的医学图像分割方法 | |
| CN110111426A (zh) | 一种动静分离格局房屋的确定方法和装置 | |
| CN109102475A (zh) | 一种图像去雨方法及装置 | |
| CN115393231B (zh) | 一种缺陷图像的生成方法、装置、电子设备和存储介质 | |
| CN113159067A (zh) | 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置 | |
| CN113392937A (zh) | 一种3d点云数据分类方法及其相关装置 | |
| CN110378250A (zh) | 用于场景认知的神经网络的训练方法、装置及终端设备 | |
| CN114897728A (zh) | 图像增强方法、装置、终端设备以及存储介质 | |
| Salem et al. | Semantic image inpainting using self-learning encoder-decoder and adversarial loss | |
| CN112215861A (zh) | 一种足球检测方法、装置、计算机可读存储介质及机器人 | |
| CN110110829A (zh) | 一种二维码处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |