CN107798669B

CN107798669B - 图像去雾方法、装置及计算机可读存储介质

Info

Publication number: CN107798669B
Application number: CN201711290984.1A
Authority: CN
Inventors: 张水发
Original assignee: Beijing Xiaomi Mobile Software Co Ltd
Current assignee: Beijing Xiaomi Mobile Software Co Ltd
Priority date: 2017-12-08
Filing date: 2017-12-08
Publication date: 2021-12-21
Anticipated expiration: 2037-12-08
Also published as: CN107798669A

Abstract

本公开是关于一种图像去雾方法、装置及计算机可读存储介质，属于图像处理领域，所述方法包括：获取目标带雾图像，所述目标带雾图像为待去雾的图像；基于去雾网络模型，对所述目标带雾图像进行去雾处理，所述去雾网络模型为对对抗网络模型进行训练后得到。本公开通过对对抗网络模型训练得到的去雾网络模型，可以对目标带雾图像进行去雾处理。由于通常情况下，对抗网络模型能够使需要处理的数据分布接近最真实的分布，因此，通过对对抗网络模型进行训练得到的去雾网络模型对目标带雾图像进行去雾时，能够尽最大可能的恢复目标带雾图像的图像细节，避免了图像的失真，从而提高了图像去雾的效果。

Description

图像去雾方法、装置及计算机可读存储介质

技术领域

本公开涉及图像处理领域，尤其涉及一种图像去雾方法、装置及计算机可读存储介质。

背景技术

目前，在众多领域都需要应用到图像处理技术，比如，智能导航、公路视觉监视、卫星遥感监测等领域。但是，由于在雾、霾、雨、雪等恶劣天气下拍摄的图像往往模糊不清，且细节不明显，色彩保真度下降，大大降低了图像的应用价值，给图像识别带来困难。因此，为了提高图像利用率，往往需要对带雾图像进行去雾处理。

相关技术中，可以基于图像增强的算法进行图像去雾，比如，直方图均衡化算法、基于小波变换的图像增强算法等。其中，当通过直方图均衡化算法进行去雾处理时，终端可以获取带雾图像，并计算该带雾图像的图像直方图，根据该带雾图像的图像直方图计算灰度值变化表，将该图像直方图使用灰度变换表进行查表变换操作，通过遍历每一个像素点，将带雾图像的各个像素点的灰度值放入交换表中，可得到各个像素点的新灰度值。

发明内容

本公开提供了一种图像去雾方法、装置及计算机可读存储介质，用于解决相关技术中去雾效果差的问题。

根据本公开实施例的第一方面，提供一种图像去雾方法，所述方法包括：

获取目标带雾图像，所述目标带雾图像为待去雾的图像；

基于去雾网络模型，对所述目标带雾图像进行去雾处理，所述去雾网络模型为对对抗网络模型进行训练后得到。

可选地，所述基于去雾网络模型，对所述目标带雾图像进行去雾处理之前，还包括：

获取去雾图像训练集，所述去雾图像训练集包括N个不带雾样本图像和N个带雾样本图像，所述N为大于或等于1的正整数；

基于所述去雾图像训练集，对所述对抗网络模型进行训练，得到所述去雾网络模型。

可选地，所述基于所述去雾图像训练集，对所述对抗网络模型进行训练，得到所述去雾网络模型，包括：

基于生成网络模型，对所述N个带雾样本图像进行处理，得到N个去雾样本图像，基于判别网络模型，对所述N个去雾样本图像和所述N个不带雾样本图像进行处理，得到2N个概率值，所述生成网络模型为所述对抗网络模型中进行图像去雾的网络模型，所述判别网络模型为所述对抗网络模型中用于确定图像去雾准确率的网络模型；

基于所述2N个概率值和第一预设损失函数训练所述判别网络模型，得到训练后的判别网络模型；基于所述N个去雾样本图像和第二预设损失函数，对所述生成网络模型进行训练，得到训练后的生成网络模型；

从所述N个带雾样本图像中选择一个带雾样本图像，基于所述训练后的生成网络模型，对选择带雾样本图像进行处理，得到选择的带雾样本图像对应的去雾样本图像；

基于所述训练后的判别网络模型，对选择的带雾样本图像对应的去雾样本图像进行处理，得到一个概率值；当得到的概率值不为预设概率时，将所述训练后的生成网络模型作为所述生成网络模型，将所述训练后的判别网络模型作为所述判别网络模型，并返回所述基于生成网络模型，对所述N个带雾样本图像进行处理，得到N个去雾样本图像的步骤，直至得到的概率值为所述预设概率时，将最终训练得到的生成网络模型确定为所述去雾网络模型。

可选地，所述第一预设损失函数如下：

其中，所述G表示所述生成网络模型，所述D表示所述判别网络模型，所述x表示所述N个不带雾样本图像中任一不带雾样本图像，所述D(x)为所述2N个概率值中的任一概率值，所述z表示所述N个带雾样本图像中任一带雾样本图像，所述G(z)表示所述N个去雾样本图像中任一去雾样本图像，所述x_ij表示所述任一不带雾样本图像中坐标为(i，j)的像素点的灰度值，所述

表示所述任一去雾样本图像中与坐标为(i，j)的像素点相邻的像素点的灰度值。

可选地，所述第二预设损失函数如下：

其中，所述G表示所述生成网络模型，所述z表示所述N个带雾样本图像中任一带雾样本图像，所述G(z)表示所述N个去雾样本图像中任一去雾样本图像，所述x_ij表示所述任一不带雾样本图像中坐标为(i，j)的像素点的灰度值，所述

可选地，所述获取去雾图像训练集，包括：

对目标不带雾样本图像进行多次复制，得到所述N个不带雾样本图像，所述目标不带雾样本图像是指任一不带雾图像；

对所述N个不带雾样本图像进行加雾处理，得到带雾情况不同的所述N个带雾样本图像；

将所述N个不带雾样本图像和所述N个带雾样本图像合并为所述去雾图像训练集。

可选地，所述对所述N个不带雾样本图像进行加雾处理，得到带雾情况不同的所述N个带雾样本图像，包括：

对所述N个不带雾样本图像进行加噪处理，得到N个带噪样本图像；

在所述N个带噪样本图像上分别覆盖透明度不同的蒙版，得到所述N个带雾样本图像。

根据本公开实施例的第二方面，提供一种图像去雾装置，所述装置包括：

第一获取模块，用于获取目标带雾图像，所述目标带雾图像为待去雾的图像；

去雾模块，用于基于去雾网络模型，对所述目标带雾图像进行去雾处理，所述去雾网络模型为对对抗网络模型进行训练后得到。

可选地，所述装置还包括：

第二获取模块，用于获取去雾图像训练集，所述去雾图像训练集包括N个不带雾样本图像和N个带雾样本图像，所述N为大于或等于1的正整数；

训练模块，用于基于所述去雾图像训练集，对所述对抗网络模型进行训练，得到所述去雾网络模型。

可选地，所述训练模块用于：

可选地，所述第一预设损失函数如下：

可选地，所述第二预设损失函数如下：

可选地，所述第二获取模块包括：

复制子模块，用于对目标不带雾样本图像进行多次复制，得到所述N个不带雾样本图像，所述目标不带雾样本图像是指任一不带雾图像；

加雾处理子模块，用于对所述N个不带雾样本图像进行加雾处理，得到带雾情况不同的所述N个带雾样本图像；

合并子模块，用于将所述N个不带雾样本图像和所述N个带雾样本图像合并为所述去雾图像训练集。

可选地，所述加雾处理子模块用于：

根据本公开实施例的第三方面，提供一种图像去雾装置，所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述第一方面所述的任一项方法的步骤

根据本公开实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述第一方面所述的任一项方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：在本公开实施例中，在获取到目标带雾图像时，可以通过去雾网络模型，对目标带雾图像进行去雾处理。由于去雾网络模型为对对抗网络模型进行训练后确定得到，且通常情况下，对抗网络模型能够使需要处理的数据分布接近最真实的分布，因此，通过对对抗网络模型训练得到的去雾网络模型对目标带雾图像进行去雾时，能够尽最大可能的恢复目标带雾图像的图像细节，避免了图像的失真，从而提高了图像去雾的效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种图像去雾方法的流程图。

图2A是根据一示例性实施例示出的一种生成网络模型的示意图。

图2B是根据一示例性实施例示出的一种判别网络模型的示意图。

图2C是根据一示例性实施例示出的另一种图像去雾方法的流程图。

图3A是根据一示例性实施例示出的一种图像去雾装置的结构框图。

图3B是根据一示例性实施例示出的另一种图像去雾装置的结构框图。

图3C是根据一示例性实施例示出的一种第二获取模块的结构框图。

图4是根据一示例性实施例示出的一种终端的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在对本公开实施例进行详细的解释说明之前，先对本公开实施例中涉及到的应用场景进行介绍。

目前，由于受到雨、雾、霾等天气的影响，诸如智能手机、摄像头等终端采集到的图像往往为带雾图像，这些带雾图像清晰度通常较差，导致图像的利用率较低。因此，为了提高图像的利用率，通常可以基于直方图均衡化算法、基于小波变换等图像增强算法对带雾图像进行去雾处理。但是，由于通过图像增强算法对带雾图像进行去雾处理时，仅仅是进行去雾，并未将雾笼罩下的细节还原，导致去雾后的图像在一定程度上失真，从而降低了图像去雾的效果。

基于这样的场景，本公开实施例提供了一种能够在图像去雾过程中还原图像细节，提高图像去雾效果的图像去雾方法。

在对本公开实施例的应用场景进行介绍之后，接下来将结合附图对本公开实施例提供的图像去雾方法进行详细介绍。

图1是根据一示例性实施例示出的一种图像去雾方法的流程图，如图1所示，该方法用于终端中，包括以下步骤。

在步骤101中，获取目标带雾图像，该目标带雾图像为待去雾的图像。

在步骤102中，基于去雾网络模型，对该目标带雾图像进行去雾处理，该去雾网络模型为对对抗网络模型进行训练后得到。

在本公开实施例中，在获取到目标带雾图像时，可以通过去雾网络模型，对目标带雾图像进行去雾处理。由于去雾网络模型为对对抗网络模型进行训练后确定得到，且通常情况下，对抗网络模型能够使需要处理的数据分布接近最真实的分布，因此，通过对对抗网络模型训练得到的去雾网络模型对目标带雾图像进行去雾时，能够尽最大可能的恢复目标带雾图像的图像细节，避免了图像的失真，从而提高了图像去雾的效果。

可选地，基于去雾网络模型，对该目标带雾图像进行去雾处理之前，还包括：

获取去雾图像训练集，该去雾图像训练集包括N个不带雾样本图像和N个带雾样本图像，N为大于或等于1的正整数；

基于该去雾图像训练集，对该对抗网络模型进行训练，得到该去雾网络模型。

可选地，基于该去雾图像训练集，对该对抗网络模型进行训练，得到该去雾网络模型，包括：

基于生成网络模型，对N个带雾样本图像进行处理，得到N个去雾样本图像，基于判别网络模型，对N个去雾样本图像和N个不带雾样本图像进行处理，得到2N个概率值，该生成网络模型为该对抗网络模型中进行图像去雾的网络模型，该判别网络模型为该对抗网络模型中用于确定图像去雾准确率的网络模型；

基于该2N个概率值和第一预设损失函数训练该判别网络模型，得到训练后的判别网络模型；基于该N个去雾样本图像和第二预设损失函数，对该生成网络模型进行训练，得到训练后的生成网络模型；

从该N个带雾样本图像中选择一个带雾样本图像，基于该训练后的生成网络模型，对选择带雾样本图像进行处理，得到选择的带雾样本图像对应的去雾样本图像；

基于该训练后的判别网络模型，对选择的带雾样本图像对应的去雾样本图像进行处理，得到一个概率值；当得到的概率值不为预设概率时，将该训练后的生成网络模型作为该生成网络模型，将该训练后的判别网络模型作为该判别网络模型，并返回该基于生成网络模型，对该N个带雾样本图像进行处理，得到N个去雾样本图像的步骤，直至得到的概率值为该预设概率时，将最终训练得到的生成网络模型确定为该去雾网络模型。

可选地，第一预设损失函数如下：

其中，G表示该生成网络模型，D表示该判别网络模型，x表示该N个不带雾样本图像中任一不带雾样本图像，D(x)为该2N个概率值中的任一概率值，z表示该N个带雾样本图像中任一带雾样本图像，G(z)表示该N个去雾样本图像中任一去雾样本图像，x_ij表示该任一不带雾样本图像中坐标为(i，j)的像素点的灰度值，

表示该任一去雾样本图像中与坐标为(i，j)的像素点相邻的像素点的灰度值。

可选地，第二预设损失函数如下：

其中，G表示该生成网络模型，z表示该N个带雾样本图像中任一带雾样本图像，G(z)表示该N个去雾样本图像中任一去雾样本图像，x_ij表示该任一不带雾样本图像中坐标为(i，j)的像素点的灰度值，

可选地，获取去雾图像训练集，包括：

对目标不带雾样本图像进行多次复制，得到该N个不带雾样本图像，该目标不带雾样本图像是指任一不带雾图像；

对该N个不带雾样本图像进行加雾处理，得到带雾情况不同的该N个带雾样本图像；

将该N个不带雾样本图像和该N个带雾样本图像合并为该去雾图像训练集。

可选地，对该N个不带雾样本图像进行加雾处理，得到带雾情况不同的该N个带雾样本图像，包括：

对该N个不带雾样本图像进行加噪处理，得到N个带噪样本图像；

在该N个带噪样本图像上分别覆盖透明度不同的蒙版，得到该N个带雾样本图像。

上述所有可选技术方案，均可按照任意结合形成本公开的可选实施例，本公开实施例对此不再一一赘述。

在对上述图1所示的实施例进行详细的解释说明之前，先对本公开实施例涉及的对抗网络模型进行解释说明。

通常情况下，对抗网络模型可以产生高质量的可以媲美真实数据的数据。其中，对抗网络模型可以包括生成网络模型和判别网络模型，生成网络模型可以捕捉数据的分布，并生成一个类似真实训练数据的样本数据；判别网络模型是一个二分类器，可以估计一个数据A来自真实训练数据而不是来自生成网络模型生成的样本数据的概率，且如果该数据A来自于真实训练数据，则判别网络模型可以输出大概率，比如输出1，否则，判别网络模型可以输出小概率，比如输出0。

另外，为了通过对抗网络模型获取高质量的可以媲美真实数据的数据，终端可以对对抗网络模型进行训练，也即是，终端可以对生成网络模型和判别网络模型进行训练。其中，对生成网络模型和判别网络模型进行训练的过程就是不断优化生成网络模型和判别网络模型的过程。

需要说明的是，优化生成网络模型是为了使生成网络模型输出的数据尽可能的让判别网络模型无法分别，优化判别网络模型是为了使该判别网络模型尽可能的能区分出来自生成网络模型生成的数据。当判别网络模型无法区分出数据的来源的时候，可以认为生成网络模型生成的数据与真实数据是一样的。

另外，在本公开实施例中，参见图2A，生成网络模型可以包括4层卷积层和4层反卷积层，参见图2B，判别网络模型可以包括4层卷积层、2层FC(fully connected layers，全连接层)和1层sigmoid层。其中，每个卷积层或反卷积层均可以采用64种、128种、256种、512种卷积核，且每种卷积核可以为3*3的大小，也可以为5*5的大小，每种卷积核的步长S为2。

值得说明的是，通常情况下，对抗网络模型中包括的生成网络模型和判别网络模型可以包括多层网络结构，而本公开实施例中对生成网络模型和判别网络模型的网络结构进行了简化，减少了卷积及反卷积的次数，从而加快终端运行速度和节省运行资源。

图2C是根据一示例性实施例示出的一种图像去雾方法的流程图，本公开实施例将结合附图2C对上述图1所示的实施例进行详细的解释说明，参见图2C，该方法具体包括如下步骤。

在步骤201中，终端获取目标带雾图像，该目标带雾图像为待去雾的图像。

其中，终端可以主动获取目标带雾图像，也可以被动获取目标带雾图像。下述分别对终端主动获取目标带雾图像的操作和被动获取目标带雾图像的操作进行说明。

主动获取目标带雾图像

由于终端可能在雨、雾、霾等天气条件下进行图像采集，终端采集到的图像有很大的可能为带雾图像。因此，为了提高后续图像的利用率，终端在采集到图像后可以实时判断采集到的图像是否为带雾图像，当确定采集到的图像为带雾图像时，将该采集到的图像确定为目标带雾图像。

另外，终端不仅可以实时判断采集到的图像是否为带雾图像，由于终端在采集到图像后可以将采集到的图像进行存储，因此，终端还可以每隔指定时间间隔判断存储的图像中是否存在带雾图像。当存储的图像中存在带雾图像时，将带雾图像确定为目标带雾图像。

需要说明的是，该指定时间间隔可以事先设置，比如，该指定时间间隔可以为1小时、2小时等等。

被动获取目标带雾图像

其中，当终端接收到去雾指令时，将该去雾指令中携带的带雾图像，确定为目标带雾图像。

需要说明的是，该去雾指令用于对目标带雾图像进行去雾处理，该去雾指令可以由用户通过指定操作触发，该指定操作可以为点击操作、滑动操作、语音操作等等。

例如，当用户想要对带雾图像A进行去雾处理时，可以通过指定操作触发去雾指令，当该终端接收到该去雾指令时，即可将该带雾图像A确定为目标带雾图像。

值得说明的是，在本公开实施例中，目标带雾图像还可以是视频中的视频帧图像，当视频的视频帧图像中存在带雾的视频帧图像时，将该带雾的视频帧图像确定为目标带雾图像。其中，该视频可以为终端当前播放的视频、当前拍摄的视频等。

另外，终端同样可以每隔指定时间间隔从该视频中获取视频帧图像，并检测视频帧图像中是否带雾，也可以实时地从该视频中获取视频帧图像，并检测视频帧图像中是否带雾，当然还可以在基于该视频接收到去雾指令时，再从该视频中获取视频帧图像，并将获取的视频帧图像确定为目标带雾图像等等。

在步骤202中，终端基于去雾网络模型，对该目标带雾图像进行去雾处理，该去雾网络模型为对对抗网络模型进行训练后得到。

需要说明的是，去雾网络模型用于对带雾图像进行去雾处理，且该去雾网络模型可以由终端对对抗网络模型进行训练得到，当然，在实际应用中也可以由模型训练装置对对抗网络模型进行训练得到后发送给终端。该模型训练装置可以是台式计算机、笔记本计算机、服务器或服务器集群等。

接下来以终端对对抗网络模型进行训练为例进行说明，其实现过程可以包括如下(1)-(2)两个步骤：

(1)获取去雾图像训练集，去雾图像训练集包括N个不带雾样本图像和N个带雾样本图像，N为大于或等于1的正整数。

由于在通常情况下，对对抗网络模型进行训练时，通常需要正负两种样本，因此，终端在获取去雾图像训练集时，通常需要对目标不带雾样本图像进行多次复制，得到N个不带雾样本图像，目标不带雾样本图像是指任一不带雾图像；对该N个不带雾样本图像进行加雾处理，得到带雾情况不同的N个带雾样本图像；将N个不带雾样本图像和N个带雾样本图像合并为去雾图像训练集。

其中，终端对N个不带雾样本图像进行加雾处理，得到带雾情况不同的该N个带雾样本图像的操作可以为：对N个不带雾样本图像进行加噪处理，得到N个带噪样本图像；在N个带噪样本图像上分别覆盖透明度不同的蒙版，得到N个带雾样本图像。

需要说明的是，在本公开实施例中，终端不仅可以通过加噪及覆盖蒙版的方式得到N个带雾样本图像，终端还可以通过其他方式确定N个带雾样本图像。比如，终端还可以对N个带噪样本图像覆盖透明度不同的图层，或者，不对N个不带雾样本图像进行加噪处理而是直接对N个不带雾样本图像上分别覆盖透明度不同的蒙版，或者，直接对N个不带雾样本图像上分别覆盖透明度不同的图层。

(2)基于该去雾图像训练集，对对抗网络模型进行训练，得到去雾网络模型。

其中，终端在训练对抗网络模型时，可以基于去雾图像训练集，轮流交替对对抗网络模型中包括的生成网络模型和判别网络模型进行训练，该生成网络模型为对抗网络模型中进行图像去雾的网络模型，该判别网络模型为对抗网络模型中用于确定图像去雾准确率的网络模型。

接下来，通过如下步骤a-步骤e的操作对终端基于去雾图像训练集，轮流交替对对抗网络模型中包括的生成网络模型和判别网络模型进行训练的操作进行说明。

步骤a，基于生成网络模型，对N个带雾样本图像进行处理，得到N个去雾样本图像，基于判别网络模型，对N个去雾样本图像和N个不带雾样本图像进行处理，得到2N个概率值。

由上述可知，生成网络模型可以捕捉样本数据的分布，并生成一个类似真实训练数据的样本数据；判别网络模型是一个二分类器，可以估计一个数据A来自真实训练数据而不是来自生成网络模型生成的样本数据的概率。因此，该N个去雾样本图像即为类似N个不带雾样本图像的样本数据，判别网络模型可以确定2N个图像中任一图像来自N个不带雾样本图像而不是来自N个去雾样本图像的概率值，从而得到2N个概率值。

步骤b，基于2N个概率值和第一预设损失函数训练该判别网络模型，得到训练后的判别网络模型。

其中，终端基于2N个概率值和第一预设损失函数训练该判别网络模型，得到训练后的判别网络模型的操作可以为：基于2N个概率值和第一预设损失函数，确定多个损失值；基于第一预设损失函数，对判别网络模型中的各个参数进行偏导运算，得到各个参数的偏导函数；基于多个损失值和各个参数的偏导函数，确定各个参数的偏导值；采用随机梯度下降法，基于各个参数的偏导值确定更新后的各个参数，基于更新后的各个参数更新判别网络模型，以完成对判别网络模型的训练。

需要说明的是，由于通常情况下，终端训练多次判别网络模型后可以训练一次生成网络模型，因此，在本公开实施例中，终端在训练对抗网络模型的过程中，可以基于2N个概率值和第一预设损失函数对判别网络模型进行多次训练后，执行下述步骤c中训练生成网络模型的操作。

另外，终端可以事先设置训练判别网络模型的预设训练次数，并按照预设训练次数训练判别网络模型。该预设训练次数可以事先设置，该预设训练次数可以为2N、N等等。

其中，终端按照预设训练次数，基于2N个概率值和第一预设损失函数训练该判别网络模型时，每次训练都是将上一次训练得到的判别网络模型作为训练对象进行训练。也即是，终端可以将对抗网络模型最初包括的判别网络模型作为训练对象，从2N个概率值中获取预设数量的概率值，并基于获取的预设数量的概率值和第一预设损失函数，确定预设数量个损失值；基于第一预设损失函数，对当前的训练对象中的各个参数进行偏导运算，得到各个参数的偏导函数；基于预设数量个损失值和各个参数的偏导函数，确定各个参数的偏导值；采用随机梯度下降法，基于各个参数的偏导值确定更新后的各个参数，基于更新后的各个参数更新当前的训练对象；当训练次数未达到预设训练次数时，将更新后的判别网络模型作为训练对象，并返回从2N个概率值中获取预设数量的概率值的步骤，直至训练次数达到预设训练次数时，完成对判别网络模型的训练。

需要说明的是，为了起到优化判别网络模型的目的，终端每次从2N个概率值中获取的预设数量的概率值都与之前获取的概率值不完全相同。另外，预设数量可以事先设置，比如，预设数量可以为N个、0.5*N个等等。

另外，第一预设损失函数用于对判别网络模型进行训练，且第一预设损失函数可以事先设置。比如，该第一预设损失函数可以如下所示：

其中，G表示生成网络模型，D表示判别网络模型，x表示N个不带雾样本图像中任一不带雾样本图像，D(x)为2N个概率值中的任一概率值，z表示N个带雾样本图像中任一带雾样本图像，G(z)表示N个去雾样本图像中任一去雾样本图像，x_ij表示任一不带雾样本图像中坐标为(i，j)的像素点的灰度值，

表示任一去雾样本图像中与坐标为(i，j)的像素点相邻的像素点的灰度值。

步骤c，基于N个去雾样本图像和第二预设损失函数，对生成网络模型进行训练，得到训练后的生成网络模型。

需要说明的是，终端基于N个去雾样本图像和第二预设损失函数，对生成网络模型进行训练，得到训练后的生成网络模型的操作可以参考上述步骤b中，终端基于2N个概率值和第一预设损失函数训练该判别网络模型，得到训练后的判别网络模型的操作，但是对于生成网络模型可以训练一次，而不用进行多次训练，本公开实施例对此不再进行一一赘述。

另外，第二预设损失函数用于对生成网络模型进行训练，且第二预设损失函数可以是事先设置的，也可以是第一预设损失函数中的指定项。比如，第二预设损失函数如下：

其中，G表示生成网络模型，z表示N个带雾样本图像中任一带雾样本图像，G(z)表示N个去雾样本图像中任一去雾样本图像，x_ij表示任一不带雾样本图像中坐标为(i，j)的像素点的灰度值，

值得说明的是，第一预设损失函数和第二预设损失函数中增加了任一不带雾样本图像中任一像素点的灰度值，以及任一带雾样本图像中与任一不带雾样本图像中任一像素点坐标相同的像素点相邻的像素点的灰度值，从而可以通过带雾样本图像和不带雾样本图像中，对应的相同位置的像素点与相邻像素点之间的灰度值差异，尽可能地提高了去雾过程中还原带雾图像的细节的可能性。

步骤d，从N个带雾样本图像中选择一个带雾样本图像，基于训练后的生成网络模型，对选择带雾样本图像进行处理，得到选择的带雾样本图像对应的去雾样本图像；基于训练后的判别网络模型，对选择的带雾样本图像对应的去雾样本图像进行处理，得到一个概率值。

由于训练生成网络模型是为了使生成网络模型输出的去雾样本图像更接近真实图像。因此，为了对训练后的生成网络模型进行图像去雾的准确率进行验证，终端需要从N个带雾样本图像中选择一个带雾样本图像，并基于训练后的生成网络模型，对选择带雾样本图像进行处理；基于训练后的判别网络模型，对通过训练后的生成网络模型得到的选择带雾样本图像对应的去雾样本图像进行处理。

步骤e，当得到的概率值不为预设概率时，将训练后的生成网络模型作为生成网络模型，将该训练后的判别网络模型作为判别网络模型，并返回步骤a，直至得到的概率值为预设概率时，将最终训练得到的生成网络模型确定为去雾网络模型。

由于判别网络模型可以判别输入的图像的样本来源，当判别网络模型输出的概率值为0时，说明判别网络模型可以确定图像来自N个去雾样本图像，当判别网络模型输出的概率值为1时，说明判别网络模型可以确定图像来自N个不带雾样本图像，当判别网络模型输出的概率值为预设概率时，说明判别网络模型已无法确定图像是来自N个去雾样本图像还是来自N个不带雾样本图像时，同时也说明了生成网络模型对带雾图像进行去雾的能力已经很强，准确率已经很高，因此，可以将最终训练得到的生成网络模型确定为去雾网络模型。

需要说明的是，该预设概率可以事先设置，比如，0.2、0.3、0.5等等。由于通常情况下，生成网络模型处于最优状态，也即是，生成网络模型的能力最强时，判别网络模型输出的概率值为0.5，因此，该预设概率通常可以设置为0.5。

在步骤203中，终端显示目标带雾图像和目标去雾图像，目标去雾图像为对目标带雾图像进行去雾处理后得到的图像。

由于终端对目标带雾图像进行去雾处理后，用户可能需要查看对目标去雾图像的去雾效果，此时，终端可以在对目标带雾图像进行去雾处理后，同时显示目标带雾图像和目标去雾图像。当然，在实际应用中，终端也可以仅显示目标去雾图像，或者不显示任何图像。

其中，终端在得到目标去雾图像后，可以直接显示目标带雾图像和目标去雾图像，也可以在得到目标去雾图像后接收到显示指令时，显示目标带雾图像和目标去雾图像。

需要说明的是，该显示指令用于同时显示目标带雾图像和目标去雾图像，且该显示指令同样可以由用户通过指定操作触发。

值得说明的是，由于终端可以同时显示目标带雾图像和目标去雾图像，也即是，终端可以同时显示去雾前的图像和去雾后的图像，从而去雾前的图像和去雾后的图像能够形成对比，用户可以根据终端的显示，清楚的了解到终端的图像去雾效果。

在本公开实施例中，终端可以对对抗网络模型包括的判别网络模型和生成网络模型轮流进行训练，从而将训练后的生成网络模型确定为去雾网络模型，并在获取到目标带雾图像时，可以通过去雾网络模型，对目标带雾图像进行去雾处理。由于通常情况下，对抗网络模型能够使需要处理的数据分布接近最真实的分布，因此，通过对对抗网络模型训练得到的去雾网络模型对目标带雾图像进行去雾时，能够尽最大可能的恢复目标带雾图像的图像细节，避免了图像的失真，从而提高了图像去雾的效果。

图3A是本公开实施例提供的一种图像去雾装置的框图，参见图3A，该图像去雾置可以由软件、硬件或者两者的结合实现，该装置包括：第一获取模块301和去雾模块302。

第一获取模块301，用于获取目标带雾图像，所述目标带雾图像为待去雾的图像；

去雾模块302，用于基于去雾网络模型，对所述目标带雾图像进行去雾处理，所述去雾网络模型为对对抗网络模型进行训练后得到。

可选地，参见图3B，所述装置还包括：

第二获取模块303，用于获取去雾图像训练集，所述去雾图像训练集包括N个不带雾样本图像和N个带雾样本图像，所述N为大于或等于1的正整数；

训练模块304，用于基于所述去雾图像训练集，对所述对抗网络模型进行训练，得到所述去雾网络模型。

可选地，所述训练模块304用于：

可选地，所述第一预设损失函数如下：

可选地，所述第二预设损失函数如下：

可选地，参见图3C，所述第二获取模块303包括：

复制子模块3031，用于对目标不带雾样本图像进行多次复制，得到所述N个不带雾样本图像，所述目标不带雾样本图像是指任一不带雾图像；

加雾处理子模块3032，用于对所述N个不带雾样本图像进行加雾处理，得到带雾情况不同的所述N个带雾样本图像；

合并子模块3033，用于将所述N个不带雾样本图像和所述N个带雾样本图像合并为所述去雾图像训练集。

可选地，所述加雾处理子模块3032用于：

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4是根据一示例性实施例示出的一种终端400的框图。例如，终端400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图4，终端400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。

处理组件402通常控制终端400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。

存储器404被配置为存储各种类型的数据以支持在终端400的操作。这些数据的示例包括用于在终端400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件406为终端400的各种组件提供电源。电源组件406可以包括电源管理系统，一个或多个电源，及其他与为终端400生成、管理和分配电源相关联的组件。

多媒体组件408包括在所述终端400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当终端400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当终端400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。

I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件414包括一个或多个传感器，用于为终端400提供各个方面的状态评估。例如，传感器组件414可以检测到终端400的打开/关闭状态，组件的相对定位，例如所述组件为终端400的显示器和小键盘，传感器组件414还可以检测终端400或终端400一个组件的位置改变，用户与终端400接触的存在或不存在，终端400方位或加速/减速和终端400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件416被配置为便于终端400和其他设备之间有线或无线方式的通信。终端400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，终端400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图1或图2C所示实施例提供的方法。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种上述图1或图2C所示实施例提供的图像去雾方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种图像去雾方法，其特征在于，所述方法包括：

获取目标带雾图像，所述目标带雾图像为待去雾的图像；

基于生成网络模型，对所述N个带雾样本图像进行处理，得到N个去雾样本图像，基于判别网络模型，对所述N个去雾样本图像和所述N个不带雾样本图像进行处理，得到2N个概率值，所述生成网络模型为对抗网络模型中进行图像去雾的网络模型，所述判别网络模型为所述对抗网络模型中用于确定图像去雾准确率的网络模型，且所述判别网络模型进行预设训练次数训练后，进行一次生成网络模型的训练；

将所述对抗网络模型最初包括的判别网络模型作为训练对象，从2N个概率值中获取预设数量的概率值，并基于获取的预设数量的概率值和第一预设损失函数，确定预设数量个损失值；基于第一预设损失函数，对当前的训练对象中的各个参数进行偏导运算，得到各个参数的偏导函数；基于预设数量个损失值和各个参数的偏导函数，确定各个参数的偏导值；采用随机梯度下降法，基于各个参数的偏导值确定更新后的各个参数，基于更新后的各个参数更新当前的训练对象；当训练次数未达到预设训练次数时，将更新后的判别网络模型作为训练对象，并返回从2N个概率值中获取预设数量的概率值的步骤，直至训练次数达到预设训练次数时，完成对判别网络模型的训练；基于所述N个去雾样本图像和第二预设损失函数，对所述生成网络模型进行训练，得到训练后的生成网络模型，且每次从2N个概率值中获取的预设数量的概率值都与之前获取的概率值不完全相同；

基于所述训练后的判别网络模型，对选择的带雾样本图像对应的去雾样本图像进行处理，得到一个概率值；当得到的概率值不为预设概率时，将所述训练后的生成网络模型作为所述生成网络模型，将所述训练后的判别网络模型作为所述判别网络模型，并返回所述基于生成网络模型，对所述N个带雾样本图像进行处理，得到N个去雾样本图像的步骤，直至得到的概率值为所述预设概率时，将最终训练得到的生成网络模型确定为去雾网络模型；

2.如权利要求1所述的方法，其特征在于，所述第一预设损失函数如下：

3.如权利要求1或2所述的方法，其特征在于，所述第二预设损失函数如下：

其中，所述G表示所述生成网络模型，所述z表示所述N个带雾样本图像中任一带雾样本图像，所述G(z)表示所述N个去雾样本图像中任一去雾样本图像，所述x_ij表示任一不带雾样本图像中坐标为(i，j)的像素点的灰度值，所述

4.如权利要求1所述的方法，其特征在于，所述获取去雾图像训练集，包括：

5.如权利要求4所述的方法，其特征在于，所述对所述N个不带雾样本图像进行加雾处理，得到带雾情况不同的所述N个带雾样本图像，包括：

在所述N个带噪样本图像上分别覆盖透明度不同的蒙版，或者，在所述N个带噪样本图像覆盖透明度不同的图层，得到带雾情况不同的所述N个带雾样本图像；或者，对所述N个不带雾样本图像上分别覆盖透明度不同的蒙版，或者，在所述N个不带雾样本图像上分别覆盖透明度不同的图层，得到带雾情况不同的所述N个带雾样本图像。

6.一种图像去雾装置，其特征在于，所述装置包括：

训练模块，用于基于生成网络模型，对所述N个带雾样本图像进行处理，得到N个去雾样本图像，基于判别网络模型，对所述N个去雾样本图像和所述N个不带雾样本图像进行处理，得到2N个概率值，所述生成网络模型为对抗网络模型中进行图像去雾的网络模型，所述判别网络模型为所述对抗网络模型中用于确定图像去雾准确率的网络模型，且所述判别网络模型进行预设训练次数训练后，进行一次生成网络模型的训练；将所述对抗网络模型最初包括的判别网络模型作为训练对象，从2N个概率值中获取预设数量的概率值，并基于获取的预设数量的概率值和第一预设损失函数，确定预设数量个损失值；基于第一预设损失函数，对当前的训练对象中的各个参数进行偏导运算，得到各个参数的偏导函数；基于预设数量个损失值和各个参数的偏导函数，确定各个参数的偏导值；采用随机梯度下降法，基于各个参数的偏导值确定更新后的各个参数，基于更新后的各个参数更新当前的训练对象；当训练次数未达到预设训练次数时，将更新后的判别网络模型作为训练对象，并返回从2N个概率值中获取预设数量的概率值的步骤，直至训练次数达到预设训练次数时，完成对判别网络模型的训练；基于所述N个去雾样本图像和第二预设损失函数，对所述生成网络模型进行训练，得到训练后的生成网络模型，且每次从2N个概率值中获取的预设数量的概率值都与之前获取的概率值不完全相同；从所述N个带雾样本图像中选择一个带雾样本图像，基于所述训练后的生成网络模型，对选择带雾样本图像进行处理，得到选择的带雾样本图像对应的去雾样本图像；基于所述训练后的判别网络模型，对选择的带雾样本图像对应的去雾样本图像进行处理，得到一个概率值；当得到的概率值不为预设概率时，将所述训练后的生成网络模型作为所述生成网络模型，将所述训练后的判别网络模型作为所述判别网络模型，并返回所述基于生成网络模型，对所述N个带雾样本图像进行处理，得到N个去雾样本图像的步骤，直至得到的概率值为所述预设概率时，将最终训练得到的生成网络模型确定为去雾网络模型；

7.如权利要求6所述的装置，其特征在于，所述第一预设损失函数如下：

8.如权利要求6或7所述的装置，其特征在于，所述第二预设损失函数如下：

9.如权利要求6所述的装置，其特征在于，所述第二获取模块包括：

10.如权利要求9所述的装置，其特征在于，所述加雾处理子模块用于：

在所述N个带噪样本图像上分别覆盖透明度不同的蒙版，或者，在所述N个带噪样本图像覆盖透明度不同的图层，得到带雾情况不同的所述N个带雾样本图像；或者，对所述N个不带雾样本图像上分别覆盖透明度不同的蒙版，或者，在所述N个不带雾样本图像上分别覆盖透明度不同的图层，得到带雾情况不同的所述N个带雾样本图像；

所述合并子模块，用于将所述N个不带雾样本图像和所述N个带雾样本图像合并为所述去雾图像训练集。

11.一种图像去雾装置，其特征在于，所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-5所述的任一项方法的步骤。

12.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1-5所述的任一项方法的步骤。