CN108269244A - 一种基于深度学习和先验约束的图像去雾系统 - Google Patents

Abstract

本发明涉及一种基于深度学习和先验约束的图像去雾系统，包括以下步骤：1)通过对无雾图和合成的雾化图所构成的图像样本进行视觉观察对比与均方误差统计，提出新的图像去雾先验约束；2)利用大气散射模型合成训练模型所需的HDF5数据格式的图像样本集；3)针对图像去雾，以先验约束为指导，设计端到端的多尺度深度卷积网络，并利用图像样本集，结合多尺度距离损失函数来优化模型的训练过程；4)利用上述训练所获得的多尺度深度卷积网络模型，实现对真实雾化图像的去雾操作。本发明提出了一种简单而有效的先验约束，可通过多尺度深度卷积网络模型，可恢复雾化图像的视觉对比度，增强其图像纹理，实现图像去雾功能。

Description

一种基于深度学习和先验约束的图像去雾系统

技术领域

本发明涉及一种图像处理技术，具体为一种基于深度学习和先验约束的图像去雾系统。

背景技术

日常生活中，受大气中大量悬浮颗粒的影响，致使部分大气光因吸收或者散射而出现雾霾天气。通常雾霾天气会使拍摄到的图像出现模糊、饱和度低甚至图像失真等。由于雾霾天气频发，很大程度上影响了智能设备的图像识别、图像检测和图像跟踪等功能的实施效果。因此，图像去雾技术作为一种挑战性的不适定问题，成为图像处理领域中研究的热点。

在图像去雾研究领域中，根据技术特点主要分为三类：基于辅助信息的去雾方法、基于图像增强理论的去雾方法和基于大气散射模型的去雾方法。第一类基于辅助信息的去雾方法，受当时硬件设备和理论水平的限制，图像去雾往往需要借助辅助信息来实现，比如偏振法去雾和深度图法去雾等。由于基于辅助信息的去雾方法通常需要辅助设备，或者同一场景需要拍摄多张图像才能实现去雾，这在实际环境中实施起来相对困难。第二类基于图像增强理论的去雾方法，受益于图像处理知识水平的不断地提高，克服了第一类去雾方法的缺点，仅采用一张雾化图像即可实现图像去雾效果，其方法主要包括中值滤波法、保持边缘滤波法和快速双边滤波法等。尽管第二类方法可有效地增强图像的视觉对比度，但是在某些场景下图像纹理和色彩会过度增强导致图像失真。第三类基于大气散射模型的去雾方法，具体又可分为基于先验约束/假设条件的方法和基于学习模型的方法。通过对雾化特征的观察或者样本特征的统计，可获得图像去雾的一些先验约束/假设条件，进而对场景深度、大气透射率和大气光值进行预估，并结合大气散射模型实现逆向求解去雾。其中，最具代表性的就是暗通道先验去雾法，虽然去雾效果显著，但该方法不适用于对天空区域或者类似于大气光的场景。而目前，基于学习模型的方法具有更强的非线性拟合能力，能够比较准确地预估出大气透射率，进而可实现有效地图像去雾。由于大气透射率和大气光的预估过程往往会对图像去雾系统带来更多的误差。因此，如何减少过多的中间预估环节，直接实现一种雾化图到去雾图的学习模型成为该领域研究的关键问题。

发明内容

针对现有图像去雾方法中的算法和模型的不足，本发明设计了一种基于深度学习和先验约束的图像去雾系统，通过一种简单而有效的先验约束，并结合深度学习方法实现了对雾化图像视觉对比度的恢复、图像纹理的增强，达到图像去雾的目的。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种基于深度学习和先验约束的图像去雾系统，包括以下步骤：

1)通过对无雾图和合成的雾化图所构成的图像样本进行视觉观察对比与均方误差统计，提出新的图像去雾先验约束；

2)利用大气散射模型合成训练模型所需的HDF5数据格式的图像样本集；

3)针对图像去雾，以先验约束为指导，设计端到端的多尺度深度卷积网络，并利用图像样本集，结合多尺度距离损失函数来优化模型的训练过程；

4)利用上述训练所获得的多尺度深度卷积网络模型，实现对真实雾化图像的去雾操作。

步骤1)中，新的图像去雾的先验约束通过以下方式确定：

将无雾图合成对应的雾化图，分别对无雾图和雾化图的YCrCb颜色空间的各个通道依次进行视觉观察对比和均方误差统计，选择在视觉感官和均方误差上受雾化影响变化最大的Y通道作为雾化区域，其他两个颜色通道Cr和Cb保持不变，通过恢复Y通道上的视觉对比度，以及增强其图像纹理，达到图像去雾的目的。

将无雾图合成对应的雾化图，分别对无雾图和雾化图的YCrCb颜色空间的各个通道依次进行视觉观察对比和均方误差统计，具体为：

视觉观察对比所采用的雾化图是由大气散射模型合成而来，其大气散射模型为：

I(x)＝J(x)t(x)+A(1-t(x))

式中，I为合成的雾化图像；J为清晰的无雾图像；x为像素坐标；t为大气透射率，A为大气光值；

均方误差统计所采用的均方误差公式为：

式中，I为合成的雾化图像，J为清晰的无雾图像，M为图像总像素数量，i为图像的序号，c为YCrCb颜色空间中某个通道图像，为第i张雾化图像中c通道的图像，为第i张无雾图像中c通道的图像；

通过视觉观察对比与均方误差统计，得到雾化区域集中在雾化图的Y通道图像上的结论。

步骤2)中，利用大气散射模型合成训练模型所需的HDF5数据格式的图像样本集为：

利用大气散射模型合成雾化图，并将图像样本从RGB颜色空间转换为YCrCb颜色空间，存储为HDF5的数据格式；

从IMAGENET图像数据库中选取足够数量的无雾图像，并在每张图像上随机、无重复地分割出多张规定像素大小的无雾图块；利用大气散射模型合成对应的雾化图块，将二者构成图像样本集；最后，按照自定义的比例将图像样本集分为训练样本集和测试样本集，以HDF5数据格式进行存储。

其中，无雾图像为不少于200张；多张规定像素大小的无雾图块为至少50张、最小为20×20像素；自定义的比例为9：1。

步骤3)中，端到端的多尺度深度卷积网络，由深层卷积网络和浅层卷积网络两个平行网络构成，其中，深层卷积网络是对Y通道图像内的雾化区域进行识别，增强该区域内高频图像纹理信息；浅层卷积网络是利用YCrCb颜色空间的三个通道进行信息融合，恢复雾化图像中低频信息的视觉对比度；通过将深层卷积网络和浅层卷积网络相融合，实现一种端到端的图像去雾系统。

构建深层卷积网络包括：

1个输入层、2个卷积网络层、1个特征提取区、1个多尺度重构单元和1个输出层，特征提取区由2个特征提取单元构成；其连接顺序依次为输入层→卷积层conv1→特征提取单元1→特征提取单元2→多尺度重构区→卷积层conv5→输出层；

所述特征提取单元1和特征提取单元2均包括4个卷积层，其中，第一个卷积层的输出传递给第二个卷积层的输入，其二者输出通过短连接相叠加，再传给一个由两个1×1卷积核构成的mlpconv层；多尺度重构区采用4个平行卷积网络结构，且每层卷积网络的卷积核大小依次为1×1、1×1/3×1/1×3、1×1/5×1/1×5和1×1/7×1/1×7。

构建浅层卷积网络包括：

1个输入层、3个卷积层和1个输出层；其连接顺序依次为输入层→卷积层conv6→卷积层conv7→卷积层conv8→输出层。

将深层卷积网络和浅层卷积网络融合为一个多尺度深度卷积网络为：

将深层卷积网络的卷积层conv5的输出和浅层卷积网络的卷积层conv8的输出相叠加后传递到输出层；

多尺度深度卷积网络中的所有卷积层之后都接有一个PReLU激活函数，用于增强网络结构的非线性拟合能力；

多尺度深度卷积网络的训练过程中采用的多尺度距离损失函数为：

式中，α、β为权重值，N为图像样本的总数量，分别表示深层卷积网络和浅层卷积网络的模型参数，为预测的Y通道去雾图像，J_Y为真实的Y通道无雾图像，i为图像的序号。

步骤4)中，利用上述训练所获得的多尺度深度卷积网络模型，实现对真实雾化图像的去雾操作，其过程如下：

401)将真实场景的雾化图，从RGB颜色空间转换为YCrCb颜色空间，送入到步骤3)训练所得图像去雾的网络模型输入端；

402)经过该网络模型的处理之后，系统输出端输出恢复后的Y通道图像，并结合原有的颜色通道Cr和Cb，构建成新的YCrCb颜色空间图像；

403)将新获取的图像由YCrCb颜色空间转换到RGB颜色空间，得到图像去雾处理之后的清晰图像。

本发明具有以下有益效果及优点：

1.本发明通过对大量雾化图像样本的特征观察与均方误差的统计，提出了一种简单而有效的先验约束，相比现有先验约束，可保持雾化图像的固有颜色，避免图像恢复过程中颜色过增强，以及过多中间参数预估所带来的误差。

2.本发明相比现有基于学习模型的方法，不仅提供了一种端到端的深度学习模型，而且实现了雾化图像直接转换为去雾图像，整个图像去雾系统的训练过程只需少量训练样本，简单易于实施，适用范围广，去雾效果更为显著。

附图说明

图1为本发明的图像去雾系统流程图；

图2A为本发明中先验约束的视觉观察对比图中的无雾图；

图2B为无雾图的Y通道图像；

图2C为无雾图的Cr通道图像；

图2D为无雾图的Cb通道图像；

图2E为本发明中先验约束的视觉观察对比图中的合成雾化图；

图2F为合成雾化图的Y通道图像；

图2G为合成雾化图的Cr通道图像；

图2H为合成雾化图的Cb通道图像；

图3为本发明中先验约束的均方误差统计图；

图4为本发明中多尺度深度卷积网络结构图；

图5A为本发明的实际去雾效果对比图中的雾化图；

图5B为图5A去雾后的效果图。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

如图1所示，本发明一种基于深度学习和先验约束的图像去雾系统，包括以下步骤：

1)通过对无雾图和合成的雾化图所构成的图像样本进行观察对比与均方误差统计，提出新的图像去雾先验约束；

2)利用大气散射模型合成训练模型所需的HDF5数据格式的图像样本集；

3)针对图像去雾，以先验约束为指导，设计端到端的多尺度深度卷积网络，并利用图像样本集，结合多尺度距离损失函数来优化模型的训练过程；

4)利用上述训练所获得的深度卷积网络模型，实现对真实雾化图像的去雾操作。

步骤1)中，新的图像去雾的先验约束为：

首先，选取1组无雾图和其合成的雾化图为例来说明该先验约束的视觉观察对比。图2A～2H为本发明先验约束的一组视觉对比图，图2E为图2A利用大气散射模型合成的雾化图，其大气散射模型为：

I(x)＝J(x)t(x)+A(1-t(x))

式中，I为合成的雾化图像；J为清晰的无雾图像；x为像素坐标；t为大气透射率，取值为(0.1,1)范围内的随机值；A为大气光值，取值为[0.8,1]范围内的随机值；

将图2A和图2E构成一组样本图，并分别对该组样本图的各个通道图像进行视觉观察对比。

其中，图2B和图2F为该组样本图的Y通道对比图，图2F的视觉对比清晰度明显降低，利用均方误差(MSE)公式：

式中，I为合成的雾化图像，J为清晰的无雾图像，M为图像总像素数量，i为图像的序号，c为YCrCb颜色空间中某个通道图像，为第i张雾化图像中c通道的图像，为第i张无雾图像中c通道的图像；

可得图2B和图2F的均方误差为6.51×10^-2。另外，图2C与图2G、图2D与图2H分别为该组样本图Cr、Cb通道的对比图，视觉对比度变化较小，其均方误差分别为0.23×10^-2、0.08×10^-2。通过视觉观察对比与均方误差统计，初步发现雾化区域主要集中在雾化图的Y通道图像上，其他两个颜色通道受雾化影响甚微。

其次，为了进一步更客观地证实和确立所发现的先验约束，本实施例随机选取了100张无雾图，合成了对应的雾化图，构成100组样本图。之后，对每组样本图像进行了均方误差统计，如图3所示。不难发现，Y通道的均方误差变化最为明显，其他两个颜色通道Cr、Cb的均方误差变化甚微。对此，更进一步证明了本发明所提出的先验约束。

最后，通过视觉观察对比和均方误差统计两个实验的验证，确立了所提出的先验约束：雾化区域集中在雾化图像的Y通道上，其他两个颜色通道受雾化影响甚微。因此，本发明的主要技术手段是在保证雾化图像两个颜色通道Cr、Cb图不变的情况下，通过恢复Y通道图来实现图像去雾处理。

步骤2)中，合成训练模型所需的图像样本集为：

从IMAGENET图像数据库中选取200张无雾图像，在每张图像上随机、无重复地分割出50张20×20像素大小的无雾图块，并利用步骤1)中大气散射模型合成对应的雾化图块；然后，将这两部分图块由RGB颜色空间转换为YCrCb颜色空间，构成训练模型所需的图像样本集；最后，按照9：1的比例将图像样本集分为训练样本集和测试样本集，以HDF5数据格式进行存储使用。

步骤3)针对图像去雾，以步骤1)中的先验约束为指导，设计了一种端到端的多尺度深度卷积网，并结合更为复杂的多尺度距离的损失函数来优化模型训练过程。

如图4所示，本发明所述的多尺度深度卷积网络主要由深层卷积网络和浅层卷积网络两个平行网络构成；其中，深层卷积网络是对Y通道图像内的雾化区域进行识别，并恢复该区域内高频图像纹理信息；而浅层卷积网络是利用YCrCb颜色空间的三个通道进行信息融合，恢复雾化图像中低频信息的视觉对比度；通过将这两个平行卷积网络相融合实现了一种端到端的图像去雾系统。

其中，图像去雾系统的深度卷积网络的具体参数见图4，具体训练过程如下：

A)构建深层卷积网络，包括1个输入层、2个卷积网络层、1个特征提取区、1个多尺度重构单元和1个输出层，特征提取区由2个特征提取单元构成；其连接顺序依次为输入层→卷积层conv1→特征提取单元1→特征提取单元2→多尺度重构区→卷积层conv5→输出层；

其中，特征提取单元1和特征提取单元2均包括4个卷积层，其中，第一个卷积层的输出传递给第二个卷积层的输入，二者输出通过短连接相叠加，再传给一个由两个1×1卷积核构成的mlpconv层(多层感知器网络层)；多尺度重构区采用4个平行卷积网络结构，且每层卷积网络的卷积核大小依次为1×1、1×1/3×1/1×3、1×1/5×1/1×5和1×1/7×1/1×7。

B)构建浅层卷积网络，包括1个输入层、3个卷积层和1个输出层；其连接顺序依次为输入层→卷积层conv6→卷积层conv7→卷积层conv8→输出层；

C)将深层卷积网络和浅层卷积网络融合为一个多尺度深度卷积网络，其中，将深层卷积网络的卷积层conv5的输出和浅层卷积网络的卷积层conv8的输出相叠加传递给输出层；此外，多尺度深度卷积网络中的所有卷积层之后都接有一个PReLU激活函数，用于增强网络结构的非线性拟合能力。

D)多尺度深度卷积网络的训练过程中采用的多尺度距离损失函数为：

式中，α、β为权重值，N为图像样本的总数量，分别表示深层卷积网络和浅层卷积网络的模型参数，为预测的Y通道去雾图像，J_Y为真实的Y通道无雾图像，i为图像的序号。

步骤4)利用步骤3)所获得多尺度深度卷积网络模型，实现对真实的雾化图像去雾过程如下：

401)图5A作为真实场景的雾化图，将其从RGB颜色空间转换为YCrCb颜色空间，送入到步骤3)训练所得图像去雾的网络模型的输入端；

402)经过该网络模型的处理之后，系统输出端输出恢复后的Y通道图像，并结合原有的颜色通道Cr和Cb，构建成新的YCrCb颜色空间图像；

403)将新获取的图像由YCrCb颜色空间转换到RGB颜色空间，得到图像去雾处理之后的清晰图像，如图5B所示。

本发明是基于深度学习和先验约束的图像去雾系统，实现对真实场景中雾化图像的去雾处理。通过对图像样本的视觉观察对比与均方误差统计，提出了一种新的图像去雾先验约束；利用大气散射模型合成HDF5数据格式的图像样本集；设计一种端到端的多尺度深度卷积网，并采用多尺度距离的损失函数来优化模型训练过程；利用图像去雾系统对真实场景中雾化图像进行去雾处理。

本发明所述的图像去雾系统，实现了将雾化图像由输入端直接转换到输出端，恢复了其视觉对比度，增强了其图像纹理信息，避免了颜色恢复过增强，以及过多的中间参数预估所带来的误差，达到高效的去雾效果。

Claims (10)

1.一种基于深度学习和先验约束的图像去雾系统，其特征在于包括以下步骤：

1)通过对无雾图和合成的雾化图所构成的图像样本进行视觉观察对比与均方误差统计，提出新的图像去雾先验约束；

2)利用大气散射模型合成训练模型所需的HDF5数据格式的图像样本集；

3)针对图像去雾，以先验约束为指导，设计端到端的多尺度深度卷积网络，并利用图像样本集，结合多尺度距离损失函数来优化模型的训练过程；

4)利用上述训练所获得的多尺度深度卷积网络模型，实现对真实雾化图像的去雾操作。

2.按权利要求1所述的基于深度学习和先验约束的图像去雾系统，其特征在于：

步骤1)中，新的图像去雾的先验约束通过以下方式确定：

将无雾图合成对应的雾化图，分别对无雾图和雾化图的YCrCb颜色空间的各个通道依次进行视觉观察对比和均方误差统计，选择在视觉感官和均方误差上受雾化影响变化最大的Y通道作为雾化区域，其他两个颜色通道Cr和Cb保持不变，通过恢复Y通道上的视觉对比度，以及增强其图像纹理，达到图像去雾的目的。

3.按权利要求2所述的基于深度学习和先验约束的图像去雾系统，其特征在于：将无雾图合成对应的雾化图，分别对无雾图和雾化图的YCrCb颜色空间的各个通道依次进行视觉观察对比和均方误差统计，具体为：

视觉观察对比所采用的雾化图是由大气散射模型合成而来，其大气散射模型为：

I(x)＝J(x)t(x)+A(1-t(x))

式中，I为合成的雾化图像；J为清晰的无雾图像；x为像素坐标；t为大气透射率，A为大气光值；

均方误差统计所采用的均方误差公式为：

式中，I为合成的雾化图像，J为清晰的无雾图像，M为图像总像素数量，i为图像的序号，c为YCrCb颜色空间中某个通道图像，为第i张雾化图像中c通道的图像，为第i张无雾图像中c通道的图像；

通过视觉观察对比与均方误差统计，得到雾化区域集中在雾化图的Y通道图像上的结论。

4.按权利要求1所述的基于深度学习和先验约束的图像去雾系统，其特征在于：

步骤2)中，利用大气散射模型合成训练模型所需的HDF5数据格式的图像样本集为：

利用大气散射模型合成雾化图，并将图像样本从RGB颜色空间转换为YCrCb颜色空间，存储为HDF5的数据格式；

从IMAGENET图像数据库中选取足够数量的无雾图像，并在每张图像上随机、无重复地分割出多张规定像素大小的无雾图块；利用大气散射模型合成对应的雾化图块，将二者构成图像样本集；最后，按照自定义的比例将图像样本集分为训练样本集和测试样本集，以HDF5数据格式进行存储。

5.按权利要求4所述的基于深度学习和先验约束的图像去雾系统，其特征在于：无雾图像为不少于200张；多张规定像素大小的无雾图块为至少50张、最小为20×20像素；自定义的比例为9：1。

6.按权利要求1所述的基于深度学习和先验约束的图像去雾系统，其特征在于：

步骤3)中，端到端的多尺度深度卷积网络，由深层卷积网络和浅层卷积网络两个平行网络构成，其中，深层卷积网络是对Y通道图像内的雾化区域进行识别，增强该区域内高频图像纹理信息；浅层卷积网络是利用YCrCb颜色空间的三个通道进行信息融合，恢复雾化图像中低频信息的视觉对比度；通过将深层卷积网络和浅层卷积网络相融合，实现一种端到端的图像去雾系统。

7.按权利要求6所述的基于深度学习和先验约束的图像去雾系统，其特征在于：

构建深层卷积网络包括：

1个输入层、2个卷积网络层、1个特征提取区、1个多尺度重构单元和1个输出层，特征提取区由2个特征提取单元构成；其连接顺序依次为输入层→卷积层conv1→特征提取单元1→特征提取单元2→多尺度重构区→卷积层conv5→输出层；

所述特征提取单元1和特征提取单元2均包括4个卷积层，其中，第一个卷积层的输出传递给第二个卷积层的输入，其二者输出通过短连接相叠加，再传给一个由两个1×1卷积核构成的mlpconv层；多尺度重构区采用4个平行卷积网络结构，且每层卷积网络的卷积核大小依次为1×1、1×1/3×1/1×3、1×1/5×1/1×5和1×1/7×1/1×7。

8.按权利要求6所述的基于深度学习和先验约束的图像去雾系统，其特征在于：

构建浅层卷积网络包括：

1个输入层、3个卷积层和1个输出层；其连接顺序依次为输入层→卷积层conv6→卷积层conv7→卷积层conv8→输出层。

9.按权利要求6所述的基于深度学习和先验约束的图像去雾系统，其特征在于：

将深层卷积网络和浅层卷积网络融合为一个多尺度深度卷积网络为：

将深层卷积网络的卷积层conv5的输出和浅层卷积网络的卷积层conv8的输出相叠加后传递到输出层；

多尺度深度卷积网络中的所有卷积层之后都接有一个PReLU激活函数，用于增强网络结构的非线性拟合能力；

多尺度深度卷积网络的训练过程中采用的多尺度距离损失函数为：

式中，α、β为权重值，N为图像样本的总数量，分别表示深层卷积网络和浅层卷积网络的模型参数，为预测的Y通道去雾图像，J_Y为真实的Y通道无雾图像，i为图像的序号。

10.按权利要求1所述的基于深度学习和先验约束的图像去雾系统，其特征在于：

步骤4)中，利用上述训练所获得的多尺度深度卷积网络模型，实现对真实雾化图像的去雾操作，其过程如下：

401)将真实场景的雾化图，从RGB颜色空间转换为YCrCb颜色空间，送入到步骤3)训练所得图像去雾的网络模型输入端；

402)经过该网络模型的处理之后，系统输出端输出恢复后的Y通道图像，并结合原有的颜色通道Cr和Cb，构建成新的YCrCb颜色空间图像；

403)将新获取的图像由YCrCb颜色空间转换到RGB颜色空间，得到图像去雾处理之后的清晰图像。