CN104504658A - 基于bp神经网络的单一图像去雾方法及装置 - Google Patents

Abstract

本发明提供一种基于BP神经网络的单一图像去雾方法及装置，该方法包括以下步骤：获取无雾图像信息并计算得到对应的有雾图像；结合有雾图像像素点的RGB值作为输入以及有雾图像像素点的场景深度作为输出，构造BP神经网络模型并生成训练后的BP神经网络模型中有雾图像像素值和深度值之间的映射关系；根据该映射关系，将待去雾的有雾图像输入训练后的BP神经网络模型，计算得到待去雾的有雾图像对应的深度图；根据该深度图计算得到去雾后的无雾图像。通过本发明能够有效提高图像中的天空区域和白色物体区域的去雾效果，获得更为清晰的去雾图像。

Description

基于BP神经网络的单一图像去雾方法及装置

技术领域

本发明涉及计算机视觉领域，特别是涉及一种基于BP神经网络的单一图像去雾方法及装置。

背景技术

在雾、霾等恶劣的天气条件下，大气中存在着较多的水滴或尘粒，致使光在大气中传播的过程当中被吸收或发生散射，因此照射在物体表面的光线反射后，其能量不断衰减。此外，环境光在粒子散射的作用下将会形成空气光。在这种情况下，成像设备在吸收衰减后的反射光的同时，也吸收了大量的空气光。在衰减和大气光的共同作用下，户外拍摄所得的图像往往模糊不清，对比度较低，且图像的观赏性丧失。遥感分析、航空摄影、视频监控等多个领域依赖于户外图像的视觉系统性能急剧下降，甚至无法正常运作。因此，对雾天降质图像进行清晰化处理具有极其重要的意义。

目前，基于大气物理模型的去雾方法是单一有雾图像去雾处理的主流方法，根据大气散射模型以及特定的先验信息，对有雾图像中的景物进行复原，其中暗原色先验去雾方法是最为流形的方法。

虽然这种方法在大多数情况下能够取得较为理想的去雾效果，但是由于图像中的天空区域和白色物体区域不存在暗原色先验，实际上对于图像中的大片天空区域，以及比窗口尺寸更大的大块白色区域，复原后的图像像素值明显偏低，严重降低了去雾效果，因此不适用于存在大块天空区域或大块白色区域的户外有雾图像。

BP神经网络(Back Propagation Neural Network)是指基于误差反向传播方法的多层前向神经网络，BP神经网络具有良好的非线性函数逼近能力，能够提高计算精度。BP神经网络的误差反向传播方法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变换能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐含层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望不符时，进入误差的反向传播过程，误差通过输出层，按误差梯度下降的方式修正各层权值，向隐含层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程。此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。

BP神经网络具有以下优点：能够以任意精度逼近任何非线性映射，实现对复杂系统建模；可以学习和自适应未知信息，如果系统发生了变化可以通过修改网络的联结值而改变预测效果；分布式信息存储与处理结构，具有一定的容错性，因此构造出来的系统具有较好的鲁棒性；多输入多输出的模型结构，适合处理复杂问题。如果能够将BP神经网络应用在有雾图像处理领域，必将能够提高对有雾图像的去雾效果。

发明内容

本发明的目的是提供一种基于BP神经网络的单一图像去雾方法，用以提高对有雾图像的去雾效果。

本发明的技术方案是提供一种基于BP神经网络的单一图像去雾方法，具体包括以下步骤：

获取多个无雾图像信息并计算得到对应的有雾图像；

结合这些有雾图像的RGB值作为输入以及这些有雾图像的场景深度作为输出，构造BP神经网络模型并在训练后的BP神经网络模型中建立有雾图像及其场景深度之间的映射关系；

根据这个映射关系，利用这个训练后的BP神经网络模型将一待去雾的有雾图像作为输入，计算得到待去雾的有雾图像的场景深度；

根据待去雾的有雾图像的场景深度计算得到去雾后的无雾图像。

本发明还提供一种基于BP神经网络的单一图像去雾装置，包括：

图像采集模块，用于获取多个无雾图像信息并计算得到对应的有雾图像；

神经网络计算模块，与所述图像采集模块连接，用于结合所述有雾图像的RGB值作为输入以及所述有雾图像的场景深度作为输出，构造BP神经网络模型并在训练后的BP神经网络模型中建立有雾图像及其场景深度之间的映射关系；

图像计算模块，与所述神经网络计算模块连接；根据所述映射关系，利用所述训练后的BP神经网络模型将一待去雾的有雾图像作为输入，计算得到所述待去雾的有雾图像的场景深度；

图像输出模块，与所述图像计算模块连接，用于根据所述待去雾的有雾图像的所述场景深度计算得到去雾后的无雾图像。

通过本发明能够有效对雾天降质图像进行清晰化处理提供啊图像的质量，增加了图像的观赏性，同时有利于诸如图像识别、自动标注等高层次的图像处理。因此，对雾天图像清晰化方法的研究具有重大的现实意义。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1所示为本发明实施例单一图像去雾方法的流程示意图。

图2所示为本发明实施例单一图像去雾方法的BP神经网络示意图。

图3所示为本发明实施例单一图像去雾方法的BP神经网络的训练流程图。

图4所示为本发明实施例单一图像去雾方法的使用BP神经网络去雾流程图。

图5所示为本发明实施例单一图像去雾装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

BP神经网络(Back Propagation Neural Network)是一种多层前馈网络，通过使用梯度下降的学习方法，它可以存储大量的输入输出模式的映射关系。由于大气散射模型被广泛应用于去雾技术，如果能够将BP神经网络应用在有雾图像处理领域，必将能够提高对有雾图像的去雾效果。

该大气散射模型可表示为：

I(x)＝J(x)t(x)+A[1-t(x)]  (1)

t(x)＝e^-βd(x)  (2)

其中，

I(x)表示有雾图像的强度值，

J(x)表示对应的无雾条件下的场景光照度，

A为大气光照度，

t(x)表示场景光的透射率，

β为大气散射系数，

d(x)表示场景深度。

由于I(x)可以通过数字成像设备和软件获得，所以本发明为了达到对有雾图像进行去雾处理的目的就是要求出A和t(x)，然后通过式(1)求出J(x)，即去雾后的无雾图像

图1所示为一种基于BP神经网络的单一图像去雾方法的流程示意图，具体步骤包括如下：

S101：获取多个无雾图像信息并计算得到对应的有雾图像；

S102：结合这些有雾图像的RGB值作为输入以及这些有雾图像的场景深度作为输出，构造BP神经网络模型并在训练后的BP神经网络模型中建立有雾图像及其场景深度之间的映射关系；

S103：根据这个映射关系，利用这个训练后的BP神经网络模型将一待去雾的有雾图像作为输入，计算得到待去雾的有雾图像的场景深度；

S104：根据待去雾的有雾图像的场景深度计算得到去雾后的无雾图像。

在本发明一实施例中，所述训练后的BP神经网络模型中建立有雾图像及其场景深度之间的映射关系具体包括：设定误差阈值、期望值和训练次数，以训练样本集作为所述BP神经网络的输入，当输出的所述有雾图像的场景深度与所述期望值之间的误差小于设定的所述误差阈值或达到所述训练次数，由此建立完成所述映射关系。

在本发明一实施例中，通过所述无雾图像计算获得所述无雾图像的随机深度图，再利用大气散射模型计算生成所述有雾图像，由所述无雾图像、所述随机深度图和生成的所述有雾图像组成所述训练样本集。

在本发明一实施例中，所述根据所述待去雾的有雾图像的场景深度计算得到去雾后的无雾图像具体步骤为：根据所述待去雾的有雾图像的所述场景深度计算大气光照度，并且利用大气散射模型计算得到去雾后的无雾图像。

通过本发明能够有效对雾天降质图像进行清晰化处理提供啊图像的质量，增加了图像的观赏性，同时有利于诸如图像识别、自动标注等高层次的图像处理。因此，对雾天图像清晰化方法的研究具有重大的现实意义。

下面结合一个具体的实施例对本发明进行具体描述，然而值得注意的是该具体实施例仅是为了更好地描述本发明，并不构成对本发明的不当限定。

构建BP神经网络

步骤1：建立一个具有1个输入层、2个隐含层和1个输出层的BP神经网络，该网络的结构如图2所示。输入层有3个人工神经元，隐含层1和隐含层2均有20个人工神经元，输出层有1个人工神经元，神经元之间的连线表示连接权值。

步骤2：设x1,、x2和x3分别表示输入层中3个神经元的输入，W_ij表示输入层中任意结点i到隐含层1中任意结点j的连接权值，W_jh表示隐含层1中任意结点j到隐含层2中任意结点h的连接权值，W_hk表示隐含层2中任意结点h到输出层中任意结点k的连接权值，则输入层任意结点i的输出：

O_i＝f(x_i+θ_i)，

其中，θ_i为结点i的偏置量，f(x)为激活函数。

一般可用S型函数f(x)＝1/(1-ex)作为激活函数。

隐含层1任意结点j的输出O_j＝f(Σ_i∈IO_iW_ij+θ_j)，

其中，I表示输入层的结点数目，θj为结点j的偏置量。

类似地，隐含层2任意结点h的输出O_h＝f(Σ_j∈JO_jW_jh+θ_h)，其中，J表示隐含层1的结点数目，θ_h为结点h的偏置量。

输出层任意结点k的输出O_k＝f(Σ_h∈HO_hW_hk+θ_k)，其中，H表示隐含层2的结点数目，θ_k为结点k的偏置量。

通过上述方法就可以构建如图2所示的BP神经网络模型。

生成训练样本集

步骤3：通过(1)式生成一个随机向量(k,k,k)作为大气光照度A，其中k为一个(0.85,1]的随机数。

步骤4：输入大量无雾的户外图像J(x)，并生成对应的随机深度图d(x)，而每幅深度图d(x)中的像素值均为随机数，其取值范围为[0,255]。

步骤5：生成BP神经网络的训练样本集。具体方法是：设大气散射系数β为1，根据大气光照度A、无雾图像J(x)、随机深度图d(x)，通过大气散射模型的(1)式和(2)中，可以计算生成有雾图像I(x)。由无雾图像J(x)、随机深度图d(x)和生成的有雾图像I(x)共同组成了BP神经网络的训练样本集。

训练BP神经网络

图3所示为本发明实施例单一图像去雾方法的BP神经网络的训练流程图。

步骤6(S301)：设上述训练样本集中的训练样本对的数量为n，令r_i、g_i、b_i分别为第i对训练样本中有雾图像的3个RGB分量，d_i为第i对训练样本中的深度图，r_ij、g_ij、b_ij分别表示r_i、g_i、b_i中第j个像素点的值，d_ij表示d_i中第j个像素点的值。

步骤7(S302)：初始化目标迭代次数t，当前迭代次数c(初始值为0)，学习效率η和学习误差e，并令i＝1。

步骤8(S303)：令j＝1，m_i为d_ij的总像素数，重复执行如下操作直到j>m：以r_ij、g_ij、b_ij作为BP神经网络的输入值，

计算误差：E_j＝Σ_k∈K(O_k-d_ij)，其中，K为BP网络输出层中神经元的数目，令j+1赋值给j。

步骤9(S304)：计算E_i＝Σ_{j＝(1,2,…mi)}E_j，令i+1赋值给i，如果i<n，跳到步骤8。

步骤10(S305)：计算E＝(Σ_{j＝(1,2,…,n)}E_i)/(Σ_{i＝(1,2,…,n)}m_i)，令c+1赋值给c，

如果满足E>e或c<t任一条件，将 和分别赋值给W_ij、W_jh和W_hk，令 和分别赋值给θ_i、θ_j、θ_h和θ_k。令i＝1，跳到步骤8。否则，继续，此时即获得了训练后的BP神经网络。

利用BP神经网络对单一图像进行去雾处理

图4所示为本发明实施例单一图像去雾方法的使用BP神经网络去雾流程图。

步骤11(S401)：提供一幅待去雾的有雾图像，设该待去雾的有雾图像的总像素数为n，RGB分量分别为r_i,g_i,b_i，令r_ij、g_ij、b_ij分别表示r_i、g_i、b_i中第j个像素点的值。用d_i表示该有雾图像所对应的深度图，d_ij表示di中第j个像素点的值。令j＝1，执行下列步骤估计深度图d_i。

步骤12(S402)：以r_ij、g_ij、b_ij作为BP网络的输入，计算网络的输出d_ij，令j+1赋值给j，如果j≤n，重复本步骤。

步骤13(S403)：估计大气光照度A。具体方法是：先找出复原后的深度图中亮度最大的0.1％像素所在的图像区域，再找出原有雾图像中对应该区域里亮度最高的像素点，并以该像素RGB三通道的值作为向量A的三通道值。

步骤14(S404)：设大气散射系数β的值为1，根据(1)式和(2)式，计算出J(x)，即要复原的无雾图像。

图5所示为本发明实施例单一图像去雾装置的结构示意图。

本发明还提供一种基于BP神经网络的单一图像去雾装置，包括：

图像采集模块501，用于获取多个无雾图像信息并计算得到对应的有雾图像；

神经网络计算模块502，与所述图像采集模块501连接，用于结合所述有雾图像的RGB值作为输入以及所述有雾图像的场景深度作为输出，构造BP神经网络模型并在训练后的BP神经网络模型中建立有雾图像及其场景深度之间的映射关系；

图像计算模块503，与所述神经网络计算模块502连接，根据所述映射关系，利用所述训练后的BP神经网络模型将一待去雾的有雾图像作为输入，计算得到所述待去雾的有雾图像的场景深度；

图像输出模块54，与所述图像计算模块503连接，用于根据所述待去雾的有雾图像的所述场景深度计算得到去雾后的无雾图像。

在本发明一实施例中，所述神经网络计算模块还包括：设定误差阈值、期望值和训练次数，以训练样本集作为所述BP神经网络的输入，当输出的所述有雾图像的场景深度与所述期望值之间的误差小于设定的所述误差阈值或达到所述训练次数，由此建立完成所述映射关系。

在本发明一实施例中，所述图像计算模块还包括：通过所述无雾图像计算获得所述无雾图像的随机深度图，再利用大气散射模型计算生成所述有雾图像，由所述无雾图像、所述随机深度图和生成的所述有雾图像组成所述训练样本集。

在本发明一实施例中，所述图像输出模块还包括：根据所述待去雾的有雾图像的所述场景深度计算大气光照度，并且利用大气散射模型计算得到去雾后的无雾图像。

通过上述实施例可知，基于BP神经网络的单一图像去雾方法是一种基于像素级的去雾处理方法，该方法能很好地处理存在大块天空区域和大块白色区域的图像，对绝大多数户外有雾图像能够取得理想的去雾效果，去雾后的图像不存在过饱和及块效应的问题并且图像中景物逼真自然，贴近真实的场景。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于BP神经网络的单一图像去雾方法，其特征在于，具体包括以下步骤：

获取多个无雾图像信息并计算得到对应的有雾图像；

结合所述有雾图像的RGB值作为输入以及所述有雾图像的场景深度作为输出，构造BP神经网络模型并在训练后的BP神经网络模型中建立有雾图像及其场景深度之间的映射关系；

根据所述映射关系，利用所述训练后的BP神经网络模型将一待去雾的有雾图像作为输入，计算得到所述待去雾的有雾图像的场景深度；

根据所述待去雾的有雾图像的所述场景深度计算得到去雾后的无雾图像。

2.根据权利要求1所述的单一图像去雾方法，其特征在于，所述训练后的BP神经网络模型中建立有雾图像及其场景深度之间的映射关系具体包括：设定误差阈值、期望值和训练次数，以训练样本集作为所述BP神经网络的输入，当输出的所述有雾图像的场景深度与所述期望值之间的误差小于设定的所述误差阈值或达到所述训练次数，由此建立完成所述映射关系。

3.根据权利要求2所述的单一图像去雾方法，其特征在于，通过所述无雾图像计算获得所述无雾图像的随机深度图，再利用大气散射模型计算生成所述有雾图像，由所述无雾图像、所述随机深度图和生成的所述有雾图像组成所述训练样本集。

4.根据权利要求1所述的单一图像去雾方法，其特征在于，所述根据所述待去雾的有雾图像的场景深度计算得到去雾后的无雾图像具体步骤为：根据所述待去雾的有雾图像的所述场景深度计算大气光照度，并且利用大气散射模型计算得到去雾后的无雾图像。

5.一种基于BP神经网络的单一图像去雾装置，其特征在于，包括：

图像采集模块，用于获取多个无雾图像信息并计算得到对应的有雾图像；

神经网络计算模块，与所述图像采集模块连接，用于结合所述有雾图像的RGB值作为输入以及所述有雾图像的场景深度作为输出，构造BP神经网络模型并在训练后的BP神经网络模型中建立有雾图像及其场景深度之间的映射关系；

图像计算模块，与所述神经网络计算模块连接；根据所述映射关系，利用所述训练后的BP神经网络模型将一待去雾的有雾图像作为输入，计算得到所述待去雾的有雾图像的场景深度；

图像输出模块，与所述图像计算模块连接，用于根据所述待去雾的有雾图像的所述场景深度计算得到去雾后的无雾图像。

6.根据权利要求5所述的单一图像去雾装置，其特征在于，所述神经网络计算模块还包括：设定误差阈值、期望值和训练次数，以训练样本集作为所述BP神经网络的输入，当输出的所述有雾图像的场景深度与所述期望值之间的误差小于设定的所述误差阈值或达到所述训练次数，由此建立完成所述映射关系。

7.根据权利要求6所述的单一图像去雾装置，其特征在于，所述图像计算模块还包括：通过所述无雾图像计算获得所述无雾图像的随机深度图，再利用大气散射模型计算生成所述有雾图像，由所述无雾图像、所述随机深度图和生成的所述有雾图像组成所述训练样本集。

8.根据权利要求5所述的单一图像去雾装置，其特征在于，所述图像输出模块还包括：根据所述待去雾的有雾图像的所述场景深度计算大气光照度，并且利用大气散射模型计算得到去雾后的无雾图像。