CN102231791B - 一种基于图像亮度分层的视频图像去雾方法 - Google Patents

Abstract

本发明涉及一种基于图像亮度分层的视频图像去雾方法，其特征在于，该方法基于Open MP技术，将自适应retinex图像去雾方法和基于暗色通道先验的去雾方法结合来实时处理图像；首先采用聚类方法对图像亮度分层，得到高亮度图像类和低亮度图像类；并对每类图像进行分块；对高亮度图像类中的每个块用自适应retinex图像去雾方法进行处理；对低亮度图像类中的每个块用基于暗色通道先验的去雾方法进行处理；对去雾处理后的结果图分别通过对灰度范围整体归一化处理；将图像融合后的结果进行Open MP并行化处理后输出；至此，基于图像亮度分层的视频图像实时去雾完成。

Description

一种基于图像亮度分层的视频图像去雾方法

技术领域

本发明涉及视频图像处理，特别涉及一种基于图像亮度分层的视频图像去雾方法。 

背景技术

雾天图像处理的方法主要分为两大类：图像增强和图像复原。图像增强的方法是一种通用的方法，并不需要考虑雾的形成原理，这种方法与其它的增强方法同属一类，主要是为了提高图像的对比度，突出图像的细节。因此，这种方法较为鲁棒但专门针对雾天图像难以达到最好的增强效果。另一种方法是根据雾天图像退化的模型，模拟建立相应的模型进行反演，补偿退化过程造成的图像失真以及细节丢失。这种方法的针对行较强，图像处理的效果也符合人的视觉感官。以下主要根据这两条主线来分析各种研究方法的利弊。 

2、基于图像处理的雾天图像增强 

基于全局的图像增强方法，主要是指在对图像的灰度调整时依据整幅图像的统计信息。当雾较小或者图像场景简单的时候，该方法能够取得一定的成效。但是一般场景图像中场景比较复杂，深度信息也较多，一般全局化得处理方法不能够满足实际需求。该类方法主要有全局直方图均衡化方法、同态滤波方法、小波滤波方法、retinex方法、曲波变换方法、基于大气调制传递函数的方法。 

局部图像增强方法是相对全局图像增强而言，图像像素只跟其周围的像素的相关性较大，根据ROI图像区域的特性来估计变换或者传递函数并将估计的结果用于局部的图像增强，往往能够得到比全局方法更好的增强效果。该类方法主要有局部直方图均衡方法，局部对比度增强方法、基于局部方差的增强方法。 

2、基于物理模型的雾天图像复原 

一般对场景深度变化较大的图像，经过图像恢复后，部分图像区域的对比度仍然比较低，一般不能够满足实际需求。这种情况下，采用偏微分方程能够在一定程度上对图像的色彩清晰度和对比度有较好的提高。另外，场景深度信息也是雾天图像中一种有用的信息，根据场景深度的信息，对雾天场景的光学成像建立模型，借助晴天和雾天的图像作参考，确定图像中各点的深度比关系，该类方法适用于薄雾图像，而对于大雾的图像则难以满足处理要求。还有一类物理模型方法为基于先验信息的雾天图像复原方法。这类方法主要依据为这样一个事实，经过统计发现无雾图像相对于有雾的图像必定具有较高的对比度。通过利用最大化复原图像的局部对比度来达到去雾的目的。经过处理后的图像一般颜色过于饱和。后来，研究者提出了基于暗原色的先验的图像去雾技术，该方法建立在统计大量的不受雾气影响的图像，得到暗原色的统计规律。该方法在目标亮度与大气的光相似时，暗原色先验信息将失效。 

通过上述对各类方法的优缺点的分析可知，这些方法尽管在解决问题的思路上存在着本 质的区别，但是各有各的优缺点。 

发明内容

本发明的目的在于，为解决上述问题，本发明提出一种基于图像亮度分层的视频图像去雾方法，具有鲁棒性的去雾往往需要融合互补性较大的方法，来适应不同的场景图像。 

为实现上述发明目的，本发明提出一种基于图像亮度分层的视频图像去雾方法，其特征在于，该方法基于Open MP技术，将自适应retinex图像去雾方法和基于暗色通道先验的去雾方法结合来实时处理图像；该方法的具体步骤包括： 

步骤1）：采用聚类方法对图像亮度分层，得到高亮度图像类和低亮度图像类；并对每类图像进行分块； 

步骤2）：对高亮度图像类中的每个块用自适应retinex图像去雾方法进行处理；对低亮度图像类中的每个块用基于暗色通道先验的去雾方法进行处理； 

步骤3）：对所述步骤2）去雾处理后的结果图分别通过对灰度范围整体归一化处理； 

步骤4）：将所述步骤3）获得的结果进行Open MP并行化处理后输出；至此，基于图像亮度分层的视频图像实时去雾完成。 

所述步骤2）中基于暗色通道先验的去雾方法的具体步骤包括： 

步骤21）：选择暗影通道图像中亮度值超过所占图像的0.1%的像素，在这些像素中选出亮度值最大的像素的全局环境光A^C的估计； 

步骤22）：利用所述步骤21）获得的亮度值最大的像素的全局环境光A^C按照式（1）计算获得透射率t(x)； 

$\tilde{t}\left(x\right)=1-\mathrm{\ω}\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)\right)---\left(1\right)$

其中，0＜ω≤1；Ω(x)为图像块x的的一个局部块； 

步骤23）：利用所述步骤22）获得的透射率t(x)按照式（2）去雾处理； 

$J\left(x\right)=\frac{I\left(x\right)-A}{\max (t\left(x\right),t_0)}+A---\left(2\right)$

其中，I(X)＝J(x)t(x)+A(1-t(x))，I(x)为雾天情况下传感器实际接收到的图像，A(1-t(x))为环境光，A为全局环境光，t0=0.1。 

本发明的优点在于，提出了一种自适应retinex算法与基于暗原色先验相结合的视频图像去雾算法，其中retinex算法为自适应的retinex算法。通过对高清图像的亮度进行区域划分，分 成亮度较高的图像子块和亮度较低的亮度子块；针对亮度较高的区域采用自适应retinex算法进行增强；对亮度较低的图像采用基于暗原色先验的图像去雾方法。这样既能够最大化的发挥retinex算法在高照度图像去雾方面的优点，又能避免基于暗原色先验在低照度上的优越性，避免遇到高亮度图像时算法的局限性。 

附图说明

图1为本发明的一种基于图像亮度分层的视频图像去雾方法工作流程图。 

具体实施方式

下面结合附图和具体实施方式，对本发明的技术方案进行进一步详细的说明。 

高清视频去雾系统是一个智能图像增强系统.除了具备实时处理高清图像处理的性能外,将retinex图像去雾方法和基于暗色通道先验的去雾方法(dark mark channel prior)结合起来.形成鲁棒的图像去雾方法。整个系统主要包含图像亮度分层、基于retinex的图像去雾和基于暗色通道的去雾三部分。 

这三个部分完整的组成了智能视频图像去雾处理的运行环境，结合visual studio建立完善的操作界面。用户可以方便灵活的使用，开发，维护，升级自己的特定环境下图像增强的算法。 

如图1所示，图1为本发明的一种基于图像亮度分层的视频图像去雾方法工作流程图。1）图像亮度分层 

图像亮度分层的目的在于，将图像分成不同亮度的图像层次，根据算法的适应性对算法和图像的亮度进行协调，期望达到最优的去雾效果。由于retinex算法能够适用较大的亮度变化，具有较高的对比度增强效果，而图像亮度较高时，基于暗原色先验的方法将失效，因此，根据亮度的不同将图像分块，对不同亮度的图像块采用不同的方法。具体为图像亮度较高时，采用retinex方法；图像亮度较低时，采用基于暗原色的方法。图像亮度分层采用聚类的方法将图像聚为两个类，对每个类内的图像进行分块。 

2）基于retinex图像去雾 

Retinex图像去雾算法是一种光照补偿的图像增强算法，其关键在于对反射分量的估计，提出的各种方法力求在对比度增强效果、抑制噪声、计算效率等方面进行平衡，以达到最佳视觉效果。 

3）基于暗色通道先验的图像去雾方法 

3.1大气散射模型 

在计算机视觉和计算机图像学领域，雾天的大气散射模型通常如下表示： 

I(x)＝J(x)t(x)+A(1-t(x))(1-1) 

第一项为直接衰减分量，第二项A(1-t(x))为环境光。I(x)为雾天情况下传感器实际接收到的图像，J(x)为场景辐射度，A为全局环境光，t(x)为透射率，表示场景中没有被粒子散射最终到达传感器的辐射度的比例。 

当大气均匀的假设下，透射率t(x)可以表示为： 

t(x)＝e^-βd(x)(1-2) 

其中，β表示大气的散射系数，d表示景深，t(x)表示场景辐射度随着景深的增加而指数衰减。 

雾天图像的去雾主要就是从降质图像I(x)恢复场景辐射度J(x)。 

3.2暗影通道（Dark Channel）原理 

暗影通道（Dark Channel）主要基于对晴天（haze-free）的室外图像的观察：对于非天空区域的大部分像素，至少有一个颜色通道有非常低的亮度值。换一种说法，就是这些像素的最小亮度值非常低。对于一幅图像J，我们定义： 

$J^{\mathrm{dark}}\left(x\right)=\underset{c\∈\{r,q,b\}}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(J^c\left(y\right)\right)\right)---(1-3)$

其中J^C为图像J的一个颜色通道，Ω(x)为中心位于x的一个局部块。实验证明，对于大部分haze-free室外图像，在非天空区域J^dark的强度值很小，甚至趋近于0。因此定义图像J的暗影通道（Dark Channel）J^dark。 

在雾天情况下，由于附加环境光的存在，图像的暗影通道（Dark Channel）比晴天时的图像亮度高。雾越浓的区域暗影通道的亮度越高。因此，雾的厚度可以由暗影通道的亮度值来近似。 

3.3基于Dark channel的去雾过程 

3.3.1、估计全局环境光 

一个图像的暗影通道可以用来近似的估计雾的厚度。因此，能够通过暗影通道来估计全局环境光。首先选择暗影通道图像中亮度值为前0.1%的像素，这些像素表示雾最厚的不透光区域，然后在这些像素中，选出在输入图像I中亮度值最大的像素作为全局环境光的估计。 

3.3.2、估计投射率 

假设在一个小的局部区域Ω(x)内，透射率是恒定的。定义Ω(x)内的透射率为t(x)。对于雾天图像，在局部区域内对式子(1-1)求最小值，得到： 

$\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(I^c\left(y\right)\right)=\tilde{t}\left(x\right)\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(J^c\left(y\right)\right)+(1-\tilde{t}\left(x\right))A^c---(1-4)$

注意到分别对每个颜色通道求最小运算，上式可以等价为： 

$\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)=\tilde{t}\left(x\right)\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{J^c\left(y\right)}{A^c}\right)+(1-\tilde{t}\left(x\right))---(1-5)$

对三个通道求最小，得到： 

$\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)\right)=\tilde{t}\left(x\right)\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{J^c\left(y\right)}{A^c}\right)\right)$

$+(1-\tilde{t}\left(x\right)).---(1-6)$

根据暗影通道(Dark Channel)的原理，晴天(haze-free)图像的辐射度J的暗影通道J^dark的值趋近于0，而全局环境光A^C一般为正值，因此可以得到 

$\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{J^c\left(y\right)}{A^c}\right)\right)=0---(1-7)$

将上式代入式子(1-6)，可以得到透射率的估计表达式： 

$\tilde{t}\left(x\right)=1-\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\frac{I^c\left(y\right)}{A^c}\right)---(1-8)$

对于天空区域，由于天空区域的颜色在雾天的情况下近似等于全局环境光A，所以在天空区域： 

$\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)\right)\→1,\mathrm{and}\tilde{t}\left(x\right)\→0---(1-9)$

透射率趋近于0。因此处理时，不需要事先单独分割出天空区域。 

实际中，甚至在晴天的情况下，空气中仍然存在少量粒子，因此人们看远处的物体时仍存在少量的雾，而雾的存在更有利于人们去感知场景的深度信息。因此在去雾的过程中，应该有选择的保留少量雾的信息，这里可以通过引进一个常量参数ω(0＜ω≤1)来实现： 

$\tilde{t}\left(x\right)=1-\mathrm{\ω}\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)\right)---(1-10)$

参数ω的值可以根据实际应用选取。 

3.3.3、去雾 

估计出透射率图像后，根据式子(1-1)来恢复降质图像。当透射率t(x)趋近于0的情况下，直接衰减分量J(x)t(x)也趋近于0，这样直接恢复后的图像J很可能是噪声。因此，这里限制透射率最小下限t0(一般t0＝0.1)，表明在浓雾区域保留少量的雾存在。最后回复后的图像J(x)为： 

$J\left(x\right)=\frac{I\left(x\right)-A}{\max (t\left(x\right),t_0)}+A---(1-11)$

智能高清视频图像实时去雾系统在传统图像去雾的方法基础上进行了创新和改善。从系统方面首次提出了高清图像增强去雾并搭建了一个基本的实时增强系统。在算法方面通过将图像分块，分别采用自适应retinex算法和基于暗原色先验算法处理不同亮度层的图像块。既充分利用了两种算法的优点，又跳出了暗原色先验算法的局限。在加速实现高清视频图像去雾方面，采用Open MP并行技术对算法进行加速处理。 

本发明的创新点包括： 

1、理论创新 

提出了一种retinex算法与基于暗原色先验相结合的视频图像去雾算法，其中retinex算法为自适应的retinex算法。通过对高清图像的亮度进行区域划分，分成亮度较高的图像子块和亮度较低的亮度子块；针对亮度较高的区域采用自适应retinex算法进行增强；对亮度较低的图像采用基于暗原色先验的图像去雾方法。这样既能够最大化的发挥retinex算法在高照度图像去雾方面的优点，又能避免基于暗原色先验在低照度上的优越性，避免遇到高亮度图像时算法的局限性。传统的方法是对图像进行整体的处理是不合理的，特别是对于高清图像，图像局部的细节信息、雾的浓淡情况等参差不齐，因此也就不能一概而论，需要分而治之。 

2、应用创新 

首次提出并实现了500万高清视频图像实时去雾并将其应用于监控系统中。一个实时图像去雾系统特别是基于高清视频图像的去雾系统，其巨大的数据量对增强算法性能和系统的性能的要求都是非常严格的。增强系统是在visual studio的平台上实现的，在人机交互的设计上也采用了人性化的设计。 

目前，在市场上的图像去雾系统都是基于标清视频进行的。随着科技的发展和应用的需求，标清图像越来越不能够满足需要。在安放及监控中高清视频图像替代标清图像是一个必然的趋势。现在的高清的摄像头越来越多，获得的高清视频也越来越多。但巨大的需求和高清视频图像实时增强系统之间还存在一个巨大的鸿沟。因此，智能高清视频实时去雾系统的出现将弥补这一空缺。 

3、技术创新 

技术创新一： 

图像分区域自适应去雾算法主要是针对不同的图像区域有针对性的进行图像去雾的方 法。该算法经过严格的然论证和大量实验验证，针对复杂环境下高清视频图像的去雾完全可以采用图像分区域，有针对性的采用自适应retinex去雾和基于暗原色先验的图像去雾算法相结合进行图像去雾。 

技术创新二： 

采用基于Open MP的并行化处理技术对高清图像进行数据及算法的并行处理。一方面算法方面能够实现多线程处理。Open MP是一种多线程并行处理技术，在大规模数据运算中应用广泛，目前在图像处理领域还少有涉及。在高清视频图像广泛应用中能够发挥其巨大的并行处理能力。通过多线程的设计，可以使计算机高性的运行。另一方面数据方面的并行处理。图像数据可以看做是一个大的矩阵，因此其数据具有良好的并行性，非常适合进行并行处理 

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的构思和范围，其均应涵盖在本发明的权利要求范围当中。 

Claims (1)

1.一种基于图像亮度分层的视频图像去雾方法，其特征在于，该方法基于Open MP技术，将自适应retinex图像去雾方法和基于暗色通道先验的去雾方法结合来实时处理图像；该方法的具体步骤包括：

步骤1）：采用聚类方法对图像亮度分层，得到高亮度图像类和低亮度图像类；并对每类图像进行分块；

步骤2）：对高亮度图像类中的每个块用自适应retinex图像去雾方法进行处理；对低亮度图像类中的每个块用基于暗色通道先验的去雾方法进行处理；

步骤3）：对所述步骤2）去雾处理后的结果图分别通过对灰度范围整体归一化处理；

步骤4）：将所述步骤3）获得的结果进行Open MP并行化处理后输出；至此，基于图像亮度分层的视频图像实时去雾完成。

Images