CN103903234B - 一种基于图像景深的实时图像去雾方法 - Google Patents

Abstract

本发明提供了一种基于图像景深的实时图像去雾方法，首先对有雾图像进行灰度图像处理；再对灰度图像进行分块最小值计算暗原色图，并估计大气光值，计算粗略大气耗散图和景深掩膜；然后再计算不同景深增强图像和边缘羽化的掩膜；最后进行融合处理得到去雾后图像。该方法在对单幅图像进行处理时，在图像对比度增加方法中融入了景深信息，同时还采用了图层融合方式，可以并行计算，实时性强，去雾效果明显。

Description

一种基于图像景深的实时图像去雾方法

技术领域

本发明涉及一种数字图像处理方法，尤其是一种实时图像去雾处理方法。

背景技术

在雾、霾等天气条件下，大气中悬浮的大量微小水滴和气溶胶的散射作用会使视频图像严重降质，这极大限制和影响城市交通、视频监控、智能车辆等户外系统的功能。因此，需要对降质图像进行去雾处理，恢复出真实场景图像。而对于视频监控等应用领域，去雾处理的高效性和实时性则至关重要。

当前对于雾图像处理的方法大致可以分为两类：一类是基于图像增强的方法，此类方法不考虑雾图像具体的形成过程，只选取图像中感兴趣的部分进行增强。常用的图像增强方法主要有对比度增强、直方图均衡、Retinx算法等，这类方法没有考虑雾天图像对比度与景物深度的对应关系，对景物深度变化比较大的图像的增强效果不理想，且有些如Retinx算法计算量大，实时性不强。

另一类则是基于雾天模型的暗原色去雾方法，是对有雾图像进行一次与成像的逆过程来恢复无雾图像。这种方法针对性强，得到结果自然，一般不会有信息损失，能够取得不错的去雾效果。这种方法对每个像素进行最小值滤波计算暗原色图，以此对大气参数和透射率进行估计，然后根据成像模型来恢复无雾图像，但是此类方法计算量都非常大，处理一副图像需要耗费大量的时间，难以满足实时性要求，限制了该算法在工程领域的广泛应用。还有针对景深连续的有雾场景，可以通过对比度拉伸算法达到去雾效果，借助于一张晴天和一张雾天场景的参考图像，计算出场景各点的深度比关系，最后利用深度关系复原雾天图像，但该方法需要同一场景的多幅图像，不能满足实时图像去雾的需求。

发明内容

本发明要解决的技术问题是提供一种实时性较强的图像去雾方法，能够对景深变化较大的图像进行有效的去雾处理。

本发明提供的技术方案为：一种基于图像景深的实时图像去雾方法，其特征在于，包括如下步骤：

步骤1，读取有雾图像I(x,y)，其中x和y表示图像中各个像素点的横坐标和纵坐标，若有雾图像I(x,y)为彩色图像，则将有雾图像I(x,y)中各像素点R、G、B三通道的最小值赋值给各像素点R、G、B三通道，得到有雾图像I(x,y)的灰度图像为I_g(x,y)，若该有雾图像I(x,y)为灰度图像，则灰度图像I_g(x,y)＝I(x,y)；

步骤2，将灰度图像I_g(x,y)划分成若干个方块区域Ω，再分别获取每个方块区域Ω内像素点的最小像素值，并将获取的最小像素值赋值给对应方块区域Ω内的所有像素点，得到各个方块区域Ω对应的方块暗原色图为：

$\underset{x,y\∈\mathrm{\Ω}}{I^{dark}(x,y)}=\underset{x,y\∈\mathrm{\Ω}}{min\left(I_g\right(x,y\left)\right)}$

在赋值完成后，便形成了由若干个方块暗原色图构成的暗原色图I^dark(x,y)；

步骤3，将暗原色图I^dark(x,y)上部j行内所有像素点的最大像素值设为大气光值A，其中j取10％的暗原色图I^dark(x,y)行数，再求出粗略大气耗散图V(x,y)为：

步骤4，对粗略大气耗散图V(x,y)按照现有的大气散射模型进行n层景深均匀分割，其中n≥5，得到各个景深下的掩膜L_k(x,y)为：

其中，k＝1,2,…,n；

步骤5，对各个景深下的掩膜L_k(x,y)进行图像滤波处理，得到不同景深下的边缘羽化掩膜L'_k(x,y)，同时，在各个景深下的掩膜L_k(x,y)中找出L_k(x,y)＝1所对应的像素区域，根据每个掩膜中的像素区域在有雾图像I(x,y)中取出各个掩膜对应的像素点，再分别对各个掩膜对应的像素点进行处理，设各个掩膜对应的像素点的个数为M_k，分别将每个掩膜对应的像素点按像素值递增顺序依次排列，再分别计算每个排列中前0.1％M_k个像素点和后0.1％M_k个像素点的像素值总和和再对有雾图像I(x,y)进行m次对比度拉伸处理，当有雾图像I(x,y)为彩色图像，则分别对有雾图像I(x,y)的R、G、B三个通道进行m次对比度拉伸处理，得到各个景深下的增强图像I_k(x,y)为：

$I_k(x,y)=\frac{I(x,y)-I_{L_k(x,y)=1}^{\min }(x,y)}{I_{L_k(x,y)=1}^{\max }(x,y)-I_{L_k(x,y)=1}^{\min }(x,y)};$

步骤6，对不同景深下的增强图像I_k(x,y)进行加权融合处理，当有雾图像I(x,y)和增强图像I_k(x,y)为彩色图像，则分别对每个像素点的R、G、B三个通道进行加权融合处理，得到去雾后图像I'(x,y)为：

$I^{\′}(x,y)=\frac{\underset{k=1,n}{\Σ}{L}_k^{\′}(x,y)\·I_k(x,y)}{\underset{k=1,n}{\Σ}{L}_k^{\′}(x,y)}.$

采用对粗略大气耗散图进行景深均匀分割，并对有雾图像进行对比度拉伸处理，增强了有雾图像的局部对比度和全局对比度，能够实现对景深变化较大的图像进行有效的去雾处理；采用将灰度图像划分成方块区域来求取暗原色图，与现有的对每个像素点进行最小值滤波相比，降低了最小值比较次数和计算量，提高了图像处理的实时性。

作为本发明的进一步改进方案，步骤2中采用网格法将灰度图像I_g(x,y)划分成若干个方块区域Ω，每个网格的大小为方块区域Ω。采用网格法对灰度图像I_g(x,y)进行方块区域Ω划分时，即使当灰度图像I_g(x,y)的边长不是方块区域Ω边长的整数倍，同样可以按网格大小为方块区域Ω的网格对灰度图像I_g(x,y)进行划分，保证了图像处理的完整性，也使得该去雾方法能够对任意大小的图像进行去雾处理。

作为本发明的进一步改进方案，步骤5中采用直方图统计法分别对各个掩膜对应的像素点进行处理，分别将各个掩膜对应的像素点中像素值相同的像素点排在同一列，再将每一列按像素值递增的顺序紧密排列，构成s个直方图，再分别计算每个直方图的左侧边缘0.1％直方图面积内和右侧边缘0.1％直方图面积内所有像素点的像素值总和和采用直方图统计法计算和的值，使得处理过程形象直观，提高了处理过程的可靠性。

作为本发明的进一步限定方案，所述步骤5中的图像滤波处理为二维高斯滤波处理或者平均滤波处理。采用二维高斯滤波或者平均滤波的滤波方法，能够消除图层融合后的边缘区块效应，实现图像的平滑过渡。

本发明的有益效果在于：(1)采用对粗略大气耗散图进行景深均匀分割，并对有雾图像进行对比度拉伸处理，增强了有雾图像的局部对比度和全局对比度，能够实现对景深变化较大的图像进行有效的去雾处理；(2)采用将灰度图像划分成方块区域来求取暗原色图，与现有的对每个像素点进行最小值滤波相比，降低了最小值比较次数和计算量，提高了图像处理的实时性；(3)采用网格法对灰度图像I_g(x,y)进行划分，保证了图像处理的完整性，也使得该去雾方法能够对任意大小的图像进行去雾处理。

附图说明

图1为本发明的实时图像去雾方法流程图；

图2为本发明采用的直方图统计。

具体实施方式

如图1所示，本发明的基于图像景深的实时图像去雾方法，包括如下步骤：

步骤1，读取有雾图像I(x,y)，其中x和y表示图像中各个像素点的横坐标和纵坐标，设该图像的高度为h个像素，宽度为w个像素，若该有雾图像I(x,y)为彩色图像，则将有雾图像I(x,y)中各像素点R、G、B三通道的最小值赋值给各像素点R、G、B三通道，得到有雾图像I(x,y)的灰度图像为I_g(x,y)，若该有雾图像I(x,y)为灰度图像，则灰度图像就取该图像，即I_g(x,y)＝I(x,y)；

步骤2，基于暗原色原理，将灰度图像I_g(x,y)的所有像素点划分为若干个N*N像素点的方块区域Ω，若灰度图像I_g(x,y)的边长不是方块区域Ω边长的整数倍，即h或w不为N的整数倍，则在对灰度图像I_g(x,y)进行方块区域Ω划分后将出现剩余部分，此时可以采用网格法对灰度图像I_g(x,y)进行划分，以网格大小为方块区域Ω的网格对灰度图像I_g(x,y)进行划分，再计算全部划分完成后各方块区域Ω内所有像素点的最小像素值，并将最小像素值赋值给对应方块区域Ω内所有像素点，得到各个方块区域Ω对应的方块暗原色图为：

$\underset{x,y\∈\mathrm{\Ω}}{I^{dark}(x,y)}=\underset{x,y\∈\mathrm{\Ω}}{min\left(I_g\right(x,y\left)\right)}$

在赋值完成后，便形成了由若干个方块暗原色图构成的暗原色图I^dark(x,y)；

步骤3，将暗原色图I^dark(x,y)上部j行内所有像素点的最大像素值设为大气光值A，其中j的值可以取为j＝10％h，由于暗原色图I^dark(x,y)采用N*N像素点分成若干方块区域Ω，因此只需计算ceil(j/N)·ceil(w/N)个数据，其中，ceil为上取整函数，再求出粗略大气耗散图V(x,y)为：

步骤4，根据现有的大气散射模型可知，粗略大气耗散图V(x,y)与景深成正比，即景深越大，粗略大气耗散图V(x,y)值也越大，对粗略大气耗散图V(x,y)按照现有的大气散射模型进行n层景深均匀分割，其中n≥5，得到各个景深下的掩膜L_k(x,y)为：

其中，k＝1,2,…,n，通常情况下n取5；

步骤5，对各个景深下的掩膜L_k(x,y)进行图像滤波处理，得到不同景深下的边缘羽化掩膜L'_k(x,y)，如果不进行羽化，直接采用线性分割后的不同景深下的掩膜L_k(x,y)进行加权融合，则在两个图层相连接的边缘必然会出现块状效应，因此需要采用二维高斯滤波或平均滤波等算法对L_k(x,y)进行图像滤波，得到边缘柔和过渡的羽化的掩膜L'_k(x,y)；

同时，在各个景深下的掩膜L_k(x,y)中找出L_k(x,y)＝1所对应的像素区域，根据每个掩膜中的像素区域在有雾图像I(x,y)中取出各个掩膜对应的像素点，再分别对各个掩膜对应的像素点进行处理，设各个掩膜对应的像素点的个数为M_k，分别将每个掩膜对应的像素点按像素值递增顺序依次排列，再分别计算每个排列中前0.1％M_k个像素点和后0.1％M_k个像素点的像素值总和和再对有雾图像I(x,y)进行m次对比度拉伸处理，当有雾图像I(x,y)为彩色图像，则分别对有雾图像I(x,y)的R、G、B三个通道进行m次对比度拉伸处理，得到各个景深下的增强图像I_k(x,y)为：

$I_k(x,y)=\frac{I(x,y)-I_{L_k(x,y)=1}^{\min }(x,y)}{I_{L_k(x,y)=1}^{\max }(x,y)-I_{L_k(x,y)=1}^{\min }(x,y)};$

步骤6，对不同景深下的增强图像I_k(x,y)进行加权融合处理，当有雾图像I(x,y)和增强图像I_k(x,y)为彩色图像，则分别对每个像素点的R、G、B三个通道进行加权融合处理，得到去雾后图像I'(x,y)为：

$I^{\′}(x,y)=\frac{\underset{k=1,n}{\Σ}{L}_k^{\′}(x,y)\·I_k(x,y)}{\underset{k=1,n}{\Σ}{L}_k^{\′}(x,y)}.$

如图2所示，在采用直方图统计法分别对各个掩膜对应的像素点进行处理时，需要分别将各个掩膜对应的像素点中像素值相同的像素点排在同一列，再将每一列按像素值递增的顺序紧密排列，构成s个直方图，再分别从每个直方图的左侧和右侧向中间划分，当各个直方图中划分出的左侧边缘面积和右侧边缘面积为0.1％直方图面积内时，计算左侧边缘0.1％直方图面积内和右侧边缘0.1％直方图面积内所有像素点的像素值总和和采用直方图统计法计算和的值，使得处理过程形象直观，提高了处理过程的可靠性。

Claims (4)

1.一种基于图像景深的实时图像去雾方法，其特征在于，包括如下步骤：

步骤1，读取有雾图像I(x,y)，其中x和y表示图像中各个像素点的横坐标和纵坐标，若有雾图像I(x,y)为彩色图像，则将有雾图像I(x,y)中各像素点R、G、B三通道的最小值赋值给各像素点R、G、B三通道，得到有雾图像I(x,y)的灰度图像为I_g(x,y)，若该有雾图像I(x,y)为灰度图像，则灰度图像I_g(x,y)＝I(x,y)；

步骤2，将灰度图像I_g(x,y)划分成若干个方块区域Ω，再分别获取每个方块区域Ω内像素点的最小像素值，并将获取的最小像素值赋值给对应方块区域Ω内的所有像素点，得到各个方块区域Ω对应的方块暗原色图为：

$\underset{x,y\∈\mathrm{\Ω}}{I^{dark}(x,y)}=\underset{x,y\∈\mathrm{\Ω}}{\min \left(I_g\right(x,y\left)\right)}$

在赋值完成后，便形成了由若干个方块暗原色图构成的暗原色图I^dark(x,y)；

步骤3，将暗原色图I^dark(x,y)上部j行内所有像素点的最大像素值设为大气光值A，其中j取10％的暗原色图I^dark(x,y)行数，再求出粗略大气耗散图V(x,y)为：

步骤4，对粗略大气耗散图V(x,y)按照现有的大气散射模型进行n层景深均匀分割，其中n≥5，得到各个景深下的掩膜L_k(x,y)为：

其中，k＝1,2,…,n；

步骤5，对各个景深下的掩膜L_k(x,y)进行图像滤波处理，得到不同景深下的边缘羽化掩膜L'_k(x,y)，同时，在各个景深下的掩膜L_k(x,y)中找出L_k(x,y)＝1所对应的像素区域，根据每个掩膜中的像素区域在有雾图像I(x,y)中取出各个掩膜对应的像素点，再分别对各个掩膜对应的像素点进行处理，设各个掩膜对应的像素点的个数为M_k，分别将每个掩膜对应的像素点按像素值递增顺序依次排列，再分别计算每个排列中前0.1％M_k个像素点和后0.1％M_k个像素点的像素值总和和再对有雾图像I(x,y)进行m次对比度拉伸处理，当有雾图像I(x,y)为彩色图像，则分别对有雾图像I(x,y)的R、G、B三个通道进行m次对比度拉伸处理，得到各个景深下的增强图像I_k(x,y)为：

$I_k(x,y)=\frac{I(x,y)-I_{L_k(x,y)=1}^{\min }(x,y)}{I_{L_k(x,y)=1}^{\max }(x,y)-I_{L_k(x,y)=1}^{\min }(x,y)};$

步骤6，对不同景深下的增强图像I_k(x,y)进行加权融合处理，当有雾图像I(x,y)和增强图像I_k(x,y)为彩色图像，则分别对每个像素点的R、G、B三个通道进行加权融合处理，得到去雾后图像I'(x,y)为：

$I^{\′}(x,y)=\frac{\underset{k=1,n}{\Σ}{L}_k^{\′}(x,y)\·I_k(x,y)}{\underset{k=1,n}{\Σ}{L}_k^{\′}(x,y)}.$

2.根据权利要求1所述的基于图像景深的实时图像去雾方法，其特征在于：步骤2中采用网格法将灰度图像I_g(x,y)划分成若干个方块区域Ω，每个网格的大小为方块区域Ω。

3.根据权利要求1或2所述的基于图像景深的实时图像去雾方法，其特征在于：步骤5中采用直方图统计法分别对各个掩膜对应的像素点进行处理，分别将各个掩膜对应的像素点中像素值相同的像素点排在同一列，再将每一列按像素值递增的顺序紧密排列，构成s个直方图，再分别计算每个直方图的左侧边缘0.1％直方图面积内和右侧边缘0.1％直方图面积内所有像素点的像素值总和和

4.根据权利要求1或2所述的基于图像景深的实时图像去雾方法，其特征在于：所述步骤5中的图像滤波处理为二维高斯滤波处理或者平均滤波处理。