CN103440623A - 基于成像模型提高雾天图像清晰度的方法 - Google Patents

Abstract

本发明公开了一种基于成像模型的雾天图像清晰化方法，该方法按照以下步骤实施：首先将原始雾天的RGB图像转换到YUV颜色空间，对亮度Y分量进行三级小波分解；在小波域的低频子带上结合雾天成像模型，利用高斯模糊对介质散射光进行估计与去除，再采用基于局部复杂度的方法调整衰减因子，对衰减低频子图进行自适应增强；在高频子带上采用非线性变换的增强方法，进一步增强高频信息；最后经过小波反变换及颜色空间的转换得到清晰化后的彩色图像。本发明可以快速有效地去除由大气散射引起的模糊等问题，有效的提高了雾天图像的清晰度与对比度，具有较高的实时性。

Description

基于成像模型提高雾天图像清晰度的方法

技术领域

本发明属于计算机图像处理技术领域，具体涉及一种基于成像模型提高雾天图像清晰度的方法。

背景技术

雾天环境下摄像机捕获的被观测场景图像的对比度和分辨率明显下降，造成雾天环境下被观测场景图像浑浊、细节减少的主要原因是光线在从场景到摄像机的传播过程中，受大气中较多悬浮颗粒的影响而发生了光强衰减（光被吸收）和散射，使到达摄像机的光线减少且混乱。这些影响与悬浮颗粒的大小和多少相关，悬浮颗粒越大、越多则对到达摄像机的光线影响越严重。散射是导致图像降质的主要原因，它不仅减少了光的传播能量而且使光的线路也发生了改变，而衰减作用对成像的影响相对较小，只是削弱了光的强度。所以，对雾天的图像进行处理，就是从图像中去除由于光线散射造成的影响，对衰减的图像进行增强，复原出清晰的图像。

目前，提高雾天图像清晰度的方法主要分为两类：非模型法和基于模型的清晰化算法。非模型雾天图像增强算法不考虑图像降质产生的具体因素，而是仅从图像增强的角度来处理图像，以达到提高图像质量的目的，简单说就是增强图像的整体对比度。这种方法适用范围广，能够比较有效地提高雾天图像的对比度，并突出图像的纹理细节，得到较好的图像质量，但可能会造成突出部分的信息损失，使处理后的图像存在失真现象。基于模型的雾天图像清晰化算法是通过分析雾天降质图像产生的物理过程，建立雾天图像退化模型，反演雾天图像降质过程，并对降质过程造成的失真进行补偿，从而获得未经雾天降质影响的无雾图像的最优估计值，从而使雾天图像的质量得到提高。这种方法针对性强，处理后得到的图像去雾效果自然，一般不会有信息损失。

发明内容

本发明的目的是提供一种基于成像模型提高雾天图像清晰度的方法，对雾天环境下获得的模糊图像进行清晰化处理，从而提高图像的对比度。

为了实现上述目的，本发明采用的技术方案为：

基于成像模型提高雾天图像清晰度的方法，采用场景成像系统实现，场景成像系统包括各摄像机、图像传输系统、区域服务器、监控中心计算机及图像清晰化软件；所述的各摄像机采集其所在区域现场图像，通过图像传输系统传输到区域服务器，区域服务器再将图像传输到监控中心计算机，经安装在监控中心计算机上的图像清晰化软件处理后显示在监控中心计算机的屏幕上；其特征在于：所述图像清晰化软件对图像的处理是按照以下步骤实施：

步骤1：将采集的原始RGB彩色图像转换到YUV颜色空间，其中R表示红色，G表示绿色，B表示蓝色，Y表示明亮度，U和V表示色度。对亮度Y分量进行三级小波分解，得到一个低频子带和多个不同尺度的高频子带；

步骤2：在小波域的低频子带上利用高斯模糊算法对介质散射光进行估计与去除，获得衰减低频子图；

步骤3：采用基于局部复杂度的方法调整衰减因子，对衰减低频子图进行自适应增强，复原出低频子带复原子图；

步骤4：采用非线性变换增强方法对小波域中高频子带进行增强处理；

步骤5：小波反变换及颜色空间的转换：对增强后的小波系数进行小波反变换得到增强后的亮度分量，将增强后的亮度分量Y'与UV分量重新合成清晰的YUV图像，再将YUV颜色空间的图像转换到RGB彩色空间，最后得到清晰的彩色图像。

本发明的有益效果是：可以提高对雾天环境下所拍摄的模糊图像的清晰度，恢复图像中大部分的关键、细节信息，提高图像的对比度，有效提高了图像处理的实时性。

附图说明

图1为本发明方法的流程示意图；

图2为本发明雾天图像成像模型示意图；

图3为本发明雾天原始彩色图像；

图4为本发明方法对介质散射光的估计；

图5为本发明雾天原始图像处理后得到的清晰图像。

具体实施方式

下面结合附图详细说明本发明的实施方式。

本发明的基于成像模型提高雾天图像清晰度的方法，采用场景成像系统实现，场景成像系统包括各摄像机、图像传输系统、区域服务器、监控中心计算机及图像清晰化软件。所述的各摄像机采集其所在区域现场图像，通过图像传输系统传输到区域服务器，区域服务器再将图像传输到监控中心计算机，经安装在监控中心计算机上的图像清晰化软件处理后显示在监控中心计算机的屏幕上。采用图像清晰化软件实现对图像的处理，最终得到清晰的图像。

本发明中，将雾天环境下拍摄到的图像称为原始图像，雾天图像光学成像模型如图2所示。由图可见，雾天所获得的现场图像可以认为是三部分的线性叠加，也就是从光源经过衰减和散射到达摄像机的光强由三部分构成：（i）没有发生散射衰减的直接入射光E_d，即由目标反射的光直接到达摄像机的光强；（ii）前向散射光E_f；（iii）后向散射光E_b，所以到达摄像机的总光强E_T可表示为：

E_T=E_d+E_f+E_b         （1）

式中：直接入射光E_d是指经历了衰减的过程的光，即从光源照射到观测物体上的光线被物体表面反射后，经大气介质吸收到达摄像机的光，它反映了景物光经过大气介质传播至摄像机的过程中光线的衰减规律。故E_d可以表示为：

E_d(x)=E_∞ρ(x)e^-βd(x)         （2）

其中：E_∞为光源的照射强度；β是光子在大气中的衰减系数；d(x)是被观测点到成像设备的距离，即景深；x代表被观测点的空间位置；ρ(x)是被观察物体的辐射率，它是观察物体对光线的反射比和摄像机光谱反射效应的函数；

后向散射光E_b是指光子从光源出发经大气中悬浮颗粒的散射和大气介质的吸收后直接到达摄像机的光，这部分光没有任何被观测物体的信息，但后向散射对成像的影响比较大，会使雾天图像呈现出具有一层模糊雾帘；

前向散射光E_f是指光子从被观测物体出发经大气中悬浮颗粒的散射和大气介质吸收后到达摄像机的光，这部分的光是被观测物体的信息，但是受到了大气中悬浮颗粒的散射之后使成像位置有了一定的偏移，相对于后向散射光来说，前向散射光对成像的影响较小，主要引起图像的特征模糊。这两部分都对图像造成降质，会使观测图像存在低亮度、低对比度、低信噪比、边缘模糊、与周围环境不容易区分等问题。前向散射光和后向散射光合并在一起统称介质散射光E_fb，有：

E_fb(x)=E_∞(1-e^-βd(x))         （3）

光子在大气介质中的传播主要遭受复杂的散射和衰减效应，因此观测设备获得的图像主要由衰减部分与介质散射部分组成，所以，雾天成像物理模型可以表示为：

E_T(x)=E_∞ρ(x)e^-βd(x)+E_∞(1-e^-βd(x))         （4）

式中：E_T(x)表示图像上任意像素点的亮度。

由式（2）可知，直接入射光的强度随景深距离的增加呈现指数衰减特性；由式（3）可知，介质散射光E_fb的强度随景深距离的增加而呈现指数增加特性，因此，衰减和散射是造成雾天图像模糊与对比度低的主要原因。要想得到清晰的雾天图像，就需要先将原始图像中的散射光去除，并对直接入射光进行增强。雾天图像的复原就是根据雾天成像模型，复原E_∞ρ(x)的过程，复原后的图像为：

E_∞ρ(x)=(E_T(x)-E_fb(x))e^+βd(x)        （5）

由式（3）和式（5）可知，要想得复原后的图像E_∞ρ(x)，关键是准确估计出介质散射光E_fb和景深信息e^+βd(x)。

如图1所示，本发明基于成像模型的雾天图像清晰化方法的图像清晰化软件流程示意图，按照以下步骤实施：

步骤1：将原始雾天的原始RGB图像转换到YUV颜色空间，对亮度Y分量进行三级小波分解得到一个LL₃低频子带和多个LH_i，HL_i，HH_i(i=1,2,3)不同尺度的高频子带。

步骤2：在小波域的低频子带上利用高斯模糊算法对介质散射光进行估计与去除，获得衰减低频子图。

1）对三级小波变换后所得到的低频子带LL₃进行高斯模糊处理，得到高斯平滑图像G₃，G₃是低频子图中介质散射光E_fb的一个近似估计，再将LL₃与G₃求差，去除这部分信息，得到Y₁。

2）由于计算得到的Y₁的数值比较小而且有一部分为负值，需要加上一个修正值Y_δ与LL₃的总体亮度保持一致，Y_δ按照式（6）由LL₃的均值L3和Y₁的均值

1和求差获得：

$Y_{\mathrm{\δ}}=\stackrel{\‾}{{\mathrm{LL}}_3}-\stackrel{\‾}{Y_1}$       （6）

修正后得到的低频子图信息为直接入射光的衰减部分Y₂

Y₂=Y₁+Y_δ      （7）

步骤3：采用基于局部复杂度的方法调整衰减因子，对衰减低频子图进行自适应增强，复原出低频子带复原子图。

根据介质散射光原理，有介质散射光E_fb：

E_fb(x)=E_∞(1-e^-βd(x))      （8）

其中：E_∞为

子带上的系数最大值。

由式（8）得到衰减因子e^+βd(x)为：

$e^{+\mathrm{\βd}\left(x\right)}=\frac{E_{\∞}}{E_{\∞}-E_{\mathrm{fb}}\left(x\right)}=\frac{E_{\∞}}{E_{\∞}-G_3}---\left(9\right)$

其中：E_∞为

子带上的系数最大值，G₃为低频子图中介质散射光E_fb的近似估计。

将Y₂乘以衰减因子e^+βd(x)，求得复原后的低频子图Y₃：

Y₃=Y₂e^+βd(x)      （10）

4）利用基于局部复杂度的衰减因子非线性调整法对衰减因子e^+βd(x)进行修正。对于一个大小为(2n+1)×(2n+1)的局部区域，其复杂度C_P的大小满足：1≤C_P≤N。其中：N=(2n+1)×(2n+1)为该局部区域内的像素总数，复杂度比较大的一般属于亮度变化明显的区域，这些区域的衰减因子应大于较暗的平坦区域，低频子带上所有位置各点衰减因子λ(i,j)的平均值为

，采用公式（11）所表述的调整方式可得修正以后每个位置各点的衰减因子为：

${\mathrm{\λ}}^{\′}(i,j)=\stackrel{\‾}{\mathrm{\λ}}+(C_P(i,j)-(N+1)/2)\×\mathrm{\Δd}---\left(11\right)$

式中：Δd为尺度调节系数，一般设Δd=0.1。

因此，复原后的低频子带系数Y₃'为：

Y₃'=Y₂×λ'(i,j)      （12）

步骤4：采用非线性变换增强方法对小波域中高频子带进行增强处理。

1）设计高通滤波器。在不同尺度的各级高频子带上利用一个高通滤波器进行增强，H(j,ω_h,ω_v)作为各高频子带的增强系数。

$H(j,{\mathrm{\ω}}_h,{\mathrm{\ω}}_v)=r_1-r_2*(1/(1+2.415*{({[{\mathrm{\ω}}_h^2+{\mathrm{\ω}}_v^2]}^{1/2}/(2^j*k_c))}^{2^n}))---\left(13\right)$

式中ω_h和ω_v分别为水平和垂直方向的权系数。

对于LH_j：有ω_h=0,ω_v=1；对于HL_j：有ω_h=1,ω_v=0；对于HH_j：有ω_h=1,ω_v=1；j=1,2…n，其中j表示分解级数，2^j称为相应的分辨率；n为滤波器的阶数；r₁、r₂为修改因子，k_c为截止系数，根据实验，选取r₁=2.8，r₂=2.0，k_c=0.5。

2）利用步骤4的1）中设计的滤波器，采用非线性变换函数对小波各高频子带系数进行非线性变换，增强图像的高频信息，同时抑制噪声的放大。采用自适应的增强算法：

${\mathrm{\&omega;}}_{\mathrm{out}=}\left\{\begin{array}{cc}H(j,{\mathrm{\&omega;}}_h,{\mathrm{\&omega;}}_v)*{\mathrm{\&omega;}}_{\mathrm{in}}& {\mathrm{\&omega;}}_{\mathrm{in}}>T\\ 0& -T\&le;{\mathrm{\&omega;}}_{\mathrm{in}}\&le;T\\ H(j,{\mathrm{\&omega;}}_h,{\mathrm{\&omega;}}_v)*{\mathrm{\&omega;}}_{\mathrm{in}}& {\mathrm{\&omega;}}_{\mathrm{in}}<-T\end{array}\right.---\left(14\right)$

其中：T为阈值门限，（u为LH_j、HL_j、HH_j的高频子带系数的个数，σ₁为高频系数的均方差），ω_in和ω_out为变换前后的小波系数。在-T和T之间小波系数赋值为零对噪声进行抑制，其他区间的小波系数进行增强，增强图像细节。

步骤5：小波反变换及颜色空间的转换：对增强后的小波系数进行小波反变换得到增强后的亮度分量Y'，Y'和UV重新合成清晰的YUV图像，再将YUV颜色空间的图像转换到RGB彩色图像，最终得到的图像即为清晰化处理后的彩色图像。

如图3所示，是雾天原始彩色图像，如图4所示，清晰化处理过程中对介质散射光的估计的图像，如图5所示，是最终得到清晰化处理后的彩色图像。

Claims (1)

1.基于成像模型提高雾天图像清晰度的方法，采用场景成像系统，场景成像系统包括各摄像机、图像传输系统、区域服务器、监控中心计算机及图像清晰化软件；所述的摄像机采集其所在区域现场图像，通过图像传输系统传输到区域服务器，区域服务器再将图像传输到监控中心计算机，经安装在监控中心计算机上的图像清晰化软件处理后显示在监控中心计算机的屏幕上；其特征在于：所述图像清晰化软件对图像的处理是按照以下步骤实施：

步骤1：将采集的原始RGB彩色图像转换到YUV颜色空间，其中R表示红色，G表示绿色，B表示蓝色，Y表示明亮度，U和V表示色度。对亮度Y分量进行三级小波分解，得到一个低频子带和多个不同尺度的高频子带；

步骤2：在小波域的低频子带上利用高斯模糊算法对介质散射光进行估计与去除，获得衰减低频子图；

步骤3：采用基于局部复杂度的方法调整衰减因子，对衰减低频子图进行自适应增强，复原出低频子带复原子图；

步骤4：采用非线性变换增强方法对小波域中高频子带进行增强处理；

步骤5：小波反变换及颜色空间的转换：对增强后的小波系数进行小波反变换得到增强后的亮度分量，将增强后的亮度分量Y'与UV分量重新合成清晰的YUV图像，再将YUV颜色空间的图像转换到RGB彩色空间，最后得到清晰的彩色图像。

Images