CN101290680A - 基于直方图均衡化过校正恢复的雾天视频图像清晰化方法 - Google Patents

Abstract

本发明公开了一种基于直方图均衡化过校正恢复的雾天视频图像清晰化方法，该方法按照以下步骤实施，首先确定视频序列的一个基础帧，对基础帧进行直方图均衡化处理；之后再进行过校正细节恢复，获得一个清晰化处理的映射表；然后，对处理后的基础帧进行滤波去噪处理；然后，利用基础帧清晰化处理所得到的映射表对后续帧进行清晰化处理；并按照同样的方法对处理后的后续帧进行滤波去噪；每隔一段时间，更新一次基础帧；不断地进行相同的基础帧和后续帧的清晰化处理，直到规定的清晰化过程完成。本发明的方法不仅能够恢复因大雾天气而退化的细节信息，并且能够满足视频清晰化处理的实时性要求。

Description

基于直方图均衡化过校正恢复的雾天视频图像清晰化方法

技术领域

本发明属图像恢复技术领域，具体涉及一种基于直方图均衡化过校正恢复的雾天视频图像清晰化方法。

背景技术

大雾天气下的图像，因为能见度的降低，使得画面上许多景物的细节无法辨认，因此，提高画面的能见度，增加图像的清晰度成为一个在户外监视系统中不可缺少的一个核心技术。

直方图均衡化方法是对低对比度的图像进行清晰化处理的一种常用的比较有效的方法，但存在灰度归并，以及过校正等问题，同时，直方图均衡化方法比较复杂，很难满足视频清晰化的实时性的要求。

发明内容

本发明的目的是，提供一种基于直方图均衡化过校正恢复的雾天视频图像清晰化方法，克服现有技术存在灰度归并以及过校正的问题，提高画面的能见度，并满足视频图像实时性处理的要求。

本发明的技术方案是，一种基于直方图均衡化过校正恢复的雾天视频图像清晰化方法，该方法按照以下步骤实施，

步骤1、首先，确定视频帧序列中的基础帧与后续帧，将启动清晰化处理后的第一帧作为基础帧，之后，每隔一定时间间隔，更新一个视频基础帧，跟在基础帧后的其余视频帧为后续帧；

步骤2、对步骤1确定的基础帧进行直方图均衡化处理；

步骤3、对上步经直方图均衡化处理后的基础帧，通过统计其灰度归并的情况进行过校正恢复，得到一个前后图像灰度值的映射表hs；

步骤4、对步骤3经过过校正恢复的基础帧进行滤波去噪处理；

步骤5、利用步骤3中过校正恢复处理后得到的映射表，对后续帧进行清晰化处理；

步骤6、对上步处理后的后续帧按照步骤4的方法进行滤波去噪处理；

步骤7、判断是否结束清晰化处理，如果是，则结束所有的操作，

如果不是，则判断时间间隔是否到设定的阈值T，如果是，下一帧作为基础帧处理，转步骤2进行循环处理；如果不是，则下一帧作为后续帧处理，转步骤5进行循环处理，并且将计数值加1。

本发明的有益效果是实现了对大雾条件下，户外监视视频画面的实时清晰化处理，对于VGA分辨率下的视频，经过清晰化处理之后，能够恢复出大部分的细节信息。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明的方法的原理是，基于直方图均衡化过校正恢复的大雾天气下视频图像清晰化处理方法，将实时监视的视频图像分为基础帧和后续帧，基础帧采用直方图均衡化处理后，比较原图像与处理后图像的直方图分布特性，并对所归并掉的灰度细节进行恢复，完成直方图均衡化的过校正恢复，同时得到清晰化处理的映射表，之后，根据该映射表对后续帧进行清晰化处理，实现了对视频监视画面的实时清晰化处理的目的。

本发明的雾天图像清晰化处理方法，将处理前的图像称为原图像，按照以下步骤实施，

步骤1、视频基础帧与后续帧的确定。视频的基础帧是指启动清晰化处理后，第一帧图像为基础帧，之后，为了适应环境光照的变化，在每隔一定的时间间隔下，更新基础帧。更新间隔的时间可以设置为10分钟，按照每秒钟25帧的帧率计算，每15000帧中，头一帧为基础帧，跟在其后的其余视频帧为后续帧。因此，基础帧所占比例大约为0.006％。

步骤2、对步骤1确定的基础帧进行直方图均衡化处理，具体步骤如下：

1)、统计处理前的原图像[f_B(i，j)]_m×n的灰度直方图，记作h_B，则

h_B(k)＝N_k/(m·n)，k＝0，1，2，...，255    (1)

其中，N_k为[f_B(i，j)]_m×n中，像素值等于k的像素个数，m，n分别为图像[f_B(i，j)]_m×n的行数和列数。

2)、按照下式计算[f_B(i，j)]_m×n的累计直方图hs，即

$\mathrm{hs}\left(k\right)=\left\{\begin{array}{cc}\underset{i=0}{\overset{k}{\mathrm{\Σ}}}{h}_B\left(i\right)& k\≠0\\ 0& k=0\end{array}\right.---\left(2\right)$

3)、按照下式计算得到直方图均衡化处理的结果[f_h(i，j)]_m×n

f_h(i，j)＝255·hs(f_B(i，j))，i＝1，2，..，m，j＝1，2，..，n    (3)

步骤3、对直方图均衡化处理后的基础帧[f_h(i，j)]_m×n通过统计其灰度归并的情况进行过校正恢复。

1)、按照公式(1)统计图像[f_h(i，j)]_m×n的灰度直方图，记作h_h。

2)、计算直方图均衡化处理前后图像的直方图的峰值位置

即：设直方图为h，则峰值位置k_max为

k_max＝{k|h(k)＝max[h]}(4)

设按照上式，计算得到的[f_B(i，j)]_m×n和[f_h(i，j)]_m×n的直方图峰值位置分别为kB_max，kh_max。

3)、查找直方图均衡化处理后被归并的灰度级。对照前后图像灰度值的映射表hs，如果hs(i)＝hs(j)，则表明原图像中的灰度值i，j被归并为相同的值hs(i)；如果hs(i)＝k，hs(i+1)＝k+s，并且s＞1，则表明在处理后图像中，没有像素灰度值[k+1，k+s-1]的范围内，这里称之为相邻灰度级间存在s-1个空位。

如果原图像中的所有细节全部恢复，就会影响到图像主要成分的对比度，为此，本发明设置有归并允许归并像素的概率分布小于万分之五的灰度级，因为这样的像素集合对于图像的影响非常小，能够被一般人的视觉忽略。

计算原图像直方图h_B的统计值，当h_B(k)≤0.00005时，则灰度级k允许被归并。

4)、暗区细节恢复。计算原图像[f_B(i，j)]_m×n中[0，kB_max]之间的h_B(k)＞0.00005的灰度级个数，设为NB_l；计算直方图均衡化后图像[f_h(i，j)]_m×n中[0，kh_max]之间的h_h(k)＞0的灰度级个数，设为Nh_l，则需要恢复的像素级数为ΔN_l＝NB_l-Nh_l。

a、如果kB_max＞kh_max，表明直方图均衡化处理后，将峰值变小，统计图像[f_h(i，j)]在[kh_max，kB_max]范围内，不为空位的灰度级个数，记作NhB_max，如果kB_max＜kh_max，表明直方图均衡化处理后，将峰值变大，统计图像[f_h(i，j)]在[kB_max，kh_max]范围内，不为空位的灰度级个数，同样地，也记作NhB_max，

将这NhB_max个灰度级在[kB_max+1，255](峰值位置变小)范围内，或者是[kh_max+1，255](峰值位置变大)恢复。

具体方法是(以下的操作以峰值位置变小的情况下的处理，对于峰值位置变大的情况，只需要将kB_max与kh_max相互替换即可)：

按照顺序，找到其中的空位，在空位上顺序插入Nho_max个灰度级即可。这个操作在映射表修正上表示为：

判断：如果Δhs(s)＝hs(kB_max+s)-hs(kB_max+s-1)＞1则找到空位，

hs(k)＝hs(k)+Δhs(s)-1，k＝ko_max，...，ko+s    (5)

恢复了s个灰度级，不断地重复，直到恢复的灰度级个数等于NhB_max。

b、对映射表hs的暗区部分按照下式进行修正，移动[f_h(i，j)]的直方图峰值至ko_max：hs(k)＝hs(k)+(ko_max-kh_max)，k＝0，1，...，kh_max    (6)

c、如果ΔN_l＝0，则表明暗区细节不需要恢复，直接转入亮区细节恢复。否则，进行下面的操作：在[0，(ko_max-kh_max)]的灰度级范围内，恢复之前统计得到的ΔN_l个灰度级。具体方法是：找到映射表hs中所有hs(k)＝(ko_max-kh_max)的元素，将其值逆序分别递减1即可。

5)、亮区细节恢复。具体的方法是，在[ko_max+1，255]范围内，从255至ko_max逆序查找空位，如果有空位，则将映射表hs中两个相等的值中的一个减1，完成分解，恢复1个灰度级，以此循环，直到要求的细节恢复个数全部分解完成。经过上面的处理之后，获得了清晰化处理的映射表hs。

步骤4、进行滤波去噪处理。因为画面上的噪声是因为有雾天气下，空中悬浮的水珠颗粒造成的，可采用中值滤波进行处理，中值滤波的步骤如下：

1)、设定模板的大小为3×3；

2)、将该模板在整个画面上移动，对于待处理的像素f(i，j)，取其模板覆盖的范围的9个像素集合：Ω_f＝{f(i-1，j-1)，f(i-1，j)，f(i-1，j+1)，f(i，j-1)，f(i，j)，f(i，j+1)，f(i+1，j-1)，f(i+1，j)，f(i+1，j+1)}；

3)、将集合中的9个像素按照像素值的大小进行排序，其排列在中间位置上的像素值，作为滤波处理的结果。

步骤5、对后续帧进行清晰化处理。后续帧的清晰化处理方法是，根据由步骤3中得到的映射表hs给出的值，按照下面的公式获得清晰化处理的后续帧[g(i，j)]_m×n：g(i，j)＝hs(f(i，j))，i＝1，2，..，m，j＝1，2，..，n  (7)

步骤6、对后续帧进行滤波去噪处理。后续帧的滤波去噪处理方法同步骤4中的基础帧的滤波去噪处理方法。

步骤7、判断是否需要退出清晰化处理，如果是，则结束所有的操作，如果不是，则判断计时器的计时时间是否到设定的阈值T，如果是，下一帧作为基础帧处理，转到步骤2进行循环处理；如果不是，则下一帧作为后续帧处理，转到步骤5进行循环处理，并且计时器的计数值加1。

本发明的方法是将视频序列分为基础帧和后续帧两类，基础帧的帧数只占到后续帧的0.006％左右，对少量的基础帧采用过校正补偿的直方图均衡化方法进行处理，处理之后，建立一个映射表，对后续帧则只需要根据该映射表进行查表处理即可。这样就极大的减少了需要处理的视频图像的计算量，加快了处理的速度，保证了所需的图像画面质量，适应实时监控的需要。

采用本发明的方法，实现了对大雾条件下，户外监视视频画面的实时清晰化处理，对于VGA分辨率下的视频，能够达到平均帧率为20帧/秒的处理速度，能够恢复出大部分的细节信息，效率高，效果好。

Claims (5)

1、一种基于直方图均衡化过校正恢复的雾天视频图像清晰化方法，其特征在于，该方法按照以下步骤实施，

步骤1、首先，确定视频帧序列中的基础帧与后续帧，将启动清晰化处理后的第一帧作为基础帧，之后，每隔一定时间间隔，更新一个视频基础帧，跟在基础帧后的其余视频帧为后续帧；

步骤2、对步骤1确定的基础帧进行直方图均衡化处理；

步骤3、对上步经直方图均衡化处理后的基础帧，通过统计其灰度归并的情况进行过校正恢复，得到一个前后图像灰度值的映射表hs；

步骤4、对步骤3经过过校正恢复的基础帧进行滤波去噪处理；

步骤5、利用步骤3中过校正恢复处理后得到的映射表，对后续帧进行清晰化处理；

步骤6、对上步处理后的后续帧按照步骤4的方法进行滤波去噪处理；

步骤7、判断是否结束清晰化处理，如果是，则结束所有的操作，

如果不是，则判断时间间隔是否到设定的阈值T，如果是，下一帧作为基础帧处理，转步骤2进行循环处理；如果不是，则下一帧作为后续帧处理，转步骤5进行循环处理，并且将计数值加1。

2、按照权利要求1所述的方法，其特征在于，所述的步骤2的对基础帧进行直方图均衡化处理的具体方法是：

1)、统计处理前的原图像[f_B(i，j)]_m×n的灰度直方图，记作h_B，则

h_B(k)＝N_k/(m·n)，k＝0，1，2，...，255

其中，N_k为[f_B(i，j)]_m×n中，像素值等于k的像素个数，m，n分别为图像[f_B(i，j)]_m×n的行数和列数，

2)、按照下式计算[f_B(i，j)]_m×n的累计直方图hs，即

$\mathrm{hs}\left(k\right)=\left\{\begin{array}{cc}\underset{i=0}{\overset{k}{\mathrm{\Σ}}}{h}_B\left(i\right)& k\≠0\\ 0& k=0\end{array}\right.,$

3)、按照下式计算得到直方图均衡化处理的结果[f_h(i，j)]_m×n

f_h(i，j)＝255·hs(f_B(i，j))，i＝1，2，..，m，j＝1，2，..，n。

3、按照权利要求1所述的方法，其特征在于，所述的步骤3的直方图均衡化过校正恢复方法的具体方法是：

1)、统计直方图均衡化处理后的图像[f_h(i，j)]_m×n的灰度直方图，记作h_h，

2)、计算直方图均衡化处理前后图像的直方图的峰值位置

即：设直方图为h，则峰值位置k_max为

k_max＝{k|h(k)＝max[h]}

设按照上式，计算得到的[f_B(i，j)]_m×n和[f_h(i，j)]_m×n的直方图峰值位置分别为kB_max，kh_max，

3)、查找直方图均衡化处理后被归并的灰度级

对照前后图像灰度值的映射表hs，如果hs(i)＝hs(j)，则表明原图像中的灰度值i，j被归并为相同的值hs(i)；如果hs(i)＝k，hs(i+1)＝k+s，并且s＞1，则表明在处理后图像中，没有像素灰度值[k+1，k+s-1]的范围内，

设置归并允许归并像素的概率分布小于万分之五的灰度级，计算原图像直方图h_B的统计值，当h_B(k)≤0.00005时，则灰度级k允许被归并，

4)、暗区细节恢复，计算原图像[f_B(i，j)]_m×n中[0，kB_max]之间的h_B(k)＞0.00005的灰度级个数，设为NB_l；计算直方图均衡化后图像[f_h(i，j)]_m×n中[0，kh_max]之间的h_h(k)＞0的灰度级个数，设为Nh_l，则需要恢复的像素级数为ΔN_l＝NB_l-Nh_l，

a、如果kB_max＞kh_max，表明直方图均衡化处理后，将峰值变小，统计图像[f_h(i，j)]在[kh_max，kB_max]范围内，不为空位的灰度级个数，记作NhB_max，

如果kB_max＜kh_max，表明直方图均衡化处理后，将峰值变大，统计图像[f_h(i，j)]在[kB_max，kh_max]范围内，不为空位的灰度级个数，同样地，也记作NhB_max，

将这NhB_max个灰度级在[kB_max+1，255](峰值位置变小)范围内，或者在[kh_max+1，255](峰值位置变大)恢复，

具体方法是：按照顺序，找到其中的空位，在空位上顺序插入Nho_max个灰度级即可，这个操作在映射表修正上表示为：

判断：如果Δhs(s)＝hs(kB_max+s)-hs(kB_max+s-1)＞1则找到空位，

hs(k)＝hs(k)+Δhs(s)-1，k＝ko_max，...，ko+s

恢复了s个灰度级，不断地重复，直到恢复的灰度级个数等于NhB_max，

以上的操作以峰值位置变小的情况下的处理，对于峰值位置变大的情况，将kB_max与kh_max相互替换即可，

b、对映射表hs的暗区部分按照下式进行修正，移动[f_h(i，j)]的直方图峰值至ko_max：hs(k)＝hs(k)+(ko_max-kh_max)，k＝0，1，...，kh_max，

c、如果ΔN_l＝0，则表明暗区细节不需要恢复，直接转入亮区细节恢复，否则，进行下面的操作：在[0，(ko_max-kh_max)]的灰度级范围内，恢复之前统计得到的ΔN_l个灰度级，具体方法是：找到映射表hs中所有hs(k)＝(ko_max-kh_max)的元素，将其值逆序分别递减1即可，

5)、亮区细节恢复，具体的方法是，在[ko_max+1，255]范围内，从255至ko_max逆序查找空位，如果有空位，则将映射表hs中两个相等的值中的一个减1，完成分解，恢复1个灰度级，以此循环，直到要求的细节恢复个数全部分解完成，得到清晰化处理的映射表hs。

4、按照权利要求1所述的方法，其特征在于，所述的步骤4的对过校正恢复的基础帧进行滤波去噪处理，采用中值滤波方法进行处理，步骤如下：

1)、设定模板的大小为3×3；

2)、将该模板在整个画面上移动，对于待处理的像素f(i，j)，取其模板覆盖的范围的9个像素集合：Ω_f＝{f(i-1，j-1)，f(i-1，j)，f(i-1，j+1)，f(i，j-1)，f(i，j)，f(i，j+1)，f(i+1，j-1)，f(i+1，j)，f(i+1，j+1)}；

3)、将集合中的9个像素按照像素值的大小进行排序，其排列在中间位置上的像素值，作为滤波处理的结果。

5、按照权利要求1所述的方法，其特征在于，所述的步骤5的对后续帧进行清晰化处理方法的具体方法是：

根据所述的步骤3所得到的清晰化处理映射表hs给出的值，按照下面的公式获得清晰化处理的后续帧[g(i，j)]_m×n：

g(i，j)＝hs(f(i，j))，i＝1，2，..，m，j＝1，2，..，n。