CN101783963B - 一种具有高光抑制的夜间图像增强方法 - Google Patents

Abstract

本发明公开了一种具有高光抑制的夜间图像增强方法，该方法按照以下步骤实施：步骤1、图像的色系转换，从RGB色系转换到HSV色系中，保留颜色信息的H和S通道信息，只对亮度通道V进行处理；步骤2、图像的预增强处理；步骤3、确定抑制参数，包括抑制模板和抑制范围；再进行高光区域的抑制；步骤4、直方图展宽处理，利用高光抑制时产生的空灰度级，将图像像素灰度级进行重新分布，展宽直方图；步骤5、图像归一化，再从HSV色系转换到RGB色系下进行显示，得到增强的夜间图像。本发明方法能够有效的增强夜间图像，并抑制图像中的高光，在不改变原本图像像素间关系的同时，最大限度的提高图像的对比度，使得图像能够表述最大信息量。

Description

一种具有高光抑制的夜间图像增强方法

技术领域

本发明属于视频监控技术领域，涉及一种具有高光抑制的夜间图像增强方法。

背景技术

夜间图像的增强是完成智能监控系统在夜间正常工作的重要环节，考虑到夜间的光照环境较为复杂，采用普通的照相机或摄像机拍摄的图像一般都会出现强光源造成的高光区域，这些高光区域的存在，使得所拍摄到的图像因光照的动态范围过大，导致了场景画面出现图像过暗、照度不均、存在强光干扰的情况，噪声影响大，特别是强光源(如车灯、闪光灯)对夜间图像的增强造成了更多的困难。但是目前的图像增强方法虽然对图像中暗区细节的增强效果不错，但是对高光区域没有进行抑制，严重影响了光源附近的高光区域的细节显示。

发明内容

本发明的目的是提供一种具有高光抑制的夜间图像增强方法，解决了现有技术中存在的对高光区域没有进行有效抑制，严重影响了光源附近的高光区域细节显示的问题。

本发明所采用的技术方案是，一种具有高光抑制的夜间图像增强方法，该方法按照以下步骤实施，

步骤1、对输入的夜间图像的色系进行转换

在初始化过程中，对输入的夜间图像从RGB色系转换到HSV色系中，保留颜色信息的H和S通道信息，只对亮度通道V进行处理；

步骤2、对上步处理好的HSV色系下的夜间图像，采用基于时域递归滤波器的Retinex增强方法，进行图像的预增强处理，得到预增强结果图像；

步骤3、对上步预增强结果图像进行高光抑制处理：首先确定抑制参数，包括抑制模板和抑制范围，再进行高光区域的抑制；

步骤4、对步骤3进行了高光抑制后的图像，统计其直方图，并对其直方图进行展宽处理：经过步骤3的高光抑制后，图像的直方图出现了比较集中的、连续一段的灰度级无像素分布，利用这些空灰度级，将图像像素灰度级进行重新分布，完成直方图展宽处理；

步骤5、图像归一化：将步骤4展宽处理后的图像从HSV色系转换到RGB色系下进行显示，得到最终的具有高光抑制的夜间图像的增强结果。

本发明的方法，在适应夜间图像中存在强光源造成的高光区域的情况下，采用基于邻域信息的高光抑制方法和直方图展宽方法对夜间图像增强过程中出现的高光区域进行有效的抑制，并通过提高图像对比度而对其进行增强，从而，在不改变原本图像像素间关系的同时，最大限度的提高图像的对比度，使得图像能够表述最大信息量。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明的具有高光抑制的夜间图像增强方法，按照以下步骤实施：

步骤1、对输入的夜间图像的色系进行转换

为了更好保持图像的颜色信息，在初始化过程中，对输入的夜间图像从RGB色系转换到HSV色系中，保留颜色信息的H和S通道信息，只对亮度通道V进行处理。由于色系转换是现有技术，这里不再重复。

步骤2、对步骤1转换后的图像进行预增强处理

对上步处理好的HSV色系下的夜间图像，采用基于时域递归滤波器的Retinex增强方法，基于时域递归滤波器的Retinex增强方法是现有技术，作为后续处理的必要前提，只叙述涉及后续操作所必须的技术步骤。

对于大小为m×n的输入的夜间图像F＝[f(x，y)]_m×n，其在(x，y)点上的光照成像模型可表示为：f(x，y)＝r(x，y)·i(x，y)，x＝1，2，...，m，y＝1，2，...，n  (1)

其中，i(x，y)为照射分量，由光源确定；r(x，y)为反射分量，由景物特性确定。

根据公式1)给出的光照模型，图像的预增强包括以下几个步骤：

2.1)分离输入的夜间图像的照射分量与反射分量

设输入的夜间图像的大小为m×n，根据光照特性，使用一个可以保持边界轮廓信息的低通滤波器来估算图像的照射分量，即从输入夜间图像中估算出的在点(x，y)上的照射分量值

为：

$\tilde{i}(x,y)=\frac{\mathrm{\α}[\tilde{i}(x,y-1)S_v(x,y)+\tilde{i}(x-1,y)S_h(x,y)]}{S_v(x,y)+S_h(x,y)+1}+\frac{[(S_v(x,y)+S_h(x,y))(1-\mathrm{\α})+1]\·f(x,y)}{S_v(x,y)+S_h(x,y)+1}$

x＝1，2，...，m，y＝1，2，...，n    (2)

其中，

为估计出的照射分量，f(x，y)为输入的夜间图像，α是最大权值，一般取值为0.99，S_h(x，y)和S_v(x，y)分别为水平方向上和垂直方向上的边界检测器，其表达式分别为：

$S_h(x,y)=\frac{H}{{\left(\log \frac{\mathrm{\δ}+f(x-1,y)}{\mathrm{\δ}+f(x+1,y)}\right)}^2+\mathrm{\δ}}---\left(3\right)$

$S_v(x,y)=\frac{H}{{\left(\log \frac{\mathrm{\δ}+f(x,y-1)}{\mathrm{\δ}+f(x,y+1)}\right)}^2+\mathrm{\δ}}---\left(4\right)$

其中，δ为一个极小的正数，H是一常数，一般取0.2为宜。根据公式1和公式2可得估计的反射分量

为：

当估计的

时，置

ε为大于0的数。

2.2)照射分量的增强处理

设根据公式1估计出的照射分量值的分布范围为[i_min，i_max]，对照射分量处理采用改进型的gamma函数构造映射曲线来进行曲线调整，在处理前先将照射分量归一化到[0，1]之间，即：

利用改进型的gamma调整函数对照射分量进行增强：

$\hat{i}(x,y)=g\left(z(x,y)\right)=(1-\mathrm{\α}\left(z(x,y)\right))\·z{(x,y)}^{\mathrm{\γ}}+\mathrm{\α}\left(z(x,y)\right)\·z(x,y)---\left(7\right)$

其中，α(z(x，y))为权重函数，在对输入的夜间图像处理时，权重函数使用α(z(x，y))＝z(x，y)²时，效果比较理想，参数γ∈[0.2，0.3]。

2.3)照射分量的线性对比度增强

对经过步骤2.2)增强处理后的照射分量

统计其直方图，因为少量的低灰度级像素以及少量的高灰度级像素的分布，使得直方图的分布较为集中，因此，对影响直方图分布，但不影响视觉效果的灰度级进行归并，同时对照射分量进行对比度的线性展宽，计算公式如下：

$i*(x,y)=\left\{\begin{array}{cc}0& \hat{i}(x,y)<d_{\mathrm{low}}\\ \frac{255}{d_{\mathrm{high}}-d_{\mathrm{low}}}\&CenterDot;\hat{i}(x,y)& d_{\mathrm{low}}\&le;\hat{i}(x,y)\&le;d_{\mathrm{high}}\\ 255& \hat{i}(x,y)>d_{\mathrm{high}}\end{array}\right.,---\left(8\right)$

其中，i*(x，y)为处理后的照射分量，d_low和d_high分别为经步骤2.2)增强处理后的照度分量

的下饱和点和上饱和点，是根据其直方图统计得到的，一般情况下，下饱和点和上饱和点分别选取灰度分布的累积概率为0.01和0.99的点时，被抑制的像素数仅仅占到画面的2％，不影响视觉效果，但由此可换取大大提高对比度的益处。

2.4)反射分量的增强处理

选用的sigmoid函数h(z)为：

其中，k∈[0.35，0.87]，函数c(z)为权重函数，其表达式为：

$c\left(z\right)=\left\{\begin{array}{cc}\frac{1}{2}(a+z\&CenterDot;(b-a)/d),& z<d\\ \frac{1}{2}b,& z\&GreaterEqual;d\end{array}\right.---\left(10\right)$

其中，a∈[0.35，0.62]，b∈[1.05，1.2]，d∈[0.7，1.5]。

反射分量

的值增强时，采用改进型的sigmoid函数构造的调整曲线进行曲线调整，即：

$r^{*}(x,y)=e^{\hat{r}(x,y)},---\left(12\right)$

2.5)将照射分量与反射分量融合，得到对输入的夜间图像的预增强结果，即： $\hat{f}(x,y)=r^{*}(x,y)\&CenterDot;i^{*}(x,y),---\left(13\right)$

步骤3、高光抑制处理

经过步骤2的图像预增强后，还要对预增强后的夜间图像中高光区域进行抑制处理，目的在于减少强光的光晕对目标区域细节信息的干扰，夜间图像中出现的高光区域都由人造光源形成，人造光源都可以抽象成由若干个点光源构成，光由点光源逐渐的向周围扩散，在光源的周围形成高光区域。这种高光模式反映到图像中就是以高光像素为中心，其周围像素的灰度值逐渐的降低。本发明采用基于邻域信息的高光抑制方法，利用高光像素的邻域信息将高光区域的灰度值逐渐减小，来减弱光强，达到抑制高光的目的。

抑制高光处理按照以下几个环节具体实施：

3.1)确定抑制参数，包括抑制模板和抑制范围。

抑制模板的大小就是以高光像素为中心的邻域范围大小，模板一般选取d_m×d_m，d_m为奇数的模板，如果模板选取过小，抑制后的高光区域会出现很多噪声；如果模板选取的过大，抑制后的高光区域虽然很平滑，但计算时间大大的增加，因此选取d_m＝11时，效果比较理想。

抑制范围[c_L，c_H]，是指需要被抑制的高光像素的灰度分布范围，其中，c_H为高光像素的最高灰度值，一般选择像素灰度值为图像的最大灰度值c_L为高光像素的最低灰度值，其值的大小直接影响高光抑制的效果，如选取的过大，对高光区域抑制的效果不明显；如选取的过小，计算量加大，但对高光区域抑制的效果比较好，选择像素灰度值为

为宜。

3.2)高光区域的抑制

首先，遍历经过步骤2预增强后的图像

寻找其中的高光像素p，p∈Ω_p，

然后以待处理高光像素p为中心，套用抑制模板，在模板内寻找满足条件的次高光像素q；

次高光像素q应满足以下条件：

①次高光像素的灰度值必须小于高光像素的灰度值，即

②次高光像素的灰度值应最接近高光像素的灰度值，即灰度差值Δ_q满足下式：

x，y＝1，2，...，w    (14)

其中，w为模板的宽度。

采用次高光像素q的灰度值

替换高光像素p的灰度值即

完成对图像

的遍历，对高光区域进行一层抑制；

然后，增大高光像素最低灰度值c_L，即令c_L＝c_L+1，缩小抑制范围[c_L，c_H]，转到步骤3.2)再遍历一次图像，完成对高光区域的一层迭代抑制，直到高光像素最低灰度值增加到与高光像素最高灰度值相等，即c_L＝c_H时，结束对图像

的遍历，完成对其高光区域的逐层迭代抑制。

步骤4、对步骤3处理好的直方图进行展宽处理

高光抑制后，图像的直方图出现了比较集中的、连续一段的灰度级无像素分布，利用这些空灰度级，将其像素灰度级进行重新分布，展宽直方图，具体按照以下几个环节来实施：

4.1)统计经过高光抑制后的图像

的灰度的直方图h_f(k)，统计其概率分布p_f(k)：h_f(k)＝N_k，k＝0，1，...，L-1    (15)

$p_f\left(k\right)=\frac{N_f}{m\&times;n},$ k＝0，1，...，L-1    (16)

其中，N_k是图像

中灰度级等于k的像素个数；

4.2)统计直方图中空灰度级，即N_k＝0的总个数n，并记录空灰度级的位置w_r(k)，k＝1，2，...n；

4.3)根据插空规则计算空灰度级插空位置

插空规则是灰度级展宽的核心，考虑到使处理后图像平均熵的最大化，选用灰度级等概率分布插空规则。灰度级等概率分布插空规则是利用直方图累积分布概率，进行等概率间隔的插入空灰度级，即每隔一定数量的像素插入一个空灰度级，以此来计算新的插空位置

首先统计出图像

的直方图累积分布概率P_a(i)，i＝0，1，...，L-1：

$P_a\left(i\right)=\underset{k=0}{\overset{i}{\mathrm{\&Sigma;}}}{p}_f\left(k\right)---\left(17\right)$

然后，计算插空比b，其中，n为空灰度级的个数：b＝0.99/n(18)最后，获得新的插空位置

i满足下式：

P_a(i)≤k·b＜P_a(i+1)，i＝0，1，...，L-1，k＝1，2，...，n    (19)

得到了新的插空位置

后，如果出现几个插空位置在同一灰度级上，会因为插空太多造成灰度级断层，影响最后直方图展宽的效果，为此，在两个插空位置之间需要设置一个最短间隔d_s，当

时，令

以此类推，最短间隔d_s优选为1-2个灰度级，效果比较好。

4.4)根据新的插空位置，将n个空依次插空到

处，并更新灰度映射表h(i)如下：如果

则

如果

则

如果

则h(i)，i＝0，1，...，L-1不变。

4.5)根据灰度映射表，得到直方图展宽处理后的结果图像[f*(x，y)]_m×n，即：

x＝0，1，...，m-1，y＝0，1，...，n-1    (22)

步骤5、图像归一化：上述操作都是在亮度通道V中进行，操作结束之后，将步骤4处理得到的结果图像从HSV色系转换到RGB色系下进行显示，至此，完成了对夜间图像的增强，同时对高光区域进行了有效的抑制。

Claims (4)

1.一种具有高光抑制的夜间图像增强方法，其特征在于：该方法按照以下步骤实施，

步骤1、对输入的夜间图像的色系进行转换

在初始化过程中，对输入的夜间图像从RGB色系转换到HSV色系中，保留颜色信息的H和S通道信息，只对亮度通道V进行处理；

步骤2、对上步处理好的HSV色系下的夜间图像，采用基于时域递归滤波器的Retinex增强方法，进行图像的预增强处理，得到预增强结果图像；

步骤3、对上步预增强结果图像进行高光抑制处理：首先确定抑制参数，包括抑制模板和抑制范围，再进行高光区域的抑制；

步骤4、对步骤3进行了高光抑制后的图像，统计其直方图，并对其直方图进行展宽处理：经过步骤3的高光抑制后，图像的直方图出现了比较集中的、连续一段的灰度级无像素分布，利用这些空灰度级，将图像像素灰度级进行重新分布，完成直方图展宽处理；

步骤5、图像归一化：将步骤4展宽处理后的图像从HSV色系转换到RGB色系下进行显示，得到最终的具有高光抑制的夜间图像的增强结果。

2.按照权利要求1所述的方法，其特征在于，所述步骤2的预增强处理步骤是，对于m×n大小的输入夜间图像F＝[f(x，y)]_m×n，其在(x，y)点上的光照成像模型表示为：

f(x，y)＝r(x，y)·i(x，y)，x＝1，2，...，m，y＝1，2，...，n    (1)

其中，i(x，y)为照射分量，由光源确定；r(x，y)为反射分量，由景物特性确定，f(x，y)为光照成像模型，F为大小是m×n的输入夜间图像，具体包括：

2.1)分离输入夜间图像的照射分量与反射分量，根据光照特性，使用一个可以保持边界轮廓信息的低通滤波器来估算图像的照射分量，即从输入夜间图像中估算出的在点(x，y)上的照射分量值

为：

其中，为估计出的照射分量，f(x，y)为输入的夜间图像，α是最大权值，S_h(x，y)和S_v(x，y)分别为水平方向上和垂直方向上的边界检测器的检测值，其表达式分别为：

$S_h(x,y)=\frac{H}{{\left(\log \frac{\mathrm{\&delta;}+f(x-1,y)}{\mathrm{\&delta;}+f(x+1,y)}\right)}^2+\mathrm{\&delta;}}---\left(3\right)$

$S_v(x,y)=\frac{H}{{\left(\log \frac{\mathrm{\&delta;}+f(x,y-1)}{\mathrm{\&delta;}+f(x,y+1)}\right)}^2+\mathrm{\&delta;}}---\left(4\right)$

其中，δ为一个极小的正数，H是一常数，根据公式1和公式2可得估计的反射分量为：x＝1，2，...，m，y＝1，2，...，n    (5)

当估计的时，置

ε为大于0的数；

2.2)照射分量的增强处理

设根据公式1估计出的照射分量值的分布范围为[i_min，i_max]，对照射分量处理采用改进型的gamma函数构造映射曲线来进行曲线调整，在处理前先将照射分量归一化到[0，1]之间，即：

$z(x,y)=\frac{1}{i_{\max }-i_{\min }}\&CenterDot;(\tilde{i}(x,y)-i_{\min }),---\left(6\right)$

z(x，y)是照射分量，利用改进型的gamma调整函数对照射分量进行增强：

$\hat{i}(x,y)=g\left(z(x,y)\right)=(1-\mathrm{\&alpha;}\left(z(x,y)\right))\&CenterDot;z{(x,y)}^{\mathrm{\&gamma;}}+\mathrm{\&alpha;}\left(z(x,y)\right)\&CenterDot;z(x,y)---\left(7\right)$

其中，

是增强后的照射分量，α(z(x，y))为权重函数，在对输入的夜间图像处理时，权重函数使用α(z(x，y))＝z(x，y)²，参数γ∈[0.2，0.3]；

2.3)照射分量的线性对比度增强

对经过步骤2.2)增强处理后的照射分量

统计其直方图，因为少量的低灰度级像素以及少量的高灰度级像素的分布，使得直方图的分布较为集中，因此对影响直方图分布，但不影响视觉效果的灰度级进行归并，同时对照射分量进行对比度的线性展宽，计算公式如下：

$i*(x,y)=\left\{\begin{array}{cc}0& \hat{i}(x,y)<d_{\mathrm{low}}\\ \frac{255}{d_{\mathrm{high}}-d_{\mathrm{low}}}\&CenterDot;\hat{i}(x,y)& d_{\mathrm{low}}\&le;\hat{i}(x,y)\&le;d_{\mathrm{high}}\\ 255& \hat{i}(x,y)>d_{\mathrm{high}}\end{array}\right.,---\left(8\right)$

其中，i*(x，y)为处理后的照射分量，d_low和d_high分别为经步骤2.2)增强处理后的照度分量

的下饱和点和上饱和点，是根据其直方图统计得到的，下饱和点和上饱和点分别选取不影响视觉效果的可归并的最大低灰度级以及最小高灰度级的点；

2.4)反射分量的增强处理

选用的sigmoid函数h(z)为： $h\left(z\right)=k\&CenterDot;\frac{1+e^{-\frac{c\left(z\right)}{k}\&CenterDot;z}}{1-e^{-\frac{c\left(z\right)}{k}\&CenterDot;z}}---\left(9\right)$

其中，k∈[0.35，0.87]，函数c(z)为权重函数，其表达式为：

$c\left(z\right)=\left\{\begin{array}{cc}\frac{1}{2}(a+z\&CenterDot;(b-a)/d),& z<d\\ \frac{1}{2}b,& z\&GreaterEqual;d\end{array}\right.,---\left(10\right)$

其中，a∈[0.35，0.62]，b∈[1.05，1.2]，d∈[0.7，1.5]，

反射分量

的值增强时，采用改进型的sigmoid函数构造的调整曲线进行曲线调整，即： $\hat{r}(x,y)=h\left(\log \tilde{r}(x,y)\right);---\left(11\right)$

$r*(x,y)=e^{\hat{r}(x,y)};---\left(12\right)$

2.5)照射分量与反射分量融合，得到预增强处理后的图像，该预增强处理后的图像表达式为

即： $\hat{f}(x,y)=r*(x,y)\&CenterDot;i*(x,y).---\left(13\right)$

3.按照权利要求1所述的方法，其特征在于，所述步骤3的高光抑制处理，具体步骤包括：

3.1)确定抑制参数，包括抑制模板和抑制范围

抑制模板的大小就是以高光像素为中心的邻域范围大小，模板选取为d_m×d_m，d_m为奇数的模板；

抑制范围为[c_L，c_H]，是指需要被抑制的高光像素的灰度分布范围，其中，c_H为高光像素的最高灰度值，一般选择像素灰度值为图像

的最大灰度值

c_L为高光像素的最低灰度值，选择像素灰度值为

3.2)高光区域的抑制：首先，遍历预增强后的图像

寻找其中的高光像素p，p∈Ω_p， ${\mathrm{\&Omega;}}_p=\{{\hat{f}}_p=\hat{f}(x,y)|\hat{f}(x,y)\&Element;[c_L,c_H]\},$

为高光像素p的集合范围；然后以待处理高光像素p为中心，套用抑制模板，在模板内寻找满足条件的次高光像素q；

次高光像素应满足以下条件：

①次高光像素的灰度值必须小于高光像素的灰度值，即

②次高光像素的灰度值应最接近高光像素的灰度值，即灰度差值Δ_q满足下式： ${\mathrm{\&Delta;}}_q=\underset{x=1,y=1,x,y\&NotEqual;(w+1)/2}{\overset{x\&le;d,y\&le;d}{\min }}({\hat{f}}_p-\hat{f}(x,y)),$ x，y＝1，2，...，w    (14)

其中，w为模板的宽度，

为预增强处理后的图像，

用次高光像素q的灰度值

替换高光像素p的灰度值

即

完成对图像的遍历，对高光区域进行一层抑制，

然后，增大高光像素最低灰度值c_L，即令c_L＝c_L+1，缩小抑制范围[c_L，c_H]，转到步骤3.2)再遍历一次图像完成对高光区域的一层迭代抑制，直到高光像素最低灰度值增加到与高光像素最高灰度值相等，即c_L＝c_H，结束对图像

遍历，完成对其高光区域的逐层迭代抑制。

4.按照权利要求1所述的方法，其特征在于，所述步骤4进行高光抑制后的图像进行直方图展宽处理，按照以下具体步骤实施：

4.1)统计高光抑制后的图像

的直方图h_f(k)，统计其概率分布p_f(k)：h_f(k)＝N_k，k＝0，1，...，L-1    (15)

$p_f\left(k\right)=\frac{N_f}{m\&times;n},$ k＝0，1，...，L-1    (16)

其中，N_k是图像中灰度级等于k的像素个数，图像的大小为m×n，p_f(k)为直方图h_f(k)的概率分布；

4.2)统计直方图中的空灰度级，即N_k＝0的总个数n，并记录空灰度级的位置w_r(k)，其中的k＝1，2，…n；

4.3)根据插空规则计算空灰度级插空位置

选用灰度级等概率分布插空规则，进行等概率间隔的插入空灰度级，即每隔一定数量的像素插入一个空灰度级，以此来计算新的插空位置

首先统计出图像的直方图累积分布概率P_a(i)：

$P_a\left(i\right)=\underset{k=0}{\overset{i}{\mathrm{\&Sigma;}}}{p}_f\left(k\right),$ i＝0，1，...，L-1    (17)

然后，计算插空比b∶b＝0.99/n    (18)

其中，n为空灰度级的个数；

最后，获得新的插空位置

i满足下式：

P_a(i)≤k·b＜P_a(i+1)，其中的i＝0，1，...，L-1，k＝1，2，...，n    (19)

得到了新的插空位置

后，如果出现几个插空位置在同一灰度级上，会因为插空太多造成灰度级断层，影响最后直方图展宽的效果，为此，在两个插空位置之间设置一个最短间隔d_s，当

时，令

以此类推，

4.4)根据新的插空位置，将n个空依次插空到处，并更新灰度映射表h(i)如下：如果

则

如果 ${\tilde{w}}_r\left(k\right)>w_r\left(k\right),$ 则

如果

则h(i)不变；

4.5)根据灰度映射表，得到直方图展宽处理后的结果图像：

$f*(x,y)=h\left(\hat{f}(x,y)\right),$ x＝0，1，...，m-1，y＝0，1，...，n-1    (22)

其中，

为经过高光抑制后的图像。