CN103455979B - 一种低照度视频图像增强方法 - Google Patents

Abstract

本发明公开了一种低照度视频图像增强方法，属于图像处理技术领域。本发明包括白平衡处理模块、图像去噪模块、图像增强模块、边缘补偿模块、帧间补偿模块；视频图像信息依次经过白平衡处理模块、图像去噪模块、图像增强模块、边缘补偿模块、帧间补偿模块，最后得到增强视频图像。

Description

一种低照度视频图像增强方法

技术领域

本发明涉及一种低照度视频图像增强方法，属于图像处理技术领域。

背景技术

在阴天、夜晚、光照不足等低照度情况下，或由于逆光等原因，使得获取的视频亮度很低，图像偏暗，这既影响视频图像的主观质量，也影响后续视频处理方法的性能。此时，需要用低照度视频增强技术进行处理，以提高视频图像的质量。

通常，低照度视频有三个特点：(1)图像亮度整体偏暗；(2)由于光照条件的限制及光源本身的影响，RGB中某些分量可能相对其它分量偏低，直接增强会产生偏色问题；(3)与理想光照条件下获取的图像相比，其含有大量噪声，如果不做任何处理直接进行图像增强，则在增强图像的同时也会增强噪声。

视频是由若干图像帧构成，故视频增强的核心是图像增强。目前针对彩色图像的增强方法主要有三类：(a)基于Retinex的方法；(b)基于HSV等色彩空间的亮度增强方法；(c)基于RGB等比例增益的方法。Retinex理论认为，物体的亮度是由入射分量(即照度分量)和反射分量共同决定。照度分量与光源有关，反射分量与物体本身的颜色有关，即反射分量反映了物体的真实颜色。通过从图像中移除光源照度的影响，就可获得物体的真实颜色图像；基于HSV等空间的亮度增强方法认为，彩色图像的RGB三个分量之间具有很强的相关性，分别对RGB分量进行处理，会导致颜色失真，若在HSV等空间对亮度分量进行增强，就可以增强图像，同时不会引起颜色失真；基于RGB等比例增益的方法认为，若两个像素的RGB分量的比例大致相同，则认为这两个像素具有同样的颜色，只有亮度不同，这样，只要对RGB分量都乘以一个适当的增益，就可以实现图像的增强。

发明内容

本发明针对以上问题的提出，而研制一种低照度视频图像增强方法。

本发明的技术手段如下：

一种低照度视频图像增强方法包括白平衡处理模块、图像去噪模块、图像增强模块、边缘补偿模块、帧间补偿模块；视频图像信息依次经过白平衡处理模块、图像去噪模块、图像增强模块、边缘补偿模块、帧间补偿模块，最后得到增强视频图像。

本发明的有益效果：为了验证本发明方法的有效性，用两个低照度环境下拍摄的实际视频进行测试。测试平台以及视频参数信息如如图6所示。

通过观察可知，图7(a)原始测试视频亮度明显偏低；图7(b)MSR方法没有明显增强效果，且对噪声有放大作用；图7(c)改进的Retinex方法虽然可以增强图像亮度，但是存在过度增强的问题，且对噪声敏感；图7(d)针对HSV空间中的V分量的同态滤波方法和图7(e)中的RGB等比例增益方法，虽然可以增强图像亮度，且不存在过度增强问题，但是对噪声依旧敏感；图7(f)本发明增强了图像亮度，有效地抑制了噪声，且保证了图像边缘和色彩的平衡。

附图说明

图1低照度视频增强技术方案框图。

图2 CSF滤波流程图。

图3图像亮度增强曲线。

图4图像边缘补偿示意图。

图5帧间补偿流程图。

图6测试平台以及视频参数信息。

图7(a)原始图像。

图7(b)MSR方法处理后的图像。

图7(c)改进Retinex方法处理后的图像。

图7(d)V分量同态滤波方法处理后的图像。

图7(e)RGB等比例增益方法处理后的图像。

图7(f)本发明方法处理后的图像。

具体实施方式

下面结合附图对本发明做进一步说明：

本发明提供的完整技术方案(发明方案)

本发明整体上分为五个模块，即白平衡处理模块、图像去噪模块、图像增强模块、边缘补偿模块、帧间补偿模块，如图1所示。

白平衡处理模块

根据灰度世界理论，一个颜色变化足够丰富的图像，其RGB分量的均值大致相等。本发明使用基于灰度世界法的改进白平衡方法，其详细步骤如下：

(1)计算图像RGB各通道的亮度直方图；

(2)图像中若存在大面积同色背景或光源，就会在亮度直方图中产生峰值，这对之后的取平均操作产生不利影响，因此要如下方法去除对应的灰度值，即：搜索整个亮度直方图，若某个灰度值所对应的像素个数大于像素总数的5％，则将该灰度值去除。

(3)设RGB三个通道均值分别为r、g、b，计算各个通道均值。

(4)白平衡处理。设原始图像RGB通道的值为I_R、I_G、I_B，白平衡后图像RGB通道的值为I_1R、I_1G、I_1B。这里分三种情况说明白平衡处理过程。不妨设r＞g＞b，白平衡处理方法为

(a)若且则不作处理；

(b)若且则对B分量进行如下处理；

$I_{1B}=\frac{r+g}{2b}{I}_B$

(c)若且则对G和B分量进行如下处理：

$\left\{\begin{array}{c}{I}_{1G}=\frac{r}{g}{I}_G\\ I_{1B}=\frac{r}{b}{I}_B\end{array}\right.$

图像去噪模块

(1)颜色空间转换

通常，人眼对图像亮度很敏感，而对色度不太敏感，因此常在YCbCr颜色空间中进行图像处理。在YCbCr颜色空间中，Y表示亮度分量，Cb和Cr色度分量决定了颜色，其中Cb表示蓝色色度分量，Cr表示红色色度分量。根据人眼特性，对YCbCr的各个分量进行处理，就不会产生图像颜色较大失真。此外，RGB空间与YCbCr空间之间的转换是线性变换，计算量较小。因此，本发明采用YCbCr空间对彩色图像进行去噪。RGB空间与YCbCr空间之间的转换关系为

$\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.169& -0.331& 0.500\\ 0.5& -0.419& -0.081\end{array}\right].\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(1\right)$

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}1.000& -0.0009& 1.4017\\ 1.000& -0.3437& -0.7142\\ 1.000& 1.7722& 0.0010\end{array}\right].\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]---\left(2\right)$

(2)去噪处理

本发明采用CSF滤波器^[4]对彩色图像进行去噪。首先将图像从RGB空间转换到YCbCr空间，然后分别对亮度分量Y、蓝色色度分量Cb、红色色度分量Cr进行CSF滤波，最后再转换回RGB空间。该滤波器采用了圆形滤波窗口。设f(x,y)表示原始图像，表示去噪后的图像，则其滤波表达式为

$\hat{f}(x,y)=\frac{\underset{(i,j)\∈W_{x,y}}{\Σ}w(i,j)f(i,j)}{\underset{(i,j)\∈W_{x,y}}{\Σ}w(i,j)}---\left(3\right)$

式中，W_x,y表示以(x,y)为中心的圆形滤波窗口，w(i,j)表示滤波器系数，其由两部分组成

w(i,j)＝w_d(i,j)w_g(i,j) (4)

式中，w_d(i,j)表示空间距离因子，其表达式为：

$w_d(i,j)=1-\frac{d_s(i,j)}{r}---\left(5\right)$

式中，r表示圆形滤波窗口半径，在本发明中，取r＝3；d_s(i,j)为

$d_s(i,j)=\sqrt{{(i-x)}^2+{(j-y)}^2}---\left(6\right)$

w_g(i,j)表示亮度距离因子，其表达式为：

$w_g(i,j)=\exp \[-\frac{{\left(f\right(i,j)-f(x,y\left)\right)}^2}{2{\mathrm{\σ}}_g^2}\]---\left(7\right)$

式中，表示滤波器方差，在本发明中，取50。图像去噪后，其RGB通道的值分别为I_2R、I_2G、I_2B。

2.2.3图像增强模块

本发明采用基于RGB等比例增益的方法进行图像增强。其步骤如下：

(1)计算图像亮度L(x,y)以及亮度均值亮度的定义；

L(x,y)＝0.299I_2R(x,y)+0.587I_2G(x,y)+0.114I_2B(x,y) (10)

(2)计算图像增强后的亮度L′(x,y)；

根据图像亮度L(x,y)进行图像增强，亮度映射计算公式为：

$L(x,y)=255\frac{log\[\frac{L(x,y)}{255}(\mathrm{\α}-1)+1\]}{log\left(\mathrm{\α}\right)}=255{\log }_{\mathrm{\α}}\left(\frac{L(x,y)}{255}\right(\mathrm{\α}-1)+1)---\left(11\right)$

在本发明中，α取5。

L′和L的映射关系，如图3所示。

考虑到有些亮度很低的图像经增强后其亮度依旧偏低，此时可用式(11)的图像增强技术反复多次进行增强。多次增强的具体规则如下：若则不增强；若则增强一次；若则增强两次；若则增强三次。

当相关参数确定之后，可创建一次增强，两次增强，三次增强的亮度映射表，这样既可避免对数计算，也使得多次增强时不增加计算量，提高运算效率。

(3)计算增益β(x,y)

$\mathrm{\β}(x,y)=\frac{L^{\′}(x,y)}{L(x,y)}---\left(12\right)$

(4)RGB增强。设图像增强后RGB通道的值为I_3R、I_3G、I_3B。

$\left\{\begin{array}{c}{I}_{3R}(x,y)=I_{2R}(x,y)\·\mathrm{\β}(x,y)\\ I_{3G}(x,y)=I_{2G}(x,y)\·\mathrm{\β}(x,y)\\ I_{3B}(x,y)=I_{2B}(x,y)\·\mathrm{\β}(x,y)\end{array}\right.---\left(13\right)$

边缘补偿模块

对图像进行去噪处理后，常会造成图像边缘模糊，而人眼视觉特性对图像边缘很敏感，造成图像质量下降。为解决此问题，本发明加入了图像边缘补偿模块。图像可以看成是由低频成分和高频成分组成，其中低频成分代表图像轮廓，高频成分代表图像细节。因此，将原始图像减去低频成分，就可以获得图像细节。将增强后的图像加上图像细节即可获得边缘补偿后的图像。图像的低频成分通过高斯滤波获得。

图像边缘补偿方法流程如下：

(1)高斯滤波

对白平衡处理后所得图像的RGB三个分量分别进行高斯滤波，即：

${\hat{f}}_n(x,y)=\underset{(i,j)\∈W_{x,y}}{\Σ}F(i,j)I_{1n}(i,j)---\left(14\right)$

$F(i,j)=\frac{1}{K}\exp (-\frac{{(i-x)}^2+{(j-y)}^2}{2{\mathrm{\σ}}^2})---\left(15\right)$

$K=\underset{(i,j)\∈W_{x,y}}{\Σ}\exp (-\frac{{(i-x)}^2+{(j-y)}^2}{2{\mathrm{\σ}}^2})---\left(16\right)$

式中，n∈(R,G,B)，F(i,j)表示高斯滤波器系数，W(x,y)是以(x,y)为中心的滤波窗口，窗口大小为5×5，σ²取20。

(2)计算图像细节分量g_n(x,y)

$g_n(x,y)=I_{1n}(x,y)-{\hat{f}}_n(x,y)---\left(17\right)$

式中，n∈(R,G,B)。将白平衡后的图像减去高斯滤波结果即为细节分量。

(3)消除噪声和杂点

在得到的图像细节分量中，含有噪声和杂点。杂点是某些分量特别大而其它分量特别小的点，如果不处理就加入增强后的图像，会产生颜色异常点(如不自然的红点或绿点)。本发明通过以下两步去除图像噪声和杂点：

(a)消除噪声

在计算得到的图像细节分量中，噪声幅值普遍较低，因此可通过以下方式去除，

(b)去除杂点

根据杂点的某些分量特别大而其它分量很小的特性，可用“噪声门”方法去除杂点，设T为处理门限。

T＝|g_R(x,y)-g_G(x,y)|+|g_R(x,y)-g_B(x,y)|+|g_G(x,y)-g_B(x,y)| (19)

(4)边缘补偿

将增强后的图像与细节分量进行累加，即为边缘补偿后的图像。设边缘补偿后，图像RGB通道的值为I_4R、I_4G、I_4B，则有。

I_4n(x,y)＝I_3n(x,y)+α·g_n(x,y) (21)

式中，n∈(R,G,B)，α是一个控制系数，当噪声较小时，α可以取大一些，当噪声较大时，α可以取小一些，在本发明中，设α＝1。

2.2.5帧间补偿模块

视频帧图像存在帧间相关性。若相邻帧之间的亮度变化过大，会降低视频主观质量。因此，本发明中加入了帧间补偿模块。该模块也可在一定程度上减小噪声的影响。

帧间补偿的基本思想是，首先对原始图像进行分块，然后判断相邻两帧的对应块是否发生变化，若没有变化，则对边缘补偿后图像的对应块进行帧间补偿；若发生变化，则不做任何处理。由于图像中含有噪声且可能存在亮度变化，因此，不能通过像素值的变化来判断对应块的变化。为了判断对应块是否发生变化，本发明采用了概率统计中的相关理论，若随机变量X满足高斯分布，则其满足式(22)。假设图像中的噪声为零均值的高斯噪声且相邻两帧存在整体亮度变化，若相邻两帧的对应块没有发生变化，则将相邻两帧对应块相减之后，所得信号也满足高斯分布，此时式(22)成立。基于此，通过假设检验来判断对应块是否发生变化。为了减小噪声的影响，可以先对图像进行高斯滤波。为了减少计算量，这里可以直接使用边缘补偿中高斯滤波的结果进行判断操作。

$\frac{\stackrel{\‾}{X}-u}{S/\sqrt{l}}~t(l-1)---\left(22\right)$

其中

$\stackrel{\‾}{X}=\frac{1}{l}\underset{i=1}{\overset{l}{\Σ}}{X}_i---\left(23\right)$

$S^2=\frac{1}{l-1}\underset{i=1}{\overset{l}{\Σ}}{(X_i-\stackrel{\‾}{X})}^2---\left(24\right)$

式中，X_i(i＝1,2,…,l)表示待处理的数据序列，l为该数据序列的长度，u表示高斯变量的数学期望。方法具体步骤如下。

(1)在边缘补偿中，对高斯滤波后的图像进行彩色到灰度转换，公式为：

v＝0.299R+0.587G+0.114B (25)

(2)计算帧差。将相邻两帧的灰度图像相减，得到帧差信号f(x,y)。

(3)对帧差信号进行分块，块的大小为16×16。

(4)计算每个块的统计均值和方差，即：

$\stackrel{\‾}{f}=\frac{1}{N}\underset{(i,j)\∈W}{\Σ}f(i,j)---\left(26\right)$

$s^2=\frac{1}{N-1}\underset{(i,j)\∈W}{\Σ}{\[f(i,j)-\stackrel{\‾}{f}\]}^2---\left(27\right)$

式中，N表示块中的像素个数，W表示16×16的块。

(5)计算假设检验的t值。这里考虑两种场景。

(a)场景中亮度变化较小

此时，帧差信号满足零均值高斯分布，通过下式计算t值。

$t=\frac{\stackrel{\‾}{f}}{(s/\sqrt{N})}---\left(28\right)$

在该场景下，帧间补偿主要用于减少噪声。

(b)场景中亮度变化较大

此时，帧差信号满足高斯分布，但是均值不为零，通过下式计算t值。

$t=\frac{\stackrel{\‾}{f}-u}{(s/\sqrt{N})}---\left(29\right)$

式中，u表示帧差信号的整体均值。在该场景下，帧间补偿主要用于减少帧间亮度差异。

(6)假设检验

当l>45时，可认为t(l)为标准正态分布，取置信度为0.99。若|t|≤2.575，则认为对应块没有发生改变，进行下一步帧间补偿；否则，认为对应块发生改变，不做任何处理。

(7)帧间补偿

若相邻两帧图像的对应块未发生变化，则对边缘补偿后图像的对应块进行帧间补偿。设帧间补偿后图像RGB通道的值为I_5R、I_5G、I_5B。补偿公式为：

$I_{5n}^m(x,y)=\{\begin{array}{cc}{\mathrm{\βI}}_{5n}^{m-1}(x,y)+(1-\mathrm{\β})I_{4n}^m(x,y),& \left|t\right|\≤2.575\\ I_{4n}^m(x,y),& \left|t\right|>2.575\end{array}---\left(30\right)$

式中，n∈(R,G,B)，(x,y)∈W，W表示16×16的块，表示前一帧帧间补偿后的图像，表示当前帧帧间补偿后的图像，表示当前帧边缘补偿后的图像，β为比例系数，在本发明中β＝0.5。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种低照度视频图像增强方法，其特征在于：包括白平衡处理模块、图像去噪模块、图像增强模块、边缘补偿模块、帧间补偿模块；视频图像信息依次经过白平衡处理模块、图像去噪模块、图像增强模块、边缘补偿模块、帧间补偿模块，最后得到增强视频图像；

图像去噪模块对白平衡处理模块处理完的视频处理的方法为：

(1)颜色空间转换

在YCbCr颜色空间中，Y表示亮度分量，Cb和Cr色度分量决定了颜色，其中Cb表示蓝色色度分量，Cr表示红色色度分量；根据人眼特性，对YCbCr的各个分量进行处理，就不会产生图像颜色的严重失真；此外，RGB空间与YCbCr空间之间的转换是线性变换，计算量小；因此，采用YCbCr空间对彩色图像进行去噪；RGB空间与YCbCr空间之间的转换关系为

(2)去噪处理

采用CSF滤波器对彩色图像进行去噪；首先将图像从RGB空间转换到YCbCr空间，然后分别对亮度分量Y、蓝色色度分量Cb、红色色度分量Cr进行CSF滤波，最后再转换回RGB空间；该滤波器采用了圆形滤波窗口；

设f(x,y)表示原始图像，表示去噪后的图像，则其滤波表达式为

式中，W_x,y表示以(x,y)为中心的圆形滤波窗口，f(i,j)表示(i,j)处的原始像素值，w(i,j)表示滤波器系数

式中，r表示圆形滤波窗口半径，取r＝3；表示滤波器方差，取50；图像去噪后，其RGB通道的值分别为I_2R、I_2G、I_2B。

2.根据权利要求1所述的一种低照度视频图像增强方法，其特征在于：白平衡处理模块处理视频的方法为：

设原始图像RGB通道的值为I_R、I_G、I_B，三个通道的均值分别为r、g和b，白平衡后图像RGB通道的值为I_1R、I_1G、I_1B；这里分三种情况说明白平衡处理过程，不妨设r>g>b，白平衡处理方法为

(a)若且则不作处理；

(b)若且则对B分量进行如下处理；

(c)若且则对G和B分量进行如下处理；

3.根据权利要求1所述的一种低照度视频图像增强方法，其特征在于：图像增强模块对图像去噪模块处理过的视频进行处理的方法为：

其步骤如下：

(1)计算图像亮度L(x,y)以及亮度均值亮度的定义；

L(x,y)＝0.299I_2R(x,y)+0.587I_2G(x,y)+0.114I_2B(x,y) (5)

式中I_2R、I_2G、I_2B分别为经过滤波后RGB通道的值,亮度均值的定义

式中N₀表示整幅图像的像素个数，I表示整幅图像的像素点集；

(2)计算图像增强后的亮度L'(x,y)；

根据图像亮度L(x,y)进行图像增强，亮度映射计算公式为：

α取5；

用式(7)的图像增强技术反复多次进行增强，多次增强的具体规则如下：若 则不增强；若则增强一次；若则增强两次；若则增强三次；

增强后亮度与原始亮度的映射关系；

当相关参数确定之后，可创建一次增强，两次增强，三次增强的亮度映射表；

(3)计算增益β(x,y)

(4)RGB增强，设图像增强后RGB通道的值为I_3R、I_3G、I_3B，

4.根据权利要求1所述的一种低照度视频图像增强方法，其特征在于：边缘补偿模块对图像增强模块处理后的视频进行处理的方法为：

对图像进行去噪处理后，加入了图像边缘补偿模块；图像是由低频成分和高频成分组成，其中低频成分代表图像轮廓，高频成分代表图像细节，因此，将原始图像减去低频成分，从而获得图像细节，将增强后的图像加上图像细节即可获得边缘补偿后的图像，图像的低频成分通过高斯滤波获得；

图像边缘补偿方法流程如下：

(1)高斯滤波

对白平衡处理后所得图像的RGB三个分量分别进行高斯滤波，即：

式中，n∈(R,G,B)，I_1n(i,j)表示白平衡后所得图像n通道的值，F(i,j)表示高斯滤波器系数，W_x,y是以(x,y)为中心的滤波窗口，窗口大小为5×5，σ²取20，

(2)计算图像细节分量g_n(x,y)

将白平衡后的图像减去高斯滤波结果即为细节分量；

(3)消除噪声和杂点

在计算得到的图像细节分量中，含有噪声和杂点，杂点就是在RGB三个分量中的一个分量特别大而另外两个分量特别小的点，如果不做处理，直接加入增强后的图像，该点会产生颜色异常；通过以下两步去除图像噪声和杂点：

(a)消除噪声

在计算得到的图像细节分量中，噪声幅值普遍较图像细节分量的幅值低，因此可通过以下式去除；

(b)去除杂点

根据杂点的特性，可用如下的方法去除杂点，设T为处理门限；

T＝|g_R(x,y)-g_G(x,y)|+|g_R(x,y)-g_B(x,y)|+|g_G(x,y)-g_B(x,y)|， (15)

式中g_R(x,y)、g_G(x,y)、g_B(x,y)分别为图像RGB通道的细节分量；

(4)边缘补偿

将增强后的图像与细节分量进行累加，即为边缘补偿后的图像，设边缘补偿后，图像RGB通道的值为I_4R、I_4G、I_4B，则有：

I_4n(x,y)＝I_3n(x,y)+α·g_n(x,y)， (17)

式中，I_3n(x,y)表示图像增强后n通道的值，设α＝1。

5.根据权利要求1所述的一种低照度视频图像增强方法，其特征在于：帧间补偿模块对边缘补偿模块处理后的视频进行处理的方法为：

其中

式中，X_i(i＝1,2,…,l)表示待处理的数据序列，l为该数据序列的长度，u表示高斯变量的数学期望；方法具体步骤如下：

(1)在边缘补偿中，对高斯滤波后的图像进行彩色到灰度转换，公式为：

v＝0.299R+0.587G+0.114B， (21)

(2)计算帧差，将相邻两帧的灰度图像相减，得到帧差信号f(x,y)；

(3)对帧差信号进行分块，块的大小为16×16；

(4)计算每个块的统计均值和方差，即：

式中，N表示块中的像素个数，W表示16×16的块；

(5)计算假设检验的t值，这里考虑两种场景，

(a)场景中亮度变化小，

此时，帧差信号满足零均值高斯分布，通过下式计算t值；

在该场景下，帧间补偿主要用于减少噪声；

(b)场景中亮度变化大

此时，帧差信号满足高斯分布，但是均值不为零，通过下式计算t值；

式中，u表示帧差信号的整体均值，在该场景下，帧间补偿主要用于减少帧间亮度差异；

(6)假设检验

若l>45，则t(l)为标准正态分布，取置信度为0.99，若|t|≤2.575，则认为对应块没有发生改变，进行下一步帧间补偿；否则，认为对应块发生改变，不做任何处理；

(7)帧间补偿

若相邻两帧图像的对应块未发生变化，则对边缘补偿后图像的对应块进行帧间补偿，设帧间补偿后图像RGB通道的值为I_5R、I_5G、I_5B，补偿公式为：

式中，n∈(R,G,B)，(x,y)∈W，W表示16×16的块，表示前一帧帧间补偿后的图像，表示当前帧帧间补偿后的图像，表示当前帧边缘补偿后的图像，β为比例系数，β＝0.5。