CN106327450A - 一种基于时空累积和图像退化模型的低照度视频图像增强方法 - Google Patents

Abstract

本发明公开了一种基于时空累积和图像退化模型的低照度视频图像增强方法，其涉及计算机视觉领域，包括：1利用时空域累积信息的对低照度视频图像进行降噪处理；2对降噪处理后的低照度视频图像进行反转运算得到伪雾图像；对伪雾图像进行亚采样后求得暗通道图像，再利用插值方法求得伪雾图像的完整的暗通道图像，至此再采用暗原色先验规律估计伪雾图像的大气光值A；3采用基于伪雾图像的亮度分量估算透射率；4通过滤波的方式优化透射率获得更加精确、平滑的透射率；5根据大气光值A和优化后的透射率得到去雾图像，将伪雾图像的去雾图像进行反转得到低照度图像的增强图像；6对增强后的图像进行非锐化掩蔽的锐化后处理。

Description

一种基于时空累积和图像退化模型的低照度视频图像增强 方法

技术领域

本发明涉及计算机视觉领域，特指一种基于时空累积和图像退化模型的低照度视频图像增强方法。

背景技术

随着图像处理技术的不断发展，视频监控、智能交通系统以及运动目标识别跟踪等数字监控系统得到了广泛的应用。然而，低照度情况下获取的图像不但对比度低，颜色失真同时图像的细节信息也难以辨别。低照度环境造成的图像质量降低的情况不仅影响了人眼对图像的辨识，而且也造成计算机视觉系统不能正常运行。图像增强的目的在于突出图像的信息，增强有用信息，改善图像视觉效果，将其运用于低照度图像，可以改善成像效果。

传统的灰度变化法和直方图均衡法在增强图像的同时也增强了噪声信息，但噪声含量高。基于Retinex的图像增强方法处理灰度图像能够取得较好效果，但在处理彩色图像时，会导致颜色的失真。由于光线不足而造成的低照度图像，对其进行反转运算,得到的反转图像在视觉上与白天雾天图像非常相似，因此可以将去雾算法运用到低照度图像增强过程中。然而，传统的基于图像退化模型的去雾技术的图像增强方法未考虑伪雾图像其“雾”的浓度是由于光照而非景深决定的这一特性，从而计算的透射率不够精确，以及导致伪雾图像的去雾效果不佳，继而影响图像增强的效果。

面向低照度图像增强，针对现行图像增强算法存在的问题，本发明提出了基于时空累积和图像退化模型的低照度视频图像增强方法。该方法首先通过时空域累积信息的方法对低照度视频图像进行降噪处理，避免了图像增强的同时也增强了图像中的噪声信息；依据低照度图像的反转图像是与雾天图像相似的伪雾图像，可以将雾天图像的图像退化模型运用到低照度图像增强中；为了能够快速求取大尺寸伪雾图像的大气光值A，先对伪雾图像进行亚采样后求得暗通道图像，再利用插值方法求得伪雾图像的完整的暗通道图像，至此再采用暗原色先验规律估计伪雾图像的大气光值；为求得精确的图像退化模型中的透射率t(x)，首先依据伪雾图像其“雾”的浓度是由光照而非景深确定的这一特性，采用基于伪雾图像的亮度分量估算透射率，再通过滤波的方式优化透射率获得更加精确、平滑的透射率，同时改善图像边缘处因透射率不连续变化造成的白色边带的现象，保持了图像更多的细节信息；最后，将伪雾图像的去雾图像进行反转得到低照度图像的增强图像，再对增强的图像进行非锐化掩蔽的锐化后处理，补偿了图像信息。本发明方法是一种高效精确的、图像信息保持良好的图像增强方法。

发明内容

针对上述现有技术，本发明要解决的技术问题在于提出一种能够精确高效地增强低照度图像的基于时空累积和图像退化模型的低照度视频图像增强方法。

为解决上述技术问题，本发明采取的技术方案是：基于时空累积和图像退化模型的低照度视频图像增强方法，其包括如下步骤：

(1)利用时空域累积信息的对低照度视频图像进行降噪处理，避免了图像增强的同时也增强了噪声信息；

(2)对降噪处理后的低照度视频图像进行反转运算，反转公式为：I_r(x)＝1-I^c(x),反转后的图像为伪雾图像I_r(x)；求解伪雾图像的大气光值A，对伪雾图像I_r(x)进行亚采样后求得暗通道图像，再利用插值方法求得伪雾图像I_r(x)的完整的暗通道图像，至此再采用暗原色先验规律估计伪雾图像的大气光值A；

(3)估算图像退化模型中的透射率t(x)，采用基于伪雾图像的亮度分量估算透射率；估算过程如下：

伪雾图像I_r的亮度分量为：

Y＝0.299R_r+0.587G_r+0.114B_r

t(x)＝Y(x)+2c

其中，R_r、G_r、B_r分别为伪雾图像I_r的三个颜色通道；Y为I_r的亮度分量，c取0.6；

(4)通过滤波的方式优化透射率获得更加精确、平滑的透射率，同时改善图像边缘处因透射率不连续变化造成的白色边带的现象，保持了图像更多的细节信息；优化过程如下：

双边滤波优化透射率的公式为：

$t{\left(x\right)}^{\′}=\frac{1}{w\left(x\right)}\underset{y\∈N\left(x\right)}{\Σ}{G}_{{\mathrm{\σ}}_s}\left(\right||x-y|\left|\right)G_{{\mathrm{\σ}}_r}\left(\right|I_x-I_y\left|\right)t\left(x\right)$

其中，

$w\left(x\right)=\underset{y\∈N\left(x\right)}{\Σ}{G}_{{\mathrm{\σ}}_s}\left(\right||x-y|\left|\right)G_{{\mathrm{\σ}}_r}\left(\right|I_x-I_y\left|\right)$

式中，t(x)是步骤(3)中求得的透射率；t(x)'是优化之后的透射率；N(x)是中心点(x,y)的窗口邻域内的像素；I是像素点的强度值；σ_s是高斯函数的标准差；σ_r是高斯函数的标准差；w(x)是归一化因子；

(5)根据大气光值A和优化后的透射率t(x)'得到去雾图像J_r(x)，将伪雾图像I_r(x)的去雾图像J_r(x)进行反转得到低照度图像的增强图像J_e(x)，反转公式入为：J_e(x)＝1-J_r(x)；

(6)对增强后的图像J_e(x)进行非锐化掩蔽的锐化后处理，锐化处理补偿了图像的边缘信息，有助于后期图像识别系统的工作效率。

作为本发明的优选技术方案，所述的步骤(1)具体包括：利用视频图像之间的关系进行滤波，将时域的双边滤波与空间邻域相似性距离相结合，对相邻帧在相同位置处的像素进行时间域的加权累积，并采用时空领域相似性距离代替时域双边滤波中的强度差。

作为本发明的优选技术方案，所述的步骤(2)中，大气光值A的求解步骤如下：

(2.1)伪雾图像的暗通道图的求解方法如下式所示：

$L^{dark}\left(x\right)=\underset{C\∈\{R,G,B\}}{\min }\left(\underset{y\∈N\left(x\right)}{\min }\right(L^C\left(y\right)\left)\right)$

式中，C为图像的三个颜色通道R、G、B；N(x)为以像素点x为中心的窗口领域内的像素；L^C(y)为伪雾图像的三个颜色通道图；L^dark(x)为暗通道图；

(2.2)从暗通道图中按亮度大小选取前0.1％的像素点作为伪雾图像的“雾”的浓度较大的像素点，记录它们的位置；

(2.3)在伪雾图像对应位置像素点中，分别求得R、G、B三个分量的最大值作为大气光值A。

作为本发明的优选技术方案，所述的步骤(6)中，采用利用非锐化掩蔽方法对增强后的图像进行锐化，包括：利用高斯函数模糊低照度图像I(x)，得到图像I'(x)，两图像作差得到非锐化掩蔽模板，即要补偿信息图像M，则：

M＝I(x)-I'(x)

在增强后的图像J_e(x)上加上带有权重的补偿信息，得到最后的增强图像J'_e(x)，

J'_e(x)＝J_e(x)+kM

其中，k为常量。

与现有技术相比，本发明具有以下有益效果：

(1)利用视频图像之间的关系进行滤波，避免了图像增强过程中增强噪声信息；

(2)对于大尺寸的伪雾图像，先进行亚采样求得采样图像的暗通道图，再进行双线性插值求得完整的暗通道图，解决了利用两次最小滤波求解大尺寸图像的暗通道图的耗时较长的问题；

(3)采用双边滤波对透射率进行优化，采用快速的双边滤波算法进行求解来提高系统的速度，优化后的透射率更加精确、平滑，消除了白色边带现象，保持了图像的细节信息；

(4)采用利用非锐化掩蔽方法对增强后的图像进行锐化，补偿了图像的边缘信息。

附图说明：

图1是本实施例所述整体算法流程图；

图2是本实施例所述透射率与亮度分量关系图；

图3是本实施例所述低照度图像；

图4是本实施例采用本发明方法处理图3图像得到的低照度增强图像。

具体实施方式：

以低照度图像为例，结合附图对本发明做进一步详细说明。

由于光线不足而造成的低照度图像，对其进行反转运算，得到反转图像I_r，如公式(1)所示。反转图像在视觉上与白天雾天图像非常相似，因此可以将导致雾天图像的图像退化模型运用到低照度图像增强方法中，此时的反转图像可称为伪雾图像。McCartney提出了大气散射模型，即雾天的图像退化模型，如公式(2)所示。

I_r(x)＝255-I(x) (1)

其中，x是图像的坐标点；C是图像的RGB的三个颜色通道；I(x)为低照度图像；I_r(x)为反转图像即伪雾图像。

R(x)＝J(x)t(x)+A(1-t(x)) (2)

其中，R(x)为白天的雾天图像；J(x)为去雾之后的无雾图像；A是大气光值；t(x)投射率图，即光线的传播率。

公式(2)的图像退化模型运动到伪雾图像中可得：

I_r(x)＝J_r(x)t(x)+A(1-t(x)) (3)

整理得：

式中，I_r(x)是低照度图像的的反转图像，即伪雾图像；J_r(x)是伪雾图像去“雾”之后的图像。

由公式(4)可知：要进行高效精确的图像增强，就要快速就得精确的大气光值和投射率图。

S1利用时空域累积信息的对低照度视频图像进行降噪处理，避免了图像增强的同时也增强了噪声信息；

在对低照度图像进行增强的同时往往会放大噪声，是图像质量严重下降，因此首先对低照度图像进行降噪处理。传统图像去噪技术仅仅考虑了利用本张图像对自身进行去噪，而为考虑视频图像间的相互关系，本发明中采用时空域累积信息的方法进行去噪，即将时域的双边滤波(bilateral filter)与空间邻域相似性距离相结合，从而达到去除视频噪声的目的。时空域累积信息的方法就是对相邻帧在相同位置处的像素进行时间域的加权累积。时域的双边滤波器的公式如下：

$B_p^i=\frac{1}{W_p^i}\underset{j\∈N_i}{\Σ}{G}_{{\mathrm{\σ}}_s}\left(\right|i-j\left|\right)G_{{\mathrm{\σ}}_i}\left(\right|I_p^i-I_p^j\left|\right)I_p^j---\left(5\right)$

$W_p^i=\underset{j\∈N_i}{\Σ}{G}_{{\mathrm{\σ}}_s}\left(\right|i-j\left|\right)G_{{\mathrm{\σ}}_i}\left(\right|I_p^i-I_p^j\left|\right)---\left(6\right)$

其中，

$G_{{\mathrm{\σ}}_r}\left(\right|I_p^i-I_p^i\left|\right)=e^{-\frac{|I_p^i-I_p^i{|}^2}{2{\mathrm{\σ}}_r}}---\left(8\right)$

其中，为时域双边滤波在i帧位置p出的像素值，和分别是第i、j两帧图像在位置p出的像素值，是归一化因子，N_i为第i帧图像的相邻帧，σ_s为高斯函数的标准差，σ_r为高斯函数的标准差。

时域的双边滤波能很好得保持图像的边缘信息和去除细小的噪声，但是去除脉冲噪声的能力很差。针对这项问题，本发明中采用时空领域相似性距离代替时域双边滤波中的像素强度差。时空领域相似性距离表示为：

$D_p^{i,j}=\frac{1}{W_p^{i,j}}\underset{q\∈N_p}{\Σ}{G}_{{\mathrm{\σ}}_e}\left(\right||q-p|\left|\right)|I_p^i-I_p^j|---\left(9\right)$

其中，

$G_{{\mathrm{\σ}}_e}\left(\right||q-p|\left|\right)=e^{-\frac{\left|\right|q-p|{|}^2}{2{\mathrm{\σ}}_e}}---\left(11\right)$

式中，p、q是相邻的像素点；分别是第i帧和第j帧图像在位置p像素点的像素值；N_p是以像素p为中心的宽口邻域内的像素；为归一化因子；σ_e为高斯函数的标准差。

对伪雾图像进行降噪之后，再进行图像增强。

S2求解伪雾图像的大气光值A，对伪雾图像进行亚采样后求得暗通道图像，再利用插值方法求得伪雾图像的完整的暗通道图像，至此再采用暗原色先验规律估计伪雾图像的大气光值；在不包括天空的绝大部分区域内，存在一些被称为“dark pixel”的像素，这些像素至少有一个颜色通道具备非常低的强度值。对任何一个“dark pixel”像素，以其为中心的局部邻域内求两次三个RGB颜色通道的最小值，得到暗通道图。而白天的雾天图像的暗通道图的像素值较高，同样的低照度图像反转得到的伪雾图像的暗通道图的像素值也比较高。并且，雾的浓度越浓，图像的暗通道图的像素值越高，雾的浓度越低，图像的暗通道图的像素值越高，然而通常清晰无雾图像的暗通道图的像素值接近零，所以本发明中可以利用暗通道图来估计伪雾图像中“雾”的浓度，即暗通道图可以用来估算大气光值A，求解步骤如下：

1)对于大尺寸的图像，采用两次最小滤波方法求得伪雾图像的暗通道图，这样的方法耗时较长，为缩短运行时间，先对伪雾图像进行亚采样，求得采样后图像的暗通道图，然后再利用双线性插值的方法得到完整的伪雾图像的暗通道图。伪雾图像的暗通道图的求解方法如公式(12)所示。

$L^{dark}\left(x\right)=\underset{C\∈\{R,G,B\}}{\min }\left(\underset{y\∈N\left(x\right)}{\min }\right(L^C\left(y\right)\left)\right)---\left(12\right)$

式中，C为图像的三个颜色通道R、G、B；N(x)为以像素点x为中心的窗口领域内的像素；L^C(y)为伪雾图像的三个颜色通道图；L^dark(x)为暗通道图。

2)从暗通道图中按亮度大小选取前0.1％的像素点作为伪雾图像的“雾”的浓度较大的像素点，记录它们的位置。

3)在伪雾图像对应位置像素点中，分别求得R、G、B三个分量的最大值作为大气光值A。

S3估算图像退化模型中的透射率t(x)，采用基于伪雾图像的亮度分量估算透射率；

在真实的雾天情况下，透射率随场景点到观测点之间的距离成指数衰减，距离越远，保留的信息越少，观测的场景与实际场景差别越大。Dong等使用去雾技术进行低照度图像增强方法利用了暗原色先验知识去估计透射率t(x)，这种方法在处理真实的有雾图像效果比较好。对于低照度图像的反转图像，是与雾天图像很相似的伪雾图像，有不同于雾天图像的特殊特性。对于伪雾图像，除了观测距离，影响观测值的一个重要因子就是光照。针对伪雾图像的这种特殊性，采用基于伪雾图像的亮度分量估计透射率，在保持图像的颜色的情况，计算更加精确的t(x)。伪雾图像I_r的亮度分量为：

Y＝0.299R_r+0.587G_r+0.114B_r (13)

其中，R_r、G_r、B_r分别为伪雾图像I_r的三个颜色通道；Y为I_r的亮度分量。

利用Dong去雾方式直接估算透射率图，由公式(13)求得伪雾图像的亮度分量图，取两幅图的相同位置处的像素点来观察透射率和亮度分量之间的关系，透射率与亮度分量之间的关系如图2所示。由图2可以看出Y和t(x)大致关于直线y＝c对称，即满足：

Y(x)-l＝-(t(x)-l) (14)

即：t(x)＝Y(x)+2c (15)

由图2可知，c取0.6比较合适。

S4通过滤波的方式优化透射率获得更加精确、平滑的透射率，同时改善图像边缘处因透射率不连续变化造成的白色边带的现象，保持了图像更多的细节信息；

步骤S3进行了透射率的粗估计，此时的透射率t(x)不够精确和平滑，在图像边缘处的透射率的不连续性容易造成边缘处的白色边带现象。本发明中结合双边滤波对透射率进行优化，得到更加精确和平滑的透射率，保持了图像更多的细节信息。为了提高算法的运行速度，采用快速的双边滤波方法。

双边滤波优化透射率的公式为：

$t{\left(x\right)}^{\′}=\frac{1}{w\left(x\right)}\underset{y\∈N\left(x\right)}{\Σ}{G}_{{\mathrm{\σ}}_s}\left(\right||x-y|\left|\right)G_{{\mathrm{\σ}}_r}\left(\right|I_x-I_y\left|\right)t\left(x\right)---\left(16\right)$

其中，

$w\left(x\right)=\underset{y\∈N\left(x\right)}{\Σ}{G}_{{\mathrm{\σ}}_s}\left(\right||x-y|\left|\right)G_{{\mathrm{\σ}}_r}\left(\right|I_x-I_y\left|\right)---\left(18\right)$

式中，t(x)是S3中求得的透射率；t(x)'是优化之后的透射率；N(x)是中心点(x,y)的窗口邻域内的像素；I是像素点的强度值；σ_s是高斯函数的标准差；σ_r是高斯函数的标准差；w(x)是归一化因子。

S5将伪雾图像的去“雾“图像进行反转得到低照度图像的增强图像。

在求得大气光值A和透射率t(x)之后，由公式(4)可得到伪雾图像去“雾”之后的图像。对去“雾”图像进行反转就得到了低照度图像的增强后的图像J_e(x)，反转公式如下：

J_e(x)＝255-J_r(x) (19)

S6对增强后的图像进行非锐化掩蔽的锐化后处理，锐化处理补偿了图像的边缘信息，有助于后期图像识别系统的工作效率。

利用高斯函数模糊低照度图像I(x)，得到图像I'(x)，两图像作差得到非锐化掩蔽模板，即要补偿信息图像M，则：

M＝I(x)-I'(x) (20)

在增强后的图像J_e(x)上加上带有权重的补偿信息，得到最后的增强图像J'_e(x)。

J'_e(x)＝J_e(x)+kM (22)

式中，k为常量，通常k取4.5能到达较好锐化效果。

图3为三张低照度图像，图4是图3中低照度图像对应的增强图像。从图4的增强图像中可以看出:本发明方法成功消除了因图像边缘处因透射率不连续性造成白色边带问题，增强了图像的亮度，拉伸图像的对比度，同时保持了图像的信息。

本发明中提出的方法实际上可嵌入FPGA实现，开发具有实时运动目标检测的相机或摄像机。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。

Claims (4)

1.一种基于时空域累积和图像退化模型的低照度视频图像增强方法，其特征是：包括如下步骤：

(1)利用时空域累积信息的对低照度视频图像进行降噪处理；

(2)对降噪处理后的低照度视频图像I^c(x)进行反转运算，反转公式为I_r(x)＝1-I^c(x)，反转后的图像为伪雾图像I_r(x)，其中，x是图像的坐标点；

求解伪雾图像I_r(x)的大气光值A，对伪雾图像I_r(x)进行亚采样后求得暗通道图像，再利用插值方法求得伪雾图像I_r(x)的完整的暗通道图像，至此再采用暗原色先验规律估算伪雾图像的大气光值A；

(3)估算图像退化模型中的透射率t(x)，采用基于伪雾图像的亮度分量估算透射率；估算过程如下：

伪雾图像I_r的亮度分量为：

Y＝0.299R_r+0.587G_r+0.114B_r

t(x)＝Y(x)+2c

其中，R_r、G_r、B_r分别为伪雾图像I_r的三个颜色通道；Y为I_r的亮度分量，c取0.6；

(4)通过滤波的方式优化透射率，得到优化后的透射率t(x)；优化过程如下：

双边滤波优化透射率的公式为：

$t{\left(x\right)}^{\′}=\frac{1}{w\left(x\right)}\underset{y\∈N\left(x\right)}{\Σ}{G}_{{\mathrm{\σ}}_s}\left(\right||x-y|\left|\right)G_{{\mathrm{\σ}}_r}\left(\right|I_x-I_y\left|\right)t\left(x\right)$

其中，

$w\left(x\right)=\underset{y\∈N\left(x\right)}{\Σ}{G}_{{\mathrm{\σ}}_s}\left(\right||x-y|\left|\right)G_{{\mathrm{\σ}}_r}\left(\right|I_x-I_y\left|\right)$

式中，t(x)是步骤(3)中求得的透射率；t(x)'是优化之后的透射率；N(x)是中心点(x,y)的窗口邻域内的像素；I是像素点的强度值；σ_s是高斯函数的标准差；σ_r是高斯函数的标准差；w(x)是归一化因子；

(5)根据大气光值A和优化后的透射率t(x)'得到去雾图像J_r(x)，将伪雾图像I_r(x)的去雾图像J_r(x)进行反转得到低照度图像的增强图像J_e(x)，反转公式入为：J_e(x)＝1-J_r(x)；

(6)对增强后的图像J_e(x)进行非锐化掩蔽的锐化后处理。

2.如权利要求1所述的基于时空累积和图像退化模型的低照度视频图像增强方法，其特征在于，所述的步骤(1)具体包括：利用视频图像之间的关系进行滤波，将时域的双边滤波与空间邻域相似性距离相结合，对相邻帧在相同位置处的像素进行时间域的加权累积，并采用时空领域相似性距离代替时域双边滤波中的强度差。

3.如权利要求1所述的基于时空累积和图像退化模型的低照度视频图像增强方法，其特征在于，所述的步骤(2)中，大气光值A的求解步骤如下：

(2.1)伪雾图像的暗通道图的求解方法如下式所示：

$L^{dark}\left(x\right)=\underset{C\∈\{R,G,B\}}{\min }\left(\underset{y\∈N\left(x\right)}{\min }\right(L^C\left(y\right)\left)\right)$

式中，C为图像的三个颜色通道R、G、B；N(x)为以像素点x为中心的窗口领域内的像素；L^C(y)为伪雾图像的三个颜色通道图；L^dark(x)为暗通道图；

(2.2)从暗通道图中按亮度大小选取前0.1％的像素点作为伪雾图像的“雾”的浓度较大的像素点，记录它们的位置；

(2.3)在伪雾图像对应位置像素点中，分别求得R、G、B三个分量的最大值作为大气光值A。

4.如权利要求1所述的基于时空累积和图像退化模型的低照度视频图像增强方法，其特征在于，所述的步骤(6)中，采用利用非锐化掩蔽方法对增强后的图像进行锐化，包括：利用高斯函数模糊低照度图像I(x)，得到图像I'(x)，两图像作差得到非锐化掩蔽模板，即要补偿信息图像M，则：

M＝I(x)-I'(x)

在增强后的图像J_e(x)上加上带有权重的补偿信息，得到最后的增强图像J'_e(x)，J'_e(x)＝J_e(x)+kM

其中，k为常量。