CN106530249A - 一种基于物理模型的低照度彩色图像增强方法 - Google Patents

Abstract

本发明涉及计算机视觉领域，其具体公开了一种基于物理模型的低照度彩色图像增强方法。首先将低照度图像反转为伪雾图，然后采用暗通道先验规律对伪雾图的环境光值A进行估计，再对基于光照情况对透射率进行估计，然后基于物理模型恢复出无雾图像，最终对无雾图像反转后得到增强图像。本发明能处理效率高且效果良好，信息能够较好的保留，提高了低照度图像的对比度，有效提高图像分析、识别等系统的工作效率。

Description

一种基于物理模型的低照度彩色图像增强方法

技术领域

本发明涉及计算机视觉领域，特指一种基于物理模型的低照度彩色图像增强方法。

背景技术

在图像采集或视频监控的应用中，经常会有夜视或背光等低照度的情况，采集到的图像对比度都较低，细节信息严重丢失，利用低照度彩色图像增强技术，可以有效减少低照度环境对图像或视频获取装置的影响，提升视频监控、图像识别、计算机视觉等系统在低照度情况下的性能，因此研究低照度图像的增强很必要。

目前低照度图像增强的算法主要有三大类：空域法、变换域法和融合法。空域法主要有直方图法、灰度变换法、Retinex算法等。直方图法简单有效且处理速度快，但这种算法对噪声敏感，细节易丢失。灰度变换法运算速度快，但是参数难以确定，针对不同的图像无法自适应调节，有时存在过增强的问题。Retinex算法是模拟人类视觉系统而提出的，该算法可有效改善图像的视觉效果，但算法复杂度高且色彩失真。常用的变换域法是小波变换，它通过选取小波基对图像进行分解，能同时体现时域与频域特性，但这种方法由于需要预先定义小波基而使算法的应用受到限制。图像融合法效果较好，但拍摄时间较长，无法应用于实时处理，对单幅图像无效，而且对亮度很低的图像效果较差。

针对上述存在的问题，本发明提出了基于物理模型的低照度图像增强方法，将低照度图像反转后与雾天图像相似的伪雾图，其雾的浓度由光照情况而非景深决定。将暗通道原理运用在单幅图像去伪雾，并结合双边滤波进行处理，提高了计算效率。根据光照情况给出了一种准确且快速的新方法估计伪雾图的透射率，更加符合低照度图像的特性，本发明处理效率更高且效果良好，信息能够较好的保留，有效提高图像分析、识别等系统的工作效率。

发明内容：

本发明要解决的技术问题在于：针对低照度彩色图像增强这个特定问题，为了提高图像的对比度和处理后图像的清晰度，获得较好的视觉效果，提出了基于物理模型的低照度彩色图像增强方法。

为解决上述技术问题，本发明提出一种基于物理模型的低照度彩色图像增强算法，其技术方案具体如下，包括如下步骤：

(1)将低照度图像反转为伪雾图；

(2)采用暗通道先验规律对伪雾图的环境光值进行估计；

(3)基于光照情况对透射率进行估计；

(4)基于物理模型恢复出无雾图像；

(5)对无雾图像反转后得到增强图像。

作为本发明技术方案的进一步改进，所述步骤(1)中，将低照度图像反转为伪雾图具体包括：

将低照度图像反转，如式(1)所示，

I_inv(x)＝1-I(x) (1)

其中，x表示图像的坐标点，I(x)表示输入的低照度图像，I_inv(x)表示反转图像，即伪雾图；

伪雾图像的形成模型可以简化为：

I_inv(x)＝J(x)t(x)+A(1-t(x)) (2)

其中，J(x)表示恢复的无雾图像，A是伪雾图的环境光值，t(x)为介质传输参数即透射率；

根据式(2)知，伪雾图基于大气物理模型去雾后得到的无雾图像J_inv(x)：

与雾天图像不同，A被称为伪雾图的环境光值，将无“雾”图像反转即得到低照度增强之后的图像J_en(x)：

J_en(x)＝1-J_inv(x) (4)。

作为本发明技术方案的进一步改进，所述步骤(2)中，采用暗通道先验规律对伪雾图的环境光值进行估计具体包括：

伪雾图环境光值A的求取方法如下：

根据式(5)计算得到暗通道图像J_dark(x)；

c表示图像RGB三个颜色通道，J_c是J的一个颜色通道，Ω(x)是一个以x为中心的小图像块，J_dark(x)为暗通道图像，

从J_dark(x)中提取前0.1％亮度最高的像素点；

从原图像I(x)中提取步骤(2)中得到的点中强度最大的点，将该点的R、G、B值赋值给A。

作为本发明技术方案的进一步改进，所述步骤(3)中，基于光照情况对透射率进行估计具体包括：

采用双边滤波对初始透射率t(x)作优化处理，双边滤波是一种可以保留边缘信息同时去噪的滤波器，双边滤波定义为：

式中，I为输入图像，F_B(I)为滤波后的图像，为高斯核函数，代表了以(x,y)为中心，周边点(x_i,x_j)的空间相似度，是其对应的方差参数；为另一个高斯核函数，代表了以(x,y)为中心，周边点(x_i,x_j)的空间相似度，是其对应的方差参数；

计算t(x)的具体步骤如下：

(1)令D(x)定义为暗图像，

计算D(x)的局部均值B₁(x)和局部标准差B₂(x)：

B₁(x)＝F_B(D(x)) (10)

B₂(x)＝F_B(|D(x)-B₁(x)|) (11)

(2)计算二者之差估计大气光幕

(3)由于是D(x)的局部均值和局部标准差之差，则定义：

(4)根据已经求得的环境光值A，计算优化透射率t(x)即景深：

式中，为A的RGB三个颜色通道的均值。

作为本发明技术方案的进一步改进，所述步骤(4)中，基于物理模型恢复出无雾图像具体包括：

根据(15)式，求得基于物理模型去雾后的无雾图像J(x)，式中t₀取常数值，用于降低图像噪声，J(x)表示恢复的无雾图像，

作为本发明技术方案的进一步改进，所述步骤(5)中，对无雾图像反转后得到增强图像；

将无雾图像反转即得到低照度增强后的图像J_en(x)：

J_en(x)＝1-J(x) (16)。

附图说明：

图1是实施例所述基于物理模型的低照度彩色图像增强方法流程图；

图2，3是实施例所述低照度彩色图像增强方法处理前后图像效果对比；

具体实施方式：

以普通单幅低照度彩色图像为例，结合附图对本发明做进一步详细说明。

本实施例提出一种基于物理模型的低照度彩色图像增强方法，其基于低照度图像反转后与雾天图像相似的原理，通过对反转图像即伪雾图进行去雾，然后对去雾结果反转后得到低照度图像结果，具体步骤如下：

第一步：将低照度图像反转为伪雾图；

将低照度图像反转，如式(1)所示，其结果与雾天图像非常相似。

I_inv(x)＝1-I(x) (1)

x表示图像的坐标点；I(x)表示输入的低照度图像；I_inv(x)表示反转图像，即伪雾图。伪雾图像的形成模型可以简化为：

I_inv(x)＝J(x)t(x)+A(1-t(x)) (2)

其中：J(x)表示恢复的无雾图像；A是伪雾图的环境光值；t(x)为介质传输参数即透射率。

根据式(2)知，伪雾图基于大气物理模型去雾后得到的无“雾”图像J_inv(x)：

与雾天图像不同，A被称为伪雾图的环境光值。将无“雾”图像反转即得到低照度增强之后的图像J_en(x)：

J_en(x)＝1-J_inv(x) (4)

因此，低照度图像增强的核心是准确估计出伪雾图的环境光值A及透射率t(x)。

第二步：对伪雾图的环境光值A进行估计；

伪雾图环境光值A的近似等于雾最浓的区域的值。在本发明中求取A的方法如下：

根据式(5)计算得到暗通道图像J_dark(x)；

暗通道先验规律是假设对于大部分户外无雾图像的小图像块，在一个颜色通道中，存在某些非常小甚至接近于零的灰度值，即这些小的图像块所对应的最小灰度值近似于0。这些描述可以表述为：

c表示图像RGB三个颜色通道；J_c是J的一个颜色通道，Ω(x)是一个以x为中心的小图像块。J_dark(x)为暗通道图像。

从J_dark(x)中提取前0.1％亮度最高的像素点；

从原图像I(x)中提取步骤(2)中得到的点中强度最大的点，将该点的R、G、B值赋值给A。

第三步：基于光照情况对透射率t(x)进行估计；

本发明采用双边滤波对初始透射图t(x)作优化处理，双边滤波是一种可以保留边缘信息同时去噪的滤波器。双边滤波定义为：

式中，I为输入图像，ω是半径长度，F_B(I)为滤波后的图像，代表了以(x,y)为中心，半径为ω的矩形内点的像素相似度高斯核函数，代表了以(x,y)为中心，周边点(x_i,x_j)的空间相似度，是其对应的方差参数。

为另一个高斯核函数，代表了以(x,y)为中心，周边点(x_i,x_j)的空间相似度，是其对应的方差参数。

计算t(x)的具体步骤如下：

(1)令D(x)定义为暗图像，I_inv(c)(x)为反转的I(x)图像C通道的灰度图像。C表示图像RGB三个颜色通道。

计算D(x)的局部均值B₁(x)和局部标准差B₂(x)：

B₁(x)＝F_B(D(x)) (10)

B₂(x)＝F_B(|D(x)-B₁(x)|) (11)

(2)计算B₁(x),B₂(x)二者之差估计大气光幕

(3)由于是D(x)的局部均值和局部标准差之差，则定义：

(4)根据已经求得的环境光值A，计算优化透射率t(x)即景深：

式中，为A的RGB三个通道的均值。

第四步：基于物理模型恢复出无雾图像；

计算得到t(x),A后，I_inv(x)已求，根据(15)式，求得基于物理模型去雾后的无“雾”图像J(x)，式中t₀取常数值，用于降低图像噪声。J(x)表示恢复的无“雾”图像；A是伪雾图的环境光值；t(x)为介质传输参数即透射率。

第五步：对无雾图像反转后得到增强图像。

将无“雾”图像反转即得到低照度增强后的图像J_en(x)：

J_en(x)＝1-J(x) (16)

如图1所示为实施例所述低照度彩色图像增强算法流程图；图2，3为实施例对照低照度原图和本发明方法处理后图像的对比图。

本发明中提出的方法实际上可嵌入FPGA实现，开发具有低照度图像增强功能的相机或摄像机。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。

Claims (6)

1.基于物理模型的低照度彩色图像增强算法，其特征在于，包括如下步骤：

(1)将低照度图像反转为伪雾图；

(2)采用暗通道先验规律对伪雾图的环境光值进行估计；

(3)基于光照情况对透射率进行估计；

(4)基于物理模型恢复出无雾图像；

(5)对无雾图像反转后得到增强图像。

2.如权利要求1所述的一种基于物理模型的低照度图像增强算法，其特征在于，所述步骤(1)中，将低照度图像反转为伪雾图具体包括：

将低照度图像反转，如式(1)所示，

I_inv(x)＝1-I(x) (1)

其中，x表示图像的坐标点，I(x)表示输入的低照度图像，I_inv(x)表示反转图像，即伪雾图；

伪雾图像的形成模型可以简化为：

I_inv(x)＝J(x)t(x)+A(1-t(x)) (2)

其中，J(x)表示恢复的无雾图像，A是伪雾图的环境光值，t(x)为介质传输参数即透射率；

根据式(2)知，伪雾图基于大气物理模型去雾后得到的无雾图像J_inv(x)：

$J_{inv}\left(x\right)=A+\frac{I_{inv}\left(x\right)-A}{t\left(x\right)}---\left(3\right)$

与雾天图像不同，A被称为伪雾图的环境光值，将无雾图像反转即得到低照度增强之后的图像J_en(x)：

J_en(x)＝1-J_inv(x) (4)。

3.如权利要求1所述的一种基于物理模型的低照度图像增强算法，其特征在于，所述步骤(2)中，采用暗通道先验规律对伪雾图的环境光值进行估计具体包括：

伪雾图环境光值A的求取方法如下：

根据式(5)计算得到暗通道图像J_dark(x)；

$J_{dark}\left(x\right)=\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\underset{c\∈\{r,g,b\}}{\min }{J}_c\right(x\left)\right)\→0---\left(5\right)$

c表示图像RGB三个颜色通道，J_c是J的一个颜色通道，Ω(x)是一个以x为中心的小图像块，J_dark(x)为暗通道图像，

从J_dark(x)中提取前0.1％亮度最高的像素点；

从原图像I(x)中提取步骤(2)中得到的点中强度最大的点，将该点的R、G、B值赋值给A。

4.如权利要求1所述的一种基于物理模型的照度图像增强算法，其特征在于，所述步骤(3)中，基于光照情况对透射率进行估计具体包括：

采用双边滤波对初始透射率t(x)作优化处理，双边滤波是一种可以保留边缘信息同时去噪的滤波器，双边滤波定义为：

$F_B\left(I\right)=\frac{\underset{i,j=-\mathrm{\ω}}{\overset{\mathrm{\ω}}{\Σ}}{G}_{{\mathrm{\σ}}_s}(x,y;x_i,x_j)G_{{\mathrm{\σ}}_r}(x,y;x_i,x_j)I(x_i,x_j)}{\underset{i,j=-\mathrm{\ω}}{\overset{\mathrm{\ω}}{\Σ}}{G}_{{\mathrm{\σ}}_s}(x,y;x_i,x_j)G_{{\mathrm{\σ}}_r}(x,y;x_i,x_j)}---\left(6\right)$

$G_{{\mathrm{\σ}}_s}(x,y;x_i,x_j)=\exp \{-\frac{{(x-x_i)}^2+{(y-y_i)}^2}{2{\mathrm{\σ}}_s^2}\}---\left(7\right)$

$G_{{\mathrm{\σ}}_r}(x,y;x_i,x_j)=\exp \{-\frac{{(x-x_i)}^2+{(y-y_i)}^2}{2{\mathrm{\σ}}_r^2}\}---\left(8\right)$

式中，I为输入图像，F_B(I)为滤波后的图像，为高斯核函数，代表了以(x,y)为中心，周边点(x_i,x_j)的空间相似度，是其对应的方差参数；为另一个高斯核函数，代表了以(x,y)为中心，周边点(x_i,x_j)的空间相似度，是其对应的方差参数；

计算t(x)的具体步骤如下：

(1)令D(x)定义为暗图像，

$D\left(x\right)=\underset{c\∈\{r,g,b\}}{\min }{I}_{inv\left(c\right)}\left(x\right)---\left(9\right)$

计算D(x)的局部均值B₁(x)和局部标准差B₂(x)：

B₁(x)＝F_B(D(x)) (10)

B₂(x)＝F_B(|D(x)-B₁(x)|) (11)

(2)计算二者之差估计大气光幕

$\tilde{V}\left(x\right)=B_1\left(x\right)-B_2\left(x\right)---\left(12\right)$

(3)由于是D(x)的局部均值和局部标准差之差，则定义：

$\tilde{V}\left(x\right)=max\left(\min \right(\tilde{V}\left(x\right),D\left(x\right)),0)---\left(13\right)$

(4)根据已经求得的环境光值A，计算优化透射率t(x)即景深：

$t\left(x\right)=1-\tilde{V}\left(x\right)/\stackrel{\‾}{A}---\left(14\right)$

式中，为A的RGB三个颜色通道的均值。

5.如权利要求2所述的基于物理模型的低照度图像增强方法，其特征在于，所述步骤(4)中，基于物理模型恢复出无雾图像具体包括：

根据(15)式，求得基于物理模型去雾后的无雾图像J(x)，式中t₀取常数值，用于降低图像噪声，J(x)表示恢复的无雾图像，

$J\left(x\right)=\frac{I_{inv}\left(x\right)-A}{max\left(t\right(x),t_0)}+A---\left(15\right).$

6.如权利要求1所述的基于物理模型的低照度图像增强方法，其特征在于，所述步骤(5)中，对无雾图像反转后得到增强图像；

将无雾图像反转即得到低照度增强后的图像J_en(x)：

J_en(x)＝1-J(x) (16)。