CN103345733A - 基于改进暗通道先验的快速低照度图像增强方法 - Google Patents

Abstract

基于改进暗通道先验的快速低照度图像增强方法，本发明涉及快速低照度图像增强方法。本发明是要解决低照度图像增强方法计算量大，实时性差、边缘信息易被模糊、暗通道先验方法对浅色区域不适用、原有的基于暗通道先验低照度增强方法对于反光和不均匀光照区域处理效果差的问题。一、输入图像I(i，j)；二、计算图像I(i，j)的初始暗通道图像D(i，j)；三、计算D(i，j)的像素平均暗通道灰度值和最大暗通道灰度值；四、判断图像I(i，j)中的浅色区域；五、对修改后的暗通道图像进行线性平滑；六、获得平滑的光照强度图像的直方图，并确定标准光照强度；七、恢复图像。属于图像和视频处理领域。

Description

基于改进暗通道先验的快速低照度图像增强方法

技术领域

本发明涉及快速低照度图像增强方法，属于图像和视频处理领域。

背景技术

在阴雨天及夜间低光照条件下，由于采集图像及视频时周围环境光照条件不佳及低照度导致采集图像或视频设备噪声影响加剧等原因，使得到的图像整体灰度值和图像对比度降低，图像质量和可视性严重下降，难以识别感兴趣区域。另外，目标图像中的部分区域由于获得光照不足或位于阴影区域与背景融合在一起，使图像中这部分的信息难以提取。因此，增强低照度下图像亮度和对比度，提高整体图像质量，在民用智能视频监控系统，智能安防系统，智能交通管理系统等以及军事应用中如成像侦察系统、空间光学遥感和导弹成像制导领域中都具有重要的应用价值。

目前用于低照度图像增强的方法主要有基于空域滤波的直方图均衡方法、同态滤波方法、梯度图像增强算法、Retinex方法等。直方图均衡是最常见的低照度图像增强方法。通常用来增加图像的全局对比度。直方图均衡分为全局直方图均衡和局部直方图均衡。全局直方图均衡方法是基于整个图像的直方图对整个图像做相同的变换，而没有考虑图像的局部信息，因此造成部分高频图像信息丢失。局部直方图均衡算法能够克服全局直方图均衡化难以适应局部灰度分布的缺陷。但是由于局部直方图均衡算法需要对整幅图像每个象素点为中心的子块进行直方图均衡化计算，因此计算量大，算法实时性差。虽然子块部分重叠直方图均衡算法提高了计算效率，但是存在块效应以及如何确定最优块重叠量的问题。直方图均衡的方法难以同时保证恢复的图像的质量以及实时性。

基于照明—反射模型的同态滤波方法将图像转换至对数域，使得计算效率更高，能压缩图像整体动态范围，同时增强低亮度区域的对比度，适用于增强局部灰度值低的图像。存在的问题是目前对照射分量和反射分量的估计并没有一个很好的方法，对特定的图像需要手动选取滤波器及其系数，从而无法自动完成图像增强。

中国专利CN102289792A采用了Retinex方法进行低照度图像增强，Retinex方法的关键在于对反射分量的估计，该方法适合处理局部灰度值低的图像，能有效增强其中暗处的细节部分。但是Retinex方法并没有重视图像梯度信息，导致在增强图像的同时模糊了边缘信息。

空域彩色图像增强方法是通过将一已知灰度值概率密度分布的图像变换成一幅具有均匀灰度概率密度分布的图像。这种方法将彩色图像变换为灰度图像后进行处理，丢失原彩色图像的部分信息，处理效果不佳。

梯度图像增强方法充分的利用了图像梯度信息，能够较好的保持原图中的细节信息和层次感，适合分析图像高光区与阴影区的信息。缺点是会使图像在一定程度上锐化，并且在梯度域中重建图像计算复杂，不适合实时使用。

中国专利CN103020920提出了一种基于暗通道先验的低照度图像增强方法。利用低照度图像、自适应大气光照图和自适应传输函数图，通过大气散射物理模型复原场景图像。但是存在的问题是，这个方法适用范围窄，首先，对于低照度图像中通常存在的反光和不均匀的光照区域的恢复效果很差；其次，传统的暗通道先验的方法对于图像中存在的浅色及偏白色区域并不适用，因为场景为浅色的时候，它的RGB(红蓝绿)三个通道中并不存在一个接近于0的通道，这就会使暗通道的原理失效，对浅色区域的传播图产生误判，导致在还原图像的过程中，对于浅色的区域会出现较大的偏差。同时在大部分的室内或者城市监控等应用场景，景深近似基本一致，计算传输函数图增加了计算量。

发明内容

本发明是要解决低照度图像增强方法计算量大，实时性差、边缘信息易被模糊、暗通道先验方法对浅色区域不适用、原有的基于暗通道先验低照度增强方法对于反光和不均匀光照区域处理效果差的问题，而提供了基于改进暗通道先验的快速低照度图像增强方法。

改进暗通道先验的快速低照度图像增强方法包括以下步骤：

一、输入图像I(i，j)，并将其转换到RGB彩色空间，并获得图像的RGB三通道图像；

二、计算图像的RGB三通道图像各像素点在RGB三个通道中的最小值，得到输入图像的初始暗通道图像；

三、计算图像的初始暗通道图像的像素平均暗通道灰度值meangray和最大暗通道灰度值maxgray；

四、准确的根据图像的初始暗通道图像的像素平均暗通道灰度值meangray和最大暗通道灰度值maxgray判断图像中的浅色区域，将浅色区域的像素对应的暗通道灰度值修改为像素平均暗通道灰度值 $\mathrm{meangray}=\frac{1}{w*h}\underset{i=1}{\overset{w}{\mathrm{\Σ}}}\underset{j=1}{\overset{h}{\mathrm{\Σ}}}I(i,j),$ w和h分别为图像的宽和高；

五、对修改后的暗通道图像进行线性平滑，得到平滑后的光照强度图像；

六、获得平滑后的光照强度图像的直方图，并确定标准光照强度；

七、根据像素点在平滑后光照强度图像上的灰度与标准光照强度的比例关系，对图像上不同的像素点的RGB三个通道进行增强，完成图像增强。

发明效果：

本发明采用了线性近似的方法来获得平滑的光照强度图像，解决了算法计算量大，实时性差的问题，并解决了边缘信息易被模糊的问题；

本发明提出了判定浅色区域和修正浅色区域的暗通道数值的方法，解决了暗通道先验方法对浅色区域不适用的问题；

本发明提出了根据像素点对应的光照强度与标准光照强度的比值来恢复图像的方法，解决了原有的基于暗通道先验低照度增强方法对于反光和不均匀光照区域处理效果差的问题。

具体说，在夜晚、阴暗的室内及阴雨天等环境下，本发明方法可以增强低照度成像条件下图像和视频的亮度和对比度，提高图像和视频质量。可应用于民用照相摄像、智能视频监控、智能安防、光学成像遥感等领域。

本发明针对目前上述低照度增强算法存在的问题，将用于去雾领域的暗通道先验的思想应用于低照度图像增强，提出获得图像场景的光照强度分布以及增强低照度图像的方法，并对现有的基于暗通道先验的图像增强方法中存在的适用性窄和对浅色区域处理效果差的缺点进行了改进。所提算法具有实时性好和复原图像质量高的特点。

附图说明

图1为本发明的图像增强流程图；

图2为实施例中步骤五中的平滑光照强度图像部分的流程图；

图3为实施例总步骤四中计算浅色区域部分的流程图；

图4（a）为实施例中图像增强前的原始图像，图4（b）表示实施例中图像增强后的恢复图像；

图5（a）为实施例中对浅色区域进行修复前的原始图像效果，图5（b）表示未处理浅色区域，图5（c）表示处理浅色区域；

图6为实施例中图像增强前后的峰值信噪比。

具体实施方式

具体实施方式一：本实施方式的改进暗通道先验的快速低照度图像增强方法包括以下步骤：

步骤一：输入图像I(i,j)，获得图像I(i,j)的尺寸为w*h，以及图像I(i，j)的RGB三通道图像IR(i,j)、IG(i,j)、IB(i,j)，其中w为图像的宽度，h为图像的高度，IR(i,j)、IG(i,j)、IB(i,j)分别为图像的红绿蓝三通道图像；

步骤二：对于图像I(i,j)的每个像素点求其RGB三通道图像IR(i,j)、IG(i,j)、IB(i,j)的灰度中的最小值，记为Imin(i，j)，计算公式如下：

$I_{\min }(i,j)=\underset{c\∈\{R,G,B,\}}{\min }\left(I_c(x,y)\right)$

对于图像Imin(i,j)中的每个像素点进行最小滤波处理，得到D(i,j)计算公式如下：

$D(i,j)=\underset{(x,y)\∈Q(i,j)}{\min }\left(I(x,y)\right)$

其中Q(i,j)为以像素I(i,j)为中心的N*N大小的块图像，此实例中N的大小取值由图像大小决定，因为N太小会导致获得的暗通道数值不够准确，而N过大会加大运算量，增加处理时间；

N的取值方法为：

0<w*h<120000，N=5；

120000<w*h<480000，N=7；

480000<w*h<1200000，N=9；

1200000<w*h，N=11；

D(i,j)为图像的初始暗通道图像。

根据何恺明的去雾方法中的计算，D(i,j)=A(1-t)；

其中A为光照强度，t为透射率，在低照度增强应用中，认为透射率t不变，于是D(i,j)与光照强度A存在比例关系，由于在后续计算中会消去1-t，则对D(i,j)的处理也就相当于对于光照强度图像的处理；

步骤三：对于已经获得的初始暗通道灰度图像D(i,j)，计算D(i,j)的平均灰度值meangray：

$\mathrm{meangray}=\frac{1}{w*h}\underset{i=1}{\overset{w}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{h}{\mathrm{\&Sigma;}}}I(i,j)$

以及D(i,j)的最大灰度值maxgray；

步骤四：判断图像中的浅色区域，并对浅色区域对应的初始暗通道图像D(i,j)进行修改；

图像中浅色区域的像素I(k,l)存在两个特点：

(1)、IR(k,l)、IG(k,l)、IB(k,l)三个数之间数值较为接近；

(2)、D(k,l)数值较大；

可以通过下面的方法判定浅色区域：

对IR(i,j)、IG(i,j)、IB(i,j)两两做差，取绝对值的最大值记为S(i,j)。将S(i,j)小于等于10，D(i,j)大于等于meangray且D(i,j)小于等于maxgray/2的像素点判定为浅色区域；

对于判定为浅色区域的像素I(k,l)，将其在初始暗通道灰度图像D(i,j)上对应的值修改为meangray。在判定浅色区域过程中出现的一些误判的点，会在之后的图像平滑过程中得到修复，不会影响恢复图像的质量。

步骤五：对D(i,j)进行线性平滑，得到平滑的光照强度图像E(i,j)；

平滑光照强度图像D(i,j)的方法为：

对在以点k为中心，大小为M*M的窗W_k内的所有像素x以公式

E_x=a_kD_x+b_k

进行线性近似；

M的大小根据输入图像的大小w*h确定，对于同一个图像，M应略小于求取暗通道图像时使用的窗的大小N的值，可以使用公式M=N-2来计算M的数值；

当a_k和b_k的数值发生变化的时候，线性近似的结果Ex也会发生变化。E_x和D_x之间的差由下面公式求得：

$R(a_k,b_k)=\underset{x\&Element;W_k}{\mathrm{\&Sigma;}}({(a_k{D}_x-D_x+b_k)}^2+{\mathrm{\&epsiv;a}}_k^2)$

其中ε是一个非常小的常数，ε小于等于0.01，来防止a_k过大；

使用线性回归的方法解出R(a_k,b_k)的最小值为：

$a_k=\frac{\underset{x\&Element;W_K}{\mathrm{\&Sigma;}}(a_k{D}_x-u_k^2)}{\left|\mathrm{count}\left(W\right)\right|({\mathrm{\&delta;}}_k^2+\mathrm{\&epsiv;})},$ b_k=u_k(1-a_k)；

其中

和u_k分别是窗W_k内D_x的方差和平均值，count(W)是窗W内像素的数目；

当R(a_k，b_k)取得最小值的时候，对于高频区域，像素之间差异较大，线性近似参数a_k,b_k的求解结果将趋近于a_k=1，b_k=0。这保证了平滑结果不会模糊图像边缘区域；

在求得所有的窗W_k的线性近似解a_k,b_k以后，由于一个像素可能会同时存在于很多个窗内，在获得最后的平滑结果时应该取所有包含点x的窗W_k的a_k和b_k的平均值用于计算，即：

$E_x=\stackrel{-}{a_k}{D}_x+\stackrel{-}{b_k}$

步骤六：获得E(i,j)的直方图，并确定标准光照强度light；

通过已经获得的光照强度图像，对图像上每个像素点光照强度进行调整，恢复成均匀光照下的效果来减小灯光的不均匀照射产生的影响。恢复后的均匀照射的光照强度称为标准光照强度；

低照度图像对应的光照强度图像的直方图具有比较类似的分布。即主要分布于低灰度值区域，随灰度值的增大，分布逐渐减少，并于光源和强光的存在，在某些较大的灰度值存在较多的分布。

针对这一特点，使用下面的方法获得标准光照强度light：

在暗通道图像的直方图上，所有像素个数小于(w*h)/10的灰度值中最小的一个灰度值被选择作为标准光照强度。

步骤七：根据像素点的光照强度与标准光照强度的比例关系，对I(i,j)每个像素点的RGB三个通道的灰度进行不同大小的放大；恢复低照度图像的公式为：

J(i,j)=I(i,j)*(1+P*exp(-(E(i,j)/light)))；

其中P是图像增强的比例系数，根据meangray的大小确定：

meangray<1，P=9；

meangray=1～1.1，P=8；

meangray=1.1～1.2，P=7；

meangray=1.2～1.3，P=6；

对于正常的夜间街道P的大小为7～8，如果用户希望得到亮度高一些的恢复后图像，可以适当的加大P的大小。

本实施方式效果：

本实施方式采用了线性近似的方法来获得平滑的光照强度图像，解决了算法计算量大，实时性差的问题，并解决了边缘信息易被模糊的问题；

本实施方式提出了判定浅色区域和修正浅色区域的暗通道数值的方法，解决了暗通道先验方法对浅色区域不适用的问题；

本实施方式提出了根据像素点对应的光照强度与标准光照强度的比值来恢复图像的方法，解决了原有的基于暗通道先验低照度增强方法对于反光和不均匀光照区域处理效果差的问题。

具体说，在夜晚、阴暗的室内及阴雨天等环境下，本实施方式方法可以增强低照度成像条件下图像和视频的亮度和对比度，提高图像和视频质量。可应用于民用照相摄像、智能视频监控、智能安防、光学成像遥感等领域。

本实施方式针对目前上述低照度增强算法存在的问题，将用于去雾领域的暗通道先验的思想应用于低照度图像增强，提出获得图像场景的光照强度分布以及增强低照度图像的方法，并对现有的基于暗通道先验的图像增强方法中存在的适用性窄和对浅色区域处理效果差的缺点进行了改进。所提算法具有实时性好和复原图像质量高的特点。

具体实施方式二：本实施方式与具体实施方式不同的是：所述的步骤四的判断图像中的浅色区域的方法是：

A、RGB三通道的灰度两两之差的绝对值小于5；

B、像素点对应的暗通道灰度值大于平均暗通道灰度值meangray；

C、像素点对应的暗通道灰度值小于最大暗通道灰度值的二分之一maxgray/2。其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述的步骤五对修改后的暗通道图像进行线性平滑的步骤为：

a、根据图像I(i，j)大小确定用来平滑暗通道图像的窗的大小；

b、对于每个窗计算线性近似的参数a_k和b_k；

c、对于包含每个像素的所有窗的近似参数a_k和b_k进行平均，得到平均后的近似参数；

d、以平均后的近似参数对图像进行线性近似；

其中，对修改后的暗通道图像进行线性平滑的公式为：对在以点k为中心，大小为M*M的窗W_k内的所有像素x：E_x=a_kD_x+b_k，M=N-2，N为求取暗通道图像时使用的窗的大小，其中D_x为修改后的暗通道图像，E_x为平滑后的结果，a_k和b_k为线性近似参数，

b_k=u_k(1-a_k)，其中

和u_k分别是窗W_k内D_x的方差和平均值，count(W)是窗W内像素的数目，ε小于等于0.01，对于高频区域，线性近似参数a_k,，b_k的求解结果将趋近于a_k=1，b_k=0。其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述的步骤六中确定标准光照强度的方法具体为：

平滑后的光照强度图像的直方图上，所有像素个数小于(w*h)/10的灰度值中最小的一个灰度值被选择作为标准光照强度，其中w和h分别为图像的宽和高。其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述的步骤七中根据像素点在光照强度图像上的灰度与标准光照强度的比例关系，对图像上不同的像素点的RGB三个通道进行增强具体为：

根据暗通道图像平均灰度值meangray确定图像RGB三通道灰度的基础增强比例系数P；

对于每个像素点，根据它对应的光照强度数值与标准光照强度的比值对P进行调整，完成图像增强，恢复低照度图像的公式为：

J(i,j)=I(i,j)*(1+P*exp(-(E(i,j)/light)))；

其中J(i,j)为恢复后的图像，E(i,j)为平滑后的光照强度图像，light为标准光照强度。其它步骤及参数与具体实施方式一至四之一相同。

Claims (5)

1.基于改进暗通道先验的快速低照度图像增强方法，其特征在于基于改进暗通道先验的快速低照度图像增强方法包括以下步骤：

一、输入图像I(i，j)，并将其转换到RGB彩色空间，并获得图像的RGB三通道图像；

二、计算图像的RGB三通道图像各像素点在RGB三个通道中的最小值，得到输入图像的初始暗通道图像；

三、计算图像的初始暗通道图像的像素平均暗通道灰度值meangray和最大暗通道灰度值maxgray；

四、准确的根据图像的初始暗通道图像的像素平均暗通道灰度值meangray和最大暗通道灰度值maxgray判断图像中的浅色区域，将浅色区域的像素对应的暗通道灰度值修改为像素平均暗通道灰度值 $\mathrm{meangray}=\frac{1}{w*h}\underset{i=1}{\overset{w}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{h}{\mathrm{\&Sigma;}}}I(i,j),$ w和h分别为图像的宽和高；

五、对修改后的暗通道图像进行线性平滑，得到平滑后的光照强度图像;

六、获得平滑后的光照强度图像的直方图，并确定标准光照强度;

七、根据像素点在平滑后光照强度图像上的灰度与标准光照强度的比例关系，对图像上不同的像素点的RGB三个通道进行增强，完成图像增强。

2.根据权利要求1所述的基于改进暗通道先验的快速低照度图像增强方法，其特征在于所述的步骤四的判断图像中的浅色区域的方法是:

A、RGB三通道的灰度两两之差的绝对值小于10;

B、像素点对应的暗通道灰度值大于平均暗通道灰度值meangray;

C、像素点对应的暗通道灰度值小于最大暗通道灰度值的二分之一maxgray/2。

3.根据权利要求1所述的一种基于改进暗通道先验的快速低照度图像增强方法，其特征在于所述的步骤五对修改后的暗通道图像进行线性平滑的步骤为:

a、根据图像I(i，j)大小确定用来平滑暗通道图像的窗的大小;

b、对于每个窗计算线性近似的参数a_k和b_k；

c、对于包含每个像素的所有窗的近似参数a_k和b_k进行平均，得到平均后的近似参数;

d、以平均后的近似参数对图像进行线性近似;

其中，对修改后的暗通道图像进行线性平滑的公式为:对在以点k为中心，大小为M*M的窗W_k内的所有像素x：E_x＝a_kD_x+b_k，M＝N-2，N为求取暗通道图像时使用的窗的大小，其中D_x为修改后的暗通道图像，E_X为平滑后的结果，a_k和b_k为线性近似参数，

b_k＝u_k(1-a_k)，其中

和u_k分别是窗W_k内D_x的方差和平均值，count(W)是窗W内像素的数目ε小于等于0.01，对于高频区域，线性近似参数a_k，b_k的求解结果将趋近于a_k＝1，b_k＝0。

4.根据权利要求1所述的基于改进暗通道先验的快速低照度图像增强方法，其特征在于所述的步骤六中确定标准光照强度的方法具体为:

平滑后的光照强度图像的直方图上，所有像素个数小于(w*h)/10的灰度值中最小的一个灰度值被选择作为标准光照强度，其中w和h分别为图像的宽和高。

5.根据权利要求1所述的基于改进暗通道先验的快速低照度图像增强方法，其特征在于所述的步骤七中根据像素点在光照强度图像上的灰度与标准光照强度的比例关系，对图像上不同的像素点的RGB三个通道进行增强具体为:

根据暗通道图像平均灰度值meangray确定图像RGB三通道灰度的基础增强比例系数P;

对于每个像素点，根据它对应的光照强度数值与标准光照强度的比值对P进行调整，完成图像增强，恢复低照度图像的公式为:

J(i，j)＝I(i，j)*(1+P*exp(-(E(i，j)/light)));

其中J(i，j)为恢复后的图像，E(i，j)为平滑后的光照强度图像，light为标准光照强度。

Images