CN103886565B - 基于目的性优化及直方图均衡化的夜间彩色图像增强方法 - Google Patents

Abstract

基于目的性优化及直方图均衡化的夜间彩色图像增强方法属于图像处理技术领域，其特征在于，同时对待处理图像和结果图像的各点在像素值差的平方和以及在x，y方向上的梯度分量进行最优化控制使得图像对比度增强：用一个控制梯度分量的参数θ来控制结果图像在x，y两个方向上的梯度分量，当待处理图像像素点在x，y方向的梯度分量的绝对值小于θ时，使结果图像的对应点在x，y方向的梯度分量大小保持不变，当待处理图像像素点在x，y方向的梯度分量的绝对值大于或等于θ时，使结果图像的对应点在x，y方向的梯度分量大小用Gamma校正函数进行增强。然后通过改进的直方图均衡化处理，从而得到了优于现有的MichaelElad提出的算法及MSRCR算法的结果。

Description

基于目的性优化及直方图均衡化的夜间彩色图像增强方法

技术领域

本发明涉及图像处理领域，具体涉及一种夜间彩色图像处理方法及系统。

背景技术

夜间图像增强技术在计算摄影学和计算机视觉领域都有很大的应用意义，主要表现在夜间图像增强技术能够有效的增强摄影效果；一些计算机视觉算法(如：光度分析算法)的输入图像往往是非夜间图像，夜间图像增强技术能够增大此类算法的适应范围；一些高级任务(如：视频监控)也将受益于夜间图像增强技术。

目前对于夜间图像质量增强的技术主要包括图像融合和图像增强。图像融合技术包括夜间图像与可见光图像融合以及夜间图像与红外图像融合，此类方法都需要在同一场景下采集多幅不同频谱的图像且算法复杂耗时。图像增强技术可分为空间统一方法和空间非统一方法两类。空间统一方法主要包括：对数压缩，伽玛校正，直方图均衡，线性拉伸；这类方法计算高效，实现简单，但是效果往往不能满足实际的应用。空间非统一方法主要包括：局部直方图均衡，基于人眼对比敏感度的方法，基于Retinex方法等；这类算法往往算法效果较好。其中基于Retinex模型的增强算法对夜间图像具有较好的增强效果。根据估计亮度图像的方法不同，基于Retinex模型的增强算法大致分为基于路径比较的方法、基于迭代的方法和中心环绕计算方法等。其中，中心环绕的Retinex算法是使用最为广泛的方法。具有代表性的有单尺度Retinex(Singlescale-Retinex,SSR)算法和多尺度Retinex(Multiscale-Retinex,MSR)算法，以及在此基础上为了克服颜色失真问题而提出的颜色复原的多尺度Retinex(Multiscale-Retinex with color restoration,MSRCR)算法。鉴于中心环绕方法存在“光晕伪影”的现象，Michael Elad等提出了基于双边滤波的Retinex算法，该算法能够有效地消除“光晕伪影”现象；Meylan等提出了一种基于中心/邻域Retinex模型的自适应滤波方法，根据图像边缘方向自适应调整滤波器的形状，以此抑制图像边缘处的Halo效应，但仍不可避免地在图像边缘处产生过增强现象。

夜间图像往往存在对比度、亮度偏低现象，基于此种问题本发明采用最优化算法来增强夜间图像的对比度，利用改进的直方图均衡化及改进的Gamma变换增强夜间图像的亮度。一般的最优化算法往往利用迭代的方式进行处理，运算相对比较复杂，本发明采用目的性优化进行夜间图像对比度的增强，基本满足实际应用的实时性要求。改进的直方图均衡化及改进的Gamma变换是在保护细节的前提下进行的亮度增强。

发明内容

本发明的目的在于提出一种基于目的性优化及直方图均衡化的夜间彩色图像增强方法。

本发明的特征在于，在计算机中是依次按以下步骤实现的：

步骤(1)，读取一幅未处理的夜间彩色图像I(x，y)，简称原图像；

步骤(2)，把所述的原图像I(x，y)从RGB颜色空间转换到HSV颜色空间，并对其进行归一化使其各像素点的像素值取值范围为[0，1]，对其中的亮度分量V按以下步骤进行夜间彩色图像增强操作；

步骤(3)，依次按以下步骤计算对应于所述原图像I(x，y)的经过增强的夜间彩色图像R(x，y)，简称结果图像：

步骤(3.1)，设定：用于控制所述结果图像R(x，y)中各像素点在x，y两个方向上未知梯度分量的两个对应辅助变量h_p、v_p的参数θ，使所述两个辅助变量h_p、v_p在数值上分别近似于所述原图像I(x，y)中对应像素点在x，y两个方向上的梯度分量该控制参数θ的取值范围为[0.02,0.9]，的取值范围为[-1，1]；

步骤(3.2)，利用所述控制参数θ来设定h_p、v_p的数值：

上式表明：

当所述原图像I(x，y)中像素点p在x方向的梯度分量的绝对值小于θ时使所述h_p的值维持与原图像相应梯度分量值相等，

当所述原图像I(x，y)中像素点p在x方向的梯度分量的绝对值大于或等于θ时使所述h_p的值增大以使图像对比度增强，实现目的性优化，

当所述原图像I(x，y)中像素点p在y方向的梯度分量的绝对值小于θ时使所述v_p的值维持与原图像相应梯度分量值相等，

当所述原图像I(x，y)中像素点p在y方向的梯度分量的绝对值大于或等于θ时使所述v_p的值增大以使图像对比度增强，实现目的性优化，

G(·)为Gamma校正函数，G(·)＝(·)^{(min(γ*(1+·),1))}，

γ为所述Gamma校正函数G(·)的控制参数，取值范围为[0.1,0.99]；

步骤(3.3)，同时使结果图像R(x，y)和原图像I(x，y)对应像素点差的平方和以及梯度分量值差的平方和最小化，用下式表示为：

其中，R为结果图像R(x,y)，R_p为结果图像R(x,y)中的像素点p，I_p为原图像I(x,y)中的像素点p，β为h_p、v_p与的近似程度，取值范围为[1,2000]，

步骤(3.4)，用梯度下降法求解步骤(3.3)的结果图像得到初步未经直方图均衡化的结果图像R′(x，y)：

其中，p为图像的所有像素点，I为原图像，F是快速傅里叶变换算子，F^-1是快速傅里叶变换的逆变换，F(1)是δ函数的傅里叶变换，δ函数即单位脉冲函数，表示一个在除了零以外的点都等于零，而其在整个定义域上的积分等于1的函数，中的分别对应于点扩散函数组成图像的各个点在x,y方向的梯度大小，为步骤(3.1)中分别对应于的两个对应辅助变量h_p，v_p的梯度分量；

步骤(4)，对上述得到的结果图像进行改进的直方图均衡化，在所述均衡化过程中将图像像素分为三种，分别为可忽略像素，待增强像素，不需增强像素，分类依据为：

其中：

m是图像像素值的概率值，取值区间为[0.1]；

α和η是图像像素分类的控制参数，α<η，经验值：η＝1.0/255，α＝0.1*η，对待增强像素部分像素值概率都增强一个相同的概率值η，其余部分不做增强像素值概率操作，通过所述改进的直方图均衡化可以得到结果图像R(x，y)；

步骤(5)，对上述求得的结果图像R(x，y)进行改进的Gamma校正：

其中：R是上述步骤(4)求得的结果图像；δ是Gamma校正函数的控制参数，取值范围是[0.45，0.99]；是最终的结果图像。

为验证本算法的有效性，本文对多幅夜间彩色图像进行了实验，并分别从主观视觉效果和客观评价两方面对其进行验证。将本算法与Michael Elad提出的基于双边滤波的Retinex算法和MSRCR算法进行比较。本发明采用图像均值、标准差、熵对图像增强效果进行客观评价。均值反映了图像的明暗程度；标准差反映了图像的对比度；熵反映了图像的信息量。部分客观比较试验结果如下表所示：

表1 例1评价标准

表2 例2评价标准

表3 例3评价标准

表4 例4评价标准

由表1-4可以看出，均值方面，MSRCR算法对于均值的提高效果最为显著，表现为增强后的图像整体偏亮，本算法对均值的提升效果高于Michael Elad，图像整体适中，符合人的视觉感受；标准差方面本算法明显优于其他两种算法，表明本算法对图像对比度的增强效果显著，图像细节恢复效果明显。熵方面，本算法优于其他两种算法，表明本算法增强后的图像拥有较高的信息量。

经由上述的技术方案可知，与现有技术相比，本发明公开了一种基于目的性优化及直方图均衡化的夜间彩色图像增强方法，通过目的性优化方法增强图像对比度，恢复图像细节，然后采用保持细节的改进的直方图均衡化对图像进行处理，最后采用改进的Gamma变换对结果图像进行校正，获得最终的增强结果。通过本发明的方法与系统，能够有效、快速的提升夜间彩色图像的对比度，恢复图像细节，消除“光晕伪影”现象。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种夜间彩色图像处理方法的流程图；

图2为本发明增强结果和Michael Elad、MSRCR增强结果的主观效果对比例1，(a)原图像、(b)Michael Elad、(c)MSRCR、(d)本发明方法；

图3为本发明增强结果和Michael Elad、MSRCR增强结果的主观效果对比例2，(a)原图像、(b)Michael Elad、(c)MSRCR、(d)本发明方法；

图4为本发明增强结果和Michael Elad、MSRCR增强结果的主观效果对比例3，(a)原图像、(b)Michael Elad、(c)MSRCR、(d)本发明方法；

图5为本发明增强结果和Michael Elad、MSRCR增强结果的主观效果对比例4，(a)原图像、(b)Michael Elad、(c)MSRCR、(d)本发明方法。

具体实施方式

由于RGB彩色空间颜色的相关性，直接在RGB颜色空间(R代表红色通道，G代表绿色通道，B代表蓝色通道)增强彩色图像容易造成颜色失真，因此，本发明选择在色彩感知上更加接近人类视觉感受的HSV颜色空间(H代表色调分量，S代表饱和度分量，V代表亮度分量)对图像进行处理。本发明方法仅对HSV颜色空间中的亮度分量进行处理。

夜间图像往往存在着对比度低、细节不明显等问题。对比度、图像细节都与图像的梯度有很密切的关系，往往对比度低、细节不明显表明了相应像素的各梯度分量值比较低。因此本发明通过增强图像相应像素的各梯度分量值来增强图像对比度、增强图像细节。

读取一幅未处理的夜间彩色图像I(x，y)简称原图像；把所述的原图像I(x，y)从RGB颜色空间转换到HSV颜色空间，并对其进行归一化使其各像素点的像素值取值范围为[0，1]，对其中的亮度分量V按以下步骤进行夜间彩色图像增强操作；

设定：用于控制所述结果图像R(x，y)中各像素点在x，y两个方向上未知梯度分量的两个对应辅助变量h_p、v_p的参数θ，使所述两个辅助变量h_p、v_p在数值上分别近似于所述原图像I(x，y)中对应像素点在x，y两个方向上的梯度分量该控制参数θ的取值范围为[0.02,0.9]，的取值范围为[-1，1]；

利用所述控制参数θ来设定h_p、v_p的数值：

上式表明：

当所述原图像I(x，y)中像素点p在x方向的梯度分量的绝对值小于θ时使所述h_p的值维持与原图像相应梯度分量值相等，

当所述原图像I(x，y)中像素点p在x方向的梯度分量的绝对值大于或等于θ时使所述h_p的值增大以使图像对比度增强，实现目的性优化，

当所述原图像I(x，y)中像素点p在y方向的梯度分量的绝对值小于θ时使所述v_p的值维持与原图像相应梯度分量值相等，

当所述原图像I(x，y)中像素点p在y方向的梯度分量的绝对值大于或等于θ时使所述v_p的值增大以使图像对比度增强，实现目的性优化，

G(·)为Gamma校正函数，G(·)＝(·)^{(min(γ*(1+·),1))}，

γ为所述Gamma校正函数G(·)的控制参数，取值范围为[0.1,0.99]；

同时使结果图像R(x，y)和原图像I(x，y)对应像素点差的平方和以及梯度分量值差的平方和最小化，用下式表示为：

其中：

β为h_p、v_p与的近似程度，取值范围为[1,2000]，

然后用梯度下降法求解上式，为了避免运算过程中涉及的大量的矩阵求逆运算，先将上式进行傅里叶变换，得到初步未经直方图均衡化的结果图像R’(x，y)：

其中，p为图像的所有像素点，I为原图像，F是快速傅里叶变换算子，F^-1是快速傅里叶变换的逆变换，F(1)是δ函数的傅里叶变换，δ函数即单位脉冲函数，表示一个在除了零以外的点都等于零，而其在整个定义域上的积分等于一的函数，中的分别对应于点扩散函数组成图像的各个点在x,y方向的梯度大小，为分别对应于的两个对应辅助变量h_p，v_p的梯度分量；

直方图均衡化是一种常用的图像增强手段，但往往由于小概率像素的合并或小概率像素依附于其他较大概率像素，导致像素值数目减少，某些细节消失。为了保护图像细节，本发明采用了增强小概率像素概率值的方法，并达到了很好的效果。对上述得到的结果图像进行改进的直方图均衡化，在所述均衡化过程中将图像像素分为三种，分别为可忽略像素，待增强像素，不需增强像素，分类依据为：

其中：

m是图像像素值的概率值，取值区间为[0.1]；

α和η是图像像素分类的控制参数，α<η，经验值：η＝1.0/255，α＝0.1*η，本发明对待增强像素部分像素值概率都增强一个相同的概率值η，其余部分不做增强像素值概率操作，通过所述改进的直方图均衡化可以得到结果图像R(x，y)；

对上述求得的结果图像R(x，y)进行改进的Gamma校正：

其中：R是上述步骤求得的结果图像；δ是Gamma校正函数的控制参数，取值范围是[0.45，0.99]；是最终的结果图像。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开了一种夜间彩色图像数据处理方法及系统，通过目的性优化方法增强图像对比度，恢复图像细节，然后采用保持细节的改进的直方图均衡化对图像进行处理，最后采用改进的Gamma变换对结果图像进行校正，获得最终的增强结果。下面对本发明的方法进行详细说明。

实施例：

如图1所示，本发明的方法主要包括以下步骤：

参数设置：

例(1)β＝2000，γ＝0.1，δ＝0.7，α＝1/2550，η＝1/255，θ＝0.1

例(2)β＝1，γ＝0.99，δ＝0.99，α＝1/2550，η＝1/255，θ＝0.02

例(3)β＝4，γ＝0.5，δ＝0.45，α＝1/2550，η＝1/255，θ＝0.1

例(4)β＝18，γ＝0.5，δ＝0.7，α＝1/2550，η＝1/255，θ＝0.9

参数设置规则：

β表示结果图像与原图像的保真程度，取值为[1,2000]，值越小则保真度越好，

γ为图像对比度增强程度，取值为[0.1，0.99]，值越小增强程度越大，

δ为图像亮度增强程度，取值为[0.45，0.99]，值越小增强程度越大，

α，η，为像素分类的控制参数，根据图像像素值分布情况进行选取，

θ为控制图像各像素点各梯度分量值增强程度的参数，取值为[0.02,0.9]，值越小图像各梯度分量值增强程度越大；

步骤S101，读取待处理图像。

执行步骤S101，读取一张待处理彩色图像I(x,y)，宽为W个像素，高为H个像素，(x,y)为该图像上点的坐标，其中，0≤x≤W-1，0≤y≤H-1，W、H、x、y为非负整数。将图像从RGB颜色空间(R代表红色，G代表绿色，B代表蓝色)转换到HSV颜色空间(H代表色调，S代表饱和度，V代表亮度)，本方法主要对亮度分量(V分量)进行处理。

步骤S102，目的性优化方法增强图像对比度。

执行步骤S102，对待处理彩色图像I(x,y)的亮度分量(V分量)进行图像对比度增强操作。处理过程为：根据结果图像的计算式利用目的性优化的方式求解图像各像素点的x，y梯度分量值，具体是用Gamma校正函数增强图像像素点的x，y梯度分量值。然后利用梯度下降法及傅里叶变换求解结果图像。

步骤S103，改进的直方图均衡化算法增强图像。

执行步骤S103，将上述步骤得到的结果图像像素分为可忽略像素，待增强像素，不需增强像素三部分，增强带增强像素部分的概率值，最终得到细节保护比较完整的结果图像。

步骤S104，改进的Gamma校正增强图像。

执行步骤S104，对结果图像R其进行直方图裁剪，将结果中值小于零的像素点值设置为零，大于一的值设置为1，将值压缩到[0,1]范围内。对结果图像进行Gamma校正。

步骤S105，获得彩色增强图像。

执行步骤S105，将得到的增强后的结果图像原图像的色调(H分量)、饱和度(S分量)合并后并转换到RGB颜色空间得到所述增强后的彩色图像。

Claims (1)

1.基于目的性优化及直方图均衡化的夜间彩色图像增强方法其特征在于，是在计算机中依次按以下步骤实现的：

步骤(1)，读取一幅未处理的夜间彩色图像I(x,y)，简称原图像；

步骤(2)，把所述的原图像I(x,y)从RGB颜色空间转换到HSV颜色空间，并对其进行归一化使其各像素点的像素值取值范围为[0，1]，对其中的亮度分量V按以下步骤进行夜间彩色图像增强操作；

步骤(3)，依次按以下步骤计算对应于所述原图像I(x,y)的经过增强的夜间彩色图像R(x,y)，简称结果图像：

步骤(3.1)，设定：用于控制所述结果图像R(x,y)中各像素点在x，y两个方向上未知梯度分量的两个对应辅助变量h_p、v_p的参数θ，使所述两个辅助变量h_p、v_p在数值上分别近似于所述原图像I(x,y)中对应像素点在x，y两个方向上的梯度分量该控制参数θ的取值范围为[0.02,0.9]，的取值范围为[-1，1]；

步骤(3.2)，利用所述控制参数θ来设定h_p、v_p的数值：

$\begin{array}{cc}{h}_p=\left(\begin{array}{cc}\&part;I_p/{\&part;}_x& |\&part;I_p/{\&part;}_x|<\mathrm{\&theta;}\\ G(\&part;I_p/{\&part;}_x)& |\&part;I_p/{\&part;}_x|>=\mathrm{\&theta;}\end{array}\right.& v_p=\left(\begin{array}{cc}\&part;I_p/{\&part;}_y& |\&part;I_p/{\&part;}_y|<\mathrm{\&theta;}\\ G(\&part;I_p/{\&part;}_y)& |\&part;I_p/{\&part;}_y|>=\mathrm{\&theta;}\end{array}\right.\end{array}$

上式表明：

当所述原图像I(x,y)中像素点p在x方向的梯度分量的绝对值小于θ时使所述h_p的值维持与原图像相应梯度分量值相等，

当所述原图像I(x,y)中像素点p在x方向的梯度分量的绝对值大于或等于θ时使所述h_p的值增大以使图像对比度增强，实现目的性优化，

当所述原图像I(x,y)中像素点p在y方向的梯度分量的绝对值小于θ时使所述v_p的值维持与原图像相应梯度分量值相等，

当所述原图像I(x,y)中像素点p在y方向的梯度分量的绝对值大于或等于θ时使所述v_p的值增大以使图像对比度增强，实现目的性优化，

G(·)为Gamma校正函数，G(·)＝(·)^{(min(γ*(1+·),1))}，

γ为所述Gamma校正函数G(·)的控制参数，取值范围为[0.1,0.99]；

步骤(3.3)，同时使结果图像R(x,y)和原图像I(x,y)对应像素点差的平方和以及梯度分量值差的平方和最小化，用下式表示：

$\underset{p\&Element;R}{min}\{\underset{p}{\&Sigma;}{(R_p-I_p)}^2+\mathrm{\&beta;}({\left(\&part;R_p/{\&part;}_x-h_p\right)}^2+{\left(\&part;R_p/{\&part;}_y-v_p\right)}^2)\},$

其中，R为结果图像R(x,y)，R_p为结果图像R(x,y)中的像素点p，I_p为原图像I(x,y)中的像素点p，β为h_p、v_p与的近似程度，取值范围为[1,2000]，

步骤(3.4)，用梯度下降法求解步骤(3.3)的结果图像得到初步未经直方图均衡化的结果图像R′(x,y)：

其中，p为图像的所有像素点，I为原图像，F是快速傅里叶变换算子，F^-1是快速傅里叶变换的逆变换，F(1)是δ函数的傅里叶变换，δ函数即单位脉冲函数，表示一个在除了零以外的点都等于零，而其在整个定义域上的积分等于1的函数，中的分别对应于点扩散函数组成图像的各个点在x,y方向的梯度大小，为步骤(3.1)中分别对应于的两个对应辅助变量h_p，v_p的梯度分量；

步骤(4)，对上述得到的结果图像进行改进的直方图均衡化，在所述均衡化过程中将图像像素分为三种，分别为可忽略像素，待增强像素，不需增强像素，分类依据为：

其中：

m是图像像素值的概率值，取值区间为[0.1]；

α和η是图像像素分类的控制参数，α<η，经验值：η＝1.0/255，α＝0.1*η，对待增强像素部分像素值概率都增强一个相同的概率值η，其余部分不做增强像素值概率操作，通过所述改进的直方图均衡化可以得到结果图像R(x，y)；

步骤(5)，对上述求得的结果图像R(x,y)进行改进的Gamma校正：

$\tilde{R}=R^{\left(\min \right(\mathrm{\&delta;}*R+\mathrm{\&delta;},1\left)\right)}$

其中：R是上述步骤求得的结果图像；δ是Gamma校正函数的控制参数，取值范围是[0.45，0.99]；是最终的结果图像。