CN109191390A - 一种基于不同颜色空间多算法融合的图像增强算法 - Google Patents

Abstract

本发明公开了一种基于不同颜色空间多算法融合的图像增强算法，首先在RGB颜色空间下对图像的R、G、B 3个颜色通道分别进行自动对比度拉伸；并将原图像从RGB颜色空间转换到HSV颜色空间，采用改进的多尺度Retinex算法对亮度分量V增强处理，将得到的图像从HSV颜色空间转换回RGB颜色空间；然后对RGB颜色空间的两幅图像进行加权融合；最后将融合后的图像进行Gamma校正,实现颜色恢复与补偿。实验结果表明：该算法与其他算法相比提高了图像亮度和对比度，同时保留了更丰富的细节信息，能有效防止“伪晕”现象。

Description

一种基于不同颜色空间多算法融合的图像增强算法

技术领域

本发明属于图像处理技术领域，涉及一种图像增强算法，具体地说，涉及一种基于不同颜色空间多算法融合的图像增强算法。

背景技术

近年来，随着移动成像设备的普及和社交媒体平台的迅猛发展，人们随时随地拍照变得非常方便。然而，由于光照不足或不均匀，使得在这种条件下拍摄的图像，会影响其质量，同时可能与背景融合在一起，使得的感兴趣的区域难以辨识。因此，低照度图像的增强已经越来越重要。

国内外专家已经提出了许多方法，其基本方法主要有：空域图像增强和频域图像增强算法两大类。以空域增强方法为代表的直方图均衡法对原始图像对比度进行增强处理，具有简单、速度快等优点，但是会导致图像细节丢失，导致信息不完整。以频域图像增强方法为代表的小波变换法主要表现为提高图像高频区域的细节信息增强。以往图像增强的研究主要集中在对比度增强上。基于直方图的方法通过修改直方图分布来增强图像对比度。由于其简单性和有效性，使其在不同灰度级之间的对比度增强的妥协。但大多数关键参数都是凭经验设定的，这限制了这些方法的应用。但这些都没有考虑人类视觉系统的因素，难以获得令人满意的图像增强效果。因此为了提高图像视觉效果，恰当的模拟人眼视觉系统成为研究的关键。Retinex理论就是基于人类视觉系统理论的图像增强方法，具有高动态范围压缩、局部对比度增强、保持图像颜色视觉恒常性等优点。1963年，由美国物理学家Land首先提出基于人类视觉系统的Retinex理论，Retinex一词由Retina(视网膜)和Cortex(大脑皮层)。Retinex理论自提出以来吸引许多学者的兴趣，随后在此理论上发展形成了单尺度Retinex(single-scale retinex,SSR)，多尺度Retinex(multi-scale retinex,MSR)和带颜色恢复的多尺度Retinex(multi-scale retinex with color restoration,MSRCR)。尽管这些方法使得细节得到增强，但是会时常出现颜色失真，甚至出现“伪晕”现象。为解决这些问题，Chao等人采用双边滤波器代替传统的高斯滤波器的单尺度Retinex算法，减少过度增强和颜色失真。但在图像边缘区域可能会出现“伪晕”现象，同时在低光照条件下效果不佳。方帅等人采用一种通过MSR算法的分解原始图像，对分解部分图像进行Gamma校正和线性拉伸，以及通过双边滤波对图像的去噪，在图像视觉质量上有一定的提升但增强后的图像容易颜色失真。Zhang等人提出一种将图像从RGB颜色空间转换到HSI颜色空间亮度补偿方法，并通过Retinex算法对饱和度S分量进行增强。该方法突出来图像的局部细节，但整体图像的对比度增强效果并不明显。

发明内容

本发明针对针对光照不足或不均匀引起的图像质量下降问题，提出了一种基于不同颜色空间多算法融合的图像增强算法，在RGB颜色空间使用改进的自动对比度拉伸和在HSV颜色空间通过使用改进的引导滤波估计亮度的Retinex算法，得到的两种颜色空间增强图像，通过加权融合得到最终增强的图像的一种算法，实现了细节增强和色彩保真，获得了较为理想的增强效果。

其技术方案如下：

一种基于不同颜色空间多算法融合的图像增强算法，包括以下步骤：

a.首先在RGB颜色空间内运用以下自动对比度拉伸式对原始图像I的RGB 3个颜色通道，进行拉伸，将得到的结果图像记为P₁；

式中：P_o为拉伸后的输出像素值；P_in为输入图像的像素值；P_max、P_min分别为输入图像的最大和最小像素值；P_H、P_L分别为可取范围的最大最小像素值；采用的是改进的自动对比度拉伸算法，其公式如下：

式中TH_Nmax，TH_Nmin为期望可以设置的两个阈值，通过调试选择的值分别为TH_Nmax＝225，TH_Nmin＝90；TH_min，TH_max分别是RGB颜色空间平均最小像素值和最大像素值，其计算公式如下：

TH_min＝(R_min+G_min+B_min)/3

TH_max＝(R_max+G_max+B_max)/3

b.将原始图像I使用下式从RGB颜色空间转换到HSV颜色空间，然后使用引导滤波代替高斯滤波的多尺度Retinex算法,对V分量增强操作，得到的结果记为P₂；

p为输入图像，输出图像q是以半径为r的像素k为中心的平方窗口ω_k中的引导图像I的线性变换；

其中(a_k,b_k)在指定窗口ω_k为中心，ε为正则化参数，半径为r；a_k,b_k是线性系数，这确保只有当边缘为▽q＝a▽I时，局部线性模型使得I中式边缘部分在q中也是边缘；

其中μ_k与σ²k分别为图像I中局部窗口ω_k的均值与方差，|ω|指窗口ω_k内像素个数，是ω_k窗口里p的均值；获得之a_k,b_k后，则可以得到q_i

c.将步骤b中得到的图像P₂，利用下式从HSV颜色空间转换到RGB颜色空间，将得到的结果图像记为P₃；

其中C为色度；X为使用该颜色的第二大分量的中间值；

d.然后将步骤a和c中得到的P₁和P₃利用下式加权融合得到RGB颜色空间增强的图像P₄；

其中R₁，G₁和B₁是经过自动对比度拉伸后在RGB颜色空间色彩增强的值；R₂，G₂和B₂是经过改进的多尺度Retinex处理后，再HSV颜色空间转换RGB颜色空间中细节增强的值；R₀，G₀和B₀是在RGB颜颜色空间融合后的值，a,b,c∈(0，1)；

e.最后将融合的图像P₄使用下式Gamma校正，得到最终增强的图像P₅；

在这个等式中，I(x,y)为输入图像的灰度值；O(x,y)为伽马校正后的灰度值；γ为校正系数。

进一步，步骤e中，γ取值为0.5～1。

本发明的有益效果为：

本发明提出了基于不同颜色空间多算法融合的图像增强算法。实验结果显示，图像在经过本发明算法增强后，不仅使图像阴影部分显示更清楚，而且没有颜色失真和细节丢失。有利于低亮度场景下目标的识别。同时使用三个图像质量评价指标：结构相似性(SSIM)、信息熵和平均梯度，来客观的考量图像纹理、图像动态范围以及细节增强情况。从实验得出的结果看来，三个客观指标整体表现较好，符合主观效果，达到了改善图像增强效果。

附图说明

图1是本发明算法流程图；

图2是小男孩增强效果图，其中，图2(a)原图，图2(b)MSR处理结果，图2((c)MSRCR处理结果，图2((d)本发明算法处理结果；

图3是2小女孩增强效果图，其中，图3(a)原图，图3(b)MSR处理结果，图3((c)MSRCR处理结果，图3((d)本发明算法处理结果；

图4是白塔增强效果图，其中，图4(a)原图，图4(b)MSR处理结果，图4((c)MSRCR处理结果，图4((d)本发明算法处理结果；

图5是房子增强效果图，其中，图5(a)原图，图5(b)MSR处理结果，图5((c)MSRCR处理结果，图5((d)本发明算法处理结果。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步详细地说明。

1 Retinex算法基本理论

1.1 SSR算法

根据Retinex理论我们观察到的图像可以用反射图像分量和亮度图像分量的乘积表示，其数学模型可以表示为：

I(x,y)＝R(x,y)×L(x,y) (1)

式中(x,y)表示像素的空间二维坐标；I(x,y)为原图像；R(x,y)为反射图像分量，其性质则取决于成像物体的特性。包含了图像纹理细节信息，对应图像的高频部分，并且R(x,y)与光亮无关的反射图像分量，因此是图像固有特性；L(x,y)为亮度图像分量，其性质取决于光照的照射源，决定了图像中像素能达到的动态范围，对应图像的低频部分。

由于人眼的视觉模型与对数域模型更加符合，同时可以将复杂的乘积形式转化为对数加减形式，可以得到式子：

logI(x,y)＝logR(x,y)+logL(x,y) (2)

Retinex算法可以从图像估计照明分量，然后将其去除得到反射图像。反射图像分量的获得，可以通过环绕函数与图像卷积得到，具体如下：

式中：I_i(x,y)为已知图像的第i个色彩图像，*表示卷积运算，F(x,y)为虑波函数，通常选取高斯环绕函数，具体如下：

式中：σ为尺度参数，σ越大，灰度动态范围压缩越多，σ越小，图像锐化越小；λ为常数；F(x,y)满足：

∫∫F(x，y)dxdy＝1 (5)

1.2MSR算法

为了弥补单尺度Retinex算法不能解决动态范围和色调对比度的缺陷，现有技术提出了MSR算法，它对每一个通道进行3次不同尺度滤波，然后加权求和得到这个通道的反射分量。在动态范围和边缘增强方面实现了平衡，可以自适应地增强各种类型的图像，从而得到广泛的应用。MSR算法是SSR算法的扩展，其即是具有不同σ的几个SSR的加权叠加得到：

其中N为尺寸的数量，考虑到计算效率，通常在实际应用中N＝3；尺度参数σ有三种类型，分别为σ<50，50≤σ<100，σ≥100；最后，ω为比列系数，在实际应用中，ω₁＝ω₂＝ω₃＝1/3。

2基于不同颜色空间图像增强算法

2.1自动对比度拉伸

使用对比度拉伸的方法，通过简单的线性变换函数，扩大其包含的强度值改变原图像的像素值，使得利用范围内的全部图像的像素值。所获得的图像结果将是具有良好的图像质量。其中传统的自动对比度拉伸算法公式如下：

式中：P_o为拉伸后的输出像素值；P_in为输入图像的像素值；P_max、P_min分别为输入图像的最大和最小像素值；P_H、P_L分别为可取范围的最大最小像素值。

而本发明采用的是改进的自动对比度拉伸算法，其公式如下：

式中TH_Nmax，TH_Nmin为期望可以设置的两个阈值，通过调试选择的值分别为TH_Nmax＝225，TH_Nmin＝90；TH_min，TH_max分别是RGB颜色空间平均最小像素值和最大像素值，其计算公式如下：

TH_min＝(R_min+G_min+B_min)/3 (9)

TH_max＝(R_max+G_max+B_max)/3 (10)

通过上式中的公式，可以改变输入图像比较集中的某个灰度像素值区间，使得尽可能地覆盖[0,255]全部范围。因此通过此方法可以分别对R，G，B 3个颜色通道进行自动对比度拉伸，再将得到的结果合成，从而完成在RGB颜色空间下的增强图像。这种方法对于背景和前景都太亮或者太暗的图像非常有效。

2.2颜色空间转换

一般常用的颜色空间有RGB颜色空间和HSV颜色空间。传统的MSR算法在RGB颜色空间需要分别对R，G，B 3个颜色通道处理，所达到的图像增强效果不佳。但在HSV颜色空间只需要对亮度分量V进行MSR算法操作，同时HSV颜色模型对人类来说是一种直观的颜色模型。从RGB颜色空间转换到HSV颜色空间的转换等式如下：

HSV分别代表色调H(hue),饱和度S(saturation)和亮度V(value)。相对于RGB空间，HSV空间能够非常直观的表达色彩的明暗、色调、以及鲜艳程度，方便进行颜色之间的对比。

在HSV颜色空间对亮度V分量使用引导滤波MSR算法操作进行图像增强，将增强后的图像从HSV颜色空间转换到RGB颜色空间，转换等式如下：

其中C为色度；X为使用该颜色的第二大分量的中间值。

2.3亮度分量估计

传统的MSR算法使用高斯滤波来估计亮度图像，但是其缺点是不能有效地保持图像细节。2010年，He提出使用引导滤波器估计亮度图像分量，该滤波器是一种边缘平滑滤波器，可以实现边缘平滑，细节增强，图像融合去噪等功能。同时是一种快速和近似的线性时间算法，其计算复杂度与滤波核大小无关。因此本发明使用引导滤波器来估计亮度分量。而且Retinex理论对V分量同样成立。

因此本发明将原图像从RGB颜色空间转换到HSV颜色空间，然后只要对V分量进行引导滤波估计的MSR算法处理。引导滤波算法是一个线性移可变的滤波过程，包括引导图像I，输入图像P和输出图像q。图像引导滤波属于可以保持边缘的一种滤波算法。

p为输入图像，输出图像q是以半径为r的像素k为中心的平方窗口ω_k中的引导图像I的线性变换。

其中(a_k,b_k)在指定窗口ω_k为中心，ε为正则化参数，半径为r。a_k,b_k是线性系数，这确保只有当边缘为▽q＝a▽I时，局部线性模型使得I中式边缘部分在q中也是边缘。

其中μ_k与σ²k分别为图像I中局部窗口ω_k的均值与方差，|ω|指窗口ω_k内像素个数，是ω_k窗口里p的均值。获得之a_k,b_k后，则可以得到q_i

2.4图像融合

图像融合的目的是综合同一个场景的多个算法结果图像的信息，使合成后的图像具有更多的信息，更容易人类视觉或计算机视觉系统理解，以便更好后续处理。因此，基于以上分析，本发明将RGB颜色空间得到的色彩增强图像和HSV颜色空间处理后转换为RGB颜色空间得到的细节增强图像，通过以下公式对两部分进行加权融合：

其中R₁，G₁和B₁是经过式(8)自动对比度拉伸后在RGB颜色空间色彩增强的值。R₂，G₂和B₂是经过改进的多尺度Retinex处理后，再HSV颜色空间转换RGB颜色空间中细节增强的值。R₀，G₀和B₀是在RGB颜颜色空间融合后的值，a,b,c∈(0，1)。

2.5Gamma校正

为了进一步提高图像质量，需要在RGB颜色空间对融合后的图像进行Gamma校正。伽马校正是一种常用的线性亮度增强技术，它可以有效的改善图像的亮度，其表达式如下：

在这个等式中，I(x,y)为输入图像的灰度值；O(x,y)为伽马校正后的灰度值；γ为校正系数，通常取值为0.5～1，可以达到锐化效果更明显，灰度动态范围压缩，图像细节更结合清晰。

2.6本发明算法步骤

本发明算法详细步骤如下：

a.首先在RGB颜色空间内运用自动对比度拉伸式(7-10)对原始图像I的RGB 3个颜色通道，进行拉伸，将得到的结果图像记为P₁；

b.将原始图像I使用式(15-18)从RGB颜色空间转换到HSV颜色空间，然后使用引导滤波代替高斯滤波的多尺度Retinex算法,对V分量增强操作，得到的结果记为P₂；

c.将步骤b中得到的图像P₂，利用式(13)从HSV颜色空间转换到RGB颜色空间，将得到的结果图像记为P₃；

d.然后将步骤a和c中得到的P₁和P₃利用式(19)加权融合得到RGB颜色空间增强的图像P₄；

e.最后将融合的图像P₄使用式(20)Gamma校正，得到最终增强的图像P₅。

3实验结果及分析

为了测试算法的有效性，本发明提出的增强算法与MSR、MSRCR算法进行增强效果比较。实验在MATLAB 2016a软件平台，计算机配置是Inter Core i3。其中MSR算法使用的相关参数为σ₁＝15,σ₂＝80,σ₃＝250；MSRCR算法使用的相关参数为σ₁＝15,σ₂＝80,σ₃＝250,G＝192,b＝-30,σ＝125,β＝46；本发明算法相关参数为σ₁＝20,σ₂＝80,σ₃＝200,r＝8，ε＝0.12,γ＝0.8。

图2～5中原始图a像数据来自NASA库。由图2～5可以看出。图b是多尺度Retinex算法(MSR)的增强效果。与原图相比有明显的颜色失真，整个图像处于严重灰化状态，并出现“伪影”现象，导致处理后的图像质量不高。图c是经过带色彩恢复的多尺度Retinex算法(MSRCR)的增强效果。从图中可以看出与原始图像相比，出现过度增强，图像过饱和。处理后的图像反而没有原图像清晰。而且MSRCR方法在实验当中，用于颜色补偿的参数需要手动设置，设置不当也会影响图像增强的效果。图中的(d)是本发明算法，图像增强明显，暗处的部分都清晰的结构呈现。同时细节也没有丢失明显，图像颜色接近于原始图像的颜色，白平衡良好，图像的视觉质量得到了明显的提升。

除了对以上各种算法进行定性比较外，接下来使用常见的3种指标结构相似性(structural similarity index，SSIM)、信息熵和平均梯度对各种算法增强处理后的图像进行定量评价。其中结构相似性，是一种衡量两幅图像相似度的指标。结构相似性的范围为-1～1。当两张图像一模一样时，SSIM的值等于1。信息熵用来表示图像中所包含的信息量大小，信息熵越大，说明包含的信息越多。平均梯度是指图像的边界或影线两侧附近灰度有明显差异，即灰度变化率大，这种变化率的大小可用来表示图像清晰度。它反映了图像微小细节反差变化的速率，即图像多维方向上密度变化的速率，表征图像的相对清晰程度。平均梯度反映的是图像增强细节恢复效果，通常平均梯度越大，图像细节越清晰，保边效果越好。

表1不同增强算法处理结果

从表1可以看出经过本发明算法处理结果后的图像的结构相似性指标数值比其他两种经典算法要高，表明增强后的图像与原图相似性比较高。信息熵有所提高，这表明处理后获得信息更多；此外平均梯度值有较大的提升，表明有效的提高图像的清晰度；总之，这些指标结果和定性比较的结果相一致。

针对低照度图像，本发明提出了基于不同颜色空间多算法融合的图像增强算法。实验结果显示，图像在经过本发明算法增强后，不仅使图像阴影部分显示更清楚，而且没有颜色失真和细节丢失。有利于低亮度场景下目标的识别。同时使用三个图像质量评价指标：结构相似性(SSIM)、信息熵和平均梯度，来客观的考量图像纹理、图像动态范围以及细节增强情况。从实验得出的结果看来，三个客观指标整体表现较好，符合主观效果，达到了改善图像增强效果。将本发明提出的算法和视频监控算法相结合，希望在安防监控领域应用。

以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (2)

1.一种基于不同颜色空间多算法融合的图像增强算法，其特征在于，包括以下步骤：

a.首先在RGB颜色空间内运用以下自动对比度拉伸式对原始图像I的RGB 3个颜色通道，进行拉伸，将得到的结果图像记为P₁；

式中：P_o为拉伸后的输出像素值；P_in为输入图像的像素值；P_max、P_min分别为输入图像的最大和最小像素值；P_H、P_L分别为取范围的最大最小像素值；采用的是改进的自动对比度拉伸算法，其公式如下：

式中TH_Nmax，TH_Nmin为期望设置的两个阈值，通过调试选择的值分别为TH_Nmax＝225，TH_Nmin＝90；TH_min，TH_max分别是RGB颜色空间平均最小像素值和最大像素值，其计算公式如下：

TH_min＝(R_min+G_min+B_min)/3

TH_max＝(R_max+G_max+B_max)/3

b.将原始图像I使用下式从RGB颜色空间转换到HSV颜色空间，然后使用引导滤波代替高斯滤波的多尺度Retinex算法,对V分量增强操作，得到的结果记为P₂；

p为输入图像，输出图像q是以半径为r的像素k为中心的平方窗口ω_k中的引导图像I的线性变换；

其中(a_k,b_k)在指定窗口ω_k为中心，ε为正则化参数，半径为r；a_k,b_k是线性系数，这确保只有当边缘为时，局部线性模型使得I中式边缘部分在q中也是边缘；

其中μ_k与σ2k分别为图像I中局部窗口ω_k的均值与方差，|ω|指窗口ω_k内像素个数，是ω_k窗口里p的均值；获得之a_k,b_k后，则得到q_i

c.将步骤b中得到的图像P₂，利用下式从HSV颜色空间转换到RGB颜色空间，将得到的结果图像记为P₃；

其中C为色度；X为使用该颜色的第二大分量的中间值；

d.然后将步骤a和c中得到的P₁和P₃利用下式加权融合得到RGB颜色空间增强的图像P₄；

其中R₁，G₁和B₁是经过自动对比度拉伸后在RGB颜色空间色彩增强的值；R₂，G₂和B₂是经过改进的多尺度Retinex处理后，再HSV颜色空间转换RGB颜色空间中细节增强的值；R₀，G₀和B₀是在RGB颜颜色空间融合后的值，a,b,c∈(0，1)；

e.最后将融合的图像P₄使用下式Gamma校正，得到最终增强的图像P₅；

在这个等式中，I(x,y)为输入图像的灰度值；O(x,y)为伽马校正后的灰度值；γ为校正系数。

2.根据权利要求1所述的基于不同颜色空间多算法融合的图像增强算法，其特征在于，步骤e中，γ取值为0.5～1。