CN106780368A - 一种基于前景模型的水下图像增强方法 - Google Patents

Abstract

一种基于前景模型的水下图像增强方法：改进背景光估计方法从而有效的避免水下图像过曝光、人工光源等影响；结合人们对水下图像的认知，利用暗通道先验算法去除背景散射并提取前景模型；结合白平衡算法，提出适用于水下图像的色彩校正方法，利用光在水中的衰减特性，根据各通道衰减系数之间的关系修正通道增益，从而补偿因衰减所导致的颜色失真；利用通道增益调整无雾图像，最终获得增强后的水下图像。本发明使得物体部分的增强效果更加清晰、鲜明，视觉效果更优；有效的去除图像模糊使得增强后的水下图像清晰度大幅度提升，图像细节更佳，基于前景模型的色彩校正并没有影响到背景部分的图像增强，增强后的水下图像整体颜色更加自然，图像亮度也在可接受范围内。

Description

一种基于前景模型的水下图像增强方法

技术领域

本发明涉及一种图像增强方法。特别是涉及一种基于前景模型的水下图像增强方法。

背景技术

伴随着人口的增长以及世界各国经济的发展，海洋科技日益成为世界各国经济与科技竞争的焦点所在,海洋资源的开发和利用已经步入世界各国提高自身综合国力的战略方针中，这些因素都使得水下图像信息的获取、信息的处理等理论基础变得尤为重要。随着人们对海洋开发的深入探索，需要借助水下图像进行的应用也越来越多。不同波长的光在水下传输时所经历的衰减不同，水下图像常常出现颜色失真以及图像模糊等问题，从而导致图像质量较差。近年来水下图像增强技术得到了广泛的关注。

时至今日，已经有大量的水下图像增强算法被提出。2011年，He等人[1]提出一种基于暗通道先验理论的简单、有效的图像去雾算法。该算法基于对室外无雾天气下实物的统计，发现在室外无雾图像的大部分非天空局部区域中，某些像素在RGB三通道中至少有一个通道具有很低的值。2012年，Chiang等人[2]基于波长补偿和图像去雾，提出了一种新颖的水下图像增强算法，该算法增加了判断人工光源是否存在，考虑了人工光源的可能性，妥善的解决了水下图像成像过程中的光散射和颜色失真的问题。基于图像特征的色彩恒常性理论，2013年Zhou等人[3]提出了一种新颖的的水下图像增强算法，该算法利用深度图估计通道增益系数，从而达到去除颜色失真的目的。2014年，Li等人[4]提出一种应用于深海研究的有效算法，该算法在去除人工光源对水下图像所造成的光晕问题上效果良好。2015年，杨爱萍等人[5]提出一种基于去除颜色失真和暗通道先验的水下图像复原算法，该算法根据先去除颜色失真后去除背景散射的思路，结合光在水中的衰减特性，提出适用于水下图像的颜色失真去除方法。2016年，徐岩等人[6]提出一种基于暗通道先验与白平衡的水下图像增强算法，该算法利用暗通道先验来实现图像去模糊，利用白平衡算法来实现图像整体偏色的去除。

在水下图像成像过程中，由于水体对光线的选择性吸收和光的散射作用，水下图像经常出现颜色失真以及图像模糊，传统的去雾算法和简单的色彩校正用于水下图像时效果欠佳。

发明内容

本发明所要解决的技术问题是，提供一种能够有效解决图像模糊和颜色失真问题的基于前景模型的水下图像增强方法。

本发明所采用的技术方案是：一种基于前景模型的水下图像增强方法，包括如下步骤：

1)改进暗通道先验算法中背景光估计的方法，包括：

(1)取符合条件的所有像素的平均值来作为背景光；

(2)为背景光设定一个上限阈值即最大全球大气光值当背景光大于最大全球大气光值时，则将最大全球大气光值赋值予背景光；

2)提取前景模型，包括：

(1)利用改进后的暗通道先验算法处理水下原图像，得到透射率t(x)以及去雾处理后的无雾图像J(x)，透射率t(x)也表示为：

t(x)＝e^-βd(x) (1)

其中β是大气的散射系数，d(x)代表深度图，透射率t(x)是随着d(x)发生指数衰减的，从而推导出深度图d(x)：

式中I_θ为待处理图像I中的一个颜色通道，x为图像中的一个像素点，Ω(x)代表以像素点x为中心的一块局部区域，y为Ω(x)的一个子区域，θ为G通道和B通道中的一个通道，min()代表最小化操作；

(2)运用最大类间方差法对深度图d(x)进行二值化处理，得到所需的掩膜d(x)′；

(3)利用图像掩膜技术，用第(2)步获得的掩模d(x)′来控制无雾图像J(x)的处理区域，使无雾图像J(x)处理区域内的值保持不变，而区外图像值都为0，从而提取出前景模型ROI；

3)色彩校正，包括：

(1)利用白平衡算法针对前景模型ROI提取出所需的B通道增益Bgain：

Bgain＝Y max/Bav (7)

其中Y max是前景模型ROI亮度的最大值，Bav代表前景模型ROI中白色参考点的蓝色通道平均值；

(2)利用红色光以及绿色光相对于蓝色光的衰减系数比值对R通道的增益Rgain和G通道的增益Ggain进行修正，从而补偿因衰减导致的颜色失真，

其中，f_R是红色光的衰减系数，f_G是绿色光的衰减系数，f_B是蓝色光的衰减系数；

(3)用所得通道增益对无雾图像J(x)的RGB通道进行调整，从而得到增强后的水下图像。

步骤1)中第(1)步所述的符合条件是指暗通道中亮度最大的0.1％的像素。

步骤3)中第(2)步所述的红色光以及绿色光相对于蓝色光的衰减系数比值获得如下：

在水中图像的背景光A_c与衰减系数f_c成反比，与散射系数b_c成正比：

A_c∞b_c/f_c,c∈[R,G,B] (3)

式中c为RGB通道中的一个通道，在水下图像成像模型中，水的散射系数b_c与波长λ存在如下关系：

b_c＝(-0.00113λ+1.62517)×b_c′ (4)

其中b_c′是指参考波长的散射系数，在水下图像成像模型中，蓝色光衰减程度最低，红色光衰减程度最高，将蓝色光作为参照，从而得到红色光以及绿色光相对于蓝色光的衰减系数比值：

其中，b_R是红色光的散射系数，b_G是绿色光的散射系数，b_B是蓝色光的散射系数，A_R是红色光的背景光，A_G是绿色光的背景光，A_B是蓝色光的背景光。

本发明的一种基于前景模型的水下图像增强方法，基于前景模型，使得物体部分的增强效果更加清晰、鲜明，视觉效果更优；有效的去除图像模糊使得增强后的水下图像清晰度大幅度提升，图像细节更佳，而且基于前景模型的色彩校正并没有影响到背景部分的图像增强，增强后的水下图像整体颜色更加自然，图像亮度也在可接受范围内；背景光估计方法的改进使得暗通道先验算法应用于水下图像时避免了过曝光。本发明在增强图像对比度和提升清晰度方面效果良好，有效的解决了图像模糊和颜色失真的问题。

附图说明

图1是本发明一种基于前景模型的水下图像增强方法的流程图；

图2a是原始图像；

图2b是无雾图像；

图2c是掩膜图像；

图2d是前景模型；

图2e是采用文献[2]的方法处理后得到的图像；

图2f是采用文献[5]的方法处理后得到的图像；

图2g是采用文献[6]的方法处理后得到的图像；

图2h是采用本发明的方法处理后得到的图像；

图3a是原始图像；

图3b是无雾图像；

图3c是掩膜图像；

图3d是前景模型；

图3e是采用White Patch方法处理后得到的图像；

图3f是采用文献[3]的方法处理后得到的图像；

图3g是采用文献[6]的方法处理后得到的图像；

图3h是采用本发明的方法处理后得到的图像；

图4a是原始图像；

图4b是无雾图像；

图4c是掩膜图像；

图4d是前景模型；

图4e是采用文献[4]的方法处理后得到的图像；

图4f是采用文献[5]的方法处理后得到的图像；

图4g是采用文献[6]的方法处理后得到的图像；

图4h是采用本发明的方法处理后得到的图像；

图5a是原始图像；

图5b是无雾图像；

图5c是掩膜图像；

图5d是前景模型；

图5e是采用Grey World方法处理后得到的图像；

图5f是采用文献[3]的方法处理后得到的图像；

图5g是采用文献[6]的方法处理后得到的图像；

图5h是采用本发明的方法处理后得到的图像；

具体实施方式

下面结合实施例和附图对本发明的一种基于前景模型的水下图像增强方法做出详细说明。

根据先去除图像模糊后去除颜色失真的思路，结合人们对水下图像的认知，本发明提出了一种基于前景模型的水下图像增强方法。利用光在水中的衰减特性，根据各颜色通道衰减系数之间的关系修正通道增益，提出适用于水下图像的色彩校正方法。另外，改进的背景光估计方法可以有效的避免水下图像出现过曝光。

本发明的一种基于前景模型的水下图像增强方法，是根据先去除图像模糊后去除颜色失真的思路，改进暗通道先验算法中背景光估计方法从而有效的避免水下图像过曝光、人工光源等影响；结合人们对水下图像的认知，利用暗通道先验算法去除背景散射并提取前景模型；结合白平衡算法，利用光在水中的衰减特性，根据各通道衰减系数之间的关系修正通道增益，从而补偿因衰减所导致的颜色失真；利用通道增益调整无雾图像，最终获得增强后的水下图像。

本发明的一种基于前景模型的水下图像增强方法，包括如下步骤：

1)改进暗通道先验算法中背景光估计的方法

本发明中所使用的暗通道先验算法由香港中文大学的何凯明教授所提出，在暗通道先验算法中背景光首先取暗通道中亮度最大的0.1％的像素，然后在这些像素中选取在原始图像中亮度值最大的像素来作为背景光。在本发明中，背景光估计尤为重要，估计的背景光容易受到水下物体的影响，增强后的水下图像往往由于背景光选择较大从而导致图像出现过曝光，图像纹理较弱，细节不清晰。此外，人工光源的存在也会使得水下图像亮度不均匀，进而影响背景光的估计。如果是取亮度值最大的像素来作为背景光，则各颜色通道的背景光很有可能全部很接近255，从而造成暗通道先验处理后的图像出现色偏以及大量色斑。所以，本发明的改进暗通道先验算法中背景光估计的方法，包括：

(1)取符合条件的所有像素的平均值来作为背景光，所述的符合条件是指暗通道中亮度最大的0.1％的像素；

(2)由于水下几乎没有自然光照明，在水下(尤其是深海中)通常使用人工光源辅助拍摄，这样就会造成水下图像亮度的不均匀。因此为背景光设定一个上限阈值即最大全球大气光值当背景光大于最大全球大气光值时，则将最大全球大气光值赋值予背景光；

2)提取前景模型

根据人类对水下图像的认知，蓝色或者绿色色调的水都实属正常。这一常识说明对于水下图像增强而言，相对于水的颜色，物体的颜色才是我们所关心的。因此可以将水下图像分为两部分，前景部分代表物体，而海水则在背景部分。提取前景模型包括：

(1)利用改进后的暗通道先验算法处理水下原图像，得到透射率t(x)以及去雾处理后的无雾图像J(x)，透射率t(x)也表示为：

t(x)＝e^-βd(x) (1)

其中β是大气的散射系数，d(x)代表深度图，透射率t(x)是随着d(x)发生指数衰减的，从而推导出深度图d(x)：

式中I_θ为待处理图像I中的一个颜色通道，x为图像中的一个像素点，Ω(x)代表以像素点x为中心的一块局部区域，y为Ω(x)的一个子区域，θ为G通道和B通道中的一个通道，min()代表最小化操作；

(2)用特定的图像对某图像进行遮挡，从而控制图像的处理区域，这个特定的图像就是掩膜。本发明运用最大类间方差法对深度图d(x)进行二值化处理，得到所需的掩膜d(x)′；

(3)利用图像掩膜技术，用第(2)步获得的掩模d(x)′来控制无雾图像J(x)的处理区域，使无雾图像J(x)处理区域内的值保持不变，而区外图像值都为0，从而提取出前景模型ROI(Region of Interest)；

3)色彩校正

众所周知，由于水体对光的选择性吸收和光的散射作用，水下图像总是受到红色和蓝色的影响。为了获得更高质量的水下图像,使用色彩校正来调整高蓝色和低红色值对水下图像增强来说是很有必要的。本发明利用光在水中的衰减特性，根据各颜色通道衰减系数之间的关系修正通道增益，从而补偿因衰减所导致的颜色失真，提出一种适用于水下图像的色彩校正方法，具体包括：

(1)白平衡算法采用一个动态的阀值来检测白色参考点，对白色参考点进行调整从而得到通道增益，最终达到色彩校正的目的。本发明利用白平衡算法针对前景模型ROI提取出所需的B通道增益Bgain：

Bgain＝Y max/Bav (7)

其中Y max是前景模型ROI亮度的最大值，Bav代表前景模型ROI中白色参考点的蓝色通道平均值；

(2)经去雾处理后的无雾图像J(x)虽已去除背景散射的影响，但由于水下环境的特殊性，其仍具有水下图像的特性，即R通道衰减较为严重。本发明利用红色光以及绿色光相对于蓝色光的衰减系数比值对R通道的增益Rgain和G通道的增益Ggain进行修正，从而补偿因衰减导致的颜色失真，

其中，f_R是红色光的衰减系数，f_G是绿色光的衰减系数，f_B是蓝色光的衰减系数。

本发明中所述的红色光以及绿色光相对于蓝色光的衰减系数比值获得如下：

在水下环境中图像的背景光A_c与衰减系数f_c成反比，与散射系数b_c成正比：

A_c∞b_c/f_c,c∈[R,G,B] (3)

式中c为RGB通道中的一个通道，在水下图像成像模型中，水的散射系数b_c与波长λ存在如下关系：

b_c＝(-0.00113λ+1.62517)×b_c′ (4)

其中b_c′是指参考波长的散射系数，在水下图像成像模型中，蓝色光衰减程度最低，红色光衰减程度最高，将蓝色光作为参照，根据式(3)，式(4)从而得到红色光以及绿色光相对于蓝色光的衰减系数比值：

其中，b_R是红色光的散射系数，b_G是绿色光的散射系数，b_B是蓝色光的散射系数，A_R是红色光的背景光，A_G是绿色光的背景光，A_B是蓝色光的背景光。

(3)用所得通道增益对无雾图像J(x)的RGB通道进行调整，从而得到增强后的水下图像；

为了得到最佳的水下图像增强效果，本发明实施例涉及的参数设置如下：对过曝光的情况进行大量实验，最终将最大全球大气光值即背景光的上限阈值设置为220。为了证明本发明的一种基于前景模型的水下图像增强方法的有效性，将本发明的方法与白点检测算法(White Patch)、灰度世界算法(Grey World)以及文献[2-6]中所提出的算法进行了比较，由于文献[2-6]作者未提供原始程序，因此本发明实验结果只与文献[2-6]中提供的实验结果进行比较。

采用2种衡量标准来对本发明的方法做客观的性能分析：一是颜色精确度检测；二是平均梯度计算。为了论证算法的颜色精确度，采用一种简单有效的色偏检测方法，该方法根据色偏因子K来对彩色图像的色偏程度进行衡量，K值越大，则图像色偏越严重。平均梯度G(x,y)指图像的边界或影线两侧附近灰度有明显差异，即灰度变化率大，这种变化率的大小可用来表示图像清晰度。它反映了图像微小细节反差变化的速率，即图像多维方向上密度变化的速率，表征图像的相对清晰程度。

将本发明的方法与White Patch算法、Grey World算法以及文献[2-6]中提出的算法进行比较，实验数据如表1所示,黑色加粗部分是本发明的实验数据：一般我们认为当色偏因子大于3时，则彩色图像存在色偏。从表1中可以看出，在颜色精确度方面，传统的WhitePatch算法、Grey World算法应用于水下图像时色偏因子均大于3，图像处理效果不尽人意。相对而言本发明算法不仅色偏因子均小于3，而且相比其它文献算法有一定的改进；在平均梯度方面，与其它文献算法相比，本发明算法处理效果有较为明显的提高，图像更加清晰。

表1

参考文献

[1]He K,Sun J,Tang X.Single image haze removal using dark channelprior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.

[2]Chiang J Y,Chen Y C.Underwater image enhancement by wavelengthcompensation and dehazing[J].IEEE Transactions on Image ProcessingAPublication of the IEEE Signal Processing Society,2012,21(4):1756-1769.

[3]Henke B,Vahl M,Zhou Z L.Removing color cast of underwater imagesthrough non-constant color constancy hypothesis[C].Proceedings of the 8thInternational Symposium on Image and Signal Processing and Analysis,2013:20-24.

[4]LI Yue-jie,LU Hui-min,ZHANG Li-feng,et al.Real-time visualizationsystem for deep-sea surveying[J].Mathematical Problems in Engineering,2014,2014(1):1-10.

[5]杨爱萍，郑佳，王建，等.基于颜色失真去除与暗通道先验的水下图像复原[J].电子与信息学报，2015,37(11):2541-2547.

[6]徐岩，马硕，韦镇宇，等.基于暗通道先验与白平衡的水下图像增强方法：中国，201610123603X.

Claims (3)

1.一种基于前景模型的水下图像增强方法，其特征在于，包括如下步骤：

1)改进暗通道先验算法中背景光估计的方法，包括：

(1)取符合条件的所有像素的平均值来作为背景光；

(2)为背景光设定一个上限阈值即最大全球大气光值当背景光大于最大全球大气光值时，则将最大全球大气光值赋值予背景光；

2)提取前景模型，包括：

(1)利用改进后的暗通道先验算法处理水下原图像，得到透射率t(x)以及去雾处理后的无雾图像J(x)，透射率t(x)也表示为：

t(x)＝e^-βd(x) (1)

其中β是大气的散射系数，d(x)代表深度图，透射率t(x)是随着d(x)发生指数衰减的，从而推导出深度图d(x)：

$d\left(x\right)=In\frac{1}{t\left(x\right)}=In\left(\underset{\mathrm{\θ}\∈\{G,B\}}{\min }{\left(\underset{y\∈\left\{\mathrm{\Ω}\left(X\right)\right\}}{\min }{I}_{\mathrm{\θ}}\left(y\right)\right)}^{-1}\right)---\left(2\right)$

式中I_θ为待处理图像I中的一个颜色通道，x为图像中的一个像素点，Ω(x)代表以像素点x为中心的一块局部区域，y为Ω(x)的一个子区域，θ为G通道和B通道中的一个通道，min()代表最小化操作；

(2)运用最大类间方差法对深度图d(x)进行二值化处理，得到所需的掩膜d(x)′；

(3)利用图像掩膜技术，用第(2)步获得的掩模d(x)′来控制无雾图像J(x)的处理区域，使无雾图像J(x)处理区域内的值保持不变，而区外图像值都为0，从而提取出前景模型ROI；

3)色彩校正，包括：

(1)利用白平衡算法针对前景模型ROI提取出所需的B通道增益Bgain：

Bgain＝Y max/Bav (7)

其中Y max是前景模型ROI亮度的最大值，Bav代表前景模型ROI中白色参考点的蓝色通道平均值；

(2)利用红色光以及绿色光相对于蓝色光的衰减系数比值对R通道的增益Rgain和G通道的增益Ggain进行修正，从而补偿因衰减导致的颜色失真，

$Rgain={\[Bgain\]}^{f_R/f_B}---\left(8\right)$

$Ggain={\[Bgain\]}^{f_G/f_B}---\left(9\right)$

其中，f_R是红色光的衰减系数，f_G是绿色光的衰减系数，f_B是蓝色光的衰减系数；

(3)用所得通道增益对无雾图像J(x)的RGB通道进行调整，从而得到增强后的水下图像。

2.根据权利要求1所述的一种基于前景模型的水下图像增强方法，其特征在于，步骤1)中第(1)步所述的符合条件是指暗通道中亮度最大的0.1％的像素。

3.根据权利要求1所述的一种基于前景模型的水下图像增强方法，其特征在于，步骤3)中第(2)步所述的红色光以及绿色光相对于蓝色光的衰减系数比值获得如下：

在水中图像的背景光A_c与衰减系数f_c成反比，与散射系数b_c成正比：

A_c∞b_c/f_c,c∈[R,G,B] (3)

式中c为RGB通道中的一个通道，在水下图像成像模型中，水的散射系数b_c与波长λ存在如下关系：

b_c＝(-0.00113λ+1.62517)×b_c′ (4)

其中b_c′是指参考波长的散射系数，在水下图像成像模型中，蓝色光衰减程度最低，红色光衰减程度最高，将蓝色光作为参照，从而得到红色光以及绿色光相对于蓝色光的衰减系数比值：

$\frac{f_R}{f_B}=\frac{b_R{A}_R}{b_B{A}_B}---\left(5\right)$

$\frac{f_G}{f_B}=\frac{b_G{A}_G}{b_B{A}_B}---\left(6\right)$

其中，b_R是红色光的散射系数，b_G是绿色光的散射系数，b_B是蓝色光的散射系数，A_R是红色光的背景光，A_G是绿色光的背景光，A_B是蓝色光的背景光。