CN110675351B - 一种基于全局亮度自适应均衡化的海上图像处理方法 - Google Patents

Abstract

本发明涉及一种基于全局亮度自适应均衡化的海上图像处理方法。首先，计算海上雾天图像的取反图；其次，对原图像和取反后图像进行MSRCR运算；然后，利用全局亮度自适应直方图均衡化处理，并将处理后的亮度与经MSRCR处理后的反射分量进行低频信号线性叠加；最后，计算叠加后图像的均值和标准差，并采用自适应拉伸图像灰度值，实现图像色彩对比度的提升。本发明使得处理后的图像前景突出，细节清晰，色彩丰富，对于海上图像除雾，具有较好的应用价值。

Description

一种基于全局亮度自适应均衡化的海上图像处理方法

技术领域

本发明涉及一种基于全局亮度自适应均衡化的海上图像处理方法。

背景技术

在现实生活中，由于雾天中的大气粒子的散射作用导致CCD摄像机捕获的海面图像存在失真，例如出现曝光不均、对比度低、或模糊细节等问题，另一方面，由于CCD传感器的物理限制，无法机械消除大气散射的影响，所以提供一种有效的消除入射光影响，提高海上图像质量的算法，具有重要意义。

海上雾天图像增强的目的就是消除雾气，突出图像前景信息，降低背景信息。传统的图像增强方法有直方图均衡化(HE)、伽马校正(GC)、直方图规范(HS)等，但这些方法仅可以对数字图像进行降噪，一些常用的计算机视觉和机器学习方法，也可以作为传统的图像增强技术的预处理模块(Mahmood et al,2015，范诗玥等，2016，)。近些年，国内外学者针对彩色图像的增强提出了各种算法(Senthilkumaran et al,2014，Mahmood et al,2018，Mughal et al,2018)。Ghimire(2011)提出了一种基于非线性传递函数(NTF)的方法，该算法通过对色调、饱和度和亮度(HSV)进行亮度组件实现的。在除雾过程中，将测试输入图像的H和S分量与处理后图像的增强亮度(EL)进行集成，实现输出图像的色彩增强。该算法对一般的室外图像具有较好的处理效果。Zhang(2013)等人提出了一种图像对比度映射模型。研究结果表明，该方法在调质校正、对比度增强等方面都是可行的。然而，该算法并没有说明如何消除图像中的失真的暗对比度。Sun(2008)提出了一种基于亮度的(LB-MSR)图像增强方案，利用主成分分析法(PCA)获得亮度通道，然后在MSR算法中增加亮度通道。在此基础上，将亮度通道与两个色度通道进行积分运算，再进行PCA逆变换，得到最终输出图像。该算法对一般室外图像的处理效果较好，但对强光照条件下的图像处理效果较差，并缺乏一个色彩恢复算法。Gu(2012)提出了一种动态范围约简算法。该算法利用Retinex模型(Landetal,1986)，结合抑制因子，用于改善暗通道处理后的图像“halo现象”。该算法有效地增强了局部细节，并在室内实验中得到很好的应用，然而该算法没有在室外图像上进行测试，也没有进行图像对比度的检验。国内研究学者也对经典的Retinex模型(SSR)及其改进算法(MSR和MSRCR等算法)(马忠丽等，2014，周圆等，2015，雷琴等，2015)进行改进研究，研究结果证明Retinex模型及其改进模型在保留图像纹理，提高图像对比度、颜色保真方面具有明显优势，而且方法简单，易于实现。

因此，针对海上雾天图片，本发明提出一种基于全局亮度自适应均衡化的海上图像处理方法。

发明内容

本发明的目的在于提供一种基于全局亮度自适应均衡化的海上图像处理方法，使得处理后的图像前景突出，细节清晰，色彩丰富，对于海上图像除雾，具有较好的应用价值。

为实现上述目的，本发明的技术方案是：一种基于全局亮度自适应均衡化的海上图像处理方法，包括如下步骤：

步骤S1、对于摄像机获取海上图片进行取反计算，得到原图像A和取反后图像A_f；

步骤S2、获取原图像亮度值，并采用全局亮度自适应直方图均衡化处理；

步骤S3、利用MSRCR算法，分别计算原图像A和取反后图像A_f的RGB三通道反射分量；

步骤S4、将步骤S2获得的亮度信息与步骤S3获得的RGB三通道反射分量进行线性化处理，得到反射分量；

步骤S5、获取每一通道反射分量的均值和标准偏差，确定每一通道灰度拉伸范围；

步骤S6、根据步骤S5确定的每一通道灰度拉伸范围，对步骤S4得到的反射分量进行色彩拉伸，得到每一通道的色彩反射分量；

步骤S7、对步骤S6获得的每一通道的色彩反射分量进行线性叠加，得到最终图像。

在本发明一实施例中，所述步骤S2中，原图像亮度值通过下式获取：

其中，R(x,y)、G(x,y)、B(x,y)分别是原图像的RGB三颜色通道分量。

在本发明一实施例中，所述步骤S3中，MSRCR算法公式如下：

J_MSRCRi(x,y)＝C_i(x,y)·J_MSRi(x,y)

其中，J_MSRi(x,y)为第i个颜色通道图像的反射分量，C_i(x,y)为颜色分量比值调整因子，β是增益常数，α是非线性强度控因子，A_i(x,y)为图像第i个通道信息。

在本发明一实施例中，所述步骤S4中，将步骤S2获得的亮度信息与步骤S3获得的RGB三通道反射分量进行线性化处理，得到反射分量的具体计算公式如下：

ln(J'(x,y))＝(1-δ)ln(J(x,y))+δln(I'(x,y))

其中，δ为加权系数，J(x,y)是原图像和取反后图像进行MSRCR处理后的反射分量，I'(x,y)为原图像亮度值利用全局亮度自适应直方图均衡化处理后的亮度值，J'(x,y)为经过叠加亮度后的反射分量。

在本发明一实施例中，所述步骤S6，根据步骤S5确定的每一通道灰度拉伸范围，对步骤S4得到的反射分量进行色彩拉伸，得到每一通道的色彩反射分量的具体计算公式如下：

J_out＝255*(J'(x,y)-l)/(h-l)

h＝M_mean+k·V_std

l＝M_mean-k·V_std

其中，J_out(x,y)表示每一通道的色彩反射分量，J'(x,y)为经过叠加亮度后的反射分量，(l,h)为每一通道图像拉伸限定灰度范围，M_mean为每一通道图像的灰度均值，V_std为每一通道图像的标准偏差，k为动态调整因子。

在本发明一实施例中，所述步骤S7，对步骤S6获得的每一通道的色彩反射分量进行线性叠加，得到最终图像的具体计算公式如下：

J’_i(x,y)＝λJ_fi(x,y)+(1-λ)J_oi(x,y)

其中，J_fi(x,y)、J_oi(x,y)分别是第i个颜色通道取反图像的反射分量和原图像的反射分量；λ是线性加权系数，其数值与雾浓度和噪声成正比。

相较于现有技术，本发明具有以下有益效果：本发明使得处理后的图像前景突出，细节清晰，色彩丰富，对于海上图像除雾，具有较好的应用价值。

附图说明

图1为本发明方法流程示意图。

图2为亮度直方图对比图。

图3为三种算法实验对比结果。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如图1所示，本发明提供了一种基于全局亮度自适应均衡化的海上图像处理方法，包括如下步骤：

步骤S1、对于摄像机获取海上图片进行取反计算，得到原图像A和取反后图像A_f；

步骤S2、获取原图像亮度值，并采用全局亮度自适应直方图均衡化处理；

步骤S3、利用MSRCR算法，分别计算原图像A和取反后图像A_f的RGB三通道反射分量；

步骤S4、将步骤S2获得的亮度信息与步骤S3获得的RGB三通道反射分量进行线性化处理，得到反射分量；

步骤S5、获取每一通道反射分量的均值和标准偏差，确定每一通道灰度拉伸范围；

步骤S6、根据步骤S5确定的每一通道灰度拉伸范围，对步骤S4得到的反射分量进行色彩拉伸，得到每一通道的色彩反射分量；

步骤S7、对步骤S6获得的每一通道的色彩反射分量进行线性叠加，得到最终图像。

所述步骤S2中，原图像亮度值通过下式获取：

其中，R(x,y)、G(x,y)、B(x,y)分别是原图像的RGB三颜色通道分量。

所述步骤S3中，MSRCR算法公式如下：

J_MSRCRi(x,y)＝C_i(x,y)·J_MSRi(x,y)

其中，J_MSRi(x,y)为第i个颜色通道图像的反射分量，C_i(x,y)为颜色分量比值调整因子，β是增益常数，α是非线性强度控因子，A_i(x,y)为图像第i个通道信息。

所述步骤S4中，将步骤S2获得的亮度信息与步骤S3获得的RGB三通道反射分量进行线性化处理，得到反射分量的具体计算公式如下：

ln(J'(x,y))＝(1-δ)ln(J(x,y))+δln(I'(x,y))

其中，δ为加权系数，R(x,y)是原图像和取反后图像进行MSRCR处理后的反射分量，I'(x,y)为原图像亮度值利用全局亮度自适应直方图均衡化处理后的亮度值，J'(x,y)为经过叠加亮度后的反射分量。

所述步骤S6，根据步骤S5确定的每一通道灰度拉伸范围，对步骤S4得到的反射分量进行色彩拉伸，得到每一通道的色彩反射分量的具体计算公式如下：

J_out＝255*(J'(x,y)-l)/(h-l)

h＝M_mean+k·V_std

l＝M_mean-k·V_std

其中，J_out(x,y)表示每一通道的色彩反射分量，J'(x,y)为经过叠加亮度后的反射分量，(l,h)为每一通道图像拉伸限定灰度范围，M_mean为每一通道图像的灰度均值，V_std为每一通道图像的标准偏差，k为动态调整因子。

所述步骤S7，对步骤S6获得的每一通道的色彩反射分量进行线性叠加，得到最终图像的具体计算公式如下：

J’_i(x,y)＝λJ_fi(x,y)+(1-λ)J_oi(x,y)

其中，J_fi(x,y)、J_oi(x,y)分别是第i个颜色通道取反图像的反射分量和原图像的反射分量；λ是线性加权系数，其数值与雾浓度和噪声成正比。

为验证本发明方法的有效性，选取经典算法中不同雾天原始图像分别进行去雾处理，并进行主客观评价。在装有MATLAB2014b的WIN7系统上进行算法模拟仿真并对比。

1、算法主观评价

将本发明方法与MSRCR算法、基于HSV空间的MSRCR算法(秦绪佳等，2013)做对比，三种方法图像增强处理结果如图3所示。

从图3可以看出，原图像场景被雾遮住，图像存在一定的退化。经过三种算法计算后，恢复图像都保留了大部分前景细节，图像彩色度也得到了增强，且并无“halo”现象。经过MSRCR算法处理后的图像，其远景处的雾并没有被除去，从图3(c-2)到图3(d-2)中我们可以看出，原模糊区域的细节能得到增强，但是输出图像的颜色偏差。经过MSRC-HIV算法处理后的图像，无论远景还是近景的雾，并没有完全去掉。该算法处理后的图像，不能恢复出物体的本体颜色，色彩偏差较严重，整体视觉效果变差。而相比前面两种算法，本发明方法处理后的图像在纹理和色彩对比度方面都相对良好。对不同浓度的海上含雾图像，除雾效果都很好。处理后的图像在饱和度适宜，色彩偏差小，整体既视感良好，图像的细节体现也更丰富。从图3(a-4)-图3(d-4)中也可以看出，本发明方法处理后的图像更清晰，颜色保真度更好，更适合人眼视觉的观察，对不同的浓度雾都可以获得不错的处理效果。

2、算法客观评价

为进一步体现本发明方法的优越性，利用图像客观评价函数分别计算图像的信息熵、标准差、峰值信噪比、图像模糊系数以及平均亮度。图像信息熵表示图像中每个灰度级像素的可能信息量，一般来说，熵值越大，图像色彩越艳丽，图像轮廓越清晰。标准差是用来衡量图像整体对比强度，通常值越大，图像对比度越高。图像峰值信噪比和图像模糊系数(黄文辉等，2018)经常应用于测量图片的重建质量，图片越模糊其信噪比越小，反之亦然。图像模糊系数越接近1，表面图像的越清晰。而图像亮度均值反映了视觉对图像亮度的感受程度，均值越大，表明人感受到的图像亮度越高。表1和表2分别是图3的三种算法评价比较。

表1图像信息熵、标准差和亮度均值评价数据

表2图像峰值信噪比和模糊系数评价数据

对比表1发现，本发明方法处理后的图像信息熵、标准差值比其他两种算法高，说明经本算法除雾后，图像的信息量和细节都比原图好。因为本发明方法对图像的亮度进行自适应均衡化处理，图像的亮度均值比其他算法略有下降，这也符合本发明方法的原理。

从表2可以看出，经三种算法处理后的图像，在峰值信噪比和图像模糊系数值有所提升，本发明方法处理后，图像的模糊系数更接近1，说明本发明方法在改善图像清晰度上更优。对比图像a，MSRCR算法能够提高图像峰值信噪比，但是模糊系数过大，图像清晰度降低。而图c图像经MSRCR-HIV算法的处理后的图模糊系数比本发明方法更接近1，图像轮廓较为清晰，但是结合图像模糊系数和图3(a-4)和图3(c-4)图像，其除雾效果整体没有本发明方法好。

对比表1发现，本发明方法处理后的图像信息熵、标准差值比其他两种算法高，说明经本发明方法除雾后，图像的信息量和细节都比原图好。因为本发明方法对图像的亮度进行自适应均衡化处理，图像的亮度均值比其他算法略有下降，这也符合本发明方法的原理。

从表2可以看出，经三种算法处理后的图像，在峰值信噪比和图像模糊系数值有所提升，本发明方法处理后，图像的模糊系数更接近1，说明本发明方法在改善图像清晰度上更优。对比图像a，MSRCR算法能够提高图像峰值信噪比，但是模糊系数过大，图像清晰度降低。而图c图像经MSRCR-HIV算法的处理后的图模糊系数比本发明方法更接近1，图像轮廓较为清晰，但是结合图像模糊系数和图3(a-4)和图3(c-4)图像，其除雾效果整体没有本发明方法好。

综上所述，针对海上图像除雾难，除雾后图像模糊的问题，本发明提出一种基于全局亮度自适应均衡化的改进MSRCR图像增强模型。该模型把CCD拍摄的原图像进行取反图像运算，将图像和取反后图像从RGB彩色空间变换到HSI空间后，对图像的亮度分量进行自适应均衡化处理，将亮度进行滤波处理，并将处理后的亮度叠加到经MSRCR处理后的反射分量中，通过计算图像的灰度均值和均方差，自适应计算除雾后图像的对比度，并恢复图像自然色彩。最后，通过实验验证该算法在图像对比度、色彩重建方面，有较大的优势。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种基于全局亮度自适应均衡化的海上图像处理方法，其特征在于，包括如下步骤：

步骤S1、对于摄像机获取海上图片进行取反计算，得到原图像A和取反后图像A_f；

步骤S2、获取原图像亮度值，并采用全局亮度自适应直方图均衡化处理；

步骤S3、利用MSRCR算法，分别计算原图像A和取反后图像A_f的RGB三通道反射分量；

步骤S4、将步骤S2获得的亮度信息与步骤S3获得的RGB三通道反射分量进行线性化处理，得到反射分量；

步骤S5、获取每一通道反射分量的均值和标准偏差，确定每一通道灰度拉伸范围；

步骤S6、根据步骤S5确定的每一通道灰度拉伸范围，对步骤S4得到的反射分量进行色彩拉伸，得到每一通道的色彩反射分量；

步骤S7、对步骤S6获得的每一通道的色彩反射分量进行线性叠加，得到最终图像；

所述步骤S4中，将步骤S2获得的亮度信息与步骤S3获得的RGB三通道反射分量进行线性化处理，得到反射分量的具体计算公式如下：

ln(J'(x,y))＝(1-δ)ln(J(x,y))+δln(I'(x,y))

其中，δ为加权系数，J(x,y)是原图像和取反后图像进行MSRCR处理后的反射分量，I'(x,y)为原图像亮度值利用全局亮度自适应直方图均衡化处理后的亮度值，J'(x,y)为经过叠加亮度后的反射分量。

2.根据权利要求1所述的一种基于全局亮度自适应均衡化的海上图像处理方法，其特征在于，所述步骤S2中，原图像亮度值通过下式获取：

其中，R(x,y)、G(x,y)、B(x,y)分别是原图像的RGB三颜色通道分量。

3.根据权利要求1所述的一种基于全局亮度自适应均衡化的海上图像处理方法，其特征在于，所述步骤S3中，MSRCR算法公式如下：

J_MSRCRi(x,y)＝C_i(x,y)·J_MSRi(x,y)

其中，J_MSRi(x,y)为第i个颜色通道图像的反射分量，C_i(x,y)为颜色分量比值调整因子，β是增益常数，α是非线性强度控因子，A_i(x,y)为图像第i个通道信息。

4.根据权利要求1所述的一种基于全局亮度自适应均衡化的海上图像处理方法，其特征在于，所述步骤S6，根据步骤S5确定的每一通道灰度拉伸范围，对步骤S4得到的反射分量进行色彩拉伸，得到每一通道的色彩反射分量的具体计算公式如下：

J_out＝255*(J'(x,y)-l)/(h-l)

h＝M_mean+k·V_std

l＝M_mean-k·V_std

其中，J_out表示每一通道的色彩反射分量，J'(x,y)为经过叠加亮度后的反射分量，(l,h)为每一通道图像拉伸限定灰度范围，M_mean为每一通道图像的灰度均值，V_std为每一通道图像的标准偏差，k为动态调整因子。

5.根据权利要求1所述的一种基于全局亮度自适应均衡化的海上图像处理方法，其特征在于，所述步骤S7，对步骤S6获得的每一通道的色彩反射分量进行线性叠加，得到最终图像的具体计算公式如下：

J_i'(x,y)＝λJ_fi(x,y)+(1-λ)J_oi(x,y)

其中，J_fi(x,y)、J_oi(x,y)分别是第i个颜色通道取反图像的反射分量和原图像的反射分量；λ是线性加权系数，其数值与雾浓度和噪声成正比。

Images