CN107507138A

CN107507138A - 一种基于Retinex模型的水下图像增强方法

Info

Publication number: CN107507138A
Application number: CN201710623921.7A
Authority: CN
Inventors: 李革; 张文豪; 应振强; 王荣刚; 王文敏
Original assignee: Peking University Shenzhen Graduate School
Current assignee: Peking University Shenzhen Graduate School
Priority date: 2017-07-27
Filing date: 2017-07-27
Publication date: 2017-12-22
Anticipated expiration: 2037-07-27
Also published as: WO2019019695A1; CN107507138B

Abstract

本发明公布了一种基于Retinex模型的水下图像增强方法，首先进行水下图像颜色校正，再将图像从RGB颜色空间转化到HSV颜色空间，然后基于Retinex模型，将V颜色通道分解成反射部分和光照部分，对光照部分进行初始化、提纯、校正，得到亮度调整后的V通道，和其他两个通道合并转换为RGB空间，得到最终的增强图像；包括颜色校正和亮度调整过程。相比于现有方法，采用本发明方法处理后的图片拥有更真实的颜色、更自然的表现以及更好的视觉效果；同时，方法计算复杂度较低，处理时间较短。

Description

一种基于Retinex模型的水下图像增强方法

技术领域

本发明属于图像处理技术领域，涉及水下图像增强技术，尤其涉及一种基于Retinex模型的综合颜色校正和亮度调整的水下图像增强方法。

背景技术

水下成像的研究对于海洋资源的探索、海底生态研究、海洋军事应用等都有重要的意义。然而，水下的环境是很恶劣的，因为光线在介质传播的过程中被严重吸收和散射。光线被大颗粒悬浮物反射到各个方向，由此造成了图像模糊。进一步，光线被水吸收导致能量降低，由此而产生欠曝光和色偏现象。色偏的原因是不同波长有不同的吸收率。当到达一定深度时，波长越长的越先消失。总的来说，水下成像将会遇到三个主要的问题：色偏、模糊、欠曝光。为了让拍摄的图像更适合观察，我们需要恢复它相对真实的颜色和自然的景象。

针对水下图像存在的问题，研究者们提出了多种解决方法，主要分为三大类：

早期水下图像增强方法多来源于通用的图像增强方法。例如，文献[1]记载的直方图均衡化(HE)、文献[2]记载的广义反锐化掩模(GUM)、文献[3]记载的基于概率的方法(PB)等。将通用方法应用在水下领域时，也能取得不错的效果。

一些去雾的方法逐渐地也被应用在水下增强领域，因为水下成像和陆地成像存在同样的有雾的条件。文献[4]中，Fattal提出的SID方法运用了表面阴影和透射率是局部无关的这一事实来去雾；文献[5]中何凯明采用的DCP方法提出了著名的暗通道先验，无雾的图片每个像素中至少有一个通道是一个较小值，来估计透射率图以达到去雾效果。去雾方法虽好，但只考虑了散射因素，不能很好地解决水下偏蓝偏绿的现象。

目前，比较主流的几个水下增强方法有：文献[6]中Cosmin and Ancuti提出的在不同滤波器之间做一个融合以重建一张清晰地水下图像；文献[7]傅雪阳提出的方法运用Retinex模型来分解图像成反射部分和光照部分，然后分别进行后处理再组合。傅雪阳的方法效果很好，但是复杂度太高。

引用文献：

[1]C.A.M.Jaspers,“Histogram equalization,”2004.

[2]G.Deng,“A generalized unsharp masking algorithm,”IEEE Transactionson Image Processing,vol.20,no.5,pp.1249–1261,2011.

[3]Fu X,Liao Y,Zeng D,et al.A probabilistic method for imageenhancement with simultaneous illumination and reflectance estimation[J].IEEETransactions on Image Processing,2015,24(12):4965-4977.

[4]R.Fattal,“Single image dehazing,”ACM Transactions on Graphics,vol.27,no.3,p.1,2008.

[5]H.K.,S.J.,and T.X.,“Single image haze removal using dark channelprior.”Pattern Analysis and Machine Intelligence,IEEE Transactions on,vol.33,no.12,pp.2341–2353,2010.

[6]C.Ancuti,C.O.Ancuti,T.Haber,and P.Bekaert,“Enhancing underwaterimages and videos by fusion,”Proceedings of the IEEE Computer SocietyConference on Computer Vision and Pattern Recognition,pp.81–88,2012.

[7]Fu X,Zhuang P,Huang Y,et al.A retinex-based enhancing approach forsingle underwater image[C]//Image Processing(ICIP),2014IEEE InternationalConference on.IEEE,2014:4572-4576.

发明内容

为了克服上述现有技术的不足，本发明提供一种基于Retinex模型的综合颜色校正和亮度调整的水下图像增强方法，能够有效提高增强后的图像的视觉效果。

本发明提供的技术方案是：

一种基于Retinex模型的水下图像增强方法，包括颜色校正和亮度调整过程；首先进行水下图像颜色校正，再将图像从RGB空间转化到HSV空间，然后基于Retinex模型，将V通道分解成反射和光照部分，对光照部分进行初始化、提纯、校正，得到亮度调整后的V通道，和其他两个通道合并转换为RGB空间；

(一)水下图像颜色校正。

首先分别求解水下图像的每个通道的均值和方差，用来组合成新区间的最大值和最小值。在新构成的区间进行单通道的归一化，其中，代表输入图像的单个通道的像素的均值，代表输入图像的单个通道的像素的方差。最后将归一化的三个通道合并，得到颜色得以校正的最终效果图。

(二)水下图像亮度调整。

21)首先是建模。将颜色校正后的水下图像由RGB空间转换为HSV空间。取HSV空间的V通道，代表图像的亮度值。根据Retinex模型，将V通道的能量分解成为反射部分和光照部分，表示为式(1)：

V_cr＝R*M (1)

式(1)，V_cr代表颜色校正后的图像的亮度通道，R代表V_cr的反射部分，M代表V_cr的光照部分。根据公式(1)可知，已知的只有V_cr，其他都是未知的。我们通过先估计出校正后的M，由此求解出增强后的R，以解决欠曝光问题。

22)求颜色校正后的图像亮度通道的光照部分M。

221)M的初始化。用V_cr初始化M₀。

222)M的提纯，得到M的估计值。

根据先验，需要保存光照图的完整的边缘结构，同时需要使细节变平滑。由此可以建立优化方程式以提纯M，如式(2)：

第一项是保真项，M的估计值需要尽可能和初始值保持一致。第二项是M的梯度值，α的设计是为了权衡保真项和梯度项。求出的M需要让整个优化方程最小化。其中||*||₁和||*||₂分别是一阶范式和二阶范式，是一个差分算子。我们在梯度项的基础上乘以一个权重矩阵W，W的设计是为了更好的区分结构边缘和纹理。在求权值矩阵的过程中，我们用的是均值滤波，公式如式(3)：

其中，W_d为不同方向上的权重矩阵；d代表水平方向h和垂直方向v。ε是一个很小的常数，以防除数为零。在整个最优化方程式的求解过程中，我们将求导部分等价于除以一个已知的导致未知的部分升阶为二次式。对于未知的二次式直接求导，导数为零时，整个式子最小，由此求出提纯后的M值。

223)M的校正。得到M的估计值后，还需要进一步进行伽马校正，

23)求最终增强效果图。

通过最终校正过后的和已知的V_cr，可以求出增强后的反射部分，即为亮度通道的最终值。替换原先的亮度通道值V_cr，再进行HSV到RGB空间的转换，就可以得到最终的增强图像。

与现有技术相比，本发明的有益效果是：

本发明提供一种基于Retinex模型的综合颜色校正和亮度调整的水下图像增强方法，首先进行水下图像颜色校正，再将图像从RGB空间转化到HSV空间，然后基于Retinex模型，将V通道分解成反射和光照部分；对光照部分进行初始化、提纯、校正，得到亮度调整后的V通道，和其他两个通道合并转换为RGB空间。本发明方法能够让增强后的图像获得很好的视觉效果。具体实施提供了本发明与其他已有方法进行性能比较的实例，结果表明，相比于现有方法，采用本发明方法处理后的图片拥有更真实的颜色、更自然的表现以及更好的视觉效果。此外，本发明方法的计算复杂度较低，处理时间较短。

附图说明

图1为本发明方法的流程框图。

图2为本发明实施例提供的部分水下图像构造测试样本集及处理结果示例；

其中，上一行是图像质量差的原始输入图像；下一行是增强结果图像。

图3为本发明方法与现有方法的处理结果对比图；

其中，(a)是原始水下图像，(b-e)是采用现有方法的增强效果，依次是直方图均衡化、Fattal的单个图像去雾法、何凯明的暗通道先验去雾法、傅雪阳的基于Retinex的水下图像增强法；(f)是本发明方法的增强效果。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种基于Retinex模型的综合颜色校正和亮度调整的水下图像增强方法，首先通过颜色对比度拉伸进行水下图像颜色校正，再将图像从RGB空间转化到HSV空间，然后基于Retinex模型，将代表亮度的V通道单独进行亮度调整:首先将V通道分解成反射和光照部分，对光照部分用V通道的值进行初始化、然后根据保存结构边缘、去除纹理细节的约束条件进行优化提纯、再进行伽马校正，得到亮度调整后的V通道，和其他两个通道合并转换为RGB空间。最终得到的图像，颜色得以校正、亮度得以调整，具有较好的增强效果。

图1为本发明方法的流程框图。在本发明实施例中，新的水下增强方法包括颜色校正和亮度调整两个部分。对于颜色校正部分，我们使用的是简单有效的归一化方法。对于亮度调整部分，我们基于Retinex模型，将图像先从RGB空间转化为HSV空间，然后取V通道，代表亮度的通道，进行Retinex分解，分成反射和光照部分。然后对光照部分进行初始化、提纯、校正，由V通道的值除以校正后的光照部分，便能得到增强的反射部分，即为亮度调整后的V通道，和其他两个通道合并又转换为RGB空间。

图2列出了采用本发明方法对部分水下图像构造测试样本集进行图像增强及处理结果示例；其中，上方是图像质量差的原始输入图像，下方是增强结果图像。本发明方法具体实施步骤如下：

(一)水下图像颜色校正。

根据灰度世界理论，一副色彩丰富的图片，它的三通道的均值趋近于相同值。同时直方图分布应该能够横跨整个区间。故我们进行颜色对比度的移动和拉伸。首先分别求解水下图像的每个通道的均值，作为颜色对比度拉伸的中间值，然后求解每个通道的像素的方差，用来设置颜色对比度拉伸的区间范围。接着将均值和方差进行加减组成接下来进行颜色对比度拉伸的区间最大值和最小值，其中方差项需要乘以一个系数λ以调整范围的大小。在新构成的区间进行单通道的归一化代表输入图像的单个通道的像素的均值，代表输入图像的单个通道的像素的方差，λ的值取2。最后将归一化的三个通道合并,得到颜色得以校正的最终效果图。

(二)水下图像亮度调整。

21)首先是建模。我们可将颜色校正后的水下图像由RGB空间转换为HSV空间，因为颜色部分已经校正，接下来需要处理的是亮度部分，转换到HSV空间后有助于分离颜色部分和亮度部分。取HSV空间的V通道，代表图像的亮度值。根据Retinex模型，我们可将V通道的能量分解成为反射部分和光照部分：

V_cr＝R*M

V_cr代表颜色校正后的图像的亮度通道，R代表V_cr的反射部分，M代表V_cr的光照部分。水下环境由于光线的吸收和散射导致光照变化多端。所以移去不停变化的光照部分，我们能得到稳定的反射部分，即为场景真实的表现。根据公式(1)可知，已知的只有V_cr，其他都是未知的。现有方法在求解另外两个未知量时，认为这是一个病态问题。我们通过先估计出校正后的M，由此求解出增强后的R，以解决欠曝光问题。

22)求M。

221)M的初始化。用V_cr初始化M₀。

222)M的提纯。根据先验，需要保存光照图的完整的边缘结构，同时需要使细节变平滑。由此可以建立如下的优化方程式以提纯M。

第一项是保真项，M的估计值需要尽可能和初始值保持一致。第二项是M的梯度值，α的设计是为了权衡保真项和梯度项,α取值为0.5。求出的M需要让整个优化方程最小化。其中||*||₁和||*||₂分别是一阶范式和二阶范式，是一个差分算子。我们在梯度项的基础上乘以一个权重矩阵W，W的设计是为了更好的区分结构边缘和纹理，一个局部窗口的主要边缘相比拥有复杂图案的纹理将用于更多同方向的梯度。所以梯度更大的边缘部分的权重应该更小，成反比关系。在求权值矩阵的过程中，我们用的是均值矩阵，Ω(x)所代表的窗口大小为5*5，公式如下

其中d代表的水平方向h和垂直方向v。ε是一个很小的常数，取0.001，以防除数为零。在整个最优化方程式的求解过程中，一般用的是梯度下降法等，需要对整个未知的矩阵进行求导，即计算复杂度为NlogN。我们将求导部分等价于除以一个已知的导致未知的部分升阶为二次式。对于未知的二次式直接求导，导数为零时，整个式子最小，由此求出提纯后的M值，计算复杂度变为N。

223)M的校正。得到M的估计值后，还需要进一步进行伽马校正，得到伽马校正后的光照部分γ是可以控制光照增强程度的参数值，当取值0.4时可以最好的增强对比度和细节。

3)求最终增强效果图。

通过最终校正过后的和已知的V_cr，我们可以求出增强后的反射部分R，即为亮度通道的最终值。替换原先的亮度通道值V_cr，再进行HSV到RGB空间的转换，就可以得到最终的增强图像。

图3为本发明与其他现有方法的处理结果对比图；其中，(a)是原始水下图像，(b-e)是采用现有方法的增强效果，依次是直方图均衡化、Fattal的单个图像去雾法、何凯明的暗通道先验去雾法、傅雪阳的基于Retinex的水下图像增强法；(f)是本发明方法的增强效果。结果表明，我们的方法比现有方法处理后的图片，拥有更真实的颜色、更自然的表现以及视觉效果更好。另外，我们的计算复杂度更低，处理时间更短。。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims

1.一种基于Retinex模型的水下图像增强方法，首先进行水下图像颜色校正，再将图像从RGB颜色空间转化到HSV颜色空间，然后基于Retinex模型，将V颜色通道分解成反射部分和光照部分，对光照部分进行初始化、提纯、校正，得到亮度调整后的V通道，和其他两个通道合并转换为RGB空间；包括颜色校正和亮度调整过程；

(一)水下图像颜色校正，包括如下步骤：

11)分别求解水下图像的每个通道的均值和方差，组合得到新区间；

12)对三个通道，分别在构成的新区间上进行单通道的归一化；

13)将归一化的三个通道合并，得到颜色校正后的水下图像；

(二)水下图像亮度调整，包括如下步骤：

21)将上述颜色校正后的水下图像由RGB空间转换为HSV空间，根据Retinex模型，将代表图像的亮度值的V通道的能量分解成为反射部分和光照部分，表示为式(1)：

V_cr＝R*M (1)

式(1)中，V_cr代表颜色校正后的图像的亮度通道，R代表V_cr的反射部分，M代表V_cr的光照部分；通过先估计出校正后的M，求解出增强后的R；

22)求颜色校正后的图像亮度通道的光照部分M；

221)用颜色校正后的图像的亮度通道V_cr初始化光照部分M₀；

222)通过对光照部分M进行提纯，得到M的估计值；

223)得到M的估计值后，进行伽马校正，得到

23)通过得到伽马校正后的和已知的V_cr，求出增强后的反射部分，即为亮度通道的最终值；将亮度通道的最终值替换原先的亮度通道值V_cr，再进行HSV到RGB空间的转换，得到最终的增强图像。

2.如权利要求1所述水下图像增强方法，其特征是，步骤12)新构成的区间为其中，代表输入图像的单个通道的像素的均值；代表输入图像的单个通道的像素的方差；系数λ用于调整范围的大小。

3.如权利要求2所述水下图像增强方法，其特征是，系数λ的值为2。

4.如权利要求1所述水下图像增强方法，其特征是，步骤222)通过对光照部分M进行提纯，得到M的估计值；具体包括如下过程：

首先建立优化方程式，如式(2)：

<mrow> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>M</mi> </munder> <mo>|</mo> <mo>|</mo> <msub> <mi>M</mi> <mn>0</mn> </msub> <mo>-</mo> <mi>M</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&alpha;</mi> <mo>|</mo> <mo>|</mo> <mi>W</mi> <mo>*</mo> <mo>&dtri;</mo> <mi>M</mi> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

式(2)中，第一项是保真项，使得M的估计值尽可能和初始值保持一致；第二项是M的梯度值；α用于权衡保真项和梯度项，使得优化方程最小化时求出M；其中||*||₁和||*||₂分别是一阶范式和二阶范式；是差分算子；在梯度项的基础上乘以一个权重矩阵W，用于更好的区分结构边缘和纹理；

通过均值滤波求权重矩阵，如式(3)：

<mrow> <msub> <mi>W</mi> <mi>d</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mo>|</mo> <msub> <mi>&Sigma;</mi> <mrow> <mi>y</mi> <mo>&Element;</mo> <mi>&Omega;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </msub> <msub> <mo>&dtri;</mo> <mi>d</mi> </msub> <msub> <mi>M</mi> <mn>0</mn> </msub> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>+</mo> <mi>&epsiv;</mi> </mrow> </mfrac> <mo>,</mo> <mi>d</mi> <mo>&Element;</mo> <mo>{</mo> <mi>h</mi> <mo>,</mo> <mi>v</mi> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

其中，W_d为不同方向上的权重矩阵；d代表水平方向h和垂直方向v；ε是一个很小的常数，以防除数为零；

在最优化方程式的求解过程中，将求导部分等价于由于除以一个已知的导致未知的部分升阶为二次式；对于未知的二次式直接求导，导数为零时，整个式子最小，由此求出提纯后的M估计值。

5.如权利要求4所述水下图像增强方法，其特征是，式(2)中用于权衡保真项和梯度项的α的取值为0.5。

6.如权利要求4所述水下图像增强方法，其特征是，式(3)中ε取值为0.001。

7.如权利要求1所述水下图像增强方法，其特征是，伽马校正中，γ为控制光照增强程度的参数，取值为0.4。