CN108765342A - 一种基于改进暗通道的水下图像复原方法 - Google Patents

Abstract

本发明公开了一种基于改进暗通道的水下图像复原方法，包括以下步骤：获取单幅自然光照下水下模糊图像；计算图像暗通道与二维水体透射率图；计算景深表达式并确定三维水体透射率；根据水下自然光照成像模型对图像进行去模糊；对去模糊后的图像进行自适应对比度增强处理；颜色校正得到复原图像。本发明的方法能够有效地自适应提高水下图像近景和远景的对比度，图像颜色也得到了较好地复原，对于水下模糊图像有显著的改善效果；通过优化水体透射率图、增加自适应对比度增强和颜色校正进行暗通道去雾算法的改进，使得复原得到的图像不仅在对比度和清晰度上有明显的优势，在颜色恢复效果上也较为突出。

Description

一种基于改进暗通道的水下图像复原方法

技术领域

本发明涉及一种基于改进暗通道的水下图像复原方法，属于图像处理技术领域。

背景技术

现有技术中，通过对大量天空图片的研究，发现清晰图像大部分像素点的RGB颜色通道中至少有一个颜色通道的灰度值均较低且接近于零，据此提出了暗通道先验(DarkChannel Prior:DCP)的单幅图像去雾方法，该算法对天空有雾图像具有明显的去雾效果，在天空图像去雾上有着很大的突破性，不过当图像中不存在天空区域或直接应用在水下图像处理时去雾效果欠佳。许多学者针对透视率图修正和暗通道的获取方法对其进行改进，取得了一定的效果。由于运用软抠图法细化透射图的复杂度较高、运行时间较长，何等又通过将有雾图像作为引导，使用指导性滤波法对粗透射率图进行精细化，该细化方法可以很大程度地减少去雾耗时，且较好的保持原雾图中的边缘信息，但在边缘处易出现光晕。为了降低算法时间复杂度，提高暗通道先验去雾算法的整体运行效率，大量学者对于优化粗透射率图以获取更精细的透射率图进行了深入的研究。

暗通道先验理论应用于水下图像处理时可以去除图像模糊，提高图像对比度和色彩分布，但是在水下应用时还存在以下问题：

1)水下环境比天空复杂，暗通道先验去雾算法不能很好地考虑水体对光的选择性衰减特性和微粒的散射特性。

2)现有细化透射率图算法时间复杂度较高，导致算法整体执行时间较长，不能满足图像处理中实时性的要求。

3)大气耗散模型与水下自然光照成像模型存在差异，天空图像退化过程不能完全适用于水下特殊成像环境条件。

发明内容

针对现有技术存在的不足，本发明目的是提供一种基于改进暗通道的水下图像复原方法，通过优化水体透射率图并增加自适应对比度增强和颜色校正对暗通道去雾算法进行改进，使其适用于水下环境，可以有效地复原自然光照下的水下模糊图像。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明的基于改进暗通道的水下图像复原方法，包括以下步骤：

1)获取单幅自然光照下水下模糊图像；

2)计算图像暗通道与二维水体透射率图；

3)计算景深表达式并确定三维水体透射率；

4)根据水下自然光照成像模型对图像进行去模糊；

5)对去模糊后的图像进行自适应对比度增强处理；

6)颜色校正得到复原图像。

步骤1)中，具体的方法如下：在水下机器人或成像设备上，安装水下光学成像相机，并在不同的水体中采集单幅自然光照下水下模糊图像。

步骤2)中，所述图像暗通道与二维水体透射率图具体的计算方法如下：

根据暗通道去雾模型与水下成像环境，水下自然光照模型表示为：

I(x,y)＝J(x,y)t(x,y)+B_∞(1-t(x,y))

其中，I(x,y)表示获取的有雾图像，J(x,y)为需要复原得到的无雾图像，t(x,y)表示透射率，B_∞为全局背景光；为了得到复原图像需对透射率与背景光进行估计。

根据暗通道先验理论，图像的暗通道定义为：

其中，λ∈{r,g,b}表示图像的三个颜色通道，i表示邻域Ω(x)内的某个像素点，I^dark(x)表示暗通道；即以像素点x为中心，先分别取r,g,b三个通道在邻域Ω(x)内的最小值，再计算三个通道的最小值，作为该点的暗通道值，选择暗通道内最亮的前0.1％个像素点，并通过这些像素点的坐标位置，在原图I的三个颜色通道中对应地找到这些点；利用这些像素点的均值作为全局背景光B_∞；根据暗通道理论，对于一幅无雾的清晰图像，区域像素值的最小值趋近于为零，因为J(x,y)是从有雾图像中复原的无雾图像，所以在复原图像中保留一些模糊，将水下图像的二维透射率表示为

式中，ω∈(0,1)为雾的保留系数，为λ通道的全局背景光；该公式计算得到的二维透射率t(x)是粗透射率图，需要经过导向滤波器细化后才能使用。

步骤3)中，所述三维水体透射率具体的确定方法如下：

由于水下图像的透射率是光的波长的函数，在已获得全局背景光B_∞与二维透射率t(x)的条件下，水下图像景深估计为

根据CIE1931RGB色度系统，将红、绿、蓝光的波长分别定义为700nm、546.1nm和435.8nm，令波长系数c_λ＝(0.7000,0.5461,0.4358)；根据透射率与波长成反比的关系，引入参数c_λ与k估计水下透射率，则三维水体透射率的估计表示为：

其中，表示为t(x,y)的估计，d(x)表示景深，k＝c·c_λ作为全局调整参数，通过对k的遍历来最大程度地拟合c，且对每个颜色通道都分别进行上述处理，通过t(x)计算的景深在每个颜色通道一致。

步骤4)中，根据水下自然光照成像模型对图像进行去模糊具体的方法如下：

根据水下自然光照成像模型，以图像灰度平均梯度GMG作为评价标准，采用循环遍历的方法，获得最优的k参数，选择在遍历中具有最大GMG的k值计算透射率，并将对应的图像作为最优去模糊结果，即：

其中，I(x,y)为待复原的水下模糊图像，J(x,y)为去模糊后的图像。

步骤5)中，使用改进的局部自适应对比度增强ACE方法对去模糊后的图像进行自适应对比度增强处理，增强的结果表示为：

式中，D是常数，m_L为图像全局平均值，J_low(x,y)表示为暗通道的去模糊后图像的低频分量，可由J(x,y)经过高斯模糊得到；空间自适应的放大增益G(x,y)＝D·m_L·t^-1(x,y)，由于采用透射率计算自适应放大系数，恢复图像中近景与远景的对比度将获得不同程度的增强效果。

上述改进的局部自适应对比度增强ACE方法，具体的方法如下：

首先，分离图像的高、低频信息，并将图像的低频部分作为反锐化掩模；

然后，计算自适应放大系数，放大高频部分；

最后，在反锐化掩模中加入处理后的高频信息，从而达到增强图像高频细节、自适应提高对比度的效果。

步骤6)中，采用单点白平衡方法对图像进行颜色校正，使其更接近景物原有色彩；所述单点白平衡方法具体如下：通过选取图像中色彩信息保留最好的像素点作为参考，通过全局像素的归一化计算，实现整个图像的色彩校正。

本发明所达到的有益效果：

本发明解决了常见的复原算法应用于水下自然光照图像处理时，由于水下环境不同于天空，恢复模型所使用的透射率图的差异导致该方法不能准确地估计水下背景光和无法正常地恢复景物颜色的问题，和直接将这类方法应用于水下图像去模糊时，会使得到的结果对比度偏低，且细节与颜色产生失真的问题；本发明的方法能够有效地自适应提高水下图像近景和远景的对比度，图像颜色也得到了较好地复原，对于水下模糊图像有显著的改善效果；复原得到的图像不仅在对比度和清晰度上有明显的优势，在颜色恢复上也最为突出，使得图像对比度满足视觉要求，色彩鲜明。

附图说明

图1是本发明的方法工作流程图；

图2是水下自然光照成像模型；

图3是水下模糊图像原图；

图4是复原效果图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本发明的设计流程图如图1所示，下面结合附图对本发明的具体实施方式说明如下：

(1)搭建平台并采集数据：

在水下机器人或成像设备上，安装水下光学成像相机，并在不同的水体中采集水下场景的自然光照图像。

(2)计算图像暗通道与二维水体透射率图：

根据暗通道去雾模型与水下成像环境，水下自然光照模型可以表示为：

I(x,y)＝J(x,y)t(x,y)+B_∞(1-t(x,y))

其中，I(x,y)表示获取的有雾图像，J(x,y)为需要复原得到的无雾图像，t(x,y)表示透射率，B_∞为全局背景光；根据图2可以看出水下自然光照成像模型跟大气光照模型具有很大的相似性，同样是通过估计水体透射率t(x,y)和背景光B_∞实现图像复原。

根据暗通道先验理论，图像的暗通道可以定义为：

其中，λ∈{r,g,b}表示图像的三个颜色通道，i表示邻域Ω(x)内的某个像素点，I^dark(x)表示图像的暗通道；即以像素点x为中心，先分别取r,g,b三个通道在邻域Ω(x)内的最小值，再计算三个通道的最小值，作为该点的暗通道值。通过图像的暗通道I^dark就可以计算出全局背景光B_∞。基本原理是：通过选择暗通道中最亮的一部分点，计算其平均值得到全局背景光。通常情况下暗通道越亮的点背景光也越大。

选择暗通道内最亮的前0.1％个像素点，并通过这些像素点的坐标位置，在原图I的三个颜色通道中对应地找到这些点。利用这些像素点的均值作为全局背景光。根据暗通道理论，对于一幅无雾的清晰图像，在绝大多数存在目标的局部区域里，某一些像素点的三个颜色通道中总有至少一个通道的亮度值较低，即该区域像素值的最小值趋近于为零。因为J(x)是从有雾图像中复原的无雾图像，所以因为即使在清澈的水体中也存在水分子和一些悬浮颗粒，所以在远处的场景仍会受雾状模糊的影响，且这些模糊的存在能让人眼感觉到景物深度的存在，因此，有必要在复原图像中保留一些模糊，将水下图像的二维透射率表示为

式中，ω∈(0,1)为雾的保留系数，通常取值为0.95，为λ通道的全局背景光。该公式计算得到的二维透射率t(x)是粗透射率图，需要经过导向滤波器细化后才能使用。

(3)参数迭代估计水体三维透射率：

考虑到水下成像环境比空中复杂，且暗通道去雾算法所使用的透射率t(x)是二维灰度图，无法代替水下自然光照成像模型中涉及到的三维水质传输参数t(x,y)，故模型之间不匹配。如果暗通道去雾算法直接应用于水下，将二维的透射率图乘以三个系数应用于水下RGB图像估计背景光，会使恢复后的图像在细节以及色彩上产生严重偏差，恢复效果不理想。然而，大气成像模型与水下光照成像模型的相似性也为暗通道应用于水下图像恢复提供了解决思路。为此，本方法选取与天空具有一致性的水下图像景深(水下景物距离成设备的距离)作为媒介，计算水下图像的透射率图。

由于水下图像的透射率是光的波长的函数，在已获得全局背景光B_∞与二维透射率t(x)的条件下，水下图像景深可估计为，考虑到衰减系数c是波长的函数还与水质有关，且RGB三种颜色通道的水下衰减系数都不同，难以直接从原图像中获取，故不直接计算c，而使用一个调整参数对其进行模拟，便于后续处理。根据CIE1931RGB色度系统，将红、绿、蓝光的波长分别定义为700nm、546.1nm和435.8nm，令波长系数c_λ＝(0.7000,0.5461,0.4358)。根据透射率与波长成反比的关系，引入参数c_λ与k估计水下透射率，则水体透射率的估计可表示为：

其中，表示为t(x,y)的估计，d(x)表示景深，k＝c·c_λ作为全局调整参数，通过对k的遍历来最大程度地拟合c，且对每个颜色通道都分别进行上述处理。通过t(x)计算的景深在每个颜色通道一致。相比于其他估计透射率的方法，该算法更满足光的物理特性，且通过在遍历循环中动态的寻找最佳的k值，可以得到更精确的透射率。不同的图像拥有不同的k值，这与不同水体拥有不同的衰减系数和透射率是相对应的。

(4)根据水下自然光照成像模型对图像进行去模糊：

上步骤中调整参数k的取值对不同图像的恢复效果影响很大，本方法以图像灰度平均梯度(GMG)作为评价标准，提出采用循环遍历的方法，获得最优的k参数。选择在遍历中具有最大图像GMG的k值计算透射率，并根据水下自然光照成像模型将对应的图像作为去模糊结果，即：

其中，I(x,y)为待复原的水下模糊图像，J(x,y)为去模糊后的图像。

(5)改进自适应对比度增强：

对于去模糊后水下图像，在距离成像点近的区域，景物细节较明显，图像较清晰，不需要太大的改善；而在较远的区域，背景光分量大，图像对比度相对近景仍然较低，细节不够明显，需要对高频细节进行较大的增强。为了增强水下去模糊图像中远景部分的对比度，本方法使用改进的局部自适应对比度增强(ACE)方法对去模糊后的图像进行处理。ACE使用了反锐化掩模技术，首先分离图像的高、低频信息，并将图像的低频部分作为反锐化掩模；然后计算自适应放大系数，适当地放大高频部分；最后在反锐化掩模中加入处理后的高频信息，从而达到增强图像高频细节、自适应提高对比度的效果。ACE的核心是计算自适应放大系数。由于反锐化掩模是图像的低频成分，于视觉效果而言即为原图的模糊版本，因为去模糊后的图像与反锐化掩模具有相同的低频特征，本方法使用去模糊后的图像代替反锐化掩模进行高频信息的增强，减少不必要的模糊。其次，基于透射率与距离之间存在的负指数关系，利用估计得到的三维透射率作为自适应放大系数的因数，对于去模糊后的水下图像进行自适应对比度增强。基于以上分析，对去模糊后的图像进行自适应对比度增强处理，增强的结果表示为：

式中，D是常数，通常令其等于2或3，m_L为图像全局平均值，J_low(x,y)表示为暗通道的去模糊后图像的低频分量，可由J(x,y)经过高斯模糊得到；。空间自适应的放大增益G(x,y)＝D·m_L·t^-1(x,y)。由于采用透射率计算自适应放大系数，恢复图像中近景与远景的对比度将获得不同程度的增强效果。

(6)颜色校正得到复原图像：

上述步骤在处理中只考虑到清晰度与对比度的提高，而忽略操作过程中颜色的变化。图像处理在一定程度上会对本就存在颜色失真的颜色分布产生影响，本方法采用单点白平衡方法对对图像进行颜色校正，使其更接近景物原有色彩。单点白平衡法的基本思想是：通过选取图像中色彩信息保留较好的像素点作为参考，通过全局像素的归一化计算，实现整个图像的色彩校正。通常情况下，白色目标或者接近白色的颜色失真较小。

图3为原始的水下模糊图像，而图4为对应的使用本发明提出的算法复原得到的图像，图像质量与视觉效果得到了显著的改善。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于改进暗通道的水下图像复原方法，其特征在于，包括以下步骤：

1)获取单幅自然光照下水下模糊图像；

2)计算图像暗通道与二维水体透射率图；

3)计算景深表达式并确定三维水体透射率；

4)根据水下自然光照成像模型对图像进行去模糊；

5)对去模糊后的图像进行自适应对比度增强处理；

6)颜色校正得到复原图像。

2.根据权利要求1所述的基于改进暗通道的水下图像复原方法，其特征在于，步骤1)中，具体的方法如下：在水下机器人或成像设备上，安装水下光学成像相机，并在不同的水体中采集单幅自然光照下水下模糊图像。

3.根据权利要求1所述的基于改进暗通道的水下图像复原方法，其特征在于，步骤2)中，所述图像暗通道与二维水体透射率图具体的计算方法如下：

根据暗通道去雾模型与水下成像环境，水下自然光照模型可以表示为：

I(x,y)＝J(x,y)t(x,y)+B_∞(1-t(x,y))

其中，I(x,y)表示获取的有雾图像，J(x,y)为需要复原得到的无雾图像，t(x,y)表示透射率，B_∞为全局背景光；为了得到复原图像需对透射率与背景光进行估计；

根据暗通道先验理论，图像的暗通道定义为：

其中，λ∈{r,g,b}表示图像的三个颜色通道，i表示邻域Ω(x)内的某个像素点，I^dark(x)表示暗通道；即以像素点x为中心，先分别取r,g,b三个通道在邻域Ω(x)内的最小值，再计算三个通道的最小值，作为该点的暗通道值；

选择暗通道内最亮的前0.1％个像素点，并通过这些像素点的坐标位置，在原图I的三个颜色通道中对应地找到这些点；利用这些像素点的均值作为全局背景光B_∞；根据暗通道理论，对于一幅无雾的清晰图像，区域像素值的最小值趋近于为零，因为J(x,y)是从有雾图像中复原的无雾图像，所以在复原图像中保留一些模糊，将水下图像的二维透射率表示为

式中，ω∈(0,1)为雾的保留系数，为λ通道的全局背景光；该公式计算得到的二维透射率t(x)是粗透射率图，需要经过导向滤波器细化后才能使用。

4.根据权利要求1所述的基于改进暗通道的水下图像复原方法，其特征在于，步骤3)中，所述三维水体透射率具体的确定方法如下：

由于水下图像的透射率是光的波长的函数，在已获得全局背景光B_∞与二维透射率t(x)的条件下，水下图像景深估计为

根据CIE1931RGB色度系统，将红、绿、蓝光的波长分别定义为700nm、546.1nm和435.8nm，令波长系数c_λ＝(0.7000,0.5461,0.4358)；根据透射率与波长成反比的关系，引入参数c_λ与k估计水下透射率，则三维水体透射率的估计表示为：

其中，表示为t(x,y)的估计，d(x)表示景深，k＝c·c_λ作为全局调整参数，通过对k的遍历来最大程度地拟合c，且对每个颜色通道都分别进行上述处理，通过t(x)计算的景深在每个颜色通道一致。

5.根据权利要求1所述的基于改进暗通道的水下图像复原方法，其特征在于，步骤4)中，根据水下自然光照成像模型对图像进行去模糊具体的方法如下：

根据水下自然光照成像模型，以图像灰度平均梯度GMG作为评价标准，采用循环遍历的方法，获得最优的k参数，选择在遍历中具有最大GMG的k值计算透射率，并将对应的图像作为最优去模糊结果，即：

其中，I(x,y)为待复原的水下模糊图像，J(x,y)为去模糊后的图像。

6.根据权利要求1所述的基于改进暗通道的水下图像复原方法，其特征在于，步骤5)中，使用改进的局部自适应对比度增强ACE方法对去模糊后的图像进行自适应对比度增强处理，增强的结果表示为：

式中，J_low(x,y)表示为暗通道的去模糊后图像的低频分量，可由J(x,y)经过高斯模糊得到；D是常数，m_L为图像全局平均值，空间自适应的放大增益G(x,y)＝D·m_L·t^-1(x,y)，由于采用透射率计算自适应放大系数，恢复图像中近景与远景的对比度将获得不同程度的增强效果。

7.根据权利要求6所述的基于改进暗通道的水下图像复原方法，其特征在于，

所述改进的局部自适应对比度增强ACE方法，具体的方法如下：

首先，分离图像的高、低频信息，并将图像的低频部分作为反锐化掩模；

然后，计算自适应放大系数，放大高频部分；

最后，在反锐化掩模中加入处理后的高频信息，从而达到增强图像高频细节、自适应提高对比度的效果。

8.根据权利要求1所述的基于改进暗通道的水下图像复原方法，其特征在于，

步骤6)中，采用单点白平衡方法对图像进行颜色校正，使其更接近景物原有色彩；所述单点白平衡方法具体如下：

通过选取图像中色彩信息保留最好的像素点作为参考，通过全局像素的归一化计算，实现整个图像的色彩校正。