CN110335210A - 一种水下图像复原方法 - Google Patents

Abstract

本发明公开一种水下图像复原方法，包括：采用离散haar小波变换，将从图像获取端得到的高分辨率图像分解为尺寸减小的四个子图像；通过使用红通道对水下图像的全局背景光进行估计，获得较为准确的水下背景光的估计；引入红蓝通道和红绿通道衰减系数比，将haze‑lines去雾模型应用于水下图像复原；然后对haze‑lines先验聚类得到的红通道透射率取反作为初始红通道透射率估计值；最后根据得到复原的子图像，由逆向离散haar小波变换得到重构的复原图像。本发明的方法复原图像的色彩信息更加完整，实时性更强。

Description

一种水下图像复原方法

技术领域

本发明涉及一种快速水下图像复原方法，属于图像处理技术领域。

背景技术

近年来，水下图像感知和分析技术快速发展，并广泛应用于海洋地质勘测、海洋生物检测保护、海洋军事等领域。水下图像的应用首先要获得信息完整的水下图像，然而光在水下的传播的过程中存在着吸收和散射效应，导致采集的水下图像存在对比度低、细节模糊、色偏严重等问题，对后续的图像分析工作造成了严重的影响。

为了获取信息完整的水下图像，水下图像获取前端获取的图像多为具有高分辨率的水下图像，对其做图像复原往往因计算量大而导致算法速度降低，而对其进行离散haar小波变换可以降低图像的尺寸，加速算法运行速度，实现实时处理，具有很强的实用性。二维图像haar变换是从水平和竖直两个方向进行低通和高通滤波(水平和竖直先后不影响)，将图像变换为四个尺寸减小的子图像，这四个子图像分别为图像的低频信息、图像的水平高频信息、图像的垂直高频信息、图像的对角高频信息。

水下图像复原通常基于水下图像成像模型，主要由物体反射的直接分量、前向散射与后向散射三部分组成。前向散射造成水下图像细节模糊，纹理信息缺失，为了解决这个问题，Hou等人将光在水中的点扩散函数和调制传递函数两者结合来去除前向散射的影响。因为水下图像在获取过程中物体与相机距离较小，所以可以忽略前向散射对水下图像的影响，去除后向散射成为水下图像复原的关键问题。后向散射造成图像对比度降低，图像呈现雾化效果，由于水下图像和雾天图像成像模型的相似性，何等人提出的暗通道先验(DCP)去雾模型，被学者们应用于水下图像复原。Sathya等人在暗通道模型的基础上，对不同颜色通道进行均衡，使复原图像获得更好的视觉效果。

由于水体对光遵循选择吸收的原则，波长长的红色光吸收衰减最大，传播距离最短，导致基于暗通道先验模型的方法在对透射率的估计值偏大。Galdran等人结合红通道在水下衰减快的特点，在暗通道模型的基础上提出了红通道先验(RDCP)模型。

Berman等人创新的提出了haze-lines先验的方法，其发现一幅无雾图像的颜色可以由几百种不同的颜色很好地逼近，这些具有相同颜色的像素点在RGB空间形成紧聚类。该算法的关键点在于同一聚类中的像素点在无雾图像中的分布是非局部的。也就是说，它们遍布整个图像平面且位于到相机不同距离的地方。在雾霾的影响下，这些本来属于同一颜色聚类的像素点，由于它们位于不同的图像区域，它们到相机的距离不同，导致它们的透射率也不同，因此，它们的强度值会发生变化。也就是说，在有雾的条件下，无雾图像中聚在一类的像素，它们的强度值会形成RGB空间的一条线，这些线就是雾线。不同于DCP、RDCP模型基于图像块处理的特点，haze-lines是对图像中每个像素进行聚类、复原，对图像色彩恢复更加完整。

本发明考虑到水对光的选择性吸收的特性，成功地将haze-lines先验用于水下图像复原，可以有效去除成像模型中因后向散射的存在而导致的水下图像模糊，复原图像的色彩畸变。同时考虑到算法的实时性，采用离散haar小波变换对算法进行加速。

发明内容

本发明所要解决的技术问题是：针对水下图像的低对比度、颜色失真、细节模糊、应用性差等问题，对获取的高分辨率水下退化图像实现快速的复原，去除图像的细节模糊，恢复图像完整的颜色信息。

为解决上述技术问题，本发明提出一种水下图像复原方法，包括以下步骤：

1)读取一幅水下退化图像I_λ；

2)对水下退化图像I_λ进行小波分解，得到4个子图像，对尺寸减小的子图像进行图像复原；

3)计算水下退化图像I_λ 的全局背景光A_λ；

4)计算出小波分解后的低频子图像的透射率

5)分别对离散haar小波分解得到的子带图像进行图像复原，对得到的4个复原子图像进行haar小波重构得到复原图像。

本发明所达到的有益效果：本发明根据水下图像成像特点，将图像复原和颜色平衡的方法相结合，同时还考虑到算法处理的实时性问题。采用离散haar小波变换，将高分辨率图像分解为尺寸减小的四个子图像，从而加速算法运行速度；将haze-lines去雾模型应用于水下图像复原，haze-lines先验是作用在每个像素点，能更好的复原水下退化图像的颜色信息；结合能够衡量图像衰减特性的红通道信息，得到更加精确的水下退化图像的子图像的透射率。本方法复原图像的色彩信息更加完整，实时性更强。

附图说明

图1为小波图像的分解和重构流程图；

图2为本发明的水下图像复原方法的工作流程图。

具体实施方式

本发明的工作流程图如图2所示，一种水下图像复原方法，具体步骤为：

步骤一：在水下机器人或成像设备上安装水下光学成像相机，利用水下光学成像相机获取水下退化图像I_λ；

步骤二：为了进一步提高算法的实用性，对输入的水下退化图像I_λ执行离散haar小波变换，得到尺寸减小的水下退化图像；由于光传输分布的低通和平滑特性，引入关于光传输分布的分段常数假设，基于这种假设，对离散haar小波变换后的水下退化图像进行复原，然后再重构出清晰图像。

水下光学成像系统所接收的光包括三部分：

直接分量：目标物体直接反射的光；

前向散射分量：目标物体反射发生小角度散射的光；

后向散射分量：环境光被水中的悬浮颗粒、浮游生物等散射所造成的散射光。

水下图像获取的过程中，相机与目标场景的距离很近，所以可以忽略前向散射分量造成的模糊，则水下图像成像模型为：

I_λ(x)＝t_λ(x)J_λ(x)+A_λ(1-t_λ(x))

其中x是像素坐标，λ∈{r,g,b}表示RGB三个颜色通道，I_λ()为获取的水下退化图像，J_λ()为复原图像；A_λ()是水下退化图像全局背景光，t_λ()表示RGB三通道的透射率；

各通道的透射率为：其中d(x)表示到目标物体到光学成像相机的距离，β_λ表示各通道的衰减系数；

对水下退化图像I_λ()进行单级离散haar小波变换：

其中，W是适当维度的离散haar小波变换矩阵，和分别是水下退化图像I_λ和复原图像J_λ经过离散haar小波变换后的图像，包括四个子图像，上标a，b，c和d分别表示小波变换的低频子带块、水平子带块、垂直子带块和对角线子带块；是透射率t_λ经过离散haar小波变换后的透射率，则得到基于离散haar小波变换的光学图像模型：

低频子带图像但是此时低频子带图像为原水下退化图像I_λ尺寸的加速了算法速度；减小尺寸的低频子带图像具有与原水下退化图像成像模型完全相同的形式。故对低频子图像进行复原，则低频子图像复原模型为且为中间变量。

为了得到低频子复原图像需要求解得到中间变量和低频子图像的透射率

步骤三：对水下图像的背景光的估计，即是求出水下退化图像全局背景光A_λ，从而得到中间变量具体计算方法如下：

水下退化图像的红通道定义为：

J^RDCP(x)＝min(min_y∈Ω(x)(1-J_R(y))，min_y∈Ω(x)(J_G(y))，min_y∈Ω(x)(J_B(y)，))≈0

J^RDCP(x)表示红通道，J_R(y)表示复原图像的R通道，J_G(y)表示复原图像的G通道，J_B(y)表示复原图像的B通道，x为复原图像J_λ()中的任意像素点，Ω(x)表示像素点x周围的像素点，y为Ω(x)中的任意像素；由于红通道水下衰减最快，所以在无穷远处红通道的取值接近于零，无穷远处点像素值即为全局背景光，定义函数H(x)为：

H(x)＝(1-J_R(x))-max(J_B(x)，J_G(x))

其中J_R(x)，J_B(x)，J_G(x)分别为RGB三通道的复原图像；

将函数H(x)从大到小排序，选取设定比例的像素，如前0.1％的像素，在选取的像素中找到灰度值最大的点即为全局背景光A_λ。

步骤四：求解低频子图像的透射率，具体方法为：

有雾图像的透射率只与距离有关，而水下图像的透射率不仅与距离有关，还与RGB通道的衰减系数有关，所以对于水下低频子图像分别得到对于RGB通道的等式：

其中分别表示低频子图像在RGB三通道的图像，分别表示在RGB三通道的取值，分别表示低频子带复原图像的RGB三通道的图像，β_R，β_G，β_B分别表示衰减系数β_λ在RGB三通道的值；

将haze-line模型引入水下，增加三个未知的变量β_R,β_G,β_B，因此本方法引入两个至关重要的中间变量β_RB,β_RG：

然后得到：

其中t_R(x)表示R通道的透射率。

类似地将像素聚类到Haze-Lines并获得R通道的透射率的初始估计t_R(x)；在haze-lines去雾模型中，首先对色素点进行聚类，形成RGB空间里的Haze-lines，然后假定每个聚类的像素簇都至少存在一个像素是无雾的像素，然而在低频子带图像中，因为衰减系数的存在，无法通过haze-lines找到一个未衰减的像素，即使是对于衰减最少的B通道，也不存在未衰减的像素值，根据R通道的衰减快的特性，取代替初始估计值t_R(x)，并选取合适的阈值进行约束。

对于低频子带图像一定存在表示λ为任意RGB通道都存在所以透射率不能为零，设置一个阈值t_LR对红通道的透射率进行限制：

最后得到R通道的限制透射率为

由于聚类的像素点是非局部的，他们可以位于图像的任意地方。因为聚类的数目是定值，当某一类像素点数量较少或者存在噪声时，则会导致生成的透射率图不平滑，假设存在一个平滑透射率通过下式可以得到与限制透射率相似的平滑透射率

是最终获得的平滑透射率，δ是衡量数据项和平滑项的参数，N_x表示低频子图像图像平面内像素点x的四个领域，σ(x)为限制透射率的标准差，对于每一条雾线都存在一个标准差σ(x)，为像素点x的四个领域中的任意像素点y的平滑透射率。

步骤五：当求解出红通道的透射率和图像的全局背景光A_λ后，对低频子图像进行复原：

根据获取的水下退化图像I_λ所处的水体，判断水体种类，设置合适的衰减系数比β_RB,β_RG，计算得到去除后向散射分量的低频子复原图像水平子复原图像垂直子复原图像对角线子复原图像再通过逆向离散小波变换得到重构的复原图J_λ(x)。

步骤六：虽然复原图像在清晰度上有了很大的提高，但是仍然存在整体的亮度偏暗的问题，使用白平衡方法对得到的复原图像J_λ(x)进行图像颜色校正，改善复原的图像的视觉效果。

图像RGB通道中的最大像素对应白色区域而最小值像素对应暗黑区域，通过对输入的复原图像J_λ(x)的各通道的像素值进行仿射变换，分别将整幅图像的RGB三通道的像素值进行拉伸，占据[0,255]整个区间。

Claims (7)

1.一种水下图像复原方法，其特征在于，包括以下步骤：

1)读取一幅水下退化图像I_λ；

2)对水下退化图像I_λ进行小波分解，得到4个子带图像，对尺寸减小的子带图像进行图像复原；

3)计算水下退化图像I_λ的全局背景光A_λ；

4)计算出小波分解后的低频子带图像的透射率

5)分别对离散haar小波分解得到的子带图像进行图像复原，对得到的4个复原子带图像进行haar小波重构得到复原图像。

2.根据权利要求1所述的水下图像复原方法，其特征在于，

在所述步骤2)中，水下图像成像模型为：

I_λ(x)＝t_λ(x)J_λ(x)+A_λ(1-t_λ(x))

其中x是像素坐标，λ∈{r,g,b}表示RGB三个颜色通道，I_λ()为获取的水下退化图像，J_λ()为复原图像；A_λ()是水下退化图像全局背景光，t_λ()表示RGB三通道的透射率；

各通道的透射率为：其中d(x)表示到目标物体到光学成像相机的距离，β_λ表示各通道的衰减系数；

对水下退化图像I_λ()进行单级离散haar小波变换：

其中，W是适当维度的离散haar小波变换矩阵，和分别是水下退化图像I_λ和复原图像J_λ经过离散haar小波变换后的图像，包括四个子图像，上标a，b，c和d分别表示小波变换的低频子带块、水平子带块、垂直子带块和对角线子带块；是透射率t_λ经过离散haar小波变换后的透射率，则得到基于离散haar小波变换的光学图像模型：

低频子带图像对低频子带图像进行复原，则低频子带图像复原模型为且 为中间变量。

3.根据权利要求2所述的水下图像复原方法，其特征在于：在所述步骤3)中，求出水下退化图像全局背景光A_λ，从而得到中间变量具体方法为：

水下退化图像的红通道定义为：

J^RDCP(x)＝min(min_y∈Ω(x)(1-J_R(y))，min_y∈Ω(x)(J_G(y))，min_y∈Ω(x)(J_B(y)，))≈0

J^RDCP(x)表示红通道，J_R(y)表示复原图像的R通道，J_G(y)表示复原图像的G通道，J_B(y)表示复原图像的B通道，x为复原图像J_λ()中的任意像素点，Ω(x)表示像素点x周围的像素点，y为Ω(x)中的任意像素；

定义函数H(x)为：H(x)＝(1-J_R(x))-max(J_B(x)，J_G(x))

其中J_R(x)，J_B(x)，J_G(x)分别为RGB三通道的复原图像；

将函数H(x)从大到小排序，选取设定比例的像素，在选取的像素中找到灰度值最大的点即为全局背景光A_λ。

4.根据权利要求3所述的水下图像复原方法，其特征在于：在所述步骤4)中，求解低频子带图像的透射率的方法为：

对于水下低频子带图像分别得到对于RGB通道的等式：

其中分别表示低频子带图像在RGB三通道的图像， 分别表示在RGB三通道的取值，分别表示低频子带复原图像的RGB三通道的图像，β_R，β_G，β_B分别表示衰减系数β_λ在RGB三通道的值；

将haze-line模型引入水下，引入中间变量β_RB,β_RG：

然后得到：

其中t_R(x)表示R通道的透射率；

类似地将像素聚类到Haze-Lines并获得R通道的透射率的初始估计t_R(x)；在haze-lines去雾模型中，首先对色素点进行聚类，形成RGB空间里的Haze-lines，然后假定每个聚类的像素簇都至少存在一个像素是无雾的像素，在低频子带图像中，根据R通道的衰减快的特性，取代替初始估计值t_R(x)，并选取阈值进行约束；

对于低频子带图像设置一个阈值t_LR对红通道的透射率进行限制：

最后得到R通道的限制透射率为

通过下式计算平滑透射率

是最终获得的平滑透射率，δ是衡量数据项和平滑项的参数，N_x表示低频子图像图像平面内像素点x的四个领域，σ(x)为限制透射率的标准差，对于每一条雾线都存在一个标准差σ(x)，为像素点x的四个领域中的任意像素点y的平滑透射率。

5.根据权利要求4所述的水下图像复原方法，其特征在于：在所述步骤5)中，对低频子图像进行复原的步骤为：

根据获取的水下退化图像I_λ所处的水体，判断水体种类，设置合适的衰减系数比β_RB,β_RG，计算得到去除后向散射分量的低频子复原图像水平子复原图像垂直子复原图像对角线子复原图像再通过逆向离散小波变换得到重构的复原图J_λ(x)。

6.根据权利要求5所述的水下图像复原方法，其特征在于：还包括步骤6)，使用白平衡对复原图像进行颜色校正。

7.根据权利要求6所述的水下图像复原方法，其特征在于：在所述步骤6)中，通过对输入的复原图像J_λ(x)的各通道的像素值进行仿射变换，分别将整幅图像的RGB三通道的像素值进行拉伸，占据[0,255]整个区间。