CN111968055A - 一种基于颜色补偿和颜色线先验的水下图像复原算法 - Google Patents

Abstract

本发明公开一种基于颜色补偿和颜色线先验的水下图像复原算法，应用于水下单幅退化图像恢复领域，针对水下拍摄图像的清晰度低，颜色失真明显的问题，提出的一种图像算法；其步骤包括颜色补偿、拟合颜色线、求取环境背景光、建立模型以及对最优化方程进行求解；本发明利用颜色补偿来恢复图像在水下环境的颜色损失，避免颜色损失导致颜色线先验在水下环境失去作用，根据三通道透射率关系，结合颜色线模型建立新的物理模型，转化为水下图像局部透射率的最优化方程，最终重建清晰的图像，该算法适应性强，图像恢复的颜色更接近真实场景，细节恢复效果好。

Description

一种基于颜色补偿和颜色线先验的水下图像复原算法

技术领域

本发明涉及数字图像处理领域，尤其是一种基于颜色补偿和颜色线先验的水下图像复原算法。

背景技术

海洋资源的探索和开发对我国的国民经济和国防安全都有着重要的意义和价值，但受到水下恶劣成像环境的限制，获取到的水下图像普遍存在对比度低，模糊，色偏等不利因素；图像可视质量的下降会严重影响后续特征提取和目标识别等过程；因此，借助图像处理技术提高原始水下图像视觉质量具有重要的科学意义，得到了越来越多研究者的关注，相关研究日益增多。

已有的水下图像处理技术主要分为两类：第一类是基于非物理模型的图像增强的方法，这类方法针对水下图像下降质量的表现，选用相应的图像增强技术，改善图像的质量。虽然可以灵活的构建增强方案，但由于没有考虑水下图像降质原因，其增强结果不一定能反映图像的真实面貌。第二类方法是基于物理模型的方法，该方法借助水下图像成像机理通过研究水中悬浮物对入射光的吸收及散射作用，建立合理的水下图像成像模型，在此基础上反演出未降质图像。

其中最为出名的经典方法是何凯明博士提出的暗通道先验的算法，这个方法最先是适用于大气中的一个去雾算法，水下图像增强与大气去雾有许多相似的特性，但由于不同波长的光在水中的衰减率不同，所以物理模型大体相似，但不能全部搬用，考虑到红色光衰减远比蓝、绿色光快，在暗通道去雾的基础上，Galdran提出了一种红通道来恢复水下图像，增强对比度。但由于只单一的考虑红通道的衰减率，所以成像偏红，效果没有想象中好。Carlevaris-Bianco通过发现不同颜色的光照在水下传播的衰减程度不同，通过该物理属性来估计成像场景深度，进而移除光照散射对图像质量的影响。这些方法虽然增强效果良好，但把三维的输入图像转化为一维暗通道图，将信息从三个RGB通道转换为一个暗通道，丢失了颜色信息，导致恢复后的图像与预想的存在色差，因此需要一种可以适用于各种水下环境，并能准确恢复出退化图像最真实的颜色面貌的方法。

发明内容

本发明需要解决的技术问题是针对水下环境复杂，红、绿、蓝三色光在不同水质环境下的衰减率不同导致的图像退化，提出一种基于颜色补偿和颜色线先验的水下图像复原算法，可以恢复不同水下场景下的图像，该图像处理方法增强效果好，具有鲁棒性。

为解决上述技术问题，本发明所采用的技术方案是：一种基于颜色补偿和颜色线先验的水下图像复原算法，包括以下步骤：

1、一种基于颜色补偿和颜色线先验的水下图像复原算法，其特征在于：包括以下步骤：

S1、颜色补偿，利用颜色对手的原理对图像衰减的颜色信息进行补偿，并采取图像融合方法来增补失真信息，去除非必要的颜色投射，解决过度区域颜色变化不自然问题；

S2、拟合颜色线，使每一个图像块像素点在RGB空间里拟合成一条颜色线，先将空间直线方程变换形式，采用整体最小二乘法求解参数，得到图像块颜色线的表达形式；

S3、求取环境背景光A，将图像分成合适大小的n*n个小块，寻找均方差和均值差值最大的图像块作为目标块，在目标块内红通道和绿通道差值最大的点即为A的值；

S4、建立模型，将场景辐射的因子分解式和水下场景的简化图像形成模型相结合，得到颜色线模型，再根据水下环境特有的性质，利用三色光波长和环境背景光自适应的得到三个通道透射率的关系，带入颜色线模型得到适用于水下的图像恢复模型，得出水下图像局部透射率的最优化方程；

S5、对图像恢复算法转变成的水下图像局部透射率的最优化方程进行求解，得到透射图t，并基于水下场景的简化图像形成模型反推出恢复的图像。

本发明技术方案的进一步改进在于：所述步骤S1中，利用信息保存完好的绿色通道对红通道衰减的颜色信息进行补偿的公式为：

I_rc(x)＝I_r(x)+α(I_gavg-I_ravg)·(1-I_r(x))·I_g(x)，x∈Ω式中，I_r(x)，I_g(x)表示图像的红色通道和绿色通道；I_ravg和I_gavg是I_r(x)，I_g(x)对应的均值；α为常数因子；

所述融合方法其色度权重求值公式为：

其中w₁为色度权重值，S为图像每个像素的饱和值，S_max为像素最大饱和值；

所述融合方法其显著性权重求值公式为：

w₂＝(l-lm)²+(a-am)²+(b-bm)²

其中w₂为显著性权重，l，a，b是CIE Lab颜色空间下图像每个信道的值，lm，am，bm是三个信道对应的均值；

所述融合方法其亮度权重求值公式为：

其中V为输入图像的亮度值，R、G、B分别代表红色、绿色和蓝色通道的值；

所述融合公式为：

本发明技术方案的进一步改进在于：所述步骤S4中水下场景的简化图像形成模型为：

I(x)＝J(x)t(x)+(1-t(x))A

其中I(x)表示相机等装置接收到的图像强度，J(x)表示图像场景辐射光强度，A表示环境背景光，t(x)是透射率；将物体表面反射特性分解式：J(x)＝lR带入水下场景的简化图像形成模型得到：

I(x)＝t(x)lR+(1-t(x))A

即

本发明技术方案的进一步改进在于：所述步骤S4中水下的图像恢复模型为：

其中相应的参量值为:

本发明利用颜色补偿算法来恢复图像在水下环境中造成的颜色损失，避免了颜色损失导致颜色线先验在水下环境中失去作用；并根据三通道透射率关系，结合颜色线模型新的物理模型，转化为水下图像局部透射率的最优化方程，使得失真的水下图像得到清晰重建；

采用多尺度融合的策略，对补偿后的红通道R2、图像显著性信息E(X)、均匀灰度图G(X)进行融合，有效的解决了图像对比度下降、过度区域颜色变化不自然的问题。

附图说明

图1是基于颜色补偿和颜色线先验的水下图像复原算法流程图；

图2列出了不种水下环境的原始退化图像和经过本发明算法处理后的图像。

具体实施方式

如图1所示，基于颜色补偿和颜色线先验的水下图像复原算法，包括以下步骤：

1)根据颜色对手空间的概念，利用信息保存完好的绿通道对颜色信息衰减的红通道R1进行补偿，并采取图像融合的方法来增补失真信息，去除非必要的颜色投射，解决过度区域颜色变化不自然问题，其中补偿公式为：

I_rc(x)＝I_r(x)+α(I_gavg-I_ravg)·(1-I_r(x))·I_g(x)，x∈Ω

式中，I_r(x)，I_g(x)表示图像的红色通道和绿色通道，I_ravg和I_gavg是I_r(x)，I_g(x)对应的均值，α为常数因子。针对补偿后的红通道图像对比度下降、过度区域颜色变化不自然的问题，采用多尺度融合的策略，对补偿后的红通道图R2、图像显著性信息E(X)、均匀灰度图G(X)三个输入进行融合，为此我们引入三个权重；

色度权重求值公式为：

其中w₁为色度权重值，S为图像每个像素的饱和值，S_max为像素最大饱和值。

显著性权重求值公式为：

w₂＝(l-lm)²+(a-am)²+(b-bm)²

其中w₂为显著性权重，l，a，b是CIE Lab颜色空间下图像每个信道的值，lm，am，bm是三个信道对应的均值。

亮度权重求值公式为：

其中V为输入图像的亮度值，R、G、B分别代表红色、绿色和蓝色通道的值；然后对这三个权重做归一化处理：

处理后将三个输入图多尺度融合：

其中k＝3，OP为输出图像，IP为输入图像，G(w)为权重图的高斯版本，L(IP)为输入的拉普拉斯版本；之后我们采用Grayworld算法消除图像的不必要的颜色投射，经过颜色补偿后的图像，解决了水下颜色信息丢失的问题，使颜色线先验能够适用于水下环境。

2)将空间直线标准方程进行变形为：

写成矩阵形式为

考虑实际数据点在x、y、z三个方向都存在误差，将矩阵形式方程改写为误差方程的形式：

即

因此构成了一个典型的EIV模型，可以采用TLS方法进行参数求解，即可得到每块的颜色线。

3)得到颜色线后，求取环境背景光A，步骤如下：

对于一张原始图像，对其进行64*64的分块，并对每一块Ai求均值Am以及求均方差的平方As；然后求均值Am和均方差的平方As的的差值，即Ae＝Am-As；从这些块中选Ae值最大的那一块作为最后处理的图像块，令该块的绿通道(B)与红通道(R)的像素值做差值，即max(Ib-Ir)，此时差值最大的那个像素点记为X；则Ar＝Xr，Ag＝Xg，Ab＝Xb，即可求得环境背景光A。

4)水下图像恢复模型的建立：其中水下场景的简化图像形成模型满足公式：

I(x)＝J(x)t(x)+(1-t(x))A

其中I(x)表示相机等装置接收到的图像强度，即最终的成像结果，J(x)表示图像场景辐射光强度，即未退化之前的图像；A表示环境背景光，t(x)是透射率，表示经过介质未被衰减到达相机的光与场景原始辐射光之间的比值；图像恢复的主要问题就是求得环境背景光A和透射率t(x)，而I(x)是已知的，从这三个变量推导出未退化的图像J(x)。与陆地的大气去雾不同，由于红、绿、蓝三色光的的波长不同，在水中红光的衰减最快，所以一般水下图像呈现偏绿或偏蓝的颜色，原因在于RGB三个通道的透射率t(x)是不同的，即

I_λ(x)＝J_λ(x)t_λ(x)+(1-t_λ(x))A_λ，λ∈{r，g，b}

将物体表面反射特性分解式：J(x)＝lR带入水下场景的简化图像形成模型得到：

I(x)＝t(x)lR+(1-t(x))A

即

此时可以用颜色线模型的观点来描述图像的退化过程，如果图像没有退化，即摄像机全部接收到场景辐射光强度，则应该是

此时图像像素点分布的直线经过原点；但在水下环境经过了散射以及反射等一系列原因的退化过程，图像的像素点分布的直线产生了(1-t)A的偏倚，也就不再经过原点。所以总体来说就是未退化图像的颜色线经过原点，退化图像的颜色线不经过原点。此时恢复图像的问题就成为了将偏倚原点的颜色线恢复的问题，即：

min_l，t||lD+V-(1-t)A||²

但由于红、绿、蓝三色光在水中的衰减率不同，这个问题在水下环境就变成了一个三维问题：

根据比尔定律，透射率和衰减系数成指数关系，衰减系数又两部分组成，散射系数和吸收系数。其中散射系数与衰减系数的比值和周围环境光成正比，RGB三通道散射系数关系可以由波长求出，由此可以得到三通道透射率的关系，即：

其中λ_r、λ_g、λ_b是红、绿、蓝三色光的波长，分别是620nm、540nm、450nm。A_r、A_g、A_b是待处理图片环境背景光三通道的值。

此时便有了提出的水下图像恢复模型：

其中lD+V表示图像块的颜色线，其中x1和x2是颜色线上的两个点，D＝X1-X2表示直线的方向；V＝x1表示直线的偏倚；l是一个自由参数，可以是直线的任意两点表示这个直线；这个模型可以根据每幅图片的背景光A和红、绿、蓝三色光的波长来确定RGB三个通道的透射率t之间的关系，转化为l和红通道透射率tr的凸优化问题；该方程可以准确地求解图像恢复的其中一个关键变量透射率t的值，为图像的恢复提供准确参数。

5)APJLM算法让两个耦合变量l和tr同时迭代，求出三通道的局部投射率tr,tg,tb。并根据上面已经得到的背景光A和透射图t(x)，推出最终的真实场景的图像J(x),反推公式为：

其中t₀取值0.1，以防除法过程中分子趋于零，此时便可以得到最终恢复的图像J(x)。

Claims (4)

1.一种基于颜色补偿和颜色线先验的水下图像复原算法，其特征在于：包括以下步骤：

S1、颜色补偿，利用颜色对手的原理对图像衰减的颜色信息进行补偿，并采取图像融合方法来增补失真信息，去除非必要的颜色投射，解决过度区域颜色变化不自然问题；

S2、拟合颜色线，使每一个图像块像素点在RGB空间里拟合成一条颜色线，先将空间直线方程变换形式，采用整体最小二乘法求解参数，得到图像块颜色线的表达形式；

S3、求取环境背景光A，将图像分成合适大小的n*n个小块，寻找均方差和均值差值最大的图像块作为目标块，在目标块内红通道和绿通道差值最大的点即为A的值；

S4、建立模型，将场景辐射的因子分解式和水下场景的简化图像形成模型相结合，得到颜色线模型，再根据水下环境特有的性质，利用三色光波长和环境背景光自适应的得到三个通道透射率的关系，带入颜色线模型得到适用于水下的图像恢复模型，得出水下图像局部透射率的最优化方程；

S5、对图像恢复算法转变成的水下图像局部透射率的最优化方程进行求解，得到透射图t，并基于水下场景的简化图像形成模型反推出恢复的图像。

2.根据权利要求1所述的一种基于颜色补偿和颜色线先验的水下图像复原算法，其特征在于：所述步骤S1中，利用信息保存完好的绿色通道对红通道衰减的颜色信息进行补偿的公式为：

I_rc(x)＝I_r(x)+α(I_gavg-I_ravg).(1-I_r(x)).I_g(x)，x∈Ω

式中，I_r(x)，I_g(x)表示图像的红色通道和绿色通道，I_ravg和I_gavg是I_r(x)，I_g(x)对应的均值，α为常数因子。

所述融合方法其色度权重求值公式为：

其中w₁为色度权重值，S为图像每个像素的饱和值，S_max为像素最大饱和值；

所述融合方法其显著性权重求值公式为：

w₂＝(l-lm)²+(a-am)²+(b-bm)²

其中w₂为显著性权重，l，a，b是CIE Lab颜色空间下图像每个信道的值，lm，am，bm是三个信道对应的均值；

所述融合方法其亮度权重求值公式为：

其中V为输入图像的亮度值，R、G、B分别代表红色、绿色和蓝色通道的值；

所述融合公式为：

3.根据权利要求1所述的一种基于颜色补偿和颜色线先验的水下图像复原算法，其特征在于：所述步骤S4中水下场景的简化图像形成模型为：

I(x)＝J(x)t(x)+(1-t(x))A

其中I(x)表示相机等装置接收到的图像强度，J(x)表示图像场景辐射光强度，A表示环境背景光，t(x)是透射率；将物体表面反射特性分解式：J(x)＝lR带入水下场景的简化图像形成模型得到：

I(x)＝t(x)lR+(1-t(x))A

即

4.根据权利要求1所述的一种基于颜色补偿和颜色线先验的水下图像复原算法，其特征在于：所述步骤S4中水下的图像恢复模型为：

其中相应的参量值为：

Images