CN101887579A - 基于散射模型的水下图像复原方法 - Google Patents

Abstract

本发明提供的是一种基于散射模型的水下图像复原方法。水下退化图像的复原过程被看做从退化像素灰度集到原始(退化前)像素灰度集的映射，而映射函数由水下光线传播模型推演而来，即基于散射模型的分段映射函数。主要内容包括：(1)采用线性拟合法和平均法对所考虑水域的水下光线传播散射模型进行标定；(2)从退化前后图像的直方图之间的联系总结出上述映射的全面约束条件；(3)根据约束条件确定模型中的d值、构建出分段映射函数。这样就可以利用生成的分段映射函数进行图像复原。本发明可以提高水下图像对比度，突出图像纹理细节，从而提高图像质量。为水下视觉的推广打下基础。

Description

基于散射模型的水下图像复原方法

技术领域

本发明涉及的是一种水下退化图像的复原方法。

背景技术

视觉图像噪声的滤除方法可以概括为两种：图像增强和图像复原。图像增强从像素灰度在空域或频域的关系或特征出发，直接对像素本身进行各种变换而达到去除图像模糊、增加图像细节的目的；图像复原(图像恢复)则研究光线在介质中传播的物理过程，建立光的传播模型(退化模型)，反演退化过程即可得到退化前图像。前者因效果显著、实施简便，在一般图像去噪场合应用颇为广泛，但它仅根据像素灰度这一表象增强图像，在退化严重的情况作用有限。而后者因为考量了造成模糊退化的本质原因，对恶劣天气、水下等退化严重的情况可能有显著效果，但实施起来比图像增强要复杂。基于传播模型的图像复原又包括多种，主要是建立的传播模型不同，有二分散射模型，即将接收光看作光源前向散射光和后向散射自然光之和；含偏振效应的二分散射模型，一般认为光源前向散射光为非偏振光，只考虑后向散射自然光的偏振；以上模型均为单次散射模型，此外还有更贴近真实的多次散射模型。

目前基于模型的图像复原研究基本上都是针对大气图像的。Narasimhan等研究了基于大气退化模型的恶劣天气图像理解，包括图像复原和结构分析。针对远距离、近距离雾天、夜晚等不同天气状况对大气退化模型作一定近似或变形，从而由一幅或两幅或更多幅图像获得景物的深度(depth)或相对深度(relative depth)或量化深度(scaled depth)；由不同天气状况下拍摄的两幅相同场景图像可恢复出任意天气状况下的同一场景图像；使场景光线分别通过两个偏振方向互相垂直的起偏器成像计算偏振度进而得出自然光分量，去除大气对图像的噪声影响。董慧颖等研究了一种基于二色大气模型的退化天气图像复原方法。深度启发法只需要一幅受天气影响的图像和用户提供少量的额外信息，即可去除天气影响。张瑞平研究了基于深度分割的局部直方图均衡化和基于精确深度的大气散射模型两种算法对雾天退化图像进行恢复。

而针对水下图像的噪声滤除研究还较少。曹念文等研究了水下自然光照下的偏振成像技术，指出使用线偏振器或圆偏振器成像可以提高图像清晰度，并且清晰度的提高与圆偏振器旋光方向有关。Yoav Y.Schechner等人研究了基于偏振成像的图像恢复算法，该方法有效地增加了摄像机在水下的可视范围。毫无疑问，采用特殊的成像技术对提高水下能见度，扩大视域很有效果。但另一方面从后处理角度提高图像清晰度也是很值得研究的，特别是从光的物理传播路径角度，建立水下光传播模型，反演传播过程得到退化前图像。Jose P.Queiroz-Neto将雾天大气中光的退化模型引入水下，利用它提高了场景结构重建的精度，但并未真正提出实用的水下图像复原方法。

发明内容

本发明的目的在于提供一种能提高水下图像对比度，突出图像纹理细节，从而提高图像质量的基于散射模型的水下图像复原方法。

本发明的目的是这样实现的：

(1)、对所考虑的水域的水下光线传播散射模型进行标定，即拍摄n幅标定板图像，分别采用线性拟合法和平均值法标定模型中的两个未知参数；

(2)、获取相同水域中的一幅场景的退化图像；

(3)、计算所获取的退化图像的统计直方图，即f(r_k)＝n_k，k＝0，1，2，...，L-1；L为图像所占灰度级数，r_k为其中第k个灰度级，n_k为图像中r_k灰度级出现的频次；

(4)、根据统计直方图确定多级离散d值，构建符合约束条件的分段映射函数；

(5)、根据生成的分段映射函数进行图像复原。

本发明还可以包括：

所述对所考虑的水域的水下光线传播散射模型进行标定的方法为：

1)在空气中拍摄一定距离的标定板图像作为退化前图像，分别求取标定板上白底区域和黑点区域的平均灰度值E_b、E_w；

2)将摄像机和标定板同时没入水中，改变相对距离，拍摄n幅不同距离的目标图像作为退化图像；

3)分别计算n幅退化图像上黑点区域和白底区域的平均灰度值E_bi′和E_wi′，i＝1，2，3，......，n；根据光线在空气中无衰减传播的假设将1)中拍摄的图像看作n幅退化图像共同的退化前图像，由公式

得到n个二元方程组，未知量为E_∞、β；

4)由上述n个二元方程组解得n个点(d_i，β_id_i)，i＝1，2，3，......，n，βd随深度增加成近似线性增长，采用线性拟合方法估计β值，并用求平均法得到E_∞。

所述根据统计直方图确定多级离散d值，构建符合约束条件的分段映射函数的方法为：

1)首先得到退化图像的统计直方图，直方图上存在n个极大值点，映射折线至少包含n个线性映射区间，且每个极大值点及其邻域都处于同一线性映射区间内；

2)首尾两个区间的频率密度分别指定为：E0＝0和E0＝255；

3)确定最大d值：直方图上最大值点所在映射区间对应的d值是所有d取值中的最大值，此最大值由场景先验信息得到，取为场景平均深度的粗略估计值；

4)初步确定其他d值：从最大值点所在映射区间向两边d值依次递减，在直方图频率密度较大的区间，此递减量Δd取值较小，反之Δd取值较大，0＜Δd＜0.2；

5)对d值进行微调：在初步确定好d值后，验证所得分段映射函数在各分界点处是否满足单调不减性，有跳跃的话，跳跃幅度是否满足不太大的要求，如果不满足，则对分界点前后段的d值进行微调，直至满足要求。

本发明的主要特点体现在：

1、水下光线散射模型：

对水下图像的形成建模。在水下，到达CCD感光元的光由主要两部分组成，即来自场景的直接光和来自水面的自然光。建立这两种光的散射模型就可以很好地近似水下图像的成像机制。水下光线散射模型可以表示为：

E(d，λ)＝E_d(d，λ)+E_n(d，λ)

        ＝E₀(λ)e^-α(λ)d+E_∞(λ)(1-e^-β(λ)d)    (1)

其中E(d，λ)是到达CCD的总光强，E_d(d，λ)、E_n(d，λ)分别为到达CCD的场景直接光和水面自然光，E₀(λ)是场景发出的直接光，E_∞(λ)为无穷远处自然光，α(λ)、β(λ)都是反映水介质散射特性的参数，d为传播距离，λ为光波长。对于黑白摄像机在近距离情况下，光波长对光线传播的影响可以忽略，上述公式中的E_∞(λ)、α(λ)和β(λ)都变为常数。因α和β均是反映水介质散射特性的参数，可以将上述公式进一步简化为(2)式，本发明将采用如(2)式所示的模型。

E＝E₀e^-βd+E_∞(1-e^-βd)    (2)

2、模型参数标定：

公式(2)所示模型中的β在同一水域可近似取固定值，E_∞会随环境光线的改变而改变，但在天气稳定时的短时间内或室内恒定灯光下也可近似认为是定值。使用散射模型恢复图像之前必须首先标定β和E_∞值。由于β和E_∞对水体和环境光线的依赖性，必须保证标定环境和复原图像环境一致。这在室内水池恒定灯光照明下是容易实现的。在数米的范围内，假定光线在空气中是无衰减传播的。采用白底黑点的平面平板作为目标场景，始终保持平板与摄像机镜头平行。在室内水池中按下述步骤进行参数标定试验：

(1)在空气中拍摄一定距离的标定板图像作为退化前图像(见附图1(a))，分别求取标定板上白底区域和黑点区域的平均灰度值E_b、E_w；

(2)将摄像机和标定板同时没入水中，改变相对距离，拍摄n幅不同距离的目标图像作为退化图像(见附图1(b))；

(3)分别计算n幅退化图像上黑点区域和白底区域的平均灰度值E_bi′和E_wi′，i＝1，2，3，......，n；根据光线在空气中无衰减传播的假设将(1)中拍摄的图像看作n幅退化图像共同的退化前图像，由公式

得到n个二元方程组，未知量为E_∞、β；

(4)由上述n个二元方程组解得n个点(d_i，β_id_i)，i＝1，2，3，......，n，βd随深度增加成近似线性增长(见附图2)，采用线性拟合方法估计β值，并用求平均法得到E_∞。

3、分段映射概念的引入

标定好退化模型参数后，通过反演该模型就可以进行图像恢复，该模型的反函数见(3)式。但还有一个重要参数，即距离d需要确定。如果可以精确计算待恢复图像上每一个像点对应的深度值，则可以通过(3)式恢复图像。另一种解决方法是深度启发法，它避开了精确计算深度图，而根据一定的先验信息粗略估算深度图，目前仅应用在大气图像去噪领域。

E₀＝e^βdE+(1-e^βd)E_∞    (3)

本发明变换一种角度看问题，将图像恢复的过程看作从退化图像到真实图像的映射。抛开d作为距离的物理意义，而将d看作带有约束条件的映射参数。从映射本身的约束条件及距离先验信息导出映射参数d。

由模型函数恢复图像的过程是一个从实测像素灰度E到真实灰度E0的映射。退化图像的全体像素灰度值为定义域，以E表示，恢复后的真实像素灰度值为值域，以E0表示，则应有

(U0＝[0，255])。此映射应满足下述基本约束条件：

(1)单调不减映射，即有a，b∈E，R(·)为映射函数；

(2)E0为U0的子集，即对于

有R(a)∈U0，且有R(0)＝0，R(255)＝255。

附图3绘制了d取不同值时的一簇E-E0映射关系曲线(E_∞＝115，β＝0.6)。由图看到：

·d取恒值时，映射曲线是直线；

·d越大，映射直线的斜率越大；

·d变化时，所有映射直线都经过点(E_∞，E_∞)；

·d取大于0的任意值时，映射直线斜率均大于1，且当E＝255时E0＞255，E＝0时，E0＜0。

这一方面表明，E到E0的映射是灰度区间拉伸的映射，也是对比度增强的映射，当d取恒值时，对不同像素落差的对比度增强作用是一致的，d越大这种对比度增强作用越强。另一方面也表明，d取恒值的线性映射必然不能满足上述基本约束条件(2)。d必须取一系列变化值。但若d取连续变化值又将使求解复杂化，因此考虑采用离散d值，即采用分段线性映射来表示从退化图像像素灰度到真实像素灰度的映射。

4、分段映射的全面约束条件

统计直方图是一种重要的图像处理方法，它能直观地显示图像灰度级的组成成分。附图4是图像在退化前后的统计直方图，比较可以发现它们之间的一个重要联系：退化前的直方图与退化后直方图经拉伸延展后的结果近似相同。这一线索表明，在恢复图像时，要在保持外形轮廓大体不变的基础上进行灰度级延拓。由此得到构建分段映射函数的全面约束条件：

(1)整个分段映射函数为单调不减函数，且有R(0)＝0，R(255)＝255；

(2)为使图像在尽可能大范围得到最大程度的增强，就要使最高频率的灰度成分的对比度增强作用达到相对最强；

(3)一般地直方图上存在多个极大值点，应使每个极大值点的相邻灰度区间落入同一线性映射子区间内，以保证该极值点处的轮廓线大体不变；

(4)尽量保证各相邻映射线段的斜率变化均匀，分界点处可以有跳跃，但跳跃幅度不应太大。这可以保证直方图被均匀拉伸。

5、分段映射函数构建

3小节中已经确定d为一系列离散变化值，每一个d值对应分段映射函数的一段。由上述约束条件确定这一组d值、进而构建整个分段映射函数的方法是：

(1)首先得到退化图像的统计直方图，直方图上存在n个极大值点，映射折线至少包含n个线性映射区间，且每个极大值点及其邻域都处于同一线性映射区间内；

(2)首尾两个区间的频率密度分别指定为：E0＝0和E0＝255；

(3)确定最大d值：直方图上最大值点所在映射区间对应的d值是所有d取值中的最大值，此最大值由场景先验信息得到，取为场景平均深度的粗略估计值；

(4)初步确定其他d值：从最大值点所在映射区间向两边d值依次递减，在直方图频率密度较大的区间，此递减量Δd取值较小，反之Δd取值较大，0＜Δd＜0.2；

(5)对d值进行微调：在初步确定好d值后，验证所得分段映射函数在各分界点处是否满足单调不减性，有跳跃的话，跳跃幅度是否满足不太大的要求，如果不满足，则对分界点前后段的d值进行微调，直至满足要求。

附图说明

图1(a)-(b)是模型参数标定中使用的图像，其中图1(a)是空气中图像；图1(b)是水池中图像之一；

图2是尺度化深度βd随深度变化图；

图3E到E₀的映射曲线簇；

图4(a)-(b)退化前后图像统计直方图对比，其中图4(a)为退化后直方图；

图5是本发明的框图；

图6分段映射曲线图；

图7(a)-(b)两种恢复方法的比较，其中图7(a)深度启发法，图7(b)分段映射法；

图8(a)-(d)分段映射法图像复原，其中图8(a)原图1，图8(b)复原图1，图8(c)原图2，图8(d)复原图2。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

结合附图5本发明的基于散射模型的水下图像复原方法，为光线从场景出发，经过水介质微粒散射，到达摄像机感光元的传播过程建立模型，所涉及恢复方法是基于反演此散射模型得到的。具体包括如下步骤：

第一步：在所考虑的水域中标定水下光线传播散射模型：拍摄n幅标定板图像，分别采用线性拟合法和平均值法标定模型中的两个未知参数；

第二步：在相同水域中获取一幅场景的退化图像；

第三步：计算该退化图像的统计直方图，即f(r_k)＝n_k，k＝0，1，2，...，L-1。L为图像所占灰度级数，r_k为其中第k个灰度级，n_k为图像中r_k灰度级出现的频次；

第四步：根据统计直方图确定多级离散d值，构建符合约束条件的分段映射函数；

第五步：根据生成的分段映射函数进行图像复原。

第一步按如下方法实现：

(1)在空气中拍摄一定距离的标定板图像作为退化前图像，以标定板上黑点和白底清晰可分为佳，拍摄距离可取为工作范围的中间值。分别求取标定板上白底区域和黑点区域的平均灰度值E_b、E_w；

(2)将摄像机和标定板同时没入水中，改变相对距离，拍摄n幅不同距离的目标图像作为退化图像。注意这n个不同距离都是已知的；

(3)分别计算n幅退化图像上黑点区域和白底区域的平均灰度值E_bi′和E_wi′，i＝1，2，3，......，n。根据光线在空气中无衰减传播的假设将(1)中拍摄的图像看作n幅退化图像共同的退化前图像。由下述公式得到n个二元方程组，未知量为E_∞、β；

${E_{\mathrm{bi}}}^{\′}=E_b{e}^{-{\mathrm{\βd}}_i}+E_{\∞}(1-e^{-{\mathrm{\βd}}_i})$

${E_{\mathrm{wi}}}^{\′}=E_w{e}^{-{\mathrm{\βd}}_i}+E_{\∞}(1-e^{-{\mathrm{\βd}}_i})$

(4)由上述n个二元方程组可解得n个点(d_i，β_id_i)，i＝1，2，3，......，n。βd随深度增加成近似线性增长，采用线性拟合方法估计β值，并用求平均法得到E_∞。

第四步按如下方法实现：

(1)首先得到退化图像的统计直方图，设直方图上存在n个极大值点，则映射折线至少包含n个线性映射区间，且每个极大值点及其邻域都处于同一线性映射区间内；

(2)一般地首尾两个区间的频率密度都较小，此时可以将它们分别指定为：E0＝0和E0＝255；

(3)确定最大d值：直方图上最大值点所在映射区间对应的d值应是所有d取值中的最大值。此最大值由场景先验信息得到，可取为场景平均深度的粗略估计值；

(4)初步确定其他d值：从最大值点所在映射区间向两边d值依次递减，在直方图频率密度较大的区间，此递减量Δd取值较小，反之Δd取值较大。经验表明一般情况下：0＜Δd＜0.2；

(5)对d值进行微调：在初步确定好d值后，验证所得分段映射函数在各分界点处是否满足单调不减性，有跳跃的话，跳跃幅度是否满足不太大的要求。如果不满足，则要对分界点前后段的d值进行微调，直至满足要求。

实例1：

对附图1(b)的退化图像分别进行深度启发法复原和分段映射法复原。深度启发法通过输入场景深度的近似趋势(比如深度增加的方向)来估计场景点的深度，目前主要应用在大气图像去噪领域。尝试将深度启发法用于水下图像复原。用如下方法定义深度变化的方向：首先将消隐点设在图像深度最小值处，见附图1(b)所示，景点深度与他们到图像消隐点的距离成正比。然后输入近似的最小距离d_min和最大距离d_max，则场景点深度可表示为：

d＝d_min+α(d_max-d_min)    (4)

α∈[0，1]是像点到消隐点的相对距离，当d＝d_max时，α＝1；当d＝d_min时，α＝0。对附图1(b)进行深度启发法恢复的结果如附图7(a)所示。可以看到复原图像上有很多黑斑。其形成的直接原因是恢复后的像素灰度级超出数域U₀的范围。进一步分析，首先大气中成像景深大，距离分辨率低，对深度估计的精度要求不高，而水下成像的特点是视程短，景深小，距离分辨率高，对深度估计的精度要求相应也高；其次大气中场景有明显的深度增加方向，而水下近距离的场景一般很难找到一个明确的深度增加方向，因此估计的精度更差。

再用分段映射法复原附图1(b)。附图6上半部分是退化图像的灰度直方图，最高频次出现在139的灰度级，其他的极值点有16、157、191。使斜率最大的映射子函数跨越灰度级139，其他极值点的邻域除16外也分别落入相同映射子区间。首尾端映射子线段斜率为0。模型按前述标定结果，即取E_∞＝115，β＝0.6，取四级深度：1.0m，1.13m，1.15m，1.2m，则分段映射函数表达式见(5)式，分段映射曲线见附图6下半部分，复原后图像见附图7(b)。图中平板区域的白底和黑点的对比度得到最明显的增强。包括水池中的影子以及水池底的黑斑在内的景物边缘得到明显增强，图像清晰度明显提高。

$E_0=\left\{\begin{array}{cc}0& E\∈\left[\mathrm{0,25}\right]\\ E-25& E\∈[26,84]\\ (E-115)e^{0.6\×1.0}+115& E\∈\left[\mathrm{85,132}\right]\\ (E-115)e^{0.6\×1.2}+115& E\∈[133,148]\\ (E-115)e^{0.6\×1.15}+115& E\∈[149,165]\\ (E-115)e^{0.6\×1.13}+115& E\∈\left[\mathrm{166,177}\right]\\ 255& E\∈\left[\mathrm{178,255}\right]\end{array}\right.---\left(5\right)$

实例2：

为进一步验证分段映射法的适应性，又进行如附图8(a)、(c)所示距离较大、景深也较大的图像复原。图中(a)、(c)均为在室内水池所摄，池深约1米，场景最远距离约为4米到5米。复原结果如附图8(b)、(d)所示。两幅复原图中对最远处的场景恢复效果最佳，悬挂的电缆、声呐设备等清晰可辨，尤其是室灯投在池壁上的光影也可分辨出来，而且整体对比度和亮度都得到提高。但由于复原的焦点放在远处场景细节上，近处白底黑点平板区域的恢复效果没有附图7(b)好，而且近处池底有些区域发白。这说明方法对场景的恢复是有选择的，即可以通过选择最大斜率映射子函数区间来选择要突出的场景细节。可见分段映射法除了具有对一般场景的普遍适应性还具有选择性。

Claims (3)

1.一种基于散射模型的水下图像复原方法，其特征是；

(1)、对所考虑的水域的水下光线传播散射模型进行标定，即拍摄n幅标定板图像，分别采用线性拟合法和平均值法标定模型中的两个未知参数；

(2)、获取相同水域中的一幅场景的退化图像；

(3)、计算所获取的退化图像的统计直方图，即f(r_k)＝n_k，k＝0，1，2，...，L-1；L为图像所占灰度级数，r_k为其中第k个灰度级，n_k为图像中r_k灰度级出现的频次；

(4)、根据统计直方图确定多级离散d值，构建符合约束条件的分段映射函数；

(5)、根据生成的分段映射函数进行图像复原。

2.根据权利要求1所述的基于散射模型的水下图像复原方法，其特征是所述对所考虑的水域的水下光线传播散射模型进行标定的方法为：

1)在空气中拍摄一定距离的标定板图像作为退化前图像，分别求取标定板上白底区域和黑点区域的平均灰度值E_b、E_w；

2)将摄像机和标定板同时没入水中，改变相对距离，拍摄n幅不同距离的目标图像作为退化图像；

3)分别计算n幅退化图像上黑点区域和白底区域的平均灰度值E_bi′和E_wi′，i＝1，2，3，......，n；根据光线在空气中无衰减传播的假设将1)中拍摄的图像看作n幅退化图像共同的退化前图像，由公式

得到n个二元方程组，未知量为E_∞、β；

4)由上述n个二元方程组解得n个点(d_i，β_id_i)，i＝1，2，3，......，n，βd随深度增加成近似线性增长，采用线性拟合方法估计β值，并用求平均法得到E∞。

3.根据权利要求1或2所述的基于散射模型的水下图像复原方法，其特征是所述根据统计直方图确定多级离散d值，构建符合约束条件的分段映射函数的方法为：

1)首先得到退化图像的统计直方图，直方图上存在n个极大值点，映射折线至少包含n个线性映射区间，且每个极大值点及其邻域都处于同一线性映射区间内；

2)首尾两个区间的频率密度分别指定为：E0＝0和E0＝255；

3)确定最大d值：直方图上最大值点所在映射区间对应的d值是所有d取值中的最大值，此最大值由场景先验信息得到，取为场景平均深度的粗略估计值；

4)初步确定其他d值：从最大值点所在映射区间向两边d值依次递减，在直方图频率密度较大的区间，此递减量Δd取值较小，反之Δd取值较大，0＜Δd＜0.2；

5)对d值进行微调：在初步确定好d值后，验证所得分段映射函数在各分界点处是否满足单调不减性，有跳跃的话，跳跃幅度是否满足不太大的要求，如果不满足，则对分界点前后段的d值进行微调，直至满足要求。

Images