CN110070480A - 一种水下光学图像的模拟方法 - Google Patents

Abstract

本发明提供一种水下光学图像的模拟方法，包括：步骤1：获取原始大气图像；步骤2：获取真实水下图像的各项参数；所述各项参数包括：真实水下图像中的三通道的全局背景光、红色通道的透射率、蓝色通道的透射率、绿色通道的透射率；步骤3：根据水下光学成像模型，结合从真实水下图像中得到的各项参数，将原始大气图像模拟为水下图像。

Description

一种水下光学图像的模拟方法

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种水下光学图像的模拟方法。

背景技术

在人口急剧膨胀、陆地资源日益枯竭、环境不断恶化的情况下，开发和保护水中资源是一项影响深远、面向二十一世纪的重大选择。由于海洋、河流、湖泊等资源丰富，水下技术已成为近年来引起广泛关注的重要研究课题。

水下图像是水下信息的重要载体。水下图像的获取与水下成像系统密切相关。然而水下成像过程中，水体的结构对光的传播有很大影响，相对于空气中所拍摄的普通图像来说水下成像所遇到的问题更加复杂和困难，水下图像呈现出的问题包括：低对比度、非均匀照明、模糊、光斑以及各种复杂因素的噪声。

退化的水下图像给实际应用和科学研究带来了极大的不便。相比复杂的高成本技术，采用图像处理和计算机视觉技术来探索、开发以及保护水下世界具有成本低和易操作等优点。

现存的水下图像处理方式多种多样，根据不同的水下图像处理方式，效果一定不相同。对于水下图像处理后的结果，我们需要做一个具体的评判，来判断处理后得到的图像效果如何。因此水下彩色图像质量评价(IQA)在图像处理算法的分析和应用中起着重要的作用。水下图像增强和复原技术很多，但是水下彩色图像质量评价(IQA)技术却很少。现存的评价水下图像增强和复原方法处理结果主要使用的评测方法大致分为两类主观评测和客观评测。

主观评价方法主要是通过测试人员对图像观察,对图像的质量做出主观的评价和分析。在实际应用中，主观评价会受观察者诸多限制的影响，需要对图像进行多次重复实验，无法应用数学模型对其进行描述，难以实现实时的质量评价。

客观评价方法是通过一定的算法,利用数学手段计算出图像的视觉质量。在普通大气图像进行质量评估时，通常会用到全参考(FR)或无参考(NR)的方法进行评估。

但是水下图像与普通大气图像质量评测方法不同。水下图像并没有同一场景拍摄的真实清晰图像作为参考，通常只能对水下图像进行主观评价或者无参考的客观评价。

客观的无参考水下图像质量评价方法虽可以在某种程度上反映水下图像的视觉质量，但由于水下图像的退化类型较多，大多不同，人为设计的测量分量或特征仅仅针对退化的某个或者某几个方面有效，这会导致评价结果不准确、不理想，同时也限制水下图像处理方式的应用。

因此对水下图像进行有效地改善必须要建立在对水下成像系统的特性的全面的研究上，但是现存的水下图像模拟技术较少。现存少量的水下光学图像模拟技术通常直接将彩色大气图像分为RGB三个分量，分别用不同衰减系数作Jaffe劣化后再合并；或是在原有水下图像上增加雾效，模糊视觉等。上述方法均不是基于水下光学成像模型设计，虽视觉感受类似于水下图像，但模拟出的图像不符合水下光学成像特点。而本申请是在水下光学成像模型的基础上，利用信息损失最小、直方图分布优先的方法提取真实水下图像中透射率等各项参数后并与清晰的大气图像结合，依据可靠理论，模拟的结果图更具真实感，符合水下光学成像理论。同时本申请建立一个较全面的模拟水下图像的数据库，为领域内研究人员验证全参考质量评价方法提供基本条件，解决了全参考评价方法无原始水下参考图的弊端，利用清晰大气图像和模拟的水下图像进行图像的全参考质量评估，对各种水下图像处理方法提供了一个新的且有效的对比方式和评估方式，进一步健全了水下图像质量评价体系。

发明内容

本发明一方面为了解决由于现有水下光学图像模拟技术不以水下成像模型为理论基础，导致产生的模拟图像无法真实反映水下图像特性的缺陷。另一方面为了解决由于无原始参照图导致全参考评价方法不适应于水下图像质量评估的弊端。将大气中的图像通过一定的方式处理进行水下图像的模拟，得到水下图像后，运用不同的水下增强和复原方法进行处理，对照原始大气图像的数据，可进一步应用于水下图像的全参考质量评估。算法产生的水下模拟效果逼真，在提取不同水下场景数据后，可模拟不同效果。使得水下模拟图像和未处理的大气原始图像可成为良好的数据参考集。

一种水下光学图像的模拟方法，包括以下步骤：

步骤1：获取原始大气图像；

步骤2：获取真实水下图像的各项参数；

所述各项参数包括：真实水下图像中的三通道的全局背景光、红色通道的透射率、蓝色通道的透射率、绿色通道的透射率；

步骤3：根据水下光学成像模型，结合从真实水下图像中得到的各项参数，将原始大气图像模拟为水下图像。

进一步地，如上所述的水下光学图像的模拟方法，还包括：

步骤4：在所述模拟水下图像中添加噪声，得到最终的模拟水下图像。

进一步地，如上所述的水下光学图像的模拟方法，所述三通道的全局背景光的获取方法包括：利用四叉树细分的分层搜索技术选取图中合适的区域，并利用暗通道计算出前百分之一亮的像素点，计算图像中的三通道的全局背景光。

进一步地，如上所述的水下光学图像的模拟方法，所述红色通道的透射率的获取方法包括：

利用信息损失最小、直方图分布优先的方法求出红色通道的透射率t_R，利用方法如下：

其中，I_R(x)表示为水下真实图像的红通道图,B_R表示红色通道的全局背景光。

进一步地，如上所述的水下光学图像的模拟方法，所述绿色通道的透射率根据下式得到；

其中，t_R(x)表示红色通道的透射率，p_G表示绿色通道的衰减系数，p_R表示红色通道的衰减系数；

蓝色通道的透射率根据下式得到；

其中，p_B表示蓝色通道的衰减系数。

进一步地，如上所述的水下光学图像的模拟方法，所述水下光学图像的成像模型为：

I_λ(x)＝t_λ(x)J(x)+(1-t_λ(x))B_λ,λ∈{R,G,B}

其中，x表示一个像素，I_λ(x)为水下模拟图像，t_λ(x)为透射率，B_λ为全局背景光；J(x)表示清晰的大气图像。

有益效果：

1、现存的少量水下图像模拟仿真技术，通常直接将彩色大气图像分为R、G、B三个向量，分别用不同衰减系数作Jaffe劣化后再合并；或是在原有水下图像上增加雾效，模糊视觉等。上述方法均未基于水下光学成像模型设计，虽视觉感受类似于水下图像，但模拟出的图像大都不符合水下光学分布的特点。本申请在水下光学成像模型的基础上，利用信息损失最小、直方图分布优先的方法提取真实水下图像中透射率等各项参数后并与清晰的大气图像结合，依据可靠理论，模拟的结果图更具真实感，符合水下光学成像理论。

2、现存的水下光学图像数据库较少，且尚未有较全面的可用于全参考质量评估的水下模拟数据库。本申请基于水下光学成像模型，运用清晰的大气图像结合真实水下图像中提取参数，模拟水下图像，在解决现有水下光学图像模拟技术缺陷的同时，可建立较全面的、可靠的模拟水下图像的数据库，为领域内研究人员验证全参考质量评价方法提供基本条件。

3、目前水下图像质量评估主要采用主观评价或无参考质量评价的方式。引入本申请技术，通过不同增强和复原方法对模拟出的水下图像进行处理，并将图像的全参考质量评价方法运用到了水下图像质量评估中，拓展了水下图像质量评估的方法，提高了质量评估的准确性。

附图说明

图1是本发明提出的基于光学成像模型的水下图像仿真模拟技术的流程图；

图2是基于四叉树细分的分层搜索技术展示图；

图3是输入的真实水下图像；W1为海中生物微光场景，W2为浑浊场景，W3为深海场景；

图4是将得到的参数与清晰的大气图像结合模拟出水下图像；(a)中图像效果是根据水下图像W1中的参数并结合本申请得到的；(b)中图像效果是根据水下图像W2中的参数并结合本申请得到的；(c)中图像效果是根据水下图像W3中的参数并结合本申请得到的；

图5是通过本申请方法模拟得到的水下图像根据不同需求增加噪声后得到的图像；(a)为原始图像，(b)为模拟水下图像，(c)在模拟水下图像的基础上，添加了参数为N(0.1，0.001)的高斯噪声，(d)在模拟水下图像的基础上，添加了参数为N＝0.004的斑点噪声。

图6是大气中的图像与水下图像的特征与直方图分布之间的关系图；(a)为得到的原始清晰大气图像和水下图像平均的直方图分布；(b)为得到的真实水下图像的三个颜色通道的直方图分布；(c)为将大气图像模拟为水下图像后得到的直方图；

图7是通过本申请方法模拟水下图像建立的图库部分展示图；

图8是本发明水下光学图像的模拟方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1和图8所示，本发明将已知清晰大气图像和真实水下图像输入到水下光学成像模型中，通过计算真实水下图像中得到求解全局背景光和三通道的透射率图等参数，并结合水下光学成像模型将清晰地大气图像模拟为水下图像，具体包括以下步骤：

步骤1：获取原始大气图像；

步骤2：获取真实水下图像的各项参数；

所述各项参数包括：真实水下图像中的三通道的全局背景光、红色通道的透射率、蓝色通道的透射率、绿色通道的透射率；

步骤3：根据水下光学成像模型，结合从真实水下图像中得到的各项参数，将原始大气图像模拟为水下图像。

步骤4：在所述模拟水下图像中添加噪声，得到最终的模拟水下图像。

其中，所述真实水下图像的全局背景光估计包括：

利用基于四叉树细分的分层搜索技术，得到目标图像，并运用暗通道先验技术，从暗通道映射中按照亮度大小取最亮的前0.1％的像素。根据水下光学成像的特点，蓝光在水下传播距离最长，在这些像素中，选择输入的水下图像中的红蓝差异最大的像素点作为全局背景光，并分别求出三通道的全局背景光B_R、B_G、B_B。

所述透射率估计包括以下步骤：

根据水下成像特点，红色光与蓝色光、绿色光的传播距离不同。因此在求取水下透射率时，红色通道的透射率和蓝、绿色通道的射率的求取方法不同。

a)红色通道透射率图通过利用信息损失最小、直方图分布优先的方法求出红色通道的透射率t_R。利用方法如下：

b)根据Lamber-Beer经验法，利用红色通道的透射率t_R，结合物体到摄像机距离d(x)，求出红色通道的衰减系数p_R。利用方法如下：

t_R(x)＝exp(-p_Rd(x))

c)由背景光与衰减系数成反比与散射系数成正比的关系,根据红色通道的透射率,结合三通道的背景光，得到绿色通道和蓝色通道的衰减系数的比值表达式。利用方法如下：

d)根据Lamber-Beer经验法，得到绿色通道和蓝色通道的透射率。利用方法如下：

所述模拟水下图像

a)得到各项参数后，根据水下光学成像模型，结合清晰的大气图像J(x)，进行水下图像I(x)的仿真模拟。利用方法如下：

I_λ(x)＝t_λ(x)J(x)+(1-t_λ(x))B_λ,λ∈{R,G,B}

b)在有需要的情况下可以添加不同的噪声，增加模拟水下图像的真实性。

所述水下图像的光学成像模型为：

根据Jaff-McGlamery模型,水下照相机接受到的光可表示为总辐射照度E_t,而E_t是由直接光E_d、前向散射光E_f、后向散射光E_b这三部分线性叠加而来。模型描述如下：

E_t＝E_d+E_f+E_b

直接光是指直接被物体反射进入摄像机的光线。前向散射光是由物体的反射光通过小角度散射后形成的，会导致图像模糊。而后向散射光是指周围环境光照被水中物体如浮游生物、悬浮颗粒散射后进入到摄像机的光。

在计算机视觉和计算机图像领域，在Jaff-McGlamery模型的基础上，水下光学模型可以描述为：

I_λ(x)＝t_λ(x)J_λ(x)+(1-t_λ(x))B_λ,λ∈{R,G,B}

其中，x表示一个像素，I_λ(x)为水下模拟图像，J_λ(x)表示清晰的大气图像，B_λ是全局背景光，是表示到达相机的场景辐射百分比的介质传输图。当照明均匀时，透射率t_λ(x)的描述如下：

t_λ(x)＝exp(-p_λd(x)),λ∈{R,G,B}

p_λ是包含吸收和散射效应的衰减系数。

基于暗通道先验的水下图像复原

暗通道先验技术

何凯明等人针对室外无雾图像提出了暗通道先验技术根据大气成像模型，在大多数非天空区域的图像局部域中，某些像素总会在至少一个彩色通道具有非常低的强度值，甚至趋近于0，即:

其中J_λ表示图像J的R、G、B 3通道中的一个通道，Ω(x)表示以x为中心的局部区域，J_D表示图像J的暗通道。暗通道通常存在于阴影、黑色以及颜色鲜艳的物体中。

基于暗通道先验的水下图像复原

对比雾中光学成像模型和水下的光学成像模型可以发现：两种模型表达形式一样，只是每个参数表达的含义不同。由于水下与大气光的衰减方式不同，不能将大气中的暗通道先验技术应用于水中。在水下，水对不同的波长的吸收率和散射率也大不相同，所以不同的颜色通道需要用不同的散射率，结合暗通道先验可得透射率：

估计的透射率t(x)，一般采用导向滤波进行优化。

背景光一般选取某个颜色通道的暗通道中强度最高的像素，求法如下：

综上所述，得到复原的水下图像求法如下：

全局背景光估计

背景光B_λ，通常被估计为图像中最亮的像素点的数值。但是，水下图像收到各种因素的影响，最亮处可能只是水下的一个光点，也可能是生物身上的一个斑点。若背景光B_λ取了最亮点，可能会出现误差，并可能影响随后的计算。为了准确地估计出全局背景光B_λ，我们首先要利用基于四叉树细分的分层搜索技术，并通过暗通道先验技术去除颗粒、有机物等影响，将水中光斑的干扰降到最低，之后再根据水中光学成像的特点确定全局背景光B_λ。

水中图像中像素变化通常比较小，即对比度低。基于四叉树细分的分层搜索技术可以较准确地找出最适合取值的区域。

首先将一副水下图像等分为四个矩形区域，然后分别用每个矩形区域内所有像素值的平均值减去它们的标准差得到一个结果值。最后选择其中结果最大的那个区域并将它进一步等分为四个更小的矩形区域，重复这一过程直到选择区域的大小比预定的阈值小。在得到最终的图像后运用暗通道先验技术，从暗通道映射中按照亮度大小取最亮的前0.1％的像素。根据水下光学成像的特点，蓝光在水下传播距离最长，在这些像素中，选择输入的水下图像中的红蓝差异最大的像素点作为全局背景光。保证了全局背景光估计算法的鲁棒性，提高了之后计算的准确性。

透射率图估计

根据水下成像特点，红色光与蓝色光、绿色光的传播距离不同。因此在求取水下透射率时，红色通道的中等透射率和蓝、绿色通道的中等透射率的求取方法不同。

透射率图将输入像素值I(x)映射到输出值J(x)。输入值被映射到全动态范围[0,255]中输出值。其中中等透射率图有一定的有效输入范围，当某些输入值不在这个有效输入范围，映射的输出不属于有效输出范围[0,255]，在这种情况下，欠流或者溢流会出现在某些像素值中，这些像素值被截断为0或者255，这样就会出现信息的缺失。

为了不产生任何信息丢失，在本地块θ中，满足如下约束：

假设中间传输映射在本地块θ中具有相同的像素值。

由此我们可得：

此外，根据Lamber-Beer经验法，透射率图t_λ(x)也可以表示为：t_λ(x)＝exp(-p_λd(x)),λ∈{R,G,B}

其中光在水下的衰减系数p_λ可以分解为吸收系数和散射系数的线性叠加。t_λ(x)只与衰减系数p_λ和物镜的距离d(x)有关。

因此，在求取透射率图t_λ(x)之前，我们还需要求物镜d(x)和衰减系数p_λ。由背景光与衰减系数成反比与散射系数成正比的关系,能得到不同颜色通道的衰减系数的比值表达式为:

b_Rsc,b_Gsc,b_Bsc分别是光在水下在R、G、B三通道的散射系数。

光在水下的散射系数和不同颜色光的波长有着一定的关联。表达式为：

b_λsc＝(-0.00113β_λ+1.62517)τ(β_λ),λ∈{R,G,B}

β_λ为参考光的波长的散射系数，为所求光的波长，单位为纳米。β_R、β_G和β_B在一般水中分别为620nm、540nm、450nm。

透射率图与总衰减系数具有指数相关性。因此，绿色和蓝色通道的介质传输图可以估计为：

其中和分别是绿红和蓝红总衰减系数。

得到各项参数后，我们即可根据水下光学成像模型开始模拟水下图像。

模拟水下图像

本申请利用了已知的水下图像，提取了所需要的各项参数，得到全局背景光和透射率图，根据水下光学成像模型将大气中的图像法模拟为水下图像，并在此基础上添加了噪声，提高真实度。

图2是基于四叉树细分的分层搜索技术。首先将一副水下图像等分为四个矩形区域.然后分别用每个矩形区域内所有像素值的平均值减去它们的标准差得到一个结果值。最后选择其中结果最大的那个区域并将它进一步等分为四个更小的矩形区域，重复这一过程直到选择区域的大小比预定的阈值小。

图3是输入的真实水下图像。W1海中生物微光场景，W2浑浊场景，W3深海场景；提取图中相应的参数，W1中的参数为：B_R＝0.12、B_G＝0.59、B_B＝0.78，t_R＝0.67、t_G＝0.97、t_B＝0.96。W2中的参数为：B_R＝0.49、B_G＝0.70、B_B＝0.77，t_R＝0.50、t_G＝0.79、t_B＝0.77。W3中的参数为：B_R＝0.12、B_G＝0.31、B_B＝0.56，t_R＝0.31、t_G＝0.42、t_B＝0.51。

图4是得到的参数与清晰的大气图像结合，模拟出水下图像。(a)中图像效果是根据水下图像W1中的参数并结合本申请得到的。(b)中图像效果是根据水下图像W2中的参数并结合本申请得到的。(c)中图像效果是根据水下图像W3中的参数并结合本申请得到的。

图5是通过本申请模拟得到的水下图像根据需求可以添加不同的噪声，进一步增加其真实度。(a)为原始图像。(b)为模拟水下图像。(c)在模拟水下图像的基础上，添加了参数为N(0.1，0.001)的高斯噪声。(d)在模拟水下图像的基础上，添加了参数为N＝0.004的斑点噪声。

图6是探究大气中的图像与水下图像的特征与直方图分部之间的关系。通过大量实验，如图6(a)我们得到原始清晰大气图像和水下图像平均的直方图分布，大气中图像的直方图分布基本均衡且一致；如图6(b)，我们得到原始、水下图像的每个颜色的通道的直方图分布并不一致，例如，蓝色通道的直方图集中在最亮的一侧，其次是绿色通道，最后是红色通道。如图6(c)展示的是用本申请将大气图像模拟为水下图像后得到的图像的直方图，通过对比发现，我们模拟出的水下图像的直方图分布更接近真实的水下图像的直方图分布特点。

图7是截取并展示通过本申请方法模拟水下图像建立的图库的一部分。体现了本申请的可靠性，模拟效果的真实性。

为了体现本申请可靠性，我们进行了一系列的实验来探究大气中的图像与水下图像的特征与直方图分部之间的关系。通过大量实验，我们得到大气图像和水下图像平均的直方图分布，大气中图像的直方图分布基本均衡且一致，而水下图像的每个颜色的通道的直方图分布并不一致，例如，蓝色通道的直方图集中在最亮的一侧，其次是绿色通道，最后是红色通道。通过本申请将大气图像模拟为水下图像得到的直方图，其结果更接近真实的水下图形的直方图分布特点。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种水下光学图像的模拟方法，其特征在于，包括以下步骤：

步骤1：获取原始大气图像；

步骤2：获取真实水下图像的各项参数；

所述各项参数包括：真实水下图像中的三通道的全局背景光、红色通道的透射率、蓝色通道的透射率、绿色通道的透射率；

步骤3：根据水下光学成像模型，结合从真实水下图像中得到的各项参数，将原始大气图像模拟为水下图像。

2.根据权利要求1所述的水下光学图像的模拟方法，其特征在于，还包括：

步骤4：在所述模拟水下图像中添加噪声，得到最终的模拟水下图像。

3.根据权利要求1所述的水下光学图像的模拟方法，其特征在于，所述三通道的全局背景光的获取方法包括：利用四叉树细分的分层搜索技术选取图中合适的区域，并利用暗通道计算出前百分之一亮的像素点，计算图像中的三通道的全局背景光。

4.根据权利要求1所述的水下光学图像的模拟方法，其特征在于，所述红色通道的透射率的获取方法包括：

利用信息损失最小、直方图分布优先的方法求出红色通道的透射率t_R，利用方法如下：

其中，I_R(x)表示为水下真实图像的红通道图,B_R表示红色通道的全局背景光。

5.根据权利要求4所述的水下光学图像的模拟方法，其特征在于，所述绿色通道的透射率根据下式得到；

其中，t_R(x)表示红色通道的透射率，p_G表示绿色通道的衰减系数，p_R表示红色通道的衰减系数；

蓝色通道的透射率根据下式得到；

其中，p_B表示蓝色通道的衰减系数。

6.根据权利要求1所述的水下光学图像的模拟方法，其特征在于，所述水下光学图像的成像模型为：

I_λ(x)＝t_λ(x)J(x)+(1-t_λ(x))B_λ,λ∈{R,G,B}

其中，x表示一个像素，I_λ(x)为水下模拟图像，t_λ(x)为透射率，B_λ为全局背景光；J(x)表示清晰的大气图像。