CN108921887B - 基于水下光线衰减先验性的水下场景深度地图估计方法 - Google Patents

Abstract

本发明涉及基于水下光线衰减先验性的水下场景深度地图估计方法，所述方法包括以下步骤：步骤S1、水下光线衰减先验性；步骤S2、数据集训练；步骤S3、线性模型的系数学习；步骤S4、场景深度地图估计。其优点表现在：本发明提出了基于水下光线衰减先验性的场景深度估计方法，主要是利用水下光线衰减先验性，并选择大量的训练集作为样本训练得到具有较强鲁棒性的水下场景深度估计模型，可以快速地、有效地得出正确的场景深度，并可以应用在水下图像复原过程中。

Description

基于水下光线衰减先验性的水下场景深度地图估计方法

技术领域

本发明涉及水下图像技术领域，具体地说，是一种基于水下光线衰减先验性的水下场景深度地图估计方法。

背景技术

水下考古、水下资源勘探、水下管道探索等水下活动面临着极大挑战，因此获得清晰的水下图像对于海洋探索起到关键作用。但是由于水下环境和其物理机制的影响，近些年水下图像处理逐渐受到人们的关注。在水下图像的成像过程，光线传播在水中受到水下环境的影响存在选择性吸收和色散等问题，造成水下图像模糊、偏色以及能见度低。水下图像的衰减主要由于光在水中传播时不同频率的通道呈现不同的指数衰减、水下环境导致水下图像引入较大噪声、人造光线的干扰导致图像部分质量降低等因素造成。基于图像成像模型(Image Formation Model)的水下图像复原方法中，正确的场景深度对于背景光(BL)和传输地图(TM)估计都起到关键作用，也就是说准确的场景深度估计是保证水下图象复原的重要环节。水下图像复原方法通常是基于水下成像物理模型，分析水下图像退化机理，估计成像模型参数并以反补偿等方式恢复出清晰自然的水下图像。近几年来水下图像清晰化技术已经取得了显著的效果，并且受到了广泛的应用。

基于物理模型的方法需要建立水下图像的成像模型，通过限制条件估算构建模型中参数，最后反演退化过程得到理想的水下图像，属于图像复原范畴。由于水下图像成像环境和户外大雾天气相似，因此何凯明提出的暗通道先验特性(DCP)被广泛地使用在水下图像复原。2010年，Chao等人直接使用DCP复原水下图像，该算法只能提高部分水下图像对比度但是大部分复原图像出现颜色失真。同年，Carlevaris-Bianco等人发现红色通道和蓝绿色通道在水下传播时存在明显差异的衰减率，提出最大像素先验性(Maximum IntensityPrior，MIP)，通过不同光线在水中传播的物理属性得出场景深度地图，并由此推理得到传输地图和背景光，简单地解决光照散射、对比度低的问题。2011年，Yang等人基于DCP探索出一个简单有效的复原方法，为了降低计算复杂度，使用最小滤波器和中值滤波器代替软抠图(Soft Matting)，该算法使用颜色纠正提高复原图像的对比度，但是低质量的复原结果限制输出图像的视觉效果。2012年，Chiang等人考虑水下光线在传播过程中受到光线的选择性衰减特性，使用波长弥补和图像去雾(WCID)方法获得跟正确的场景深度地图，可以有效地产生高质量的水下图像，还可以降低人造光源对复原过程的影响。但是，本方法的物理模型构建局限性大、模型参数估计的计算复杂度高，不适用于不同类型的水下图像复原。为了减少红色分量在图像复原时的影响，研究人员进一步提出基于蓝绿色通道的DCP也被称作UDCP)。2013年，Drews等人提出基于G-B通道的暗通道先验(UDCP)估计水下深度地图最终得到效果更好的输出结果。同年，Wen等人提出一种新的水下光学成像数学模型，基于UDCP推导出散射率和背景光，最后反演新的成像模型、输出复原图像。2015年，Galdran等人提出一种自动红色信道水下图像复原方法。该方法类似于UDCP，主要基于倒置的红色通道和蓝绿色通道的暗通道先验；合理地处理人造光源区域；复原图像颜色的真实性。2016年，Li等人基于UDCP对蓝绿色通道去雾、基于灰度世界假设理论纠正红色通道，提出自适应曝光地图调整过亮或者过暗的区域，解决水下图像对比度低、颜色偏差的问题。2017年，Peng等人研究发现图像中更模糊的目标表现更远的场景深度，提出了基于图像模糊和光线吸收(Image Blurriness and Light Absorption，IMLA)同时使用背景光选择性融合方法、考虑到光线和图像特性并基于三种深度地图估计方法的加权融合方法，得到的深度地图可以适用于不同类型的水下图像，具有较强的鲁棒性。

基于物理模型的场景深度估计方法不能满足实际环境的应用，都需要较长的处理时间，这一方面需要进行优化和提高。目前，基于DCP和UDCP的场景深度估计方法虽然可以估计少量场景的水下图像的场景深度，但是对于场景复杂的水下图像不能成功地估计出场景深度，由于DCP和UDCP都使用了局部块状搜索加大了计算复杂度，降低了运行效率。基于MIP的水下场景深度估计方法考虑到水下光线在传播中存在着选择性衰减特性提出简单的水下场景深度，但是这种先验性并没有得到充分的证明和验证，因此虽然这种方法可以优化场景深度估计的计算，但是不能够适用于不同类型的水下图像。基于IMLA的水下深度估计方法可以得出不同类型水下图像的场景深度，但是融合方法占用大量的计算，不能够应用在实际应用中。

综上所述，需要一种水下光线衰减先验性，得出水下场景深度估计的线性模型，可以简单有效地估计出场景深度地图，具有较低复杂度的水下场景深度地图估计方法，而关于这种方法目前还未见报道。

发明内容

本发明的目的是针对现有技术中的不足，提供一种水下光线衰减先验性，得出水下场景深度估计的线性模型，可以简单有效地估计出场景深度地图，具有较低复杂度的水下场景深度地图估计方法。

为实现上述目的，本发明采取的技术方案是：

步骤1：水下光线衰减先验性

由于关于水下场景估计过程中只有少量的信息，复原模糊的水下图像在计算机视觉领域中还是一个比较艰巨的难题。但是，在没有关于水下场景深度的辅助信息时，人们仍然可以快速简单地识别水下场景信息。当探索一个具有鲁棒性的背景光估计模型时，对应于原始图像中在深度地图中最远点经常被认为是场景候选点。考虑到水下光线衰减特性(在水中传播时，红色光线的能量比蓝绿色光线的能量要衰减快速)，因此选择红色通道和蓝绿色通道的最大差值用来估计水下背景光。这种准则激励通过做大量的不同水下图像，最终发现一种应用于水下场景深度估计的有效先验性。通过测试大量的水下图像，本发明提出水下光线衰减先验性，主要考虑到蓝绿色通道的最大值(the maximum value of G-Bintensity，MVGB)和红色通道强度(the value of R intensity，VR)的差值与水下场景深度的变化呈现强烈的正比。

步骤2：数据集训练

2010年，Chao等人直接使用DCP复原水下图像，该算法只能提高部分水下图像对比度但是大部分复原图像出现颜色失真。同年，Carlevaris-Bianco等人发现红色通道和蓝绿色通道在水下传播时存在明显差异的衰减率，提出最大像素先验性(Maximum IntensityPrior，MIP)，通过不同光线在水中传播的物理属性得出场景深度地图，并由此推理得到传输地图和背景光，简单地解决光照散射、对比度低的问题。2011年，Yang等人基于DCP探索出一个简单有效的复原方法，为了降低计算复杂度，使用最小滤波器和中值滤波器代替软抠图(Soft Matting)，该算法使用颜色纠正提高复原图像的对比度，但是低质量的复原结果限制输出图像的视觉效果。2012年，Chiang等人考虑水下光线在传播过程中受到光线的选择性衰减特性，使用波长弥补和图像去雾(WCID)方法获得跟正确的场景深度地图，可以有效地产生高质量的水下图像，还可以降低人造光源对复原过程的影响。但是，本方法的物理模型构建局限性大、模型参数估计的计算复杂度高，不适用于不同类型的水下图像复原。为了减少红色分量在图像复原时的影响，研究人员进一步提出基于蓝绿色通道的DCP也被称作UDCP)。2013年，Drews等人提出基于G-B通道的暗通道先验(UDCP)估计水下深度地图最终得到效果更好的输出结果。同年，Wen等人提出一种新的水下光学成像数学模型，基于UDCP推导出散射率和背景光，最后反演新的成像模型、输出复原图像。2015年，Galdran等人提出一种自动红色信道水下图像复原方法。该方法类似于UDCP，主要基于倒置的红色通道和蓝绿色通道的暗通道先验；合理地处理人造光源区域；复原图像颜色的真实性。2016年，Li等人基于UDCP对蓝绿色通道去雾、基于灰度世界假设理论纠正红色通道，提出自适应曝光地图调整过亮或者过暗的区域，解决水下图像对比度低、颜色偏差的问题。2017年，Peng等人研究发现图像中更模糊的目标表现更远的场景深度，提出了基于图像模糊和光线吸收(Image Blurriness and Light Absorption，IMLA)同时使用背景光选择性融合方法、考虑到光线和图像特性并基于三种深度地图估计方法的加权融合方法，得到的深度地图可以适用于不同类型的水下图像，具有较强的鲁棒性。本发明基于Peng提出的水下场景深度估计方法得出多种水下图像的场景深度地图，从所有估计的水下场景深度地图中人为地选择100张完全正确的水下场景深度地图，并使用引导滤波器(Guided Filter，GF)精细化水下场景深度地图，得出最终的训练数据集。

步骤3：线性模型的系数学习

基于已经估计的参考深度地图，通过分析MVGB与VR和MADPs的皮尔逊相关系数分析(Pearson Correlation Coefficient，PCC)发现本发明假设的两个参数和MADPs存在强关联的线性关系。为了训练深度地图估计模型，本发明将所有样本按照训练数据与测试数据按照7:3的比例分配并使用十层交叉验证法，最终建立MADPs和MVGB与VR的线性关系，并成功地训练出最好的学习结果。本发明训练的深度地图可以估计任何一个水下图像的深度地图。

步骤4：场景深度地图估计

本发明确定了深度地图估计的线性模型，并且收集大量不同类型的水下图像去估计多种水下图像的深度地图，发明直接使用本发明估计的线性模型得出的深度地图存在局部人工块状，因此本发明使用引导滤波器(Guided Filter，GF)精细化原始的深度地图，精细化深度地图可以更明显地突出水下图像的场景深度，得到正确的场景深度。为了进一步验证本发明提出的场景深度估计地图，将已估计的深度地图运用在RGB三通道的背景光(Background Light，BL)估计和传输地图(Transmission Map，TM)估计中，可以复原模糊的水下图像。本发明提出了基于水下光线衰减先验性的场景深度估计方法可以快速地、有效地得出正确的场景深度，并可以应用在水下图像复原过程中。为了验证场景深度地图估计方法的有效性，本发明从Google、Youtube和Flickr.com下载并截取超过1200张水下图像原图像，并将所有图像人为修改成400×600像素。为了保证数据集的多样性和代表性，本发明选取多种场景的水下图像，例如单个鱼、鱼群、珊瑚礁和潜水者等不同场景，不同衰减的水下图像，例如深海图像、低亮度水下图像、非常模糊的水下图像和蓝绿色偏光的水下图像，依据以上原则从这些图像中随机选取200张水下图像。将水下场景深度的线性估计模型应用在200张水下图像中可以得出对应的水下场景深度地图，从估计的场景深度地图中可以看出在较远的场景区域中深度地图呈现亮色，在较近的场景区域中深度地图显现浅色，这一现象进一步证明本方法的有效性。

本发明优点在于：

1、本发明的基于水下光线衰减先验性的水下场景深度地图估计方法，海洋资源丰富、海洋生态多种多样，复原水下场景深度对于海洋资源开发及其保护都起到关键作用。

2、本方法估计水下场景深度主要是利用水下光线衰减先验性，并选择大量的训练集作为样本训练得到具有较强鲁棒性的水下场景深度估计模型。

3、本发明不但具有较低的复杂度，而且可以正确地估计不同类型的水下图像的场景深度。同时将本发明估计的场景深度地图运用在基于图像成像模型的水下图像增强中可以有效地复原水下图像，研究表明复原后的水下图像不仅可以提高图像质量，而且能够应用于目标识别、目标分类中，有效提高图像分类、图像识别精度。

4、本发明对于水下物种探究、海洋工程、考古遗物等各类图像均有良好的增强效果，同时有助于水下对象(如鱼类、海藻)特征提取、对象识别和跟踪，以及水下导航定位等。由于本方法的简单性和有效性，可以直接将本方法实时地应用在水下图像复原，优化后代码可以直接嵌入相机中完成模糊图像的瞬时增强，具有较强的实际应用价值。

5、本发明提出了基于水下水下光线衰减先验性的场景深度估计方法可以快速地、有效地得出正确的场景深度，并可以应用在水下图像复原过程中。

6、本发明的提出可以运用在场景理解、3D建模和机器人学领域，增强后的图像可以提高水下资源探索、海洋生物多样性认知等领域应用。

附图说明

附图1是本发明的基于水下光线衰减先验性的水下场景深度地图估计方法的流程框图。

附图2是水下光线衰减先验性示意图。

附图3是单个水下图像训练数据集流程图。

附图4是单个水下图像训练数据集流程图。

附图5是场景深度估计流程图。

附图6是展示了不同水下场景的深度地图。

附图7展示了基于本发明估计的深度地图得出的水下图像复原实验效果图。

具体实施方式

下面结合附图对本发明提供的具体实施方式作详细说明。

请参照图1，图1是本发明的基于水下光线衰减先验性的水下场景深度地图估计方法的流程框图。本发明涉及水下图像的场景深度地图估计方法，主要通过发现水下图像存在水下光线衰减先验性这一特征建立水下场景深度地图估计的线性模型。正确的水下深度地图可以简化基于图像成像模型的水下图像复原中的两个重要复原参数，背景光估计(Background Light Estimation)和传输地图估计(Transmission Map Estimation)。基于暗通道先验性(Dark Channel Prior，DCP)的深度地图估计方法虽然可以得到部分水下图像深度地图信息，由于户外图像的暗通道先验性并不能直接用在水下图像的场景深度估计中，因此以上方法还很多情况下会失效。基于最大像素先验性(Maximum Intensity Prior，MIP)的深度地图估计方法虽然可以快速地得到深度地图，但是这种方法的鲁棒性很低，只能适用于少量的水下图像。基于图像模糊和光线衰减先验性(Image Blurriness andLight Absorption Prior，IBLAP)深度地图估计方法可以得到多种水下图像的正确背景光，但是以上方法消耗大量的时间，不能够用在实际应用中。考虑以上方法存在的优势和缺陷，本发明提出一种基于水下光线衰减先验性的场景深度估计模型。考虑到红色光线在水下场景中传播时的衰减率明显比蓝绿色光线要大，蓝绿色通道的最大值(the maximumvalue of G-B intensity，MVGB)和红色通道强度(the value of R intensity，VR)的差值(Difference，DF)与水下场景深度的变化呈现强烈的正比。因此，本发明首先基于图像模糊和光线衰减先验性的水下场景深度估计方法得到500张水下图像的深度地图，并且从所有深度地图中人为选取100幅完全正确的深度地图(Manually Annotated Depth Maps，MADPs)作为场景深度估计的训练集。通过分析MVGB与VR和MADPs的皮尔逊相关系数分析(Pearson Correlation Coefficient，PCC)发现本发明假设的两个参数和MADPs存在强关联的线性关系。为了训练深度地图估计模型，本发明将所有样本按照训练数据与测试数据按照7:3的比例分配并使用十层交叉验证法，最终建立MADPs和MVGB与VR的线性关系。本发明确定了深度地图估计的线性模型，并且收集大量不同类型的水下图像去估计多种水下图像的深度地图，发明直接使用本发明估计的线性模型得出的深度地图存在局部人工块状，因此本发明使用引导滤波器(Guided Filter，GF)精细化原始的深度地图，精细化深度地图可以更明显地突出水下图像的场景深度，得到正确的场景深度。为了进一步验证本发明提出的场景深度估计地图，将已估计的深度地图运用在RGB三通道的背景光(BackgroundLight，BL)估计和传输地图(Transmission Map，TM)估计中，可以复原模糊的水下图像。

图2展示了本发明提出的水下光线衰减先验性：由于关于水下场景估计过程中只有少量的信息，复原模糊的水下图像在计算机视觉领域中还是一个比较艰巨的难题。但是，在没有关于水下场景深度的辅助信息时，人们仍然可以快速简单地识别水下场景信息。当探索一个具有鲁棒性的背景光估计模型时，对应于原始图像中在深度地图中最远点经常被认为是场景候选点。考虑到水下光线衰减特性(在水中传播是，红色光线的能量比蓝绿色光线的能量要衰减快速)，因此选择红色通道和蓝绿色通道的最大差值用来估计水下背景光。这种准则激励通过做大量的不同水下图像，最终发现一种应用于水下场景深度估计的有效先验性。通过测试大量的水下图像，本发明提出水下光线衰减先验性，主要考虑到蓝绿色通道的最大值(the maximum value of G-B intensity，MVGB)和红色通道强度(the valueof R intensity，VR)的差值与水下场景深度的变化呈现强烈的正比。

如图2给出一个典型的水下场景的分布特性，随着不同深度场景的改变，MVGB,VR和DF也变化非常明显。如图2(a)中，本发明从测试图像中选择三个从较近场景到较深场景的块状，以及右边展示了对应的放大图像。在图2(b)的左边直方图中可以看出在较近的场景中，MVGB和VR相对平缓，并且DF也趋向于0；在图2(b)的中间直方图中随着场景深度的加剧，在相对居中的局域块中MVGB变大，同时VR随之减少，产生一个较高的差值；此外，在最远的场景中，由于严重的光线衰减，红色分量的能量所剩无几，MVGB显著增大，两者的差值DF彻底地高于其他区域。总的来说，当水下场景趋向于较远区域时，VR减少、MVGB增大，两者差值DF随着变大，进一步说明场景深度地图(Depth Map，DM)和VR与MVGB的差值呈现正相关性。

图3展示了基于Peng提出的场景深度地图估计方法：2017年，Peng等人研究发现图像中更模糊的目标表现更远的场景深度，提出了基于图像模糊和光线吸收(ImageBlurriness and Light Absorption，IMLA)同时使用背景光选择性融合方法、考虑到光线和图像特性并基于三种深度地图估计方法的加权融合方法，得到的深度地图可以适用于不同类型的水下图像，具有较强的鲁棒性。深度地图融合模型首先定义三个深度估计方法，然后基于光线和图像状况使用S型融合函数得出深度地图。

首先介绍水下图像的成像模型。在存在介质的水中，水下图像的形成可以认为是介质、光线和场景的复杂交互作用，也可以认为是直接照明(Direct illumination)、前景散射和背景散射的线性组合。由于前景散射对图像成像过程几乎没有影响但是背景散射是造成图像模糊的主要原因，这是简单的图像成像模型可以被简化成如下。

I^c(x)＝J^c(x)t^c(x)+B^c(1-t^c(x))，c∈{r，g，b}，(1)

其中x代表图像中的一个坐标(i，j)，在本发明中c都代表红绿蓝(RGB)通道，J^c(x)表示复原后的图像也就是原来场景光亮，B^c表示为均匀背景光，t^c(x)表示为J^c(x)经过衰减、散射和折射等过程到达相机的残余比例。

定义红色通道的局部最大值：

考虑到随着场景深度的加深，红色分量保留的越少，因此可以直接假设d_r作为第一个深度地图，公式如下：

d_r＝1-F_s(R(x)) (3)

其中F_s(x)是归一化拉伸函数：

中V代表需要拉伸的分量，max(V)和min(V)分别代表V分量中的最大和最小值。

考虑到红色光线的能量减去蓝绿色光线的最大值后的差值越大代表哪个点离照相机越近，因此第二个深度地图估计方法：

d_d＝1-F_s(D_mip)(5)

其中D_mip引用了最大像素先验性。

考虑到图像的模糊度可以代表图像深度信息，因此第三个深度地图估计方法：

d_b＝1-F_s(C_r(P_r)) (6)

其中P_r表示为图像粗糙的深度地图，通过以下两个步骤获得。

Peng等人发现在水下图像中离场景越远的目标对象表现出的模糊度越大，因此简单的模糊地图可以表示为：

其中G^k，σ表示为原始图像经过方差为σ²、空间核为k×k的高斯滤波器过滤后的输出图像，r_i＝2ⁱn+1并设定n＝4，然后将最大滤波器用在模糊地图中可以获得原始深度地图P_r：

其中Ω(x)表示以x为中心的z×z的局部块，然后使用CMR精细化原始深度地图，填补由于目标对象处的平滑造成的空洞，可以表示为C_r(P_r)。

最后将以上公式结合，基于光线衰减和图像模糊度的场景深度估计

d_n＝θ_b[θ_ad_d+(1-θ_a)d_r]+(1-θ_b)d_b (9)

其中θ_a＝S(avg_λ(B_λ)，0.5)和θ_b＝S(avg(I_r)，0.1)，其中S(a，v)是改进的S型函数，表示为：

S(a，v)＝[1+e^-s(a-v)]^-1 (10)

其中s＝32，，推理出场景深度地图d_n。为了消除初步估计的深度地图中存在的人造块状(Artificial Block)，本发明使用引导滤波器(Guided Filter，GF)精细化深度地图。

图4展示了100张完全正确的场景深度地图：本发明通过人为挑选100张完全正确的场景深度地图。经过人为挑选的深度地图中存在大量的人造块状，因此本发明将引导滤波器用于精细化原始场景深度地图，得到最终的参考深度地图(Reference Depth Maps，RDMs)。这些参考深度地图包含两千四百万个深度地图信息点。

线性模型的系数学习

基于已经估计的参考深度地图，通过分析MVGB与VR和MADPs的皮尔逊相关系数分析(Pearson Correlation Coefficient，PCC)发现本发明假设的两个参数和NADPs存在强关联的线性关系，其中MVGB与VR和NADPs的PCC值分别为0.41257和-0.67181(α≤0.001)。因此本发明定义一个MVGB与VR和MADPs的线性模型：

d(x)＝μ₀+μ₁m(x)+μ₂v(x) (11)

其中x代表一个像素值，d(x)是期望的水下场景深度地图，m(x)表示MVGB，v(x)表示VR。

为了训练深度地图估计模型中的常数系数μ₀和权重系数μ₁，μ₂，本发明将所有样本按照训练数据与测试数据按照7∶3的比例分配并使用十层交叉验证法，最终建立MADPs和MVGB与VR的线性关系，并成功地训练出最好的学习结果，μ₀＝0.53214829，μ₁＝0.51309827和μ₂＝-0.91066194。本发明得出本发明训练的深度地图可以估计任何一个水下图像的深度地图。

图5展示了场景深度估计流程图：本发明确定了深度地图估计的线性模型，并且收集大量不同类型的水下图像去估计多种水下图像的深度地图，发明直接使用本发明估计的线性模型得出的深度地图存在局部人工块状，因此本发明使用引导滤波器(GuidedFilter，GF)精细化原始的深度地图，精细化深度地图可以更明显地突出水下图像的场景深度，得到正确的场景深度。

图6展示了不同水下场景的深度地图：

为了验证场景深度地图估计方法的有效性，本发明从Google、Youtube和Flickr.com下载并截取超过1200张水下图像原图像，并将所有图像人为修改成400×600像素。为了保证数据集的多样性和代表性，本发明选取多种场景的水下图像，例如单个鱼、鱼群、珊瑚礁和潜水者等不同场景，不同衰减的水下图像，例如深海图像、低亮度水下图像、非常模糊的水下图像和蓝绿色偏光的水下图像，依据以上原则从这些图像中随机选取100张水下图像。将水下场景深度的线性估计模型应用在100张水下图像中可以得出对应的水下场景深度地图，从估计的场景深度地图中可以看出在较远的场景区域中深度地图呈现亮色，在较近的场景区域中深度地图显现浅色，这一现象进一步证明本方法的有效性。

图7展示了基于本发明估计的深度地图得出的水下图像复原结果：

为了进一步验证本发明提出的场景深度估计地图，将已估计的深度地图运用在RGB三通道的背景光(Background Light，BL)估计和传输地图(Transmission Map，TM)估计中，可以复原模糊的水下图像。本发明提出了基于水下光线衰减先验性的场景深度估计方法可以快速地、有效地得出正确的场景深度，并可以应用在水下图像复原过程中。

本发明的基于水下光线衰减先验性的水下场景深度地图估计方法，海洋资源丰富、海洋生态多种多样，复原水下场景深度对于海洋资源开发及其保护都起到关键作用。

本方法估计水下场景深度主要是利用水下光线衰减先验性，并选择大量的训练集作为样本训练得到具有较强鲁棒性的水下场景深度估计模型。本发明不但具有较低的复杂度，而且可以正确地估计不同类型的水下图像的场景深度。同时将本发明估计的场景深度地图运用在基于图像成像模型的水下图像增强中可以有效地复原水下图像，研究表明复原后的水下图像不仅可以提高图像质量，而且能够应用于目标识别、目标分类中，有效提高图像分类、图像识别精度。本发明对于水下物种探究、海洋工程、考古遗物等各类图像均有良好的增强效果，同时有助于水下对象(如鱼类、海藻)特征提取、对象识别和跟踪，以及水下导航定位等。由于本方法的简单性和有效性，可以直接将本方法实时地应用在水下图像复原，优化后代码可以直接嵌入相机中完成模糊图像的瞬时增强，具有较强的实际应用价值。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。

Claims (5)

1.基于水下光线衰减先验性的水下场景深度地图估计方法，所述方法包括以下步骤：

步骤S1、水下光线衰减先验性：利用红色光线在水下场景中传播时的衰减率明显比蓝绿色光线要大，获取蓝绿色通道的最大值和红色通道强度的差值与水下场景深度的变化呈现强烈的正比；

步骤S2、获取训练数据集：从所有估计的水下场景深度地图中人为地选择多张完全正确的水下场景深度地图，并使用引导滤波器精细化水下场景深度地图，得出最终的训练数据集；具体的，步骤S2中包括以下步骤：

步骤S21、简化水下图像的成型模型为：

I^c(x)＝J^c(x)t^c(x)+B^c(1-t^c(x))，c∈{r，g，b}

其中x代表图像中的一个坐标(i，j)，C代表红绿蓝(rgb)通道，J^c(x)表示复原后的图像也就是原来场景光亮，B^c表示为均匀背景光，t^c(x)表示为J^c(x)经过衰减、散射和折射过程到达相机的残余比例；

步骤S22、定义红色通道的局部最大值：

步骤S23、步骤S23中包括以下步骤：

步骤S231、R通道最大值深度估计：直接假设d_r作为第一个深度地图，公式为：d_r＝1-F_s(R(x))；

其中F_S(x)是归一化拉伸函数：

其中V代表需要拉伸的分量，max(V)和min(V)分别代表V分量中的最大和最小值；

步骤S232、R和GB通道差值深度估计：假设d_d作为第二个深度地图，公式为：

d_d＝1-F_s(D_mip)

其中D_mip引用了最大像素先验性；

步骤S233、场景模糊深度估计：假设d_b作为第三个深度地图，公式为：

d_b＝1-F_s(C_r(P_r))

其中P_r表示为原始深度地图，P_r由以下步骤获得：

步骤S2331、简单的模糊地图可以表示为：

其中G^k，σ表示为原始图像经过方差为σ²、空间核为k×k的高斯滤波器过滤后的输出图像，r_i＝2ⁱn+1并设定n＝4；

步骤S2332、将最大滤波器用在模糊地图中可以获得原始深度地图P_r：

其中Ω(x)表示以x为中心的z×z的局部块，然后使用CMR精细化原始深度地图，填补由于目标对象处的平滑造成的空洞，可以表示为C_r(P_r)；

步骤S24、基于光线衰减和图像模糊度的场景深度估计，具体如下：

d_n＝θ_b[θ_ad_d+(1-θ_a)d_r]+(1-θ_b)d_b

θ_a、θ_b通过对S(a，v)分别赋予不同的参数值获得，其中S(a，v)是改进的S型函数，表示为：

S(a，v)＝[1+e^-s(a-v)]^-1

其中，s＝32，推理出场景深度d_n；

步骤S3、线性模型的系数学习：将训练数据集按照训练数据与测试数据按照7∶3的比例分配并使用十层交叉验证法，最终建立完全正确的深度地图MADPs和绿色通道的最大值MVGB与红色通道强度VR的差值的线性关系，并成功地训练出最好的学习结果；

步骤S4、场景深度地图估计：确定深度地图估计的线性模型，并且收集大量不同类型的水下图像去估计多种水下图像的深度地图。

2.根据权利要求1所述的基于水下光线衰减先验性的水下场景深度地图估计方法，其特征在于，步骤S1中当水下场景趋向于较远区域时，红色通道强度VR减少、绿色通道的最大值MVGB增大，两者差值DF随着变大。

3.根据权利要求1所述的基于水下光线衰减先验性的水下场景深度地图估计方法，其特征在于，步骤S3中具体还包括以下步骤：

步骤S31、定义一个绿色通道的最大值MVGB与红色通道强度VR和完全正确的深度地图MADPs的线性模型：

d(x)＝μ₀+μ₁m(x)+μ₂v(x)

其中x代表一个像素值，d(x)是期望的水下场景深度地图，m(x)表示绿色通道的最大值MVGB，v(x)表示红色通道强度VR；

步骤S32、训练深度地图MADPs的线性模型中的常数系数μ₀和权重系数μ₁，μ₂，训练出最好的学习结果，μ₀＝0.53214829，μ₁＝0.51309827和μ₂＝-0.91066194。

4.根据权利要求1所述的基于水下光线衰减先验性的水下场景深度地图估计方法，其特征在于，步骤S4中使用引导滤波器精细化原始的深度地图，得到正确的场景深度。

5.根据权利要求1所述的基于水下光线衰减先验性的水下场景深度地图估计方法，其特征在于，所述的方法还包括：将已估计的深度地图运用在RGB三通道的背景光估计和传输地图估计中，复原模糊的水下图像。

Images