CN112488948B - 一种基于黑色像素点估计后向散射的水下图像复原方法 - Google Patents

Abstract

本发明提供一种基于黑色像素点估计后向散射的水下图像复原方法。本发明方法，包含以下步骤：首先，使用基于自监督的单目深度估计模型估计退化图像的相对深度。根据该相对深度，选择合适的深度上限和下限进行深度归一化操作，从而得到退化图像的绝对深度图。然后，将图像像素点按其深度等分成多个区间，在各区间中搜索退化图像的潜在黑色像素点。使用水下图像成像模型，将

看作常数，分通道拟合参数

以估计后向散射B_c。最后，引入自定义亮度值t调整图像整体亮度，实现水下图像复原。

Description

一种基于黑色像素点估计后向散射的水下图像复原方法

技术领域

本发明涉及图像处理技术领域，具体而言，尤其涉及一种基于黑色像素点估计后向散射的水下图像复原方法。

背景技术

由于水和悬浮颗粒物对光的吸收和散射作用，水下图像和视频普遍存在低对比度、低清晰度和低色度等问题。退化的水下图像和视频在视觉质量上很少能够达到预期效果，进一步影响水下场景感知、关键特征提取以及视觉理解的准确性。为了有效去除后向散射对水下图像质量的影响，水下图像增强方法和水下图像复原方法是常用的两种方法。

其中，水下图像增强方法主要使用滤波器、直方图均衡化等方法恢复图像颜色和饱和度。这类方法虽然可以有效改善图像的视觉效果，但是却没有考虑水下光学成像模型，忽略了退化程度与景深之间的关系。因此，无法恢复场景的真实色彩特征。水下图像复原方法主要通过水下成像模型来逆转水下图像的退化过程。该方法可以分为：基于硬件的水下图像复原方法和基于软件的水下图像复原方法。基于硬件的水下图像复原方法不需要考虑先验知识等问题，主要依靠硬件设备直接复原水下图像，或是尽可能准确地测量水下光学信息，并利用这些信息和成像模型复原水下图像。这些设备主要包括偏振器、激光器、深海水下相机、立体相机等。但大型硬件设备往往价格昂贵且难以操作。基于软件的水下图像复原方法常根据水下成像模型和先验知识复原水下图像。但基于先验的水下图像复原方法存在采用先验和目标场景不匹配的问题。这会导致严重的估计误差，出现复原结果失真等问题。基于深度学习的水下图像复原技术仍然也存在许多问题。一方面，基于深度学习的方法在经过训练后参数估计值固定，因此在处理复杂的水下环境时缺乏足够的灵活性。当新的水下图像类型与训练集的水下环境类型不同，训练后的模型可能无法输出满意的结果。另一方面，深度学习自身的局限性，如：需要大量的参数来学习复杂的映射函数以及能否找到合适的训练集等问题，也会限制深度学习方法在实际应用中的潜在价值。

发明内容

根据上述提出的技术问题，提供一种基于黑色像素点估计后向散射的水下图像复原方法。本发明主要使用细化后的深度图和黑色像素点，根据水下成像物理模型估计并去除后向散射，调整图像整体亮度以获得色彩鲜艳的水下图像。

本发明采用的技术手段如下：

一种基于黑色像素点估计后向散射的水下图像复原方法，其特征在于，包括以下步骤：

步骤S01：读入原始RGB图像，根据基于自监督的单目深度估计方法估算所述原始RGB图像的相对深度；

步骤S02：选择深度上下限进行深度归一化处理，获取所述原始RGB图像的绝对深度图；

步骤S03：将所述绝对深度图按深度值大小划分为多个深度区间，每个区间的深度上下限之差保持一致，将所述原始RGB图像的各像素点按对应的深度分别归类到不同的深度区间中；

步骤S04：在每个区间深度内，搜索潜在的黑色像素点，并在三个不同颜色通道下用其深度信息和RGB值，根据水下图像成像模型，分别拟合

J′_c,

的值，其中B_c ^∞表示大气光；

表示后向散射系数；J′_c表示未经退化的水下图像；

表示带宽系数，为关于距离z的函数；

步骤S05：通过所述水下图像成像模型和参数

J′_c,

值，估算并去除后向散射B_c；

步骤S06：通过自定义亮度值t调整图像整体亮度，获取复原后的水下图像。

进一步，所述S02中的深度归一化公式为：

其中，a和b分别表示图像相对深度范围内的最小值和最大值，c和d分别表示图像绝对深度范围内的最小值和最大值。x表示相对深度图，y表示经过映射后的绝对深度图。

进一步地，所述步骤S04中的水下图像成像模型为：

I_c＝D_c+B_c

其中，c∈{R,G,B}表示红绿蓝三种颜色通道；I_c表示相机捕获的真实图像；D_c表示直接反射光，即水下场景的直接反射光中未被散射的部分到达相机的光；B_c表示后向散射光，即大气光被水中微小悬浮物散射后，进入拍摄装置的光；D_c,B_c进一步由以下公式表示：

其中，J_c表示未经退化的水下图像；z表示场景与相机间的距离；

表示带宽系数，为关于距离z的函数；

表示后向散射系数；B_c ^∞表示大气光。由此，可以得到拍摄图像和未经退化的水下图像之间的关系：

其中，

和

的表达式如下所示：

其中，λ₁,λ₂表示对可见光波长的限制；S_c表示相机成像系统的光谱响应，ρ表示场景反射率，β表示水体的光束衰减系数，三者均依赖于光的波长λ；E(d,λ)表示照明光的在水深d处，波长为λ的光的光谱；

其中，B^∞表示环境光。

当未退化的图像中包含纯黑像素点时，即该处：ρ_c→0或E→0，此时，后向散射分量与捕获图像存在如下关系：

因此，采用如下物理模型，使用所得纯黑像素点对

J′_c,

进行拟合。

此处暂时忽略

对z的依赖关系。将拟合后的参数带入所述物理模型，根据深度值z，得到整幅图像的后向散射值

进一步地，所述步骤S05中的水下图像成像模型为：

其中，a,b,c,d分别表示对

J′_c,

拟合后的参数值。对I_c分通道去除后向散射的公式如下：

其中，D′_c表示退化图像去散射后的结果。

进一步地，所述步骤S06中自定义亮度t调整图像整体亮度的公式如下：

其中，t表示亮度系数，范围在0～1之间，J′表示调整亮度后的复原图像。

较现有技术相比，本发明具有以下优点：

1、对于图像增强方法出现的颜色失真和传统基于DCP方法出现的透射率估计偏差大的问题，本发明从水下图像退化机制方面考虑，使用了新型水下物理成像模型估计后向散射，去散射效果明显，复原结果接近真实的未退化水下场景。

2、本发明仅需要获得图像的深度图，而不需要估计图像的透射率和背景光，相比于传统复原方法，本发明具有更低的复杂度。

基于上述理由本发明可在图像处理等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程示意图。

图2为本发明与其他水下图像复原方法在偏蓝场景中的对比效果图。其中，图2-1为水下采集图像原图(鱼)；图2-2 Drews et al.UDCP方法处理效果图；图2-3 Peng etal.GDCP方法处理效果图；图2-4Peng et al.IBLA方法处理效果图；图2-5为本发明方法处理效果图。

图3为本发明与其他水下图像方法的在浑浊水体中的对比效果图。其中，图3-1为水下采集图像原图(海龟)；图3-2 Drews et al.UDCP方法处理效果图；图3-3 Peng etal.GDCP方法处理效果图；图3-4 Peng et al.IBLA方法处理效果图；图3-5为本发明方法处理效果图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了验证本发明去散射的有效性，选取不同场景的水下图像作为测试集，同时与Drews et al.UDCP，Peng et al.GDCP，Peng et al.IBLA算法的实验结果从定性和定量两方面进行对比分析。具体步骤和原理如下：

如图1所示，本发明提供了一种基于黑色像素点估计后向散射的水下图像复原方法，包括以下步骤：

步骤S01：读入原始RGB图像，根据基于自监督的单目深度估计方法估算所述原始RGB图像的相对深度；

步骤S02：根据场景的实际深度选择选择合适的深度上下限作为优选的可以选择0～80米范围内，进行深度归一化处理，获取所述原始RGB图像的绝对深度图；其深度归一化公式为：

其中，a和b分别表示图像相对深度范围内的最小值和最大值，c和d分别表示图像绝对深度范围内的最小值和最大值。x表示相对深度图，y表示经过映射后的绝对深度图；

步骤S03：

将所述绝对深度图按按深度值大小划分多个深度区间，每个区间的深度上下限之差保持一致，将所述原始RGB图像的各像素点按对应的深度分别归类到不同的深度区间中；

步骤S04：

在每个区间深度内，搜索潜在的黑色像素点，并在三个不同颜色通道下用其深度信息和RGB值，根据水下图像成像模型，分别拟合

J′_c,

的值，其中B_c ^∞表示大气光；

表示后向散射系数；J′_c表示未经退化的水下图像；

表示带宽系数，为关于距离z的函数；

其水下水下图像成像模型为：

I_c＝D_c+B_c

其中，c∈{R,G,B}表示红绿蓝三种颜色通道；I_c是相机捕获的真实图像；D_c表示直接反射光，它表示水下场景的直接反射光中未被散射的部分到达相机的光；B_c表示后向散射光，它表示大气光被水中微小悬浮物散射后，进入拍摄装置的光；D_c,B_c可进一步由以下公式表示：

其中，J_c表示未经退化的水下图像；z表示场景与相机间的距离；

表示带宽系数，是关于距离z的函数；

表示后向散射系数；B_c ^∞表示大气光。由此，可以得到拍摄图像和未经退化的水下图像之间的关系：

其中，

和

的表达式如下所示：

其中，λ₁,λ₂表示对可见光波长的限制；S_c表示相机成像系统的光谱响应，ρ表示场景反射率，β表示水体的光束衰减系数，三者均依赖于光的波长λ；E(d,λ)表示照明光的在水深d处，波长为λ的光的光谱；

其中，B^∞是环境光。

当未退化的图像中包含纯黑像素点时，即该处：ρ_c→0或E→0，此时，后向散射分量与捕获图像存在如下关系：

因此，采用如下物理模型，使用所得纯黑像素点对

J′_c,

进行拟合。

此处暂时忽略

对z的依赖关系。将拟合后的参数带入该物理模型，根据深度值z，得到整幅图像的后向散射值

步骤S05：通过所述水下图像成像模型和参数

J′_c,

值，估算并去除后向散射B_c其水下图像成像模型为：

其中，a,b,c,d分别表示对

J′_c,

拟合后的参数值。对I_c分通道去除后向散射的公式如下：

其中，D′_c是退化图像去散射后的结果。

步骤S06：通过自定义亮度值t调整图像整体亮度，获取复原后的水下图像。自定义亮度t调整图像整体亮度的公式如下：

其中，t表示亮度系数，范围在0～1之间，J′表示调整亮度后的复原图像。

实施例

如图2所示，本发明提供与其他水下图像复原方法在偏蓝场景(鱼)中的对比效果图。通过对比可以看出，本发明方法处理后的效果图中，图像颜色更加鲜艳，且优于其他方法(Drews et al.UDCP，Peng et al.GDCP，Peng et al.IBLA)。因此本发明方法能够校正颜色和增强图像对比度，提升图像视觉效果。

如图3所示，本发明提供与其他算法在浑浊水体中(海龟)的实验效果对比图。通过与(Drews et al.UDCP，Peng et al.GDCP，Peng et al.IBLA)方法进行对比分析，本文处理后海龟的颜色复原效果明显优于其他方法，并且图像清晰度更高。因此本发明方法能够校正颜色和增强图像对比度，提升图像视觉效果。

本实施例为了验证本发明的鲁棒性，无参考图像质量评价指标UIQM和UCIQE进行对比分析，具体数据参见表1和表2。无参考图像质量评价指标越大，表明该方法生成图像的色度、饱和度以及对比度越好，越能获得良好的视觉效果。本发明方法处理后的图像的两个指标数据值优于其他方法。证明本发明方法可以有效提升图像的色彩以及对比度。

表1本发明算法和其他算法处理结果的无参考图像质量评价指标(UIQM)

Raw image	UDCP	GDCP	IBLA	Our
					0.3755	1.1729	0.6913	0.7937	1.2291
0.6224	0.6891	0.8895	1.1078	1.2551

表2本发明算法和其他算法处理结果的无参考图像质量评价指标(UCIQE)

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (5)

1.一种基于黑色像素点估计后向散射的水下图像复原方法，其特征在于，包括以下步骤：

步骤S01：读入原始RGB图像，根据基于自监督的单目深度估计方法估算所述原始RGB图像的相对深度；

步骤S02：选择深度上下限进行深度归一化处理，获取所述原始RGB图像的绝对深度图；

步骤S03：将所述绝对深度图按深度值大小划分为多个深度区间，每个区间的深度上下限之差保持一致，将所述原始RGB图像的各像素点按对应的深度分别归类到不同的深度区间中；

步骤S04：在每个区间深度内，搜索潜在的黑色像素点，并在三个不同颜色通道下用其深度信息和RGB值，根据水下图像成像模型，分别拟合

J′_c,

的值，其中B_c ^∞表示大气光；

表示后向散射系数；J′_c表示未经退化的水下图像；

表示带宽系数，为关于距离z的函数；

步骤S05：通过所述水下图像成像模型和参数

J′_c,

值，估算并去除后向散射B_c；

步骤S06：通过自定义亮度值t调整图像整体亮度，获取复原后的水下图像。

2.根据权利要求1所述的基于黑色像素点估计后向散射的水下图像复原方法，其特征在于，所述步骤S02中的深度归一化公式为：

其中，a和b分别表示图像相对深度范围内的最小值和最大值，c和d分别表示图像绝对深度范围内的最小值和最大值；x表示相对深度图，y表示经过映射后的绝对深度图。

3.根据权利要求1所述的基于黑色像素点估计后向散射的水下图像复原方法，其特征在于，所述步骤S04中的水下图像成像模型为：

I_c＝D_c+B_c；

其中，c∈{R,G,B}表示红绿蓝三种颜色通道；I_c表示相机捕获的真实图像；D_c表示直接反射光，即水下场景的直接反射光中未被散射的部分到达相机的光；B_c表示后向散射光，即大气光被水中微小悬浮物散射后，进入拍摄装置的光；D_c,B_c进一步由以下公式表示：

其中，J_c表示未经退化的水下图像；z表示场景与相机间的距离；

表示带宽系数，为关于距离z的函数；

表示后向散射系数；B_c ^∞表示大气光；由此，可以得到拍摄图像和未经退化的水下图像之间的关系：

其中，

和

的表达式如下所示：

其中，λ₁,λ₂表示对可见光波长的限制；S_c表示相机成像系统的光谱响应，ρ表示场景反射率，β表示水体的光束衰减系数，三者均依赖于光的波长λ；E(d,λ)表示在水深d处，波长为λ的光的光谱；

其中，B^∞表示环境光；

当未退化的图像中包含纯黑像素点时，即该处：ρ_c→0或E→0，此时，后向散射分量与捕获图像存在如下关系：

因此，采用如下物理模型，使用所得纯黑像素点对

J′_c,

进行拟合：

此处暂时忽略

对z的依赖关系，将拟合后的参数带入所述物理模型，根据深度值z，得到整幅图像的后向散射值

4.根据权利要求1所述的基于黑色像素点估计后向散射的水下图像复原方法，特征在于，所述步骤S05中的水下图像成像模型为：

其中，a,b,c,d分别表示对

J′_c,

拟合后的参数值；对I_c分通道去除后向散射的公式如下：

其中，D′_c表示退化图像去散射后的结果。

5.根据权利要求1所述的基于黑色像素点估计后向散射的水下图像复原方法，其特征在于，所述步骤S06中自定义亮度t调整图像整体亮度的公式如下：

其中，t表示亮度系数，范围在0～1之间，J′表示调整亮度后的复原图像。

Images