CN114119383B - 一种基于多特征融合的水下图像复原方法 - Google Patents

Abstract

本发明提供一种基于多特征融合的水下图像复原方法。本发明方法内容包括：首先通过四叉树分解法求取特征显著的背景光候选区域，根据图像的特征对背景光值进行自适应的融合，确定最终背景光值。其次，对原始图像的波长进行补偿，求取其红色暗通道图作为红色暗通道深度图，求取亮度特征深度图和饱和度特征深度图，对上述三个特征深度图进行融合，获得最终深度图，进而获得透射率；最后根据背景光和透射率求解水下光学成像模型，获得最终的复原图像。本发明利用图像的多个特征，针对退化图像的特性进行自适应的融合，准确的背景光和透射率大幅提升水下图像的复原质量，解决了颜色失真问题，提升了清晰度。

Description

一种基于多特征融合的水下图像复原方法

技术领域

本发明涉及图像处理技术领域，具体而言，尤其涉及一种基于多特征融合的水下图像复原方法。

背景技术

海洋世界蕴含着大量的资源，基于对高质量水下图像的需求，它们的恢复和增强将有助于改进先进的海洋应用和服务。水下考古、海洋生物收集和水下监测等应用和服务在很大程度上依赖于高质量的水下图像。由于水下环境相对复杂，获取的图像通常表现为光线暗淡、噪声、颜色退化和细节丢失。目前水下图像清晰化技术大致分为3类：水下图像增强方法、水下图像复原方法和基于深度学习的方法。

水下图像增强方法通过直接调整像素值来改善视觉质量，虽然在一定程度上提升了图像质量，但是由于没有考虑图像退化的物理原因，不能彻底的消除散射的影响。复原方法考虑到水下图像的成像机制，建立了物理模型。深度学习的方法是通过训练大量数据学习其特征来实现复原。

目前，水下图像增强方法的恢复效果不显著，现有的复原方法的透射率和背景光估计的不准确，深度学习的方法需要大量的训练时间，且对数据的要求过高。

发明内容

根据上述提出的技术问题，提供一种基于多特征融合的水下图像复原方法。本发明主要根据图像的亮度、饱和度和色偏的统计特性，对背景光值进行自适应的融合，基于统计特性，获取退化图像的景深图，求出复原图像。

本发明采用的技术手段如下：

一种基于多特征融合的水下图像复原方法，包括以下步骤：

步骤S01：获取原始图像，对所述原始图像创建水下图像复原模型；

步骤S02：利用所述原始图像求取特征最显著的背景光候选区域：色偏特征最显著区域、饱和度特征最显著区域和亮度特征最显著区域，并获得候选区域对应的背景光值；

步骤S03：将步骤S02中的背景光候选区域通过所设计的背景光估计模型进行估计，确定水下图像的背景光值；

步骤S04：对所述原始图像的红通道进行补偿，获得其红色暗通道图；

步骤S05：获得所述原始图像的亮度特征图和饱和度特征图；

步骤S06：将步骤S04中的红色暗通道图和步骤S05中的亮度特征图和饱和度特征图进行融合，获得多特征的深度图；

步骤S07：根据步骤S03中的背景光值和步骤S06中的深度图，求解复原图像。

进一步地，步骤S01中的水下图像复原模型为：

I^c(x)＝J^c(x)·e^-β(c)d(x)+(1-e^-β(c)d(x))·B^c

其中，I^c表示原始图像，J^c表示复原后的水下图像，c表示R，G，B三个颜色通道；x表示像素位置；β表示衰减系数；d(x)表示在x位置的距离，此处的距离表示由相机到场景的距离；B^c表示水下图像的背景光值。

进一步地，步骤S02中求取特征最显著的背景光候选区域包括以下步骤：

步骤S21：获取所述原始图像的亮度图和饱和度图；

步骤S22：利用四叉树分解法通过亮度图获取亮度特征最显著区域，每个象限的得分定义为该象限的亮度值的均值；

该区域的背景光值B_L为亮度特征最显著区域所对应原始图像中像素的均值：

其中，Ω(v)表示亮度特征最显著区域，m*n表示该区域的大小，I^c表示原始图像，c表示R，G，B三个颜色通道，x表示像素位置；

步骤S23：利用四叉树分解法通过原始图像获取色偏特征最显著区域，色偏特征最显著区域的得分S₂(i)定义为：

S₂(i)＝∑_x∈Ω(i)(|I^r(x)-I^g(x)|+|I^r(x)-I^b(x)|)

其中，i∈{1,2,3,4}，Ω(i)表示第i个象限的得分，I^r、I^g、I^b分别表示原始图像对应的R、G、B三个颜色通道图，x表示像素位置；该区域所对应的背景光值B_H为：

其中，Ω(w)表示色偏特征最显著区域，m*n表示该区域的大小，I^c表示原始图像，c表示R，G，B三个颜色通道，x表示像素位置；

步骤S24：利用四叉树分解法通过饱和度图获取饱和度特征最显著区域，每个象限的得分定义为该象限的饱和度值的均值，该区域所对应的背景光值B_S为：

其中，Ω(u)表示饱和度特征最显著区域，表示该区域的大小，I^c表示原始图像，c表示R，G，B三个颜色通道，x表示像素位置。

进一步地，步骤S03中的背景光估计模型为：

B＝α*B_H+(1-α)*[(1-β)*B_S+β*B_L]

其中，B是背景光值，B_H是基于色偏的背景光值，B_S是基于饱和度估计的背景光值，B_L是基于亮度的背景光值；grI是原始图像的灰度图；δ_m＝0.5,δ_n＝0.1；s是一个经验常数，设为32。

进一步地，步骤S04中的红色暗通道图d₁(x)为：

其中，I^r、I^g、I^b分别表示原始图像对应的R、G、B三个颜色通道图，Ω(y)表示像素y所在的局部块，x表示y所在的局部块中的像素位置。

进一步地，步骤S06中对多幅特征图融合成最终深度图d(x)的步骤为：

d(x)＝(d₁(x)+d₂(x)+d₃(x))/3

其中，d₁(x)为红色暗通道图，d₂(x)为饱和度图，d₃(x)为亮度图。

进一步地，步骤S07中求解复原图像的公式如下：

t＝e^-pd(x)

其中，I^c表示原始图像，J^c表示复原后的水下图像，x表示像素位置，c表示R，G，B三个颜色通道；B^c是步骤S03求得的背景光值，d(x)是步骤S06计算的深度图，t^c(x)是透射图，p＝1/7，t₀取值为0.1。

较现有技术相比，本发明具有以下优点：

1、为了解决复原方法中对背景光估计不准确引起的颜色失真问题，本发明根据初始图像的多种特性，设计了一个背景光估计模型，采用四叉树分解法求取背景光值，可以准确的获取背景光值，使复原图像具有较好的视觉效果。

2、本发明通过融合了多个深度特征图，更加准确地估计出透射率，使图像的对比度和细节大幅提升。

基于上述理由本发明可在图像处理等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述复原方法的流程示意图。

图2为本发明所述复原方法与其他方法针对潜水员图像的复原效果对比图，其中(a)表示复原前初始图像，(b)表示使用IBLA方法处理的结果图，(c)表示使用GDCP方法处理的结果图，(d)表示使用ULAP方法处理的结果图，(e)表示使用本发明处理的结果图。

图3为本发明所述复原方法与其他方法针对鱼群图像的复原效果对比图，其中(a)表示复原前初始图像，(b)表示使用IBLA方法处理的结果图，(c)表示使用GDCP方法处理的结果图，(d)表示使用ULAP方法处理的结果图，(e)表示使用本发明处理的结果图。

图4为本发明所述复原方法与其他方法针对珊瑚图像的复原效果对比图，其中(a)表示复原前初始图像，(b)表示使用IBLA方法处理的结果图，(c)表示使用GDCP方法处理的结果图，(d)表示使用ULAP方法处理的结果图，(e)表示使用本发明处理的结果图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

如图1所示，本发明提供了一种基于多特征融合的水下图像复原方法，包括以下步骤：

步骤S01：获取原始图像，对所述原始图像创建水下图像复原模型：

I^c(x)＝J^c(x)·e^-β(c)d(x)+(1-e^-β(c)d(x))·B^c

其中，I^c表示原始图像，J^c表示复原后的水下图像，c表示R，G，B三个颜色通道；x表示像素位置；β表示衰减系数；d(x)表示在x位置的距离，此处的距离表示由相机到场景的距离；B^c表示水下图像的背景光值。

步骤S02：利用所述原始图像求取特征最显著的背景光候选区域：色偏特征最显著区域、饱和度特征最显著区域和亮度特征最显著区域，并获得候选区域对应的背景光值；

步骤S21：获取所述原始图像的亮度图和饱和度图；

步骤S22：利用四叉树分解法通过亮度图获取亮度特征最显著区域，即将亮度图分成四个象限，分别计算四个象限的得分，选取得分最高的区域继续进行迭代，直至满足预先设定的条件停止时，取得分最高的区域作为亮度特征最显著区域，每个象限的得分定义为该象限的亮度值的均值；

该区域的背景光值B_L为亮度特征最显著区域所对应原始图像中像素的均值：

其中，_Ω(v)表示亮度特征最显著区域，m*n表示该区域的大小，I^c表示原始图像，c表示R，G，B三个颜色通道，x表示像素位置；

步骤S23：利用四叉树分解法通过原始图像获取色偏特征最显著区域，即将原始图像分成四个象限，分别计算四个象限的得分，选取得分最高的区域继续进行迭代，直至满足预先设定的条件停止时，取得分最高的区域作为色偏特征最显著区域，色偏特征最显著区域的得分S₂(i)定义为：

S₂(i)＝∑_x∈Ω(i)(|I^r(x)-I^g(x)|+|I^r(x)-I^b(x)|)；

其中，i∈{1,2,3,4}，Ω(i)表示第i个象限的得分，I^r、I^g、I^b分别表示原始图像对应的R、G、B三个颜色通道图，x表示像素位置；该区域所对应的背景光值B_H为：

其中，Ω(w)表示色偏特征最显著区域，m*n表示该区域的大小，I^c表示原始图像，c表示R，G，B三个颜色通道，x表示像素位置；

步骤S24：利用四叉树分解法通过饱和度图获取饱和度特征最显著区域，即将饱和度图分成四个象限，分别计算四个象限的得分，选取得分最高的区域继续进行迭代，直至满足预先设定的条件停止时，取得分最高的区域作为饱和度特征最显著区域，每个象限的得分定义为该象限的饱和度值的均值，该区域所对应的背景光值B_S为：

其中，Ω(u)表示饱和度特征最显著区域，表示该区域的大小，I^c表示原始图像，c表示R，G，B三个颜色通道，x表示像素位置；

步骤S03：将步骤S02中的背景光候选区域通过所设计的背景光估计模型进行估计，确定水下图像的背景光值；

背景光估计模型为：

B＝α*B_H+(1-α)*[(1-β)*B_S+β*B_L]

其中，B是背景光值，B_H是基于色偏的背景光值，B_S是基于饱和度估计的背景光值，B_L是基于亮度的背景光值；grI是原始图像的灰度图；δ_m＝0.5,δ_n＝0.1；s是一个经验常数，设为32；

步骤S04：对所述原始图像的红通道进行补偿，获得其红色暗通道图d₁(x)：

其中，I^r、I^g、I^b分别表示原始图像对应的R、G、B三个颜色通道图，_Ω(_y)表示像素y所在的局部块，x表示y所在的局部块中的像素位置；

步骤S05：获得所述原始图像的亮度特征图和饱和度特征图；

步骤S06：将步骤S04中的红色暗通道图和步骤S05中的亮度特征图和饱和度特征图进行融合，获得多特征的深度图d(x)：

d(x)＝(d₁(x)+d₂(x)+d₃(x))/3；

其中，d₁(x)为红色暗通道图，d₂(x)为饱和度图，d₃(x)为亮度图；

步骤S07：根据步骤S03中的背景光值和步骤S06中的深度图，通过如下公式求解清晰地复原图像：

t＝e^-pd(x)；

其中，B^c是步骤S03求得的背景光值，d(x)是步骤S06计算的深度图，t^c(x)是透射图，p＝1/7；为了避免透射率过小而导致复原图过亮，加入t₀作为下限，t₀取值为0.1。

为了验证本发明去雾的有效性，选取不同场景的水下图像作为测试集，同时与IBLA(Underwater Image Restoration Based on Image Blurriness and LightAbsorption)方法、GDCP(Generalization of the Dark Channel Prior for SingleImage Restoration)方法、ULAP(A Rapid Scene Depth Estimation Model Based onUnderwater Light Attenuation Prior for Underwater Image Restoration)方法的实验结果从定性和定量两方面进行对比分析。

如图2所示，本发明与其他方法针对潜水员图像的复原效果对比图，可以看出，GDCP和ULAP方法不能消除色偏，复原图像质量不高，IBLA方法虽然能够去除色偏，但不能完全去除后向散射效应，且远景的细节回复较差，复原图像的清晰度不高，本发明方法处理的水下图像相比于其他方法更好的解决了色彩偏色问题，提高了水下图像中远景部分和近景部分的对比度。因此本发明具有较好的复原效果，有效地的解决了水下图像偏色问题，提高全局对比度和清晰度，实现了细节增强和色彩保真性。

如图3所示，本发明与其他方法针对珊瑚图像的复原效果对比图，可以看出，IBLA、GDCP和ULAP在一定程度上都提高了对比度，提升了图像的质量，但是IBLA和ULAP方法对前景细节恢复的效果不好，GDCP方法去雾过度，导致颜色失真，本发明方法处理的水下图像相比于其他方法更好的解决了细节恢复的问题，提高了水下图像中远景部分和近景部分的对比度。因此本发明具有较好的复原效果，有效地的解决了水下图像偏色问题，提高全局对比度和清晰度，实现了细节增强和色彩保真性。

如图4所示，本发明与其他方法针对鱼群图像的复原效果对比图，可以看出，IBLA方法没有去处后向散射的效应，整体的对比度不高，GDCP方法由于对比度过高导致珊瑚处产生伪影，ULAP方法引入了红色偏色，降低了图像的清晰度，本发明方法处理的水下图像相比于其他方法既能成功地除去色偏，又能够恢复图像的细节信息，图稿图像的清晰度，整体视觉效果更好。

本实施例从UCIQE和UIQM两种客观指标对不同方法的实验结果进行对比；从表1和表2数据可知，IBLA方法、GDCP方法、ULAP方法和本发明的UCIQE和UIQM均大于原始图像；虽然三种方法的UIQM均大于原始图像，但是结果的UCIQE提升并不大，这表明IBLA方法、GDCP方法、ULAP方法虽然能一定程度上改善图像的质量，但是总体的视觉效果提升不大。本发明基于多种特征求取背景光值，可以有效的解决色偏问题，透射率的准确估计使得对比度得到提升。因此本发明对于原图像的UCIQE和UIQM都有较大的提升，且优于其它水下图像复原方法。

表1本发明方法和其他方法处理结果的UCIQE对比

表2本发明方法和其他方法处理结果的UIQM对比

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (7)

1.一种基于多特征融合的水下图像复原方法，其特征在于，包括以下步骤：

步骤S01：获取原始图像，对所述原始图像创建水下图像复原模型；

步骤S02：利用所述原始图像求取特征最显著的背景光候选区域：色偏特征最显著区域、饱和度特征最显著区域和亮度特征最显著区域，并获得候选区域对应的背景光值；

步骤S03：将步骤S02中的背景光候选区域通过所设计的背景光估计模型进行估计，确定水下图像的背景光值；

步骤S04：对所述原始图像的红通道进行补偿，获得其红色暗通道图；

步骤S05：获得所述原始图像的亮度特征图和饱和度特征图；

步骤S06：将步骤S04中的红色暗通道图和步骤S05中的亮度特征图和饱和度特征图进行融合，获得多特征的深度图；

步骤S07：根据步骤S03中的背景光值和步骤S06中的深度图，求解复原图像。

2.根据权利要求1所述的基于多特征融合的水下图像复原方法，其特征在于，步骤S01中的水下图像复原模型为：

I^c(x)＝J^c(x)·e^-β(c)d(x)+(1-e^-β(c)d(x))·B^c

其中，I^c表示原始图像，J^c表示复原后的水下图像，c表示R，G，B三个颜色通道；x表示像素位置；β表示衰减系数；d(x)表示在x位置的距离，此处的距离表示由相机到场景的距离；B^c表示水下图像的背景光值。

3.根据权利要求1所述的基于多特征融合的水下图像复原方法，其特征在于，步骤S02中求取特征最显著的背景光候选区域包括以下步骤：

步骤S21：获取所述原始图像的亮度图和饱和度图；

步骤S22：利用四叉树分解法通过亮度图获取亮度特征最显著区域，每个象限的得分定义为该象限的亮度值的均值；

该区域的背景光值B_L为亮度特征最显著区域所对应原始图像中像素的均值：

其中，Ω(v)表示亮度特征最显著区域，m*n表示该区域的大小，I^c表示原始图像，c表示R，G，B三个颜色通道，x表示像素位置；

步骤S23：利用四叉树分解法通过原始图像获取色偏特征最显著区域，色偏特征最显著区域的得分S₂(i)定义为：

S₂(i)＝∑_x∈Ω(i)(|I^r(x)-I^g(x)|+|I^r(x)-I^b(x)|)

其中，i∈{1,2,3,4}，Ω(i)表示第i个象限的得分，I^r、I^g、I^b分别表示原始图像对应的R、G、B三个颜色通道图，x表示像素位置；该区域所对应的背景光值B_H为：

其中，Ω(w)表示色偏特征最显著区域，m*n表示该区域的大小，I^c表示原始图像，c表示R，G，B三个颜色通道，x表示像素位置；

步骤S24：利用四叉树分解法通过饱和度图获取饱和度特征最显著区域，每个象限的得分定义为该象限的饱和度值的均值，该区域所对应的背景光值B_S为：

其中，Ω(u)表示饱和度特征最显著区域，表示该区域的大小，I^c表示原始图像，c表示R，G，B三个颜色通道，x表示像素位置。

4.根据权利要求1所述的基于多特征融合的水下图像复原方法，其特征在于，步骤S03中的背景光估计模型为：

B＝α*B_H+(1-α)*[(1-β)*B_S+β*B_L]

其中，B是背景光值，B_H是基于色偏的背景光值，B_S是基于饱和度估计的背景光值，B_L是基于亮度的背景光值；grI是原始图像的灰度图；δ_m＝0.5,δ_n＝0.1；s是一个经验常数，设为32。

5.根据权利要求1所述的基于多特征融合的水下图像复原方法，其特征在于，步骤S04中的红色暗通道图d₁(x)为：

其中，I^r、I^g、I^b分别表示原始图像对应的R、G、B三个颜色通道图，Ω(y)表示像素y所在的局部块，x表示y所在的局部块中的像素位置。

6.根据权利要求1所述的基于多特征融合的水下图像复原方法，其特征在于，步骤S06中对多幅特征图融合成最终深度图d(x)的步骤为：

d(x)＝(d₁(x)+d₂(x)+d₃(x))/3

其中，d₁(x)为红色暗通道图，d₂(x)为饱和度图，d₃(x)为亮度图，x表示像素位置。

7.根据权利要求1所述的基于多特征融合的水下图像复原方法，其特征在于，步骤S07中求解复原图像的公式如下：

t＝e^-pd(x)

其中，I^c表示原始图像，J^c表示复原后的水下图像，x表示像素位置，c表示R，G，B三个颜色通道；B^c是步骤S03求得的背景光值，d(x)是步骤S06计算的深度图，t^c(x)是透射图，p＝1/7，t₀取值为0.1。