CN112488955B - 一种基于波长补偿的水下图像复原方法 - Google Patents

一种基于波长补偿的水下图像复原方法 Download PDF

Info

Publication number
CN112488955B
CN112488955B CN202011444570.1A CN202011444570A CN112488955B CN 112488955 B CN112488955 B CN 112488955B CN 202011444570 A CN202011444570 A CN 202011444570A CN 112488955 B CN112488955 B CN 112488955B
Authority
CN
China
Prior art keywords
image
underwater
jerlov
water
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011444570.1A
Other languages
English (en)
Other versions
CN112488955A (zh
Inventor
张维石
周景春
张得欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202011444570.1A priority Critical patent/CN112488955B/zh
Publication of CN112488955A publication Critical patent/CN112488955A/zh
Application granted granted Critical
Publication of CN112488955B publication Critical patent/CN112488955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于波长补偿的水下图像复原方法。本发明方法包括：对原图像进行基于九分位细分层次搜索估计大气光点。然后在不同的Jerlov水类型中使用Haze‑lines方法计算透射图，使用不同衰减系数补偿大气光，计算距离图和深度图，得到复原图。为进一步提高水下图像的对比度，使用对比度受限的自适应直方图对复原结果进行增强。然后根据基于灰度世界假设和信息熵的选取法则的确定最终输出图像。本发明利用九分位的方法获取大气光，有效地避免景物和光斑对估计大气光造成的影响，准确的估计大气光。使用不同的水的类型估计距离图和深度图，有效地解决水下图像退化问题，最后使用对比度受限的自适应直方图进行增强可以有效地增强图像的对比度和亮度。

Description

一种基于波长补偿的水下图像复原方法
技术领域
本发明涉及水下图像处理技术领域，具体而言，尤其涉及一种基于波长补偿的水下图像复原方法。
背景技术
由于水下环境的物理属性，水下图像处理仍然具有挑战性。在许多情况下，采集的水下图像受到吸收和散射作用而退化。在水下场景，相机获取的光主要包含三个部分，一是来自物体反射光的直接分量；二是目标的反射光到达相机镜头前遇到水中悬浮粒子发生小角度随机散射而引起的前向散射分量；三是光线在照射到水中物体时遇到水中的杂质就会发生散射直接被摄像机接收的后向散射分量。水下图像可以表示为上述三个分量的线性叠加。前向散射导致图像模糊，而后向散射掩盖了图像的细节。此外，悬浮颗粒带来不必要的噪声。退化的水下图像在信息显示和提取有价值的信息存在一定局限性，如海洋环境监测、海洋生态保护、考古学以及海洋资源勘探等。
发明内容
根据上述提出的技术问题，提供一种基于波长补偿的水下图像复原方法。本发明主要使用九分位层次搜索法求水下图像的大气光值，根据不同Jerlov水类型中的不同衰减系数求解水下图像的距离图、深度图，对水下图像进行复原，然后使用对比度受限的自适应直方图增强对比度，最后根据深度世界假设自动选择最佳结果。
本发明采用的技术手段如下：
一种基于波长补偿的水下图像复原方法(An Underwater Image RestorationMethod based on Wavelength Compensation)，其特征在于，包括以下步骤：
步骤S01：获取初始图像，对所述初始图像创建水下图像复原模型；
步骤S02：对所述初始图像进行九分位层次搜索，确定水下图像的大气光；
步骤S03：根据所述步骤S02中的大气光，在不同的Jerlov水类型中对初始图像中，通过Haze-Lines方法获取初始图像的透射图和距离图；
步骤S04：根据所述步骤S02中的大气光，在不同的Jerlov水类型进行大气光补偿，获取水面的光源强度；根据所述距离图和所述水面的光源强度，在不同的Jerlov水类型中，根据波长衰减系数获取深度图；
步骤S05：根据所述初始图像、所述大气光、所述距离图和所述深度图，在不同的Jerlov水类型根据波长衰减系数求解水下图像；
步骤S06：对所述水下图像进行对比度受限的自适应直方图增强，获取增强图像；
步骤S07：根据所述步骤S06中得到的不同类型的增强图像根据基于灰度世界假设和信息熵的选取法则选择最终增强图像。
进一步，所述步骤S01中的水下图像复原模型为：
Figure BDA0002823886590000021
其中，Ic表示初始图像，即所需复原的水下图像，Jc表示复原后的水下图像，c表示R，G，B三个颜色通道，x,y表示不同的像素位置，β表示衰减系数，d(x,y)表示在x,y位置的距离，此处的距离表示由相机到场景的距离，D(x,y)表示在x,y位置的像素点距离水面的深度，B表示水下图像的大气光。
进一步地，所述步骤S02中的九分位层次搜索方法的过程包括：
S21：将所述初始图像均匀的划分为九个区域，计算每个区域的得分，将每个区域的得分定义为该区域内像素值的标准差减去平均像素值；通过搜索得分最高的区域来选择候选区域；
S22：选取所述得分最高的区域进行暗通道，在所述暗通道中选取前1％亮的像素点作为候选大气光点；
S23：为避免图片中亮斑对大气光产生的影响，在所述候选大气光点中选取蓝通道与红通道差值和绿通道与红通道差值的总和最大的点作为大气光点。
进一步地，所述步骤S03中的获取透射图和距离图过程包括：
S31、根据海洋光学，针对不同的Jerlov水类型，通过相对应的衰减系数比值分别获取透射图和距离图；
S32、获取透射图；图像中所有的像素值应均大于0，根据图像的复原模型，则t的下限tLB为：
Figure BDA0002823886590000031
其中tLB表示透射图的下限值，I表示初始图像，B表示大气光，βBG＝βB/βG表示在某个Jerlov水类型中B通道的衰减系数与G通道衰减系数的比值；βBR＝βB/βR表示在Jerlov水类型中B通道的衰减系数与R通道衰减系数的比值；
通过Haze-Lines方法估算初始透射图
Figure BDA0002823886590000032
但在所述初始透射图/>
Figure BDA0002823886590000033
中经常会出现距离连续的透射图突兀的不连续，因此，使用所述初始透射图/>
Figure BDA0002823886590000034
进行软抠图，计算最终透射图为：
Figure BDA0002823886590000035
Figure BDA0002823886590000036
Figure BDA0002823886590000037
Figure BDA0002823886590000038
其中，
Figure BDA0002823886590000039
表示大气光像素马氏距离的平均值，/>
Figure BDA00028238865900000310
表示最大马氏距离，σM表示标准差，α(x)表示无法高概率归类为物体或水的像素的抠图系数；通过引导滤波对透射图进行调整，获取透射图；
S33、获取距离图；根据所述透射图和各通道的衰减系数获取距离图，公式如下：
d(x,y)＝-logtB(x,y)/β(B)；
其中tB表示最终透射图，β(B)表示Jerlov水类型中B通道的衰减系数；由于相机与场景的距离为一个正值，则使用下述公式求取最终距离图：
Figure BDA0002823886590000041
进一步地，所述步骤S04中的获取深度图的包括以下步骤：
S41、获取水面光源强度；为了更好的计算水面上的光源强度，通过Jerlov水类型中的波长衰减系数和大气光求解补偿后的大气光，即水面的光源强度，求解公式为：
Figure BDA0002823886590000042
其中，c表示R、G、B三个通道，B表示大气光，β(c)表示通道在Jerlov水类型中的衰减系数，dis表示大气光距离水面的距离，Eu表示初始光源强度；
在空气中，R、G、B三个通道的衰减系数相同，所以水面上的光源强度的R、G、B三个通道的值也相同；则确定光源强度的公式为：
ER＝max(EuR,EuG,EuB)；
EG＝max(EuR,EuG,EuB)；
EB＝max(EuR,EuG,EuB)；
E表示水面上的光源强度；
在水面上，通常大气光的值往往处于[240,255]之间，但应为RGB三通道在空气之中也存在一定的衰减，所以大气光在通常小于255；若上述求取的光源强度小于240，则直接按照240进行计算，公式为：
Figure BDA0002823886590000043
S42、获取深度图；通过最小化以下公式求解深度信息D：
Figure BDA0002823886590000044
为避免水下图像中景物对场景深度的影响，根据所述距离图，将水下图像按照以下公式划分为前景和后景两个部分：
Figure BDA0002823886590000045
其中，σ表示判断水下图像像素点(x,y)的阈值，foreground表示前景，background表示后景，d(x,y)表示物体与相机之间的距离，area-type(x,y)表示在(x,y)处的景深信息；
通过最小化获取图像底部的深度信息R：
Figure BDA0002823886590000051
其中，I表示初始图像的像素值；通过线性插值来微调图像点的深度，即顶部和底部背景点的深度；假设像素和上下背景像素位于扫描线上ax,y，b和c上，则通过线性插值逐点推导出像素的水下深度，公式为：
Figure BDA0002823886590000052
其中，D(x,y)表示像素的水下深度。
进一步地，所述步骤S05中的在不同的Jerlov水类型根据波长衰减系数求解清晰水下图像的公式如下：
Figure BDA0002823886590000053
Jc表示恢复的清晰图像，Ic表示初始图像，β(c)表示c通道的衰减系数，d表示图像中相机到场景的距离，D表示图像中距离水面的深度信息。
进一步地，所述步骤S06中的对比度受限的自适应直方图增强的公式为：
JEc＝clahe(Jc),c∈{R,G,B}；
其中Jc表示恢复后的水下图像，JEc表示增强后的清晰图像。
进一步地，基于灰度世界假设和信息熵的选取法则包括以下步骤：
步骤S71：根据灰度世界假设公式选取前4给作为候选候选Jerlov水类型，灰度世界假设公式为：
Figure BDA0002823886590000054
其中，type表示Jerlov水类型，
Figure BDA0002823886590000055
表示增强后清晰图像中属于前景信息的像素的R通道的平均值，按照上述公式的结果从小到大进行排序，选取灰度世界假设公式值从小到大的前4个作为候选Jerlov水类型；
步骤S72：在候选Jerlov水类型选取对比度较高的输出结果最为最终的输出结果，通过图像评价标准信息熵选取Jerlov水类型中信息最丰富的类型作为最终输出结果，信息熵的公式为：
Figure BDA0002823886590000061
其中，pi表示灰度值i像素占总像素比例，L表示图像的灰度级别，通常取256，En表示信息熵；
type＝argmaxEntype；
其中上标type表示此水类型的信息熵；
out＝JEtype；
根据上述基于灰度世界假设和信息熵的选取法则自动选择的水类型确定最后输出结果。
较现有技术相比，本发明具有以下优点：
1、为了解决水下中各个通道的衰减系数不同造成的图像偏色问题，和因图像退化造成的对比度低等问题。本发明首先使用Haze-Lines方法求解B通道中的透射率，然后在不同的Jerlov水类型根据波长衰减系数得到相机与场景的距离图，解决从场景点到达相机的衰减问题。同时根据背景光中存在的不同颜色通道的剩余能量估计图像场景中的水深，解决从水面到达场景点的光源衰减问题。然后对复原后的水下图像使用对比度受限的自适应直方图方法增强图像的对比度。为得到最好的输出结果，使用基于灰度世界假设和信息熵的选取法则确定最终输出结果图。
2、本发明同时考虑从水面到场景点的光源衰减和从场景点达到相机的退化，利用十个不同Jerlov水类型中的衰减系数进行估计，使用基于灰度世界假设和信息熵的选取法则确定最终输出结果图。
基于上述理由本发明可在图像处理等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图。
图2为本发明与其他算法针对潜水员图像的复原效果对比图。其中(a)表示复原前初始图像，(b)表示使用ULAP(A Rapid Scene Depth Estimation Model Based onUnderwater Light Attenuation Prior for Underwater Image Restoration)方法处理的结果图，(c)表示使用RGHS(Shallow-Water Image Enhancement Using RelativeGlobal Histogram Stretching Based on Adaptive Parameter Acquisition)方法处理的结果图，(d)表示使用UDCP(Transmission Estimation in Underwater Single Images)方法处理的结果图，(e)表示使用本发明处理的结果图。
图3为本发明与其他算法针对水下珊瑚图像的复原效果对比图。其中(a)表示复原前初始图像，(b)表示使用ULAP(A Rapid Scene Depth Estimation Model Based onUnderwater Light Attenuation Prior for Underwater Image Restoration)方法处理的结果图，(c)表示使用RGHS(Shallow-Water Image Enhancement Using RelativeGlobal Histogram Stretching Based on Adaptive Parameter Acquisition)方法处理的结果图，(d)表示使用UDCP(Transmission Estimation in Underwater Single Images)方法处理的结果图，(e)表示使用本发明处理的结果图。
图4为本发明与其他算法针对沉船图像的复原效果对比图。其中(a)表示复原前初始图像，(b)表示使用ULAP(A Rapid Scene Depth Estimation Model Based onUnderwater Light Attenuation Prior for Underwater Image Restoration)方法处理的结果图，(c)表示使用RGHS(Shallow-Water Image Enhancement Using RelativeGlobal Histogram Stretching Based on Adaptive Parameter Acquisition)方法处理的结果图，(d)表示使用UDCP(Transmission Estimation in Underwater Single Images)方法处理的结果图，(e)表示使用本发明处理的结果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了验证本发明对水下图像复原的有效性，选取不同场景的水下图像作为测试集，同时与ULAP(A Rapid Scene Depth Estimation Model Based on Underwater LightAttenuation Prior for Underwater Image Restoration)算法、RGHS(Shallow-WaterImage Enhancement Using Relative Global Histogram Stretching Based onAdaptive Parameter Acquisition)算法、UDCP(Transmission Estimation inUnderwater Single Images)算法的实验结果从定性和定量两方面进行对比分析。具体步骤和原理如下：
如图1所示，本发明提供了一种基于波长补偿的水下图像复原方法，，包括以下步骤：
步骤S01：获取初始图像，水下图像复原模型为：
Figure BDA0002823886590000081
其中，Ic表示初始图像，即所需复原的水下图像，Jc表示复原后的水下图像，c表示R，G，B三个颜色通道，x,y表示不同的像素位置，β表示衰减系数，d(x,y)表示在x,y位置的距离，此处的距离表示由相机到场景的距离，D(x,y)表示在x,y位置的像素点距离水面的深度，B表示水下图像的大气光。
步骤S02：对所述初始图像进行九分位层次搜索，确定水下图像的大气光；九分位层次搜索方法求解水下图像的大气光的过程包括：
步骤S21：将所述初始图像均匀的划分为九个区域，计算每个区域的得分，将每个区域的得分定义为该区域内像素值的标准差减去平均像素值；通过搜索得分最高的区域来选择候选区域；
步骤S22：选取所述得分最高的区域进行暗通道，在所述暗通道中选取前1％亮的像素点作为候选大气光点；
步骤S23：为避免图片中亮斑对大气光产生的影响，在所述候选大气光点中选取蓝通道与红通道差值和绿通道与红通道差值的总和最大的点作为大气光点。
步骤S03：在不同的Jerlov水类型中对初始图像中，通过Haze-Lines方法获取初始图像的透射图和距离图。对于不同Jerlov水类型中获取透射图和距离图过程包括：
步骤S31：根据海洋光学，针对不同的Jerlov水类型，通过相对应的衰减系数比值分别获取透射图和距离图；
步骤S32：获取透射图；图像中所有的像素值应均大于0，根据图像的复原模型，则t的下限tLB为：
Figure BDA0002823886590000091
其中tLB表示透射图的下限值，I表示初始图像，B表示大气光，βBG＝βB/βG表示在某个Jerlov水类型中B通道的衰减系数与G通道衰减系数的比值；βBR＝βB/βR表示在Jerlov水类型中B通道的衰减系数与R通道衰减系数的比值；
通过Haze-Lines方法估算初始透射图
Figure BDA0002823886590000092
但在所述初始透射图/>
Figure BDA0002823886590000093
中经常会出现距离连续的透射图突兀的不连续，因此，使用所述初始透射图/>
Figure BDA0002823886590000094
进行软抠图，计算最终透射图为：
Figure BDA0002823886590000095
Figure BDA0002823886590000096
Figure BDA0002823886590000097
Figure BDA0002823886590000098
其中，
Figure BDA0002823886590000101
表示大气光像素马氏距离的平均值，/>
Figure BDA0002823886590000102
表示最大马氏距离，σM表示标准差，α(x)表示无法高概率归类为物体或水的像素的抠图系数；通过引导滤波对透射图进行调整，获取透射图；
步骤S33：获取距离图；根据所述透射图和各通道的衰减系数获取距离图，公式如下：
d(x,y)＝-logtB(x,y)/β(B)；
其中tB表示最终透射图，β(B)表示Jerlov水类型中B通道的衰减系数；由于相机与场景的距离为一个正值，则使用下述公式获取最终距离图：
Figure BDA0002823886590000103
步骤S04：在不同的Jerlov水类型进行大气光补偿，获取水面的光源强度；根据所述距离图和所述水面的光源强度，在不同的Jerlov水类型中，根据波长衰减系数获取深度图；对于不同Jerlov水类型中获取深度图过程包括：
步骤S41：获取水面光源强度；为了更好的计算水面上的光源强度，通过Jerlov水类型中的波长衰减系数和大气光求解补偿后的大气光，即水面的光源强度，求解公式为：
Figure BDA0002823886590000104
其中，c表示R、G、B三个通道，B表示大气光，β(c)表示通道在Jerlov水类型中的衰减系数，dis表示大气光距离水面的距离，Eu表示初始光源强度；
在空气中，R、G、B三个通道的衰减系数相同，所以水面上的光源强度的R、G、B三个通道的值也相同；则确定光源强度的公式为：
ER＝max(EuR,EuG,EuB)；
EG＝max(EuR,EuG,EuB)；
EB＝max(EuR,EuG,EuB)；
E表示水面上的光源强度；
在水面上，通常大气光的值往往处于[240,255]之间，但应为RGB三通道在空气之中也存在一定的衰减，所以大气光在通常小于255；若上述获取的光源强度小于240，则直接按照240进行计算，公式为：
Figure BDA0002823886590000111
步骤S42：获取深度图；通过最小化以下公式求解深度信息D：
Figure BDA0002823886590000112
为避免水下图像中景物对场景深度的影响，根据所述距离图，将水下图像按照以下公式划分为前景和后景两个部分：
Figure BDA0002823886590000113
其中，σ表示判断水下图像像素点(x,y)的阈值，foreground表示前景，background表示后景，d(x,y)表示物体与相机之间的距离，area-type(x,y)表示在(x,y)处的景深信息；
通过最小化获取图像底部的深度信息R：
Figure BDA0002823886590000114
其中，I表示初始图像的像素值；通过线性插值来微调图像点的深度，即顶部和底部背景点的深度；假设像素和上下背景像素位于扫描线上ax,y，b和c上，则通过线性插值逐点推导出像素的水下深度，公式为：
Figure BDA0002823886590000115
其中，D(x,y)表示像素的水下深度。
步骤S05：根据所述初始图像、所述大气光、所述距离图和所述深度图，在不同的Jerlov水类型根据波长衰减系数求解水下图像；在不同的Jerlov水类型根据波长衰减系数求解清晰水下图像的公式如下：
Figure BDA0002823886590000116
Jc表示恢复的清晰图像，Ic表示初始图像，β(c)表示c通道的衰减系数，d表示图像中相机到场景的距离，D表示图像中距离水面的深度信息。
步骤S06：对所述水下图像进行对比度受限的自适应直方图增强，获取增强图像；对比度受限的自适应直方图增强的公式为：
JEc＝clahe(Jc),c∈{R,G,B}；
其中，Jc表示恢复后的水下图像，JEc表示增强后的清晰图像。
步骤S07：根据所述步骤S06中得到的不同类型的增强图像根据基于灰度世界假设和信息熵的选取法则选择最终增强图像。所述基于灰度世界假设和信息熵的选取法则包括以下步骤：
步骤S71：根据灰度世界假设公式选取前4给作为候选候选Jerlov水类型，灰度世界假设公式为：
Figure BDA0002823886590000121
其中，type表示Jerlov水类型，
Figure BDA0002823886590000122
表示增强后清晰图像中属于前景信息的像素的R通道的平均值，按照上述公式的结果从小到大进行排序，选取灰度世界假设公式值从小到大的前4个作为候选Jerlov水类型；
步骤S72：在候选Jerlov水类型选取对比度较高的输出结果最为最终的输出结果，通过图像评价标准信息熵选取Jerlov水类型中信息最丰富的类型作为最终输出结果，信息熵的公式为：
Figure BDA0002823886590000123
其中，pi表示灰度值i像素占总像素比例，L表示图像的灰度级别，通常取256，En表示信息熵；
type＝argmaxEntype；
其中上标type表示此水类型的信息熵；
out＝JEtype；
根据上述基于灰度世界假设和信息熵的选取法则自动选择的水类型确定最后输出结果。
实施例
如图2所示，本发明提供了与其他算法针对潜水员图像的复原效果对比图，从实验效果图可以看出，四种算法均一定程度上恢复了水下图像，提高了水下图像的对比度。但是UDCP算法的复原效果较差，相比于原图，UDCP算法的结果图的色彩偏置问题更严重，同时降低远景部分的对比度。RGHS算法和ULAP算法虽然有效提高了远景部分的对比度，但RGHS算法仍存在色彩残留问题，整体色调仍偏蓝色。ULAP算法出现红通道错误补偿现象，整体图像偏红色。本发明算法处理的水下图像相比于其他算法更好的解决了色彩偏色问题，提高了水下图像中远景部分和近景部分的对比度。因此本发明具有较好的复原效果，有效地的解决了水下图像偏色问题，提高全局对比度，实现了对比度增强和色彩恒常性。
如图3所示，本发明提供了与其他算法针对水下珊瑚图像的复原效果对比图，从实验效果图可以看出，四种算法均一定程度上恢复了水下图像，提高了水下图像的对比度。但是UDCP算法的复原效果较差，相比于原图，UDCP算法的结果图的色彩偏置问题更严重，同时降低远景部分的对比度。RGHS算法和ULAP算法虽然有效提高了远景部分的对比度，但RGHS算法远景部分仍存在色彩残留问题。ULAP算法出现错误恢复色彩的问题，整体图像偏黄色。本发明算法处理的水下图像相比于其他算法更好的解决了色彩偏色问题，提高了水下图像中远景部分和近景部分的对比度。因此本发明具有较好的复原效果，有效地的解决了水下图像偏色问题，提高全局对比度，实现了对比度增强和色彩恒常性。
如图4所示，本发明提供了与其他算法针对沉船图像的复原效果对比图，从实验效果图可以看出，四种算法均一定程度上恢复了水下图像，提高了水下图像的对比度。但是UDCP算法的复原效果较差，相比于原图，UDCP算法的结果图的色彩偏置问题更严重，同时降低远景部分的对比度。RGHS算法和ULAP算法虽然有效提高了远景部分的对比度，但仍然存在色彩偏置，整体图像偏绿色。本发明算法处理的水下图像相比于其他算法更好的解决了色彩偏色问题，提高了水下图像中远景部分和近景部分的对比度。因此本发明具有较好的复原效果，有效地的解决了水下图像偏色问题，提高全局对比度，实现了对比度增强和色彩恒常性。
本实施例从平均梯度和PCQI两种客观指标对不同算法的实验结果进行对比；从表1和表2数据可知，ULAP算法、RGHS算法、UDCP算法和本发明的平均梯度均大于原始图像；ULAP算法和本发明的PCQI均高于原图，但UDCP算法和RGHS算法存在PCQI小于原图的情况，这表明虽然UDCP算法和RGHS算法虽然有效提高了水下图像的细节信息，但是UDCP算法和RGHS算法的部分结果的对比度小于原图像。本发明使用波长补偿的方式分别补偿了从水面到场景和场景到相机距离中不同颜色的波长衰减，可以有效的复原图像色彩，增强水下图像的细节信息，同时使用对比度受限的自适应直方图方法提高水下图像的对比度。因此本发明对于原图像的平均梯度、和PCQI都有较大的提升，且优于其它水下图像复原算法。
表1本发明算法和其他算法处理结果的平均梯度对比
Figure BDA0002823886590000141
表2本发明算法和其他算法处理结果的PCQI对比
Figure BDA0002823886590000142
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (8)

1.一种基于波长补偿的水下图像复原方法，其特征在于，包括以下步骤：
步骤S01：获取初始图像，对所述初始图像创建水下图像复原模型；
步骤S02：对所述初始图像进行九分位层次搜索，确定水下图像的大气光；
步骤S03：根据所述步骤S02中的大气光，在不同的Jerlov水类型中对初始图像中，通过Haze-Lines方法获取初始图像的透射图和距离图；
步骤S04：根据所述步骤S02中的大气光，在不同的Jerlov水类型进行大气光补偿，获取水面的光源强度；根据所述距离图和所述水面的光源强度，在不同的Jerlov水类型中，根据波长衰减系数获取深度图；
步骤S05：根据所述初始图像、所述大气光、所述距离图和所述深度图，在不同的Jerlov水类型根据波长衰减系数求解水下图像；
步骤S06：对所述水下图像进行对比度受限的自适应直方图增强，获取增强图像；
步骤S07：根据所述步骤S06中得到的不同类型的增强图像根据基于灰度世界假设和信息熵的选取法则选择最终增强图像。
2.根据权利要求1所述的一种基于波长补偿的水下图像复原方法，其特征在于，所述步骤S01中的水下图像复原模型为：
Ic(x,y)＝Jc(x,y)·e-β(c)(d(x,y)+D(x,y))+(1-e-β(c)d(x,y))·Bc；
其中，Ic表示初始图像，即所需复原的水下图像，Jc表示复原后的水下图像，c表示R，G，B三个颜色通道，x,y表示不同的像素位置，β表示衰减系数，d(x,y)表示在x,y位置的距离，此处的距离表示由相机到场景的距离，D(x,y)表示在x,y位置的像素点距离水面的深度，B表示水下图像的大气光。
3.根据权利要求1所述的一种基于波长补偿的水下图像复原方法，其特征在于，所述九分位层次搜索方法包括以下步骤：
步骤S21：将所述初始图像均匀的划分为九个区域，计算每个区域的得分，将每个区域的得分定义为该区域内像素值的标准差减去平均像素值；通过搜索得分最高的区域来选择候选区域；
步骤S22：选取所述得分最高的区域进行暗通道，在所述暗通道中选取前1％亮的像素点作为候选大气光点；
步骤S23：为避免图片中亮斑对大气光产生的影响，在所述候选大气光点中选取蓝通道与红通道差值和绿通道与红通道差值的总和最大的点作为大气光点。
4.根据权利要求1所述的一种基于波长补偿的水下图像复原方法，其特征在于，所述获取透射图和距离图包括以下步骤：
步骤S31：根据海洋光学，针对不同的Jerlov水类型，通过相对应的衰减系数比值分别获取透射图和距离图；
步骤S32：获取透射图；图像中所有的像素值应均大于0，根据图像的复原模型，则t的下限tLB为：
Figure FDA0002823886580000021
其中tLB表示透射图的下限值，I表示初始图像，B表示大气光，βBG＝βB/βG表示在某个Jerlov水类型中B通道的衰减系数与G通道衰减系数的比值；βBR＝βB/βR表示在Jerlov水类型中B通道的衰减系数与R通道衰减系数的比值；
通过Haze-Lines方法估算初始透射图
Figure FDA0002823886580000022
但在所述初始透射图/>
Figure FDA0002823886580000023
中经常会出现距离连续的透射图突兀的不连续，因此，使用所述初始透射图/>
Figure FDA0002823886580000024
进行软抠图，计算最终透射图为：
Figure FDA0002823886580000025
Figure FDA0002823886580000026
Figure FDA0002823886580000027
Figure FDA0002823886580000028
其中，
Figure FDA0002823886580000029
表示大气光像素马氏距离的平均值，/>
Figure FDA00028238865800000210
表示最大马氏距离，σM表示标准差，α(x)表示无法高概率归类为物体或水的像素的抠图系数；通过引导滤波对透射图进行调整，获取透射图；
步骤S33、获取距离图；根据所述透射图和各通道的衰减系数获取距离图，公式如下：
d(x,y)＝-log tB(x,y)/β(B)；
其中tB表示最终透射图，β(B)表示Jerlov水类型中B通道的衰减系数；由于相机与场景的距离为一个正值，则使用下述公式获取最终距离图：
Figure FDA0002823886580000031
5.根据权利要求1所述的一种基于波长补偿的水下图像复原方法，其特征在于，所述步骤S04中的获取深度图的包括以下步骤：
步骤S41：获取水面光源强度；为了更好的计算水面上的光源强度，通过Jerlov水类型中的波长衰减系数和大气光求解补偿后的大气光，即水面的光源强度，求解公式为：
Figure FDA0002823886580000032
其中，c表示R、G、B三个通道，B表示大气光，β(c)表示通道在Jerlov水类型中的衰减系数，dis表示大气光距离水面的距离，Eu表示初始光源强度；
在空气中，R、G、B三个通道的衰减系数相同，所以水面上的光源强度的R、G、B三个通道的值也相同；则确定光源强度的公式为：
ER＝max(EuR,EuG,EuB)；
EG＝max(EuR,EuG,EuB)；
EB＝max(EuR,EuG,EuB)；
E表示水面上的光源强度；
在水面上，通常大气光的值往往处于[240,255]之间，但应为RGB三通道在空气之中也存在一定的衰减，所以大气光在通常小于255；若上述获取的光源强度小于240，则直接按照240进行计算，公式为：
Figure FDA0002823886580000033
步骤S42：获取深度图；通过最小化以下公式求解深度信息D：
Figure FDA0002823886580000034
为避免水下图像中景物对场景深度的影响，根据所述距离图，将水下图像按照以下公式划分为前景和后景两个部分：
Figure FDA0002823886580000041
其中，σ表示判断水下图像像素点(x,y)的阈值，foreground表示前景，background表示后景，d(x,y)表示物体与相机之间的距离，area-type(x,y)表示在(x,y)处的景深信息；
通过最小化获取图像底部的深度信息R：
Figure FDA0002823886580000042
其中，I表示初始图像的像素值；通过线性插值来微调图像点的深度，即顶部和底部背景点的深度；假设像素和上下背景像素位于扫描线上ax,y，b和c上，则通过线性插值逐点推导出像素的水下深度，公式为：
Figure FDA0002823886580000043
其中，D(x,y)表示像素的水下深度。
6.根据权利要求1所述的一种基于波长补偿的水下图像复原方法，其特征在于，所述步骤S05中的在不同的Jerlov水类型根据波长衰减系数求解清晰水下图像的公式如下：
Figure FDA0002823886580000044
Jc表示恢复的清晰图像，Ic表示初始图像，β(c)表示c通道的衰减系数，d表示图像中相机到场景的距离，D表示图像中距离水面的深度信息。
7.根据权利要求1所述的一种基于波长补偿的水下图像复原方法，其特征在于，所述对比度受限的自适应直方图增强的公式为：
JEc＝clahe(Jc),c∈{R,G,B}；
其中，Jc表示恢复后的水下图像，JEc表示增强后的清晰图像。
8.根据权利要求1所述的一种基于波长补偿的水下图像复原方法，其特征在于，所述基于灰度世界假设和信息熵的选取法则包括以下步骤：
步骤S71：根据灰度世界假设公式选取前4给作为候选候选Jerlov水类型，灰度世界假设公式为：
Figure FDA0002823886580000051
其中，type表示Jerlov水类型，
Figure FDA0002823886580000052
表示增强后清晰图像中属于前景信息的像素的R通道的平均值，按照上述公式的结果从小到大进行排序，选取灰度世界假设公式值从小到大的前4个作为候选Jerlov水类型；
步骤S72：在候选Jerlov水类型选取对比度较高的输出结果最为最终的输出结果，通过图像评价标准信息熵选取Jerlov水类型中信息最丰富的类型作为最终输出结果，信息熵的公式为：
Figure FDA0002823886580000053
其中，pi表示灰度值i像素占总像素比例，L表示图像的灰度级别，通常取256，En表示信息熵；
type＝arg max Entype；
其中上标type表示此水类型的信息熵；
out＝JEtype；
根据基于灰度世界假设和信息熵的选取法则自动选择的水类型确定最后输出结果。
CN202011444570.1A 2020-12-08 2020-12-08 一种基于波长补偿的水下图像复原方法 Active CN112488955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011444570.1A CN112488955B (zh) 2020-12-08 2020-12-08 一种基于波长补偿的水下图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011444570.1A CN112488955B (zh) 2020-12-08 2020-12-08 一种基于波长补偿的水下图像复原方法

Publications (2)

Publication Number Publication Date
CN112488955A CN112488955A (zh) 2021-03-12
CN112488955B true CN112488955B (zh) 2023-07-14

Family

ID=74941695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011444570.1A Active CN112488955B (zh) 2020-12-08 2020-12-08 一种基于波长补偿的水下图像复原方法

Country Status (1)

Country Link
CN (1) CN112488955B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012279B (zh) * 2021-03-18 2022-02-11 上海交通大学 一种非接触三维成像测量方法、系统及计算机可读存储介质
CN113160386A (zh) * 2021-04-07 2021-07-23 鹏城实验室 图像获得方法、装置、设备以及计算机可读存储介质
CN113344802A (zh) * 2021-04-19 2021-09-03 大连海事大学 一种基于自适应的大气光融合的水下图像复原方法
CN113284060B (zh) * 2021-05-17 2024-04-05 大连海事大学 一种基于波长衰减识别的水下图像增强方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780368A (zh) * 2016-11-24 2017-05-31 天津大学 一种基于前景模型的水下图像增强方法
WO2017175231A1 (en) * 2016-04-07 2017-10-12 Carmel Haifa University Economic Corporation Ltd. Image dehazing and restoration
CN110689490A (zh) * 2019-09-09 2020-01-14 天津大学 一种基于纹理颜色特征和优化透射率的水下图像复原方法
WO2020234886A1 (en) * 2019-05-21 2020-11-26 Carmel Haifa University Economic Corporation Ltd. Physics-based recovery of lost colors in underwater and atmospheric images under wavelength dependent absorption and scattering

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175231A1 (en) * 2016-04-07 2017-10-12 Carmel Haifa University Economic Corporation Ltd. Image dehazing and restoration
CN106780368A (zh) * 2016-11-24 2017-05-31 天津大学 一种基于前景模型的水下图像增强方法
WO2020234886A1 (en) * 2019-05-21 2020-11-26 Carmel Haifa University Economic Corporation Ltd. Physics-based recovery of lost colors in underwater and atmospheric images under wavelength dependent absorption and scattering
CN110689490A (zh) * 2019-09-09 2020-01-14 天津大学 一种基于纹理颜色特征和优化透射率的水下图像复原方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于色彩衰减补偿和Retinex的水下图像增强;杨福豪;史启超;蓝方鸣;彭宗举;;宁波大学学报(理工版)(第01期);全文 *

Also Published As

Publication number Publication date
CN112488955A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112488955B (zh) 一种基于波长补偿的水下图像复原方法
Wang et al. Single underwater image restoration using adaptive attenuation-curve prior
CN107705258B (zh) 一种三基色联合预均衡和去模糊的水下图像增强方法
CN109272475B (zh) 一种快速有效修复与强化水下图像颜色的方法
CN111476744B (zh) 一种基于分类及大气成像模型的水下图像增强方法
Li et al. Underwater image enhancement based on dehazing and color correction
CN107330863B (zh) 一种基于噪声估计的图像去噪方法
Chen et al. Underwater image enhancement based on color balance and multi-scale fusion
CN111091501A (zh) 一种大气散射去雾模型的参数估计方法
Sudhakara et al. An edge detection mechanism using L* A* B color-based contrast enhancement for underwater images
CN116777760A (zh) 一种基于自适应暗像素和颜色校正的水下图像复原方法
CN107248146B (zh) 一种uuv近海面可见光图像去雾方法
Han et al. A fast dark channel prior-based depth map approximation method for dehazing single images
Sivaanpu et al. Scene-Specific Dark Channel Prior for Single Image Fog Removal
CN113538543B (zh) 一种基于纹理分布和光吸收的水下图像复原方法
Zhang et al. Coordinated Underwater Dark Channel Prior for Alleviating Halos and Patch Artifacts of Challenging Image Enhancement
Powar et al. A review: Underwater image enhancement using dark channel prior with gamma correction
Tran et al. Single Image Dehazing via Regional Saturation-Value Translation
Ancuti et al. Single image restoration of outdoor scenes
Zhang et al. Efficient single image dehazing via scene-adaptive segmentation and improved dark channel model
Parihar et al. Prior based single image dehazing using decision image
Zhu et al. Mean shift-based single image dehazing with re-refined transmission map
Vyas et al. Design and Modelling of Underwater Image Enhancement using Improved Computing Techniques
Qian et al. Fast image dehazing algorithm based on multiple filters
Xu Novel Image Dehazing Algorithm Using Scene Segmentation and Open Channel Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant