CN110930319B - 基于自适应透射率估计的水下图像清晰化方法 - Google Patents

基于自适应透射率估计的水下图像清晰化方法 Download PDF

Info

Publication number
CN110930319B
CN110930319B CN201911073287.XA CN201911073287A CN110930319B CN 110930319 B CN110930319 B CN 110930319B CN 201911073287 A CN201911073287 A CN 201911073287A CN 110930319 B CN110930319 B CN 110930319B
Authority
CN
China
Prior art keywords
underwater
image
channel
transmittance
red channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911073287.XA
Other languages
English (en)
Other versions
CN110930319A (zh
Inventor
杨爱萍
王前
何宇清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201911073287.XA priority Critical patent/CN110930319B/zh
Publication of CN110930319A publication Critical patent/CN110930319A/zh
Application granted granted Critical
Publication of CN110930319B publication Critical patent/CN110930319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的一种基于自适应透射率估计的水下图像清晰化方法,对于输入的水下图像,首先,针对颜色失真问题,对各通道分别进行颜色衰减补偿;其次,分别基于图像模糊度、水下红通道先验和水下最大红通道先验得到三种透射率估计;然后,自适应判别水下图像的特征,根据得到的三种透射率估计求得最终的透射率估计;最后,根据水下成像模型并利用估计得到的水下背景光和最终的透射率估计恢复出清晰的复原结果。本发明水下图像清晰化处理法可以有效地处理含有人工光源或浑浊度较高的水下图像,复原得到的结果颜色自然,细节清晰。

Description

基于自适应透射率估计的水下图像清晰化方法
技术领域
本发明属于计算机图像处理方法,尤其涉及一种水下图像清晰化处理方法。
背景技术
海洋能源是我国的一项重要战略资源,海洋资源的开发与保护是我国建成海洋强国的重要基础。近年来,水下图像在海洋能源勘探、海洋生态保护以及海洋军事等领域有着极为广泛的应用。但由于受水下场景中的有机物和悬浮颗粒等的影响,水对光能量具有强烈的吸收和散射作用,使得水下图像存在对比度低,颜色失真和细节丢失等问题。因此,水下图像清晰化问题在计算机视觉应用领域和数字图像处理领域亟待解决。
现有的水下图像清晰化方法可分为基于图像增强的方法、基于成像模型的复原方法和基于深度学习的方法。基于图像增强的方法主要包括基于Retinex理论的增强方法、空间滤波的方法以及图像融合的方法。基于成像模型的复原方法是通过估计模型参数来复原图像,主要包括基于暗通道先验理论的适用于水下图像复原的方法。基于深度学习的方法可以实现端到端的水下图像复原,但由于水下图像成像的特殊性,导致泛化能力不理想。以上方法大多没有考虑如何处理包含人工光源的水下图像,并且在对浑浊度较高的水下图像进行处理时,颜色失真现象严重。
[参考文献]
1.Y.-T.Peng,X.Zhao,and P.C.Cosman,“Single underwater imageenhancement using depth estimation based on blurriness,”in 2015IEEEInternational Conference on Image Processing(ICIP),4952–4956,IEEE(2015).
2.H.Wen,Y.Tian,T.Huang,et al.,“Single underwater image enhancementwith a new optical model,”in 2013IEEE International Symposium on Circuits andSystems(ISCAS2013),753–756,IEEE(2013).
3.A.Galdran,D.Pardo,A.Picon,′et al.,“Automatic red-channel underwaterimage restoration,”Journal of Visual Communication and Image Representation26,132–145(2015).
4.Y.-T.Peng and P.C.Cosman,“Underwater image restoration based onimage blurriness and light absorption,”IEEE transactions on image processing26(4),1579–1594(2017).
5.F.Li,J.Wu,Y.Wang,et al.,“A color cast detection algorithm of robustperformance,”in 2012 IEEE Fifth International Conference on AdvancedComputational Intelligence(ICACI),662–664,IEEE(2012).
发明内容
针对上述现有技术,本发明提出一种基于自适应透射率估计的水下图像清晰化方法,可以有效地处理含有人工光源或浑浊度较高的水下图像,复原得到的结果颜色自然,细节清晰。
为了解决上述技术问题,本发明提出的一种基于自适应透射率估计的水下图像清晰化方法,首先,对于输入的水下图像的各通道分别进行颜色衰减补偿;其次,分别基于图像模糊度、水下红通道先验和水下最大红通道先验得到三种透射率估计;然后,自适应判别水下图像的特征,根据得到的三种透射率估计求得最终的透射率估计;最后,根据水下成像模型并利用估计得到的水下背景光和最终的透射率估计恢复出清晰的复原结果。
具体步骤如下:
步骤1:输入的水下图像为Ic(x),对该水下图像为Ic(x)的各通道分别进行颜色衰减补偿,步骤包括:首先,由蓝绿通道均值判定水下图像Ic(x)的基调颜色,然后,基于该基调对应的颜色通道对其他两通道进行颜色补偿;
如图像的基调颜色为蓝色,则通过式(1)对红通道进行颜色衰减补偿:
Figure GDA0002946943760000021
其中,IRC(x)表示补偿后红通道中x处的强度值,IR(x)、IB(x)分别表示水下图像Ic(x)的红通道和蓝通道中x处的强度值,
Figure GDA0002946943760000022
表示水下图像Ic(x)的蓝通道和红通道的均值,α为常数;为了避免红通道过补偿现象,只对红通道较小强度像素进行补偿;
同理可对绿通道进行颜色补偿:
Figure GDA0002946943760000023
其中,IGC(x)表示补偿后绿通道中x处的强度值,IG(x)、IB(x)分别表示水下图像Ic(x)的绿通道和蓝通道中x处的强度值,
Figure GDA0002946943760000024
分别表示水下图像Ic(x)的蓝通道和红通道的均值,α为常数;
步骤2:经过颜色衰减补偿后的图像为Ic'(x);基于图像模糊度得到透射率
Figure GDA0002946943760000025
估计,利用图像Ic'(x)各像素点的强度值与其高斯滤波后的结果之差来估计该图像Ic'(x)的图像模糊度:
Figure GDA0002946943760000026
其中,Blur(x)表示图像Ic'(x)的x点处的模糊图,n为常数,Y(x)表示图像Ic'(x)中x点处的亮度值,Gk,σ表示核为k×k,方差为σ2的高斯滤波器,令k=σ=2in+1,n=4;
对得到的图像模糊度进行最大值滤波,得到透射率
Figure GDA0002946943760000027
Figure GDA0002946943760000031
步骤3:在式(5)所示的水下成像模型的基础上,并基于式(6)所示的水下红通道先验,通过式(7)与式(8)的计算,最终得到式(9)中得到透射率
Figure GDA0002946943760000032
估计;
Figure GDA0002946943760000033
式(5)中,
Figure GDA0002946943760000034
表示红、绿、蓝三通道,
Figure GDA0002946943760000035
表示水下图像Ic(x)对应的通道,
Figure GDA0002946943760000036
表示恢复后的水下图像即清晰图像对应的通道,
Figure GDA0002946943760000037
表示对应通道的透射率,
Figure GDA0002946943760000038
表示对应通道的散射率,即
Figure GDA0002946943760000039
Figure GDA00029469437600000310
对应通道的水下背景光强度;
Figure GDA00029469437600000311
式(6)中,JRCP(x)为恢复后的水下图像,Ω(x)以像素点x为中心的局部块,R,G,B分别表示图像的红通道、绿通道和蓝通道,J(y,R)、J(y,G)、J(y,B)分别表示图像的红通道图、绿通道图和蓝通道图;
结合式(5)成像模型得:
Figure GDA00029469437600000312
式(7)中,tβ(x)为透射率,tα(x)表示衰减率,即1-tβ(x);AR是红通道的水下背景光强度,AG是绿通道的水下背景光强度,AB是蓝通道的水下背景光强度;
对式(7)两边同时取最小化运算:
Figure GDA00029469437600000313
得到基于水下红通道先验的透射率
Figure GDA00029469437600000314
估计:
Figure GDA00029469437600000315
步骤4:基于水下最大红通道先验得到透射率
Figure GDA00029469437600000316
估计,对应距离相机越近的场景点的红通道强度值越大,则透射率
Figure GDA00029469437600000317
表示为:
Figure GDA0002946943760000041
步骤5:自适应判别水下图像的特征,求得最终红通道的透射率
Figure GDA0002946943760000042
估计:
Figure GDA0002946943760000043
式(11)中,ω=S(arg(Ac),0.5),υ=S(arg(Ir),0.1),S(x,y)=[1+e-32(x-y)]-1,arg表示平均值;由式(10)得出:
当arg(Ac)>>0.5且arg(Ir)>>0.1,即背景光较暗但是红通道衰减较小时,ω≈0,υ≈1,则使用透射率
Figure GDA0002946943760000044
估计透射率
Figure GDA0002946943760000045
当arg(Ac)>>0.5且arg(Ir)>>0.1,即背景光较亮且红通道衰减较弱时,ω≈1,υ≈1,则使用透射率
Figure GDA0002946943760000046
估计透射率
Figure GDA0002946943760000047
当arg(Ir)<<0.1,即红通道衰减十分严重时,υ≈0,则使用透射率
Figure GDA0002946943760000048
估计透射率
Figure GDA0002946943760000049
步骤6:通过步骤5求得红通道的透射率
Figure GDA00029469437600000410
然后用衰减系数的比值求得其他两个通道的透射率:
Figure GDA00029469437600000411
式(12)中,k∈{G,B}表示蓝、绿通道,
Figure GDA00029469437600000412
表示对应通道的透射率,
Figure GDA00029469437600000413
是通过式(11)求得的红通道透射率,衰减系数比为:
Figure GDA00029469437600000414
式(13)中,m=-0.00113,i=1.62517,λ表示波长,λR表示红通道波长;
步骤7:对图像Ic'(x)进行四次循环分块,每次均选择均值和方差最小的块,然后,将最终得到的模糊度块对应到水下图像Ic(x)对应的位置,最后,求得的各通道的均值即为各通道的背景光估计值;
在第一次分块操作中,为了避免人工光源对背景光估计的影响,只使用图像Ic'(x)的上半部分,且在后续分块中,为去除噪声和图像中白色物体对背景光估计的影响,只对均值和标准差最小的块进行下一轮分块操作;
步骤8:根据步骤3中式(5)的水下成像模型并利用背景光估计和三通道透射率估计得到清晰图像JRCP(x)。
与现有技术相比,本发明的有益效果是:本发明可以有效地处理含有人工光源或浑浊度较高的水下图像,复原得到的结果颜色自然,细节清晰。
附图说明
图1是针对水下图像Divers的清晰化效果对比图;其中,(a)是水下图像Divers原图,(b)是经过DCP方法清晰化的效果,(c)是经过RCP方法清晰化的效果,(d)是经过Blur方法清晰化的效果,(e)是经过Fusion方法清晰化的效果,(f)是经过本发明方法清晰化的效果;
图2是针对水下图像Buddha的清晰化效果对比图;其中,(a)是水下图像Buddha原图,(b)是经过DCP方法清晰化的效果,(c)是经过RCP方法清晰化的效果,(d)是经过Blur方法清晰化的效果,(e)是经过Fusion方法清晰化的效果,(f)是经过本发明方法清晰化的效果;
图3是针对水下图像Stone的清晰化效果对比图;其中,(a)是水下图像Stone原图,(b)是经过DCP方法清晰化的效果,(c)是经过RCP方法清晰化的效果,(d)是经过Blur方法清晰化的效果,(e)是经过Fusion方法清晰化的效果,(f)是经过本发明方法清晰化的效果。
具体实施方式
下面结合附图及具体实施例对本发明做进一步的说明,但下述实施例绝非对本发明有任何限制。
本发明提出的一种基于自适应透射率估计的水下图像清晰化方法,主要包括:首先,对于输入的水下图像的各通道分别进行颜色衰减补偿;其次,分别基于图像模糊度、水下红通道先验和水下最大红通道先验得到三种透射率估计;然后,自适应判别水下图像的特征,根据得到的三种透射率估计求得最终的透射率估计;最后,根据水下成像模型并利用估计得到的水下背景光和最终的透射率估计恢复出清晰的复原结果。
由Jaffe-McGlamery水下成像模型可知,相机接收的光可以表示为三个分量之和:物体反射的直接分量,物体反射光的散射部分称为前向散射,环境光经过微粒等杂质散射后的光称为后向散射。一般前向散射可以忽略不计,水下成像模型可以简化为:
Ic(x)=Jc(x)·tc(x)+Ac·(1-tc(x))
其中,Ic(x)表示原始的水下图像,Jc(x)复原后的清晰图像,Ac表示水下环境光,tc(x)表示透射率。继而可以将水下成像模型表示为:
Figure GDA0002946943760000051
其中,
Figure GDA0002946943760000052
表示tc(x),tα(x)表示1-tc(x)。
本发明提出的一种基于自适应透射率估计的水下图像清晰化方法,主要包括:对于输入的水下图像Ic(x),首先,针对颜色失真问题,对各通道分别进行颜色衰减补偿;其次,利用图像模糊度与景深的关系,得到适用于含有人工光源的水下场景透射率估计方法,可有效解决人工光源带来的光照不均的问题;然后,为了恢复更多的图像细节,联合水下红通道先验提出多模式透射率估计的方案,即分别基于图像模糊度、水下红通道先验和水下最大红通道先验得到三种透射率估计;接下来,自适应判别水下图像的特征,根据得到的三种透射率估计求得最终的透射率估计;最后,根据水下成像模型并利用估计得到的水下背景光和最终的透射率估计恢复出清晰的复原结果,即得到清晰图像。具体步骤如下:
步骤1:输入的水下图像为Ic(x),针对颜色失真问题,对该水下图像为Ic(x)的各通道分别进行颜色衰减补偿,步骤包括:首先,由蓝绿通道均值判定水下图像Ic(x)的基调颜色,然后,基于该基调对应的颜色通道对其他两通道进行颜色补偿;
如图像的基调颜色为蓝色,则通过式(1)对红通道进行颜色衰减补偿:
Figure GDA0002946943760000061
其中,IRC(x)表示补偿后红通道中x处的强度值,IR(x)、IB(x)分别表示水下图像Ic(x)的红通道和蓝通道中x处的强度值,
Figure GDA0002946943760000062
表示水下图像Ic(x)的蓝通道和红通道的均值,α为常数;为了避免红通道过补偿现象,只对红通道较小强度像素进行补偿;
同理可对绿通道进行颜色补偿:
Figure GDA0002946943760000063
其中,IGC(x)表示补偿后绿通道中x处的强度值,IG(x)、IB(x)分别表示水下图像Ic(x)的绿通道和蓝通道中x处的强度值,
Figure GDA0002946943760000064
分别表示水下图像Ic(x)的蓝通道和红通道的均值,α为常数;
步骤2:经过颜色衰减补偿后的图像为Ic'(x);由于水下图像中任意一点,其像素强度与周围像素点会随着图像模糊度增大而逐渐接近。故本发明中,基于图像模糊度得到透射率
Figure GDA0002946943760000065
估计,利用图像Ic'(x)各像素点的强度值与其高斯滤波后的结果之差来估计该图像Ic'(x)的图像模糊度,即模糊度图[1]
Figure GDA0002946943760000066
其中,Blur(x)表示图像Ic'(x)的x点处的模糊图,n为常数,Y(x)表示图像Ic'(x)中x点处的亮度值,Gk,σ表示核为k×k,方差为σ2的高斯滤波器,令k=σ=2in+1,n=4;
对得到的图像模糊度进行最大值滤波,得到透射率
Figure GDA0002946943760000067
Figure GDA0002946943760000068
步骤3:Wen等人[2]通过对水下成像特性的深入研究,在简化的Jaffe-McGlamery模型基础上,给出一种水下成像新模型:在式(5)所示的水下成像模型的基础上,并基于式(6)所示的水下红通道先验,通过式(7)与式(8)的计算,最终得到式(9)中透射率
Figure GDA0002946943760000069
估计;
Figure GDA00029469437600000610
式(5)中,
Figure GDA00029469437600000611
表示红、绿、蓝三通道,
Figure GDA00029469437600000612
表示水下图像Ic(x)对应的通道,
Figure GDA0002946943760000071
表示恢复后的水下图像即清晰图像对应的通道,
Figure GDA0002946943760000072
表示对应通道的透射率,
Figure GDA0002946943760000073
表示对应通道的散射率,即
Figure GDA0002946943760000074
Figure GDA0002946943760000075
对应通道的水下背景光强度;
在此模型基础上,针对水下图像特点,本发明使用红通道先验估计透射率算法作为多模式透射率估计其中之一。红通道先验算法[3]如下:
Figure GDA0002946943760000076
式(6)中,JRCP(x)为恢复后的水下图像,Ω(x)以像素点x为中心的局部块,R,G,B分别表示图像的红通道、绿通道和蓝通道,J(y,R)、J(y,G)、J(y,B)分别表示图像的红通道图、绿通道图和蓝通道图;
为了减弱红通道衰减对透射率估计的影响,结合式(5)成像模型可得:
Figure GDA0002946943760000077
式(7)中,tβ(x)为透射率,tα(x)表示衰减率,即1-tβ(x);AR是红通道的水下背景光强度,AG是绿通道的水下背景光强度,AB是蓝通道的水下背景光强度;
对式(7)两边同时取最小化运算:
Figure GDA0002946943760000078
得到基于水下红通道先验的透射率
Figure GDA0002946943760000079
估计:
Figure GDA00029469437600000710
步骤4:基于水下最大红通道先验得到透射率
Figure GDA00029469437600000711
估计,最大红通道先验水对光具有选择性吸收的作用,水体对光的吸收作用随着波长的增加而不断增强,由于红通道波长最长所以衰减最为强烈,且吸收作用随着传播距离的增加而增强。因此,距离相机越近的场景点含有更多的红通道信息,对应的该点的红通道强度值越大[4],则透射率
Figure GDA00029469437600000712
表示为:
Figure GDA00029469437600000713
步骤5:为了实现透射率信息互补,本发明提出自适应判别水下图像的特征,求得最终红通道的透射率
Figure GDA0002946943760000081
估计:
Figure GDA0002946943760000082
式(11)中,ω=S(arg(Ac),0.5),υ=S(arg(Ir),0.1),S(x,y)=[1+e-32(x-y)]-1,arg表示平均值;由式(11)得出:
当arg(Ac)<<0.5且arg(Ir)>>0.1,即背景光较暗但是红通道衰减较小时,ω≈0,υ≈1,则使用透射率
Figure GDA0002946943760000083
估计透射率
Figure GDA0002946943760000084
当arg(Ac)>>0.5且arg(Ir)>>0.1,即背景光较亮且红通道衰减较弱时,ω≈1,υ≈1,则使用透射率
Figure GDA0002946943760000085
估计透射率
Figure GDA0002946943760000086
当arg(Ir)<<0.1,即红通道衰减十分严重时,υ≈0,则使用透射率
Figure GDA0002946943760000087
估计透射率
Figure GDA0002946943760000088
故对水下图像进行处理时,自适应判别水下图像的特征,更为准确地对透射率进行估计,提高水下图像复原效果。
步骤6:通过步骤5求得红通道的透射率
Figure GDA0002946943760000089
然后用衰减系数的比值求得其他两个通道的透射率:
Figure GDA00029469437600000810
式(12)中,k∈{G,B}表示蓝、绿通道,
Figure GDA00029469437600000811
表示对应通道的透射率,
Figure GDA00029469437600000812
是通过式(11)求得的红通道透射率,衰减系数比为:
Figure GDA00029469437600000813
式(13)中,m=-0.00113,i=1.62517,λ表示波长,λR表示红通道波长;
步骤7:背景光应来自场景无穷远处,景深越大,透射率越小。图像模糊度能较好的反映出图像的真实场景深度,对步骤二得到的模糊度图,即图像Ic'(x)进行四次循环分块,每次均选择均值和方差最小的块,然后,将最终得到的模糊度块对应到水下图像Ic(x)对应的位置,最后,求得的各通道的均值即为各通道的背景光估计值;
在第一次分块操作中,为了避免人工光源对背景光估计的影响,只使用图像Ic'(x)的上半部分,且在后续分块中,为去除噪声和图像中白色物体对背景光估计的影响,只对均值和标准差最小的块进行下一轮分块操作;
步骤8:根据步骤3中式(5)的水下成像模型并利用背景光估计和三通道透射率估计即可得到最终的清晰图像JRCP(x)。
下面结合具体实例对本发明的有效性进行验证。
(1)主观效果对比:
为了说明本发明通过与主流算法的对比可以发现算法的有效性,与目前主流的算法方法进行对比。图1至图3分别是本发明清晰化方法与基于暗通道先验的复原方法(He etal,DCP)、基于红通道先验的复原算法(Galdran et al,RCP)、基于模糊特征的复原方法(Peng et al,Blur)和基于水下融合先验的复原算法(Gaya et al,Fusion)的效果对比结果图。
图1是针对水下图像Divers的清晰化效果对比图;其中,(a)是水下图像Divers原图,(b)是经过DCP方法清晰化的效果,(c)是经过RCP方法清晰化的效果,(d)是经过Blur方法清晰化的效果,(e)是经过Fusion方法清晰化的效果,(f)是经过本发明方法清晰化的效果;
图2是针对水下图像Buddha的清晰化效果对比图;其中,(a)是水下图像Buddha原图,(b)是经过DCP方法清晰化的效果,(c)是经过RCP方法清晰化的效果,(d)是经过Blur方法清晰化的效果,(e)是经过Fusion方法清晰化的效果,(f)是经过本发明方法清晰化的效果;
图3是针对水下图像Stone的清晰化效果对比图;其中,(a)是水下图像Stone原图,(b)是经过DCP方法清晰化的效果,(c)是经过RCP方法清晰化的效果,(d)是经过Blur方法清晰化的效果,(e)是经过Fusion方法清晰化的效果,(f)是经过本发明方法清晰化的效果。
通过与现有技术中主流方法的对比可以发现,本发明方法的处理效果普遍要优于当前的主流复原方法,特别是对于浑浊度较高的水下图像和含有人工光源的图像而言,本发明方法能很好地处理三通道透射率估计不准确带来的色偏问题,同时增强图像对比度,恢复出更多的细节信息。
(2)客观性能对比:
为客观评价本发明算法,使用一种鲁棒的色偏检测方法说明彩色图像色偏情况。计算的K值[5]越大,表示图像色偏越严重。
Figure GDA0002946943760000091
其中,mean_a,mean_b分别表示Lab颜色空间中a,b两个分量的均值,M_a,M_b分别表示a,b两个分量的平均差,σ2为L分量的方差,Thres为阈值,H,W为图像的分辨率。
与此同时,使用Lab颜色空间的L分量计算图像的对比度C,C越大说明图像细节越清晰。
Figure GDA0002946943760000101
其中,num表示L分量分块数目,Ni为第i个L分量块的像素数,Lbi(x)表示第i个L分量块中像素点x的像素值,Lbi为第i个L分量块的均值。表1为各方法相关指标对比。
表1
Figure GDA0002946943760000102
综上,本发明的水下图像清晰化处理方法可以有效地处理含有人工光源或浑浊度较高的水下图像,复原得到的结果颜色自然,细节清晰。
尽管上面结合附图对本发明进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨的情况下,还可以做出很多变形,这些均属于本发明的保护之内。

Claims (1)

1.一种基于自适应透射率估计的水下图像清晰化方法,其特征在于,首先,对于输入的水下图像的各通道分别进行颜色衰减补偿;其次,分别基于图像模糊度、水下红通道先验和水下最大红通道先验得到三种透射率估计;然后,自适应判别水下图像的特征,根据得到的三种透射率估计求得最终的透射率估计;最后,根据水下成像模型并利用估计得到的水下背景光和最终的透射率估计恢复出清晰的复原结果;具体步骤如下:
步骤1:输入的水下图像为Ic(x),对该水下图像为Ic(x)的各通道分别进行颜色衰减补偿,步骤包括:首先,由蓝绿通道均值判定水下图像Ic(x)的基调颜色,然后,基于该基调对应的颜色通道对其他两通道进行颜色补偿;
如图像的基调颜色为蓝色,则通过式(1)对红通道进行颜色衰减补偿:
Figure FDA0002946943750000011
其中,IRC(x)表示补偿后红通道中x处的强度值,IR(x)、IB(x)分别表示水下图像Ic(x)的红通道和蓝通道中x处的强度值,
Figure FDA0002946943750000012
表示水下图像Ic(x)的蓝通道和红通道的均值,α为常数;为了避免红通道过补偿现象,只对红通道较小强度像素进行补偿;
同理可对绿通道进行颜色补偿:
Figure FDA0002946943750000013
其中,IGC(x)表示补偿后绿通道中x处的强度值,IG(x)、IB(x)分别表示水下图像Ic(x)的绿通道和蓝通道中x处的强度值,
Figure FDA0002946943750000014
分别表示水下图像Ic(x)的蓝通道和红通道的均值,α为常数;
步骤2:经过颜色衰减补偿后的图像为Ic'(x);基于图像模糊度得到透射率
Figure FDA0002946943750000015
估计,利用图像Ic'(x)各像素点的强度值与其高斯滤波后的结果之差来估计该图像Ic'(x)的图像模糊度:
Figure FDA0002946943750000016
其中,Blur(x)表示图像Ic'(x)的x点处的模糊度,n为常数,Y(x)表示图像Ic'(x)中x点处的亮度值,Gk,σ表示核为k×k,方差为σ2的高斯滤波器,令k=σ=2in+1,n=4;
对得到的图像模糊度进行最大值滤波,得到透射率
Figure FDA0002946943750000017
Figure FDA0002946943750000018
步骤3:在式(5)所示的水下成像模型的基础上,并基于式(6)所示的水下红通道先验,通过式(7)与式(8)的计算,最终得到式(9)中透射率
Figure FDA0002946943750000019
估计;
Figure FDA00029469437500000110
式(5)中,
Figure FDA00029469437500000111
表示红、绿、蓝三通道,
Figure FDA00029469437500000112
表示水下图像Ic(x)对应的通道,
Figure FDA00029469437500000113
表示恢复后的水下图像即清晰图像对应的通道,
Figure FDA00029469437500000114
表示对应通道的透射率,
Figure FDA00029469437500000115
表示对应通道的散射率,即
Figure FDA00029469437500000116
Figure FDA00029469437500000117
对应通道的水下背景光强度;
Figure FDA0002946943750000021
式(6)中,JRCP(x)为恢复后的水下图像,Ω(x)以像素点x为中心的局部块,R,G,B分别表示图像的红通道、绿通道和蓝通道,J(y,R)、J(y,G)、J(y,B)分别表示图像的红通道图、绿通道图和蓝通道图;
结合式(5)成像模型得:
Figure FDA0002946943750000022
式(7)中,tβ(x)为透射率,tα(x)表示衰减率,即1-tβ(x);AR是红通道的水下背景光强度,AG是绿通道的水下背景光强度,AB是蓝通道的水下背景光强度;
对式(7)两边同时取最小化运算:
Figure FDA0002946943750000023
得到基于水下红通道先验的透射率
Figure FDA0002946943750000024
估计:
Figure FDA0002946943750000025
步骤4:基于水下最大红通道先验得到透射率
Figure FDA0002946943750000026
估计,对应距离相机越近的场景点的红通道强度值越大,则透射率
Figure FDA0002946943750000027
表示为:
Figure FDA0002946943750000028
步骤5:自适应判别水下图像的特征,求得最终红通道的透射率
Figure FDA0002946943750000029
估计:
Figure FDA00029469437500000210
式(11)中,ω=S(arg(Ac),0.5),υ=S(arg(Ir),0.1),S(x,y)=[1+e-32(x-y)]-1,arg表示平均值;由式(11)得出:
当arg(Ac)<<0.5且arg(Ir)>>0.1,即背景光较暗但是红通道衰减较小时,ω≈0,υ≈1,则使用透射率
Figure FDA00029469437500000211
估计透射率
Figure FDA00029469437500000212
当arg(Ac)>>0.5且arg(Ir)>>0.1,即背景光较亮且红通道衰减较弱时,ω≈1,υ≈1,则使用透射率
Figure FDA0002946943750000031
估计透射率
Figure FDA0002946943750000032
当arg(Ir)<<0.1,即红通道衰减十分严重时,υ≈0,则使用透射率
Figure FDA0002946943750000033
估计透射率
Figure FDA0002946943750000034
步骤6:通过步骤5求得红通道的透射率
Figure FDA0002946943750000035
然后用衰减系数的比值求得其他两个通道的透射率:
Figure FDA0002946943750000036
式(12)中,k∈{G,B}表示蓝、绿通道,
Figure FDA0002946943750000037
表示对应通道的透射率,
Figure FDA0002946943750000038
是通过式(11)求得的红通道透射率,衰减系数比为:
Figure FDA0002946943750000039
式(13)中,m=-0.00113,i=1.62517,λ表示波长,λR表示红通道波长;
步骤7:对图像Ic'(x)进行四次循环分块,每次均选择均值和方差最小的块,然后,将最终得到的模糊度块对应到水下图像Ic(x)对应的位置,最后,求得的各通道的均值即为各通道的背景光估计值;
在第一次分块操作中,为了避免人工光源对背景光估计的影响,只使用图像Ic'(x)的上半部分,且在后续分块中,为去除噪声和图像中白色物体对背景光估计的影响,只对均值和标准差最小的块进行下一轮分块操作;
步骤8:根据步骤3中式(5)的水下成像模型并利用背景光估计和三通道透射率估计得到清晰图像JRCP(x)。
CN201911073287.XA 2019-11-05 2019-11-05 基于自适应透射率估计的水下图像清晰化方法 Active CN110930319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911073287.XA CN110930319B (zh) 2019-11-05 2019-11-05 基于自适应透射率估计的水下图像清晰化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911073287.XA CN110930319B (zh) 2019-11-05 2019-11-05 基于自适应透射率估计的水下图像清晰化方法

Publications (2)

Publication Number Publication Date
CN110930319A CN110930319A (zh) 2020-03-27
CN110930319B true CN110930319B (zh) 2021-08-03

Family

ID=69852457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911073287.XA Active CN110930319B (zh) 2019-11-05 2019-11-05 基于自适应透射率估计的水下图像清晰化方法

Country Status (1)

Country Link
CN (1) CN110930319B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586293A (zh) * 2020-04-24 2020-08-25 山东易华录信息技术有限公司 一种根据海水浊度影响进行水下成像方法及装置
CN111968055B (zh) * 2020-08-17 2024-04-09 燕山大学 一种基于颜色补偿和颜色线先验的水下图像复原算法
CN115082361B (zh) * 2022-08-23 2022-10-28 山东国晟环境科技有限公司 基于图像处理的浑浊水体图像增强方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024047B2 (en) * 2015-09-18 2021-06-01 The Regents Of The University Of California Cameras and depth estimation of images acquired in a distorting medium
CN106485681B (zh) * 2016-10-18 2019-04-23 河海大学常州校区 基于颜色校正和红通道先验的水下彩色图像复原方法
CN106570839A (zh) * 2016-11-04 2017-04-19 天津大学 基于Red Channel先验的水下图像清晰化方法
CN106600547A (zh) * 2016-11-17 2017-04-26 天津大学 水下图像复原方法
CN107403418A (zh) * 2017-07-27 2017-11-28 北京大学深圳研究生院 基于通道透射率进行去雾和颜色校正的水下图像增强方法
CN110070480A (zh) * 2019-02-26 2019-07-30 青岛大学 一种水下光学图像的模拟方法

Also Published As

Publication number Publication date
CN110930319A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN108596853B (zh) 基于背景光统计模型和传输地图优化的水下图像增强方法
CN110930319B (zh) 基于自适应透射率估计的水下图像清晰化方法
CN107507145B (zh) 一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法
CN107705258B (zh) 一种三基色联合预均衡和去模糊的水下图像增强方法
Li et al. A hybrid framework for underwater image enhancement
CN109118446B (zh) 一种水下图像复原及去噪方法
CN108257101B (zh) 一种基于最优复原参数的水下图像增强方法
CN110689490A (zh) 一种基于纹理颜色特征和优化透射率的水下图像复原方法
CN112561804A (zh) 基于多尺度细节增强的低光照水下图像增强方法
CN108921887B (zh) 基于水下光线衰减先验性的水下场景深度地图估计方法
CN111861896A (zh) 一种面向uuv的水下图像色彩补偿与恢复方法
CN110689504B (zh) 一种基于二次引导透射图的水下图像复原方法
Kumari et al. Single image fog removal using gamma transformation and median filtering
CN111598800A (zh) 基于空间域同态滤波和暗通道先验的单幅图像去雾方法
Ueki et al. Underwater image enhancement based on the iteration of a generalization of dark channel prior
Ke et al. Single underwater image restoration based on descattering and color correction
CN113298730B (zh) 一种基于图像分解的去雾复原方法
Mathur et al. Dual domain approach for colour enhancement of underwater images
CN105825481B (zh) 基于局部SoG的水下图像清晰化方法
Gujral et al. A Novel Defogging Technique for Dehazing Images
CN115034985A (zh) 一种水下图像增强方法
Huo et al. Underwater image restoration based on color correction and red channel prior
Moni et al. Color balance and fusion for underwater image enhancement: Survey
CN111292263B (zh) 一种基于颜色校正和去模糊的图像增强方法
CN116109513B (zh) 一种基于局部环境光投影恒常先验的图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant