CN110889812A - 一种多尺度融合图像特征信息的水下图像增强方法 - Google Patents

一种多尺度融合图像特征信息的水下图像增强方法 Download PDF

Info

Publication number
CN110889812A
CN110889812A CN201910961740.4A CN201910961740A CN110889812A CN 110889812 A CN110889812 A CN 110889812A CN 201910961740 A CN201910961740 A CN 201910961740A CN 110889812 A CN110889812 A CN 110889812A
Authority
CN
China
Prior art keywords
image
frequency information
channel
low
underwater
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910961740.4A
Other languages
English (en)
Other versions
CN110889812B (zh
Inventor
张维石
周景春
张得欢
张卫东
刘真真
邹沛煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN201910961740.4A priority Critical patent/CN110889812B/zh
Publication of CN110889812A publication Critical patent/CN110889812A/zh
Application granted granted Critical
Publication of CN110889812B publication Critical patent/CN110889812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30Assessment of water resources

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种多尺度融合图像特征信息的水下图像增强方法。本发明方法,包含以下三个过程:首先,采用动态阈值白平衡解决颜色偏色;其次,增强图像对比度,使用同态滤波分离高频信息和低频信息,使用梯度场双区间直方图均衡化增强高频信息,采用Gamma校正处理低频信息,调整图像曝光度。最后,基于图像对比度、饱和度和最佳曝光度,采用多尺度融合策略对高频信息、双区间直方图输出图和Gamma校正后低频信息进行融合,得到增强图像。本发明专利提出了一种多尺度融合图像特征信息的水下图像增强方法,该方法通过多尺度融合策略,不仅增强图像细节和全局对比度,而且有效避免图像的过曝光和曝光不足,对图像暗区域的细节具有较好增强效果。

Description

一种多尺度融合图像特征信息的水下图像增强方法
技术领域
本发明涉及图像增强方法,特别是涉及一种多尺度融合图像特征信息的水下图像增强方法。
背景技术
由于海洋、河流和湖泊资源十分丰富,近年来海洋资源的开发、勘探和保护已经成为国际社会广泛关注的问题,水下成像已经成为重要的研究领域。清晰的水下图像可以为水下考古、水下资源勘测以及海洋生物研究提供重要信息。但是由于光在水中的散射和吸收,水下成像存在着三个主要问题:颜色失真、曝光不足和对比度低。因为不同波长的光在水下传播时具有不同的衰减率,实际中超过10米的水下图像会产生严重的颜色失真;水体对光的吸收,导致水下亮度衰减,引起图像曝光不足;在自然界中,水中存在大量的粒子,导致光的散射,引起光传播方向的变换,导致水下图像的对比度下降,远处的物体模糊不清。
针对水下图像存在的问题,在过去的几十年里,出现了很多水下图像去雾方法,基于多幅图像的图像增强方法使用多种图像恢复场景信息,但对成像条件施加了限制,适用性有限。基于物理模型的水下图像复原方法沿着图像退化的逆过程复原图像,通过建立物理模型,估计模型参数,反演出退化过程,但在许多水下场景中,很多先验不成立,不能准确地估计透射率。
在不同场景、光照条件下采集的水下图像具有不同特点,光源的白点和强度会随距离改变,很难设计出一种基于深度学习的方法,针对不同光照条件都具有较好的去雾效果。基于图像增强的图像去雾方法主要包括直方图均衡化和基于Retinex理论的方法。基于直方图的水下图像方法不能有效的解决水下图像的退化问题,只对光照相对较好的场景有效。Retinex模拟人类的视觉系统,将水下环境的变换看作光照的变化,通过去除图像光照的变换来增强图像,可以有效的增强图像的对比度和图像细节,但Retinex理论没有考虑水下图像的退化程度和场景深度之间的关系,不能完全的复原水下图像的颜色和场景信息。
发明内容
本发明克服上述现有技术的不足,提供一种多尺度融合图像特征信息的水下图像增强方法。本发明首先使用动态阈值白平衡解决颜色失真,其次使用同态滤波分离高频信息和低频信息,为进一步增强图像对比度,使用梯度场双区间直方图均衡化处理高频信息,为更好调整图像曝光度,采用Gamma校正处理低频信息。最后,基于图像对比度、饱和度和最佳曝光度,采用多尺度融合策略对高频信息、梯度场双区间直方图输出图和Gamma校正后低频信息进行融合。本发明在增强图像细节和全局对比度的同时有效的避免了图像的过曝光和曝光不足,有效增强了图像暗区域的细节信息。
本发明采用的技术方案如下:一种多尺度融合图像特征信息的水下图像增强方法,其特征在于,包括以下步骤:
步骤S01:将原始图像转换到YCbCr空间,分别获取所述原始图像的Y、Cb、Cr的通道数据,并进行白平衡处理,得到颜色校正后图像;
步骤S02:将所述颜色校正后的图像按照R、G、B通道进行分解,通过高斯型同态滤波分通道处理,获取所述颜色校正后的图像的高频信息R、G、B通道图像和低频信息的R、G、B通道图像;
步骤S03:对所述高频信息的R、G、B通道分别进行梯度场双区间直方图均衡化,得到细节增强后的高频信息的R、G、B通道图像;
步骤S04:通过Gamma校正分别提升所述低频信息R、G、B通道的亮度,同时增强高频信息较暗区域的细节信息,得到细节增强后的低频信息的对比度权重图、饱和度权重图和曝光度权重图;
步骤S05:考虑融合结果图像的对比度、饱和度和曝光度,分别获取所述步骤S02中获取的所述图像的高频信息R、G、B通道图像、所述步骤S03中得到的所述细节增强后的高频信息的R、G、B通道图像和所述步骤S04中得到的低频信息的对比度权重图、饱和度权重图和曝光度权重图,将所述对比度权重图、所述饱和度权重图和所述曝光度权重图融合得到最终权重图;
步骤S06:根据所述步骤S02中得到的所述高频信息R、G、B通道图像、所述步骤S03中得到的细节增强后的高频信息的R、G、B通道图像细节增强后高频信息和所述步骤S04中得到的所述低频信息以及每幅图像的最终权重图进行多尺度融合,使用Laplacian金字塔重建,得到最终融合图像。
本发明与现有技术相比具有以下优势:
本发明通过在融合过程中加入低频信息解决图像的过曝光问题。本发明首先使用动态阈值白平衡解决颜色失真,其次使用同态滤波分离高频信息和低频信息,为进一步增强图像对比度,使用梯度场双区间直方图均衡化处理高频信息,为更好调整图像曝光度,采用Gamma校正处理低频信息。最后,基于对比度、饱和度和最佳曝光度,采用多尺度融合策略对高频信息、梯度场双区间直方图输出图和Gamma校正后低频信息进行融合,实现水下图像的增强。
基于上述理由本发明可在数字图像处理等领域推广应用。
附图说明
为了明确本发明或者技术方案,下面将对实施例或现有技术描述所需采用的附图进行简要概况说明。
图1为本发明的原理示意流程图;
图2为本发明与其他算法针对沉船图像增强效果对比图。其中,图2-1表示原图,图2-2表示DCP的结果图;图2-3表示UDCP的结果图;图2-4表示IBLA的结果图;图2-5表示ULAP的结果图;图2-6表示本发明方法的结果图。
图3为本发明与其他算法针对鱼群图像增强效果对比图。其中,图3-1表示原图,图3-2表示DCP的结果图;图3-3表示UDCP的结果图;图3-4表示IBLA的结果图;图3-5表示ULAP的结果图;图3-6表示本发明方法的结果图。
图4为本发明与其他算法针对考古图像增强效果对比图。其中图4-1表示原图,图4-2表示DCP的结果图;图4-3表示UDCP的结果图;图4-4表示IBLA的结果图;图4-5表示ULAP的结果图;图4-6表示本发明方法的结果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了验证本发明水下图像增强的有效性,选择不同场景图像作为测试数据集,并与DCP(Single image haze removal using dark channel prior),UDCP(Transmissionestimation in underwater single images),IBLA(Underwater image restorationbased on image blurriness and light absorption),ULAP(A Rapid Scene DepthEstimation Model Based on Underwater Light Attenuation Prior for UnderwaterImage Restoration)和本发明的实验结果通过主客观两个方面对比分析验证。具体步骤和原理如下:
如图1所示,本发明提供了一种多尺度融合图像特征信息的水下图像增强方法,包括以下步骤:
步骤S01:将原始图像转换到YCbCr空间,分别获取所述原始图像的Y、Cb、Cr的通道数据,并进行白平衡处理,得到颜色校正后图像;
步骤S02:将所述颜色校正后的图像按照R、G、B通道进行分解,通过高斯型同态滤波分通道处理,获取所述颜色校正后的图像的高频信息R、G、B通道图像和低频信息的R、G、B通道图像;
步骤S03:对所述高频信息的R、G、B通道分别进行梯度场双区间直方图均衡化,得到细节增强后的高频信息的R、G、B通道图像;
步骤S04:通过Gamma校正分别提升所述低频信息R、G、B通道的亮度,同时增强高频信息较暗区域的细节信息,得到细节增强后的低频信息的对比度权重图、饱和度权重图和曝光度权重图;
步骤S05:考虑融合结果图像的对比度、饱和度和曝光度,分别获取所述步骤S02中获取的所述图像的高频信息R、G、B通道图像、所述步骤S03中得到的所述细节增强后的高频信息的R、G、B通道图像和所述步骤S04中得到的低频信息的对比度权重图、饱和度权重图和曝光度权重图,将所述对比度权重图、所述饱和度权重图和所述曝光度权重图融合得到最终权重图;
步骤S06:根据所述步骤S02中得到的所述高频信息R、G、B通道图像、所述步骤S03中得到的细节增强后的高频信息的R、G、B通道图像细节增强后高频信息和所述步骤S04中得到的所述低频信息以及每幅图像的最终权重图进行多尺度融合,使用Laplacian金字塔重建,得到最终融合图像。
根据权利要求1所述的一种多尺度融合图像特征信息的水下图像增强方法,其特征还在于:所述步骤S01中的白平衡算法,首先将所述原始图像转换到YCbCr空间,获取输入图像的Y、Cb、Cr通道数据,将原图像均匀的分为12个区域,计算所述Cb和所述Cr通道的方差DCb,DCr
Figure BDA0002229151970000051
其中i表示Cb或Cr两个颜色通道,i(x,y)表示i通道中x,y位置的值,m表示区域的宽,n表示区域的高;取前10%的亮度值最为最终白点参考点;
Figure BDA0002229151970000052
Gri=MaxY/mi
其中i表示R、G、B三通道,mi表示i通道白色参考点的平均值,MaxY表示在YCbCr空间中原始图像Y分量的最大值。按照下式分通道计算最终像素值:
Wi(x,y)=i(x,y)×Gri
根据权利要求1所述的一种多尺度融合图像特征信息的水下图像增强方法,其特征还在于:所述步骤S02中高斯型同态滤波公式如下:
W(x,y)=i(x,y)·r(x,y);
其中,W表示白平衡输出图,i表示高频信息,r表示低频信息;
通过傅里叶变换将图像从空间域转换到频率域,可得到:
Wf(u,v)=if(u,v)+rf(u,v);
通过高斯滤波器作为传递函数H(u,v)为:
Figure BDA0002229151970000061
其中,Rh表示高频增益,Rl表示低频增益,D0表示截止频率,c表示控制斜面锐化的常数;通过增强高频信息抑制低频信息得到结果图;
将得到的所述高频信息和所述低频信息转换到空间域为:
Figure BDA0002229151970000062
Figure BDA0002229151970000063
其中,Hom(x,y)表示图像的高频信息,r(x,y)表示图像的低频信息。
根据权利要求1所述的一种多尺度融合图像特征信息的水下图像增强方法,其特征还在于:所述步骤S03中的梯度场双区间直方图均衡化,进一步增强高频信息的细节和边缘;
在高频信息单通道中按下式得到高频信息的梯度幅值图为:
Figure BDA0002229151970000064
其中,i表示R、G、B三通道,Grai表示得到的i通道图像的梯度幅值图,Hom表示高频信息;
设图像的R、G、B任意通道的维度为M*N,则归一化直方图为:
Figure BDA0002229151970000065
其中,rk表示第k级灰度值,nk表示梯度幅值图中灰度值为rk的像素个数;
通过统计学中的下侧分位数,在0.75~0.8范围内,将rk作为区间阈值t,将[0,t]作为图像小梯度值的区间,[t,L-1]作为图像大梯度值的区间,将整个梯度场合理地分为小梯度区间I和大梯度区间II,分别进行处理,公式如下:
Figure BDA0002229151970000071
Figure BDA0002229151970000072
其中,I1表示区间I的原梯度值,I2表示区间II的原梯度值,I1%和I2%分别表示区间均衡化后的新梯度值,n(I1)表示区间I中梯度值小于等于I1的像素个数,n(I2)表示区间II中梯度值大于I2的像素个数且小于t的像素个数;N1和N2分别表示区间I和II包含的像素总数;
将I1%和I2%合成新的I%组成目标梯度场,保留原梯度场的方向信息不变,建立目标梯度场G%rai
Figure BDA0002229151970000073
设div(G%ra)=Cm*m,ΔDH=Am*mXm*n+Xm*nBn*n,其中div表示散度算子,Xm*n表示DH的矩阵形式,则A,B矩阵分别为:
Am*mXm*n+Xm*nBn*n=Cm*n
Figure BDA0002229151970000074
将所述A、B矩阵对角化为ΛAΛB,得到相似变换矩阵P、Q,即:
P-1AP=ΛA
Q-1BQ=ΛB
变换Am*mXm*n+Xm*nBn*n=Cm*n为P-1APP-1XQ+P-1XQQ-1BQ=P-1CQ,代入得到ΛAP-1XQ+P- 1XQΛB=P-1CQ,化简得到:X=PYQ-1,计算出复原结果X,即DH。
根据权利要求1所述的一种多尺度融合图像特征信息的水下图像增强方法,其特征还在于:所述步骤S04中的Gamma校正公式为:
Figure BDA0002229151970000081
其中,r表示低频信息,rmax表示低频信息的最大灰度值,Ga表示Gamma校正后的低频信息的灰度值。
根据权利要求1所述的一种多尺度融合图像特征信息的水下图像增强方法,其特征还在于:所述步骤S05中的最终权重的提取包含以下步骤:
步骤S051:对所述步骤S02中得到的高频信息、所述步骤S03中得到的细节增强图像和所述步骤S04中得到的低频信息的灰度图通过拉普拉斯滤波器并取绝对值来估计全局对比度权重WLa,则:
Figure BDA0002229151970000082
WLa=|La*F|;
其中,La表示拉普拉斯算子,*表示卷积操作,F表示输入图像;将所述步骤S04中得到的低频信息的全局对比度设置为0.001;
步骤S052:通过所述步骤S02中得到的高频信息、所述步骤S03中得到的细节增强图像和所述步骤S04中得到的低频信息R、G、B通道内每个像素的标准差作为饱和度权重WSa为:
Figure BDA0002229151970000083
Figure BDA0002229151970000084
其中,R(x,y),G(x,y),B(x,y)分别表示输入图像F的RGB通道,mean(x,y)表示(x,y)位置的RGB三通道的平均值,WSa(x,y)为(x,y)位置的饱和度权重;
步骤S053:通过期望为0.5的高斯曲线计算每个点的最佳曝光度权重WE,则:
Figure BDA0002229151970000085
Figure BDA0002229151970000086
Figure BDA0002229151970000091
Figure BDA0002229151970000092
步骤S054:对每个融合输入图像,将对比度权重WLa,饱和度权重WSa和最佳曝光度权重WE对应像素点的值相乘,公式如下:
Figure BDA0002229151970000093
得到一个二维权重图WK,对权重图进行归一化,公式为:
Figure BDA0002229151970000094
其中,xy分别表示(x,y)像素点,k表示第k个输入图像,N表示N个输入图像。
根据权利要求1所述的一种多尺度融合图像特征信息的水下图像增强方法,其特征还在于:所述步骤S06中的多尺度融合包括以下步骤:
步骤S061:通过Laplacian金字塔分解输入图像I,使用
Figure BDA0002229151970000095
表示;通过Gaussian金字塔分解归一化后的最终权重图
Figure BDA0002229151970000096
使用
Figure BDA0002229151970000097
表示,其中上标l表示第l层;
步骤S062:将得到的金字塔按照下式逐个像素进行融合:
Figure BDA0002229151970000098
其中,L{F}表示输出图的第l层Laplacian金字塔;
步骤S063:重建输出图的Laplacian金字塔,得到融合图。
根据权利要求1所述的一种多尺度融合图像特征信息的水下图像增强方法,其特征还在于:所述步骤S02中高斯型同态滤波中的D0=2,Rh=2.5,Rl=0.3,c=3.5。
根据权利要求1所阐述的一种多尺度融合图像特征信息的水下图像增强方法,其特征还在于:所述步骤S04中的Gamma校正中的γ=0.5。
根据权利要求1所阐述的一种多尺度融合图像特征信息的水下图像增强方法,其特征在于:所述步骤S05中的提取最终权重中高斯曲线的σ=0.2。
实施例
如图2所示,本发明提供与其他算法对水下沉船的各类算法增强处理后的实验效果图。从实验效果图中可以看出展现的算法在一定程度上实现了增强暗区域的同时提高了全局对比度和局部的细节效果。DCP算法没有解决图像的偏色问题,图像左下角的细节信息没有得到增强,UDCP算法和IBLA算法出现了更加严重的偏色问题,影响了图像细节信息的体现。ULAP算法提高了图像的细节信息,本发明方法处理后的左下角区域细节更加明显,因此本发明方法有效提高了水下图像的对比度,实现了细节增强,解决了水下图像偏色问题。
如图3所示,本发明提供与其他算法对鱼群的各类算法增强处理后的实验效果图。从实验效果图中可以看出展现的算法都有一定的增强效果,提升了水下图像全局的对比度,增强了水下图像的细节。DCP算法和ULAP算法没有有效增强原始图像的对比度和细节信息,UDCP算法出现对比度过增强现象,IBLA在一定程度上增强了原始图像的对比度。从鱼群信息方面,本发明方法处理的鱼群更加清晰可见,对比度较明显。因此本发明方法有效提高了水下图像的对比度,实现了细节增强,解决了水下图像偏色问题。
如图4所示,本发明提供与其他算法对考古场景的各类算法增强处理后的实验效果图。从实验效果图上分析,DCP算法处理后的水下图像没有解决偏色问题,UDCP算法出现颜色偏蓝现象,IBLA算法和ULAP算法对比度有所提升,但本发明算法在对比度和细节方面更加凸显。因此本发明方法有效提高了水下图像的对比度,实现了细节增强,解决了水下图像偏色问题。
本实施例为避免定性分析带来的偏差,使用UIQM、PCQI和AG三个客观指标进行定量评价,从图像色彩、对比度和平均梯度对不同算法的实验结果进行对比;从表1、表2和表3的数据可知,本发明的UIQM、PCQI和AG均大于DCP、UDCP、IBLA、ULAP算法,本发明可以有效的均衡水下图像的色彩、清晰度和对比度,水下图像增强和复原的效果较好,同时有效的增强了水下图像的细节信息,水下图像更加清晰。高斯型同态滤波很好的分离图像的高频信息和低频信息,梯度场双区间直方图均衡化有效增强了图像的对比度,本发明采用多尺度融合策略实现多幅图像的融合,在保证边缘信息的同时增强了细节信息。因此本发明对于原图像的UIQM、PCQI和AG都有较大的提升,且优于其它增强算法。
表1本发明算法和其他算法处理结果的UIQM对比
Figure BDA0002229151970000111
表2本发明算法和其他算法处理结果的PCQI对比
Figure BDA0002229151970000112
表3本发明算法和其他算法处理结果的AG对比
Figure BDA0002229151970000113
Figure BDA0002229151970000121
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.一种多尺度融合图像特征信息的水下图像增强方法,其特征在于,包含的以下步骤:
步骤S01:将原始图像转换到YCbCr空间,分别获取所述原始图像的Y、Cb、Cr的通道数据,并进行白平衡处理,得到颜色校正后图像;
步骤S02:将所述颜色校正后的图像按照R、G、B通道进行分解,通过高斯型同态滤波分通道处理,获取所述颜色校正后的图像的高频信息R、G、B通道图像和低频信息的R、G、B通道图像;
步骤S03:对所述高频信息的R、G、B通道分别进行梯度场双区间直方图均衡化,得到细节增强后的高频信息的R、G、B通道图像;
步骤S04:通过Gamma校正分别提升所述低频信息R、G、B通道的亮度,同时增强高频信息较暗区域的细节信息,得到细节增强后的低频信息的对比度权重图、饱和度权重图和曝光度权重图;
步骤S05:考虑融合结果图像的对比度、饱和度和曝光度,分别获取所述步骤S02中获取的所述图像的高频信息R、G、B通道图像、所述步骤S03中得到的所述细节增强后的高频信息的R、G、B通道图像和所述步骤S04中得到的低频信息的对比度权重图、饱和度权重图和曝光度权重图,将所述对比度权重图、所述饱和度权重图和所述曝光度权重图融合得到最终权重图;
步骤S06:根据所述步骤S02中得到的所述高频信息R、G、B通道图像、所述步骤S03中得到的细节增强后的高频信息的R、G、B通道图像细节增强后高频信息和所述步骤S04中得到的所述低频信息以及每幅图像的最终权重图进行多尺度融合,使用Laplacian金字塔重建,得到最终融合图像。
2.根据权利要求1所述的一种多尺度融合图像特征信息的水下图像增强方法,其特征还在于:所述步骤S01中的白平衡算法,首先将所述原始图像转换到YCbCr空间,获取输入图像的Y、Cb、Cr通道数据,将原图像均匀的分为12个区域,计算所述Cb和所述Cr通道的方差DCb,DCr
Figure FDA0002229151960000011
其中i表示Cb或Cr两个颜色通道,i(x,y)表示i通道中x,y位置的值,m表示区域的宽,n表示区域的高;取前10%的亮度值最为最终白点参考点;
Figure FDA0002229151960000021
在R、G、B空间中计算每个通道的增益Gri为:
Gri=MaxY/mi
其中i表示R、G、B三通道,mi表示i通道白色参考点的平均值,MaxY表示在YCbCr空间中原始图像Y分量的最大值。按照下式分通道计算最终像素值:
Wi(x,y)=i(x,y)×Gri
3.根据权利要求1所述的一种多尺度融合图像特征信息的水下图像增强方法,其特征还在于:所述步骤S02中高斯型同态滤波公式如下:
W(x,y)=i(x,y)·r(x,y);
其中,W表示白平衡输出图,i表示高频信息,r表示低频信息;
通过傅里叶变换将图像从空间域转换到频率域,可得到:
Wf(u,v)=if(u,v)+rf(u,v);
通过高斯滤波器作为传递函数H(u,v)为:
Figure FDA0002229151960000022
其中,Rh表示高频增益,Rl表示低频增益,D0表示截止频率,c表示控制斜面锐化的常数;通过增强高频信息抑制低频信息得到结果图;
将得到的所述高频信息和所述低频信息转换到空间域为:
Figure FDA0002229151960000023
Figure FDA0002229151960000024
其中,Hom(x,y)表示图像的高频信息,r(x,y)表示图像的低频信息。
4.根据权利要求1所述的一种多尺度融合图像特征信息的水下图像增强方法,其特征还在于:所述步骤S03中的梯度场双区间直方图均衡化,进一步增强高频信息的细节和边缘;
在高频信息单通道中按下式得到高频信息的梯度幅值图为:
Figure FDA0002229151960000025
其中,i表示R、G、B三通道,Grai表示得到的i通道图像的梯度幅值图,Hom表示高频信息;
设图像的R、G、B任意通道的维度为M*N,则归一化直方图为:
Figure FDA0002229151960000031
其中,rk表示第k级灰度值,nk表示梯度幅值图中灰度值为rk的像素个数;
通过统计学中的下侧分位数,在0.75~0.8范围内,将rk作为区间阈值t,将[0,t]作为图像小梯度值的区间,[t,L-1]作为图像大梯度值的区间,将整个梯度场合理地分为小梯度区间I和大梯度区间II,分别进行处理,公式如下:
Figure FDA0002229151960000032
Figure FDA0002229151960000033
其中,I1表示区间I的原梯度值,I2表示区间II的原梯度值,
Figure FDA00022291519600000311
Figure FDA00022291519600000312
分别表示区间均衡化后的新梯度值,n(I1)表示区间I中梯度值小于等于I1的像素个数,n(I2)表示区间II中梯度值大于I2的像素个数且小于t的像素个数;N1和N2分别表示区间I和II包含的像素总数;
Figure FDA0002229151960000038
Figure FDA0002229151960000039
合成新的
Figure FDA0002229151960000037
组成目标梯度场,保留原梯度场的方向信息不变,建立目标梯度场
Figure FDA00022291519600000310
Figure FDA0002229151960000034
Figure FDA0002229151960000035
ΔDH=Am*mXm*n+Xm*nBn*n,其中div表示散度算子,Xm*n表示DH的矩阵形式,则A,B矩阵分别为:
Am*mXm*n+Xm*nBn*n=Cm*n
Figure FDA0002229151960000036
将所述A、B矩阵对角化为ΛAΛB,得到相似变换矩阵P、Q,即:
P-1AP=ΛA
Q-1BQ=ΛB
变换Am*mXm*n+Xm*nBn*n=Cm*n为P-1APP-1XQ+P-1XQQ-1BQ=P-1CQ,代入得到ΛAP-1XQ+P-1XQΛB=P-1CQ,化简得到:X=PYQ-1,计算出复原结果X,即DH。
5.根据权利要求1所述的一种多尺度融合图像特征信息的水下图像增强方法,其特征还在于:所述步骤S04中的Gamma校正公式为:
Figure FDA0002229151960000041
其中,r表示低频信息,rmax表示低频信息的最大灰度值,Ga表示Gamma校正后的低频信息的灰度值。
6.根据权利要求1所述的一种多尺度融合图像特征信息的水下图像增强方法,其特征还在于:所述步骤S05中的最终权重的提取包含以下步骤:
步骤S051:对所述步骤S02中得到的高频信息、所述步骤S03中得到的细节增强图像和所述步骤S04中得到的低频信息的灰度图通过拉普拉斯滤波器并取绝对值来估计全局对比度权重WLa,则:
Figure FDA0002229151960000042
WLa=|La*F|;
其中,La表示拉普拉斯算子,*表示卷积操作,F表示输入图像;将所述步骤S04中得到的低频信息的全局对比度设置为0.001;
步骤S052:通过所述步骤S02中得到的高频信息、所述步骤S03中得到的细节增强图像和所述步骤S04中得到的低频信息R、G、B通道内每个像素的标准差作为饱和度权重WSa为:
Figure FDA0002229151960000043
Figure FDA0002229151960000044
其中,R(x,y),G(x,y),B(x,y)分别表示输入图像F的RGB通道,mean(x,y)表示(x,y)位置的RGB三通道的平均值,WSa(x,y)为(x,y)位置的饱和度权重;
步骤S053:通过期望为0.5的高斯曲线计算每个点的最佳曝光度权重WE,则:
Figure FDA0002229151960000051
Figure FDA0002229151960000052
Figure FDA0002229151960000053
Figure FDA0002229151960000054
步骤S054:对每个融合输入图像,将对比度权重WLa,饱和度权重WSa和最佳曝光度权重WE对应像素点的值相乘,公式如下:
Figure FDA0002229151960000055
得到一个二维权重图WK,对权重图进行归一化,公式为:
Figure FDA0002229151960000056
其中,xy分别表示(x,y)像素点,k表示第k个输入图像,N表示N个输入图像。
7.根据权利要求1所述的一种多尺度融合图像特征信息的水下图像增强方法,其特征还在于:所述步骤S06中的多尺度融合包括以下步骤:
步骤S061:通过Laplacian金字塔分解输入图像I,使用
Figure FDA0002229151960000057
表示;通过Gaussian金字塔分解归一化后的最终权重图
Figure FDA0002229151960000058
使用
Figure FDA0002229151960000059
表示,其中上标l表示第l层;
步骤S062:将得到的金字塔按照下式逐个像素进行融合:
Figure FDA00022291519600000510
其中,L{F}表示输出图的第l层Laplacian金字塔;
步骤S063:重建输出图的Laplacian金字塔,得到融合图。
8.根据权利要求1所述的一种多尺度融合图像特征信息的水下图像增强方法,其特征还在于:所述步骤S02中高斯型同态滤波中的D0=2,Rh=2.5,Rl=0.3,c=3.5。
9.根据权利要求1所阐述的一种多尺度融合图像特征信息的水下图像增强方法,其特征还在于:所述步骤S04中的Gamma校正中的γ=0.5。
10.根据权利要求1所阐述的一种多尺度融合图像特征信息的水下图像增强方法,其特征在于:所述步骤S05中的提取最终权重中高斯曲线的σ=0.2。
CN201910961740.4A 2019-10-11 2019-10-11 一种多尺度融合图像特征信息的水下图像增强方法 Active CN110889812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910961740.4A CN110889812B (zh) 2019-10-11 2019-10-11 一种多尺度融合图像特征信息的水下图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910961740.4A CN110889812B (zh) 2019-10-11 2019-10-11 一种多尺度融合图像特征信息的水下图像增强方法

Publications (2)

Publication Number Publication Date
CN110889812A true CN110889812A (zh) 2020-03-17
CN110889812B CN110889812B (zh) 2023-05-09

Family

ID=69746097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910961740.4A Active CN110889812B (zh) 2019-10-11 2019-10-11 一种多尺度融合图像特征信息的水下图像增强方法

Country Status (1)

Country Link
CN (1) CN110889812B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111541886A (zh) * 2020-05-15 2020-08-14 珠海罗博飞海洋科技有限公司 一种应用于浑浊水下的视觉增强系统
CN111741227A (zh) * 2020-06-24 2020-10-02 浙江大华技术股份有限公司 一种曝光参数的调节方法及装置
CN111968054A (zh) * 2020-08-14 2020-11-20 中国海洋大学 基于潜在低秩表示和图像融合的水下图像颜色增强方法
CN112019774A (zh) * 2020-08-10 2020-12-01 中国科学院光电技术研究所 一种红外高位宽数字图像的高质量显示方法
CN112801925A (zh) * 2021-01-12 2021-05-14 扬州大学 基于信息熵最大化消除水波纹影响的水下图像增强方法
CN113256548A (zh) * 2021-06-08 2021-08-13 汪知礼 一种多尺度图形识别方法及系统
WO2022067762A1 (zh) * 2020-09-30 2022-04-07 深圳市大疆创新科技有限公司 图像处理方法、装置、拍摄设备、可移动平台及计算机可读存储介质
CN116894795A (zh) * 2023-09-11 2023-10-17 归芯科技(深圳)有限公司 图像处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090169102A1 (en) * 2007-11-29 2009-07-02 Chao Zhang Multi-scale multi-camera adaptive fusion with contrast normalization
CN107220956A (zh) * 2017-04-18 2017-09-29 天津大学 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法
CN110175964A (zh) * 2019-05-30 2019-08-27 大连海事大学 一种基于拉普拉斯金字塔的Retinex图像增强方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090169102A1 (en) * 2007-11-29 2009-07-02 Chao Zhang Multi-scale multi-camera adaptive fusion with contrast normalization
CN107220956A (zh) * 2017-04-18 2017-09-29 天津大学 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法
CN110175964A (zh) * 2019-05-30 2019-08-27 大连海事大学 一种基于拉普拉斯金字塔的Retinex图像增强方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YA\'NAN YANG 等: ""Improved retinex image enhancement algorithm based on bilateral filtering"", 《PROCEEDINGS OF 2015 4TH INTERNATIONAL CONFERENCE ON MECHATRONICS,MATERIALS,CHEMI;STRY AND COMPUTER ENGINEERING (ICMMCCE 2015)》 *
司马紫菱 等: ""基于模拟多曝光融合的低照度图像增强方法"", 《计算机应用》 *
张卫东 等: ""水下多智能体群协调控制仿真分析"", 《舰船科学技术》 *
王从政: ""基于水下耐辐照相机的燃料组件变形双目检测系统研究"", 《中国博士学位论文全文数据库 工程科技II辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111541886A (zh) * 2020-05-15 2020-08-14 珠海罗博飞海洋科技有限公司 一种应用于浑浊水下的视觉增强系统
CN111741227A (zh) * 2020-06-24 2020-10-02 浙江大华技术股份有限公司 一种曝光参数的调节方法及装置
CN111741227B (zh) * 2020-06-24 2021-06-15 浙江大华技术股份有限公司 一种曝光参数的调节方法及装置
CN112019774A (zh) * 2020-08-10 2020-12-01 中国科学院光电技术研究所 一种红外高位宽数字图像的高质量显示方法
CN111968054A (zh) * 2020-08-14 2020-11-20 中国海洋大学 基于潜在低秩表示和图像融合的水下图像颜色增强方法
CN111968054B (zh) * 2020-08-14 2022-06-24 中国海洋大学 基于潜在低秩表示和图像融合的水下图像颜色增强方法
WO2022067762A1 (zh) * 2020-09-30 2022-04-07 深圳市大疆创新科技有限公司 图像处理方法、装置、拍摄设备、可移动平台及计算机可读存储介质
CN112801925A (zh) * 2021-01-12 2021-05-14 扬州大学 基于信息熵最大化消除水波纹影响的水下图像增强方法
CN112801925B (zh) * 2021-01-12 2023-08-18 扬州大学 基于信息熵最大化消除水波纹影响的水下图像增强方法
CN113256548A (zh) * 2021-06-08 2021-08-13 汪知礼 一种多尺度图形识别方法及系统
CN116894795A (zh) * 2023-09-11 2023-10-17 归芯科技(深圳)有限公司 图像处理方法及装置
CN116894795B (zh) * 2023-09-11 2023-12-26 归芯科技(深圳)有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
CN110889812B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN110889812A (zh) 一种多尺度融合图像特征信息的水下图像增强方法
Bai et al. Underwater image enhancement based on global and local equalization of histogram and dual-image multi-scale fusion
CN110175964B (zh) 一种基于拉普拉斯金字塔的Retinex图像增强方法
Zhou et al. Underwater image enhancement method via multi-feature prior fusion
Lu et al. Underwater image enhancement using guided trigonometric bilateral filter and fast automatic color correction
CN110689587B (zh) 一种基于颜色校正和细节增强的水下图像增强方法
Vasamsetti et al. Wavelet based perspective on variational enhancement technique for underwater imagery
CN111047530B (zh) 基于多特征融合的水下图像颜色校正和对比度增强方法
CN110689504B (zh) 一种基于二次引导透射图的水下图像复原方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN113724164A (zh) 一种基于融合重构制导滤波的可见光图像噪声去除方法
Kansal et al. Fusion-based image de-fogging using dual tree complex wavelet transform
Hmue et al. Image enhancement and quality assessment methods in turbid water: A review article
Mageshwari et al. Underwater image re-enhancement with blend of simplest colour balance and contrast limited adaptive histogram equalization algorithm
Zhou et al. Multiscale fusion method for the enhancement of low-light underwater images
CN113256533B (zh) 基于msrcr的自适应低照度图像增强方法及系统
Subah et al. Underwater image enhancement based on fusion technique via color correction and illumination adjustment
Saleem et al. Survey on color image enhancement techniques using spatial filtering
Malik et al. Contrast enhancement and smoothing of CT images for diagnosis
CN115660968A (zh) 一种基于相机成像原理的低照度图像增强方法
Dhanya et al. L-CLAHE intensification filter (L-CIF) algorithm for underwater image enhancement and colour restoration
CN113012067A (zh) 基于Retinex理论和端到端深度网络的水下图像复原方法
Prasenan et al. A Study of Underwater Image Pre-processing and Techniques
Elhefnawy et al. Effective visibility restoration and enhancement of air polluted images with high information fidelity
Sachin et al. Underwater Image Enhancement Using Color Correction and Fusion Check for updates

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant