CN107507145B - 一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法 - Google Patents
一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法 Download PDFInfo
- Publication number
- CN107507145B CN107507145B CN201710739280.1A CN201710739280A CN107507145B CN 107507145 B CN107507145 B CN 107507145B CN 201710739280 A CN201710739280 A CN 201710739280A CN 107507145 B CN107507145 B CN 107507145B
- Authority
- CN
- China
- Prior art keywords
- formula
- stretching
- image
- max
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000003044 adaptive effect Effects 0.000 claims abstract description 26
- 238000009826 distribution Methods 0.000 claims abstract description 24
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 13
- 230000002146 bilateral effect Effects 0.000 claims abstract description 4
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000014509 gene expression Effects 0.000 claims description 11
- 239000004744 fabric Substances 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000012937 correction Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 238000006731 degradation reaction Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241001474374 Blennius Species 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Abstract
本发明涉及一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法,对GB两通道进行基于Gray‑World理论的均衡化,初步得出调整后水下图像。然后分析水下图像RGB通道的分布特性,以及RGB三通道在水中传播时的衰减情况,提出在RGB颜色空间进行基于自动参数获取的自适应直方图拉伸的方法并对三个通道采用双边滤波器以减少噪声的影响。接下来,将RGB颜色空间转换到CIE‑Lab颜色空间,并对‘L’,‘a’和‘b’三个分量分别进行自适应直方图拉伸。最终,经增强后的水下图像呈现出高对比度、均衡的饱和度和亮度。本发明的图像增强计算复杂度较低,主要适用于包括水下生物、海底考古、水下捕捞和目标检测等多种水下图像。
Description
技术领域
本发明涉及水下图像增强技术领域,具体地说,是一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法。
背景技术
海洋世界蕴含着大量的资源,在陆地人口暴增、资源日趋枯竭、环境急剧恶化等问题下,开发和保护海洋是一项重要的、具有战略意义的选择。海洋信息的传输、获取和处理等理论实践对合理开发和保护海洋生态、海洋资源、海洋多样性都起到了关键作用。
水下图像是海洋信息的重要载体,然而与自然环境下的图像相比,水下图像的成像原理更加复杂、对比度低、可视性差。这些因素都对海洋生态、海洋资源、海洋多态性等研究带来阻碍。还原清晰、真实的水下图像对于海洋世界的研究具有重要意义。造成水下图像退化的原因主要有以下几个方面。1)光在水中传播呈指数衰减并且不同波长的光在水中传播时具有不同的衰减率,这些原因造成图像对比度低、模糊不清和颜色失真等问题。2)受水下悬浮颗粒和水中溶解的有机质的影响,拍摄的水下图像具有较大的噪声。3)为了提高水下成像范围,人造光源往往会被当作辅助光源,会给图像引入非均匀光照,导致拍摄的水下图像中心具有明亮的光斑、四周光照不足。
目前,水下图像清晰化技术大致可以分为两类:水下图像增强方法和水下图像复原方法。水下图像增强方法并不考虑水下成像原理,主要通过调整图像中的像素值来调整对比度和颜色,从而获得水下图像更多的信息和细节。水下图像复原方法通常是基于水下成像物理模型,分析水下图像退化机理,估计成像模型参数并以反补偿等方式恢复出清晰自然的水下图像。近几年来水下图像清晰化技术已经取得了显著的效果,并且受到了广泛的应用。
水下图像增强方法往往不考虑图像的成像机制只关注于调整图像的像素值来实现图像增强效果。2003年,Chambah等人提出一种具有较好的非监督性和鲁棒性的水下图像颜色修正方法。实验表明该方法实际应用于水下图像分割和特征提取时,可以取得较好的效果。2005年,Torres-Mendez等人使用马尔可夫随机场描述颜色失真的水下图像和对应真实图像之间的关系,从统计先验的角度恢复水下图像的真实颜色,并且从不同水下场景中获得的实验数据验证了该方法的可行性和有效性。2007年,Iqbal等人提出一种简单有效的水下图像增强算法,该方法基于直方图拉伸算法。针对水下图像颜色衰减和对比度丢失的问题,首先在RGB颜色空间拉伸衰减严重的红绿色分量直方图,之后在HSI颜色空间拉伸图像的饱和度和亮度,从而提高水下图像的对比度和颜色。2010年,Iqbal等人提出一种基于颜色平衡和对比度修正的非监督水下图像增强算法。Iqbal等人提出的这两种算法至今仍被广泛研究和使用。2013年,Henke等人通过分析经典彩色恒常算法应用于水下图像时遇到的问题,提出一种基于特征的彩色恒常假设算法来修正水下图像的颜色偏差。该方法基于灰度世界假设条件,首先分离水下图像的前景和背景,并采用白平衡算法仅针对前景区域进行相应处理。2015年,Ghani等人在Iqbal等人提出的水下图像增强算法的基础上,对其进行修正和改进。改进方法与多种水下图像增强算法进行定性和定量的比较,比较结果具有较大的优势。
基于物理模型的方法是指对水下图像的退化过程进行数学建模,通过估计模型参数,反演退化过程获得清晰的水下图像,属于图像复原范畴。2006年,Trucco等人基于简化的Jaff-McGlamery水下成像数学模型提出一种自调的水下图像复原滤波器。该方法基于两种理想的假设条件:水下图像受到均匀光照并且只受到前向散射的影响。成像参数基于最大化全局对比度进行最优化估计,进而反演退化过程获得清晰的水下图像。实验结果表明该方法可以某种程度上降低图像受到的光照散射影响。然而,该方法的假设条件限制其实际应用。2007年,Hou等人将水下光学属性与传统图像复原方法相结合,假设水下图像的模糊是由水体以及悬浮颗粒引起的光照散射所导致的。该方法通过估计光照散射参数,采用反卷积的方式复原水下图像。2010年,Carlevaris-Bianco等人研究发现不同颜色的光照在水下传播时衰减层度不同。通过该物理属性来估计成像场景深度,进而移除光照散射对水下图像造成的影响。2012年,Chiang等人采用经典的图像(暗通道先验特性)去雾算法并结合水下光选择性衰减的特点,提出一种水下图像复原方法。该方法除了可以有效提高水下图像的清晰度和颜色保真度以外,还可以降低人造光源对水下图像造成的非均匀的影响。2013年,Wen等人提出一种新的水下光学成像数学模型,并根据提出的模型估计散射率和背景光,通过反演推导出清晰的水下图像。2014年,Serikawa等人沿着光照传播路径进行能量补偿来解决水下图像受到的散射和颜色偏差等影响。2015年,Galdran等人提出一种红信道方法来恢复水下图像丢失的对比度。该方法是经典的图像去雾模型-暗通道的变形。实验结果表明该算法可以有效地处理人造光区域,提高图像颜色真实度。2016年,Li等人提出一种解决水下图像颜色偏差和对比度丢失的复原方法。实验结果表明提出的方法可以有效移除水下图像的颜色偏差,提高其对比度和清晰度,与此同时可以恢复出水下图像原有的自然表面。
基于物理模型的图像复原方法不能够满足实际环境的应用,需要的方法往往具有实时性,研究发现目前大部分的基于物理模型的图像复原方法都需要较长的处理时间,这一方面需要进行优化和提高。但现有方法的鲁棒性和自适应能力不足,应用在不同类型的退化图像不能自适应做出调整,而理想的水下图像增强方法应该做到针对不同的水下应用场景和不同类型的退化图像做出自适应的调整,不应受到应用场景和外界条件的限制,具有较好的鲁棒性和自适应能力。
综上所述,不管是基于物理模型还是非物理模型,现有的方法在兼顾图像增强复原中的有效性、实时性和鲁棒性等方面仍然存在问题。需要一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法,使得经增强后的水下图像呈现出高对比度、均衡的饱和度和亮度。而关于在这种方法目前还未见报道。
发明内容
本发明的目的是针对现有的方法在兼顾图像增强复原中的有效性、实时性和鲁棒性等方面仍然存在问题,提供一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法,使得经增强后的水下图像呈现出高对比度、均衡的饱和度和亮度。
为实现上述目的,本发明采取的技术方案是:
一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法,所述方法包括以下步骤:
步骤S1,基于灰度世界的猜想对GB通道进行简单的颜色均衡化;
步骤S2,步骤S2中包括以下步骤:
步骤S21,获取原始图像的拉伸区间;
步骤S22,获取期望的拉伸区间;
步骤S23,在RGB颜色空间进行自适应直方图拉伸;
步骤S24,将双边滤波器应用于RGB三通道;
步骤S3,在CIE-Lab颜色空间中的自适应拉伸。
作为一种优选的技术方案,步骤S1中拆分输入图像的R-G-B三个通道,通过第一公式、第二公式、第三公式对G-B通道进行颜色均衡化,依据灰度世界猜想理论,将G-B两个通道进行初步纠正;
所述第一公式为:((Ravg+Gavg+Bavg))/3=0.5
其中Ravg,Gavg,Bavg分别表示红色、绿色和蓝色的归一化平均值
所述第二公式为:
第二公式是用来计算G-B颜色通道的颜色均衡化系数θg与θb,M和N代表这幅图像的空间分辨率,G-B两个通道分别乘以θg,θb两个参数;
所述第三公式为:
G'=θg*G
B'=θb*B
其中G、B为原像素点,G'、B'为调整后的像素点。
作为一种优选的技术方案,步骤S21中计算原始图像拉伸区间的具体方法如下:根据RGB三通道的直方图分布,采用瑞利分布的概率表达式计算众数a、众数的位置,并根据第五公式以众数为分界点计算前后0.1%的参数Imin,Imax,其中可见光在水中传播的衰减程度tλ(x),得出动态的期望拉伸范围[Omin,Omax];
所述第五公式为:
Imin=S.sort[S.sort.index(a)*0.1%]
Imax=S.sort[-(S.length-S.sort.index(a))*0.1%]
其中,S是R-G-B每个通道的像素集,S.sort是S像素集的正向排列,S.length是S像素集的数量大小,S.sort.index(a)是直方图分布中众数的索引值,S.sort[x]代表从小到大排列像素集中索引为x的值。
作为一种优选的技术方案,步骤S22中计算期望的拉伸区间的方法具体如下:
首先,根据第六公式计算瑞利分布的标准偏差σλ;
根据第七公式定义期望范围的最小值Oλmin,并依据第八公式和第六公式将第七公式简化成第九公式;
根据简化的成像模型,将待去雾的图像Iλ(x)通过第十公式复原;
当复原图像Jλ(x)最大时,期望范围的最大值Omax能够通过公式十一获得;
当Bλ=0时,Jλ(x)得到最大值,对于不同通道的最大期望值Oλmax定义为第十二公式;
在第十二公式基础之上,Nrer(λ)对于RGB通道分别设定为0.83,0.95,0.97,通过公式十三,得到水中衰减度tλ(x);
基于Oλmax的范围值,系数μλ满足第十四公式:
其中λ∈{R,G,B}显示为R或G或B通道,a为某一个通道的众数;
所述第七公式为:
Oλmin=aλ-βλ*σλ,0≤Oλmin≤Iλmin
所述第八公式为:
所述第九公式为:Oλmin=aλ-σλ
所述第十公式为:
其中,κ=1.1和κ=0.9分别表示为红色、蓝绿色通道的经验值
所述第十一公式为:
所述第十二公式为:
所述第十三公式为:
tλ(x)=Nrer(λ)d(x)
其中d(x)确定为3米,表示为场景和照相机之间的距离
所述第十四公式为:
当μλ有多个解时,选定所有解的平均值,当μλ没有解的时候,设定Oλmax为255。
作为一种优选的技术方案,步骤S23中自适应直方图拉伸包括以下四种拉伸情况:
(1)当a≤Imin并且μλ无解时,将使用全局直方图拉伸公式,并且选取前后[0.1%,99.9%]的像素点作为拉伸范围,前后各0.1%的点分别设定为0和255;
(2)当a≥Imin但是μλ无解时,将分成两部分拉伸;
第一步:前0.1%的像素点采用以下第十五公式
所述第十五公式为:
其中pin,pout分别代表了输入和输出像素值,I'min是整个像素集的最小值,Omin为期望拉伸最小值;
第二步:后99.9%的像素采用拉伸公式(3),其中拉伸范围为[Omin,255];
其中pin,pout分别代表了输入和输出像素值,Imin是第五公式中代表的像素值,Omin为期望拉伸最小值,Omax为255.
(3)当a≤Imin但是μλ有解时,其步骤如下:
第一步:前99.9%的像素点采用以下公式:
其中,pin,pout分别代表了输入和输出像素值,Imin是第五公式中代表的像素值,Omin为期望拉伸最小值,Omax为255
第二步:后0.1%的像素采用如下拉伸公式,其中拉伸范围为[Omax,255]
其中,pin,pout分别代表了输入和输出像素值,I′max是整个像素集的最大值,Omax为期望拉伸最大值;
(4)当a≥Imin并且μλ有解时,βλ=1是确定值,一旦出现μλ有多个值,选取其平均值作为最后参数,依次的得出最小像素值Omin和最大像素值Omax;
其中Oλmin=aλ-σλ;Iλ=aλ+μλ*σλ,接下来分三段拉伸:
第一段:前0.1%的像素集的拉伸区间采用公式十六
所述公式十六为:
其中pin,pout分别代表了输入和输出像素值,Omin为期望拉伸最小值,Imin是原图像拉伸最小值;
第二段:最小的0.1%到最大的0.1%的像素集
其中pin,pout分别代表了输入和输出像素值,(Imin,Imax)代表原图像拉伸区间,(Omin,Omax)代表获取期望的拉伸区间;
第三段:后0.1%的像素集的拉伸区间采用第十七公式
所述第十七公式为:
其中pin,pout分别代表了输入和输出像素值,Imax是原图像拉伸最大值,Omax是期望拉伸最大值。
作为一种优选的技术方案,步骤S3中在CIE-Lab颜色空间中的自适应拉伸:首先将水下图像转化为CIE-Lab颜色空间模型,其中‘L’分量等价于图像亮度。
作为一种优选的技术方案,步骤S3中,对‘L’分量进行自适应直方图拉伸,提高图像亮度,且拉伸采用线性平滑拉伸,线性平滑拉伸的方法的主要依据公式:
其中,需要拉伸的范围限定在最大和最小范围的0.1%,[Omin,Omax]的范围为[0,100],整幅图像的前后0.1%分别设定为0和100,a’和‘b’两个分量的范围为[-128,127],其中0是中间值。
作为一种优选的技术方案,步骤S3中对‘a’和‘b’两个分量采用第十八公式进行自适应调整;
所述第十八公式为:
本发明优点在于:
1、海洋资源丰富、海洋生态多种多样,增强水下图像的对比度、饱和度、亮度,提高图像的可视性对于海洋资源开发及其保护都起到关键作用。研究表明经增强后的水下图像不仅可以提高图像质量,而且能够应用于目标识别、目标分类中,有效提高图像分类、图像识别精度。本发明对于水下地表、水生物、考古遗物等各类图像均有良好的增强效果,同时有助于水下对象(如鱼类、海藻)特征提取、对象识别和跟踪,以及水下导航定位等。而且,本发明技术上简单易用(计算复杂度低),主要适用于包括水下生物、海底考古、水下捕捞和目标检测等多种水下图像,不仅可以对本地图像快速自动纠正、图像复原,代码经过优化可以直接嵌入在图像拍摄端,实现实时自动图像增强,具有很高的实用价值。
2、研究水下图像中RGB通道的直方图分布状况以及各通道在水下传播中的衰减状况,并结合物理模型和非物理模型,完成全局直方图拉伸的优化和改进,提高图像增强的鲁棒性。采用双边滤波器对图像去噪以提高输出图像的可视性。
本发明的一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法经过RGB和CIE-Lab颜色空间的自适应直方图拉伸后,可以得到高对比度、平衡化、饱和化的清晰图像。
附图说明
附图1是本发明的一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法流程框图。
附图2是采用本发明的方法处理的图像与其它方式处理图像的效果对比图。
具体实施方式
下面结合附图对本发明提供的具体实施方式作详细说明。
请参照图1,图1是本发明的一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法流程框图。一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法,所述方法包括以下步骤:
步骤S1,基于灰度世界的猜想对GB通道进行简单的颜色均衡化
((Ravg+Gavg+Bavg))/3=0.5 (1)
其中Ravg,Gavg,Bavg分别表示红色、绿色和蓝色的归一化平均值。
依据GW猜想理论,纠正G-B颜色通道。因为在水中的红光很难通过简单的颜色均衡化进行补偿,因此不把红色通道作为纠正对象。如果将红色通道考虑在内,输出图像可能存在过饱和现象。公式(2)是用来计算G-B颜色通道的颜色均衡化系数θg与θb,M和N代表这幅图像的空间分辨率。G-B两个通道分别乘以θg,θb两个参数,得到下面的调整后的像素。
其中G、B为原像素点,G'、B'为调整后的像素点。
该步骤需要说明的是:在水下环境中,图像很少呈现正确的平衡颜色,多呈现蓝绿色,红色区域相对较暗。2010年,Iqbal等人提出使用非监督颜色纠正模型的方法增强低质量的图像。RGB颜色均衡化的主要步骤是采用蓝色作为标准并分别对绿蓝色进行纠正,这时绿蓝色分别都乘上均衡化系数,实现图像平衡化。2015年,Shahrizan等人采用VonKrieshypothesis的变形式对RGB三通道进行颜色均衡化,其中选取三个通道中的中间值作为平衡标准并对另两个通道进行纠正。以上方法的颜色均衡化都存在一定的风险,一旦红色通道分量过小,很容易就产生红色过饱和现象,直接带来图像增强失败。
本方法中首先将R-G-B三通道拆分,接着对水下图像进行颜色均衡化;受到灰度世界假设理论的启发,可得知一个在灰度世界完美彩色图像的平均值是0.5。由于红色通道比蓝绿色通道的衰减厉害,因此红色通道不可以作为修正对象。所以本方法首先基于灰度世界的假设对G-B两个通道进行初步纠正。
步骤2:在RGB颜色空间中的自适应直方图拉伸
第一步:计算原始图像拉伸区间
根据多种水下图像的直方图分布,能够发现RGB三通道的直方图分布与瑞利分布很相似,瑞利分布的概率表达式(4)。
计算RGB三通道在瑞利分布时的众数a、众数的位置、前后0.1%的参数Imin,Imax。其中可见光在水中传播的衰减程度tλ(x),得出动态的期望拉伸范围[Omin,Omax]。
Imin=S.sort[S.sori.index(a)*0.1%]
Imax=S.sort[-(S.length-S.sort.index(a))*0.1%] (5)
其中,S是R-G-B每个通道的像素集,S.sort是S像素集的正向排列,S.sort.index(a)是直方图分布中众数的索引值,S.sort[x]代表从小到大排列像素集中索引为x的值。
第二步:计算期望的拉伸区间
对应上图的(2.2),首先计算瑞利分布的标准偏差σλ,在表达式(6)所示。
其中λ∈{R,G,B}显示为R或G或B通道,a某一个通道的众数。定义期望范围的最小值Oλmin,在表达式(7)中所示。
Oλmin=aλ-βλ*σλ,0≤Oλmin≤Iλmin (7)
其中,βλ能够通过表达式(6)、(7)可以计算获得。
在表达式(8)的右边,因为a≥Imin,可以获得0≤βλ。将表达式(6)带入到表达式(8)的右边,可以获得βλ≤1.526。定义βλ∈Z,这是βλ只有一个解βλ=1,所以表达式(7)可以被简化成表达式(9)。
Oλmin=aλ-σλ (9)
因为光线在水中传播表现出不同衰减等级,对于求取期望的最大范围,必须单独分析R-G-B三个通道的特性分别计算获得。根据简化的成像模型(1),将待去雾的图像Iλ(x)能够通过方程式(10)复原。
其中,κ=1.1和κ=0.9分别表示为红色、蓝绿色通道的经验值。当复原图像Jλ(x)最大时,期望范围的最大值Omax能够通过方程式(11)获得。
当Bλ=0时,Jλ(x)得到最大值。对于不同通道的最大期望值Oλmax定义为公式(12).
这时,Nrer(λ)对于RGB通道分别设定为0.83,0.95,0.97,tλ(x)使用公式(13)获得
tλ(x)=Nrer(λ)d(x) (13)
其中d(x)确定为3米,表示为场景和照相机之间的距离。在各通道直方图分布中,中Iλ可以被表示为众数右边的数,可以写成如下形式:aλ+μr*σλ。
基于Oλmax的范围值,系数μλ满足如下不等式(14)。
在方程式(14)中,μλ在整数域中可能没有解。当μλ有多个解时,选定所有解的平均值。当μλ没有解的时候,简单地设定Oλmax为255。
对应上图的(2.3),具体介绍四种拉伸情况。
(1)当a≤Imin并且μλ无解时,将使用全局直方图拉伸公式(3),并且选取前后[0.1%,99.9%]的像素点作为拉伸范围,前后各0.1%的点分别设定为0和255。
(2)当a≥Imin但是μλ无解时,将分成两部分拉伸。
第一步:前0.1%的像素点采用以下公式
其中pin,pout分别代表了输入和输出像素值,I'min是整个像素集的最小值,Omin为期望拉伸最小值。
第二步:后99.9%的像素采用拉伸公式(3),其中拉伸范围为[Omin,255]。
其中pin,pout分别代表了输入和输出像素值,Imin是公式(5)中代表的像素值,Omin为期望拉伸最小值,Omax为255.
(3)当a≤Imin但是μλ有解时,其步骤具体步骤如下:
第一步:前99.9%的像素点采用以下公式:
其中,pin,pout分别代表了输入和输出像素值,Imin是第五公式中代表的像素值,Omin为期望拉伸最小值,Omax为255
第二步:后0.1%的像素采用如下拉伸公式,其中拉伸范围为[Omax,255]
其中,pin,pout分别代表了输入和输出像素值,I′max是整个像素集的最大值,Omax为期望拉伸最大值;
(4)当a≥Imin并且μλ有解时,βλ=1是确定值,一旦出现μλ有多个值,选取其平均值作为最后参数。因此可以依次的得出最小像素值Omin和最大像素值Omax。
其中Oλmin=aλ-σλ;Iλ=aλ+μλ*σλ。接下来分三段拉伸:
第一段:前0.1%的像素集
其中pin,pout分别代表了输入和输出像素值,Omin为期望拉伸最小值,Imin是原图像拉伸最小值。
第二段:最小的0.1%到最大的0.1%的像素集
其中pin,pout分别代表了输入和输出像素值,(Imin,Imax)代表原图像拉伸区间,(Omin,Omax)代表获取期望的拉伸区间。
第三段:后0.1%的像素集
其中pin,pout分别代表了输入和输出像素值,Imax是原图像拉伸最大值,Omax是期望拉伸最大值。
该步骤需要说明的是:直方图拉伸是通过对比度拉伸对直方图进行调整,从而加大前景和背景灰度的差别,以达到增强对比度的目的。2007年,Iqbal等人将全局直方图拉伸的方法应用在RGB三通道。2010年,Iqbal等人进一步优化全局直方图拉伸的方法,其中,图像的拉伸范围限定在每个通道最小最大范围的0.2%之间,然后图像的直方图拉伸依据原始图像三个通道直方图分布属性采用一边拉伸或者两边拉伸的方法。红色采用上半部分拉伸,绿色采用两边拉伸(全局直方图拉伸),蓝色采用下半部分拉伸。原先的方法和改进后的方法都存在颜色过饱和、欠饱和,产生不可预期的噪声等问题。
因此,本方法考虑三种颜色在水下的传播时的不同衰减、三个通道的直方图分布状况,认为采用全局直方图是盲目的拉伸,不但会造成不可预计的噪点影响图像整体可视度,还会引入伪影导致颜色失真的纠正效果不理想。需要合理考虑到图像的属性以及在水下传播中三种光线的衰减特性,然后根据三个通道的直方图分布进行合理的自适应拉伸。根据大多数水中图像R-G-B通道的直方图分布情况可以看出,红色通道直方图分布在[70,170],然而绿色和蓝色通道的主要集中在[50,210]。通过分析三个通道的不同属性和直方图分布,动态地选择需要拉伸的范围以及期望的拉伸范围。
步骤3:在CIE-Lab颜色空间中的自适应拉伸
对应上图的(3),首先将水下图像转化为CIE-Lab颜色空间模型,其中‘L’分量等价于图像亮度(L=100最亮,L=0最暗),当a=0,b=0时,颜色通道将呈现中性灰度值。因此,‘a’和‘b’分量的输出色渐变梯度通过调整可以得到正确的纠正色,然而‘L’分量用来调整整幅图像的亮度。
通过分析‘L’分量的直方图分布特性,采用线性平滑拉伸的方法,主要依据公式(3)。
其中,需要拉伸的范围限定在最大和最小范围的0.1%,[Omin,Omax]的范围为[0,100]。整幅图像的前后0.1%分别设定为0和100。
‘a’和‘b’两个分量的范围为[-128,127],其中0是中间值,对‘a’和‘b’两个分量采用方程式(18)拉进行自适应调整。
其中Iχ和pχ分别表示为输入和输出值。χ∈{a,b}表示‘a’和‘b’两个分量。在论文中,是一个最优的实验结果值,确定为1.3。公式(18)使用一个指数函数作为一个拉伸系数,并且Iχ越接近于0,拉伸幅度越大。
经过RGB和CIE-Lab颜色空间的自适应直方图拉伸后,可以得到高对比度、平衡化、饱和化的清晰图像。
该步骤需要说明的是:首先将水下图像转化为CIE-Lab颜色空间模型,其中‘L’分量等价于图像亮度(L=100最亮,L=0最暗),当a=0,b=0时,颜色通道将呈现中性灰度值。因此,‘a’和‘b’分量输出色的渐变梯度通过调整可以得到正确的纠正色,‘L’分量用来调整整幅图像的亮度。
通过分析‘L’分量的直方图分布特性,采用线性平滑拉伸的方法,主要依据公式(3)。其中需要拉伸的范围限定在最大和最小范围的0.1%,拉伸后的范围为[0,100]。整幅图像的前后0.1%分别设定为0和100。‘a’和‘b’两个分量的范围为[-128,127],其中0是中间值,对‘a’和‘b’两个分量进行自适应调整。
图像中的亮度和颜色是决定图像清晰度和可见度的重要参数。所以,图像中的目标能够很清晰地与背景区分。在CIE-Lab颜色空间对三个分量进行自适应拉伸后,再将各个通道组合并转换到RGB颜色空间。这样对比度增强、颜色纠正后的输出图像就可以得到了。
本发明的一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法经过RGB和CIE-Lab颜色空间的自适应直方图拉伸后,可以得到高对比度、平衡化、饱和化的清晰图像(见图2,图2是采用本发明的方法处理的图像与其它方式处理图像的效果对比图)。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明方法的前提下,还可以做出若干改进和补充,这些改进和补充也应视为本发明的保护范围。
Claims (5)
1.一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法,所述方法包括以下步骤:
步骤S1,基于灰度世界的猜想对GB通道进行简单的颜色均衡化;
步骤S2,步骤S2中包括以下步骤:
步骤S21,获取原始图像的拉伸区间;其中,计算原始图像拉伸区间的方法如下:
根据RGB三通道的直方图分布,采用瑞利分布的概率表达式计算众数a、众数的位置,并根据第五公式以众数为分界点计算前后0.1%的参数Imin,Imax,其中可见光在水中传播的衰减程度tλ(x),得出动态的期望拉伸范围[Omin,Omax];
所述第五公式为:
Imin=S.sort[S.sort.index(a)*0.1%]
Imax=S.sort[-(S.length-S.sort.index(a))*0.1%]
其中,S是R-G-B每个通道的像素集,S.sort是S像素集的正向排列,S.length是S像素集的数量大小,S.sort.index(a)是直方图分布中众数的索引值,S.sort[x]代表从小到大排列像素集中索引为x的值;
步骤S22,获取期望的拉伸区间,包括:
根据第六公式计算瑞利分布的标准偏差σλ;
其中λ∈{R,G,B}显示为R或G或B通道,a为某一个通道的众数;
根据第七公式定义期望范围的最小值Oλmin,并依据第八公式和第六公式将第七公式简化成第九公式;
所述第七公式为:
Oλmin=aλ-βλ*σλ,0≤Oλmin≤Iλmin
所述第八公式为:
所述第九公式为:Oλmin=aλ-σλ
根据简化的成像模型,将待去雾的图像Iλ(x)通过第十公式复原;
所述第十公式为:
其中,κ=1.1和κ=0.9分别表示为红色、蓝绿色通道的经验值
当复原图像Jλ(x)最大时,期望范围的最大值Omax能够通过第十一公式获得;
所述第十一公式为:
当Bλ=0时,Jλ(x)得到最大值,对于不同通道的最大期望值Oλmax定义为第十二公式;
所述第十二公式为:
在第十二公式基础之上,Nrer(λ)对于RGB通道分别设定为0.83,0.95,0.97,通过第十三公式,得到水中衰减度tλ(x);
所述第十三公式为:
tλ(x)=Nrer(λ)d(x)
其中d(x)确定为3米,表示为场景和照相机之间的距离;
基于Oλmax的范围值,系数μλ满足第十四公式:
所述第十四公式为:
当μλ有多个解时,选定所有解的平均值,当μλ没有解的时候,设定Oλmax为255;
步骤S23,在RGB颜色空间进行自适应直方图拉伸;
(1)当a≤Imin并且μλ无解时,将使用全局直方图拉伸公式,并且选取前后[0.1%,99.9%]的像素点作为拉伸范围,前后各0.1%的点分别设定为0和255;
(2)当a≥Imin但是μλ无解时,将分成两部分拉伸;
第一步:前0.1%的像素点采用以下第十五公式
所述第十五公式为:
其中pin,pout分别代表了输入和输出像素值,I′min是整个像素集的最小值,Omin为期望拉伸最小值;
第二步:后99.9%的像素采用拉伸公式(3),其中拉伸范围为[Omin,255];
其中pin,pout分别代表了输入和输出像素值,Imin是第五公式中代表的像素值,Omin为期望拉伸最小值,Omax为255;
(3)当a≤Imin但是μλ有解时,其步骤如下;
第一步:前99.9%的像素点采用以下公式:
其中,pin,pout分别代表了输入和输出像素值,Imin是公式(5)中代表的像素值,Omin为期望拉伸最小值,Omax为255;
第二步:后0.1%的像素采用拉伸公式(3),其中拉伸范围为[Omax,255];
其中,pin,Pout分别代表了输入和输出像素值,I′max是整个像素集的最大值,Omax为期望拉伸最大值;
(4)当a≥Imin并且μλ有解时,βλ=1是确定值,一旦出现μλ有多个值,选取其平均值作为最后参数,依次的得出最小像素值Omin和最大像素值Omax;
其中Oλmin=aλ-σλ;Iλ=aλ+μλ*σλ,接下来分三段拉伸:
第一段:前0.1%的像素集的拉伸区间采用公式十六;
所述公式十六为:
其中pin,pout分别代表了输入和输出像素值,Omin为期望拉伸最小值,Imin是原图像拉伸最小值;
第二段:最小的0.1%到最大的0.1%的像素集;
其中pin,pout分别代表了输入和输出像素值,(Imin,Imax)代表原图像拉伸区间,(Omin,Omax)代表获取期望的拉伸区间;
第三段:后0.1%的像素集的拉伸区间采用第十七公式;
所述第十七公式为:
其中pin,pout分别代表了输入和输出像素值,Imax是原图像拉伸最大值,Omax是期望拉伸最大值;
步骤S24,将双边滤波器应用于RGB三通道;
步骤S3,将RGB颜色空间转换为CIE-Lab颜色空间,在CIE-Lab颜色空间中的自适应拉伸。
2.根据权利要求1所述的基于不同颜色空间自适应直方图拉伸的水下图像增强方法,其特征在于,步骤S1中拆分输入图像的R-G-B三个通道,通过第一公式、第二公式、第三公式对G-B通道进行颜色均衡化,依据灰度世界猜想理论,将G-B两个通道进行初步纠正;
所述第一公式为:((Ravg+Gavg+Bavg))/3=0.5
其中Ravg,Gavg,Bavg分别表示红色、绿色和蓝色的归一化平均值;
所述第二公式为:
第二公式是用来计算G-B颜色通道的颜色均衡化系数θg与θb,M和N代表这幅图像的空间分辨率,G-B两个通道分别乘以θg,θb两个参数;
所述第三公式为:
G′=θg*G
B′=θb*B
其中G、B为原像素点,G′、B′为调整后的像素点。
3.根据权利要求1所述的基于不同颜色空间自适应直方图拉伸的水下图像增强方法,其特征在于,步骤S3中在CIE-Lab颜色空间中的自适应拉伸中首先将水下图像转化为CIE-Lab颜色空间模型,其中‘L’分量等价于图像亮度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710739280.1A CN107507145B (zh) | 2017-08-25 | 2017-08-25 | 一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710739280.1A CN107507145B (zh) | 2017-08-25 | 2017-08-25 | 一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107507145A CN107507145A (zh) | 2017-12-22 |
CN107507145B true CN107507145B (zh) | 2021-04-27 |
Family
ID=60693027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710739280.1A Active CN107507145B (zh) | 2017-08-25 | 2017-08-25 | 一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107507145B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108009556B (zh) * | 2017-12-23 | 2021-08-24 | 浙江大学 | 一种基于定点图像分析的河道漂浮物检测方法 |
CN109359513B (zh) * | 2018-08-29 | 2020-10-30 | 中山大学 | 一种基于边缘检测和颜色匹配的异常检测方法 |
US20210319541A1 (en) * | 2018-09-06 | 2021-10-14 | Carmel Haifa University Economic Corporation Ltd. | Model-free physics-based reconstruction of images acquired in scattering media |
CN110211100A (zh) * | 2019-05-20 | 2019-09-06 | 浙江大学 | 一种基于图像的脚参数测量方法 |
CN110415178A (zh) * | 2019-06-06 | 2019-11-05 | 长春理工大学 | 一种基于电磁波能量剩余比以及背景光估计的水下图像清晰化方法 |
CN111127359B (zh) * | 2019-12-19 | 2023-05-23 | 大连海事大学 | 一种基于选择性补偿颜色和三区间均衡的水下图像增强方法 |
CN111275644B (zh) * | 2020-01-20 | 2023-06-02 | 浙江大学 | 一种基于Retinex算法的水下图像增强方法和装置 |
WO2021191896A1 (en) * | 2020-03-23 | 2021-09-30 | Carmel Haifa University Economic Corporation Ltd. | Estimating optical properties of a scattering medium |
CN112907470A (zh) * | 2021-02-05 | 2021-06-04 | 北京理工大学 | 基于Lab色域变换、分类及白平衡的水下图像恢复方法 |
CN113177949B (zh) * | 2021-04-16 | 2023-09-01 | 中南大学 | 一种大尺寸岩石颗粒特征识别方法及装置 |
CN114926359B (zh) * | 2022-05-20 | 2023-04-07 | 电子科技大学 | 联合双颜色空间恢复和多级解码结构的水下图像增强方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102129673A (zh) * | 2011-04-19 | 2011-07-20 | 大连理工大学 | 一种随意光照下彩色数字图像增强和去噪方法 |
CN103996178A (zh) * | 2014-05-30 | 2014-08-20 | 天津大学 | 一种沙尘天气彩色图像增强方法 |
CN107067386A (zh) * | 2017-04-24 | 2017-08-18 | 上海海洋大学 | 一种基于相对全局直方图拉伸的浅海水下图像增强方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101885088B1 (ko) * | 2012-11-22 | 2018-08-06 | 삼성전자주식회사 | 깊이 영상을 이용한 컬러 영상 처리 장치 및 방법 |
-
2017
- 2017-08-25 CN CN201710739280.1A patent/CN107507145B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102129673A (zh) * | 2011-04-19 | 2011-07-20 | 大连理工大学 | 一种随意光照下彩色数字图像增强和去噪方法 |
CN103996178A (zh) * | 2014-05-30 | 2014-08-20 | 天津大学 | 一种沙尘天气彩色图像增强方法 |
CN107067386A (zh) * | 2017-04-24 | 2017-08-18 | 上海海洋大学 | 一种基于相对全局直方图拉伸的浅海水下图像增强方法 |
Non-Patent Citations (1)
Title |
---|
灰度世界算法(Gray World Algorithm)和White Patch Retinex算法;盛夏光年;《CSDN》;20160224;前言和第一部分"灰度世界算法 https://blog.csdn.net/u012736685/article/details/50730784 * |
Also Published As
Publication number | Publication date |
---|---|
CN107507145A (zh) | 2017-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107507145B (zh) | 一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法 | |
CN108053374B (zh) | 一种结合双边滤波与Retinex的水下图像增强方法 | |
CN108596853B (zh) | 基于背景光统计模型和传输地图优化的水下图像增强方法 | |
CN112288658B (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
US9230304B2 (en) | Apparatus and method for enhancing image using color channel | |
CN111968055B (zh) | 一种基于颜色补偿和颜色线先验的水下图像复原算法 | |
CN110689490A (zh) | 一种基于纹理颜色特征和优化透射率的水下图像复原方法 | |
Kumar et al. | An improved Gamma correction model for image dehazing in a multi-exposure fusion framework | |
CN109658343B (zh) | 结合颜色转换和自适应曝光的水下图像增强方法 | |
CN108257101B (zh) | 一种基于最优复原参数的水下图像增强方法 | |
CN111861896A (zh) | 一种面向uuv的水下图像色彩补偿与恢复方法 | |
KR102644946B1 (ko) | 영상 처리 방법 및 장치 | |
Raigonda et al. | Haze Removal Of Underwater Images Using Fusion Technique | |
Zhou et al. | Multiscale fusion method for the enhancement of low-light underwater images | |
CN115393209A (zh) | 一种基于多约束先验的贝叶斯Retinex深海图像增强方法 | |
Dhanya et al. | L-CLAHE intensification filter (L-CIF) algorithm for underwater image enhancement and colour restoration | |
Srinivas et al. | Channel prior based Retinex model for underwater image enhancement | |
Huo et al. | Underwater image restoration based on color correction and red channel prior | |
CN114821021A (zh) | 一种联合多通道均衡与多尺度融合的水下图像增强方法 | |
Mishra et al. | Underwater image restoration using white balance and retinex algorithm | |
CN111292263B (zh) | 一种基于颜色校正和去模糊的图像增强方法 | |
He et al. | Underwater image enhancement based on light attenuation prior and dual-image multi-scale fusion | |
Zheng et al. | An illumination adaptive underwater image enhancement method | |
CN116109513B (zh) | 一种基于局部环境光投影恒常先验的图像去雾方法 | |
Zhang et al. | A two-stage underwater image enhancement method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |