CN107133927B - 超像素框架下基于均值-均方差暗通道的单幅图像去雾方法 - Google Patents
超像素框架下基于均值-均方差暗通道的单幅图像去雾方法 Download PDFInfo
- Publication number
- CN107133927B CN107133927B CN201710263497.XA CN201710263497A CN107133927B CN 107133927 B CN107133927 B CN 107133927B CN 201710263497 A CN201710263497 A CN 201710263497A CN 107133927 B CN107133927 B CN 107133927B
- Authority
- CN
- China
- Prior art keywords
- dark
- image
- formula
- omega
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000011218 segmentation Effects 0.000 claims abstract description 24
- 238000002834 transmittance Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 230000001174 ascending effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 29
- 125000001475 halogen functional group Chemical group 0.000 abstract description 15
- 230000008859 change Effects 0.000 abstract description 6
- 238000007670 refining Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 4
- GWAOOGWHPITOEY-UHFFFAOYSA-N 1,5,2,4-dioxadithiane 2,2,4,4-tetraoxide Chemical compound O=S1(=O)CS(=O)(=O)OCO1 GWAOOGWHPITOEY-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000005457 Black-body radiation Effects 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- YVPYQUNUQOZFHG-UHFFFAOYSA-N amidotrizoic acid Chemical compound CC(=O)NC1=C(I)C(NC(C)=O)=C(I)C(C(O)=O)=C1I YVPYQUNUQOZFHG-UHFFFAOYSA-N 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Abstract
提供一种超像素框架下基于均值‑均方差暗通道的单幅图像去雾方法,步骤如下:按公式(6)计算图像I各颜色通道最小值矩阵Idark,以下简称为灰度矩阵Idark;根据步骤1得到合适的参数T跟k,按公式(5)计算雾去除率ω;对大气光值A进行估计;计算矩阵img=I/A;对矩阵img进行超像素分割,得到成像的场景景深d(x)和大气中介质的散射系数β恒定的若干Ωi;对每个Ωi按照公式(4)计算暗通道,得到将每个Ωi得到的拼接到一起得到整幅图像的暗通道Jdark;通过t=1‑ω*Jdark计算粗透射率t;对粗透射率t进行精细化处理,得到细化后的透射率t*;由公式J=(I‑A)/t*+A得到最终恢复的图像J。本发明方法能够使雾浓度和景深在超像素表述的局部区域内保持不变,克服了景深突变处光环效应的发生,有效缓解景深无穷远处产生的偏色问题。
Description
技术领域
本发明涉及图像处理技术,具体涉及一种超像素框架下基于均值-均方差暗通道的单幅图像去雾方法。
背景技术
雾霾作为一种常见的自然现象是造成图像降质的重要原因,其机理是大气雾霾成分中的小液滴和气溶胶对可见光产生散射,使其无法正常通过空气介质,最终导致成像效果变差,雾霾影响下成像为分割、检测、识别等后续处理带来很大困难,因此如何在视觉上消除雾霾干扰,提升图像能见度是非常必要的。
现有的技术从数据来源上可分为单幅图像和多幅图像,多幅图像的优点是信息丰富,但困难在于需要获得同一场景不同角度的拍摄图像;而单幅图像的特点是信息量有限,但获取相对容易。针对雾霾的去雾方法从理论上可分为基于增强和物理模型两类方法,其中基于增强方法主要通过调整图像对比度来达到去雾霾的效果,在视觉上可改善图像质量,而基于物理模型的方法则是从雾霾对成像结果影响的内在机理出发寻求解决方案。
雾、霾天气下的成像过程可由大气散射物理模型描述为公式(1)的形式,其中I(x)为实际观察到的有雾图像,J(x)为理想条件下的无雾图像,t(x)为大气透射率,A为大气光,且t(x)=e-βd(x),β为大气中介质的散射系数、d(x)为成像的场景景深。
I(x)=J(x)t(x)+A(1-t(x)) (1)
去雾的本质是从I(x)中恢复J(x),由于缺少约束条件,该方程在数学上的求解属于病态反问题,需要从图像数据本身出发做出先验假设,作为模型(1)的约束条件。
现有技术去雾方法以暗通道为基础比较典型的有以下两种技术方案。
1、暗通道优先去雾霾技术方案
为了对公式(1)描述的大气散射模型进行求解,何恺明通过观察大量晴天无雾条件下不含天空区域的图像数据(Kaiming He,Jian Sun,Xiaoou Tang.Single image hazeremoval using dark channel prior[J].IEEE Transactions on Pattern Analysis andMachine Intelligence,2011,33(12):2341-2353.),得到一个经验结论,即对于彩色图像的任意局部区域内,至少存在一个颜色通道Ic(x)的数值非常小,称之为暗通道Jdark(x),可以写成公式(2)的形式,其中Ω(x)是以像素x为中心的区域。
式中c表示任一颜色通道,{r,g,b}表示红、绿、蓝三个颜色通道。
何将(2)式作为(1)式的求解约束条件获得了巨大成功,该理论本质上可看成黑体辐射在可见光图像中的一种体现形式,相当于公式(1)中t(x)→1时得到的结果,但上述暗通道优先理论仍存在以下局限性:
(1)何用公式(2)求解公式(1)时有一个前提条件,要求t(x)在Ω(x)内保持恒定,根据先前分析t(x)与β和d(x)均有关系,而Ω(x)是一个以像素x为中心的方形区域,若选取的Ω(x)包含多个景深,则这个前提条件并不满足,且Ω(x)选取时会相互重叠,导致对t(x)的估计不准确。
(2)当Ω(x)包含多个景深时,在景深突变处会产生光环效应(Halo Effect),这是近景Cf对远景Cb的遮挡引起的,本质上是在景深突变处对Cf和Cb的像素类别区分错误造成的,导致图像局部区域去雾失败。
(3)在大气散射模型中J(x)t(x)被称为“直接衰减项”,A(1-t(x))称为“大气光项”,由t(x)=e-βd(x)可知,当β恒定时这两项对成像结果的贡献比例随d(x)递增呈此消彼长的关系,而暗通道优先理论的去雾效果取决于J(x)t(x)在整个成像中所占的比重,当J(x)t(x)起主导或与A(1-t(x))可比拟时,去雾效果明显,反之则不能达到满意的去雾效果。在极限条件d(x)→∞时,I(x)≈A,此时大气光对成像结果起决定作用,暗通道优先理论失效,说明该理论无法处理天空等大面积明亮区域。
2、中值暗通道去雾霾的技术方案
Gibson等人针对经典暗通道存在的不足(Kristofor B Gibson,Dung T.AnInvestigation of Dehazing Effects on Image and Video Coding[J].IEEETransactions on Image Processing,2012,21(2):662-672.),在其基础上提出了中值暗通道,如公式(3)所示,基本思想是假设Ω(x)内景深d(x)错误的点仅占极少数,当Ω(x)包含多个d(x)时用中值取代最小值抑制光环效应(Halo Effect)的发生。
式中Median(.)代表标准中值滤波函数、I1,I2,...,In代表像素特征值、n代表像素序列取值、Z+表示正整数。
中值暗通道技术的缺点在于:
(1)中值暗通道应用的假设前提不一定成立,即无法保证透射率在Ω(x)内保持恒定。
(2)若Ω(x)内不存在像素占绝对优势的景深,则中值不能够有效抑制光环效应发生。
(3)中值暗通道本质上是避免取最小值,当d(x)→∞时使估计的透射率值较大,一定程度上能够抑制大面积明亮区域出现的偏色问题,但效果仍不理想。
由此可见,在雾霾越来越严重的当下,急需一种有效克服上述方案缺点的去雾方法,以便获得清晰的成像效果。
发明内容
针对现有技术存在的问题,本发明提供一种超像素框架下基于均值-均方差暗通道的单幅图像去雾方法,步骤如下:
Step1.按公式(6)计算图像I各颜色通道最小值矩阵Idark,以下简称为灰度矩阵Idark。
式中c表示任一颜色通道,{r,g,b}表示红、绿、蓝三个颜色通道,Ic(x)表示图像I在不同像素点x处的颜色通道值
具体做法是计算图像I在不同像素点x处r,g,b三个颜色通道c的最小值,因为彩色图像是三个矩阵叠加,这样就得到灰度矩阵Idark,将Idark按升序排列,得到数组Is dark,求取Is dark排序前0.001的像素的均值记为Is min,Is min反映的是雾浓度,当0≤Is min≤1时雾浓度较低,且Is min=0极大可能有前景遮挡现象发生,而Is min>1时雾浓度较高;求取Is dark后0.001的像素的均值记为Is max,Is max反映的是Is dark中暗通道衰减程度,Is max<0.7表明暗通道衰减程度适中,0.7≤Is max≤0.92表明暗通道衰减程度较大,Is max>0.92表明有大面积明亮的天空区域存在;
(1)若Is min=0或Is max>0.92,参见公式4和5:
公式(4)中,为超像素分割后得到的第i个区域Ωi的均值-均方差暗通道值,xj代表超像素算法对图像I各颜色通道最小值构成的灰度图像Idark分割后得到的第i个区域Ωi中第j个像素点的灰度值,k是一个与暗通道衰减度有关的参数,n代表Ωi中包含的像素点数;
ω=1-0.382T T=1,2,3,4,5 (5)
式中ω为雾去除率,T为大于0的正整数;
若将公式(5)的参数T取2,公式(4)的参数k取1,对图像I各颜色通道最小值构成的灰度图像Idark进行超像素分割,得到成像的场景景深d(x)和大气中介质的散射系数β恒定的若干Ωi,再对每个Ωi按照公式(4)计算暗通道得到因为各在空间位置上紧密相连,因此将每个Ωi得到的拼接到一起得到整幅图像的暗通道Jdark;
(2)若Is min>0且0.7≤Is max≤0.92,则公式(4)的参数k取0,公式(5)的参数T取3,对Jdark进行估计;
(3)若Is min>0且Is max<0.7,则公式(4)的参数k取0,公式(5)的参数T取2,对Jdark进行估计;
Step 2.根据步骤1得到合适的参数T跟k,按公式(5)计算雾去除率ω;
Step 3.对大气光值A进行估计;
Step 4.计算矩阵img=I/A;
Step 5.对矩阵img进行超像素分割,得到成像的场景景深d(x)和大气中介质的散射系数β恒定的若干Ωi;
Step 7.通过t=1-ω*Jdark计算粗透射率t;
Step 8.对粗透射率t进行精细化处理,得到细化后的透射率t*;
Step 9.由公式J=(I-A)/t*+A得到最终恢复的图像J。
本发明的去雾方法可以在雾霾浓度较大的恶劣天气下提高图像的可见性,较好解决了去雾过程中存在的三方面局限性问题,具有下列优点:
1、使雾浓度和景深在超像素表述的局部区域内保持不变;
2、克服了景深突变处光环效应的发生;
3、有效缓解了景深无穷远处产生的偏色问题。
附图说明
图1示出本发明超像素框架下基于均值-均方差暗通道的单幅图像去雾方法的雾浓度和景深在超像素表述的局部区域内保持不变,其中图1(a)示出未经处理的大山图像,图1(b)示出经过超像素分割处理的大山图像,图1(c)示出未经处理的黄山图像,图1(d)示出经过超像素分割处理的黄山图像,图1(e)示出未经处理的香港图像,图1(f)示出经过超像素分割处理的香港图像,图1(g)示出未经处理的河流图像,图1(h)示出经过超像素分割处理的河流图像;
图2示出本发明超像素框架下基于均值-均方差暗通道的单幅图像去雾方法的抑制光环效应,其中图2(a)示出大山图像去雾结果,图2(b)示出黄山图像去雾结果,图2(c)示出图2(a)所示大山图像局部,图2(d)示出图2(b)所示黄山图像局部;
图3示出超像素框架下基于均值-均方差暗通道的单幅图像去雾方法的缓解偏色效应,其中图3(a)示出香港图像,图3(b)示出利用MMDS方法处理过的香港图像,图3(c)示出河流图像,图3(d)示出利用MMDS方法处理过的河流图像。
具体实施方式
下面结合附图详细说明本发明。
本发明目的在于提高雾霾条件下单幅可见光图像的能见度问题,本发明从单幅图像数据出发,在考虑大气散射物理模型的基础上寻求解决方案。本发明假设介质的散射系数在局部保持不变,且暗通道优先的有效性随景深递增呈指数衰减,在此基础上提出一种超像素框架下基于均值-均方差暗通道(Superpixels-based Mean and Mean SquareDeviation Dark channel,MMDS)的去雾霾方法。本发明方法主要解决三个方面的关键技术:①使雾浓度和景深在局部区域保持恒定;②抑制光环效应发生;③纠正天空区域的偏色效应。
本发明的超像素框架下基于均值-均方差暗通道的单幅图像去雾方法包含以下关键技术:
1、超像素分割框架
经典暗通道采用大小固定的方形区域Ω(x)来估计透射率t(x),要求t(x)在Ω(x)内保持不变,但这个前提假设对于包含多个景深的Ω(x)却不满足,导致透射率t(x)估计不准确,为了克服此缺陷,注意到场景是由独立景物构成的,而这些景物所在的局部区域内雾浓度可以认为是保持不变的,且组成这些景物的像素在局部区域内到达观测者的景深也可认为是不变的,如果从暗通道理论解释,就是组成景物的像素在景深一致的局部区域内暗通道值表现为一致性。超像素是将像素点聚集成视觉上充满意义的微小区域,同时要求区域内具有很高的特征相似性,如果将暗通道值看成一种特征,则本发明首先采用超像素对图像进行表述,令Ωi为分割的第i个超像素,Ωi内局部景深为di,局部介质散射系数βi,局部大气透射率为ti。因为βi和di在Ωi内均保持不变,由此生成的透射率ti在Ωi内基本保持不变,满足公式(1)的求解假设条件,同时避免了原Ω(x)间的区域重叠问题。超像素分割方法很多且在不断改进中,发明人在此思想下提出超像素分割框架,这个框架的意义在于通过高性能的超像素对暗通道进行分割,使局部区域Ωi内的雾浓度和景深基本一致,从而确保透射率ti估计的准确性。由上述分析和公式(1),本发明提出一个重要假设,即,雾浓度和景深在超像素分割的局部区域Ωi内保持不变,且暗通道优先的有效性随景深递增呈指数衰减。
2、均值-均方差暗通道
(1)抑制光环效应
现有技术无法使超像素的边缘重合率达到100%,使欠分割错误率达到0%,因此在上述超像素分割框架下,可以认为ti在Ωi内占绝对优势,但无法保证ti在Ωi内的唯一性。令wi为Ωi内对各像素点求取的颜色通道最小值进行排序后得到的数组,wi包含N个像素点(wi(0),wi(1),wi(2)...,wi(N-1)),因为公式(2)是将Ωi的最小值作为暗通道值,因此,即便在数组wi中远景Cb=[wi(1),wi(2)...,wi(N-1)],近景Cf=wi(0),公式(2)仍会认为即将远景Cb错认为是近景Cf,导致在di突变处去雾失败,仍会发生光环效应,这种情况常发生在景深交界处远景di占绝对优势的Ωi中,为了避免取颜色通道最小值,本发明用Ωi中的像素均值替代最小值,这样做的好处是回避了超像素分割的精度问题,同时能够有效抑制景深突变处的光环效应。
(2)抑制偏色效应
当景深di较大,特别是天空区域属于di→∞的情形,此时暗通道优先理论失效,Ωi内像素值整体偏亮,大气光A起主导作用,透射率最低,即便用均值取代最小值,估计的透射率ti值仍偏小,易发生偏色效应。需要借助于Ωi中整体亮度的平均偏离度,也就是整体亮度的均方差对暗通道值进行补偿,间接修正ti,从而抑制景深无限远处产生的偏色效应。根据上述思路,本发明提出一种基于均值-均方差(Mean and Mean Square Deviation)的暗通道简称MMSD暗通道,用公式(4)表达如下:
式中xj代表超像素算法对I各颜色通道最小值构成的灰度图像分割后得到的第i个区域Ωi中第j个像素点的灰度值、k是一个与暗通道衰减度有关的参数,n代表Ωi中包含的像素点数。
3、雾去除率
对于含雾图像I(x)而言,雾浓度由β值体现,因为t(x)是一个与β和d(x)均相关的函数,因此它决定了J(x)t(x)对成像结果的贡献比例,该比例越高图像越清晰;而暗通道优先假设相当于t(x)→1的条件下观察J(x)得到的经验结论,当β≠0且较大时,为满足暗通道优先假设,要求景物的d(x)→0,而随着d(x)增大会导致t(x)→0,即越来越不满足暗通道优先假设,反映在图像中就是暗通道比例降低,因此雾浓度可间接由暗通道比例体现,暗通道比例越高则雾浓度越低,反之亦然。根据之前假设,即在雾浓度和景深均保持恒定的Ωi内,暗通道优先的有效性随景深递增呈指数衰减,但雾的去除效果取决于J(x)t(x)和A(1-t(x))的权重比例,因此为达到较好的去雾结果,在图像的d(x)范围内,要求t(x)不能衰减为0(天空区域除外)。在此前提下本发明假定雾去除率ω符合黄金分割率,按照公式(5)计算,实际中应根据雾浓度大小和暗通道衰减程度确定合适的正整数参数T。
ω=1-0.382T T=1,2,3,4,5 (5)
4、技术实现要点
①对于β值而言虽然在超像素表述的局部区域Ωi内保持不变,但公式(1)仅适用于几公里内的成像过程,如果在有雾的情况下能见度十分有限,在有限的景深范围内可以认为图像的雾浓度整体保持不变,按公式(6)计算Idark。
将Idark按升序排列得到的数组Is dark,求取Is dark排序前0.001像素的均值记为Is min,Is min反映的是雾浓度,当0≤Is min≤1时雾浓度较低,且Is min=0极大可能有前景遮挡现象发生,而Is min>1雾浓度较高;求取Is dark排序后0.001的像素均值记为Is max,Is max反映的是Is dark中暗通道衰减程度,Is max<0.7表明暗通道衰减程度适中,0.7≤Is max≤0.92表明暗通道衰减程度较大,Is max>0.92表明有大面积明亮的天空区域存在。
②如果要产生明显效果,则需要J(x)t(x)和A(1-t(x))在数值上可比拟,即要求I(x)≥2×A(1-t(x)),在β值整体保持不变的情况下,暗通道的有效性随景深递增呈指数衰减,暗通道值可表达为公式(7),式中m是一个调节参数。
Idark=1-e-m·β·d(x) m>0 (7)
③大气光A按照文献“Single image haze removal using dark channel prior”(Kaiming He,Jian Sun,Xiaoou Tang.[J].IEEE Transactions on Pattern Analysisand Machine Intelligence,2011,33(12):2341-2353.)的方法进行估计,但估计时用到的暗通道Jdark有两种形式,一种是按公式(2)得到的Jdark,该暗通道适用于不含大面积天空区域和无前景遮挡的图像;另一种是按照公式(6)求取Idark,再对Idark进行超像素分割,得到d(x)和β恒定的若干Ωi,接着对每个Ωi按照公式(4)计算暗通道得到进而得到整幅图像的暗通道Jdark,该暗通道用于含大面积天空区域的图像和前景遮挡图像。
本发明方法实现方法步骤如下:
1.按公式(6)计算Idark,具体做法是计算图像Ic(x)中各像素x处r,g,b三个颜色通道c的最小值,会得到灰度矩阵Idark,将Idark按升序排列,得到数组Is dark,求取Is dark前0.001的像素均值记为Is min,求取Is dark后0.001的像素均值记为Is max。
(1)若Is min=0或Is max>0.92,公式(4)的参数k取1,公式(5)的参数T取2,对Idark用超像素分割,得到d(x)和β恒定的若干Ωi,再对每个Ωi按照公式(4)计算暗通道得到因为各在空间位置上紧密相连,因此将每个Ωi得到的拼接到一起得到整幅图像的暗通道Jdark;如图1所示,拼接结果随着暗通道的计算自然完成;
(2)若Is min>0且0.7≤Is max≤0.92,公式(4)的参数k取0,公式(5)的参数T取3,Jdark按照“Single image haze removal using dark channel prior”(Kaiming He,Jian Sun,Xiaoou Tang.[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2011,33(12):2341-2353.)的方法估计;
(3)若Is min>0且Is max<0.7,公式(4)的参数k取0,公式(5)的参数T取2,Jdark按照“Single image haze removal using dark channel prior”(Kaiming He,Jian Sun,Xiaoou Tang.[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2011,33(12):2341-2353.)的方法估计;
2.根据步骤1得到合适的参数T跟k,按公式(5)计算雾去除率ω;
3.按照“Single image haze removal using dark channel prior”(KaimingHe,Jian Sun,Xiaoou Tang.[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2011,33(12):2341-2353.)的方法估计大气光值A;
4.计算img=I/A;
5.对img进行超像素分割,得到d(x)和β恒定的若干Ωi;
7.通过t=1-ω*Jdark计算粗透射率;
8.对t精细化处理,得到t*;
9.由公式J=(I-A)/t*+A得到J
本发明的技术方案可以在雾霾浓度较大的恶劣天气下提高图像的可见性,较好的解决了去雾过程中存在的三方面局限性问题:
1、使雾浓度和景深在超像素表述的局部区域内保持不变;
2、克服了景深突变处光环效应的发生;
3、有效缓解了景深无穷远处产生的偏色问题;
超像素分割框架包含很多种不同的超像素分割方法,基本思想是用超像素对图像各颜色通道的最小值按相似性进行分割,替代固定的方形局部区域,确保超像素内雾浓度及景深基本保持不变这一前提假设成立,因此要求超像素的边缘重合率尽可能高,而欠分割错误率尽可能低,在实际中用性能更高的超像素如“Spectral segmentation withmultiscale graph decomposition”(T.Cour,F.Benezit,J.Shi.[C].IEEE ComputerVision and Pattern Recognition.San Diego,CA,USA,June 20-26,2005,1124-1131;“SLIC superpixels compared to State-of-the-art superpixel methods”(R.Achanta,A.Shaji,K.Smith,et al.[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2012,34(11):2274-2282);“Turbopixels:Fast superpixels usinggeometric flows”(A.Levinshtein,A.Stere,K.Kutulakos etc.[J].IEEE TransactionsonPattern Analysis and Machine Intelligence,2009,31(12):2290-2297)等方法补充完善该分割框架,使景深划分更加准确。
在解决景深突变处光环效应时,采用的是均值-均方差暗通道,基本思想是在超像素分割的局部区域内避免取最小值,实际中还可采用中值、“黄金分割点”等其它方案替代。
在判断图像的整体雾浓度时,除了计算Is min外,还可以设定阈值T1=25,小于阈值就是暗通道,通过统计Idark中小于阈值T1的像素比例可以判断图像的雾浓度,该比例越低雾浓度越低,反之亦然。
对步骤8的透射率t精细化时,可以采用双边滤波、导向滤波“Guided ImageFiltering”(Kaiming He,Jian Sun,Xiaoou Tan.[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,2013,35(11):1-13)等多种方法,这些方法为本领域技术人员所知,不再累述。
本发明的技术关键点在于如何使雾浓度和景深在局部区域保持不变,通过在局部区域内避免取最小值抑制光环效应发生,及如何修正透射率来纠正景深无穷远处产生的偏色问题。欲保护点如下:
a.图像的暗通道值间接反应了暗通道有效性的衰减程度;
b.超像素分割可以使雾浓度和景深在局部保持一致;
c.用均值+均方差替代公式(2)的最小值,来抑制景深突变处的光环效应,同时纠正大景深出现的偏色问题;。
d.雾的去除率和黄金分割率存在幂次关系;
e.景深有限的情况下可认为图像的整体雾浓度近似不变,此时暗通道的有效性随景深递增呈指数衰减;
f.暗通道比例可间接反映图像的雾浓度。
Claims (2)
1.超像素框架下基于均值-均方差暗通道的单幅图像去雾方法,步骤如下:
Step1.按公式(6)计算图像I各颜色通道最小值矩阵Idark,以下简称为灰度矩阵Idark
式中c表示任一颜色通道,{r,g,b}表示红、绿、蓝三个颜色通道,Ic(x)表示图像I在不同像素点x处的颜色通道值
具体做法是计算图像I在不同像素点x处r,g,b三个颜色通道c的最小值,因为彩色图像是三个矩阵叠加,这样就得到灰度矩阵Idark,将Idark按升序排列,得到数组Is dark,求取Is dark排序前0.001的像素的均值记为Is min,Is min反映的是雾浓度,当0≤Is min≤1时雾浓度较低,且Is min=0极大可能有前景遮挡现象发生,而Is min>1时雾浓度较高;求取Is dark后0.001的像素的均值记为Is max,Is max反映的是Is dark中暗通道衰减程度,Is max<0.7表明暗通道衰减程度适中,0.7≤Is max≤0.92表明暗通道衰减程度较大,Is max>0.92表明有大面积明亮的天空区域存在;
(1)若Is min=0或Is max>0.92,参见公式4和5:
公式(4)中,为超像素分割后得到的第i个区域Ωi的均值-均方差暗通道值,xj代表超像素算法对图像I各颜色通道最小值构成的灰度图像Idark分割后得到的第i个区域Ωi中第j个像素点的灰度值,k是一个与暗通道衰减度有关的参数,n代表Ωi中包含的像素点数;
ω=1-0.382T T=1,2,3,4,5 (5)
式中ω为雾去除率,T为大于0的正整数;
若将公式(5)的参数T取2,公式(4)的参数k取1,对图像I各颜色通道最小值构成的灰度图像Idark进行超像素分割,得到成像的场景景深d(x)和大气中介质的散射系数β恒定的若干Ωi,再对每个Ωi按照公式(4)计算暗通道得到因为各在空间位置上紧密相连,因此将每个Ωi得到的拼接到一起得到整幅图像的暗通道Jdark;
(2)若Is min>0且0.7≤Is max≤0.92,则公式(4)的参数k取0,公式(5)的参数T取3,对Jdark进行估计;
(3)若Is min>0且Is max<0.7,则公式(4)的参数k取0,公式(5)的参数T取2,对Jdark进行估计;
Step 2.根据步骤1得到合适的参数T跟k,按公式(5)计算雾去除率ω;
Step 3.对大气光值A进行估计;
Step 5.通过t=1-ω*Jdark计算粗透射率t;
Step 6.对粗透射率t进行精细化处理,得到细化后的透射率t*;
Step 9.由公式J=(I-A)/t*+A得到最终恢复的图像J。
2.如权利要求1所述的单幅图像去雾方法,其中确定Ωi的方法如下:
STEP 1.计算矩阵img=I/A;
STEP 2.对矩阵img进行超像素分割,得到成像的场景景深d(x)和大气中介质的散射系数β恒定的若干Ωi。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710263497.XA CN107133927B (zh) | 2017-04-21 | 2017-04-21 | 超像素框架下基于均值-均方差暗通道的单幅图像去雾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710263497.XA CN107133927B (zh) | 2017-04-21 | 2017-04-21 | 超像素框架下基于均值-均方差暗通道的单幅图像去雾方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107133927A CN107133927A (zh) | 2017-09-05 |
CN107133927B true CN107133927B (zh) | 2020-03-17 |
Family
ID=59716093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710263497.XA Expired - Fee Related CN107133927B (zh) | 2017-04-21 | 2017-04-21 | 超像素框架下基于均值-均方差暗通道的单幅图像去雾方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107133927B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107767383B (zh) * | 2017-11-01 | 2021-05-11 | 太原理工大学 | 一种基于超像素的道路图像分割方法 |
CN108537798B (zh) * | 2017-11-29 | 2021-05-18 | 浙江工业大学 | 一种快速超像素分割方法 |
CN109993704A (zh) * | 2017-12-29 | 2019-07-09 | 展讯通信(上海)有限公司 | 一种去雾图像处理方法及系统 |
CN108717686B (zh) * | 2018-04-04 | 2022-02-01 | 华南理工大学 | 一种基于暗通道先验的实时视频去雾方法 |
CN109242784A (zh) * | 2018-08-10 | 2019-01-18 | 重庆大数据研究院有限公司 | 一种雾霾天气大气覆盖率预测方法 |
CN109255804A (zh) * | 2018-08-10 | 2019-01-22 | 重庆大数据研究院有限公司 | 一种雾霾浓度估计方法 |
CN109214993B (zh) * | 2018-08-10 | 2021-07-16 | 重庆大数据研究院有限公司 | 一种雾霾天气智能车视觉增强方法 |
CN111489296A (zh) * | 2019-01-29 | 2020-08-04 | 杭州海康慧影科技有限公司 | 一种内窥镜图像的除雾方法、装置及电子设备 |
CN113763254B (zh) * | 2020-06-05 | 2024-02-02 | 中移(成都)信息通信科技有限公司 | 一种图像处理方法、装置、设备及计算机存储介质 |
CN112767392B (zh) * | 2021-03-02 | 2024-04-09 | 百果园技术(新加坡)有限公司 | 图像清晰度确定方法、装置、设备及存储介质 |
CN115439494B (zh) * | 2022-11-08 | 2023-01-31 | 山东大拇指喷雾设备有限公司 | 用于喷雾机质检的喷雾图像处理方法 |
CN116528065B (zh) * | 2023-06-30 | 2023-09-26 | 深圳臻像科技有限公司 | 一种高效虚拟场景内容光场获取与生成方法 |
CN117196971A (zh) * | 2023-08-14 | 2023-12-08 | 上海为旌科技有限公司 | 基于大气散射模型的图像去雾方法、装置及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020921A (zh) * | 2013-01-10 | 2013-04-03 | 厦门大学 | 基于局部统计信息的单幅图像去雾方法 |
CN105046656A (zh) * | 2015-06-23 | 2015-11-11 | 首都师范大学 | 一种基于边缘保留滤波的形状自适应图像去雾方法 |
CN105631831A (zh) * | 2016-03-14 | 2016-06-01 | 北京理工大学 | 一种雾霾条件下视频图像增强方法 |
CN106204491A (zh) * | 2016-07-12 | 2016-12-07 | 中国科学技术大学 | 一种基于暗通道先验的自适应图像去雾方法 |
-
2017
- 2017-04-21 CN CN201710263497.XA patent/CN107133927B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020921A (zh) * | 2013-01-10 | 2013-04-03 | 厦门大学 | 基于局部统计信息的单幅图像去雾方法 |
CN105046656A (zh) * | 2015-06-23 | 2015-11-11 | 首都师范大学 | 一种基于边缘保留滤波的形状自适应图像去雾方法 |
CN105631831A (zh) * | 2016-03-14 | 2016-06-01 | 北京理工大学 | 一种雾霾条件下视频图像增强方法 |
CN106204491A (zh) * | 2016-07-12 | 2016-12-07 | 中国科学技术大学 | 一种基于暗通道先验的自适应图像去雾方法 |
Non-Patent Citations (3)
Title |
---|
single image haze removal using dark channel prior;Kaiming He 等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20111231;第33卷(第12期);第1956-1963页 * |
单张图像高速去雾增强算法研究;苏强;《中国优秀硕士学位论文全文数据库-信息科技辑》;20170215(第2期);第I138-4044页 * |
基于超像素分割的图像去雾算法;郑良缘 等;《重庆理工大学学报(自然科学)》;20150630;第29卷(第6期);第100-106页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107133927A (zh) | 2017-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107133927B (zh) | 超像素框架下基于均值-均方差暗通道的单幅图像去雾方法 | |
CN106157267B (zh) | 一种基于暗通道先验的图像去雾透射率优化方法 | |
Zhou et al. | Auto color correction of underwater images utilizing depth information | |
Tripathi et al. | Single image fog removal using bilateral filter | |
CN108734670B (zh) | 单幅夜间弱照度雾霾图像的复原方法 | |
KR101568971B1 (ko) | 화상 및 동영상에서 안개를 제거하는 방법 및 시스템 | |
Gao et al. | Sand-dust image restoration based on reversing the blue channel prior | |
CN111292258B (zh) | 一种基于暗通道和亮通道先验的图像去雾方法 | |
CN109118446B (zh) | 一种水下图像复原及去噪方法 | |
CN107451966B (zh) | 一种采用灰度图引导滤波实现的实时视频去雾方法 | |
CN110689490A (zh) | 一种基于纹理颜色特征和优化透射率的水下图像复原方法 | |
CN111553862B (zh) | 一种海天背景图像去雾和双目立体视觉定位方法 | |
CN111667433A (zh) | 一种基于简单线性迭代聚类优化的无人机图像去雾方法 | |
CN111161167B (zh) | 基于中通道补偿和自适应大气光估计的单幅图像去雾方法 | |
CN111833258B (zh) | 一种基于双透射率水下成像模型的图像颜色校正方法 | |
CN110827221A (zh) | 一种基于双通道先验和侧窗导向滤波的单幅图像去雾方法 | |
Lu et al. | Single underwater image descattering and color correction | |
Liang et al. | Learning to remove sandstorm for image enhancement | |
CN106709876B (zh) | 一种基于暗像元原理的光学遥感图像去雾方法 | |
CN112825189B (zh) | 一种图像去雾方法及相关设备 | |
CN111833270B (zh) | 一种快速的沙尘降质图像增强方法 | |
CN117152016A (zh) | 基于改进暗通道先验的图像去雾方法及其系统 | |
CN111598800A (zh) | 基于空间域同态滤波和暗通道先验的单幅图像去雾方法 | |
CN113298730B (zh) | 一种基于图像分解的去雾复原方法 | |
Chen et al. | An adaptive image dehazing algorithm based on dark channel prior |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200317 Termination date: 20210421 |
|
CF01 | Termination of patent right due to non-payment of annual fee |