CN104217404A - 雾霾天视频图像清晰化处理方法及其装置 - Google Patents

雾霾天视频图像清晰化处理方法及其装置 Download PDF

Info

Publication number
CN104217404A
CN104217404A CN201410428301.4A CN201410428301A CN104217404A CN 104217404 A CN104217404 A CN 104217404A CN 201410428301 A CN201410428301 A CN 201410428301A CN 104217404 A CN104217404 A CN 104217404A
Authority
CN
China
Prior art keywords
image
haze
air
model
quantified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410428301.4A
Other languages
English (en)
Other versions
CN104217404B (zh
Inventor
王卫星
胡子昂
陆健强
胡月明
石颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN201410428301.4A priority Critical patent/CN104217404B/zh
Publication of CN104217404A publication Critical patent/CN104217404A/zh
Application granted granted Critical
Publication of CN104217404B publication Critical patent/CN104217404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明涉及雾霾天视频图像清晰化处理方法及装置,其方法步骤为:建立大气传递参数与光传播介质参数间的量化模型;获取实际测量地点光的传播介质参数,利用量化模型计算大气量化传递参数;对含雾霾原图像进行下采样处理得到预处理模板图像,提取暗通道图像;提取含雾霾原图像I(x)的大气光值A,初始化景深修正因子ω;对I(x)的透射率图中A和ω进行优化;估算预处理模板图像Imodel的模板透射图进行升采样得到透射率图t(x);根据t(x)和I(x)计算清晰化处理结果图像。本发明通过量化模型对雾霾图像清晰化参数进行闭环修正,结合图像抽样与多尺度插值方法,避免了暗通道图像去雾过程中人为定义参数不精确和无法根据实际环境进行调整的弊端,提升了清晰化处理效果。

Description

雾霾天视频图像清晰化处理方法及其装置
技术领域
本发明涉及计算机图像处理技术领域,特别是涉及一种雾霾天视频图像清晰化处理方法及其装置。
背景技术
光在雾、霾等介质中传播时,由于粒子的散射作用导致成像传感器采集的图像信息严重降质,在很大程度上限制了图像的应用价值。为削弱雾霾等视障物对图像质量的影响,特别是对在诸如军事靶识别、户外监控和地形勘探等需要利用计算机视觉解决实际问题的领域,需要对图像进行清晰化处理。
目前,在图像去雾领域有两类常见方法:基于图像增强的方法和基于物理模型的方法。其中,暗通道优先算法在实际应用中取得了较好的效果,受到广泛使用。该方法通过对户外无雾图像数据库的统计得出的规律,即把图像分成多个子块,每个子块中都有一些亮度很低的像素。根据这一规律,只需按雾气浓度局部修复图像各部分的颜色,并估算出大气传递参数,就能达到较好的去雾效果。但该算法中大气传递参数的估算往往是人为设定,不能根据实际应用中的环境变化来进行自适应微调,处理结果往往出现由传递参数造成的失真,对类似于施工现场监控、交通运输等环境参数变化大的应用方面,存在较大的局限性。同时,算法运算量大,无法支持高清视频实时处理,也限制了其在视频监控增强等方面的应用价值。
发明内容
本发明提供雾霾天视频图像清晰化处理方法及其装置,通过量化模型对雾霾图像清晰化参数进行闭环修正,结合图像抽样与多尺度插值方法,避免了暗通道图像去雾过程中人为定义参数不精确和无法根据实际环境进行调整的弊端,有效地提升了清晰化处理效果,减少了透射图估算过程的运算量,处理结果更加接近真实无雾场景,解决了现有技术中因为大气传递参数人为估算无法自适应调整而影响去雾效果的技术问题。
本发明处理方法采用如下技术方案来解决上述技术问题:雾霾天视频图像清晰化处理方法,包括以下步骤:
第一步、建立大气传递参数ω和A与光传播介质参数间的量化模型[ω A]T=F(ρ,t,φ),其中ω为一个介于[0,1]之间的景深修正因子,A为大气光值,ρ、t、φ分别表示光传播介质参数PM2.5、空气温度及空气湿度;
第二步、获取实际测量地点光的传播介质参数,利用量化模型F(ρ,t,φ)计算大气量化传递参数ωquantified和Aquantified
第三步、对含雾霾原图像I(x)进行下采样处理,得到预处理模板图像Imodel,并从所述预处理模板图像Imodel提取暗通道图像
第四步、从暗通道图像中提取含雾霾原图像I(x)的大气光值A,并初始化景深修正因子ω;
第五步、结合求得的大气量化传递参数ωquantified和Aquantified,对含雾霾原图像I(x)的透射率图t(x)中的景深修正因子和大气光值进行优化,获得修正后的模型参数ωimproved和Aimproved
第六步、根据ωimproved和Aimproved利用暗通道优先算法估算预处理模板图像Imodel的模板透射图并利用Imodel的线性变换系数对模板透射图进行升采样,得到含雾霾原图像I(x)的透射率图t(x);
第七步、根据透射率图t(x)和含雾霾原图像I(x),计算清晰化处理结果图像J(x),其中计算公式为I(x)=J(x)t(x)+A(1-t(x))。
在发明一个优选实施例中,所述第一步包括以下步骤:
a1、获取N幅含雾霾图像,标记并获取每幅雾霾图像采集现场的光传播介质参数矩阵Μ[ρ,t,φ]n,Μ[ρ,t,φ]n表示第n幅雾霾图像采集现场的光传播介质参数PM2.5、空气温度及空气湿度组成的矩阵,n∈[0,N];
a2、建立图像清晰化质量评价模型,即综合评价因子Q=(S)α·(L)β·(HistDist)γ,其中S为图像结构信息的保留程度,L为处理后图像的有效细节强度,HistDist为色彩还原能力,α、β及γ分别表示处理后图像的有效细节强度、色彩还原能力和图像结构信息的保留程度在综合评价因子中所占比重;
a3、对每幅雾霾图像进行清晰化处理,得到最优评价结果Qmax时所对应的大气传递参数样本其中ω0、A0分别表示第n幅雾霾图像通过计算得到的最优景深修正因子、大气光值;
a4、利用卷积神经网络对样本T与Μ[ρ,t,φ]n的函数关系进行训练,获取量化模型[ω A]T=F(ρ,t,φ)。
在发明一个优选实施例中,所述步骤a2中α=β=γ=1,所述步骤a3中最优景深修正因子、大气光值的计算如下:
以ω∈[0.8,1.0],A∈[50,255]作为嵌套的循环体进行扫描;采用暗通道优先算法对所述雾霾图像进行清晰化处理,计算清晰化图像的标准差、信息熵、对比度和平均梯度,通过综合评价因子Q=S·HistDist·L对图像清晰化处理效果进行评价,通过m次循环求解最优评价结果Qmax,m为循环次数;退出循环体,输出最优评价结果Qmax所对应的大气传递参数最优组合值[ω0 A0]T
优选地,所述步骤a4如下:
建立5×N的数组,每行对应一张含雾霾图片的传递参数Μ[ρ,t,φ]n和清晰化处理效果最优的景深修正因子、大气光值组合其中前三列按照ρ、t、φ的顺序排列,后两列是该组对应的ω0、A0,作为每组数据的训练标签;
数组内数据的池化处理,即将数组内传递参数相近的组别尽可能放在一起,进行区域重组;
通过卷积层处理,将输入层的特征图与一个可学习的核进行卷积,卷积的结果经过激活函数后的输出形成这一层的特征图;
通过网络迭代,调整权值与阈值;当满足精度要求时,跳出迭代循环体,训练结束并将各层权值和阈值保存下来,形成固定的学习网络;
最后,随机抽选N/3组数据对网络精度进行验证,满足精度要求则输出最终网络结构,完成所述函数关系训练。
本发明处理装置采用如下技术方案来解决上述技术问题:
雾霾天视频图像清晰化处理装置,包括:
光传播介质参数处理模块,用于建立大气传递参数ω和A与光传播介质参数间的量化模型其中ω为一个介于[0,1]之间的景深修正因子,A为大气光值,ρ、t、φ分别表示光传播介质参数PM2.5、空气温度及空气湿度;以及用于获取实际测量地点的光传播介质参数,利用量化模型F(ρ,t,φ)计算大气量化传递参数ωquantified和Aquantified
图像预处理模块,用于对含雾霾原图像I(x)进行下采样处理,得到预处理模板图像Imodel,并从所述预处理模板图像Imodel提取暗通道图像并从暗通道图像中提取含雾霾原图像I(x)的大气光值A,初始化景深修正因子ω;
视觉参数修正模块,用于根据大气量化参数ωquantified和Aquantified矫正初始化参数ω和A,获取修正后的模型参数ωimproved和Aimproved;以及
清晰化处理模块,用于根据ωimproved和Aimproved利用暗通道优先算法估算预处理模板图像Imodel的模板透射图并利用Imodel的线性变换系数对模板透射图进行升采样,得到含雾霾原图像I(x)的透射率图t(x);再根据透射率图t(x)和含雾霾原图像I(x),计算清晰化处理结果图像J(x),其中计算公式为I(x)=J(x)t(x)+A(1-t(x))。
本发明通过大量实验数据建立了一个量化模型,对雾霾图像清晰化参数进行闭环修正,引入了负反馈的机制;与现有技术相比,本发明具有如下优点及有益效果:
1、雾霾天大气传递参数的值,是利用量化模型根据不同场景下变化的光传播介质参数求得的,而不是人为预先设定。通过所述量化模型对雾霾图像清晰化参数进行闭环修正,能够根据不同的拍摄场景选择不同的系统参数,更好地逼近真实场景的无雾效果。
2、将大气传递参数量化模型结合图像抽样与多尺度插值方法,避免了暗通道图像去雾过程中人为定义大气传递参数不精确和无法根据实际环境进行调整的弊端,有效地提升了清晰化处理效果。
3、优化透射率图的求解过程,减少了透射率图估算过程的运算量,处理结果更加接近真实无雾场景,处理效率得到改善,进一步提升了系统实时性。
附图说明
图1为本发明处理方法的流程示意图;
图2为本发明处理装置的结构示意图。
具体实施方式
下面结合附图及实施例,对本发明作进一步详细说明;此处所描述的具体实施方式仅仅用以解释本发明,本发明的实施方式并不限于此。
实施例
参见图1,本发明雾霾天视频图像清晰化处理方法包括以下步骤:
S101、建立大气传递参数(ω和A)与光传播介质参数(PM2.5、空气温度及空气湿度等)间的量化模型[ω A]T=F(ρ,t,φ)。其中,光传播介质参数PM2.5、空气温度及空气湿度分别用符号ρ、t、φ表示。ω为一个介于[0,1]之间的景深修正因子,用于模拟人眼看远处物体时的视觉景深,A为大气光值。
本步骤是本发明的核心步骤。首先在室外不同雾、霾、尘等场景下,使用PM2.5颗粒物浓度检测仪、空气温湿度计分别测量PM2.5的值和空气温、湿度值,并在同一地点采集含雾霾图像,存储并标记为Inn,tnn)。其中In表示采集到的第n张图像,(ρn,tn,φn)表示第n张图像采集时所对应的PM2.5的值和空气温、湿度值。获取的含雾霾图像数量N(N>100),标记并获取每幅图像采集现场的光传播介质参数矩阵Μ[ρ,t,φ]n,n∈[0,N]。
其次,建立图像清晰化质量评价模型,即综合评价因子Q=(S)α·(L)β·(HistDist)γ,从处理后图像的有效细节强度L、色彩还原能力HistDist以及图像结构信息的保留程度S这三方面去评价图像清晰化效果。其中,S越大,结构信息保存得越好,越接近0则越不匹配;L参数越接近1,则算法保留图像的有效细节强度能力越大;HistDist表示巴氏系数,其值完全匹配为1,完全不匹配则为0;α、β及γ被用来调节处理后图像的有效细节强度、色彩还原能力和图像结构信息的保留程度在综合评价因子中所占比重。为简单起见,这里取α=β=γ=1。Q的值越大,雾霾天图像清晰化的效果越好。
然后对每幅雾霾图像进行清晰化处理,得到最优处理效果(即综合评价因子取最大值)Qmax时所对应的大气传递参数样本其中ω0、A0分别表示第n幅雾霾图像通过计算得到的最优组合值,即最优景深修正因子、大气光值;
最后利用卷积神经网络对样本T与Μ[ρ,t,φ]n的函数关系进行训练,获取量化模型[ω A]T=F(ρ,t,φ)。
在步骤S101中,对于所述大气传递参数T最优组合值的计算,采用如下算法进行处理:
以ω∈[0.8,1.0],A∈[50,255]作为嵌套的循环体进行扫描,其中,根据经验选择ω和A的下限分别为0.8和50,目的是缩减循环体运算量,防止内存溢出;
采用暗通道优先算法对所述雾霾图像进行清晰化处理,计算清晰化图像的标准差、信息熵、对比度和平均梯度,通过综合评价因子Q=S·HistDist·L对图像清晰化处理效果进行评价,其中,L表示细节强度,HistDist表示色调还原度,S表示结构信息,Qmax表示最优评价结果;
计算综合评价因子Qm,并与上一次结果Qm-1比较。若Qm≤Qm-1,则保留上一次结果Qm-1;反之,若Qm>Qm-1,则将最优评价结果Qmax替换成Qm。目的是通过m次循环求解最优评价结果Qmax,同时缩减内存消耗。其中,m为循环次数;
退出循环体,输出最优评价结果所对应的大气传递参数最优组合值[ω0 A0]T
在步骤S101中,利用卷积神经网络对样本T与Μ[ρ,t,φ]n的函数关系进行训练,具体采用如下方法进行处理:
建立5×N的数组(N>100),每行对应一张含雾霾图片的传递参数Μ[ρ,t,φ]n和清晰化处理效果最优参数组合其中,前三列按照ρ、t、φ的顺序排列,后两列是该组对应的ω0、A0,作为每组数据的训练标签;
数组内数据的池化处理。即将数组内传递参数相近的组别尽可能放在一起,进行区域重组。目的是减少中间维度,降低上层的计算复杂度;
通过卷积层处理,将输入层的特征图与一个可学习的核进行卷积,卷积的结果经过激活函数后的输出形成这一层的特征图。其中,卷积层的数学描述为:l代表层数,k是卷积核,Mj代表选择的输入特征图集合,每一个输出图有一个偏置b;
通过网络迭代,调整权值与阈值。当满足精度要求时,跳出迭代循环体,训练结束并将各层权值和阈值保存下来,形成固定的学习网络;
最后,随机抽选N/3组数据对网络精度进行验证,满足精度要求则输出最终网络结构,完成所述函数关系训练。
S102、测量图像获取地点光的传播介质参数,利用量化模型F(ρ,t,φ)求得大气量化传递参数ωquantified和Aquantified
与传统基于大气透射模型的去雾方法不同,所述雾霾天大气传递参数ω和A是利用量化模型[ω A]T=F(ρ,t,φ),根据不同场景下变化的光传播介质参数(ρ,t,φ)求得的,而不是人为预先设定的。
S103、对观察到的含雾霾原图像I(x)进行下采样处理,得到预处理模板图像Imodel,并提取Imodel的暗通道图像对于下采样得到的模板图像Imodel,通过 I mode l dark = min c ∈ { R , G , B } ( min y ∈ Ω ( x ) ( I mode l c ( y ) ) ) 计算模板图像的暗通道图。
S104、根据暗通道图像提取含雾霾原图像I(x)的初始化大气光值A,并初始化景深修正因子ω。
获取所述暗通道图像中灰度值最大的前0.1%区域的最大值作为A的初始值,ω初始值设为0.95。若A与Aquantified的绝对误差在10以内,则A不变;反之,则将Aquantified的值赋给A。同理,若ω与ωquantified的相对误差在5%以内,则ω不变;反之,则将ωquantified的值赋给ω。
S105、结合求得的大气量化传递参数ωquantified和Aquantified,对含雾霾原图像I(x)的透射率图t(x)中的景深修正因子和大气光值进行优化,获得修正后的模型参数ωimproved和Aimproved
S106、估算预处理模板图像Imodel的模板透射图 t ~ mode l = 1 - ω improved min c ∈ { R , G , B } ( min y ∈ Ω ( x ) ( I c ( y ) A improved c ) ) , 并利用Imodel的线性变换系数对模板透射图进行升采样,得到含雾霾原图像I(x)的透射率图t(x)。
S107、根据I(x)=J(x)t(x)+A(1-t(x)),得到最终的清晰化处理结果图像J(x)。结合量化模型[ω A]T=F(ρ,t,φ)计算出的大气传递参数最优组合[ωquantified Aquantified]T,利用下采样后的预处理模板图像Imodel估算模板透射图 t ~ mode l = 1 - ω improved min c ∈ { R , G , B } ( min y ∈ Ω ( x ) ( I c ( y ) A improved c ) ) ; 并通过对升采样的方式获取精细化处理后的原图像透射率图t(x),进而求得清晰化图像 J ( x ) = I ( x ) - A improved t ( x ) + A improved .
其中,y是x的邻域像素的集合,c是颜色通道,R、G、B分别表示颜色通道中的红、绿、蓝三种通道。
与上述雾霾天视频图像清晰化处理方法相对应,本发明还提供一种雾霾天视频图像清晰化处理装置,如图2所示,包括以下模块:
光传播介质参数处理模块201,用于建立大气传递参数ω和A与光传播介质参数间的量化模型[ω A]T=F(ρ,t,φ),其中ω为一个介于[0,1]之间的景深修正因子,A为大气光值,ρ、t、φ分别表示光传播介质参数PM2.5、空气温度及空气湿度;以及用于获取实际测量地点的光传播介质参数,利用量化模型F(ρ,t,φ)计算大气量化传递参数ωquantified和Aquantified
图像预处理模块202,用于对含雾霾原图像I(x)进行下采样处理,得到预处理模板图像Imodel,并从所述预处理模板图像Imodel提取暗通道图像并从暗通道图像中提取含雾霾原图像I(x)的大气光值A,初始化景深修正因子ω;
视觉参数修正模块203,用于根据大气量化参数ωquantified和Aquantified矫正初始化参数ω和A,获取修正后的模型参数ωimproved和Aimproved;以及
清晰化处理模块204,用于根据ωimproved和Aimproved利用暗通道优先算法估算预处理模板图像Imodel的模板透射图并利用Imodel的线性变换系数对模板透射图进行升采样,得到含雾霾原图像I(x)的透射率图t(x);再根据透射率图t(x)和含雾霾原图像I(x),计算清晰化处理结果图像J(x),其中计算公式为I(x)=J(x)t(x)+A(1-t(x))。
作为一个较好的实施例,所述光传播介质参数处理模块201包括:
量化函数预处理模块,用于判断所述量化模型[ω A]T=F(ρ,t,φ)的闭环回路是否正常工作,完成所述雾霾天视频图像清晰化处理装置的开机自检工作;
介质参数获取模块,用于获取实际测量地点的光传播介质参数PM2.5、空气温度及空气湿度,进行归一化处理后将数据导入所述量化模型[ω A]T=F(ρ,t,φ)的输入端。
作为一个较好的实施例,所述视觉参数修正模块包括:
景深修正因子修正模块,用于利用所述介质参数获取模块采集到的介质参数信息,结合所述量化模型[ω A]T=F(ρ,t,φ)计算ωquantified,并负反馈修正初始化景深修正因子,得到优化后的景深修正因子ωimproved
大气光值修正模块,用于利用所述介质参数获取模块采集到的介质参数信息,结合所述量化模型[ω A]T=F(ρ,t,φ)计算Aquantified,并以此修正所述暗通道图像中亮度最大的前0.1%像素对应在原始图像I(x)中的最大值Α,进而得到优化后的大气光值Aimproved
以上所述本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。

Claims (10)

1.雾霾天视频图像清晰化处理方法,其特征在于,包括以下步骤:
第一步、建立大气传递参数ω和A与光传播介质参数间的量化模型[ω A]T=F(ρ,t,φ),其中ω为一个介于[0,1]之间的景深修正因子,A为大气光值,ρ、t、φ分别表示光传播介质参数PM2.5、空气温度及空气湿度;
第二步、获取实际测量地点光的传播介质参数,利用量化模型F(ρ,t,φ)计算大气量化传递参数ωquantified和Aquantified
第三步、对含雾霾原图像I(x)进行下采样处理,得到预处理模板图像Imodel,并从所述预处理模板图像Imodel提取暗通道图像
第四步、从暗通道图像中提取含雾霾原图像I(x)的大气光值A,并初始化景深修正因子ω;
第五步、结合求得的大气量化传递参数ωquantified和Aquantified,对含雾霾原图像I(x)的透射率图t(x)中的景深修正因子和大气光值进行优化,获得修正后的模型参数ωimproved和Aimproved
第六步、根据ωimproved和Aimproved利用暗通道优先算法估算预处理模板图像Imodel的模板透射图并利用Imodel的线性变换系数对模板透射图进行升采样,得到含雾霾原图像I(x)的透射率图t(x);
第七步、根据透射率图t(x)和含雾霾原图像I(x),计算清晰化处理结果图像J(x),其中计算公式为I(x)=J(x)t(x)+A(1-t(x))。
2.根据权利要求1所述的雾霾天视频图像清晰化处理方法,其特征在于,所述第一步包括以下步骤:
a1、获取N幅含雾霾图像,标记并获取每幅雾霾图像采集现场的光传播介质参数矩阵Μ[ρ,t,φ]n,Μ[ρ,t,φ]n表示第n幅雾霾图像采集现场的光传播介质参数PM2.5、空气温度及空气湿度组成的矩阵,n∈[0,N];
a2、建立图像清晰化质量评价模型,即综合评价因子Q=(S)α·(L)β·(HistDist)γ,其中S为图像结构信息的保留程度,L为处理后图像的有效细节强度,HistDist为色彩还原能力,α、β及γ分别表示处理后图像的有效细节强度、色彩还原能力和图像结构信息的保留程度在综合评价因子中所占比重;
a3、对每幅雾霾图像进行清晰化处理,得到最优评价结果Qmax时所对应的大气传递参数样本其中ω0、A0分别表示第n幅雾霾图像通过计算得到的最优景深修正因子、大气光值;
a4、利用卷积神经网络对样本T与Μ[ρ,t,φ]n的函数关系进行训练,获取量化模型[ω A]T=F(ρ,t,φ)。
3.根据权利要求2所述的雾霾天视频图像清晰化处理方法,其特征在于,所述步骤a2中α=β=γ=1,所述步骤a3中最优景深修正因子、大气光值的计算如下:
以ω∈[0.8,1.0],A∈[50,255]作为嵌套的循环体进行扫描;采用暗通道优先算法对所述雾霾图像进行清晰化处理,计算清晰化图像的标准差、信息熵、对比度和平均梯度,通过综合评价因子Q=S·HistDist·L对图像清晰化处理效果进行评价,通过m次循环求解最优评价结果Qmax,m为循环次数;退出循环体,输出最优评价结果Qmax所对应的大气传递参数最优组合值[ω0 A0]T
4.根据权利要求2所述的雾霾天视频图像清晰化处理方法,其特征在于,所述步骤a4如下:
建立5×N的数组,每行对应一张含雾霾图片的传递参数Μ[ρ,t,φ]n和清晰化处理效果最优的景深修正因子、大气光值组合其中前三列按照ρ、t、φ的顺序排列,后两列是该组对应的ω0、A0,作为每组数据的训练标签;
数组内数据的池化处理,即将数组内传递参数相近的组别尽可能放在一起,进行区域重组;
通过卷积层处理,将输入层的特征图与一个可学习的核进行卷积,卷积的结果经过激活函数后的输出形成这一层的特征图;
通过网络迭代,调整权值与阈值;当满足精度要求时,跳出迭代循环体,训练结束并将各层权值和阈值保存下来,形成固定的学习网络;
最后,随机抽选N/3组数据对网络精度进行验证,满足精度要求则输出最终网络结构,完成所述函数关系训练。
5.根据权利要求1所述的雾霾天视频图像清晰化处理方法,其特征在于,所述第四步中,获取所述暗通道图像中灰度值最大的前0.1%区域的最大值作为A的初始值,ω初始值设为0.95。
6.根据权利要求5所述的雾霾天视频图像清晰化处理方法,其特征在于,所述第四步中,若A与Aquantified的绝对误差在10以内,则A不变;反之,则将Aquantified的值赋给A;若ω与ωquantified的相对误差在5%以内,则ω不变;反之,则将ωquantified的值赋给ω。
7.根据权利要求1所述的雾霾天视频图像清晰化处理方法,其特征在于,所述第六步中模板透射图 t ~ mode l = 1 - ω improved min c ∈ { R , G , B } ( min y ∈ Ω ( x ) ( I c ( y ) A improved c ) ) ; 其中,y是x的邻域像素的集合,c是颜色通道,R、G、B分别表示颜色通道中的红、绿、蓝三种通道;
所述第七步计算清晰化处理结果图像J(x)的过程为:
结合量化模型[ω A]T=F(ρ,t,φ)计算出的大气传递参数最优组合[ωquantified Aquantified]T,利用下采样模板Imodel估算模板透射图 t ~ mode l = 1 - ω improved min c ∈ { R , G , B } ( min y ∈ Ω ( x ) ( I c ( y ) A improved c ) ) , 通过对模板透射图升采样的方式获取精细化处理后的原图像透射率图t(x),进而求得清晰化图像 J ( x ) = I ( x ) - A improved t ( x ) + A improved .
8.雾霾天视频图像清晰化处理装置,其特征在于,包括:
光传播介质参数处理模块,用于建立大气传递参数ω和A与光传播介质参数间的量化模型[ω A]T=F(ρ,t,φ),其中ω为一个介于[0,1]之间的景深修正因子,A为大气光值,ρ、t、φ分别表示光传播介质参数PM2.5、空气温度及空气湿度;以及用于获取实际测量地点的光传播介质参数,利用量化模型F(ρ,t,φ)计算大气量化传递参数ωquantified和Aquantified
图像预处理模块,用于对含雾霾原图像I(x)进行下采样处理,得到预处理模板图像Imodel,并从所述预处理模板图像Imodel提取暗通道图像并从暗通道图像中提取含雾霾原图像I(x)的大气光值A,初始化景深修正因子ω;
视觉参数修正模块,用于根据大气量化参数ωquantified和Aquantified矫正初始化参数ω和A,获取修正后的模型参数ωimproved和Aimproved;以及
清晰化处理模块,用于根据ωimproved和Aimproved利用暗通道优先算法估算预处理模板图像Imodel的模板透射图并利用Imodel的线性变换系数对模板透射图进行升采样,得到含雾霾原图像I(x)的透射率图t(x);再根据透射率图t(x)和含雾霾原图像I(x),计算清晰化处理结果图像J(x),其中计算公式为I(x)=J(x)t(x)+A(1-t(x))。
9.根据权利要求8所述的雾霾天视频图像清晰化处理装置,其特征在于,所述光传播介质参数处理模块包括:
量化函数预处理模块,用于判断所述量化模型[ω A]T=F(ρ,t,φ)的闭环回路是否正常工作,完成所述雾霾天视频图像清晰化处理装置的开机自检工作;
介质参数获取模块,用于获取实际测量地点的光传播介质参数PM2.5、空气温度及空气湿度,进行归一化处理后将数据导入所述量化模型[ω A]T=F(ρ,t,φ)的输入端。
10.根据权利要求9所述的雾霾天视频图像清晰化处理装置,其特征在于,所述视觉参数修正模块包括:
景深修正因子修正模块,用于利用所述介质参数获取模块采集到的介质参数信息,结合所述量化模型[ω A]T=F(ρ,t,φ)计算ωquantified,并负反馈修正初始化景深修正因子,得到优化后的景深修正因子ωimproved
大气光值修正模块,用于利用所述介质参数获取模块采集到的介质参数信息,结合所述量化模型[ω A]T=F(ρ,t,φ)计算Aquantified,并以此修正所述暗通道图像中亮度最大的前0.1%像素对应在原始图像I(x)中的最大值Α,进而得到优化后的大气光值Aimproved
CN201410428301.4A 2014-08-27 2014-08-27 雾霾天视频图像清晰化处理方法及其装置 Active CN104217404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410428301.4A CN104217404B (zh) 2014-08-27 2014-08-27 雾霾天视频图像清晰化处理方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410428301.4A CN104217404B (zh) 2014-08-27 2014-08-27 雾霾天视频图像清晰化处理方法及其装置

Publications (2)

Publication Number Publication Date
CN104217404A true CN104217404A (zh) 2014-12-17
CN104217404B CN104217404B (zh) 2017-06-20

Family

ID=52098852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410428301.4A Active CN104217404B (zh) 2014-08-27 2014-08-27 雾霾天视频图像清晰化处理方法及其装置

Country Status (1)

Country Link
CN (1) CN104217404B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574431A (zh) * 2015-02-13 2015-04-29 河南五星科技有限公司 一种基于视频分析监测pm2.5的方法及装置
CN104732497A (zh) * 2015-03-31 2015-06-24 北京交通大学 一种图像去雾方法、fpga及包含该fpga的去雾系统
CN104809467A (zh) * 2015-04-16 2015-07-29 北京工业大学 一种基于暗原色先验的空气质量指数估计方法
CN105574827A (zh) * 2015-12-17 2016-05-11 中国科学院深圳先进技术研究院 一种图像去雾的方法、装置
CN105631890A (zh) * 2016-02-04 2016-06-01 上海文广科技(集团)有限公司 基于图像梯度和相位一致性的失焦图片质量评价方法
CN106156781A (zh) * 2016-07-12 2016-11-23 北京航空航天大学 排序卷积神经网络构建方法及其图像处理方法与装置
CN106709903A (zh) * 2016-11-22 2017-05-24 南京理工大学 基于图像质量的pm2.5浓度预测方法
CN106780356A (zh) * 2016-11-15 2017-05-31 天津大学 基于卷积神经网络和先验信息的图像去雾方法
CN106779054A (zh) * 2016-12-31 2017-05-31 中国科学技术大学 一种基于雾天图像的pm2.5估计方法
CN107103591A (zh) * 2017-03-27 2017-08-29 湖南大学 一种基于图像雾霾浓度估计的单幅图像去雾方法
CN107133919A (zh) * 2017-05-16 2017-09-05 西安电子科技大学 基于深度学习的时间维视频超分辨率方法
CN107256541A (zh) * 2017-06-15 2017-10-17 北京航空航天大学 一种基于卷积神经网络的多光谱遥感图像去雾方法
CN107705262A (zh) * 2017-10-10 2018-02-16 中山大学 一种基于混合先验学习模型的去雾方法
CN107993214A (zh) * 2017-12-25 2018-05-04 北京航空航天大学 一种在线抗黄色雾霾色偏自修正的上下界支撑图像增强系统
CN108053382A (zh) * 2017-12-25 2018-05-18 北京航空航天大学 一种视觉特性去雾稳像探测系统
CN108230314A (zh) * 2018-01-03 2018-06-29 天津师范大学 一种基于深度激活池化的图像质量评估方法
WO2018176625A1 (zh) * 2017-03-28 2018-10-04 深圳市科美集成电路有限公司 雾霾穿透摄像头电路及系统
CN109087258A (zh) * 2018-07-27 2018-12-25 中山大学 一种基于深度学习的图像去雨方法及装置
WO2020029033A1 (zh) * 2018-08-06 2020-02-13 深圳大学 雾霾图像清晰化方法、系统及可存储介质
WO2021046752A1 (en) * 2019-09-11 2021-03-18 Covidien Lp Systems and methods for neural-network based color restoration
TWI724375B (zh) * 2018-02-23 2021-04-11 富智捷股份有限公司 圖像去霧霾方法、電子設備及電腦可讀取記錄媒體
CN113763254A (zh) * 2020-06-05 2021-12-07 中移(成都)信息通信科技有限公司 一种图像处理方法、装置、设备及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831591A (zh) * 2012-06-27 2012-12-19 北京航空航天大学 一种基于高斯滤波的单幅图像的实时去雾方法
CN102968767A (zh) * 2012-11-26 2013-03-13 中国科学院长春光学精密机械与物理研究所 带有白平衡校正的雾天降质图像实时复原方法
CN103020921A (zh) * 2013-01-10 2013-04-03 厦门大学 基于局部统计信息的单幅图像去雾方法
CN103279928A (zh) * 2013-05-23 2013-09-04 北京汉邦高科数字技术股份有限公司 一种基于大气散射模型的图像增强方法
CN103914813A (zh) * 2014-04-10 2014-07-09 西安电子科技大学 彩色雾霾图像去雾与光照补偿的复原方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831591A (zh) * 2012-06-27 2012-12-19 北京航空航天大学 一种基于高斯滤波的单幅图像的实时去雾方法
CN102968767A (zh) * 2012-11-26 2013-03-13 中国科学院长春光学精密机械与物理研究所 带有白平衡校正的雾天降质图像实时复原方法
CN103020921A (zh) * 2013-01-10 2013-04-03 厦门大学 基于局部统计信息的单幅图像去雾方法
CN103279928A (zh) * 2013-05-23 2013-09-04 北京汉邦高科数字技术股份有限公司 一种基于大气散射模型的图像增强方法
CN103914813A (zh) * 2014-04-10 2014-07-09 西安电子科技大学 彩色雾霾图像去雾与光照补偿的复原方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAIMING HE等: "Single Image Haze Removal Using Dark Channel Prior", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
陈瑶等: "一种改进的暗原色单幅图像去雾方法", 《四川理工学院学报(自然科学版)》 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574431A (zh) * 2015-02-13 2015-04-29 河南五星科技有限公司 一种基于视频分析监测pm2.5的方法及装置
CN104732497A (zh) * 2015-03-31 2015-06-24 北京交通大学 一种图像去雾方法、fpga及包含该fpga的去雾系统
CN104809467A (zh) * 2015-04-16 2015-07-29 北京工业大学 一种基于暗原色先验的空气质量指数估计方法
CN104809467B (zh) * 2015-04-16 2018-07-06 北京工业大学 一种基于暗原色先验的空气质量指数估计方法
CN105574827A (zh) * 2015-12-17 2016-05-11 中国科学院深圳先进技术研究院 一种图像去雾的方法、装置
CN105574827B (zh) * 2015-12-17 2018-04-13 中国科学院深圳先进技术研究院 一种图像去雾的方法、装置
CN105631890A (zh) * 2016-02-04 2016-06-01 上海文广科技(集团)有限公司 基于图像梯度和相位一致性的失焦图片质量评价方法
CN105631890B (zh) * 2016-02-04 2019-05-24 上海文广科技(集团)有限公司 基于图像梯度和相位一致性的失焦图片质量评价方法
US10504209B2 (en) 2016-07-12 2019-12-10 Beihang University Image dehazing method
CN106156781B (zh) * 2016-07-12 2019-09-10 北京航空航天大学 排序卷积神经网络构建方法及其图像处理方法与装置
CN106156781A (zh) * 2016-07-12 2016-11-23 北京航空航天大学 排序卷积神经网络构建方法及其图像处理方法与装置
CN106780356B (zh) * 2016-11-15 2020-04-28 天津大学 基于卷积神经网络和先验信息的图像去雾方法
CN106780356A (zh) * 2016-11-15 2017-05-31 天津大学 基于卷积神经网络和先验信息的图像去雾方法
CN106709903B (zh) * 2016-11-22 2020-06-19 南京理工大学 基于图像质量的pm2.5浓度预测方法
CN106709903A (zh) * 2016-11-22 2017-05-24 南京理工大学 基于图像质量的pm2.5浓度预测方法
CN106779054A (zh) * 2016-12-31 2017-05-31 中国科学技术大学 一种基于雾天图像的pm2.5估计方法
CN106779054B (zh) * 2016-12-31 2018-05-29 中国科学技术大学 一种基于雾天图像的pm2.5估计方法
CN107103591A (zh) * 2017-03-27 2017-08-29 湖南大学 一种基于图像雾霾浓度估计的单幅图像去雾方法
CN107103591B (zh) * 2017-03-27 2020-01-07 湖南大学 一种基于图像雾霾浓度估计的单幅图像去雾方法
WO2018176625A1 (zh) * 2017-03-28 2018-10-04 深圳市科美集成电路有限公司 雾霾穿透摄像头电路及系统
CN107133919A (zh) * 2017-05-16 2017-09-05 西安电子科技大学 基于深度学习的时间维视频超分辨率方法
CN107256541A (zh) * 2017-06-15 2017-10-17 北京航空航天大学 一种基于卷积神经网络的多光谱遥感图像去雾方法
CN107256541B (zh) * 2017-06-15 2020-01-24 北京航空航天大学 一种基于卷积神经网络的多光谱遥感图像去雾方法
CN107705262A (zh) * 2017-10-10 2018-02-16 中山大学 一种基于混合先验学习模型的去雾方法
CN108053382A (zh) * 2017-12-25 2018-05-18 北京航空航天大学 一种视觉特性去雾稳像探测系统
CN107993214A (zh) * 2017-12-25 2018-05-04 北京航空航天大学 一种在线抗黄色雾霾色偏自修正的上下界支撑图像增强系统
CN108053382B (zh) * 2017-12-25 2019-04-16 北京航空航天大学 一种视觉特性去雾稳像探测系统
CN108230314A (zh) * 2018-01-03 2018-06-29 天津师范大学 一种基于深度激活池化的图像质量评估方法
CN108230314B (zh) * 2018-01-03 2022-01-28 天津师范大学 一种基于深度激活池化的图像质量评估方法
TWI724375B (zh) * 2018-02-23 2021-04-11 富智捷股份有限公司 圖像去霧霾方法、電子設備及電腦可讀取記錄媒體
CN109087258A (zh) * 2018-07-27 2018-12-25 中山大学 一种基于深度学习的图像去雨方法及装置
CN109087258B (zh) * 2018-07-27 2021-07-20 中山大学 一种基于深度学习的图像去雨方法及装置
WO2020029033A1 (zh) * 2018-08-06 2020-02-13 深圳大学 雾霾图像清晰化方法、系统及可存储介质
WO2021046752A1 (en) * 2019-09-11 2021-03-18 Covidien Lp Systems and methods for neural-network based color restoration
CN113763254A (zh) * 2020-06-05 2021-12-07 中移(成都)信息通信科技有限公司 一种图像处理方法、装置、设备及计算机存储介质
CN113763254B (zh) * 2020-06-05 2024-02-02 中移(成都)信息通信科技有限公司 一种图像处理方法、装置、设备及计算机存储介质

Also Published As

Publication number Publication date
CN104217404B (zh) 2017-06-20

Similar Documents

Publication Publication Date Title
CN104217404A (zh) 雾霾天视频图像清晰化处理方法及其装置
CN108986050B (zh) 一种基于多分支卷积神经网络的图像和视频增强方法
Yang et al. Single image haze removal via region detection network
CN109635634B (zh) 一种基于随机线性插值的行人再识别数据增强方法
Liu et al. Underwater image enhancement method based on adaptive attenuation-curve prior
CN109255758A (zh) 基于全1*1卷积神经网络的图像增强方法
CN109871845B (zh) 证件图像提取方法及终端设备
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN111539246B (zh) 一种跨光谱人脸识别方法、装置、电子设备及其存储介质
CN107292830A (zh) 低照度图像增强及评价方法
CN105701785A (zh) 基于天空区域划分加权tv透射率优化的图像雾霾去除方法
Jia et al. Effective meta-attention dehazing networks for vision-based outdoor industrial systems
Qian et al. CIASM-Net: a novel convolutional neural network for dehazing image
CN113205507B (zh) 一种视觉问答方法、系统及服务器
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
Dwivedi et al. Single image dehazing using extended local dark channel prior
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN104915933A (zh) 一种基于apso-bp耦合算法的雾天图像增强方法
Goncalves et al. Guidednet: Single image dehazing using an end-to-end convolutional neural network
Song et al. A Single Image Dehazing Method Based on End-to-End CPAD-Net Network in Deep Learning Environment
Wu et al. DHGAN: Generative adversarial network with dark channel prior for single‐image dehazing
CN115439738A (zh) 一种基于自监督协同重构的水下目标检测方法
Jiji et al. Extended depth of focus imaging using optics and image processing
Li et al. Multi-scale fusion framework via retinex and transmittance optimization for underwater image enhancement

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant