CN105959510B - 一种视频快速去雾方法 - Google Patents
一种视频快速去雾方法 Download PDFInfo
- Publication number
- CN105959510B CN105959510B CN201610255951.2A CN201610255951A CN105959510B CN 105959510 B CN105959510 B CN 105959510B CN 201610255951 A CN201610255951 A CN 201610255951A CN 105959510 B CN105959510 B CN 105959510B
- Authority
- CN
- China
- Prior art keywords
- value
- background image
- transmission rate
- video
- medium transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000005540 biological transmission Effects 0.000 claims abstract description 86
- 238000001914 filtration Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000002146 bilateral effect Effects 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000012937 correction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 239000003595 mist Substances 0.000 claims description 10
- 230000008030 elimination Effects 0.000 claims description 8
- 238000003379 elimination reaction Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000012360 testing method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 10
- 238000011160 research Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241001502050 Acis Species 0.000 description 1
- 238000000627 alternating current impedance spectroscopy Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000000889 atomisation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Abstract
一种视频快速去雾方法，涉及视频处理技术领域，包括提取用于求取大气光值和介质传输率的背景图像的步骤、利用暗通道先验原理和区间估计方式从提取的背景图像中求取大气光值A的步骤、利用暗通道先验原理从提取的背景图像中得到介质传输率的初始估计t1(x)和介质传输率的粗略估计t2(x)的步骤、将介质传输率的初始估计t1(x)和介质传输率的粗略估计t2(x)进行像素级融合和快速联合双边滤波处理并进行值域调整得到介质传输率的最终估计t(x)的步骤及对视频去雾处理的步骤。该方法在保证良好的视频处理效果的前提下，还具有较快的处理速度，兼顾了去雾处理效果和速度。
Description
技术领域
本发明涉及视频处理技术领域，特别涉及一种视频快速去雾方法。
背景技术
在雾霾天气条件下，由于大气中悬浮颗粒对光线的散射作用，使得拍摄的视频图像存在亮度增加、对比度下降和色调偏移等现象，极大地影响了户外视觉监控系统效用的发挥。
目前，国内外学者对于去雾的研究主要针对单幅图像，并取得了不少研究成果，但对于视频去雾方面的研究还比较少，且远未达到成熟阶段。一般来说，雾天视频去雾建立在图像前、背景分割的基础上，可分为两大类[1]：(1)利用背景图像求取介质传输率，并应用于视频的每一帧图像进行去雾处理。Chen等[2]针对有雾和无雾天气条件下同一场景的图像，采用双色散射模型估计出介质传输率，再利用无迹卡尔曼滤波的背景保持算法进行去雾。郭璠等[1]视雾气为介质传输率，将背景图像得到的“通用”介质传输率应用于视频的所有帧以消除雾气。(2)将图像的背景与前景分离开来，分别采用去雾算法进行相关处理，最后将处理结果进行融合以实现去雾。John等[3]利用YIQ颜色模型估计大气光值，然后采用小波融合的方法将去雾后的前景帧图像融入背景帧图像中，实现雾天视频增强。Xu等[4]采用对比度受限的自适应直方图均衡化的方法对视频帧的前景和背景图像分别进行增强处理，然后融合得到去雾视频序列。虽然已经有上述学者提出了以上的视频去雾方法，但是，目前视频去雾的研究成果总体来说还比较少，且现有方法大多在运算速度和去雾效果上还无法令人满意，无法兼顾运算速度和去雾效果。
[1]郭璠,蔡自兴,谢斌.基于雾气理论的视频去雾算法[J].电子学报,2011,39(9):2019-2025.
Guo F,Cai Z X,Xie B.Video defogging algorithm based on fog theory[J].Acta Electronica Sinica,2011,39(9):2019-2025.
[2]Chen G,Zhou H Q,Yan J F.A novel method for moving object detectionin foggy day[C]//In Proceedings of the 8th ACIS International Conference onSoftware Engineering,Artificial Intelligence,Networking,and Parallel/Distributed Computing.Qingdao,China:IEEE Computer Society,2007:53-58.
[3]Jone J,Wilscy M.Enhancement of weather degraded video sequencesusing wavelet fusion[C]//In Proceedings of the 7th IEEE InternationalConference on Cybernetic Intelligent System.London,UK:IEEE Computer Society,2008:1-6.
[4]Xu Z Y,Liu X M,Chen X N.Fog removal from video sequences usingcontrast limited adaptive histogram equalization[C]//In Proceedings ofInternational Conference on Computational Intelligence and SoftwareEngineering.Wuhan,China:IEEE Computer Society,2009:1-4.
发明内容
本发明要解决的技术问题是：提供一种视频快速去雾方法，该方法具有较快的运算速度，并能获得较好的视频图像效果。
为了解决上述技术问题，本发明采用如下技术方案：一种视频快速去雾方法，包括以下步骤：
步骤一、提取用于求取大气光值和介质传输率的背景图像：
对于固定摄像机拍摄的视频，采用均值法提取视频序列的背景图像；
对于移动摄像机拍摄的视频，先提取一帧图像的背景图像，然后每隔若干帧/秒将当前帧的背景图像和前一次提取的背景图像对应像素相减得到差分图像，将差分图像中的像素与前一次提取的背景图像的全部像素的百分比和给定阈值进行比较，若上述百分比小于给定阈值，则沿用前一次提取的背景图像，若上述百分比大于给定阈值，则提取当前帧的背景图像；
步骤二、利用暗通道先验原理和区间估计方式从提取的背景图像中求取大气光值A；
步骤三、利用暗通道先验原理从提取的背景图像中得到介质传输率的初始估计t1(x)和介质传输率的粗略估计t2(x)；
步骤四、将介质传输率的初始估计t1(x)和介质传输率的粗略估计t2(x)进行像素级融合得到t3(x)，对t3(x)进行快速联合双边滤波处理，得到滤波输出结果t4(x)，引入自适应参数对t4(x)进行值域调整，得到介质传输率的最终估计t(x)；
步骤五、视频去雾处理：
对于固定摄像机拍摄的视频，将获取的大气光值A和介质传输率的最终估计t(x)应用于视频所有帧进行去雾处理，从而得到去雾视频；
对于移动摄像机拍摄的视频，将从各背景图像中获取的大气光值A和介质传输率的最终估计t(x)应用于与该背景图像对应的视频帧进行去雾处理，从而得到去雾视频。
其中，在上述步骤二中利用暗通道先验原理和区间估计方式从提取的背景图像中求取大气光值A的过程包括以下步骤：
(21)对背景图像三通道对应的像素点取最小值操作，得到暗通道值；
(22)对步骤(21)中得到的暗通道值进行最小值滤波，对暗通道最小值滤波的输出结果作灰度值开运算，利用灰度值开运算的输出结果对大气光值A进行区间估计，从而求得大气光值A，求取大气光值A的公式为：
上式中，0≤α≤1，α为加权系数，其定义为mean(·)表示对所有像素点取均值，为背景图像的暗通道最小值滤波的输出结果，为对进行灰度值开运算处理的结果，灰度值开运算的窗口尺寸与最小值滤波的窗口尺寸一致，为背景图像的一个彩色通道值，表示对每一个像素点取RGB 3个通道灰度值的最大值。
其中，在上述步骤三中利用暗通道先验原理从提取的背景图像中得到介质传输率的初始估计t1(x)的过程包括以下步骤：
(31)对背景图像三通道对应的像素点取最小值操作，得到暗通道值；
(32)对步骤(31)中得到的暗通道值进行最小值滤波，对暗通道最小值滤波的输出结果作灰度值开运算，结合暗通道最小值滤波的输出结果和灰度值开运算的输出结果得到介质传输率的初始估t1(x)：
其中，在上述步骤三中采用暗通道先验原理和区间估计方式从提取的背景图像中得到介质传输率的粗略估计t2(x)的过程包括以下步骤：
(33)利用步骤(22)中求得的大气光值A对背景图像进行白平衡校正并将白平衡校正的背景图像限制在区间[0,1]内，从而实现对大气散射模型简化，得到简化大气散射模型；
(34)对白平衡校正的背景图像三通道对应的像素点取最小值操作，得到暗通道值，根据步骤(33)得到的简化大气散射模型和步骤(32)的到的介质传输率的初始估计t1(x)对场景反照率的暗通道值进行区间估计，进而得到介质传输率的粗略估计t2(x)：
上式中，I″(x)为作白平衡校正后的背景图像的暗通道值，ρdark(x)为背景图像中场景反照率的暗通道值，ε为无穷小量。
进一步，在上述步骤四中，将介质传输率的初始估计t1(x)和粗略估计t2(x)进行像素级融合时采用加权平均算法进行处理，t3(x)的表达式为：
t3(x)＝γ·t1(x)+(1-γ)·t2(x)
上式中，γ为加权系数，用来调节t3(x)的取值，其定义为：
其中，在上述步骤四中，采用1-Idark(x)/A对t3(x)进行快速联合双边滤波处理，其表达示为：
上式中，t4(x)为滤波输出结果，和为高斯函数，其中，σs为空域高斯模板的尺寸，σr为值域高斯模板的尺寸，为归一化系数，其表达式为：
优选的，步骤四中引入的自适应参数的修正值为：
t0＝min(max(n/N,0.15),0.3)
上式中，N为t4(x)中像素点的总数，n为t4(x)中像素值小于0.15的像素点的个数，0.15和0.3用来规定t0的上下限；
得到的介质传输率的最终估计t(x)为：
t(x)＝min(max(t4(x),t0),1)。
本发明取得的有益效果在于：本发明提供了一种视频快速去雾方法，首先，本发明结合了图像增强和图像复原的思想，充分利用图像增强和图像复原的特点，通过图像融合的方式，提高了介质传输率的估计精度；其次，本发明采用暗通道先验和区间估计的方式求取大气光值和介质传输率，提高了大气光值和介质传输率的估计精度；此外，在雾天视频实际处理的过程中，本发明只需对雾化背景图像中明亮区域的面积进行估计，从而确定灰度值开运算的半径，而无其他调节参数，将估计的大气光值及介质传输率的最终估计应用于相应视频帧进行去雾处理即可，避免了去雾视频中出现颜色跳变的现象，同时提高了去雾速度。综上所述，本发明提供的视频去雾方法能够获得较好的图像清晰度、亮度和颜色，并且具有较快的处理速度。
附图说明
图1为本发明实施例1的流程图；
图2为本发明实施例2的流程图；
图3为用实施例1的方法对监控视频中三帧图像作去雾处理前后的对比图像；
图4为对图3所示三帧图像采用实施例1的方法作去雾处理后的定量评价指标统计表；
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
本发明的一个显著特点是，以雾气理论为基础，利用暗通道先验知识，采用区间估计的方式从背景图像中求取大气光值，同时得到介质传输率的初始估计。然后，利用白平衡处理后的大气散射模型，采用区间估计的方式求取介质传输率的粗略估计，并通过图像融合、联合双边滤波和值域调整得到介质传输率的最终估计。最后，将得到的大气光值和介质传输率应用于视频的相应帧以消除雾气。
实施例1：
本实施例针对拍摄视频的摄像头为固定不动状态的情况。
具体地，如图1所示，本实施例的实施流程包括以下步骤：
一种视频快速去雾方法，包括以下步骤：
步骤一、提取用于求取大气光值和介质传输率的背景图像：
采用均值法提取视频序列的背景图像；
步骤二、利用暗通道先验原理和区间估计方式从提取的背景图像中求取大气光值A；
步骤三、利用暗通道先验原理从提取的背景图像中得到介质传输率的初始估计t1(x)和介质传输率的粗略估计t2(x)；
步骤四、将介质传输率的初始估计t1(x)和介质传输率的粗略估计t2(x)进行像素级融合得到t3(x)，对t3(x)进行快速联合双边滤波处理，得到滤波输出结果t4(x)，引入自适应参数对t4(x)进行值域调整，得到介质传输率的最终估计t(x)；
步骤五、视频去雾处理：
将获取的大气光值A和介质传输率的最终估计t(x)应用于视频所有帧进行去雾处理，从而得到去雾视频。
为了便于本领域技术人员理解，下面对本实施例的具体流程作更详细的说明。
1、背景图像的提取：
在计算机视觉和计算机图形学中，雾天图像的大气散射模型可表示为：
I(x)＝J(x)t(x)+A(1-t(x))
＝Aρ(x)t(x)+A(1-t(x)) (1)
式(1)中，I(x)为雾天图像，J(x)为场景辐射率，A为大气光值，ρ(x)为场景反照率，t(x)为介质传输率。一般情况下，A可看作常数。当大气同质时，介质传输率t(x)可表示为：
t(x)＝e-βd(x) 0≤t(x)≤1 (2)
式中，β为大气散射系数，d(x)为场景深度。
在式(1)中，Aρ(x)t(x)称为衰减模型，用来描述光从场景点传播到观测点的过程中，场景辐射率的衰减情况。从t(x)的表达式可知，场景辐射率随场景深度d(x)的增大呈指数衰减。A(1-t(x))称为大气光模型，用来描述成像过程中加入的大气散射光。它反映了大气散射光对成像光强的影响，造成了场景图像的模糊和色调的偏移。雾天图像去雾就是利用大气散射模型，通过对参数A和t(x)的估计，从I(x)中得到ρ(x)，则Aρ(x)即为恢复的场景辐射率。
由式(1)可知，大气散射模型可变换为：
1-I(x)/A＝t(x)(1-ρ(x)) (3)
式中，1-ρ(x)定义为逆反照率。为了书写方便，定义M(x)＝1-I(x)/A，N(x)＝1-ρ(x)，则式(3)可变换为：
M(x)＝t(x)N(x) (4)
在摄像机固定的视频监控中，相机拍摄范围内图像的背景几乎不变。因此，将背景图像求取的大气光值A和介质传输率t(x)应用于整个视频序列，可以有效提高视频去雾的速度。
根据式(4)，在获得通用大气光值A和介质传输率t(x)后，利用每一帧视频图像I(x)计算出M(x)，从而得到N(x)，进而获得复原的视频序列。
2、大气光值的估计及介质传输率的初始估计：
在获得雾天视频序列的背景图像Ibc(x)后，为了对大气光值A和介质传输率t(x)进行估计，首先对式(1)两侧取最小值操作，可得：
式中，和ρC(x)为Ibc(x)和ρ(x)的一个彩色通道，表示对(R,G,B)通道对应的像素点取最小值，Idark(x)和ρdark(x)定义为Ibc(x)和ρ(x)的暗通道。
考虑到Idark(x)中白色物体或高亮度区域对大气光值估计的影响，对式(5)两侧进行最小值滤波，可得：
式中，和为Idark(x)和ρdark(x)最小值滤波的输出结果，Ω(x)是以x为中心的一个局部窗口，t′(x)定义为t(x)在Ω(x)范围内的值，且假定为常数。
为了提高大气光值和介质传输率的估计精度，对式(6)两侧取灰度开运算，可得：
式中，和为和灰度开运算的输出结果，其窗口尺寸与最小值滤波的窗口尺寸一致。由于和中像素点的灰度值不小0，则式(6)和式(7)可改写为：
在这里，根据式(8)，定义介质传输率的初始估计t1(x)为：
由暗通道先验知识可知，当最小值滤波的窗口尺寸大于Idark(x)中白色物体或高亮度区域的尺寸时，的取值趋于0，则式(6)可改写为：
由式(2)可知，t′(x)的取值范围为[0,1]，则式(10)中A的取值可表示为：
一般情况下，A的取值不大于雾天图像中像素点的最大值。由式(11)可知，A的取值范围可表示为：
由式(12)可知，A的区间估计值可表示为：
上式中，0≤α≤1，α为加权系数，其定义为：
式中，mean(·)表示对所有像素点取均值，从式(14)可以看出，α的取值与的灰度分布有关，可以自动调节A的大小。
3、介质传输率的粗略估计：
首先利用式(13)得到的大气光值A对大气光照进行白平衡处理，则式(1)可改写为：
Ibc(x)/A＝ρ(x)t(x)+1-t(x) (15)
对于雾天图像中像素点的取值大于大气光值的情况，本实施例将式(15)中白平衡校正的图像Ibc(x)/A限制在区间[0,1]，并用I′(x)进行表示，则式(15)可改写为：
I′(x)＝min(Ibc(x)/A,1)＝ρ(x)t(x)+1-t(x) (16)
为了求取介质传输率的粗略估计，对式(16)两侧取最小值，可得：
式中，I″(x)定义为I′(x)的暗通道。
由式(9)和式(17)，可得：
由式(2)和式(18)，可得：
对于t1(x)中像素值可能为0的情况，将式(19)改写为：
式中，ε为无穷小量，一般可取为0.00001。
由式(20)可知，ρdark(x)的区间估计可表示为：
式中，β为加权系数，用来调节ρdark(x)的取值，其定义为：
将式(21)代入式(18)，定义介质传输率的粗略估计为t2(x)，则式(18)可改写为：
同样，1-ρdark(x)中像素点的取值也可能为0，将式(23)改写为：
4、图像融合、联合双边过滤及值域调整：
由于t1(x)和t2(x)都是以暗通道先验理论为基础对介质传输率进行估计，两者具有互补性。因此，可以采用图像融合技术对t1(x)和t2(x)按照一定比例进行融合。本实施例采用像素级融合中的加权平均算法对t1(x)和t2(x)进行处理，其表达式为：
t3(x)＝γ·t1(x)+(1-γ)·t2(x) (25)
式中，γ为加权系数，用来调节t3(x)的取值，其定义为：
由于t3(x)和1-Idark(x)/A结构相似，且1-Idark(x)/A中含有大量的边缘特征和纹理细节。因此，本实施例利用1-Idark(x)/A对t3(x)进行快速联合双边滤波处理，其表达示为：
式中，t4(x)为滤波输出结果，和为高斯函数。其中，σs为空域高斯模板的尺寸，σr为值域高斯模板的尺寸。为归一化系数，其表达式为：
若雾天图像中存在大面积天空区域，和中天空区域的像素值不趋于0，则介质传输率的初始估计t1(x)被低估，从而t4(x)中对应区域的介质传输率也被低估，导致复原图像出现颜色失真。本实施例采用自适应参数调整的方法对图像中天空区域的介质传输率进行修正，其修正值为：
t0＝min(max(n/N,0.15),0.3) (29)
式中，N为t4(x)中像素点的总数，n为t4(x)中像素值小于0.15的像素点的个数。在式(29)中，0.15和0.3用来规定t0的上下限。由式(2)可知，天空区域的介质传输率具有最小值，且已修正为不小于t0，故介质传输率的最终估计t(x)可表示为：
t(x)＝min(max(t4(x),t0),1) (30)
5、视频去雾处理：
将背景图像求取的大气光值A和介质传输率t(x)应用于视频的所有帧，利用式(1)可实现雾天视频快速去雾。
在这里，将大气光值A、介质传输率t(x)及输入的视频图像I(x)代入式(4)，可得：
由式(31)和N(x)的定义式，可得：
由式(1)和式(32)，场景辐射率(即去雾图像)J(x)可表示为：
将J(x)中像素点的取值限制在区间[0,1]，则式(33)可改写为：
实施例2：
本实施例针对拍摄视频的摄像头为运动状态的情况。
步骤一、提取用于求取大气光值和介质传输率的背景图像：
先提取一帧图像的背景图像，然后每隔若干帧/秒将当前帧的背景图像和前一次提取的背景图像对应像素相减得到差分图像，将差分图像中的像素与前一次提取的背景图像的全部像素的百分比和给定阈值进行比较，若上述百分比小于给定阈值(给定阈值通常取85％)，则沿用前一次提取的背景图像，若上述百分比大于给定阈值，则提取当前帧的背景图像；
步骤二、利用暗通道先验原理和区间估计方式从提取的背景图像中求取大气光值A；
步骤三、利用暗通道先验原理从提取的背景图像中得到介质传输率的初始估计t1(x)和介质传输率的粗略估计t2(x)；
步骤四、将介质传输率的初始估计t1(x)和介质传输率的粗略估计t2(x)进行像素级融合得到t3(x)，对t3(x)进行快速联合双边滤波处理，得到滤波输出结果t4(x)，引入自适应参数对t4(x)进行值域调整，得到介质传输率的最终估计t(x)；
步骤五、视频去雾处理：
将从各背景图像中获取的大气光值A和介质传输率的最终估计t(x)应用于与该背景图像对应的视频帧进行去雾处理，从而得到去雾视频。
实施例2的具体实施流程与实施例1类似，对于实施例2的具体实施流程不再作详细说明。实施例2与实施例1的不同之处主要在于其在步骤一中对背景图像的提取采用帧差法、在步骤五中不是对视频中所有帧的图像应用同一大气光值A和介质传输率的最终估计t(x)，而是将从各背景图像中获取的大气光值A和介质传输率的最终估计t(x)应用于与该背景图像对应的视频帧。需要说明的是，在本发明中，所谓将从背景图像中获取的大气光值A和介质传输率的最终估计t(x)应用于与该背景图像对应的视频帧指的是在提取当前帧的背景图像(为方便表述，将该当前帧的背景图像称为背景图像1)后至提取下一背景图像(为方便表述，将下一背景图像称为背景图像2)前，该区间的视频帧采用从背景图像1中获取的大气光值A和介质传输率的最终估计t(x)进行去雾处理。
介于实施例1和2的实施流程相似，二者都是基于同样的发明思想，二者对视频的去雾处理结果较为接近(由于应用于动态背景的视频，实施例2的处理速度相对于实施例1略慢)，为了简化表述，下面仅对实施例1的实验结果分析作详细说明。
需要提前说明的是，对于视频去雾，还有很多问题有待进一步研究，其中对于视频图像去雾效果的客观评价也未形成统一标准。下面将采用主观和客观相结合的方式对视频去雾图像进行评价，其中主观评价通过人类视觉系统进行定性评价，客观评价则从对比度、色调保真度和运算速度三个方面进行定量评价。
对比度评价指标采用新增可见边比e和图像复原前后可见边梯度比其表达式为：
式中，n0和nr为去雾前后图像中可见边的数目，和为去雾前后图像的平均梯度。一般情况下，e和的取值越大，说明去雾后的图像具有更多的可见边和更高的清晰度，去雾效果越好。色调保真度采用r列基于图像统计特征的度量参数H，其表达式为：
式中，Hin(x)和Hout(x)为去雾前后图像在HSV空间中的色调分量。一般情况下，H的取值越小，说明去雾图像的色调保真度越高。
图3中示出了3帧图像，该3帧图像分别取自监控视频的第7、7、8和14帧图像，从图3可以看出，采用实施例1的去雾方法处理得到的图像具有较好的整体亮度、清晰度和图像颜色，不存在颜色跳变的情况。
从图4中可以看出，采用实施例1的方法处理得到的去雾图像可以获得较大的e值和较小的H值，并获得最大的值，说明该去雾方法在有效提高去雾图像清晰度和对比度的同时也能得到较好的图像颜色。另外，该方法未调整色调的结果也可以获得较大的值和较小的H值，同时获得最大的e值，说明其即便未采用色调调整也可获得较好的去雾效果。最后，从图1中视频去雾方法流程图来看，该实施例方法简单，可以获得较快的处理速度。具体地，实施例1的方法在硬件为Intel酷睿i5CPU、8GB内存，软件为Matlab R2012a的PC机上对于雾天视频“intersection”(该视频大小为480像素×640像素)的处理速度为5.45帧/秒，若不进行色调调整处理，其处理速度可达到9.15帧/秒，具有较快的处理速度。
综上所述，本发明在保证良好的视频处理效果的前提下，还具有较快的处理速度，兼顾了去雾处理效果和速度。
为了让本领域普通技术人员更方便地理解本发明相对于现有技术的改进之处，本发明的一些附图和描述已经被简化，并且为了清楚起见，本申请文件还省略了一些其它元素，本领域普通技术人员应该意识到这些省略的元素也可构成本发明的内容。
Claims (3)
1.一种视频快速去雾方法，包括以下步骤：
步骤一、提取用于求取大气光值和介质传输率的背景图像：
对于固定摄像机拍摄的视频，采用均值法提取视频序列的背景图像；
对于移动摄像机拍摄的视频，先提取一帧图像的背景图像，然后每隔若干帧/秒将当前帧的背景图像和前一次提取的背景图像对应像素相减得到差分图像，将差分图像中的像素与前一次提取的背景图像的全部像素的百分比和给定阈值进行比较，若上述百分比小于给定阈值，则沿用前一次提取的背景图像，若上述百分比大于给定阈值，则提取当前帧的背景图像；
步骤二、利用暗通道先验原理和区间估计方式从提取的背景图像中求取大气光值A；
步骤三、利用暗通道先验原理从提取的背景图像中得到介质传输率的初始估计t1(x)和介质传输率的粗略估计t2(x)；
采用暗通道先验原理和区间估计方式从提取的背景图像中得到介质传输率的粗略估计t2(x)的过程包括以下步骤：
利用求得的大气光值A对背景图像进行白平衡校正并将白平衡校正的背景图像限制在区间[0,1]内，从而实现对大气散射模型简化，得到简化大气散射模型；
对白平衡校正的背景图像三通道对应的像素点取最小值操作，得到暗通道值，根据得到的简化大气散射模型和介质传输率的初始估计t1(x)对场景反照率的暗通道值进行区间估计，进而得到介质传输率的粗略估计t2(x)：
上式(1)中，I″(x)为作白平衡校正后的背景图像的暗通道值，ρdark(x)为背景图像中场景反照率的暗通道值，ε为无穷小量；
步骤四、将介质传输率的初始估计t1(x)和介质传输率的粗略估计t2(x)进行像素级融合得到t3(x)，对t3(x)进行快速联合双边滤波处理，得到滤波输出结果t4(x)，引入自适应参数对t4(x)进行值域调整，得到介质传输率的最终估计t(x)；
在将介质传输率的初始估计t1(x)和粗略估计t2(x)进行像素级融合时采用加权平均算法进行处理，t3(x)的表达式为：
t3(x)＝γ·t1(X)+(1-γ)·t2(x) (2)；
上式(2)中，γ为加权系数，用来调节t3(x)的取值，其定义为：
采用1-Idark(x)/A对t3(x)进行快速联合双边滤波处理，其表达式为：
上式(4)中，t4(x)为滤波输出结果，和为高斯函数，其中，σs为空域高斯模板的尺寸，σr为值域高斯模板的尺寸，为归一化系数，其表达式为：
引入的自适应参数的修正值为：
t0＝min(max(n/N,0.15),0.3) (6)；
上式(6)中，N为t4(x)中像素点的总数，n为t4(x)中像素值小于0.15的像素点的个数，0.15和0.3用来规定t0的上下限；
得到的介质传输率的最终估计t(x)为：
t(x)＝min(max(t4(x),t0),1)；
步骤五、视频去雾处理：
对于固定摄像机拍摄的视频，将获取的大气光值A和介质传输率的最终估计t(x)应用于视频所有帧进行去雾处理；
对于移动摄像机拍摄的视频，将从各背景图像中获取的大气光值A和介质传输率的最终估计t(x)应用于与该背景图像对应的视频帧进行去雾处理；
去雾处理时，先利用每一帧视频图像I(x)、应用于该帧视频图像I(x)的大气光值A和介质传输率的最终估计t(x)代入下式，获得该帧视频图像的去雾图像J(x)：
将去雾图像J(x)中像素点的取值限制在区间[0,1]，则最终获得的去雾图像J(x)为：
通过上述方式完成对视频所有帧图像的去雾处理，进而得到去雾的视频。
2.根据权利要求1所述的视频快速去雾方法，其特征在于：所述步骤二中利用暗通道先验原理和区间估计方式从提取的背景图像中求取大气光值A的过程包括以下步骤：
(21)对背景图像三通道对应的像素点取最小值操作，得到暗通道值；
(22)对步骤(21)中得到的暗通道值进行最小值滤波，对暗通道最小值滤波的输出结果作灰度值开运算，利用灰度值开运算的输出结果对大气光值A进行区间估计，从而求得大气光值A，求取大气光值A的公式为：
上式中，0≤α≤1，α为加权系数，其定义为mean(·)表示对所有像素点取均值，为背景图像的暗通道最小值滤波的输出结果，为对进行灰度值开运算处理的结果，灰度值开运算的窗口尺寸与最小值滤波的窗口尺寸一致，为背景图像的一个彩色通道值，表示对每一个像素点取RGB 3个通道灰度值的最大值。
3.根据权利要求1或2所述的视频快速去雾方法，其特征在于：所述步骤三中利用暗通道先验原理从提取的背景图像中得到介质传输率的初始估计t1(x)的过程包括以下步骤：
(31)对背景图像三通道对应的像素点取最小值操作，得到暗通道值；
(32)对步骤(31)中得到的暗通道值进行最小值滤波，对暗通道最小值滤波的输出结果作灰度值开运算，结合暗通道最小值滤波的输出结果和灰度值开运算的输出结果得到介质传输率的初始估t1(x)：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610255951.2A CN105959510B (zh) | 2016-04-22 | 2016-04-22 | 一种视频快速去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610255951.2A CN105959510B (zh) | 2016-04-22 | 2016-04-22 | 一种视频快速去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105959510A CN105959510A (zh) | 2016-09-21 |
| CN105959510B true CN105959510B (zh) | 2019-04-26 |
Family
ID=56915360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610255951.2A Active CN105959510B (zh) | 2016-04-22 | 2016-04-22 | 一种视频快速去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105959510B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106530248A (zh) * | 2016-10-28 | 2017-03-22 | 中国南方电网有限责任公司 | 一种变电站场景视频噪声的智能检测方法 |
| CN107360344B (zh) * | 2017-06-27 | 2020-02-21 | 西安电子科技大学 | 监控视频快速去雾方法 |
| CN108335274B (zh) * | 2018-02-08 | 2020-05-15 | 南京航空航天大学 | 一种快速视频去雾方法 |
| CN108986049A (zh) * | 2018-07-20 | 2018-12-11 | 百度在线网络技术（北京）有限公司 | 用于处理图像的方法和装置 |
| CN110852971B (zh) * | 2019-11-11 | 2022-02-18 | 昆明理工大学 | 基于暗原色先验和Retinex的视频去雾方法及存储介质 |
| CN114820665B (zh) * | 2022-06-30 | 2022-09-02 | 中国人民解放军国防科技大学 | 一种星图背景抑制方法、装置、计算机设备和存储介质 |
| CN117649439B (zh) * | 2024-01-30 | 2024-04-09 | 山东省海洋资源与环境研究院(山东省海洋环境监测中心、山东省水产品质量检验中心) | 一种海草床面积的获取方法、系统、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103747213A (zh) * | 2014-01-15 | 2014-04-23 | 北京工业大学 | 一种基于运动目标的交通监控视频实时去雾方法 |
| CN103761720A (zh) * | 2013-12-13 | 2014-04-30 | 中国科学院深圳先进技术研究院 | 图像去雾方法以图像去雾装置 |
| CN104036466A (zh) * | 2014-06-17 | 2014-09-10 | 浙江立元通信技术股份有限公司 | 一种视频去雾方法与系统 |
| CN104063853A (zh) * | 2014-07-07 | 2014-09-24 | 南京通用电器有限公司 | 一种基于暗通道技术的提高交通视频图像清晰度方法 |
| CN104732497A (zh) * | 2015-03-31 | 2015-06-24 | 北京交通大学 | 一种图像去雾方法、fpga及包含该fpga的去雾系统 |
-
2016
- 2016-04-22 CN CN201610255951.2A patent/CN105959510B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103761720A (zh) * | 2013-12-13 | 2014-04-30 | 中国科学院深圳先进技术研究院 | 图像去雾方法以图像去雾装置 |
| CN103747213A (zh) * | 2014-01-15 | 2014-04-23 | 北京工业大学 | 一种基于运动目标的交通监控视频实时去雾方法 |
| CN104036466A (zh) * | 2014-06-17 | 2014-09-10 | 浙江立元通信技术股份有限公司 | 一种视频去雾方法与系统 |
| CN104063853A (zh) * | 2014-07-07 | 2014-09-24 | 南京通用电器有限公司 | 一种基于暗通道技术的提高交通视频图像清晰度方法 |
| CN104732497A (zh) * | 2015-03-31 | 2015-06-24 | 北京交通大学 | 一种图像去雾方法、fpga及包含该fpga的去雾系统 |
Non-Patent Citations (3)
| Title |
|---|
| Single image haze removal using dark channel prior;Kaiming He,Jian Sun,Xiaoou Tang;《Proceedings of IEEE Conference on Computer Vision and Pattern Recognition》;20091231;第4卷;全文 |
| 基于区间估计的单幅图像快速去雾;刘海波，杨杰，吴正平，张庆丰，邓勇;《电子与信息学报》;20160229;第二章-第三章，图1 |
| 海雾下的视频图像去雾算法研究;马忠丽，文杰，梁秀梅;《计算机应用研究》;20140930;第一章-第三章3.1节-3.2节，图4-5 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105959510A (zh) | 2016-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105959510B (zh) | 一种视频快速去雾方法 | |
| CN108596849B (zh) | 一种基于天空区域分割的单幅图像去雾方法 | |
| Xu et al. | Fast image dehazing using improved dark channel prior | |
| Xu et al. | Removing rain and snow in a single image using guided filter | |
| CN104240194B (zh) | 一种基于抛物线函数的低照度图像增强算法 | |
| Wang et al. | A fast single-image dehazing method based on a physical model and gray projection | |
| CN110570360B (zh) | 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法 | |
| CN103955905A (zh) | 基于快速小波变换和加权图像融合的单幅图像去雾方法 | |
| Pei et al. | Effective image haze removal using dark channel prior and post-processing | |
| He et al. | Single image dehazing with white balance correction and image decomposition | |
| Parthasarathy et al. | A RETINEX based haze removal method | |
| Sahu et al. | Image dehazing based on luminance stretching | |
| Liu et al. | Single image haze removal via depth-based contrast stretching transform | |
| CN108765337B (zh) | 一种基于暗原色先验与非局部mtv模型的单幅彩色图像去雾处理方法 | |
| Zhang et al. | Atmospheric scattering-based multiple images fog removal | |
| Hu et al. | A low illumination video enhancement algorithm based on the atmospheric physical model | |
| Liu et al. | Fog removal algorithms: survey and perceptual evaluation | |
| Yu et al. | Content-adaptive rain and snow removal algorithms for single image | |
| Zhang et al. | A fast video image defogging algorithm based on dark channel prior | |
| Negru et al. | Exponential image enhancement in daytime fog conditions | |
| CN115439346A (zh) | 一种基于机载嵌入式fpga开发平台含雾图像去雾增强方法 | |
| Asadi et al. | Improving dark channel prior for single image dehazing | |
| Hu et al. | A moving objects based real-time defogging method for traffic monitoring videos | |
| CN112686825A (zh) | 一种基于fpga的地面浓雾场景灰度图像去雾方法 | |
| Kaur et al. | Comparative study on various single image defogging techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |