CN109636735B - 一种基于时空一致性约束的快速视频去雾方法 - Google Patents
一种基于时空一致性约束的快速视频去雾方法 Download PDFInfo
- Publication number
- CN109636735B CN109636735B CN201811298082.7A CN201811298082A CN109636735B CN 109636735 B CN109636735 B CN 109636735B CN 201811298082 A CN201811298082 A CN 201811298082A CN 109636735 B CN109636735 B CN 109636735B
- Authority
- CN
- China
- Prior art keywords
- atmospheric light
- value
- image
- light value
- transmissivity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 238000002834 transmittance Methods 0.000 claims description 37
- 238000009499 grossing Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims 1
- 238000013508 migration Methods 0.000 abstract description 2
- 230000005012 migration Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于时空一致性约束的快速视频去雾方法,将输入图像采用四分叉树分割求瞬时大气光值,对瞬时大气光值进行时空一致性约束,求解全局大气光值,根据全局大气光值以及输入图像,求解初始透射率,对初始透射率进行保持边缘滤波,求解精细透射率,根据输入图像、全局大气光值和精细透射率即可进行去雾复原。本发明对全局大气光值进行时空一致性约束,避免了单帧去雾算法在处理视频图像时可能会产生的闪烁现象。透射率估计中,对图像雾气浓度进行判断,并用判断的结果对透射率的最小值进行约束,保证了本发明的方法在不同雾气状况下的自适应能力。透射率估计中多采用比较算法,非常便于硬件逻辑实现与移植。
Description
技术领域
本发明涉及图像处理和计算机视觉技术领域,尤其涉及一种快速视频去雾方法。
背景技术
由于地面、海面背景复杂,目标种类繁多,远距离下的被探测目标极容易被淹没在背景噪声中,尤其是在低能见度条件下,环境中雾霾、水汽、沙尘等气溶胶粒子对光波的吸收和散射作用,严重影响光电系统的作战使用效能。图像去雾技术是通过图像复原的手段,从有雾场景拍摄的图像、视频中去除雾霾的影响,恢复物体原有的颜色和细节信息,得到高质量的图像并获取更多有效的图像信息的过程。
根据其是否依赖物理模型分为基于图像增强的去雾算法和基于物理模型的去雾算法。基于图像增强的去雾方法由于未考虑图像退化模型与场景深度信息,实际应用中对于成像深度较大的浓雾区域去雾效果往往不尽如人意。同时,图像增强可能会造成局部区域的过饱和失真。基于物理模型的去雾方法充分考虑了雾图形成的原因,取得了较好的去雾效果,比较有代表性的方法有He的暗通道先验去雾、Tan的局部对比度最优去雾、Fattal的独立成分分析去雾等等。尽管基于物理模型的图像去雾取得了一些成果,然而现有的方法大多是针对单帧图像的处理。人类视觉对视频的时空一致性非常敏感,因此,不考虑视频帧间的相互关系而简单地将单幅去雾算法应用到视频上会导致去雾后视频闪烁。
发明内容
为了克服现有技术的不足,本发明针对视频去雾计算量大,对时空一致性要求高等需求,提出一种快速视频去雾方法。
本发明解决其技术问题所采用的技术方案包括以下步骤:
将输入图像Ic平均分割成4个子空间组成四叉树,用每个子空间的均值减去标准偏差作为该子空间的最终得分;选择得分最高的子空间继续进行四叉树分割,重复该过程直至分割后的子空间的像素数目小于设定值Z为止,Z=(M×N)/27,其中M,N分别代表图像长度与宽度;最后一次分割后得分最高的子空间为Ic s(p),在子空间Ic s(p)中选取RGB与[255,255,255]的欧氏距离最近的点作为瞬时大气光值
步骤2:对瞬时大气光值进行时空一致性约束,求解全局大气光值Ac;
假设视频的帧率为N帧/秒,则第n帧的全局大气光值Ac(n)按照如下公式计算得到:
步骤3:根据全局大气光值以及输入图像,求解初始透射率tc;
根据欧式距离r(x,y)计算初始透射率tb(x,y):
tb(x,y)=r(x,y)/rmax,
步骤4:对初始透射率进行保持边缘滤波,求解精细透射率tf;
其中,分别为降采样图像沿x,y方向的偏导,ε是为了防止分母为零的小数,取值范围为[0.001~0.0001],以平滑权重ax、ay作为对角线元素,构建对角矩阵Ax和Ay,对Ax和Ay分别沿x,y方向做前向与后向差分运算并相加,得到中间变量Lg:
将中间变量Lg与步骤3得到的初始透射率tc带入下式,进行保持边缘滤波,得到透射率tfd:
tfd=tc(1+λLg)-1
其中,λ是权重系数,范围是0.1-0.15,通过线性插值对tfd进行升四倍采样,得到精细透射率tf;
步骤5:根据输入图像、全局大气光值和精细透射率tf,进行去雾复原;
根据输入图像Ic、全局大气光值Ac以及精细透射率tf,按照下式计算:
即可得到去雾复原的图像Jc。
本发明的有益效果在于对全局大气光值进行时空一致性约束,避免了单帧去雾算法在处理视频图像时可能会产生的闪烁现象。透射率估计中,对图像雾气浓度进行判断,并用判断的结果对透射率的最小值进行约束,保证了本发明的方法在不同雾气状况下的自适应能力。透射率估计中多采用比较算法,非常便于硬件逻辑实现与移植。
附图说明
图1为本发明方法的步骤流程图;
图2为本发明对原图像处理的结果。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
将输入图像Ic平均分割成4个子空间组成四叉树,用每个子空间的均值减去标准偏差作为该子空间的最终得分;选择得分最高的子空间继续进行四叉树分割,重复该过程直至分割后的子空间的像素数目小于设定值Z为止,Z=(M×N)/27,其中M,N分别代表图像长度与宽度;最后一次分割后得分最高的子空间为Ic s(p),在子空间Ic s(p)中选取RGB与[255,255,255]的欧氏距离最近的点作为瞬时大气光值
步骤2:对瞬时大气光值进行时空一致性约束,求解全局大气光值Ac;
假设视频的帧率为N帧/秒,则第n帧的全局大气光值Ac(n)按照如下公式计算得到:
步骤3:根据全局大气光值以及输入图像,求解初始透射率tc;
根据欧式距离r(x,y)计算初始透射率tb(x,y):
tb(x,y)=r(x,y)/rmax,
步骤4:对初始透射率进行保持边缘滤波,求解精细透射率tf;
其中,分别为降采样图像沿x,y方向的偏导,ε是为了防止分母为零的小数,取值范围为[0.001~0.0001],以平滑权重ax、ay作为对角线元素,构建对角矩阵Ax和Ay,对Ax和Ay分别沿x,y方向做前向与后向差分运算并相加,得到中间变量Lg:
将中间变量Lg与步骤3得到的初始透射率tc带入下式,进行保持边缘滤波,得到透射率tfd:
tfd=tc(1+λLg)-1
其中,λ是权重系数,范围是0.1-0.15,通过线性插值对tfd进行升四倍采样,得到精细透射率tf;
步骤5:根据输入图像、全局大气光值和精细透射率tf,进行去雾复原;
根据输入图像Ic、全局大气光值Ac以及精细透射率tf,按照下式计算:
即可得到去雾复原的图像Jc。
参照图1,以输入原图为彩色图像为例,本发明实施例的具体步骤如下:
步骤1:根据输入图像I,采用四分叉树分割求大气光值;
参照附图2图(b)四分叉树分割示意图,首先将原图像平均分割成4个子空间组成四叉树。用每个子空间的均值减去该子空间的标准偏差作为该子空间的最终得分。选择得分最高的子空间继续进行四叉树分割,重复该过程直到分割后子空间的像素数目小于设定值Z,记最后打分最高的子空间为Is(p),参照附图2图(b)右上角黑色矩形填充部分为最终分割的子空间Is(p)。在子空间Is(p)中选取RGB与[255,255,255]的欧式距离最近的点作为瞬时大气光值结合本发明实例应用,附图2中有雾图像的瞬时大气光值计算结果为(232,234,233);
步骤2:对所述瞬时大气光值进行时空一致性约束,求解全局大气光值Ac;
此次处理视频的帧率是25,则输入视频前12帧图像的全局大气光值Ac等于本帧由步骤1计算得到的瞬时大气光值,13帧之后的全局大气光值A等于本帧由步骤1计算得到的瞬时大气光值与之前13帧的瞬时大气光值的平均值。
步骤3:根据所述全局大气光值以及所述输入图像,求解初始透射率tc;
根据欧式距离r(x,y)计算初始透射率tb(x,y):
tb(x,y)=r(x,y)/rmax,
结合本发明实例应用,附图2图(c)为使用上述公式及参数计算的初始透射率。
步骤4:对所述初始透射率进行保持边缘滤波,求解精细透射率tf;
其中,分别为降采样图像沿x,y方向的偏导,ε是为了防止分母为零的小数,取值范围为[0.001~0.0001],以平滑权重ax、ay作为对角线元素,构建对角矩阵Ax和Ay,对Ax和Ay分别沿x,y方向做前向与后向差分运算并相加,得到中间变量Lg:
将中间变量Lg与步骤三得到的初始透射率tc带入下式,进行保持边缘滤波,得到透射率tfd;
tfd=tc(1+λLg)-1
通过线性插值对tfd进行升四倍采样,得到精细透射率tf。结合本发明实例应用,附图2图(d)为使用上述公式及参数计算的精细透射率。
步骤5:根据所述原图像、所述全局大气光值和所述精细透射率tf;进行去雾复原步骤中,根据输入图像Ic、全局大气光值Ac、以及精细透射率tf,按照下式计算去雾复原的图像Jc:
结合本发明实例应用,附图2(e)为去雾复原的结果。
本发明无需手动输入参数,无论晴天还是雾天,均可以达到满意的去雾效果,同时,去雾后忠于原始图片颜色分布,无色彩失真。除此之外,本发明的方法在透射率求取等关键步骤上多采用比较算法,非常便于FPGA逻辑电路设计与实现。
Claims (1)
1.一种基于时空一致性约束的快速视频去雾方法的方法,其特征在于包括下述步骤:
将输入图像Ic平均分割成4个子空间组成四叉树,用每个子空间的均值减去标准偏差作为该子空间的最终得分;选择得分最高的子空间迭代执行“选择得分最高的子空间-平均分割成4子空间的四叉树-用每个子空间的均值减去标准偏差作为该子空间的最终得分”的过程,直至分割后的子空间的像素数目小于设定值Z为止,Z=(M×N)/27,其中M,N分别代表图像长度与宽度;最后一次分割后得分最高的子空间为Ic s(p),在子空间Ic s(p)中选取RGB与[255,255,255]的欧氏距离最近的点作为瞬时大气光值
步骤2:对瞬时大气光值进行时空一致性约束,求解全局大气光值Ac;
假设视频的帧率为N帧/秒,则第n帧的全局大气光值Ac(n)按照如下公式计算得到:
步骤3:根据全局大气光值以及输入图像,求解初始透射率tc;
根据欧式距离r(x,y)计算初始透射率tb(x,y):
tb(x,y)=r(x,y)/rmax,
步骤4:对初始透射率进行保持边缘滤波,求解精细透射率tf;
其中,分别为降采样图像沿x,y方向的偏导,ε是为了防止分母为零的小数,取值范围为[0.001~0.0001],以平滑权重ax、ay作为对角线元素,构建对角矩阵Ax和Ay,对Ax和Ay分别沿x,y方向做前向与后向差分运算并相加,得到中间变量Lg:
将中间变量Lg与步骤3得到的初始透射率tc带入下式,进行保持边缘滤波,得到透射率tfd:
tfd=tc(1+λLg)-1
其中,λ是权重系数,范围是0.1-0.15,通过线性插值对tfd进行升四倍采样,得到精细透射率tf;
步骤5:根据输入图像、全局大气光值和精细透射率tf,进行去雾复原;
根据输入图像Ic、全局大气光值Ac以及精细透射率tf,按照下式计算:
即可得到去雾复原的图像Jc。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811298082.7A CN109636735B (zh) | 2018-11-02 | 2018-11-02 | 一种基于时空一致性约束的快速视频去雾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811298082.7A CN109636735B (zh) | 2018-11-02 | 2018-11-02 | 一种基于时空一致性约束的快速视频去雾方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109636735A CN109636735A (zh) | 2019-04-16 |
CN109636735B true CN109636735B (zh) | 2023-03-10 |
Family
ID=66067130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811298082.7A Active CN109636735B (zh) | 2018-11-02 | 2018-11-02 | 一种基于时空一致性约束的快速视频去雾方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109636735B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111192210B (zh) * | 2019-12-23 | 2023-05-26 | 杭州当虹科技股份有限公司 | 一种自适应增强的视频去雾方法 |
CN114331920B (zh) * | 2022-03-09 | 2022-06-24 | 浙江大华技术股份有限公司 | 图像处理方法及装置、存储介质、电子装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105631831A (zh) * | 2016-03-14 | 2016-06-01 | 北京理工大学 | 一种雾霾条件下视频图像增强方法 |
WO2017175231A1 (en) * | 2016-04-07 | 2017-10-12 | Carmel Haifa University Economic Corporation Ltd. | Image dehazing and restoration |
CN107451966A (zh) * | 2017-07-25 | 2017-12-08 | 四川大学 | 一种采用灰度图引导滤波实现的实时视频去雾方法 |
-
2018
- 2018-11-02 CN CN201811298082.7A patent/CN109636735B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105631831A (zh) * | 2016-03-14 | 2016-06-01 | 北京理工大学 | 一种雾霾条件下视频图像增强方法 |
WO2017175231A1 (en) * | 2016-04-07 | 2017-10-12 | Carmel Haifa University Economic Corporation Ltd. | Image dehazing and restoration |
CN107451966A (zh) * | 2017-07-25 | 2017-12-08 | 四川大学 | 一种采用灰度图引导滤波实现的实时视频去雾方法 |
Non-Patent Citations (4)
Title |
---|
Edge-Preserving Decompositions for Multi-Scale Tone and Detail Manipulation;Farbman Z 等;《Acm Transactions on Graphics》;20080831;第27卷(第3期);全文 * |
Fast Image Dehazing Using Color Attributes Prior;Wan Jinjin 等;《2018 37th Chinese Control Conference》;20180727;全文 * |
Non-local Image Dehazing;Dana Berman 等;《2016 IEEE Conference on Computer Vision and Pattern Recognition》;20160630;全文 * |
Optimized contrast enhancement for real-time image and video dehazing;Jin-Hwan Kim 等;《J.Vis.Commun.Image R.》;20130831;第24卷(第3期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109636735A (zh) | 2019-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107507138B (zh) | 一种基于Retinex模型的水下图像增强方法 | |
KR102104403B1 (ko) | 단일영상 내의 안개 제거 방법 및 장치 | |
WO2019205707A1 (zh) | 基于暗通道的线状自适应改进全局大气光的图像去雾方法 | |
CN107358585B (zh) | 基于分数阶微分及暗原色先验的雾天图像增强方法 | |
CN104794697B (zh) | 一种基于暗原色先验的图像去雾方法 | |
CN101950416B (zh) | 基于双边滤波的实时图像去雾增强方法 | |
CN102831591B (zh) | 一种基于高斯滤波的单幅图像的实时去雾方法 | |
CN111462022B (zh) | 一种水下图像清晰化增强方法 | |
CN103198459B (zh) | 雾霾图像快速去雾方法 | |
CN109118446B (zh) | 一种水下图像复原及去噪方法 | |
US7903900B2 (en) | Low complexity color de-noising filter | |
CN111161167B (zh) | 基于中通道补偿和自适应大气光估计的单幅图像去雾方法 | |
CN111861896A (zh) | 一种面向uuv的水下图像色彩补偿与恢复方法 | |
CN107292834B (zh) | 红外图像细节增强方法 | |
CN107451973B (zh) | 基于丰富边缘区域提取的运动模糊图像复原方法 | |
CN111833270B (zh) | 一种快速的沙尘降质图像增强方法 | |
CN109636735B (zh) | 一种基于时空一致性约束的快速视频去雾方法 | |
Kumari et al. | Single image fog removal using gamma transformation and median filtering | |
CN109345479B (zh) | 一种视频监控数据的实时预处理方法及存储介质 | |
CN109544470A (zh) | 一种边界约束的卷积神经网络单幅图像去雾方法 | |
Abbaspour et al. | A new fast method for foggy image enhancement | |
CN109360169B (zh) | 一种单幅图像去雨除雾的信号处理方法 | |
Chen et al. | An adaptive image dehazing algorithm based on dark channel prior | |
CN115170437A (zh) | 一种用于救援机器人的火灾场景低质量图像恢复方法 | |
CN116342443A (zh) | 一种近红外与可见光图像融合方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |