CN104506755B - 基于fpga的高清视频实时自动化去雾方法 - Google Patents

基于fpga的高清视频实时自动化去雾方法 Download PDF

Info

Publication number
CN104506755B
CN104506755B CN201510015274.2A CN201510015274A CN104506755B CN 104506755 B CN104506755 B CN 104506755B CN 201510015274 A CN201510015274 A CN 201510015274A CN 104506755 B CN104506755 B CN 104506755B
Authority
CN
China
Prior art keywords
value
transmitance
dark primary
dark
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510015274.2A
Other languages
English (en)
Other versions
CN104506755A (zh
Inventor
周维峰
吴超斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fiberhome Zhongzhi Digital Technology Co. Ltd.
Original Assignee
Wuhan Fiberhome Digtal Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Fiberhome Digtal Technology Co Ltd filed Critical Wuhan Fiberhome Digtal Technology Co Ltd
Priority to CN201510015274.2A priority Critical patent/CN104506755B/zh
Publication of CN104506755A publication Critical patent/CN104506755A/zh
Application granted granted Critical
Publication of CN104506755B publication Critical patent/CN104506755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于FPGA的高清视频实时自动化去雾方法,涉及数字视频图像处理技术领域。本方法采用的是暗原色先验算法,并进行了大量优化,主要是:①输入一帧CCD图像传感器产生的高清原始图像数据;②求取像素点的暗通道值;③求取像素点的暗原色值;④对像素点的暗原色值进行均值滤波;⑤求取大气光数值;⑥求取透过率值;⑦统计经均值滤波后的暗原色值小于阈值1的像素点数目;⑧针对天空等明亮区域算法失效的情况调整透过率;⑨恢复出无雾图像;⑩输出原始图像数据。本发明去雾效果好,能明显提升图像的对比度、清晰度、色彩饱和度和可视性;实现了自动化去雾功能;在FPGA上实现了该算法对高清视频的实时处理。

Description

基于FPGA的高清视频实时自动化去雾方法
技术领域
本发明涉及数字视频图像处理技术领域,尤其涉及一种基于FPGA的高清视频实时自动化去雾方法。
背景技术
在雾天等恶劣天气环境下,光线受到大气环境中存在的悬浮粒子(如烟雾、粉尘和颗粒等)的吸收消耗和物理散射作用,使采集得到的户外图像或视频信息受到干扰,引起对比度下降和细节模糊。这些采集到的退化图像不但使系统的利用价值变低和应用范围变窄,也极大地阻碍了户外成像处理系统的图像特征提取。因此,研究如何从雾天退化图像中获取清晰的图像信息是非常必要的。
目前,常见的去雾方法主要分为基于图像增强的方法和基于图像复原的方法。
基于图像增强的方法是:不关注有雾图像降质的原因,单纯从改善图像视觉效果的角度出发,以图像增强的手段来实现有雾图像对比度、清晰度和色彩的提升。其优点是,因为不是从有雾图像降质的原因出发,并没有特别针对有雾图像,所以该方法的适用范围较广,而且图像增强的方法一般都要比图像复原的方法简单,易实现,运算速度更快。其缺点是,没有从有雾图像降质的原因出发,因此针对性不够,去雾效果一般没有图像复原的方法好。基于图像增强的方法主要包括直方图均衡化、Retinex、小波变换、曲波变换和同态滤波等。
基于图像复原的方法是:从有雾图像降质的原因出发,建立其退化模型,以图像复原的方法恢复出其原本的图像。其优点是,具有针对性,去雾效果理想,得到的无雾图像更加自然和真实。其缺点是,基于图像复原的方法一般要基于一定的先验知识或已知一些前提条件,算法较为复杂,运算时间长,而且适用范围较窄。基于图像复原的方法主要包括基于先验知识的算法、基于深度信息的算法和基于偏微分方程的算法。
发明内容
本发明的目的就在于克服现有技术存在的缺点和不足,提供一种基于FPGA的高清视频实时自动化去雾方法。
本发明的技术方案是:
采用了暗原色先验算法,暗原色先验算法属于基于图像复原的方法,其去雾效果好,但也存在计算复杂,资源占用多,实时性差等明显缺点。针对这些缺点,在保证其去雾效果的前提下,本方法在CCD图像传感器产生的高清原始图像数据上进行处理,相比在RGB和YUV颜色空间上处理减少了大量的数据量,在暗原色值、大气光数值和透过率值的求取上极大优化了计算过程,减少了其资源占用和计算量,也减少了DDR的使用,把延时控制在0.5毫秒以内,实时性好;同时针对天空等明亮区域算法失效的情况进行了修正,并实现了自动化去雾功能。
算法处理的是CCD图像传感器产生的高清原始图像数据,而不是RGB或YUV颜色空间上的数据。
具体地说,本方法包括下列步骤:
输入一帧CCD图像传感器产生的高清原始图像数据;
①A、采用双线性插值和最小值滤波求得像素点的暗通道值;
①B、对区域中的暗通道值进行最小值滤波,将结果作为该区域左上角像素点的暗原色值,如此逐点计算像素点的暗原色值;
①C、对暗原色值进行均值滤波;
①C-a、对经均值滤波后的暗原色值进行最大值滤波,在相邻若干帧图像中该结果的平均值即为大气光数值;
①C-b、将放大一定倍数后的透过率值存储在以暗原色值为地址的ROM中,这样透过率的计算过程就变成了读取ROM的过程,ROM中透过率的计算公式为:
t=(1-w0×dc/gray_max)×n,
t是透过率,w0取0.9,dc是暗原色值,
gray_max是最大灰度级,n是放大倍数;
再针对天空明亮区域算法失效的情况修正了透过率值,引入了容差的概念,容差是指暗原色值与大气光数值的差的绝对值,容差越小越容易出现透过率估计值偏小的情况,因此这里的做法是设定一个阈值,当容差小于阈值时适当增大透过率的值,否则透过率保持不变;
①C-c、统计经均值滤波后的暗原色值小于第1阈值的像素点数目,用来判断场景是否有雾,在一帧图像中,当该像素点数目大于第2阈值时,场景被判断为无雾,当该像素点数目小于第3阈值时,场景被判断为有雾,当该像素点数目在第2阈值与第3阈值之间,判断状态保持不变(207);
②恢复出无雾图像,计算公式为J=(I-A)/t+A,
J为无雾图像,I为有雾图像,A为大气光数值,t为透过率;
③输出一帧原始图像数据,当场景被判断为有雾时,输出的原始图像为去雾后的图像,当场景被判断为无雾时,输出的原始图像与输入图像保持一致。
本发明具有下列优点和积极效果:
①基于图像复原的方法,去雾效果好,能明显提升图像的对比度、清晰度、色彩饱和度和可视性;
②对高清视频图像进行处理,能把延时控制在0.5毫秒以内,实时性好;
③在CCD图像传感器产生的原始图像数据上进行处理,相比在RGB或YUV颜色空间上处理减少了大量的数据量;
④优化了暗原色值的求取过程,采用了对区域内的暗通道值进行最小值滤波的方法来逐点求取暗原色值,避免了分块求取暗原色值后需要对透过率值进行细化、平滑的操作,也减少了逐点计算时的误差,大大简化了计算,减少了资源占用;
⑤优化了大气光数值的求取过程,先对经均值滤波后的暗原色值进行最大值滤波,然后求相邻若干帧图像中该结果的平均值作为大气光数值,采用平均值可以避免因大气光数值在相邻帧之间的跳变而导致的视频闪烁问题,同时把上一帧图像的大气光数值用在当前帧上,减少了用DDR来缓存一帧图像的需要;
⑥优化了透过率值的求取过程,用读取ROM的操作代替了复杂的计算过程,大大减少了资源占用和延时;
⑦引入容差概念,对天空等明亮区域算法失效的情况进行了修正,扩大了算法的适用范围;
⑧实现了自动化去雾功能;
⑨在FPGA上实现了该算法对高清视频的实时处理。
附图说明
图1是本系统的结构方框图;
图2是本方法步骤图;
图3是暗原色值求取流程图;
图4是大气光数值求取流程图。
图中:
10—CCD图像传感器,
20—模数转换器;
30—处理器,
31—数据采集模块,
32—实时自动化去雾模块,
33—数据输出模块;
40—显示器。
英译汉
FPGA:Field-Programmable Gate Array,现场可编程门阵列。
CCD:Charge-coupled device,电荷耦合器件。
具体实施方式
下面结合附图和实施例详细说明:
一、系统
1、总体
如图1,本系统是本方法的工作平台,包括依次连接的CCD图像传感器10、模数转换器20、
处理器30和显示器40;
处理器30包括依次交互的数据采集模块31、实时自动化去雾模块32和数据输出模块33。
2、功能部件
1)CCD图像传感器10
CCD图像传感器10是一种高感光度图像传感器;
其功能是产生光电转换后生成模拟信号;
型号选用TSI的Kai-04050。
2)模数转换器20
模数转换器20是一种多片单路模数转换器或者多片带双路功能的模数转换器;
其功能是将模拟信号量化成数字信号。
3)处理器30
本发明采用Lattice公司的ECP3系列LFE335EA8FN484I型号的FPGA产品实现;处理器30内部主要算法模块分别包含数据采集模块31、实时自动化去雾模块32和数据输出模块33。
以下分别描述处理器30中各模块的功能:
(1)数据采集模块31
采集CCD图像传感器10经过模数转换后的数字图像数据。
(2)实时自动化去雾模块32
对采集到的图像数据进行实时自动化去雾处理。
(3)数据输出模块33
将去雾处理后的原始数据输出。
4)显示器40
有网络协议的显示装置,如带IE浏览器的电脑等。
3、本系统的工作机理
CCD图像传感器10感光,产生光电效应,输出模拟电信号;
由模数转换器20接收CCD图像传感器10输出的模拟信号,并将其量化转换成频域数字量化值,以并行或者串行方式帧级连续传输到下一级处理器30;
处理器30检测接收模数转换器20的数字信号,通过数据采集模块31收集数字图像信号,再由实时自动化去雾模块32对采集到的图像进行实时自动化去雾处理,最后输出去雾后的原始图像数据。
二、方法
如图2,本方法包括下列步骤:
输入一帧CCD图像传感器10产生的经模数转换后的高清原始图像数据-201,而大多数情况下暗原色先验算法是在RGB颜色空间上对图像进行处理的;
①A、采用双线性插值和最小值滤波求得像素点的暗通道值-202;
①B、对区域中的暗通道值进行最小值滤波,将结果作为该区域左上角像素点的暗原色值,如此逐点计算像素点的暗原色值-203,而大多数情况下暗原色先验算法是分块求取暗原色值的;
①C、对暗原色值进行均值滤波-204,避免暗原色值在局部区域内出现剧烈变化;
①C-a、对经均值滤波后的暗原色值进行最大值滤波,在相邻若干帧图像中该结果的平均值即为大气光数值-205,采用平均值可以避免因大气光数值的跳变而导致的视频闪烁问题,大气光数值每帧更新一次,在视频消隐期更新,把上一帧图像的大气光数值用在当前帧上,减少了用DDR来缓存一帧图像的需要;
①C-b、将放大一定倍数后的透过率值存储在以暗原色值为地址的ROM中,这样透过率的计算过程就变成了读取ROM的过程,而且也减少了细化、平滑透过率值的操作,大大节省了资源及减少了延时,ROM中透过率的计算公式为:
t=(1-w0×dc/gray_max)×n,
t是透过率,w0取0.9,dc是暗原色值,
gray_max是最大灰度级,n是放大倍数,
与标准的计算公式不同的是大气光数值被固定为最大灰度级-206;
再针对天空明亮区域算法失效的情况修正了透过率值,引入了容差的概念,容差是指暗原色值与大气光数值的差的绝对值,容差越小越容易出现透过率估计值偏小的情况,因此这里的做法是设定一个阈值,当容差小于阈值时适当增大透过率的值,否则透过率保持不变-208;
①C-c、统计经均值滤波后的暗原色值小于第1阈值的像素点数目,用来判断场景是否有雾,在一帧图像中,当该像素点数目大于第2阈值时,场景被判断为无雾,当该像素点数目小于第3阈值时,场景被判断为有雾,当该像素点数目在第2阈值与第3阈值之间,判断状态保持不变-207;
②恢复出无雾图像,计算公式为J=(I-A)/t+A,
J为无雾图像,I为有雾图像,A为大气光数值,t为透过率-209;
③输出一帧原始图像数据,当场景被判断为有雾时,输出的原始图像为去雾后的图像,当场景被判断为无雾时,输出的原始图像与输入图像保持一致-210。
1)暗原色值求取流程
如图3,暗原色值求取流程是:
A、采用双线性插值和最小值滤波求得像素点的暗通道值-301;
B、对区域中的暗通道值进行最小值滤波,将结果作为该区域左上角像素点的暗原色值,如此逐点计算像素点的暗原色值,而大多数情况下暗原色先验算法是分块求取暗原色值的-302;
C、对暗原色值进行均值滤波,避免暗原色值在局部区域内出现剧烈变化-303。
2)大气光数值求取流程
如图4,大气光数值求取流程是:
A、对经均值滤波后的暗原色值进行最大值滤波-401;
B、在相邻若干帧图像中该结果的平均值即为大气光数值-402;
C、大气光数值每帧更新一次,在视频消隐期更新,把上一帧图像的大气光数值用在当前帧上,减少了用DDR来缓存一帧图像的需要。
3)透过率的求取流程是:
A、将透过率的计算过程简化为读取ROM的过程;
B、ROM中透过率数值的计算公式为:
t=(1-w0×dc/gray_max)×n,t是透过率,w0取0.9,dc是暗原色值,gray_max是最大灰度级,n是放大倍数。
与标准的计算公式不同的是大气光数值被固定为最大灰度级,而且为了便于在FPGA计算透过率的数值被放大了一定倍数后再存储在ROM中。
减少了细化和平滑透过率数值的操作。
4)自动化去雾流程是:
A、在一帧图像中,当经均值滤波后的暗原色值小于第1阈值的像素点数目大于第2阈值时,场景被判断为无雾,当经均值滤波后的暗原色值小于第1阈值的像素点数目小于第3阈值时,场景被判断为有雾,在第2阈值与第3阈值之间,判断状态保持不变;
B、当场景被判断为有雾时,输出的原始图像为去雾后的图像,当场景被判断为无雾时,输出的原始图像与输入图像保持一致,从而实现自动化去雾。

Claims (2)

1.一种基于FPGA的高清视频实时自动化去雾方法,其特征在于:
输入一帧CCD图像传感器产生的高清原始图像数据(201);
①A、采用双线性插值和最小值滤波求得像素点的暗通道值(202);
①B、对区域中的暗通道值进行最小值滤波,将结果作为该区域左上角像素点的暗原色值,如此逐点计算像素点的暗原色值(203);
①C、对暗原色值进行均值滤波(204);
①C-a、对经均值滤波后的暗原色值进行最大值滤波,在相邻若干帧图像中该结果的平均值即为大气光数值(205);
①C-b、将放大一定倍数后的透过率值存储在以暗原色值为地址的ROM中(206),这样透过率的计算过程就变成了读取ROM的过程,ROM中透过率的计算公式为:
t=(1-w0×dc/gray_max)×n,
t是透过率,w0取0.9,dc是暗原色值,
gray_max是最大灰度级,n是放大倍数;
再针对天空明亮区域算法失效的情况修正了透过率值,引入了容差的概念,容差是指暗原色值与大气光数值的差的绝对值,容差越小越容易出现透过率估计值偏小的情况,因此这里的做法是设定一个阈值,当容差小于阈值时增大透过率的值,否则透过率保持不变(208);
①C-c、统计经均值滤波后的暗原色值小于第1阈值的像素点数目,用来判断场景是否有雾,在一帧图像中,当该像素点数目大于第2阈值时,场景被判断为无雾,当该像素点数目小于第3阈值时,场景被判断为有雾,当该像素点数目在第2阈值与第3阈值之间,判断状态保持不变(207);
②恢复出无雾图像,计算公式为J=(I-A)/t+A,
J为无雾图像,I为有雾图像,A为大气光数值,t为透过率(209);
③输出一帧原始图像数据,当场景被判断为有雾时,输出的原始图像为去雾后的图像,当场景被判断为无雾时,输出的原始图像与输入图像保持一致(210)。
2.按权利要求1所述的一种基于FPGA的高清视频实时自动化去雾方法,其特征在于大气光数值的求取流程是:
A、对经均值滤波后的暗原色值进行最大值滤波(401);
B、在相邻若干帧图像中该结果的平均值即为大气光数值(402);
C、大气光数值每帧更新一次,在视频消隐期更新,把上一帧图像的大气光数值用在当前帧上。
CN201510015274.2A 2015-01-13 2015-01-13 基于fpga的高清视频实时自动化去雾方法 Active CN104506755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510015274.2A CN104506755B (zh) 2015-01-13 2015-01-13 基于fpga的高清视频实时自动化去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510015274.2A CN104506755B (zh) 2015-01-13 2015-01-13 基于fpga的高清视频实时自动化去雾方法

Publications (2)

Publication Number Publication Date
CN104506755A CN104506755A (zh) 2015-04-08
CN104506755B true CN104506755B (zh) 2017-06-30

Family

ID=52948469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510015274.2A Active CN104506755B (zh) 2015-01-13 2015-01-13 基于fpga的高清视频实时自动化去雾方法

Country Status (1)

Country Link
CN (1) CN104506755B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104767912B (zh) * 2015-04-14 2018-11-30 深圳日盛科技股份有限公司 基于fpga的视频去雾方法及系统
CN105513025B (zh) * 2015-12-10 2018-12-14 中国科学技术大学 一种改进的快速去雾方法
CN106023118B (zh) * 2016-06-13 2018-12-04 凌云光技术集团有限责任公司 一种图像去雾方法及其在fpga上的实现方法
CN106296612B (zh) * 2016-08-09 2019-07-02 南京工业大学 一种图像质量评价和天气状况引导的分级式监控视频清晰化系统及方法
CN107767353A (zh) * 2017-12-04 2018-03-06 河南工业大学 一种基于清晰度评价的自适应图像去雾方法
CN108259708B (zh) * 2018-01-17 2020-05-12 国家安全生产监督管理总局通信信息中心 有雾视频处理方法及计算机可读存储介质
CN110648297B (zh) * 2019-09-26 2023-05-26 邓诗雨 图像去雾方法、系统、电子设备和存储介质
CN112616049B (zh) * 2020-12-15 2022-12-02 南昌欧菲光电技术有限公司 监控设备水雾霜处理方法、装置、设备和介质
CN115937144B (zh) * 2022-12-08 2023-08-25 郑州大学 一种胸腔镜术中图像处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783012A (zh) * 2010-04-06 2010-07-21 中南大学 一种基于暗原色的自动图像去雾方法
CN102750674A (zh) * 2012-04-26 2012-10-24 长春理工大学 基于自适应容差的视频图像去雾方法
CN103714520A (zh) * 2013-12-26 2014-04-09 深圳英飞拓科技股份有限公司 基于fpga实现数字视频图像增强系统及其方法
CN104253930A (zh) * 2014-04-10 2014-12-31 西南科技大学 一种实时视频去雾方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100756318B1 (ko) * 2006-01-16 2007-09-06 삼성전자주식회사 이득 조절 가능한 절단 빈도함수 평활화를 이용한 영상처리 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783012A (zh) * 2010-04-06 2010-07-21 中南大学 一种基于暗原色的自动图像去雾方法
CN102750674A (zh) * 2012-04-26 2012-10-24 长春理工大学 基于自适应容差的视频图像去雾方法
CN103714520A (zh) * 2013-12-26 2014-04-09 深圳英飞拓科技股份有限公司 基于fpga实现数字视频图像增强系统及其方法
CN104253930A (zh) * 2014-04-10 2014-12-31 西南科技大学 一种实时视频去雾方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于FPGA的视频图像去雾系统的设计与实现;龚亮等;《电视技术》;20130731;第37卷(第7期);全文 *

Also Published As

Publication number Publication date
CN104506755A (zh) 2015-04-08

Similar Documents

Publication Publication Date Title
CN104506755B (zh) 基于fpga的高清视频实时自动化去雾方法
CN102769722B (zh) 时域与空域结合的视频降噪装置及方法
US20110019094A1 (en) System and method for random noise estimation in a sequence of images
CN112651903B (zh) 红外热像仪图像预处理系统及其预处理方法
CN104200447B (zh) 一种实时低照度彩色图像增强装置
CN107862672B (zh) 图像去雾的方法及装置
CN110944176B (zh) 图像帧降噪方法和计算机存储介质
CN101739672A (zh) 一种基于分区域插值的直方图均衡方法和装置
US20190180423A1 (en) Method and system of haze reduction for image processing
CN104867122A (zh) 一种红外自适应非均匀性校正及细节增强级联处理方法
KR102182697B1 (ko) 영상 처리 장치 및 방법
CN110570374A (zh) 一种对红外传感器所获得图像的处理方法
CN103903229B (zh) 一种夜晚图像增强方法和装置
CN112400185A (zh) 多级双边噪声滤波的方法、装置及系统
Pang et al. A novel framework for enhancement of the low lighting video
CN108093175A (zh) 一种实时高清视频自适应去雾方法及装置
CN108305225A (zh) 基于暗通道先验的交通监控图像快速去雾方法
CN112598612A (zh) 一种基于照度分解的无闪烁暗光视频增强方法及装置
TWM458747U (zh) 影像處理模組
CN105023250B (zh) 一种基于fpga的实时图像自适应增强系统及方法
CN115965537A (zh) 一种视频图像降噪方法、装置及计算机存储介质
EP4014479B1 (en) Adaptive image data linearization for hdr image sensors
CN102957919A (zh) 一种数字图像亮度增强方法
CN106709876A (zh) 一种基于暗像元原理的光学遥感图像去雾方法
CN106846234B (zh) 一种基于fpga的图像视频增强方法、系统及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20181011

Address after: 510663 the 3 floor of block A, No. 101 Ting Yue Road, Guangzhou hi tech Industrial Development Zone, Guangdong.

Patentee after: Guangzhou Fiberhome Zhongzhi Digital Technology Co. Ltd.

Address before: 430074, No. 88, postal academy road, Hongshan District, Hubei, Wuhan

Patentee before: Wuhan Fiberhome Digtal Technology Co., Ltd.

TR01 Transfer of patent right