CN111738959B - 一种基于fpga的视频图像实时除雾方法 - Google Patents

一种基于fpga的视频图像实时除雾方法 Download PDF

Info

Publication number
CN111738959B
CN111738959B CN202010612286.4A CN202010612286A CN111738959B CN 111738959 B CN111738959 B CN 111738959B CN 202010612286 A CN202010612286 A CN 202010612286A CN 111738959 B CN111738959 B CN 111738959B
Authority
CN
China
Prior art keywords
mean
image
value
video image
dark channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010612286.4A
Other languages
English (en)
Other versions
CN111738959A (zh
Inventor
林伟
黄国伟
黄世震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202010612286.4A priority Critical patent/CN111738959B/zh
Publication of CN111738959A publication Critical patent/CN111738959A/zh
Application granted granted Critical
Publication of CN111738959B publication Critical patent/CN111738959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/73
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

本发明涉及一种基于FPGA的视频图像实时除雾方法,通过基于FPGA的终端系统对视频图像进行实时除雾,终端系统上设有大气光值获取模块、暗通道图计算模块和导向滤波模块,该方法包括以下步骤:S1、获取视频图像,然后对视频图像并行执行步骤S2和S3;S2、将视频图像输入大气光值获取模块,获取视频图像的全球大气光值,然后转步骤S5;S3、将视频图像输入暗通道图计算模块,获取暗通道图参数;S4、将暗通道图参数输入导向滤波模块,获取经过导向滤波处理的透射率图参数;S5、基于得到的全球大气光值和透射率图参数,根据雾图恢复公式计算得到除雾后的视频图像。该方法有利于提高视频图像的除雾效果,降低视频图像的失真率。

Description

一种基于FPGA的视频图像实时除雾方法
技术领域
本发明属于图像处理技术领域,具体涉及一种基于FPGA的视频图像实时除雾方法。
背景技术
在大雾、阴雨和雾霾的环境下,空气中的微小颗粒的散射和折射作用会导致光学传感设备(如摄像机)拍摄到的视频产生退化现象,通俗而言会导致视频图像整个画面变得灰白,同时视频图像模糊,难于确定对象和目标,导致后续的图像处理难度变大。因此,对视频图像的实时快速除雾的研究和实现具有很大的现实意义。
已有的暗通道先验算法和导向滤波算法对雾天、阴雨和雾霾环境下的单张图片的除雾效果十分显著,但是无法对视频图像进行实时除雾,更不能在嵌入式设备上实现实时除雾功能,并且,采用这些算法进行除雾处理,图像会出现很明显的跳变边缘锯齿,这是因为这些算法对大气透射值A和暗通道图t等图像参数的处理过于粗糙。
发明内容
本发明的目的在于提供一种基于FPGA的视频图像实时除雾方法,该方法有利于提高视频图像的除雾效果,降低视频图像的失真率。
为实现上述目的,本发明采用的技术方案是:一种基于FPGA的视频图像实时除雾方法,通过基于FPGA的终端系统对视频图像进行实时除雾,所述终端系统上设有大气光值获取模块、暗通道图计算模块和导向滤波模块,所述暗通道图计算模块上设有半径无关最小值滤波器,以快速获取暗通道图参数,所述导向滤波模块上设有半径无关均值滤波器,通过多级流水线模式导向滤波,以快速获取透射率图参数;该方法包括以下步骤:
步骤S1、获取视频图像,然后对视频图像并行执行步骤S2和步骤S3;
步骤S2、将视频图像输入大气光值获取模块,获取视频图像的全球大气光值,然后转步骤S5;
步骤S3、将视频图像输入暗通道图计算模块,获取暗通道图参数;
步骤S4、将暗通道图参数输入导向滤波模块,获取经过导向滤波处理的透射率图参数;
步骤S5、基于得到的全球大气光值和透射率图参数,根据雾图恢复公式计算得到除雾后的视频图像。
进一步地,所述暗通道图计算模块上基于泰勒展开式设计快速除法器,以降低除法运算所需DSP资源和逻辑资源;所述暗通道图计算模块根据最小值滤波窗口内,最小值位置分布平均的特性,设计半径无关最小值滤波器,以有效实时获取暗通道图参数。
进一步地,所述导向滤波模块根据均值滤波窗口向右或向下一位的值,大小与当前滤波窗口均值相近概率最大的特性,设计超大窗口半径无关均值滤波器。
进一步地,所述步骤S4中,将原图每一个像素值image、暗通道图每一个像素值image_dark、原图每一个像素点对应相乘后的值image*image以及原图与暗通道图每一个对应像素点相乘后的值image*image_dark输入导向滤波模块,采用以下的5级流水线模式实现导向滤波:
第1级:针对不同数据宽度的图像输入,利用实现的四个并行的超大窗口半径无关均值滤波器并行完成:
101:对原图image做均值平滑,即均值滤波,得到mean_I参数;
102:对暗通道图image_dark做均值平滑,得到mean_D参数;
103:对原图每一个像素点对应相乘后的值image*image做均值平滑,得到mean_II参数;
104:对原图与暗通道图每一个对应像素点相乘后的值image*image_dark做均值平滑,得到mean_ID参数;
第2级:对第1级获得的参数值进行并行运算:
201:根据公式(1)求取均值平滑后的方差值VAR_II;
VAR_II=mean_II-mean_I*mean_I (1)
202:根据公式(2)求取均值平滑后的协方差值COV_ID;
COV_ID=mean_ID-mean_I*mean_D (2)
第3级:经过快速除法器,并行计算以下的参数值a、b:
301:根据公式(3),求取参数值a;
a=COV_ID/(VAR_II+penalty) (3)
其中,penalty为引入的惩罚项;
302:根据公式(4),求取参数值b;
b=mean_D-a*mean_I (4)
第4级:分别对获得的参数值a和参数值b再做一次均值平滑,得到参数mean_a和mean_b;
第5级:根据公式(5),计算获得精细化透射率图参数;
t(x)=mean_a*image+mean_b (5)。
进一步地,所述步骤S5中,对于视频图像实时除雾,基于得到的全球大气光值Ac和透射率图参数t(x),采用逐帧实时刷新的方式,在刚开始的第零帧,先预设Ac=0且t(x)=1,对第一帧进行实时除雾处理,同时并行对第一帧进行求取Ac和t(x)的值,第二帧用第一帧求取的值进行实时除雾处理,以此类推;整个视频都按照这样的方式进行处理。
相较于现有技术,本发明具有以下有益效果:利用FPGA的可高并行运行程序的特点,设计了快速除法器和半径无关滤波器,对视频图像除雾算法进行了并行化和流水线化的改进与优化设计,实现了基于FPGA的视频图像实时除雾方法,该方法能支持在嵌入式视频设备上实现高达上百帧和1080P的高帧率高清视频的实时除雾,显著提高视频图像的除雾效果,减少视频图像的失真。
附图说明
图1是本发明实施例的方法实现流程图。
图2是本发明实施例中的原始视频图像。
图3是本发明实施例中经过除雾后的视频图像。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本发明提供了一种基于FPGA的视频图像实时除雾方法,通过基于FPGA的终端系统对视频图像进行实时除雾。所述终端系统上设有大气光值获取模块、暗通道图计算模块和导向滤波模块。所述大气光值获取模块利用高帧视频图像画面连续而不会突变的特点,错帧获取全球大气光值。所述暗通道图计算模块上设有半径无关最小值滤波器,以快速获取暗通道图参数,所述导向滤波模块上设有半径无关均值滤波器,通过多级流水线模式导向滤波,以快速获取透射率图参数。
所述暗通道图计算模块利用FPGA具有高并行性的特点,在视频图像的每一个像素点传输进来的同时,以FPGA面积换速度的思想,将图像RGB三个通道的最小值直接求出来。基于泰勒展开式设计快速除法器,以降低除法运算所需DSP资源和逻辑资源,提高除雾算法在各类型FPGA上的实用性;根据最小值滤波窗口内,最小值位置分布平均的特性,设计半径无关最小值滤波器,以有效实时获取暗通道图参数。
对原始的最小值滤波算法进行动态非固定矩形窗口最小值滤波,假设最小值滤波窗口半径为r,当该算法在图像的前后2r-1行和2r-1列,采用当前行列数值作为滤波窗口的半径,例如在每一帧开始的第零行第零列也就是视频刚输入一个像素时,将该像素点最小通道值作为最小值直接输出,而在第一行第二十列时(假设2<2r+1且21>2r+1),此时的动态最小值滤波窗口为一个长为2r+1,宽为2的长方形,将2*(2r+1)个像素点最小通道值进行最小值滤波,不会导致图像大小的改变,后续也无需对图像边缘进行填0的操作,而且操作更为简便。获取到最小值滤波器的输出值后,再利用左位移实现小数乘法,先对乘数进行左移n位后截取结果的高位,可快速实现近似小数乘法。截取的位数根据乘数位数和误差等决定。
所述导向滤波模块利用FPGA高并行性的优势,根据均值滤波窗口向右或向下一位的值,大小与当前滤波窗口均值相近概率最大的特性,设计超大窗口半径无关均值滤波器,以解决当前算法无法在FPGA上实现高半径均值滤波器的问题,进而实现高清高帧率视频实时除雾。
如图1所示,该方法包括以下步骤:
步骤S1、获取视频图像,然后对视频图像并行执行步骤S2和步骤S3。
步骤S2、将视频图像输入大气光值获取模块,获取视频图像的全球大气光值,然后转步骤S5。
步骤S3、将视频图像输入暗通道图计算模块,获取暗通道图参数。
步骤S4、将暗通道图参数输入导向滤波模块,获取经过导向滤波处理的透射率图参数。
具体地,将原图每一个像素值image、暗通道图每一个像素值image_dark、原图每一个像素点对应相乘后的值image*image以及原图与暗通道图每一个对应像素点相乘后的值image*image_dark输入导向滤波模块,采用以下的5级流水线模式实现导向滤波:
第1级:针对不同数据宽度的图像输入,利用实现的四个并行的超大窗口半径无关均值滤波器并行完成:
101:对原图image做均值平滑,即均值滤波,得到mean_I参数;
102:对暗通道图image_dark做均值平滑,得到mean_D参数;
103:对原图每一个像素点对应相乘后的值image*image做均值平滑,得到mean_II参数;
104:对原图与暗通道图每一个对应像素点相乘后的值image*image_dark做均值平滑,得到mean_ID参数;
第2级:对第1级获得的参数值进行并行运算:
201:根据公式(1)求取均值平滑后的方差值VAR_II;
VAR_II=mean_II-mean_I*mean_I (1)
202:根据公式(2)求取均值平滑后的协方差值COV_ID;
COV_ID=mean_ID-mean_I*mean_D (2)
第3级:经过快速除法器,并行计算以下的参数值a、b:
301:根据公式(3),求取参数值a;
a=COV_ID/(VAR_II+penalty) (3)
其中,penalty为引入的惩罚项,其大小根据具体情况选取;
302:根据公式(4),求取参数值b;
b=mean_D-a*mean_I (4)
第4级:分别对获得的参数值a和参数值b再做一次均值平滑,得到参数mean_a和mean_b;
第5级:根据公式(5),计算获得精细化透射率图参数;
t(x)=mean_a*image+mean_b (5)
步骤S5、基于得到的全球大气光值和透射率图参数,根据雾图恢复公式计算得到除雾后的视频图像。
对于视频图像实时除雾使用的全球大气光值Ac和透射率图参数t(x),可以采用如下方法获得:采用逐帧实时刷新的方式,在刚开始的第零帧,先预设Ac=0且t(x)=1,对第一帧进行实时除雾处理,同时并行对第一帧进行求取Ac和t(x)的值,第二帧用第一帧求取的值进行实时除雾处理,以此类推;整个视频都按照这样的方式进行处理。
本发明基于FPGA的视频图像实时除雾方法的实现平台,使用ALINX开发板,其搭载的XILINX公司芯片为SPARTAN-6系列的XC6SLX150,该系列的FPGA具有配置齐全、价格低廉且具有很强的可编程逻辑灵活性的特点,可以在更低的功耗和成本下达到很高的性能,具有很强的性价比。基于FPGA的实时除雾方法实现中,仿真综合等操作是基于XILINX公司提供的ISE设计平台。设计中采用的语言是硬件描述语言Verilog HDL。
本实施例中,先在FPGA系统上运行无除雾方法,也就是将摄像头拍摄到的图像直接通过VGA显示到屏幕,把通过OV5640摄像头采集后的各种类型的带雾视频保存下来,然后,运行采用本发明除雾方法的FPGA系统,同样将视频保存下来。再对这些视频进行同步分析对比,得到直观的实时视频除雾算法的效果。图2和图3为截取的图片效果。从实验效果中可以看见,本发明基于FPGA的视频图像实时除雾方法能保持视频图像优良画质,不会出现明显的边框和条纹或物体虚化,具有很好的除雾效果。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。

Claims (3)

1.一种基于FPGA的视频图像实时除雾方法,其特征在于,通过基于FPGA的终端系统对视频图像进行实时除雾,所述终端系统上设有大气光值获取模块、暗通道图计算模块和导向滤波模块,所述暗通道图计算模块上设有快速除法器以及半径无关最小值滤波器,以快速获取暗通道图参数,所述导向滤波模块上设有半径无关均值滤波器,通过多级流水线模式导向滤波,以快速获取透射率图参数;该方法包括以下步骤:
步骤S1、获取视频图像,然后对视频图像并行执行步骤S2和步骤S3;
步骤S2、将视频图像输入大气光值获取模块,获取视频图像的全球大气光值,然后转步骤S5;
步骤S3、将视频图像输入暗通道图计算模块,获取暗通道图参数;
步骤S4、将暗通道图参数输入导向滤波模块,获取经过导向滤波处理的透射率图参数;
步骤S5、基于得到的全球大气光值和透射率图参数,根据雾图恢复公式计算得到除雾后的视频图像;
所述暗通道图计算模块基于泰勒展开式设计快速除法器,以降低除法运算所需DSP资源和逻辑资源;所述暗通道图计算模块根据最小值滤波窗口内,最小值位置分布平均的特性,设计半径无关最小值滤波器,以有效实时获取暗通道图参数;
所述导向滤波模块根据均值滤波窗口向右或向下一位的值,大小与当前滤波窗口均值相近概率最大的特性,设计超大窗口半径无关均值滤波器。
2.根据权利要求1所述的一种基于FPGA的视频图像实时除雾方法,其特征在于,所述步骤S4中,将原图每一个像素值image、暗通道图每一个像素值image_dark、原图每一个像素点对应相乘后的值image*image以及原图与暗通道图每一个对应像素点相乘后的值image*image_dark输入导向滤波模块,采用以下的5级流水线模式实现导向滤波:
第1级:针对不同数据宽度的图像输入,利用实现的四个并行的超大窗口半径无关均值滤波器并行完成:
101:对原图image做均值平滑,即均值滤波,得到mean_I参数;
102:对暗通道图image_dark做均值平滑,得到mean_D参数;
103:对原图每一个像素点对应相乘后的值image*image做均值平滑,得到mean_II参数;
104:对原图与暗通道图每一个对应像素点相乘后的值image*image_dark做均值平滑,得到mean_ID参数;
第2级:对第1级获得的参数值进行并行运算:
201:根据公式(1)求取均值平滑后的方差值VAR_II;
VAR_II=mean_II-mean_I*mean_I (1)
202:根据公式(2)求取均值平滑后的协方差值COV_ID;
COV_ID=mean_ID-mean_I*mean_D (2)
第3级:经过快速除法器,并行计算以下的参数值a、b:
301:根据公式(3),求取参数值a;
a=COV_ID/(VAR_II+penalty) (3)
其中,penalty为引入的惩罚项;
302:根据公式(4),求取参数值b;
b=mean_D-a*mean_I (4)
第4级:分别对获得的参数值a和参数值b再做一次均值平滑,得到参数mean_a和mean_b;
第5级:根据公式(5),计算获得精细化透射率图参数;
t(x)=mean_a*image+mean_b (5)。
3.根据权利要求2所述的一种基于FPGA的视频图像实时除雾方法,其特征在于,所述步骤S5中,对于视频图像实时除雾,基于得到的全球大气光值Ac和透射率图参数t(x),采用逐帧实时刷新的方式,在刚开始的第零帧,先预设Ac=0且t(x)=1,对第一帧进行实时除雾处理,同时并行对第一帧进行求取Ac和t(x)的值,第二帧用第一帧求取的值进行实时除雾处理,以此类推;整个视频都按照这样的方式进行处理。
CN202010612286.4A 2020-06-30 2020-06-30 一种基于fpga的视频图像实时除雾方法 Active CN111738959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010612286.4A CN111738959B (zh) 2020-06-30 2020-06-30 一种基于fpga的视频图像实时除雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010612286.4A CN111738959B (zh) 2020-06-30 2020-06-30 一种基于fpga的视频图像实时除雾方法

Publications (2)

Publication Number Publication Date
CN111738959A CN111738959A (zh) 2020-10-02
CN111738959B true CN111738959B (zh) 2022-08-19

Family

ID=72653697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010612286.4A Active CN111738959B (zh) 2020-06-30 2020-06-30 一种基于fpga的视频图像实时除雾方法

Country Status (1)

Country Link
CN (1) CN111738959B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101583947A (zh) * 2005-06-20 2009-11-18 摩托罗拉公司 降低自适应滤波器中计算复杂度的方法
CN105354806A (zh) * 2015-11-20 2016-02-24 上海熙菱信息技术有限公司 基于暗通道的快速去雾方法及系统
CN105809641A (zh) * 2016-03-09 2016-07-27 北京理工大学 一种去雾图像的曝光补偿和边缘增强方法
CN106530257A (zh) * 2016-11-22 2017-03-22 重庆邮电大学 一种基于暗通道先验模型的遥感图像去雾方法
JP2017138647A (ja) * 2016-02-01 2017-08-10 三菱電機株式会社 画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体
CN107424133A (zh) * 2017-07-27 2017-12-01 广东欧珀移动通信有限公司 图像去雾方法、装置、计算机可存储介质和移动终端
CN108460743A (zh) * 2018-03-19 2018-08-28 西安因诺航空科技有限公司 一种基于暗通道的无人机航拍图像去雾算法
CN109493300A (zh) * 2018-11-15 2019-03-19 湖南鲲鹏智汇无人机技术有限公司 基于fpga卷积神经网络的航拍图像实时去雾方法及无人机
CN110278346A (zh) * 2018-03-15 2019-09-24 财团法人交大思源基金会 视频除雾处理装置及方法
CN110322417A (zh) * 2019-07-10 2019-10-11 深圳西顺万合科技有限公司 图像处理实现方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101583947A (zh) * 2005-06-20 2009-11-18 摩托罗拉公司 降低自适应滤波器中计算复杂度的方法
CN105354806A (zh) * 2015-11-20 2016-02-24 上海熙菱信息技术有限公司 基于暗通道的快速去雾方法及系统
JP2017138647A (ja) * 2016-02-01 2017-08-10 三菱電機株式会社 画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体
CN105809641A (zh) * 2016-03-09 2016-07-27 北京理工大学 一种去雾图像的曝光补偿和边缘增强方法
CN106530257A (zh) * 2016-11-22 2017-03-22 重庆邮电大学 一种基于暗通道先验模型的遥感图像去雾方法
CN107424133A (zh) * 2017-07-27 2017-12-01 广东欧珀移动通信有限公司 图像去雾方法、装置、计算机可存储介质和移动终端
CN110278346A (zh) * 2018-03-15 2019-09-24 财团法人交大思源基金会 视频除雾处理装置及方法
CN108460743A (zh) * 2018-03-19 2018-08-28 西安因诺航空科技有限公司 一种基于暗通道的无人机航拍图像去雾算法
CN109493300A (zh) * 2018-11-15 2019-03-19 湖南鲲鹏智汇无人机技术有限公司 基于fpga卷积神经网络的航拍图像实时去雾方法及无人机
CN110322417A (zh) * 2019-07-10 2019-10-11 深圳西顺万合科技有限公司 图像处理实现方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Increase dehazing process using fast guided filter on the dark channel prior;Rizal Mutaqin等;《2017 5th International Conference on Electrical, Electronics and Information Engineering (ICEEIE)》;20180402;全文 *
基于FPGA的实时视频去雾系统研究与设计;范晓东;《中国优秀硕士学位论文全文数据库·信息科技辑》;20180615;全文 *

Also Published As

Publication number Publication date
CN111738959A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
Tripathi et al. Single image fog removal using anisotropic diffusion
CN101739672B (zh) 一种基于分区域插值的直方图均衡方法和装置
US9384532B2 (en) Apparatus for improving fogged image using user-controllable root operator
Gao et al. Sand-dust image restoration based on reversing the blue channel prior
CN108765282B (zh) 基于fpga的实时超分辨方法及系统
CN110827221A (zh) 一种基于双通道先验和侧窗导向滤波的单幅图像去雾方法
CN106023108A (zh) 基于边界约束和上下文正则化的图像去雾算法
CN106023118A (zh) 一种图像去雾方法及其在fpga上的实现方法
CN115393216A (zh) 基于偏振特性与大气传输模型的图像去雾方法和装置
Han et al. Local patchwise minimal and maximal values prior for single optical remote sensing image dehazing
CN108898561B (zh) 一种含天空区域雾天图像的去雾方法、服务器及系统
Zhang et al. Hardware implementation for haze removal with adaptive filtering
CN111738959B (zh) 一种基于fpga的视频图像实时除雾方法
Kuo et al. VLSI implementation for an adaptive haze removal method
CN110738624B (zh) 一种区域自适应的图像去雾系统及方法
CN104715456A (zh) 一种图像的去雾方法
CN109360169B (zh) 一种单幅图像去雨除雾的信号处理方法
US20100266203A1 (en) Pixel processing
Ma et al. A fast video haze removal algorithm via dark channel prior
CN112907461B (zh) 一种红外雾天降质图像去雾增强方法
Hanumantharaju et al. Design of novel algorithm and architecture for Gaussian based color image enhancement system for real time applications
Kumari et al. Fast and efficient contrast enhancement for real time video dehazing and defogging
Zhou et al. Real-time defogging hardware accelerator based on improved dark channel prior and adaptive guided filtering
Ngo et al. Design of a high performance architecture for real-time enhancement of video stream captured in extremely low lighting environment
Pock et al. Real-time computation of variational methods on graphics hardware

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant