CN104506755A - 基于fpga的高清视频实时自动化去雾方法 - Google Patents

Abstract

本发明公开了一种基于FPGA的高清视频实时自动化去雾方法，涉及数字视频图像处理技术领域。本方法采用的是暗原色先验算法，并进行了大量优化，主要是：①输入一帧CCD图像传感器产生的高清原始图像数据；②求取像素点的暗通道值；③求取像素点的暗原色值；④对像素点的暗原色值进行均值滤波；⑤求取大气光数值；⑥求取透过率值；⑦统计经均值滤波后的暗原色值小于阈值1的像素点数目；⑧针对天空等明亮区域算法失效的情况调整透过率；⑨恢复出无雾图像；⑩输出原始图像数据。本发明去雾效果好，能明显提升图像的对比度、清晰度、色彩饱和度和可视性；实现了自动化去雾功能；在FPGA上实现了该算法对高清视频的实时处理。

Description

基于FPGA的高清视频实时自动化去雾方法

技术领域

本发明涉及数字视频图像处理技术领域，尤其涉及一种基于FPGA的高清视频实时自动化去雾方法。

背景技术

在雾天等恶劣天气环境下，光线受到大气环境中存在的悬浮粒子（如烟雾、粉尘和颗粒等）的吸收消耗和物理散射作用，使采集得到的户外图像或视频信息受到干扰，引起对比度下降和细节模糊。这些采集到的退化图像不但使系统的利用价值变低和应用范围变窄，也极大地阻碍了户外成像处理系统的图像特征提取。因此，研究如何从雾天退化图像中获取清晰的图像信息是非常必要的。

目前，常见的去雾方法主要分为基于图像增强的方法和基于图像复原的方法。

基于图像增强的方法是：不关注有雾图像降质的原因，单纯从改善图像视觉效果的角度出发，以图像增强的手段来实现有雾图像对比度、清晰度和色彩的提升。其优点是，因为不是从有雾图像降质的原因出发，并没有特别针对有雾图像，所以该方法的适用范围较广，而且图像增强的方法一般都要比图像复原的方法简单，易实现，运算速度更快。其缺点是，没有从有雾图像降质的原因出发，因此针对性不够，去雾效果一般没有图像复原的方法好。基于图像增强的方法主要包括直方图均衡化、Retinex、小波变换、曲波变换和同态滤波等。

基于图像复原的方法是：从有雾图像降质的原因出发，建立其退化模型，以图像复原的方法恢复出其原本的图像。其优点是，具有针对性，去雾效果理想，得到的无雾图像更加自然和真实。其缺点是，基于图像复原的方法一般要基于一定的先验知识或已知一些前提条件，算法较为复杂，运算时间长，而且适用范围较窄。基于图像复原的方法主要包括基于先验知识的算法、基于深度信息的算法和基于偏微分方程的算法。

发明内容

本发明的目的就在于克服现有技术存在的缺点和不足，提供一种基于FPGA的高清视频实时自动化去雾方法。

本发明的技术方案是：

采用了暗原色先验算法，暗原色先验算法属于基于图像复原的方法，其去雾效果好，但也存在计算复杂，资源占用多，实时性差等明显缺点。针对这些缺点，在保证其去雾效果的前提下，本方法在CCD图像传感器产生的高清原始图像数据上进行处理，相比在RGB和YUV颜色空间上处理减少了大量的数据量，在暗原色值、大气光数值和透过率值的求取上极大优化了计算过程，减少了其资源占用和计算量，也减少了DDR的使用，把延时控制在0.5毫秒以内，实时性好；同时针对天空等明亮区域算法失效的情况进行了修正，并实现了自动化去雾功能。

算法处理的是CCD图像传感器产生的高清原始图像数据，而不是RGB或YUV颜色空间上的数据。

具体地说，本方法包括下列步骤：

输入一帧CCD图像传感器产生的高清原始图像数据；

①A、采用双线性插值和最小值滤波求得像素点的暗通道值；

①B、对区域中的暗通道值进行最小值滤波，将结果作为该区域左上角像素点的暗原色值，如此逐点计算像素点的暗原色值；

①C、对暗原色值进行均值滤波；

①C-a、对经均值滤波后的暗原色值进行最大值滤波，在相邻若干帧图像中该结果的平均值即为大气光数值；

①C-b、将放大一定倍数后的透过率值存储在以暗原色值为地址的ROM中，这样透过率的计算过程就变成了读取ROM的过程，ROM中透过率的计算公式为：

t=(1-w0×dc/gray_max) ×n，

t是透过率，w0取0.9，dc是暗原色值，

gray_max是最大灰度级，n是放大倍数；

再针对天空等明亮区域算法失效的情况修正了透过率值，引入了容差的概念，容差是指暗原色值与大气光数值的差的绝对值，容差越小越容易出现透过率估计值偏小的情况，因此这里的做法是设定一个阈值，当容差小于阈值时适当增大透过率的值，否则透过率保持不变；

①C-c、统计经均值滤波后的暗原色值小于阈值1的像素点数目，用来判断场景是否有雾，在一帧图像中，当该像素点数目大于阈值2时，场景被判断为无雾，当该像素点数目小于阈值3时，场景被判断为有雾，在阈值2与阈值3之间，判断状态保持不变（207）；

②恢复出无雾图像，计算公式为J=(I-A)/t+A，

J为无雾图像，I为有雾图像，A为大气光数值，t为透过率；

③输出一帧原始图像数据，当场景被判断为有雾时，输出的原始图像为去雾后的图像，当场景被判断为无雾时，输出的原始图像与输入图像保持一致。

本发明具有下列优点和积极效果：

①基于图像复原的方法，去雾效果好，能明显提升图像的对比度、清晰度、色彩饱和度和可视性；

②对高清视频图像进行处理，能把延时控制在0.5毫秒以内，实时性好；

③在CCD图像传感器产生的原始图像数据上进行处理，相比在RGB或YUV颜色空间上处理减少了大量的数据量；

④优化了暗原色值的求取过程，采用了对区域内的暗通道值进行最小值滤波的方法来逐点求取暗原色值，避免了分块求取暗原色值后需要对透过率值进行细化、平滑的操作，也减少了逐点计算时的误差，大大简化了计算，减少了资源占用；

⑤优化了大气光数值的求取过程，先对经均值滤波后的暗原色值进行最大值滤波，然后求相邻若干帧图像中该结果的平均值作为大气光数值，采用平均值可以避免因大气光数值在相邻帧之间的跳变而导致的视频闪烁问题，同时把上一帧图像的大气光数值用在当前帧上，减少了用DDR来缓存一帧图像的需要；

⑥优化了透过率值的求取过程，用读取ROM的操作代替了复杂的计算过程，大大减少了资源占用和延时；

⑦引入容差概念，对天空等明亮区域算法失效的情况进行了修正，扩大了算法的适用范围；

⑧实现了自动化去雾功能；

⑨在FPGA上实现了该算法对高清视频的实时处理。

附图说明

图1是本系统的结构方框图；

图2是本方法步骤图；

图3是暗原色值求取流程图；

图4是大气光数值求取流程图。

图中：

10—CCD图像传感器，

20—模数转换器；

30—处理器，

31—数据采集模块，

32—实时自动化去雾模块，

33—数据输出模块；

40—显示器。

英译汉

FPGA：Field－Programmable Gate Array，现场可编程门阵列。

CCD：Charge-coupled device，电荷耦合器件。

具体实施方式

下面结合附图和实施例详细说明：

一、系统

1、总体

如图1，本系统是本方法的工作平台，包括依次连接的CCD图像传感器10、模数转换器20、处理器30和显示器40；

处理器30包括依次交互的数据采集模块31、实时自动化去雾模块32和数据输出模块33。

2、功能部件

1）CCD图像传感器10

CCD图像传感器10是一种高感光度图像传感器；

其功能是产生光电转换后生成模拟信号；

型号选用TSI的Kai-04050。

2）模数转换器20

模数转换器20是一种多片单路模数转换器或者多片带双路功能的模数转换器；

其功能是将模拟信号量化成数字信号。

3）处理器30

本发明采用Lattice公司的ECP3系列LFE335EA8FN484I型号的FPGA产品实现；处理器30内部主要算法模块分别包含数据采集模块31、实时自动化去雾模块32和数据输出模块33。

以下分别描述处理器30中各模块的功能：

（1）数据采集模块31

采集CCD图像传感器10经过模数转换后的数字图像数据。

（2）实时自动化去雾模块32

对采集到的图像数据进行实时自动化去雾处理。

（3）数据输出模块33

将去雾处理后的原始数据输出。

4）显示器40

有网络协议的显示装置，如带IE浏览器的电脑等。

3、本系统的工作机理

CCD图像传感器10感光，产生光电效应，输出模拟电信号；

由模数转换器20接收CCD图像传感器10输出的模拟信号，并将其量化转换成频域数字量化值，以并行或者串行方式帧级连续传输到下一级处理器30；

处理器30检测接收模数转换器20的数字信号，通过数据采集模块31收集数字图像信号，再由实时自动化去雾模块32对采集到的图像进行实时自动化去雾处理,最后输出去雾后的原始图像数据。

二、方法

如图2，本方法包括下列步骤：

输入一帧CCD图像传感器10产生的经模数转换后的高清原始图像数据-201，而大多数情况下暗原色先验算法是在RGB颜色空间上对图像进行处理的；

①A、采用双线性插值和最小值滤波求得像素点的暗通道值-202；

①B、对区域中的暗通道值进行最小值滤波，将结果作为该区域左上角像素点的暗原色值，如此逐点计算像素点的暗原色值-203，而大多数情况下暗原色先验算法是分块求取暗原色值的；

①C、对暗原色值进行均值滤波-204，避免暗原色值在局部区域内出现剧烈变化；

①C-a、对经均值滤波后的暗原色值进行最大值滤波，在相邻若干帧图像中该结果的平均值即为大气光数值-205，采用平均值可以避免因大气光数值的跳变而导致的视频闪烁问题，大气光数值每帧更新一次，在视频消隐期更新，把上一帧图像的大气光数值用在当前帧上，减少了用DDR来缓存一帧图像的需要；

①C-b、将放大一定倍数后的透过率值存储在以暗原色值为地址的ROM中，这样透过率的计算过程就变成了读取ROM的过程，而且也减少了细化、平滑透过率值的操作，大大节省了资源及减少了延时，ROM中透过率的计算公式为：

t=(1-w0×dc/gray_max) ×n，

t是透过率，w0取0.9，dc是暗原色值，

gray_max是最大灰度级，n是放大倍数，

与标准的计算公式不同的是大气光数值被固定为最大灰度级-206；

再针对天空等明亮区域算法失效的情况修正了透过率值，引入了容差的概念，容差是指暗原色值与大气光数值的差的绝对值，容差越小越容易出现透过率估计值偏小的情况，因此这里的做法是设定一个阈值，当容差小于阈值时适当增大透过率的值，否则透过率保持不变-208；

①C-c、统计经均值滤波后的暗原色值小于阈值1的像素点数目，用来判断场景是否有雾，在一帧图像中，当该像素点数目大于阈值2时，场景被判断为无雾，当该像素点数目小于阈值3时，场景被判断为有雾，在阈值2与阈值3之间，判断状态保持不变-207；

②恢复出无雾图像，计算公式为J=(I-A)/t+A，

J为无雾图像，I为有雾图像，A为大气光数值，t为透过率-209；

③输出一帧原始图像数据，当场景被判断为有雾时，输出的原始图像为去雾后的图像，当场景被判断为无雾时，输出的原始图像与输入图像保持一致-210。

1）暗原色值求取流程

如图3，暗原色值求取流程是：

A、采用双线性插值和最小值滤波求得像素点的暗通道值-301；

B、对区域中的暗通道值进行最小值滤波，将结果作为该区域左上角像素点的暗原色值，如此逐点计算像素点的暗原色值，而大多数情况下暗原色先验算法是分块求取暗原色值的-302；

C、对暗原色值进行均值滤波，避免暗原色值在局部区域内出现剧烈变化-303。

2）大气光数值求取流程

如图4，大气光数值求取流程是：

A、对经均值滤波后的暗原色值进行最大值滤波-401；

B、在相邻若干帧图像中该结果的平均值即为大气光数值-402；

C、大气光数值每帧更新一次，在视频消隐期更新，把上一帧图像的大气光数值用在当前帧上，减少了用DDR来缓存一帧图像的需要。

3）透过率的求取流程是：

A、将透过率的计算过程简化为读取ROM的过程；  

B、ROM中透过率数值的计算公式为：

t=(1-w0×dc/gray_max) ×n，t是透过率，w0取0.9，dc是暗原色值，gray_max是最大灰度级，n是放大倍数。

与标准的计算公式不同的是大气光数值被固定为最大灰度级，而且为了便于在FPGA计算透过率的数值被放大了一定倍数后再存储在ROM中。

减少了细化和平滑透过率数值的操作。

4）自动化去雾流程是：

A、在一帧图像中，当经均值滤波后的暗原色值小于阈值1的像素点数目大于阈值2时，场景被判断为无雾，当经均值滤波后的暗原色值小于阈值1的像素点数目小于阈值3时，场景被判断为有雾，在阈值2与阈值3之间，判断状态保持不变；

B、当场景被判断为有雾时，输出的原始图像为去雾后的图像，当场景被判断为无雾时，输出的原始图像与输入图像保持一致，从而实现自动化去雾。 

Claims (4)

1.一种基于FPGA的高清视频实时自动化去雾方法，其特征在于：

输入一帧CCD图像传感器产生的高清原始图像数据（201）；

①A、采用双线性插值和最小值滤波求得像素点的暗通道值（202）；

①B、对区域中的暗通道值进行最小值滤波，将结果作为该区域左上角像素点的暗原色值，如此逐点计算像素点的暗原色值（203）；

①C、对暗原色值进行均值滤波（204）；

①C-a、对经均值滤波后的暗原色值进行最大值滤波，在相邻若干帧图像中该结果的平均值即为大气光数值（205）；

①C-b、将放大一定倍数后的透过率值存储在以暗原色值为地址的ROM中（206），这样透过率的计算过程就变成了读取ROM的过程，ROM中透过率的计算公式为：

t=(1-w0×dc/gray_max) ×n，

t是透过率，w0取0.9，dc是暗原色值，

gray_max是最大灰度级，n是放大倍数；

再针对天空等明亮区域算法失效的情况修正了透过率值，引入了容差的概念，容差是指暗原色值与大气光数值的差的绝对值，容差越小越容易出现透过率估计值偏小的情况，因此这里的做法是设定一个阈值，当容差小于阈值时适当增大透过率的值，否则透过率保持不变（208）；

①C-c、统计经均值滤波后的暗原色值小于阈值1的像素点数目，用来判断场景是否有雾，在一帧图像中，当该像素点数目大于阈值2时，场景被判断为无雾，当该像素点数目小于阈值3时，场景被判断为有雾，在阈值2与阈值3之间，判断状态保持不变（207）；

②恢复出无雾图像，计算公式为J=(I-A)/t+A，

J为无雾图像，I为有雾图像，A为大气光数值，t为透过率（209）；

③输出一帧原始图像数据，当场景被判断为有雾时，输出的原始图像为去雾后的图像，当场景被判断为无雾时，输出的原始图像与输入图像保持一致（210）。

2.按权利要求1所述的一种基于FPGA的高清视频实时自动化去雾方法，其特征在于像素点暗原色值的求取流程是：

A、采用双线性插值和最小值滤波求得像素点的暗通道值（301）；

B、对区域中的暗通道值进行最小值滤波，将结果作为该区域左上角像素点的暗原色值，如此逐点计算像素点的暗原色值（302）；

C、对暗原色值进行均值滤波，避免暗原色值在局部区域内出现剧烈变化（303）。

3.按权利要求1所述的一种基于FPGA的高清视频实时自动化去雾方法，其特征在于大气光数值的求取流程是：

A、对经均值滤波后的暗原色值进行最大值滤波（401）；   

B、在相邻若干帧图像中该结果的平均值即为大气光数值（402）；

C、大气光数值每帧更新一次，在视频消隐期更新，把上一帧图像的大气光数值用在当前帧上。

4.按权利要求1所述的一种基于FPGA的高清视频实时自动化去雾方法，其特征在于自动化去雾流程是：

A、在一帧图像中，当经均值滤波后的暗原色值小于阈值1的像素点数目大于阈值2时，场景被判断为无雾，当经均值滤波后的暗原色值小于阈值1的像素点数目小于阈值3时，场景被判断为有雾，在阈值2与阈值3之间，判断状态保持不变；

B、当场景被判断为有雾时，输出的原始图像为去雾后的图像，当场景被判断为无雾时，输出的原始图像与输入图像保持一致，从而实现自动化去雾。