CN106933579A - 基于cpu+fpga的图像快速去雾方法 - Google Patents

Abstract

本发明公开了一种基于CPU+FPGA的图像快速去雾方法，主要解决现有基于引导滤波的暗通道先验去雾方法耗时严重的问题，其实现步骤是：1.初始化OpenCL环境，创建并编译内核程序；2.创建10个缓存对象，将原始图像数据写入第一个缓存对象；3.初始化参数；4.对原始图像进行暗通道图和灰度图提取；5.对暗通道图进行最小值滤波，并计算最小值滤波后的透射率图；6.对透射率图和灰度图进行降采样；7.对降采样后的透射率图进行引导滤波，并对引导滤波后的透射率图进行插值；8.根据插值后的透射率图、原始图像和大气参数计算去雾后的图像，并读取到主机内存。本发明去雾耗时短，可实现对高分辨率图像的实时去雾。

Description

基于CPU+FPGA的图像快速去雾方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像快速去雾方法，可用于高分辨率数字图像的实时去雾。

背景技术

雾是自然界常见的一种现象，它是由空气中的水蒸气凝结成小水滴形成的。雾以及大气中的其它杂质如灰尘、霾等会对光线进行散射和吸收，从而使得大气能见度降低。在这样环境条件下拍摄的图片模糊不清，颜色失真，图片质量严重退化，直接影响到人的视觉感受。此外，在自动驾驶、智能导航、跟踪监控和智能交通等计算机视觉领域，带雾图片将影响系统的稳定性和准确性。近年来，图像去雾已经成为计算机视觉和图像处理领域研究的重要课题之一。

在图像去雾方法中，基于多尺度Retinex的图像去雾方法实现简单，但处理后的图片颜色易失真，视觉感受较差。基于软抠图的暗通道先验方法能够获得非常细腻的透射率图，去雾效果很好，而且颜色恢复很好，但该方法耗时严重，无法满足实时性的要求。基于双边滤波的暗通道先验方法耗时有了大幅减小，颜色恢复也较好，但经过双边滤波后的透射率图比较粗糙，对某些场景下的图像边缘去雾效果不好。

He K在IEEE Transactions on Pattern Analysis&Machine Intelligence2013,35(6):1397-409.上发表了“Guided Image Filtering”的论文，文中提出了一种导向滤波方法，该方法通过引导图对透射率图进行滤波，虽然能得到细腻的透射率图，提高了去雾效果，且耗时较软抠图方法也减少了很多。但仍无法满足高清图像实时去雾的要求。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提供一种基于CPU+FPGA的图像快速去雾方法，以进一步减小耗时，实现对图像的实时去雾。

本发明的技术方案是这样完成的：

一.技术原理

本发明利用CPU+FPGA的异构架构对基于引导滤波的暗通道先验去雾方法进行并行加速，采用并行编程标准的开放运算语言OpenCL进行内核编程。OpenCL是第一个面向异构系统通用目的并行编程的标准，也是一个统一的编程环境。用OpenCL编写的内核可以在FPGA、GPU和CPU等多种设备上执行，跨平台性良好。FPGA具有非常强大的数据并行计算能力，具有可重复编程的能力，设计灵活性很大，特别适合并行计算。此外，FPGA功耗较低，在诸如自动驾驶、智能导航和跟踪监控等对功耗有要求的领域，FPGA的低功耗特性就显得尤为重要。CPU中拥有控制取指、译码等流程，具备处理各种复杂的指令要求的能力，适合于从事任务处理，逻辑运算。

根据FPGA强大的并行运算能力和CPU强大的决策能力，本发明利用CPU+FPGA的异构架构对该去雾方法进行加速。在加速过程中，通过CPU完成任务调度与数据分配，通过FPGA完成数据密集型的计算任务。

二.技术方案

根据上述原理，本发明的实现方案包括如下：

(1)初始化开放运算语言OpenCL环境，创建并编译内核程序；

(2)创建10个缓存对象，即第一个缓存对象I、第二个缓存对象D、第三个缓存对象G、第四个缓存对象R、第五个缓存对象T、第六个缓存对象D'、第七个缓存对象T'、第八个缓存对象T'_sub、第九个缓存对象T_sub和第十个缓存对象G_sub，并将原始图像数据写入到第一个缓存对象I中；

(3)初始化去雾系数w₀＝0.95和大气参数a＝0.65；

(4)对第一个缓存对象I中的原始图像进行暗通道和灰度提取，将得到的暗通道图保存在第二个缓存对象D中，将灰度图保存在第三个缓存对象G中；

(5)对第二个缓存对象D中的暗通道图进行最小值滤波，得到滤波后的暗通道图并保存在第六个缓存对象D'中；

(6)根据第六个缓存对象D'中保存的滤波后暗通道图计算透射率图，并将透射率图保存到第七个缓存对象T'中；

(7)对第七个缓存对象T'中的透射率图和第三个缓存对象G中的灰度图进行降采样，将降采样后的透射率图和灰度图分别保存在第八个缓存对象T'_sub和第十个缓存对象G_sub中；

(8)以第十个缓存对象G_sub中降采样后的灰度图作为引导图，对第八个缓存对象T'_sub中的降采样后透射率图进行引导滤波，并将引导滤波后的透射率图保存到第九个缓存对象T_sub中；

(9)对第九个缓存对象T_sub中的引导滤波后透射率图进行双线性插值，得到插值后的透射率图，并保存在第五个缓存对象T中；

(10)根据第五个缓存对象T中的透射率图、第一个缓存对象I中的原始图像和步骤(3)的大气参数a计算去雾后的图像，并将去雾后的图像保存在第四个缓存对象R中，再将该去雾后的图像读取到主机内存。

本发明与现有技术相比，具有以下优点：

本发明由于对基于引导滤波的暗通道先验去雾方法进行了CPU+FPGA异构并行加速，与现有技术中对基于引导滤波的暗通道先验去雾方法在CPU下计算相比，FPGA的数据并行计算能力要远远高于CPU的数据并行计算能力；同时由于在异构加速过程中，将CPU与FPGA两者紧密结合，即FPGA负责数据密集型的计算任务，CPU负责任务的调度与数据分配，可在保持基于引导滤波的暗通道先验去雾方法去雾效果不变的情况下，大幅缩短了基于引导滤波的暗通道先验去雾方法的耗时。

附图说明

图1是本发明的实现流程图；

图2是本发明与现有技术的滤波效果对比图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步描述。

参照图1，本发明的实现步骤包括如下：

步骤1，初始化开放运算语言OpenCL环境，创建并编译内核程序。

选取Altera异构计算平台，选取加速设备为FPGA，在Altera异构计算平台下创建上下文，在上下文与FPGA之间创建命令队列，使用软件开发工具包Altera SDK for OpenCL创建并编译内核程序。

步骤2，创建10个缓存对象，将原始图像数据写入到第一个缓存对象I中。

2a)在Altera异构计算平台下创建10个缓存对象，即第一个缓存对象I、第二个缓存对象D、第三个缓存对象G、第四个缓存对象R、第五个缓存对象T、第六个缓存对象D'、第七个缓存对象T'、第八个缓存对象T'_sub、第九个缓存对象T_sub和第十个缓存对象G_sub；

2b)选取的原始图像类型为24bits RGB彩色图像，并将原始图像数据写入到第一个缓存对象I中。

步骤3，初始化去雾系数w₀＝0.95和大气参数a＝0.65。

步骤4，对原始图像进行暗通道图和灰度图提取。

4a)调用内核程序在第一个缓存对象I中提取原始图像每一个像素位置中R、G、B三个通道里的最小值作为暗通道图对应像素位置的值,得到暗通道图，并将该暗通道图保存在第二个缓存对象D中，其中，R、G、B代表图像中红、绿、蓝三个通道的颜色；

4b)调用内核程序在第一个缓存对象I中提取原始图像的R通道图作为灰度图，并将该灰度图保存第三个缓存对象G中。

步骤5，对暗通道图进行最小值滤波，并计算最小值滤波后的透射率图。

5a)对第二个缓存对象D中的暗通道图调用内核程序进行最小值滤波，得到滤波后的暗通道图并保存在第六个缓存对象D'中；

5b)对第六个缓存对象D'中保存的滤波后暗通道图，调用内核程序计算其在坐标(x,y)处的值T'(x,y)：

其中，D'(x,y)为第六个缓存对象D'中最小值滤波后的暗通道图坐标(x,y)处的灰度值，w₀为去雾系数，a为大气参数；

5c)用步骤5b计算得到的灰度值T'(x,y)组成透射率图，并将该透射率图保存到第七个缓存对象T'中。

步骤6，对透射率图和灰度图进行降采样，并对降采样后的透射率图进行引导滤波。

6a)调用内核程序以4：1的采样比对第七个缓存对象T'中的透射率图和第三个缓存对象G中的灰度图进行降采样，将降采样后的透射率图和灰度图分别保存在第八个缓存对象T'_sub和第十个缓存对象G_sub中；

6b)以第十个缓存对象G_sub中降采样后的灰度图作为引导图，对第八个缓存对象T'_sub中的降采样后透射率图调用内核程序进行引导滤波，引导滤波的计算公式为：

其中,T_sub(x,y)为第九个缓存对象T_sub中的引导滤波后透射率图坐标(x,y)处的值，ω为滤波窗口边长，G(x,y)为第十个缓存对象G_sub中降采样后的灰度图坐标(x,y)处的值，a(x₀,y₀)为中间变量a(x,y)在ω×ω大小滤波窗口中坐标(x₀,y₀)处的值，b(x₀,y₀)为中间变量b(x,y)在ω×ω大小滤波窗口中坐标(x₀,y₀)处的值，中间变量a(x,y)和b(x,y)，按如下公示计算：

其中，ω为滤波窗口边长，G(x₀,y₀)为第十个缓存对象G_sub中降采样后的灰度图在ω×ω大小滤波窗口中坐标(x₀,y₀)处的值，P(x₀,y₀)为第八个缓存对象T'_sub中降采样后的透射率图在ω×ω大小滤波窗口中坐标(x₀,y₀)处的值，为第十个缓存对象G_sub中降采样后的灰度图在ω×ω大小窗口中均值滤波后坐标(x,y)处的值，为第八个缓存对象T'_sub中降采样后的透射率图在ω×ω大小窗口中均值滤波后坐标(x,y)处的值，σ(x,y)为第十个缓存对象G_sub中降采样后的灰度图在ω×ω大小窗口中均方差坐标(x,y)处的值，ε为正则化参数，取值为ε＝0.001；

6c)将引导滤波后的透射率图保存到第九个缓存对象T_sub中。

步骤7，对引导滤波后的透射率图进行插值。

调用内核程序以1：4的插值比对第九个缓存对象T_sub中的引导滤波后透射率图进行双线性插值，得到插值后的透射率图，并保存在第五个缓存对象T中。

步骤8，根据插值后透射率图、原始图像和大气参数计算去雾后图像。

8a)根据第五个缓存对象T中的透射率图、第一个缓存对象I中的原始图像和步骤(3)中的大气参数a，调用内核程序计算R、G、B三个通道图像在坐标(x,y)处的值R(x,y)_{(x,y)∈{R,G,B}}：

其中，I(x,y)_{(x,y)∈{R,G,B}}为第一个缓存对象I中原始图像R、G、B三个通道图像坐标(x,y)处的像素值，T(x,y)为第五个缓存对象T中双线性插值后的透射率图坐标(x,y)的值，t₀为阈值，取值为t₀＝0.01；

8b)用步骤8a计算得到的R、G、B三个通道的像素值R(x,y)_{(x,y)∈{R,G,B}}组成去雾后的图像，并将该去雾后的图像保存在第四个缓存对象R中。

步骤9，将第四个缓存对象R中去雾后的图像读取到主机内存，完成基于CPU+FPGA的图像快速去雾过程。

对本发明的技术效果可通过以下实验进一步详细描述：

1.实验环境：

异构平台为Altera异构开发平台，其中主机端CPU为Intel Xeon E5410 CPU，内存64G，FPGA板卡为DE5-NET，软件环境为Visual Studio 2013和Altera SDK for OpenCL16.0，操作系统为64-bit Windows 7。

2.实验内容：

实验1，对输入的原始图像分别用传统基于引导滤波的暗通道先验去雾方法和本发明方法进行图像去雾操作，结果如图2。其中：

图2(a)为原始图像；

图2(b)为用传统基于引导滤波的暗通道先验去雾方法去雾后的效果图；

图2(c)为用本发明方法去雾后的效果图。

由图2可以看出，本发明方法与传统基于引导滤波的暗通道先验去雾方法的去雾视觉效果相当。

实验2，对输入不同空间分辨率的原始有雾图像分别用传统基于引导滤波的暗通道先验去雾方法和本发明方法进行去雾操作，对两种方法的耗时进行评定，结果如表1。

表1本发明与传统去雾方法的耗时(单位：ms)

表1中的原始图像为RGB彩色图像。

由表1可见，本发明所提出的基于CPU+FPGA的图像快速去雾方法相比传统基于引导滤波的暗通道先验去雾方法，耗时明显减少。

综上所述，本发明基于CPU+FPGA的图像快速去雾方法，有效地解决了现有基于引导滤波的暗通道先验去雾方法执行效率低的技术问题，可实现对高分辨率图像的实时处理。

Claims (4)

1.一种基于CPU+FPGA的图像快速去雾方法，包括：

(1)初始化开放运算语言OpenCL环境，创建并编译内核程序；

(2)创建10个缓存对象，即第一个缓存对象I、第二个缓存对象D、第三个缓存对象G、第四个缓存对象R、第五个缓存对象T、第六个缓存对象D'、第七个缓存对象T'、第八个缓存对象T'_sub、第九个缓存对象T_sub和第十个缓存对象G_sub，并将原始图像数据写入到第一个缓存对象I中；

(3)初始化去雾系数w₀＝0.95和大气参数a＝0.65；

(4)调用内核程序对第一个缓存对象I中的原始图像进行暗通道和灰度提取，将得到的暗通道图保存在第二个缓存对象D中，将灰度图保存在第三个缓存对象G中；

(5)调用内核程序对第二个缓存对象D中的暗通道图进行最小值滤波，得到滤波后的暗通道图并保存在第六个缓存对象D'中；

(6)根据第六个缓存对象D'中保存的滤波后暗通道图，调用内核程序计算透射率图，并将透射率图保存到第七个缓存对象T'中；

(7)调用内核程序对第七个缓存对象T'中的透射率图和第三个缓存对象G中的灰度图进行降采样，将降采样后的透射率图和灰度图分别保存在第八个缓存对象T'_sub和第十个缓存对象G_sub中；

(8)以第十个缓存对象G_sub中降采样后的灰度图作为引导图，对第八个缓存对象T'_sub中的降采样后透射率图调用内核程序进行引导滤波，并将引导滤波后的透射率图保存到第九个缓存对象T_sub中；

(9)调用内核程序对第九个缓存对象T_sub中的引导滤波后透射率图进行双线性插值，得到插值后的透射率图，并保存在第五个缓存对象T中；

(10)根据第五个缓存对象T中的透射率图、第一个缓存对象I中的原始图像和步骤(3)的大气参数a，调用内核程序计算去雾后的图像，并将去雾后的图像保存在第四个缓存对象R中，再将该去雾后的图像读取到主机内存。

2.根据权利要求1所述的方法，其中步骤(6)中调用内核程序计算透射率图，是先计算滤波后暗通道图在坐标(x,y)处的值T'(x,y)：

$T^{\′}(x,y)=1-\frac{w_0{D}^{\′}(x,y)}{a}$

其中，D'(x,y)为第六个缓存对象D'中最小值滤波后的暗通道图坐标(x,y)处的灰度值，w₀为去雾系数，a为大气参数；

再用计算得到的灰度值T'(x,y)组成透射率图。

3.根据权利要求1所述的方法，其中步骤(8)中对第八个缓存对象T'_sub中降采样后的透射率图进行引导滤波，按如下公式进行：

$T_{sub}(x,y)=\frac{1}{\left|\mathrm{\ω}\right|}\underset{(x_0,y_0)\∈\mathrm{\ω}(x,y)}{\Σ}a(x_0,y_0)G(x,y)+\frac{1}{\left|\mathrm{\ω}\right|}\underset{(x_0,y_0)\∈\mathrm{\ω}(x,y)}{\Σ}b(x_0,y_0),$

其中,T_sub(x,y)为第九个缓存对象T_sub中的引导滤波后透射率图坐标(x,y)处的值，ω为滤波窗口边长，G(x,y)为第十个缓存对象G_sub中降采样后的灰度图坐标(x,y)处的值，a(x₀,y₀)为中间变量a(x,y)在ω×ω大小滤波窗口中坐标(x₀,y₀)处的值，b(x₀,y₀)为中间变量b(x,y)在ω×ω大小滤波窗口中坐标(x₀,y₀)处的值，中间变量a(x,y)和b(x,y)，按如下公示计算：

$a(x,y)=\frac{\frac{1}{\left|\mathrm{\ω}\right|}\underset{(x_0,y_0)\∈\mathrm{\ω}(x,y)}{\Σ}G(x_0,y_0)P(x_0,y_0)-\stackrel{\‾}{G}(x,y)\stackrel{\‾}{P}(x,y)}{{\[\mathrm{\σ}(x,y)\]}^2+\mathrm{\ϵ}},$

$b(x,y)=\stackrel{\‾}{P}(x,y)-a(x,y)\stackrel{\‾}{G}(x,y),$

其中，ω为滤波窗口边长，G(x₀,y₀)为第十个缓存对象G_sub中降采样后的灰度图在ω×ω大小滤波窗口中坐标(x₀,y₀)处的值，P(x₀,y₀)为第八个缓存对象T'_sub中降采样后的透射率图在ω×ω大小滤波窗口中坐标(x₀,y₀)处的值，为第十个缓存对象G_sub中降采样后的灰度图在ω×ω大小窗口中均值滤波后坐标(x,y)处的值，为第八个缓存对象T'_sub中降采样后的透射率图在ω×ω大小窗口中均值滤波后坐标(x,y)处的值，σ(x,y)为第十个缓存对象G_sub中降采样后的灰度图在ω×ω大小窗口中均方差坐标(x,y)处的值，ε为正则化参数，取值为ε＝0.001。

4.根据权利要求1所述的方法，其中步骤(10)中根据第五个缓存对象T中的透射率图、第一个缓存对象I中的原始图像和步骤(3)的大气参数a，调用内核程序计算去雾后的图像，是先计算R、G、B三个通道图像在坐标(x,y)处的值R(x,y)_{(x,y)∈{R,G,B}}：

$R{(x,y)}_{(x,y)\∈\{R,G,B\}}=\frac{I{(x,y)}_{(x,y)\∈\{R,G,B\}}-a}{max\{T(x,y),t_0\}}$

其中，I(x,y)_{(x,y)∈{R,G,B}}为第一个缓存对象I中原始图像R、G、B三个通道图像坐标(x,y)处的值，T(x,y)为第五个缓存对象T中双线性插值后的透射率图坐标(x,y)的值，t₀为阈值，取值为t₀＝0.01；

再用计算得到的R、G、B三个通道的像素值R(x,y)_{(x,y)∈{R,G,B}}组成去雾后的图像。