CN106204488A

CN106204488A - 一种OpenCL加速的视频去雾方法

Info

Publication number: CN106204488A
Application number: CN201610544554.7A
Authority: CN
Inventors: 谭怀亮; 王子见; 彭酊
Original assignee: Hunan Hanbo Wei Electronic Technology Ltd Co
Current assignee: Hunan Hanbo Wei Electronic Technology Ltd Co
Priority date: 2016-07-12
Filing date: 2016-07-12
Publication date: 2016-12-07

Abstract

本发明公开了一种OpenCL加速的视频去雾方法，该方法采用OpenCL对有雾视频进行去雾处理，具体包括以下步骤：初始化FFmpeg多媒体框架；初始化OpenCL架构；利用OpenCL优化FHRUSI去雾算法实现并行视频去雾处理；将并行视频去雾处理扩展到FFmpeg多媒体框架中并运行行视频去雾处理子程序。本发明利用OpenCL并行编程方法和GPU并行构架实现对视频去雾处理的并行加速以及高清视频的实时去雾，降低了去雾算法的复杂度，并提高了算法的并行度，大大减少了去雾算法的执行时间，达到了高速、高清去雾效果。

Description

一种OpenCL加速的视频去雾方法

技术领域

本发明涉及计算机图像处理技术领域，特别是视频的去雾方法。

背景技术

雾霾是一种常见的天气现象，在雾霾严重的时候，道路的能见度和可视性会变差，驾驶员获取的道路和环境信息就会不足，非常容易造成恶性的交通事故。因此，如何提高能见度低的天气条件下驾驶员可获取的周围环境的信息量，一直是智能交通领域的一个研究热点。

在智能交通领域，现有的辅助设备和算法对夜晚的适应性较好，但对图像去雾的效果较差，主要原因在于夜晚和雾天的视觉增强在原理上有着本质的区别，夜晚能见度低是因为光线不足，可以通过红外设备得到物体的反馈信息；而雾天的能见度低，则是因为空气中存在很多水气，对辐射来的光线产生折射作用，从而使我们得到的图像信息并不真实，也就是造成了视觉污染。另外，对于监视系统和遥感系统，雾霾天气也会对其成像造成严重影响，例如，户外监视系统在雾霾天气条件下经常失效，典型的比如说路口的监视器，如果在雾霾天气下发生交通事故，交警在调取监控录像进行判罚时，就可能由于图像不够清晰而无法获得事故发生的细节，监视系统也就失去了其监视的价值。不仅智能交通领域，在军事领域中，提高雾霾等恶劣天气条件下的可视性也是目前的一个研究热点，例如：侦察兵携带便携式望远镜在远距离观察敌情时，必然会受到天气条件的影响，如果天气条件较差，则无法及时准确的获得敌方情报，从而耽搁作战的最佳时机。

图像去雾是近些年在图像处理领域的一个研究热点，在智能交通、军事、监视系统、遥感系统等领域中都有着极为重要的应用价值。目前，针对图像去雾的方法主要有两种：一种是基于图像增强的算法，另一种是基于图像复原的算法。图像增强的方法不需要物理模型，主要是通过增强对比度来突出图像的细节部分，算法实现相对简单，但是去雾效果却没有图像复原的算法好。大部分基于图像复原的算法去雾效果很好，可算法的复杂度很高，计算量很大，实现过程耗时很长。

目前，基于单幅图像的去雾算法的研究重点大多集中在去雾算法和图像的去雾效果上，对算法加速的研究还很有限，而单幅图像去雾算法由于其计算量大，算法占用内存多，需要的运行时间长，不能为工程实现带来理想的效果，难以得到广泛的应用。另外，在视频去雾处理方面，由于高清视频的分辨率比普通视频高出很多，这使得高清视频实时去雾的计算量更是巨大，去雾速度则显得更为缓慢。暗通道假设就是这样一种去雾算法，利用这种算法在CPU上处理一幅600×400的图片大概需要10-20s的时间，显然无法满足很多工程中的实时性要求，因此，缩短暗通道假设去雾算法的运行时间是必要的。

发明内容

本发明需要解决的技术问题是提供一种能够实现对视频进行高速、高清去雾处理的方法。

为解决上述技术问题，本发明所采取的技术方案如下。

一种OpenCL加速的视频去雾方法，该方法采用OpenCL对有雾视频进行去雾处理，具体包括以下步骤：

A. 初始化FFmpeg多媒体框架；

B. 初始化OpenCL架构；

C. 利用OpenCL优化FHRUSI去雾算法实现并行视频去雾处理；

D. 将并行视频去雾处理扩展到FFmpeg多媒体框架中，运行并行视频去雾处理子程序完成视频去雾操作。

上述一种OpenCL加速的视频去雾方法，步骤D所述去雾处理子程序具体包括以下步骤：

D1.获取视频文件，将视频文件进行音视频分离，并进行解码操作；

D2.将YUV格式的色彩空间转换为RGB格式的色彩空间；

D3.进行并行去雾处理；

D4.将RGB格式的色彩空间转换为YUV格式的色彩空间；

D5.呈现去雾后的视频图像。

上述一种OpenCL加速的视频去雾方法，步骤D3中的去雾处理具体包括以下步骤：

D31.在OpenCL构架下获取有雾图像，并计算R、G、B三个颜色通道的最小值以及有雾图像中每个像素点的暗通道值；

D32.对进行均值滤波，计算对应像素点的均值；

D33.计算中所有元素的均值；

D34.计算环境光，采用OpenCL内存映射将数据从GPU移动到CPU；

D35.估计全局大气光，采用解映射将数据从CPU返回GPU；

D36. 在OpenCL构架下根据全局大气光和环境光进行去雾操作，输出最后的无雾图像。

上述一种OpenCL加速的视频去雾方法，步骤D31中有雾图像的暗通道值通过式一计算获得：

式一

式中，是输入的有雾图像，表示对应像素点的颜色通道。

上述一种OpenCL加速的视频去雾方法，步骤D32中对应像素点的均值通过式二计算获得：

式二

式中，表示均值滤波窗口的大小。

上述一种OpenCL加速的视频去雾方法，步骤D34中环境光通过式三计算获得：

式三

式中，是一个可调参数并且。

上述一种OpenCL加速的视频去雾方法，步骤D35中全局大气光根据式四计算获得：

式四。

上述一种OpenCL加速的视频去雾方法，步骤D36中的无雾图像根据式五计算获得：

式五。

由于采用了以上技术方案，本发明所取得技术进步如下。

本发明利用OpenCL并行编程方法和GPU并行构架实现对视频去雾处理的并行加速以及高清视频的实时去雾，降低了去雾算法复杂度，提高了算法的并行度，大大减少了去雾算法的执行时间，达到了高速、高清去雾效果。实验结果表明，本发明可以以实时速率（每秒超过41帧）处理1080p（1920×1080）高清视频，并且高清晰度视频的去雾效果良好，执行速度提高了4.8倍以上，解决了高清视频实时去雾因计算量非常巨大不能快速连续实现去雾的问题。

附图说明

图1为本发明的流程图；

图2为本发明所述步骤D的流程图；

图3为本发明所述步骤D3的流程图；

图4为本发明中并行OpenCL内核实现采用合并数据访问模式的示意图。

具体实施方式

下面将结合附图和具体实施例对本发明进行进一步详细说明。

OpenCL是在各种现代CPU、GPU、DSP等微处理器上进行任务并行和数据并行异构计算的一个新的行业标准，是一个以并行编程语言和子程序库为基础的软件开发平台，可以支持在多个供应商的硬件平台上进行异构计算。本发明提供的一种OpenCL加速的视频去雾方法，即是采用OpenCL对有雾视频进行去雾处理，其流程如图1所示，具体包括以下步骤。

A. 初始化FFmpeg多媒体框架。

B. 初始化OpenCL架构。

C. 利用OpenCL优化FHRUSI去雾算法实现并行视频去雾处理。

本步骤中，去雾处理子程序的流程如图2所示，具体包括以下步骤：

D1.获取视频文件，将视频文件进行音视频分离，并进行解码操作。

获取视频数据源后，将探测多媒体的类型，即容器格式，然后匹配相应的解复用器。解复用器将音视频进行分离，将音频和视频分离出来后分别放入音频和视频各自的缓冲区中等待解码。从解复用后的音频和视频缓冲区读取压缩数据，送入到解码器中进行解码。

D2.将YUV格式的色彩空间转换为RGB格式的色彩空间。

D3.进行并行去雾处理。

本步骤中的去雾处理的流程如图3所示，具体包括以下步骤：

D31.在OpenCL构架下获取有雾图像，并计算R、G、B三个颜色通道的最小值以及有雾图像中每个像素点的暗通道值。有雾图像的暗通道值通过式一计算获得：

式一

式中，是输入的有雾图像，表示对应像素点的颜色通道。

在基本的并行OpenCL内核实现中，采用多线程分段的方式处理输入数组，如基本的并行OpenCL内核实现中，内核将输入数组分为多个段，每个线程在一个段中处理几个连续的元素，当一个OpenCL内核一个接一个地处理二维数据集的元素时，基本的并行OpenCL实现中的顺序数据访问模式将导致读取性能的急剧下降。本发明中并行OpenCL内核实现中采用合并数据访问模式，如图4所示，当work-item0访问数组元素array[0]时，work-item1正在访问数组元素array[1]，work-item2正在访问数组元素array[2]，如此等等。因此，所有的工作项都会产生连续的内存访问地址，这无疑满足了数据访问的局部性要求，从而有效地提高了内存的访问速度，并最大限度地利用了GPU的全局内存带宽。

本发明中，并行OpenCL内核实现的程序代码如下：

1) int x = get_global_id(0)；

2) int y = get_global_id(1)；

3) int each_thread = array_length / (x * y)；

4) int global_id = y * get_global_size(0) + x；

5) for (int k = 0; k < array_length; k += each_thread) do

6) int value = array[each_thread * global_id + k]；

7) operation_code(value)；

8) end for

9) 重新获取全局索引，进行下一次调度；

10)End

D32.对进行均值滤波，计算对应像素点的均值。对应像素点的均值通过式二计算获得：

式二

式中，表示均值滤波窗口的大小。

在进行均值滤波过程中，需要计算值滤波窗口中心像素点的平均值，这就要求包含相邻像素点的数据块，通过选择数据块中所有像素的平均值作为中心像素的平均值，便可以取得输入图像中的每个像素的均值滤波平均值。

实际操作时，根据块大小和均值滤波窗口设置本地内存大小，然后将输入图像的所有数据根据已经设置的块大小分割成一个个数据块，每个数据块被加载到一个工作组的本地内存中，然后每个工作项从其对应数据块的本地内存中访问数据，而不是从全局内存。至于在AMD GPU上的OpenCL编程，每个工作组所使用的本地内存的最大数量可以通过调用函数clGetDeviceInfo(CL_DEVICE_LOCAL_MEM_SIZE)来获得。

一个数据块的边缘数据是与其相邻数据块所共享的，当从全局存储器加载数据时，数据块的中间部分只加载一次，相邻数据块共享的边缘部分被加载两次，数据块的每个角落都由四个数据块共享，所以需要加载四次角落部分。在将数据从全局存储器中移动到本地内存后，同一工作组所有工作项所使用的所有数据都是从对应的本地内存中加载，大大减少了内存访问延迟。

D33.计算中所有元素的均值。

D34.计算环境光，然后采用OpenCL内存映射将数据从GPU移动到CPU。

环境光通过式三计算获得：

式三

式中，是一个可调参数并且。

在将数据从GPU移动到CPU的过程中，本发明采用零拷贝技术，即通过把对显式数据传输函数的调用改为利用OpenCL内存映射API clEnqueueMapBuffer和clEnqueueUnmapMemObject而完成，避免了不必要的数据传输。映射和解映射函数的功能就像一个边界，通过内存映射操作后，读和写一个OpenCL内存缓冲区的权限被传递到主机端（CPU）代码，当主机代码完成存储器访问后，解映射函数将缓冲区的访问权限返回给设备端（GPU）的内核代码，因此这个内核可以再次访问该内存缓冲区。因为执行转换操作之后不再需要在运行时显式地进行数据传输，因此大大减少了用于数据传输的H2D和D2H时间。

本发明中CPU-GPU数据传输程序代码如下：

// create a OpenCL memory buffer

S1: buf = clCreateBuffer(size, CL_MEM_READ_WRITE);

// set kernel argument for kernel1

S2: clSetKernelArg(kernel1, buf);

// kernel1 execution

S3: clEnqueueNDRangeKernel(kernel1, buf, ...);

// map the memory buffer to the host for H2D or D2H

S4: host_ptr = clEnqueueMapBuffer(buf, CL_MAP_WRITE/READ);

// use the host_ptr to set input data (H2D) or get output data (D2H)

S5: host_side_code(host_ptr)

// unmap the memory buffer and pass the buffer access right to the nextkernel

S6: clEnqueueUnmapMemObject(buf, host_ptr);

// set kernel argument for kernel2

S7: clSetKernelArg(kernel2, buf);

// kernel2 execution

S8: clEnqueueNDRangeKernel(kernel2, buf, ...);

// release the memory buffer

S9: clReleaseMemObject(buf)。

D35.估计全局大气光，采用解映射将数据从CPU返回GPU。

全局大气光根据式四计算获得：

式四

D36. 在OpenCL构架下根据全局大气光和环境光进行去雾操作，输出最后的无雾图像。无雾图像根据式五计算获得：

式五

本实施例中，使用输入的雾天图像宽度m和高度n来表示并行视频去雾算法中每个步骤的并行度，利用OpenCL优化后的FHRUSI去雾算法的并行处理如下表所示，其中并行度一栏代表可以同时处理的像素点的数目。从表中可以看出步骤D31、D34和D36的并行性最高，达到了图像分辨率m×n；步骤D35的并行性是最低的，因为需要多次计算出输入图像中所有像素之间的全局最大值；步骤D32的并行度是图像的高度m或宽度n。

步骤	算法	串行程序的时间复杂度	并行度
				D31	计算中每个像素点的暗通道值	O(mn)	mn
D32	进行均值滤波，计算	O(mn)	m or n
				D33	计算中所有元素的均值	O(mn)	N/A
D34.	计算环境光	O(mn)	mn
				D35	计算全局大气光	O(mn)	1
D36	图像去雾，得到无雾图像	O(mn)	mn

在基于OpenCL架构的并行实现中有六个内核函数，这将导致巨大的内核启动和内存访问开销。为了降低OpenCL内核启动的开销，本实施例实际运行过程中在水平方向和垂直方向上将内核进行了合并。在水平方向上，合并具有类似的操作和不同的输入数据的内核；在垂直方向上，当一个内核的输出数据是另一个内核的输入数据时，将它们合并，例如，均值滤波阶段，在基本的并行程序中必须被分为两个内核，其中第一个内核计算每一行的平均值，第二个内核在列中完成类似的计算，由于两者的并行方法是相同的，因此可在优化的并行实现中把它们合并，内核合并后，即可减少三分之一的内核。

D4.将RGB格式的色彩空间转换为YUV格式的色彩空间。

D5.呈现去雾后的视频图像。

本发明充分利用GPU优异的并行计算性能，将传统的去雾算法并行化，并将OpenCLKernel部署到GPU并行执行，并根据嵌入式系统硬件平台的特点和算法本身的特点进行优化设计，充分利用GPU的设备存储器层次结构，在降低计算复杂度的同时，提高算法的并行度，大大减少算法的执行时间。

Claims

1.一种OpenCL加速的视频去雾方法，其特征在于，该方法采用OpenCL对有雾视频进行去雾处理，具体包括以下步骤：

A. 初始化FFmpeg多媒体框架；

B. 初始化OpenCL架构；

C. 利用OpenCL优化FHRUSI去雾算法实现并行视频去雾处理；

2.根据权利要求1所述的一种OpenCL加速的视频去雾方法，其特征在于，步骤D所述去雾处理子程序具体包括以下步骤：

D2.将YUV格式的色彩空间转换为RGB格式的色彩空间；

D3.进行并行去雾处理；

D4.将RGB格式的色彩空间转换为YUV格式的色彩空间；

D5.呈现去雾后的视频图像。

3.根据权利要求2所述的一种OpenCL加速的视频去雾方法，其特征在于，步骤D3中的去雾处理具体包括以下步骤：

D32.对进行均值滤波，计算对应像素点的均值；

D33.计算中所有元素的均值；

D34.计算环境光，采用OpenCL内存映射将数据从GPU移动到CPU；

D35.估计全局大气光，采用解映射将数据从CPU返回GPU；

4.根据权利要求3所述的一种OpenCL加速的视频去雾方法，其特征在于，步骤D31中有雾图像的暗通道值通过式一计算获得：

式一

式中，是输入的有雾图像，表示对应像素点的颜色通道。

5.根据权利要求4所述的一种OpenCL加速的视频去雾方法，其特征在于，步骤D32中对应像素点的均值通过式二计算获得：

式二

式中，表示均值滤波窗口的大小。

6.根据权利要求5所述的一种OpenCL加速的视频去雾方法，其特征在于，步骤D34中环境光通过式三计算获得：

式三

式中，是一个可调参数并且。

7.根据权利要求6所述的一种OpenCL加速的视频去雾方法，其特征在于，步骤D35中全局大气光根据式四计算获得：

式四。

8.根据权利要求7所述的一种OpenCL加速的视频去雾方法，其特征在于，步骤D36中的无雾图像根据式五计算获得：

式五。