CN104992421A - 一种基于OpenCL的图像去噪算法的并行优化方法 - Google Patents

Abstract

本发明公开了一种基于OpenCL的图像去噪算法的并行优化方法，根据图像分层的思想，通过联合双边滤波算法和联合WLS算法将图像分成高对比度的基础层和低对比度的细节层，接着使用Stockham FFT对细节层进行去噪处理，最后通过变化域谱收缩和图像相加方法将图像还原，达到去噪的效果。本发明针对基础层获取和细节层去噪两部分执行函数处理数据量大，但其数据并行性非常高的特点，使用OpenCL平台模型，在GPU上实现图像去噪算法的并行计算，最后对计算过程中的细节方面做了改进，如使用局部内存、选择合适的工作组大小和使用并行归约等，最终实现的去噪算法加速比能达到30倍以上，极大地提高了算法的实用性。

Description

一种基于OpenCL的图像去噪算法的并行优化方法

技术领域

本发明涉及并行计算领域，以及图像处理算法技术领域，具体是一种基于OpenCL的图像去噪算法的并行优化方法。

背景技术

图像作为人类感受和传递信息的重要载体，在人们的生活中扮演者非常重要的角色，尤其随着计算机技术的不断发展，计算机视觉和图像处理技术越来越深入到社会生活的各个方面，例如医疗、智能监控等。但是在图像和视频的产生、传输和处理的各个阶段，都不可避免的引入噪声，例如敏感元器件产生的高斯噪声，光电转换产生的泊松噪声，以及传输过程的各种噪声。图像中的噪声严重影响了图像的视觉效果，并对后续的计算机视觉处理带来很大的干扰。另外对于夜间图像增强后的结果图也会出现大量的伪噪声，这些噪声也不能被忽略，因此去除图像噪声的实际意义是非常重要的。然而由于图像去噪算法计算量大，运行时间很长，不能满足实际应用中的实时处理要求，很难将算法应用到实际需求中，因此对算法层面进行优化加速和将算法并行实现来有效降低处理时间是非常有必要的。

由于图像数据的特点，并行计算也逐渐应用到图像处理领域中。为了加快计算速度，并行技术从多核处理器逐渐发展到GPU，GPU不再局限于对3D图形图形处理，在浮点运算和并行计算等方面都有优于CPU的性能。在CPU/GPU异构系统中，多核CPU可以提供通用的计算能力，GPU在数字图像处理并行化计算方面有明显的优势，并被广泛应用于图像处理领域中。

申请号为CN201410086580的中国发明专利公开了一种图像非局部均值去噪方法，包括：获取待去噪的图像，抽取预设大小的图像块，读取图像块的RGB三个颜色分量的空域数据组成矢量矩阵，并经过主成分分析和降维，生成降维后的残差矢量矩阵；对图像块，根据预设的S级搜索区域，在搜索区域内根据预设的每级搜索区域的搜索步长，以图像块的中心像素点为中心从上到下，从左到右移动预设大小的搜索窗口，得到搜索块；其中，各级搜索区域的搜索步长依次递增；计算搜索块对应的残差矢量矩阵与像素点对应的矢量的欧几里得距离，再根据欧几里得距离计算图像块的权重值，最后根据权重值得到图像块中心像素点的滤波值，完成图像的去噪处理。本发明还提供对应的系统，时间复杂度较低，去噪速度快。

申请号为CN201210092785的中国发明专利公开了一种基于小波变换的DR图像去噪方法，包括以下步骤：步骤一：读取待处理的图像数据；步骤二：确定小波和小波分解的层数，计算含噪声信号的小波分解系数；步骤三：对每层系数选择一个阈值，采用改进的软阈值对图像进行处理；步骤四：进行小波重构得到第一层A1、H1、V1、D1；步骤五：对第一层H1、V1、D1进行经典硬阈值滤波；步骤六：使用滤波后的系数再次重构，得到最终的图像。本发明提出的改进方法更加灵活，通过平滑函数与硬阈值滤波可以克服硬阈值函数和软阈值函数的缺点，不但能够去除噪声，而且能够很好地保留图像的边缘信息，改善了图像的信噪比，是一种较好的处理方案。

发明内容

本发明的目的在于提供一种基于OpenCL的图像去噪算法的并行优化方法，在GPU上使用OpenCL编程模型对改进后的双域滤波算法进行并行优化，在图像去噪的同时达到实时处理效果。

为实现上述目的，本发明提供如下技术方案：

一种基于OpenCL的图像去噪算法的并行优化方法，是指在GPU上使用OpenCL编程模型对图像去噪算法进行并行优化，以达到实时处理效果，所述图像去噪算法为改进的双域滤波算法，所述OpenCL编程模型采用CPU/GPU异构模式；所述方法包括以下步骤：

步骤1、选择OpenCL平台选择设备为GPU，并创建一个上下文context；

步骤2、在CPU上将图像数据读取到内存中，然后将图像数据的像素值从内存拷贝到GPU上的显存中；

步骤3、在GPU上创建命令队列，实现函数操作与设备间的通信，之后将设备上要完成的操作在命令队列中排队；

步骤4、创建和构建程序对象，加载ddid.dl文件到OpenCL C内核源代码，所述ddid.dl内核源代码中包括获取基础层的联合双边滤波和联合WLS以及细节层去噪的小波收缩三个kernel函数；

步骤5、创建内核和内存对象；所述内核对象包括联合双边滤波内核kernel_xxstep、联合WLS内核kernel_wls和小波收缩内核kernel_fft，所述内存对象是指内核对象函数中包含的参数；

步骤6、并行执行内核函数kernel_xxstep、kernel_wls和kernel_fft对噪声图像进行一次的联合WLS和小波收缩以及两次不同参数的联合双域滤波和小波收缩达到去噪的效果。

步骤7、将细节层去噪后的结果和基础层数据相加得到复原的图像，将图像从GPU的显存中拷贝到CPU的内存中，CPU将复原后的图像进行保存。

作为本发明进一步的方案：所述图像去噪算法全部在GPU上运行，输入数据和输出数据在CPU和GPU之间进行拷贝。

作为本发明进一步的方案：在GPU上最多有1024个工作项，工作项之间执行相互独立，每个工作组包含若干个工作项，每个工作项独立处理所在工作组对应的核函数，工作项循环完成核函数的操作。

作为本发明进一步的方案：所述步骤4中，图像获取基础层使用的联合双边滤波和联合WLS算法操作是分布在若干个工作组上的，然后每个工作组中的工作项对算法操作循环执行，步骤如下：

1)使用联合双边滤波器获取图像像素的高对比度值使用导向图g对噪声图像y滤波，对噪声图像y进行联合双边滤波：

${\tilde{s}}_p=\frac{{\mathrm{\Σ}}_{q\∈N_p}{k}_{p,q}{y}_p}{{\mathrm{\Σ}}_{q\∈N_p}{k}_{p.q}};$

2)由于在对细节层进行频域收缩时需要使用导向图的频谱作为导向，因此也要对导向图g进行双边滤波：

${\tilde{g}}_p=\frac{{\mathrm{\Σ}}_{q\∈N_p}{k}_{p,q}{g}_p}{{\mathrm{\Σ}}_{q\∈N_p}{k}_{p.q}};$

式中：N_p为双边滤波器的邻域，p为邻域的中心点，r为邻域的半径，k_p，q为双边滤波的内核，由以下公式计算得到：

$k_{p,q}=e^{-\frac{p-q}{2{\mathrm{\σ}}_s^2}}{e}^{-\frac{{(g_p-g_q)}^2}{{\mathrm{\γ}}_r{\mathrm{\σ}}^2}};$

参数σ_s和r_r分别用来调整空间域和值域方差。

所述步骤4中，经过多次测试发现，联合双边滤波器并不能很好地平滑图像，对边缘的保持也不是十分理想，本发明针对这一问题提出了联合WLS方法，将第一步双边滤波的输出作为WLS算法的导向图：

$a_{x,p}\left(g\right)={({\left|\frac{\∂z}{\∂x}\left(p\right)\right|}^{\mathrm{\α}}+\mathrm{\ϵ})}^{-1};$

$a_{y,p}\left(g\right)={({\left|\frac{\∂z}{\∂y}\left(p\right)\right|}^{\mathrm{\α}}+\mathrm{\ϵ})}^{-1};$

式中：z表示原始图像的双边滤波结果，指数α(一般在1.2到2.0之间)表示图像g的梯度的敏感程度，ε是一个非常小的常数，是为了防止在平坦区域梯度为零时，被零整除。

作为本发明进一步的方案：所述步骤4中，细节层去噪处的小波收缩算法操作也是分布在若干个工作组上的，然后每个工作组中的工作项对算法操作循环执行，步骤如下：

选择双边滤波器的核函数k_p，q作为窗口函数，分别对导向图和噪声图的细节层进行变换：

$G_{p,f}=\underset{q\∈N_p}{\Σ}{e}^{-i2\mathrm{\π}(q-p)f/(2r+1)}{k}_{p,q}(g_q-{\tilde{g}}_p);$

$S_{p,f}=\underset{q\∈N_p}{\Σ}{e}^{-i2\mathrm{\π}(q-p)f/(2r+1)}{k}_{p,q}(y_q-{\tilde{s}}_p);$

变换的结果G_p，f和S_p，f是定义在窗口F_p中频率f的函数，窗口F_p的大小和N_p的大小相同；

将细节信号的频谱反变换回空间域：

${\tilde{S}}_p=\frac{1}{\left|F_p\right|}\underset{f\∈F_p}{\Σ}{K}_{p,f}{S}_{p,f};$

对频谱系数距离取倒数，定义收缩因子如下：

$K_{p,f}=e^{-\frac{{\mathrm{\γ}}_f{\mathrm{\σ}}_{p,f}^2}{{\left|G_{p,f}\right|}^2}};$

式中收缩因子k_p，f也是用导向谱G_p，f计算，类似双边内核k_p，q，γ_f用来调整值域方差。

作为本发明进一步的方案：所述步骤5中，将细节层去噪后的结果和基础层数据相加得到复原的图像，包括以下步骤：

$\tilde{x}=\widetilde{s_p}+\widetilde{S_p};$

式中：是基础层数据，是细节层去噪后的数据。

与现有技术相比，本发明的有益效果是：

(1)本发明将图像去噪算法全部在GPU上运行，并在GPU上开辟若干个个工作项，工作项之间执行相互独立，每个工作组包含若干个工作项，每个工作项独立处理所在工作组对应的核函数，工作项循环完成核函数的操作，并行处理提高了算法的执行效率，极大地提高了图像去噪算法的加速比，满足了图像去噪算法的实时性。

(2)本发明针对图像去噪的双域滤波算法中，使用联合双边滤波获取基础层时会出现边缘保持不理想的情形，使用联合WLS方法获取基础层，更好的保持了图像去噪的视觉效果。

(3)本发明在进行OpenCL编程时，充分使用全局存储器和共享存储器，从而减少CPU和GPU之间的数据传递，减少算法耗时。

附图说明

图1是本发明算法的流程图；

图2是本发明算法在CPU和GPU上的执行流程图；

图3是并行规约思想示意图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1～3，本发明实施例中，一种基于OpenCL的图像去噪算法的并行优化方法，在GPU上使用3个kernel，kernel_xxstep主要负责使用联合双边滤波器获取图像的基础层，kernel_wls主要负责使用联合WLS获取图像基础层，kernel_fft主要负责细节层获取、使用快速傅里叶变换进行细节层去噪和图像相加。每个kernel都开辟与核函数对应的工作组，每个工作组有若干个工作项，每个工作项对一个核函数操作进行处理。具体按照以下步骤实施：

步骤1、在CPU上将图像数据读取到内存中，然后分别将图像数据的三个颜色通道值拷贝到GPU上的显存中，为了运算提高速度，此处将数据拷贝到GPU的全局存储器中；

步骤2、使用联合WLS用于获取图像基础层，包括以下步骤：

步骤2.1、对于一张m*n大小的图像，GPU会选取若干个工作项组图像进行联合WLS处理，每个工作组包含若干个工作项，每个工作项循环执行双边滤波获取导向图；

步骤2.2、将获取到的导向图结果拷贝到GPU共享存储器中，每个工作项循环执行联合WLS处理获取基础层；

步骤3、使用小波收缩用于获取图像细节层，使用如图3所示的规约思想循环调用小波收缩中的谱收缩部分，最终计算出图像的细节层，包括以下步骤：

步骤3.1、每个工作项循环执行图像相减操作，即噪声图减去基础层得到包含噪声的细节层图像；

步骤3.2、每个工作项循环执行Stockham FFT对细节层进行去噪处理，获得频域上去噪后的细节层；

步骤3.3、使用并行规约思想执行变换域谱收缩，将细节层信号反变换回空间域，得到空间域上去噪后的细节层；

步骤3.4、执行图像相加操作，即基础层加上去噪后的细节层，得到去噪第一次的图像，保存在全局内存中；

步骤4、使用联合双边滤波获取图像的基础层，并再次通过小波收缩获取图像细节层，达到去噪的目的，包括以下步骤：

步骤4.1、每个工作项从全局存储器中读取已经去噪过一次的图像数据，利用联合双边滤波器获取图像的基础层；

步骤4.2、使用小波收缩用于获取图像细节层，使用如图3所示的规约思想循环调用小波收缩中的谱收缩部分，最终计算出图像的细节层；最终通过图像相加得到去噪第二次的图像结果；

步骤5、改变参数重复执行步骤4得到去噪第三次的图像结果；

步骤6、将去噪后得到的图像从GPU的显存中拷贝到CPU的内存中，CPU将复原后的图像进行保存。

本发明的效果可以通过以下实验数据进一步说明：

本发明使用的英特尔CORE-i5-2400CPU，4G内存，主频3.10GHz，GPU使用的是NVIDIAGTX770，显存2G，PCI带宽7.45GB/s，显存带宽214GB/s，SM数目是8个，共有1536个CUDA核心。表1显示了GPU双域滤波处理图像的时间。通过此表可以发现，处理一般大小的图片时，GPU直接实现的双域滤波加速比能达到70以上，如果使用GPU基2FFT方式，加速比能达到400以上，处理1024×1024的单通道图片仅仅需要1.21s，虽然没有达到实时处理的效果，但是相比与原来CPU所需要的64s，GPU实现的快速算法可用于一般的应用中。

表1 GPU短时傅里叶变换处理时间(单位s)

数据大小	CPU多线程	GPU DFT	加速比	GPU FFT	加速比
						128×128	0.239	0.054	4	0.020	12
256×256	0.853	0.161	5	0.042	20
						512×512	3.822	0.515	7	0.114	34
1024×1024	19.151	2.044	9	0.375	51
						2048×2048	74.958	8.159	9	1.442	52

本发明将图像去噪算法全部在GPU上运行，并在GPU上开辟至多1024个工作项，工作项之间执行相互独立，每个工作组包含若干个工作项，每个工作项独立处理所在工作组对应的核函数，工作项循环完成核函数的操作，并行计算提高了算法执行效率，使改进后的双域滤波算法满足高分辨率图像的实时处理效果。

本发明针对双域滤波的图像去噪算法中，使用联合双边滤波获取基础层时会出现边缘保持不理想的情形，使用联合WLS方法获取基础层，更好的保持了图像去噪的视觉效果。

本发明在进行OpenCL编程时，充分使用全局存储器和共享存储器，从而减少CPU和GPU之间的数据传递，减少算法耗时。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种基于OpenCL的图像去噪算法的并行优化方法，在GPU上使用OpenCL编程模型对图像去噪算法进行并行优化，以达到实时处理效果，所述图像去噪算法为改进的双域滤波算法，所述OpenCL编程模型采用CPU/GPU异构模式，其特征在于，所述方法包括以下步骤：

步骤1、选择OpenCL平台选择设备为GPU，并创建一个上下文context；

步骤2、在CPU上将图像数据读取到内存中，然后将图像数据的像素值从内存拷贝到GPU上的显存中；

步骤3、在GPU上创建命令队列，实现函数操作与设备间的通信，之后将设备上要完成的操作在命令队列中排队；

步骤4、创建和构建程序对象，加载ddid.dl文件到OpenCL C内核源代码，所述ddid.dl内核源代码中包括获取基础层的联合双边滤波和联合WLS以及细节层去噪的小波收缩三个kernel函数；

步骤5、创建内核和内存对象；所述内核对象包括联合双边滤波内核kernel_xxstep、联合WLS内核kernel_wls和小波收缩内核kernel_fft，所述内存对象是指内核对象函数中包含的参数；

步骤6、并行执行内核函数kernel_xxstep、kernel_wls和kernel_fft对噪声图像进行一次的联合WLS和小波收缩以及两次不同参数的联合双域滤波和小波收缩达到去噪的效果；

步骤7、将细节层去噪后的结果和基础层数据相加得到复原的图像，将图像从GPU的显存中拷贝到CPU的内存中，CPU将复原后的图像进行保存。

2.根据权利要求1所述的基于OpenCL的图像去噪算法的并行优化方法，其特征在于，所述图像去噪算法全部在GPU上运行，输入数据和输出数据在CPU和GPU之间进行拷贝。

3.根据权利要求1所述的基于OpenCL的图像去噪算法的并行优化方法，其特征在于，在GPU上最多有1024个工作项，工作项之间执行相互独立，每个工作组包含若干个工作项，每个工作项独立处理所在工作组对应的核函数，工作项循环完成核函数的操作。

4.根据权利要求3所述的基于OpenCL的图像去噪算法的并行优化方法，其特征在于，所述步骤4中，图像获取基础层使用的联合双边滤波和联合WLS算法操作是分布在若干个工作组上的，然后每个工作组中的工作项对算法操作循环执行，步骤如下：

1)使用联合双边滤波器获取图像像素的高对比度值使用导向图g对噪声图像y滤波，对噪声图像y进行联合双边滤波：

${\tilde{s}}_p=\frac{{\mathrm{\Σ}}_{q\∈N_p}{k}_{p,q}{y}_p}{{\mathrm{\Σ}}_{q\∈N_p}{k}_{p.q}};$

2)对导向图g进行双边滤波：

${\tilde{g}}_p=\frac{{\mathrm{\Σ}}_{q\∈N_p}{k}_{p,q}{g}_p}{{\mathrm{\Σ}}_{q\∈N_p}{k}_{p.q}};$

式中：N_p为双边滤波器的邻域，p为邻域的中心点，r为邻域的半径，k_p，q为双边滤波的内核，由以下公式计算得到：

$k_{p,q}=e^{-\frac{p-q}{2{\mathrm{\σ}}_s^2}}{e}^{-\frac{{(g_p-g_q)}^2}{y_r{\mathrm{\σ}}^2}};$

参数σ_i和r_r分别用来调整空间域和值域方差；

3)将步骤1)的双边滤波的输出作为WLS算法的导向图：

$a_{x,p}\left(g\right)={\left({\left|\frac{\∂z}{\∂x}\left(p\right)\right|}^{\mathrm{\α}}+\mathrm{\ϵ}\right)}^{-1};$

$a_{y,p}\left(g\right)={\left({\left|\frac{\∂z}{\∂y}\left(p\right)\right|}^{\mathrm{\α}}+\mathrm{\ϵ}\right)}^{-1};$

式中：z表示原始图像的双边滤波结果；指数α表示图像g的梯度的敏感程度，指数α为1.2-2.0；ε是一个非常小的常数，防止在平坦区域梯度为零时，被零整除。

5.根据权利要求3所述的基于OpenCL的图像去噪算法的并行优化方法，其特征在于，所述步骤4中，细节层去噪处的小波收缩算法操作是分布在若干个工作组上的，然后每个工作组中的工作项对算法操作循环执行，步骤如下：

选择双边滤波器的核函数k_p，q作为窗口函数，分别对导向图和噪声图的细节层进行变换：

$G_{p,f}=\underset{q\∈N_p}{\Σ}{e}^{-i2\mathrm{\π}(q-p)f/(2r+1)}{k}_{p,q}(g_q-{\tilde{g}}_p);$

$S_{p,f}=\underset{q\∈N_p}{\Σ}{e}^{-i2\mathrm{\π}(q-p)f/(2r+1)}{k}_{p,q}(y_q-{\tilde{s}}_p);$

变换的结果g_p，f和S_p，f是定义在窗口F_p中频率f的函数，窗口F_p的大小和N_p的大小相同；

将细节信号的频谱反变换回空间域：

${\tilde{S}}_p=\frac{1}{\left|F_p\right|}\underset{f\∈F_p}{\Σ}{K}_{p,f}{S}_{p,f};$

对频谱系数距离取倒数，定义收缩因子如下：

$K_{p,f}=e^{-\frac{{\mathrm{\γ}}_f{\mathrm{\σ}}_{p,f}^2}{{\left|G_{p,f}\right|}^2}};$

式中收缩因子K_p，f也是用导向谱G_p，f计算，类似双边内核k_p，q，γ_f用来调整值域方差。

6.根据权利要求1所述的基于OpenCL的图像去噪算法的并行优化方法，其特征在于，所述步骤5中，将细节层去噪后的结果和基础层数据相加得到复原的图像，包括以下步骤：

$\tilde{x}=\widetilde{s_p}+\widetilde{S_p};$

式中：是基础层数据，是细节层去噪后的数据。