CN104881848A - 一种基于cuda的低照度图像增强并行优化方法 - Google Patents

Abstract

本发明公开了一种基于CUDA的低照度图像增强并行优化方法，采用CPU/GPU异构模式，将低照度图像增强算法全部在GPU上运行，输入数据和输出数据在CPU和GPU之间进行拷贝；在GPU上使用3个kernel，每个kernel都开辟与图像像素点数目相同的线程，分别负责计算图像反转以及暗原色的估算、全局大气光估算、透射率和去雾模型的计算以及图像的反转操作。本发明对基于暗原色去雾技术的低照度图像增强算法中，不适合在GPU上运行的计算全局大气光的部分进行改进，使用暗原色和图像的亮度值来评估大气光值，减少了数据间的相关性。本发明在提高夜间图像可视化效果的同时可达到实时处理效果。

Description

一种基于CUDA的低照度图像增强并行优化方法

技术领域

    本发明涉及并行计算领域，以及图像处理算法技术领域，具体是一种基于CUDA的低照度图像增强并行优化方法。

背景技术

为了提高社会的公共安全，很多公共场所都安装了视频监控系统，来通过监控图像了解情况。但在夜间光线太弱，能见度很低的情况下，人眼不易观察到周围环境，使用图像采集设备在夜晚采集到的图像往往偏黑，使得周围景物的可辨识度下降，不能满足一些实际用途。因此，使用低照度图像增强算法处理图像，把夜晚的图像转换为白天可以看到场景细节的图像，在生活中的方方面面都是很有意义的。然而由于图像增强算法计算量大，运行时间很长，不能满足实际应用中的实时处理要求，很难将算法应用到实际需求中。对算法层面进行优化和将算法进行并行处理来有效降低处理时间是非常有必要的。

由于图像数据的特点，并行计算也逐渐应用到图像处理领域中。为了加快计算速度，并行技术从多核处理器逐渐发展到GPU，GPU不再局限于对3D图形图形处理，在浮点运算和并行计算等方面都有优于CPU的性能。在CPU/GPU异构系统中，多核CPU可以提供通用的计算能力，GPU在数字图像处理并行化计算方面有明显的优势，并被广泛应用于图像处理领域中。

申请号为CN201410713588的中国发明专利公开了一种图像增强方法及装置，在获取图像后，根据预设的灰尘标记位置确定图像需要增强的位置；统计图像的直方图，以确定图像需要增强的位置上的像素值在整个图像的像素值分布比例；根据图像需要增强的位置上的像素值在整个图像的像素值的分布比例，对图像需要增强的位置上的像素值进行处理；输出处理后的图像，来提高拍摄图像的清晰度。

申请号为CN201420766172的中国发明专利公开了一种具有图像增强功能的计算机图像处理系统，主要由图像增强电路以及同图像增强电路连接的光电耦合器组成；还包括摄像头、视频编码器、FPGA处理器、耦合电路、图像显示电路、时钟电路，视频编码器连接图像增强电路，图像增强电路连接光电耦合器，FPGA处理器连接光电耦合器，FPGA处理器连接耦合电路，视频编码器连接FPGA处理器；TV监视器连接视频解码电路，时钟电路分别连接视频编码器、图像增强电路、FPGA处理器、视频解码电路；加载视频编码电路，用于进行视频再次编码，并采用成熟的图像增强技术对图像需要增强的部位进行增强，以保障后台显示图像的真实质感效果更佳。

发明内容

本发明的目的在于提供一种基于CUDA的低照度图像增强并行优化方法，是指在GPU上使用CUDA编程模型对基于暗原色去雾技术的低照度增强算法进行并行优化，在提高夜间图像可视化效果的同时达到实时处理效果。

为实现上述目的，本发明提供如下技术方案：

一种基于CUDA的低照度图像增强并行优化方法，所述低照度图像增强算法为基于暗原色去雾技术的增强算法，采用CPU/GPU异构模式，在GPU上使用CUDA编程模型对低照度增强算法进行并行优化，以达到实时处理效果；包括以下步骤：

步骤1、在CPU上将图像数据读取到内存中，然后分别将图像数据的三个颜色通道值拷贝到GPU上的显存中；

步骤2、使用一个kernel用于计算图像反转和暗原色图；

步骤3、使用一个kernel用于计算共享寄存器中的最大值，使用偏移循环调用这个kernel，最终计算出全局大气光值；

步骤4、使用一个kernel用于计算透射率和使用去雾模型进行恢复并再次进行反转；

步骤5、将复原得到的图像从GPU的显存中拷贝到CPU的内存中，CPU将复原后的图像进行保存。

作为本发明进一步的方案：所述低照度图像增强算法全部在GPU上运行，输入数据和输出数据在CPU和GPU之间进行拷贝。

作为本发明进一步的方案：在GPU上，每个kernel都开辟与图像像素点数目相同的线程，每个线程对一个像素点进行处理。

作为本发明进一步的方案：所述步骤2中，为每个颜色通道开辟像素点总数/512个block，每个block中的线程对单个像素点进行反转操作，具体的反转算法如下：

                                                  

式中：c表示RGB颜色通道，L表示输入的原始图像，I表示反转后的输出图像。

作为本发明进一步的方案：所述步骤2中，计算暗原色图方法，包括以下步骤：

将所述反转图像的RGB三通道值拷贝到GPU共享存储器中，在Block中每个线程以单个像素点为单位，对7*7窗口内像素点的各个通道做最小值滤波，再对其每个颜色通道求最小值作为该像素点的暗原色值。

作为本发明进一步的方案：所述步骤3中，使用图像的亮度和暗原色图共同作用来估算大气光值A，包括以下步骤：

在GPU上开辟图像像素点数目的线程，每个线程分别计算单个像素点的大气光综合评估值F，并保存于全局存储器中；然后对每个block中所有线程求得的像素点F值进行log(n)次归约，得到此block中F的最大值，并将其存于共享存储器中；再对共享存储器中的像素点进行归约，进行循环规约后，最终得共享存储器中的最大值，即为估算所得全局大气光A，具体求得大气光综合评估值F的算法如下：

式中：k为亮度图像Y与暗原色图像的比值，亮度图像Y的计算公式为：

式中：R、G、B分别代表图像RGB三通道分量值。

作为本发明进一步的方案：所述步骤4中，采用有雾图像的亮度图Y估算透射率t，将亮度值进行归一化，并使用一个常量C削弱归一化的亮度值，得到图像透射率图t，并用一个局部变量保存每个像素点的透射率值，计算透射率t的公式为：

式中：C为用于削弱亮度图像Y的参数，C取值范围为[1.06，1.08]。

作为本发明进一步的方案：所述步骤4中，在一个kernel中，每个线程先后完成计算当前像素点的透射率，计算该点的复原图，并将复原后的图像再次反转，其中，计算复原图的具体算法如下：

式中：I(x)为反转后的图像，A为全局大气光，t(x)为透射率图像。

与现有技术相比，本发明的有益效果是：

（1）本发明提出了一种基于CUDA的低照度图像增强并行优化方法，将低照度图像增强算法全部在GPU上运行，并在GPU上为每个kernel都开辟与图像数目相同的线程，每个线程对一个像素点进行处理，提高了算法的并行性，以满足高分辨率图像的实时处理效果。

（2）本发明针对基于暗原色去雾技术的低照度图像增强算法中，不适合在GPU上运行的计算全局大气光的部分进行改进，使用暗原色和图像的亮度值来评估大气光值，减少了数据间的相关性。使用这种新的改进方法使得整个算法更容易以及更快地在GPU上运行，避免了不断进行CPU和GPU进行数据拷贝的过程。

（3）本发明在进行CUDA编程时，充分使用全局存储器和共享存储器，从而减少CPU和GPU之间的数据传递，减少算法耗时。

附图说明

图1是本发明算法在GPU上的执行流程图；

图2是图1中kernel1的执行流程图；

图3是规约思想示意图；

图4是图1中kernel3的执行流程图；

图5是本发明数据在CPU和GPU上的传递图；

图６是本发明在GPU上算法各中间过程的加速比图。

具体实施方式

下面将结合本发明实施例及附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-图5，一种基于CUDA的低照度图像增强并行优化方法，在GPU上使用3个kernel，kernel1主要负责计算图像反转以及暗原色的估算，kernel2主要负责对全局大气光的估算，kernel3主要负责透射率、去雾模型的计算以及图像的反转操作。每个kernel都开辟与图像像素点数目相同的线程，每个线程对一个像素点进行处理。具体按照以下步骤实施：

步骤1、在CPU上将图像数据读取到内存中，然后分别将图像数据的三个颜色通道值拷贝到GPU上的显存中，为了运算提高速度，此处将数据拷贝到GPU的全局存储器中。

步骤2、如图2所示，使用一个kernel用于计算图像反转和暗原色图。

步骤2.1、对于一张m*n大小的图像，每个颜色通道开辟m*n/512个block，每个block中的线程从全局存储器中读取数据对单个像素点进行反转操作。

步骤2.2、将图像反转结果拷贝到GPU共享存储器中，在Block中每个线程以单个像素点为单位，对7*7窗口内像素点的各个通道做最小值滤波，再对其每个颜色通道求最小值作为该像素点的暗原色值。

步骤3、使用一个kernel用于计算共享寄存器中的最大值，使用如图3所示的规约思想循环调用这个kernel，最终计算出全局大气光值；

步骤4、如图4所示，使用一个kernel用于计算透射率和使用去雾模型进行恢复并再次进行反转。

步骤4.1、每个block中的线程从全局存储器中读取数据，利用图像亮度值估计透射率，并将结果存入GPU共享存储器中。

步骤4.2、从GPU共享存储器中取得像素点的透射率值，结合所述步骤3中求得的全局大气光值应用去雾模型，并将结果存入共享存储器中。

步骤4.3、对应用去雾模型后的结果图进行再次反转，得到最终夜间增强结果图，并写入全局存储器中。

在步骤4中，在一个kernel中每个线程都对相应的图像像素点做估算透射率、去雾以及图像反转操作，使图像数据都是在GPU中进行交互，不涉及到在CPU上的数据，提高算法效率。

    步骤5、将复原得到的图像从GPU的显存中拷贝到CPU的内存中，CPU将复原后的图像进行保存。

实施例：

本发明提供了一种基于CUDA的低照度图像增强并行优化方法，在提高夜间图像可视化效果的同时达到实时处理效果。本发明的效果可以通过以下实验数据进一步说明：

请参阅图6，本发明在NVIDIA GeForce GTX770硬件平台下，对于一幅1920*1080的图像，使用低照度图像增强算法在GPU上对图像进行处理时，各中间过程的加速比如图6所示。由图6可以看出，在GPU上进行低照度图像增强的过程中，每一个计算过程速度较CPU都有很大的提高。效果最好的部分加速比可以达到几百倍，效果最差的部分加速比也可以达到几十倍。在算法的各个中间过程中，计算图像反转和暗原色图时，加速比很大，这是因为图像的并行度很高，不仅都是以图像像素点为并行度，而且是以整行数据进行计算。虽然在GPU上，夜间增强算法每个部分的加速比相差很大，但是由图6可知，整个算法在GPU上有明显的速度提升。

本发明提出了一种基于CUDA的低照度图像增强并行优化方法，将低照度图像增强算法全部在GPU上运行，并在GPU上为每个kernel都开辟与图像像素点数目相同的线程，每个线程对一个像素点进行处理，提高了算法的并行性，以满足高分辨率图像的实时处理效果。

本发明针对基于暗原色去雾技术的低照度图像增强算法中，不适合在GPU上运行的计算全局大气光的部分进行改进，使用暗原色和图像的亮度值来评估大气光值，减少了数据间的相关性。使用这种新的改进方法使得整个算法更容易以及更快地在GPU上运行，避免了不断进行CPU和GPU进行数据拷贝的过程。

本发明在进行CUDA编程时，充分使用全局存储器和共享存储器，从而减少CPU和GPU之间的数据传递，减少算法耗时。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种基于CUDA的低照度图像增强并行优化方法，是指在GPU上使用CUDA编程模型对低照度增强算法进行并行优化，以达到实时处理效果，所述低照度图像增强算法为基于暗原色去雾技术的增强算法，所述CUDA编程模型采用CPU/GPU异构模式，其特征在于，包括以下步骤：

步骤1、在CPU上将图像数据读取到内存中，然后分别将图像数据的三个颜色通道值拷贝到GPU上的显存中；

步骤2、使用一个kernel用于计算图像反转和暗原色图；

步骤3、使用一个kernel用于计算共享寄存器中的最大值，使用偏移循环调用这个kernel，最终计算出全局大气光值；

步骤4、使用一个kernel用于计算透射率和使用去雾模型进行恢复并再次进行反转；

步骤5、将复原得到的图像从GPU的显存中拷贝到CPU的内存中，CPU将复原后的图像进行保存。

2.根据权利要求1所述的基于CUDA的低照度图像增强并行优化方法，其特征在于，所述低照度图像增强算法全部在GPU上运行，输入数据和输出数据在CPU和GPU之间进行拷贝。

3.根据权利要求1所述的基于CUDA的低照度图像增强并行优化方法，其特征在于，在GPU上，每个kernel都开辟与图像像素点数目相同的线程，每个线程对一个像素点进行处理。

4.根据权利要求1所述的基于CUDA的低照度图像增强并行优化方法，其特征在于，所述步骤2中，为每个颜色通道开辟像素点总数/512个block，每个block中的线程对单个像素点进行反转操作，具体的反转算法如下：

                                                  

式中：c表示RGB颜色通道，L表示输入的原始图像，I表示反转后的输出图像。

5.根据权利要求1所述的基于CUDA的低照度图像增强并行优化方法，其特征在于，所述步骤2中，计算暗原色图方法，包括以下步骤：

将所述反转图像的RGB三通道值拷贝到GPU共享存储器中，在Block中每个线程以单个像素点为单位，对7*7窗口内像素点的各个通道做最小值滤波，再对其每个颜色通道求最小值作为该像素点的暗原色值。

6.根据权利要求1所述的基于CUDA的低照度图像增强并行优化方法，其特征在于，所述步骤3中，使用图像的亮度和暗原色图共同作用来估算大气光值A，包括以下步骤：

在GPU上开辟图像像素点数目的线程，每个线程分别计算单个像素点的大气光综合评估值F，并保存于全局存储器中；然后对每个block中所有线程求得的像素点F值进行log(n)次归约，得到此block中F的最大值，并将其存于共享存储器中；再对共享存储器中的像素点进行归约，进行循环规约后，最终得共享存储器中的最大值，即为估算所得全局大气光A，具体求得大气光综合评估值F的算法如下：

式中：k为亮度图像Y与暗原色图像的比值，亮度图像Y的计算公式为：

式中：R、G、B分别代表图像RGB三通道分量值。

7.根据权利要求1所述的基于CUDA的低照度图像增强并行优化方法，其特征在于，所述步骤4中，采用有雾图像的亮度图Y估算透射率t，将亮度值进行归一化，并使用一个常量C削弱归一化的亮度值，得到图像透射率图t，并用一个局部变量保存每个像素点的透射率值，计算透射率t的公式为：

式中：C为用于削弱亮度图像Y的参数，C取值范围为[1.06，1.08]。

8.根据权利要求1所述的基于CUDA的低照度图像增强并行优化方法，其特征在于，所述步骤4中，在一个kernel中，每个线程先后完成计算当前像素点的透射率，计算该点的复原图，并将复原后的图像再次反转，其中，计算复原图的具体算法如下：

式中：I(x)为反转后的图像，A为全局大气光，t(x)为透射率图像。