CN103824250B - 基于gpu的图像色调映射方法 - Google Patents

Abstract

本发明的基于GPU的图像色调映射方法中首先获取待处理图像的各个像素的初始光亮度值，然后根据各个像素的初始光亮度值计算得到全局光亮度值，进一步将待处理图像映射到中级灰度区中，对映射后的图像进行局部对比度增强得到各个像素的最终亮度值，并以最终亮度值完成色调映射。本发明的图像色调映射方法基于GPU编程管线实现，且高斯滤波采用空间卷积，将待处理图像中的像素划分为若干个部分采用GPU中不同的线程完成卷积，充分利用改了GPU的并行处理能力，大大提高了图像色调映射的速度，能够达到交互的帧率要求，有利于实现实时图像色调映射。

Description

基于GPU的图像色调映射方法

技术领域

本发明涉及计算机图像领域，具体涉及一种基于GPU的图像色调映射方法。

背景技术

色调映射是在有限动态范围媒介上近似显示高动态范围图像的一项计算机图形学技术。在现实世界中，一个场景的动态范围往往是现实设备所无法表示的，这些设备通常只能提供8bit通道来表示动态范围，这就必然需要能将高动态图像映射到低动态设备上的色调映射算法。

目前已经有很多色调映射算法都能够完成将高动态图像映射到低动态设备上的功能。最简单的可能就是线性映射，不过线性变化往往会因为尺度的原因而忽略很多原图像的细节信息，只保留对比度。一种基于人的感知的色调映射算法首先由Tumblin和Rushmeier提出，该算法能够保留原有的感光效果。之后，Ward又提出了一种丢弃亮度信息而保留感知对比信息的算法，这种方法将HDR图像和现实设备最小感知亮度之间的差值保留了下来。Ward Larson et al.提出了另一种柱状图调制技术，该技术基于场景中的分布式光照自适应，能够很好的改善具有对比感、视角变化和色彩敏感度的照片的真实感。Tumblin随后又提出了一种基于人类视觉自适应调整的新算法，该算法把原图像分为照明层和反射层，在保存了反射细节信息之后，对光照层进行压缩。

色调映射算法常常涉及全局和局部计算，全局计算虽然简单有效，但是很难有效地保留大部分HDR图像的局部差异；局部计算却可通过使用空间变换映射来解决这个问题，从这一点，可以知道，依据局部性的原理，两个确定的照明亮度可以映射为不同的值。Jobson和Tanaik.后来发展了一种多分辨率的技术，这种技术能够用来模拟人类视觉系统的行为。虽然它 可以将很多的局部细节信息保留下来，使得最终的实验效果很好，但是却过于强调细节，并且有太多的参数需要设定。

之后Fattal提出一种基于光照梯度衰减的新方法。从概念上讲，这种方法不仅简单，而且能够进行有效的计算，可是却要解一个泊松方程。不过，Goodnight在GPU上实现了这个算法，只不过没能够做到实时的交互。色调映射算法虽然很多，也有不少的人去实现各种色调映射算法，但交互式的色调映射算法却很少有人关注，实时交互的色调映射算法的实现几乎没有人去尝试，很大程度上是因为色调映射算法本身的复杂性。近年来，图形硬件技术的发展，使得部分的图形硬件提供流水线中顶点和图元部分的可编程接口，GPU的高效运算能力使得交互式3D渲染更加快速，这也促使使用GPU可编程管线来实现可交互的实时色调映射更为便捷，更加具有实际意义。

发明内容

针对现有的色调映射方法中实时性差的问题，本发明提供了一种基于GPU的图像色调映射方法。

一种基于GPU的图像色调映射方法，包括：

（1）获取待处理图像中每个像素的初始光亮度值，并根据所有像素的初始光亮度值计算得到待处理图像的全局光亮度值；

（2）将待处理图像映射到中级灰度区，其中待处理图像中各个像素在中级灰度区的光亮度值根据：

$L(x,y)=\frac{a}{\stackrel{\‾}{L_w}}{L}_w(x,y)$

计算，a为亮度常数，为待处理图像的全局光亮度值，L_w（x，y）坐标为（x，y）的像素的初始光亮度值；

（3）根据各个像素在中级灰度区中的光亮度值对待处理图像中的该像素进行局部对比度增强，得到各个像素的最终光亮度值；

（4）利用各个像素的最终光亮度值对待处理图像进行色调映射，得到色调映射后的图像。

亮度常数a为控制图片亮度的常数，是以待处理图像亮度为基础而选择的一个常数，决定待处理图像的亮度的常数，是决定一个给定图像是亮，正常还是偏暗的“关键值”，类似于控制摄像机自动曝光的值，待处理图像正常时a的值为0.18。

本发明的图像色调映射方法中各个步骤均基于GPU完成，首先获取待处理图像的各个像素的初始光亮度值，然后根据各个像素的初始光亮度值计算得到全局光亮度值，进一步将待处理图像映射到中级灰度区中，对映射后的图像进行局部对比度增强得到各个像素的最终亮度值，并以最终亮度值完成色调映射。通过将待处理图像映射到中级灰度区使待处理图像中各个像素的光亮度值的范围映射到显示设备的显示范围[0,1]内，且通过该映射对待处理图像中各个像素的亮度进行微调整，增强待处理图像的细节信息，且进一步通过局部对比度增强有效避免了待处理图像中的高频细节信息丢失。

所述步骤（1）中根据：

$\stackrel{\‾}{L_w}=\exp \left(\frac{1}{N}\underset{x,y}{\mathrm{\Σ}}\log (\mathrm{\δ}+L_w(x,y))\right)$

计算得到待处理图像的全局光亮度值，N为待处理图像中的像素个数，（x，y）为像素的坐标，δ为溢出常数，表示对待处理图像中所有像素求和。δ为一个接近0的正数，保证δ+L_w(x,y)的取值大于0即可。

所述步骤（3）中包括：

（3-1）对待处理图像进行多尺度的高斯滤波得到各个尺度上的归一化因子；

（3-2）根据中心环绕函数判断得到满足Reinhard条件的尺度；

（3-3）根据满足Reinhard条件的尺度上的归一化因子计算各个像素的最终光亮度值，其中坐标为（x，y）的像素的最终光亮度值为：

$L_d(x,y)=\frac{L(x,y)}{1+V(x,y,s_m)}$

其中V(x,y,s_m)为第m个尺度对应的归一化因子，s_m为满足Reinhard 条件的尺度。

所述步骤（3-1）包括：

（3-11）分别定义n个尺度及各个尺度下的高斯核函数；

（3-12）对于每个尺度，（根据待处理的图像大小和GPU并行处理能力）将待处理图像中的像素和高斯核函数划分成若干个一一对应的部分，将每部分像素的像素值和对应的高斯核函数进行卷积，将所有部分卷积的和作为该尺度的归一化因子。

将待处理图像中的像素划分后，能够将不同的部分送到GPU中不同的线程中进行并行处理，能够大大提高运算速度。每个部分像素中包含的像素个数根据待处理的图像大小和GPU并行处理能力确定，尽量最大程度的利用GPU的并行处理能力，有利于提高图像色调映射的实时性。

本发明中将待处理图像中的像素进行划分部分时，可以随意选取设定个数的像素作为一个部分，但必须保证不同部分中没有相同的像素，即相同像素不能重复划分。每个部分对应高斯核函数中的一个部分，二者为一一对应关系，且每个部分中的每个像素也对应该部分高斯核函数的一个跟小的部分。

所述步骤（3-2）Reinhard条件使用中心环绕函数如下：

$\mathrm{Activity}(x,y,s_i)=\frac{V(x,y,s_i)-V(x,y,s_{i+1})}{2^{\mathrm{\Φ}}a/s_i^2+V(x,y,s_i)}$

该函数是一个关于(x,y,s_i)的三元函数，其中：

(x,y)为像素的坐标决定一个点，

s_i为第i个尺度，s_i+1为第i+1个尺度，

Activity(x,y,s_i)表示坐标为(x,y)的像素在尺度s_i上的中心环绕值，

φ为控制边缘的锐化因子，用于计算各个尺度下的局部对比度，其值越大，锐化效果越差，一般取在0～1。

从i=1开始，直至获取满足Reinhard条件的尺度s_m，其中设定ε为Reinhard条件的阈值，则尺度s_m满足条件：

|Activity(x,y,s_i)|＞ε。

能否获取满足Reinhard条件的尺度s_m与相邻尺度的关系，第一个尺度s₁的大小，Reinhard条件的阈值ε，以及尺度的个数n有关系。实际上相邻尺度满足如下：

s_i+1＝k×s_i，

k为比例系数。一般情况下比例系数k和第一个尺度s₁越小，尺度个数n和Reinhard条件的阈值ε越大，在本次迭代中获取的Reinhard条件的尺度s_m的可能性越大。

若在比例系数k和第一个尺度s₁，尺度个数n和Reinhard条件的阈值ε一定的情况下，没有得到满足Reinhard条件的尺度s_m，则调整以上各个参数，直至得到满足Reinhard条件的尺度s_m。

通常情况下，比例系数k的取值范围为1.4～1.8，第一个尺度s₁为0～0.5，尺度个数n的取值范围为2～8，Reinhard条件的阈值为0.01～0.08。

作为优选，相邻的两个尺度满足：

s_i+1＝1.6×s_i，

其中，s_i为第i个尺度，i=1,2，……n，S₁=0.35。

作为优选，所述n的取值范围为4～8。

作为优选，所述Reinhard条件的阈值为0.02～0.06。

本发明的基于GPU的图像色调映射方法与图像压缩具有较好的兼容性，只需在步骤（3）中将待处理图像映射到中级灰度区后对全局光亮度值进行映射调整得到待处理图像中每个像素的中间亮度值，并根据各个像素的中间亮度值对待处理图像的RGB值进行现实亮度比例化处理，然后按照正常的图像压缩流程进行图像压缩即可。其中根据：

$L_d(x,y)=\frac{L(x,y)}{1+L(x,y)}$

计算中间亮度值，L(x,y)为坐标为（x，y）的像素在中级灰度区的亮度值。

与现有的映射方法比较，本发明的图像色调映射方法基于GPU编程管线实现，且高斯滤波采用空间卷积，将待处理图像中的像素划分为若干个部分采用GPU中不同的线程完成卷积，充分利用改了GPU的并行处理 能力，大大提高了图像色调映射的速度，能够达到交互的帧率要求，有利于实现实时图像色调映射。

具体实施方式

下面将结合具体实施例对本发明进行详细说明。

一种基于GPU的图像色调映射方法，包括：

（1）获取待处理图像中每个像素的初始光亮度值，并根据所有像素的初始光亮度值计算得到待处理图像的全局光亮度值；

步骤（1）中根据：

$\stackrel{\‾}{L_w}=\exp \left(\frac{1}{N}\underset{x,y}{\mathrm{\Σ}}\log (\mathrm{\δ}+L_w(x,y))\right)$

计算得到待处理图像的全局光亮度值，N为待处理图像中的像素个数，（x，y）为像素的坐标，δ为溢出常数，L_w（x，y）坐标为（x，y）的像素的初始光亮度值。

本实施例中N=800×600（单位为像素），δ=0.01，表示对待处理图像中所有像素求和。

（2）将待处理图像映射到中级灰度区，其中待处理图像中各个像素在中级灰度区的光亮度值根据：

$L(x,y)=\frac{a}{\stackrel{\‾}{L_w}}{L}_w(x,y)$

计算，a为亮度常数（本实施例中a=0.18），为待处理图像的全局光亮度值；

（3）根据各个像素在中级灰度区中的光亮度值对待处理图像中的该像素进行局部对比度增强，得到各个像素的最终光亮度值。

步骤（3）具体包括以下步骤：

（3-1）对待处理图像进行多尺度的高斯滤波得到各个尺度上的归一化因子，具体如下：

（3-11）分别定义n个尺度及各个尺度下的高斯核函数；

（3-12）对于每个尺度，将待处理图像中的像素和高斯核函数划分成若干个一一对应的部分（本实施例中每个部分包含四个像素），将每部分像素的像素值和对应的高斯核函数进行卷积，将所有部分卷积的和作为该尺度的归一化因子；

（3-2）根据中心环绕函数判断得到满足Reinhard条件的尺度；

（3-3）根据满足Reinhard条件的尺度上的归一化因子计算各个像素的最终光亮度值，其中坐标为（x，y）的像素的最终光亮度值为：

$L_d(x,y)=\frac{L(x,y)}{1+V(x,y,s_m)}$

其中V(x,y,s_m)为尺度s_m对应的归一化因子，s_m为满足Reinhard条件的尺度。

本实施例中n=8,8个尺度分别为S₁，S₂，……S₈，且相邻的两个尺度满足：

s_i+1＝1.6×s_i，

其中，s_i为第i个尺度，s_i+1为第i+1个尺度，i=1,2，……8，s₁＝0.35。

步骤（3-2）中Reinhard条件使用中心环绕函数如下：

$\mathrm{Activity}(x,y,s_i)=\frac{V(x,y,s_i)-V(x,y,s_{i+1})}{2^{\mathrm{\Φ}}a/s_i^2+V(x,y,s_i)},$

其中，(x,y)为像素的坐标，φ为锐化因子，本实施例中φ＝0.5。

从i=1开始，直至获取满足Reinhard条件：

|Activity(x,y,s_m)|＞ε

的尺度s_m，其中ε为Reinhard条件的阈值（本实施例中ε=0.05）。

（4）利用各个像素的最终光亮度值对待处理图像进行色调映射，得到色调映射后的图像。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于GPU的图像色调映射方法，其特征在于，包括：

(1)获取待处理图像中每个像素的初始光亮度值，并根据所有像素的初始光亮度值计算得到待处理图像的全局光亮度值；

(2)将待处理图像映射到中级灰度区，其中待处理图像中各个像素在中级灰度区的光亮度值根据：

$L(x,y)=\frac{a}{\stackrel{\‾}{L_w}}{L}_w(x,y)$

计算，a为亮度常数，为待处理图像的全局光亮度值，L_w(x，y)坐标为(x，y)的像素的初始光亮度值；

(3)根据各个像素在中级灰度区中的光亮度值对待处理图像中的该像素进行局部对比度增强，得到各个像素的最终光亮度值；

(4)利用各个像素的最终光亮度值对待处理图像进行色调映射，得到色调映射后的图像。

2.如权利要求1所述的基于GPU的图像色调映射方法，其特征在于，所述步骤(1)中根据：

$\stackrel{\‾}{L_w}=\exp \left(\frac{1}{N}\underset{x,y}{\Σ}\log \right(\mathrm{\δ}+L_w\left(x,y\right)\left)\right)$

计算得到待处理图像的全局光亮度值，N为待处理图像中的像素个数，(x，y)为像素的坐标，δ为溢出常数，表示对待处理图像中所有像素求和。

3.如权利要求2所述的基于GPU的图像色调映射方法，其特征在于，所述步骤(3)中包括：

(3-1)对待处理图像进行多尺度的高斯滤波得到各个尺度上的归一化因子；

(3-2)根据中心环绕函数判断得到满足Reinhard条件的尺度；

(3-3)根据满足Reinhard条件的尺度上的归一化因子计算各个像素的最终光亮度值，其中坐标为(x，y)的像素的最终光亮度值为：

$L_d(x,y)=\frac{L(x,y)}{1+V(x,y,s_m)}$

其中V(x,y,s_m)为第m个尺度对应的归一化因子，s_m为满足Reinhard条件的尺度。

4.如权利要求3所述的基于GPU的图像色调映射方法，其特征在于，所述步骤(3-1)包括：

(3-11)分别定义n个尺度及各个尺度下的高斯核函数；

(3-12)对于每个尺度，将待处理图像中的像素和高斯核函数划分成若干个一一对应的部分，将每部分像素的像素值和对应的高斯核函数进行卷积，将所有部分卷积的和作为该尺度的归一化因子。

5.如权利要求4所述的基于GPU的图像色调映射方法，其特征在于，相邻的两个尺度满足：

s_i+1＝1.6×s_i，

其中，s_i为第i个尺度，i＝1,2，……n，s₁＝0.35。

6.如权利要求5所述的基于GPU的图像色调映射方法，其特征在于，所述n的取值范围为4～8。

7.如权利要求6所述的基于GPU的图像色调映射方法，其特征在于，所述Reinhard条件的阈值为0.02～0.06。