CN112614471B

CN112614471B - 色调映射方法及系统

Info

Publication number: CN112614471B
Application number: CN202011551836.2A
Authority: CN
Inventors: 袁梓瑾; 周正华; 乐韵
Original assignee: Shanghai Li Ke Semiconductor Technology Co ltd
Current assignee: Shanghai Li Ke Semiconductor Technology Co ltd
Priority date: 2020-12-24
Filing date: 2020-12-24
Publication date: 2022-04-22
Anticipated expiration: 2040-12-24
Also published as: CN112614471A

Abstract

本发明提供了一种色调映射方法及系统。该色调映射方法包括：接收输入彩色图像，输入彩色图像包括多个颜色通道；预处理输入彩色图像，对输入彩色图像叠加修正值获得预处理图像；根据预处理图像的像素亮度，将预处理图像分割为暗部区域图像和非暗部区域图像；计算非暗部区域图像的亮度，获得非暗部区域亮度图像；计算暗部区域图像的亮度，获得暗部区域亮度图像，其中，对暗部区域图像的每个像素的多个颜色通道按照其灰度值的大小顺序分配相同大小顺序的多个亮度变换系数，根据多个亮度变换系数计算暗部区域图像的亮度；合并暗部区域亮度图像和非暗部区域亮度图像，获得输入亮度图像；以及对输入亮度图像进行色调映射处理，获得输出亮度图像。

Description

色调映射方法及系统

技术领域

本发明主要涉及图像处理领域，尤其涉及一种改善画质的色调映射方法及系统。

背景技术

色调映射是在有限动态范围媒介上近似显示高动态范围图像的一项计算机图形学技术。通过色调映射可以实现图像的画质改善与提升。图1是一种色调映射方法的过程示意图。参考图1所示，该色调映射方法以处理RGB图像为例，在步骤S110接收输入RGB图像，该RGB图像就是需要进行色调映射处理的对象；在步骤S112计算该RGB图像的亮度水平，得到该RGB图像对应的输入亮度图像；在步骤S114根据色调映射表对该RGB图像进行色调映射处理；在步骤S116输出经过色调映射之后的输出亮度图像；在步骤S118比较输入亮度图像和输出亮度图像，逐像素的计算缩放比率值，得到逐像素缩放值；在步骤S120，对输入RGB图像逐像素地进行缩放处理；在步骤S122输出RGB图像。经过图1所示的色调映射方法，将输入RGB图像转换为输出RGB图像。图1所示的色调映射方法可以能会在某些色调区间损失图像细节信息，在图像局部细节和局部饱和度方面效果较差。还有一种色调映射方法，在图1所示的基础上，在频域将输入亮度图像分割为低频基础图层和高频细节图层，并认为图像噪声主要来源于图像的高频分量，因此对高频细节图层做滤波处理，从而可以抑制图像噪声，改善图像的局部细节和局部饱和度。然而，这一类分层处理的色调映射方法在抑制噪声的同时还带来了以下的问题：

1)在图像的亮度水平显著提升的同时，往往伴随有大量黑点现象出现，如图2A和2B所示。其中，图2A是输入原图，图2B是经过色调映射处理后的输出图。图2B所示的图像与图2A所示的图像相比，图像亮度提升，但是有大量黑点密集出现。

2)图像中出现红点蓝点等刺眼亮点噪声，如图2C和2D所示。其中，图2C是输入原图，图2D是经过色调映射处理后的输出图。图2B所示的图像与图2A所示的图像相比，图像亮度提升，然而一些像素产生了饱和溢出的问题，表现为红色/蓝色亮点。由于图2D是彩色图转换之后的黑白图，不能显示颜色，其中用圆圈圈出了包含红色/蓝点亮点的区域，仅用于示意。

上述的问题都严重影响了经过色调映射后图像的画质。另一方面，由于色调映射的目标是提升图像暗部区域的视觉可见性。然而从人眼视觉对比度反应函数(CSF：Contrast Sensitivity Function)的预测值里区分刺眼的噪声与合理图像纹理细节对比度提升是很困难的，针对这个问题的一般方法的鲁棒性与多种场景适应性都不好。

发明内容

本发明要解决的技术问题是提供一种有效改善画质的色调映射方法及系统。

为解决上述技术问题，本发明提供了一种色调映射方法，其特征在于，包括：接收输入彩色图像，所述输入彩色图像包括多个颜色通道；预处理所述输入彩色图像，对所述输入彩色图像叠加修正值获得预处理图像；根据所述预处理图像的像素亮度，将所述预处理图像分割为暗部区域图像和非暗部区域图像；计算所述非暗部区域图像的亮度，获得非暗部区域亮度图像；计算所述暗部区域图像的亮度，获得暗部区域亮度图像，其中，对所述暗部区域图像的每个像素的所述多个颜色通道按照其灰度值的大小顺序分配相同大小顺序的多个亮度变换系数，根据所述多个亮度变换系数计算所述暗部区域图像的亮度；合并所述暗部区域亮度图像和所述非暗部区域亮度图像，获得输入亮度图像；以及对所述输入亮度图像进行色调映射处理，获得输出亮度图像。

在本发明的一实施例中，在获得输入亮度图像的步骤之后，还包括：获得所述输入亮度图像的低频基础图层和高频细节图层；对所述低频基础图层进行色调映射处理获得映射后低频基础图层；对所述高频细节图层进行第一缩放处理获得缩放后高频细节图层；以及叠加所述映射后低频基础图层和所述缩放后高频细节图层，获得所述输出亮度图像。

在本发明的一实施例中，还包括：计算所述输出亮度图像相比于所述输入亮度图像的像素缩放比值；以及根据所述像素缩放比值对所述输入彩色图像进行第二缩放处理，获得输出彩色图像。

在本发明的一实施例中，采用如下公式预处理所述输入彩色图像：G′_c＝G_c+ΔG，c，其中，G_c表示所述输入彩色图像，c表示所述多个颜色通道的编号，ΔG，c表示对应于颜色通道c的所述修正值，G′_c表示所述预处理图像。

在本发明的一实施例中，还包括：将所述输入亮度图像的亮度值归一化到[0，1]区间。

在本发明的一实施例中，比较所述预处理图像的每个像素的亮度和亮度阈值，所述暗部区域图像的像素的亮度小于所述亮度阈值，所述非暗部区域图像的像素的亮度大于等于所述亮度阈值。

在本发明的一实施例中，采用如下公式对所述高频细节图层进行第一缩放处理获得缩放后高频细节图层：

Sdetail_p＝S_p*detail_p

S_p＝min(S_p，S_max)

S_p＝max(S_p，S_min)

其中，p＝1，2，...，N，表示N个像素，detail_p表示所述高频细节图层的第p个像素的亮度，Sdetail_p指所述缩放后高频细节图层中的第p个像素的亮度，S_p是期望缩放值，S_max是所述期望缩放值的最大值，S_min是所述期望缩放值的最小值。

在本发明的一实施例中，所述期望缩放值的最大值S_max满足如下条件：

V_p＝Base_p+S_max*detail_p

max(V_p)≤V_max and min(V_p)≥V_min

其中，Base_p表示所述低频基础图层的第p个像素的亮度，V_p指所述输出亮度图像中的第p个像素的亮度，V_max表示所述输出亮度图像的最大亮度，V_min表示所述输出亮度图像的最小亮度；所述期望缩放值的最小值S_min满足如下条件：

DRSize_out＝DRout_upper-DRout_lower

DRSize_in＝DRin_upper-DRin_lower

其中，DRin_lower表示所述输入亮度图像的最低亮度值，DRin_upper表示所述输入亮度图像的最高亮度值，DRout_lower表示所述输出亮度图像的最低亮度值，DRout_upper表示所述输出亮度图像的最高亮度值。

在本发明的一实施例中，对所述输入亮度图像进行色调映射处理的步骤包括：计算色调映射表，包括计算任一亮度值luma经过色调映射后的映射亮度值luma_mapped，所述映射亮度值luma_mapped在环境光照变化后引起的人眼亮度感知相对位置接近或等于环境光照变化前所述亮度值luma引起的人眼亮度感知相对位置。

本发明为解决上述技术问题还提出一种色调映射系统，其特征在于，包括：彩色图像输入模块，适于接收输入彩色图像，所述输入彩色图像包括多个颜色通道；预处理模块，适于预处理所述输入彩色图像，对所述输入彩色图像叠加修正值获得预处理图像；图像分割模块，适于根据所述预处理图像的像素亮度，将所述预处理图像分割为暗部区域图像和非暗部区域图像；非暗部区域图像亮度计算模块，适于计算所述非暗部区域图像的亮度，获得非暗部区域亮度图像；暗部区域图像亮度计算模块，适于计算所述暗部区域图像的亮度，获得暗部区域亮度图像，其中，对所述暗部区域图像的每个像素的所述多个颜色通道按照其灰度值的大小顺序分配相同大小顺序的多个亮度变换系数，根据所述多个亮度变换系数计算所述暗部区域图像的亮度；合并模块，适于合并所述暗部区域亮度图像和所述非暗部区域亮度图像，获得输入亮度图像；以及色调映射模块，对所述输入亮度图像进行色调映射处理，获得输出亮度图像。

在本发明的一实施例中，还包括：图层分割模块，适于将所述输入亮度图像分割为低频基础图层和高频细节图层，所述色调映射模块对所述低频基础图层进行色调映射处理获得映射后低频基础图层；第一缩放处理模块，适于对所述高频细节图层进行第一缩放处理获得缩放后高频细节图层；以及叠加模块，适于叠加所述映射后低频基础图层和所述缩放后高频细节图层，获得所述输出亮度图像。

在本发明的一实施例中，还包括第二缩放处理模块，适于计算所述输出亮度图像相比于所述输入亮度图像的像素缩放比值；以及根据所述像素缩放比值对所述输入彩色图像进行第二缩放处理，获得输出彩色图像。

在本发明的一实施例中，采用如下公式预处理所述输入彩色图像：

G′_c＝G_c+ΔG，c，

其中，G_c表示输入彩色图像，c表示所述多个颜色通道的编号，ΔG，c表示对应于颜色通道c的所述修正值，G′_c表示所述预处理图像。

在本发明的一实施例中，还包括归一化模块，适于将所述输入亮度图像的亮度值归一化到[0，1]区间。

在本发明的一实施例中，所述图像分割模块比较所述预处理图像的每个像素的亮度和亮度阈值，所述暗部区域图像的像素的亮度小于所述亮度阈值，所述非暗部区域图像的像素的亮度大于等于所述亮度阈值。

在本发明的一实施例中，所述第一缩放处理模块采用如下公式对所述高频细节图层进行第一缩放处理获得缩放后高频细节图层：

Sdetail_p＝S_p*detail_p

S_p＝min(S_p，S_max)

S_p＝max(S_p，S_min)

V_p＝Base_p+S_max*detail_p

max(V_p)≤V_max and min(V_p)≥V_min

其中，Base_p表示低频基础图层的第p个像素的亮度，V_p指所述输出亮度图像中的第p个像素的亮度，V_max表示所述输出亮度图像的最大亮度，V_min表示所述输出亮度图像的最小亮度；所述期望缩放值的最小值S_min满足如下条件：

DRSize_out＝DRout_upper-DRout_lower

DRSize_in＝DRin_upper-DRin_lower

在本发明的一实施例中，所述色调映射模块还适于计算色调映射表，所述色调映射表包括任一亮度值luma和经过色调映射后的映射亮度值luma_mapped，所述映射亮度值luma_mapped在环境光照变化后引起的人眼亮度感知相对位置接近或等于环境光照变化前所述亮度值luma引起的人眼亮度感知相对位置。

根据本发明的色调映射方法及系统对输入彩色图像进行色调映射处理，对暗部区域图像的每个像素的多个颜色通道按照其灰度值的大小顺序分配相同大小顺序的多个亮度变换系数，可以有效地抑制噪声。根据本发明可以避免黑点或红点蓝点等刺眼亮点噪声现象，画质得到了明显的改善。

附图说明

包括附图是为提供对本申请进一步的理解，它们被收录并构成本申请的一部分，附图示出了本申请的实施例，并与本说明书一起起到解释本发明原理的作用。附图中：

图1是一种色调映射方法的过程示意图；

图2A和2B是一种输入原图和经目前色调映射处理后的输出图的对比效果；

图2C和2D是另一种输入原图和经目前色调映射处理后的输出图的对比效果；

图3是本发明一实施例的色调映射方法的示例性流程图；

图4是本发明另一实施例的色调映射方法的局部示例性流程图；

图5是本发明另一实施例的色调映射方法的局部示例性流程图；

图6是本发明一实施例的色调映射系统的模块框图；

图7是本发明另一实施例的色调映射系统的部分模块框图；

图8是根据本发明一实施例的色调映射方法的效果示意图。

具体实施方式

为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

在本申请的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。

此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。此外，尽管本申请中所使用的术语是从公知公用的术语中选择的，但是本申请说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本申请。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图3是本发明一实施例的色调映射方法的示例性流程图。参考图3所示，该实施例的色调映射方法包括以下步骤：

步骤S310：接收输入彩色图像，该输入彩色图像包括多个颜色通道。

本发明对输入彩色图像的类型以及颜色通道的数量不做限制。该输入彩色图像可以是RGB图像、CMYK图像等。

步骤S312：预处理输入彩色图像，对输入彩色图像叠加修正值获得预处理图像。

在一些实施例中，采用如下公式预处理该输入彩色图像：

G′_c＝G_c+ΔG，c，

其中，G_c表示输入彩色图像，c表示多个颜色通道的编号，ΔG，c表示对应于颜色通道c的修正值，G′_c表示预处理图像。

本发明对ΔG的取值方式不做限制。优选地，ΔG＝1。

步骤S314：根据预处理图像的像素亮度，将预处理图像分割为暗部区域图像和非暗部区域图像。

首先需要获得预处理图像中每个像素的亮度。本说明书列出以下两种计算像素亮度的方法：

1)RGB2Gray方法

以输入彩色图像是RGB图像为例，RGB图像包括三个颜色通道，即R通道、G通道、B通道。在本步骤中可以采用如下公式计算预处理图像的像素亮度：

Luminance＝T₁*R+T₂*G+T₃*B

T₁+T₂+T₃＝1

其中，Luminance指像素的亮度，R、G、B分别表示该像素RGB三个颜色通道的灰度值。T₁，T₂，T₃是亮度转换系数。例如，T₁，T₂，T₃的取值可以分别为：0.299，0.587，0.114。称这种计算亮度的方法为RGB2Gray方法。

2)在一些实施例中，将预处理图像的每个像素的多个颜色通道中的最高灰度值作为该像素的亮度。以输入彩色图像是RGB图像为例，Luminance＝max(R，G，B)。

计算像素亮度的方法不限于上面的两种方法。

在一些实施例中，设置一亮度阈值Threshold_dark，在本步骤中比较预处理图像的每个像素的亮度和该亮度阈值Threshold_dark，暗部区域图像的像素的亮度小于亮度阈值Threshold_dark，非暗部区域图像的像素的亮度大于等于亮度阈值Threshold_dark。也即如下：

S_dark＝{p_dark|Luminance_p＜Threshold_dark}

S_nondark＝{p_nondark|Luminance_p≥Threshold_dark}

其中，p_dark表示暗部区域图像的像素(pixel)，p_nondark表示非暗部区域图像的像素，Luminance_p表示预处理图像中的像素的亮度，S_dark表示预处理图像中像素亮度小于亮度阈值Threshold_dark的集合，也即暗部区域图像的像素集合，S_nondark表示预处理图像中像素亮度大于等亮度阈值Threshold_dark的集合，也即非暗部区域图像的像素集合。

步骤S316：计算非暗部区域图像的亮度，获得非暗部区域亮度图像。

在本步骤中，可以采用步骤S314中的RGB2Gray方法计算非暗部区域图像的亮度。

需要说明，在本步骤，不采用步骤S314中的方法2)计算非暗部区域图像的亮度，因为该方法可能会导致色调映射结果图像的色调不符合色调映射算法的设计目标，图像色调整体明显低于设计预期，同时图像画面饱和度明显偏低。

步骤S318：计算暗部区域图像的亮度，获得暗部区域亮度图像，其中，对暗部区域图像的每个像素的多个颜色通道按照其灰度值的大小顺序分配相同大小顺序的多个亮度变换系数，根据多个亮度变换系数计算暗部区域图像的亮度。

对于每个像素来说，其各个颜色通道的灰度值的大小顺序是不同的。本步骤对每个颜色通道的亮度变换系数进行动态修正，将每个像素的各个颜色通道的灰度值进行排序，例如从小到大或从大到小排序，相应地，设置各个颜色通道对应的亮度变换系数也按照该顺序排列，用该组亮度变化系数修正对应的颜色通道，可以有效地抑制图像噪声。

以输入彩色图像是RGB图像为例，令V_Ch为颜色通道Ch的灰度值，Ch＝R，G，B。那么灰度值最高的颜色通道记号为：

令灰度值最低的颜色通道记号为：

则该三个颜色通道中剩余的一个颜色通道的灰度值为中值，记为：

需要说明，如果三个颜色通道的灰度值均相等，或其中两个较大的值或较小的值相等，那么在三个或两个相等灰度值的颜色通道间，任意选择其中一个颜色通道作为Ch_maxv和Ch_minv记号都可以，不影响后续结果。

分别为Ch_maxv，Ch_midu，Ch_minv三个颜色通道的从RGB到Luminance变换的系数赋值，即三个颜色通道变换系数

其大、中、小顺序与其灰度值大小排序同序即

同时

在一些实施例中，以前文所述的RGB2Gray方法的基础上，其变换系数T₁+T₂+T₃＝1，则取：

而将剩下一个变换系数赋值给

从而获得三个颜色通道变换系数

步骤S320：合并暗部区域亮度图像和非暗部区域亮度图像，获得输入亮度图像。

在本步骤获得完整的输入亮度图像。

在一些实施例中，本发明的色调映射方法还可以包括在将输入亮度图像的亮度值归一化到[0，1]区间。在这些实施例中，假设输入RGB图像灰阶为m个比特位宽，考虑到步骤S312中的预处理过程，修正后的亮度归一化因子应该为：

Gray_normalizer＝2^m-1+ΔG

步骤S330：对输入亮度图像进行色调映射处理，获得输出亮度图像。

本步骤可以采用任意色调映射算法或方法得到色调映射表，根据该色调映射表获得输入亮度图像对应的输出亮度图像。

图4是本发明另一实施例的色调映射方法的局部示例性流程图。参考图4所示，该实施例的色调映射方法在图3中所示的步骤S320获得输入亮度图像的步骤之后，还包括以下步骤：

步骤S322：获得输入亮度图像的低频基础图层和高频细节图层。

本步骤可以通过对输入亮度图像进行低通滤波，从输入亮度图像中提取出低频基础图层和高频细节图层。典型滤波器有双边滤波器(bilateral filter)，以及其它可以完成保边低通滤波功能的滤波器或处理方法。

步骤S322：对低频基础图层进行色调映射处理获得映射后低频基础图层。

在本步骤可以采用任意色调映射算法或方法得到色调映射表，根据该色调映射表获得低频基础图层对应的映射后低频基础图层。

步骤S322：对高频细节图层进行第一缩放处理获得缩放后高频细节图层。

本步骤中的第一缩放处理是为了将高频细节图层缩放到一个合理的区间范围，使后续的步骤S322中获得的输出亮度图像不会溢出合法的动态范围。

在一些实施例中，采用如下公式对所述高频细节图层进行第一缩放处理获得缩放后高频细节图层：

Sdetail_p＝S_p*detail_p

S_p＝min(S_p，S_max)

S_p＝max(S_p，S_min)

在一些实施例中，所述期望缩放值的最大值S_max满足如下条件：

V_p＝Base_p+S_max*detail_p

max(V_p)≤V_max and min(V_p)≥V_min

其中，Base_p表示所述低频基础图层的第p个像素的亮度，V_p指所述输出亮度图像中的第p个像素的亮度，V_max表示所述输出亮度图像的最大亮度，V_min表示所述输出亮度图像的最小亮度。

在一些实施例中，计算最大值S_max的方法可以如下：

初始化S_max到一个较大的数，如S_max＝99，

如果detail_p＜0，则

或

否则

或

随后，迭代更新S_max，即S_max＝min(S_max，S_tmp)。

针对p＝1，2，...，N个像素，循环遍历上述步骤，得到最终的最大值S_max。

所述期望缩放值的最小值S_min满足如下条件：

DRSize_out＝DRout_upper-DRout_lower

DRSize_in＝DRin_upper-DRin_lower

其中，[DRin_lower，DRin_upper]为所述输入亮度图像的有效动态范围区间，[DRout_lower，DRout_upper]为所述输出亮度图像的有效动态范围区间。

任何色调映射处理方法实质上都会使得输入和输出的有效动态范围区间发生变化。输入动态范围尺度为输入亮度图像的最高亮度值减去最低亮度值，也即DRSize_in＝DRin_upper-DRin_lower。输出动态范围尺度为输出亮度图像的最高亮度值减去最低亮度值，也即DRSize_out＝DRout_upper-DRout_lower。

在一些实施例中，有一类逆向色调映射处理，会出现DRSize_out＞DRSize_in的情况，因此要做如下约束：

S_min＝min(1，S_min)

这样，就可以得到高频细节图层的一个合理的区间范围，记为[S_min，S_max]。

步骤S322：叠加映射后低频基础图层和缩放后高频细节图层，获得输出亮度图像。

经过本步骤叠加后的输出亮度图像的像素亮度值V_p，向上、向下都不溢出输出亮度图像的合法动态范围，即max(V_p)≤V_max and min(V_p)≥V_min。

在一些实施例中，如果输入亮度图像的亮度值已经被归一化到[0，1]区间，也即max(V_p)≤1.0and min(V_p)≥0.0；则，另一方面V_p还可以使min{(V_max-max(V_p))，(min(V_p)-V_min)}尽可能接近为0。

经过本发明的色调映射方法所获得的输出亮度图像，一方面不会溢出合法动态范围，另一方面也不会过度抑制高频细节图层导致对色调映射后低频基础图层的高频细节补偿不足。

在一些实施例中，对输入亮度图像进行色调映射处理的步骤包括：计算色调映射表，包括计算任一亮度值luma经过色调映射后的映射亮度值luma_mapped，所述映射亮度值luma_mapped在环境光照变化后引起的人眼亮度感知相对位置接近或等于环境光照变化前所述亮度值luma引起的人眼亮度感知相对位置。

根据这些实施例，考虑到环境光照水平变化导致人眼观看图像显示效果的变化，使经过该色调映射处理之后所获得的输出亮度图像能保持人眼视觉反应在显示设备的合法输出动态范围内分布保持稳定。

具体地，令当前显示系统支持的亮度值范围为：luma∈Luminance_range＝[Luma_min，Luma_max]。

根据显示设备的显示模型以及当前光照条件，环境光照水平记为Ambient，亮度值luma产生对应的光刺激值为l＝DisplayModel(luma，Ambient)，进而得到当前显示系统支持的有效光刺激动态为l∈L_range＝[L_min，L_max]。根据人眼视觉反应模型，光刺激值l会在人眼视觉系统(Human Visual System)中产生一个亮度感知值：JND＝HVS(l)，进而可以得到当前显示系统支持的人眼视觉有效感知动态范围：JND∈DR＝[JND_min，JND_max]。因此某一亮度值luma所产生的人眼亮度感知值JND简写如下：

JND(luma)＝HVS(DisplayModel(luma，Ambient))

由此得到任一亮度值luma对应的人眼亮度感知相对位置为：

可以理解，人眼亮度感知相对位置的合法取值范围为JNDLoc(luma)∈[0，1]。

同时，环境光照变化前的光照水平记为Ambient_src，环境光照变化后的光照水平记Ambient_dst。环境光照水平通常以显示模型方式影响亮度值luma最终的人眼亮度感知。因此，结合环境光照水平后，环境光照变化前的人眼亮度感知相对位置为：

根据本实施例，计算任一亮度值luma的色调映射后的映射亮度值luma_mapped，使得经过色调映射处理后，luma_mapped在环境光照变化后引起的人眼亮度感知相对位置尽可能接近或等于环境光照变化前luma引起的人眼亮度感知相对位置JNDLoc_src(luma)，也即，

JNDLoc_dst(luma_mapped)＝JNDLoc_src(luma)

在一些实施例中，亮度值luma色调映射后的映射亮度值luma_mapped的计算方法为：

luma_mapped＝inverseDisplayModel(Ambient_dst，inverseHVS(JND(luma_mapped)_dst))

其中，inverseDisplayModel是显示设备逆模型，也即DisplayModel的逆函数。inverseHVS是人体视觉系统逆模型，也即HVS的逆函数。

在一些实施例中，采用下面的公式计算JND(luma_mapped)_dst：

图5是本发明另一实施例的色调映射方法的局部示例性流程图。参考图5所示，该实施例的色调映射方法在图3中所示的步骤S330或图4中所示的步骤S328获得输出亮度图像的步骤之后，还包括以下步骤：

步骤S332：计算输出亮度图像相比于输入亮度图像的像素缩放比值；以及

步骤S334：根据像素缩放比值对输入彩色图像进行第二缩放处理，获得输出彩色图像。

需要说明，该第二缩放处理是针对输入彩色图像逐像素进行处理，以获得输出彩色图像。

经过步骤S332和S334，结合前面的步骤，可以完成从输入彩色图像到输出彩色图像的色调映射过程。

本发明还包括一种色调映射系统，该色调映射系统可以用于执行前文所述的色调映射方法。因此，前文关于色调映射方法的说明内容都可以用于说明本发明的色调映射系统，重复的内容将不再赘述。

图6是本发明一实施例的色调映射系统的模块框图。参考图6所示，该实施例的色调映射系统包括彩色图像输入模块610、预处理模块611、图像分割模块612、非暗部区域图像亮度计算模块613、暗部区域图像亮度计算模块614、合并模块615和色调映射模块616。

其中，彩色图像输入模块610适于接收输入彩色图像601，输入彩色图像601包括多个颜色通道；预处理模块611适于预处理输入彩色图像601，对输入彩色图像叠加修正值获得预处理图像；图像分割模块612适于根据预处理图像的像素亮度，将预处理图像分割为暗部区域图像和非暗部区域图像；非暗部区域图像亮度计算模块613适于计算非暗部区域图像的亮度，获得非暗部区域亮度图像；暗部区域图像亮度计算模块614适于计算暗部区域图像的亮度，获得暗部区域亮度图像，其中，对暗部区域图像的每个像素的多个颜色通道按照其灰度值的大小顺序分配相同大小顺序的多个亮度变换系数，根据多个亮度变换系数计算所述暗部区域图像的亮度；合并模块615适于合并暗部区域亮度图像和非暗部区域亮度图像，获得输入亮度图像；以及色调映射模块616对输入亮度图像进行色调映射处理，获得输出亮度图像602。

在一些实施例中，采用如下公式预处理输入彩色图像601：

G′_c＝G_c+ΔG，c，

其中，G_c表示输入彩色图像，c表示多个颜色通道的编号，ΔG，c表示对应于颜色通道c的所述修正值，G′_c表示预处理图像。

在一些实施例中，还包括归一化模块，适于将输入亮度图像的亮度值归一化到[0，1]区间。

在一些实施例中，图像分割模块612比较预处理图像的每个像素的亮度和亮度阈值，暗部区域图像的像素的亮度小于亮度阈值，非暗部区域图像的像素的亮度大于等于亮度阈值。

图7是本发明另一实施例的色调映射系统的部分模块框图。参考图7所示，该实施例的色调映射系统是在图6所示的色调映射系统的基础上，在合并模块615之后增加了图层分割模块617、第一缩放处理模块618和叠加模块619。

其中，图层分割模块617适于将从合并模块615输出的输入亮度图像分割为低频基础图层和高频细节图层。在此实施例中，图6中所示的色调映射模块616对低频基础图层进行色调映射处理获得映射后低频基础图层；第一缩放处理模块618适于对高频细节图层进行第一缩放处理获得缩放后高频细节图层；叠加模块619适于叠加映射后低频基础图层和缩放后高频细节图层，获得输出亮度图像603。

在一些实施例中，第一缩放处理模块618采用如下公式对高频细节图层进行第一缩放处理获得缩放后高频细节图层：

Sdetail_p＝S_p*detail_p

S_p＝min(S_p，S_max)

S_p＝max(S_p，S_min)

V_p＝Base_p+S_max*detail_p

max(V_p)≤V_max and min(V_p)≥V_min

其中，Base_p表示低频基础图层的第p个像素的亮度，V_p指所述输出亮度图像中的第p个像素的亮度，V_max表示所述输出亮度图像的最大亮度，V_min表示所述输出亮度图像的最小亮度；

所述期望缩放值的最小值S_min满足如下条件：

DRSize_out＝DRout_upper-DRout_lower

DRSize_in＝DRin_upper-DRin_lower

其中，DRin_iower表示所述输入亮度图像的最低亮度值，DRin_upper表示所述输入亮度图像的最高亮度值，DRout_lower表示所述输出亮度图像的最低亮度值，DRout_upper表示所述输出亮度图像的最高亮度值。

在一些实施例中，色调映射模块616还适于计算色调映射表，色调映射表包括任一亮度灰阶值luma和经过色调映射后的映射灰阶值luma_mapped，所述映射灰阶值luma_mapped在环境光照变化后引起的人眼亮度感知相对位置接近或等于环境光照变化前所述亮度灰阶值luma引起的人眼亮度感知相对位置。

在图6和图7所示的实施例的基础上，在一些实施例中，本发明的色调映射系统还包括第二缩放处理模块，适于计算输出亮度图像相比于所述输入亮度图像的像素缩放比值；以及根据像素缩放比值对输入彩色图像进行第二缩放处理，获得输出彩色图像。

参考图6所示，在图6中示出了该实施例中的第二缩放处理模块620，从合并模块615接收输入亮度图像，从图6中所示的色调映射模块616或图7中所示的叠加模块619接收输入亮度图像603，从而可以计算该像素缩放比值，并获得输出彩色图像603。

采用本发明的色调映射系统进行色调映射处理，可以实现前文所述的色调映射方法的技术效果，有效地改善画质。

图8是根据本发明一实施例的色调映射方法的效果示意图。其中，左图为输入彩色图像，右图为根据本发明的色调映射方法所获得的输出彩色图像。显然，中图没有出现前文所述的黑点或红点蓝点等刺眼亮点噪声现象，并且改善了输入彩色图像偏暗的问题，色彩鲜明，画质得到了明显的改善。

本申请的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。

此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带……)、光盘(例如，压缩盘CD、数字多功能盘DVD……)、智能卡以及闪存设备(例如，卡、棒、键驱动器……)。

计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。

本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

虽然本申请已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本申请，在没有脱离本申请精神的情况下还可作出各种等效的变化或替换，因此，只要在本申请的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims

1.一种色调映射方法，其特征在于，包括：

接收输入彩色图像，所述输入彩色图像包括多个颜色通道；

预处理所述输入彩色图像，对所述输入彩色图像叠加修正值获得预处理图像；

根据所述预处理图像的像素亮度，将所述预处理图像分割为暗部区域图像和非暗部区域图像；

计算所述非暗部区域图像的亮度，获得非暗部区域亮度图像；

计算所述暗部区域图像的亮度，获得暗部区域亮度图像，其中，对所述暗部区域图像的每个像素的所述多个颜色通道按照其灰度值的大小顺序分配相同大小顺序的多个亮度变换系数，根据所述多个亮度变换系数计算所述暗部区域图像的亮度；

合并所述暗部区域亮度图像和所述非暗部区域亮度图像，获得输入亮度图像；以及

对所述输入亮度图像进行色调映射处理，获得输出亮度图像。

2.如权利要求1所述的色调映射方法，其特征在于，在获得输入亮度图像的步骤之后，还包括：获得所述输入亮度图像的低频基础图层和高频细节图层；

对所述低频基础图层进行色调映射处理获得映射后低频基础图层；

对所述高频细节图层进行第一缩放处理获得缩放后高频细节图层；以及

叠加所述映射后低频基础图层和所述缩放后高频细节图层，获得所述输出亮度图像。

3.如权利要求1或2所述的色调映射方法，其特征在于，还包括：

计算所述输出亮度图像相比于所述输入亮度图像的像素缩放比值；以及

根据所述像素缩放比值对所述输入彩色图像进行第二缩放处理，获得输出彩色图像。

4.如权利要求1所述的色调映射方法，其特征在于，采用如下公式预处理所述输入彩色图像：

G′_c＝G_c+ΔG，c，

其中，G_c表示所述输入彩色图像，c表示所述多个颜色通道的编号，ΔG，c表示对应于颜色通道c的所述修正值，G′_c表示所述预处理图像。

5.如权利要求1所述的色调映射方法，其特征在于，还包括：将所述输入亮度图像的亮度值归一化到[0，1]区间。

6.如权利要求1所述的色调映射方法，其特征在于，比较所述预处理图像的每个像素的亮度和亮度阈值，所述暗部区域图像的像素的亮度小于所述亮度阈值，所述非暗部区域图像的像素的亮度大于等于所述亮度阈值。

7.如权利要求2所述的色调映射方法，其特征在于，采用如下公式对所述高频细节图层进行第一缩放处理获得缩放后高频细节图层：

Sdetail_p＝S_p*detail_p

S_p＝min(S_p，S_max)

S_p＝max(S_p，S_min)

8.如权利要求7所述的色调映射方法，其特征在于，所述期望缩放值的最大值S_max满足如下条件：

V_p＝Base_p+S_max*detail_p

max(V_p)≤V_max and min(V_p)≥V_min

其中，Base_p表示所述低频基础图层的第p个像素的亮度，V_p指所述输出亮度图像中的第p个像素的亮度，V_max表示所述输出亮度图像的最大亮度，V_min表示所述输出亮度图像的最小亮度；

所述期望缩放值的最小值S_min满足如下条件：

DRSize_out＝DRout_upper-DRout_lower

DRSize_in＝DRin_upper-DRin_lower

9.如权利要求1或2所述的色调映射方法，其特征在于，对所述输入亮度图像进行色调映射处理的步骤包括：计算色调映射表，包括计算任一亮度值luma经过色调映射后的映射亮度值luma_mapped，所述映射亮度值luma_mapped在环境光照变化后引起的人眼亮度感知相对位置接近或等于环境光照变化前所述亮度值luma引起的人眼亮度感知相对位置。

10.一种色调映射系统，其特征在于，包括：

彩色图像输入模块，适于接收输入彩色图像，所述输入彩色图像包括多个颜色通道；

预处理模块，适于预处理所述输入彩色图像，对所述输入彩色图像叠加修正值获得预处理图像；

图像分割模块，适于根据所述预处理图像的像素亮度，将所述预处理图像分割为暗部区域图像和非暗部区域图像；

非暗部区域图像亮度计算模块，适于计算所述非暗部区域图像的亮度，获得非暗部区域亮度图像；

暗部区域图像亮度计算模块，适于计算所述暗部区域图像的亮度，获得暗部区域亮度图像，其中，对所述暗部区域图像的每个像素的所述多个颜色通道按照其灰度值的大小顺序分配相同大小顺序的多个亮度变换系数，根据所述多个亮度变换系数计算所述暗部区域图像的亮度；

合并模块，适于合并所述暗部区域亮度图像和所述非暗部区域亮度图像，获得输入亮度图像；以及

色调映射模块，对所述输入亮度图像进行色调映射处理，获得输出亮度图像。

11.如权利要求10所述的色调映射系统，其特征在于，还包括：

图层分割模块，适于将所述输入亮度图像分割为低频基础图层和高频细节图层，所述色调映射模块对所述低频基础图层进行色调映射处理获得映射后低频基础图层；

第一缩放处理模块，适于对所述高频细节图层进行第一缩放处理获得缩放后高频细节图层；以及

叠加模块，适于叠加所述映射后低频基础图层和所述缩放后高频细节图层，获得所述输出亮度图像。

12.如权利要求10或11所述的色调映射系统，其特征在于，还包括第二缩放处理模块，适于计算所述输出亮度图像相比于所述输入亮度图像的像素缩放比值；以及根据所述像素缩放比值对所述输入彩色图像进行第二缩放处理，获得输出彩色图像。

13.如权利要求10所述的色调映射系统，其特征在于，采用如下公式预处理所述输入彩色图像：

G′_c＝G_c+ΔG，c，

14.如权利要求10所述的色调映射系统，其特征在于，还包括归一化模块，适于将所述输入亮度图像的亮度值归一化到[0，1]区间。

15.如权利要求10所述的色调映射系统，其特征在于，所述图像分割模块比较所述预处理图像的每个像素的亮度和亮度阈值，所述暗部区域图像的像素的亮度小于所述亮度阈值，所述非暗部区域图像的像素的亮度大于等于所述亮度阈值。

16.如权利要求11所述的色调映射系统，其特征在于，所述第一缩放处理模块采用如下公式对所述高频细节图层进行第一缩放处理获得缩放后高频细节图层：

Sdetail_p＝S_p*detail_p

S_p＝min(S_p，S_max)

S_p＝max(S_p，S_min)

17.如权利要求16所述的色调映射系统，其特征在于，所述期望缩放值的最大值S_max满足如下条件：

V_p＝Base_p+S_max*detail_p

max(V_p)≤V_max and min(V_p)≥V_min

所述期望缩放值的最小值S_min满足如下条件：

DRSize_out＝DRout_upper-DRout_lower

DRSize_in＝DRin_upper-DRin_lower

18.如权利要求10或11所述的色调映射系统，其特征在于，所述色调映射模块还适于计算色调映射表，所述色调映射表包括任一亮度值luma和经过色调映射后的映射亮度值luma_mapped，所述映射亮度值luma_mapped在环境光照变化后引起的人眼亮度感知相对位置接近或等于环境光照变化前所述亮度值luma引起的人眼亮度感知相对位置。