CN103581634A

CN103581634A - 图像的宽动态范围处理方法

Info

Publication number: CN103581634A
Application number: CN201310471370.9A
Authority: CN
Inventors: 贾伟
Original assignee: Tai Ping (beijing) Technology Bonte Co Ltd
Current assignee: Xiaoyuan perception (Beijing) Technology Co.,Ltd.
Priority date: 2013-08-12
Filing date: 2013-10-10
Publication date: 2014-02-12
Anticipated expiration: 2033-10-10
Also published as: CN103581634B

Abstract

本发明公开了一种图像的宽动态范围处理方法。包括：把现有格式的图像转换到含亮度维度的颜色空间数据格式的图像；求得图像亮度的局部尺度亮度分量；求得图像亮度的细节亮度分量；对局部尺度亮度分量进行亮度变换；对细节亮度分量进行亮度变换；合成变换后的局部尺度亮度分量和细节亮度分量，得到变换后的宽动态范围图像的亮度；把合成后的亮度结合颜色空间的另两个维度转换到输出的颜色空间，得到宽动态图像处理后的图像。应用本发明，可以提升图像场景细节的清晰度及色调逼真度，使得图像更锐利、色彩更鲜艳、色调更逼真。

Description

图像的宽动态范围处理方法

技术领域

本发明涉及数字图像的处理技术，尤其涉及一种图像的宽动态范围处理方法。

背景技术

图像尤其是彩色数字图像的应用越来越广泛，有很多图像在拍摄过程中，由于成像设备的宽动态范围不够、拍摄条件、能力的限制等，导致无法拍出满足要求的好图像，尤其是对于同一画面中的包含极暗接近到全黑和极亮接近到亮饱和的场景时，就无法看清楚极暗部分和极亮部分的场景细节，而将极暗和极亮部分的场景细节内容清晰地再现出来的方法就是宽动态范围成像的方法，即HDR（High Dynamic Range）。

目前的宽动态范围成像的实现方法主要采用三种方法，其一为拍摄相机多次曝光得到不同曝光度的图像，再将不同曝光度的图像进行叠加，从而得到宽动态的图像，该方法是与拍摄相机结合在一起，目前广泛应用于手机上，其特点是能部分改善成像质量，达到一定的宽动态范围成像效果，其缺点为对于运动场景的拍摄会出现较大的运动模糊；其二为利用多次拍照而得到的同一场景多幅图像，采用软件进行宽动态处理，这种方法在原理上和第一种方法一样，不同的只是将相机中图像叠加处理的方法拿到后期处理平台上来实现，其优点是参数可调，效果可调，可以进行个性化处理，同样存在对于运动场景会出现模糊的问题；第三种方法就是利用软件对单一图像进行处理而得到宽动态处理，其处理效果随着采用的方法不同而各有不同。以上三种方法都在不同程度上涉及到利用图像处理的方法进行宽动态处理，而图像处理的方法就面临着一个采用颜色空间的问题，不同的软件有着不同的颜色空间的应用。

发明内容

本发明实施例提供了一种图像的宽动态范围处理方法，在本申请中称为TyHDR。通过TyHDR的处理会使图像场景细节更清晰显现、图像更锐利、色彩更鲜艳、色调更逼真。

一种图像的宽动态范围处理方法，包括：

在期待的含亮度维度的颜色空间内，获取待处理图像的含亮度维度的颜色空间内的图像数据中每一像素的局部尺度亮度分量和细节亮度分量；

根据先验的局部亮度映射曲线和细节亮度映射曲线，对获取的局部尺度亮度分量和细节亮度分量分别进行亮度调节；

合成调节后的局部尺度亮度分量和细节亮度分量，得到调整后的图像亮度；

将调整后的图像亮度转换到输出图像所在的输出颜色空间。

其中，如果待处理图像所在的颜色空间不是期待的含亮度维度的颜色空间时，在含亮度维度的颜色空间内之前，所述方法进一步包括：

判断待处理图像所在的颜色空间，将待处理图像数据转换为期待的含亮度维度的颜色空间的图像数据。

其中，所述合成调节后的局部尺度亮度分量和细节亮度分量具体为：对调节后的各个尺度下的细节亮度分量进行合成，对局部尺度亮度分量和合成的细节亮度分量进行再合成In_N=p_LIn_LN+In_HN，其中,

In_N为合成后的亮度分量；

In_LN为局部尺度亮度分量；

p_L为局部尺度亮度分量的加权值；

In_HN为合成的细节亮度分量。

其中，获取所述局部尺度亮度分量包括：

采用预先设置的卷积模板对待处理图像进行卷积以求取图像数据中每一像素的局部尺度亮度分量；或，

采用积分图法求取图像数据中每一像素的局部尺度亮度分量；或，

采用频域低通滤波法求取图像数据中每一像素的局部尺度亮度分量；或，

采用小波分析算法求取图像数据中每一像素的局部尺度亮度分量；

其中，采用积分图法求取图像数据中每一像素的局部尺度亮度分量的具体操作方法是求出当前处理图像的积分图，根据以当前处理像素为中心以选定的局部尺度为范围求取该范围所有像素的算术平均值或者加权平均值作为该当前处理像素的局部尺度亮度分量；

其中，采用频域低通滤波法求取图像数据中每一像素的局部尺度亮度分量的具体操作方法是变换待处理空域图像到频域图像，对频域图像进行低频滤波，滤波参数根据具体处理要求进行选择，把得到的进行低频滤波后的频域图像再转换到空域，即得到完整图像各个像素点的空域局部尺度亮度分量；

其中，采用小波分析算法求取图像数据中每一像素的局部尺度亮度分量的具体操作方法是对当前处理图像进行小波变换，得到低频分量图像，找到当前处理像素点的低频分量值作为当前处理像素的局部尺度亮度分量。

其中，选取预先设置的多个尺度，按由小到大的顺序，采用模板法或积分图法或频域低通滤波法或小波分析法，分别得到每种尺度对应下的局部尺度亮度分量，选取其中某一尺度下的局部尺度亮度分量作为图像局部尺度亮度分量。

其中，获取所述细节亮度分量的计算公式为：

In_Hj=In_Li-In_Lj，

式中，

In_Hj为尺度a_j对应的细节亮度分量；

In_Li为尺度a_i对应的局部尺度亮度分量；

In_Lj为尺度a_j对应的局部尺度亮度分量。(i为1,2，…，k中任一数字，但i≠j)

其中，所述对获取的局部尺度亮度分量进行亮度调整包括：

基于先验数据获得局部尺度亮度分量调节的亮度映射曲线，包括针对不同应用要求下的亮度映射曲线，所述亮度映射曲线表示调节后局部尺度亮度分量与调节前局部尺度亮度分量之间的对应关系；通过所述亮度映射曲线以及获取的局部尺度亮度分量，获得调节后的局部尺度亮度分量；或，

利用基于先验数据获得的局部尺度亮度分量调节的映射曲线来拟合函数或者独立定义局部尺度亮度分量的转换函数，将获取的局部尺度亮度分量代入拟合函数或转换函数中，计算调节结果，得到调节后的局部尺度亮度分量。

其中，所述对获取的细节亮度分量进行亮度调整包括：

基于先验数据获得各个不同尺度细节亮度分量调节的亮度映射曲线，包括针对不同应用要求下的亮度映射曲线，该亮度映射曲线表示调节后细节亮度分量与调节前细节亮度分量之间的对应关系；通过所述亮度映射曲线以及获取的各个不同尺度下的细节亮度分量，获得调节后的各个不同尺度下的细节亮度分量，将调节后的各个不同尺度下的细节亮度分量进行加权求和，作为调整后的细节亮度分量，具体公式为

其中，各个尺度细节亮度分量的加权值p_j要根据图像质量的要求和所拍景物的特点综合决定；或，

利用基于先验数据获得的各个不同尺度细节亮度分量调节的亮度映射曲线来拟合函数，或者独立定义各个不同尺度细节亮度分量的转换函数，将获取的各个不同尺度细节亮度分量代入拟合函数或转换函数中，计算各个不同尺度的细节亮度分量调节结果，将调节后的各个不同尺度细节亮度分量进行加权求和，作为调整后的细节亮度分量，具体公式为

其中，各个尺度细节亮度分量的加权值p_j要根据图像质量的要求和所拍景物的特点综合决定。

其中，所述含亮度维度的颜色空间内进一步包含有色调维度以及饱和度维度，所述将待处理图像数据转换为期待的含亮度维度的颜色空间的图像数据具体为：将待处理图像数据转换为含亮度维度、色调维度以及饱和度维度的图像数据；

所述将调整后的图像亮度转换到输出图像所在的输出颜色空间具体为：将调整后的图像亮度和同一颜色空间内的色调、饱和度转换成输出图像所在的颜色空间的图像数据。

其中，所述将调整后的图像亮度和同一颜色空间内的色调、饱和度转换成输出图像所在的颜色空间的图像数据包括：

利用基于先验数据的HSaIn颜色空间模型的饱和度调整倍数—亮度对应关系，对饱和度进行调节得到输出图像的饱和度，将饱和度调节后的含亮度维度的颜色空间内的图像数据转换为输出图像颜色空间的图像数据。

利用基于先验数据的HSaIn颜色空间模型的色调调节的调整曲线，对色调进行调节得到输出图像的色调，将色调调节后的含亮度维度的颜色空间内的图像数据转换为输出图像颜色空间的图像数据。

利用基于先验数据的HSaIn颜色空间模型的饱和度调整倍数—亮度对应关系，对饱和度进行调节得到输出图像的饱和度；

利用基于先验数据的HSaIn颜色空间模型的色调调节的调整曲线，对色调进行调节得到输出图像的色调；

将饱和度和色调调节后的含亮度维度的颜色空间内的图像数据转换为输出图像颜色空间的图像数据。

其中，所述含亮度维度的颜色空间为HSaIn颜色空间，所述将待处理图像数据转换为含亮度维度的颜色空间内包含亮度维度、色调维度以及饱和度维度的图像数据包括：

将非含亮度维度的颜色空间内的待处理图像数据转换为XYZ颜色空间内的图像数据；

将XYZ颜色空间内的图像数据转换成HSaIn颜色空间内的图像数据。

其中，所述将XYZ颜色空间内的图像数据转换成HSaIn颜色空间内的图像数据包括：

按预设的公式直接计算方法，将XYZ颜色空间内的图像数据转换成HSaIn颜色空间内的图像数据；或，

按依据公式获得的数据映射表，将XYZ颜色空间内的图像数据转换成HSaIn颜色空间内的图像数据。

其中，所述按预设的数据映射方法，将XYZ颜色空间内的图像数据转换成HSaIn颜色空间内的图像数据包括：

预先计算并获取所有能组合出的XYZ格式颜色数据与HSaIn格式颜色数据的相互映射关系，并将该映射关系作为先验数据，建立数据映射的查找表；

在进行图像数据转换时，读取预先建立的查找表，根据待转换的XYZ格式颜色数据，通过所述查找表，获得XYZ格式颜色数据转换后对应的HSaIn格式颜色数据。

其中，所述将调节后的含亮度维度的颜色空间内的图像数据转换为输出图像颜色空间的图像数据的转换方法包括：

预先计算所用含亮度维度的颜色空间数据格式与RGB格式或者其他颜色空间数据格式的相互映射对应关系，并作为先验数据，在转换时，读取该对应关系，直接通过查表获得转换结果；或，

利用所用含亮度维度的颜色空间数据格式的定义，用公式法计算当前点对应的RGB格式或者其他颜色空间数据格式的数据，通过对全图像的遍历计算，完成数据格式的转换。

其中，所述含亮度维度的颜色空间包括但不限于：YUV、YIQ、YCbCr、HSV、HSI、HSL、CIELAB、HSaIn颜色空间，以及，由YUV、YIQ、YCbCr、HSV、HSI、HSL、CIELAB、HSaIn颜色空间中的一种或其任意组合衍生的含亮度维度的颜色空间。

由上述可见，本发明实施例的图像的宽动态范围处理方法，即TyHDR方法，通过软件实现一幅图像的宽动态范围处理，所采用的创新点之一是在包含亮度维度的颜色空间内进行，包括HSaIn颜色空间或其附属颜色空间，在这些颜色空间的处理优势就是色调在处理前后基本保持不变；而另一个创新点是提出了局部尺度亮度分量和细节亮度分量的概念和处理方法，这些方法包括对局部尺度亮度分量和细节亮度分量进行分离和分别进行亮度调整处理；而可选的，如果再对图像饱和度和色调进行调节，可使得处理后的图像颜色能够更饱和逼真和艳丽，最后得到场景信息完全再现的宽动态范围图像，使图像场景细节更清晰显现、图像更锐利、色彩更鲜艳、色调更逼真。

附图说明

图1为本发明实施例图像的宽动态范围处理方法流程示意图。

图2为本发明第一实施例的图像宽动态范围处理方法流程示意图。

图3为本发明第二实施例的图像宽动态范围处理方法流程示意图。

图4为本发明实施例局部尺度亮度分量调节的亮度映射曲线示意图。

图5为本发明实施例细节亮度分量提升倍数曲线示意图。

图6为本发明实施例饱和度提升（调节）倍数—亮度分量的调整曲线示意图。

图7为本发明实施例色调的调整曲线示意图。

具体实施方式

本发明实施例图像的宽动态范围处理方法，创新点之一是在包含亮度维度的颜色空间内进行，包括HSaIn颜色空间或其附属颜色空间，在这些颜色空间的处理优势就是色调在处理前后基本保持不变；而另一个创新点是提出了局部尺度亮度分量和细节亮度分量的概念和处理方法，这些方法包括对局部尺度亮度分量和细节亮度分量进行分离和分别进行亮度调整处理；而可选的，如果再对图像饱和度和色调进行调节，可使得处理后的图像颜色能够更饱和逼真和艳丽。最后得到场景信息完全再现的宽动态范围图像。

图1为本发明实施例图像的宽动态范围处理方法流程示意图。参见图1，该流程采用TyHDR，包括：

获取待处理图像所在的颜色空间，确定待处理图像所在的颜色空间为非期待的含亮度维度的颜色空间时，将待处理图像数据转换为期待的含亮度维度的颜色空间内的图像数据；

本步骤为可选步骤，本步骤中，图像所在的非期待的含亮度维度的颜色空间包括：RGB颜色空间以及其他颜色空间。本发明实施例中，获取待处理图像所在的颜色空间，如果颜色空间为RGB颜色空间或者其他颜色空间，将RGB颜色空间或者其他颜色空间的图像数据转换成期待的含亮度维度（In）颜色空间的图像数据。

该步骤根据实际情况执行，实际应用中，如果输入的图像数据的颜色空间为期待的含亮度维度（In）的颜色空间，则可以跳过该步骤；当输入的图像数据的颜色空间为非期待的含亮度维度In的颜色空间时，需要通过该步骤，将待处理图像转换为期待的含亮度维度（In）的颜色空间内的图像数据。其中，

含亮度维度的颜色空间包括但不限于：YUV、YIQ、YCbCr、HSV、HSI、HSL、CIELAB、HSaIn颜色空间，以及，由YUV、YIQ、YCbCr、HSV、HSI、HSL、CIELAB、HSaIn颜色空间中的一种或其任意组合衍生的含亮度维度的颜色空间。

本发明实施例中，亮度维度表示为In，在YUV、YIQ、YCbCr中，In=Y表示亮度或者强度，在HSV中，In=V表示亮度或者强度，在HSI中，In=I表示亮度或者强度，在HSL、CIELAB中，In=L表示亮度或者强度，在HSaIn中，In表示亮度或者强度。

所应说明的是，本发明实施例的TyHDR图像处理方法，对所有含亮度维度的颜色空间均适用，也可仅对图像数据的亮度进行处理。

实际应用中，在TyHDR处理图像过程中，如果期待的含亮度维度的颜色空间为HSaIn颜色空间，将待处理图像数据转换为期待的含亮度维度的颜色空间内的图像数据具体包括：

A11，将非期待的含亮度维度的颜色空间内的待处理图像数据转换为XYZ颜色空间内的图像数据；

本步骤中，如果非含亮度维度的颜色空间为RGB颜色空间，对于将RGB颜色空间内的图像数据转换为XYZ（CIEXYZ）颜色空间内的图像数据，需要根据转换精度进行相应处理。例如，如果是高精度转换，则需要精确测量RGB颜色空间和CIEXYZ颜色空间的转换矩阵，根据测量得到的转换矩阵进行转换。关于精确测量RGB颜色空间和CIEXYZ颜色空间的转换矩阵，进行转换为公知技术，在此略去详述。如果只是进行普通精度转换，则只需假设X=R，Y=G，Z=B即可完成转换。

A12，将XYZ颜色空间内的图像数据转换成HSaIn颜色空间内的图像数据。

本步骤中，可以通过两种方法，将XYZ颜色空间内的图像数据转换成HSaIn颜色空间内的图像数据。即将XYZ颜色空间内的图像数据转换成HSaIn颜色空间内的图像数据包括：

按预设的数据映射方法，将XYZ颜色空间内的图像数据转换成HSaIn颜色空间内的图像数据。

下面对两种方法分别进行详细描述。

一、将XYZ颜色空间的图像数据转换成HSaIn颜色空间的图像数据的公式直接计算方法：

本发明实施例中，HsaIn颜色空间是基于CIEXYZ笛卡尔颜色空间的、色貌属性的、由柱坐标系描述的颜色空间。HSaIn颜色空间的格式颜色数据为HSaIn颜色空间的颜色数据格式，包括色调（H）、饱和度（Sa）、亮度（In）。

HSaIn颜色空间的定义如下：

将XYZ颜色空间内的图像数据转换成HSaIn颜色空间内的色调H的转换公式为：

其中，

X，Y，Z为XYZ格式颜色数据，即为在CIEXYZ笛卡尔颜色空间的颜色数据的三刺激值，分别表示CIEXYZ笛卡尔颜色空间的X，Y，Z坐标轴上的数值。

将XYZ颜色空间内的图像数据转换成HSaIn颜色空间内的饱和度（Sa）以及亮度（In）的转换公式为下述的公式①～⑥：

根据如下公式并基于所述XYZ格式颜色数据来定义HSaIn格式颜色数据中的饱和度（Sa）和亮度（In）。其中，一共有六种转换公式，在将XYZ颜色空间的图像数据转换成HSaIn颜色空间的图像数据的饱和度（Sa）以及亮度（In）时，可选取六种转换公式中的任一转换公式进行计算。六种转换公式分别为：

①

Gl=K_m[Min(X,Y,Z)]^p+A,In=K_M[Max(X,Y,Z)]^q+B,Cl=In-Gl,

K_m,K_M为正实数,In≥Gl≥0,A≥0,B≥0,p,q是非零实数

②

Gl=K_m[Min(X,Y,Z)]^p+A,

In = - \frac{1}{3} K_{M} {(X + Y + Z)}^{q} + B,

Cl=In-Gl,

Sa = \frac{Cl}{In}

K_m,K_M为正实数,K_M>K_m,In≥Gl≥0,A≥0,B≥0,p,q是非零实数

③

Gl=K_mMin(X,Y,Z)^p+A,

In = \frac{1}{2} K_{M} {[Max (X, Y, Z) + Min (X, Y, Z)]}^{q} + B,

Cl=In-Gl,

Sa = \frac{Cl}{In}

K_m,K_M为正实数,K_M>K_m,In≥Gl≥0,A≥0,B≥0,p,q是非零实数

④

Gl=K_mMin(X,Y,Z)^p+A,

Cl = K_{M} {| X \overset{V}{i} + Y \overset{V}{j} + Z \overset{V}{k |}}^{m} + B,

In=Gl+Cl,

Sa = \frac{Cl}{In}

K_m,K_M为正实数,p,m为非零实数,In≥Gl≥0,A≥0,B≥0

⑤

Gl=K_mMin(X,Y,Z)^r+A,

In = K_{M} {[X^{p} + Y^{p} + Z^{p}]}^{\frac{1}{q}} + B,

Cl=In-Gl,

Sa = \frac{Cl}{In}

K_m,K_M为正实数K_M>K_m>0,为正实数，p,q,r为非零实数，In≥Gl≥0,A≥0,B≥0

⑥

Gl=K_mMin(X,Y,Z)^r+A,

Cl = K_{M} {[{(X - Gl)}^{p} + {(Y - Gl)}^{p} + {(Z - Gl)}^{p}]}^{\frac{1}{q}} + B,

In=Cl+Gl,

Sa = \frac{Cl}{In}

K_m,K_M为正实数,p,q,r为非零实数，In≥Gl≥0,A≥0,B≥0

二、将XYZ颜色空间的图像数据转换成HSaIn颜色空间的图像数据的数据映射方法：

该方法中，预先计算并获取所有能组合出的XYZ格式颜色数据与HSaIn格式颜色数据的相互映射关系，并将该映射关系作为先验数据，建立数据映射的查找表。在进行图像数据转换时，读取预先建立的查找表，根据待转换的XYZ格式颜色数据，直接通过查表，获得XYZ格式颜色数据转换后对应的HSaIn格式颜色数据。

步骤101，在期待的含亮度维度的颜色空间内，获取待处理图像的含亮度维度的颜色空间内的图像数据中每一像素的局部尺度亮度分量和细节亮度分量；

本步骤中，在含亮度维度的颜色空间内，求出该颜色空间内图像数据中每一像素所在的图像局部尺度亮度分量（In_L）。

本发明实施例中，对HSaIn格式颜色数据的亮度In按预先设置的尺度求取局部尺度亮度分量，具体包括以下几种：

A1，采用预先设置的卷积模板对待处理图像进行卷积以求取图像数据中每一像素的局部尺度亮度分量。

本发明实施例中，利用预先设置的特定大小的滤波模板，例如，均值滤波模板，对亮度In分量进行滤波，从而求取局部尺度亮度分量。

A2，积分图法求取图像数据中每一像素的局部尺度亮度分量。

本步骤中，先获取亮度In分量的积分图像，利用积分图像来求解局部尺度亮度分量（In_L）。该利用积分图像求解In_L的图像的算法可以大大减少卷积运算量。

A3，频域低通滤波法求取图像数据中每一像素的局部尺度亮度分量。

本发明实施例中，对维度亮度In进行频域内的低通滤波。

其中，选取预先设置的多个尺度按由小到大的顺序为分别为a₁、a₂、a₃、…、a_k，按上述方法（A1、A2及A3）之一分别得到每种尺度对应下的局部尺度亮度分量In_L1、In_L2、In_L3、…、In_Lk，选取其中某一尺度下的局部尺度亮度分量In_Lt（t为1,2，…，k中任一数字），作为图像局部尺度亮度分量In_L=In_Lt。

较佳地，在获取转换的图像数据中每一像素的细节亮度分量的流程中，还可以进一步求出各尺度对应的图像细节亮度分量。

本步骤中，根据计算获得的各个尺度下的局部尺度亮度分量，求取其对应尺度的细节亮度分量，具体如下：

尺度为a_j对应的细节亮度分量为In_Hj=In_Li-In_Lj。(i为1,2，…，k中任一数字，但i≠j)

或，

A4，采用小波分析算法求取图像数据中每一像素的局部尺度亮度分量；

步骤102，根据先验的局部亮度映射曲线和细节亮度映射曲线，分别对获取的局部尺度亮度分量和细节亮度分量进行亮度调整；

本步骤中，根据先验的局部亮度映射曲线和细节亮度映射曲线，获取调节后的图像局部尺度亮度分量In_LN，即根据先验的局部亮度映射曲线和细节亮度映射曲线，对图像局部尺度亮度分量In_L进行变换，得到调节后的局部尺度亮度分量In_LN。其变换方法有以下两种：

1、基于先验数据获得局部尺度亮度映射曲线，包括针对不同应用要求下的亮度映射曲线，所述亮度映射曲线表示调节后局部尺度亮度分量与调节前局部尺度亮度分量之间的对应关系；通过所述亮度映射曲线以及获取的局部尺度亮度分量，获得调节后的局部尺度亮度分量。

2、利用基于先验数据获得的局部尺度亮度映射曲线来拟合函数或者独立定义局部尺度亮度分量的转换函数，将获取的局部尺度亮度分量代入拟合函数或转换函数中，计算调节结果，得到调节后的局部尺度亮度分量In_LN。

如前所述，如果根据各尺度下的局部尺度亮度分量求取了对应尺度的细节亮度分量，则可以进一步包括：求出调节后的图像细节亮度分量In_HN。

本步骤中，如果需要，则可对不同尺度的图像细节亮度分量In_Hj（j=1，2，…，k）分别进行调节，从而得到调节后的不同尺度的图像细节亮度分量In_HNj（j=1，2，…，k）。求出调节后的图像细节亮度分量的方法有以下几种：

A21、基于先验数据获得各个不同尺度细节亮度分量调节的亮度映射曲线，针对不同应用要求下的亮度映射曲线，该亮度映射曲线表示调节后细节亮度分量与调节前细节亮度分量之间的对应关系；通过所述亮度映射曲线以及获取的各个不同尺度下的细节亮度分量，获得调节后的各个不同尺度下的细节亮度分量，将调节后的各个不同尺度下的细节亮度分量进行加权求和，即可获得调节后细节亮度分量，具体公式为：

{In}_{HN} = Σ_{j = 1}^{k} p_{j} {In}_{HNj},

其中，

In_HN为合成的细节亮分量；

In_HNj为尺度a_j对应的细节亮度分量；

p_j为尺度a_j对应的细节亮度分量的加权值，在实际操作中要根据图像质量的要求和所拍景物的特点综合决定；

A22、利用基于先验数据获得的各个不同尺度细节亮度分量调节的亮度映射曲线来拟合函数，或者独立定义各个不同尺度细节亮度分量的转换函数，将获取的各个不同尺度细节亮度分量代入拟合函数或转换函数中，计算各个不同尺度的细节亮度分量调节结果。

最后，将调节后的各个不同局部尺度细节亮度分量进行加权求和，作为调整后的细节亮度分量，具体公式为：

{In}_{HN} = Σ_{j = 1}^{k} p_{j} {In}_{HNj}

其中，尺度a_j对应的细节亮度分量的加权值p_j，在实际操作中要根据图像质量的要求和所拍景物的特点综合决定；

步骤103，合成调节后的局部尺度亮度分量和细节亮度分量，得到调整后的图像亮度；

本步骤中，合成调节后的局部尺度亮度分量和细节亮度分量具体为：在步骤102中对调节后的各个尺度下的细节亮度分量进行合成后，对局部尺度亮度分量和合成的细节亮度分量进行再合成In_N=p_LIn_LN+In_HN，其中,

In_N为合成后的亮度分量；

In_LN为局部尺度亮度分量；

p_L为局部尺度亮度分量的加权值；

In_HN为合成的细节亮度分量。

步骤104，将调整后的图像亮度转换到输出图像所在的输出颜色空间。

本步骤中，将调整后的图像亮度结合图像数据在含亮度维度的颜色空间内的另外两个维度分量转换到输出图像所在的颜色空间。所述将调整后的图像亮度转换到输出图像所在的输出颜色空间具体为：将调整后的图像亮度和同一颜色空间内的色调、饱和度转换成输出图像所在的颜色空间的图像数据。

将调整后的图像亮度和同一颜色空间内的色调、饱和度转换成输出图像所在的颜色空间的图像数据具体包括：

A31，利用基于先验数据的HSaIn颜色空间模型的饱和度调整倍数—亮度对应关系，对饱和度进行调节得到输出图像的饱和度，将饱和度调节后的含亮度维度的颜色空间内的图像数据转换为输出图像颜色空间的图像数据。

本步骤为可选步骤，利用基于先验数据的HSaIn颜色空间模型的饱和度调整倍数—亮度对应关系，对饱和度Sa进行调节得到输出图像的饱和度Sa_N。

在所选含亮度维度的颜色空间中有饱和度Sa维度的情况下，可添加此步骤，以获得更好的TyHDR效果。具体方法为：

利用基于先验数据的HSaIn颜色空间模型的饱和度调整倍数—亮度（Sa_N/Sa—In）的LUT调整曲线或者对应的函数，调整输出图像饱和度，从而实现对饱和度Sa的调节，得到期望的Sa_N。

A32，利用基于先验数据的HSaIn颜色空间模型的色调调节的H_N—H的调整曲线，对色调H进行调节得到输出图像的色调H_N；

本步骤中，利用基于先验数据的HSaIn颜色空间模型的色调调节的调整曲线，对色调进行调节得到输出图像的色调，将色调调节后的含亮度维度的颜色空间内的图像数据转换为输出图像颜色空间的图像数据。在所选含亮度维度的颜色空间中有色调H维度的情况下，可添加此步骤，以获得更好的TyHDR效果。具体方法为：

利用基于先验数据的HSaIn颜色空间模型的色调调节的H_N—H的LUT调整曲线，调整输出图像的色调。

A33，将饱和度和色调调节后的含亮度维度In的颜色空间内的图像数据转换为输出图像颜色空间的图像数据。

本步骤中，将调节后的含亮度维度的颜色空间数据格式的图像数据转换为RGB格式或者其他格式的输出图像数据。具体的转换方法包括以下两种：

一、利用查找表（LUT）法完成，即预先计算所用含亮度维度的颜色空间数据格式与RGB格式或者其他颜色空间数据格式的相互映射对应关系，并作为先验数据。在转换的时候，读取该对应关系，直接通过查表获得转换结果。

二、利用所用含亮度维度的颜色空间数据格式的定义，用公式法计算当前点对应的RGB格式或者其他颜色空间数据格式的数据，通过对全图像的遍历计算，完成数据格式的转换。

本发明实施例中，如果TyHDR处理过程中，所选取的含亮度维度的颜色空间为HSaIn颜色空间时，需要先将调节后的HSaIn颜色空间的图像数据转换成XYZ空间的图像数据，再将XYZ空间的图像数据转换成输出图像颜色空间的图像数据。

其中，将HSaIn格式颜色数据转换为XYZ格式颜色数据的方法和过程如下所示。

根据HSaIn颜色空间模型公式，HSaIn格式颜色数据中的饱和度Sa和强度In的获取所依据的公式有六种不同的形式，因此输出设备侧（输出图像）的HSaIn格式颜色数据转换为XYZ格式颜色数据的公式也相应有六种不同的公式。

①如输入设备侧（待处理图像）的HSaIn格式颜色数据中的饱和度Sa和强度In是根据如下公式获取，

Gl=K_m[Min(X,Y,Z)]^p+A,In=K_M[Max(X,Y,Z)]^q+B,Cl=In-Gl,

K_m,K_M为正实数,In≥Gl≥0,A≥0,B≥0,p,q是非零实数

则根据如下公式获取输出设备侧的XYZ格式颜色数据：

②如输入设备侧的HSaIn格式颜色数据中的饱和度Sa和强度In是根据如下公式获取，

Gl=K_m[Min(X,Y,Z)]^p+A,

In = - \frac{1}{3} K_{M} {(X + Y + Z)}^{q} + B,

Cl=In-Gl,

Sa = \frac{Cl}{In}

K_m,K_M为正实数,K_M>K_m,In≥Gl≥0,A≥0,B≥0,p,q是非零实数

则根据如下公式获取输出设备侧的XYZ格式颜色数据：

0°≤H<120°时

Z = {[\frac{In (1 - Sa) - A}{K_{m}}]}^{\frac{1}{p}}

120°≤H<240°时

X = {[\frac{In (1 - Sa) - A}{K_{m}}]}^{\frac{1}{p}},

240°≤H<360°时

Y = {[\frac{In (1 - Sa) - A}{K_{m}}]}^{\frac{1}{p}}

③如输入设备侧的HSaIn格式颜色数据中的饱和度Sa和强度In是根据如下公式获取，

Gl=K_mMin(X,Y,Z)^p+A,

In = \frac{1}{2} K_{M} {[Max (X, Y, Z) + Min (X, Y, Z)]}^{q} + B,

Cl=In-Gl,

Sa = \frac{Cl}{In}

K_m,K_M为正实数,K_M>K_m,In≥Gl≥0,A≥0,B≥0,p,q是非零实数

则根据如下公式获取输出设备侧的XYZ格式颜色数据：

④如输入设备侧的HSaIn格式颜色数据中的饱和度Sa和强度In是根据如下公式获取，

Gl=K_mMin(X,Y,Z)^p+A,

Cl = K_{M} {| X \overset{V}{i} + Y \overset{V}{j} + Z \overset{V}{k |}}^{m} + B,

m是实数,In=Gl+Cl,

Sa = \frac{Cl}{In}

K_m,K_M为正实数,p,m为非零实数,In≥Gl≥0,A≥0,B≥0

则根据如下公式获取输出设备侧的XYZ格式颜色数据：

[·]是对·的取整算符，H∈[0°,360°),h=0,1,2

如果h=0,

X = {(\frac{SaIn - B}{K_{M}})}^{\frac{1}{m}} [\cos (H) + \frac{\sqrt{3}}{3} \sin (H)] + {[\frac{(1 - Sa) In - A}{K_{m}}]}^{\frac{1}{p}},

Y = \frac{2 \sqrt{3}}{3} \sin (H) {(\frac{SaIn - B}{K_{M}})}^{\frac{1}{m}} + {[\frac{(1 - Sa) In - A}{K_{m}}]}^{\frac{1}{p}},

Z = {[\frac{(1 - Sa) In - A}{K_{m}}]}^{\frac{1}{p}}

如果h=1,

X = {[\frac{(1 - Sa) In - A}{K_{m}}]}^{\frac{1}{p}},

Y = {[\frac{(1 - Sa) In - A}{K_{m}}]}^{\frac{1}{p}} - {(\frac{SaIn - B}{K_{M}})}^{\frac{1}{m}} [\cos (H) - \frac{\sqrt{3}}{3} \sin (H)],

Z = {[\frac{(1 - Sa) In - A}{K_{m}}]}^{\frac{1}{p}} - {(\frac{SaIn - B}{K_{M}})}^{\frac{1}{m}} [\cos (H) + \frac{\sqrt{3}}{3} \sin (H)]

如果h=2,

X = {(\frac{SaIn - B}{K_{M}})}^{\frac{1}{m}} [\cos (H) - \frac{\sqrt{3}}{3} \sin (H)] + {[\frac{(1 - Sa) In - A}{K_{m}}]}^{\frac{1}{p}},

Y = {[\frac{(1 - Sa) In - A}{K_{m}}]}^{\frac{1}{p}},

Z = {[\frac{(1 - Sa) In - A}{K_{m}}]}^{\frac{1}{p}} - \frac{2 \sqrt{3}}{3} \sin (H) {(\frac{SaIn - B}{K_{M}})}^{\frac{1}{m}}

⑤如输入设备侧的HSaIn格式颜色数据中的饱和度Sa和强度In是根据如下公式获取，

Gl=K_mMin(X,Y,Z)^r+A,

In = K_{M} {[X^{p} + Y^{p} + Z^{p}]}^{\frac{1}{q}} + B,

Cl=In-Gl,

Sa = \frac{Cl}{In}

则根据如下公式获取输出设备侧的XYZ格式颜色数据：

[·]是对·的取整算符，H∈[0°,360°),h=0,1,2

如果h=0,

则有

依据具体的p,q,r值得出由In,Sa,H,p,q,r表示的X,Y值,X>Z≥0,Y>Z≥0,Z取符合物理实际情况的值。

如果h=1,

则有

如果h=2,

则有

⑥如输入设备侧的HSaIn格式颜色数据中的饱和度Sa和强度In是根据如下公式获取，

Gl=K_mMin(X,Y,Z)^r+A,

Cl = K_{M} {[{(X - Gl)}^{p} + {(Y - Gl)}^{p} + {(Z - Gl)}^{p}]}^{\frac{1}{q}} + B,

In=Cl+Gl,

Sa = \frac{Cl}{In}

K_m,K_M为正实数,p,q,r为非零实数，In≥Gl≥0,A≥0,B≥0

则根据如下公式获取输出设备侧的XYZ格式颜色数据：

[·]是对·的取整算符，H∈[0°,360°),h=0,1,2

如果h=0,

Z = {[\frac{In (1 - Sa) - A}{K_{m}}]}^{\frac{1}{r}}

如果h=1,

X = {[\frac{In (1 - Sa) - A}{K_{m}}]}^{\frac{1}{r}},

如果h=2,

Y = {[\frac{In (1 - Sa) - A}{K_{m}}]}^{\frac{1}{r}},

这样，经过上述步骤（部分步骤是可选步骤），可以得到最终的TyHDR输出图像。

下面再对本发明实施例的先验数据进行说明：

1.饱和度Sa和色调H转换的先验数据的获得是在针对特定的成像相机具有特定的某些饱和度Sa，和色调H不够逼真的情况下测得或者估算得到的修正先验数据。

2.局部尺度亮度分量的先验的亮度映射曲线的获得是根据图像观察者认可的各个最佳亮度对应关系拟合得出的LUT曲线，也可把该曲线转换为近似的转换函数。

3.各尺度细节亮度分量的先验的亮度映射曲线的获得是根据图像观察者认可的该尺度细节最佳亮度对应关系拟合得出的LUT曲线，也可把该曲线转换为近似的转换函数。

图2为本发明第一实施例的图像宽动态范围处理方法流程示意图。参见图2，该流程包括：

步骤21，输入RGB或者其他颜色空间数据格式图像数据；

步骤22，判断图像数据是否为期待的含亮度维度的颜色空间数据格式，如果否，执行步骤23，如果是，执行步骤24；

步骤23，将RGB或者其他颜色空间的图像数据转换成期待的含亮度维度颜色空间的图像数据，执行步骤24；

步骤24，分别求出按从小到大排列的尺度a₁、a₂、a₃、…、a_k下各自对应的局部尺度亮度分量In_Lj(j=1,2,…,k)，分别执行步骤25和步骤26；

步骤25，取某一尺度a_t对应的In_Lt作为图像局部尺度亮度分量In_L，对其进行调节，得到In_LN，执行步骤34；

步骤26，分别求出按从小到大排列的尺度a₁、a₂、a₃、…、a_k下各自对应的细节亮度分量In_Hj(j=1,2,…,k)；

步骤27，取j=1；

步骤28，判断是否对细节亮度分量In_Hj进行调节，如果否，执行步骤29；如果是，执行步骤30；

步骤29，In_HNj=In_Hj，执行步骤31；

步骤30，对细节亮度分量进行调节，得到调节后的In_HNj，执行步骤31；

步骤31，判断j是否小于k，如果是，执行步骤32；否则，执行步骤33；

步骤32，j=j+1，执行步骤28；

步骤33，求出调节后的细节亮度分量

步骤34，求出调节后的亮度In_N=p_LIn_LN+In_HN，分别执行步骤35和步骤36；

步骤35，判断颜色空间中是否有饱和度维度Sa且对其进行调节，如果是，执行步骤38，否则，执行步骤39；

步骤36，判断颜色空间中是否有色调维度H且对其进行调节，如果是，执行步骤37，否则，执行步骤39；

步骤37，对H进行色调调节得到期望的H_N；

步骤38，对Sa进行饱和度调节得到期望的Sa_N；

步骤39，将调节后的含亮度维度的颜色空间的图像数据转换为输出图像颜色空间的图像数据；

步骤40，得到TyHDR之后的图像，结束流程。

图3为本发明第二实施例的图像宽动态范围处理方法流程示意图。参见图3，该流程包括：

步骤51，输入RGB或者其他颜色空间数据格式图像数据；

步骤52，判断图像数据是否为期待的含亮度维度的颜色空间数据格式，如果否，执行步骤53，如果是，执行步骤54；

步骤53，将RGB或者其他颜色空间的图像数据转换成期待的含亮度维度颜色空间的图像数据，执行步骤54；

步骤54，分别求出按从小到大排列的尺度a₁、a₂、a₃、…、a_k下各自对应的局部尺度亮度分量In_Lj(j=1,2,…,k)，分别执行步骤55和步骤56；

步骤55，取某一尺度a_t对应的In_Lt作为图像局部尺度亮度分量In_L，对其进行调节，得到In_LN，执行步骤64；

步骤56，分别求出按从小到大排列的尺度a₁、a₂、a₃、…、a_k下各自对应的细节亮度分量In_Hj(j=1,2,…,k)；

步骤57，取j=1；

步骤58，判断是否对细节亮度分量In_Hj进行调节，如果否，执行步骤59；如果是，执行步骤60；

步骤59，In_HNj=In_Hj，执行步骤61；

步骤60，对细节亮度分量进行调节，得到调节后的In_HNj，执行步骤61；

步骤61，判断j是否小于k，如果是，执行步骤62；否则，执行步骤63；

步骤62，j=j+1，执行步骤58；

步骤63，求出调节后的细节亮度分量

步骤64，求出调节后的亮度In_N=p_LIn_LN+In_HN；

步骤65，将调节后的含亮度维度的颜色空间的图像数据转换为输出图像颜色空间的图像数据；

步骤66，得到TyHDR之后的图像，结束流程。

下面再举一具体实施例，对图像宽动态范围处理方法作进一步的详细说明。

本发明实施例进行图像的宽动态范围处理的TyHDR源图像的颜色空间为RGB；进行TyHDR处理时，所选取的含亮度维度的颜色空间为HSaIa。处理步骤如下：

步骤1、利用HSaIn颜色空间模型的转换公式，将源图像RGB颜色空间格式数据转换成HSaIn颜色空间格式数据。

本发明实施例中，假设X=R，Y=G，Z=B。

步骤2、获得HSaIn颜色空间的亮度数据，并将该亮度数据利用5X5尺度的均值滤波器进行滤波处理，获得亮度的局部尺度亮度分量的图像数据信息In_L。

步骤3、求出细节亮度分量In_H=In-In_L，本实施例采用一个尺度的细节分量进行TyHDR变换，例如，获取In_H+128的图像。

步骤4、获取预先设置的局部尺度亮度分量调节的亮度映射曲线，对局部尺度亮度分量In_L图像进行亮度调节。

图4为本发明实施例局部尺度亮度分量调节的亮度映射曲线示意图。参见图4，图中横坐标为局部尺度亮度分量像素值，纵坐标为调节后的像素值。调节后的像素值与局部尺度亮度分量像素值的对应关系为曲线。

步骤5、根据预先设置的细节亮度分量提升倍数曲线，对求出的细节亮度分量进行调节。

图5为本发明实施例细节亮度分量提升倍数曲线示意图。参见图5，图中横坐标为细节亮度分量像素值绝对值，纵坐标为提升倍数。当细节亮度分量像素值绝对值在0至70范围内时，提升倍数随着细节亮度分量像素值绝对值的增大呈曲线下降；当细节亮度分量像素值绝对值大于70时，提升倍数基本维持不变并接近1。

步骤6、计算调节后的细节亮度分量与局部尺度亮度分量之和，得到调节后的亮度In_N=In_LN+In_HN。

步骤7、利用HSaIn颜色空间模型的饱和度保持算法，将图像饱和度Sa调整为Sa_N。

图6为本发明实施例饱和度提升（调节）倍数—亮度分量的调整曲线示意图。即SaN/Sa—In调整曲线，参见图6，图中横坐标为亮度分量，纵坐标为饱和度提升倍数。其中，饱和度提升倍数与亮度分量的对应关系为类似上抛物线曲线。

本发明实施例中，不进行色调调整。

色调调节H_N-H的LUT调整曲线为一条y=x的直线。

图7为本发明实施例色调的调整曲线示意图。参见图7，图中横坐标为原色调值，纵坐标为调节后色调值。其中，调节后色调值与原色调值的对应关系为线性关系。

步骤8、利用HSaIn颜色空间模型公式对应关系，将HSaIn颜色空间图像数据转换成RGB颜色空间图像数据。

本步骤中，R=X，G=Y，B=Z。

本发明的方法中，有一系列的参数选择，如各个局部尺度亮度分量的尺度选择，如各个细节分量的加权值p_j的选择，如亮度分量变换映射表的数据，饱和度调整方法和映射表，色调调整方法和映射表的选择，各个细节亮度分量映射表的数据选择都是要在本方法的具体实施中，结合期望的图像信息的清晰程度和其他各类像质要求、原始图像的噪声水平等因素进行综合平衡。作为本领域的技术人员完全可以根据对期望图像的要求的理解做出合理的参数选择，得到具有一定的宽动态处理效果的接近于期望结果的图像。

显然，本领域技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也包含这些改动和变型在内。

Claims

1.一种图像的宽动态范围处理方法，包括：

将调整后的图像亮度转换到输出图像所在的输出颜色空间。

2.如权利要求1所述的方法，其中，如果待处理图像所在的颜色空间不是期待的含亮度维度的颜色空间时，在含亮度维度的颜色空间内之前，所述方法进一步包括：

3.如权利要求2所述的方法，其中，所述合成调节后的局部尺度亮度分量和细节亮度分量具体为：对调节后的各个尺度下的细节亮度分量进行加权求和合成，对局部尺度亮度分量和合成的细节亮度分量进行再加权求和合成In_N=p_LIn_LN+In_HN，其中,

In_N为合成后的亮度分量；

In_LN为局部尺度亮度分量；

p_L为局部尺度亮度分量的加权值；

In_HN为合成的细节亮度分量。

4.如权利要求3所述的方法，其中，获取所述局部尺度亮度分量包括：

采用积分图法求取图像数据中每一像素在该尺度下的均值作为局部尺度亮度分量；或，

采用频域低通滤波法求取图像数据中每一像素在该尺度下的低频分量作为局部尺度亮度分量；或，

采用小波分析算法求取图像数据中每一像素在该尺度下的低频分量作为局部尺度亮度分量；

5.如权利要求4所述的方法，其中，选取预先设置的多个尺度，按由小到大的顺序，采用模板法或积分图法或频域低通滤波法或小波分析法，分别得到每种尺度对应下的局部尺度亮度分量，选取其中某一尺度下的局部尺度亮度分量作为图像局部尺度亮度分量。

6.如权利要求5所述的方法，其中，获取所述细节亮度分量的计算公式为：

In_Hj=In_Li-In_Lj，

式中，

In_Hj为尺度a_j对应的细节亮度分量；

In_Li为尺度a_i对应的局部尺度亮度分量；

In_Lj为尺度a_j对应的局部尺度亮度分量(i为1,2，…，k中任一数字，但i≠j)。

7.如权利要求6所述的方法，其中，所述对获取的局部尺度亮度分量进行亮度调整包括：

8.如权利要求6所述的方法，其中，所述对获取的细节亮度分量进行亮度调整包括：

9.如权利要求2所述的方法，其中，所述含亮度维度的颜色空间内进一步包含有色调维度以及饱和度维度，所述将待处理图像数据转换为期待的含亮度维度的颜色空间的图像数据具体为：将待处理图像数据转换为含亮度维度、色调维度以及饱和度维度的图像数据；

10.如权利要求9所述的方法，其中，所述将调整后的图像亮度和同一颜色空间内的色调、饱和度转换成输出图像所在的颜色空间的图像数据包括：