CN101841631A - 暗部曝光补偿方法及应用该方法的图像处理装置 - Google Patents

Abstract

本发明揭露一种以单张图像模拟高动态范围的暗部曝光补偿方法。首先通过强化亮部图像处理以及强化饱和对比的图像处理，以分别获得图像P1、P2。再从图像P1与图像P2选择其中一张图像，然后对所选择的图像进行亮区暗区判断的图像处理，然后接着进行模糊图像处理，以获得权重参考图像P3。然后依据权重参考图像P3的各个像素的权重值，逐一地将图像P1的对应像素以及该图像P2的对应像素进行混合权重计算，如此以获得混合该图像P1与该图像P2的混合图像P4。本发明利用单张图像就能够改善反差过大而呈现暗部已经过暗的图像。

Description

暗部曝光补偿方法及应用该方法的图像处理装置

技术领域

本发明是关于一种图像处理，特别是关于一种以单张图像模拟高动态范围的暗部曝光补偿的图像处理。

背景技术

习知高动态范围图像(High Dynamic Range Images)的照相方式可应用于改善反差过大而呈现暗部已经过暗的图像，然而执行习知高动态范围图像的照相方式，必须在照相时需要先照下各种不同曝光值的图像，最后再同时将这些图像依照不同亮度值合并起来，如此才可能够获得效果不错的图像，但缺点是使用者必需事前照下许多位置完全相同照片，如果没有配合脚架等固定相机的设备，在同一个地方拍下多张完全不同曝光值的相同图像的照片是一件困难的事情，同时，多张图像也会浪费存储器的存储空间。

美国专利US20060061845号“图像合成系统与方法(Image Composition System and Method)”已揭露一种合成多次曝光图像的系统，包括图像检测单元及图像合成单元。图像检测单元用以检测低动态范围图像的标示部份，其中低动态范围图像是同一场景经过不同曝光时间的图像。图像合成单元用以根据标示部份，设定低动态范围图像的曝光历史资料，并参考曝光历史资料，将低动态范围图像进行图像合成，以形成高动态范围图像。然而，美国专利US20060061845仍存在同一个地方拍下多张完全不同曝光值的相同图像的照片是一件困难的事情，同时，多张图像也会浪费存储器的存储空间等缺失。

本发明发明人有鉴于上述习知技术的缺失，因而亟思发明是改良一种以单张图像模拟高动态范围的暗部曝光补偿方法及其应用该方法的图像处理装置，利用单张图像来作为图像参考，达成改善反差过大而呈现暗部已经过暗的图像。

发明内容

本发明的第一目的是提供一种以单张图像模拟高动态范围的暗部曝光补偿方法，利用单张图像来作为图像参考，达成改善反差过大而呈现暗部已经过暗的图像。

本发明的第二目的是提供一种以单张图像模拟高动态范围的图像处理装置，利用单张图像来作为图像参考，达成改善反差过大而呈现暗部已经过暗的图像。

为了达成本发明的上述第一目的，本发明提供一种以单张图像模拟高动态范围的暗部曝光补偿方法，包括下列步骤：取得一张的一图像P0；将该图像P0进行强化亮部的图像处理以获得一图像P1，以及将该图像P0进行强化饱和对比的图像处理以获得一图像P2；从该图像P1与该图像P2选择其中一张图像，然后对所选择的图像进行亮区暗区判断的图像处理，然后接着进行模糊图像处理，以获得一权重参考图像P3，其中该权重参考图像P3的各个像素值用来分别代表一权重值；依据该权重参考图像P3的各个像素的权重值，逐一地将该图像P1的对应像素以及该图像P2的对应像素进行混合权重计算，如此以获得混合该图像P1与该图像P2的一混合图像P4。

为了达成本发明的上述第二目的，本发明提供一种图像处理装置，包括：第一装置用于取得一张的一图像P0；第二装置用于执行将该图像P0进行强化亮部的图像处理以获得一图像P1，以及将该图像P0进行强化饱和对比的图像处理以获得一图像P2；第三装置用于从该图像P1与该图像P2选择其中一张图像，然后对所选择的图像执行亮区暗区判断的图像处理，然后接着执行模糊图像处理，以获得一权重参考图像P3，其中该权重参考图像P3的各个像素值用来分别代表一权重值；第四装置用于依据该权重参考图像P3的各个像素的权重值，逐一地将该图像P1的对应像素以及该图像P2的对应像素执行混合权重计算，如此以获得混合该图像P1与该图像P2的一混合图像P4。

再者，为了达成本发明的上述第二目的，本发明提供一种图像处理装置，包括：存储器其至少用于存储一张的一图像P0；处理器其用来执行下列图像处理程序：用于执行将该图像P0进行强化亮部的图像处理程序以获得一图像P1，以及将该图像P0进行强化饱和对比的图像处理程序以获得一图像P2；用于从该图像P1与该图像P2选择其中一张图像，然后对所选择的图像执行亮区暗区判断的图像处理程序，然后接着执行模糊图像处理程序，以获得一权重参考图像P3，其中该权重参考图像P3的各个像素值用来分别代表一权重值；用于依据该权重参考图像P3的各个像素的权重值，逐一地将该图像P1的对应像素以及该图像P2的对应像素执行混合权重计算程序，如此以获得混合该图像P1与该图像P2的一混合图像P4。

为使贵审查员对本发明的构造、特征及其使用功效有更深一层的认识与了解，现举较佳的可行实施例并配合附图详细说明如下：

附图说明

图1显示本发明以单张图像模拟高动态范围的暗部曝光补偿方法的流程图。

图2显示尚未通过本发明暗部曝光补偿方法的原始图像范例。

图3显示图2的原始图像范例通过本发明暗部曝光补偿方法的图像范例。

图4显示通过本发明方法的强化亮部图像处理的中间步骤的图像范例。

图5显示通过本发明方法的强化饱和对比图像处理的中间步骤的图像范例。

图6显示通过本发明方法的亮区暗区判断的图像处理的中间步骤的图像范例。

图7显示图6的暂时性图像范例通过本发明方法的模糊图像处理的中间步骤的图像。

图8显示应用本发明方法的图像处理装置的架构示意图。

图9显示应用本发明方法的另一实施例图像处理装置的架构示意图。

主要元件符号说明：

10暗部曝光补偿方法

101～107步骤

20图像处理装置

201第一装置

202第二装置

203第三装置

204第四装置

30图像处理装置

301存储器

303处理器

305固件

具体实施方式

本发明主要特色是以单张图像(这单张图像例如是反差过大的相片)分别处理成不同曝光的两张图像，再以特殊的图像合成处理，以获得一混合图像，这混合图像可同时保留上述单张图像的亮部与暗部细节。图1显示本发明以单张图像模拟高动态范围的暗部曝光补偿方法的流程图，图2显示尚未通过本发明暗部曝光补偿方法的原始图像范例，以及图3显示图2的原始图像范例通过本发明暗部曝光补偿方法的图像范例。本发明以单张图像模拟高动态范围的暗部曝光补偿方法10包括步骤101～107，现分别说明如下内文。

步骤101是取得一张的一图像P0。步骤101的图像P0的来源其范例例如是数字相机、具照相功能的行动电话、具照相功能的个人数字助理、具照相功能的多媒体播放装置、或是其它具照相功能的电子装置等等。图2显示图像P0的范例，图2的图像是一张反差过大的相片，除了天空部份以外，照片其它成份例如房子以及植物等其细节都不很清晰明显。

步骤103将图像P0进行强化亮部的图像处理以获得一图像P1，以及将该图像P0进行强化饱和对比的图像处理以获得一图像P2。现说明步骤103的强化亮部的图像处理的具体实施手段的范例。该强化亮部图像处理是利用如下公式(1)：

$F\left(x\right)=\frac{\log (1.0+\frac{x\÷255}{\mathrm{\Δ\ϵ}})}{\log (1.0+\frac{1.0}{\mathrm{\Δ\ϵ}})}\×255$

其中函数F的参数x为图像P0的像素值，且该像素值介于0～255之间，以及该Δε是一常数值，且该Δε介于0.001～0.1之间。

上述公式(1)是利用对数关系的变化，将其应用在色调映射(tone mapping)的课题，公式(1)能够将图像较暗的部份映射(mapping)到正常的人眼视觉范围内。图4是显示图像P0通过本发明方法的强化亮部图像处理的中间步骤的图像P1范例。

在电子装置中，公式(1)可实施为查表法，由于0＜＝x＜＝255，0＜＝F(x)＜＝255，因此可通过一维阵列(Array)的表，来取代F(x)公式(1)的计算。当有一个像素值x输入于强化亮部的图像处理时，则以查表方式快速取得对应的亮度加强图像。

现说明步骤103的强化饱和对比图像处理是利用如下公式(2)：

F(x)_{blacke_enh}＝x^bias(x)*a

其中 $\mathrm{bias}\left(x\right)=x^{\frac{\log \left(b\right)}{\log 0.5}}$

以及a介于4.0-6.0之间，b介于0.04-0.06之间

其中参数x为图像P0的像素值，且该像素值介于0～255之间。上述bias(x)函数可将x重新赋予一个较高或较低的值，当x愈大，其bias(x)也会愈大，然而F(x)公式(2)的值反而会愈小，因此图像的饱和与对比则会加强。图5显示图像P0通过本发明方法的强化饱和对比图像处理的中间步骤的图像P2范例。

步骤105是从图像P1与图像P2选择其中一张图像，然后对所选择的图像进行亮区暗区判断的图像处理，然后接着进行模糊图像处理，以获得一权重参考图像P3，其中该权重参考图像P3的各个像素值用来分别代表一权重值。现说明步骤105的亮区暗区判断的图像处理的具体实施手段的范例。该亮区暗区判断图像处理是利用如下公式(3)：

F(x)＝ax³+bx²+cx+d

其中参数x为被选择图像(图像P1或图像P2)的像素值，以及其中a、b、c、d都为一系数，其中该x介于0～255，该F(x)公式(3)介于0～255。图6显示图像P2通过本发明方法的亮区暗区判断的图像处理的中间步骤的图像范例。

F(x)公式(3)例如采用通过(0，0)，(23，41)，(56，218)，(255，255)的曲线，接着，F(x)公式(3)被因式分解成

F(x)＝a(x-x1)(x-x2)(x-x3)+b(x-x1)(x-x2)(x-x4)+(x-x1)(x-x3)(x-x4)+d(x-x2)(x-x3)(x-x4)

然后，可解出a、b、c、d等。

在电子装置中，公式(3)可实施为查表法，由于0＜＝x＜＝255，0＜＝F(x)＜＝255，因此可通过一维阵列(Array)的表，来取代F(x)公式(3)的计算。当有一个像素值x输入于亮区暗区判断的图像处理时，则以查表方式快速取得对应的亮区暗区判断图像。

现说明步骤105的模糊图像处理的具体实施手段的范例，该模糊图像处理是利用高斯模糊图像处理。高斯模糊是一种图像模糊滤波器，是利用常态分布计算图像中每个像素的变换。N维空间常态分布方程式为：

$G\left(r\right)=\frac{1}{{\sqrt{{2\mathrm{\π\σ}}^2}}^N}{e}^{-T^2/\left({2\mathrm{\σ}}^2\right)}$

在二维空间常态分布方程式为：

$G(u,v)=\frac{1}{{2\mathrm{\π\σ}}^2}{e}^{-(u^2+v^2)/\left({2\mathrm{\σ}}^2\right)}$

其中r是模糊半径(r2＝u2+v2)，σ是常态分布的标准偏差。在二维空间中，这个分布方程式生成的曲面的等高线是从中心开始呈常态分布的同心圆。分布不为零的像素组成的卷积矩阵与原始图像做变换。每个像素的值都是周围相邻像素值的加权平均。原始像素的值有最大的高斯分布值，所以有最大的权重，相邻像素随着距离原始像素越来越远，其权重也越来越小。这样进行模糊处理比其它的均衡模糊滤波器更高地保留了边缘效果。图7显示图6的暂时性图像范例通过本发明方法的模糊图像处理的中间步骤的图像P3。

步骤107是依据权重参考图像P3的各个像素的权重值，逐一地将图像P1的对应像素以及图像P2的对应像素进行混合权重计算，如此以获得混合图像P1与图像P2的一混合图像P4。现说明步骤107的混合权重计算的混合图像处理的具体实施手段的范例，本发明的混合图像处理可采用习知Alpha混合(A1pha blend)技术。图像可利用R(红色)，G(绿色)，B(蓝色)三原色来表示。假设一幅图像是A，另一幅透明的图像是B，那么透过图像B去看图像A，看上去的图像C就是B和A的混合图像，A1pha混合公式如下：

R(C)＝alpha*R(B)+(1-alpha)*R(A)

G(C)＝alpha*G(B)+(1-alpha)*G(A)

B(C)＝alpha*B(B)+(1-alpha)*B(A)

其中B图像的透明度为alpha，且0＜＝alpha＜＝1，0是代表完全透明，1是代表完全不透明。

图3显示依据权重参考图像P3，进行上述A1pha混合权重计算，以获得混合图像P1与图像P2的混合图像P4的图像图范例。

本发明采以单张图像模拟高动态范围的做法，先把单张图像以强化亮部演算法补偿暗部，再以强化饱和对比演算法增强原亮部的色彩，以得到模拟高动态范围的多曝光影响，再以亮度判断演算法决定在模拟高动态图像混和时所使用的权重，最后为了令混合时看起来自然起见，再把亮度判断后的权重值加以模糊处理，最后得到亮部暗部都强化之后的完整图像。本发明的应用非常广，凡是逆光人像，直射日光摄影，单一强点光源的摄影，现场光源昏暗的场景，都可应用本发明，甚至在人脸辨识领域，也可以用本发明，可弱化现场光源不足的影响或是恶劣光源的环境的不利因素影响，以提升辨识率。

再者，本发明揭露一种应用本发明方法10的图像处理装置20，请参见图8本发明的图像处理装置20的架构示意图。图像处理装置20包括第一装置201、第二装置202、第三装置203、以及第四装置204，现分别说明如下文。

第一装置201用于取得一张的图像P0。第一装置201的具体手段例如可采用习知CCD感光取像相关技术或习知CMOS感光取像相关技术。第一装置201的另一具体手段例如可采用习知通信端口相关技术，例如USB通信端口相关技术，如此可经由USB通信端口取得图像P0。

第二装置202用于执行将图像P0进行强化亮部的图像处理以获得图像P1，以及将该图像P0进行强化饱和对比的图像处理以获得图像P2。第三装置203用于从图像P1与图像P2选择其中一张图像，然后对所选择的图像执行亮区暗区判断的图像处理，然后接着执行模糊图像处理，以获得权重参考图像P3，其中权重参考图像P3的各个像素值用来分别代表一权重值。第四装置204用于依据该权重参考图像P3的各个像素的权重值，逐一地将图像P1的对应像素以及图像P2的对应像素执行混合权重计算，如此以获得混合图像P1与图像P2的混合图像P4。

再者，本发明揭露一种应用本发明方法10的另一图像处理装置30，请参见图9本发明的图像处理装置30的架构示意图。图像处理装置30包括存储器301、以及处理器303，现分别说容下内文。

存储器301至少用于存储图像P0、P1、P2、P3、以及混合图像P4。

处理器303用来执行下述图像处理程序。强化亮部的图像处理程序用于将图像P0进行强化亮部，以获得图像P1。强化饱和对比的图像处理程序用于将图像P0进行强化饱和对比，以获得图像P2。亮区暗区判断的图像处理程序用于从图像P1与图像P2选择其中一张图像，然后对所选择的图像执行亮区暗区判断。模糊图像处理程序用于将图像模糊，以获得权重参考图像P3，其中权重参考图像P3的各个像素值用来分别代表权重值。混合权重计算程序用于依据权重参考图像P3的各个像素的权重值，逐一地将图像P1的对应像素以及该图像P2的对应像素执行混合权重计算，如此以获得混合图像P1与图像P2的混合图像P4。

在图像处理装置30中，上述诸图像处理程序可采用为固件305。

图像处理装置20、30的具体范例例如是数字相机、具照相功能的行动电话、具照相功能的个人数字助理、具照相功能的多媒体播放装置、或是其它具照相功能的电子装置等等。

本发明利用单张图像就能够改善反差过大而呈现暗部已经过暗的图像，远胜于习知高动态范围图像处理方式，其必须在完全相同的位置拍摄多张照片后，才能够进一步进行图像的改善处理，如此一来可节省了用来存储暂时图像的记忆卡空间，同时提供使用者更方便操作使用的照相作业方式，此为本发明优点以及功效增进所在。

但以上所述者，仅为本发明的较佳实施例，当不能用以限定本发明可实施的范围，凡熟悉于本技术人士所明显可作变化与修饰，都应视为不背离本发明的实质内容。

Claims (18)

1.一种以单张图像模拟高动态范围的暗部曝光补偿方法，包括下列步骤：

取得一张的一图像P0；

将所述图像P0进行强化亮部的图像处理以获得一图像P1，以及将所述图像P0进行强化饱和对比的图像处理以获得一图像P2；

从所述图像P1与所述图像P2选择其中一张图像，然后对所选择的图像进行亮区暗区判断的图像处理，然后接着进行模糊图像处理，以获得一权重参考图像P3，其中所述权重参考图像P3的各个像素值用来分别代表一权重值；

依据所述权重参考图像P3的各个像素的权重值，逐一地将所述图像P1的对应像素以及所述图像P2的对应像素进行混合权重计算，如此以获得混合所述图像P1与所述图像P2的一混合图像P4。

2.如权利要求1所述的以单张图像模拟高动态范围的暗部曝光补偿方法，其中所述强化亮部图像处理的步骤，是利用

$F\left(x\right)=\frac{\log (1.0+\frac{x\÷255}{\mathrm{\Δ\ϵ}})}{\log (1.0+\frac{1.0}{\mathrm{\Δ\ϵ}})}\×255$

其中x为所述图像P0的像素值，且该像素值介于0～255之间，以及Δε是一常数值，且该Δε介于0.001～0.1之间。

3.如权利要求1所述的以单张图像模拟高动态范围的暗部曝光补偿方法，其中所述强化饱和对比图像处理的步骤，是利用

F(x)_{black_enh}＝x^biax(x)*a

其中 $\mathrm{bias}\left(x\right)=x^{\frac{\log \left(b\right)}{\log 0.5}}$

以及a介于4.0-6.0之间，b介于0.04-0.06之间

其中x为所述图像P0的像素值，且该像素值介于0～255之间。

4.如权利要求1所述的以单张图像模拟高动态范围的暗部曝光补偿方法，其中所述亮区暗区判断图像处理的步骤，是利用

F(x)＝ax³+bx²+cx+d

其中x为被选择图像的像素值，以及其中a、b、c都为一系数，其中该x介于0～255，该F(x)介于0～255。

5.如权利要求1所述的以单张图像模拟高动态范围的暗部曝光补偿方法，其中所述模糊图像处理的步骤，是利用一高斯模糊图像处理。

6.如权利要求1所述的以单张图像模拟高动态范围的暗部曝光补偿方法，其中所述混合权重计算的步骤，是利用Alpha图层混合图像处理。

7.一种图像处理装置，包括：

第一装置，用于取得一张的一图像P0；

第二装置，用于执行将所述图像P0进行强化亮部的图像处理以获得一图像P1，以及将所述图像P0进行强化饱和对比的图像处理以获得一图像P2；

第三装置，用于从所述图像P1与所述图像P2选择其中一张图像，然后对所选择的图像执行亮区暗区判断的图像处理，然后接着执行模糊图像处理，以获得一权重参考图像P3，其中所述权重参考图像P3的各个像素值用来分别代表一权重值；

第四装置，用于依据所述权重参考图像P3的各个像素的权重值，逐一地将所述图像P1的对应像素以及所述图像P2的对应像素执行混合权重计算，如此以获得混合所述图像P1与所述图像P2的一混合图像P4。

8.如权利要求7所述的图像处理装置，其中所述强化亮部图像处理，是利用

$F\left(x\right)=\frac{\log (1.0+\frac{x\÷255}{\mathrm{\Δ\ϵ}})}{\log (1.0+\frac{1.0}{\mathrm{\Δ\ϵ}})}\×255$

其中x为所述图像P0的像素值，且该像素值介于0～255之间，以及Δε是一常数值，且该Δε介于0.001～0.1之间。

9.如权利要求7所述的图像处理装置，其中所述强化饱和对比图像处理，是利用

F(x)_{black_enh}＝x^bias(x)*a

其中 $\mathrm{bias}\left(x\right)=x^{\frac{\log \left(b\right)}{\log 0.5}}$

以及a介于4.0-6.0之间，b介于0.04-0.06之间

其中x为所述图像P0的像素值，且该像素值介于0～255之间。

10.如权利要求7所述的图像处理装置，其中所述亮区暗区判断图像处理，是利用

F(x)＝ax³+bx²+cx+d

其中x为被选择图像的像素值，以及其中a、b、c都为一系数，其中该x介于0～255，该F(x)介于0～255。

11.如权利要求7所述的图像处理装置，其中所述模糊图像处理，是利用一高斯模糊图像处理。

12.如权利要求7所述的图像处理装置，其中所述混合权重计算，是利用Alpha图层混合图像处理。

13.一种图像处理装置，包括：

存储器，至少用于存储一张的一图像P0；

处理器，用来执行下列图像处理程序：

用于执行将所述图像P0进行强化亮部的图像处理程序以获得一图像P1，以及将所述图像P0进行强化饱和对比的图像处理程序以获得一图像P2；

用于从所述图像P1与所述图像P2选择其中一张图像，然后对所选择的图像执行亮区暗区判断的图像处理程序，然后接着执行模糊图像处理程序，以获得一权重参考图像P3，其中所述权重参考图像P3的各个像素值用来分别代表一权重值；

用于依据所述权重参考图像P3的各个像素的权重值，逐一地将所述图像P1的对应像素以及所述图像P2的对应像素执行混合权重计算程序，如此以获得混合所述图像P1与所述图像P2的一混合图像P4。

14.如权利要求13所述的图像处理装置，其中所述强化亮部图像处理程序，是利用

$F\left(x\right)=\frac{\log (1.0+\frac{x\÷255}{\mathrm{\Δ\ϵ}})}{\log (1.0+\frac{1.0}{\mathrm{\Δ\ϵ}})}\×255$

其中x为所述图像P0的像素值，且该像素值介于0～255之间，以及Δε是一常数值，且该Δε介于0.001～0.1之间。

15.如权利要求13所述的图像处理装置，其中所述强化饱和对比图像处理程序，是利用

F(x)_{black_enh}＝x^blas(x)*a

其中 $\mathrm{bias}\left(x\right)=x^{\frac{\log \left(b\right)}{\log 0.5}}$

以及a介于4.0-6.0之间，b介于0.04-0.06之间

其中x为所述图像P0的像素值，且该像素值介于0～255之间。

16.如权利要求13所述的图像处理装置，其中所述亮区暗区判断图像处理程序，是利用

F(x)＝ax³+bx²+cx+d

其中x为被选择图像的像素值，以及其中a、b、c都为一系数，其中该x介于0～255，该F(x)介于0～255。

17.如权利要求13所述的图像处理装置，其中所述模糊图像处理程序，是利用一高斯模糊图像处理。

18.如权利要求13所述的图像处理装置，其中所述混合权重计算，是利用Alpha图层混合图像处理。

Images