CN105323493B - 局部增强装置、多重曝光影像系统以及局部增强方法 - Google Patents

Abstract

一种局部增强装置，包括区块分割器、第一增强单元、第二增强单元、画面动态范围估计器以及混合器。区块分割器用以将影像划分为多个区块。第一增强单元用以对区块的每一者执行亮度维持增强，而产生亮度维持区块。第二增强单元用以对区块的每一者执行亮度调整增强，而产生亮度调整区块。画面动态范围估计器用以根据影像的多个特征，产生影像的动态范围。混合器用以混合亮度维持区块以及亮度调整区块，而产生基于动态范围的增强影像。

Description

局部增强装置、多重曝光影像系统以及局部增强方法

技术领域

本发明涉及一种影像处理技术，特别涉及一种增强影像的方法与装置。

背景技术

在数字摄影中，已经发展了许多方法用来架构高动态区间的影像，其中一种方法结合相同场景的多重曝光，并保留亮区以及暗区的细节。

各种影像增强方法用以增进影像质量，以增强对比而言，其为用以增强影像的对比的流程。与增强全局的对比相比，局布对比增强可带出影像中更多的细节。至于局部对比增强，影像首先切割为数个小区块，然后将称为直方图等化法(histogram equalization)的流程执行于每一个小区块，以便利用小区块的对比增强函数而转换小区块的像素的像素值。

局部对比增强的直方图等化法的流程可改变每一小区块的亮度。举例来说，若一小区块包含较多的暗区，该小区块的亮度会在直方图等化法处理后而增加。另一方面，若一小区块包含较多的亮区，则该小区块的亮度会在直方图等化法处理后而降低。在动态范围接近影像传感器可重现的动态范围的一画面中，然而，由于调整以区块为单位的亮度，故利用局部直方图等化法的局部对比增强可降低全局对比。也就是，若一小区块包含较多的暗像素，在直方图等化法处理之后，该小区块的亮度会被增加以显现更多的细节，但是增加原本较暗的小区块的亮度会降低全局对比。

发明内容

根据本发明一实施例，一种局部增强装置，包括：区块分割器，用以将合成影像划分为多个区块，其中所述合成影像是基于来自画面撷取的长曝光影像对来自所述画面撷取的短曝光影像的曝光比例，根据所述长曝光影像以及所述短曝光影像而产生的；第一增强单元，用以对上述区块的每一者执行亮度维持对比增强，而产生亮度维持区块，其中所述亮度维持对比增强是指维持区块的平均亮度不变而增强对比度；第二增强单元，用以对上述区块的每一者执行亮度调整对比增强，而产生亮度调整区块，其中所述亮度调整对比增强是指调整区块的亮度且增强对比度；画面动态范围估计器，用以根据来自所述长曝光影像的长曝光对来自所述短曝光影像的短曝光的曝光比例，产生上述影像的动态范围；以及

混合器，用以混合上述亮度维持区块以及上述亮度调整区块，而产生基于上述动态范围的增强影像。

根据本发明一实施例，一种多重曝光影像系统，包括：长曝光影像传感器，用以基于来自画面的长曝光，撷取长曝光影像；短曝光影像传感器，用以基于来自上述画面的短曝光，撷取短曝光影像；曝光比例计算器，用以获得上述长曝光对上述短曝光的曝光比例；以及影像组成单元，用以根据上述短曝光影像以及上述长曝光影像，而产生合成影像；局部增强装置，用以将上述合成影像划分为多个区块且对上述区块的每一者执行亮度维持对比增强以及亮度调整对比增强，而产生亮度维持区块以及亮度调整区块，并且将上述亮度维持区块以及上述亮度调整区块进行混合，从而产生基于上述曝光比例的增强影像，其中所述亮度维持对比增强是指维持区块的平均亮度不变而增强对比度，其中所述亮度调整对比增强是指调整区块的亮度且增强对比度。

根据本发明一实施例，一种局部增强方法，包括：基于相同的画面的长曝光以及短曝光，分别撷取长曝光影像以及短曝光影像；结合上述长曝光影像以及上述短曝光影像而得到合成影像；产生基于上述长曝光对上述短曝光的曝光比例的动态范围；对上述合成影像执行亮度调整对比增强而产生第一对比增强影像；对上述合成影像执行亮度维持对比增强而产生第二对比增强影像，其中所述亮度维持对比增强是指维持上述合成影像的平均亮度不变而增强对比度，其中所述亮度调整对比增强是指调整上述合成影像的亮度且增强对比度；以及基于上述动态范围，混合上述第一对比增强影像以及上述第二对比增强影像。

详细的发明的说明内容将如下所述，并请搭配附图一并阅读。

附图说明

可藉由搭配附图以阅读以下的叙述以及范例，而更清楚了解本发明。

图1显示根据本发明一实施例所述的局部增强装置的方块图；

图2显示根据本发明一实施例所述的利用长曝光影像传感器以及短曝光影像传感器撷取相同画面的多重曝光影像系统的示意图；

图3显示根据本发明一实施例所述的动态范围DR以及曝光比率E_ratio；

图4显示根据本发明一实施例所述的亮度维持对比增强的示意图；以及

图5显示根据本发明一实施例所述的对比增强方法的流程图。

【符号说明】

14 区块分割器

16 画面动态范围估计器

18 亮度维持增强单元

19 亮度调整增强单元

20 混合器

100 多重曝光影像系统

122 长曝光影像传感器

124 短曝光影像传感器

132 第一像素处理单元

134 第二项素处理单元

152 第一自动曝光控制器

154 第二自动曝光控制器

160 曝光比例计算器

170 影像组成单元

180 局部增强装置

IMG 影像

DR 动态范围

BA 亮度调整区块

BP 亮度维持区块

E_ratio 曝光比例

400 对比增强方法

S402～S412 步骤流程

具体实施方式

以下叙述为最容易理解的实施本发明的方式。本说明书用以说明本发明的基本原理为目的，并未加入任何限制条件。本发明的专利范围应参考附件的权利要求书范围而决定为佳。

本发明提供用以调整多重曝光影像系统中画面的对比的对比增强模块，使得画面能够适应影像显示器以及人类肉眼。对比增强模块将根据图1以及图2所示，叙述如下。

为了避免局部直方图等化法降低全局对比，本发明的多个实施例提供一种局部对比增强装置，用以根据画面的特征，而适应性调整每一区块的亮度。举例而言，在动态范围远远小于最大动态范围(也就是影像传感器所能重现的动态范围)的一画面中，由于亮度调整以区块为单位，利用局部直方图等化法的对比增强会降低全局对比；而在动态范围接近最大动态范围(也就是影像传感器所能重现的动态范围)的另一画面中，调整每一区块的局部直方图等化法可带出影像的更多细节。所以，在动态范围低于影像传感器所能重现的动态范围的一画面中，执行亮度维持对比增强，而在动态范围接近影像传感器所能重现的动态范围的另一画面中，执行对每一区块亮度调整的原来对比增强。

图1显示根据本发明一实施例所述的局部增强装置的方块图。局部增强装置接收影像IMG，影像IMG经由区块分割器14切割为多个区块，每一个区块皆经由亮度维持增强单元18以及亮度调整增强单元19处理。亮度保存增强单元18执行直方图等化法，并维持区块的亮度而输出亮度维持区块BP。亮度调整增强单元19执行直方图等化法、调整区块的亮度而显现更多细节以及输出亮度调整区块BA。画面动态范围估计器16根据影像IMG的特征，而产生影像IMG的动态范围DR。混合器20将亮度调整区块BA以及亮度维持区块BP混合，依据动态范围DR而产生增强影像。在一画面中，其动态范围远低于最大动态范围(也就是，影像传感器所能重现的动态范围)时，混合器20偏好亮度维持的对比增强，而在另一画面中，其动态范围接近影像传感器所能重现的动态范围时，混合器20偏好调整每一区块的亮度的原始对比增强。根据本发明另一实施例，混合器20可根据动态范围DR的权重而混合亮度维持区块BP以及亮度调整区块BA。

图2显示根据本发明一实施例所述的利用长曝光影像传感器以及短曝光影像传感器撷取相同画面的多重曝光影像系统的示意图。多重曝光影像系统100包括长曝光影像传感器122以及短曝光影像传感器124，用以撷取相同画面。如图2所示，长曝光影像传感器122以及短曝光影像传感器124分别经由相同的镜片(根据其它实施例，或可为不同的镜片)，利用不同的曝光设定(包括曝光时间、放大器的增益等等)来撷取相同画面的影像，而产生长曝光影像以及短曝光影像。长曝光影像传感器122以及短曝光影像传感器124可为独立像素阵列，或是位于单一像素阵列的相异部分上。第一像素处理单元132以及第二像素处理单元134分别针对长曝光影像传感器122所产生的长曝光影像以及短曝光影像传感器124所产生的短曝光影像，执行初步影像信号处理作业。第一自动曝光控制器152以及第二自动曝光控制器154分别调整长曝光影像传感器122以及短曝光影像传感器124的曝光设定，曝光比例计算器160可计算长曝光影像传感器122以及短曝光影像传感器124的长曝光以及短曝光间的曝光比例E_ratio，使得影像组成单元170可结合分别由长曝光影像传感器122以及短曝光影像传感器124所撷取的二影像，而成为基于曝光比例E_ratio的合成影像。

然后，局部增强装置180接收合成影像IMG。合成影像IMG由区块分割器14划分为多个区块，每一区块由亮度维持增强单元18以及亮度调整增强单元19所处理。亮度维持增强单元18执行直方图等化法，并维持区块的亮度而输出亮度维持区块BP；而亮度调整增强单元19执行直方图等化法，调整区块的亮度而展现更多细节，并输出亮度调整区块BA。画面动态范围估计器16根据曝光比例E_ratio，而产生影像IMG的动态范围DR。混合器20混合亮度调整区块BA以及亮度维持区块BP，并根据动态区间DR而产生增强影像。在一画面中，其动态范围远小于最大动态范围(也就是，影像传感器能重现的动态范围)时，混合器20偏好亮度维持的对比增强，而在另一画面中，其动态范围接近影像传感器能重现的动态范围时，混合器20偏好调整每一区块的亮度的原始对比增强。在一实施例中，混合器20可利用基于动态范围DR对于混合亮度维持区块BP以及亮度调整区块BA的权重。

曝光比例E_ratio可根据长曝光传感器以及短曝光传感器的曝光时间以及放大器的增益而计算得到，动态范围DR本质上正比于曝光比例E_ratio。也就是，曝光比例E_ratio越高，则动态范围DR越高。

根据本发明另一实施例，动态范围DR可由正规化曝光比例E_ratio而得，使得动态范围DR介于0与1之间。也就是，

E_low为曝光比例的使用者定义的下限，E_high为曝光比例的使用者定义的上限，且通常根据影像显示器或人眼的限制而定。图3显示根据本发明一实施例所述的动态范围DR以及曝光比率E_ratio。

可以轻易发现的是，动态范围DR越高，则影像IMG的动态范围越广。对于处理具有高动态范围的合成影像IMG，通常偏好增强其对比以及调整每一区块的亮度。所以，在一实施例中，当动态范围DR的值高达1时，混合器20仅利用亮度调整增强单元19来产生增强影像。亮度调整增强单元19对区块执行直方图等化法而产生亮度调整区块BA，而混合器20利用来自亮度调整增强单元19的所有区块来产生增强影像。

相反地，动态范围DR越低，则影像IMG的动态范围也越窄。具有较窄动态范围的影像可代表画面的实际亮度，但是可能有时太亮而有时太暗。为了实际画面与人类感知一致，具有较窄动态范围的影像的亮度必需尽可能的维持相同。所以，使用亮度调整的对比增强来处理具有较窄动态范围的影像并不适合。因此，根据本发明一实施例，当动态范围DR低到0时，混合器20仅使用亮度维持增强单元18来增强对比，但本质上维持合成影像IMG的亮度。亮度维持增强单元18执行直方图等化法并维持区块的亮度而产生亮度维持区块BP，且混合器20利用来自亮度维持增强单元18的所有区块来产生增强影像。图4显示根据本发明一实施例所述的亮度维持对比增强的示意图，其于影像直方图上显示两段直方图等化法的曲线。在两段直方图等化法中，影像直方图划分为任意二数段：一亮(右)段的亮度值大于128，一暗(左)段的亮度值小于128。直方图等化法分别执行于二段的每一者，使得整个影像的对比稍微改善，而没有大幅度改变其平均亮度。图4的实施例仅用于说明解释，本领域普通技术人员能够将影像直方图切成任意段。

当动态范围DR介于0与1之间时，混合器20可将来自亮度维持增强单元18的亮度维持区块BP以及来自亮度调整增强单元19的亮度调整区块BA混合，以得到基于动态范围DR的增强影像。假定亮度维持增强单元18利用第一对比增强函数CEF1执行亮度维持对比增强，而亮度调整增强单元19利用第二对比增强函数CEF2执行亮度调整对比增强，混合器20的最终的对比增强函数CEFF可以下列函数表示：CEFF＝DR×CEF2+(1-DR)×CEF1。

图5显示根据本发明一实施例所述的对比增强方法的流程图。对比增强方法400首先在步骤S402中，分别自相同画面撷取具有长曝光的长曝光影像以及具有短曝光的短曝光影像。随后，在步骤S404中，将长曝光影像以及短曝光影像合并至合成影像。在步骤S406中，产生基于长曝光至短曝光的曝光比例的动态范围。在步骤S408中，对合成影像执行亮度调整对比增强而产生第一对比增强影像。在步骤S410中，对合成影像执行亮度维持对比增强而产生第二对比增强影像。随后，在步骤S412，基于动态范围而混合第一对比增强影像以及第二对比增强影像。

以上叙述许多实施例的特征，使所属技术领域中普通技术人员能够清楚理解本说明书的形态。所属技术领域中普通技术人员能够理解其可利用本发明揭示内容为基础以设计或更动其它制程及结构而完成相同于上述实施例的目的和/或达到相同于上述实施例的优点。所属技术领域中普通技术人员亦能够理解不脱离本发明的精神和范围的等效构造可在不脱离本发明的精神和范围内作任意的更动、替代与润饰。

Claims (18)

1.一种局部增强装置，包括：

区块分割器，用以将合成影像划分为多个区块，其中所述合成影像是基于来自画面撷取的长曝光影像对来自所述画面撷取的短曝光影像的曝光比例，根据所述长曝光影像以及所述短曝光影像而产生的；

第一增强单元，用以对上述区块的每一者执行亮度维持对比增强，而产生亮度维持区块，其中所述亮度维持对比增强是指维持区块的平均亮度不变而增强对比度；

第二增强单元，用以对上述区块的每一者执行亮度调整对比增强，而产生亮度调整区块，其中所述亮度调整对比增强是指调整区块的亮度且增强对比度；

画面动态范围估计器，用以根据来自所述长曝光影像的长曝光对来自所述短曝光影像的短曝光的曝光比例，产生上述影像的动态范围；以及

混合器，用以混合上述亮度维持区块以及上述亮度调整区块，而产生基于上述动态范围的增强影像。

2.如权利要求1所述的局部增强装置，其中上述第一增强单元对上述区块的每一者执行直方图等化法且维持上述区块的平均亮度不变而产生上述亮度维持区块，上述第二增强单元对上述区块的每一者执行直方图等化法且调整上述区块的每一者的亮度而产生上述亮度调整区块。

3.如权利要求1所述的局部增强装置，其中上述混合器利用基于上述动态范围的权重，混合上述亮度维持区块以及上述亮度调整区块。

4.如权利要求1所述的局部增强装置，其中当上述动态范围远小于最大动态范围时，上述混合器偏重上述亮度维持区块，当上述动态范围接近上述最大动态范围时，上述混合器偏重上述亮度调整区块。

5.一种多重曝光影像系统，包括：

长曝光影像传感器，用以基于来自画面的长曝光，撷取长曝光影像；

短曝光影像传感器，用以基于来自上述画面的短曝光，撷取短曝光影像；

曝光比例计算器，用以获得上述长曝光对上述短曝光的曝光比例；以及

影像组成单元，用以根据上述短曝光影像以及上述长曝光影像，而产生合成影像；

局部增强装置，用以将上述合成影像划分为多个区块且对上述区块的每一者执行亮度维持对比增强以及亮度调整对比增强，而产生亮度维持区块以及亮度调整区块，并且将上述亮度维持区块以及上述亮度调整区块进行混合，从而产生基于上述曝光比例的增强影像，其中所述亮度维持对比增强是指维持区块的平均亮度不变而增强对比度，其中所述亮度调整对比增强是指调整区块的亮度且增强对比度。

6.如权利要求5所述的多重曝光影像系统，其中上述局部增强装置包括画面动态范围估计器，用以根据上述曝光比例而获得上述合成影像的动态范围，且上述局部增强装置混合上述亮度维持区块以及上述亮度调整区块，并根据上述动态范围的权重而产生上述增强影像。

7.如权利要求6所述的多重曝光影像系统，其中当上述动态范围远小于最大动态范围时，上述局部增强装置偏重上述亮度维持区块，当上述动态范围接近上述最大动态范围时，上述局部增强装置偏重上述亮度调整区块。

8.如权利要求6所述的多重曝光影像系统，其中上述动态范围正比于上述曝光比例。

9.如权利要求6所述的多重曝光影像系统，其中上述画面动态范围估计器通过归一化上述曝光比例而获得上述动态范围。

10.如权利要求6所述的多重曝光影像系统，其中上述画面动态范围估计器归一化上述曝光比例，通过下列函数而获得上述动态范围：

其中DR为上述动态范围，E_ratio为上述曝光比例，E_low为上述曝光比例的使用者定义的下限，E_high为上述曝光比例的使用者定义的上限。

11.如权利要求10所述的多重曝光影像系统，其中上述局部增强装置还包括：

区块分割器，用以将上述合成影像划分成多个区块；

第一增强单元，用以对上述区块的每一者执行上述亮度维持对比增强而产生上述亮度维持区块；

第二增强单元，用以对上述区块的每一者执行上述亮度调整对比增强而产生上述亮度调整区块；

混合器，用以将上述亮度维持区块以及上述亮度调整区块进行混合，从而产生基于上述动态范围的上述增强影像。

12.如权利要求11所述的多重曝光影像系统，其中当上述动态范围介于0与1之间时，上述第一增强单元以第一对比增强函数执行上述亮度维持对比增强且上述第二增强单元以第二对比增强函数执行上述亮度调整对比增强，上述混合器的最终的对比增强函数表示为CEFF＝DR×CEF2+(1-DR)×CEF1，其中CEF1为上述第一对比增强函数，CEF2为上述第二对比增强函数，CEFF为上述最终的对比增强函数，DR为上述动态范围。

13.如权利要求11所述的多重曝光影像系统，其中上述第一增强单元对上述区块的每一者执行直方图等化法且维持上述区块的平均亮度不变而产生上述亮度维持区块，上述第二增强单元对上述区块的每一者执行直方图等化法且调整上述区块的每一者的亮度而产生上述亮度调整区块。

14.一种局部增强方法，包括：

基于相同的画面的长曝光以及短曝光，分别撷取长曝光影像以及短曝光影像；

结合上述长曝光影像以及上述短曝光影像而得到合成影像；

产生基于上述长曝光对上述短曝光的曝光比例的动态范围；

对上述合成影像执行亮度调整对比增强而产生第一对比增强影像；

对上述合成影像执行亮度维持对比增强而产生第二对比增强影像，其中所述亮度维持对比增强是指维持上述合成影像的平均亮度不变而增强对比度，其中所述亮度调整对比增强是指调整上述合成影像的亮度且增强对比度；以及

基于上述动态范围，混合上述第一对比增强影像以及上述第二对比增强影像。

15.如权利要求14所述的局部增强方法，其中上述动态范围正比于上述曝光比例。

16.如权利要求14所述的局部增强方法，其中上述动态范围由归一化上述曝光比例而得。

17.如权利要求14所述的局部增强方法，其中上述曝光比例归一化以通过下列函数而取得上述动态范围：

其中DR为上述动态范围，E_ratio为上述曝光比例，E_low为上述曝光比例的使用者定义的下限，E_high为上述曝光比例的使用者定义的上限。

18.如权利要求17所述的局部增强方法，其中当上述动态范围为1时，仅利用亮度调整区块来产生上述第一对比增强影像，当上述动态范围为0时，仅利用亮度维持区块来产生上述第二对比增强影像。