CN110881108A - 图像处理方法及图像处理装置 - Google Patents

Abstract

本发明提供一种图像处理方法及图像处理装置。所述方法包括：取得特定场景的第一图像，并从第一图像中获取第一主体；基于第一主体决定第一亮度值；以第一亮度值作为包围式曝光机制的基准值，并执行包围式曝光机制以对特定场景拍摄多张第二图像；将前述第二图像合成为第一高动态范围图像；从第一高动态范围图像中获取第二主体，其中第二主体具有第二亮度值；当第二亮度值低于第一亮度值达预设门限值时，优化第二主体；将优化后的第二主体与第一高动态范围图像合成为第二高动态范围图像。

Description

图像处理方法及图像处理装置

技术领域

本发明涉及一种图像处理方法及图像处理装置，尤其涉及一种可优化图像中主体的图像处理方法及图像处理装置。

背景技术

在以传统单张图像取像技术拍摄具高反差亮度的场景时(例如，逆光场景)，受限于传感器的动态范围(Dynamic Range)，可能使得所拍摄出的图像因曝光机制的不易调整而出现不佳的图像品质。举例而言，在图像中主体(例如，人像)亮度较暗的情况下，现有作法可能会选择较长的曝光设定，以期拉高主体区域的图像亮度。然而，此方式可能会因曝光时间增长，而造成图像中其他较高亮度的区域出现过度曝光的情形。也即，此方式虽可让主体在所产生的图像中具有较为正常的亮度，但却可能令背景出现过曝的情形，如图1A所示。

另一方面，若曝光设定改以亮部区域为主，为避免亮部区域过曝，则会相应地选择较短的曝光时间。然而，此举反而可能造成图像主体区域因曝光不足而过暗，如图1B所示。也就是说，无论采用何种曝光设定，皆无法产生主体及背景皆清晰的图像。

现有的高动态范围(high dynamic range，HDR)技术是一种处理多张图像的技术，其可通过将基于不同曝光值所拍摄的图像叠合，再经由阶调再现(Tone Reproduction)的调整，从而产生亮部与暗部细节皆有的HDR图像。通过HDR机制，可较精准地还原现场景物的动态范围，避免图像有过曝或过暗的区域，并保留明亮与暗部区域的细节。

然而，区域性阶调再现的调整不仅费时，且容易产生光晕(即，在黑白边界处出现异常的白边或黑边)的问题，如图1C所示。并且，在经过现有HDR图像处理技术所产生的HDR图像中，主体亮度可能会随着图像的叠合而出现对比度下降的情况，从而可能造成主体立体感下降以及不自然的亮度变化。

现有一种高HDR图像合成演算法，其可利用机器学习暨图像合成模型，直接接收复数不同曝光度的原始图像后，依据网络参数合成一参考高动态范围图像。但此前案无法达成改善HDR图像中主体的图像品质的功效。

现有一种操作装置以获取HDR图像的方法，其可在接受HDR命令之前，以正常曝光的方式摄取多张照片，并在HDR命令之后取得过度曝光和不足曝光的照片，再将正常曝光、过度曝光和不足曝光的照片进行对齐(align)。然而，此前案同样无法达成改善HDR图像中主体的图像品质的功效。

现有一种针对皮肤切片的图像技术，其可先取非HDR照片，再取相同位置的HDR照片。然而，此前案同样无法达成改善HDR图像中主体的图像品质的功效。

现有一种局部HDR的实现方法及系统，其可由用户手动选择局部曝光的区域，并针对特定区域调整曝光值。然而，由于此前案调整曝光值的机制高度关联于用户的手动操作内容，因此同样无法有效地达成改善HDR图像中主体的图像品质的功效。

发明内容

有鉴于此，本发明提出一种图像处理方法及图像处理装置，其可用以解决上述技术问题。

本发明提供一种图像处理方法，包括：取得一特定场景的一第一图像，并从第一图像中获取一第一主体；基于第一主体决定一第一亮度值；以第一亮度值作为一包围式曝光机制的一基准值，并执行包围式曝光机制以对特定场景拍摄多张第二图像；将前述第二图像合成为一第一高动态范围图像；从第一高动态范围图像中获取一第二主体，其中第二主体具有一第二亮度值；当第二亮度值低于第一亮度值达一预设门限值时，优化第二主体；将优化后的第二主体与第一高动态范围图像合成为一第二高动态范围图像。

本发明提供一种图像处理装置，包括存储电路、图像获取电路及处理器。存储电路存储多个模块。处理器耦接存储电路及图像获取电路，存取前述模块以执行下列步骤：控制图像获取电路取得一特定场景的一第一图像，并从第一图像中获取一第一主体；基于第一主体决定一第一亮度值；以第一亮度值作为一包围式曝光机制的一基准值，并控制图像获取电路执行包围式曝光机制以对特定场景拍摄多张第二图像；将前述第二图像合成为一第一高动态范围图像；从第一高动态范围图像中获取一第二主体，其中第二主体具有一第二亮度值；当第二亮度值低于第一亮度值达一预设门限值时，优化第二主体；将优化后的第二主体与第一高动态范围图像合成为一第二高动态范围图像。

基于上述，本发明提出一种图像处理方法及图像处理装置，其可适应性地针对HDR图像中的主体进行优化，从而令所产生的HDR图像中的主体具更佳的立体感及更为自然的亮度变化。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1A是示出背景过度曝光的示意图；

图1B是示出主体过暗的示意图；

图1C是光晕现象的示意图；

图2是依据本发明的一实施例示出的图像处理装置功能方块图；

图3是本发明实施例的图像处理方法的流程图；

图4是依据本发明的一实施例示出的使用图3方法进行主体优化的应用情境。

附图标记说明

100：电子装置

200：图像处理装置

212：存储电路

214：图像获取电路

216：处理器

411：第一图像

411a：第一主体

411b：主体区域

412：第二图像

413：第二HDR图像

413a：优化后的第二主体

S311～S319：步骤

具体实施方式

请参照图2，其是依据本发明的一实施例示出的图像处理装置功能方块图。在本实施例中，图像处理装置200包括存储电路212、图像获取电路214及处理器216。

在不同的实施例中，图像处理装置200可以是手机、智能手机、个人电脑(personalcomputer，PC)、笔记本电脑(notebook PC)、上网本电脑(netbook PC)、平板电脑(tabletPC)、数码相机或是其他类似的智能装置，但可不限于此。

存储电路212可为任意型式的固定式或可移动式随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash memory)、硬盘或其他类似装置，而可用以存储电脑可读写软件、图像、程序模块及其他信息。

图像获取电路214可以是任何具有电荷耦合元件(Charge coupled device，CCD)镜头、互补式金氧半晶体管(Complementary metal oxide semiconductor transistors，CMOS)镜头，或红外线镜头的摄影机，也可以是可取得深度信息的图像获取设备，例如是深度摄影机(depth camera)或立体摄影机等。

处理器216耦接于存储电路212及图像获取电路214，并可为一般用途处理器、特殊用途处理器、传统的处理器、数字信号处理器、多个微处理器(microprocessor)、一个或多个结合数字信号处理器核心的微处理器、控制器、微控制器、特殊应用集成电路(Application Specific Integrated Circuit，ASIC)、场可程序门阵列电路(FieldProgrammable Gate Array，FPGA)、任何其他种类的集成电路、状态机、基于进阶精简指令集机器(Advanced RISC Machine，ARM)的处理器以及类似品。

请参照图3及图4，其中图3是本发明实施例的图像处理方法的流程图，而图4是依据本发明的一实施例示出的使用图3方法进行主体优化的应用情境。图3的方法可由图2的图像处理装置200执行，以下即搭配图2所示的各个元件及图4所示情境来说明图3各步骤的细节。

在步骤S311中，处理器216控制图像获取电路214取得特定场景的第一图像411，并从第一图像411中获取第一主体411a(例如，人体)。

在一实施例中，处理器216可将第一图像411输入一人工智能模块，以基于此人工智能模块获取第一主体411a。前述人工智能模块例如可先基于一定数量的训练数据(例如，训练图像)训练出一个人工智能模型。在不同的实施例中，可由人工或是其他方式在前述训练图像中标记出设计者所欲考虑的主体态样(例如人体、动物、植物等)，藉以让前述人工智能模型在被训练的过程中，可基于训练图像中被标记出的主体态样而了解具备何种特征(例如颜色、形状等)的物件、区域可被称为是图像中的主体部分。在完成上述训练过程后，当人工智能模型接收到一张未知图像时，即可通过分析此未知图像中各物件、区域的特征来找出哪些物件、区域可能对应于此未知图像的主体(例如人体)，但本发明可不限于此。因此，在一实施例中，在上述人工智能模块接收到第一图像411之后，可通过前述人工智能模型识别第一图像411中的第一主体411a。

在另一实施例中，处理器216也可产生第一图像411的深度图，并分析此深度图以在其中找出第一主体411a。举例而言，当图像获取电路214被实现为深度摄影机(例如飞行时间(time-of-flight，TOF)摄影机)、立体摄影机、双镜头摄影机、红外线深度感测模块或其他可取得图像深度图的装置时，处理器216即可相应地控制图像获取电路214产生第一图像411的深度图。之后，处理器216可从此深度图中找出与图像处理装置200距离较近(即，深度较浅)的物件区域。接着，处理器216可将此物件区域标示为如图4所示的主体区域411b，即对应于第一主体411a的区域，但可不限于此。

在步骤S312中，处理器216可基于第一主体411a决定第一亮度值。在一实施例中，处理器216可取得第一主体411a所包括的多个像素以及各像素的亮度值。接着，处理器216可计算各像素亮度值的亮度平均值，并以此亮度平均值作为上述第一亮度值。换言之，上述第一亮度值即为第一主体411a的平均亮度值，但本发明可不限于此。在其他实施例中，若第一图像411中存在多个主体时，处理器411也可将这些主体的平均亮度值作为上述第一亮度值，或是在各主体的平均亮度值中取最高者作为上述第一亮度值。

在其他实施例中，上述第一亮度值也可由人工智能模块决定。具体而言，人工智能模块可利用一分类模块来为第一图像411决定其所属的图像分类，再通过一排名模块基于上述分类的结果及第一训练数据(包括特征及颜色)进行排名(ranking)。之后，可再基于排名的结果及第二训练数据(例如包括网络投票的结果、视野(field of view，FOV))来哪个数值更适合作为第一图像411所对应的第一亮度值，但可不限于此。

在步骤S313中，处理器216可以第一亮度值作为包围式曝光(bracketing)机制的基准值，并控制图像获取电路214执行包围式曝光机制以对特定场景拍摄多张第二图像412。在一实施例中，处理器216可以第一亮度值作为包围式曝光机制中的0曝光值(exposure value，EV)(即，0EV)。之后，处理器216可基于-N曝光值至+N曝光值拍摄特定场景，以产生第二图像412，其中N为正整数。举例而言，假设N为2，则处理器216可基于-2EV、-1EV、0EV(其对应于上述第一亮度值，即第一主体411a的平均亮度值)、1EV及2EV等曝光值各拍摄一张图像，以作为第二图像412。应了解的是，图4所示的第二图像412仅用以举例，并非用以限定本发明可能的实施方式。

在步骤S314中，处理器216可将第二图像412合成为第一HDR图像(未示出)。在本实施例中，处理器216可基于已知的HDR图像处理技术而将第二图像412叠合成为上述第一HDR图像，其细节于此不再赘述。

在步骤S315中，处理器216可从第一HDR图像中获取第二主体(未示出)。在一实施例中，处理器216可将第一HDR图像输入至先前提及的人工智能模块，以通过其中的人工智能模型来识别第一HDR图像中的第二主体。在另一实施例中，处理器216也可基于先前教示的方式而从对应于第一HDR图像的深度图中识别出对应于上述第二主体的主体区域，从而在第一HDR图像中定义出第二主体，其细节于此不再赘述。

由于第一HDR图像与第一图像411实质上是对应于同一个特定场景，因此经由人工智能模块所找出的第二主体与先前找出的第一主体411a应大致对应至同一个主体(即，图4所示的人体)。

然而，如先前所提及的，第一HDR图像中的第二主体可能会因图像的叠合而出现对比度下降的情况，从而可能造成第二主体立体感下降以及不自然的亮度变化。因此，本发明可通过以下机制来判断第二主体的第二亮度值(例如，第二主体的区域内像素的亮度平均值)是否与第一主体411a的第一亮度值差距过大，进而作为是否优化第二主体的依据。

具体而言，在步骤S316中，处理器216可判断第二亮度值是否低于第一亮度值达预设门限值。在不同的实施例中，设计者可依需求而将上述预设门限值设定为所需的数值(例如10％、20％、30％等，但可不限于此)。

若第二亮度值低于第一亮度值达预设门限值(例如，10％)，即代表第一HDR图像中的第二主体可能已出现对比度下降、立体感下降等不佳的图像品质，故处理器216可接续执行步骤S317以优化第二主体。

在一实施例中，处理器216可将第二主体的第二亮度值调整为第一主体411a的第一亮度值以优化第二主体，从而令第二主体能够变得较明亮。在其他实施例中，处理器216也可依设计者设定的任意比例值(例如10％、20％、30％等，但可不限于此)来调整第二主体的第二亮度值，以通过定量地提升第二主体亮度的方式来优化第二主体，但可不限于此。

在优化第二主体之后，处理器216可接续执行步骤S318以将优化后的第二主体413a与第一HDR图像合成为第二HDR图像413。在一实施例中，处理器216可将优化后的第二主体413a叠合于第一HDR图像上的第二主体，以产生第二HDR图像413。也即，图像处理装置200可将第二HDR图像413作为最终输出的图像，以供使用者观看。

由图4所示的第二HDR图像413可看出，第二HDR图像413除了可清晰呈现亮部及暗部细节之外，优化后的第二主体413a还可因具有较佳的明亮度而进一步提升第二HDR图像413的图像品质。

另一方面，若第二亮度值在步骤S316中被判定为未低于第一亮度值达预设门限值，即代表第一HDR图像中的第二主体可能并未出现对比度下降或立体感下降等问题，故处理器216可接续执行步骤S319以输出第一HDR图像。换言之，若第二主体的亮度未明显下降，则处理器216可不需优化第二主体，而直接以第一HDR图像作为最终输出的图像。

综上所述，本发明提出一种图像处理方法及图像处理装置，其可基于人工智能模块或是深度图而从第一图像中找出第一主体，并以第一主体的平均亮度值作为包围式曝光机制的基准值。接着，在基于包围式曝光机制产生第一HDR图像之后，本发明可在第一HDR图像中的第二主体的亮度值与第一主体的亮度值之间差距过大时，针对第二主体进行优化，并据以产生第二HDR图像。藉此，第二HDR图像的图像品质除了可提供清晰的亮部及暗部细节之外，其中的第二主体还可因被优化而呈现更佳的立体感及更为自然的亮度变化。

此外，由于本发明可通过人工智能来自动识别上述第一主体及第二主体，因而除了可使得运作的过程更有效率之外，还可保证所输出的HDR图像具有一定的图像品质。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视权利要求所界定的为准。

Claims (20)

1.一种图像处理方法，包括：

取得特定场景的第一图像，并从所述第一图像中获取第一主体；

基于所述第一主体决定第一亮度值；

以所述第一亮度值作为包围式曝光机制的基准值，并执行所述包围式曝光机制以对所述特定场景拍摄多张第二图像；

将所述多张第二图像合成为第一高动态范围图像；

从所述第一高动态范围图像中获取第二主体，其中所述第二主体具有第二亮度值；

当所述第二亮度值低于所述第一亮度值达预设门限值时，优化所述第二主体；

将优化后的所述第二主体与所述第一高动态范围图像合成为第二高动态范围图像。

2.根据权利要求1所述的方法，其中从所述第一图像中获取所述第一主体的步骤包括：

将所述第一图像输入人工智能模块，以基于所述人工智能模块获取所述第一主体。

3.根据权利要求1所述的方法，其中从所述第一图像中获取所述第一主体的步骤包括：

取得所述第一图像的深度图，并分析所述深度图以在所述深度图中找出所述第一主体。

4.根据权利要求1所述的方法，其中基于所述第一主体决定所述第一亮度值的步骤包括：

取得所述第一主体所包括的多个像素以及各所述像素的亮度值；以及

计算各所述像素的所述亮度值的亮度平均值，并以所述亮度平均值作为所述第一亮度值。

5.根据权利要求1所述的方法，其中以所述第一亮度值作为所述包围式曝光机制的所述基准值，并执行所述包围式曝光机制以对所述特定场景拍摄所述多张第二图像的步骤包括：

以所述第一亮度值作为所述包围式曝光机制中的0曝光值；

基于-N曝光值至+N曝光值拍摄所述特定场景，以产生所述多张第二图像，其中N为正整数。

6.根据权利要求1所述的方法，其中从所述第一高动态范围图像中获取所述第二主体的步骤包括：

将所述第一高动态范围图像输入人工智能模块，以基于所述人工智能模块获取所述第二主体。

7.根据权利要求1所述的方法，其中从所述第一高动态范围图像中获取所述第二主体的步骤包括：

产生所述第一高动态范围图像的深度图，并分析所述深度图以在所述深度图中找出所述第二主体。

8.根据权利要求1所述的方法，其中当所述第二亮度值未低于所述第一亮度值达所述预设门限值时，输出所述第一高动态范围图像。

9.根据权利要求1所述的方法，其中优化所述第二主体的步骤包括：

将所述第二主体的所述第二亮度值调整为所述第一主体的所述第一亮度值。

10.根据权利要求1所述的方法，其中将优化后的所述第二主体与所述第一高动态范围图像合成为所述第二高动态范围图像的步骤包括：

将优化后的所述第二主体叠合于所述第一高动态范围图像上的所述第二主体，以产生所述第二高动态范围图像。

11.一种图像处理装置，包括：

存储电路，存储多个模块；

图像获取电路；

处理器，耦接所述存储电路及所述图像获取电路，存取所述多个模块以执行下列步骤：

控制所述图像获取电路取得特定场景的第一图像，并从所述第一图像中获取第一主体；

基于所述第一主体决定第一亮度值；

以所述第一亮度值作为包围式曝光机制的基准值，并控制所述图像获取电路执行所述包围式曝光机制以对所述特定场景拍摄多张第二图像；

将所述多张第二图像合成为第一高动态范围图像；

从所述第一高动态范围图像中获取第二主体，其中所述第二主体具有第二亮度值；

当所述第二亮度值低于所述第一亮度值达预设门限值时，优化所述第二主体；

将优化后的所述第二主体与所述第一高动态范围图像合成为第二高动态范围图像。

12.根据权利要求11所述的图像处理装置，其中所述处理器经配置以：

将所述第一图像输入人工智能模块，以基于所述人工智能模块获取所述第一主体。

13.根据权利要求11所述的图像处理装置，其中所述处理器经配置以：

取得所述第一图像的深度图，并分析所述深度图以在所述深度图中找出所述第一主体。

14.根据权利要求11所述的图像处理装置，其中所述处理器经配置以：

取得所述第一主体所包括的多个像素以及各所述像素的亮度值；以及

计算各所述像素的所述亮度值的亮度平均值，并以所述亮度平均值作为所述第一亮度值。

15.根据权利要求11所述的图像处理装置，其中所述处理器经配置以：

以所述第一亮度值作为所述包围式曝光机制中的0曝光值；

基于-N曝光值至+N曝光值拍摄所述特定场景，以产生所述多张第二图像，其中N为正整数。

16.根据权利要求11所述的图像处理装置，其中所述处理器经配置以：

将所述第一高动态范围图像输入人工智能模块，以基于所述人工智能模块获取所述第二主体。

17.根据权利要求11所述的图像处理装置，其中所述处理器经配置以：

产生所述第一高动态范围图像的深度图，并分析所述深度图以在所述深度图中找出所述第二主体。

18.根据权利要求11所述的图像处理装置，其中当所述第二亮度值未低于所述第一亮度值达所述预设门限值时，所述处理器经配置以输出所述第一高动态范围图像。

19.根据权利要求11所述的图像处理装置，其中所述处理器经配置以：

将所述第二主体的所述第二亮度值调整为所述第一主体的所述第一亮度值。

20.根据权利要求11所述的图像处理装置，其中所述处理器经配置以：

将优化后的所述第二主体叠合于所述第一高动态范围图像上的所述第二主体，以产生所述第二高动态范围图像。

Images