CN102811315A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本发明公开了图像处理装置、图像处理方法和程序。提供了一种图像处理装置，包括：组合处理单元，该组合处理单元执行图像效果处理和对多个图像的图像数据的组合处理；以及控制单元，该控制单元判定多个图像的图像数据是否是由对逆光场景的图像拍摄产生的图像数据，并且如果图像数据是由对逆光场景的图像拍摄产生的，则可操作来使得组合处理单元执行把与组合处理有关的图像数据转换成非写实图像内容的图像效果处理。

Description

图像处理装置、图像处理方法和程序

技术领域

本公开涉及图像处理装置、图像处理方法和实现这种图像处理方法的程序，具体地涉及使能向图像应用各种效果的图像处理技术。

背景技术

过去已设想了对具有宽动态范围的图像的灰度的范围进行压缩和优化的HDR(高动态范围)压缩处理(参见例如日本早期专利公布No.2008-104010(US2008/0187235)和2008-104009)。

作为一个示例，从具有不同曝光的多个图像产生具有宽动态范围的图像，然后利用平滑滤波器将这种图像分解成低频成分和高频成分(细节成分)，并且压缩低频成分的灰度的范围。然后，按与压缩相应的程度强调细节成分，最后组合处理后的两个成分。通过这样做，在使细节成分的损失达到最低限度的同时压缩了整体灰度范围，从而获得了具有正常范围、但有改善的图像质量的图像。也公开了在不组合具有高动态范围的图像的情况下从多个图像产生正常范围的图像的方法。

日本早期专利公布No.2000-92378(USP7,098,946)公开了一种图像拍摄装置，该图像拍摄装置具有能够在具有大亮度差的被摄体存在时自动地针对逆光进行校正的图像拍摄模式。

发明内容

然而，近年来，用户现在希望欣赏更多种多样的图像，并且除了简单地压缩灰度范围以外，对于其他图像效果也有需求。因此，本公开的目标在于提供一种根据所拍摄的场景而获得非写实(non-photorealistic)图像数据的图像处理方法。

根据本公开的实施例的一种图像处理装置包括：组合处理单元，该组合处理单元执行图像效果处理和对多个图像的图像数据的组合处理；以及控制单元，该控制单元判定多个图像的图像数据是否是由对逆光场景的图像拍摄产生的图像数据，并且如果图像数据是由对逆光场景的图像拍摄产生的，则可操作来使得组合处理单元执行把与组合处理有关的图像数据转换成非写实图像内容的图像效果处理。

根据本公开的实施例的一种图像处理方法包括：判定要处理的多个图像的图像数据是否是由对逆光场景的图像拍摄产生的图像数据；对多个图像的图像数据执行组合处理；以及如果图像数据是由对逆光场景的图像拍摄产生的，则执行把与组合处理有关的图像数据转换成非写实图像内容的图像效果处理。

根据本公开的实施例的一种程序是使得计算处理装置执行处理的程序，所述处理包括：判定要处理的多个图像的图像数据是否是由对逆光场景的图像拍摄产生的图像数据；使得对多个图像的图像数据执行组合处理；以及如果图像数据是由对逆光场景的图像拍摄产生的，则执行把与组合处理有关的图像数据转换成非写实图像内容的图像效果处理。

根据上述的本公开的实施例，通过对多个图像的图像数据执行组合处理作为图像处理，可以获得HDR压缩图像等等的图像数据。然而，如果多个图像的图像数据是由对逆光场景的图像拍摄产生的图像数据，则额外还执行产生诸如绘画式图像之类的非写实图像的图像效果处理。通过这样做，可以通过执行逆光场景的图像拍摄获得特殊且非常的图像。

根据上述的本公开的实施例，可以从对逆光场景拍摄的图像获得经历了非写实图像效果处理的图像。从而，用户只要通过拍摄逆光场景或者提供对逆光场景拍摄的图像就可以欣赏非写实图像。

附图说明

图1是根据本公开的实施例的图像拍摄装置的框图；

图2A和2B是可用于说明根据本实施例的绘画式图像(painterlyimage)的示图；

图3是根据本实施例的组合处理单元的框图；

图4是根据本实施例的细节生成单元的框图；

图5是本实施例的处理示例I的流程图；

图6A和6B是示出本实施例中的图像处理的流程的流程图；

图7是本实施例的处理示例II的流程图；

图8是本实施例的处理示例III的流程图；

图9是本实施例的处理示例IV的流程图；

图10是根据本实施例的组合处理单元的另一示例配置的框图；

图11是根据本实施例的个人计算机的框图；

图12是根据本实施例的应用到个人计算机的处理示例V的流程图；

图13是根据本实施例的应用到个人计算机的处理示例VI的流程图；并且

图14是根据本实施例的应用到个人计算机的处理示例VII的流程图。

具体实施方式

以下，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同的标号来表示具有基本相同的功能和结构的结构元素，并且省略对这些结构元素的重复说明。

将按以下所示顺序描述本公开的实施例。

1.图像拍摄装置的配置

2.组合处理单元的配置

3.处理示例I

4.处理示例II

5.处理示例III

6.处理示例IV

7.组合处理单元的替换示例配置

8.应用到个人计算机(处理示例V、VI、VII)

9.程序

10.修改

1.图像拍摄装置的配置

首先，将描述根据本公开的图像处理装置被包含在图像拍摄装置中的实施例。注意，根据本公开的图像处理装置是由以下所述的组合处理单元16和控制单元20实现的。

图1是示出图像拍摄装置1的主要配置的示例的框图。

图1所示的图像拍摄装置1是拍摄被摄体的图像、将被摄体的图像转换成数据并且输出该数据的装置。图像拍摄装置1包括光学块11、A/D转换单元13、ISO(国际标准化组织)增益调整单元14、缓冲存储器15、组合处理单元16、显影处理单元17、记录单元18、显示单元19、控制单元20、LPF(低通滤波器)21以及检测单元22。

光学块11包括把来自被摄体的光聚焦在图像拍摄元件12上的透镜、用于驱动透镜以执行聚焦和/或变焦的驱动机构(均未示出)、光圈11a、快门11b等等。光学块11内的驱动机构根据来自控制单元20的控制信号被驱动。图像拍摄元件12是诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)之类的拍摄元件并且把来自被摄体的入射光转换成电信号。

A/D转换单元13把从图像拍摄元件12输出的图像信号转换成数字数据。ISO增益调整单元14根据来自控制单元20的增益控制值向来自A/D转换单元13的图像数据的各RGB(红、绿、蓝)成分应用统一的增益。注意，ISO增益的调整可在输入到A/D转换单元13中之前在模拟图像信号阶段执行。

缓冲存储器15临时存储通过以各不相同的曝光连续拍摄多个图像的包围式图像拍摄获得的多个图像的数据。组合处理单元16把缓冲存储器15内的通过包围式图像拍摄获得的多个图像组合成单个图像。具体地，在本实施例中，组合处理单元16执行作为HDR压缩处理的组合处理。组合处理单元16还执行通过对组合图像数据执行细节调整处理获得非写实图像(绘画式图像)的图像效果处理。

显影处理单元17是主要把从组合处理单元16输出的RAW图像数据转换成可见图像数据或者换言之执行RAW显影处理的块。显影处理单元17对RAW图像数据执行数据插值(去马赛克)处理、各种颜色调整/转换处理(例如白平衡调整处理、高亮度拐点压缩处理、伽玛校正处理、光圈校正处理和限幅处理)、根据预定的编码技术(这里使用JPEG(联合图片专家组)技术)的图像压缩编码处理等等。

记录单元18是用于把通过图像拍摄获得的图像数据作为数据文件存储的装置，并且作为一个示例是由可移除闪存、HDD(硬盘驱动器)等等实现的。注意，除了被显影处理单元17编码的JPEG数据31以外，记录单元18还能够把从组合处理单元16输出的RAW图像数据32作为数据文件存储。记录单元18中记录的RAW图像数据也可以被读出、由显影处理单元17处理并重新作为JPEG数据文件被记录在记录单元18中。

显示单元19包括例如由LCD(液晶显示器)构成的监视器。基于被显影处理单元17处理的未压缩状态的图像数据，显示单元19生成用于在监视器上显示的图像信号并将该图像信号提供给监视器。在记录拍摄的图像之前的预览状态中，拍摄图像信号被从图像拍摄元件12连续输出、转换成数字的并且随后数字图像数据经由ISO增益调整单元14和组合处理单元16被提供到显影处理单元17并且经历显影处理(省略了编码处理)。显示单元19在监视器上显示此时从显影处理单元17顺次输出的图像(预览图像)。用户因此能够查看预览图像并且确认视野角。

控制单元20是由配备有CPU(中央处理单元)、ROM(只读存储器)和RAM(随机访问存储器)等等的微计算机构成的。通过执行ROM中存储的程序，CPU对整个图像拍摄装置1执行总体控制。作为一个示例，在本实施例中，控制单元20基于来自检测单元22的检测结果计算曝光校正值并且输出与该曝光校正值相应的控制信号以控制光圈11a和/或快门11b并从而实现AE(自动曝光)控制。当执行高动态范围图像拍摄时，计算出的曝光校正值也被提供给组合处理单元16。此外，控制单元20控制在组合处理单元16处用于产生绘画式图像的图像效果处理。

LPF21根据需要对从ISO增益调整单元14输出的图像数据执行低通滤波处理。检测单元22是基于从ISO增益调整单元14经由LPF21提供来的图像数据执行各种信号检测的块。在本实施例中，作为一个示例，检测单元22将图像划分成指定的测光区域(photometric region)并且检测每个测光区域中的亮度值。控制单元20能够根据由检测单元22产生的检测信息，判定从ISO增益调整单元14输出的图像数据，即所拍摄的图像数据或者作为图像拍摄之前的预览图像的图像数据，是否处于逆光状态。

在根据本实施例的图像拍摄装置1中，根据组合处理单元16进行的图像处理和控制单元20进行的控制，对拍摄的图像数据执行组合处理和图像效果处理。组合处理是例如根据HDR压缩处理的组合，并且图像效果处理是把拍摄的图像内容例如转换成绘画式图像的处理。图2B示出了绘画式图像的示例。图2A是正常拍摄的图像的示例，与之相比，图2B是非写实图像。

在本实施例中，具体地，控制单元20判定要处理的图像数据是否处于逆光状态并且根据图像数据是否逆光而使获得绘画式图像的图像效果处理被执行。通过这样做，获得了与图像拍摄条件相应地被自动赋予绘画式视觉效果的图像。然后，可以在显示单元19上显示这种图像数据和/或将图像数据作为JPEG数据31记录在记录单元18上。注意，对记录单元18记录的图像数据的编码技术是任意的。记录单元18因此可记录根据除JPEG以外的其他编码技术编码的图像数据。

2.组合处理单元的配置

接下来，将描述如上所述配置的图像拍摄装置1中的组合处理单元16的配置和操作。如前所述，组合处理单元16根据控制单元20的控制对拍摄的图像数据执行组合处理(HDR处理)和图像效果处理。

作为本实施例中的HDR处理，具有各不相同的曝光条件的多个图像被组合以便具有降低的图像质量劣化，例如高光溢出(blown-outhighlight)或区块阴影(blocked shadow)，从而生成具有适当的灰度范围的图像。例如，对于在视野角中包括宽亮度范围的场景，自动曝光处理(AE处理)的精度将会劣化，从而导致发生以下情况的可能性很高：视野角中的主被摄体曝光过度，这导致高光溢出，或者曝光不足，这导致具有区块阴影的噪声图像。因此，作为用于获得在此类场景中以适当的曝光条件拍摄的图像的图像拍摄方法，已知一种被称为“包围式图像拍摄”的方法，其中在改变曝光条件的同时连续取得多次曝光以获得多个图像信号。

使用包围式图像拍摄来产生具有比图像拍摄元件的输出更高的动态范围的图像(HDR图像)的图像拍摄方法也是可设想的。当生成HDR图像时，通过包围式图像拍摄获得曝光增大的拍摄图像和曝光减小的拍摄图像，然后组合这些拍摄图像以生成HDR图像。即，通过组合其中通过减小曝光而适当获得了高亮度灰度的图像成分和其中通过增大曝光而适当获得了低亮度灰度的图像成分，可以把具有单次曝光无法获得的宽亮度范围的灰度信息包含到组合后的图像中。

在本实施例中，HDR处理是利用至少两组图像数据执行，这至少两组图像数据是利用包围式图像拍摄来拍摄的并且分别是曝光过度和曝光不足的。作为具体示例，现在将描述根据包围式图像拍摄来拍摄的其中曝光条件分别是“曝光过度”、“适当曝光”和“曝光不足”的三组图像数据的情况。

图3是示出组合处理单元16的示例配置的框图。组合处理单元16执行压缩灰度范围的HDR处理，并且还执行应用绘画式视觉效果的绘画式处理。具有各不相同的曝光条件的三个图像(曝光过度的图像、适当曝光的图像和曝光不足的图像)被输入到组合处理单元16中。这三个图像是通过根据控制单元20的控制执行包围式图像拍摄而获得的并且被临时存储在缓冲存储器15中。

组合处理单元16包括亮度成分提取单元51、照明分离滤波器52、HDR压缩处理单元53、细节生成单元42和细节强调单元43。

在这种配置之中，亮度成分提取单元51、照明分离滤波器52和HDR压缩处理单元53构成HDR处理单元41，该HDR处理单元41执行HDR处理以组合具有不同曝光条件的三个图像以便减轻诸如高光溢出和区块阴影之类的图像劣化并从而生成具有适当的灰度范围的图像。细节生成单元42和细节强调单元43还向图像应用绘画式视觉效果。

如前所述，通过故意将曝光减小到低于适当程度而生成的曝光不足图像、以适当程度的曝光生成的适当曝光图像和通过故意将曝光增大到高于适当程度而生成的曝光过度图像被输入到组合处理单元16中。这些图像被提供给HDR压缩处理单元53。

适当曝光图像还被提供给亮度成分提取单元51。亮度成分提取单元51从输入的适当曝光图像中提取亮度成分并将亮度成分提供给照明分离滤波器52和细节生成单元42。注意，虽然亮度成分提取单元51在此示例中从适当曝光图像中提取亮度成分，但也可设想使用如下配置：即，曝光不足图像或曝光过度图像被提供给亮度成分提取单元51并且从所提供的图像中提取亮度成分。

照明分离滤波器52利用边缘保留平滑滤波器等等从输入的亮度成分中提取照明成分(低频成分)。照明分离滤波器52随后将所提取的照明成分提供给HDR压缩处理单元53和细节生成单元42。注意，为了提取照明成分，希望使用以保留边缘成分的方式去除高频的非线性低通滤波器(例如日本早期专利公布No.2008-104010中的滤波器或双边滤波器)。另外，作为类似的低通滤波处理，除了非线性低通滤波器以外，还可以使用统计方法(例如模式滤波器或中值滤波器)。

HDR压缩处理单元53利用指定的转换表把从照明分离滤波器52提供来的照明成分转换成组合系数，然后使用这种组合系数来组合输入的曝光不足图像、适当曝光图像和曝光过度图像。更具体而言，HDR压缩处理单元53利用组合系数向各个图像添加加权并且将加权的图像加在一起。通过这样做，从曝光不足图像、适当曝光图像和曝光过度图像生成了具有适当的灰度范围并且减轻了诸如高光溢出或区块阴影之类的图像劣化的图像数据(HDR压缩图像数据)。HDR压缩处理单元53把所生成的HDR压缩图像数据提供给细节强调单元43。

控制单元20为组合处理单元16设定细节强调程度，该细节强调程度是在HDR压缩图像中强调反射率成分的程度并且用于应用绘画式视觉效果。即，细节强调程度是在HDR压缩图像中过度强调细节成分的增益。控制单元20将细节强调程度提供给细节生成单元42。

细节生成单元42使用从亮度成分提取单元51提供来的适当曝光图像中的亮度成分和从照明分离滤波器52提供来的适当曝光图像中的亮度成分的照明成分来提取适当曝光图像中的亮度成分的反射率成分(细节成分：高频成分)。作为示例，细节生成单元42通过从亮度成分中减去照明成分或者通过将亮度成分除以照明成分来提取反射率成分。此外，细节生成单元42利用从控制单元20提供来的细节强调程度强调所提取的反射率成分以生成强调的细节成分。细节生成单元42将强调的细节成分提供给细节强调单元43。

图4示出了细节生成单元42的示例配置。细节生成单元42包括除法器单元61、乘法器单元62、加法器单元63和减法器单元64。除法器单元61将从亮度成分提取单元51提供来的亮度成分除以从照明分离滤波器52提供来的照明成分以提取细节成分。除法器单元61把所提取的细节成分提供给乘法器单元62。为了针对作为标准自动应用的细节增益进行补偿，减法器单元64从提供自控制单元20的细节强调程度中减去值“1”。减法器单元64随后把从细节强调程度中减去“1”的结果提供给乘法器单元62。

乘法器单元62把从除法器单元61提供来的细节成分乘以从减法器单元64提供来的细节强调程度，并将乘法结果提供给加法器单元63。加法器单元63把从控制单元20提供来的细节强调程度加到从乘法器单元62提供来的将细节成分乘以从细节强调程度中减去“1”的结果所得到的结果。加法器单元63向细节强调单元43提供加法结果，例如已被过度强调的细节成分。

通过对从细节生成单元42提供来的细节成分进行乘法，图3中所示的细节强调单元43过度强调了从HDR压缩处理单元53提供来的HDR压缩图像数据中的细节，从而应用了绘画式视觉效果。通过这样做，细节强调单元43能够输出其中细节已被强调以产生绘画式效果的HDR压缩图像作为处理后的图像数据。在此情况下，利用被细节强调单元43做乘法的细节成分，还可以产生针对逆光进行了校正的HDR压缩图像。即，细节强调单元43还能够输出已针对逆光进行校正的HDR压缩图像作为处理后的图像数据。

这里，可以根据从控制单元20输出的细节强调程度来控制图像效果处理是实现绘画式效果的处理还是逆光校正处理。注意，通过诸如压缩比特长度之类的进一步处理，可以对从细节强调单元43输出的绘画式HDR图像数据产生更明显的绘画式效果。

如上所述，只要让细节强调单元43仅将HDR压缩图像中的反射率成分过度放大到细节看起来比现实中更强调的程度(即通过过度强调细节)，图像拍摄装置1就能够容易地组合具有不同曝光条件的多个图像以生成具有适当灰度范围并且减轻了诸如高光溢出和区块阴影之类的图像劣化的图像，并且还向图像应用绘画式视觉效果。细节强调程度的值是任意的，但一般通过将细节强调程度设定得更高，例如通过将该值设定为双倍、四倍或八倍，可以增大对细节的强调并且向图像应用更明显的绘画式视觉效果。

当向图像应用更明显的绘画式视觉效果时，控制单元20设定较大的值(例如充分大于1的值)作为细节强调程度。另外，当不希望图像有明显的绘画式视觉效果时，特别是在本实施例的情况中针对逆光进行校正时，较低的值(例如1)被设定为细节强调程度。即，通过控制细节强调程度的大小，控制单元20能够控制是对被摄体忠实地执行HDR压缩处理(对于逆光图像产生经逆光校正的图像)还是应用绘画式视觉效果。

注意，细节强调程度可被设定成与亮度相应的值。即，通过根据照明成分的亮度改变强调程度，细节强调单元43能够仅放大被认为是细节的必需频带。通过这样做，可以抵制对不是细节的低频和一般倾向于包括较大的不必要噪声成分的高频的放大，从而抵制图像中的可见劣化。还可以仅放大作为图像的一部分的区域中的细节成分或者与图像中的位置相应地设定细节强调程度。

3.处理示例I

现在将描述配备有上述组合处理单元16的图像拍摄装置1中的控制单元20的控制处理的具体示例(“处理示例I”)。图5示出了控制单元20的控制处理。

当图像拍摄指令被发出时，控制单元20从步骤F101进行到步骤F102。图像拍摄指令是根据例如由图像拍摄装置1的用户的释放操作或执行自动图像拍摄的程序在特定定时给出的图像拍摄触发而发出的。

当处理根据图像拍摄指令而进行到步骤F102时，控制单元20确认当前是否在对逆光场景执行图像拍摄。这可基于由检测单元22对在当前时刻图像拍摄元件12输入的图像(用于预览图像的图像数据)检测到的亮度值来判定。如果场景不是逆光的，则处理前进到步骤F103并且执行根据当前有效的各种设定的图像拍摄和将拍摄的图像记录在记录单元18中的记录处理。例如，除了相应于用户设定和自动图像拍摄程序的设定以外，还相应于图像拍摄模式、曝光设定、校正设定和特殊效果设定来执行图像拍摄操作。

同时，如果场景是逆光的，则控制单元20进行到步骤F104起往后的处理。在步骤F104、F105和F106中，控制单元20执行控制以使得对指定数目的(例如三个)静止图像的数据执行图像拍摄。即，对曝光不足图像、适当曝光图像和曝光过度图像执行图像拍摄。首先，在步骤F104中执行曝光控制以设定曝光状态。作为曝光控制，作为示例，设定光圈11a、图像拍摄元件12的快门速度(曝光长度)和/或ISO增益调整单元14的增益。通过这样做，作为一个示例，首先设定曝光过度状态。然后，在步骤F105中执行图像拍摄(即，将拍摄的图像数据写入到缓冲存储器15中)。

重复此过程，直到在步骤F106中判定指定数目的(例如三个)图像的拍摄已完成为止。作为一个示例，在第二图像的拍摄期间，在步骤F104中执行设定适当曝光状态的控制并且在步骤F105中执行图像拍摄。在第三图像的拍摄期间，在步骤F104中执行设定曝光不足状态的控制并且在步骤F105中执行图像拍摄。

例如，当对这样的三个图像执行了图像拍摄时，控制单元20从步骤F106进行到F107并且使得HDR组合处理被执行。即，控制单元20给出把临时存储在缓冲存储器15中的三组图像数据(即曝光不足图像、适当曝光图像和曝光过度图像)传送到组合处理单元16的指令并且让组合处理单元16执行HDR处理。此外，在步骤F108中，控制单元20指令组合处理单元16执行非写实图像处理。更具体而言，控制单元20把例如具有充分大于1的值的细节强调程度提供给组合处理单元16的细节生成单元42。通过这样做，执行了绘画式图像处理。接下来，在步骤F109中，控制单元20执行控制以使得由组合处理单元16中的绘画式图像处理产生的图像数据被记录在记录单元18中。

通过让控制单元20执行上述处理，当例如用户执行逆光场景的图像拍摄时，绘画式图像被自动拍摄并且例如作为JPEG数据31或作为RAW数据32被记录。

注意，组合处理单元16根据步骤F107中的对HDR处理的指令而执行的图像处理的流程在图6A中示出。在步骤F201中，亮度成分提取单元51从适当曝光图像中提取亮度成分。在步骤F202中，照明分离滤波器52从在步骤F201中提取的亮度成分中提取照明成分。在步骤F203中，HDR压缩处理单元53例如使用转换表来从在步骤F202中提取的亮度成分生成组合系数。在步骤F204中，HDR压缩处理单元53使用在步骤F203中生成的组合系数来向曝光不足图像、适当曝光图像和曝光过度图像应用加权，并且组合加权的图像以减轻诸如高光溢出和区块阴影之类的图像劣化，从而生成具有适当的灰度范围的HDR压缩图像。

组合处理单元16根据控制单元20在步骤F108中对非写实图像处理的指令而执行的图像处理的流程在图6B中示出。在步骤F210中，细节生成单元42的除法器单元61把在步骤F201中提取的亮度成分除以在步骤F202中提取的照明成分以提取细节成分。在步骤F211中，细节生成单元42的减法器单元64从由控制单元20设定的细节强调程度中减去值“1”。在步骤F212中，细节生成单元42的乘法器单元62把在步骤F210中计算出的细节成分乘以在步骤F211中计算出的减法结果。在步骤F213中，细节生成单元42的加法器单元63把由控制单元20设定的细节强调程度与在步骤F212中计算出的乘法结果相加。在步骤F214中，通过乘以在步骤F213中计算出的加法结果，细节生成单元42强调在步骤F204中生成的HDR压缩图像的细节。

通过执行上述处理，生成了具有强调的细节的HDR图像数据，即绘画式图像数据。注意，虽然为了易于说明，处理是在图6A和6B中分开示出的，但这些处理可作为一系列处理在组合处理单元16内连续执行。

根据上述的处理示例I，当根据用户操作或自动图像拍摄对逆光场景执行图像拍摄时，自动执行操作来组合具有不同曝光条件的多个图像以减轻诸如高光溢出和区块阴影之类的图像质量劣化并且生成具有适当灰度范围的图像，而且还向这种图像应用绘画式视觉效果。通过这样做，当对逆光场景拍摄图像时，用户可获得具有绘画式效果的艺术图像，并且不需要为此执行任何特殊的设定操作(例如指示绘画式效果的操作)。注意，通过上述处理生成的绘画式图像数据可被记录在记录单元18中，并且虽然在图1中未示出，但还可经由外部接口输出到外部设备。

4.处理示例II

接下来，将参考图7来描述控制单元20的处理示例II。在图7中，与图5中相同的处理被赋予相同的步骤号并且对其的描述被省略。即，步骤F101至F109中的处理是相同的。在图7的处理中，在在步骤F109中记录绘画式图像数据之后，额外执行步骤F110和F111。

在步骤F110中，控制单元20指令组合处理单元16执行逆光校正处理。更具体而言，控制单元20向组合处理单元16的细节生成单元42提供较低值的细节强调程度(例如1)。虽然这样执行的处理与图6B中的相同，但通过将细节强调程度设定为≈1，不会通过细节强调单元43的处理产生绘画式图像，而是获得从HDR组合处理得到的图像，或者换言之，针对逆光进行了校正的图像。然后，在步骤F111中，控制单元20执行控制以使得从组合处理单元16输出的经逆光校正的图像数据被记录在记录单元18中。注意，为了执行这种处理，HDR压缩处理单元53临时存储所生成的HDR压缩图像，并且当在步骤F108中和步骤F110中执行处理时，这种图像被提供给细节强调单元43。

根据处理示例II，当由用户或自动图像拍摄对逆光场景执行图像拍摄时，可以自动获得绘画式图像和具有适当灰度范围的经逆光校正的图像。从而，当对逆光场景执行图像拍摄时，用户既可获得经逆光校正的图像，又可获得具有绘画式效果的艺术图像，而不需要为此执行任何特殊的设定操作。

注意，通过上述处理生成的绘画式图像数据和经逆光校正的图像数据可被记录在记录单元18中，并且虽然在图1中未示出，但还可经由外部接口被输出到外部设备。另外，步骤F108和F109中的绘画式图像数据的处理和步骤F110和F111中的经逆光校正的图像数据的处理可按相反的顺序执行或者可并行执行。

5.处理示例III

接下来，将参考图8描述控制单元20的处理示例III。在图8中，与图5中相同的处理被赋予相同的步骤号并且对其的描述被省略。即，步骤F101至F109中的处理是相同的。图8中的处理是即使在步骤F102中判定场景不逆光也执行HDR处理的示例。

如果判定场景不是逆光的，则在步骤F121、F122和F123中，控制单元20执行控制以使得对指定数目的(例如三个)静止图像的数据执行图像拍摄。此情况下的控制处理与步骤F104、F105和F106中的相同，即执行曝光不足图像、适当曝光图像和曝光过度图像的图像拍摄。

当在步骤F123中判定指定数目的(例如三个)图像的拍摄已完成时，控制单元20进行到步骤F124并且使HDR组合处理被执行。即，控制单元20给出把临时存储在缓冲存储器15中的三组图像数据(即曝光不足图像、适当曝光图像和曝光过度图像)传送到组合处理单元16的指令并且让组合处理单元16执行HDR处理。HDR处理单元41执行的处理与参考图6A描述的相同。

此外，在步骤F125中，控制单元20将细节强调程度设定为≈1。即，执行控制以使得把与HDR组合处理有关的图像数据转换成非写实图像的图像效果处理不被执行。这意味着从细节强调单元43输出的图像数据是未被赋予任何特殊绘画式效果的普通HDR压缩图像数据。然后，在步骤F126中，控制单元20执行控制以使得从组合处理单元16输出的图像数据被记录在记录单元18中。

通过使控制单元20执行上述处理，当用户例如执行逆光场景的图像拍摄时，绘画式图像被自动拍摄并且例如被作为JPEG数据31或RAW数据32记录(F104至F109)。同时，当对不逆光的场景执行图像拍摄时，自动获得具有更少的区块阴影和高光溢出的高质量HDR图像数据(F121至F126)。作为控制单元20进行的与图像效果处理有关的控制，只要简单地根据场景是否逆光改变提供给细节生成单元42的细节强调程度的设定就足够了。通过这样做，可以自动向用户提供多种图像。

6.处理示例IV

接下来，将参考图9来描述控制单元20的处理示例IV。在图9中，与图7或图8中相同的处理被赋予相同的步骤号并且对其的描述被省略。即，步骤F101至F111中的处理与图7中的相同并且步骤F121至F126中的处理与图8中的相同。

即，在图9中的处理中，如果在步骤F102中判定场景是逆光的，则执行步骤F104至F111中的处理，并且通过这样做，记录绘画式图像数据和经逆光校正的图像数据。同时，如果在步骤F102中判定场景不是逆光的，则执行步骤F121至F126，并且通过这样做，记录HDR图像数据。

从而，当对逆光场景执行图像拍摄时，用户可获得经逆光校正的图像和具有绘画式效果的艺术图像两者，但当对非逆光场景执行图像拍摄时，用户可获得高质量HDR图像数据。另外，用户不需要为此执行任何特殊的设定操作。同样，在此情况下，作为控制单元20进行的与图像效果处理有关的控制，也只要简单地根据场景是否逆光改变提供给细节生成单元42的细节强调程度的设定就足够了。通过这样做，可以自动向用户提供多种图像。

7.组合处理单元的替换示例配置

组合处理单元16的另一示例配置在图10中示出。在图10中，与图3中相同的部分被赋予相同的标号并且对其的描述被省略。

图10与图3的不同之处在于，用于生成细节成分的亮度成分和照明成分是从HDR压缩图像获得的。因此，与HDR处理单元41分开设有亮度成分提取单元44和照明分离滤波器45。

如图10中所示，亮度成分提取单元44被提供以HDR压缩图像。然后，亮度成分提取单元44从HDR压缩图像中提取亮度成分并且将亮度成分提供给照明分离滤波器45和细节生成单元42。照明分离滤波器45利用边缘保留平滑滤波器等等从输入的亮度成分中提取照明成分。照明分离滤波器45随后将所提取的照明成分提供给细节生成单元42。细节生成单元42和细节强调单元43的处理与先前所述的图3所示的配置中的相同。也可以向控制单元20的处理应用处理示例I(图5)、II(图6)、III(图7)和IV(图9)。

利用此配置，当对逆光场景执行图像拍摄时，也可以生成和记录绘画式图像数据或经逆光校正的图像数据(或者这两者)。

8.应用到个人计算机(示例处理V、VI、VII)

上述一系列处理可由硬件执行，并且也可由软件执行。在这种情况下，作为一个示例，可以使上述图像拍摄装置1的图像处理在例如图11中所示的个人计算机中执行。

在图11中，个人计算机70的CPU71根据存储在ROM72中的程序或者从存储单元78加载到RAM73中的程序执行各种处理。CPU71执行各种处理所需的数据也可被适当地存储在RAM73中。CPU71、ROM72和RAM73经由总线74相互连接。输入/输出接口75也连接到此总线74。

输入/输出接口75连接到由键盘、鼠标等等组成的输入单元76、由诸如CRT(阴极射线管)或LCD(液晶显示器)之类的显示器和扬声器等等组成的输出单元77、由硬盘驱动器等等组成的存储单元78以及由调制解调器等等组成的通信单元79。通信单元79经由诸如因特网之类的网络执行通信处理。

输入/输出接口75还根据需要连接到驱动器80，诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质81被适当地加载到驱动器80中以使得从可移除介质81读出的计算机程序可根据需要被安装到存储单元78中。

当上述一系列处理由软件来执行时，构成这种软件的程序是从网络或记录介质安装的。

作为一个示例，如图11中所示，这种记录介质可由可移除介质81构成，该可移除介质81与主个人计算机70是分开的，其上记录有程序以将程序分发给用户，并且是由磁盘(包括柔性盘)、光盘(包括CD-ROM(致密盘-只读存储器)和DVD(数字多功能盘))、磁光盘(包括MD(袖珍盘))、半导体存储器等等组成的。作为替换示例，将程序分发给用户的记录介质可被预先包含到个人计算机70中，例如通过将程序记录在ROM72中或存储单元78中包括的硬盘驱动器等等中。

图12示出了CPU71根据程序执行的处理示例V。图12中的处理示例V是当由给定的图像拍摄装置连续拍摄的多个图像(例如前述的曝光不足图像、适当曝光图像和曝光过度图像)被个人计算机70处理时执行的处理。

例如，通过以从连接的图像拍摄装置传送图像数据或者从可移除介质81加载图像数据的方式把由包围式图像拍摄产生的多个图像的图像数据加载到个人计算机70中，可以使得对该图像数据执行处理。当对加载的图像数据执行处理时，在步骤F301中，CPU71首先分析要处理的多个图像的图像数据。这里，判定要处理的图像数据是否是对逆光场景拍摄的图像数据。作为一个示例，这种判定可利用图像中的像素的亮度值、平均亮度值、加权亮度值、图像中的指定区域中的亮度值等等来作出。

如果场景不是逆光的，则CPU71从步骤F302进行到F303并且与图像处理程序和/或当前有效的用户设定相应地执行图像处理。同时，如果场景是逆光的，则步骤F304中，CPU71执行HDR组合处理。更具体而言，可执行图6A中的处理。在步骤F305中，CPU71执行非写实图像处理。例如，设定具有充分大于“1”的值的细节强调程度，然后执行图6B中的处理。通过这样做，执行绘画式图像处理。然后，在步骤F306中，CPU71把被处理成绘画式图像的图像数据存储在存储单元78等等中。

通过让CPU71执行图12中所示的处理，对逆光场景拍摄的图像数据被处理成绘画式图像，然后被存储。通过这样做，用户能够自动为对逆光场景拍摄的图像数据获得艺术的、非写实的图像。

注意，CPU71也可以生成针对逆光进行了校正的图像数据并将经逆光校正的图像数据与绘画式图像数据一起存储在存储单元78等等中。这被示为图13中的处理示例VI。在图13中，步骤F301至F306与图12中的相同。在本发明VI中，在在步骤F306中记录绘画式图像数据之后，还执行步骤F307和F308。

在步骤F307中，CPU71执行逆光校正处理。更具体而言，设定较低的值(例如1)的细节强调程度，然后执行图6B中的处理。由于细节强调程度≈1，所以不产生绘画式图像，而是产生通过HDR组合处理产生的图像，即针对逆光进行校正的图像。在步骤F308中，CPU71随后使得经逆光校正的图像数据被存储在存储单元78等等中。

通过让CPU71执行例如图13中所示的处理，对逆光场景拍摄的图像数据被转换成绘画式图像数据和经逆光校正的图像数据，然后被存储。通过这样做，用户能够为对逆光场景拍摄的图像数据自动获得艺术的绘画式图像和经逆光校正的图像。注意，步骤F305和F306中的产生绘画式图像数据的处理和步骤F307和F308中的产生经逆光校正的图像数据的处理可按相反顺序执行或者可并行执行。

处理示例VII在图14中示出。在图14中，步骤F301至F306与图12中的相同。处理示例VII是即使当在步骤F302中判定要处理的图像数据不是针对逆光场景的时也执行HDR处理的示例。即，如果图像数据不是针对逆光场景的，CPU71在步骤F321中执行HDR组合处理。更具体而言，执行图6A中的处理。在步骤F322中，CPU71在细节强调程度≈1的情况下执行图6B中的处理。这导致不对与HDR组合处理有关的图像数据执行产生非写实图像内容的图像效果处理。然后，在步骤F306中，CPU71让经处理的HDR图像数据被存储在存储单元78等等中。

通过让CPU71执行图14中的处理，如果要处理的图像数据是对逆光场景拍摄的，则图像数据被自动处理以产生绘画式图像并被存储(F304至F306)。同时，如果要处理的图像数据是对非逆光场景拍摄的，则自动存储高质量HDR图像数据(F321至F306)。

注意，与先前所述的图13中的处理示例VI一样，当为对逆光场景拍摄的图像数据生成绘画式图像数据和经逆光校正的图像数据两者时，可以设想取代图13中的步骤F303、按步骤F321到F322然后到图14中的步骤F306的顺序来执行处理。

9.程序

以上实施例描述了通过为图像拍摄装置1或个人计算机70配备与根据本公开的图像处理装置相对应的配置而执行的处理。这种图像处理装置可由硬件和/或软件构成，并且根据本公开的图像处理装置和图像处理方法可被应用到各种执行图像处理的设备。作为示例，除了上述的图像拍摄装置和个人计算机以外，还可以设想图像再现装置、图像记录装置、游戏机、视频编辑器、PDA(个人数字助理)、移动电话或其他通信装置等等。具体地，对于软件，通过基于根据本公开的程序执行计算处理，可以在多种设备中实现前述处理。

即，根据本公开的实施例的程序使得计算处理装置(例如CPU或DSP(数字信号处理器))判定要处理的多个图像数据是否是由对逆光场景的图像拍摄产生的图像数据，对多个图像数据执行HDR组合处理，并且在要处理的多个图像数据是由对逆光场景的图像拍摄产生的图像数据的情况下对与HDR组合处理有关的图像数据执行产生非写实图像的图像效果处理。

例如，通过以图像处理应用软件的形式提供使得计算处理装置执行图5、7、8、9、12、13和14所示的各种处理块中的操作的程序，可以在多种设备上实现根据本公开的图像处理。

注意，这种程序可被预先记录到诸如个人计算机之类的设备中包含的作为记录介质的HDD中或者包括CPU的微计算机内部的ROM、闪存等等中。或者，程序可被临时或永久存储(记录)在诸如柔性盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD、蓝光盘、磁盘、半导体存储器或存储卡之类的可移除记录介质上。这种可移除记录介质可作为所谓的“封装软件”提供。程序可从可移除记录介质被安装到个人计算机等中，或者可经由诸如LAN(局域网)或因特网之类的网络被从下载站点下载。

注意，计算机执行的程序可以是按参考图5、7、8、9、12、13和14说明的顺序以时序执行处理的程序、并行执行处理的程序或者在需要的定时(例如在处理被调用时)执行处理的程序。

10.修改

虽然以上描述了本公开的实施例，但本公开的技术可经历多种修改。虽然在图3和8的示例中给出了将具有不同曝光条件的三个图像(即曝光不足图像、适当曝光图像和曝光过度图像)输入到组合处理单元16中并且利用这些图像执行HDR处理的示例，但可以使用具有不同曝光条件的至少两个图像。例如，作为另一可设想的示例，作为连续拍摄的具有不同曝光条件的至少两个图像的数据，曝光不足图像和曝光过度图像可被输入到组合处理单元16中，并且组合处理单元16可对这些图像执行HDR处理。还可以对具有不同曝光条件的四个或更多个图像执行HDR处理。

生成绘画式图像数据的方法不限于先前所述的强调细节的方法。作为其他示例，也有通过减小再现的颜色成分或者通过舍入各种颜色系统中的值来改变像素的颜色信息的方法。

以上所述的各种示例配置和处理示例通过强调经历了HDR组合的图像数据中的细节来应用视觉效果，但也可设想可以通过在组合之前强调细节等等来应用图像效果。例如，可以在曝光不足图像、适当曝光图像和曝光过度图像的全部或一部分中强调细节，然后执行HDR处理。

本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内即可。

此外，本技术也可如下配置。

(1)

一种图像处理装置，包括：组合处理单元，该组合处理单元执行图像效果处理和对多个图像的图像数据的组合处理；以及控制单元，该控制单元判定所述多个图像的图像数据是否是由对逆光场景的图像拍摄产生的图像数据，并且如果图像数据是由对逆光场景的图像拍摄产生的，则可操作来使得所述组合处理单元执行把与所述组合处理有关的图像数据转换成非写实图像内容的图像效果处理。

(2)

根据(1)所述的图像处理装置，

其中，如果所述多个图像的图像数据是由对逆光场景的图像拍摄产生的，则所述控制单元可操作来还使得所述组合处理单元对与所述组合处理有关的图像数据执行与逆光校正相对应的图像效果处理。

(3)

根据(1)或(2)所述的图像处理装置，

其中，所述组合处理单元从所述多个图像之一的图像数据或所述组合处理后的图像数据的亮度成分以及所述组合处理后的图像数据的照明成分中提取反射率成分，并且利用所述反射率成分对所述组合处理后的图像数据执行图像效果处理，并且

所述控制单元通过设定所述反射率成分的强调程度来使得所述组合处理单元执行转换到非写实图像内容的图像效果处理。

(4)

根据(2)或(3)所述的图像处理装置，

其中，所述组合处理单元从所述多个图像之一的图像数据或所述组合处理后的图像数据的亮度成分以及所述组合处理后的图像数据的照明成分中提取反射率成分，并且利用所述反射率成分对所述组合处理后的图像数据执行图像效果处理，并且

所述控制单元通过设定所述反射率成分的强调程度来使得所述组合处理单元执行与逆光校正相对应的图像效果处理。

(5)

根据(1)至(4)中任何一项所述的图像处理装置，

其中，如果所述多个图像的图像数据是由对非逆光场景的图像拍摄产生的，则所述控制单元可操作来使得所述组合处理单元不执行将图像数据转换成非写实图像内容的图像效果处理。

(6)

根据(1)至(5)中任何一项所述的图像处理装置，

其中，所述多个图像的图像数据是以不同的曝光条件连续拍摄的至少两个图像的图像数据，并且

作为所述组合处理，所述组合处理单元利用所述多个图像之一的图像数据的照明成分来组合所述至少两个图像的图像数据。

(7)

根据(1)至(5)中任何一项所述的图像处理装置，

其中，所述多个图像的图像数据是在曝光条件分别设定为曝光过度、适当曝光和曝光不足的情况下连续拍摄的至少三个图像的图像数据，并且

作为所述组合处理，所述组合处理单元利用所述多个图像之一的图像数据的照明成分来组合所述至少三个图像的图像数据。

本公开包含与2011年5月31日向日本专利局提交的日本优先权专利申请JP 2011-121843中公开的主题相关的主题，特此通过引用将该申请的全部内容并入。

Claims (9)

1.一种图像处理装置，包括：

组合处理单元，该组合处理单元执行图像效果处理和对多个图像的图像数据的组合处理；以及

控制单元，该控制单元判定所述多个图像的图像数据是否是由对逆光场景的图像拍摄产生的图像数据，并且如果图像数据是由对逆光场景的图像拍摄产生的，则可操作来使得所述组合处理单元执行把与所述组合处理有关的图像数据转换成非写实图像内容的图像效果处理。

2.根据权利要求1所述的图像处理装置，

其中，如果所述多个图像的图像数据是由对逆光场景的图像拍摄产生的，则所述控制单元可操作来还使得所述组合处理单元对与所述组合处理有关的图像数据执行与逆光校正相对应的图像效果处理。

3.根据权利要求1所述的图像处理装置，

其中，所述组合处理单元从所述多个图像之一的图像数据或所述组合处理后的图像数据的亮度成分以及所述组合处理后的图像数据的照明成分中提取反射率成分，并且利用所述反射率成分对所述组合处理后的图像数据执行图像效果处理，并且

所述控制单元通过设定所述反射率成分的强调程度来使得所述组合处理单元执行转换到非写实图像内容的图像效果处理。

4.根据权利要求2所述的图像处理装置，

其中，所述组合处理单元从所述多个图像之一的图像数据或所述组合处理后的图像数据的亮度成分以及所述组合处理后的图像数据的照明成分中提取反射率成分，并且利用所述反射率成分对所述组合处理后的图像数据执行图像效果处理，并且

所述控制单元通过设定所述反射率成分的强调程度来使得所述组合处理单元执行与逆光校正相对应的图像效果处理。

5.根据权利要求1所述的图像处理装置，

其中，如果所述多个图像的图像数据是由对非逆光场景的图像拍摄产生的，则所述控制单元可操作来使得所述组合处理单元不执行将图像数据转换成非写实图像内容的图像效果处理。

6.根据权利要求1所述的图像处理装置，

其中，所述多个图像的图像数据是以不同的曝光条件连续拍摄的至少两个图像的图像数据，并且

作为所述组合处理，所述组合处理单元利用所述多个图像之一的图像数据的照明成分来组合所述至少两个图像的图像数据。

7.根据权利要求1所述的图像处理装置，

其中，所述多个图像的图像数据是在曝光条件分别设定为曝光过度、适当曝光和曝光不足的情况下连续拍摄的至少三个图像的图像数据，并且

作为所述组合处理，所述组合处理单元利用所述多个图像之一的图像数据的照明成分来组合所述至少三个图像的图像数据。

8.一种图像处理方法，包括：

判定要处理的多个图像的图像数据是否是由对逆光场景的图像拍摄产生的图像数据；

对所述多个图像的图像数据执行组合处理；以及

如果图像数据是由对逆光场景的图像拍摄产生的，则执行把与所述组合处理有关的图像数据转换成非写实图像内容的图像效果处理。

9.一种使得计算处理装置执行处理的程序，所述处理包括：

判定要处理的多个图像的图像数据是否是由对逆光场景的图像拍摄产生的图像数据；

使得对所述多个图像的图像数据执行组合处理；以及

如果图像数据是由对逆光场景的图像拍摄产生的，则执行把与所述组合处理有关的图像数据转换成非写实图像内容的图像效果处理。

Images