CN108111827B - 图像处理装置、图像处理方法和程序以及成像装置 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理方法和程序以及成像装置。图像处理装置，包括：提取颜色区域确定单元，该提取颜色区域确定单元使用输入图像信号的颜色信息来执行确定包括图像中的至少部分区域的提取颜色区域的处理，以及图像处理单元，该图像处理单元对由提取颜色区域确定单元所确定的输入图像信号的提取颜色区域和/或输入图像信号的提取颜色区域以外的剩余区域执行图像处理，以获得输出图像信号。

Description

图像处理装置、图像处理方法和程序以及成像装置

本申请是申请日为2012年5月11日的、名称为“图像处理装置、图像处理方法和程序以及成像装置”的发明专利申请No.201210153782.3的分案申请。

技术领域

本公开涉及图像处理装置、图像处理方法、程序以及成像装置。具体地，本公开涉及从输入图像信号中包括的颜色区域提取至少一个颜色区域并且执行图像处理的图像处理装置等。

背景技术

传统中，已经知道通过对输入图像信号的图像中的特定区域和剩余区域执行不同种类的处理来获取输出图像信号。例如，已经知道通过对用户指定的颜色区域以外的区域执行非彩色上色(achromatic coloring)来实现所谓的部分彩色(partial color)效果。此外，例如，在专利文献1(日本专利特开平06-098232号公报)已公开在聚焦状态中仅对主要对象进行二维指定和上色。

发明内容

传统中，还不知道通过使用输入图像信号的颜色信息自动确定至少一个提取颜色区域来执行图像处理。

本发明技术的一个目的是通过使用输入图像信号的颜色信息自动确定至少一个提取颜色区域来执行图像处理。

本发明技术的思想包括一种图像处理装置，该图像处理装置包括提取颜色区域确定单元，该提取颜色区域确定单元执行使用输入图像信号的颜色信息来确定提取颜色区域的处理，所述提取颜色区域包括图像中的至少部分区域；以及图像处理单元，该图像处理单元对输入图像信号的由提取颜色区域确定单元所确定的提取颜色区域和/或所述提取颜色区域以外的剩余区域执行图像处理以获得输出图像信号。

利用本发明技术，使用输入图像信号的颜色信息来确定包括图像中的至少部分区域的提取颜色区域的处理由提取颜色区域确定单元执行。例如，当不能在第一图像区域中确定提取颜色区域时，提取颜色区域确定单元可在比第一图像区域小的第二图像区域中执行确定提取颜色区域的处理。按照这种方式，通过缩小图像区域，能够可靠地确定提取颜色区域。

在此情况中，例如，提取颜色区域确定单元执行将第一图像区域中的每个像素或者包括预定数目的像素的每个块分配到多个颜色区域中的任一颜色区域的处理，并且，作为该处理的结果，当存在频率超过阈值的颜色区域时，提取颜色区域确定单元在这些颜色区域中确定至少一个颜色区域作为提取颜色区域，并且当不存在频率超过阈值的区域时，提取颜色确定单元在比第一图像区域小的第二图像区域中执行确定提取颜色区域的处理。

在此情况中，例如，提取颜色区域确定单元通过将第一图像区域朝着画面中心缩小而获得的图像区域作为第二图像区域。此外，在此情况中，提取颜色区域确定单元例如确定通过将第一图像区域朝着画面上的聚焦点缩小而获得的图像区域作为第二图像区域。按照这种方式，通过朝着聚焦点缩小区域，能够将用户偏爱的颜色区域确定作为提取颜色区域。

例如，提取颜色区域确定单元可执行将预定图像区域中每个像素或包括预定数目的像素的每个块分配到多个颜色区域中的任一颜色区域并基于每个颜色区域的频率来确定提取颜色区域的处理。在此情况中，当存在多个频率超过阈值的颜色区域时，提取颜色区域确定单元可按照频率降低的顺序选择预定数目的颜色区域作为提取颜色区域。

此外，在此情况中，当存在多个频率超过阈值的颜色区域时，提取颜色区域确定单元可提示用户选择提取颜色区域。此外，在此情况中，还可包括用户选择获取单元，该用户选择获取单元将多个频率超过阈值的颜色区域中的N个区域(N是等于或大于2的整数)按照频率降低的顺序显示在显示单元上并且提示用户基于显示单元的显示来选择提取颜色区域。在此情况中，能够将用户偏爱的颜色区域选择作为提取颜色区域。

这里，显示候选颜色区域的显示单元不必在图像处理装置中，而是可以是外部设备。此外，用户用来选择提取颜色区域的用户操纵单元不必在图像处理装置中，而是可以是外部设备，诸如遥控器或经由网络的设备。

利用图像处理单元，对由提取颜色区域确定单元所确定的输入图像信号的提取颜色区域和/或所述输入图像信号中所述提取颜色区域以外的剩余区域执行图像处理，从而获得输出图像信号。例如，针对输入图像信号的提取颜色区域，强调饱和度的处理被执行，并且此外，例如，针对输入图像信号中所述提取颜色区域以外的剩余区域，非彩色上色的处理被执行。

按照这种方式，利用本发明技术，能够使用输入图像信号的颜色信息自动确定至少一个提取颜色区域并执行图像处理。因此，能够可靠地例如实现部分彩色效果。

另外，利用本发明技术，例如，当输入图像信号的拍摄条件变化时，提取颜色区域确定单元可更新所确定的提取颜色区域。按照这种方式，能够防止提取颜色区域不经意地变化。

根据上述本发明技术，能够使用输入图像信号的颜色信息自动确定至少一个提取颜色区域并执行图像处理。

附图说明

图1是示出根据本公开的第一实施例的图像处理装置的配置示例的框图；

图2是示出构成图像处理装置的图像分析单元的处理序列的流程图；

图3是图示缩小颜色信息分析区域的方法的示例(朝着画面中心缩小的示例)的示图；

图4是图示缩小颜色信息分析区域的方法的示例(朝着画面上的聚焦点缩小的示例)的示图；

图5是示出用于分配处理的颜色区域分类的示例的示图；

图6是示出分配处理结果的示例(其中所有颜色区域A至G的频率都小于阈值)的示图；

图7是示出分配处理结果的示例(其中在颜色区域A至G的频率中，颜色区域E的频率超过阈值，并且其他区域的频率小于阈值)的示图；

图8是示出分配处理结果的示例(其中在颜色区域A至G的频率中，颜色区域B、D、F的频率超过阈值，并且其他区域的频率小于阈值)的示图；

图9是示出根据本公开的第二实施例的数字静态相机(成像装置)的配置示例的框图；

图10是示出构成数字静态相机的图像分析单元的处理序列的流程图；以及

图11是示出数字静态相机中的候选颜色区域的显示示例的示图。

具体实施方式

在下文中，将参考附图来详细描述本公开的优选施加例。描述将按照如下顺序进行。

1.第一实施例

2.第二实施例

3.变形例

<第一实施例>

[图像处理装置的配置示例]

图1示出根据本公开的第一实施例的图像处理装置100的配置示例。图像处理装置100包括图像分析单元101和图像处理单元102。图像分析单元101构成提取颜色区域确定单元。

图像分析单元101执行使用输入图像信号SVin的颜色信息确定包括图像的至少部分区域的提取颜色区域的处理。这里，输入图像信号SVin是彩色图像信号，并且例如包含亮度信号Y、红色色度信号Cr、蓝色色度信号Cb。输入图像信号SVin例如是通过成像单元捕获的图像信号、通过首先将捕获的图像信号记录在记录介质上并且然后从记录介质重放捕获的图像信号而获得的重放的图像信号，等等。

当不能在第一图像区域中确定提取颜色区域时，图像分析单元101执行在比第一图像区域小的第二图像区域中确定提取颜色区域的处理。在此情况中，图像分析单元101执行将第一图像区域中的每个像素或者包括预定数目的像素的每个块分配到多个颜色区域中的任一颜色区域的处理。之后，当存在频率超过阈值的颜色区域时，图像分析单元101将这些颜色区域中的至少一个颜色区域确定作为提取颜色区域。

另一方面，当不存在频率超过阈值的区域时，图像分析单元101在比第一图像区域小的第二图像区域中执行确定提取颜色区域的处理。换句话说，图像分析单元101执行将第二图像区域中的每个像素或包括预定数目的像素的每个块分配到多个颜色区域中的任一颜色区域的处理。之后，当存在频率超过阈值的颜色区域时，图像分析单元101将这些颜色区域中的至少一个颜色区域确定作为提取颜色区域。

之后，图像分析单元101通过以第一图像区域替代第二图像区域以及当没有频率超过阈值时以第二图像区域替代比第一图像区域小的区域来重复确定提取颜色区域的处理。

图2的流程图示出图像分析单元101的处理序列。图像分析单元101根据此流程图对每帧或每预定数目的帧执行处理。图像分析单元101在步骤ST1中开始处理，并且然后进行到步骤ST2的处理。在步骤ST2中，图像分析单元101设定颜色信息分析区域。

首先，图像分析单元101将大致整个画面设定作为颜色信息分析区域，并且然后每当处理返回到步骤ST2时逐渐地缩小区域。在此情况中，改变之前的颜色信息分析区域构成第一图像区域并且改变之后的颜色信息分析区域构成第二图像区域。图3示出缩小颜色信息分析区域的方法的示例。图3(a)示出整个画面被设定作为颜色信息分析区域的初始状态。在本示例中，如图3(b)所示，颜色信息分析区域朝着画面中心被缩小。

图4示出缩小颜色信息分析区域的方法的另一示例。图4(a)示出整个画面被设定作为颜色信息分析区域的初始状态。在本示例中，如图4(b)所示，颜色信息分析区域朝着画面上的聚焦点被缩小。在此情况中，图像分析单元101从成像单元或重放单元获取输入图像信号SVin以及关于聚焦点的信息。对数字静态相机(成像装置)中成像单元的详细描述将被省略，但是数字静态相机可通过例如相位差自动聚焦法等聚焦于画面上预定位置处呈现的对象。

虽然在图中未示出，但是也可以朝着特定目标的检测位置(诸如脸)来缩小颜色信息分析区域，作为缩小颜色信息分析区域的方法的另一示例。在此情况中，图像分析单元101获取输入图像信号SVin以及关于该特定目标的检测位置的信息。

接着，返回参考图2，在步骤ST3中，图像分析单元101执行颜色频率分布分析。换句话说，图像分析单元101执行将每个像素或包括预定数目的像素(例如8×8像素)的每个块分配到多个颜色区域中的任一颜色区域的处理。图像分析单元101基于关于每个像素或每个块的颜色信息来执行该分配处理。

颜色信息可以是色调信息、饱和度信息、色调和饱和度信息、色调-均化信息，等等。例如，红色色度信号Cr和蓝色色度信号Cb被用作色调信息。此外，例如，B/G和R/G被用作色调-均化信息。这里，B表示蓝色信号，R表示红色信号，并且G表示绿色信号。

另外，将通过示例来描述基于每个像素或每个块的色调信息执行上述分配处理的情况。在此情况中，色调被分配到预定数目的颜色区域。图5示出被分类到七个颜色区域(即颜色区域A至G)的分类示例。这里，本示例是通过沿着颜色区域A切割颜色轮盘并延伸颜色轮盘获得的。

图像分析单元101使用红色色度信号Cr和蓝色色度信号Cb来确定每个像素或每个块属于颜色区域A至G中的哪个颜色区域并执行分配。这里，一个块的红色色度信号Cr和蓝色色度信号Cb分别被确定为是该块中包括的预定数目的像素的红色色度信号Cr和蓝色色度信号Cb的平均值、中间值等。

图6至图8分别示出分配处理结果的示例。这些示例将各颜色区域的频率示为画面占比。这里，“画面”表示在步骤ST2中设定“颜色信息分析区域”。在图6的示例中，所有颜色区域A至G的频率都小于阈值。在图7的示例中，在颜色区域A至G的频率中，颜色区域E的频率都超过阈值，并且其他颜色区域的频率小于阈值。在图8的示例中，在颜色区域A至G的频率中，颜色区域B、D、F的频率都超过阈值，并且其他颜色区域的频率小于阈值。这里，阈值例如被设定为整个画面的区域的大约30％至40％，但是并不限于此。

接着，返回参考图2，在步骤ST4中，图像分析单元101判断是否存在频率超过阈值的颜色区域。当判定不存在频率超过阈值的区域时(参见图6)，图像分析单元101返回到步骤ST2以改变颜色信息分析区域。在此情况中，改变之后的颜色信息分析区域(第二图像区域)相比于改变之前的颜色信息分析区域(第一图像区域)被缩小(参见图3和图4)。

另一方面，当判定存在频率超过阈值的区域时(参见图7和图8)，图像分析单元101进行到步骤ST5的处理。在步骤ST5中，图像分析单元101确定频率超过阈值的颜色区域中的至少一个颜色区域作为提取颜色区域，并且输出关于此提取颜色区域的信息。

在此情况中，当只存在一个频率超过阈值的颜色区域时(参见图7)，图像分析单元101将该颜色区域确定作为提取颜色区域。此外，在本情况中，当存在多个频率超过阈值的颜色区域时(参见图8)，图像分析单元101例如按照频率降低的顺序将这多个颜色区域中的一个颜色区域或预定数目的颜色区域确定作为提取颜色区域。

在步骤ST5的处理之后，在步骤ST6中，图像分析单元图像分析单元101完成处理。

返回参考图1，图像处理单元102基于由图像分析单元101所确定的提取颜色区域来对输入图像信号SVin执行图像处理，从而获得输出图像信号SVout。在此情况中，图像处理单元102对输入图像信号SVin的提取颜色区域和/或输入图像信号SVin中所述提取颜色区域以外的剩余区域执行图像处理。换句话说，图像处理单元102对输入图像信号SVin的提取颜色区域和输入图像信号SVin中所述提取颜色区域以外的剩余区域中的至少一种区域执行图像处理。当图像处理单元102对两种区域都执行图像处理时，针对提取图像区域和提取图像区域以外的剩余区域，不同种类的图像处理被执行。例如，图像处理单元102对输入图像信号SVin的提取颜色区域执行强调饱和度的处理。此外，图像处理单元102对输入图像信号SVin中所述提取颜色区域以外的剩余区域执行例如非彩色上色，非彩色上色是将饱和度降到零的处理。

将描述图1中所示的图像处理装置100的操作。输入图像信号SVin，例如捕获的图像信号或重放的图像信号，被提供到图像分析单元101和图像处理单元102。图像分析单元101使用输入图像信号SVin的颜色信息确定包括至少图像的部分区域的提取颜色区域，并且将关于此区域的信息提供给图像处理单元102。

图像处理单元102基于图像分析单元101所确定的提取颜色区域来对输入图像信号SVin执行图像处理，从而获得输出图像信号SVout。在此情况中，图像处理单元102对输入图像信号SVin的提取颜色区域和/或输入图像信号SVin的所述提取颜色区域以外的剩余区域执行图像处理。例如，针对输入图像信号SVin的所述提取颜色区域以外的剩余区域，非彩色上色的处理被执行，从而实现所谓的部分彩色效果。

如上所述，在图1所示的图像处理装置100中，图像分析单元101使用输入图像信号SVin的颜色信息自动确定至少一个提取颜色区域。因此，图像处理单元102可以基于关于提取颜色区域的信息可靠地对输入图像信号SVin执行图像处理。例如，针对输入图像信号SVin的所述提取颜色区域以外的剩余区域，非彩色上色的处理被执行，从而可以可靠地实现所谓的部分彩色效果。

此外，当不能确定提取颜色区域时，图1所示的图像处理装置100中的图像分析单元101利用缩小的区域来改变颜色信息分析区域并再次执行确定提取颜色区域的处理。因此，能够自动确定至少一个提取颜色区域。

通常的数字静态相机包括具有用于实现自动聚焦的聚焦点的相机、聚焦位置可由用户自由设定的相机。一般而言，因为希望被聚焦的目标作为主要对象，所有很有可能该目标包括许多希望被提取的颜色区域。因此，通过朝着聚焦点缩小颜色信息分析区域，能够将用户偏爱的颜色区域确定作为提取颜色区域。

在图1所示的图像处理装置100中，输入图像信号SVin包括亮度信号Y、红色色度信号Cr和蓝色色度信号Cb，但是也可由三原色信号，即红色信号R、绿色信号G和蓝色信号B构成。在此情况中，图像分析单元101和图像处理单元102可使用红色信号R、绿色信号G和蓝色信号B来执行处理，或者在将红色信号R、绿色信号G和蓝色信号B转换成亮度信号Y、红色是色度信号Cr和蓝色色度信号Cb之后再执行处理。

<第二实施例>

[数字静态相机的配置示例]

图9示出根据本公开的第二实施例的数字静态相机(成像装置)100A的配置示例。在图9中，同样的符号或相应的符号被给予与图1中部件相对应的部件，并且其详细描述将被适当省略。数字静态相机100A包括相机主体单元110、CPU 111、存储器112、用户操纵单元113和显示单元114，并且各单元经由内部总线115彼此连接。

CPU 111控制数字静态相机100A的各单元的操作。虽然在图中未示出，但是存储器112由快闪ROM、DRAM等构成。快闪ROM执行对控制软件和数据的存储。DRAM构成CPU 111的工作区。CPU 111将从快闪ROM读出的软件或数据加载到DRAM并运行软件，从而控制数字静态相机100A的各单元。

用户操纵单元113和显示单元114构成用户界面。用户操纵单元113由布置在数字静态相机100A的外壳上的键盘、按钮或拨号盘(他们在图中未被示出)、布置在显示单元114的显示面上的触摸面板等构成。显示单元114由诸如液晶显示器(LCD)之类的显示面板构成。

相机主体单元110包括成像单元103、图像分析单元101A、图像处理单元102和输出单元104。成像单元103拍摄对象以获得捕获的图像信号SVa并且输出此捕获的图像信号SVa。此捕获的图像信号SVa是彩色图像信号并且例如包含亮度信号Y、红色色度信号Cr和蓝色色度信号Cb。

成像单元103具有自动聚焦功能，诸如相位差自动聚焦法，并且可聚焦于画面上预定位置处存在的对象上。此外，成像单元103具有检测诸如脸部之类的特定目标的功能。成像单元103不仅输出前述捕获的图像信号SVa而且还输出另外的信息Iadd，另外的信息Iadd包括关于聚焦点的信息、关于特定目标的检测位置的信息等。

类似图1中所示的图像处理装置100中的图像分析单元101，图像分析单元101A使用捕获的图像信号SVa的颜色信息执行确定包括图像中的至少部分区域的提取颜色区域的处理。当不能在第一图像区域中确定提取颜色区域时，图像分析单元101A在比第一图像区域小的第二图像区域中执行确定提取颜色区域的处理。

在此情况中，图像分析单元101A执行将第一图像区域中的每个像素或者包括预定数目的像素的每个块分配到多个颜色区域中的任一颜色区域的处理。之后，当存在频率超过阈值的颜色区域时，图像分析单元101A将这些颜色区域中的至少一个颜色区域确定作为提取颜色区域。另一方面，当不存在频率超过阈值的区域时，图像分析单元101A在比第一图像区域小的第二图像区域中执行确定提取颜色区域的处理。

当存在拍摄状态的改变时，图像分析单元101A更新所确定的提取液颜色区域。这里，拍摄状态的改变表示当用户使用用户操纵单元113明确地执行曝光模式、缩放处理等的改变时发生的拍摄状态的改变。按照这种方式，能够防止提取颜色区域因用户不希望的视角的微小差异或对象运动而逐渐地变化。

图10的流程图示出图像分析单元101A的处理序列。图像分析单元101A在步骤ST11中基于例如用户使用用户操纵单元113的启动操作而开始处理，并且然后进行到步骤ST12的处理。在步骤ST12中，图像分析单元101A设定颜色信息分析区域，类似图2的步骤ST2中由图1的图像处理装置100的图像分析单元101所执行的处理。

首先，图像分析单元101A将整个画面设定作为颜色信息分析区域，并且然后每当不存在频率超过阈值的颜色区域并且处理返回到步骤ST12时逐渐地缩小区域。这里，改变之前的颜色信息分析区域构成第一图像区域并且改变之后的颜色信息分析区域构成第二图像区域。在此情况中，例如，颜色信息分析区域朝着画面中心被缩小(参见图3)。

此外，在此情况中，例如基于来自成像单元103的被包括作为另外的信息的关于聚焦点的信息，颜色信息分析区域朝着画面上的聚焦点被缩小(参见图4)。此外，在此情况中，例如基于来自成像单元103的被包括作为另外的信息的关于特定目标的检测位置的信息，颜色信息分析区域朝着画面上的该特定目标的检测位置被缩小。

接着，图像分析单元101A在步骤ST13中执行颜色频率分布分析，类似图2的步骤ST3中由图1的图像处理装置100的图像分析单元101所执行的处理。换句话说，图像分析单元101A执行将每个像素或包括预定数目的像素(例如8×8像素)的每个块分配到多个颜色区域中的任一颜色区域的处理。图像分析单元101A基于关于每个像素或每个块的颜色信息来执行该分配处理。

接着，在步骤ST14中，图像分析单元101A判断是否存在频率超过阈值的颜色区域。当判定不存在频率超过阈值的区域时(参见图6)，图像分析单元101A返回到步骤ST12以改变颜色信息分析区域。在此情况中，改变之后的颜色信息分析区域(第二图像区域)相比于改变之前的颜色信息分析区域(第一图像区域)被缩小(参见图3和图4)。

另一方面，当判定存在频率超过阈值的区域时(参见图7和图8)，图像分析单元101A在步骤ST15中判断是否存在拍摄状态的改变。当判定不存在改变时，图像分析单元101A返回到步骤ST12以将颜色信息分析区域设定为初始状态，即，整个画面，并且重复上述相同的处理。

当判定存在拍摄状态的改变时，图像分析单元101A进行到步骤ST16的处理。此外，当在步骤ST11中处理开始后第一次在步骤ST14中判定存在频率超过阈值的颜色区域时，图像分析单元101A直接进行到步骤ST16的处理。

在步骤ST16中，图像分析单元101A将频率超过阈值的颜色区域中的至少一个颜色区域确定作为提取颜色区域，并且在画面上输出关于该提取颜色区域的信息。此处理与图2的步骤ST5中由图1的图像处理装置100的图像分析单元101所执行的处理相同。如上所述，仅当在步骤ST11中处理开始后并非第一次判定存在拍摄状态的改变时，图像分析单元101A才进行到步骤ST16的处理。按照这种方式，当存在拍摄状态的改变时，所确定的提取颜色区域被更新。

在步骤ST16的处理之后，图像分析单元101A返回到步骤ST12以将颜色信息分析区域设定到初始状态，即整个画面，并且重复与上述相同的处理。

返回到图9，图像处理单元102基于由图像分析单元101A所确定的提取颜色区域来对捕获的图像信号SVa执行图像处理，从而获得经处理的图像信号SVb。在此情况中，图像处理单元102对捕获的图像信号SVa的提取颜色区域和/或捕获的图像信号SVa中所述提取颜色区域以外的剩余区域执行图像处理。图像处理单元102对捕获的图像信号SVa的提取颜色区域执行例如强调饱和度的处理。此外，图像处理单元102对捕获的图像信号SVa中所述提取颜色区域以外的剩余区域执行例如非彩色上色，非彩色上色是将饱和度降到零的处理。

输出单元104执行将从图像处理单元102输出的经处理的图像信号SVb输出到外部的处理。例如，输出单元104将经处理的图像信号SVb作为JPEG图像文件记录在诸如存储卡之类的记录介质中。

将描述图9中所示的数字静态相机100A的操作。捕获的图像信号SVa(例如通过使用成像单元103对对象进行拍摄而获得)被提供到图像分析单元101A和图像处理单元102。此外，另外的信息Iadd(从成像单元103输出并且包括关于聚焦点的信息、关于特定目标的检测位置的信息等)被提供到图像分析单元101A。图像分析单元101A使用捕获的图像信号SVa的颜色信息确定包括至少图像的部分区域的提取颜色区域，并且将关于此区域的信息提供给图像处理单元102。

图像处理单元102基于图像分析单元101A所确定的提取颜色区域来对捕获的图像信号SVa执行图像处理，从而获得经处理的图像信号SVb。在此情况中，图像处理单元102对捕获的图像信号SVa的提取颜色区域和/或捕获的图像信号SVa的所述提取颜色区域以外的剩余区域执行图像处理。例如，针对捕获的图像信号SVa的所述提取颜色区域以外的剩余区域，非彩色上色的处理被执行，从而实现所谓的部分彩色效果。

由图像处理单元102所获得的经处理的图像信号SVb被提供到输出单元104。输出单元104执行将经处理的图像信号SVb输出到外部的处理。例如，输出单元104将经处理的图像信号SVb作为JPEG图像文件记录在诸如存储卡之类的存储介质中的处理。

如上所述，在图9所示的数字静态相机100A中，相机主体单元110的图像分析单元101A使用捕获的图像信号SVa的颜色信息自动确定至少一个提取颜色区域。因此，图相机主体单元110的像处理单元102可以基于关于提取颜色区域的信息可靠地对捕获的图像信号SVa执行图像处理。例如，针对捕获的图像信号SVa的所述提取颜色区域以外的剩余区域，非彩色上色的处理被执行，从而可以可靠地实现所谓的部分彩色效果。

此外，当不能确定提取颜色区域时，图9所示的数字静态相机100A中的相机主体单元110的图像分析单元101A利用缩小的区域来改变颜色信息分析区域并再次执行确定提取颜色区域的处理。因此，能够自动确定至少一个提取颜色区域。此时，如果颜色信息分析区域朝着聚焦点被缩小，则能够将用户偏爱的颜色区域确定作为提取颜色区域。

此外，当存在拍摄状态的改变时，图9中所示的数字静态相机100A中的相机主体单元110的图像分析单元101A更新所确定的提取颜色区域。因此，由图像分析单元101A所确定的提取颜色区域不变化，除非用户使用用户操纵单元113明确执行曝光模式、缩放处理等的改变。因此，能够防止提取颜色区域因用户不希望的视角的微小差异或对象运动而逐渐地变化。

在图10所示的流程图中，即使当不存在拍摄状态的改变时，步骤ST12至步骤ST14的处理也被重复执行。然而，处理序列可被设定为仅当存在拍摄状态的改变时执行这些步骤ST12至ST14的处理并确定提取颜色区域。

<3.变形例>

在上述实施例中，已经描述当存在多个频率超过阈值的颜色区域时(参见图8)，图像分析单元101和101A例如按照频率降低的顺序确定这多个颜色区域中的一个颜色区域或预定数目的颜色区域作为提取颜色区域。与此类似，当存在许多频率超过阈值的颜色区域时，要被确定作为提取颜色区域的颜色区域可被配置为由用户选择。将描述此情况中的图像分析单元101A等的操作示例。

将描述此情况中的图像分析单元101A等的操作示例。例如，在图10的流程图中，当在步骤ST15中存在拍摄状态的改变时，CPU 111在步骤St17中判断是否存在两个以上频率超过阈值的颜色区域。当只存在一个频率超过阈值的颜色区域时，图像分析单元101A直接进行到步骤ST16的处理并将此颜色区域确定作为提取颜色区域。

另一方面，当判定存在两个以上频率超过阈值的颜色区域，CPU 111在步骤ST18中将这些颜色区域中的N个颜色区域(N是等于或大于2的整数)按照频率降低的顺序显示在显示单元114上。按照这种方式，用户被提示选择提取颜色区域。图11示出在数字静态相机100A的显示单元114中显示的候选颜色区域的示例。在本示例中，三个候选颜色区域被以着色的长方形显示。

接着，在步骤ST19中，用户操纵单元113基于显示单元114的显示选择要被确定作为提取颜色区域的颜色区域。图11的示例示出左边的一个颜色区域被选择并被边界FL圈住的状态。在步骤ST19中的用户选择之后，在步骤ST16中图像分析单元101A将用户选择的预定数目的颜色区域确定作为提取颜色区域。

按照这种方式，当存在多个频率超过阈值的颜色区域时，用户被提示选择要被作为提取颜色区域的颜色区域，从而用户偏爱的颜色区域可被确定作为提取颜色区域。

上面已经描述候选颜色区域被显示在数字静态相机100A的显示单元114上，并且用户操纵数字静态相机100A的用户操纵单元113来选择要被确定作为提取颜色区域的颜色区域。然而，显示候选颜色区域的显示单元可以是外部设备。此外，用户用来执行选择操纵的操纵单元可以是外部设备，诸如遥控器或经由网络的设备。

换句话说，作为图像处理装置的数字静态相机100A可具有用户选择获取单元的功能，该功能使得显示单元按照频率降低的顺序显示多个频率超过阈值的颜色区域中的N个区域(N是等于或大于2的整数)作为候选颜色区域的并提示用户基于显示单元的显示选择提取颜色区域。

在上述实施例中，当不存在频率超过阈值的颜色区域时，颜色信息分析区域朝着画面中心或画面上的聚焦点被逐渐缩小。然而，此处理指示选项，并且可不执行。在此情况中，例如，一个颜色区域或按照频率降低顺序的预定数目的颜色区域被简单地确定作为提取颜色区域，而不使用阈值。

此外，在上述实施例中，图像分析单元101和101A以及图像处理单元102的处理可通过软件执行也可通过硬件执行。当该处理通过硬件执行时，记录处理序列的程序被安装在以专用硬件实现的计算机中的存储器中并被运行。替代地，程序可被安装在能够执行各种处理的通用计算机总并被运行。

本发明技术可具有如下配置。

(1)一种图像处理装置，包括：

提取颜色区域确定单元，该提取颜色区域确定单元使用输入图像信号的颜色信息来执行确定至少包括图像中的一部分区域的提取颜色区域的处理，以及

图像处理单元，该图像处理单元对所述输入图像信号的由所述提取颜色区域确定单元所确定的提取颜色区域和/或所述输入图像信号的所述提取颜色区域以外的剩余区域执行图像处理，以获得输出图像信号。

(2)根据(1)中所述的图像处理装置，

其中，当不能在第一图像区域中确定所述提取颜色区域时，所述提取颜色区域确定单元在比所述第一图像区域小的第二图像区域中执行确定所述提取颜色区域的处理。

(3)根据上述(2)中所述的图像处理装置，

其中，所述提取颜色区域确定单元执行在所述第一图像区域中将每个像素或包括预定数目的像素的每个块分配到多个颜色区域中的任一颜色区域的处理，并且作为其结果，当存在频率超过阈值的颜色区域时，所述提取颜色区域确定单元将这些颜色区域中的至少一个颜色区域确定作为所述提取颜色区域，并且当不存在频率超过阈值的颜色区域时，所述提取颜色区域确定单元执行在比所述第一图像区域小的所述第二图像区域中确定所述提取颜色区域的处理。

(4)根据上述(2)或(3)中所述的图像处理装置，

其中，所述提取颜色区域确定单元将通过使得所述第一图像区域朝着画面中心缩小而获得的图像区域确定作为所述第二图像区域。

(5)根据上述(2)或(3)中所述的图像处理装置，

其中，所述提取颜色区域确定单元将通过使得所述第一图像区域朝着画面上的聚焦点缩小而获得的图像区域确定作为所述第二图像区域。

(6)根据上述(1)或(2)所述的图像处理装置，

其中，所述提取颜色区域确定单元执行在预定图像区域中将每个像素或包括预定数目的像素的每个块分配到多个颜色区域中的任一颜色区域的处理，并且基于每个颜色区域的频率来确定所述提取颜色区域。

(7)根据上述(6)所述的图像处理装置，

其中，当存在多个频率超过阈值的颜色区域时，所述提取颜色区域确定单元按照频率降低的顺序将预定数目的颜色区域确定作为所述提取颜色区域。

(8)根据上述(6)所述的图像处理装置，

其中，当存在多个频率超过阈值的颜色区域时，所述提取颜色区域确定单元提示用户选择所述提取颜色区域。

(9)根据上述(8)所述的图像处理装置，还包括

用户选择获取单元，所述用户选择获取单元按照频率降低的顺序将所述多个频率超过阈值的颜色区域中的N个区域(N是等于或大于2的整数)作为候选颜色区域显示在显示单元上，并且

提示用户基于所述显示单元的显示来选择所述提取颜色区域。

(10)根据上述(1)至(9)中任一个中所述的图像处理装置，

其中，当所述输入图像信号的拍摄条件变化时，所述提取颜色区域确定单元更新所确定的提取颜色区域。

(11)一种图像处理方法，包括：

提取颜色区域确定步骤，该提取颜色区域确定步骤使用输入图像信号的颜色信息来执行确定至少包括图像中的一部分区域的提取颜色区域的处理，以及

图像处理步骤，该图像处理步骤对所述输入图像信号的在所述提取颜色区域确定步骤中所确定的提取颜色区域和/或所述输入图像信号的所述提取颜色区域以外的剩余区域执行图像处理，以获得输出图像信号。

(12)一种程序，该程序使得计算机用作：

提取颜色区域确定单元，该提取颜色区域确定单元使用输入图像信号的颜色信息来执行确定至少包括图像中的一部分区域的提取颜色区域的处理，以及

图像处理单元，该图像处理单元对所述输入图像信号的由所述提取颜色区域确定单元所确定的提取颜色区域和/或所述输入图像信号的所述提取颜色区域以外的剩余区域执行图像处理，以获得输出图像信号。

(13)一种成像装置，包括：

成像单元；

提取颜色区域确定单元，该提取颜色区域确定单元使用所述成像单元获得捕获的图像信号的颜色信息来执行确定包括图像中的至少部分区域的提取颜色区域的处理，以及

图像处理单元，该图像处理单元对所述捕获的图像信号的由所述提取颜色区域确定单元所确定的提取颜色区域和/或所述捕获的图像信号的所述提取颜色区域以外的剩余区域执行图像处理，以获得输出图像信号。

本领域技术人员应当理解，依赖于设计要求和其他因素可以做出各种修改、组合、子组合和变更，只要他们落入所附权利要求及其等同物的范围内即可。

本公开包含与2011年5月18日在日本专利局提交的日本优先权专利申请JP 2011-111350中公开的主题有关的主题，该申请的全部内容通过引用被结合于此。

Claims (11)

1.一种图像处理装置，包括：

提取颜色区域确定单元，该提取颜色区域确定单元使用输入图像信号的颜色信息来执行确定所述输入图像信号中的第一区域的至少一个提取颜色区域的处理，其中确定所述至少一个提取颜色区域的所述处理包括：将第一区域中的每个像素或包括预定数目的像素的每个块分配到多个颜色区域中的任一颜色区域，并且基于所述多个颜色区域中的每个颜色区域的分配数量来确定所述至少一个提取颜色区域；以及

图像处理单元，该图像处理单元对所述输入图像信号的由所述提取颜色区域确定单元所确定的所述至少一个提取颜色区域和/或所述输入图像信号的除所述至少一个提取颜色区域以外的剩余区域执行图像处理，以获得输出图像信号，

其中，当所述提取颜色区域确定单元确定了所述多个颜色区域中只有一个颜色区域的所述分配数量超过阈值时，所述提取颜色区域确定单元被配置为将所述多个颜色区域中的所述一个颜色区域识别为所述至少一个提取颜色区域；并且

其中，当所述提取颜色区域确定单元确定了所述多个颜色区域中有两个或更多个颜色区域的所述分配数量超过阈值时，所述提取颜色区域确定单元被配置为按照所述分配数量的降序将预定数目的颜色区域识别为所述至少一个提取颜色区域。

2.根据权利要求1所述的图像处理装置，

其中，当不能在第一区域中确定所述至少一个提取颜色区域时，所述提取颜色区域确定单元在比所述第一区域小的第二区域中执行确定所述至少一个提取颜色区域的处理。

3.根据权利要求2所述的图像处理装置，

其中，当不存在分配数量超过阈值的颜色区域时，所述提取颜色区域确定单元执行在比所述第一区域小的所述第二区域中确定所述至少一个提取颜色区域的处理。

4.根据权利要求2所述的图像处理装置，

其中，所述提取颜色区域确定单元通过使得所述第一区域朝着画面中心缩小来确定所述第二区域。

5.根据权利要求2所述的图像处理装置，

其中，所述提取颜色区域确定单元通过使得所述第一区域朝着画面上的聚焦点缩小来确定所述第二区域。

6.根据权利要求1所述的图像处理装置，

其中，当存在所述分配数量超过阈值的多个颜色区域时，所述提取颜色区域确定单元提示用户选择所述至少一个提取颜色区域。

7.根据权利要求6所述的图像处理装置，还包括

用户选择获取单元，所述用户选择获取单元按照所述分配数量的降序将所述分配数量超过阈值的所述多个颜色区域中的N个区域作为候选颜色区域显示在显示单元上，其中N是等于或大于2的整数，

并且提示用户基于所述显示单元的显示来选择所述至少一个提取颜色区域。

8.根据权利要求1所述的图像处理装置，

其中，当所述输入图像信号的拍摄条件变化时，所述提取颜色区域确定单元更新所确定的至少一个提取颜色区域。

9.一种图像处理方法，包括：

提取颜色区域确定步骤，该提取颜色区域确定步骤使用输入图像信号的颜色信息来执行确定所述输入图像信号中的第一区域的至少一个提取颜色区域的处理，其中确定所述至少一个提取颜色区域的所述处理包括：将第一区域中的每个像素或包括预定数目的像素的每个块分配到多个颜色区域中的任一颜色区域，并且基于所述多个颜色区域中的每个颜色区域的分配数量来确定所述至少一个提取颜色区域；以及

图像处理步骤，该图像处理步骤对所述输入图像信号的在所述提取颜色区域确定步骤中所确定的所述至少一个提取颜色区域和/或所述输入图像信号的除所述至少一个提取颜色区域以外的剩余区域执行图像处理，以获得输出图像信号，

其中，当所述提取颜色区域确定步骤确定了所述多个颜色区域中只有一个颜色区域的所述分配数量超过阈值时，所述多个颜色区域中的所述一个颜色区域被识别为所述至少一个提取颜色区域；并且

其中，当所述提取颜色区域确定步骤确定了所述多个颜色区域中有两个或更多个颜色区域的所述分配数量超过阈值时，按照所述分配数量的降序的预定数目的颜色区域被识别为所述至少一个提取颜色区域。

10.一种存储程序的计算机可读存储介质，所述程序使得计算机用作：

提取颜色区域确定单元，该提取颜色区域确定单元使用输入图像信号的颜色信息来执行确定所述输入图像信号中的第一区域的至少一个提取颜色区域的处理，其中确定所述至少一个提取颜色区域的所述处理包括：将第一区域中的每个像素或包括预定数目的像素的每个块分配到多个颜色区域中的任一颜色区域，并且基于所述多个颜色区域中的每个颜色区域的分配数量来确定所述至少一个提取颜色区域；以及

图像处理单元，该图像处理单元对所述输入图像信号的由所述提取颜色区域确定单元所确定的所述至少一个提取颜色区域和/或所述输入图像信号的除所述至少一个提取颜色区域以外的剩余区域执行图像处理，以获得输出图像信号，

其中，当所述提取颜色区域确定单元确定了所述多个颜色区域中只有一个颜色区域的所述分配数量超过阈值时，所述提取颜色区域确定单元被配置为将所述多个颜色区域中的所述一个颜色区域识别为所述至少一个提取颜色区域；并且

其中，当所述提取颜色区域确定单元确定了所述多个颜色区域中有两个或更多个颜色区域的所述分配数量超过阈值时，所述提取颜色区域确定单元被配置为按照所述分配数量的降序将预定数目的颜色区域识别为所述至少一个提取颜色区域。

11.一种成像装置，包括：

成像单元；

提取颜色区域确定单元，该提取颜色区域确定单元使用所述成像单元获得的捕获的图像信号的颜色信息来执行确定所述捕获的图像信号中的第一区域的至少一个提取颜色区域的处理，其中确定所述至少一个提取颜色区域的所述处理包括：将第一区域中的每个像素或包括预定数目的像素的每个块分配到多个颜色区域中的任一颜色区域，并且基于所述多个颜色区域中的每个颜色区域的分配数量来确定所述至少一个提取颜色区域；以及

图像处理单元，该图像处理单元对所述捕获的图像信号的由所述提取颜色区域确定单元所确定的所述至少一个提取颜色区域和/或所述捕获的图像信号的除所述至少一个提取颜色区域以外的剩余区域执行图像处理，以获得处理的图像信号，

其中，当所述提取颜色区域确定单元确定了所述多个颜色区域中只有一个颜色区域的所述分配数量超过阈值时，所述提取颜色区域确定单元被配置为将所述多个颜色区域中的所述一个颜色区域识别为所述至少一个提取颜色区域；并且

其中，当所述提取颜色区域确定单元确定了所述多个颜色区域中有两个或更多个颜色区域的所述分配数量超过阈值时，所述提取颜色区域确定单元被配置为按照所述分配数量的降序将预定数目的颜色区域识别为所述至少一个提取颜色区域。

Images