CN102739953B - 图像处理设备、图像处理方法 - Google Patents

Abstract

提供了图像处理设备，图像处理方法和程序。该图像处理设备包括：色彩空间选择单元，其基于指定的色彩信息选择色彩空间；和区域确定单元，其从为色彩区域确定而提供的色彩区域已确定图像中确定包括与由色彩空间中指定的色彩信息显示的色彩匹配的色彩的区域。

Description

图像处理设备、图像处理方法

技术领域

本技术涉及图像处理设备、图像处理方法和图像处理程序。

背景技术

现有技术中，图像捕捉设备(诸如数码相机和数字摄像机)包括当捕捉移动被摄体时自动跟踪被摄体和执行自动聚焦、构图调整、曝光调整、图像捕捉设备本身的摇动和倾斜动作等的功能。

这样的跟踪功能通过将区域中的运动例如通过块匹配检测为跟踪目标的方法来执行。此外，关注通过捕捉而获得的捕捉图像的色调信息和亮度信息并使用这些信息从输入图像中找到跟踪目标的直方图方法也是公知的(日本未审查专利申请公开No.9-181953)。

发明内容

在日本未审查专利申请公开No.9-181953中描述的自动跟踪设备通过始终关注HSV色彩空间的色调，寻求当亮度改变时改进跟踪功能。然而，低饱和度色彩具有色调改变很大程度上来自于在捕捉期间亮度的小的改变这一特征。由于这样的特征，存在难以精确跟踪作为跟踪目标的区域的色调并且跟踪性能下降的问题。

因此，在作为跟踪目标的区域的色彩在捕捉期间由于亮度条件或捕捉环境的改变而改变的情况下，诸如当跟踪目标突然从亮的位置移动到暗的位置(诸如阴影中)的情况下，在跟踪目标的色彩和在跟踪目标指定期间跟踪目标的色彩的差异变大，并且变得难以以高精度执行跟踪。

期望提供一种能够通过选择色彩空间而基于图像的色彩特征以高的精度执行区域确定的图像处理设备、图像处理方法和图像处理程序。

按照本技术的实施例的图像处理设备包括：色彩信息获得单元，获得在第一图像中指定的指定区域的色彩信息；色彩空间选择单元，基于通过色彩信息 获得单元获得的色彩信息选择用于评价第二图像的预定区域的色彩空间；和区域确定单元，基于由色彩空间选择单元选择的色彩空间和色彩信息从第二图像确定预定的区域。

此外，按照本技术的另一实施例的图像处理方法包括：获得在第一图像中确定的确定区域的色彩信息；基于色彩信息选择用于评价第二图像的预定区域的色彩空间；和基于选择的色彩空间和色彩信息从第二图像确定预定区域。

此外，按照本技术的再一实施例的图像处理程序使得计算机执行图像处理方法，所述方法包括：获得在第一图像中确定的确定区域的色彩信息；基于色彩信息选择用于评价第二图像的预定区域的色彩空间；和基于选择的色彩空间和色彩信息从第二图像确定预定区域。

此外，按照本技术的再一实施例的捕捉设备包括：捕捉单元，经由光学系统接收光并且产生图像；区域指定单元，执行图像的区域的指定；色彩信息获得单元，获得指定的第一图像的指定区域的色彩信息；色彩空间选择单元，基于由色彩信息获得单元选择的色彩信息选择用于评价第二图像的预定区域的色彩空间；和区域确定单元，基于由色彩空间选择单元选择的色彩空间和色彩信息从第二图像确定预定的区域。

按照本技术的实施例，即使在捕捉期间存在捕捉环境的改变，也可以基于图像中的色彩特征以高精度执行区域的确定。

附图说明

图1是示出了按照本技术的实施例的图像处理设备的配置的框图；

图2是示出了由图像处理设备执行的图像处理的整个流程的流程图；

图3是示出了色彩空间选择处理的流程的流程图；

图4A和图4B是示出了当饱和度低时色彩空间的特征的图；

图5A和图5B是示出了当饱和度高时色彩空间的特征的图；

图6是示出了在选择了YUV色彩空间的情况下区域确定处理的流程的流程图；

图7是示出了在选择了HSV色彩空间或HSL色彩空间的情况下区域确定处理的流程的流程图；

图8A和图8B是用于描述在色彩信息和图像背景之间的关系的图；

图9是用于描述在区域确定处理中在亮度和饱和度之间的关系的图；

图10A至图10C是用于描述区域确定处理的图；

图11A至图11C是用于描述区域选择处理的图；并且

图12是示出了包括了图像处理设备的捕捉设备的配置的框图。

具体实施方式

以下参考附图描述本技术的实施例。然而本技术不限于以下实施例。在此，描述按照以下顺序给出。

<1.实施例>

[1-1.图像处理设备的配置]

[1-2.图像处理的整个流程]

[1-3.色彩空间选择处理]

[1-4.区域确定处理]

[1-5.包括了图像处理设备的捕捉设备的配置]

<2.修改>

<1.实施例>

[1-1.图像处理设备的配置]

图1是示出了按照本技术的实施例的图像处理设备的配置的框图。图像处理设备1例如安装在捕捉设备(诸如数码相机)上，并且用于在自动跟踪被摄体等时的跟踪控制。

图像处理设备1通过由控制单元执行的预定程序来实现，所述控制单元例如由CPU(中央处理单元)、RAM(随机存取存储器)和ROM(只读存储器)配置。由CPU读取并激活的程序等存储在CPU中。RAM用作CPU的工作存储器。CPU通过执行按照存储在ROM中的程序的各种处理并发出命令来用作图像信息获得单元2、色彩空间选择单元3和区域确定单元4。

然而，图像处理设备1不仅可以通过程序来实现而且还作为专用设备来实现，在所述专用设备中组合了包括图像信息获得单元2、色彩空间选择单元3和区域确定单元4各自的功能的硬件。

例如，RGB格式的图像信号从外部输入到图像信息获得单元2。在图像处理设备1安装在捕捉设备上的情况下，输入通过利用捕捉设备捕捉而获得的图像信号。此外，指定区域的信息(其指示与图像信号相关的图像内任意指定的 区域(以下称为指定区域))输入到图像信息获得单元2。

此外，图像信息获得单元2获得输入图像的指定区域的色彩(以下称色彩信息)。例如，色彩信息可以是从RGB格式图像信息获得的亮度信号和色差信号的值。此外，在输入RGB格式图像信号的情况下，色彩信息可以使用R像素的平均值、G像素的平均值和B像素的平均值而获得。此外，色彩信息可以基于在指定区域中的单个像素的RGB值而获得。获得的色彩信息与输入图像一起提供到色彩空间选择单元3。图像处理设备1执行其中执行了指定区域的指定的图像(为色彩区域确定而提供的色彩区域已指定图像)之后输入的图像内确定一区域的处理，该区域包含与按照指定区域的色彩信息的色彩相同色彩的区域(以下称相同色彩区域)。此处，尽管执行从图像确定区域的处理(该图像是在其中描述了指定区域的指定的图像之后输入的图像)，但是不限于此，可以执行通过基于任意图像指定指定区域来确定区域和确定其他任意图像的处理。此外，作为色彩信息可以获得由用户在GUI等上选择的色彩。在这样的情况下，色彩区域已指定图像变得不重要。

此外，图像信息获得单元2还通过执行指定区域和整个图像的检波来执行色彩直方图的获得和整个图像的色彩的获得。此外，图像信息获得单元2还执行图像的整个区域内指定区域的尺寸、位置、运动矢量等(以下这些信息被称为相关信息)的获得。相关信息也与图像信息一起提供到色彩空间选择单元3。当用于相同色彩区域的多个候选中的一个由后面描述的区域确定单元4选择时使用所述相关信息。然而，相关信息的获得不是重要处理，并且仅当图像处理设备1具有使用所述相关信息的配置时才可以获得相关信息。

指定图像的指定通过在其上安装了图像处理设备1的捕捉设备的输入单元、连接到图像处理设备1的外部输入设备等执行。例如，在图像处理设备1安装在包括了作为输入单元的触摸屏的捕捉设备的情况下，指定区域的指定由用户通过使手指接触在触摸屏上显示的直通图像来执行输入而执行。例如，指定区域设置为具有中心位于手指等在直通图像上所接触的位置上的预定面积的区域。

此外，在图像处理设备(诸如个人计算机)例如要实现作为图像处理设备1的功能的情况下，指定区域设置为包括了中心位于通过附加到个人计算机的鼠标等指定的位置上的预定面积的区域。此外指定区域可以通过利用鼠标等在直通图像上指定任意区域来设置。此外，不限于用户指定指定区域的情况，面部 区域可以通过执行面部的图像识别等而设置为指定区域。

色彩空间选择单元3基于由图像信息获得单元2检测的色彩信息执行色彩空间的选择和切换处理(以下称为色彩空间选择处理)。指示了色彩空间已选择信息与输入图像一起提供到区域确定单元4。按照本技术的实施例，选择其中色彩通过明亮度信号(Y)和色差信号(U)(V)表示的YUV色彩空间、其中色彩通过色调(H)、饱和度(S)和值(明度)(V)表达的HSV色彩空间、和其中色彩通过色调(H)、饱和度(S)和亮度(L)表达的HSL(也称为HLS、HSI)色彩空间中任一种。后面将详细描述色彩空间选择处理的细节。此处，虽然在说明书描述了YUV，但是YCbCr也是同样。在此，在本说明书中，明亮度、明度值和亮度都指的是亮度。

此外，在以下说明书中，色调(H)值的范围是0至360(0：红)，饱和度(S)值的范围是0至255(0：无彩色，255：纯色彩)，亮度(V)值的范围是0至255(0：暗，255：亮)。此外，亮度信号和色差信号(U)(V)的值的范围是0至255。

区域确定单元4基于从图像获得单元2提供的色彩信息和相关信息和由色彩空间选择单元3选择的色彩空间从输入图像(为色彩区域确定而提供的色彩区域已确定图像)内确定相同色彩区域，所述色彩区域是具有与按照色彩信息的色彩相同色彩的区域(以下称为区域确定处理)。

此外，在检测到图像内用于相同色彩区域的多个候选(以下称为相同色彩区域候选)的情况下，区域确定单元4通过选择多个相同色彩区域候选中的一个来确定相同色彩区域(以下称为区域选择处理)。一旦确定了相同色彩区域，区域确定单元4输出信息，该信息向控制安装了图像处理设备1的捕捉设备等的跟踪动作的跟踪控制单元等指示相同色彩信息的位置、范围等。

[1-2.图像处理的整个流程]

图2是示出了由按照本技术的实施例的图像处理设备1执行的图像处理的整个流程的流程图。首先在步骤S101开始图像到图像处理设备1的输入。虽然在该示例中，图像的输入描述为只要按照本技术的实施例的图像处理或捕捉处理正在执行时就不断地执行，但是可以仅在合适的时候例如当执行跟踪时才执行输入。此外，图像处理以每帧或每几帧的频率执行。输入图像作为直通图像显示在其上安装了图像处理设备1的捕捉设备等上。接下来，在步骤S102中判 定是否执行指定区域的指定。在没有执行指定区域的指定的情况下，重复步骤S102的处理(步骤S102中的“否”)。在步骤S102中判定执行了指定区域的指定的情况下，处理前进到步骤S103(步骤S102中的“是”)。接下来，在步骤S103中由图像信息获得单元2执行指定区域的色彩信息和色彩直方图、整个输入图像的色彩、和相关信息的获得。

接下来，在步骤S104中由色彩空间选择单元3基于从图像信息获得单元2提供的色彩信息等执行色彩空间选择处理。如上所述，色彩空间选择处理是选择要使用YUV色彩空间、HSV色彩空间或HSL色彩空间中哪个色彩空间并且切换到选择的色彩空间的处理。后面将基于单独的流程图描述色彩空间选择处理的细节。

接下来，在步骤S105中基于由图像信息获得单元2获得的色彩信息和由色彩空间选择单元3选择的色彩空间执行区域确定处理。区域确定处理首先比较色彩信息和构成输入图像的每个像素的色彩，并检测与按照色彩信息的色彩相同的色彩的像素。此外，由与按照色彩信息的色彩相同的色彩的像素构成的区域确定为相同色彩区域。此处，当存在多个相同色彩区域时，也执行每个相同色彩区域的相关信息(尺寸、位置、运动矢量等)的获得等。后面将描述区域确定处理的细节。此处，尽管在该示例中将相同色彩区域确定为包括多个像素的相同色彩区域，但是本技术的实施例还可以应用于确定相同色彩的一个像素的情况。

接下来，在步骤S106中应用平坦化(flattening)处理。然而这样的处理是不重要的。接下来，在步骤S107中判定是否存在多个相同色彩区域。如果不存在多个相同色彩区域，则处理前进到步骤S108(步骤S107中的“否”)。另一方面，如果存在多个相同色彩区域，则处理前进到步骤S109(步骤S107中的“是”)。

在步骤S109中，通过从多个相同色彩区域候选中选择最接近指定区域的候选来确定相同色彩区域。在通过每个像素的色彩是否与按照色彩信息的色彩相同来执行相同色彩区域的确定的情况下，存在具有多个相同色彩区域的多个候选的情况。在这样的情况下，通过从多个相同色彩区域候选中选择与指定区域最接近的候选来确定相同色彩区域。从多个相同色彩区域候选中的选择通过比较在步骤S103中获得的指定区域的相关信息和每个相同色彩区域候选的相关信息来执行。

接下来在步骤S108中，相同色彩区域信息输出到外部跟踪控制单元等，所述相同色彩区域信息是指示确定的相同色彩区域的位置、尺寸等的信息。此外，跟踪控制等通过其上安装了图像处理设备1的捕捉设备等来执行。例如，当捕捉设备能够进行摇动和倾斜动作时，产生用于将与跟踪目标的相同色彩区域以合适的尺寸包含在大约捕捉设备的视角中心附近的控制信号，并且输出到管理捕捉设备的摇动和倾斜动作的动作控制单元。通过捕捉设备基于控制信号执行摇动和倾斜动作，执行相同色彩区域的跟踪。此外，捕捉设备的变焦动作、自动聚焦等可以通过使用相同色彩区域信息来控制。

此外，在步骤S110中判定图像处理是否已经结束。例如图像处理已经结束的情况是用户向图像处理设备1指令图像处理结束的情况。步骤S104返回到图像处理没有结束的情况，并且图像处理通过重复步骤S104至S110而继续(步骤S110中的“否”)。另一方面，在图像处理已经结束的情况下，图2的流程图中示出的处理结束(步骤S110中的“是”)。

[1-3.色彩空间选择处理]

接下来，描述上述步骤S104的色彩空间选择处理的细节。图3是示出了色彩空间选择处理的流程的流程图。在色彩空间选择处理中，首先在步骤S201中判定是否选择YUV色彩空间。对是否选择YUV色彩空间的判定是基于在从色彩信息中提取的饱和度和YUV饱和度阈值之间的比较结果和在从色彩信息中提取的亮度和YUV亮度阈值之间的比较结果而做出的。

例如，YUV饱和度阈值设置为110并且YUV亮度阈值设置为40。此外，判定在从色彩信息中提取的饱和度等于或大于110并且亮度等于或大于40的情况下使用不同于YUV色彩空间的色彩空间。另一方面，判定在饱和度等于或大于110并且亮度等于或大于40以外的情况下使用YUV色彩空间。

然而，上述YUV饱和度阈值和YUV亮度阈值的特定值仅是示例，并且取决于捕捉环境等可以采用这些值以外的值。例如，在阴影倾向于出现的环境中，例如户外，YUV饱和度阈值降低大约10％或类似数值。原因是，与YUV色彩空间相比，HSV色彩空间具有能够吸收在具有阳光的部分和没有阳光的部分之间的差异这一特征。

此外，还考虑按照从色彩信息中提取的色调来调节YUV饱和度阈值。特别地，考虑在色调是红色或接近红色的情况下将YUV阈值降低5％，在色调是黄、 绿或近似色调的情况下将YUV阈值提高5％等。此外，虽然是否使用YUV色彩空间的判定是基于上面的描述中的饱和度和亮度而做出的，但是不是一定需要使用饱和度和亮度，可以仅基于饱和度来做出判定。

返回到图3的流程图的描述，在步骤S201中判定使用YUV色彩空间的情况下(步骤S201中的“是”)，处理前进到步骤S202，选择YUV色彩空间并且指示选择的色彩空间的色彩空间选择信息与输入图像一起提供到区域确定单元4。另一方面，在步骤S201中判定不选择YUV色彩空间的情况下，处理前进到步骤S203(步骤S201中的否)。

接下来，在步骤S203中判定是否使用HSV色彩空间。在步骤S203中判定使用HSV色彩空间的情况下，处理前进到步骤S204(步骤S203中的“是”)，选择HSV色彩空间。另一方面，在步骤S203中判定不使用HSV色彩空间的情况下，处理前进到步骤S205(步骤S203中的“否”)，并且选择HSL色彩空间。

是否使用HSV色彩空间的判定是基于输入图像的亮度执行的。特别地，通过整个输入图像的亮度平均值等于或大于HSV第一亮度阈值并且每个亮度中的高值亮度等于或大于HSV第二阈值这一条件是否满足来作出判定。如果上述条件不满足，则因为捕捉环境的亮度低，所以选择HSV色彩空间。另一方面，如果上述条件满足，则选择HSL色彩空间，因为捕捉环境的亮度高。

HSV第一亮度阈值能够设置为例如180。此外，HSV第一亮度阈值能够设置为例如220。此外，如果整个图像的亮度的平均值等于或大于180并且上15％亮度等于或大于220，则判定在阴暗处使用HSL色彩空间并且在其它情况下使用HSV色彩空间。

整个图像的亮度高的情况换句话说是当“色彩接近饱和状态(预测到色彩饱和)”时的情况。作为色彩接近饱和状态的情况，考虑捕捉环境的亮度高的情况、捕捉时使用的捕捉元件的动态范围窄的情况等。然而，即使捕捉环境的亮度高，在动态范围宽的情况下色彩也不饱和，并且即使动态范围窄，在捕捉环境的亮度低的情况下色彩也不饱和。因此，在判定是否使用HSV色彩空间时使用的阈值可以基于捕捉元件的动态范围来合适地设置。

按照整个输入图像的亮度执行HSV色彩空间和HSL色彩空间的选择的原因是无限动态范围是HSV色彩空间的前提而另一方面色彩饱和度作为模型内置于HSL色彩空间。因此，例如，通过使用HSL色彩空间，即使在捕捉环境的亮度极端高(诸如在晴朗天气下中午的户外)，也可以执行精确的区域确定，而不 会看不到指定区域。在捕捉元件具有窄的动态范围(由于该动态范围色彩倾向于变得饱和)的情况下也是这样。

在此，在阈值的设置中，还可以考虑捕捉元件的因素。特别地，在捕捉环境是室内、白天和晴朗天气的情况下将HSV第一亮度阈值和HSV第二亮度阈值降低大约5至10％(HSV第一亮度阈值170、HSV第二亮度阈值205)。原因是在晴朗天气下在白天户外的亮度可能上升。

此外，在天气是雨天或阴天或在晚上(并且屏幕是暗的，即，平均亮度低)的情况下，将HSV第一亮度阈值和HSV第二亮度阈值降低几个百分比。考虑原因是由于在雨天、阴天和夜晚等环境中亮度一般低并且暗，即使亮度由于在照明度上的改变而改变，这样的改变也是小的。然而，在夜晚但是屏幕亮的情况下，可以不执行第一亮度阈值和HSV第二亮度阈值的调节(保持默认设置)。不执行调节是基于如下原因，即，当屏幕在夜晚足够亮时，亮度几乎不会再增加。例如能够基于整个图像的平均亮度来执行屏幕是亮还是暗的判定。

在此，例如可以基于与上述HSV第一亮度阈值和HSV第二亮度阈值分开设置的第三亮度阈值来执行对捕捉环境是室内还是室外的判定。在输入图像的平均亮度等于或小于第三亮度阈值的情况，判定捕捉环境暗并且是室内，并且在平均亮度等于或大于第三亮度阈值时，判定是户外。此外，如果在捕捉时使用的捕捉设备包括GPS(全球定位系统)功能，也可以基于由GPS获得的位置信息作出判定。此外，还可以考虑被摄体的色彩温度的测量结果作出判定。

此外，对诸如白天还是黑夜的一天的时间(time of day)的判定可以基于执行捕捉的捕捉设备所包括的时钟功能等来执行。此外，在用于捕捉的捕捉设备除了GPS功能外还包括网络连接功能时，天气的判定可以通过基于由GPS获得的位置信息从气象服务器(未示出)获得当前位置的气象信息等来执行。

此外，HSV第一亮度阈值和HSV第二亮度阈值可以按照在捕捉时使用的捕捉设备的自动曝光增益来调节。特别地，由于图像的亮度在自动曝光的增益大时不容易改变，HSV第一亮度阈值和HSV第二亮度阈值都升高。此外，在自动曝光的增益小时，HSV第一亮度阈值和HSV第二亮度阈值都降低。

如上所述，在本技术的实施例中，当从色彩信息中评估的饱和度等于或小于预定阈值时，选择YUV色彩空间。理由和优点将参考图4A和图4B来描述。图4A描述了YUV色彩空间并且图4B描述了HSV色彩空间。

在水平轴作为在亮度信号和蓝色分量(U)之间的色差并且垂直轴作为在 亮度信号和红色分量(V)之间的色差的情况下，使用亮度信号(Y)、U和V代表YUV色彩空间。此外，在HSV色彩空间中，色调由具有0至360度的相位角的角度来表示。此外，饱和度由与中心的距离来表示。

图4A中的第一点411示出了按照指定区域的色彩信息的色彩。此外，位于在右下方向上从第一点411延伸的箭头412的远端的第二点413示出了按照通过在捕捉环境的照度的改变(例如由于照度的改变)而改变的指定区域的色彩信息的色彩。因此，箭头的长度指示色彩信息由于照度的改变而改变的程度。此外，具有第一点411作为近似中心的圆形区域414指示在YUV色彩空间中相同色彩的范围。

类似地在图4B中，第一点421示出按照指定区域的色彩信息的色彩。此外，位于在右下方向上从第一点421延伸的箭头422的远端的第二点423示出了按照通过捕捉环境的照度的改变(例如由于照度的改变)而改变的指定区域的色彩信息的色彩。因此，箭头的长度指示色彩信息由于照度的改变而改变的程度。此外，围绕第一点421的近似扇形区域424指示在HSV色彩空间中相同色彩的范围。

图4A和图4B是在相同捕捉环境中确定相同指定区域的情况。因此，图4A中箭头412的长度和图4B中箭头422的长度相同，并且色彩信息的改变与照度的改变相同。

在饱和度低的范围中，色调具有对照度的改变具有高敏感度这一特征并且根据在照度的小的改变而极大改变。因此，如图4B所示，在使用色调的HSV色彩空间中，判定为相同的区域424的范围变窄。因此，第二点423不匹配在区域424的范围内，并且不判定为相同色彩。因此，在饱和度低的范围内，如果使用HSV色彩空间并且色调用作区域确定的元素，则担心不容易执行高精度的区域确定。

另一方面，由于色差对饱和的程度具有低敏感度，所以色差具有根据饱和度的改变存在小的改变这一特征。因此，如图4A所示，第二点413匹配在使用色差的YUV色彩空间中判定为相同的区域414的范围内，并且判定为是相同色彩。因此，在指定区域的饱和度低时，通过使用YUV色彩空间，不忽视指定区域的高精度的区域确定变得可能。

接下来，描述从色彩信息中评估的饱和度高的情况。图5A示出了YUV色彩空间并且图5B示出了HSV色彩空间。

图5A中第一点511示出了按照指定区域的色彩信息的色彩。此外，位于右下方向上从第一点521延伸的箭头522的远端的第二点523示出了按照通过在捕捉环境的照度的改变(例如由于照度的改变)而改变的指定区域的色彩信息的色彩。此外，具有第一点511作为近似中心的圆形区域514指示在YUV色彩空间中相同色彩的范围。

类似地在图5B中，第一点521示出了按照指定区域的色彩信息的色彩。此外，位于右下方向上从第一点521延伸的箭头522的远端的第二点523示出了按照通过捕捉环境的照度的改变(例如由于照度的改变)而改变的指定区域的色彩信息的色彩。此外，围绕第一点521的近似扇形区域524指示在HSV色彩空间中相同色彩的范围。

图5A和5B是在相同捕捉环境中确定相同指定区域的情况。因此，图5A中箭头512的长度和图5B中箭头522的长度相同，并且色彩信息的改变与照度的改变相同。

在饱和度高的范围中，色调具有对照度的改变具有低敏感度的特征。相应地，在饱和度高的范围中，即使照度改变，色调也可以用作执行区域确定时的元素。因此，在使用色调的HSV色彩空间中，判定为与如图5B所示相同的区域524的范围大于饱和度低的情况下的图4B的区域424。第二点523位于区域524的范围内，并且判定为相同色彩。因此，在色彩信息的饱和度高的情况下，通过使用HSV色彩空间可以以高精度执行区域确定。

在此，虽然图中省略了HSL色彩空间，但是类似于HSV色彩空间，HSL色彩空间也可以由角度来表示，其中色调是在0至360度之间的相位角。此外，饱和度由与中心的距离来表示，并且在即使使用HSL色彩空间的情况下在饱和度高的范围中也可以进行具有高精度的区域确定。

当执行上述色彩空间选择处理时，如果在色彩空间的选择中使用的饱和度和亮度是接近阈值的值，则涉及频繁地重复执行色彩空间的切换。为了防止这样的重复，可以采用以下描述的方法。在此，以下的处理称为切换频率抑制处理。

在切换频率抑制处理中，在判定在色彩空间选择处理中使用的饱和度和亮度分别接近相应的阈值的阶段，除了基于当前选择的色彩空间的区域确定处理之外，还同时执行使用其他色彩空间的区域确定处理。此外，比较每个色彩空间的区域确定处理的结果并且分析其各自的可靠性。可靠性例如可以基于判定 为与按照色彩信息的色彩相同色彩的像素数量来定义。对于判定为与色彩信息的色彩相同色彩的像素的最大数量，色彩空间分级为具有最高可靠性。

此外，在具有最高可靠性的色彩空间不是当前选择的色彩空间时，无论与阈值的比较结果如何，都选择具有最高可靠性的色彩空间。另一方面，在当前选择的色彩空间具有最高可靠性时，降低对应于当前选择的色彩空间的阈值，并且降低执行切换色彩空间的频率。

例如，假定YUV色彩空间是当前选择的并且用来判定是否选择了YUV色彩空间的色彩信息的饱和度判定为与饱和度阈值接近。在这样的情况下，不执行使用YUV色彩空间的区域确定处理，而同时执行使用HSV色彩空间和HSL色彩空间的区域确定处理。

此外，比较每个色彩空间的区域确定处理的结果，并且如果HSV色彩空间的可靠性高于YUV色彩空间或HSL色彩空间的可靠性，色彩空间选择单元3选择HSV色彩空间。另一方面，在作为当前选择的色彩空间的YUV色彩空间具有最高可靠性的情况下，调高饱和度阈值和亮度阈值(其是在YUV色彩空间和HSV色彩空间之间进行切换的参考)。

在此，用于执行切换频率抑制处理的参考，即，饱和度和亮度是否接近各自相应的阈值的判定参考可以按照捕捉环境适当地设置。例如，切换频率抑制处理在饱和度和亮度处于相应阈值的正负百分之几的范围内或类似情况时执行。

此外，为了降低切换色彩空间的频率，可以将百分之几的滞后提供到在色彩空间选择处理中使用的饱和度阈值和亮度阈值上。

如上所述执行色彩空间选择处理。基于以这样的方式选择的色彩空间执行区域确定处理。在此，如果按照每个色彩空间的区域确定处理的结果的相同色彩区域的尺寸、位置、可靠性等不同，则可以在比正常情况下更宽的时间范围上执行平滑从而当切换色彩空间时维持连续性。

[1-4.区域确定处理]

接下来描述区域确定处理。首先描述如上所述通过色彩空间选择处理选择YUV色彩空间的情况下的区域确定处理。这样的检测处理对构成输入图像的所有像素执行。然而，检测处理可以以预定间隔对于每几个像素执行。此外，检测处理可以对于由多个像素组成的每个区域执行。图6是示出在选择了YUV色 彩空间的情况下的处理的流程的流程图。

首先，在步骤S301中计算在按照色彩信息的色彩和作为在输入图像内的判定目标的像素(以下称为判定目标像素)的色彩之间的色差距离。由于色彩信号差U和V分别是对称的参数，所以色彩信号差U和V作为一对处理。以按照色彩信息的色彩的色差信号对作为(U0，V0)和在输入图像内的判定目标信号的色差信号作为(U1，V1)，基于以下等式1计算色差距离D。

[等式1]

V＝((U0-V1)2+(U0-V1)2)1/2

接下来，通过比较色差距离D与预定的色差阈值在步骤S302中执行色彩判定。如果在色差判定中色差距离D判定为大于色差阈值(步骤S302中的“否”)，则处理前进到步骤S303，并且判定该判定目标像素的色彩与按照色彩信息的色彩不同。

另一方面，如果在色差判定中判定色差距离D等于或小于色差阈值，则处理前进到步骤S304(步骤S302中的“是”)。此外，在步骤S304中执行亮度判定。在亮度判定中，首先，范围(在该范围中从关于亮度的直方图检测等于或大于预定的阈值的分布)的上端是上侧亮度阈值，并且范围的下端是下侧亮度阈值。此外，通过判定该判定目标像素的亮度是否位于在上侧亮度阈值和下侧亮度阈值之间的范围内，换言之，通过判定亮度是否位于亮度范围内，来执行亮度判定。

如果该判定目标像素的亮度没有在上侧亮度阈值和下侧亮度阈值之间的范围内，则处理前进到步骤S303(步骤S304中的“否”)，并且判定色彩信息和输入图像的判定目标像素不是相同色彩。

另一方面，如果该判定目标像素的亮度在上侧亮度阈值和下侧亮度阈值之间的范围内，则处理前进到步骤S305(步骤S304中的“是”)，并且判定按照色彩信息的色彩和判定目标像素是相同色彩。此外，判定目标像素检测为具有与按照色彩信息的色彩相同的色彩的像素。以这种方式，按照该实施例，除了基于色差距离的判定之外还执行基于亮度的判定。通过这样做，可以提高相同色彩的像素的检测处理的预测性。在此，从色彩信息中评价的饱和度越低，则由亮度的上侧阈值和下侧阈值构成的范围可以越窄。

以这种方式，在选择了YUV色彩空间的情况下执行对具有与色彩信息相同 色彩的像素的检测处理。在此，虽然按照图6的流程图中步骤S302的色差判定和步骤S304的亮度判定的顺序执行处理，但是由于每个处理是独立执行的，因此该顺序并不重要。可以首先执行亮度判定并且然后执行色差判定。然而色差判定和亮度判定都不是一定需要执行的，并且处理可以仅基于色彩判定来执行。

将描述在通过如上所述的色彩空间选择处理选择了HSV色彩空间或HSL色彩空间的情况下对相同色彩的像素的检测处理。色调(H)、饱和度(S)和亮度(V或L)(其每个都是按照色彩信息的色彩的参数)是(H0，S0，V)并且输入图像内的判定目标像素的色调(H)、饱和度(S)和亮度(V或L)是(H1，S1，V1)。

此外，关于色调的阈值是色调阈值Hth，关于饱和度的阈值是饱和度阈值Sth，并且关于亮度的阈值是亮度阈值Vth。此外，判定在满足以下等式2的情况下判定目标像素是与色彩信息的色彩相同的色彩。即，当在色彩信息的色调和判定目标像素的色调之间的差等于或小于色调阈值Hth、色彩信息的饱和度与输入图像的饱和度中的差等于或小于饱和度阈值Sth，并且色彩信息的亮度和输入图像内的像素的亮度之间的差等于或小于亮度阈值Vth的情况下，判定目标像素判定为是与色彩信息相同的色彩。

[等式2]

(abs(H0-H1)≤Hth)^(abs(S0-S1)≤Sth)^(abs(V0-V1)≤Vth)

在此，关于色彩的每个参数的阈值的典型值对于色调阈值大约为5、对于饱和度阈值为大约32、且对于亮度阈值为大约64。即，由阈值设置的进行相同色彩的判定的范围对于色调为大约±5、对于饱和度大约为±32、且对于亮度大约为±64。

图7是示出了在由色彩空间选择处理选择HSV色彩空间或HSL色彩空间的情况下处理的流程的流程图。首先，在步骤S301中判定在色彩信息的色调和输入图像内的判定目标像素的色调之间的差是否等于或小于色调阈值。

在此，为了提高检测相同色彩的像素的处理的精度，可以按照色彩信息的饱和度的值来调节色调阈值Hth。例如，在色彩信息的饱和度大约在120和140之间时，将色调阈值Hth提高大约20至30％。另一方面，当色彩信息的饱和度处于大约220至225的高值时，将色调阈值降低大约20至30％，等等。

此外，为了提高检测相同色彩的像素的处理精度，可以按照输入图像的指 定区域以外的区域(以下称为背景)的色彩和色彩信息之间的关系来调节色调阈值Hth。这一点将参考图8A和图8B来描述。图8A和图8B是示出在图像的背景和色彩信息之间的关系的图。在图8A中是在输入图像810内由框包围的指定区域811。指定区域811之外的区域是背景812。类似地，在图8B中是在输入图像820内由框包围的指定区域821，并且指定区域821之外的区域是背景822。

在图8A中指定区域811和背景812的色彩相似。在这种情况下，要考虑如果色调阈值Hth设置为大的值，则背景可能被误当做具有与指定区域811相同色彩的相同色彩区域。相应地，在这种情况下，将色调阈值Hth例如降低一系数0.8。通过降低色调阈值Hth，可以提高区域确定的精度。

另一方面，在图8B中指定区域821和背景822的色彩不相似。在这种情况下，即使色调阈值Hth设置为大的值，也不用担心背景被误当做具有与指定区域821相同色彩的相同色彩区域。相应地，在这种情况下，当在背景中根本不存在与色彩信息类似的色彩时可以将色调阈值提高一系数1.2到2。

在此，色彩信息和背景的色彩是否相似可以通过由图像信息获得单元2获得色彩信息和获得整个图像的色彩并比较色彩信息和整个图像的色彩来判定。

返回到图7的流程图的描述，当在步骤S301中判定色调的差等于或小于色调阈值时(步骤S301中的“否”)，处理前进到步骤S302，并且判定按照色彩信息的色彩和判定目标像素的色彩不相同。

另一方面，当在步骤S301中判定色调的差等于或小于色调阈值Hth时(步骤S301中的“是”)，处理前进到步骤S303。接下来，在步骤S303中判定色彩信息的饱和度和判定目标像素的饱和度之间的差是否等于或小于饱和度阈值Sth。如果在步骤S303中判定饱和度的差不等于或小于饱和度阈值Sth(步骤S303中的“否”)，则处理前进到步骤S302，并且判定按照色彩信息的色彩和判定目标像素的色彩不相同。

另一方面，如果在步骤S303中判定饱和度的差等于或小于饱和度阈值Sth(步骤S303中的“是”)，则处理前进到步骤S304。接下来，在步骤S304中判定色彩信息的亮度和判定目标像素的亮度之间的差等于或小于亮度阈值Vth。

在此，为了提高检测相同色彩的像素的处理的精度，按照色彩信息的饱和度的值调节饱和度阈值Sth和亮度阈值Vth。例如，在色彩信息的饱和度大约在120和140之间时，将饱和度阈值Sth和亮度阈值Vth减小大约20至30％。另 一方面，当色彩信息的饱和度处于大约220至225的高值时，将饱和度阈值Sth和亮度阈值Vth增加大约20至30％，等等。

此外，饱和度和亮度具有按照亮度改变的特征。作为一般规则，当亮度下降时，亮度倾向于降低并且饱和度倾向于增加。特别地，如果亮度按照在亮度中的改变而减小10，则饱和度倾向于增大大约2至4。通过设置饱和度阈值Sth使得吸收这样的变化，可以提高相同色彩的像素的检测处理精度。

这一点将参考图9来描述。图9是示出了在亮度和饱和度之间的关系，其中纵轴作为亮度并且横轴作为饱和度。图9的涂色区域是基于色彩信息的亮度V0和饱和度S0的值设置的并且判定为与色彩信息相同的色彩的判定了相同色彩的区域911。当判定目标像素是在判定了相同色彩的区域911内的值时，判定色彩信息的饱和度和判定目标像素的饱和度是相同色彩。

相同饱和度已判定区域911设置为具有大约-3至-5％斜率的区域，其指示在其中判定了饱和度是按照亮度的相同改变的范围。相应地，在其中判定了饱和度相同的范围设置为当亮度的值低时饱和度的值高的范围，并且在其中判定了饱和度相同的范围设置为在其中当亮度的值高时饱和度的值低的范围。

将进一步详细描述饱和度的相似度判定。例如，当判定目标像素的饱和度值V1是图9所示的值时，判定目标像素的饱和度判定为当判定目标像素的饱和度S1是在相同饱和度已判定区域911内的线段912上的值时与色彩信息的饱和度相同。此外，判定目标像素的饱和度是否在线段912上的判定等式可以由以下等式3来表示。

[等式3]

S′0-Sth≤S1≤S′0+Sth

当S1满足等式3时，判定目标像素的饱和度S1判定为在相同饱和度已判定区域911内并且色彩信息的饱和度和判定目标像素的饱和度相同。等式3中S′0的表示在其中饱和度判定为相同的范围改变以适应判定目标像素的亮度之后在相同饱和度已判定区域的中间值，并且S′0由以下等式4表示，其中Coeff作为校正系数。

[等式4]

S′0＝S0+Coeff·(V0-V1)

在此，校正系数Coeff对应于相同饱和度已判定区域911的斜率，并且校 正系数Coeff可以由以下等式5表示，其中L作为相同饱和度已判定区域911的斜率。

[等式5]

Coeff＝-1/L≈0.3到0.5

相同色彩检测的精度可以通过取决于亮度改变通过其饱和度判定为相同的条件来提高。

返回到图7的流程图的描述，当在步骤S304中判定亮度的差不等于或小于亮度阈值时(步骤S304中的“否”)，处理前进到步骤S302并且判定按照色彩信息的色彩和判定目标像素的色彩不同。

另一方面，当在步骤S304中判定饱和度的差等于或小于饱和度阈值时(步骤S304中的“是”)的情况下，处理前进到步骤S305，并且判定按照色彩信息的色彩和判定目标像素的色彩相同。在此，在图7的流程图中，按照色调、饱和度和亮度的顺序进行判定。然而判定的顺序不限于这样的顺序，而是可以是其它顺序。

在如上所述选择了HSV色彩空间或HSL色彩空间时的处理。按照本技术的实施例，即使不是具有与按照色彩信息的色彩完全相同的色彩的像素，满足上述条件的像素检测为具有相同色彩的像素。此外，基于处理的结果执行相同色彩区域候选的检测处理。相同色彩区域候选的检测将参考图10A至图10C来描述。

在相同色彩区域候选的检测中，首先，如图10A所示，基于上述处理的结果在输入图像1000上创建指示具有与按照色彩信息的色彩相同色彩的像素的分布的色彩图。在图10A中，在输入图像1000内的大量方形指示像素，并且具有对角线的像素指示已经判定为与按照色彩信息的色彩相同的色彩的像素。

接下来，执行形态(morphology)变换处理。通过这样做，如图10B所示，当像素在色彩图上的分布稀疏时，可以获得其中多个像素连续的区域。此外，如图10C所示，在色彩图内部由判定为与按照色彩信息的色彩相同的色彩的像素构成的区域检测为相同色彩区域候选。在图10C中，获得三个相同色彩区域候选，即，相同色彩区域候选a 1001、相同色彩区域候选b 1002、和相同色彩区域候选c 1003。在此，也获得用于各个相同色彩区域候选的伴随信息。

在基于输入图像的每个像素的色彩是否与色彩信息相同执行区域确定时，存在检测多个相同色彩区域的情况。在这样的情况下，重要的是，从多个相同 色彩区域候选中选择与指定区域最接近的相同色彩区域候选。因此，接下来，选择与多个相同色彩区域候选的指定区域块(pit)最接近的相同色彩区域候选。通过这样做，可以确定评价为具有与指定区域相同色彩的相同色彩区域。

从多个相同色彩区域候选的选择通过比较在图2的步骤S103中获得的指定区域的伴随信息和用于每个相同色彩区域候选的伴随信息来执行。

例如，比较指定区域的尺寸和每个相同色彩区域候选的尺寸。此外，具有与指定区域的尺寸最接近的尺寸的相同色彩区域候选选择为相同色彩区域。此外，比较在输入图像内指定区域的位置和每个相同色彩区域候选的位置。此外，与在每个相同色彩区域候选外的指定区域的位置最接近的相同色彩区域候选选择为相同色彩区域。此外，比较指定区域和每个相同色彩区域候选的运动矢量，并且运动矢量最接近的相同色彩区域候选选择为相同色彩区域。

这一点将基于图11A至图11C来描述。在图11所示的指定区域指定期间，在输入图像1100中示出了两只猫，并且通过一个框指示的右边的猫指定为指定区域1101。图11B示出了一种状态，在该状态中在指定区域指定之后在输入图像1200中检测相同色彩区域候选。如图11所示，由于在图像中示出两只猫并且猫的颜色相似，在图11B中，等于两只猫的位置检测为第一相同色彩区域候选1201和第二相同色彩区域候选1202。

此外，比较在指定区域的指定期间的指定区域1101的尺寸和第一相同色彩区域候选1201和第二相同色彩区域候选1202的尺寸。结果，由于第一相同色彩区域候选1201比第二相同色彩区域候选1202更接近指定区域1101的尺寸，如图11C所示，所以第一相同色彩区域候选1201可以确定为相同色彩区域。如果比较指定区域1101、第一相同色彩区域候选1201、和第二相同色彩区域候选1202的位置，则可以获得相同的结果。

然而，可以通过使用尺寸、位置和运动矢量中的一个或组合作为上述伴随信息来执行从相同色彩区域候选的选择处理。此外，可以使用任何其他信息，只要该信息可以从多个相同色彩区域候选中确定一个相同色彩区域。

可以从输入图像中以这样的方式确定相同色彩区域。此外，指示信息(诸如可以用来判定相同色彩区域的确定的相同色彩区域的位置和尺寸)的相同色彩区域信息输出到外部的跟踪控制单元等。通过这样做，通过其上安装了图像处理设备1的捕捉设备等执行跟踪控制等。

按照本技术的实施例，即使在存在大的照度改变的情况下，也可以以高精 度执行区域确定。因此，即使在被摄体作为指定区域在捕捉期间从太阳下移动到阴影下时，在被摄体从室内移动到室外的情况下，或者甚至在被摄体从隧道前面移动到后面的情况下，也不丢失指定区域，并且可以执行合适的区域确定。

在此，在上面的描述中，给出了其中对于构成输入图像的所有像素执行区域确定处理的描述。然而，可以在指定期间设置包括指定区域的预定尺寸的搜索区域，并且可以在搜索区域内执行区域确定处理。例如，搜索区域设置为指定区域的尺寸的九倍(垂直方向上三倍×水平方向上三倍)，其中指定区域作为近似中心，等等。通过这样设置搜索区域，由于执行整个图像的区域确定处理不再重要，所以可以减少在区域确定中采取的处理的数量。

[1-5.包括图像处理设备的捕捉设备的配置]

以下描述包括上述图像处理设备1的捕捉设备10的配置的示例。图12是示出包括图像处理设备的捕捉设备的配置的框图。

捕捉设备10由光学捕捉系统11、捕捉元件12、时序发生器13、预处理电路14、相机处理电路15、图像存储器16、控制单元17、图形I/F(接口)18、显示单元19、输入单元20、R/W(读/写器)21和存储介质22构成。其中，光学捕捉系统11、时序发生器13、预处理电路14、相机处理电路15、图像存储器16、图形I/F(接口)18、输入单元20和R/W(读/写器)21连接到控制单元17。此外，控制单元17用作构成图像处理设备1的图像信息获得单元2、色彩空间选择单元3和区域确定单元4。

光学捕捉系统11由用于将来自于被摄体的光收集在捕捉元件12上的透镜、用于通过移动透镜执行调焦或变焦的驱动机构、快门机构、光圈机构等构成。它们基于来自于控制单元17或跟踪控制单元24的控制信号驱动。经由光学捕捉系统获得的被摄体的光图像成像在作为捕捉设备的捕捉元件12上。

捕捉元件12基于从时序发生器13输出的时序信号驱动，通过光电转换将来自于被摄体的入射光转换为电荷量，并且输出电荷量作为模拟捕捉信号。从捕捉元件12输出的模拟捕捉信号输出到预处理电路14。CCD(电荷耦合器件)、CMOS(互补对称金属氧化物半导体)等用作捕捉元件12。时序发生器13按照控制单元17的控制将时序信号输出到捕捉元件12。

预处理电路14通过CDS(相关双采样)处理对从捕捉元件12输出的模拟捕捉信号执行采样保持等以维持有利的S/N(信号/噪声)比。此外，由AGC(自 动增益控制)处理来控制增益、执行A/D(模/数)转换，并且输出数字图像信号。

相机处理电路15对来自于预处理电路14的图像信号执行信号处理，诸如白平衡调整处理或色彩校正处理、伽马校正处理、Y/C转换处理和AE(自动曝光)处理。

图像存储器16是例如由DRAM(动态随机存取存储器)构成的缓冲存储器，并且临时存储已经由预处理电路14和相机处理电路15对其执行了预定处理的图像数据。

控制单元17例如由CPU、RAM、ROM等构成。由CPU读取并激活的程序等存储在ROM中。RAM用作CPU的工作存储器。CPU通过按照存储在ROM中的程序执行各种程序并发布命令来执行对整个捕捉设备10的控制。此外，通过执行预定程序，控制单元17用作图像信息获得单元2、色彩空间选择单元3和区域确定单元4。

图形I/F 18通过从图像信号(所述图像信号是从控制单元17提供的)产生用于在显示单元19上显示的图像信号并且将信号提供到显示单元19来显示图像。显示单元19是例如由LCD(液晶显示器)、PDP(等离子显示面板)、有机EL(电致发光)面板等构成的显示部分。正在被捕捉的直通图像、记录在存储介质22上的图像等显示在显示单元19上。

输入单元20例如由用于开关电源ON或OFF的电源按键、用于指令开始记录捕捉图像的释放按键、用于变焦调节的操作器、与显示单元19集成地构成的触摸屏19等构成。当在输入单元20上进行输入时，产生按照输入的控制信号并且输出到控制单元17。此外，控制单元17执行对应于控制信号的计算处理或控制。

输入单元20用作区域指定单元，其指定用户指定在直通图像上显示的被摄体中的哪个被摄体作为指定区域。例如，在输入单元20是触摸屏时，指定区域由用户用手指接触在触摸屏上显示的直通图像内的被摄体中要作为指定区域的被摄体而指定。一旦指定了指定区域，可以通过将框重叠在触摸屏上显示的直通图像上来显示该框以围绕作为指定区域的被摄体。只要指定区域延续，这样的框可以通过跟踪作为指定区域的被摄体而移动。

然而，对指定区域的指定不限于由用户输入，并且可以指定通过普通的人检测、面部检测等确定的被摄体，并且这样的被摄体的区域可以变成指定区域。

R/W 21是其上记录了通过捕捉产生的图像数据等的存储介质22连接到的接口。R/W 21将从控制单元17提供的数据写入到存储介质22中，并且此外，将从存储介质22读取的数据输出到控制单元17。存储介质22是大容量存储介质，诸如硬盘、存储棒(索尼公司的注册产品)或SD存储卡。图像以基于诸如JPEG标准的压缩状态保存。此外，包括了附加信息(诸如关于保存的图像和捕捉日期和时间的信息)的EXIF(可交换图像文件格式)数据也与图像相关联并且保存。

图像信息获得单元2、色彩空间选择单元3和区域确定单元4与对图像处理设备1的描述中的那些相似。在包括了图像处理设备1的捕捉设备10中，输入图像从图像存储器16提供到图像信息获得单元2、色彩空间选择单元3和区域确定单元4。

区域确定单元4的区域确定处理的结果可以用于由包括跟踪控制设备、驱动单元等并且可以自动跟踪被摄体的捕捉设备的跟踪控制。指示区域确定单元4的区域确定处理的结果的相同色彩区域信息提供到跟踪控制单元。

驱动单元由摇动和倾斜单元配置，所述摇动和倾斜单元由转子和基座构成并且包括驱动电机(未示出)。捕捉设备10通过布置支撑或轴向支撑在驱动单元上。通过驱动单元所包括的驱动电机的驱动功率，捕捉设备10可以在摇动方向或倾斜方向上旋转。通过按照来自于跟踪控制单元的控制信号动作，驱动单元使得捕捉设备10摇动或倾斜。通过这样做，使得可以跟踪指定区域。驱动单元可以与捕捉设备10集成地构造，或者可以由可以从捕捉设备10拆下的单独设备构成。

跟踪控制单元基于从区域确定单元4提供的相同色彩区域信息产生预定的动作控制信号以跟踪相同色彩区域，并且将动作控制信号提供到光学捕捉系统11、驱动单元等。此外，用于在视角内的预定位置保持相同色彩区域的自动对焦、变焦等由光学捕捉系统11执行，并且此外，摇动和倾斜动作等由驱动单元执行。通过这样做，执行相同色彩区域的跟踪。在此，驱动单元不是捕捉设备10的重要配置，并且本技术的实施例可以应用于不包括驱动单元的捕捉设备。

在此，图像处理设备1和上述捕捉设备10的处理功能可以由计算机实现。在这种情况下，提供了一种程序，在所述程序上记录了图像处理设备1和捕捉设备10要包括的功能的处理内容。此外，通过由计算机执行这样的程序，上述处理功能在计算机上实现。其上记录了处理内容的程序可以记录在可以由计算 机读取的诸如半导体存储器之类的记录介质上。

在传播程序的情况下，提供或销售其中记录了所述程序的便携式记录介质，诸如光盘或半导体存储器。此外，还可以将程序存储在服务器上并且经由网络提供所述程序。

例如，执行程序的计算机将记录在便携式记录介质上的程序或从服务器传输的程序存储在其本身的存储设备中。此外，计算机从其本身的存储设备读取程序，并且按照所述程序执行处理。在此，计算机还可以从便携式记录介质直接读取程序并且按照所述程序执行处理。此外，计算机还可以按照每次从服务器计算机传输程序所接收的程序连续执行处理。

<2.修改>

虽然上面已经详细描述了本技术的实施例，但是本技术的实施例不限于上述实施例，并且可以基于本技术的实施例的技术思路进行各种修改。

虽然在上面的说明中利用指定区域的色彩作为参考来执行区域确定处理，但是区域确定处理可以通过将该色彩以外的特征量与色彩进行组合来执行。例如可以使用SIFT(Scale-Invariant Feature Transform，尺度不变特征转换)、SURF(Speeded Up RobustFeatures，加速鲁棒特征)、Haar-Like等。此外，还可以使用作为通过光流在时间方面亮度的相对值的特征量。此外，通过使用红外传感器可以使用DepthMap(距离分布)。

即，可以使用与使用特征量或使用通过完全不同的传感器获得的信息的图像处理引擎的任意组合，所述特征量忽略色差信号，诸如使用亮度模式，该亮度模式是在图像内时间上或几何上相关的。

此外，虽然已经描述了选择性地切换其中YUV色彩空间、HSV色彩空间和HSL色彩空间的三个选择，但是可以选择性地切换具有作为色差的信息的色彩空间和具有作为色调的信息的色彩空间的两个选择。

此外，虽然已经描述了YUV色彩空间，但是可以将YCrCb色彩空间考虑为与YUV色彩空间相同。

虽然在上述实施例中已经描述了图像处理设备1应用于诸如数码相机的捕捉设备的情况，但是可以将本技术的实施例应用于其它捕捉设备。例如，本技术的实施例可以应用于数字摄像机，包括了相机功能的移动电话，包括了相机功能的移动游戏机等。

此外，图像处理设备1还可以应用于所谓的网络相机系统，其由网络相机、经由网络从网络相机接收图像的个人计算机等构成。在这样的情况下，接收终端侧可以包括图像处理设备1的功能并且将区域确定处理的结果传输到网络相机。此外，网络相机可以包括图像处理设备1的功能并且将在跟踪作为指定区域的被摄体的同时获得的图像传输到接收终端。

此外，本技术的实施例能够应用于不同于捕捉设备的图像处理设备。

此外，虽然在本说明书中的描述中区分了亮度和照度，但是也可以用亮度代替照度，并且亮度可以解释为照度。

在此，本技术的实施例可以使用以下配置。

(1)一种图像处理设备，包括：

色彩空间选择单元，其基于指定的色彩信息选择色彩空间；和

区域确定单元，其从为色彩区域确定而提供的色彩区域已确定图像中确定包括与由色彩空间中指定的色彩信息显示的色彩匹配的色彩的区域。

(2)按照(1)的图像处理设备，

其中色彩空间选择单元选择包括色差信息的色彩空间或包括色调信息的色彩空间中的一个。

(3)按照(1)或(2)的图像处理设备，

其中，色彩空间选择单元在色彩区域已确定图像的饱和度等于或大于阈值时选择包括色调信息的色彩空间，并且在饱和度低于阈值时选择色差信息的色彩空间。

(4)按照(2)或(3)的图像处理设备，

其中，包括色调信息的色彩空间是YUV色彩空间，并且包括色差信息的色彩空间是HSV色彩空间或HSL色彩空间。

(5)按照(1)至(4)的图像处理设备，

其中色彩空间选择单元在色彩区域已确定图像的亮度高于预定值时选择HSL色彩空间。

(6)按照(1)至(5)的图像处理设备，

其中区域确定单元确定至少一个像素作为区域。

(7)按照(2)至(6)的图像处理设备，

其中在由色彩空间选择单元选择包括色差信息的色彩空间的情况下，区域确定单元判定在指定的色彩信息的色差信号和图像的色差信号之间的色差距离 大于色差阈值时色彩不同。

(8)按照(2)至(7)的图像处理设备，

其中在由色彩空间选择单元选择包括色差信息的色彩空间的情况下，区域确定单元判定在指定的色彩信息的色差信号和色彩区域已确定图像的色差信号之间的色差距离等于或小于色差阈值并且图像的亮度在基于色彩信息的亮度的预定范围内时色彩相同。

(9)按照(3)至(8)的图像处理设备，

其中在由色彩空间选择单元选择包括色差信息的色彩空间的情况下，区域确定单元判定在色彩信息的色彩参数和色彩区域已确定图像的色彩参数之间的差等于或小于参数阈值时色彩相同。

(10)按照(9)的图像处理设备，

其中色彩参数是色调、饱和度和亮度。

(11)按照(9)或(10)的图像处理设备，

其中在色彩信息基于为色彩区域指定而提供的色彩区域已指定图像指定时，区域确定单元基于是否存在这样的色彩而改变参数阈值，该色彩与作为色彩信息在色彩区域已指定图像的指定区域以外的区域中示出的色彩相似。

本公开包含与于2011年3月31日向日本专利局提交的日本优先权专利申请JP2011-080040和2012年1月6日向日本专利局提交的日本优先权专利申请JP2012-001037中公开的主题有关的主题，其全部内容通过引用合并于此。

本领域技术人员应当理解，根据设计需要和其他因素可以进行各种修改、组合、部分组合和替换，只要它们在由所附权利要求或其等价物确定的范围内即可。

Claims (10)

1.一种图像处理设备，包括：

色彩空间选择单元，其基于指定的色彩信息选择色彩空间；和

区域确定单元，其从为色彩区域确定而提供的色彩区域已确定图像中确定包括与由色彩空间中指定的色彩信息显示的色彩匹配的色彩的区域；

其中，所述色彩空间选择单元选择包括色差信息的色彩空间或包括色调信息的色彩空间中的一个；

其中，所述色彩空间选择单元在所述色彩区域已确定图像的饱和度等于或大于阈值的情况下选择包括色调信息的色彩空间，并且在饱和度低于阈值的情况下选择包括色差信息的色彩空间。

2.按照权利要求1的图像处理设备，

其中，包括色调信息的色彩空间是YUV色彩空间，并且包括色差信息的色彩空间是HSV色彩空间或HSL色彩空间。

3.按照权利要求2的图像处理设备，

其中，所述色彩空间选择单元在所述色彩区域已确定图像的亮度高于预定值的情况下选择HSL色彩空间。

4.按照权利要求1的图像处理设备，

其中，所述区域确定单元确定至少一个像素为所述区域。

5.按照权利要求1的图像处理设备，

其中，在由所述色彩空间选择单元选择包括色差信息的色彩空间的情况下，所述区域确定单元在指定的色彩信息的色差信号和图像的色差信号之间的色差距离大于色差阈值的情况下判定色彩不同。

6.按照权利要求5的图像处理设备，

其中，在由所述色彩空间选择单元选择包括色差信息的色彩空间的情况下，所述区域确定单元在指定的色彩信息的色差信号和色彩区域已确定图像的色差信号之间的色差距离等于或小于色差阈值并且图像的亮度在基于色彩信息的亮度的预定范围内的情况下判定色彩相同。

7.按照权利要求1的图像处理设备，

其中，在由所述色彩空间选择单元选择包括色差信息的色彩空间的情况下， 所述区域确定单元在色彩信息的色彩参数和色彩区域已确定图像的色彩参数之间的差等于或小于参数阈值的情况下判定色彩相同。

8.按照权利要求7的图像处理设备，

其中，所述色彩参数是色调、饱和度和亮度。

9.按照权利要求7的图像处理设备，

其中，在色彩信息基于为色彩区域指定而提供的色彩区域已指定图像而指定的情况下，所述区域确定单元基于是否存在这样的色彩而改变参数阈值，该色彩与作为色彩信息在色彩区域已指定图像的指定区域以外的区域中示出的色彩相似。

10.一种图像处理方法，包括：

基于指定的色彩信息选择色彩空间；和

从为色彩区域确定而提供的色彩区域已确定图像中确定包括与由色彩空间中指定的色彩信息显示的色彩匹配的色彩的区域；

其中，所述基于指定的色彩信息选择色彩空间包括：

在所述色彩区域已确定图像的饱和度等于或大于阈值的情况下选择包括色调信息的色彩空间，并且在饱和度低于阈值的情况下选择包括色差信息的色彩空间。