CN102447832A - 追踪设备和追踪方法 - Google Patents

Abstract

本发明提供一种追踪设备和追踪方法，所述追踪设备用于追踪在摄像元件拍摄到的图像上所指定的对象，所述追踪设备包括：计算单元，用于针对特征候选颜色中的每个特征候选颜色，计算包括该特征候选颜色的像素并且颜色与该特征候选颜色类似的像素连续出现的像素组的第一面积、多个像素中颜色与该特征候选颜色类似的像素的第二面积、以及所述第一面积相对于所述第二面积的比率；以及提取单元，用于从所述第一面积相对于所述第二面积的比率高于预定基准比率的各个特征候选颜色中提取所述第一面积最小的特征候选颜色作为对象的特征颜色。

Description

追踪设备和追踪方法

技术领域

本发明涉及用于追踪对象物体的追踪设备和追踪方法。

背景技术

用于拍摄静止图像和运动图像的摄像设备(例如，数字照相机)包括追踪(搜索)任意对象物体的追踪功能。例如，使用模式匹配法、相对差分法或颜色/亮度一致法来实现这种追踪功能。模式匹配法在与存储在存储单元中的模板图像或追踪模式下根据需要更新的模板图像的一致度高的区域内搜索要拍摄的图像，作为对象物体。相对差分法根据当前帧和前一帧之间的图像差来搜索对象物体。颜色/亮度一致法在与从对象物体提取出的一个或多个颜色、亮度水平或直方图的一致度高的区域内搜索要拍摄的图像，作为对象物体。

模式匹配法在对象物体没有运动时，可以实现高精度的追踪性能。然而，模式匹配法在对象物体运动(对象物体和摄像设备之间的距离变化、对象物体的转动、摄像设备的姿势变化等)时，无法实现充分的追踪性能。相对差分法在其它物体穿过对象物体和摄像设备之间时或者当对象物体在完全退出画面之后再次进入画面时，无法追踪该对象物体。颜色/亮度一致法可以在一定程度上支持对象物体的运动。然而，颜色/亮度一致法在仅基于对象物体的颜色和亮度水平指定对象物体时不够精确，并且在背景包括与对象物体的颜色和亮度水平类似的多个颜色和亮度值时，无法实现充分的追踪性能。

为了解决这种问题，日本特开平5-284411和日本特开2010-28608已提出了用以提高追踪性能的技术。日本特开平5-284411和日本特开2010-28608公开了与提取对象物体的特征有关的技术。利用日本特开平5-284411的技术，选择包括要追踪的对象物体的区域中出现频率最高的颜色(颜色信号)作为该对象物体的特征颜色。利用日本特开2010-28608的技术，在提取要追踪的对象物体的颜色时，优先选择包括该对象物体的区域中出现频率最高的且在背景中没有频繁出现的颜色作为该对象物体的特征颜色。

然而，当选择包括对象物体的区域中出现频率最高的颜色作为特征颜色时，包括在该区域中的背景颜色有可能被选择作为特征颜色，并且可能追踪并非用户意图追踪的物体(即，可能发生误追踪(tracking error))。包括对象物体的区域中出现的百分比低的颜色有可能是表示该对象物体的特征的重要颜色，但该颜色未被选择作为特征颜色并且被排除。然而，当简单地选择包括对象物体的区域中出现的百分比低的颜色作为特征颜色时，在该特征颜色由于周围环境或对象物体的变化而渐现渐隐的情况下无法追踪该对象物体。此外，当与特征颜色相同的颜色包括在除对象物体以外的其它物体中时，可能发生误追踪。

发明内容

本发明提供了在减轻对象物体的误追踪方面有利的技术。

根据本发明的一个方面，提供一种追踪设备，用于追踪在具有多个像素的摄像元件拍摄到的图像上所指定的对象物体，所述追踪设备包括：设置单元，用于将包括与所指定的对象物体的位置相对应的像素的像素区域设置为用于提取所述对象物体的特征颜色的特征颜色提取区域，并且将包括在所述特征颜色提取区域中的各个像素的颜色设置为特征候选颜色；计算单元，用于针对所述特征候选颜色中的每个特征候选颜色，计算包括该特征候选颜色的像素并且颜色与该特征候选颜色类似的像素连续出现的像素组的第一面积、所述多个像素中颜色与该特征候选颜色类似的像素的第二面积、以及所述第一面积相对于所述第二面积的比率；提取单元，用于从所述第一面积相对于所述第二面积的比率高于预定的基准比率的特征候选颜色中，提取所述第一面积最小的特征候选颜色作为所述对象物体的特征颜色；以及确定单元，用于将与如下像素相对应的位置确定为所述对象物体：该像素的颜色与所述提取单元提取出的特征颜色类似。

根据本发明的第二方面，提供一种追踪方法，用于追踪在具有多个像素的摄像元件拍摄到的图像上所指定的对象物体，所述追踪方法包括以下步骤：设置步骤，用于控制设置单元，以将包括与所指定的对象物体的位置相对应的像素的像素区域设置为用于提取所述对象物体的特征颜色的特征颜色提取区域，并且将包括在所述特征颜色提取区域中的各个像素的颜色设置为特征候选颜色；计算步骤，用于控制计算单元，以针对所述特征候选颜色中的每个特征候选颜色，计算包括该特征候选颜色的像素并且颜色与该特征候选颜色类似的像素连续出现的像素组的第一面积、所述多个像素中颜色与该特征候选颜色类似的像素的第二面积、以及所述第一面积相对于所述第二面积的比率；提取步骤，用于控制提取单元，以从所述第一面积相对于所述第二面积的比率高于预定的基准比率的特征候选颜色中，提取所述第一面积最小的特征候选颜色作为所述对象物体的特征颜色；以及确定步骤，用于控制确定单元，以将与如下像素相对应的位置确定为所述对象物体：该像素的颜色与所述提取单元提取出的特征颜色类似。

通过以下参考附图对典型实施例的说明，本发明的其它方面将变得明显。

附图说明

图1A～1C是示出用作根据本发明一个方面的追踪设备的摄像设备的图。

图2A和2B是示出要拍摄的场景的示例的图。

图3是示出用于提取对象物体的特征颜色的特征颜色提取区域的设置示例的图。

图4是示出从特征颜色提取区域提取出的特征候选颜色的示例的表。

图5A～5I是示出颜色分别与特征候选颜色类似的像素的分布的图。

图6是示出根据相对于基点的距离将图像分割成6个部分区域的示例的图。

图7是示出包括在部分区域中的特征候选颜色的类似颜色的像素数的计数结果的表。

图8是示出检测包括特征候选颜色的类似颜色的像素的像素组与其它颜色的像素之间的边界所需的边界条件的表。

图9A和9B是用于解释包括特征候选颜色的类似颜色的像素的像素组与其它颜色的像素之间的边界的检测的图。

图10是示出包括特征候选颜色的类似颜色的像素的像素组中的像素数和包括在整个图像中的特征候选颜色的类似颜色的总像素数的表。

图11A和11B是示出按边界内颜色比率的降序对特征候选颜色的排序结果以及针对特征候选颜色分别设置的基准比率的表。

图12A和12B是示出按像素组的像素数的升序对特征候选颜色的排序结果以及针对特征候选颜色分别设置的基准特征度的表。

图13A和13B是示出表示要追踪的对象物体的特征颜色的表的示例的图。

图14是示出要追踪的对象物体的特征颜色的类似颜色的像素在图像内的分布的图；

图15是示出与类似颜色分布度相对应的权重下降系数(weight-down coefficient)的图。

图16是从概念上示出权重表的生成的图。

图17A～17C是示出权重表的概念的图。

图18A～18D是示出基于权重表所设置的搜索区域的示例的图。

图19是用于减轻处理负荷的时序图。

图20A和20B是示出设置在图像上的静态搜索区域和动态搜索区域的图。

图21是示出根据类似颜色分布度计算信号水平所需的表的概念的图。

图22是示出计算邻接度所需的表的概念的图。

图23A和23B是示出针对静态搜索区域和动态搜索区域的评价值的计算结果的图。

图24A和24B是用于解释以使与对象物体的位置相对应的像素作为基点的方式利用权重量进行加权得到的评价值映射的生成的图。

图25是用于解释对象物体的位置的确定和动态特征颜色的更新的图。

图26A和26B是用于解释图1A～1C所示的摄像设备的整体操作的流程图。

图27A和27B是用于解释图26A所示的步骤S2612的特征颜色提取处理的流程图。

图28是用于解释图26A所示的步骤S2622的追踪处理的流程图。

图29是用于解释图28所示的步骤S2804的类似颜色分布度计算处理的流程图。

图30A和30B是用于解释图28所示的步骤S2812的静态评价值计算处理的流程图。

图31是用于解释图28所示的步骤S2826的动态特征颜色更新处理的流程图。

图32A和32B是示出根据对象物体的运动所设置的静态搜索区域的示例的图。

图33是示出与评价值相对应的权重下降系数的图。

图34A和34B是示出根据对象物体的运动所设置的静态搜索区域的示例的图。

图35是示出与在对象物体丢失之后所经过的时间相对应的权重下降系数的图。

具体实施方式

以下将参考附图来说明本发明的优选实施例。注意，在整个附图中，相同的附图标记表示相同的构件，并且将不重复说明这些构件。

图1A～1C示出摄像设备1。图1A是示出摄像设备1的结构的示意框图，图1B是示出摄像设备1的外观的正视图，并且图1C是示出摄像设备1的外观的后视图。摄像设备1用于拍摄被摄体的图像，并且例如体现为数字照相机。在本实施例中，摄像设备1包括用于追踪在要拍摄的图像上指定的对象物体的追踪功能(即，该设备用作追踪设备)。

镜头102会聚外部光(来自被摄体的光)。镜头驱动单元104沿着光轴驱动镜头102从而调节焦点和视场角。照相机抖动校正单元106基于照相机抖动检测单元108检测到的照相机抖动来驱动镜头102以消除照相机抖动(即，实现了光学照相机抖动校正)。照相机抖动检测单元108包括例如陀螺仪传感器。注意，在本实施例中，通过驱动镜头102来实现照相机抖动校正。可选地，可以通过驱动摄像元件118来实现照相机抖动校正。

光圈110包括虹膜光圈或圆形光圈，并且调整已穿过镜头102的光(来自被摄体的光)的量。光圈驱动单元112基于来自系统控制单元134的控制信息驱动光圈110。例如，当被摄体的亮度高时，光圈驱动单元112驱动光圈110以使来自被摄体的光量下降(缩小光圈)；当被摄体的亮度低时，光圈驱动单元112驱动光圈110以使来自被摄体的光量大量进入(完全打开)。注意，ND滤波器可移除地配置在来自被摄体的光的光路上，并且可以与光圈110协作调整来自被摄体的光量。

快门114在打开状态下使来自被摄体的光穿过其自身，并且在关闭状态下遮挡来自被摄体的光。快门驱动单元116基于来自系统控制单元134的控制信息将快门114驱动至打开状态或关闭状态。由快门114的打开/关闭时间来指定拍摄图像(静止图像)时的曝光时间。

摄像元件118具有多个像素，并且例如包括CCD图像传感器或CMOS图像传感器。摄像元件118将经由镜头102、快门114和光圈110所形成的光学图像转换成电信号。系统控制单元134经由时序发生器(TG)120控制摄像元件118。摄像元件118以TG120基于来自系统控制单元134的控制信息所生成的驱动信号为基准，周期地执行电荷的充电操作(曝光)和充电后的电荷的读取操作(图像信号的读取)。此外，可以读取摄像元件118充电后的电荷的特定线或特定区域的电荷。例如，由于在拍摄静止图像时需要高分辨率，因此读取摄像元件118充电后的所有电荷。另一方面，由于在拍摄运动图像或启用电子取景器时需要高达30fps或60fps的帧频，因此通过对摄像元件118充电后的电荷的特定线进行间隔剔除来读取电荷。注意，TG 120生成在任意时刻读取摄像元件118充电后的电荷所使用的驱动信号，由此还控制曝光时间。

CDS(相关双采样器)电路122使用CDS方法在从摄像元件118读取的图像信号中去除噪声成分。PGA(可编程增益放大器)电路124基于来自系统控制单元134的控制信息对图像数据的水平进行衰减或放大。通常，利用光圈110适当设置光量，并且利用快门114适当设置曝光时间，由此适当设置摄像元件118的曝光值。在这种情况下，当PGA电路124对图像数据进行衰减或放大时，曝光值可以以伪方式改变。作为摄像时的曝光条件其中之一，将该情况作为灵敏度提供给用户。

A/D转换器126将从摄像元件118输出的模拟图像信号(模拟图像数据)转换成数字图像信号(数字图像数据)。由于数字信号的位宽包括10位、12位和14位，因此图像处理电路128被配置为支持多种不同的位宽。图像处理电路128对来自A/D转换器126的图像信号应用各种图像处理。在本实施例中，TG 120、CDS电路122、PGA电路124和A/D转换器126由独立块构成，但这些单元可以由包括它们的功能的单个块构成。

通常，滤色器配置在摄像元件118上，并且经由这些滤色器针对各个像素提取特定颜色成分。由于来自A/D转换器126的图像信号具有与摄像元件118的像素和滤色器的布局相对应的格式，因此该图像信号不适合在通过仅评价亮度成分实现曝光控制的AE(自动曝光控制)处理中使用。图像处理电路128具有通过从图像信号排除颜色信息而仅提取亮度信息的功能，并且可以将来自A/D转换器126的图像信号转换成适合在AE中使用的格式。图像处理电路128还具有通过从图像信号排除亮度信息而仅提取颜色信息的功能，并且可以将图像信号转换成适合在用于指定被摄体的光源颜色并且适当调整颜色的AWB(自动白平衡)处理中使用的格式。

此外，图像处理电路128具有仅提取从摄像元件118读取的图像信号的频率成分的功能，并且可以将该图像信号转换成适合在AF(自动调焦)处理中使用的格式。图像处理电路128包括以下功能：该功能使得能够在从摄像元件118读取的图像信号中设置要提取频率成分的区域以及如何分割该区域。在AF处理中，摄像元件118在适合于测距的驱动模式下驱动。在使用摄像元件118的AF处理中，由于需要与摄像元件118的驱动速率(帧频)同步地驱动调焦透镜，因此当摄像元件118的驱动速率高时，可以将调焦透镜的驱动速度设置得高。因此，当在短时间段内进行AF处理时，可以驱动摄像元件118以提高驱动速率。另一方面，通过设置低的驱动速率而从摄像元件118读取多个图像信号成分，可以增加图像处理电路128能够分析的频率成分的数量，从而使得能够更加精确地测量距离。

图像处理电路128具有例如用于增加/减少来自A/D转换器126的图像信号的水平的功能以及用于对图像的色彩效果等进行操作的功能，由此调整要拍摄的图像的图像质量。用于增加/减少图像信号的水平的功能例如包括：用于以同一比率增加/减少整个图像的水平的功能、用于根据原始图像信号的水平来转换该水平的色调曲线(伽玛)功能、以及用于以与图像的各个区域的频率成分相对应的比率来增加/减少该水平的功能。

临时存储器130存储来自A/D转换器126的图像信号(即，输入至图像处理电路128的图像信号)。可以再次读出存储在临时存储器130中的图像信号。例如，系统控制单元134可以参考存储在临时存储器130中的图像信号，并且可以将所读出的图像信号输入至图像处理电路128。此外，临时存储器130可以存储已在图像处理电路128中经过了图像处理的图像信号和从系统控制单元134输出的图像信号。

图像识别电路132对例如已在图像处理电路128中经过了图像处理的图像信号(图像)的亮度状态、聚焦状态和颜色状态进行识别。当图像包括人物时，图像识别电路132还可以识别该人物的面部和面部表情。当图像包括文本时，图像识别电路132还可以识别出文本信息。可以将多个图像信号输入至图像识别电路132。例如，图像识别电路132对两个输入图像信号进行比较(即，比较图像的特征)以判断这两个图像信号是否相同。注意，前述图像识别处理也可以由系统控制单元134来实现。例如，系统控制单元134读出存储在临时存储器130中的图像信号，并且分析该图像信号以识别场景的状态。

系统控制单元134例如包括CPU和存储器，并且控制摄像设备1的整体操作。系统控制单元134通过执行存储在该存储器中的程序来执行本实施例的各个处理。

在VRAM 136上展开已在图像处理电路128中经过了图像处理的图像信号。D/A转换器138将在VRAM 136上展开得到的数字图像信号转换成模拟图像信号。显示单元140例如包括LCD(液晶显示器)，并且显示与来自D/A转换器138的图像信号相对应的图像。显示单元140可以通过顺次显示与从摄像元件118读取的图像信号相对应的图像而用作电子取景器。注意，在VRAM136上，与显示单元140的(用以显示与一个图像信号相对应的图像或多画面显示与多个图像信号相对应的多个图像的)各种显示模式相对应地展开图像信号。

显示单元140经由存储介质接口(I/F)143显示与存储在存储介质141中的图像数据相对应的图像。注意，当存储在存储介质141中的图像数据被压缩时，该图像数据可以由压缩/解压缩单元145进行解压缩，并且可以在VRAM 136上展开。存储介质141例如由非易失性存储器构成，并且主要存储图像数据(所拍摄图像)。与图像数据的存储相关联地，可以形成文件夹层，并且可以按摄像顺序分配文件夹名和文件名。此外，可以将光圈值、快门速度、灵敏度和摄像时间等附加至各图像数据。摄像设备1可以复制、移动和擦除存储在存储介质141中的图像数据。

显示单元140不仅可以显示图像，还可以将任意信息单独或连同图像一起显示。该任意信息例如包括摄像设备1的状态、文本信息(快门速度、光圈值、灵敏度等)、诸如亮度分布等的图、面部识别结果、以及场景识别结果。

显示单元140配置在摄像设备1的背面(参见图1C)。如上所述，显示单元140可以显示图像和任意信息等，并且用作用户界面。当显示单元140用作电子取景器时，可以将AE处理和AF处理中的测光区域信息和测量距离信息叠加在实时图像上。此外，显示单元140可以将框叠加在人物面部上作为面部识别结果，或者可以显示表示诸如蓝天、日落和背光等的场景的图标作为场景识别结果。

注意，除利用显示单元140的电子取景器以外，摄像设备1还可以包括光学取景器142。电子取景器具有实现高的视野率、使用户能够容易地观看大的被摄体图像以及在要拍摄的图像和取景器图像之间无视场角差(视差)的优点，但需要电力(消耗电力)来驱动摄像元件118和显示单元140。因此，当用户在避免消耗电池的情况下想要拍摄多个图像时，他或她优选使用光学取景器142而不启用电子取景器。

闪光灯单元144例如配置在摄像设备1的正面以与镜头102处于同一面(参见图1B)。当被摄体暗时，闪光灯单元144利用闪光灯光照射该被摄体，由此获得充分的光量。因而，可以在维持高快门速度的情况下拍摄最佳图像。注意，为了避免被摄体被闪光灯光直接照射，闪光灯单元144可被配置为沿着摄像设备1的上部方向发出闪光灯光。

操作单元146具有接受(用以向系统控制单元134输入各种指示的)用户操作的功能，并且例如包括电源开关146a、模式开关146b、设置开关146c和释放按钮146d。当显示单元140包括触摸面板时，显示单元140可以用作操作单元146的一部分。

电源开关146a用于在电源接通(ON)状态和电源断开(OFF)状态之间切换摄像设备1的电源状态。模式开关146b用于切换摄像设备1的操作模式(静止图像拍摄模式、运动图像拍摄模式、播放模式等)。此外，模式开关146b可以用作用于在静止图像拍摄模式下选择最适于特定场景的模式(例如，风景模式、肖像模式等)的开关。设置开关146c用于设置诸如测距区域和测光模式等的摄像时的摄像条件、诸如图像重放时的页面进给操作等的操作、与摄像设备1的操作有关的参数以及与是否启用电子取景器有关的信息。

释放按钮146d用于指示拍摄被摄体的图像，并且包括第一开关和第二开关。第一开关在释放按钮146d的操作途中(半冲程位置)接通，以开始诸如AE处理和AF处理等的摄像准备处理。第二开关在释放按钮146的操作完成(全冲程位置)时接通，以开始诸如曝光处理和图像识别处理等的摄像处理。

以下将说明包括在摄像设备1中的用以在适当条件(聚焦和亮度)下拍摄主被摄体的图像的追踪功能。注意，当系统控制单元134系统地控制摄像设备1的各个单元时，实现该追踪功能。

图2A和2B示出要拍摄的场景的示例。图2A示出人物位于显示单元140(画面)的中央并且正在玩球的场景。在图2A所示的场景中，为了以使主被摄体具有适当聚焦和亮度的方式拍摄图像，例如，基于面部识别功能的面部识别结果，根据面部的位置和大小将测距区域和测光区域设置在人物的面部附近。然后，可以使用根据这些设置所获得的测距信息和测光信息来执行AF处理和AE处理。注意，当面部识别功能不可用时，设置多个测距区域，并对从这多个测距区域所获得的测距信息进行综合分析。然后，例如，基于该分析结果，优先于近距离侧而执行AF控制。

当将特定对象物体(或对象物体的一部分)保持设置成聚焦状态时，需要追踪所指定的对象物体(即，追踪功能)。在图2A中，将用于指定要追踪的对象物体的追踪对象指定框IF显示在显示单元140的中央。例如，在这种状态下，当用户在任意时刻按下设置开关146c时，摄像设备1判断为指定了要追踪的对象物体，并且将位于追踪对象指定框IF内侧或附近的物体设置为要追踪的对象物体。当显示单元140包括触摸面板，并且用户按下显示单元140的期望位置时，摄像设备1判断为指定了要追踪的对象物体，并且将位于按下位置PP附近的物体设置为要追踪的对象物体。在这种情况下，可以无需显示追踪对象指定框IF或将追踪对象指定框IF与要追踪的对象物体对准。

图2B示出图2A所示的图像(与该图像相对应的图像信号)经过图像处理并被均等分割成块的状态。在本实施例中，如图2B所示，使用被分割成块的低分辨率图像来追踪对象物体。

如图2B所示，假定指定球作为要追踪的对象物体，并且将包括与球位置BP相对应的像素的像素区域设置为提取对象物体的特征颜色所需的特征颜色提取区域ER。在本实施例中，将包括与球位置BP相对应的像素和位于该像素周围的8个像素的像素区域设置为特征颜色提取区域ER。更具体地，如图3所示，将显示在显示单元140上的图像分割成32×24个块，并且将包括与球位置BP相对应的像素E和位于像素E周围的8个像素A、B、C、D、F、G、H和I的像素区域设置为特征颜色提取区域ER。

接着，如图4所示，将包括在特征颜色提取区域ER中的9个像素A～I的各个颜色提取(设置)为特征候选颜色A～I。在本实施例中，假定使用RGB格式(8位)来表现9个像素A～I的信号成分。

计算颜色与特征候选颜色类似的像素(即，类似颜色的像素)在图像内如何分布。在这种情况下，如由以下所示，当各特征候选颜色的R、G和B成分与关注像素的R、G和B成分之间的差落入预定信号水平ThRGB的范围内时，判断为关注像素的颜色与特征候选颜色类似：

∑abs(R(n)-R(x，y))≤ThRGB

∑abs(G(n)-G(x，y))≤ThRGB

∑abs(B(n)-B(x，y))≤ThRGB    ...(1)

其中，ThRGB：30LSB，n：特征候选颜色(特征候选颜色A～I)，x：水平坐标(0～31)，并且y：垂直坐标(0～23)。

注意，在本实施例中，使用RGB格式来表现各像素的信号成分，并且使用三个元素(R、G和B)是否落入预定范围作为类似判断的标准。然而，对于颜色类似判断，可以应用本领域技术人员已知的各种技术。例如，可以将像素的信号成分分离成亮度成分和颜色成分(即，可以使用YCrCb格式来表现信号成分)，饱和度等于或高于阈值的像素可以使用色相信息来进行颜色类似判断，并且饱和度小于阈值的像素可以使用亮度信息来进行颜色类似判断。

图5A～5I是分别示出特征候选颜色A～I(像素A～I的颜色)的类似颜色的像素的分布的图。在图5A～5I中，由灰色像素来表示特征候选颜色A～I的类似颜色的像素。参考图5A～5I，由于在像素B、C和E周围未分布特征候选颜色(即，像素B、C和E的颜色)的类似颜色的像素，因此像素B、C和E的颜色更有可能是作为对象物体的球的特征颜色。另一方面，由于在像素G周围分布有特征候选颜色(即，像素G的颜色)的类似颜色的多个像素，因此像素G的颜色更有可能表示例如地板颜色，并且不可能是球的特征颜色。

接着，将与追踪对象指定位置相对应的像素(在本实施例中为像素E)设置为基点，根据与基点的距离将图像分割成部分区域，并且针对各个部分区域来计数颜色与特征候选颜色类似的像素数。图6示出根据与作为基点的像素E的距离将图像分割成6个部分区域时的示例。在本实施例中，如图6所示，从作为基点的像素E起，将相距1步的区域设置为第一部分区域，将相距2步的区域设置为第二部分区域，并且将相距3步的区域设置为第三部分区域。同样，从作为基点的像素E起，将相距4步的区域设置为第四部分区域，将相距5步的区域设置为第五部分区域，并且将相距6步的区域设置为第六部分区域。在本实施例中，将图像分割成以基点作为中心的圆形部分区域。可选地，可以将图像分割成矩形部分区域，或者可以将图像分割成从基点起相距增量为两步的距离的区域。利用同一方法，针对像素A～I分别设置以像素A～I各自作为中心的第一部分区域～第六部分区域。

图7示出包括在第一部分区域～第六部分区域中的特征候选颜色A～I的类似颜色的像素数的计数结果。注意，图7还示出包括在除第一部分区域～第六部分区域以外的周围区域中的特征候选颜色A～I的类似颜色的像素数的计数结果以及包括在整个图像中的特征候选颜色A～I的类似颜色的像素总数Sum。如从图7可以看出，例如，特征候选颜色A的类似颜色的像素数在第一部分区域中为5，在第二部分区域中为3，在第三部分区域中为1，并且在周围区域中为3。

接着，针对各个像素A～I判断是否独立形成各个特征候选颜色A～I的类似颜色的像素连续出现(即，包括类似颜色的像素)的像素组。例如，当用户不必要地指定背景区域作为要追踪的对象物体时，包括特征候选颜色的类似颜色的像素的像素组的范围可能一直扩展到图像周边的宽范围，并且无法追踪这种对象物体。作为要追踪的对象物体的特征颜色的颜色可以形成面积小且独立于周围颜色的像素组，并且优选选择这种颜色作为对象物体的特征颜色。换言之，优选提取所形成的包括类似颜色的像素的像素组的面积小于基准面积的特征候选颜色作为对象物体的特征颜色。注意，以优先提取所形成的像素组的面积较小的特征候选颜色作为对象物体的特征颜色的方式设置基准面积。

因而，在本实施例中，为了检测包括特征候选颜色的像素(即，各个像素A～I)且包括该特征候选颜色的类似颜色的像素的像素组与其它颜色的像素之间的边界，如由以下所示，针对各特征候选颜色的像素设置边界条件：

边界条件＝包括在第一部分区域中的特征候选颜色的类似颜色的像素数×ThBorderRatio    ...(2)

其中，ThBorderRatio：0.25。

如等式(2)所示，将通过使包括在第一部分区域中的各特征候选颜色的类似颜色的像素数乘以预定比(ThBorderRatio)所获得的值[像素数]设置为边界条件。然后，判断为低于该边界条件的部分区域包括特征候选颜色的类似颜色的像素的像素组与其它颜色的像素之间的边界。

图8示出根据等式(2)对像素A～I的边界条件的计算结果。当在等式(2)中ThBorderRatio＝25％时，例如，像素A的边界条件为1.25[像素数]，并且像素F的边界条件为0.75[像素数]。

图9A是用于解释包括像素A且还包括特征候选颜色A的类似颜色的像素的像素组与其它颜色的像素之间的边界的检测的图。图9B是用于解释包括像素G且还包括特征候选颜色G的类似颜色的像素的像素组与其它颜色的像素之间的边界的检测的图。图9A和9B的横轴采用部分区域并且纵轴采用像素数。此外，在图9A和9B中，分别标绘出包括在第一部分区域、第二部分区域、第三部分区域、第四部分区域、第五部分区域和第六部分区域以及周围区域中的特征候选颜色A和G的类似颜色的像素数。

如上所述，由于像素A的边界条件为1.25[像素数]，因此特征候选颜色A的类似颜色的像素数低于1.25的部分区域包括边界。参考图9A，由于特征候选颜色A的类似颜色的像素数在第一部分区域中为5、在第二部分区域中为3并且在第三部分区域中为1，因此包括在第三部分区域中的特征候选颜色A的类似颜色的像素数低于1.25。因此，将第二部分区域和第三部分区域之间的边界检测为包括特征候选颜色A的类似颜色的像素的像素组与其它颜色的像素之间的边界。因而，判断为像素A形成包括包含在第一部分区域中的5个像素和包含在第二部分区域中的3个像素的像素组。

另一方面，由于与像素A的边界条件相同，像素G的边界条件也为1.25[像素数]，因此特征候选颜色G的类似颜色的像素数低于1.25的部分区域包括边界。然而，参考图9B，不存在特征候选颜色G的类似颜色的像素数低于1.25的部分区域。这意味着特征候选颜色G的类似颜色的像素分布到图像周边，并且特征候选颜色G更有可能是背景颜色。

这样，针对各个像素A～I检测包括特征候选颜色的类似颜色的像素的像素组与其它颜色的像素之间的边界，并且计算该像素组的像素数、即该像素组的面积(第一面积)。图10示出包括特征候选颜色A～I的类似颜色的像素的像素组的像素数AreaIn以及包括在整个图像中的特征候选颜色A～I的类似颜色的像素总数(即，面积(第二面积))Sum。在这种情况下，判断为没有检测到边界的像素(在本实施例中为像素G)未被选择为要追踪的对象物体的特征颜色，并且将作为像素G的颜色的特征候选颜色G从对象物体的特征颜色的候选中排除。此外，即使对于检测到边界的像素，当像素组的面积大于预定基准面积时，或者当像素组包括与图像的端部相对应的像素(端部像素)时，也可以将该像素的特征候选颜色从对象物体的特征颜色的候选颜色中排除。

随后，根据以下来计算给定特征候选颜色的像素的像素组的像素数(AreaIn)相对于包括在整个图像中的该特征候选颜色的类似颜色的像素总数(Sum)的比率，作为边界内颜色比率。

边界内颜色比率＝(AreaIn/Sum)×100[％] ...(3)

例如，由于对于像素B，AreaIn为1并且Sum为1，因此边界内颜色比率为100％(参见图10)。随着边界内颜色比率变高，在该相应像素周围不存在类似颜色的像素，并且该像素在要追踪的对象物体(追踪对象指定位置)附近可能被看作特征颜色。

对于像素I，由于AreaIn为2并且Sum为18，因此边界内颜色比率为11％(参见图10)。即使当针对边界内颜色比率低的像素检测到边界时，在该像素周围也分布有类似颜色的多个像素。因此，当要使用这种像素的颜色来追踪对象物体时，代替要追踪的对象物体(原始对象物体)，可能误追踪了其它物体(例如，与包括在背景中的类似颜色的像素相对应的物体)。

因而，在本实施例中，基于边界内颜色比率来判断特征候选颜色是否可能是对象物体的特征颜色。图11A示出按边界内颜色比率的降序对特征候选颜色A～I的排序结果。此外，图11B示出针对按边界内颜色比率的降序排序的特征候选颜色A～I分别设置的基准比率。基准比率用作用于从要追踪的对象物体的特征颜色的候选中排除各个特征候选颜色A～I的排除条件，并且将边界内颜色比率低于基准比率的特征候选颜色从对象物体的特征颜色的候选中排除。在本实施例中，如图11B所示，以从对象物体的特征颜色的候选中排除边界内颜色比率较低的特征候选颜色(换言之，提取边界内颜色比率较高的特征候选颜色作为对象物体的特征颜色)的方式来设置基准比率。参考图11B，特征候选颜色H的边界内颜色比率为27％，这低于作为基准比率的60％。同样，特征候选颜色I的边界内颜色比率为11％，这低于作为基准比率的70％。因此，将作为像素H的颜色的特征候选颜色H和作为像素I的颜色的特征候选颜色I从对象物体的特征颜色的候选中排除。注意，基准比率不限于图11B所示的值，并且可以设置任意值。

接着，计算特征候选颜色的相对特征度。包括类似颜色的像素的像素组的面积越小，越被看作作为要追踪的对象物体的特征的特有重要颜色。在本实施例中，为了提取这种颜色作为对象物体的特征颜色，计算特征度。更具体地，如图12A所示，按特征候选颜色的像素的像素组的像素数(AreaIn)的升序对特征候选颜色A～I进行排序。在本实施例中，特征候选颜色B被指定为像素组的像素数最小(即，面积最小)的特征候选颜色。然后，针对各个特征候选颜色A～I，根据以下来计算像素组的像素数中的最小像素数(AreaInMin)相对于像素组的像素数(AreaIn)的比率作为特征度。

特征度＝(AreaInMin/AreaIn)×100[％] ...(4)

参考等式(4)，在本实施例中，分别地，AreaInMin＝1(即，像素B的像素组的像素数)，并且AreaIn＝像素B、C、E、F、A和D的像素组的像素数。图12A示出使用等式(4)计算出的特征度。参考图12A，像素组的像素数最小的特征候选颜色B具有最高的特征度、即100％，因为该特征度是通过利用其自身的像素数进行除算而计算出的。

因而，在本实施例中，基于特征度，判断各特征候选颜色是否可以作为对象物体的特征颜色。图12B示出针对按照像素组的像素数的升序排序的特征候选颜色A～I分别设置的基准特征度。基准特征度是用于从对象物体的特征颜色的候选中排除各个特征候选颜色A～I的排除条件，并且将特征度低于该基准特征度的特征候选颜色从对象物体的特征颜色的候选中排除。在本实施例中，如图12B所示，以从对象物体的特征颜色的候选中排除特征度较低的特征候选颜色(换言之，提取特征度较高的特征候选颜色作为对象物体的特征颜色)的方式来设置基准特征度。参考图12B，特征候选颜色F、A和D的特征度分别为20％、12％和7％，这低于作为相应的基准特征度的30％、45％和60％。因此，将作为像素F的颜色的特征候选颜色F、作为像素A的颜色的特征候选颜色A以及作为像素D的颜色的特征候选颜色D从对象物体的特征颜色的候选中排除。

这样，在特征候选颜色A～I中，选择特征候选颜色B、C和E作为要追踪的对象物体的特征颜色，其中特征候选颜色B、C和E具有如下特征：包括类似颜色的像素的像素组的面积小于基准面积，边界内颜色比率高于基准比率，并且特征度高于基准特征度。如从图5A～5I可以看出，特征候选颜色B、C和E在追踪对象指定位置附近不具有类似颜色的像素，并且提取像素组的面积较小的特有特征候选颜色作为对象物体的特征颜色。

将像素B、C和E的特征候选颜色B、C和E作为要追踪的对象物体的特征颜色存储在例如临时存储器130或系统控制单元134的存储器中。注意，在本实施例中，如图13A所示，在这种情况下还将特征候选颜色B、C和E的特征度作为主像素来存储。此外，如图13A和13B所示，将邻接像素B、C和E的上下左右位置的像素的颜色作为子像素以RGB格式来存储。由于在追踪对象物体时还使用与子像素的颜色的一致度，因此可以提高对象物体的追踪精度。在本实施例中，假定将特征候选颜色B、C和E(即，通过前述处理提取出的颜色)作为对象物体的静态特征颜色来存储。这种静态特征颜色是一旦存储就不再更新的特征颜色。此外，在本实施例中，如后面将说明的，存储对象物体的动态特征颜色。这种动态特征颜色是在追踪对象物体期间根据需要而更新的特征颜色。在追踪对象物体时还使用动态特征颜色的情况下，即使在对象物体或环境改变时，也可以继续进行对象物体追踪操作。这样，临时存储器130或系统控制单元134的存储器用作存储静态特征颜色的第一存储单元和存储动态特征颜色的第二存储单元。

以下将实际解释使用图13A所示的静态特征颜色和动态特征颜色的对象物体追踪操作。基本上，在图像中搜索颜色与对象物体的特征颜色(在本实施例中为特征候选颜色B、C和E)类似的像素，并且将颜色与这些特征颜色类似的(即，与这些特征颜色的类似度较高)的像素的位置确定为对象物体(对象物体的位置)。注意，在追踪对象物体时，如上所述，还使用特征度以及与邻接主像素的上下左右位置的子像素的颜色的一致度。

当对象物体的颜色的类似颜色的物体包括在图像(背景)中时，与前一追踪操作中确定出的对象物体的位置越近的位置需要具有越高的类似度。因而，在本实施例中，使用权重表。该权重表是通过将与前一追踪操作中确定出的对象物体的位置相对应的像素设置为基点、在各个像素的位置处根据与该基点的距离而设置权重量的表。注意，可以根据各种条件来适当地设置与距基点的距离相对应的权重量的变化量。

为了生成权重表，计算颜色与要追踪的对象物体的特征颜色类似的像素在图像中如何分布。图14示出颜色与要追踪的对象物体的特征颜色类似的像素在图像中的分布。参考图14，像素PX1是与前一追踪操作中确定出的对象物体的位置(即，最新的对象物体位置)相对应的像素。包括像素PX2、PX3和PX4的灰色像素是颜色与对象物体的特征颜色类似的像素(类似像素)。监视区域(第三区域)OA是用于搜索颜色与对象物体的特征颜色类似的像素的区域，并且被设置为覆盖整个图像(区域设置)。注意，如由不等式(1)所示，当对象物体的特征颜色的R、G和B成分与关注像素的R、G和B成分之间的差落入预定信号水平的范围内时，判断为关注像素的颜色与对象物体的特征颜色类似。

然后，根据以下来计算作为最新的对象物体位置的像素PX1的位置(TargetPosX，TargetPosY)与类似像素位置(FindPosX，FindPosY)之间的距离的总和(DistanceSum)，作为类似颜色分布度：

$\mathrm{Dis}\tan \mathrm{ceSum}=\mathrm{\Σ}\sqrt{(\mathrm{abs}{(T\arg \mathrm{etPosX}-\mathrm{FindPosX}\left(X\right))}^2+\mathrm{abs}{(T\arg \mathrm{etPosY}-\mathrm{FindPosY}\left(Y\right))}^2)}...\left(5\right)$

其中，X：0～31，并且Y：0～23。

类似颜色分布度DistanceSum越大，这表示存在于对象物体周围的类似像素越多。因而，更有可能发生误追踪。因而，权重量的变化量根据类似颜色分布度而改变，从而距与前一追踪操作中确定出的对象物体的位置相对应的像素(基点)的距离越大则设置类似度越低的权重量(即，权重量越大)，由此降低了发生误追踪的可能性。

图15示出与类似颜色分布度(DistanceSum)相对应的权重下降系数(WeightDownRatio)。图15的横轴采用类似颜色分布度(DistanceSum)并且纵轴采用权重下降系数(WeightDownRatio)。如从图15可以看出，权重下降系数随着类似颜色分布度的增大而变大。该权重下降系数成为生成权重表时的重要参数。

图16从概念上示出权重表的生成。曲线CV与权重表的变化相对应，并且表现出权重量以作为最新的对象物体位置的像素PX1的位置(TargetPosX，TargetPosY)作为基点进行改变。曲线CV由曲线WeightRatioIn(X，Y)和曲线WeightRatioOut(X，Y)这两个指数曲线构成。曲线WeightRatioIn(X，Y)将位置(TargetPosX，TargetPosY)与距该位置预定距离的权重下降位置(DistDown)相连结。曲线WeightRatioOut(X，Y)将权重下降位置(DistDown)与图像端部位置DistZero相连结。权重下降位置(DistDown)根据图15所示的权重下降系数(WeightDownRatio)而沿着权重量增加/减少方向DR1向上或向下移动。因而，动态地生成作为最新的对象物体位置的像素PX 1的位置(TargetPosX，TargetPosY)附近的权重量的变化量的陡度以及图像周边区域的权重量。

通过以下来分别计算用以计算各像素的位置处的权重量所需的曲线WeightRatioIn(X，Y)和WeightRatioOut(X，Y)：

WeightRatioIn(X，Y)＝100-(Dist(X，Y)²/DistDown²)×WeightDownRatio

WeightRatioOut(X，Y)＝(Dist(X，Y)²/(DistZero  -DistDown)²)×(100-WeightDownRatio)..(6)

其中，X：0～31，Y：0～23，并且Dist(X，Y)：与作为最新的对象物体位置的像素PX1的位置(TargetPosX，TargetPosY)的距离。

基于根据类似颜色分布度确定出的权重下降系数和前一追踪操作中确定出的对象物体位置来动态地生成权重表。图17A～17C示出权重表的概念。例如，当图像周边几乎不包括类似像素时，如图17A所示，将权重下降系数设置为小的值，并且生成权重量的变化量缓和且对周边给予特定权重量的权重表。当图像周边包括多个类似像素时，如图17B或17C所示，将权重下降系数设置为大的值，并且生成权重量的变化量陡峭且对周边给予小的权重量的权重表。注意，在本实施例中，使用指数曲线来表现权重量的变化。可选地，可以仅使用线段来表现权重量的变化。此外，通过设置多个权重下降位置，可以仅使用线段来表现近似为曲线的权重量的变化。

基于这样生成的权重表，设置用于搜索要追踪的对象物体的静态搜索区域(第一区域)SSA(区域设置)。注意，静态搜索区域SSA是使用对象物体的静态特征颜色来追踪该对象物体所需的区域，并且如图17A～17C和图18A～18C所示，将权重量等于或大于预定量的区域设置为静态搜索区域SSA。图18A～18C分别示出基于图17A～17C所示的权重表所设置的静态搜索区域SSA。如从图18A～18C可以看出，权重量的变化量越陡峭，则静态搜索区域SSA越小。注意，图18D示出作为对象物体位置的像素PX1的位置(TargetPosX，TargetPosY)不位于图像中央的情况。

当静态搜索区域SSA变得较小时，如果要追踪的对象物体已突然移动或者摄像设备1的照相机抖动已发生，则对象物体追踪操作有可能失败。另一方面，当静态搜索区域SSA变得较大时，如果图像包括多个类似像素，则有可能发生误追踪。因此，根据权重表的权重量来设置静态搜索区域SSA是有效的。

当从图像中的整体区域搜索类似像素时，系统的处理负荷变重，从而导致消耗电力增加以及构建可以耐受更重的负荷的系统所需的成本增加。另一方面，在本实施例中，由于静态搜索区域SSA的范围根据权重量而受限，因此可以减轻系统的处理负荷，并且可以抑制消耗电力的增加等。

图19是摄像设备1中用于减轻处理负荷的时序图。如图18A～18C所示，监视区域OA被设置为覆盖整个图像，并且静态搜索区域SSA尽管根据权重量而改变，但被设置为小于监视区域OA。这样，监视区域OA的面积大于静态搜索区域SSA的面积。通过延长计算类似颜色分布度所需的操作周期，可以减轻处理负荷。追踪对象物体所需的操作周期越长，则对追踪性能的影响越大。然而，计算类似颜色分布度所需的操作周期变长对追踪性能几乎无影响。因而，如图19所示，摄像元件118的电荷累积操作、从摄像元件118的电荷读取操作、以及图像生成操作被设置为按摄像同步信号VD的周期而执行。此外，生成权重表所需的类似颜色分布度计算操作(和权重下降系数计算操作)被设置为例如按相当于摄像同步信号VD的周期的四倍的周期而执行。此外，对象物体追踪操作被设置为按摄像同步信号VD的周期而执行。这样，类似颜色分布度计算操作的操作周期被设置为长于对象物体追踪操作周期。注意，AF处理和图像显示操作可被设置为按任意周期而执行。

图20A示出设置在分割成32×24个块的图像上的静态搜索区域SSA的示例。此外，在本实施例中，如图20B所示，将动态搜索区域(第二区域)DSA设置为具有与前一追踪操作中确定出的对象物体位置相对应的像素PX1作为基点(区域设置)。动态搜索区域DSA用于使用对象物体的动态特征颜色来追踪对象物体。在本实施例中，将动态搜索区域DSA设置为包括像素PX1的5个像素×5个像素的像素区域，但该区域的大小没有受到特别限制。此外，动态搜索区域DSA不限于矩形区域。而且例如可以是圆形区域。注意，动态搜索区域DSA的面积被设置为小于静态搜索区域SSA的面积。这是因为：使用动态特征颜色的对象物体追踪操作仅在该动态特征颜色附近的位置内搜索与针对前一帧图像所存储的动态特征颜色类似的颜色，并且无需使动态搜索区域DSA变宽。

在这样设置的静态搜索区域SSA和动态搜索区域DSA中，追踪对象物体。首先，搜索颜色与对象物体的特征颜色(静态特征颜色和动态特征颜色)类似的像素(类似像素)。更具体地，如图13A所示，在本实施例中，由于以RGB格式存储了对象物体的特征颜色，因此如由以下所示，计算对象物体的各特征颜色的R、G和B成分与关注像素的R、G和B成分之间的差ΔR、ΔG和ΔB：

ΔR＝abs(R(N)-R(X，Y))

ΔG＝abs(G(N)-G(X，Y))

ΔB＝abs(B(N)-B(X，Y))...(7)

其中，N：静态特征颜色或动态特征颜色，X：水平坐标，并且Y：垂直坐标。

然后，如由以下所示，当差ΔR、ΔG和ΔB落入预定信号水平ThRGB的范围内时，判断为关注像素的颜色与特征颜色类似：

ΔR≤ThRGB

ΔG≤ThRGB

ΔB≤ThRGB    ...(8)

在不等式(8)中，在使用静态特征颜色的对象物体追踪操作和使用动态特征颜色的对象物体追踪操作之间，信号水平ThRGB可被设置为不同的值。此外，在使用动态特征颜色的对象物体追踪操作中，信号水平ThRGB可以根据场景而变为适当值。注意，在本实施例中，由于存在特征候选颜色B、C和E作为静态特征颜色，因此根据图12B所示的优先顺序(特征候选颜色B、C和E的顺序)来选择特征颜色，以判断关注像素的颜色与所选择的特征颜色是否类似。当判断为关注像素的颜色与特征颜色中所选择的特征颜色类似时，跳过针对优先顺序较低的特征颜色的类似判断。

当使用静态特征颜色来追踪对象物体时，将信号水平ThRGB设置为固定值(例如，30LSB)，由此使得无论场景如何都可以使用同一(即，恒定)标准来判断类似图像。另一方面，当使用动态特征颜色来追踪对象物体时，使用前述的类似颜色分布度(DistanceSum)根据图21所示的函数(表)来计算信号水平ThRGB。图21的横轴采用类似颜色分布度并且纵轴采用信号水平ThRGB。参考图21，信号水平ThRGB随着类似颜色分布度的增大而变小(即，类似像素判断标准变高)。这是由于以下原因。即，图像周边包括的类似像素的数量越多，则越有可能发生误追踪。因而，通过设置较高的类似像素判断标准，抑制了误追踪的发生。

对于这样判断出的各个类似像素，根据以下来计算表示与对象物体的特征颜色的类似程度的颜色类似度(表示与各静态特征颜色的类似程度的第一类似度和表示与动态特征颜色的类似程度的第二类似度)。

颜色类似度＝{((ThRGB-ΔR)/ThRGB)+((ThRGB-ΔG)/ThRGB)+((ThRGB-ΔB)/ThRGB)}×100[％]...(9)

当类似像素的R、G和B成分全部与对象物体的特征颜色的R、G和B成分一致时、即当ΔR、ΔG和ΔB全部假定为0时，颜色类似度假定为100％。此外，ΔR、ΔG和ΔB越接近于信号水平ThRGB，则颜色类似度越接近于0％。

接着，判断邻接关注的类似像素的上下左右位置的像素的颜色与子像素的颜色(参见图13A)是否类似。该判断(该判断的标准)与上述类似像素的判断(判断标准)相同。对被判断为与子像素的颜色类似的像素的数量进行计数，并且根据图22所示的函数(表)来计算邻接度。图22的横轴采用被判断为与子像素的颜色类似的像素的像素数，并且纵轴采用邻接度。当将邻接类似像素的上下左右位置的四个像素用作邻接度的评价对象时，使用表TB1。当判断为邻接类似像素的上下左右位置的所有四个像素的颜色均与子像素的颜色类似时(即，当被判断为与子像素的颜色类似的像素的数量为4时)，邻接度为100％。当判断为邻接类似像素的上下左右位置的所有四个像素的颜色均不与子像素的颜色类似时(即，当被判断为与子像素的颜色类似的像素的数量为0时)，邻接度为50％。注意，在本实施例中，使用邻接类似像素的上下左右位置的四个像素作为邻接度的评价对象。可选地，还可以使用包括沿着类似像素的倾斜方向邻接的像素的8个像素作为邻接度的评价对象。在这种情况下，可以根据使用这8个像素作为邻接度的评价对象时所使用的表TB 2来计算邻接度。

然后，根据以下，使用颜色类似度、邻接度和特征度来针对各个类似像素计算评价值。

评价值＝EVA BASE×(颜色类似度/100)×(邻接度/100)×(特征度/100)...(10)

注意，针对静态特征颜色和动态特征颜色各自计算评价值。

在本实施例中，为了使评价值标准化，将EVA_BASE定义为255LSB，并且计算通过将该值与颜色类似度、邻接度和特征度相乘所获得的值作为评价值。例如，当颜色类似度、邻接度和特征度都为100％时，计算出作为评价值的最高的255LSB，并且评价值随着颜色类似度、邻接度和特征度的减小而降低。

图23A示出针对使用静态特征颜色追踪对象物体的静态搜索区域SSA的评价值(静态评价值)的计算结果。图23B示出针对使用动态特征颜色追踪对象物体的动态搜索区域DSA的评价值(动态评价值)的计算结果。在这种情况下，合成图23A所示的静态评价值和图23B所示的动态评价值。

更具体地，计算图23B所示的动态评价值中的最高动态评价值。在本实施例中，位置(20，12)处的像素的动态评价值最高。当将该像素的动态评价值与同一位置(20，12)处的像素的静态评价值进行比较时，动态评价值为95LSB，静态评价值为90LSB，并且动态评价值大于静态评价值。在这种情况下，如图23A和23B所示，将作为静态评价值的90LSB替换为作为动态评价值的95LSB。结果，生成如下的评价值映射：该评价值映射基于静态评价值而形成，并且在该评价值映射中，一个评价值被替换为与动态特征颜色的类似度最高的像素的动态评价值。

接着，对于通过合成静态评价值和动态评价值所生成的评价值，如由以下所示，将各个像素与权重表的权重量相乘(参见图24B)。

∑Eva(x，y)×(WeightRatio(x，y))/100...(11)

这样，如图24A所示，生成以使与前一追踪操作所确定出的对象物体的位置相对应的像素作为基点的方式利用权重量进行加权得到的评价值映射。这种加权可以消除对颜色与要追踪的对象物体的颜色类似的物体和背景的误追踪。然而，当生成了权重量的变化量陡峭的权重表时，由于可能无法追踪对象物体的运动，因此必须适当地生成用于确定权重下降系数的表(参见图15)。

根据这样生成的评价值映射来确定对象物体的位置。如图25所示，根据通过合成静态评价值和动态评价值所生成的、并且通过权重量进行加权得到的评价值映射来指定具有最高评价值的像素的位置(20，12)。然后，将该像素的位置(20，12)定义为基点，并且将包括评价值在一定程度上较高的像素的区域确定为对象物体。然而，当最高评价值低于基准值时(即，当类似度不满足基准类似度时)，判断为对象物体追踪操作失败。例如，通过以下来计算该基准值：

基准值＝EvaMax×(ThClipRatio/100)...(12)

其中，ThClipRatio：45％，并且EvaMax：最大评价值。

参考等式(12)，基准值是通过将最大评价值EvaMax与预定比率ThClipRatio相乘所获得的值。在图25所示的评价值映射中，根据等式(12)，基准值为42LSB，并且提取评价值大于该基准值的像素(在图25中为灰色像素)。然后，将围绕评价值大于基准值的像素的区域确定为对象物体。注意，在本实施例中，使用矩形区域作为围绕评价值大于基准值的像素的区域。这是因为：该矩形区域例如用作AF处理中的测距区域。

此外，更新与这样确定出的对象物体的位置相对应的像素的颜色作为动态特征颜色。更具体地，在图25中，计算(位置(20，12)处的)具有最高评价值的像素的R、G和B成分。然后，根据以下来判断具有最高评价值的像素的R、G和B成分与各静态特征颜色(参见图13A)是否类似：

ΔR＝abs(EvaMaxR-R(N))

ΔG＝abs(EvaMaxG-G(N))

ΔB＝abs(EvaMaxB-B(N))...(13)

其中，N：静态特征颜色。

ΔR≤ThRGB

ΔG≤ThRGB

ΔB≤ThRGB    ...(14)

其中，ThRGB：固定值(40LSB)。

当(位置(20，12)处的)具有最高评价值的像素的R、G和B成分与各静态特征颜色的R、G和B成分之间的差全部低于信号水平ThRGB时，更新动态特征颜色。更具体地，更新(存储)邻接(位置(20，12)处的)具有最高评价值的像素的上下左右位置的像素的R、G和B成分的平均值作为动态特征颜色。注意，在下一对象物体追踪操作中使用更新后的动态特征颜色。

以下将检查这种情况：当周期性地追踪对象物体时，根据需要而无条件地更新与前一追踪操作中确定出的对象物体的位置相对应的像素的模板和颜色信息。在这种情况下，当其它物体在该对象物体前方横切穿过时，或者当对象物体改变时，逐渐追踪与该对象物体不同的物体，从而导致误追踪。另一方面，在本实施例中，与在追踪对象物体开始时提取出的各静态特征颜色显著不同的颜色不会被更新为动态特征颜色，从而消除了误追踪的发生。

以下将说明摄像设备1的操作。图26A和26B是用于解释摄像设备1的整体操作的流程图。在步骤S2602中，在按下电源开关146a时将摄像设备1的电源状态切换至电源接通状态的情况下，启动系统控制单元134。在步骤S 2604中，启动构成摄像设备1的各装置(镜头102、快门114、光圈110、摄像元件118、显示单元140等)。在步骤S2606中，开始AE处理、AWB处理和AF处理，以获得要显示在显示单元140上的图像的适当曝光值、颜色和聚焦。在步骤S2608中，显示单元140开始显示图像。

在步骤S2610中，判断是否指定了要追踪的对象物体。如上所述，当用户操作叠加在显示单元140所显示的图像上的追踪对象指定框或者直接按下显示在显示单元140上的图像时(参见图2A)，可以指定要追踪的对象物体。如果指定了要追踪的对象物体，则处理进入步骤S2612以执行用于提取对象物体的特征颜色的特征颜色提取处理。如果没有指定要追踪的对象物体，则处理进入步骤S2614、S2616、S2618和S2620。

在步骤S2614、S2616和S2618中，继续进行AE处理、AWB处理和AF处理，以获得要显示在显示单元140上的图像的适当曝光值、颜色和聚焦。在步骤S2620中，判断是否要追踪对象物体。如果要追踪对象物体，则处理进入步骤S2622以执行用于追踪对象物体的追踪处理。如果不追踪对象物体，则处理进入步骤S2624。

在步骤S2624中，判断在操作了释放按钮146d时第一开关是否接通(ON)。如果第一开关没有接通，则处理返回至步骤S2610。如果第一开关接通，则处理进入步骤S2626。

在步骤S2626中，执行AE处理以获得要拍摄的图像的适当曝光值。在步骤S2628中，执行AF处理以获得要拍摄的图像的适当聚焦。注意，当执行了追踪处理时，使用该追踪处理的结果来执行AE处理和AF处理。

在步骤S2630中，判断对象物体的追踪操作是否在进行中。如果对象物体的追踪操作在进行中，则处理进入步骤S2632和S2634。如果对象物体的追踪操作不在进行中，则处理进入步骤S2636。

在步骤S2632中，使用追踪处理的结果来执行AE处理，从而获得要拍摄的图像的适当曝光值。在步骤S2634中，使用追踪处理的结果来执行AF处理，从而获得要拍摄的图像的适当聚焦。注意，通常，当第一开关接通时，进行用以拍摄被摄体的图像的准备，并且控制进行等待，直到第二开关接通为止。然而，当执行了追踪处理时，由于被摄体通常是运动物体，因此如同本实施例那样，优选在第一开关接通的情况下根据追踪处理的结果来执行AE处理和AF处理。

在步骤S2636中，判断在操作了释放按钮146d时第二开关是否接通。如果第二开关没有接通，则处理进入步骤S2638。如果第二开关接通，则处理进入步骤S2640。

在步骤S2638中，判断第一开关是否接通。如果第一开关没有接通，则处理返回至步骤S2610。如果第一开关接通，则处理返回至步骤S2630。

在步骤S2640中，判断闪光灯单元144是否要发出闪光灯光。例如，在低亮度环境或背光场景中，需要发出闪光灯光。如果要发出闪光灯光，则处理进入步骤S2642以执行确定闪光灯光的光量(发光量)所需的光控制处理。如果不发出闪光灯光，则处理进入步骤S2644。

在步骤S2644中，执行用于拍摄被摄体的图像的摄像处理。在这种情况下，当利用闪光灯光照射被摄体时，发出具有步骤S2642中确定出的光量的闪光灯光。在步骤S2646中，判断在操作了电源开关146a时摄像设备1的电源状态是否切换至电源断开状态。如果电源状态未被切换至电源断开状态(维持了电源接通状态)，则处理返回至步骤S2638。如果将电源状态切换至电源断开状态，则执行结束处理，从而结束该操作。

以下将参考图27A和27B来说明特征颜色提取处理(S2612)。在步骤S2702中，设置提取要追踪的对象物体的特征颜色所需的特征颜色提取区域(参见图2B)。在步骤S2704中，提取包括在该特征颜色提取区域中的各像素的颜色作为特征候选颜色，并且计算该特征候选颜色和关注像素的颜色之间的差。

在步骤S2706中，判断关注像素的颜色与特征候选颜色是否类似。更具体地，如上所述，当步骤S2704中计算出的差落入预定信号水平的范围内时，判断为该关注像素的颜色与特征候选颜色类似。如果关注像素的颜色不与特征候选颜色类似，则处理进入步骤S2710。如果关注像素的颜色与特征候选颜色类似，则处理进入步骤S2708，以将被判断为颜色与特征候选颜色类似的关注像素分类到部分区域的其中一个。注意，如上所述，部分区域是通过根据距作为与追踪对象指定位置相对应的像素的基点的距离对图像进行分割所获得的。

在步骤S2710中，判断所有像素是否均被选择为关注像素。如果仍存在要被选择为关注像素的像素，则选择下一像素作为关注像素，并且处理返回至步骤S2704。如果所有像素均被选择为关注像素，则处理进入步骤S2712。

在步骤S2712中，指定颜色与特征候选颜色类似的像素连续出现(即，包括类似颜色的像素)的像素组，并且检测包括特征候选颜色的像素以及该特征候选颜色的类似颜色的像素的像素组与其它颜色的像素之间的边界。

在步骤S2714中，计算边界内颜色比率。注意，如上所述，边界内颜色比率是特征候选颜色的像素的像素组的像素数相对于包括在整个图像中的该特征候选颜色的类似颜色的像素总数的比率。

在步骤S2716中，判断是否已对所有的特征候选颜色应用了步骤S2704～S2714的处理。如果仍存在要应用步骤S2704～S2714的处理的特征候选颜色，则选择下一特征候选颜色，并且处理返回至步骤S2704。如果已对所有的特征候选颜色应用了步骤S2704～S2714的处理，则处理进入步骤S2718。

在步骤S2718中，按步骤S2714中计算出的边界内颜色比率的降序对特征候选颜色排序。在步骤S2720中，将这些特征候选颜色中边界内颜色比率低于基准比率的特征候选颜色从对象物体的特征颜色的候选中排除。注意，如上所述，以将边界内颜色比率较低的特征候选颜色从对象物体的特征颜色的候选中排除的方式来设置基准比率。

在步骤S2722中，按特征候选颜色的像素的像素组的像素数的升序对这些特征候选颜色排序。在步骤S2724中，计算特征候选颜色的相对特征度。注意，如上所述，特征度是像素组的像素数中的最小像素数相对于关注像素组的像素数的比率。在步骤S2726中，将这些特征候选颜色中特征度低于基准特征度的特征候选颜色从对象物体的特征颜色的候选中排除。注意，如上所述，以将特征度较低的特征候选颜色从对象物体的特征颜色的候选中排除的方式来设置基准特征度。

在步骤S2728中，提取步骤S2720和S2726中未被排除的特征候选颜色作为对象物体的候选颜色。注意，如上所述，将提取为对象物体的候选颜色的特征候选颜色存储为静态特征颜色(参见图13A)。

以下将参考图28来说明追踪处理(S2622)。在步骤S2802中，判断是否要执行用于计算类似颜色分布度的类似颜色分布度计算处理。注意，如上所述，类似颜色分布度是与最新的对象物体位置相对应的像素的位置和与对象物体的特征颜色类似的像素(类似像素)的位置之间的距离的总和。如果跳过了类似颜色分布度计算处理，则处理进入步骤S2806。如果要执行类似颜色分布度计算处理，则处理进入步骤S2804以执行该类似颜色分布度计算处理。

在步骤S2806中，基于步骤S2804中计算出的类似颜色分布度来计算权重下降系数(参见图15)。在步骤S2808中，基于步骤S2806中计算出的权重下降系数来生成权重表(参见图16)。

在步骤S2810中，基于步骤S2808中生成的权重表来设置静态搜索区域，并且在该静态搜索区域内搜索颜色与对象物体的静态特征颜色类似的像素(类似像素)。

在步骤S2812中，针对步骤S2810中找到的各个类似像素，计算表示与对象物体的各静态特征颜色的类似程度的颜色类似度以及邻接度，并且计算使用该颜色类似度、邻接度和特征度的静态评价值。

在步骤S2814中，设置面积小于静态搜索区域的面积的动态搜索区域，并且在该动态搜索区域内搜索颜色与对象物体的动态特征颜色类似的像素(类似像素)。

在步骤S2816中，针对步骤S2814中找到的各个类似像素，计算表示与对象物体的动态特征颜色的类似程度的颜色类似度以及邻接度，并且计算使用该颜色类似度、邻接度和特征度的动态评价值。

在步骤S2818中，合成步骤S2812中计算出的静态评价值和步骤S2816中计算出的动态评价值。更具体地，如上所述，利用动态评价值中的最高评价值来替换静态评价值中的一个评价值。

在步骤S2820中，利用步骤S2808中生成的权重表的权重量对通过合成静态评价值和动态评价值所生成的评价值进行加权，由此生成评价值映射。

在步骤S2822中，判断步骤S2820中生成的评价值映射中最高评价值是否低于基准值。如果最高评价值低于基准值，则向用户通知对象物体的追踪失败，由此结束追踪处理。如果最高评价值等于或高于基准值，则处理进入步骤S2826以执行用于更新动态特征颜色的动态特征颜色更新处理。在步骤S2828中，将具有最高评价值的像素的位置设置为基点，并且将包括评价值在一定程度上较高的像素的区域确定为对象物体的位置。

以下将参考图29来说明类似颜色分布度计算处理(S2804)。在步骤S2902中，将类似颜色分布度重置为0。在步骤S2904中，计算一个静态特征颜色和关注像素的颜色之间的差。在步骤S2906中，判断关注像素的颜色与静态特征颜色是否类似。如果关注像素的颜色不与静态特征颜色类似，则处理进入步骤S2908。如果关注像素的颜色与静态特征颜色类似，则处理进入步骤S2910。

在步骤S2908中，判断是否已针对所有的静态特征颜色计算了与关注像素的颜色的差(即，步骤S2904的处理是否完成)。如果仍存在要计算与关注像素的颜色的差的静态特征颜色，则选择下一静态特征颜色，并且处理返回至步骤S2904。如果已针对所有的静态特征颜色计算了与关注像素的颜色的差，则处理进入步骤S2914。

在步骤S2910中，计算与最新的对象物体位置相对应的像素和步骤S2906中判断为与静态特征颜色类似的关注像素之间的距离。在步骤S2912中，将步骤S2910中计算出的距离与类似颜色分布度相加。

在步骤S2914中，判断所有的像素是否均被选择为关注像素。如果仍存在要被选择为关注像素的像素，则选择下一像素作为关注像素，并且处理返回至步骤S2904。如果所有的像素均被选择为关注像素，则类似颜色分布度计算处理结束。

以下将参考图30A和30B来说明静态评价值计算处理(S2812)。注意，动态评价值计算处理(S2816)与静态评价值计算处理相同，并且将不给出对动态评价值计算处理的说明。

在步骤S3002中，计算一个静态特征颜色与关注像素的颜色之间的差。在步骤S3004中，判断关注像素的颜色与静态特征颜色是否类似。如果关注像素的颜色不与静态特征颜色类似，则处理进入步骤S3006。如果关注像素的颜色与静态特征颜色类似，则处理进入步骤S3008。

在步骤S3006中，判断是否已针对所有的静态特征颜色计算了与关注像素的颜色的差(即，步骤S3002的处理是否完成)。如果仍存在要计算与关注像素的颜色的差的静态特征颜色，则选择下一静态特征颜色，并且处理返回至步骤S3002。另一方面，如果针对所有的静态特征颜色计算了与关注像素的颜色的差，则处理进入步骤S3024。

在步骤S3008中，针对步骤S3004中被判断为与静态特征颜色类似的关注像素来计算表示与对象物体的静态特征颜色的类似程度的颜色类似度。在步骤S3010中，将用于计数像素数的计数器重置为0。

在步骤S3012中，计算邻接步骤S3004中被判断为与静态特征颜色类似的关注像素的上下左右位置的像素(邻接像素)的颜色和子像素的颜色之间的差。在步骤S3014中，判断步骤S3004中被判断为与静态特征颜色类似的关注像素的邻接像素的颜色与子像素的颜色是否类似。如果邻接像素的颜色不与子像素的颜色类似，则处理进入步骤S3018。如果邻接像素的颜色与子像素的颜色类似，则处理进入步骤S3016。

在步骤S3016中，对步骤S3014中被判断为与子像素的颜色类似的像素的数量进行计数，并且将计数得到的像素数相加到计数器。

在步骤S3018中，判断是否已针对步骤S3004中被判断为与静态特征颜色类似的所有关注像素计算了与子像素的颜色的差(即，步骤S3012的处理是否完成)。如果仍存在被判断为与静态特征颜色类似且要计算与子像素的颜色的差的关注像素，则选择下一关注像素，并且处理返回至步骤S3012。如果已针对被判断为与静态特征颜色类似的所有关注像素计算了与子像素的颜色的差，则处理进入步骤S3020。

在步骤3020中，基于被判断为与子像素的颜色类似的像素的数量的计数结果来计算邻接度。在步骤S3022中，使用颜色类似度、邻接度和特征度来计算静态评价值。

在步骤S3024中，判断包括在静态搜索区域中的所有像素是否均被选择为关注像素。如果仍存在包括在静态搜索区域中的要被选择为关注像素的像素，则选择下一像素作为关注像素，并且处理返回至步骤S3002。如果包括在静态搜索区域中的所有像素均被选择为关注像素，则静态评价值计算处理结束。

以下将参考图31来说明动态特征颜色更新处理(S2826)。在步骤S3102中，从步骤S2820生成的评价值映射中获取具有最高评价值的像素的颜色(R、G和B成分)。在步骤S3104中，计算一个静态特征颜色与步骤S3102中获取到的具有最高评价值的像素的颜色之间的差。在步骤S3106中，判断具有最高评价值的像素的颜色与静态特征颜色是否类似。如果具有最高评价值的像素的颜色与静态特征颜色类似，则处理进入步骤S3108，以存储该具有最高评价值的像素的颜色作为新的动态特征颜色(更新动态特征颜色)。如果具有最高评价值的像素的颜色不与静态特征颜色类似，则处理进入步骤S3110。

在步骤S3110中，判断是否已针对所有的静态特征颜色计算了与具有最高评价值的像素的颜色的差(即，步骤S3104的处理是否完成)。如果仍存在要计算与具有最高评价值的像素的颜色的差的静态特征颜色，则选择下一静态特征颜色，并且处理返回至步骤S3104。如果已针对所有的静态特征颜色计算了与具有最高评价值的像素的颜色的差，则动态特征颜色更新处理结束。

注意，在本实施例中，为了消除要追踪的对象物体周围存在多个类似像素的情况下的误追踪的发生，根据类似颜色分布度来确定权重下降系数以生成权重表(参见图14和15)。然而，如图32A所示，要追踪的对象物体OB可能从显示单元140的前侧向着里侧远离。在这种情况下，预测出评价值(参见等式(10))随着与对象物体OB的距离的增加而逐渐变小。例如，对于颜色类似度，当将图像分割成块时，由于要追踪的对象物体OB的大小变小，因此在一个块内对象物体OB的颜色可能与背景颜色混合，由此降低了颜色类似度。此外，对于邻接度，当存储使用狗的躯体作为对象物体OB的邻接关系时，随着狗的躯体大小变小，不再能够维持该邻接关系，由此降低了邻接度。这样，当评价值变低时，如果存在颜色与对象物体OB的特征颜色类似的像素，则很可能要追踪该像素(即，很可能发生误追踪)。在这种情况下，如图33所示，可以根据评价值来确定权重下降系数。图33的横轴采用评价值并且纵轴采用权重下降系数。如从图33可以看出，权重下降系数随着评价值的降低而变大。因而，权重量的变化量随着评价值的降低而变陡峭，并且生成了包括小的周边权重量的权重表。因此，如图32B所示，当对象物体OB位于前侧时设置宽的静态搜索区域SSA，并且当对象物体OB位于里侧时设置较窄的静态搜索区域SSA，由此消除了误追踪的发生。

如图34A所示，要追踪的对象物体OB可能移动至遮挡物BL后方的位置，并且可能丢失(可能发生追踪失败)。在这种情况下，当紧挨在对象物体OB丢失之后，存在与对象物体OB的特征颜色类似的颜色的像素时，很可能追踪该像素(即，很可能发生误追踪)。因而，根据从追踪对象OB丢失起(从追踪失败起)所经过的时间，确定权重下降系数，以使得该经过时间越短，则权重下降系数被设置得越大。因而，如图34B所示，紧挨在对象物体OB丢失之后缩小静态搜索区域SSA，由此消除了误追踪的发生。当对象物体OB返回至丢失位置时，可以再开始对象物体OB的追踪。然而，无法确保对象物体OB返回至丢失位置。例如，对象物体OB在已穿过了遮挡物BL之后可能出现在其它位置。因而，尽管存在误追踪的风险，但如由图34B的区域SSA’所示，静态搜索区域SSA以对象物体OB的丢失位置作为中心逐渐变宽，由此应对对象物体OB出现在穿过了遮挡物BL的位置处的情况。更具体地，如图35所示，可以确定权重下降系数。图35的横轴采用经过时间并且纵轴采用权重下降系数。如从图35可以看出，经过时间越短，则权重下降系数被设置得越大。结果，紧挨在对象物体OB丢失之后，设置了大的权重下降系数，并且权重量的变化量变陡峭，由此生成了包括较小的周边权重量的权重表。然后，权重下降系数根据从对象物体OB丢失起所经过的时间而逐渐变小，由此生成了权重量的变化量缓和的权重表。

注意，当可以再开始对象物体OB的追踪操作时，代替从对象物体OB丢失起所经过的时间，根据类似颜色分布度来确定权重下降系数。当无法再开始对象物体OB的追踪操作时，终止该追踪操作，并且向用户通知该情况。

用户可以根据需要来选择如何确定权重下降系数，即根据类似颜色分布度、评价值还是经过时间来确定权重下降系数。此外，可以选择基于这三者所确定出的权重下降系数中的最大权重下降系数。

还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该目的，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (18)

1.一种追踪设备，用于追踪在具有多个像素的摄像元件拍摄到的图像上所指定的对象物体，所述追踪设备包括：

设置单元，用于将包括与所指定的对象物体的位置相对应的像素的像素区域设置为用于提取所述对象物体的特征颜色的特征颜色提取区域，并且将包括在所述特征颜色提取区域中的各个像素的颜色设置为特征候选颜色；

计算单元，用于针对所述特征候选颜色中的每个特征候选颜色，计算包括该特征候选颜色的像素并且颜色与该特征候选颜色类似的像素连续出现的像素组的第一面积、所述多个像素中颜色与该特征候选颜色类似的像素的第二面积、以及所述第一面积相对于所述第二面积的比率；

提取单元，用于从所述第一面积相对于所述第二面积的比率高于预定的基准比率的特征候选颜色中，提取所述第一面积最小的特征候选颜色作为所述对象物体的特征颜色；以及

确定单元，用于将与如下像素相对应的位置确定为所述对象物体：该像素的颜色与所述提取单元提取出的特征颜色类似。

2.根据权利要求1所述的追踪设备，其特征在于，所述计算单元针对所述特征候选颜色中的每个特征候选颜色，计算提取出的特征颜色的第一面积相对于该特征候选颜色的第一面积的比率作为特征度，以及

所述提取单元提取所述特征候选颜色中所述特征度高于预定的基准特征度的特征候选颜色，作为所述对象物体的特征颜色。

3.根据权利要求1所述的追踪设备，其特征在于，所述计算单元从所述第一面积小于基准面积的特征候选颜色中，求出所述第一面积相对于所述第二面积的比率高于所述预定的基准比率的特征候选颜色。

4.根据权利要求2所述的追踪设备，其特征在于，以提取所述特征度较高的特征候选颜色作为所述对象物体的特征颜色的方式来设置所述基准特征度。

5.根据权利要求2所述的追踪设备，其特征在于，所述确定单元按所述提取单元提取出的特征颜色的特征度的降序选择特征颜色，并且将与如下像素相对应的位置确定为所述对象物体：该像素的颜色与所选择的特征颜色类似。

6.根据权利要求1所述的追踪设备，其特征在于，以提取所述第一面积相对于所述第二面积的比率较高的特征候选颜色作为所述对象物体的特征颜色的方式来设置所述基准比率。

7.根据权利要求1所述的追踪设备，其特征在于，当所述像素组包括所述多个像素中的端部像素时，所述提取单元将与该像素组相对应的特征候选颜色从所述对象物体的特征颜色中排除。

8.根据权利要求1所述的追踪设备，其特征在于，还包括：

第一存储单元，用于存储所述提取单元提取出的特征颜色作为所述对象物体的静态特征颜色；

第二存储单元，用于存储与所述确定单元确定出的对象物体的位置相对应的像素的颜色作为所述对象物体的动态特征颜色；以及

区域设置单元，用于在所述多个像素中设置第一区域和第二区域，其中，所述第一区域用于使用存储在所述第一存储单元中的静态特征颜色来追踪所述对象物体，所述第二区域用于使用存储在所述第二存储单元中的动态特征颜色来追踪所述对象物体，并且所述第二区域的面积小于所述第一区域的面积，

其中，所述确定单元针对所述第一区域中所包括的像素中的每个像素，计算表示该像素的颜色与所述静态特征颜色的类似程度的第一类似度，并且针对所述第二区域中所包括的像素中的每个像素，计算表示该像素的颜色与所述动态特征颜色的类似程度的第二类似度，以及

所述确定单元将与如下像素相对应的位置确定为所述对象物体：该像素的通过合成所述第一类似度和所述第二类似度所获得的类似度最高，并且满足预定的基准类似度。

9.根据权利要求8所述的追踪设备，其特征在于，计算所述第二类似度时的类似度的标准高于计算所述第一类似度时的类似度的标准。

10.根据权利要求8所述的追踪设备，其特征在于，所述区域设置单元在所述多个像素中设置面积大于所述第一区域的面积的第三区域，以及

所述确定单元计算所述第三区域中颜色与所述对象物体的静态特征颜色类似的像素的分布度，以根据所述分布度来设置类似度的标准，并且所述分布度越高，则将所述标准设置得越高。

11.根据权利要求10所述的追踪设备，其特征在于，所述确定单元将计算所述第一类似度时的类似度的标准设置为恒定，并且所述分布度越高，则将计算所述第二类似度时的类似度的标准设置得越高。

12.根据权利要求8所述的追踪设备，其特征在于，当与所述确定单元确定出的所述对象物体的位置相对应的像素的颜色和所述静态特征颜色之间的差小于阈值时，所述第二存储单元存储与所述对象物体的位置相对应的像素的颜色作为新的动态特征颜色。

13.根据权利要求8所述的追踪设备，其特征在于，还包括：

生成单元，用于将与所述确定单元确定为所述对象物体的位置相对应的像素设置为基点，并且生成随着距所述基点的距离的增大而将权重量设置得越大的权重表，

其中，所述确定单元将所述生成单元生成的权重表中所设置的权重量赋予所述第一类似度和所述第二类似度，并且将与如下像素相对应的位置确定为所述对象物体：该像素的通过合成利用权重量进行加权后的第一类似度和利用权重量进行加权后的第二类似度所获得的类似度最高，并且满足所述基准类似度。

14.根据权利要求13所述的追踪设备，其特征在于，所述区域设置单元在所述多个像素中设置面积大于所述第一区域的面积的第三区域，

所述确定单元计算所述第三区域中颜色与所述对象物体的静态特征颜色类似的像素的分布度，以及

所述生成单元生成如下的权重表：所述分布度越高，则以使与距所述基点的距离相对应的权重量的变化量越陡的方式来设置权重量。

15.根据权利要求14所述的追踪设备，其特征在于，用于计算所述分布度的操作周期长于用于将与如下像素相对应的位置确定为所述对象物体的操作周期：该像素的通过合成所述第一类似度和所述第二类似度所获得的类似度最高，并且满足所述基准类似度。

16.根据权利要求13所述的追踪设备，其特征在于，所述生成单元生成如下的权重表：与所述确定单元确定为所述对象物体的位置相对应的像素的类似度越低，则以使与距所述基点的距离相对应的权重量的变化量越陡的方式来设置权重量。

17.根据权利要求13所述的追踪设备，其特征在于，所述确定单元判断通过合成利用权重量进行加权后的第一类似度和利用权重量进行加权后的第二类似度所获得的类似度最高的像素的类似度是否满足所述基准类似度，并且当类似度最高的像素的类似度不满足所述基准类似度时，确定为发生所述对象物体的追踪失败，以及

所述生成单元生成如下的权重表：从所述对象物体的追踪失败起所经过的时间越短，则以使与距所述基点的距离相对应的权重量的变化量越陡的方式来设置权重量。

18.一种追踪方法，用于追踪在具有多个像素的摄像元件拍摄到的图像上所指定的对象物体，所述追踪方法包括以下步骤：

设置步骤，用于控制设置单元，以将包括与所指定的对象物体的位置相对应的像素的像素区域设置为用于提取所述对象物体的特征颜色的特征颜色提取区域，并且将包括在所述特征颜色提取区域中的各个像素的颜色设置为特征候选颜色；

计算步骤，用于控制计算单元，以针对所述特征候选颜色中的每个特征候选颜色，计算包括该特征候选颜色的像素并且颜色与该特征候选颜色类似的像素连续出现的像素组的第一面积、所述多个像素中颜色与该特征候选颜色类似的像素的第二面积、以及所述第一面积相对于所述第二面积的比率；

提取步骤，用于控制提取单元，以从所述第一面积相对于所述第二面积的比率高于预定的基准比率的特征候选颜色中，提取所述第一面积最小的特征候选颜色作为所述对象物体的特征颜色；以及

确定步骤，用于控制确定单元，以将与如下像素相对应的位置确定为所述对象物体：该像素的颜色与所述提取单元提取出的特征颜色类似。

Images