CN101996409B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及一种图像处理设备和图像处理方法。所述图像处理设备包括：存储单元，用于根据属性对存在于设置在图像上的追踪对象区域内部的像素和存在于追踪对象区域外部的像素进行分类，并将像素的分类结果存储在存储介质中；第一求出单元，用于求出存在于追踪对象区域内部且具有所述属性的像素与存在于追踪对象区域外部且具有所述属性的像素的第一比率；第二求出单元，用于求出第一比率高于第一预定值的像素与存在于追踪对象区域内部的所有像素的第二比率；以及判断单元，用于如果第二比率高于第二预定值，则判断为能够追踪该追踪对象区域。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种图像处理设备和图像处理方法。更具体地，本发明涉及一种用于通过使用图像来追踪物体的方法。

背景技术

用于追踪任意物体的传统方法使用如下的模式匹配法(pattern matching method)，其中该模式匹配法搜索与先前存储的模板图像的匹配度高的区域。另外，传统的物体追踪方法使用相对差分法，其中在该相对差分法中，顺次更新模板图像，并基于当前帧和前一帧之间的差分来识别物体的位置。此外，传统的物体追踪方法使用直方图匹配法，其中在该直方图匹配法中，基于对与物体的颜色或亮度直方图的匹配度高的区域的搜索结果来识别物体的位置。

如果使用上述模式匹配法，则能够以高精度搜索静止物体。然而，使用模式匹配法时追踪运动物体的性能不是很高。更具体地，如果物体和追踪设备之间的距离改变，如果物体旋转，或者如果追踪设备自身的姿势改变，则模式匹配法不能以高精度追踪物体。

如果使用上述相对差分法，如果其它物体来到追踪对象物体前方，或者如果追踪对象物体已经离开摄像范围，则不能适当地追踪该追踪对象物体。

如果使用直方图匹配法，则可以追踪运动的追踪对象物体，但如果仅基于颜色或亮度直方图执行识别，则识别追踪对象物体的性能低。此外，如果具有大致相同亮度水平的类似颜色或区域大量分布在物体的背景中，则直方图匹配法的追踪性能不是很高。

为了解决上述状况，日本特开平09-181953号公报讨论了这样一种方法，该方法在考虑了追踪对象物体和不是追踪对象的其它物体两者的状态的情况下，确定追踪对象区域专用的且能被可靠提取出的特征颜色。

然而，在日本特开平09-181953号公报所述的传统方法中，讨论了一种用于确定适用于追踪过程的一个特征颜色的方法，但是不总是能够以高精度执行追踪。更具体地，如果当前追踪对象物体的状态不适用于追踪过程，即使选择并使用一个最佳特征颜色，也不能降低错误搜索的概率。

发明内容

根据本发明的一方面，提供一种图像处理设备，包括：存储单元，用于根据预定属性对存在于设置在图像上的追踪对象区域内部的像素和存在于所述追踪对象区域外部的像素进行分类，并将所述像素的分类结果存储在存储介质上；第一求出单元，用于求出存在于所述追踪对象区域内部且具有所述预定属性的像素与存在于所述追踪对象区域外部且具有所述预定属性的像素的第一比率；第二求出单元，用于求出存在于所述追踪对象区域内部的像素中由所述第一求出单元所求出的第一比率高于第一预定值的像素与存在于所述追踪对象区域内部的所有像素的第二比率；以及判断单元，用于如果由所述第二求出单元所求出的第二比率高于第二预定值，则判断为能够追踪所述追踪对象区域。

根据本发明的另一方面，提供一种图像处理方法，包括：根据预定属性对存在于设置在图像上的追踪对象区域内部的像素和存在于所述追踪对象区域外部的像素进行分类，并将所述像素的分类结果存储在存储介质上；求出存在于所述追踪对象区域内部且具有所述预定属性的像素与存在于所述追踪对象区域外部且具有所述预定属性的像素的第一比率；求出存在于所述追踪对象区域内部的像素中所述第一比率高于第一预定值的像素与存在于所述追踪对象区域内部的所有像素的第二比率；以及如果所述第二比率高于第二预定值，则判断为能够追踪所述追踪对象区域。

根据以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将变得明显。

附图说明

包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。

图1示出根据本发明第一典型实施例的摄像设备的基本结构的示例。

图2A示出将图像大致位于摄像范围的中央的动物设置为追踪对象物体的状态。图2B示出被设置为追踪对象物体的动物已经移动的状态。

图3是示出由摄像设备所执行的用于对追踪对象物体进行追踪的处理的示例的流程图。

图4是示出用于识别追踪对象物体的处理的示例的流程图。

图5示出图像和该图像的追踪对象区域中所包括的像素的示例。

图6A示出色相(hue)直方图的示例。图6B示出平均色相直方图的示例。

图7A示出亮度直方图的示例。图7B示出平均亮度直方图的示例。

图8A示出与2个粉色(pink)像素邻接的像素的示例。图8B示出与3个黄色(yellow)像素邻接的像素的示例。图8C示出与2个绿色(green)像素邻接的像素的示例。图8D示出与1个蓝色2(blue2)像素邻接的像素的示例。

图9A示出与1个黑色0(black0)像素邻接的像素的示例。图9B示出与12个黑色1(black1)像素邻接的像素的示例。图9C示出与2个灰色2(gray2)像素邻接的像素的示例。图9D示出与3个白色(white)像素邻接的像素的示例。

图10示出与主直方图的色相直方图相对应的邻接直方图的示例。

图11示出与主直方图的亮度直方图相对应的邻接直方图的示例。

图12A和12B是示出图3所示的流程图中的步骤S103中的可追踪性判断处理的示例的流程图。

图13是示出图3所示的流程图中的步骤S105中的继续追踪可行性判断处理的示例的流程图。

图14是示出图3所示的流程图中的步骤S107中的追踪对象物体检测处理的示例的流程图。

图15示意性示出用于对追踪对象区域进行追踪的方法的示例。

图16A示出要处理的像素与主直方图的彩色相匹配的状态的示例。图16B示出要处理的像素与主直方图的非彩色相匹配的状态的示例。图16C示出要处理的像素的邻接像素与邻接直方图中所包括的彩色或非彩色相匹配的状态的示例，其中该要处理的像素与主直方图的彩色相匹配。图16D示出要处理的像素的邻接像素与邻接直方图中所包括的彩色或非彩色相匹配的状态的示例，其中该要处理的像素与主直方图的非彩色相匹配。

图17示出评价值的计算结果的示例。

图18是示出由摄像设备所执行的用于对追踪对象物体进行追踪的处理的示例的流程图。

具体实施方式

以下将参考附图详细说明本发明的各种典型实施例、特征和方面。

图1示出根据本发明第一典型实施例的摄像设备100的基本结构的示例。摄像设备100能够拍摄静止图像和运动图像这两者。参考图1，从被摄体反射的光通过包括调焦透镜、变倍透镜和固定透镜的摄像光学系统101。由图像传感器102形成来自被摄体的反射光的图像。

图像传感器102是光电转换元件，用于将基于形成在光接收面上的图像的光信号按存在于相应位置的各光检测像素转换成电信号。由图像传感器102将已在图像传感器102上形成其图像的光转换成电信号。将该电信号输入至模拟-数字(A/D)转换器103。A/D转换器103将所输入的电信号转换成数字信号。然后，将该数字信号输入至图像处理电路104。图像处理电路104对所输入的数字信号(图像数据)执行图像处理。

显示装置105是设置在摄像设备100的背面上的显示单元。显示装置105用作电子取景器。另外，显示装置105显示与摄像设备100的设置状况有关的信息。此外，显示装置105显示由摄像设备100所生成的缩略图图像。

摄像光学系统控制电路106生成镜头信息。该镜头信息包括被摄体距离、基于与变倍透镜组的位置有关的信息所获取的焦距、以及基于光圈的开口直径所获取的F数。

系统控制器107包括微计算机。系统控制器107通过执行控制程序来控制整个摄像设备100的操作。图像记录介质108记录图像数据。在本典型实施例中，将详细说明在具有上述结构的摄像设备100上执行的用于追踪任意物体的图像的方法的示例。

图2A和2B示出包括传统物体追踪方法不能适当地进行追踪的图像的场景的示例。

参考图2A，将存在于画面200的中央附近的动物设置为追踪对象物体。对于用于指定追踪对象物体的方法，如果自动识别出满足预定颜色条件或亮度条件的区域，并将该区域设置为追踪对象物体，也是有用的。另外，如果用户在显示装置105中所包括的触摸面板上的任意位置处触摸显示装置105，并将与用户所触摸的位置相对应的图像设置为追踪对象物体，也是有用的。

在图2A和2B各自所示的示例中，假定：将作为与动物腹部附近相对应的区域的区域202设置为追踪对象区域，之后该动物已经移动至其它位置，由此该动物的方位已经改变。

如果追踪对象物体进行了上述改变，则将图2A所示的追踪对象区域202中所包括的图像与动物已经移动至不同位置之后对应于该动物的腹部附近的区域210中所包括的图像彼此进行比较的模式匹配法不能追踪该动物。

如图2A和2B所示，由于追踪对象区域202的直方图220与动物已经移动至不同位置之后对应于该动物的腹部附近的区域210的图像的另一直方图222相互不匹配，因此将这两个直方图进行比较的直方图匹配法不能适当地追踪该动物。

现在，将参考下面的流程图来详细说明根据本典型实施例的用于追踪任意物体的方法的示例。

在本典型实施例中，系统控制器107执行与下面的流程图相对应的处理。然而，如果由除系统控制器107以外的组件(例如，图像处理电路104)来执行该处理的一部分或全部，也是有用的。

图3是示出由摄像设备100执行的用于对追踪对象物体进行追踪的处理的示例的主流程图。参考图3，在步骤S101中，系统控制器107确定追踪对象物体的位置和大小。

如上所述，可以自动识别追踪对象物体。可选地，用户可以通过经由电子取景器观看来指定任意区域，以确定追踪对象物体。在已经确定了追踪对象物体的位置和大小之后，处理进入步骤S102。在步骤S102中，系统控制器107执行用于基于与追踪对象区域有关的颜色信息和亮度信息来识别追踪对象物体的处理。

图4是示出图3所示的步骤S102中的用于识别追踪对象物体的处理的示例的流程图。参考图4，在步骤S201中，系统控制器107生成追踪对象区域的直方图(主直方图)。

图5示出图像和该图像的追踪对象区域中所包括的像素的示例。参考图5，图像300包括由照相机拍摄的企鹅的场景。用户可以通过触摸追踪对象区域302上的触摸面板指定图像300的一部分，以确定追踪对象区域。

追踪对象区域302对应于图5在其右部所示的由粗线矩形所包围的区域304。系统控制器107生成区域304内部和外部的像素的直方图。

这些直方图包括色相直方图和亮度直方图。根据各像素是彩色像素还是非彩色像素，对于色相直方图和亮度直方图各自取得分布。基于各像素的饱和度与其阈值的比较结果来执行关于各像素是彩色像素还是非彩色像素的判断。在本典型实施例中，系统控制器107生成追踪对象区域302中所包括的各区域以及存在于该追踪对象区域302外部的各区域的直方图。

图6A示出色相直方图(即，彩色像素的直方图)的示例。图6B示出平均色相直方图的示例。平均色相直方图表示利用色相直方图所分类的像素的平均亮度、平均饱和度和平均色相。图7A示出亮度直方图(即，非彩色像素的直方图)的示例。图7B示出平均亮度直方图的示例。平均亮度直方图表示利用亮度直方图所分类的像素的平均亮度。在色相直方图400中分类(登记)彩色像素。

系统控制器107针对存在于追踪对象区域302内部的各色相(图6A中的“色相”)，计数存在于该追踪对象区域内部(图6A中的“内部”)的像素数和存在于该追踪对象区域外部(图6A中的“外部”)的像素数。

在图6A和6B所示的示例中，系统控制器107以每40°角的分割单位(分类单位)生成色相直方图400。然而，如果分割单位根据追踪精度而改变，也是有用的。在亮度直方图440中分类(登记)非彩色像素。

系统控制器107针对存在于追踪对象区域302内部的各亮度Y，计数存在于该追踪对象区域内部(“内部”)的像素数和存在于该追踪对象区域外部(“外部”)的像素数。在图7A和7B所示的示例中，系统控制器107以40LSB为分割单位生成亮度直方图440。然而，分割单位可以根据追踪精度而改变。

在生成色相直方图400和亮度直方图440之后，系统控制器107计算追踪对象区域内部和外部的各色相的存在比率。可以通过以下表达式来计算追踪对象区域内部和外部的各色相的存在比率：

追踪对象区域内部和外部的各色相的存在比率[％]＝存在于追踪对象区域内部的像素数/存在于追踪对象区域外部的像素数。

例如，在图6A所示的示例中，存在15个具有粉色色相的像素，即追踪对象区域302内部的2个具有粉色色相的像素和追踪对象区域302外部的13个具有粉色色相的像素。因此，其存在比率为15％(＝(2/13)×100)。

然而，如果追踪对象区域内存在一个或多个像素并且如果存在于追踪对象区域外部的像素数为0，则存在比率为100％。以上述方式计算存在比率。然而，本发明不局限于此。更具体地，如果通过以下表达式计算存在比率，也是有用的：

存在比率[％]＝[存在于追踪对象区域内部的像素数/(存在于追踪对象区域内部的像素数+存在于追踪对象区域外部的像素数)]×100。

除了计算色相的分布以外，系统控制器107还按存在于追踪对象区域302内部的像素的直方图的分割单位，计算以该分割单位所分类的像素的平均亮度AveY、平均饱和度AveChroma和平均色相AveHue。

更具体地，在图6A所示的色相直方图400中，追踪对象区域302内部存在3个具有黄色色相的像素。因此，在图6B所示的平均色相直方图420中，这3个像素的平均亮度AveY为153LSB，平均饱和度AveChroma为55LSB，并且平均色相AveHue为113°。

类似地，在图7A所示的直方图440中，追踪对象区域302内部存在3个具有非彩色色相(白色色相)的像素。因此，在图7B所示的平均亮度直方图480中，这3个像素的平均亮度为210LSB。

如上所述，作为与存在于追踪对象区域302内部的彩色像素有关的信息，获取色相直方图400以及按色相直方图400所分类的平均亮度AveY、平均饱和度AveChroma和平均色相AveHue(平均色相直方图420)。另外，作为与存在于追踪对象区域302内部的非彩色像素有关的信息，获取亮度直方图440以及按亮度直方图440所分类的平均亮度AveY(平均亮度直方图480)。在以下说明中，如果需要，则将色相直方图400、平均色相直方图420、亮度直方图440和平均亮度直方图480统称为“主直方图”。

返回图4，在步骤S202中，系统控制器107生成与按主直方图的色相直方图400和亮度直方图440各自的分割单位所分类的各像素邻接的像素集合的直方图500和520。在以下说明中，如果需要，则将直方图500和520统称为“邻接直方图”。

图8A～8D和图9A～9D示意性示出要生成邻接直方图的像素的第一示例和第二示例。如图6A和6B以及图7A和7B所示，假定已经获取到8个分布，其中这8个分布包括：粉色、黄色、绿色和蓝色2这4个分布，即与追踪对象区域302内部的彩色像素有关的信息；以及黑色0、黑色1、灰色2和白色这4个分布，即与追踪对象区域302内部的非彩色像素有关的信息。图8A～8D以及图9A～9D示出具有这8个分布的各像素的邻接像素的示例。

参考图8A，由围绕2个粉色像素550和552的圆来表示与这2个粉色像素邻接的像素。在粉色像素550周围分布有包括1个蓝色2像素、1个灰色2像素、1个黑色1像素、2个粉色像素、1个白色像素和2个绿色像素总共8个像素。另外，在粉色像素552周围分布有包括1个灰色2像素、3个黑色1像素、1个黑色0像素、1个白色像素、1个绿色像素和1个粉色像素总共8个像素。

系统控制器107基于围绕粉色像素550和552的16个像素来生成直方图，其中这16个像素构成与粉色像素550和552邻接的像素集合。

类似地，在图8B所示的示例中，总共存在24个像素与3个黄色像素554、556和558邻接。在图8C所示的示例中，总共存在16个像素与2个绿色像素560和562邻接。在图8D所示的示例中，总共存在8个像素与1个蓝色2像素564邻接。

图9A～9D示出与非彩色像素邻接的像素的示例。更具体地，在图9A～9D中示出黑色0像素、黑色1像素、灰色2像素和白色像素的邻接像素。

在本典型实施例中，对于图5所示的追踪对象区域304用的主直方图，系统控制器107生成存在于追踪对象区域304内部的像素的直方图。另一方面，对于邻接像素，系统控制器107执行存在于比追踪对象区域304宽的区域中的邻接像素的识别。

利用上述结构，根据本典型实施例的系统控制器107可以获取与邻接像素有关的信息，其中，该信息包括与追踪对象物体和其背景之间的关系有关的信息。因此，本典型实施例能够获取适当的追踪结果。然而，如果对于两者参考相同的区域，也是有用的。

系统控制器107将包括图8A～8D和图9A～9D所示的与按主直方图的各分割单位所分类的各像素相邻接的像素的像素集合的直方图(邻接直方图)与主直方图相关联。此外，系统控制器107按图10和11所示的格式存储邻接直方图和主直方图。

图10示出与主直方图的色相直方图相对应的邻接直方图的示例。图11示出与主直方图的亮度直方图相对应的邻接直方图的示例。

在邻接直方图中，作为与邻接像素的分布有关的信息，系统控制器107可以从彩色(“Color”)像素提取亮度(“Y”)、饱和度(saturation)(“色度(Chroma)”)和色相(“Hue”)，并且可以获取它们各自的分布。此外，系统控制器107可以基于非彩色(“Colorless”)像素获取亮度Y的分布。

在图4的流程图所示的包括获取主直方图和邻接直方图的追踪对象物体识别处理结束之后，在步骤S103(图3)，系统控制器107执行用于判断是否可以对追踪对象物体进行追踪的处理。

图12A和12B是示出图3所示的流程图中的步骤S103中的可追踪性判断处理的示例的流程图。

参考图12A和12B，在步骤S301和S302中，系统控制器107按以上参考图4、图6A和6B以及图7A和7B所述的方式，针对存在于追踪对象区域内部或外部的像素生成包括色相直方图和亮度直方图的主直方图。

在图12A和12B所示的示例性流程图中，“aHistColorTarget[m]”表示图6A所示的色相直方图400中的各色相(“Hue”)的存在于追踪对象区域内部(“内部”)的像素数。另外，“aHistYTarget[n]”表示图7A所示的亮度直方图440中的各亮度Y的存在于追踪对象区域内部(“内部”)的像素数。此外，“aHistColorOther[m]”表示图6A所示的色相直方图400中的各色相(“Hue”)的存在于追踪对象区域外部(“外部”)的像素数。此外，“aHistYOther[n]”表示图7A所示的亮度直方图440中的各亮度Y的存在于追踪对象区域外部(“外部”)的像素数。另外，系统控制器107基于上述值，生成图6B所示的平均色相直方图和图7B所示的平均亮度直方图。

在步骤S303中，系统控制器107判断按色相直方图中所包括的分割单位像素是否分布在追踪对象区域内部。在本典型实施例中，步骤S303中使用的“aHistColorTarget[i]”表示与色相直方图400中的特定色相(“Hue”)(i)相对应的存在于追踪对象区域内部(“内部”)的像素数的值。更具体地，在步骤S303中，系统控制器107判断aHistColorTarget[i]是否大于0。

如果在追踪对象区域内部存在具有色相(i)的一个或多个像素(步骤S303中为“是”)，则处理进入步骤S304。在步骤S304中，系统控制器107针对色相(“Hue”)(i)计算追踪对象区域内部或外部的存在比率。

如以上参考图6A和7A所述，计算追踪对象区域内部或外部的色相的存在比率。更具体地，系统控制器107通过将针对色相(“Hue”)(i)的存在于追踪对象区域内部(“内部”)的像素数(aHistColorTarget[i])除以存在于追踪对象区域外部(“外部”)的像素数(aHistColorOther[i])获得的结果乘以100，来计算该存在比率。然而，如果aHistColorTarget[i]≥1并且如果aHistColorOther[i]＝0，则存在比率为100％。

在步骤S305中，系统控制器107判断存在比率是否高于作为预定色相采用条件的比率。如果判断为存在比率不高于作为预定色相采用条件的比率(步骤S305中为“否”)，则判断为与追踪对象物体的颜色相同的颜色大量存在于背景中，并且如果执行使用该颜色的追踪，则追踪的精度可能较低。因此，在步骤S306中，为了实现高追踪精度，系统控制器107判断为不采用要处理的色相Hue(i)。

另一方面，如果判断为存在比率高于作为预定色相采用条件的比率，则处理进入步骤S307。在步骤S307中，系统控制器107判断为将采用要处理的色相Hue(i)。

在步骤S308中，系统控制器107存储处理对象色相Hue(i)的“SumOKTarget”和“SumOKOther”。在本典型实施例中，“SumOKTarget”表示存在于追踪对象区域内部的像素数(“aHistColorTarget[i]”)的总数。此外，在本典型实施例中，“SumOKOther”表示存在于追踪对象区域外部的像素数(“aHistColorOther[i]”)的总数。在步骤S309中，系统控制器107针对所有的色相Hue(i)重复步骤S303～S308中的处理。

如上所述，在本典型实施例中，系统控制器107判断是否采用色相直方图的所有分割单位的色相Hue(i)。另外，系统控制器107存储所采用的像素数的总和。

此外，系统控制器107针对亮度直方图判断追踪对象区域内部和外部的像素的存在比率是否高于作为预定亮度采用条件的比率。在步骤S310～S316中，系统控制器107判断是否采用亮度直方图的分割单位的亮度Y(i)。

表示存在于追踪对象区域内部的像素的总数的“SumOKTarget”以及表示存在于追踪对象区域外部的像素的总数的“SumOKOther”分别是将具有所采用的亮度Y(i)的像素数和具有所采用的色相Hue(i)的像素数的总和相加所计算出的值。

因此，由此产生的表示存在于追踪对象区域内部的像素的总数的“SumOKTarget”是具有所采用的色相Hue(i)的像素数的总和。此外，由此产生的表示存在于追踪对象区域外部的像素的总数的“SumOKOther”是具有所采用的亮度Y(i)的像素数的总和。

在本典型实施例中，可以彼此独立地设置“色相采用条件”和“亮度采用条件”。特别地，与彩色相比，不太容易使用非彩色作为追踪对象物体的特性。因此，对于非彩色，针对亮度采用条件可以设置比色相采用条件更严格的采用条件。

另外，尽管图中未示出，然而代替设置彩色或非彩色的采用条件，如果仅针对特定颜色或亮度改变采用条件，也是有用的。另外，如果不执行步骤S303～S309中的处理或步骤S310～S316中的处理，也是有用的。

在按色相直方图和亮度直方图(主直方图)中的分割单位执行上述采用判断处理之后，处理进入步骤S317。在步骤S317中，系统控制器107确定所采用的存在于追踪对象区域内部的彩色像素或非彩色像素的比率。

更具体地，系统控制器107通过将作为所采用的存在于追踪对象区域内部的像素的总数的“SumOKTarget”除以存在于框内的像素数所计算出的值乘以100，来计算该比率。

在步骤S318中，系统控制器107判断该比率是否高于预定的框内条件。如果判断为该比率不高于预定的框内条件(步骤S318中为“否”)，则处理进入步骤S319。在步骤S319中，系统控制器107判断为尚未获取到追踪对象物体的适当特性，并且不能追踪该追踪对象物体。

另一方面，如果判断为该比率高于框内条件(步骤S318中为“是”)，则系统控制器107判断为已经获取到追踪对象物体的适当特性。然后，处理进入步骤S320。在步骤S320中，系统控制器107计算所采用的彩色像素或非彩色像素在画面内的存在比率。

更具体地，系统控制器107按以下方式计算该比率。首先，系统控制器107将作为存在于追踪对象区域内部的像素的总数的SumOKTarget与作为存在于追踪对象区域外部的像素的总数的SumOKOther相加。然后，系统控制器107将相加结果除以存在于画面内的像素数。然后，系统控制器107将相除结果乘以100。

在步骤S321中，系统控制器107判断按上述方式计算出的比率是否低于预定的整个画面条件B。如果判断为该比率不低于预定的整个画面条件B(步骤S321中为“否”)，则处理进入步骤S319。在步骤S319中，系统控制器107判断为：由于因大量要追踪的彩色像素或非彩色像素存在于位于追踪对象区域外部的背景区域中而可能导致追踪性能下降，因此不能追踪该追踪对象物体。

另一方面，如果判断为该比率低于预定的整个画面条件B(步骤S321中为“是”)，则处理进入步骤S322。在步骤S322中，系统控制器107判断为可以追踪该追踪对象物体。

如上所述，系统控制器107在包括与各颜色和亮度有关的单个属性评价处理、针对存在于追踪对象区域内部的像素的评价处理以及针对整个画面中所包括的像素的评价处理的多个阶段中，判断是否能够追踪该追踪对象物体。因此，根据本典型实施例的系统控制器107能够可靠且适当地判断是否能够对追踪对象物体进行追踪。然而，不总是需要执行步骤S320和S321中的整个画面评价。

返回图3，在步骤S104中，系统控制器107基于以上所述的可追踪性判断处理的结果判断是否能够对追踪对象区域进行追踪。如果判断为不能对追踪对象区域进行追踪(步骤S104中为“否”)，则根据图3的流程图的处理结束。另一方面，如果判断为能够对追踪对象区域进行追踪(步骤S104中为“是”)，则开始追踪循环处理。

在该追踪循环处理中，在步骤S105中，系统控制器107判断是否可以进行继续追踪。图13是示出图3所示的流程图中的步骤S105中的继续追踪可行性判断处理的示例的流程图。

参考图13，在步骤S401中，系统控制器107计算存在于画面内的图6A和7A所示的直方图所采用的彩色像素和非彩色像素的比率。更具体地，系统控制器107通过将作为图6A和7A所示的直方图中采用的彩色像素和非彩色像素的总数的“SumOKALL”除以整个画面中所包括的像素数所计算出的值乘以100，来计算该比率。在本典型实施例中，像素的总数“SumOKALL”是通过将作为存在于追踪对象区域内部的像素的总数的“SumOKTarget”与作为存在于追踪对象区域外部的像素的总数的“SumOKOther”相加所计算出的值。

在步骤S402中，系统控制器107判断该比率是否低于预定的整个画面条件C。如果判断为该比率不低于预定的整个画面条件C(步骤S402中为“否”)，则处理进入步骤S403。在步骤S403中，系统控制器107判断为：由于因大量要追踪的彩色像素或非彩色像素存在于位于追踪对象区域外部的背景区域中而可能导致追踪性能下降，因此不能对追踪对象物体进行追踪。

另一方面，如果判断为该比率低于预定的整个画面条件C(步骤S402中为“是”)，则处理进入步骤S404。在步骤S404中，系统控制器107判断为能够对追踪对象物体进行追踪。在本典型实施例中，可以将“整个画面条件C”设置为与“整个画面条件B”不同的条件，其中该整个画面条件B是作为以上参考图12B所述的步骤S321中的处理的用于判断是否能够对追踪对象物体进行追踪的最终判断条件。

通过使用比整个画面条件B更严格的整个画面条件C，根据本典型实施例的系统控制器107能够在追踪开始之后背景的状况发生改变，由此具有与追踪对象物体的色相或亮度相同的色相或亮度的像素数增加时，判断是否立即暂停追踪。

在图13所示的示例中，将条件固定为整个画面条件C。然而，如果条件根据追踪开始之后所经过的时间而逐渐改变(变严)，也是有用的。

另外，如果针对仅基于色相追踪物体、仅基于亮度追踪物体以及基于色相和亮度这两者追踪物体的各种情况，使步骤S318中使用的“框内条件”(图12B)、步骤S321中使用的“整个画面条件B”(图12B)和步骤S402中使用的“整个画面条件C”(图13)变严，也是有用的。另外，如果进一步改变仅针对特定颜色的条件和仅针对特定亮度的条件，也是有用的。

如上所述，在本典型实施例中，通过执行步骤S301和S302的处理，实现了存储单元的例子。另外，在本典型实施例中，通过执行步骤S301的处理，实现了第一直方图存储单元的例子。此外，在本典型实施例中，通过执行步骤S302的处理，实现了第二直方图存储单元的例子。

在本典型实施例中，对于彩色像素，其色相实现了预定属性的例子，而对于非彩色像素，亮度实现了预定属性的例子。另外，在本典型实施例中，通过执行步骤S304和S312的处理，实现了第一求出单元的例子。在本典型实施例中，对于彩色像素，色相采用条件实现了第一预定值的例子，而对于非彩色像素，亮度采用条件实现了第一预定值的例子。

另外，在本典型实施例中，通过执行步骤S317的处理，实现了第二求出单元的例子，而框内条件实现了第二预定值的例子。此外，通过执行步骤S320的处理和步骤S401的处理中至少一个的处理，实现了第三求出单元的例子。而且，整个画面条件B和C实现了第三预定值的例子。

返回图3，在步骤S106中，系统控制器107基于继续追踪可行性判断处理的结果，判断是否能够继续对追踪对象区域进行追踪。如果判断为不能继续对追踪对象区域进行追踪(步骤S106中为“否”)，则图3的流程图所示的处理结束。另一方面，如果判断为能够继续对追踪对象区域进行追踪(步骤S106中为“是”)，则处理进入步骤S107。在步骤S107中，系统控制器107执行追踪对象物体检测处理。

图14是示出图3所示的流程图中的步骤S107中的追踪对象物体检测处理的示例的流程图。可以在整个画面上或仅在该画面内的任意区域上执行追踪对象物体检测处理。然而，在本典型实施例中，假定在整个画面上执行追踪对象物体检测处理。

图15示意性示出用于通过执行追踪对象物体检测处理来对追踪对象区域进行追踪的方法的示例。在画面内对追踪对象物体进行追踪时可以设置各种起点、方向或顺序。然而，在本典型实施例中，假定如图15所示，从画面的左上部分开始水平地执行追踪对象物体的追踪。然后，对下面的行顺次执行追踪。

参考图14，在步骤S501中，系统控制器107判断要处理的像素(要评价的像素)与分布在直方图中的像素是否匹配。更具体地，在步骤S501中，系统控制器107判断要处理的像素是否是作为存在于追踪对象区域内部的像素的、图6A和7A所示的主直方图中所存储的彩色像素或非彩色像素。另外，在步骤S501中，系统控制器107判断要处理的像素是否具有已存储在图6B和7B所示的平均直方图中的、落入该平均直方图的预定范围内的平均亮度、平均饱和度或平均色相。

如果判断为要处理的像素与分布在主直方图中的像素不匹配(步骤S501中为“否”)，则处理进入步骤S506。另一方面，如果判断为要处理的像素与分布在主直方图中的像素匹配(步骤S501中为“是”)，则处理进入步骤S502。在步骤S502中，系统控制器107对该像素的位置分配额定点数(rating point)。

图16A～16D示意性示出用于对要搜索的像素分配额定点数以检测追踪对象物体的方法的示例。参考图16A，如果要处理的像素(处理对象像素)650与主直方图中的彩色匹配，则系统控制器107对处理对象像素650分配1个额定点数。

另一方面，如图16B所示，如果处理对象像素660与主直方图中的非彩色匹配，则系统控制器107对处理对象像素660分配0个点数(不对处理对象像素660分配额定点数)。

可选地，采用以下结构也是有用的。更具体地，在这种情况下，如果处理对象像素650与主直方图中的彩色匹配，则系统控制器107对处理对象像素650分配2个额定点数。另一方面，在这种情况下，如果处理对象像素650与主直方图中的非彩色匹配，则系统控制器107分配1个点数，该点数是比在彩色的情况下分配的额定点数小的额定点数。

在步骤S503中，系统控制器107判断处理对象像素的邻接像素与分布在邻接直方图中的像素是否匹配。更具体地，对于与主直方图匹配的像素，系统控制器107判断存在于处理对象像素610周围的8个像素与图10和11所示的邻接直方图是否匹配。

如果判断为处理对象像素的邻接像素与分布在邻接直方图中的像素不匹配(步骤S503中为“否”)，则处理进入步骤S505。另一方面，如果判断为处理对象像素的邻接像素与分布在邻接直方图中的像素匹配(步骤S503中为“是”)，则处理进入步骤S504。在步骤S504中，系统控制器107对该像素的位置分配额定点数。

更具体地，如图16C所示，如果分布在邻接直方图中且具有与同主直方图中的彩色相匹配的彩色像素的色相不同的色相的彩色像素652与该同主直方图中的彩色相匹配的彩色像素相邻接，则系统控制器107分配5个点数。

另一方面，如图16C所示，如果分布在邻接直方图中且具有与同主直方图中的彩色相匹配的彩色像素的色相相同的色相的彩色像素654与该同主直方图中的彩色相匹配的彩色像素相邻接，则系统控制器107分配4个点数。

此外，如图16C所示，如果分布在邻接直方图中的非彩色像素656与同主直方图中的彩色相匹配的彩色像素相邻接，则系统控制器107分配3个点数。

另一方面，如图16D所示，如果分布在邻接直方图中的彩色像素662与同主直方图中的非彩色相匹配的非彩色像素相邻接，则系统控制器107分配3个点数。

此外，如图16D所示，如果具有与同主直方图中的非彩色相匹配的非彩色像素的亮度不同的亮度的非彩色像素664与该同主直方图中的非彩色相匹配的非彩色像素相邻接，则系统控制器107分配2个点数。另一方面，如图16D所示，如果具有与同主直方图中的非彩色相匹配的非彩色像素的亮度相同的亮度的非彩色像素666与该同主直方图中的非彩色相匹配的非彩色像素相邻接，则系统控制器107分配2个点数。

在判断处理对象像素的邻接像素是否与分布在图10和11所示的邻接直方图中的任一像素相匹配时，如果该邻接像素是彩色像素，则如果仅基于色相来执行判断，也是有用的。可选地，在这种情况下，如果基于所有的色相、饱和度(“色度”)和亮度Y来执行判断，也是有用的。

在图16A～16D所示的例子中，要分配的额定点数根据处理对象像素和与该处理对象像素邻接的像素的组合而改变。然而，如果在上述所有情况下分配相同的额定点数，也是有用的。此外，如果分配与上述额定点数不同的额定点数，也是有用的。

如以上参考图15以及图16A～16D所述，在本典型实施例中，系统控制器107评价存在于画面内的要处理的像素和与该像素邻接的像素之间的关系。另外，系统控制器107判断处理对象像素和主直方图之间的匹配状况以及邻接像素和邻接直方图之间的匹配状况。如果判断为它们彼此相匹配，则系统控制器107对所评价的像素的位置分配额定点数。在步骤S505中，系统控制器107判断是否已对所有的邻接像素完全执行了上述处理。

如果判断为已对所有的邻接像素完全执行了上述处理(步骤S505中为“是”)，则处理进入步骤S506。在步骤S506中，系统控制器107通过使用所分配的额定点数以及主直方图的各分割单位的平均亮度、平均饱和度和平均色相，对所评价的像素的各位置计算评价值，其中已按以上参考图6B和7B所述的方式存储了平均亮度、平均饱和度和平均色相。

更具体地，如果所评价的像素为彩色像素，则系统控制器107使用以下表达式(1)来计算评价值，而如果所评价的像素是非彩色像素，则系统控制器107使用以下表达式(2)来计算评价值：

$\mathrm{EvaColor}=\mathrm{\Σ}\frac{\mathrm{Point}\×\left[K0\right]}{\mathrm{\ΔHue}(x,y)\×\left[K1\right]+\mathrm{\ΔChroma}(x,y)\×\left[K2\right]+\mathrm{\Δ}\mathrm{Dis}\tan \mathrm{ce}(x,y)\×\left[K3\right]}---\left(1\right)$

$\mathrm{EvaY}=\mathrm{\Σ}\frac{\mathrm{Point}\×\left[K0\right]}{\mathrm{\ΔY}(x,y)\×\left[K4\right]+\mathrm{\Δ}\mathrm{Dis}\tan \mathrm{ce}(x,y)\×\left[K3\right]}.---\left(2\right)$

其中，“ΔHue”表示所评价的像素的色相与已存储在图6B和7B所示的平均直方图中的平均色相之间的差，“ΔChroma”表示所评价的像素的饱和度与先前存储在图6B和7B所示的平均直方图中的平均饱和度之间的差，“ΔY”表示所评价的像素的亮度与先前存储在图6B和7B所示的平均直方图中的平均亮度之间的差，并且“ΔDistance”表示如下框的位置与所评价的像素的位置之间的距离，其中该框表示由显示装置105所显示的追踪对象物体的位置。如果检测追踪对象物体的精度极高，则距离“ΔDistance”是不必要的，或者“ΔDistance”可以非常小。

然而，如果所评价的像素周围存在大量具有类似色相或亮度的像素，则可以通过将特定距离系数添加至表达式(1)和(2)的项来抑制由于检测追踪对象物体的低精度而可能发生的框的显示的猎振(hunting)现象。

在表达式(1)和(2)中，将不同的单位系的项彼此相加。因此，为了保持它们之间的平衡，使用系数“K0”～“K4”。可选地，为了简化处理，如果使用常数作为表达式(1)和(2)各自的分母，也是有用的。这是因为：如果步骤S501中的判断的标准被设置得严格，则表达式(1)和(2)各自的分母中的“ΔHue”和“ΔChroma”的值的变化范围变小。

在步骤S507中，系统控制器107判断是否已经完成对存在于画面内的所有像素的评价值的计算。如果判断为尚未完成对存在于画面内的所有像素的评价值的计算(步骤S507中为“否”)，则处理返回至步骤S501。另一方面，如果判断为已经完成对存在于画面内的所有像素的评价值的计算(步骤S507中为“是”)，则处理进入步骤S508。

在步骤S508中，系统控制器107使用计算出的评价值来识别追踪对象物体的位置。更具体地，如果系统控制器107搜索计算出的评价值达到其以像素为单位的峰值的位置，并将该位置设置为追踪对象物体的位置，也是有用的。另外，如果系统控制器107搜索具有比预定值高的评价值的像素的集合的位置，并将这些像素的集合的位置设置为追踪对象物体的位置，也是有用的。

然而，如果不能确定出该评价值达到特定值的位置，即如果通过使用计算出的评价值不能识别出追踪对象物体的位置，则系统控制器107不识别追踪对象物体的位置。

如果已经识别出追踪对象物体的位置，则系统控制器107根据识别出的追踪对象物体的位置来确定用于显示框的位置。如果尚未识别出追踪对象物体的位置，则系统控制器107不确定用于显示框的位置。

图17示出评价值的计算结果的示例。在图17所示的示例中，示出了在图像已从图2A所示的图像变为图2B所示的图像的情况下图2B所示的图像的评价值。

在图17所示的示例中，纵轴和横轴分别表示图2B所示的图像在垂直方向上的坐标和该图像在水平方向上的坐标。垂直于与这两轴平行的平面的另一轴表示各坐标处的评价值。

在图2A所示的例子中，示出了确定追踪对象物体时的图像。系统控制器107将区域202内的部分识别为追踪对象区域。另外，系统控制器107生成该追踪对象区域的主直方图和邻接直方图。

在图2B所示的示例中，示出了追踪对象区域已经移动之后的图像。在该状态下计算出的评价值具有图17所示的分布。结果，系统控制器107可以在具有高评价值612的区域中显示表示追踪对象区域的框。

在本典型实施例中，在图17所示的示例中，存在具有不同于评价值612的高评价值620、622和624的多个区域。

假定表示当前所显示的追踪对象区域的框存在于具有评价值620的位置处。评价值620低于评价值612。此外，具有评价值620的像素的位置离具有评价值612的像素较近。因此，可能已将框显示在该追踪对象物体上。

因此，在这种情况下，如果系统控制器107不改变显示该框的位置，也是有用的。更具体地，代替将位置改变为评价值612的位置，如果将该框显示在评价值620的位置处，也是有用的。

返回图3，在步骤S108中，系统控制器107判断作为图14所示的步骤S508的处理结果，是否已经检测到追踪对象区域。如果判断为已经检测到追踪对象区域(步骤S108中为“是”)，则处理进入步骤S109。在步骤S109中，系统控制器107在图14中的步骤S509中确定的框显示位置处显示框。然后，处理返回至步骤S105。

另一方面，如果没有检测到追踪对象区域(步骤S108中为“否”)，则处理进入步骤S110。在步骤S110中，系统控制器107判断是否已发生超时(即，自判断为没有检测到追踪对象区域的时刻起是否已经过预定时间)。

如果判断为已发生超时(步骤S110中为“是”)，则结束图3的流程图所示的处理。另一方面，如果判断为没有发生超时(步骤S110中为“否”)，则处理返回至步骤S105。

如上所述，对于彩色像素，根据本典型实施例的系统控制器107按以上参考图6A所述的色相直方图的分割单位，计算存在于追踪对象区域内部的像素与存在于追踪对象区域外部的像素的数量的存在比率。

类似地，对于非彩色像素，根据本典型实施例的系统控制器107按以上参考图7A所述的亮度直方图的分割单位，计算存在于追踪对象区域内部的像素与存在于追踪对象区域外部的像素的数量的存在比率。

如果该存在比率高于阈值，则系统控制器107采用属于色相直方图和亮度直方图的分割单位的像素。如果所采用的存在于追踪对象区域内部的像素的总数与存在于同追踪对象区域相对应的框内的像素的数量的存在比率小于阈值，则根据本典型实施例的系统控制器107判断为不能追踪该追踪对象区域。

另一方面，如果所采用的存在于追踪对象区域内部的像素的总数与存在于同追踪对象区域相对应的框内的像素的数量的存在比率大于阈值，则根据本典型实施例的系统控制器107判断像素的总数与整个画面所包括的像素的数量的所采用的存在比率是否小于阈值。

如果判断为像素的总数与整个画面所包括的像素的数量的所采用的存在比率小于阈值，则系统控制器107判断为可以追踪该追踪对象区域。另一方面，如果判断为像素的总数与整个画面所包括的像素的数量的所采用的存在比率不小于阈值，则系统控制器107判断为不能追踪该追踪对象区域。

因此，本典型实施例可以基于对是否可以追踪追踪对象区域的适当判断的结果，执行对追踪对象区域的追踪。利用上述结构，本典型实施例可以降低错误追踪追踪对象区域的概率。

另外，即使当在图像的背景中存在具有与追踪对象区域中所包括的像素的属性相类似的属性的像素时，具有上述结构的本典型实施例也能够适当地判断是否可以追踪追踪对象区域，以提高追踪性能。

此外，利用上述结构，由于判断是否可以追踪追踪对象区域所使用的存储容量小，因而本典型实施例能够在非常短的时间段内判断是否可以追踪追踪对象区域。

下面，将详细说明本发明第二典型实施例。在本典型实施例中，如果可以利用帧间差分法，则通过帧间差分法来对追踪对象物体进行追踪。另一方面，在本典型实施例中，如果不能利用帧间差分法进行追踪，则按与以上在第一典型实施例中所述的方式类似的方式来对追踪对象物体进行追踪。

换句话说，本典型实施例与上述第一典型实施例的不同点在于：本典型实施例使用帧间差分法。利用与以上参考图1～17所述的第一典型实施例的附图标记或符号相同的附图标记或符号来设置与第一典型实施例的组件相同的本典型实施例的组件。因此，这里将不重复对这些组件的说明。

图18是示出由根据本典型实施例的摄像设备所执行的用于对追踪对象物体进行追踪的处理的示例的主流程图。

参考图18，在步骤S1001中，系统控制器107确定追踪对象物体的位置和大小。在步骤S1002中，系统控制器107执行追踪对象物体识别处理。在步骤S1003中，系统控制器107执行可追踪性判断处理。在步骤S1001～S1003中，系统控制器107执行与图3的流程图所示的步骤S101～S103中的处理相同的处理。

在步骤S1004中，系统控制器107通过使用帧间相对差分法对追踪对象区域进行追踪。在帧间相对差分法期间，系统控制器107使用存在于所指定的追踪位置处的图像数据作为模板图像，并从随后的图像帧中搜索要进行模式匹配的区域。

另外，系统控制器107将存在于被检测为要进行模式匹配的区域的位置处的图像数据更新为模板图像。此外，系统控制器107继续从随后的帧图像中搜索要进行模式匹配的区域。

如上所述，在本典型实施例中，系统控制器107在顺次更新模板图像的同时，继续从随后的帧图像对追踪对象物体进行追踪。当使用帧间相对差分法时，不能执行模式匹配，并且在一些情况下判断为不能对追踪对象物体进行追踪。

因此，在步骤S1005中，系统控制器107判断是否能够利用帧间相对差分法进行追踪。更具体地，如果追踪对象物体的方位由于其转动已突然改变，或者如果追踪设备自身在垂直方向或水平方向上的姿势已改变，并且如果由于这些原因而导致不能执行模式匹配，则不能利用帧间相对差分法进行追踪。

如果判断为能够利用帧间相对差分法进行追踪(步骤S1005中为“是”)，则处理返回至步骤S1004，并且系统控制器107继续通过帧间相对差分法对追踪对象物体进行追踪。另一方面，如果判断为不能利用帧间相对差分法进行追踪(步骤S1005中为“否”)，则处理进入步骤S1006。

在这种情况下，在步骤S1006中，系统控制器107执行继续追踪可行性判断处理。在步骤S1007中，系统控制器107判断是否能够继续对追踪对象物体进行追踪。在步骤S1008中，系统控制器107执行追踪对象物体检测处理。更具体地，在步骤S1009中，系统控制器107判断是否已经检测到追踪对象物体。

如果判断为已经检测到追踪对象物体(步骤S1009中为“是”)，则处理进入步骤S1010。在步骤S1010中，系统控制器107将框显示在框显示位置处。然后，处理返回至步骤S1004。

在步骤S1004中，系统控制器107从在步骤S1008中检测到的追踪对象区域起，重新开始通过帧间相对差分法对追踪对象物体进行追踪。另一方面，如果尚未检测到追踪对象区域，则处理进入步骤S1011。在步骤S1011中，系统控制器107判断是否已发生超时。如果判断为已发生超时(步骤S1011中为“是”)，则结束根据图18的流程图的处理。另一方面，如果判断为尚未发生超时(步骤S1011中为“否”)，则处理返回至步骤S1006。

步骤S1006～S1011中的处理与图3的流程图所示的步骤S105～S110中的处理相同。

如上所述，在根据图18所示的流程图的处理中，没有同时执行利用帧间相对差分法的追踪和以上在第一典型实施例中所述的追踪。然而，本发明不局限于此。更具体地，如果将这两个处理彼此并行地同时执行，也是有用的。在这种情况下，系统控制器107判断哪个处理的精度高，并且使用精度较高的处理的结果来执行对追踪对象物体的追踪。另外，代替帧间相对差分法，如果使用诸如以上在背景技术中所述的方法等的任意其它追踪方法，也是有用的。

此外，还可以通过向系统或装置提供存储有用于实现各实施例的功能的软件的程序代码的存储介质(或记录介质)并通过利用该系统或装置的计算机(CPU或MPU)读取并执行该存储介质中所存储的程序代码，来实现本发明。在这种情况下，从存储介质读取的程序代码自身实现了上述各实施例的功能。另外，可以将实现本发明典型实施例的程序存储在计算机可读存储介质上。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (14)

1.一种图像处理设备，包括：

存储单元，用于根据预定属性对存在于设置在图像上的追踪对象区域的内部的像素和存在于所述追踪对象区域的外部的像素进行分类，并将所述像素的分类结果存储在存储介质上；

第一求出单元，用于求出存在于所述追踪对象区域的内部且具有所述预定属性的像素与存在于所述追踪对象区域的外部且具有所述预定属性的像素的第一比率；

第二求出单元，用于求出存在于所述追踪对象区域的内部的像素中由所述第一求出单元所求出的第一比率高于第一预定值的像素与存在于所述追踪对象区域的内部的所有像素的第二比率；以及

判断单元，用于如果由所述第二求出单元所求出的第二比率高于第二预定值，则判断为能够追踪所述追踪对象区域。

2.根据权利要求1所述的图像处理设备，其特征在于，所述存储单元包括：

第一直方图存储单元，用于生成作为存在于所述追踪对象区域的内部的各像素的直方图的、根据预定属性的预定单位分类得到的直方图，并且将该直方图存储在所述存储介质上；以及

第二直方图存储单元，用于生成作为存在于所述追踪对象区域的外部的各像素的直方图的、根据所述预定单位分类得到的直方图，并且将该直方图存储在所述存储介质上，

其中，按各分类单位求出所述第一比率。

3.根据权利要求1所述的图像处理设备，其特征在于，还包括第三求出单元，所述第三求出单元用于求出具有同所述第一比率高于所述第一预定值的像素的属性相同的属性的像素与所述图像的所有像素的第三比率，

其中，如果所述第二比率高于第二预定值，并且所述第三比率小于第三预定值，则所述判断单元判断为能够追踪所述追踪对象区域。

4.根据权利要求1所述的图像处理设备，其特征在于，预定属性包括色相和亮度中的至少一个。

5.根据权利要求4所述的图像处理设备，其特征在于，所述第一预定值根据所述预定属性是仅包括色相还是仅包括亮度而不同。

6.根据权利要求3所述的图像处理设备，其特征在于，所述第三预定值根据所述预定属性是仅包括色相、仅包括亮度还是包括色相和亮度这两者而不同。

7.根据权利要求3所述的图像处理设备，其特征在于，所述第三预定值根据从开始追踪所述追踪对象区域起经过的时间而不同。

8.一种图像处理方法，包括：

根据预定属性对存在于设置在图像上的追踪对象区域的内部的像素和存在于所述追踪对象区域的外部的像素进行分类，并将所述像素的分类结果存储在存储介质上；

求出存在于所述追踪对象区域的内部且具有所述预定属性的像素与存在于所述追踪对象区域的外部且具有所述预定属性的像素的第一比率；

求出存在于所述追踪对象区域的内部的像素中所述第一比率高于第一预定值的像素与存在于所述追踪对象区域的内部的所有像素的第二比率；以及

如果所述第二比率高于第二预定值，则判断为能够追踪所述追踪对象区域。

9.根据权利要求8所述的图像处理方法，其特征在于，还包括：

生成作为存在于所述追踪对象区域的内部的各像素的直方图的、根据预定属性的预定单位分类得到的直方图，并且将该直方图存储在所述存储介质上；以及

生成作为存在于所述追踪对象区域的外部的各像素的直方图的、根据所述预定单位分类得到的直方图，并且将该直方图存储在所述存储介质上，

其中，按各分类单位求出所述第一比率。

10.根据权利要求8所述的图像处理方法，其特征在于，还包括：

求出具有同所述第一比率高于所述第一预定值的像素的属性相同的属性的像素与所述图像的所有像素的第三比率；以及

如果所述第二比率高于第二预定值，并且所述第三比率小于第三预定值，则判断为能够追踪所述追踪对象区域。

11.根据权利要求8所述的图像处理方法，其特征在于，预定属性包括色相和亮度中的至少一个。

12.根据权利要求11所述的图像处理方法，其特征在于，所述第一预定值根据所述预定属性是仅包括色相还是仅包括亮度而不同。

13.根据权利要求10所述的图像处理方法，其特征在于，所述第三预定值根据所述预定属性是仅包括色相、仅包括亮度还是包括色相和亮度这两者而不同。

14.根据权利要求10所述的图像处理方法，其特征在于，所述第三预定值根据从开始追踪所述追踪对象区域起经过的时间而不同。

Images