CN101986691B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及一种图像处理设备和图像处理方法。该图像处理设备存储从图像数据的追踪区域中提取出的亮度信号和颜色信号，并确定与所存储的亮度信号的相关度，由此提取出其它图像数据中指定被摄体存在的区域，从而使用所提取的区域的位置信息来更新追踪区域。如果从亮度信号未能获得充分的相关度，则该图像处理设备进行与所存储的颜色信号的比较，以判断指定被摄体是否丢失。每当更新追踪区域时，该图像处理设备更新亮度信号，但是即使更新追踪区域也不更新颜色信号，或者以比更新亮度信号的周期长的周期来更新颜色信号。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种用于追踪图像中的指定被摄体的功能。

背景技术

一些数字照相机、摄像机或将照相机可通信地连接至计算机的监视照相机系统具有用于通过连续检测动画中的指定被摄体来追踪图像中的指定被摄体的功能。

例如，日本特开平04-170870号公报讨论了如下结构：从帧图像中指定要追踪的被摄体，存储该被摄体的区域的亮度信号，并且从其它帧图像中提取与所存储的亮度信号最相似的区域，从而追踪该被摄体。

图7A和7B是示出用于使用被摄体的区域的亮度信号追踪该被摄体的方法的示意图。图7A示出数字照相机所拍摄的动画中的帧图像。假设将向右看的人物的面部指定为要追踪的被摄体。将表示要追踪的被摄体的追踪框显示在数字照相机的监视器上，其中叠加在图像上的追踪框包围该人物的面部。

数字照相机存储由追踪框所包围的要追踪的被摄体区域中各个像素的亮度信号。之后，在帧图像中，设置与要追踪的被摄体区域大小相等的比较区域，并且获得要追踪的被摄体区域中的像素和比较区域中的像素之间的亮度信号的差的总和。顺次移位比较区域的位置，并获得各位置时亮度信号的差的总和，以检测差的总和最小的比较区域的位置。

在其它帧图像中，将亮度信号的图案(形状)与帧图像中要追踪的被摄体区域的亮度信号的图案最相似的区域判断为存在与要追踪的被摄体相同的被摄体的区域，并且更新追踪框。

图7B示出更新的状态。在图7B中，更新追踪框的位置，以使得该追踪框中的亮度信号存在于亮度信号的图案与图7A的追踪框中的区域的亮度信号的图案最相关的区域中。将所存储的亮度信号的图案更新为新设置的追踪框中的亮度信号的图案。重复该操作，以追踪动画中的指定被摄体。

图8A～8C是示出在用于使用被摄体区域的亮度信号追踪被摄体的方法中要解决的问题的示意图。

在图8A所示的帧图像中，将人物的面部指定为要追踪的被摄体。在图8B所示的帧图像中，作为要追踪的被摄体的人物的面部位于作为障碍物的树的后面。在图8B所示的帧图像中，如果检测到与图8A所示的追踪框中的区域的亮度信号的图案最相关的区域并将该区域设置为新的追踪框，则面部的一部分和作为障碍物的树的一部分包括在新的追踪框的区域内。在图8C所示的帧图像中，选择存在作为障碍物的树的一部分的区域作为与追踪框中的亮度信号的图案高度相关的区域。在随后的帧图像中，可能继续追踪该树。

为了避免该问题，即使在亮度信号的图案与所存储的追踪框中的区域的亮度信号的图案最相关的区域中，如果相关度(correlation)不大于预定值，则也判断为要追踪的被摄体丢失并且停止追踪。换句话说，在图8B所示的帧图像中，检测到亮度信号的图案与图8A所示的帧图像的追踪框中的亮度信号的图案最相关的区域。然而，由于判断为相关度没有达到预定值，因此在图8C所示的帧图像中删除追踪框。由此，如果在追踪过程中将不同的被摄体设置为要追踪的被摄体，则可以停止追踪。

这种用于停止追踪的处理引起了其它问题。当使用亮度信号的图案之间的相关度进行追踪时，被摄体的方向的变化或被摄体的姿势的变化暂时且极大地改变亮度信号的图案之间的相关度。

图9A～9D示出上述这种变化。图9A～9D是示出在用于使用被摄体的区域的亮度信号追踪该被摄体的方法中要解决的另一问题的示意图。

在图9A所示的帧图像中，将人物的面部指定为要追踪的被摄体。在图9B所示的帧图像中，该人物转向其它侧，以隐藏向右看的人物的面部，这使得仅出现该人物的头部的背面。在图9C所示的帧图像中，该人物转向左侧，以隐藏头部的背面，这使得出现向左看的人物的面部。在图9A～9C所示的帧图像中，作为要追踪的被摄体的人物仅改变其方向。然而，亮度信号的图案之间的相关度在该期间没有达到预定值，因此可能在图9C和9D所示的帧图像中删除追踪框。

因此，难以得出亮度信号之间的相关度降低的原因是由于追踪了不同的被摄体还是仅由于要追踪的被摄体的方向发生了变化。

在代替亮度信号使用色度(chroma)信号或色相(hue)信号等的颜色信号而基于图案之间的相关度进行追踪的情况下，存在同样的困难。

发明内容

根据本发明的一方面，提供一种图像处理设备，用于通过根据包括多个图像数据的动画检测被摄体的追踪区域来进行追踪，所述图像处理设备包括：设置单元，用于设置图像数据中的所述追踪区域；存储单元，用于存储从所述追踪区域中提取出的第一信号和第二信号；以及检测单元，用于从所述图像数据中提取具有与所述第一信号之间的差最小的信号的区域，并利用所提取的区域来更新所述追踪区域；其中，如果所述检测单元从所述图像数据中未能提取出具有与所述第一信号之间的差小于阈值的信号的区域，则所述检测单元判断是否能提取出具有与存储在所述存储单元中的所述第二信号之间的差小于阈值的信号的区域，如果未能提取出该区域，则所述检测单元复位所述追踪区域，如果能够提取出该区域，则所述检测单元继续更新所述追踪区域，以及当更新所述追踪区域时，所述存储单元更新所述第一信号。

根据本发明的另一方面，提供一种图像处理设备，用于通过根据包括多个图像数据的动画检测被摄体的追踪区域来进行追踪，所述图像处理设备包括：设置单元，用于设置图像数据中的所述追踪区域；存储单元，用于存储从所述图像数据中的所述追踪区域中提取出的第一信号和第二信号；以及检测单元，用于从所述图像数据中提取具有与所述第一信号之间的差最小的信号的区域，并利用所提取的区域来更新所述追踪区域；其中，如果所述检测单元从所述图像数据中未能提取出具有与所述第一信号之间的差小于阈值的信号的区域，则所述检测单元判断从所述图像数据中是否能提取出具有与所述第二信号之间的差小于阈值的信号的区域，如果未能提取出该区域，则所述检测单元复位所述追踪区域，如果能够提取出该区域，则所述检测单元继续更新所述追踪区域，以及在继续更新所述追踪区域期间，所述第二信号的更新周期长于所述第一信号的更新周期。

根据本发明的另一方面，提供一种图像处理方法，用于通过根据包括多个图像数据的动画检测被摄体的追踪区域来进行追踪，所述图像处理方法包括以下步骤：设置图像数据中的所述追踪区域；存储从所述追踪区域中提取出的第一信号和第二信号；从所述图像数据中提取具有与所述第一信号之间的差最小的信号的区域，并利用所提取的区域来更新所述追踪区域；如果从所述图像数据中未能提取出具有与所述第一信号之间的差小于阈值的信号的区域，则判断从所述图像数据中是否能提取出具有与所述第二信号之间的差小于阈值的信号的区域，如果未能提取出该区域，则复位所述追踪区域，如果能够提取出该区域，则继续更新所述追踪区域；以及当更新所述追踪区域时，更新所述第一信号。

根据本发明的又一方面，提供一种图像处理方法，用于通过根据包括多个图像数据的动画检测被摄体的追踪区域来进行追踪，所述图像处理方法包括以下步骤：设置图像数据中的所述追踪区域；存储从所述追踪区域中提取出的第一信号和第二信号；从所述图像数据中提取具有与所述第一信号之间的差最小的信号的区域，并利用所提取的区域来更新所述追踪区域；如果从所述图像数据中未能提取出具有与所述第一信号之间的差小于阈值的信号的区域，则判断从所述图像数据中是否能提取出具有与所述第二信号之间的差小于阈值的信号的区域，如果未能提取出该区域，则复位所述追踪区域，如果能够提取出该区域，则继续更新所述追踪区域；以及在继续更新所述追踪区域期间，以比更新所述第一信号的周期长的周期来更新所述第二信号。

通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将变得明显。

附图说明

包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。

图1是示出根据本发明第一典型实施例的数字照相机的结构的框图。

图2A和2B示出表示根据第一典型实施例的数字照相机的追踪判断处理的流程图。

图3是示出根据第一典型实施例的被摄体信息存储单元中所存储的初始色相信号的表。

图4A是示出设置在第一图像数据中的追踪区域以及该追踪区域的各像素的亮度信号的值的示意图。图4B是示出设置在第二图像数据中的比较区域以及该比较区域的各像素的亮度信号的值的示意图。

图5A是示出从画面左侧向右看的要追踪的人物的示意图。图5B是示出向右移动的要追踪的人物的示意图。图5C是示出转向其它侧的要追踪的人物的示意图。图5D是示出向左看的要追踪的人物的示意图。图5E是示出向左移动的要追踪的人物的示意图。

图6A和6B示出表示根据本发明第二典型实施例的数字照相机的追踪判断处理的流程图。

图7A是示出从画面左侧向右看的要追踪的人物的示意图。图7B是示出向右移动的要追踪的人物的示意图。

图8A是示出从画面左侧向右看的要追踪的人物的示意图。图8B是示出位于树后面的要追踪的人物的示意图。图8C是示出从树后面出现的要追踪的人物的示意图。

图9A是示出从画面左侧向右看的要追踪的人物的示意图。图9B是示出向右移动并转向其它侧的要追踪的人物的示意图。图9C是示出向左看的要追踪的人物的示意图。图9D是示出向左移动的要追踪的人物的示意图。

具体实施方式

以下将参考附图详细说明本发明的各种典型实施例、特征和方面。

在本发明的第一典型实施例中，作为具有用于追踪动画中的指定被摄体的功能的图像处理设备，下面以作为摄像设备的数字照相机为例进行说明。本发明还可以应用于诸如数字摄像机或监视照相机系统等的摄像设备或诸如可通信地连接至多个照相机的服务器用计算机等的计算设备。换句话说，本发明可以应用于用作具有追踪动画中的指定被摄体的功能的图像处理设备的设备。

图1是示出根据本发明第一典型实施例的数字照相机的结构的框图。

操作单元101包括由数字照相机的操作者进行操作以向数字照相机输入各种指令的开关和按钮。操作单元101还包括快门开关和触摸传感器(由此可以通过触摸显示单元107的屏幕来进行操作)。操作者可以使用触摸传感器来指定要追踪的被摄体的位置。将与通过触摸传感器所指定的被摄体的位置有关的信息经由控制单元102传送至被摄体位置设置单元115。不必说，可以通过触摸传感器以外的操作单元来指定要追踪的被摄体。可以自动选择距离最短的被摄体或运动中的被摄体作为要追踪的被摄体。

控制单元102控制整个数字照相机的动作，并根据来自操作单元101的指令控制各单元。

图像传感器103是用于将所接收到的被摄体图像转换为与曝光量相对应的电荷的光电转换元件。使用电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器作为光电转换元件。

A/D转换单元104对从图像传感器103输出的模拟信号进行诸如采样、增益调整、以及A/D转换等的处理，并输出处理后的信号作为数字信号的图像数据。

图像处理单元105对从A/D转换单元104输出的数字信号的图像数据进行各种类型的图像处理，并输出包括处理后的亮度信号和色差信号的图像数据。各种类型的图像处理包括白平衡处理、色像差(chromatic aberration)校正处理、伪色(false color)抑制处理、失真像差(distortion aberration)校正处理、边缘增强处理或噪声降低处理。

在开始追踪时，被摄体检测单元106基于操作单元101输出至被摄体位置设置单元115的位置信息，从图像确定要追踪的被摄体的位置以及该被摄体所占据的区域。例如，被摄体检测单元106设置以操作单元101所指定的坐标为中心的矩形区域，并且扩展该矩形区域，直到根据该区域中的图像数据所计算出的对比度值超过预定值为止。当根据该区域中的图像数据所计算出的对比度值超过预定值时，将此时的矩形区域的位置和范围设置为追踪区域。可选地，如果被摄体检测单元106具有面部检测功能并且操作单元101所指定的坐标与人物的面部重叠或处于面部的附近，则可以将该面部所占据的区域设置为追踪区域。

在开始追踪之后，被摄体检测单元106获取从图像处理单元105输出的图像数据，并且参考从前一帧的图像数据所提取出的追踪区域的亮度信号，来检测要追踪的被摄体在新的图像数据中的位置。具体地，被摄体检测单元106从新的图像数据中提取与先前所存储的追踪区域的亮度信号的图案最相关的区域。将所提取的区域设置为新的追踪区域，以更新追踪区域的位置和范围，并且更新存储在被摄体信息存储单元116中的亮度信号的图案的信息。被摄体检测单元106根据在开始追踪时所确定出的追踪区域中的图像数据，确定色相信号。

被摄体位置设置单元115接收与操作者使用操作单元101中的触摸传感器所指定的被摄体的位置以及来自被摄体检测单元106的追踪区域的位置和范围有关的信息。被摄体位置设置单元115向显示单元107通知该信息。

被摄体信息存储单元116存储开始追踪时由被摄体检测单元106确定出的追踪区域中的色相信号，作为初始色相信号。此外，被摄体信息存储单元116存储开始追踪时确定出的追踪区域中的亮度信号，并且每当更新追踪区域时，将该亮度信号更新为根据更新后的追踪区域确定出的亮度信号。

显示单元107包括液晶屏，并使用图像处理单元105处理后的图像数据来显示动画。显示单元107显示包围追踪区域的追踪框以表明被摄体位置设置单元115向显示单元107通知的追踪区域的位置和范围，其中，该追踪框叠加在动画上。

自动调焦(AF)处理单元108根据控制单元102从图像处理单元105输出的图像数据所获得的AF评价值来调整透镜108a的位置，以改变入射在图像传感器103上的被摄体图像的图像形成位置。

自动曝光(AE)处理单元109根据控制单元102从图像处理单元105输出的图像数据所获得的被摄体亮度来调整光圈机构109a的光圈直径，以改变入射在图像传感器103上的光量。

格式转换单元112将图像处理单元105输出的数字信号的图像数据的格式转换为JPEG等的格式，并将转换后的图像数据输出至图像存储单元113。

图像存储单元113将从格式转换单元112输出的其格式被转换为其它格式的图像数据存储至数字照相机的存储器(未示出)或插入该数字照相机的外部存储器中。

以下说明数字照相机的动作。

图2A和2B示出表示根据本典型实施例的数字照相机的追踪判断处理的流程图。

数字照相机的操作者在接通包括在操作单元101中的电源开关时，使控制单元102检测该接通并向数字照相机的各单元供电。因此，图像传感器103连续生成与被摄体图像相对应的图像数据，并且显示单元107基于经由图像处理单元105输出的图像数据实时显示动画。然后，图2A和2B中的流程图开始。

在步骤S201，控制单元102判断包括在操作单元101中的触摸传感器是否触摸到显示单元107的画面上的任意点。如果触摸到显示单元107的画面上的任意点(步骤S201中为“是”)，也就是说，如果数字照相机的操作者发出了关于要追踪的被摄体的位置的指令，则处理进入步骤S202。如果没有触摸到任意点(步骤S201中为“否”)，则处理进入步骤S212。

在步骤S202，控制单元102经由被摄体位置设置单元115向被摄体检测单元106通知画面上的被触摸的点的坐标。被摄体检测单元106将变量N设置为0。

在步骤S203，被摄体检测单元106对作为构成从图像传感器103读取的动画的帧图像的第一图像数据，设置具有预定大小的以控制单元102向被摄体检测单元106通知的坐标为中心的追踪区域。将该预定大小设置为可追踪的最小大小。

在步骤S204，被摄体检测单元106计算追踪区域中的图像数据的对比度值。

在步骤S205，被摄体检测单元106判断追踪区域中的图像数据的对比度值是否等于或大于阈值。如果追踪区域中的图像数据的对比度值等于或大于该阈值(步骤S205中为“是”)，则处理进入步骤S206。这是用来判断追踪区域中的图像数据是否满足追踪处理所使用的对比度值。被摄体检测单元106基于控制单元102向被摄体检测单元106通知的点的坐标来设置追踪区域。然而，并没有向被摄体检测单元106通知与被摄体的大小有关的信息。由于该原因，由被摄体检测单元106初始设置的追踪区域并不总是被设置到适于追踪被摄体的大小。因此，被摄体检测单元106判断追踪区域中的图像数据的对比度值。如果该对比度值小，则被摄体检测单元106判断为很可能将追踪区域仅设置成了被指定为要追踪的被摄体的被摄体区域的一部分。这是基于如下想法的：要追踪的被摄体独立于背景，因而如果追踪区域被设置为适当的大小，则要追踪的被摄体和背景之间的边界处的对比度值的大小将达到一定程度。这还基于如下想法：即使要追踪的被摄体和背景之间的边界没有包括在追踪区域中，如果该对比度值的大小达到了一定程度，则有效地用于指定要追踪的被摄体的图案和形状的量也达到了追踪所需的程度。

在步骤S206，由于判断为追踪区域被设置为适当的大小，因此，被摄体检测单元106检测包括在该追踪区域中的各像素的亮度信号。被摄体检测单元106将亮度信号的位置和值彼此相关联的亮度信号的图案存储在被摄体信息存储单元116中。

在步骤S207，被摄体检测单元106检测包括在追踪区域中的各像素的颜色信号。在本典型实施例中，被摄体检测单元106检测作为颜色信号的色相信号，并将表示在追踪区域中存在什么色相以及存在多少色相的与色相信号有关的信息作为初始色相信号存储在被摄体信息存储单元116中。图3列出了存储在被摄体信息存储单元116中的初始色相信号。将全部色相划分为0～360之间的值，并以40个色相为单位进行分割以形成组。存储输出各组的色相信号的像素的数量。包括在初始色相信号中的像素的数量的总和对应于存在于追踪区域中的像素的数量的总和。在图3所示的示例中，包括在追踪区域中的像素的总和为25。可选地，代替对色相进行分组，可以将与色相信号有关的信息以色相信号作为横轴且像素数作为纵轴的直方图的形式存储在被摄体信息存储单元116中。

被摄体检测单元106向被摄体位置设置单元115通知所设置的追踪区域的位置和大小。显示单元107接收来自被摄体位置设置单元115的信息，并显示包围追踪区域的追踪框以表明该追踪区域的位置和范围，其中，该追踪框叠加在图像上。

如果被摄体检测单元106判断为追踪区域中的图像数据的对比度值小于阈值(步骤S205中为“否”)，则处理进入步骤S208。

在步骤S208，被摄体检测单元106使变量N增大(即，使变量N增大1)。

在步骤S209，被摄体检测单元106判断变量N是否达到了基准值Nth。如下所述，在步骤S211，被摄体检测单元106进行处理，由此使追踪区域扩展预定大小。由于该原因，达到基准值Nth的变量N意味着即使重复地扩展追踪区域以将其设置为作为追踪区域的最大可设置大小，也不能在该追踪区域中获得充分的对比度值。如果被摄体检测单元106判断为变量N达到了基准值Nth(步骤S209中为“是”)，则处理进入步骤S210。如果被摄体检测单元106判断为变量N没有达到该基准值Nth(步骤S209中为“否”)，则处理进入步骤S211。

在步骤S210，被摄体检测单元106在控制单元102向被摄体检测单元106通知的点的坐标处，未能检测到满足对比度值的要追踪的被摄体，从而显示单元107显示表示在提取要追踪的被摄体时失败的错误，并且处理进入步骤S212。

在步骤S211，由于追踪区域没有达到最大可设置大小，因而被摄体检测单元106在不改变该追踪区域的中心位置的情况下，将该大小扩展预定量。处理再次返回至步骤S204，并且被摄体检测单元106计算该追踪区域中的图像数据的对比度值。

因此，重复步骤S204～S211中的处理，以使得根据操作者使用触摸传感器发出的指令，自动设置满足追踪所使用的对比度值的追踪区域，并计算该追踪区域中的亮度信号的图案。

在步骤S212，控制单元102判断是否设置了追踪区域。如果根据操作者使用触摸传感器发出的指令设置了新的追踪区域(步骤S212中为“是”)，或者如果以下所述的追踪处理成功更新了追踪区域，则处理进入步骤S213。如果没有设置追踪区域(步骤S212中为“否”)，则处理进入步骤S220。

在步骤S213，被摄体检测单元106从作为自图像传感器103新获得的帧图像的第二图像数据中提取与存储在被摄体信息存储单元116中的追踪区域的亮度信号的图案最相关的区域。

图4A和4B是示出用于提取与存储在被摄体信息存储单元116中的追踪区域的亮度信号的图案最相关的区域的方法的示意图。图4A包括第一图像数据301、追踪区域302以及追踪区域的各像素的亮度信号的值303(p1～p25)。图4B包括第二图像数据401、比较区域402以及比较区域的各像素的亮度信号的值403(q1～q25)。被摄体检测单元106设置在像素数上等于追踪区域302的比较区域402，并且在沿着第二图像数据中的箭头所示的线路移动时，计算各位置的比较区域的亮度信号的值(q1～q25)。被摄体检测单元106确定存在于追踪区域302和比较区域402的相同位置中的像素的亮度信号之间的差(p1和q1之间的差、p2和q2之间的差、...、p25和q 25之间的差)，并确定这些差的总和。被摄体检测单元106重复该处理，直到覆盖以追踪区域的所存储的位置为中心的预定范围为止，并且判断为被指定为要追踪的被摄体的被摄体存在于差的总和降至最小值的比较区域402中。

在步骤S214，被摄体检测单元106判断在步骤S213中被判断为最小值的亮度信号之间的差的总和是否等于或大于阈值。如果亮度信号之间的差的总和等于或大于该阈值(步骤S214中为“是”)，则被摄体检测单元106判断为亮度信号之间的大的差很可能表示追踪了与被指定为要追踪的被摄体的被摄体不同的被摄体。然后，处理进入步骤S215。另一方面，如果亮度信号之间的差的总和小于该阈值(步骤S214中为“否”)，则被摄体检测单元106判断为很可能追踪了与被指定为要追踪的被摄体的被摄体相同的被摄体。然后，处理进入步骤S218。

在步骤S218，将追踪区域的位置和范围更新为该总和降至最小值的比较区域的位置和范围。

在步骤S215，被摄体检测单元106根据作为从图像传感器103新获得的帧图像的第三图像数据，计算与追踪区域的位置和范围相同的位置和范围内的区域的色相信号。被摄体检测单元106没有根据第二图像数据而是根据比第二图像数据晚生成的第三图像数据计算色相信号的原因在于：被摄体检测单元106进行等待，直到在作为要追踪的被摄体的被摄体中出现的临时状态的变化结束为止。例如，如果车辆临时进入操作者所选择的被摄体这一侧，或者如果操作者所选择的被摄体从右转向左侧，则除非该变化结束，否则难以判断被摄体存在位置是否与原来的被摄体存在位置相同。因此，如果被摄体检测单元106判断为追踪区域和比较区域的亮度信号之间的差较大，则被摄体检测单元106使用比该判断用的图像数据晚生成的图像数据的色相信号，判断存在于与追踪区域相同的位置中的被摄体是否是要追踪的被摄体。

在步骤S216，被摄体检测单元106将步骤S215中确定出的色相信号与步骤S207中存储在被摄体信息存储单元116中的初始色相信号进行比较，以判断该差是否大。具体地，如图3所示，与初始色相信号的情况相同，被摄体检测单元106确定输出步骤S215中确定出的且与色相的各组相对应的色相信号的像素的数量。如果属于与步骤S207中存储在被摄体信息存储单元116中的初始色相信号相同的组的像素的比率等于或大于阈值(例如，80％)(步骤S216中为“否”)，则被摄体检测单元106判断为很可能追踪了与被指定为要追踪的被摄体的被摄体相同的被摄体。不更新追踪区域的位置和范围，并且处理进入步骤S219。另一方面，如果该比率小于阈值(步骤S216中为“是”)，则被摄体检测单元106判断为色相信号之间的大的差很可能表示追踪了与被指定为要追踪的被摄体的被摄体不同的被摄体。然后，处理进入步骤S217。

即使要追踪的被摄体慢慢改变其方向或其姿势，也可以每当更新追踪区域时，更新与追踪用的亮度信号的图案有关的信息，以便继续检测要追踪的被摄体。如果被摄体逐步改变并且该改变的总和较大，则连续获得的图像数据之间的要追踪的被摄体的亮度信号间的相关度没有降低，从而可以继续追踪。然而，如果判断为由于仅使用亮度信号因而很可能出现追踪失败，则由于仅使用亮度信号，因而难以区别是要追踪的被摄体的状况被极大改变还是要追踪的被摄体本身已丢失。在本典型实施例中，如果被摄体检测单元106判断为由于仅使用亮度信号因而要追踪的被摄体很可能丢失，则被摄体检测单元106通过使用不同于亮度信号的色相信号来判断要追踪的被摄体是否丢失。

对于判断被摄体检测单元106是否丢失被摄体所使用的色相信号，不同于亮度信号，即使更新了追踪区域，也原样使用从在开始追踪处理时设置的追踪区域中获得的色相信号。这是因为：与亮度信号的情况相同，同样地在色相信号中，每当更新追踪区域时更新追踪区域的信息使得即使追踪了与操作者初始指定的被摄体不同的被摄体，也难以判断是否追踪了与该初始指定的被摄体不同的被摄体。为了让操作者判断在操作者指定要追踪的被摄体时所设置的追踪区域中的被摄体是否丢失，判断在开始追踪处理时的色相信号之间的差是否大是有效的。

在亮度信号中，获得追踪区域和比较区域之间的相应像素间的差，从而被摄体的方向和姿势的轻微变化极大改变了相关度的值。另一方面，在色相信号中，仅相互比较色相的种类的数量，从而色相信号不受被摄体的方向和姿势的影响。因此，在第一信号(亮度信号)中，使用如下方法，其中该方法不仅通过信号的值还通过信号的排列来改变评价值，以提高追踪精度。另一方面，在第二信号(色相信号)中，在第一信号的追踪结果的可靠性不高的情况下，使用如下方法来辅助关于追踪是否成功的判断，其中该方法不依赖于信号的排列而仅通过信号的值来确定评价值。将这些方法相结合能实现位置检测精度高的追踪处理，并且进行该追踪处理，由此即使要追踪的被摄体的状态轻微改变，也不会判断为要追踪的被摄体容易丢失。

在步骤S217，被摄体检测单元106复位存储在被摄体信息存储单元116中的追踪区域的亮度信号的图案，并向被摄体位置设置单元115通知追踪失败。被摄体位置设置单元115复位与追踪区域的位置和范围有关的信息，并且显示单元107删除叠加在图像上的所显示的追踪框。

在步骤S219，被摄体检测单元106使用包括在最新的追踪区域中的各像素的亮度信号，更新存储在被摄体信息存储单元116中的追踪区域的亮度信号的图案。如果在步骤S218中更新了追踪区域，则被摄体检测单元106使用第二图像数据中的追踪区域的亮度信号进行更新。如果在步骤S216判断为很可能追踪了与被指定为要追踪的被摄体的被摄体相同的被摄体，则使用第三图像数据中的追踪区域的亮度信号进行更新。被摄体检测单元106向被摄体位置设置单元115通知与更新了亮度信号的追踪区域的位置和范围有关的信息。显示单元107接收来自被摄体位置设置单元115的信息，并根据该信息维持叠加在图像上的所显示的追踪框或者更新该追踪框。

在步骤S214，如果被摄体检测单元106判断为亮度信号之间的差的和较大，则被摄体检测单元106可以不仅对于在这之后获得的一个帧的图像数据而且还对于多个帧的图像数据，判断色相信号之间的差的和是否大。这是因为：如果障碍物出现在要追踪的被摄体这一侧，则该障碍物不总是立即从要追踪的被摄体这一侧消失，因此要追踪的被摄体可能在多个帧中从图像数据消失。考虑到上述情况，如果追踪区域和比较区域之间的亮度信号间的差的和较大，则在之后的数个帧中将比较区域的色相信号与初始色相信号进行比较。当该差一旦变小时，处理可以快速进入步骤S219。

图5A～5E是示出根据本典型实施例的追踪处理的示意图。

在图5A所示的帧图像中，操作者将向右看的人物的面部设置为要追踪的被摄体。在图5B所示的帧图像中，使用亮度信号的图案的相关度来成功地追踪人物的面部。在图5C所示的帧图像中，该人物转向其它侧，以隐藏向右看的人物的面部，这使得仅出现该人物的头部的背面。在图5D所示的帧图像中，该人物转向左侧，以隐藏头部的背面，这使得出现向左看的人物的面部。在图5C所示的帧图像中，该人物改变其方向，从而在图5C所示的帧图像中不存在与图5B所示的帧图像中的追踪区域的亮度信号的相关度等于或大于阈值的区域。由于该原因，在追踪区域的位置没有移动的情况下，将图5D所示的帧图像中的追踪区域的色相信号与图5A所示的帧图像中的追踪区域的色相信号进行比较。尽管在图5A和5D之间人物的面部的方向彼此相反，然而在构成面部的色相信号的差值之间不存在较大的差，因此判断为在图5D中追踪是成功的。将图5D的追踪区域的亮度信号新存储在被摄体信息存储单元116中。从图5E所示的帧图像中检测向左看的人物的面部作为与新存储的亮度信号高度相关的区域，然后将该区域更新为新的追踪区域。

在步骤S220，控制单元102判断包括在操作单元101中的快门开关是否被半按下(SW1是否接通(ON))。如果快门开关被半按下(步骤S220中为“是”)，则处理进入步骤S221。如果快门开关没有被半按下(步骤S220中为“否”)，则处理返回至步骤S201。

在步骤S221，控制单元102分别指示AF处理单元108和AE处理单元109进行AF和AE处理操作。如果设置了追踪区域，则与没有设置追踪区域的情况相比，进行将较大的权重分配给追踪区域的AF和AE处理操作。

在步骤S222，控制单元102判断包括在操作单元101中的快门开关是否被全按下(SW2是否接通)。如果快门开关被全按下(步骤S222中为“是”)，则处理进入步骤S223。如果快门开关没有被全按下(步骤S222中为“否”)，则处理返回至步骤S220。

在步骤S223，控制单元102进行主曝光，以生成静止图像数据，并且控制单元102使格式转换单元112将所生成的图像数据转换为处理用格式，并使图像存储单元113将转换后的格式存储至外部存储器。

如上所述，在本典型实施例中，使用亮度信号的图案的相关度来进行被摄体的追踪处理。在要追踪的被摄体很可能丢失的情况下，使用色相信号的相关度来判断追踪是否成功。

在使用亮度信号进行追踪时，如果信号的值和排列这两者没有精确地一致，则被摄体不被认为是同一被摄体，从而降低了错误追踪的可能性。另一方面，如果被摄体改变其方向或者障碍物临时出现，则要追踪的被摄体很可能丢失。在使用色相信号进行追踪时，如果信号的排列不一致但是信号的值精确地一致，则被摄体被认为是同一被摄体，因此即使该被摄体改变其方向，要追踪的被摄体也很难丢失。另一方面，很可能错误地追踪了颜色类似的被摄体。

在本典型实施例中，穿插地使用这多种类型(两种类型)的信号来进行追踪处理，从而使得实现了在降低错误追踪的可能性的同时不容易丢失被摄体的追踪处理。

在第一典型实施例中，在步骤S207，被摄体信息存储单元116存储初始色相信号。在继续追踪处理时没有更新该初始色相信号。本发明的第二典型实施例与第一典型实施例的不同之处在于：考虑到由于被摄体在户外移动或者进入商店可能改变照射该被摄体的光源的色温，定期地更新存储在被摄体信息存储单元116中的色相信号。

与第一典型实施例的情况相同，根据第二典型实施例的图像处理设备同样是图1所示的数字照相机。

图6A和6B示出表示根据第二典型实施例的数字照相机的追踪判断处理的流程图。将相同的附图标记分配给进行与图2A和2B所示的流程图中的处理相同的处理的步骤。以下主要说明与图2A和2B所示的流程图中的处理不同的处理。

在步骤S205，如果被摄体检测单元106判断为追踪区域中的图像数据满足对比度值，则在步骤S206，被摄体检测单元106检测包括在追踪区域中的亮度信号，并将该亮度信号的图案存储在被摄体信息存储单元116中。

在步骤S501，被摄体检测单元106检测包括在追踪区域中的各像素的色相信号，并将图3所示的表示在追踪区域中存在什么色相以及存在多少色相的与色相信号有关的信息作为色相信号存储在被摄体信息存储单元116中。

在步骤S502，被摄体检测单元106复位计时器(未示出)，以开始测量时间。处理进入步骤S212。计时器进行动作以检测更新色相信号的时刻。在本典型实施例中，如果计时器达到预定值Tth，则更新存储在被摄体信息存储单元116中的色相信号。

在步骤S213，被摄体检测单元106从第二图像数据中提取与存储在被摄体信息存储单元116中的追踪区域的亮度信号的图案最相关的区域。在步骤S214，被摄体检测单元106判断最相关区域和追踪区域的亮度信号之间的差的总和是否等于或大于阈值。如果被摄体检测单元106判断为差的总和小于该阈值(步骤S214中为“否”)，则处理进入步骤S218，以更新与追踪区域的位置和范围有关的信息。如果被摄体检测单元106判断为差的总和等于或大于该阈值(步骤S214中为“是”)，则处理进入步骤S215。被摄体检测单元106计算其位置和范围与追踪区域的位置和范围相同的区域的色相信号。然后，处理进入步骤S503。

在步骤S503，被摄体检测单元106将在步骤S215中确定出的色相信号与存储在被摄体信息存储单元116中的色相信号进行比较，以判断该差是否较大。如果该差较大(步骤S503中为“是”)，则处理进入步骤S217，以复位追踪区域。如果该差不大(步骤S503中为“否”)，则处理进入步骤S219。

在步骤S219，被摄体检测单元106使用包括在追踪区域中的各像素的亮度信号来更新该追踪区域的亮度信号的图案。

在步骤S504，被摄体检测单元106判断计时器所测得的时间t是否达到预定值Tth。如果时间t达到了该预定值Tth(步骤S504中为“是”)，则处理进入步骤S505。如果时间t没有达到该预定值Tth(步骤S504中为“否”)，则处理进入步骤S220。例如，以数秒或数十秒为单位设置该预定值Tth。将追踪区域的色相信号的更新周期设置为比每隔数帧更新的追踪区域的亮度信号的更新周期足够长的时间段。这是因为：与亮度信号的情况相同，频繁地更新色相信号会使得色相信号易受到在被摄体改变其方向或障碍物临时出现时产生的影响。

在步骤S505，被摄体检测单元106从用于在步骤S219中更新亮度信号的图案的追踪区域的图像数据中提取色相信号，并更新图3所示的存储在被摄体信息存储单元116中的色相信号。

在步骤S506，被摄体检测单元106复位计时器，以再次开始测量时间。

在本典型实施例中，被摄体检测单元106还以不受要追踪的被摄体的临时变化影响的周期来更新存储在被摄体信息存储单元116中的色相信号。这使得即使被摄体的色相信号由于诸如户外与室内条件之间的差异或照明的变化等的被摄体周围环境的变化而改变，也可以防止要追踪的被摄体丢失。

在本典型实施例中，每当更新色相信号时复位计时器，且如果计时器测得的时间达到预定值，则允许更新色相信号。然而，本发明不局限于上述典型实施例。如果要追踪的被摄体周围的亮度、色相或饱和度等的变化超过基准值，则可以通过判断为在要追踪的被摄体的色相信号中可能发生变化来更新存储在被摄体信息存储单元116中的色相信号。

在本典型实施例中，尽管实际从更新后的追踪区域中提取色相信号以更新存储在被摄体信息存储单元116中的色相信号，然而本发明并不局限于上述典型实施例。例如，数字照相机设置有用于检测被摄体的环境光的色温的色温检测电路，并且可以根据由该色温检测电路检测到的色温的变化来校正存储在被摄体信息存储单元116中的色相信号。可选地，数字照相机计算被摄体以外的区域的白平衡的值，并且可以根据白平衡的值的变化来校正存储在被摄体信息存储单元116中的色相信号。

在上述典型实施例中，使用亮度信号的图案的相关度来追踪帧之间的被摄体。如果判断为在仅使用亮度信号的相关度追踪被摄体时很可能出现失败，则判断使用色相信号追踪被摄体时是否出现失败。然而，本发明并不局限于上述典型实施例。可以使用色差信号等的其它颜色信号或表示饱和度的信号来代替色相信号，或者可以一起使用这些信号。

不仅可以使用亮度信号还可以使用饱和度信号或色相信号来确定图4A和4B所示的各像素的信号水平的差的总和，以追踪被摄体。如果判断为在仅使用饱和度信号或色相信号的相关度追踪被摄体时很可能出现失败，则可以判断使用亮度信号追踪被摄体时是否出现失败。在这种情况下，例如，根据亮度信号的水平将这些亮度信号划分为多个组，并存储输出属于各组的亮度信号的像素的数量，因此可以类似于在上述第一典型实施例和第二典型实施例中使用色相信号的情况而进行判断。

使用能够详细表示被摄体的形状的亮度信号的第一典型实施例和第二典型实施例与使用颜色信号的情况相比，更优选之处在于：可以在区别被摄体的详细图案的情况下以高精度进行追踪。

除了上述摄像设备或图像再现设备以外，还可以通过系统或设备的计算机(CPU或MPU)以软件形式来实现上述典型实施例。可以采用这种结构：经由存储介质或有线/无线通信来接收图像数据，并对该图像数据进行追踪处理。

提供至计算机以通过计算机实现上述典型实施例的计算机程序自身也实现了本发明。换句话说，用于实现上述典型实施例的功能的计算机程序自身也构成了本发明。

用于实现上述典型实施例的计算机程序可以是任何形式，只要该程序是计算机可读的即可。将用于实现上述典型实施例的计算机程序经由存储介质或有线/无线通信提供至计算机。当经由有线/无线通信提供该计算机程序时，可以使用计算机网络上的服务器。在这种情况下，将作为用于实现本发明的计算机程序的数据文件(程序文件)存储在该服务器中。将该程序文件下载至访问该服务器的客户端计算机。

换句话说，向客户端计算机提供用于实现上述典型实施例的程序文件的服务器也构成了本发明。

可以对存储有用于实现上述典型实施例的加密计算机程序的存储介质进行分发，以允许将该程序安装至计算机中。

用于实现上述典型实施例的计算机程序可以使用当前运行在计算机上的操作系统(OS)的功能。此外，用于实现上述典型实施例的计算机程序可以部分地由安装至计算机的扩展板等的固件构成，或者可以通过设置在该扩展板上的CPU来执行该计算机程序。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (16)

1.一种图像处理设备，用于通过根据包括多个图像数据的动画检测被摄体的追踪区域来进行追踪，所述图像处理设备包括：

设置单元，用于设置图像数据中的所述追踪区域；

存储单元，用于存储从所述追踪区域中提取出的第一信号和第二信号；以及

检测单元，用于从所述图像数据中提取具有与所述第一信号之间的差最小的信号的区域，并利用所提取的区域来更新所述追踪区域；

其中，如果所述检测单元从所述图像数据中未能提取出具有与所述第一信号之间的差小于阈值的信号的区域，则所述检测单元判断从所述图像数据中是否能提取出具有与所述第二信号之间的差小于阈值的信号的区域，如果未能提取出该区域，则所述检测单元复位所述追踪区域，如果能够提取出该区域，则所述检测单元继续更新所述追踪区域，以及

当更新所述追踪区域时，所述存储单元更新所述第一信号并且不更新所述第二信号。

2.根据权利要求1所述的图像处理设备，其特征在于，对于所述第一信号，所述存储单元存储包括在所述追踪区域中的各像素的所述第一信号的值和排列，并且对于所述第二信号，所述存储单元存储包括在所述追踪区域中的各像素的所述第二信号的值。

3.根据权利要求1所述的图像处理设备，其特征在于，对于所述第一信号，所述存储单元存储与包括在所述追踪区域中的各像素的位置相对应的信号的值，并且对于所述第二信号，所述存储单元对包括在所述追踪区域中的各像素的值进行分组并存储包括在各组中的像素的数量。

4.根据权利要求1所述的图像处理设备，其特征在于，所述存储单元存储当所述设置单元设置所述追踪区域时所提取出的所述第一信号和所述第二信号。

5.根据权利要求1所述的图像处理设备，其特征在于，所述第一信号包括亮度信号，所述第二信号包括颜色信号。

6.一种图像处理设备，用于通过根据包括多个图像数据的动画检测被摄体的追踪区域来进行追踪，所述图像处理设备包括：

设置单元，用于设置图像数据中的所述追踪区域；

存储单元，用于存储从所述图像数据中的所述追踪区域中提取出的第一信号和第二信号；以及

检测单元，用于从所述图像数据中提取具有与所述第一信号之间的差最小的信号的区域，并利用所提取的区域来更新所述追踪区域；

其中，如果所述检测单元从所述图像数据中未能提取出具有与所述第一信号之间的差小于阈值的信号的区域，则所述检测单元判断从所述图像数据中是否能提取出具有与所述第二信号之间的差小于阈值的信号的区域，如果未能提取出该区域，则所述检测单元复位所述追踪区域，如果能够提取出该区域，则所述检测单元继续更新所述追踪区域，以及

在继续更新所述追踪区域期间，所述第二信号的更新周期长于所述第一信号的更新周期。

7.根据权利要求6所述的图像处理设备，其特征在于，对于所述第一信号，所述存储单元存储包括在所述追踪区域中的各像素的所述第一信号的值和排列，并且对于所述第二信号，所述存储单元存储包括在所述追踪区域中的各像素的所述第二信号的值而没有存储包括在所述追踪区域中的各像素的所述第二信号的排列。

8.根据权利要求6所述的图像处理设备，其特征在于，对于所述第一信号，所述存储单元存储与包括在所述追踪区域中的各像素的位置相对应的信号的值，并且对于所述第二信号，所述存储单元对包括在所述追踪区域中的各像素的值进行分组并存储包括在各组中的像素的数量。

9.根据权利要求6所述的图像处理设备，其特征在于，所述存储单元存储当所述设置单元设置所述追踪区域时所提取出的所述第一信号和所述第二信号。

10.根据权利要求6所述的图像处理设备，其特征在于，还包括计时器，所述计时器用于测量所述第二信号的更新周期，

其中，如果更新所述追踪区域并且所测得的时间达到了预定值，则所述存储单元更新所述第二信号。

11.根据权利要求6所述的图像处理设备，其特征在于，所述第一信号包括亮度信号，所述第二信号包括颜色信号。

12.根据权利要求6所述的图像处理设备，其特征在于，所述第二信号包括色相信号，并且根据所述被摄体的环境光的色温的变化或从所述图像数据计算出的白平衡的值的变化来更新所述第二信号的值。

13.一种图像处理方法，用于通过根据包括多个图像数据的动画检测被摄体的追踪区域来进行追踪，所述图像处理方法包括以下步骤：

设置图像数据中的所述追踪区域；

存储从所述追踪区域中提取出的第一信号和第二信号；

从所述图像数据中提取具有与所述第一信号之间的差最小的信号的区域，并利用所提取的区域来更新所述追踪区域；

如果从所述图像数据中未能提取出具有与所述第一信号之间的差小于阈值的信号的区域，则判断从所述图像数据中是否能提取出具有与所述第二信号之间的差小于阈值的信号的区域，如果未能提取出该区域，则复位所述追踪区域，如果能够提取出该区域，则继续更新所述追踪区域；以及

当更新所述追踪区域时，更新所述第一信号并且不更新所述第二信号。

14.一种图像处理方法，用于通过根据包括多个图像数据的动画检测被摄体的追踪区域来进行追踪，所述图像处理方法包括以下步骤：

设置图像数据中的所述追踪区域；

存储从所述追踪区域中提取出的第一信号和第二信号；

从所述图像数据中提取具有与所述第一信号之间的差最小的信号的区域，并利用所提取的区域来更新所述追踪区域；

如果从所述图像数据中未能提取出具有与所述第一信号之间的差小于阈值的信号的区域，则判断从所述图像数据中是否能提取出具有与所述第二信号之间的差小于阈值的信号的区域，如果未能提取出该区域，则复位所述追踪区域，如果能够提取出该区域，则继续更新所述追踪区域；以及

在继续更新所述追踪区域期间，以比更新所述第一信号的周期长的周期来更新所述第二信号。

15.根据权利要求14所述的图像处理方法，其特征在于，还包括：

对于所述第一信号，存储包括在所述追踪区域中的各像素的所述第一信号的值和排列；以及

对于所述第二信号，存储包括在所述追踪区域中的各像素的所述第二信号的值。

16.根据权利要求14所述的图像处理方法，其特征在于，还包括：

对于所述第一信号，存储与包括在所述追踪区域中的各像素的位置相对应的信号的值；以及

对于所述第二信号，对包括在所述追踪区域中的各像素的值进行分组并存储包括在各组中的像素的数量。

Images