CN102103754A - 被摄体跟踪设备、被摄体区域提取设备及其控制方法 - Google Patents

Abstract

本发明涉及一种被摄体跟踪设备、被摄体区域提取设备及其控制方法。被摄体跟踪设备用于基于基准图像和输入图像之间的相关度来进行被摄体跟踪。获得基于不同时刻输入的图像的多个基准图像中的各基准图像与输入图像之间的相关度。如果基于多个基准图像中的第一输入图像的基准图像和输入图像之间的最大相关度等于或大于阈值，则与第一基准图像具有最大相关度的区域被判断为被摄体区域。否则，与基于在第一输入图像之后输入的图像的基准图像具有最大相关度的区域被判断为被摄体区域。

Description

被摄体跟踪设备、被摄体区域提取设备及其控制方法

技术领域

本发明涉及一种被摄体跟踪设备、被摄体区域提取设备及其控制方法。

背景技术

在以时间序列顺次提供的图像的一个帧中检测特定被摄体并在后续帧中跟踪所检测到的被摄体的图像处理技术是非常有用的。例如，检测并跟踪在运动图像中的人体区域(例如面部区域)可以应用在诸如电话会议、人机交互、安全、用于跟踪特定被摄体的监视系统以及图像压缩的宽范围的各种领域中。已知具有所述图像处理技术的一些数字照相机和数字摄像机执行曝光控制和聚焦控制，以适当地拍摄在电子取景器上显示的图像中指定的被摄体。

例如，日本特开2005-318554公开了一种摄像设备，该摄像设备从所拍摄图像中检测面部，对面部聚焦，并用针对面部最佳的曝光来拍摄面部图像。而且，日本特开2001-60269公开了一种跟踪处理，其中，在后续帧中检测在某些帧中检测到的面部。

已知在日本特开2001-60269中公开的、使用模板匹配技术的方法在后续帧中跟踪在某些帧中检测到的特定被摄体。模板匹配是从运动图像的某个帧(以下被称为基准帧)中提取要跟踪的被摄体的图像(模板图像或基准图像)，并在后续帧中搜索与模板图像的相关度最高的区域的技术。找到的区域被推定为模板图像在每个后续帧中的位置，从而可以跟踪与模板图像相对应的被摄体。

在使用模板匹配的被摄体跟踪方法中，基于要跟踪的帧图像与基准图像(模板图像)之间的相关度来跟踪被摄体。因此，只要在要跟踪的帧图像中以与在基准图像中相同的方式拍摄被摄体，则在该方法中可以用高精度来跟踪被摄体。

然而，例如，如果被摄体是人的面部，并且面部的方向可能改变或者面部可能被物体遮蔽，则由于使用同一基准图像，可能降低跟踪精度。为了实现对于图像中的被摄体的外观的改变的跟踪鲁棒性，需要根据被摄体的外观的改变更新基准图像。

例如，可以更新基准图像，以将在要跟踪的帧图像中与基准图像的相关度最高的区域用作新的基准图像。然而，在该方法中，如果被摄体暂时隐藏在物体之后，则不同于被摄体的区域在下一跟踪处理中被用作基准图像，从而不能在后续帧中精确地跟踪被摄体。

而且，可以由用户指定上述基准图像。在这种情况下，用户经由诸如触摸面板的、允许他/她指定帧图像中的任意区域的输入装置，指定要用作基准图像的区域。利用该结构，用户可以容易地指定特定被摄体的跟踪。

虽然期望基准图像不多不少地包含要跟踪的被摄体区域，但是用户不总是这样指定被摄体区域。如果由用户指定的区域从预期被摄体区域偏移或不必要地大于被摄体区域，则基准图像包括大量的例如背景的、不需要跟踪的图像。当使用包括大量的不想要的图像的基准图像跟踪被摄体时，由于与不想要的图像有关的因素的影响可能跟踪与目标区域不同的区域，因此被摄体跟踪精度可能降低。

发明内容

考虑到现有技术的上述问题做出本发明。

本发明提供一种基于基准图像和输入图像之间的相关度来进行被摄体跟踪的被摄体跟踪设备及其控制方法，其中，甚至当被摄体的外观改变时，仍然改善了被摄体跟踪精度。

本发明还提供一种在基于基准图像和输入图像之间的相关度来进行被摄体跟踪的被摄体跟踪设备及其控制方法中的、从指定的图像区域中判断和提取适于用作基准图像的被摄体区域的技术。

根据本发明的第一方面，提供一种被摄体跟踪设备，其在以时间序列输入至所述被摄体跟踪设备的多个输入图像中跟踪图像中的特定被摄体，所述被摄体跟踪设备包括：计算部件，用于针对在登记部件中登记的多个基准图像中的各基准图像，获得输入图像的最大相关度和包括在输入图像中并具有该最大相关度的区域；以及第一判断部件，用于从由所述计算部件获得的区域中判断输入图像中的所述特定被摄体的区域，其中，所述多个基准图像包括第一基准图像和第二基准图像，所述第一基准图像基于所述多个输入图像中的第一输入图像中、被指定为所述特定被摄体的区域的区域，并且不更新，所述第二基准图像基于所述多个输入图像中在所述第一输入图像之后以时间序列输入至所述被摄体跟踪设备的多个第二输入图像中的各第二输入图像中、由所述第一判断部件判断为所述特定被摄体的区域的区域而更新，以及在由所述计算部件针对所述第一基准图像获得的最大相关度不小于预定阈值的情况下，所述第一判断部件将与所述第一基准图像的相关度最大的区域判断为输入图像中的所述特定被摄体的区域，并且在由所述计算部件针对所述第一基准图像获得的最大相关度小于所述预定阈值的情况下，所述第一判断部件将与所述第二基准图像的相关度最大的区域判断为输入图像中的所述特定被摄体的区域。

根据本发明的第二方面，提供一种被摄体跟踪设备的控制方法，所述被摄体跟踪设备在以时间序列输入至所述被摄体跟踪设备的多个输入图像中跟踪图像中的特定被摄体，所述控制方法包括：计算步骤，用于针对在登记部件中登记的多个基准图像中的各基准图像，获得输入图像的最大相关度和包括在输入图像中并具有该最大相关度的区域；以及第一判断步骤，用于从在所述计算步骤中获得的区域中判断输入图像中的所述特定被摄体的区域，其中，所述多个基准图像包括第一基准图像和第二基准图像，所述第一基准图像基于所述多个输入图像中的第一输入图像中、被指定为所述特定被摄体的区域的区域，并且不更新，所述第二基准图像基于所述多个输入图像中在所述第一输入图像之后以时间序列输入至所述被摄体跟踪设备的多个第二输入图像中的各第二输入图像中、在所述第一判断步骤中判断为所述特定被摄体的区域的区域而更新，以及在所述第一判断步骤中，在所述计算步骤中针对所述第一基准图像获得的最大相关度不小于预定阈值的情况下，将与所述第一基准图像的相关度最大的区域判断为输入图像中的所述特定被摄体的区域，并且在所述计算步骤中针对所述第一基准图像获得的最大相关度小于所述预定阈值的情况下，将与所述第二基准图像的相关度最大的区域判断为输入图像中的所述特定被摄体的区域。

根据本发明的第三方面，提供一种被摄体区域提取设备，用于从图像中提取预定被摄体的区域，包括：指定部件，用于从所述图像中指定包括所述预定被摄体的区域；提取部件，用于从由所述指定部件指定的区域中提取所述预定被摄体的特征量；检测部件，用于基于包括在所指定的区域中的、与所述预定被摄体的特征量一致的特征像素的分布，检测所指定的区域中的所述预定被摄体的位置的偏移；以及校正部件，用于校正所指定的区域的位置，以使得所指定的区域中的所述预定被摄体的位置的偏移减小，其中，所述提取部件使用所指定的区域内的各像素的色调成分和明度成分至少之一来提取所述特征量，并在根据从被摄体获得的颜色信息改变对色调成分和明度成分进行加权的比时，再次提取所述特征量。

根据本发明的第四方面，提供一种被摄体跟踪设备，包括：如上所述的被摄体区域提取设备；以及用于基于由所述被摄体区域提取设备获得的提取结果来登记在被摄体跟踪中使用的基准图像的部件，其中，根据所提供的图像的部分区域和登记的基准图像之间的相关度来提取被摄体区域。

根据本发明的第五方面，提供一种被摄体区域提取设备的控制方法，所述被摄体区域提取设备用于从图像中提取预定被摄体的区域，所述控制方法包括：指定步骤，用于从所述图像中指定包括所述预定被摄体的区域；提取步骤，用于从所指定的区域中提取所述预定被摄体的特征量；检测步骤，用于基于包括在所指定的区域中的、与所述预定被摄体的特征量一致的特征像素的分布，检测所指定的区域中的所述预定被摄体的位置的偏移；以及校正步骤，用于校正所指定的区域的位置，以使得所指定的区域中的所述预定被摄体的位置的偏移减小，其中，在所述提取步骤中，使用所指定的区域内的各像素的色调成分和明度成分至少之一来提取所述特征量，并在根据从被摄体获得的颜色信息改变对色调成分和明度成分进行加权的比时，再次提取所述特征量。

利用该结构，根据本发明的方面，在基于基准图像和输入图像之间的相关度来进行被摄体跟踪的被摄体跟踪设备及其控制方法中，甚至当被摄体的外观改变时，仍然改善了被摄体跟踪精度。

根据本发明的另一方面，即使例如指定区域与在图像中的被摄体的位置相互偏移，也可以提取适当的区域作为基准图像。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出作为根据本发明第一实施例的被摄体跟踪设备的示例的摄像设备的功能结构的示例的框图；

图2是示出根据本发明第一实施例的被摄体跟踪处理的流程图；

图3A～3D是用于说明根据本发明第一实施例的被摄体跟踪的图；

图4是示出作为根据本发明第二实施例的被摄体跟踪设备的示例的摄像设备的功能结构的示例的框图；

图5是示出根据本发明第二实施例的被摄体跟踪处理的流程图；

图6A～6C是用于说明根据本发明第二实施例的被摄体跟踪的图；

图7是示出作为根据本发明第三实施例的被摄体跟踪设备的示例的摄像设备的功能结构的示例的框图；

图8A和8B是分别示出在图7中示出的特征量提取单元和偏移检测单元的结构的示例的框图；

图9是示出本发明第三实施例中的被摄体区域提取处理的流程图；

图10是示出本发明第三实施例中的特征量提取处理的流程图；

图11是示出本发明第三实施例中的偏移检测处理的流程图；以及

图12A～12D是用于说明本发明第三实施例中的被摄体区域提取处理的图。

具体实施方式

现在将根据附图详细说明本发明的典型实施例。注意，以下要说明的实施例用于更好地理解本发明，所以不限制本发明的范围，并且可以改变成本发明的范围内的各种形式。而且，虽然本发明在以下实施例中用于摄像设备，但对于本发明来说摄像功能不是必不可少的，并且可以使用要进行被摄体跟踪的任意图像源。因此，本发明广泛地用于读出和播放或显示记录图像、或者从外部接收和处理图像的图像处理设备。所述图像处理设备包括诸如个人计算机、个人数字助理、携带式电话和媒体播放器的各种装置。

第一实施例

图1是示出作为根据本发明第一实施例的被摄体跟踪设备的示例的摄像设备100的功能结构的示例的框图。透镜单元101是成像光学系统，一般包括包含调焦透镜的多个透镜。透镜单元101在图像传感器102的摄像面上形成被摄体的光学图像。图像传感器102是诸如CCD图像传感器或CMOS图像传感器的光电转换元件，并将被摄体的光学图像转换成针对各像素的电信号。该电信号是表示由图像传感器102拍摄的被摄体图像的模拟视频信号。图像传感器102可以通过连续重复图像拍摄和输出，以预定帧速按时间序列输出视频信号。在以下说明中的“图像”与一个帧的视频信号同义。

从图像传感器102输出的图像经过由模拟信号处理单元103进行的诸如CDS(相关双采样)的模拟信号处理，由A/D转换单元104转换成数字数据的格式，并输入至控制单元105和图像处理单元106。

控制单元105是例如CPU(中央处理单元)或微控制器，并控制摄像设备100的全部操作。更具体地，控制单元105通过将存储在ROM(只读存储器)中的程序代码展开至RAM(随机存取存储器)的工作区域中并顺次执行所述程序代码来控制摄像设备100的各单元。注意，控制单元105可以包括一个或多个CPU，多个CPU可以单独实现控制单元105的各个功能。

图像处理单元106将诸如伽玛校正和白平衡处理的图像处理(所谓的显影处理)应用到数字格式的输入图像。注意，图像处理单元106不仅执行所述类型的图像处理，还使用从被摄体跟踪单元110(在后面说明)提供的、并与图像中的特定被摄体区域有关的信息执行图像处理。

从图像处理单元106输出的图像显示在诸如LCD或有机电致(Electroluminance，EL)显示器的显示单元107上。摄像设备100可以通过将由图像传感器102拍摄的运动图像实时显示在显示单元107上，使显示单元107用作EVF(电子取景器)。而且，当用作电子取景器时，显示单元107可以与所拍摄图像一起显示表示由被摄体跟踪单元110(在后面说明)跟踪的被摄体区域的位置的信息。

而且，从图像处理单元106输出的图像由记录单元108记录在例如可拆卸存储卡中。图像的记录目的地可以是内置于摄像设备100中的存储器或者经由通信接口可通信地连接至摄像设备100的外部装置(均未示出)。图像处理单元106可以通过针对显示和记录分别优化要输出至显示单元107的图像和要输出至记录单元108的图像来输出它们。图像处理单元106可以根据用途来优化例如图像的分辨率(像素数)、信号格式(RGB格式或YCrCb格式)和数据格式。图像处理单元106还根据需要执行图像编码处理和解码处理。

例如，被摄体指定单元109是诸如设置在显示单元107上的触摸面板或设置在摄像设备100的壳体上的按键和按钮等的输入接口。用户可以通过例如从显示在显示单元107上的图像中指定期望被摄体区域来指定要跟踪的被摄体。不特别限制使用例如触摸面板或按键和按钮从图像中指定任意区域的方法，可以是已知的方法。例如，当摄像设备100具有被摄体检测功能并以重叠的方式在所拍摄图像上显示表示检测到的被摄体区域的诸如框的标志时，用户还可以通过选择期望被摄体的框来指定被摄体区域。

被摄体跟踪单元110通过从图像处理单元106输出的图像和由被摄体指定单元109指定的被摄体图像(基准图像)之间的模板匹配来检测图像中的被摄体图像位置。被摄体跟踪单元110通过将该检测处理应用至在不同时刻拍摄并以时间序列从图像处理单元106输出的多个图像来实现被摄体跟踪功能。

被摄体跟踪单元110包括基准图像登记单元111、相关度计算单元112和被摄体提取单元113。基准图像登记单元111从图像处理单元106提供的图像中选择在不同时刻拍摄的多个图像中的部分图像，并将该部分图像登记为基准图像。被登记的基准图像由相关度计算单元112使用。由基准图像登记单元111登记的基准图像的例子包括：

(1)基于在开始被摄体跟踪时由被摄体指定单元109指定的区域而登记的基准图像(第一基准图像)，以及

(2)基于在被摄体跟踪期间由被摄体提取单元113提取的区域而顺次更新和登记的基准图像(第二基准图像)。

相关度计算单元112计算由基准图像登记单元111登记的多个基准图像和由图像处理单元106以时间序列顺次提供的输入图像之间的相关度，从而进行输入图像和基准图像之间的模板匹配。通过在输入图像中设置用于计算相关度的参考区域来计算相关度。通过在输入图像中顺次偏移参考区域的位置时计算与基准图像的相关度，来在输入图像中推定与基准图像的相关度最高的区域。在输入图像中设置的参考区域可以是整个输入图像或其部分区域。可以通过针对多个基准图像中的每一个进行相关度计算，针对各基准图像获得输入图像中的最大相关度和具有最大相关度的区域。

被摄体提取单元113基于由相关度计算单元112获得的针对各基准图像的相关度来判断和提取一个参考区域作为被摄体区域。例如，如果与由基准图像登记单元111最早登记的基准图像的最大相关度等于或高于预定阈值，则由被摄体提取单元113选择和提取与基准图像的相关度最大的参考区域作为输入图像中的被摄体区域。另一方面，如果与上述基准图像的最大相关度低于预定阈值，则被摄体提取单元113选择和提取相关度在与剩余基准图像的最大相关度中最高的参考区域作为输入图像中的被摄体区域。

控制单元105在摄像设备100中进行AF(自动调焦)控制和AE(自动曝光)控制。更具体地，控制单元105基于从A/D转换单元104输出的图像来控制针对透镜单元101的焦点控制机构和曝光控制机构(均未示出)。焦点控制机构是例如用于在光轴方向上驱动透镜单元101的致动器，曝光控制机构是例如用于驱动光圈和快门(当存在机械快门时)的致动器。

在基于上述AF控制和AE控制确定摄像条件时，控制单元105可以使用从被摄体跟踪单元110提供的被摄体区域提取结果。更具体地，控制单元105通过控制焦点检测条件来进行AF控制以对作为被摄体区域提取的区域进行聚焦，以及通过控制曝光条件来进行AE控制以使得上述区域的曝光变得合适。控制单元105还进行图像传感器102的各种类型的读出控制，例如图像传感器102的输出定时的控制和读出数据的像素的选择控制。

当摄像设备100具有诸如面部检测单元的实现检测特定被摄体的功能的结构时，可以将检测到的被摄体区域(例如，面部区域)自动登记为基准图像。分别用于AF控制或AE控制的图像中的预定区域(例如，焦点检测区域或测光区域)也可以在基准图像中登记为初始被摄体区域。在所述情况下，摄像设备100不需要总是包括被摄体指定单元109。

被摄体跟踪单元110的操作

接着将参考图2和3A～3D详细说明被摄体跟踪单元110的处理。在以下说明中，假定要检测和跟踪的特定被摄体是人的面部。还假定两个基准图像被登记在基准图像登记单元111中：(1)基于在开始被摄体跟踪时由被摄体指定单元109指定的区域而登记的基准图像(以下被称为初始基准图像)，以及(2)基于根据由相关度计算单元112获得的相关度由被摄体提取单元113提取的被摄体区域而顺次更新的基准图像(以下被称为更新基准图像)。

在步骤S201中，基准图像登记单元111读取由图像传感器102顺次拍摄的图像作为输入图像。在步骤S201中的输入图像的读取可以间歇地或针对所有拍摄的帧完成。

接着，在步骤S202中，基准图像登记单元111基于由被摄体指定单元109指定的部分区域，从输入图像登记初始基准图像。图3A例示了由被摄体指定单元109指定的部分区域301以及初始基准图像302。在开始被摄体跟踪时，由被摄体指定单元109指定的部分区域301变为由被摄体提取单元113获得的被摄体提取结果。

当在步骤S203中读取下一输入图像时，基准图像登记单元111将输入图像和初始基准图像提供至相关度计算单元112。相关度计算单元112计算输入图像和初始基准图像之间的相关度(在图2中的步骤S204～S207)。首先，在步骤S204中，相关度计算单元112将在输入图像中大小与初始基准图像302的大小相同的部分区域设置为参考区域。在步骤S205中，相关度计算单元112计算参考区域和初始基准图像302的相互对应的位置的像素之间的差的和。所计算出的差的和越小，相关度(相似度)越高。在步骤S206中，相关度计算单元112判断在输入图像中设置参考区域时是否已经针对所有参考区域计算了相关度。如果剩余还没有计算相关度的区域(步骤S206中为“否”)，则在步骤S204中，相关度计算单元112在预定方向上将参考区域的位置偏移预定像素数，将该位置设置为参考区域的下一位置，并重复后续的处理。

如果已经针对要在输入图像中设置的所有参考区域计算了相关度(步骤S206中为“是”)，则在步骤S207中计算最大相关度和具有最大相关度的区域。即，计算输入图像中的部分区域中的各像素和初始基准图像302中的对应像素之间的差的和最小的区域。注意，可以使用计算两个图像之间的相关度的各种方法，在该实施例中的处理仅是可使用方法的示例。

在步骤S208中，被摄体提取单元113判断是否已经在基准图像登记单元111中登记更新基准图像。如果还没有登记更新基准图像(步骤S208中为“否”)，则在步骤S211中，被摄体提取单元113提取与初始基准图像302的相关度最高的区域作为被摄体区域。在图3B中示出的被摄体提取结果303例示了提取的结果。在步骤S213中，基准图像登记单元111基于被摄体提取结果303登记更新基准图像304。此时，在基准图像登记单元111中登记两个基准图像。

以上说明了紧挨在跟踪开始之后的被摄体跟踪单元110的处理流。接着将说明在后续时刻的被摄体跟踪单元110的处理流。

相关度计算单元112不仅计算输入图像和初始基准图像302之间的相关度，还计算输入图像和更新基准图像304之间的相关度，并针对各基准图像计算最大相关度和具有最大相关度的区域(在图2中的步骤S203～S207)。

由于已经在基准图像登记单元111中登记了更新基准图像，所以被摄体提取单元113在步骤S209中判断针对初始基准图像302获得的最大相关度是否等于或高于预定阈值。如果针对初始基准图像302获得的最大相关度等于或高于预定阈值(步骤S209中为“是”)，则在步骤S211中，被摄体提取单元113在输入图像中提取与初始基准图像302的相关度最高的区域作为被摄体区域。另一方面，如果与初始基准图像302的最大相关度低于预定阈值(步骤S209中为“否”)，则被摄体提取单元113在步骤S210中判断针对初始基准图像302获得的最大相关度是否等于或高于针对更新基准图像304获得的最大相关度。如果针对初始基准图像302获得的最大相关度等于或高于针对更新基准图像304获得的最大相关度(步骤S210中为“是”)，则被摄体提取单元113使处理进入步骤S211。在步骤S211中，被摄体提取单元113在输入图像中提取与初始基准图像302的相关度最高的区域作为被摄体区域。另一方面，如果针对初始基准图像302获得的最大相关度低于针对更新基准图像304获得的最大相关度(步骤S210中为“否”)，则在步骤S211中，被摄体提取单元113在输入图像中提取具有针对更新基准图像304获得的最高相关度的区域作为被摄体区域。

在步骤S213中，基准图像登记单元111基于被摄体提取结果对更新基准图像进行更新。通过将上述处理顺次应用至由图像传感器102连续拍摄并输入至被摄体跟踪单元110的多个输入图像，可以针对多个输入图像跟踪特定被摄体。

例如，如图3C所示，在被摄体的外观相对于跟踪开始时显著变化的情况下，针对初始基准图像302获得的最大相关度低于阈值。然后，针对更新基准图像304获得的最大相关度等于或高于针对初始基准图像302获得的最大相关度。在这种情况下，具有针对更新基准图像304获得的最高相关度的区域305由被摄体提取单元113提取为被摄体区域。提取的被摄体区域305在基准图像登记单元111中登记为新的更新基准图像306。

当处理继续，并且被摄体的外观的状态与跟踪开始时相似时(图3D)，不同于图3C中示出的状态，针对初始基准图像302获得的最大相关度变得等于或高于阈值。在该情况下，具有针对初始基准图像302获得的最大相关度的区域307由被摄体提取单元113提取为被摄体区域。提取的被摄体区域307在基准图像登记单元111中登记为新的更新基准图像308。

这里将说明进行如下处理的原因：在该实施例中，被摄体提取单元113根据针对初始基准图像获得的最大相关度是否等于或高于预定阈值，而不使用针对初始基准图像获得的最大相关度和针对更新基准图像获得的最大相关度之间的比较结果，来提取被摄体区域。

初始基准图像和输入图像之间的摄像时刻的差在开始跟踪之后增加，所以与跟踪开始时的最大相关度相比，最大相关度一般更可能具有随时间变小的值。相反，根据需要对更新基准图像进行更新，所以更新基准图像和输入图像之间的摄像时刻的差被保持在几乎恒定的小的值，最大相关度更可能被计算为相对高的值。在针对初始基准图像获得的最大相关度和针对更新基准图像获得的最大相关度之间进行简单比较时，随着开始跟踪之后的时间的过去，后者更可能变得比前者高。

这种趋势与更新基准图像是否恰当地与被摄体区域一致无关。当因为例如被摄体部分隐藏在遮蔽物之后而使被摄体提取区域包括不同于被摄体的区域时，更新基准图像同样包括不同于被摄体的区域。然而，即使是这样的更新基准图像，由于其与输入图像的摄像时刻的差小，因此针对该更新基准图像获得的最大相关度也更可能变得更高。因此，当与具有高的最大相关度的基准图像相对应的区域被简单提取为被摄体区域时，连续跟踪不存在被摄体的区域。

相反，初始基准图像基于由用户指定为被摄体区域的区域或由被摄体检测功能检测到的被摄体区域，所以具有高相关度的区域很可能为被摄体区域。考虑到基准图像之间的特性的差异，为了适当地执行被摄体跟踪，被摄体提取单元113根据与初始基准图像的最大相关度是否等于或高于预定阈值，来决定是基于初始基准图像还是更新基准图像来提取被摄体区域。

在该实施例中，在基准图像登记单元111中登记两个基准图像：初始基准图像和更新基准图像。然而，可以登记基于从在不同时刻输入至被摄体跟踪单元110的图像中提取的被摄体区域的多个基准图像，并且可以使用基于第一输入图像的第一基准图像和基于在第一输入图像之后输入的第二输入图像的第二基准图像。而且，虽然在上述说明中在开始被摄体跟踪时登记初始基准图像，但可以在从开始被摄体跟踪起经过预定时间之后登记初始基准图像，或在对由被摄体指定单元109指定的区域聚焦之后登记初始基准图像。此外，虽然在上述说明中基于被摄体提取结果对更新基准图像顺次进行更新，但例如可以设置仅在相关度等于或高于阈值的情况下进行更新这一条件。可以生成被摄体提取结果和在时间上最接近该被摄体提取结果的更新基准图像之间的平均图像，并将该平均图像登记为新的更新基准图像。

如上所述，根据该实施例，登记基于从不同时刻输入的图像中提取的被摄体区域的多个基准图像，例如与开始跟踪时指定的被摄体区域相对应的初始基准图像和基于被摄体提取结果而顺次更新的更新基准图像。针对多个基准图像获得输入图像的相关度。如果针对基于老的输入图像的基准图像获得的最大相关度低于阈值，则根据基于新的输入图像的基准图像提取被摄体区域，并且使用提取的被摄体区域更新基于新的输入图像的基准图像。由于使用顺次更新的更新基准图像，可以改善对于被摄体的外观的改变的跟踪能力，并且防止由于使用错误内容对更新基准图像进行更新而导致的错误的跟踪。而且，当基于老的输入图像提取被摄体区域时，基于新的输入图像的基准图像的内容被与基于老的输入图像的基准图像的相关度高的图像代替。因此，即使基于新的输入图像的基准图像在更新处理中包括与被摄体不同的区域，也可以自动恢复为适当的内容。以这种方式，即使被摄体的外观改变，也可以进行稳定的被摄体跟踪。

第二实施例

接着将参考图4～6C，通过主要集中在与第一实施例的不同之处，来说明作为根据本发明的第二实施例的被摄体跟踪设备的示例的摄像设备。注意，与根据第一实施例的图1～3D中的附图标记相同的附图标记在图4～6C中表示相同的结构和操作，将不再重复给出其说明。

根据该实施例的摄像设备400与第一实施例中的摄像设备100的不同之处在于，被摄体跟踪单元401具有不同于被摄体跟踪单元110的结构。更具体地，摄像设备400与第一实施例中的摄像设备100的不同之处在于：在摄像设备400中，特征量提取单元402、特征一致度判断单元403和判断阈值设置单元404被添加为被摄体跟踪单元401的构成元件。

特征量提取单元402从在基准图像登记单元111中登记的基准图像中提取特征量。提取了特征量的基准图像基于例如基于在开始被摄体跟踪时由被摄体指定单元109指定的区域而登记的初始基准图像，即所登记的基准图像中基于最老的所拍摄图像(最老的输入图像)的基准图像。特征量提取单元402例如生成在基准图像中的预定区域中包括的像素的预定成分的值的直方图，并提取频率等于或高于预定阈值的值作为特征量。生成直方图所针对的像素成分例如与相关度计算单元112计算相关度所使用的像素成分相同。像素成分的具体例子包括由使用色调(H)、饱和度(S)和明度(V)的HSV表示所表示的HSV图像中的色调(H)。注意，可使用各种特征量提取方法，该实施例中的处理仅为示例。

特征一致度判断单元403将由图像传感器102顺次拍摄的图像设置为输入图像，并判断输入图像与由特征量提取单元402提取的特征量的一致度。与特征量的一致度的意思是被判断为与由特征量提取单元402提取的特征量一致的像素数相对于输入图像中的总像素数的比。注意，可以使用判断与特征量的一致度的各种方法，该实施例中的处理仅为示例。

判断阈值设置单元404根据与由特征一致度判断单元403获得的与特征量的一致度，改变在由被摄体提取单元113判断被摄体区域的处理中的阈值，更具体地，改变在第一实施例的步骤S209中的判断处理中的阈值。该阈值被用于与针对在基准图像登记单元111中登记的多个基准图像中基于最老输入图像的基准图像(例如，初始基准图像)而获得的最大相关度进行比较。判断阈值设置单元404随着输入图像与特征量的一致度变得越高而将阈值设置得越大，随着一致度变得越低而将阈值设置得越小。阈值变得越大，在步骤S209中的判断越可能为“否”，越可能基于更新基准图像提取被摄体区域。另一方面，阈值变得越小，越可能基于初始基准图像提取被摄体区域。这是因为，随着输入图像与特征量的一致度变得越低，具有与初始基准图像相同的特征的区域越少，与初始基准图像的相关度高的区域是被摄体区域的可能性增加。反之，随着输入图像与特征量的一致度变得越高，具有与初始基准图像相同的特征的区域越多，具有高相关度的区域是被摄体区域的可能性减小。

以这种方式，该实施例的特征在于：“在输入图像中与在基准图像登记单元111中登记的多个基准图像中基于最老输入图像的基准图像的相关度最高的区域被提取为被摄体区域的可能性”被动态调整为随着“输入图像和基于最老输入图像的基准图像的特征量之间的一致度”变高而变低，并且随着所述一致度变低而变高。

被摄体跟踪单元401的操作

接着将参考图5和6A～6C，通过主要集中在与第一实施例的不同之处，来详细说明被摄体跟踪单元401的处理。在以下说明中，如在第一实施例中一样，图5是示出根据第二实施例的被摄体跟踪处理的流程图。图6A～6C是用于说明被摄体跟踪的图。在以下说明中，如在第一实施例中一样，假定要检测和跟踪的特定被摄体是人的面部。还假定在基准图像登记单元111中登记两个基准图像：初始基准图像和更新基准图像。

注意，与图2相同的附图标记在图5中表示相同的处理，不再重复给出其说明。注意，步骤S505总地表示图2中的步骤S204～S207中的处理，步骤S508总地表示图2中的步骤S208～S212中的处理。

在步骤S201～S202中的处理中，被摄体跟踪单元401基于由被摄体指定单元109指定的部分区域，从输入图像中登记初始基准图像。图6A例示了初始基准图像601。在步骤S503中，特征量提取单元402从初始基准图像中的预定区域，在该情况下即从整个输入图像中提取预定特征量。在该情况下，作为特征量，采用由HSV颜色空间表示初始基准图像时的像素的色调(H)的值。如图6A所示，特征量提取单元402生成针对初始基准图像601中的各像素的色调直方图602。特征量提取单元402提取表示频率等于或高于预定阈值的色调值的范围作为色调直方图602中的特征量。如初始基准图像一样，在继续被摄体跟踪的时间段内保持提取的特征量。在这种情况下，特征量提取单元402保持特征量。

当在步骤S203中读取下一输入图像时，相关度计算单元112以与图2的步骤S204～S207相同的方式，针对各参考区域计算输入图像(要搜索的图像)针对各基准图像的相关度。注意，在没有登记更新基准图像的时间段内，相关度计算单元112仅计算输入图像和初始基准图像之间的相关度。

在步骤S506中，特征一致度判断单元403对在输入图像中包括的像素中与保持在特征量提取单元402中的初始基准图像的特征量一致(色调值包括在特征量的范围中)的像素数进行计数，并计算像素数相对于总像素数的比。例如，特征一致度判断单元403根据输入图像生成具有与特征量一致的白像素和与特征量不一致的黑像素的二值图像，并计算白像素数相对于总像素数的比作为输入图像与特征量的一致度。图6B例示了时刻n时的输入图像603以及通过使用从图6A中示出的色调直方图602获得的特征量来二值化输入图像603而获得的图像604。而且，图6C例示了时刻m(m＞n)时的输入图像605以及通过使用从图6A中示出的色调直方图602获得的特征量来二值化输入图像605而获得的图像606。

在步骤S507中，判断阈值设置单元404根据输入图像与特征量的一致度，设置被摄体提取单元113在图2的步骤S209中判断表示针对初始基准图像获得的最大相关度的区域是否被设置为被摄体区域所使用的阈值。如在图6B中示出的输入图像603中一样，如果输入图像与特征量的一致度低，则判断阈值设置单元404将阈值设置为小，以使得更可能基于与初始基准图像的相关度提取被摄体区域。这是因为，可以通过初始基准图像的特征量将被摄体与被摄体以外的区域分离，因此表示与初始基准图像的最大相关度的区域是要跟踪的区域的可靠性高。另一方面，如在图6C中示出的输入图像605中一样，如果与特征量的一致度高，则判断阈值设置单元404将阈值设置为大，以使得更不可能基于与初始基准图像的相关度提取被摄体区域。这是因为，不能通过初始基准图像的特征量将被摄体与被摄体以外的区域分离，因此表示与初始基准图像的最大相关度的区域是不同于要跟踪的区域的区域的可能性高。

在步骤S508中，被摄体提取单元113以与图2的步骤S208～S212相同的方式提取被摄体区域。在步骤S213中，基准图像登记单元111基于在步骤S508中获得的被摄体提取结果登记(更新)更新基准图像。

通过将上述处理顺次应用至由图像传感器102连续拍摄并输入至被摄体跟踪单元110的多个输入图像，可以针对多个输入图像跟踪特定被摄体。

以这种方式，根据该实施例，获得输入图像与多个基准图像中基于最老输入图像的基准图像的特征量的一致度。如果一致度相对较高，则更不可能基于与基于最老输入图像的基准图像的相关度提取被摄体区域。另一方面，如果一致度相对较低，则更可能基于与基于最老输入图像的基准图像的相关度提取被摄体区域。这不仅可以获得第一实施例的效果，还改善了被摄体跟踪精度。

第三实施例

摄像设备的结构和操作

图7是示出作为根据本发明第三实施例的被摄体跟踪设备的示例的摄像设备700的功能结构的示例的框图。与图1中相同的附图标记在图7中表示相同的功能块，将不再重复给出其说明。

被摄体区域提取单元710从在图像处理单元106所提供的图像中由被摄体指定单元109指定的区域中，提取目标被摄体区域。被摄体区域提取单元710包括特征量提取单元711、偏移检测单元712和区域校正单元713(全部将在后面说明)。

特征量提取单元711从在图像处理单元106所提供的图像中由被摄体指定单元109指定的区域中的预定区域中，提取表示目标被摄体的特征的特征量。后面将详细说明特征量提取单元711。

偏移检测单元712基于在图像处理单元106所提供的图像中由被摄体指定单元109指定的区域内与由特征量提取单元711提取的特征量一致的特征像素的分布，检测指定区域中的目标被摄体区域的偏移量和偏移方向。后面将详细说明偏移检测单元712。

区域校正单元713根据由偏移检测单元712检测到的偏移量和偏移方向，校正由被摄体指定单元109指定的区域的位置。被摄体区域提取单元710提取校正了位置的指定区域中的图像作为被摄体区域。

特征量提取单元711的结构和操作

这里将参考图8A说明图7中示出的特征量提取单元711的结构和操作的例子。特征量提取单元711包括直方图生成单元801、特征空间设置单元802、饱和度值计算单元803和特征成分加权单元804。

特征量提取单元711从在图像处理单元106所提供的图像中由被摄体指定单元109指定的区域(以下被称为指定区域)中，提取表示目标被摄体的特征的特征量。虽然图像处理单元106所提供的图像由包括色调(H)、饱和度(S)和明度(V)的HSV颜色空间表示，但本发明不限于此，该图像可以由例如包括色调(H)、饱和度(S)和亮度(L)的HLS颜色空间表示。首先，直方图生成单元801从指定区域中的各像素中生成色调成分和明度成分的直方图。

特征空间设置单元802根据由直方图生成单元801生成的色调成分和明度成分的直方图设置特征空间。注意，在各色调成分和明度成分的直方图中，具有最大频率的值被设置为特征空间。可替换地，由具有等于或大于预定阈值的频率的色调成分和明度成分表示的空间可以被设置为特征空间。或者，由如下的色调成分和明度成分表示的空间可以被设置为特征空间：在该色调成分和明度成分中，在图像处理单元106所提供的图像中的指定区域内存在的像素数相对于在该图像上除指定区域以外的区域中存在的像素数的比等于或高于预定阈值。换言之，由集中分布在指定区域内的色调成分和明度成分表示的颜色空间可以被设置为特征空间。

饱和度值计算单元803针对指定区域内的各像素判断属于由特征空间设置单元802设置的色调成分的特征空间的像素，并计算平均值作为所述像素组的饱和度的代表值。属于色调成分的特征空间的像素的饱和度的代表值可以是由诸如用中值代替平均值的其它计算方法获得的值。

特征成分加权单元804对由特征空间设置单元802设置为特征空间的色调成分和明度成分进行加权。更具体地，特征成分加权单元804将阈值与由饱和度值计算单元803计算出的饱和度的平均值进行比较，在饱和度的平均值等于或大于阈值的情况下对色调成分的特征空间进行加权，或在该平均值小于阈值的情况下对明度成分的特征空间进行加权，从而检测偏移。特征成分加权单元804将加权后的色调成分和/或明度成分的特征空间作为被摄体的特征量输出至偏移检测单元712。将在后面更详细地说明所述加权。

偏移检测单元的结构和操作

接着将参考图8B说明图7中示出的偏移检测单元712的结构的例子。偏移检测单元712包括区域分割单元805、特征分布判断单元806和偏移计算单元807。

偏移检测单元712基于与特征量提取单元711提取的特征量一致的像素(具有提取为特征量的特定色调和/或明度成分的像素，以下将被称为特征像素)的分布，检测指定区域内的目标被摄体区域的位置的偏移。区域分割单元805通过对称轴分割指定区域，该对称轴分别在垂直方向和水平方向上对指定区域进行二等分。特征分布判断单元806针对指定区域内的各像素，将属于由特征量提取单元711提取的特征量的像素判断为特征像素。特征分布判断单元806计算在由区域分割单元805分割得到的各区域中的特征像素数。

偏移计算单元807根据在分割出的各区域中的特征像素数，计算指定区域内的目标被摄体区域的偏移量和偏移方向。偏移方向是垂直于各对称轴并且指向两个分割出的区域中具有较大特征像素数的区域的方向。而且，校正量是与两个分割出的区域之间的特征像素数的差相对应的值，从而在校正指定区域的位置时，特征像素的分布关于作为中心的各对称轴的偏移减小。即，根据由垂直轴分割出的两个区域之间的特征像素数的差决定水平校正量，并根据由水平轴分割出的两个区域之间的特征像素数的差决定垂直校正量。虽然在该实施例中给出在水平和垂直方向上将被摄体区域分割成两个区域的例子，但被摄体区域可以以任意方式被分割，只要可以分割成多个对称区域使得可以检测区域中的特征像素的分布的偏移即可。

在该实施例中例示了包括被摄体区域提取单元710的摄像设备700，被摄体区域提取单元710基于由被摄体指定单元109指定的区域提取目标被摄体区域。然而，代替输入接口，摄像设备700的被摄体指定单元109可以具有根据用于焦点控制机构或曝光控制机构的图像中的预定区域(例如，AF框或测光框)指定目标被摄体区域的结构。

被摄体区域提取处理

这里将参考图9～12D说明由该实施例中的被摄体区域提取单元710执行的被摄体区域提取处理。被摄体区域提取单元710进行如图9中所示的步骤S901～S905中的处理。步骤S902是特征量提取单元711的处理，步骤S903是偏移检测单元712的处理，以及步骤S904是区域校正单元713的处理。而且，特征量提取单元711进行如图10所示的步骤S1001～S1006中的处理。步骤S1001是直方图生成单元801的处理，步骤S1002是特征空间设置单元802的处理，步骤S1003是饱和度值计算单元803的处理，以及步骤S1004～S1006是特征成分加权单元804的处理。此外，偏移检测单元712进行如图11所示的步骤S1101～S1109中的处理。步骤S1101是区域分割单元805的处理，步骤S1102和S1103是特征分布判断单元806的处理，以及步骤S1104～S1109是偏移计算单元807的处理。

参考图12A～12D，在输入图像1201中，由点线表示的矩形围绕的区域与由被摄体指定单元109指定的区域相对应。图像1202是二值图像，其中具有由特征量提取单元711提取的特征量的像素由白色表示，不具有所述特征量的像素由黑色表示。图像1203通过在水平和垂直方向上分割指定区域来获得。图像1204是通过由区域校正单元713校正指定区域的位置并提取校正后的指定区域作为被摄体区域而获得的被摄体提取结果图像。

在图9的步骤S901中，被摄体区域提取单元710读取由图像传感器102顺次拍摄的图像作为输入图像，并将在输入图像1201中由被摄体指定单元109指定的区域设置为例如在图12A的输入图像1201中示出的由点线表示的矩形。接着，在步骤S902中，特征量提取单元711从在步骤S901中指定的区域内的像素提取表示目标被摄体的特征量。

这里将参考图10说明特征量提取处理。首先，在图10的步骤S1001中，特征量提取单元711的直方图生成单元801根据指定区域内的各像素生成色调成分和明度成分的直方图。接着，在步骤S1002中，特征量提取单元711的特征空间设置单元802将在直方图中具有最大频率的色调成分和明度成分的值设置为各成分的特征空间。在步骤S1003中，特征量提取单元711的饱和度值计算单元803针对指定区域内的各像素判断属于色调成分的特征空间的像素，并计算被判断为属于所述空间的像素的饱和度的平均值。

在步骤S1004中，特征量提取单元711的特征成分加权单元804判断计算出的饱和度的平均值是否等于或大于预定阈值。如果饱和度的平均值等于或大于预定阈值(步骤S1004中为“是”)，则被摄体具有彩色，从而特征成分加权单元804在步骤S1005中设置主要承载色调成分的特征空间的信息的特征量。另一方面，如果饱和度的平均值小于预定阈值(步骤S1004中为“否”)，则被摄体没有彩色，从而特征成分加权单元804在步骤S1006中设置主要承载明度成分的特征空间的信息的特征量。

这里将说明特征成分加权单元804的特征成分加权处理(步骤S1004～S1006)。考虑到需要将目标被摄体区域和诸如背景的其它区域相互分离所使用的特征量，从分离被摄体区域和其它区域来说，色调成分是出色的，因为色调成分很少受照明变动的影响。然而，如果目标被摄体没有彩色(具有小的饱和度值)，则对于色调成分来说分离被摄体区域和其它区域通常是困难的。相反，明度成分受到照明变动的影响，因此利用明度成分分离被摄体区域和其它区域的精度比在目标被摄体具有彩色(具有大的饱和度值)的情况下利用色调成分的分离精度低。基于所述两种类型的成分的特性，特征成分加权单元804根据饱和度的平均值对特征成分进行加权以获得最终的特征量。

例如，可以进行加权，以使得在饱和度的平均值等于或大于预定阈值的情况下仅将色调成分的特征空间设置为特征量，并且在饱和度的平均值小于预定阈值的情况下仅将明度成分的特征空间设置为特征量。还可以进行加权，以在饱和度的平均值等于或大于预定阈值的情况下，针对色调成分的特征空间设置窄的范围，并针对明度成分的特征空间设置宽的范围，从而将色调成分和明度成分的特征空间设置为特征量。在这种情况下，属于形成特征量的两个特征空间的像素被设置为特征像素。注意，针对“宽的范围”，将以最大频率的值作为中心的、相对较宽的值的范围设置为特征量，以及针对“窄的范围”，将以最大频率的值作为中心的、相对较窄的值的范围(例如，仅仅最大频率的值)设置为特征量。这基于在目标被摄体具有彩色(具有大的饱和度值)的情况下、在被摄体区域中色调方差小并且明度方差大的特性。另一方面，如果饱和度的平均值小于预定阈值，则可以针对色调成分的特征空间设置宽的范围，并针对明度成分的特征空间设置窄的范围，从而将属于色调成分和明度成分的特征空间的像素设置为特征像素。这基于在目标被摄体没有彩色(具有小的饱和度值)的情况下、在被摄体区域中色调方差大的特性。

上述特征成分加权单元804的加权仅仅为示例，本发明不限于此。例如，取代饱和度或除饱和度之外，可以根据除色调和明度以外的、诸如从被摄体区域获得的亮度或色差的颜色信息，来改变对多种类型的特征成分进行加权的比。而且，虽然在该实施例中例示了使用明度成分和色调成分的特征空间至少之一来提取特征量的处理，但特征量提取方法不限于上述处理。例如，为了改善特征空间中的被摄体和其它区域之间的分离性能，可以针对饱和度设置最大值和最小值以使特征空间的范围变窄。而且，在使用色调成分和明度成分的特征空间时，可以根据饱和度的平均值是否等于或大于预定阈值来改变它们的加权比。例如，如果饱和度的平均值等于或大于预定阈值，则可以在以2∶1对包括在色调成分的特征空间中的像素和包括在明度成分的特征空间中的像素进行加权时，在步骤S903(将在后面说明)中检测被摄体区域的位置的偏移。相反，如果饱和度的平均值小于预定阈值，则可以在以1∶2对包括在色调成分的特征空间中的像素和包括在明度成分的特征空间中的像素进行加权时，在步骤S903(将在后面说明)中检测被摄体区域的位置的偏移。可替换地，包括在色调成分的特征空间中的像素和包括在明度成分的特征空间中的像素之间的加权比可以被连续改变。

参考图9，在步骤S903中，偏移检测单元712将具有在步骤S902中提取的特征量的像素判断为特征像素，并从特征像素的分布检测指定区域内的目标被摄体区域的位置的偏移。这里将参考图11说明偏移检测处理。首先，在图11的步骤S1101中，区域分割单元805设置垂直轴和水平轴以对指定区域进行四等分，如图12C的图像1203所示。接着，在步骤S1102中，特征分布判断单元806针对指定区域内的各像素判断具有所提取的特征量的特征像素。通过使用白色表示特征像素并使用黑色表示非特征像素来获得图12B中示出的二值图像1202和在图12C中示出的指定区域分割图像1203(注意，框和轴不是图像)。

在步骤S1103中，偏移计算单元807计算各分割区域中的特征像素数。在步骤S1104中，偏移计算单元807判断由水平轴分割出的区域之间的特征像素数的差(指定区域分割图像1203中的上部两个分割区域中包括的特征像素数和下部两个分割区域中包括的特征像素数之间的差)是否等于或大于预定阈值。如果该差等于或大于阈值(S1104中为“是”)，则偏移计算单元807在步骤S1105中检测到存在垂直偏移。另一方面，如果该差小于阈值(S1104中为“否”)，则偏移计算单元807判断为不存在垂直偏移(S1106)。在图12C中示出的指定区域分割图像1203的情况下，偏移计算单元807判断为不存在垂直偏移。

在步骤S1107中，偏移计算单元807判断由垂直轴分割出的区域之间的特征像素数的差(在指定区域分割图像1203中的左边两个分割区域中包括的特征像素数和右边两个分割区域中包括的特征像素数之间的差)是否等于或大于预定阈值。如果该差等于或大于阈值(S1107中为“是”)，则偏移计算单元807在步骤S1108中检测到水平偏移的存在。另一方面，如果该差小于阈值(S1107中为“否”)，则偏移计算单元807判断为不存在水平偏移(S1109)。在图12C中示出的指定区域分割图像1203的情况下，偏移计算单元807检测到存在水平偏移。注意，偏移计算单元807基于检测到被摄体区域具有偏移的方向上特征像素数的差来确定校正量。

再参考图9，在步骤S904中，区域校正单元713根据所检测到的偏移量和偏移方向来校正指定区域的位置，从而使检测到的偏移减小。在步骤S905中，如在图12D的被摄体提取结果图像1204中示出的由点线表示的矩形所围绕的区域一样，区域校正单元713提取校正后的指定区域作为被摄体区域。区域校正单元713将被摄体区域的位置信息输出至控制单元105和图像处理单元106。通过在向右方向上校正指定区域的位置来获得图12D中示出的被摄体提取结果图像1204。

虽然在上述处理中通过将校正后的指定区域判断为被摄体区域来提取被摄体，但可以进行以下处理。即，通过偏移检测单元712再次检测校正后的指定区域的偏移，如果检测到偏移，则由区域校正单元713基于所检测到的偏移量和偏移方向来校正指定区域。另一方面，如果没有检测到偏移，则原样提取指定区域作为被摄体区域。即，重复执行偏移检测单元712和区域校正单元713的处理，直到偏移稳定。

根据该实施例，即使图像中的指定区域和图像中的目标被摄体的位置相互偏移，也从指定区域提取特征量，从指定区域内的特征像素的分布检测目标被摄体的位置的偏移，并校正指定区域。这可以提取目标被摄体区域。

在该实施例中说明了进行从图像中提取被摄体区域的处理的被摄体区域提取设备。然而，本发明可以应用至针对被摄体区域提取结果从以时间序列顺次提供的图像中提取被摄体区域、并以时间序列跟踪被摄体的被摄体跟踪设备。例如，可以通过将提取的被摄体区域登记为基准图像，并提取具有在基准图像和以时间序列顺次提供的图像的部分区域之间的最高相关度的区域来跟踪被摄体。

其它实施例

在上述实施例中各自说明了作为被摄体跟踪设备的示例的摄像设备。然而，本发明不仅适用于摄像设备，还适用于如之前所述的各种装置。例如，当本发明应用至用于播放/显示图像数据的设备时，诸如使用关于图像数据中的被摄体区域的信息(例如，图像中的被摄体的位置或大小)来设置图像数据的播放条件或显示条件的应用是可能的。更具体地，可以以重叠方式在图像中的被摄体位置处显示诸如框的表示被摄体的信息，并可以根据被摄体部分的亮度和颜色信息来控制诸如亮度和色调的显示条件以适当地显示被摄体部分。

而且，上述实施例仅是示例，本发明不限于此。在上述实施例中的结构和操作可以根据需要改变。例如，在第三实施例中的区域校正单元713不仅可以校正被摄体区域，还可以校正被摄体区域的大小和形状。为了校正被摄体区域的大小，例如，在校正了位置的区域的外周方向的各边上判断特征像素的分布度，并在特征像素的分布度相对较高的情况下，提取包括该边的区域作为被摄体区域。而且，在校正了位置的区域的内周方向的各边上判断特征像素的分布度，并在特征像素的分布度相对较低的情况下，提取排除该边的区域作为被摄体区域。这可以提取适当的被摄体区域。

此外，根据第三实施例的被摄体区域提取单元710可以设置在根据第一和第二实施例的摄像设备100中，在第三实施例中提取的被摄体区域可以用作在第一和第二实施例中的基准图像。

在该情况下，在步骤S202中，基准图像登记单元111可以将第三实施例中的区域校正应用至由被摄体指定单元109指定的部分区域301以获得初始基准图像302。

本发明的方面还可以通过读出和执行记录在存储装置上的程序来执行上述实施例的功能的系统或设备的计算机(或诸如CPU或MPU等的装置)、以及通过其步骤由系统或设备的计算机通过例如读出和执行记录在存储装置上的程序来执行上述实施例的功能而执行的方法来实现。为此目的，例如经由网络或从用作存储装置的各种类型的记录介质(例如，计算机可读介质)中将程序提供至计算机。

虽然可以通过硬件、软件或其结合来实现附图中的功能块，但通常不需要设置以一对一的对应方式来实现功能块的结构。可以通过一个软件或硬件模块来实现多个功能块。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (14)

1.一种被摄体跟踪设备，其在以时间序列输入至所述被摄体跟踪设备的多个输入图像中跟踪图像中的特定被摄体，所述被摄体跟踪设备包括：

计算部件，用于针对在登记部件中登记的多个基准图像中的各基准图像，获得输入图像的最大相关度和包括在输入图像中并具有该最大相关度的区域；以及

第一判断部件，用于从由所述计算部件获得的区域中判断输入图像中的所述特定被摄体的区域，

其中，所述多个基准图像包括第一基准图像和第二基准图像，所述第一基准图像基于所述多个输入图像中的第一输入图像中、被指定为所述特定被摄体的区域的区域，并且不更新，所述第二基准图像基于所述多个输入图像中在所述第一输入图像之后以时间序列输入至所述被摄体跟踪设备的多个第二输入图像中的各第二输入图像中、由所述第一判断部件判断为所述特定被摄体的区域的区域而更新，以及

在由所述计算部件针对所述第一基准图像获得的最大相关度不小于预定阈值的情况下，所述第一判断部件将与所述第一基准图像的相关度最大的区域判断为输入图像中的所述特定被摄体的区域，并且在由所述计算部件针对所述第一基准图像获得的最大相关度小于所述预定阈值的情况下，所述第一判断部件将与所述第二基准图像的相关度最大的区域判断为输入图像中的所述特定被摄体的区域。

2.根据权利要求1所述的被摄体跟踪设备，其特征在于，还包括：

提取部件，用于提取所述第一基准图像的特征量；

第二判断部件，用于判断输入图像与所述特征量的一致度；以及

设置部件，用于根据所述第二判断部件的判断结果来设置所述预定阈值，

其中，所判断出的输入图像与所述特征量的一致度越高，所述设置部件所设置的所述预定阈值越大，并且所判断出的输入图像与所述特征量的一致度越低，所述设置部件所设置的所述预定阈值越小。

3.根据权利要求2所述的被摄体跟踪设备，其特征在于，所述提取部件生成包括在所述第一基准图像中的像素的预定成分的值的直方图，并提取频率不小于预定阈值的值。

4.根据权利要求3所述的被摄体跟踪设备，其特征在于，所述第二判断部件对包括在输入图像中的像素中与所述特征量一致的像素的数量进行计数，并将与所述特征量一致的像素的数量相对于整个输入图像中的总像素数的比判断为输入图像与所述特征量的一致度。

5.根据权利要求1到4中任一项所述的被摄体跟踪设备，其特征在于，还包括：

指定部件，用于指定输入图像中的区域，

其中，由用户经由所述指定部件指定所述第一输入图像中的所述特定被摄体的区域。

6.一种被摄体跟踪设备的控制方法，所述被摄体跟踪设备在以时间序列输入至所述被摄体跟踪设备的多个输入图像中跟踪图像中的特定被摄体，所述控制方法包括：

计算步骤，用于针对在登记部件中登记的多个基准图像中的各基准图像，获得输入图像的最大相关度和包括在输入图像中并具有该最大相关度的区域；以及

第一判断步骤，用于从在所述计算步骤中获得的区域中判断输入图像中的所述特定被摄体的区域，

其中，所述多个基准图像包括第一基准图像和第二基准图像，所述第一基准图像基于所述多个输入图像中的第一输入图像中、被指定为所述特定被摄体的区域的区域，并且不更新，所述第二基准图像基于所述多个输入图像中在所述第一输入图像之后以时间序列输入至所述被摄体跟踪设备的多个第二输入图像中的各第二输入图像中、在所述第一判断步骤中判断为所述特定被摄体的区域的区域而更新，以及

在所述第一判断步骤中，在所述计算步骤中针对所述第一基准图像获得的最大相关度不小于预定阈值的情况下，将与所述第一基准图像的相关度最大的区域判断为输入图像中的所述特定被摄体的区域，并且在所述计算步骤中针对所述第一基准图像获得的最大相关度小于所述预定阈值的情况下，将与所述第二基准图像的相关度最大的区域判断为输入图像中的所述特定被摄体的区域。

7.一种被摄体区域提取设备，用于从图像中提取预定被摄体的区域，包括：

指定部件，用于从所述图像中指定包括所述预定被摄体的区域；

提取部件，用于从由所述指定部件指定的区域中提取所述预定被摄体的特征量；

检测部件，用于基于包括在所指定的区域中的、与所述预定被摄体的特征量一致的特征像素的分布，检测所指定的区域中的所述预定被摄体的位置的偏移；以及

校正部件，用于校正所指定的区域的位置，以使得所指定的区域中的所述预定被摄体的位置的偏移减小，

其中，所述提取部件使用所指定的区域内的各像素的色调成分和明度成分至少之一来提取所述特征量，并在根据从被摄体获得的颜色信息改变对色调成分和明度成分进行加权的比时，再次提取所述特征量。

8.根据权利要求7所述的被摄体区域提取设备，其特征在于，所述提取部件还包括：

直方图生成部件，用于根据所指定的区域中的各像素，生成色调成分的直方图和明度成分的直方图；

设置部件，用于根据由所述直方图生成部件生成的各直方图，设置色调成分和明度成分的特征空间；

计算部件，用于针对所指定的区域中的各像素，计算属于由所述设置部件设置的色调成分的特征空间的像素的饱和度；以及

加权部件，用于基于所述饱和度和阈值之间的比较，对均被设置为所述特征量的色调成分和明度成分的特征空间进行加权，

其中，在由所述计算部件计算出的饱和度的值不小于所述阈值的情况下，所述加权部件主要对色调成分的特征空间进行加权，并且在所述饱和度的值小于所述阈值的情况下，所述加权部件主要对明度成分的特征空间进行加权。

9.根据权利要求7所述的被摄体区域提取设备，其特征在于，所述检测部件针对包括在被摄体区域中的各像素，将属于由所述提取部件提取出的特征量的像素判断为特征像素。

10.根据权利要求7所述的被摄体区域提取设备，其特征在于，所述检测部件设置用于至少二等分所指定的区域的一条以上的直线，计算由所述直线分割出的两个以上的区域中的特征像素数的差，并在所计算出的差不小于阈值的情况下检测到存在偏移。

11.根据权利要求10所述的被摄体区域提取设备，其特征在于，所述校正部件在如下方向上根据与偏移相对应的量来校正所指定的区域：该方向与所设置的用于至少二等分所指定的区域的一条以上的直线垂直，并指向由所述直线分割出的两个以上的区域中特征像素数较大的区域。

12.根据权利要求7所述的被摄体区域提取设备，其特征在于，如果所述检测部件在由所述校正部件校正后的区域中检测到偏移，则由所述校正部件校正所指定的区域，并且如果所述检测部件在由所述校正部件校正后的区域中没有检测到偏移，则提取所指定的区域作为被摄体区域。

13.一种被摄体跟踪设备，包括：

根据权利要求7到12中任一项所述的被摄体区域提取设备；以及

用于基于由所述被摄体区域提取设备获得的提取结果来登记在被摄体跟踪中使用的基准图像的部件，

其中，根据所提供的图像的部分区域和登记的基准图像之间的相关度来提取被摄体区域。

14.一种被摄体区域提取设备的控制方法，所述被摄体区域提取设备用于从图像中提取预定被摄体的区域，所述控制方法包括：

指定步骤，用于从所述图像中指定包括所述预定被摄体的区域；

提取步骤，用于从所指定的区域中提取所述预定被摄体的特征量；

检测步骤，用于基于包括在所指定的区域中的、与所述预定被摄体的特征量一致的特征像素的分布，检测所指定的区域中的所述预定被摄体的位置的偏移；以及

校正步骤，用于校正所指定的区域的位置，以使得所指定的区域中的所述预定被摄体的位置的偏移减小，

其中，在所述提取步骤中，使用所指定的区域内的各像素的色调成分和明度成分至少之一来提取所述特征量，并在根据从被摄体获得的颜色信息改变对色调成分和明度成分进行加权的比时，再次提取所述特征量。

Images