CN101783019B - 被摄体跟踪设备及其控制方法、摄像设备以及显示设备 - Google Patents

Abstract

本发明提供一种被摄体跟踪设备及其控制方法、摄像设备以及显示设备。所述被摄体跟踪设备用于跟踪以时间序列方式提供的图像中的被摄体，其基于与基准图像的相关度来提取类似于所述基准图像的被摄体区域。另外，所述被摄体跟踪设备基于被摄体区域中所包含的表示预定被摄体的特征像素的分布，来检测被摄体区域中预定被摄体的位置，并校正被摄体区域以减小被摄体区域中预定被摄体的位置的偏移。此外，将校正后的被摄体区域作为跟踪预定被摄体的结果，并且利用校正后的被摄体区域来将更新后的基准图像作为用于所提供的下一个图像的基准图像。

Description

被摄体跟踪设备及其控制方法、摄像设备以及显示设备

技术领域

本发明涉及被摄体跟踪设备及其控制方法、摄像设备以及显示设备。

背景技术

从以时间序列方式顺序提供的图像中检测特定被摄体，然后跟踪所检测到的被摄体的图像处理技术是非常有用的，并且例如用于指定动态图像中的人的面部区域。这些图像处理技术可用在很多不同领域中，例如电话会议、人机界面、安全系统、用于跟踪人面部的监视系统和图像压缩。

日本特开2005-318554号公报公开了如下的摄像设备：该摄像设备用于检测图像中的面部位置，并且在以针对所检测到的面部的最佳曝光进行摄像时聚焦在该面部上。日本特开2001-60269号公报公开了一种利用模板匹配法跟踪特定被摄体的对象跟踪方法和对象跟踪设备。模板匹配是指将通过对作为待跟踪目标的图像区域进行剪切而获得的部分图像登记为基准图像、估计图像中与基准图像在形状方面具有最高相关度的区域并且跟踪特定被摄体的技术。

图10示出利用模板匹配的被摄体跟踪的例子的流程图。此外，图11示出利用模板匹配的被摄体跟踪的例子，该例子示出跟踪作为被摄体的人的面部的例子。

在图11中，附图标记1101表示t-0时的帧中的输入图像，附图标记1102表示对于t＝0时的帧中的输入图像的被摄体检测结果，附图标记1103表示对于t＝0时的帧中的输入图像所登记的基准图像。此外，附图标记1104表示t＝1时的帧中的输入图像，附图标记1105表示对于t＝1时的帧中的输入图像的匹配结果，附图标记1106表示对于t＝1时的帧中的输入图像更新后的基准图像。此外，附图标记1107表示t＝2时的帧中的输入图像，附图标记1108表示对于t＝2时的帧中的输入图像的匹配结果，附图标记1109表示对于t＝2时的帧中的输入图像更新后的基准图像。

如图10和11所示，将t＝0时的帧中的输入图像1101载入摄像设备中(步骤S 1001)。接着，对输入图像1101应用被摄体检测处理，以提取满足作为人面部的形状条件的被摄体区域，并获取被摄体检测结果1102(步骤S1002)。

然后，摄像设备登记来自被摄体检测结果1102的初始基准图像1103(步骤S1003)。然后，摄像设备载入t＝1时的帧中的输入图像1104。然后，相对于针对t＝0时的帧中的输入图像1101所登记的基准图像1103，摄像设备对输入图像1104执行匹配处理，其中对输入图像1104的每个区域进行剪切，以获得在形状方面相对于基准图像1103的相关值(步骤S1005)。

如果还没有对输入图像整个区域上的匹配区域完成匹配处理(步骤S1006为“否”)，则摄像设备剪切输入图像1104的另一区域以继续执行匹配处理(步骤S1005)。如果已完成了匹配处理(步骤S1006为“是”)，则获取匹配结果1105，其中具有最高相关度的区域被视为t＝1时的帧中的被摄体区域(步骤S1007)。

然后，摄像设备基于在匹配结果1105中估计出的被摄体区域更新至基准图像1106(步骤S1008)。然后，摄像设备载入t＝2时的帧中的输入图像1107(步骤S1004)。然后，相对于针对t＝1时的帧中的输入图像1104更新后的基准图像1106，摄像设备对输入图像1107执行匹配处理(步骤S1005)。

如果还没有对预定的匹配区域完成匹配处理(步骤S1006为“否”)，则摄像设备继续执行匹配处理(步骤S1005)。如果已完成了匹配处理(步骤S1006为“是”)，则摄像设备获取匹配结果1108，其中具有最高相关度的区域被视为t＝2时的帧中的被摄体区域(步骤S1007)。

然后，摄像设备基于在匹配结果1108中估计出的被摄体区域更新至基准图像1109(步骤S1008)。如上所述，通过连续地将输入图像与从先前帧中的匹配结果所获得的基准图像相关联来跟踪目标被摄体。

然而，例如，在匹配处理所使用的基准图像包含与作为待跟踪目标的被摄体不同的、诸如背景等的被摄体的情况下，或者在作为待跟踪目标的被摄体的姿势发生改变的情况下，在传统的跟踪方法中可能出现错误的被摄体跟踪。

例如，在基准图像包含与作为待跟踪目标的被摄体不同的被摄体的情况下，通过匹配处理将获得受到不同被摄体的影响的被摄体区域。此外，在作为待跟踪目标的被摄体的姿势发生改变的情况下，由于被摄体外观改变而可能获得偏移的被摄体区域，因而更可能受到不同被摄体的影响。结果，通过被摄体跟踪将提取到从作为待跟踪目标的被摄体偏移了的被摄体区域，并且将发生错误的被摄体跟踪。然后，由于被摄体区域的偏移未被校正，将会在偏移状态下继续被摄体跟踪。

发明内容

鉴于上述现有技术中的问题构思了本发明。本发明提供当从以时间序列方式提供的图像中跟踪预定的被摄体时，使得错误被摄体跟踪的发生能够减少的技术。

根据本发明的一个方面，提供一种被摄体跟踪设备，其用于跟踪以时间序列方式提供的图像中的被摄体，所述被摄体跟踪设备包括：基准图像登记部件，用于登记用于跟踪所述被摄体时的基准图像；提取部件，用于基于所提供的图像和所登记的基准图像之间的相关度，来从所提供的图像中提取与所述基准图像相似的被摄体区域；位置检测部件，用于基于所述被摄体区域所包含的表示所述被摄体的特征像素的分布，来检测所述被摄体区域中所述被摄体的位置；以及校正部件，用于对所述被摄体区域进行校正，以减小所述被摄体区域中所述被摄体的位置的偏移，其中，将校正后的被摄体区域作为跟踪所提供的图像中的所述被摄体的结果，并且所述基准图像登记部件将所述校正后的被摄体区域登记为用于跟踪所提供的下一图像中的所述被摄体的基准图像。

根据本发明的另一方面，提供一种摄像设备，包括：摄像部件，用于以时间序列方式提供依次拍摄到的图像；被摄体跟踪设备，用于跟踪所述图像中的被摄体；以及控制部件，用于根据与作为所述被摄体跟踪设备的跟踪结果的校正后的被摄体区域所包含的像素有关的信息，来控制所述摄像部件拍摄图像时所使用的摄像条件。

根据本发明的又一方面，提供一种显示设备，包括：显示部件，用于显示以时间序列方式提供的图像；被摄体跟踪设备，用于跟踪所述图像中的被摄体；以及控制部件，用于根据与作为所述被摄体跟踪设备的跟踪结果的校正后的被摄体区域所包含的像素有关的信息，来控制所述显示部件显示所述图像时所使用的显示条件。

根据本发明的再一方面，提供一种被摄体跟踪设备的控制方法，所述被摄体跟踪设备用于跟踪以时间序列方式提供的图像中的被摄体，所述控制方法包括：基准图像登记步骤，用于登记要用于跟踪所述被摄体的基准图像；提取步骤，用于基于所提供的图像和所登记的基准图像之间的相关度，来从所提供的图像中提取与所述基准图像相似的被摄体区域；位置检测步骤，用于基于所述被摄体区域所包含的表示所述被摄体的特征像素的分布，来检测所述被摄体区域中所述被摄体的位置；以及校正步骤，用于对所述被摄体区域进行校正，以减小所述被摄体区域中所述被摄体的位置的偏移，其中，将校正后的被摄体区域作为跟踪所提供的图像中的所述被摄体的结果，并且所述基准图像登记步骤将所述校正后的被摄体区域登记为用于跟踪所提供的下一图像中的所述被摄体的基准图像。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得清楚。

附图说明

图1是示出根据第一实施例的摄像设备的结构的框图；

图2是示出根据第一实施例的用于被摄体跟踪的处理的流程图；

图3是用于示出根据第一实施例的被摄体跟踪的图；

图4是示出根据第一实施例的用于确定特征像素的处理的流程图；

图5是示出根据第一实施例的颜色模型的例子的图；

图6是示出根据第一实施例的确定位置偏移流程图；

图7是示出根据第一实施例在确定位置偏移时设置对称轴的例子的图；

图8是示出根据第二实施例的摄像设备的结构的框图；

图9是示出根据第二实施例的用于被摄体跟踪的处理的流程图；

图10是通过传统的模板匹配进行被摄体跟踪的流程图；以及

图11是示出通过传统的模板匹配进行被摄体跟踪的例子的图。

具体实施方式

下面将根据附图说明本发明的典型实施例。

第一实施例

下面将参考附图说明作为根据第一实施例的被摄体跟踪设备的摄像设备的结构和操作。图1是示出根据第一实施例的摄像设备1的结构的框图。

如图1所示，在摄像设备1中，由摄像镜头101收集表示被摄体图像的光束，并且该光束进入诸如CCD图像传感器或CMOS图像传感器等的图像传感器102。图像传感器102根据入射光束的强度以像素为单位输出电信号。该电信号是指表示由图像传感器102所拍摄的被摄体图像的模拟视频信号。

在模拟信号处理单元103中，从图像传感器102输出的视频信号经过例如相关双采样(CDS)等模拟信号处理。在A/D转换单元104中，将从模拟信号处理单元103输出的视频信号转换为数字数据格式，并将转换后的视频信号输入至控制单元105和图像处理单元106。

控制单元105是指对摄像设备1的操作进行中央控制的实际的CPU(中央处理单元)或微控制器。具体地，控制单元105将存储在ROM(只读存储器)中的程序代码在RAM(随机存取存储器)的工作区域中展开，并顺序地执行展开的程序代码，由此控制摄像设备1的各单元。

在图像处理单元106中，对数字格式的输入图像信号应用例如伽玛校正和白平衡处理等的图像处理。应当注意，除了通常的图像处理之外，图像处理单元106还具有如下的功能：利用从如下所述的被摄体检测单元109和被摄体跟踪单元110提供的与图像中的特定被摄体区域有关的信息来执行图像处理。

将从图像处理单元106输出的视频信号传送至显示单元107。显示单元107是指例如显示视频信号的LCD或有机EL显示器。摄像设备1使得由图像传感器102按照时间序列的方式顺序拍摄的图像顺序地显示在显示单元107上，从而允许显示单元107用作电子取景器(EVF)。

此外，将从图像处理单元106输出的视频信号记录在例如可移动存储卡的记录介质108上。应当注意要在其上记录视频信号的记录介质可以是内置于摄像设备1中的存储器或经由通信接口可通信地连接的外部装置(两者均未示出)。

从图像处理单元106输出的视频信号还被提供给被摄体检测单元109。被摄体检测单元109用于检测图像中的预定的目标被摄体并指定被摄体区域，在被摄体为人的情况下，与被摄体的数量相对应地指定被摄体区域。至于目标被摄体，人的面部是典型的目标被摄体。在这种情况下，被摄体检测单元109将人的面部区域指定为被摄体区域。

至于用于在被摄体检测单元109中检测被摄体的方法，例如，在待检测的目标为人的面部的情况下，使用已知的面部检测方法。已知的用于面部检测的技术包括利用关于面部的信息(关于皮肤的颜色以及例如眼睛、鼻子和嘴等部分的信息)的方法，以及利用以神经网络为典型的学习算法构建用于面部检测的识别器的方法。此外，在面部检测中通常以这些方法的组合来执行面部识别，以提高识别率。具体地，可以引用如下方法：该方法使用日本特开2002-251380号公报中描述的小波变换和图像特征量来执行面部检测。应当注意：以与上述面部检测类似的方式，通过识别被摄体的例如颜色或形状等的特征部分来执行面部之外的被摄体(例如：动植物或字符)的检测。

在被摄体跟踪单元110中，基于视频信号模式的相似度，从由图像处理单元106输出的时变视频信号中跟踪预定的被摄体(被摄体区域)。例如，在被摄体跟踪单元110中，按照时间的顺序排列图像传感器102以时间序列方式顺序地拍摄的图像，来跟踪类似的部分区域，由此跟踪特定模式的被摄体区域。被摄体跟踪单元110包括基准图像登记单元111、匹配处理单元112、特征像素确定单元113、位置偏移确定单元114和位置校正单元115。

在基准图像登记单元111中，基于被摄体检测单元109的检测结果或被摄体跟踪单元110的跟踪结果，将从图像处理单元106输出的图像信号的图像中的部分区域登记为基准图像。例如，由于在被摄体跟踪单元110的初始操作时没有被摄体跟踪单元110的跟踪结果，基准图像登记单元111将基于被摄体检测单元109的检测结果的被摄体区域登记为基准图像。在被摄体跟踪单元110的初始操作之后，允许基准图像登记单元111将被摄体跟踪单元110的结果登记为基准图像。

此外，通过基于被摄体检测单元109的检测结果以及被摄体跟踪单元110的跟踪结果中具有更高可靠度的结果来登记基准图像，基准图像登记单元111能够提高被摄体跟踪单元110的精度。例如，在被摄体跟踪单元110跟踪人的面部的情况下，在作为被摄体检测单元109的检测结果的人的面部区域中，利用关于面部的信息等来计算作为人的面部的可靠度(第一精度)。另外，在作为被摄体跟踪单元110的跟踪结果的所跟踪到的面部区域中，利用通过匹配处理所提取的被摄体区域和基准图像之间的相关度来计算作为同一被摄体的可靠度(第二精度)。然后，基准图像登记单元111对这两个计算出的可靠度进行比较，确定将更高的可靠度作为更高的检测精度，并将使用具有更高精度的图像作为要用于与提供的下一图像有关的匹配处理的基准图像。这提高了被摄体跟踪单元110跟踪人的面部的精度。

相对于在基准图像登记单元111中所登记的基准图像，匹配处理单元112对通过连续摄像所获取的当前帧的视频信号的图像执行匹配处理。通过该匹配处理，将当前帧的视频信号的图像中相对于基准图像具有最高相关度的区域提取为待跟踪目标的被摄体区域。这里，只有在登记有在时间方面与当前帧的视频信号不同的基准图像的情况下，即在基准图像登记单元111先前登记有基准图像的情况下，匹配处理单元112才工作。

在表示锁定跟踪的预定被摄体的特征的预定颜色模型包含各像素的颜色信息的情况下，特征像素确定单元113将由匹配处理单元112所提取的被摄体区域中的像素确定为特征像素。更具体地，特征像素确定单元113将表示预定被摄体的颜色模型所包含的颜色的像素确定为特征像素。在本实施例中，由于锁定跟踪的被摄体为面部，因此，将预定颜色模型设置为表示人的皮肤颜色的肤色模型。应当注意：预定颜色模型可以是预先设置在存储器等中的固定颜色模型，或者可以根据由被摄体检测单元109所检测到的被摄体区域或由匹配处理单元112所提取的被摄体区域动态变化。

在下述实施例中，特征像素确定单元113基于各像素的颜色信息确定特征像素。

基于特征像素确定单元113的结果，位置偏移确定单元114基于特征像素的分布状态来计算校正量和校正方向，以对由匹配处理单元112所提取的被摄体区域的位置进行校正。具体地，在由匹配处理单元112所提取的被摄体区域中，位置偏移确定单元114设置穿过该区域中心的对称轴。更具体地，该对称轴是二等分被摄体区域的线。

然后，对于以对称轴作为边界所分割的区域(即，子区域)，计算由特征像素确定单元113所确定的特征像素的数量。然后，根据特征像素的偏移来计算校正量和校正方向。应当注意：校正方向垂直于所述对称轴，并且将该校正方向确定为朝向在以对称轴作为边界所分割的两个区域中具有较大数量的特征像素的区域的方向。

此外，在对被摄体区域的位置进行校正时，将校正量确定为与两个子区域之间的特征像素的数量差相对应的值，以减少以对称轴作为中心的特征像素分布的偏移。例如，当该差较大时将校正量确定为较大值，而当该差较小时将校正量确定为较小值。应当注意：可以计算校正量以减少在被摄体区域中的特征像素分布的偏移，例如，校正量可以是与对称轴和各特征像素之间的距离的平均相对应的值。

位置校正单元115根据基于位置偏移确定单元114的结果的校正量和校正方向，对由匹配处理单元112所提取的被摄体区域的位置进行校正。在被摄体跟踪单元110中，将具有由位置校正单元115校正后的位置的被摄体区域视为被摄体跟踪单元110的结果。将被摄体跟踪单元110的该结果提供给控制单元105和图像处理单元106。

当利用图像传感器102进行摄像时，控制单元105控制例如焦点和曝光等的摄像条件。具体地，控制单元105基于从A/D转换单元104输出的视频信号来控制摄像镜头101的焦点控制机构和曝光控制机构(两者均未示出)。例如，焦点控制机构是指用于沿光轴方向驱动摄像镜头101的致动器，曝光控制机构是指用于驱动光圈和快门的致动器。

控制单元105能够使用从被摄体检测单元109或被摄体跟踪单元110所提供的与提取被摄体区域的结果有关的信息，以控制焦点控制机构和曝光控制机构。具体地，控制单元105利用被摄体区域的对比度值执行焦点控制，并且利用被摄体区域的亮度值执行曝光控制。因此，摄像设备1能够执行考虑到所拍摄的图像中的特定被摄体区域的摄像处理。此外，控制单元105还控制从图像传感器102的读取，例如控制图像传感器102的输出定时和输出像素。

应当注意，在本实施例中所述的摄像设备1为包括用于从以时间序列方式顺序拍摄的图像中检测被摄体区域的被摄体检测单元109以及用于跟踪被摄体区域的被摄体跟踪单元110的摄像设备。然而，摄像设备1可以不设置被摄体检测单元109。在这种情况下，基准图像登记单元111将例如由经由通信接口可通信地连接的外部设备所指定的区域初始登记为基准图像。可选地，可以将图像中要用于焦点控制机构或曝光控制机构(例如AF帧或测光帧)的预定区域登记为初始基准图像。

现在，将参考图2和3说明根据第一实施例的、由被摄体跟踪单元110执行的处理。图2是示出根据第一实施例的用于被摄体跟踪的处理的流程图。图3是用于示出被摄体跟踪的图。应当注意，在以下描述中将给出跟踪作为被摄体的人的面部的例子。

如图2所示，被摄体跟踪单元110执行处理S201-S206。S202、S203、S204、S205和S 206是分别由匹配处理单元112、特征像素确定单元113、位置偏移确定单元114、位置校正单元115和基准图像登记单元111执行的一系列处理。

此外，在图3中，基准图像301是指由基准图像登记单元111登记的图像。输入图像302是指输入至被摄体跟踪单元110的图像。被摄体提取结果303是指由匹配处理单元112利用输入图像302和基准图像301检测被摄体区域的结果。确定结果304是指由特征像素确定单元113根据被摄体提取结果303确定特征像素的结果。校正结果305是指由位置偏移确定单元114根据确定结果304对被摄体提取结果303中的被摄体区域的位置进行校正的结果。基准图像306是指由基准图像登记单元111根据校正结果305登记的图像。

如图2所示，首先，在步骤S201中，在被摄体跟踪单元110中载入由图像传感器102顺序拍摄的所拍摄的图像作为输入图像302。应当注意：可以对于顺序拍摄的各所拍摄的图像执行步骤S201中的输入图像302载入，即可以对于各帧或者各周期性的帧执行步骤S 201中的输入图像302载入。然后，相对于基准图像登记单元111中预先登记的基准图像301，匹配处理单元112对输入图像302执行匹配处理。

在匹配处理中，计算输入图像302中与基准图像301具有相同尺寸的部分区域的各像素与基准图像301的各像素之间的差的总和。然后，改变输入图像302中与基准图像301具有相同尺寸的部分区域的位置，以执行将计算出的差的总和最小的部分区域的位置视为具有最高相关度(相似度)的区域(图10中的S1005-S1007)的处理。应当注意：作为用于对输入图像302和基准图像301这两个图像进行匹配的方法存在多种方法，并且本实施例中的处理的例子仅仅是一个示例。

由于此处的匹配处理基于基准图像301和输入图像302之间的相似度，因此，不限于合适的被摄体区域作为匹配处理的结果的情况。在被摄体提取结果303中所示的匹配处理的结果中，将从合适的被摄体区域稍稍地偏移了的区域提取为结果。这是由于基准图像包含与要包含在被摄体区域中的被摄体H1不同的背景H2，如基准图像301中所示，并且还由于基准图像301和输入图像302中被摄体H1外观的改变，例如被摄体H1的姿势从前向后的改变。因此，基准图像301中的背景H2和输入图像302中的背景H2之间的高相关度以及被摄体H1的外观的改变导致如在被摄体提取结果303一样的偏移的结果，尽管在正常情况下被摄体H1应该居中。

然后，特征像素确定单元113对于匹配处理中所获取的被摄体区域，确定用于表示被摄体的特征的特征像素(步骤203)。图4是用于确定特征像素的处理的流程图。

如图4所示，当启动用于确定的处理时，特征像素确定单元113获取与在通过匹配处理所获得的被摄体区域中预定位置处的像素的颜色有关的信息(S401)。然后，在S402中，特征像素确定单元113判断所获取的颜色信息是否是包含在预定颜色模型中的信息。

如果该颜色信息是包含在预定颜色模型中的信息(S402为“是”)，则将该像素确定为特征像素(S403)。应当注意：如果该颜色信息不是包含在预定颜色模型中的信息(S402为“否”)，则不将该像素确定为特征像素。

然后，特征像素确定单元113判断是否已对通过匹配处理所获得的被摄体区域中的全部像素执行了该处理(S404)。如果还没有对全部像素执行该处理(S404为“否”)，则特征像素确定单元113将处理返回至S401，以获取与还未执行该处理的像素有关的颜色信息。可选地，如果已对全部像素执行了该处理(S404为“是”)，则特征像素确定单元113结束该处理。

根据上述特征像素的确定，获得确定结果304。在确定结果304中，特征像素为白色，而特征像素以外的像素涂黑。此处，预定颜色模型是指表示被摄体特征的颜色模型，并且在被摄体为人的面部的情况下将预定颜色模型设置为肤色模型。肤色模型的例子为如图5所示。

应当注意，将从像素获取的颜色信息设置为YcbCr数据中的色差CbCr，并且图5中的水平轴和垂直轴分别由符号Cr和Cb表示。如图5所示，颜色区域501是指表示肤色模型的区域，并且特征像素确定单元113判断所获取的CbCr分量是否包含在颜色区域501中。假定在特征像素确定单元113的存储器(未示出)中预先设置关于如图5中所示的颜色模型的信息。

应当注意：对于所获取的颜色信息和颜色模型可以构思各种格式。本实施例中的例子为这些格式的一个示例，并不限于所例示的格式。例如，所获取的颜色信息的格式可以是RGB数据或转换成HSV比色体系中的数据的色相(H)数据。

此外，对于用于基于颜色模型和像素的颜色信息来确定特征像素的方法，可以构思各种方法。本实施例中的例子为这些方法中的一个示例，并且不限于所例示的确定方法。而且，对其执行特征像素确定的区域可以是与从匹配处理的结果所检测的区域相同的区域，或者可以是以所提取的区域的重心作为中心的预定区域。

然后，如图2所示，位置偏移确定单元114基于特征像素的确定结果来确定匹配处理结果中的被摄体区域的位置偏移(S204)。图6是示出确定位置偏移的流程图。

如图6所示，当开始用于确定位置偏移的处理时，位置偏移确定单元114在匹配处理结果中的被摄体区域中设置穿过该区域的中心的对称轴(S601)。然后，位置偏移确定单元114根据对于以该对称轴作为边界的各子区域进行特征像素确定的结果，来计算特征像素的数量(S602)。然后，位置偏移确定单元114计算子区域之间的特征像素的数量差(S603)。

然后，位置偏移确定单元114判断子区域之间的特征像素的数量差是否是等于或大于存储器等中预先设置的预定阈值(第一阈值)(S604)。如果特征像素的数量差等于或大于第一阈值(S604为“是”)，则位置偏移确定单元114计算与该特征像素的数量差相对应的位置校正量(S605)。具体地，该特征像素的数量差越大，则所计算出的位置校正量越大。在特征像素分布不均匀并且集中在通过对称轴分出的一个子区域中的情况下，这允许根据偏移程度来计算位置校正量。此外，可以根据匹配处理结果中的被摄体区域的尺寸来标准化位置校正量(例如，可以将位置校正量计算为使用1作为被摄体区域的尺寸的比率)。

接下来进入S605，位置偏移确定单元114计算位置校正方向(S606)，并结束该处理。校正方向垂直于所设置的对称轴，并且将校正方向确定为朝向以对称轴作为边界的子区域中具有较大数量的特征像素的区域的方向。应当注意，如果特征像素的数量差小于该阈值(S604为“否”)，则位置偏移确定单元114将值0作为位置校正量(S607)，并结束该处理。

在此处的位置偏移确定中，可以设置至少一个即一个或多个对称轴，并且在沿彼此不同的方向设置多个对称轴的情况下，针对各对称轴(针对每条线)计算位置校正量和校正方向。图7是示出设置多个对称轴的例子的图。如图7所示，针对表示给定例子701中的被摄体区域的图像，在垂直和水平方向上设置对称轴。如上所述，通过设置垂直和水平方向上的对称轴并且计算针对各方向的位置校正量和校正方向，能够确定垂直方向上和水平方向上的位置偏移。此外，可以基于针对各对称轴(针对每条线)所计算出的位置校正量和校正方向，来执行被摄体区域的位置校正。

应当注意：对于用于设置对称轴的方法，可以构思各种方法，并且只要该轴对称地分割将对其执行位置偏移确定的被摄体区域，可以采用任何方法。例如，可以在给定例子702中沿倾斜方向设置对称轴，或者可以将给定例子701中和给定例子702中的对称轴合并为给定例子703中的对称轴。

然后，如图2所示，位置校正单元115根据作为位置偏移确定的结果的位置校正量和校正方向，来对匹配处理结果中的被摄体区域的位置进行校正(S205)。具体地，如图3所示，相对于垂直方向上的对称轴，特征像素的确定结果304在右侧区域中具有较小数量的特征像素，而在左侧区域中具有较大数量的特征像素。此外，相对于水平方向上的对称轴，上部区域和下部区域之间特征像素的数量差较小。因此，如校正结果305所示，将通过对匹配处理结果中的被摄体区域进行向右偏移所获得的区域视为位置校正的结果。在摄像设备1中，将位置校正的结果视为通过跟踪被摄体的处理来跟踪被摄体区域的结果。

然后，基准图像登记单元111将基于位置校正的结果跟踪到的被摄体区域登记为新的或更新后的基准图像306(S206)。由基准图像登记单元111所登记的基准图像306用于进行下一帧的匹配处理。在摄像设备1中，即使在被摄体的外观以时间序列方式改变的情况下，例如被摄体的姿势改变的情况下，也可以通过根据以上所述的处理顺序地更新基准图像来适当地执行被摄体跟踪。

此外，在被摄体检测单元109和被摄体跟踪单元110都工作的情况下，通过比较彼此的可靠度，基准图像登记单元111可以基于具有更高可靠度的结果来登记基准图像。另一方面，例如，在不考虑被摄体外观按时间序列变化的情况下，可以保持初始登记的基准图像而不用更新基准图像。

另外，在上述处理中，针对由基准图像登记单元111所登记的基准图像306，可以构思各种形状。在本实施例中的例子是这些形状中的一个示例，并且不限于所例示的矩形。例如，基准图像306的形状可以是圆形或多边形。

此外，如果由特征像素确定单元113获得的特征像素的数量小于预先设置的预定阈值(第二阈值)，则被摄体跟踪单元110可以停止被摄体跟踪。例如，在作为被摄体跟踪单元110的跟踪目标的被摄体隐藏在障碍物后面的情况下，匹配处理结果中的被摄体区域中的特征像素的数量减少，并且当该数量小于第二阈值时停止被摄体跟踪。这可以降低跟踪包含在被摄体区域中的背景的可能性。

如上所述，在第一实施例的用于被摄体跟踪的处理中，即使在通过匹配处理提取了如下被摄体区域的情况下，根据表示被摄体的特征像素来对所提取的被摄体区域的位置进行校正：该被摄体区域包含与待跟踪的被摄体不同的背景。这允许提取适当地跟踪被摄体的被摄体区域。更具体地，可以提高被摄体跟踪处理的精度，从而降低错误跟踪被摄体区域中所包含的背景等的可能性。

第二实施例

接着，将参考附图说明根据第二实施例的摄像设备的结构和操作，且重点在于与第一实施例不同的地方。应当注意，使用相同的附图标记表示与第一实施例相同的结构和操作，并且将省略对其的说明。图8是示出根据第二实施例的摄像设备1a的结构的框图。

如图8所示，摄像设备1a和摄像设备1之间的区别在于摄像设备1a包括颜色模型确定单元801。基于由被摄体检测单元109所获得的结果，颜色模型确定单元801利用从图像提取的被摄体区域中的颜色信息来确定颜色模型。在被摄体跟踪单元110的特征像素确定单元113中使用在颜色模型确定单元801中所确定的颜色模型。

作为由颜色模型确定单元801执行的用于确定颜色模型的方法，可以利用用于生成颜色直方图并利用混合正态模型近似所生成的颜色直方图的方法。由于用于确定颜色模型的方法不是本实施例的主要目的，将省略对用于确定颜色模型的方法的具体说明。

应当注意，尽管本实施例的摄像设备1a是包括被摄体检测单元109的摄像设备，但是摄像设备1a可以不设置被摄体检测单元109。在这种情况下，由基准图像登记单元111初始登记的基准图像和由用于确定颜色模型的颜色模型确定单元801所使用的区域将符合所连接的外部装置的规格。可选地，可以基于要用于焦点控制机构和曝光控制机构(例如测光帧和AF帧)的图像中的预定区域，来执行基准图像的登记和颜色模型的确定。

现在，将参考图9说明由被摄体检测单元109、被摄体跟踪单元110和颜色模型确定单元801所执行的根据第二实施例的处理。图9是示出根据第二实施例的被摄体跟踪处理的流程图。

如图9所示，当开始该处理时，被摄体跟踪单元110载入由图像传感器102顺序拍摄的所拍摄的图像作为输入图像(S901)。然后，在被摄体检测单元109中，利用输入图像执行被摄体检测处理(步骤S902)。应当注意，在S902中，被摄体检测单元109所检测到的被摄体是人的面部。

然后，被摄体跟踪单元110判断通过该被摄体检测处理是否获得了被摄体区域的提取结果(S903)。例如，在输入图像不包含人的面部因而未检测到被摄体区域的情况下，确定为不能获得提取结果。可选地，在输入图像包含人的面部因而能够检测到与该面部相对应的被摄体区域的情况下，确定为能够获得提取结果。

如果通过被摄体检测处理没有获得被摄体区域的提取结果(S903为“否”)，则处理将返回至S901。可选地，如果通过被摄体检测处理获得了被摄体区域的提取结果(S903为“是”)，则颜色模型确定单元801利用关于所提取的被摄体区域的颜色信息来确定颜色模型(S904)。此外，基准图像登记单元111将所提取的被摄体区域登记为基准图像(S905)。

然后，被摄体跟踪单元110载入下一帧所拍摄的图像作为输入图像(S906)，并利用所载入的输入图像来执行被摄体跟踪处理(S907)。应当注意，在S907中的被摄体跟踪处理涉及与第一实施例中所说明的S202-S206相同的处理。

在以上所述的第二实施例中，根据由被摄体检测单元109所检测到的被摄体区域，动态地确定被摄体跟踪单元110中特征像素确定单元113的颜色模型，从而允许处理多个被摄体。具体地，由于针对每个特定被摄体动态确定颜色模型，因此，获得将特定被摄体和不同于该被摄体的背景等分开的颜色模型。然后，利用所获得的颜色模型执行被摄体跟踪处理，从而能够实现具有更高精度的被摄体跟踪处理。

应当注意，尽管上述实施例中说明了检测作为被摄体的人的面部的情况，但所检测的被摄体不限于人的面部，可选地，可以检测动物、汽车等。此外，尽管在上述实施例中说明了将用于执行被摄体跟踪处理的被摄体跟踪设备应用于摄像设备的情况，但应用被摄体跟踪设备的设备不限于摄像设备。

例如，可以将用于执行被摄体跟踪处理的被摄体跟踪设备应用于对从外部装置、记录介质等顺序地提供的图像(重放数据)进行显示的显示设备。在该显示设备中，将利用重放数据作为用于被摄体检测处理的数据来执行被摄体跟踪处理。该显示设备中的例如微控制器等的控制单元，基于与被摄体跟踪处理所跟踪到的被摄体有关的信息(图像中被摄体的位置、尺寸等)，来控制在显示图像时所使用的显示条件。具体地，将表示被摄体的信息，例如帧，重叠显示在图像中被摄体的位置上，或者根据被摄体部分的亮度或颜色信息来执行所显示图像的亮度、色差信息的控制。

应当注意，上述实施例中的说明旨在示出例子，而不用于限制本发明。可以适当地修改上述实施例中的结构和操作。

例如，位置检测单元115不仅可以校正被摄体区域的位置，而且还可以校正被摄体区域的尺寸和形状。在校正被摄体区域的尺寸的情况下，例如根据位置校正量来增大尺寸，同时固定位于与位置校正方向相对的方向上的一侧的位置。此外，在校正被摄体区域的形状的情况下，例如，根据位置校正量在位置校正方向上来偏移位置校正方向上的一侧。即使在校正被摄体的尺寸和形状的情况下，也可以减少预定被摄体的位置的偏移。

此外，例如，位置偏移确定单元114可被配置为仅计算用于减少所分割的区域之间特征像素数量差的位置校正方向。在这种情况下，位置校正单元115将被摄体区域在位置校正方向上顺序地移动预定单位，从而可以选择在所分割的区域之间的特征像素数量差最小的被摄体区域。另外，例如，偏移确定单元114可被配置位置为不计算位置校正方向和校正量。在这种情况下，利用匹配处理结果中的被摄体区域的位置作为中心，位置校正单元115在预定范围内顺序地移动被摄体区域，从而可以选择所分割的区域之间特征像素数量差为最小的被摄体区域。

其它实施例

利用读取和执行存储器设备上所记录的程序来执行上述实施例的功能的计算机系统或设备(或者CPU或MPU等装置)，以及，例如，利用读取和执行存储器设备上所记录的程序来执行上述实施例的功能的计算机系统或设备来执行其步骤的方法，也可以实现本发明的方面。为此目的，通过网络或者从作为存储器装置(例如，计算机可读介质)的各种类型的记录介质向计算机提供程序。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (12)

1.一种被摄体跟踪设备，其用于跟踪以时间序列方式提供的图像中的被摄体，所述被摄体跟踪设备包括：

基准图像登记部件，用于登记用于跟踪所述被摄体时的基准图像；

提取部件，用于基于所提供的图像和所登记的基准图像之间的相关度，来从所提供的图像中提取与所述基准图像相似的被摄体区域；以及

校正部件，用于对所述提取部件所提取的所述被摄体区域的位置进行校正，以减小特征像素的分布的偏移，其中所述特征像素表示所述被摄体区域所包含的所述被摄体，

其中，将所述校正部件校正了其位置的被摄体区域作为跟踪所提供的图像中的所述被摄体的结果，并且所述基准图像登记部件将所述校正部件校正了其位置的被摄体区域登记为所述提取部件从所提供的下一图像中提取被摄体区域所使用的基准图像。

2.根据权利要求1所述的被摄体跟踪设备，其特征在于，还包括被摄体检测部件，所述被摄体检测部件用于从所提供的图像中检测与所述被摄体相对应的区域，

其中，所述基准图像登记部件将由所述被摄体检测部件所检测到的与所述被摄体相对应的区域登记为所述基准图像。

3.根据权利要求2所述的被摄体跟踪设备，其特征在于，所述基准图像登记部件对表示在由所述被摄体检测部件所检测到的与所述被摄体相对应的区域中检测所述被摄体的精度的第一精度和表示在所述校正部件校正了其位置的被摄体区域中检测所述被摄体的精度的第二精度进行比较，并且，在所述第一精度高于所述第二精度的情况下，所述基准图像登记部件将由所述被摄体检测部件所检测到的与所述被摄体相对应的区域登记为用于所提供的下一图像的基准图像，并且在所述第二精度高于所述第一精度的情况下，所述基准图像登记部件将所述校正部件校正了其位置的被摄体区域登记为用于所提供的下一图像的基准图像。

4.根据权利要求2或3所述的被摄体跟踪设备，其特征在于，还包括：

颜色模型确定部件，用于基于由所述被摄体检测部件所检测到的与所述被摄体相对应的区域所包含的像素的颜色信息，来确定表示所述被摄体的颜色模型；以及

特征像素确定部件，用于从由所述被摄体检测部件所检测到的与所述被摄体相对应的区域所包含的像素中，将具有所确定的颜色模型所包含的颜色信息的像素用作为所述特征像素。

5.根据权利要求2或3所述的被摄体跟踪设备，其特征在于，还包括特征像素确定部件，所述特征像素确定部件用于从由所述被摄体检测部件所检测到的与所述被摄体相对应的区域所包含的像素中，将具有预先设置用于表示所述被摄体的颜色模型所包含的颜色信息的像素用作为所述特征像素。

6.根据权利要求5所述的被摄体跟踪设备，其特征在于，所述被摄体是人的面部，以及

所述颜色模型是表示人的皮肤颜色的肤色模型。

7.根据权利要求1所述的被摄体跟踪设备，其特征在于，还包括位置偏移确定部件，所述位置偏移确定部件用于检测通过利用直线二等分所述被摄体区域而获得的两个子区域所包含的所述特征像素的数量的差，

其中，所述校正部件在所述差等于或大于预定阈值的情况下对所述被摄体区域的位置进行校正。

8.根据权利要求7所述的被摄体跟踪设备，其特征在于，所述校正部件沿垂直于所述直线并且从所述直线朝向具有较大数量的所述特征像素的子区域的方向，以与所述差的大小相对应的量来对所述被摄体区域的位置进行校正。

9.根据权利要求8所述的被摄体跟踪设备，其特征在于，所述位置偏移确定部件在彼此不同的方向上设置多条直线，且针对所述多条直线中的每条直线检测子区域所包含的所述特征像素的数量的差，以及所述校正部件针对所述多条直线中的每条直线来对所述被摄体区域的位置进行校正。

10.一种摄像设备，包括：

摄像部件，用于以时间序列方式提供依次拍摄到的图像；

根据权利要求1所述的被摄体跟踪设备，用于跟踪所述图像中的被摄体；以及

控制部件，用于根据与作为所述被摄体跟踪设备的跟踪结果的校正后的被摄体区域所包含的像素有关的信息，来控制所述摄像部件拍摄图像时所使用的摄像条件。

11.一种显示设备，包括：

显示部件，用于显示以时间序列方式提供的图像；

根据权利要求1所述的被摄体跟踪设备，用于跟踪所述图像中的被摄体；以及

控制部件，用于根据与作为所述被摄体跟踪设备的跟踪结果的校正后的被摄体区域所包含的像素有关的信息，来控制所述显示部件显示所述图像时所使用的显示条件。

12.一种被摄体跟踪设备的控制方法，所述被摄体跟踪设备用于跟踪以时间序列方式提供的图像中的被摄体，所述控制方法包括：

基准图像登记步骤，用于登记要用于跟踪所述被摄体的基准图像；

提取步骤，用于基于所提供的图像和所登记的基准图像之间的相关度，来从所提供的图像中提取与所述基准图像相似的被摄体区域；以及

校正步骤，用于对所述提取步骤中所提取的所述被摄体区域的位置进行校正，以减小特征像素的分布的偏移，其中所述特征像素表示所述被摄体区域所包含的所述被摄体，

其中，将所述校正步骤中校正了其位置的被摄体区域作为跟踪所提供的图像中的所述被摄体的结果，并且所述基准图像登记步骤将所述校正步骤中校正了其位置的被摄体区域登记为所述提取步骤从所提供的下一图像中提取被摄体区域所使用的基准图像。

Images