CN102194236A - 对象物追踪装置、对象物追踪方法及控制程序 - Google Patents

Abstract

本发明的物体追踪装置包括：状态判定单元(31)，从当前帧的前帧中的对象物和具有与对象物同样特征的相似物之间的位置关系判定追踪状态；对象物搜索单元(33)，确定当前帧中的对象物的位置；以及周边搜索单元(37)，在作为对象物周边的规定的区域的周边区域中存在相似物的情况下，确定当前帧中的相似物的位置，追踪状态为“重合”的情况下，对象物预测单元(41)基于前帧中的对象物的位置和对象物的运动状态，预测当前帧中的对象物的位置而确定对象物的位置，在追踪状态不“重合”的情况下，对象物搜索单元(33)从当前帧的图像中搜索对象物而确定对象物的位置。因此，能够在对象物周围存在相似物的情况下，正确地追踪对象物。

Description

对象物追踪装置、对象物追踪方法及控制程序

技术领域

本发明涉及追踪运动图像中的对象物的技术。

背景技术

以往，追踪运动图像中的人物或物品等的物体的移动的技术已在使用。例如，在数字照相机、数字摄像机或移动电话等的运动图像摄影中，有使焦点一次对准对象物后，追踪该对象物而使焦点连续对准该对象物的技术。

物体追踪由用于决定从某一帧的图像起追踪的物体的初始化处理、以及从下帧以后的图像起搜索与初始化处理中决定了的追踪对象物相似的物体(区域)的搜索处理构成。在初始化处理中，通过在触摸屏中指定图像中的区域、或使用周知的面部和人物检测等，能够将图像的一部分区域作为追踪对象物进行指定。此外，在初始化处理中，进行表示指定了的追踪对象物的特征的模板的生成。在搜索处理中，使用与模板的相似度，搜索下帧的图像中的追踪对象物。此外，在搜索处理中，根据下帧的图像中的追踪对象物，更新模板。

作为模板的制作方法，有从图像的追踪对象物的区域得到追踪对象物的颜色分布或边缘分布等的方法(专利文献1)，或从图像的追踪对象物的区域和其周围的区域得到用于区别追踪对象物和其周围的区域的有效信息的方法(非专利文献1)等。

在专利文献1中，公开了将以前的图像中的追踪对象物的颜色的分布作为模板预先存储，使用梯度法搜索与当前图像中的模板相似的区域的技术。

此外，在非专利文献1中，公开了为了区别追踪对象物和其周围的区域，从图像中得到表示追踪对象物和周围的区域之间的差别的信息(例如，背景的颜色的信息)，作为追踪对象物的识别器进行学习，并追踪追踪对象物的技术。

[专利文献1]

美国专利第6590999号说明书(2003年7月8日注册)

[非专利文献1]

H.Grabner et.Al.、“On-line Boosting and Vision”、IEEE.Conf.onComputer Vision and Pattern Recognition、pp.260-267、2006

发明内容

发明要解决的课题

但是，在上述以往的结构中，在追踪对象物的附近存在相似于追踪对象物的物体(相似物)的情况下，有取代追踪对象物而错误追踪相似物的问题。

在专利文献1记载的技术中，模板由从追踪对象物得到的颜色或边缘的分布的信息构成，可通过与模板的相似度而检测相似物。因此，在追踪对象物的附近存在相似物的情况下，有时错误追踪相似物。

在非专利文献1记载的技术中，在追踪对象物的附近存在非常相似于追踪对象物的相似物的情况下，不能提取用于区别追踪对象物和其周边区域(包含相似物)的有效信息，不能追踪追踪对象物。

本发明鉴于上述问题而完成，其目的在于，实现在追踪对象物的周围存在追踪对象物的相似物的情况下，也能够正确地追踪追踪对象物的对象物追踪装置或对象物追踪方法。

用于解决课题的方案

本发明的对象物追踪装置是追踪由多个帧构成的时序图像中的对象物的对象物追踪装置，其特征在于，为了解决上述课题，该对象物追踪装置包括：位置关系判定单元，判定当前帧的前帧中的所述对象物和具有与所述对象物同样的特征的相似物之间的位置关系；对象物位置确定单元，确定当前帧中的所述对象物的位置；以及相似物位置确定单元，在作为所述对象物周边的规定的区域的周边区域中存在所述相似物的情况下，确定当前帧中的所述相似物的位置，在所述位置关系为第1状态的情况下，所述对象物位置确定单元基于前帧中的所述对象物的位置和所述对象物的运动状态，预测当前帧中的所述对象物的位置，确定所述对象物的位置，在所述位置关系不是第1状态的情况下，所述对象物位置确定单元从当前帧的图像中搜索所述对象物，确定所述对象物的位置。

本发明的对象物追踪方法是追踪由多个帧构成的时序图像中的对象物的对象物追踪方法，其特征在于，为了解决上述课题，该方法包括：位置关系判定步骤，判定当前帧的前帧中的所述对象物和具有与所述对象物同样的特征的相似物之间的位置关系；对象物位置确定步骤，确定当前帧中的所述对象物的位置；以及相似物位置确定步骤，在作为所述对象物周边的规定的区域的周边区域中存在所述相似物的情况下，确定当前帧中的所述相似物的位置，在所述对象物位置确定步骤中，在所述位置关系为第1状态的情况下，基于前帧中的所述对象物的位置和所述对象物的运动状态，预测当前帧中的所述对象物的位置，确定所述对象物的位置，在所述位置关系不是第1状态的情况下，从当前帧的图像中搜索所述对象物，确定所述对象物的位置。

根据上述结构，按照对象物和相似物之间的位置关系，切换对象物位置确定单元的处理。因此，在由于对象物和相似物之间的位置关系，难以正确地追踪对象物的情况下，通过基于对象物的位置和对象物的运动状态，预测当前帧中的对象物的位置，可以确定对象物的位置。因此，在对象物的周围存在相似物的情况下，也可以防止追踪的改换，正确地追踪对象物。

此外，也可以是以下结构：所述位置关系判定单元在所述相似物在所述对象物的附近的第1范围内存在的情况下，判定为所述位置关系为第1状态。

根据上述结构，在对象物的附近存在相似物的情况下，对象物位置确定单元基于对象物的位置和对象物的运动状态，预测当前帧中的对象物的位置。因此，即使在对象物的附近存在相似物，若进行追踪处理则容易发生追踪的改换的情况下，也可以通过从对象物的运动状态等预测对象物的位置，防止追踪的改换，正确地追踪对象物。

此外，也可以所述相似物位置确定单元从当前帧的图像中搜索所述相似物，确定所述相似物的位置。

此外，也可以是以下结构：还包括相似物运动状态确定单元，所述位置关系判定单元在所述相似物在第1范围外侧的第2范围内存在的情况下，判定为所述位置关系为第2状态，所述相似物运动状态确定单元在所述位置关系为第2状态的情况下，确定所述相似物的运动状态，所述相似物位置确定单元在所述位置关系为第1状态的情况下，基于前帧中的所述相似物的位置和所述相似物的运动状态，预测当前帧中的所述相似物的位置，确定所述相似物的位置，在所述位置关系为第2状态的情况下，从当前帧的图像中搜索所述相似物，确定所述相似物的位置。

根据上述结构，在对象物和相似物某一程度分离而被认为难以发生追踪的改换的第2状态中，相似物运动状态确定单元确定相似物的运动状态，在对象物和相似物靠近而被认为容易发生追踪的改换的第1状态中，相似物位置确定单元基于相似物的位置和相似物的运动状态，预测当前帧中的相似物的位置。因此，在对象物的附近存在相似物，不能正确地搜索相似物的情况下，也能够由相似物的运动状态等预测相似物的位置。

此外，也可以是以下结构：所述位置关系判定单元在所述相似物不在第1范围内、也不在第2范围内存在的情况下，判定为所述位置关系为第3状态，所述相似物位置确定单元在所述位置关系为第3状态的情况下，从当前帧的图像中搜索所述相似物，确定所述相似物的位置。

此外，也可以是以下结构：还包括确定所述对象物的运动状态的对象物运动状态确定单元。

根据上述结构，由于对象物运动状态确定单元确定对象物的运动状态，所以对象物位置确定单元可以基于对象物的位置和对象物的运动状态，预测当前帧中的对象物的位置。

此外，也可以是以下结构：所述位置关系判定单元根据所述对象物和所述相似物之间的距离，判定所述位置关系。

根据上述结构，可以按照对象物和相似物之间的距离，切换对象物位置确定单元的处理。

此外，也可以是所述运动状态是表示速度的状态。

根据上述结构，对象物位置确定单元在难以正确地追踪对象物的情况下，可以基于对象物的位置和对象物的速度，通过预测当前帧中的对象物的位置，确定对象物的位置。

本发明的对象物追踪装置是追踪由多个帧构成的时序图像中的对象物的对象物追踪装置，其特征在于，为了解决上述课题，该对象物追踪装置包括：对象物位置确定单元，从当前帧的图像中搜索所述对象物，确定当前帧中的所述对象物的位置；以及相似物位置确定单元，从当前帧的图像中搜索具有与所述对象物同样的特征的相似物，在作为所述对象物周边的规定的区域的周边区域中存在所述相似物的情况下，确定当前帧中的所述相似物的位置。

本发明的对象物追踪方法是追踪由多个帧构成的时序图像中的对象物的对象物追踪方法，其特征在于，为了解决上述课题，该方法包括：对象物位置确定步骤，从当前帧的图像中搜索所述对象物，确定当前帧中的所述对象物的位置；以及相似物位置确定步骤，从当前帧的图像中搜索具有与所述对象物同样的特征的相似物，在作为所述对象物周边的规定的区域的周边区域中存在所述相似物的情况下，确定当前帧中的所述相似物的位置。

根据上述结构，预先检测容易错误识别为对象物的相似物，确定其位置。因此，可以使用某一帧的前帧中的相似物的位置的信息判断在该某一帧中检测到的对象物的候选是否为相似物。因此，可以防止追踪的改换，正确地追踪对象物。例如，对于某一帧中的对象物的候选，对象物位置确定单元也可以按照距前一帧的相似物的距离(以及距前一帧的对象物的距离)，计算该候选为对象物的似然，基于该似然判断该候选是否为对象物。

此外，也可以是以下结构：还包括对象物特征量生成单元，其从当前帧的图像中提取带有所述对象物特征的信息，使用带有提取出的所述对象物特征的信息，生成带有所述对象物特征的对象物特征量，所述对象物位置确定单元使用前帧中的所述对象物特征量，从当前帧的图像中搜索所述对象物，确定当前帧中的所述对象物的位置，所述相似物位置判定单元使用所述对象物特征量，从当前帧的图像中搜索所述相似物，确定当前帧中的所述相似物的位置。

根据上述结构，使用与用于对象物搜索相同的对象物特征量，进行相似物的搜索。因此，可以更正确地仅搜索具有与对象物相同特征的容易误识别为对象物的相似物。此外，可以使用已经生成的对象物特征量进行相似物的搜索，所以可以缩短相似物的搜索所需要的处理时间。

再有，上述对象物追踪装置也可以将其一部分通过计算机来实现，这种情况下，通过使计算机作为上述各个单元进行动作而由计算机实现上述对象物追踪装置的控制程序、以及记录了上述控制程序的计算机可读取的记录媒体，也归入本发明的范畴。

如以上那样，根据本发明，预先检测容易错误识别为对象物的相似物，确定其位置。因此，可以使用某一帧的前帧中的相似物的位置的信息判断在该某一帧中检测到的对象物的候选是否为相似物。因此，可以防止追踪的改换，正确地追踪对象物。

此外，根据本发明，按照对象物和相似物之间的位置关系，切换对象物位置确定单元的处理。因此，在由于对象物和相似物之间的位置关系，难以正确地追踪对象物的情况下，可以基于对象物的位置和对象物的运动状态，通过预测当前帧中的对象物的位置，确定对象物的位置。因此，在对象物的周围存在相似物的情况下，也可以防止追踪的改换，正确地追踪对象物。

附图说明

图1是表示本发明的一实施方式的物体追踪系统的概略结构的方框图。

图2是表示上述物体追踪系统的追踪单元的结构的方框图。

图3的(a)是表示对于某一帧的图像的追踪处理的例子的图，图3的(b)是表示对于其下帧的图像的追踪处理的例子的图。

图4是表示物体追踪装置中的对象物的追踪处理的流程概要的流程图。

图5是表示初始化单元中的初始化处理的流程的流程图。

图6是表示追踪单元中的追踪处理的流程的流程图。

图7是表示追踪单元中的追踪处理的流程的流程图。

图8是表示对象物和相似物之间的位置关系的例子的图，图8的(a)是表示追踪状态为‘安全’的位置关系的例子，图8的(b)是表示追踪状态为‘靠近’的位置关系的例子，图8的(c)是表示追踪状态为‘重合’的位置关系的例子。

图9是表示周边区域的例子的图。

标号说明

1  物体追踪系统

2  摄像装置

3  焦点控制装置

10 物体追踪装置(对象物追踪装置)

11 图像获得单元

12 存储单元

13 初始化单元

14 追踪单元

21 对象物指定单元

22 初始对象物搜索单元(对象物位置确定单元)

23 初始对象物模板生成单元(对象物特征量生成单元)

24 初始周边区域决定单元

25 初始周边搜索单元(相似物位置确定单元)

26 初始相似物模板生成单元(相似物特征量生成单元)

31 状态判定单元(位置关系判定单元)

32 搜索区域决定单元

33 对象物搜索单元(对象物位置确定单元)

34 对象物运动信息生成单元(对象物运动状态确定单元)

35 对象物模板生成单元(对象物特征量生成单元)

36 周边区域决定单元

37 周边搜索单元(相似物位置确定单元)

39 相似物模板生成单元(相似物特征量生成单元)

40 输出单元

41 对象物预测单元(对象物位置确定单元)

50a、50b  图像

54、58 对象物区域

55、59 周边区域

56、60 相似物区域

57 对象物搜索区域

具体实施方式

在本实施方式中，说明有关装载在数字照相机上的、追踪拍摄到的运动图像中的图像而将焦点连续对准对象物的物体追踪系统，但本发明不限定于此。以下，对于本实施方式，参照图1～图9，详细地说明。

<物体追踪系统的结构>

图1是表示本实施方式的物体追踪系统1的概略结构的方框图。物体追踪系统1包括摄像装置2、焦点控制装置3以及物体追踪装置(对象物追踪装置)10。

摄像装置2是拍摄运动图像的装置。摄像装置2例如由CCD(chargecouple device；电荷耦合器件)或CMOS(complementary metal oxidesemiconductor；互补金属氧化物半导体)摄像元件等的摄像元件构成。在本实施方式中，摄像装置2在1秒间拍摄30帧的图像。摄像装置2将拍摄到的运动图像作为由多个帧构成的按时序排列的图像输出到物体追踪装置10。

物体追踪装置10从时序的图像中追踪作为追踪对象的对象物，将图像中的对象物的位置输出到焦点控制装置3。物体追踪装置10的详细结构后面论述。

焦点控制装置3基于从物体追踪装置10输入的图像中的对象物的位置，调节摄像装置2的焦点。

接着，说明有关物体追踪装置10的详细结构。物体追踪装置10包括图像获得单元11、存储单元12、初始化单元13以及追踪单元14。初始化单元13确定作为追踪对象的图像中的对象物，追踪单元14追踪时序的图像中的对象物。

图像获得单元11从摄像装置2顺序获得时序的图像(图像数据)，将时序的图像存储在存储单元12中。

存储单元12存储各种信息，例如由HDD(Hard Disk Drive；硬盘驱动器)、闪速存储器等的存储装置构成。存储单元12存储图像获得单元11获得的多个帧的图像。此外，存储单元12存储初始化单元13和追踪单元14输出的各种信息。

<初始化单元的结构>

初始化单元13包括对象物指定单元21、初始对象物搜索单元(对象物位置确定单元)22、初始对象物模板生成单元(对象物特征量生成单元)23、初始周边区域决定单元24、初始周边搜索单元(相似物位置确定单元)25以及初始相似物模板生成单元(相似物特征量生成单元)26。

对象物指定单元21确定作为图像中的追踪对象的对象物。例如，对象物指定单元21接受表示在图像中的哪个位置是否存在作为追踪对象的对象物的信息输入。例如，通过具备触摸屏的显示装置，对用户提示数字照相机拍摄的图像，用户通过触摸屏，指定作为追踪对象的对象物存在的位置。对象物指定单元21将指定了的位置的信息输出到初始对象物搜索单元22。

再有，对象物指定单元21也可以接受表示对象物存在的区域的信息。

初始对象物搜索单元22基于对象物指定单元21中指定了的位置，通过从图像中搜索对象物，确定对象物存在的位置(或对象物存在的区域)。具体地说，初始对象物搜索单元22从存储单元12获得某一时刻(例如最新)的帧的图像。对于该帧的图像进行初始化单元13中的以下处理。初始对象物搜索单元22对于包含指定了的位置的规定的区域、例如以指定了的位置作为中心的100×100像素单元的区域，进行面部检测。对于这种面部检测，可以利用公知的技术。初始对象物搜索单元22将包含检测到的面部的矩形的区域作为对象物存在的对象物区域，将对象物区域的中心坐标作为对象物的位置。例如，如果检测到的面部的像大，则对象物区域被更大地设定。初始对象物搜索单元22将对象物的位置和对象物区域(的宽度和高度)的信息输出到初始对象物模板生成单元23和初始周边区域决定单元24。此外，初始对象物搜索单元22使对象物的位置和对象物区域的信息与该帧关联对应存储在存储单元12中。

再有，初始对象物搜索单元22可以进行人物检测而取代面部检测，也可以进行提取其他的特征点的处理。此外，对象物区域可以是圆形等其他形状的区域，也可以是规定的大小的区域。

此外，对象物指定单元21也可以接受特定的条件的输入，初始对象物搜索单元22基于该条件检测对象物。例如，在对象物指定单元21接受了‘以面部为对象物’这样的条件的输入的情况下，初始对象物搜索单元22遍及整个图像进行面部检测，将检测到的面部的其中一个作为对象物。在对象物指定单元21接受了‘以四方形的物体为对象物’这样的条件的输入的情况下，同样地，初始对象物搜索单元22将从图像中检测到的四方形的物体的其中一个作为对象物。

初始对象物模板生成单元23提取带有对象物特征的特征量，生成带有对象物特征的模板。具体地说，初始对象物模板生成单元23从对象物区域所包含的图像中生成模板。模板例如包含颜色的分布或边缘的分布等的、对象物上特征的特征量。通过使用该模板进行梯度法等的追踪处理，可以追踪下帧的图像中的对象物。再有，关于模板的生成，可以利用公知的技术。初始对象物模板生成单元23使生成的对象物的模板与该帧关联对应存储在存储单元12中。

初始周边区域决定单元24决定对相似于对象物的相似物进行搜索的区域。具体地说，初始周边区域决定单元24将对象物区域周围的规定的区域决定作为搜索相似物的区域(周边区域)。初始周边区域决定单元24将周边区域的信息输出到初始周边搜索单元25。

初始周边搜索单元25通过搜索周边区域，调查在对象物的周围是否存在相似于对象物的相似物。例如，初始周边搜索单元25通过使用初始对象物模板生成单元23生成的对象物的模板，在周边区域中搜索与模板相似的区域，从周边区域进行相似物的搜索。初始周边搜索单元25确定检测到的相似物的位置和相似物存在的区域(相似物区域)，使相似物的位置和相似物区域的信息与该帧关联对应存储在存储单元12中。再有，在周边区域中检测到多个相似物的情况下，初始周边搜索单元25将多个相似物的全部的位置和相似物区域的信息存储在存储单元12中。此外，初始搜索单元25将相似物的位置和相似物区域的信息输出到初始相似物模板生成单元26。

此外，初始周边搜索单元25可以通过使用与初始对象物搜索单元22进行的检测方法(面部检测)同样的方法(检测同样的特征的方法)，进行相似于对象物(具有与对象物同样的特征)的相似物的检测。例如，初始周边搜索单元25也可以通过在周边区域中进行面部检测，检测与在对象物周围的周边区域中存在的对象物不同的面部的像。

再有，初始周边区域决定单元24将整个图像决定作为搜索相似物的周边区域，初始周边搜索单元25也可以从整个图像搜索对象物以外的相似物。

初始相似物模板生成单元26生成有关检测到的各个相似物的模板。对于模板的生成处理，可以使用与初始对象物模板生成单元23同样的方法。初始相似物模板生成单元26使生成的相似物的模板与该帧关联对应存储在存储单元12中。

由此，某一帧的图像中的对象物的位置、对象物区域、对象物的模板、相似物的位置、相似物区域和相似物的模板的信息，通过初始化单元13而被存储在存储单元12中。基于这些信息，追踪单元14在下帧以后中进行对象物的追踪。

<追踪单元的结构>

图2是表示追踪单元14的结构的方框图。追踪单元14包括状态判定单元(位置关系判定单元)31、搜索区域决定单元32、对象物搜索单元(对象物位置确定单元)33、对象物运动信息生成单元(对象物运动状态确定单元)34、对象物模板生成单元(对象物特征量生成单元)35、周边区域决定单元36、周边搜索单元(相似物位置确定单元)37、相似物模板生成单元(相似物特征量生成单元)39、输出单元40以及对象物预测单元(对象物位置确定单元)41。

图像获得单元11从摄像装置2获得在初始化单元13中确定了作为追踪对象的对象物的图像的下帧的图像，并将其存储在存储单元12中。追踪单元14追踪该图像中的对象物。以下，将在追踪单元14中进行追踪处理的处理对象的帧称为当前帧，将当前帧的图像称为处理对象图像。

状态判定单元31从当前帧的前一个帧中的对象物的位置、对象物区域、相似物的位置以及相似物区域，判定对象物和在其周围存在的相似物之间的位置关系。

在当前帧的前一个帧中，在对象物的周边区域中没有检测到相似物的情况下，认为在对象物的附近不存在容易发生弄错追踪对象而追踪相似物的‘追踪的改换’的物体。通常，由于假设1帧或数帧中的图像中的物体的移动量不大，所以在当前帧的前一个帧中，在对象物的周边区域中没有检测到相似物的情况下，可以通过进行通常的追踪处理而追踪对象物。在当前帧的前一个帧中，在对象物的周边区域中没有检测到相似物的情况下，状态判定单元31将表示对象物和相似物之间的位置关系的追踪状态判定为‘安全’。追踪状态‘安全’表示即使进行通常的追踪处理也不必担心发生追踪的改换(发生的可能性低)的状态。

此外，在对象物和相似物分开了比规定的距离远的情况下，即使进行通常的追踪处理，发生追踪的改换的可能性也低。因此，在对象物和相似物分开了比规定的距离远的情况下，状态判定单元31将表示对象物和相似物之间的位置关系的追踪状态判定为‘安全’。

在对象物和相似物靠近在规定的距离以内(相似物存在于对象物周围的规定的范围内)的情况下，即对象物和相似物靠近的情况下，状态判定单元31将表示对象物和相似物之间的位置关系的追踪状态判定为‘靠近’。追踪状态‘靠近’表示尽管能够进行通常的追踪处理并追踪对象物，但在对象物的附近存在通过追踪处理而可能发生追踪的改换的相似物的状态。

在对象物和相似物重合的(相似物存在于对象物附近的规定的范围内)情况下，状态判定单元31将表示对象物和相似物之间的位置关系的追踪状态判定为‘重合’。追踪状态‘重合’表示若进行通常的追踪处理则可能发生从对象物到相似物的追踪改换的状态。

再有，对于对象物和相似物之间的位置关系，也可以在包含对象物的对象物附近的规定的范围(第1范围)内存在相似物的情况下，判定为‘重合’，在第1范围外侧的规定的范围(第2范围)内存在相似物的情况下，判定为‘靠近’，在第1范围和第2范围中都不存在相似物的情况下，判定为‘安全’。此外，对象物和相似物之间的位置关系，例如可以根据对象物区域的中心位置和相似物区域的中心位置之间的距离进行判定，可以根据对象物区域和相似物区域之间的间隔(间隙)进行判定，也可以根据对象物区域和相似物区域重合的面积进行判定。后面论述追踪状态的判定的详细处理。

在追踪状态为‘安全’或‘靠近’的情况下，状态判定单元31将追踪状态的信息输出到搜索区域决定单元32，追踪单元14进行追踪处理并进行当前帧中的对象物和相似物的追踪。

在追踪状态为‘重合’的情况下，状态判定单元31将追踪状态的信息输出到对象物预测单元41，追踪单元14不进行通常的追踪处理，而从以前的帧中的对象物的移动，预测当前帧中的对象物的位置。此外，追踪单元14对于相似物，通过搜索在预测到的对象物的位置的周边存在的相似物，或通过从以前的帧中的相似物的移动，预测当前帧中的相似物的位置，从而确定相似物的位置。

在追踪状态为‘安全’或‘靠近’的情况下，搜索区域决定单元32决定进行处理对象图像中的对象物的搜索的区域。例如，搜索区域决定单元32将以前一个帧中的对象物的位置为中心的前一个帧中的对象物区域的2倍长宽(面积为4倍)的矩形区域，决定作为对象物搜索区域。搜索区域决定单元32将对象物搜索区域的信息输出到对象物搜索单元33。

对象物搜索单元33对于对象物搜索区域，使用前一个帧中的对象物的模板，根据梯度法确定当前帧中的对象物的位置和对象物存在的对象物区域。如果追踪状态为‘安全’或‘靠近’，则对象物和相似物分开某种程度。因此，即使在对象物搜索区域中存在相似物，也可以根据由梯度法确定的物体(对象物的候选)的、距前一个帧中的对象物的位置的距离等，计算得分(score)(对象物的似然)，根据得分而决定并追踪对象物。此外，也可以按照对象物的候选的、距前一个帧中的相似物的位置的距离等计算得分(相似物的似然)，按照与对象物有关的得分和与相似物有关的得分，决定对象物。关于得分的计算，可以利用公知的技术。此外，对象物搜索单元33也可以使用多个模板，对每个模板进行对象物的搜索，按照得分等确定对象物的位置。例如，多个模板是存储单元12存储的以前的多个帧中的对象物的模板。再有，在对象物搜索单元33的追踪处理中，可以利用粒子滤波器(particle filter)等的、其他一般的物体追踪的方法。这里，对象物搜索单元33将包含对象物的矩形的区域确定作为对象物区域，但与初始对象物搜索单元22同样，对象物区域的形状不限于此。对象物搜索单元33使确定了的当前帧中的对象物的位置和对象物区域的信息与当前帧关联对应存储在存储单元12中。此外，对象物搜索单元33将当前帧中的对象物位置和对象物区域的信息输出到对象物运动信息生成单元34、对象物模板生成单元35、周边区域决定单元36以及输出单元40。

对象物运动信息生成单元34基于当前帧的处理对象图像和从当前帧前的帧中的图像得到的对象物的位置，确定对象物的移动(运动状态)，生成运动状态的信息。具体地说，对象物运动信息生成单元34从当前帧中的对象物的位置和当前帧的前多个帧中的对象物位置，求多个帧间的对象物的图像中的平均速度。对象物运动信息生成单元34将求得的平均速度作为对象物的运动状态存储在存储单元12中。

再有，对象物运动信息生成单元34可以通过其他方法求表示对象物的速度的量，也可以求对象物的速度和平均加速度作为运动状态。

对象物模板生成单元35提取当前帧的处理对象图像中的带有对象物特征的特征量，生成带有对象物特征的模板。对象物模板生成单元35的模板的生成，可以按与初始对象物模板生成单元23同样的方法进行。对象物模板生成单元35使生成的对象物的模板与当前帧关联对应存储在存储单元12中，将生成的对象物的模板输出到周边搜索单元37。

再有，也可以将从处理对象图像得到的特征量和从以前的帧的图像得到的特征量混合(例如进行平均)而生成对象物的模板。

周边区域决定单元36决定搜索相似于对象物的相似物的区域。周边区域决定单元36与初始周边区域决定单元24同样，将当前帧中的对象物区域周围的规定的区域决定作为搜索相似物的区域(周边区域)。周边区域可以与对象物搜索区域重合，也可以分为多个区域。周边区域决定单元36将当前帧中的周边区域、对象物的位置和对象物区域的信息输出到周边搜索单元37。

周边搜索单元37通过搜索周边区域，调查在对象物周围是否存在相似物。在追踪状态为‘靠近’的情况下，周边搜索单元37基于存储单元12所存储的前一个帧中的相似物的位置，通过使用前一个帧的相似物的模板进行梯度法等的追踪处理而追踪相似物。在相似物的追踪上失败了的情况下(例如相似物移动到周边区域之外的情况等)，结束该相似物的追踪。再有，相似物的追踪也可以使用对象物的模板进行。此外，为了调查新的相似物是否在靠近对象物，在追踪状态为‘靠近’或‘安全’的情况下，周边搜索单元37通过使用对象物的模板搜索周边区域，检测周边区域中存在的相似物。周边搜索单元37确定检测到的(或追踪到的)相似物的位置和相似物存在的区域(相似物区域)，使相似物的位置和相似物区域的信息与当前帧关联对应存储在存储单元12中。再有，在周边区域中检测到多个相似物的情况下，周边搜索单元37将多个相似物的全部位置和相似物区域的信息存储在存储单元12中。此外，周边搜索单元37将相似物的位置和相似物区域的信息输出到相似物模板生成单元39。

再有，周边搜索单元37的相似物的搜索，也可以按照与初始周边搜索单元25同样的方法进行。此外，不使用相似物的模板，周边搜索单元37也可以使用对象物的模板进行相似物的追踪和搜索，这种情况下，由于不需要生成相似物的模板(相似物模板生成单元39)，所以追踪单元14的处理加快。

相似物模板生成单元39提取当前帧的处理对象图像中的带有相似物特征的特征量，生成带有各个相似物特征的模板。相似物模板生成单元39的模板生成，可以按照与初始相似物模板生成单元26同样的方法进行。相似物模板生成单元39使生成的相似物的模板与当前帧关联对应存储在存储单元12中。

输出单元40将当前帧中的对象物的位置和对象物区域的信息输出到焦点控制装置3。

在追踪状态为‘重合’的情况下，对象物预测单元41从存储单元12存储的对象物的运动状态，估计当前帧中的对象物的位置和对象物区域。例如，从前一个帧中的对象物的位置和对象物的速度，预测当前帧的处理对象图像中的对象物的位置。此外，对象物预测单元41对于对象物区域的大小，预测为前一个帧中的对象物区域的原来的大小。再有，对象物预测单元41也可以预测对象物区域的大小，从以前的多个帧中的对象物区域的大小的变化历史，预测当前帧中的对象物区域的大小。对象物预测单元41使估计出的对象物的位置和对象物区域的信息与当前帧关联对应存储在存储单元12中。此外，对象物预测单元41将估计出的对象物的位置和对象物区域的信息输出到输出单元40和周边区域决定单元36。

在追踪状态为‘重合’的情况下，周边区域决定单元36根据估计出的对象物的位置和对象物区域，决定周边区域，周边搜索单元37搜索周边区域的相似物。周边搜索单元37对于检测到的物体(相似物)，使该相似物的位置和相似物区域的信息存储在存储单元12中，并将其输出到相似物模板生成单元39。此时，对于在包含估计出的对象物的位置的规定的范围内检测到的物体，有可能是对象物。但是，对象物预测单元41从以前的对象物的运动状态预测确定对象物的位置，所以可以防止追踪对象向相似物改换。此外，可以在追踪状态为‘重合’的期间检测新靠近了对象物的相似物，还可以防止追踪对象向其他相似物改换。

再有，在追踪状态为‘重合’的情况下，周边搜索单元37也可以从以前的相似物的运动状态，估计当前帧中的相似物的位置和相似物区域。例如，与对象物预测单元41同样，从前一个帧中的相似物的位置和相似物的速度，预测当前帧的处理对象图像中的相似物的位置。周边搜索单元37使估计出的相似物的位置和相似物区域的信息与当前帧关联对应存储在存储单元12中。这种情况下，追踪单元14也可以包括生成相似物的运动状态的信息的相似物运动信息生成单元(相似物运动状态确定单元)。相似物运动信息生成单元使用与对象物运动信息生成单元34同样的方法，基于当前帧的处理对象图像和从当前帧前的帧中的图像得到的相似物的位置，生成相似物的移动(运动状态)的信息。再有，在前面的帧中未检测到相似物的情况下，相似物运动信息生成单元不生成相似物的运动状态的信息。此外，在当前帧和前面的帧中检测到多个相似物的情况下，相似物运动信息生成单元根据各个相似物的特征或位置等而使当前帧的相似物和前面的帧的相似物关联对应，求各个相似物的运动状态(速度、加速度等)。相似物运动信息生成单元使相似物的运动状态存储在存储单元12中。

输出单元40将当前帧中的估计出的对象物的位置和对象物区域的信息输出到焦点控制装置3。

在下一个以后的帧中，状态判定单元31基于估计出的对象物和相似物的位置等，判定追踪状态。然后，估计出的对象物的位置和估计出的相似物的位置充分分开的情况下，状态判定单元31将追踪状态判定为‘靠近’或‘安全’，追踪单元14再开始对象物的追踪。

在本实施方式中，从对象物和相似物之间的位置关系判定追踪状态，按照追踪状态动态地切换追踪处理。在追踪状态为‘安全’或‘靠近’的情况下，进行对象物的追踪，在追踪状态为‘重合’的情况下，不进行对象物的追踪，从以前的帧中的对象物的运动状态预测对象物的位置。因此，在对象物的附近存在相似物(例如相似物的一部分重合在对象物上)的情况下，也可以防止追踪对象的改换，正确地连续进行对象物的追踪。因此，在以往不能连续进行对象物的追踪的状况中(例如作为对象物的人物和作为相似物的其他人物在图像中交叉错过的状况)，本实施方式的物体追踪装置10也可以连续进行对象物的追踪。

此外，追踪单元14也可以将与对象物的搜索有关处理(搜索区域决定单元32、对象物搜索单元33、对象物运动信息生成单元34和对象物模板生成单元35的处理)、和与相似物的搜索有关的处理(周边区域决定单元36、周边搜索单元37和相似物模板生成单元39的处理)并行进行。这种情况下，周边区域决定单元36、周边搜索单元37和相似物模板生成单元39可以基于前一个帧中的对象物的信息(对象物的位置、对象物区域和对象物的模板等)进行处理。这是因为在1帧期间，对象物的位置等被认为不大变化。

<追踪处理流程>

下面，说明物体追踪装置10的对象物的追踪处理的流程。图3的(a)是表示对于某一帧的图像的追踪处理例子的图，图3的(b)是表示对其下一帧的图像的追踪处理的例子的图。在图3的(a)所示的某一帧的图像50a中，人物51映在图像50a的中心，人物52映在其左边，人物53映在人物52的左上方。以下，对于追踪人物51的例子进行说明。

图4是表示物体追踪装置10中的对象物的追踪处理的流程概要的流程图。

图像获得单元11从摄像装置2获得拍摄所得的图像50a(S1)。图像获得单元11使获得的图像50a存储在存储单元12中。

初始化单元13从存储单元12获得某一帧的图像50a，确定作为追踪对象的图像50a中的对象物(S2)。

图像获得单元11从摄像装置2获得下一帧的图像50b作为处理对象图像(S3)。图像获得单元11使获得的图像50b存储在存储单元12中。

追踪单元14追踪当前帧的图像50b中的对象物，将当前帧的处理对象图像50b中的对象物的位置和对象物区域的信息输出到焦点控制装置3(S4)。

以后，每帧重复进行S3和S4的处理。

<初始化处理流程>

下面，说明初始化单元13的详细处理的流程。图5是表示初始化单元13中的初始化处理的流程的流程图。

对象物指定单元21从用户接受作为追踪对象的对象物存在的图像中的位置的输入(S11)。这里，用户通过触摸屏指定人物51的面部的位置。

初始对象物搜索单元22对于包含指定了位置的规定的区域进行面部检测，确定对象物(人物51的面部)的位置和对象物区域54(S12)。对象物区域54作为包含对象物的矩形的区域被设定。此外，对象物的位置作为对象物区域的中心。再有，也可以通过矩形的对象物区域的左上和右下的坐标，指定对象物的位置和对象物区域。

初始对象物模板生成单元23提取对象物区域54所包含的图像的颜色分布等特征量，生成带有对象物特征的对象物模板(S13)。

初始周边区域决定单元24将对象物区域54周围的规定的区域决定作为搜索相似物的区域(周边区域)55(S14)。周边区域55是对象物区域54周围的、以内外两个虚线包围着的区域，这里，周边区域55和对象物区域54隔开规定的距离。

初始周边搜索单元25对于周边区域55使用对象物模板检测相似于对象物的相似物(人物52的面部)。在周边区域55中未检测到相似物的情况下(S15中为“否”)，初始化单元13结束处理。在周边区域55中检测到相似物的情况下(S15为“是”)，初始周边搜索单元25确定检测到的相似物的位置和相似物存在的区域(相似物区域)56(S16)。相似物区域56作为包含相似物的矩形的区域被设定。此外，相似物的位置作为相似物区域的中心。

S16之后，初始相似物模板生成单元26提取相似物区域56中包含的图像的颜色分布等特征量，生成带有相似物特征的相似物模板(S17)。然后，初始化单元13结束处理。

<追踪处理流程>

下面，说明追踪单元14的详细处理的流程。图6和图7是表示追踪单元14中的追踪处理的流程的流程图。

状态判定单元31判定当前帧的前一个帧的图像50a中的对象物和在其周围存在的相似物之间的位置关系。图8的(a)～图8的(c)是表示对象物和相似物之间的位置关系的例子的图。在前一个帧的图像50a中检测到多个相似物的情况下，对于各个相似物，进行追踪状态的判定。

如图8的(a)所示，在对象物的位置和相似物的位置之间的距离x比阈值TH1大的情况下或不存在相似物的情况下(S21为“是”)，状态判定单元31将追踪状态判定为‘安全’(S22)。但是，在前一个帧的图像50a中检测到多个相似物的情况下，对象物的位置和相似物的位置之间的距离x在阈值TH1以下(S21为“否”)的相似物即使只有一个，也进至下面的S23。

如图8的(b)所示，在对象物的位置和相似物的位置之间的距离x为阈值TH1以下，并且比阈值TH2大的情况下(S21为“否”，S23为“是”)，状态判定单元31将追踪状态判定为‘靠近’(S24)。但是，在前一个帧的图像50a中检测到多个相似物的情况下，对象物的位置和相似物的位置之间的距离x为阈值TH2以下(S23为“否”)的相似物即使只有一个，也进至下面的S25。

如图8的(c)所示，在对象物的位置和相似物的位置之间的距离x为阈值TH2以下的情况下(S23为“否”)，状态判定单元31将追踪状态判定为‘重合’(S25)。这里，阈值TH1和TH2根据对象物区域的大小和各个相似物区域的大小，由状态判定单元31决定。在对象物区域或相似物区域大的情况下，根据该大小，阈值TH1和TH2也增大。例如，阈值TH2也可以是对象物区域的一半宽度和相似物区域的一半宽度之和。

在追踪状态被判定为‘安全’的情况下(S22之后)，或在追踪状态被判定为‘靠近’的情况下(S24之后)，搜索区域决定单元32将以前一个帧中的对象物的位置为中心的前一个帧中的对象物区域54(图3的(b))的2倍长宽(面积为4倍)的矩形区域决定作为对象物搜索区域57(S26)。

对象物搜索单元33对于对象物搜索区域57，使用前一个帧中的对象物的模板，通过梯度法等的追踪处理，确定当前帧中的对象物的位置和对象物存在的对象物区域58(S27)。对象物的位置作为对象物区域58的中心。

对象物运动信息生成单元34从当前帧中的对象物的位置和当前帧的前面多个帧中的对象物的位置，求多个帧期间的图像中的对象物的平均速度(S28)。

与S13同样，对象物模板生成单元35提取当前帧的处理对象图像50b的对象物区域58中包含的图像的颜色分布等特征量，生成带有对象物特征的模板(S29)。

此外，在追踪状态被判定为‘重合’的情况下(S25之后)，对象物预测单元41从前一个帧中的对象物的位置和对象物的速度，预测当前帧的处理对象图像50b中的对象物的位置和对象物区域(S37)。

在S29或S37之后，与S14同样，周边区域决定单元36将对象物区域周围的规定的区域决定作为搜索相似物的区域(周边区域)59(S30)。

在S30之后，在追踪状态被判定为‘靠近’的情况下(S31中为“是”)，周边搜索单元37通过基于前一个帧中的相似物的位置，使用前一个帧的相似物的模板，进行梯度法等的追踪处理，从而追踪相似物(例如人物52的面部)。确定追踪的相似物的位置和相似物区域60(S32)。

在追踪状态被判定为‘安全’或‘重合’的情况下(S31中为“否”)，或在S32之后，周边搜索单元37通过使用对象物的模板搜索周边区域59，检测在周边区域中存在的相似物(例如人物52的面部)。

在周边区域59中没有检测到相似物(并且相似物无法追踪)的情况下(S33中为“否”)，输出单元40将当前帧的处理对象图像50b中的对象物的位置和对象物区域58的信息输出到焦点控制装置3(S36)。

在周边区域59中检测到相似物，或可以追踪相似物的情况下(S33中为“是”)，周边搜索单元37确定检测和追踪到的各个相似物的位置和各个相似物存在的区域(相似物区域)60(S34)。相似物区域60作为包含相似物的矩形的区域被设定。此外，相似物的位置作为相似物区域的中心。

相似物模板生成单元39提取当前帧的处理对象图像50b的相似物区域60中包含的图像的颜色分布等特征量，从而生成带有各个相似物特征的模板(S35)。

输出单元40将当前帧的处理对象图像50b中的对象物的位置和对象物区域58的信息输出到焦点控制装置3(S36)。然后，追踪单元14结束当前帧中的追踪处理。

再有，在S26的对象物搜索区域57的决定中，前一个帧中的追踪状态为‘重合’，在当前帧中被判定为‘安全’或‘靠近’的情况下，也可以将更宽的区域决定作为对象物搜索区域57。例如，将前一个帧中的对象物区域54(图3的(b))的3倍长宽(面积为9倍)的矩形的区域决定作为对象物搜索区域57。

此外，在S37中，对象物预测单元41也可以从背景的图像的移动中预测对象物的位置。

此外，在S21中，也可以不设置阈值TH1，如果在前一个帧中没有检测到相似物，则将追踪状态判定为‘安全’，如果检测到相似物，则将追踪状态判定为‘靠近’或‘重合’。

此外，在S30中，周边区域决定单元36也可以将对象物区域的周围分成了多个所得的区域决定作为周边区域。例如，如图9所示，也可以设定位于对象物区域58四周的四个矩形的周边区域59。再有，对象物区域58和周边区域59也可以相连。

此外，在本实施方式中，从拍摄的运动图像中检测追踪人物的面部图像。但是，物体追踪装置10也可以适用于动画那样的其他运动图像。此外，可以检测人物的上半身或全身的图像，也可以检测球、车辆、搬运的行李、其他移动物体的图像。此外，即使是静止的物体，如果使摄像装置2移动，则在拍摄的图像中移动，所以可适用。即，本发明可适用于在获得的时序的图像中移动的对象物的追踪。

最后，物体追踪装置10的各个块，特别是对象物指定单元21、初始对象物搜索单元22、初始对象物模板生成单元23、初始周边区域决定单元24、初始周边搜索单元25、初始相似物模板生成单元26、状态判定单元31、搜索区域决定单元32、对象物搜索单元33、对象物运动信息生成单元34、对象物模板生成单元35、周边区域决定单元36、周边搜索单元37、相似物模板生成单元39、输出单元40和对象物预测单元41，可以通过硬件逻辑构成，也可以如以下那样，使用CPU(central processing unit；中央处理器)通过软件实现。

即，物体追踪装置10包括：执行实现各个功能的控制程序的命令的CPU、存储了上述程序的ROM(read only memory；只读存储器)、扩展上述程序的RAM(random access memory；随机存取存储器)、存储上述程序和各种数据的存储器等的存储装置(记录媒体)等。而且，通过将计算机可读取地记录了作为实现上述功能的软件的物体追踪装置10的控制程序的程序码(执行形式程序、中间码程序、源程序)的记录媒体，供给上述物体追踪装置10，该计算机的CPU或MPU(microprocessor unit；微处理器)读出并执行在记录媒体中记录的程序码，也可以实现本发明的目的。

作为上述记录媒体，例如，可以使用磁带或盒式磁带等磁带类、包括软盘(注册商标)/硬盘等磁盘或CD-ROM(compact disc read-only memory；小型盘只读存储器)/MO(magneto-optical；磁光)/MD(Mini Disc；迷你盘)/DVD(digital versatile disk；数字通用盘)/CD-R(CD Recordable；可记录CD)等光盘的盘类、IC卡(包含存储器卡)/光卡等的卡类、或掩模ROM/EPROM(erasable programmable read-only memory；可擦可编程只读存储器)/EEPROM(electrically erasable and programmable read-only memory；电可擦可编程只读存储器)/闪速ROM等半导体存储器类等。

此外，也可以将物体追踪装置10与通信网络可连接地构成，将上述程序码通过通信网络来供给。作为该通信网络，没有特别限定，例如，可利用因特网、内联网、外联网、LAN(local area network；局域网)、ISDN(integratedservices digital network；综合业务数字网)、VAN(value-added network；增值网)、CATV(community antenna television；闭路电视)通信网、虚拟专用网(virtual private network)、电话线路网、移动通信网、卫星通信网等。此外，作为构成通信网络的传输媒体，没有特别限定，例如，无论IEEE(institute ofelectrical and electronic engineers；电气和电子工程师学会)1394、USB、电力线传送、有线电视线路、电话线、ADSL(asynchronous digital subscriber loop；异步数字用户环路)线路等的有线方式，还是IrDA(infrared data association；红外数据协会)或遥控那样的红外线、Bluetooth(蓝牙)(注册商标)、802.11无线、HDR(high data rate；高数据率)、移动电话网、卫星线路、地面波数字网等无线方式，都可以利用。再有，即使上述程序码为电子式传输而具体化的、埋入在载波中的计算机数据信号的方式，也可实现本发明。

本发明不限于上述实施方式，在权利要求所示的范围内可进行各种各样的变更。即，将在权利要求所示的范围中适当变更的技术方案组合得到的实施方式，也包含在本发明的技术范围中。

本发明可以用于追踪运动图像中的对象物的数字照相机、数字摄像机或带有照相机的移动电话等设备。

Claims (14)

1.一种对象物追踪装置，追踪由多个帧构成的时序图像中的对象物，其特征在于，包括：

位置关系判定单元，判定当前帧的前帧中的所述对象物和具有与所述对象物同样的特征的相似物之间的位置关系；

对象物位置确定单元，确定当前帧中的所述对象物的位置；以及

相似物位置确定单元，在作为所述对象物周边的规定的区域的周边区域中存在所述相似物的情况下，确定当前帧中的所述相似物的位置，

在所述位置关系为第1状态的情况下，所述对象物位置确定单元基于前帧中的所述对象物的位置和所述对象物的运动状态，预测当前帧中的所述对象物的位置，确定所述对象物的位置，在所述位置关系不是第1状态的情况下，所述对象物位置确定单元从当前帧的图像中搜索所述对象物，确定所述对象物的位置。

2.如权利要求1所述的对象物追踪装置，其特征在于，

所述位置关系判定单元在所述相似物在所述对象物的附近的第1范围内存在的情况下，判定为所述位置关系为第1状态。

3.如权利要求1或2所述的对象物追踪装置，其特征在于，

所述相似物位置确定单元从当前帧的图像中搜索所述相似物，确定所述相似物的位置。

4.如权利要求2所述的对象物追踪装置，其特征在于，

还包括相似物运动状态确定单元，

所述位置关系判定单元在所述相似物在第1范围外侧的第2范围内存在的情况下，判定为所述位置关系为第2状态，

所述相似物运动状态确定单元在所述位置关系为第2状态的情况下，确定所述相似物的运动状态，

所述相似物位置确定单元在所述位置关系为第1状态的情况下，基于前帧中的所述相似物的位置和所述相似物的运动状态，预测当前帧中的所述相似物的位置，确定所述相似物的位置，在所述位置关系为第2状态的情况下，从当前帧的图像中搜索所述相似物，确定所述相似物的位置。

5.如权利要求4所述的对象物追踪装置，其特征在于，

所述位置关系判定单元在所述相似物不在第1范围内、也不在第2范围内存在的情况下，判定为所述位置关系为第3状态，

所述相似物位置确定单元在所述位置关系为第3状态的情况下，从当前帧的图像中搜索所述相似物，确定所述相似物的位置。

6.如权利要求1至5任何一项所述的对象物追踪装置，其特征在于，

还包括确定所述对象物的运动状态的对象物运动状态确定单元。

7.如权利要求1至6任何一项所述的对象物追踪装置，其特征在于，

所述位置关系判定单元根据所述对象物和所述相似物之间的距离，判定所述位置关系。

8.如权利要求1至7任何一项所述的对象物追踪装置，其特征在于，

所述运动状态表示速度。

9.一种对象物追踪装置，追踪由多个帧构成的时序图像中的对象物，其特征在于，包括：

对象物位置确定单元，从当前帧的图像中搜索所述对象物，确定当前帧中的所述对象物的位置；以及

相似物位置确定单元，从当前帧的图像中搜索具有与所述对象物同样的特征的相似物，在作为所述对象物周边的规定的区域的周边区域中存在所述相似物的情况下，确定当前帧中的所述相似物的位置。

10.如权利要求1至9任何一项所述的对象物追踪装置，其特征在于，

还包括：对象物特征量生成单元，其从当前帧的图像中提取带有所述对象物特征的信息，使用提取出的带有所述对象物特征的信息，生成带有所述对象物特征的对象物特征量，

所述对象物位置确定单元使用前帧中的所述对象物特征量，从当前帧的图像中搜索所述对象物，确定当前帧中的所述对象物的位置，

所述相似物位置确定单元使用所述对象物特征量，从当前帧的图像中搜索所述相似物，确定当前帧中的所述相似物的位置。

11.一种对象物追踪方法，用于追踪由多个帧构成的时序图像中的对象物，其特征在于，包括：

位置关系判定步骤，判定当前帧的前帧中的所述对象物和具有与所述对象物同样的特征的相似物之间的位置关系；

对象物位置确定步骤，确定当前帧中的所述对象物的位置；以及

相似物位置确定步骤，在作为所述对象物周边的规定的区域的周边区域中存在所述相似物的情况下，确定当前帧中的所述相似物的位置，

在所述对象物位置确定步骤中，在所述位置关系为第1状态的情况下，基于前帧中的所述对象物的位置和所述对象物的运动状态，预测当前帧中的所述对象物的位置，确定所述对象物的位置，在所述位置关系不是第1状态的情况下，从当前帧的图像中搜索所述对象物，确定所述对象物的位置。

12.一种对象物追踪方法，用于追踪由多个帧构成的时序图像中的对象物，其特征在于，包括：

对象物位置确定步骤，从当前帧的图像中搜索所述对象物，确定当前帧中的所述对象物的位置；以及

相似物位置确定步骤，从当前帧的图像中搜索具有与所述对象物同样的特征的相似物，在作为所述对象物周边的规定的区域的周边区域中存在所述相似物的情况下，确定当前帧中的所述相似物的位置。

13.一种控制程序，其特征在于，该程序使计算机执行：

位置关系判定步骤，判定由多个帧构成的时序图像的当前帧的前帧中的作为追踪对象的对象物和具有与所述对象物同样的特征的相似物之间的位置关系；

对象物位置确定步骤，确定当前帧中的所述对象物的位置；以及

相似物位置确定步骤，在作为所述对象物周边的规定的区域的周边区域中存在所述相似物的情况下，确定当前帧中的所述相似物的位置，

在所述对象物位置确定步骤中，在所述位置关系为第1状态的情况下，基于前帧中的所述对象物的位置和所述对象物的运动状态，预测当前帧中的所述对象物的位置，确定所述对象物的位置，在所述位置关系不是第1状态的情况下，从当前帧的图像中搜索所述对象物，确定所述对象物的位置。

14.一种控制程序，使计算机执行：

对象物位置确定步骤，从由多个帧构成的时序图像的当前帧的图像中搜索作为追踪对象的对象物，确定当前帧中的所述对象物的位置；以及

相似物位置确定步骤，从当前帧的图像中搜索具有与所述对象物同样的特征的相似物，在作为所述对象物周边的规定的区域的周边区域中存在所述相似物的情况下，确定当前帧中的所述相似物的位置。

Images