CN101398890B - 人物判定装置 - Google Patents

Abstract

在时间上远离的帧间或由不同的摄像机拍摄到的帧间也能够进行同一判定的人物判定装置判定不同的图像序列中包含的人物是否是同一人物，包括：步行姿态检测部(200)，检测表示图像序列中包含的第1及第2人物的步行状态的图像序列即第1及第2步行序列；步行状态推定部(180)，由上述第1人物的步行序列来推定与该步行序列不同的时刻或位置上的第1人物的周期性的步行运动中的步行姿态的迁移状态；以及判定部(190)，判定推定出的上述第1人物的步行状态的迁移状态、和上述第2人物的步行状态的迁移状态之间的匹配性，在具有匹配性的情况下，判定为上述第1人物和上述第2人物是同一人物。

Description

人物判定装置

本申请是申请日为2005年7月27日，申请号为200580000892.4，发明名称为“人物判定装置及人物搜索跟踪装置”的申请的分案申请。

技术领域

本发明涉及一种人物判定装置，判定不同的图像序列中包含的人物是否是同一人物。

背景技术

为了从监视摄像机等得到的图像序列中搜索和跟踪特定的人物，需要鉴别人物，即判定不同的图像或图像序列中显现的人物是否是同一人物。

以往，作为以搜索和跟踪图像序列中的人为目的的同一人物判定方法，有在相邻帧间使接近的人物区域相对应的方法(例如参照专利文献1)。

图1A～图1C是专利文献1中记载的人搜索和跟踪方法的说明图。图1A及图1B表示拍摄同一人物所得的时间上连续的帧图像。图1A所示的帧图像A10示出显现了向右移动的人A11的图像。矩形A12是包含用运动矢量检测为人体中运动小的区域(人物稳定区域)的头部及胴体部分的外接矩形。在图1B所示的帧图像A20中，也同样用虚线示出了从人A21中检测出的人物稳定区域的外接矩形A22。在图1C所示的帧图像A30上，重叠地同时显示了从帧图像A10及A20中得到的人物稳定区域的外接矩形A12及A22。在该现有的方法中，如帧图像A30所示，根据外接矩形A12和外接矩形A22之间的重叠、及两者的运动矢量的连续性，将人A11和人A21作为同一人物来相对应，进行搜索和跟踪。

专利文献1：(日本)特开2003-346159号公报(第3及第6页、图2及图9)

然而，在上述现有的方法中，有下述问题：由于在帧间从接近的位置搜索人，所以在某个帧中一旦人物检测失败，则失败了的帧之前的帧的人物和之后的帧的人物之间不能相对应，不能跟踪人。 

此外，在同样的方法中，有下述问题：虽然也可以用人区域的颜色或图像图案将不同的帧间的人相对应，但是在远离的帧间，由于人的移动造成的位置的变化很大，或即使是同一人物，但是相对于摄像机的方向和姿态和照明条件变化，而难以相对应。

因此，在图像内显现了多个人的情况下，如果产生想搜索和跟踪的人暂时进入其他人或物的背后、或者由于照明变化等的影响而暂时不能正常地检测人的帧，则有不能继续进行搜索和跟踪这一问题。

发明内容

因此，本发明就是用于解决上述现有的课题，其目的在于提供一种人物判定装置，即使在时间上远离的帧间或用不同的摄像机拍摄到的帧间，也能够判定是否是同一人物。

为了实现上述目的，本发明的人物判定装置判定不同的图像序列中包含的人物是否是同一人物，其特征在于，包括：图像序列输入单元，接受第1图像序列及与上述第1图像序列不同的时刻或不同的图像传感器取得的第2图像序列的输入；步行序列提取单元，从输入的上述第1及第2图像序列中，分别提取表示人物的步行状态的图像序列即第1及第2步行序列；步行信息提取单元，从提取出的上述第1及第2步行序列中，分别提取表示人物的时间上或空间上的步行周期的信息即第1及第2时空间周期信息和人物的周期性的步行动作的时间上或空间上的相位信息即第1及第2时空间相位信息，作为确定人物的步行的周期性的运动的信息即第1及第2步行信息；步行信息对照单元，对照提取出的上述第1及第2步行信息；以及判定单元，根据上述步行信息对照单元的对照结果，来判定上述第1及第2图像序列中包含的人物是否是同一人物；校正信息存储单元，预先存储表示上述第1及第2图像序列各自的图像上的位置和在拍摄场所中的位置之间的对应关系的校正信息；和校正单元，根据上述校正信息存储单元中存储的校正信息，来进行上述步行信息提取单元提取上述第1及第2步行信息时的时空间上的校正处理。

发明效果

根据本发明，通过利用从人的步行中得到的时空间周期信息、时空间相位信息及时空间位置信息，能够将远离的帧间或不同的传感器得到的人物图像序列相对应。

即，实现了一种人物判定装置，即使在时间上远离的帧间或用不同的摄像机拍摄到的帧间，也能够判定是否是同一人物。

附图说明

图1A是现有的人物搜索跟踪装置的检测矩形的一例的图。

图1B是现有的人物搜索跟踪装置的检测矩形的一例的图。

图1C是现有的人物搜索跟踪装置的检测矩形的移动的图。

图2是本发明实施方式1的人物判定装置的结构的功能框图。

图3是本发明实施方式1的图像序列的一例的图。

图4A是人的下半身图像的序列的一例的图。

图4B是本发明实施方式1的步行序列的一例的图。

图4C是步行序列的最小图案的形状的一例的图。

图5是本发明实施方式1的时空间相位信息及时空间位置信息的图。

图6A是本发明实施方式1的步行轨迹的一例的图。

图6B是本发明实施方式1的推定步行状态的一例的图。

图6C是本发明实施方式1的相位状态不同的步行状态的一例的图。

图7A是本发明实施方式1的步行轨迹和脚间的变化之间的关系的一例的图。

图7B是本发明实施方式1的脚间变化的一例的图。

图7C是本发明实施方式1的脚间变化的一例的图。

图8A是本发明实施方式1的步行序列的显示的一例的图。

图8B是本发明实施方式1的步行序列的显示的一例的图。

图8C是本发明实施方式1的步行序列的显示的一例的图。

图9是本发明实施方式1的进行了步行序列的搜索和跟踪的结果的存储格式的示例图。

图10是本发明实施方式1的人物搜索跟踪装置的结构的框图。

图11是本发明实施方式1的指示搜索和跟踪的画面的示例图。

图12是本发明实施方式1的对照步骤的一例的流程图。

图13A是本发明实施方式1的图像序列1的一例的图。

图13B是本发明实施方式1的图像序列2的一例的图。

图14是本发明实施方式1的步行序列提取步骤的一例的流程图。

图15是本发明实施方式1的时空间周期信息和时空间相位信息和时空间位置信息的提取步骤的一例的流程图。

图16A是本发明实施方式1的特定步行状态的检测的一例的图。

图16B是本发明实施方式1的特定步行状态的检测模板的一例的图。

图16C是本发明实施方式1的特定步行状态的检测过程的一例的图。

图17是本发明实施方式1的控制部进行的显示的一例的图。

图18A是本发明实施方式2的图像序列1的一例的图。

图18B是本发明实施方式2的图像序列2的一例的图。

图19是本发明实施方式2的人物判定装置的结构的功能框图。

具体实施方式

本发明实施方式的人物判定装置判定不同的图像序列中包含的人物是否是同一人物，其特征在于，包括：图像序列输入单元，接受第1图像序列、及与上述第1图像序列不同的时刻或不同的图像传感器取得的第2图像序列的输入；步行序列提取单元，从输入的上述第1及第2图像序列中，分别提取表示人物的步行状态的图像序列即第1及第2步行序列；步行信息提取单元，从提取出的上述第1及第2步行序列中，分别提取确定人物的步行的周期性的运动的信息即第1及第2步行信息；步行信息对照单元，对照提取出的上述第1及第2步行信息；以及判定单元，根据上述步行信息对照单元的对照结果，来判定上述第1及第2图像序列中包含的人物是否是同一人物。这里，作为步行信息，例如可以是表示人物的时间上或空间上的步行周期的信息，或者是人物的周期性的步行动作的时间上或空间上的相位信息，或者是表示人物的周期性的步行动作的时间上或空间上的位置信息。

由此，着眼于人物的步行来判定是否是同一人物，所以与在帧间将接近的位置上的人物判定为同一人物、或者用颜色或图像图案来判定是否是同一人物的现有技术相比，即使想搜索和跟踪的人暂时进入其他人或物的背后、或者由于照明变化等的影响而暂时不能正常地检测人的情况下，也能够判定是否是同一人物。即，本发明利用了如果人不同则步行周期或步幅等步行特性也不同、及如果是同一人物则以一定的步行特性来步行这一事实，所以能够不依赖于时间上和空间上的位置来判定是否是同一人物，即使在时间上远离的帧间或用不同的摄像机拍摄到的帧间，也能够判定是否是同一人物。

此外，上述步行信息对照单元可以根据上述第1及第2步行信息中分别包含的第1及第2时空间相位信息，比较上述第1及第2图像序列中包含的人物成为规定的步行姿态的时刻或位置，由此对照步行信息。具体地说，上述步行信息对照单元具有：相位信息推定部，根据上述第1步行信息中包含的第1时空间相位信息，来推定上述第1图像序列中包含的人物的、与上述第1图像序列不同的时刻或位置上的时空间相位信息；和步行信息对照部，根据上述相位信息推定单元推定出的上述时空间相位信息及上述第2时空间相位信息，比较上述第1及第2图像序列中包含的人物成为规定的步行姿态的时刻或位置，由此对照步行信息。

由此，与只用时空间周期信息来判定人物是否是同一人物的情况相比，能够提高判定的精度。例如在步幅及步速相同的两个人物被拍摄在同一图像序列中的情况下，这二人的时空间周期信息相同，所以不能判别。但是，即使时空间周期信息相同，如果交叉脚的定时或位置不同，则时空间相位信息不同。因此，通过采用时空间相位信息，能够进行更精确的判定。

其中，上述步行信息对照单元也可以根据上述第1及第2步行信息中分别包含的第1及第2时空间相位信息，比较同一时刻或位置上的上述第1及第2图像序列中包含的人物的步行姿态，由此对照步行信息。具体地说，上述步行信息对照单元具有：相位信息推定部，根据上述第1时空间步行信息中包含的相位信息，来推定上述第1图像序列中包含的人物的、与上述第1图像序列不同的时刻或位置上的时空间相位信息；和步行信息对照部，根据上述相位信息推定单元推定出的上述时空间相位信息及上述第2时空间相位信息，比较同一时刻或位置上的上述第1及第2图像序列中包含的人物的步行姿态，由此对照步行信息。

此外，作为步行序列，例如是沿时间轴分别切断了图像序列的情况下的切断面上的图像，具体地说，是将切断了图像序列中分别包含的人物的两脚所得的切片沿时间轴排列所得的图像等。由此，能够在时间上及空间上提取人物的步行特性。

此外，上述图像序列输入单元也可以接受由拍摄同一场所的不同的图像传感器取得的第1及第2图像序列的输入。由此，能够鉴别从不同的角度拍摄存在死角的同一场所而得到的不同的图像序列中的人物。

此外，上述人物判定装置还可以包括：校正信息存储单元，预先存储表示上述第1及第2图像序列分别在图像上的位置和拍摄场所中的位置之间的对应关系的校正信息；和校正单元，根据上述校正信息存储单元中存储的校正信息，来进行上述步行信息提取单元提取上述第1及第2步行信息时的时空间上的校正处理。由此，即使在由不同的图像传感器取得的情况下，也能校正基于图像传感器的配置位置或摄影方向等的差异的、图像之间的不匹配，所以能够用不同的图像传感器来进行人物判定。

这里，作为校正信息，例如可以是用于确定将拍摄场所中的步行面按一定距离的间隔二维地划分的格子线的信息。

此外，为了实现上述目的，本发明的人物搜索跟踪装置在拍摄了人物的图像序列中搜索或跟踪特定的人物，其特征在于，包括：上述人物判定装置；和步行序列存储单元，在上述人物判定装置包括的步行信息对照单元对照为上述第1及第2步行信息一致的情况下，将与上述第1及第2步行信息对应的上述第1及第2步行序列相对应起来存储。由此，通过预先分析并存储每个步行序列的同一性，在搜索和跟踪人物时读出并利用，能够一边显示图像序列一边搜索和跟踪人物，提高处理速度。

此外，为了实现上述目的，本发明的人物搜索跟踪装置在拍摄了人物的图像序列中搜索或跟踪特定的人物，其特征在于，包括：上述人物判定装置；和显示单元，显示上述人物判定装置具有的图像序列输入单元所接受的上述第1及第2图像序列；上述显示单元强调显示上述第1及第2图像序列中包含的人物中的、上述人物判定装置具有的判定单元判定为同一人物的人物，以便与其他人物相区别。由此，即使在同时显示了不同的图像的情况下，也能够立即知道同一人物，容易搜索和跟踪人物。

本发明另一方面的人物判定装置判定不同的图像序列中包含的人物是否是同一人物，包括：步行序列检测单元，检测表示图像序列中包含的第1及第2人物的步行状态的图像序列即第1及第2步行序列；步行姿态迁移推定单元，根据上述第1人物的步行序列，来推定表示与该步行序列不同的时刻或位置上的第1人物的周期性的步行运动中的步行姿态的迁移的信息；以及判断单元，判定表示推定出的上述第1人物的步行姿态的迁移的信息、和表示上述第2人物的步行姿态的迁移的信息之间的匹配性，在有匹配性的情况下、判断为上述第1人物和上述第2人物是同一人物。

由此，着眼于人物的步行来判定是否是同一人物，所以与在帧间将接近的位置上的人物判定为同一人物、或者用颜色或图像图案来判定是否是同一人物的现有技术相比，即使想搜索和跟踪的人暂时进入其他人或物的背后、或者由于照明变化等的影响而暂时不能正常地检测人的情况下，也能够判定是否是同一人物。即，本发明利用了如果人不同则步行周期或步幅等步行特性也不同、及如果是同一人物则以一定的步行特性来步行这一事实，所以能够不依赖于时间上和空间上的位置来判定是否是同一人物，即使在时间上远离的帧间或不同的摄像机拍摄到的帧间，也能够判定是否是同一人物。

其中，本发明不仅能够实现为上述人物判定装置及人物搜索跟踪装置，还能够实现为人物判定方法及人物搜索跟踪方法，或者实现为使计算机执行该方法的程序，或者实现为记录了该程序的计算机可读的记录媒体。

下面，参照附图来说明本发明的实施方式。

(实施方式1)

图2是本实施方式的人物判定装置10的结构的功能框图。该人物判定装置10是着眼于人物的步行序列的连续性、来判定不同的序列中包含的人物是否是同一人物的装置，包括步行姿态检测部200、步行状态推定部180及判定部190。

步行姿态检测部200是从运动图像中检测包含第一人的规定的步行姿态的步行序列的处理部。

步行状态推定部180是由第一人的步行序列来推定与该步行序列不同的时间或位置的第一人的步行状态(步行周期运动中的姿态的迁移状态的处理部。

判定部190是判定第一人的步行状态和第二人的步行状态之间的匹配性、在具有匹配性的情况下判定为第一人和第二人是同一人的处理部。

步行姿态检测部200由图像序列输入部100及步行序列提取部110构成。

步行状态推定部180由时空间周期信息提取部120、时空间相位信息提取部121及时空间位置信息提取部122构成。

判定部190包括时空间周期信息存储部130、时空间相位信息存储部131、时空间位置信息存储部132、时空间周期对照部140、时空间相位对照部141、时空间差提取部142、一致判定部150及控制部160。

这里，步行姿态检测部200是检测表示图像序列中包含的人物的步行状态的图像序列即步行序列的步行序列检测单元的一例。此外，步行状态推定部180是步行姿态迁移推定单元的一例，根据步行序列来推定表示与该步行序列不同的时刻或位置上的人物的周期性步行运动中的步行姿态的迁移的信息。再者，判定部190是判定表示不同的时刻或由不同的图像传感器拍摄到的两个人物的步行姿态的迁移的信息的匹配性、判断两个人物是否是同一人物的判断单元的一例。其中，所谓“表示步行姿态的迁移的信息”，是后述的包含周期信息及相位信息的信息。

图像序列输入部100是接受不同的时刻或由不同的图像传感器取得的第1及第2图像序列的输入的图像序列输入单元的一例。

步行序列提取部110是步行序列提取单元的一例，从第1及第2图像序列中分别提取表示人物的步行状态的图像序列即第1及第2步行序列。

时空间相位信息提取部121、时空间位置信息提取部122及时空间周期信息提取部120是步行信息提取单元的一例，从第1及第2步行序列中，分别提取确定人物的步行的周期性运动的信息即第1及第2步行信息。

时空间相位对照部141、时空间差提取部142及时空间周期对照部140是步行信息对照单元的一例，对照所提取出的第1及第2步行信息。

一致判定部150是根据对照结果，来判定第1及第2图像序列中包含的人物是否是同一人物的判定单元的一例。

图像序列输入部100是从摄像机或图像记录装置取得图像序列的信号接口等。如图3所示，所谓“图像序列”是将拍摄到的帧图像按时间顺序列出的排列。

步行序列提取部110是处理部，从图像序列输入部100取得的图像序列中提取步行序列。所谓“步行序列”，是从各帧图像中的步行动作区域中得到的步行状态的序列。图4B示出步行序列的例子。图4A是提取各帧中的人的下半身的区域并按时间顺序列出的排列。图4B是在图4B中在虚线B10的位置上将各帧图像的切片按时间顺序列出的排列。图4B的黑色带表示了脚尖的移动轨迹(将切断人物的两脚所得的切片上的图像沿时间轴列出的排列)。各步行序列的具体计算方法将在后面描述。

时空间周期信息提取部120是从由步行序列提取部110提取出的步行序列中提取步行的时空间变化的周期信息的处理部。所谓“周期信息”，表示一定时间和一定距离平均的步数、或者对脚或手的特定部位的时空间上的位置变化进行频率分析而得到的结果、或者时空间上周期性地重复的最小图案的形状等。用图4B来说明时空间周期信息的例子。在图4B中，在时间轴及图像的横轴(对应于空间轴)上脚交叉的时空间点上，显示了黑三角符以及白三角符。根据相邻的黑三角符之间的空间间隔以及相邻的白三角符之间的时间间隔而得到的一定时间和一定距离的平均步数为时空间周期信息的例子。此外，可以采用相邻的黑三角位置的虚线和相邻的白三角位置的虚线包围的步行图案的形状(图4C)本身，也可以采用图4B的曲线B11所示的步幅的时间上的变化或曲线B12所示的对步幅的空间上的变化进行频率分析而得到的频率特性(特定频带的矢量强度等)等。

时空间周期信息存储部130是将由时空间周期信息提取部120提取出的时空间周期信息与检测出的时间或图像中的位置等一起存储的存储器等。时空间周期对照部140是对照由时空间周期信息提取部120提取出的时空间周期信息、和时空间周期信息存储部130中存储着的时空间周期信息的处理部。

时空间相位信息提取部121是从步行序列提取部110提取出的步行序列中提取步行的时空间变化的相位信息的处理部。所谓“相位信息”，表示周期运动即步行运动中的迁移状态(呈现规定的步行姿态的位置或时间、或者特定的位置或时间上的步行姿态等)。例如，即使是具有同一时空间周期的步行序列，在哪个时空间位置上脚着地(规定的步行姿态)这一信息成为时空间相位信息。此外，在同一时间或同一位置上比较的2个步行序列中的步行姿态的差异也成为时空间相位信息。用图5、图6A～图6C及图7A～图7C来说明时空间相位信息的例子。图5与图4B同样示出了脚位置的步行轨迹，但是示出了时空间周期相同、时空间相位不同的2人的步行轨迹A010、A011。步行轨迹A010和A011的步幅和步行周期相同，但是脚着地的位置和时间、或两脚交叉的位置和时间不同。此外，图6A示出了由于存在障碍物1800(斜线的区域)而不连续地检测出的2个步行轨迹(第一人的步行轨迹1802(虚线)和第二人的步行轨迹1801(实线)。这里，考虑根据各个步行轨迹来检测相位信息的情况。所谓相位信息，如上所述，是呈现规定的步行姿态的位置或时间、或者规定的位置或时间上的步行姿态等，对第二人的步行轨迹1801及第一人的步行轨迹1802那样不同的时间或位置上的步行轨迹，根据同一基准来求相位信息。在此情况下，时空间相位信息提取部121由第一人的步行信息1802的规定的姿态(脚的交叉等)的位置和时间或其周期性来推定拍摄到的时间或位置以外的步行姿态(图6B的虚线1803)。同样，在图6C中，时空间相位信息提取部121根据障碍物1800右侧的步行轨迹1804(虚线)，来推定其他时间和位置上的步行姿态(虚线1805)。

接着，时空间相位信息提取部121求出成为规定的步行姿态的时间或位置。这里，作为规定的姿态，考虑脚交叉了的状态(脚间的大小达到极小的状态)。图7A示出脚间的时间变化或位置变化。脚间可以在步行轨迹中作为两脚轨迹的幅度而从图像求出。这里，时空间相位信息提取部121如图7B所示，根据第一人的脚间信息1902a(虚线)来推定由于存在障碍物等1900a(斜线区域)而未拍摄到的时间或位置上的脚间的状态(姿态状态)1903a(斜线)。这里，时空间相位信息提取部121求出作为拍摄到的区域而在时间上首次或者位置上在图像的左侧首次成为规定的姿态的时间或位置，作为相位信息。在图7B中，对于第一人的推定步行状态1903a得到时间或位置1905，对于第二人的步行状态1901a得到时间或位置1906，作为相位信息。同样在图7C中，对于推定步行状态1908a(虚线)得出的步行状态1909a(虚线)得到相位信息1910，对于步行状态1907a(实线)得到相位信息1911。

此外，在将规定的时间或位置上的姿态用作相位信息的情况下也同样，时空间相位信息提取部121求规定的时间或位置上的步行状态或推定步行状态。在图7B的情况下，时空间相位信息提取部121求规定的时间或位置1904上的脚间(步行姿态)。这里，将对第一人的相位信息设为推定步行状态1903a(虚线)在规定的时间或位置1904上的值，将对第二人的相位信息设为步行状态1901a(实线)在规定的时间或位置1904上的值。同样，在图7C中根据步行状态1908a推定出的推定步行状态1909a在规定的时间或位置1904上的值、步行状态1907a在规定的时间或位置1904上的值分别成为第一人及第二人的相位信息。

在上述说明中，只对第一人采用了推定姿态，但是也可以对第二人也求推定姿态，对第一人及第二人都根据推定姿态求出相位信息。例如也可以将图6A～图6C或图7A～图7C中的障碍物的位置或图示范围外等作为共同的位置，在求出了该共同的位置上的推定状态后，求相位信息。

其中，作为规定的姿态也可以采用其他状态，也可以采用脚间达到极大的位置或脚间的变化达到极大的状态等。

时空间相位信息存储部131是将时空间相位信息提取部121所提取出的时空间相位信息与检测出的时间或图像中的位置等一起存储的存储器等。时空间相位对照部141是对由时空间相位信息提取部121提取出的时空间相位信息、和时空间相位信息存储部131中存储的时空间相位信息进行对照的处理部。

时空间位置信息提取部122是这样的处理部，即对步行序列提取部110所提取出的步行序列，提取出提取了该步行序列的时空间位置，并作为时空间相位信息来生成。所谓“时空间相位信息”，表示检测出步行序列的时间或场所。用图5来说明时空间位置信息的例子。在图5中，对2个步行轨迹分别用虚线的十字表示了时间上两脚首次交叉了的时间和空间位置。这样表示绝对的时间上和空间上的步行的位置的信息就是时空间位置信息。

时空间位置信息存储部132是存储从时空间位置信息提取部122生成的时空间位置信息的存储器等。时空间差提取部142是求出由时空间位置信息提取部122生成的时空间位置信息、和时空间位置信息存储部132中存储着的时空间位置信息之间的差异的处理部。

一致判定部150是根据时空间周期对照部140、时空间相位对照部141及时空间差提取部142的结果，来判定不同的步行序列之间的一致不一致的处理部。即，一致判定部150判定是否是同一人物的步行序列。关于时空间周期信息来说明一致不一致的判定方法的例子则如下所述。即，在将一定时间内的步数x及一定距离内的步数y用作时空间周期信息的情况下，在由作为对照对象的步行序列的一方得到的x、y的组即矢量Z1＝(x1，y1)和由另一方的序列得到的矢量Z2＝(x2，y2)之差|Z1-Z2|＜θ(θ为预先设定的阈值)，或|x1-x2|＜θx、|y1-y2|＜θy(θx、θy是预先设定的阈值)都满足的情况下，一致判定部150判定为2个步行序列一致。即，一致判定部150判定为是同一人物的步行序列。

一致判定部150对时空间相位信息或时空间位置信息也与时空间周期信息同样来进行判定，在所有项目一致的情况下、或在指定的数目的项目一致的情况下，可以判断为2个步行序列一致。其中，判定方法不限于上述，可以适用模式识别等中一般使用的方法。

例如，在采用时空间相位信息的情况下，比较由运动图像中的第一人的步行序列得到的时间相位信息tp1及空间相位信息(位置的相位信息)sp1、和从与得到这些相位信息的时间或位置不同的时间或位置上的第二人的步行序列得到的时间相位信息tp2及空间相位信息(位置的相位信息)sp2。在此情况下，一致判定部150在|tp1-tp2|＜θt(θt为预先设定的阈值)及|sp1-sp2|＜θs(θs为预先设定的阈值)中的某一方满足的情况下，或者在双方同时满足的情况下，判定为第一人和第二人是同一人。例如，通过适当设定θt或θs，在图6B的情况下，一致判定部150判定为步行状态1801和步行状态1803的时空间相位信息一致，第一人和第二人是同一人。而且，在图6C的情况下，一致判定部150判定为步行状态1806和步行状态1805的时空间相位信息不同，第一人和第二人不同。同样，一致判定部150判定为图7B的步行状态1901a和步行状态1903a的时空间相位信息一致，第一人和第二人是同一人。而且，一致判定部150判定为图7C的步行状态1907a和步行状态1909a的时空间相位信息不同，第一人和第二人不同。

控制部160是作为基于一致判定部150的一致判定的结果的控制，进行对照中使用的图像序列的显示等的处理部。图8A～图8C示出显示的例子。图8A示出了对比较过的2个图像序列放大人的区域后左右显示、并一并显示了各图像序列的拍摄时刻和场所的例子。图8B示出了将与图8A同样的结果与人的移动轨迹(图中的箭头)一起显示了的例子。其中，在这些图中，在图像序列上一并用文字显示了拍摄到的时刻或场所，但是对场所，也可以在显示了地图后叠加显示拍摄位置或移动轨迹。图8C示出了在图像内包含多个人的情况下用虚线矩形强调显示了一致的人的区域的例子。其中，作为控制部160进行的控制的内容，除了显示以外，也可以是将不同的步行序列一致的这一步行序列之间的连接信息存储在外部的存储装置(位置信息存储装置)中。这样，通过存储不同的步行序列一致、不一致的对应关系，能够在搜索或跟踪人的步行图像时利用。

用上述步骤搜索和跟踪了步行序列的结果的存储格式的例子示于图9。图9示出了3个步行序列的信息，对1个步行序列包含5项信息。5项分别是序列号、时空间周期信息、时空间相位信息、时空间位置信息、一致序列号。序列号是向拍摄时间或摄像机不同的各个步行序列分别赋予的ID号。时空间周期信息将一定时间内的步数x及一定距离内的步数y表示为(x，y)。时空间相位信息分别是用与一步的序列有关的时间和移动量分别设为1.0和1.0时的比例表现的、从经过了基准时间或空间位置到首次交叉了两脚的时间和空间位置的移动量。例如在序列号1的情况下，表示从基准时间起0.5步的时间内交叉了脚，从基准位置起0.1步的距离后交叉了脚。

时空间位置信息表示首次检测出步行序列的时刻和场所。对场所，示出了图像上的纵横方向的像素坐标值。

一致序列号表示通过搜索和跟踪对不同的步行序列判定为一致的步行序列的序列号。可以在没有一致的序列的情况下设为0，在有多个的情况下并记多个。通过暂时保存搜索和跟踪的结果，在再次进行同一搜索和跟踪的情况下，通过参照上述信息，能够省略一致判定。

其中，序列号也可以与拍摄到的图像的参照目标(文件名或保存地址等)相对应。时空间位置信息中的空间上的场所的信息如图9所示，可以用专设的坐标系来表现，也可以用纬度经度等通用的坐标系来表现。

图10是应用了上述人物判定装置10的人物搜索跟踪装置20的结构的框图。该人物搜索跟踪装置20是本实施方式的实现根据图像序列来搜索和跟踪人的方法的系统或装置的具体例，由摄像机1010及1020、时钟1030、存储装置1040、处理装置1050、显示装置1060、输入部1070以及指示设备1080构成。

摄像机1010及1020是图像序列输入部100的一例，拍摄包含人1000的图像。时钟1030是用于得到拍摄时刻的定时器。存储装置1040是由存储摄像机1010及1020拍摄到的图像、从时钟1030得到的拍摄时刻以及人的搜索和跟踪结果等的硬盘等。处理装置1050是进行根据从摄像机1010及1020或存储装置1040得到的图像序列来搜索和跟踪人的处理的装置，相当于图2所示的人物判定装置10。显示装置1060是显示处理装置1050的处理结果的显示器，输入部1070是指示搜索和跟踪时所用键盘，指示设备1080是指示搜索和跟踪时所用的鼠标等。图11示出指示的例子。在进行搜索或跟踪的情况下，如图11所示，在图像上用指示器1090来指定作为对象的人1091，并搜索和跟踪与人1091相同的步行序列。

各构件通过通信线路相连。通信线路可以是有线的，也可以是无线的，也可以包含专用线路、公用线路。

接着，用图12的流程图来说明如上构成的本实施方式的人物判定装置10的动作。其中，在本实施方式中，根据单个摄像机在不同的时间得到的图像序列2来搜索和跟踪图像序列1中包含的人。图13A及图13B分别示出图像序列1及图像序列2的例子。图13A示出了图像序列1，示出了人502从障碍物501的左侧向右行走的序列。而图13B示出了图像序列2，示出了用同一摄像机在10秒后拍摄与图像序列1相同的场所所得的图像序列。在图像序列2中包含障碍物501、向右行走的人503以及人504。

首先图像序列输入部100输入图像序列1(步骤S401)。接着从图像序列1中提取步行序列(步行序列1)(步骤S402)。下面说明将如图4A所示用人的下半身区域的序列来作为步行序列的情况。

用图14来说明步行序列提取部110从图像序列中提取步行序列的例子。首先，步行序列提取部110从图像序列中读入1枚帧图像(步骤S601)。帧图像是从未读的帧图像中按时间顺序来读入的。接着，步行序列提取部110从读入的帧图像中检测人区域(步骤S602)。人区域的检测方法一般采用检测运动物体时所用的帧间差分法，或预先准备未拍摄人的背景图像、并计算与上述背景图像之间的差分的背景差分法。此外，在静止图像的情况下也可以预先准备人的模板图像，可通过用与模板图像之间的类似度计算(单纯差分计算或标准化相关运算等模板匹配法)提取类似度高的区域来检测人区域。接着，步行序列提取部110从上述人区域的图像中提取表示步行状态的信息(步骤S603)。作为表示步行状态的信息，是图4B的脚尖部位的轨迹信息那样表示步行状态的时间推移的信息。

其中，步骤S602和步骤S603的处理可以作为一系列处理来同时进行，也可以将步骤S602的处理结果直接作为步骤S603的处理结果。此外，也可以不像步骤S602那样明示检测整个人的区域，而是进行直接得到步骤S603的输出的处理。例如，如果是上述下半身的图像，则也可以用将下半身图像作为模板的模板匹配法来直接取得步行状态信息。最后，步行序列提取部110判断当前读入的帧图像是否是最后一帧(步骤S604)，如果是最后一帧则结束步行序列提取处理，而在还有帧图像的情况下返回到步骤S601。

接着，时空间周期信息提取部120、时空间相位信息提取部121及时空间位置信息提取部122分别从步骤S402中得到的步行序列1中，提取时空间周期信息、时空间相位信息及时空间位置信息(步骤S403)。

用图15和图16A～图16C来说明从图4B示出的步行序列中提取时空间周期信息、时空间相位信息以及时空间位置信息的方法的一例。

首先，时空间周期信息提取部120等从步行序列的信息中检测特定步行状态的位置(步骤S701)。用图16A～图16C来说明特定步行状态。图16A示出了对图4B的步行序列检测特定步行状态位置的结果。图16A的2根相互交叉的黑色波形带表示脚在时间上的移动轨迹。这里，横轴表示图像的横向位置，纵轴表示时间。这里，将2根相互交叉的位置即两脚交叉的状态的位置(图中的虚线位置)作为特定步行状态位置。这里，可以通过预先准备图16B所示的交叉部分的形状图案、并进行模板匹配或相关运算，来检测交叉的位置。图16C示出检测过程的一例。在图16C中，对步行轨迹800一边偏移检测模板801的位置一边计算形状的一致程度。如果匹配所得的一致程度在预定值以上，则认为是特定步行状态。这样，求出图16A的虚线的交点位置。

其中，作为特定步行状态，不限于脚交叉时，也可以设为脚伸得最开的状态。脚伸得最开的状态在图16A的步行轨迹上相当于交叉的带间隔最宽的位置(图中的点划线)的位置。进行步骤S701直至检测出所有特定步行状态，其后进入步骤S703(步骤S702)。

接着，时空间周期信息提取部120通过计算检测出的特定步行状态位置之间的间隔，来生成时空间周期信息(步骤S703)。对于周期信息，另外即使没得到特定步行状态的位置也可以用傅里叶分析、小波分析或自相关法计算。在此情况下，对图16A的波形带的位置的时间变化、或2根带的幅度的时空间变化适用傅里叶变换、小波变换或自相关法即可。此外，作为时空间周期信息，也可以将图16A的周期性的步行的轨迹的最小单位的形状本身用作图案。在此情况下，将图16A的纵横的虚线所包围的范围内的2根带的1个波形作为图案。

接着，时空间相位信息提取部121计算时空间相位信息(步骤S704)。时空间相位信息表示经过了从基准时间或空间位置后首次交叉了两脚(出现特定步行状态)的时间和空间位置为止的时空间移动量。在将成为规定的姿态的时间或位置用作时空间相位信息的情况下，在图7B的例子中设为脚间的距离达到极小的时间或位置，对1902a的步行，由推定步行状态1903a求出的1905的值成为时间相位信息或空间相位信息，对1901a的步行，1906的值成为时间相位信息或空间相位信息。此外，在将规定的时间或位置上的姿态用作时空间相位信息的情况下，对1902a的步行，推定步行状态1903a在1904中的值(脚间的值)成为时间相位信息或空间相位信息，对1901a的步行，1904中的值成为时间相位信息或空间相位信息。

此外，用图5的例子来说明，则在将时间轴的基准设为步行轨迹图的上端的情况下，从上端到首次交叉两脚的位置(虚线的交叉位置)的时间成为时间的相位信息，假设将空间位置的基准设为步行轨迹图的纵线A013，则在纵线A013右侧离纵线A013最近的交叉了两脚的位置和纵线A013之间的距离成为空间的相位信息。移动量的表现方法不限于上述，也可以将与一步的序列有关的时间和移动量设为基准而用相对的大小来表现。

其中，时空间相位信息表示在图像内出现上述特定步行状态的相位信息，即使是同一时空间周期的步行序列，时空间上脚着地或交叉两脚等状态的时空间定时不同的步行也为不同的值。在图5中，步行序列A011和A012中的步行的时空间周期相同，但是如上定义了的时空间相位信息为不同的值。

接着，时空间位置信息提取部122计算时空间位置信息(步骤S705)。时空间位置信息设为检测出第一个特定步行状态的时间和图像上的位置。时空间位置信息是表示步行的检测位置在时空间上的绝对的位置坐标的信息，也可以采用第2步的检测位置或最后的检测位置。

通过检测特定步行状态，不仅能够得到步行的时空间周期，也能够得到步行的时空间相位信息或时空间位置信息。

接着，步骤S403中得到的时空间周期信息、时空间相位信息及时空间位置信息分别被保存到时空间周期信息存储部130、时空间相位信息存储部131及时空间位置信息存储部132中(步骤S404)。

接着，图像序列输入部100与步骤S401同样取得要搜索人的图像序列2(步骤S405)。然后，步行序列提取部110从该图像序列2中提取步行序列2(步骤S406)。接着，步行序列提取部110判断步骤S406中的处理的结果是否是还存在步行序列(步骤S407)。在不再存在步行序列的情况下(在步骤S407中为“否”)，结束处理。而在存在的情况下(在步骤S407中为“是”)，时空间周期信息提取部120、时空间相位信息提取部121及时空间位置信息提取部122与步行序列1的情况同样，从步行序列2中提取时空间周期信息、时空间相位信息及时空间位置信息(步骤S408)。

接着，时空间周期对照部140、时空间相位对照部141及时空间差提取部142将步骤S404中存储的步行序列1的时空间周期信息、时空间相位信息和时空间位置信息，与在步骤S408中提取出的时空间周期信息、时空间相位信息和时空间位置信息进行分别对照(步骤S409)。在对照中，可以采用所有3个信息，也可以只用时空间周期信息或时空间相位信息中的一方来进行对照。

作为对照的方法，可以对时空间周期信息、时空间相位信息、时空间位置信息分别预先设置一致程度的基准，在3个信息都满足基准的情况下判断为一致。例如，各个判定方法在相互比较图9所示的表现不同的序列的情况下，如果设各时空间周期信息为(x1，y1)、(x3，y3)，则在|x1-x3|＝Dx＜θx、|y1-y3|＝Dy＜θy都满足的情况下判定为两者一致。这里，θx和θy设为预定的阈值。同样，在设各时空间位置信息为(w1，z1)、(w3，z3)时，在|w1-w3|＝Dw＜θw、|z1-z3|＝Dz＜θz都满足的情况下判定为两者一致。这里，θw和θz设为预定的阈值。同样，在设各时空间位置信息为t1、(xx1，yy1)和t3、(xx3，yy3)的情况下，在|t1-t3|＝Dt＜θt、(xx1-xx3)*(xx1-xx3)+(yy1-yy3)*(yy1-yy3)＝Dxy＜θd都满足的情况下，判定为两者一致。这里，将θt和θd设为预定的阈值。

此外，也可以将上述3个信息相互关联来进行一致判定。例如，也可以将时空间周期信息之差Dx、Dy、时空间相位信息之差Dw、Dz以及时空间位置信息之差Dt、Dxy之积或和与预定的一致的基准进行比较。例如，在满足(Dx+Dy+Dw+Dz+Dt+Dxy)＜θsum的情况下或(Dx×Dy×Dw×Dz×Dt×Dxy)＜θmul时判定为两者一致。这里，θmul设为预定的阈值。此外，也可以根据时空间位置信息之差的大小，来变更时空间周期信息之差或时空间相位信息之差的基准。时空间周期的值或时空间相位的值可能根据时空间上的距离而变化，所以如果时空间相位信息之差大，则通过缓和时空间周期信息之差或时空间相位信息之差一致的基准，能够减少漏检。例如，在时空间位置信息之差Dt、Dxy满足Dt＞θt或Dxy＞θxy的情况下，将上述判定阈值θx、θy、θw、θz的值设为α倍(α为1.0以上的常数)来进行一致判定。

在采用了时空间周期信息的情况下，即使人相对于摄像机的方向变化，时空间周期信息的值也不易变化，所以有容易在时间上远离的图像序列间进行搜索和跟踪这一效果。

此外，在采用了时空间相位信息的情况下，有容易与以同样的时空间周期来步行的他人的步行序列相区别的这一效果。

接着，一致判定部150根据步骤S409中的对照结果，来判定步行序列1和步行序列2是否一致(步骤S410)。在不一致的情况下(在步骤S411中为“否”)，返回到步骤S406，取得新的步行序列(步骤S406)。而在一致的情况下(在步骤S411中为“是”)，控制部160将图像序列1和图像序列2显示在显示装置1060上，并且强调显示一致的步行序列的人区域。控制部160进行的显示的例子示于图17。在图17中，在区域1130上显示图像序列1，并在区域1140上显示图像序列2，在与一致的步行序列对应的人区域上附加外接矩形1110、1120来进行强调显示。

一般，时空间周期信息(步行图案)受个性(步行的习惯等)、个人的当时的状况(急行、慢步等)、鞋子的种类(鞋跟的高度或脚腕的可动范围等)、携带物品(携带一侧重的东西等)或服装(脚部的可动范围等)、路面的状态(易滑或倾斜等)等各种要素的影响而变化，所以难以确定个人。这里，用时空间位置信息来求要对照的2个步行序列间的时空间位置差，根据上述时空间位置差来变化一致判定的基准，能够反映场所或鞋子和服装和携带物品等在时空间上可能变化的程度，能够不进行错误的对照。例如如果如图13A及图13B那样是10秒左右的时空间差，则搜索和跟踪时空间周期信息之差或时空间相位信息之差小的步行序列即可。例如，在Dt＜10秒的情况下，将上述判定阈值θx、θy、θw、θz的值设为β倍(β为低于1.0的常数)来进行一致判定。通过采用上述方法，能够对图13A的图像序列中的人502，适当地选择图13B的图像序列中的2人中的步行序列的信息一致的人503。

如上所述，根据本实施方式，通过检测由步行序列得到的时空间周期信息、时空间相位信息、以及时空间位置信息，根据这些信息来进行步行序列的一致判定，能够抑制图像中的人的大小或方向等的影响，搜索和跟踪不同时间的图像序列中包含的人。

其中，在本实施方式中，同时采用时空间周期信息和时空间位置信息来对照步行序列，但是只用时空间周期信息或时空间相位信息中的某一方也能够对照步行序列，能够得到本发明的效果。通过组合两者，能够进行详细的对照，能够提高搜索和跟踪的精度。

此外，向图像序列输入部100中输入的图像序列最好是至少包含1步以上的步行过程的时间长度或帧数，包含的步数比1步多则可望提高对照的精度。作为包含1步以上的步行过程的时间长度和，最好是大约0.5秒以上(在30帧/秒时大约为15帧以上)的长度的图像序列，最好能够至少2次以上检测特定步行状态。

其中，在实施方式1中，示出了从摄像机直接得到图像序列的例子，但是读出存储装置1040等中记录的图像序列来使用也能得到同样的效果。

(实施方式2)

接着，用图18A0、图18B及图19来说明本发明的实施方式2。

实施方式2的基本结构与实施方式1相同，但是将从2个不同的摄像机得到的图像序列分别看作图像序列1及图像序列2，来搜索和跟踪人。图像的例子示于图18A及图18B。图18A表示图像序列1，图18B表示图像序列2。在图18A及图8B上，显示了长方体形状的障碍物900。在图18A所示的图像序列1中，人922被障碍物900遮住，只显现了人912。而在图18B所示的图像序列2中，显现了人921和人922。人912对应于人922，但是图像序列2的2个人相互接近并步行，身材和服装相同，用颜色、纹理或运动矢量不能区别与人912对应的人是人921还是人922。这里，图18A及图18B的格子状的虚线用于重叠显示地面上的位置坐标，是为了说明2个图像序列的位置信息的对应关系而显示的。虚线的格子通过预先实测或根据摄像机配置和光学系统的规格用几何学计算摄像机图像内的位置和拍摄场所的位置之间的对应关系(时空间校正信息)来得到。图18A的格子和图18B的格子表示对应的位置。这种图像中的不同的平面上的对应的点间的坐标变换可以用3×3的平面射影矩阵H来表现，所以计算矩阵H并保持即可。平面射影矩阵的求法可以采用K.Kanatani，N.Ohta and Y.Kanazawa，“Optimal homography computation with a reliability measure，”IEICE Transactions on Information and Systems，Vol.E83-D，No.7，pp.1369-1374(July 2000).等已有的方法。

图19是本实施方式的人物判定装置15的结构的功能框图。该人物判定装置15除了实施方式1的人物判定装置10包括的结构以外，还包括时空间校正部170。时空间校正部170是在提取步行序列或计算时空间周期信息、时空间相位信息或时空间位置信息时利用时空间校正信息来进行校正、补偿不同的图像序列中的时空间不匹配性的处理部。这里，时空间校正部170是提取步行信息时进行时空间上的校正处理的校正单元的一例。

人物判定装置15对不同的摄像机的映像也可以用与实施方式1同样的步骤来进行处理，确定与图像序列1中的人对应的图像序列2中的人。由于摄像机的配置的差异，拍摄到的对象在图像内的配置也不同，所以对每个摄像机(或每个图像序列)保持上述格子线作为时空间校正信息，用作提取步行序列时的空间上的位置坐标的校正信息。即，时空间校正部170存储将确定以一定距离的间隔来二维地划分拍摄场所中的步行面的格子线的信息作为校正信息。

然后，时空间校正部170通过用上述时空间校正信息进行校正处理，能够在不同的摄像机的映像间对照时空间周期信息、时空间相位信息或时空间位置信息。例如，时空间校正部170按照用格子线包围的小区域的各边或面积的比率，在时空间上校正时空间周期信息、时空间相位信息及时空间位置信息(乘以比例系数)。此时，作为时空间相位信息，采用超过了特定的格子线后首次成为特定步行状态的时空间位置即可。通过这种结构，能够将被障碍物900遮住的人(未图示)和人921相对应，将人912和人922相对应。

此外，在上述例子中提取步行序列时，采用了上述位置的对应关系，但是也可以在图像序列的状态下将图像变换为使一方的图像序列与另一方的图像序列的位置相符后进行其后的处理。在进行图像变换的情况下，通过采用上述平面射影矩阵H使矩阵H作用于步行的平面(地面)上的像素位置，从而也能够变换为对应的另一方的图像序列内的平面(地面)上的位置。因此，可以对所有像素进行同样的变换来变换图像。在计算时空间周期信息、时空间相位信息和时空间位置信息时，通过用位置关系进行校正来进行计算，也能够除去摄像机配置的影响来对照步行序列。

此外，在2个图像序列间帧速率不同的情况下，时空间校正部170通过预先对一方进行帧速率变换，或者在提取步行序列时变换帧速率，或者在计算时空间周期信息、时空间相位信息和时空间位置信息时校正时间信息，使得帧速率相同，也能够在不同的帧速率的图像序列间搜索和跟踪人。例如，在应比较的2个图像序列的帧速率分别为15帧/秒和30帧/秒的情况下，通过从后一个图像序列中每隔1帧抽去1帧而生成了15帧/秒的图像序列后，检测和对照图像序列间的步行序列。

在此情况下，预先将校正所需的帧速率的信息时空间校正信息以与图像序列相对应的状态保持在存储装置等中即可。

一般，对于不同的摄像机，由于对象的方向或照明条件的差异或摄像机的特性的差异，所以图像上的人的外观往往差别很大，所以用采用了颜色、运动矢量的连续性或人区域的图像图案本身的跟踪方法难以适当地搜索和跟踪同一人。然而，通过采用本实施方式的方法，即使是不同的方向、颜色或外观的人，也能够通过采用从同一人物的步行序列得到的时空间周期信息或时空间相位信息来搜索和跟踪不同的图像序列中的人。特别是在不同的摄像机的视野包含同一场所、能够从不同的方位拍摄同一人的情况下，通过采用时间相位信息，能够更有效地对应人的序列。

其中，在上述例子中预先对应了摄像机图像间的位置，但是在主要采用时间周期或时间相位时不进行对应的情况下，也能够进行步行序列间的对照，得到本发明的效果。

其中，上述实施方式的处理的一部分或全部可以用专用的设备来进行，也可以由终端或基站等通信设备或计算机中内置的CPU执行处理程序来进行。

产业上的可利用性

本发明可以用作判定不同的图像序列中包含的人物是否是同一人物的人物判定装置、从图像序列中搜索和跟踪人物的人物搜索跟踪装置等，例如，能够用于设在街头等处的监视系统等中。

Claims (2)

1.一种人物判定装置，判定不同的图像序列中包含的人物是否是同一人物，其特征在于，包括：

图像序列输入单元，接受第1图像序列及与上述第1图像序列不同的时刻或不同的图像传感器取得的第2图像序列的输入；

步行序列提取单元，从输入的上述第1及第2图像序列中，分别提取表示人物的步行状态的图像序列即第1及第2步行序列；

步行信息提取单元，从提取出的上述第1及第2步行序列中，分别提取表示人物的时间上或空间上的步行周期的信息即第1及第2时空间周期信息和人物的周期性的步行动作的时间上或空间上的相位信息即第1及第2时空间相位信息，作为确定人物的步行的周期性的运动的信息即第1及第2步行信息；

步行信息对照单元，对照提取出的上述第1及第2步行信息；以及

判定单元，根据上述步行信息对照单元的对照结果，来判定上述第1及第2图像序列中包含的人物是否是同一人物；

校正信息存储单元，预先存储表示上述第1及第2图像序列各自的图像上的位置和在拍摄场所中的位置之间的对应关系的校正信息；和

校正单元，根据上述校正信息存储单元中存储的校正信息，来进行上述步行信息提取单元提取上述第1及第2步行信息时的时空间上的校正处理。

2.如权利要求1所述的人物判定装置，其特征在于，

上述校正信息存储单元存储用于确定将上述拍摄场所中的步行面按一定距离的间隔二维地划分的格子线的信息，作为上述校正信息。

Images