CN111034189A - 拍摄对象追踪装置以及拍摄对象追踪方法 - Google Patents

Abstract

本发明具备：入退场检测摄像机，其对拍摄对象进行出入的入退场检测区域进行拍摄；入退场检测上部传感器，其对入退场检测摄像机所拍摄的拍摄对象进行检测；上部传感器，其以检测拍摄对象的范围的一部分与入退场检测上部传感器检测拍摄对象的范围重叠的方式设置；初始位置估计部，其根据由入退场检测摄像机拍摄的二维图像中的拍摄对象的位置坐标和入退场检测区域的三维坐标信息而估计拍摄对象的初始位置；上部位置检测部，其检测从拍摄对象的上部观察到的拍摄对象的位置；初始动作路线生成部，其生成初始动作路线；以及追踪部，其对初始动作路线追加拍摄对象的位置而生成动作路线。

Description

拍摄对象追踪装置以及拍摄对象追踪方法

技术领域

本发明涉及监视摄像机对拍摄对象的追踪技术。特别是涉及通过对拍摄对象的头部进行检测并生成拍摄对象的动作路线而追踪拍摄对象的技术。

背景技术

能够以现实的成本和足够的精度来实现使用监视摄像机系统对拍摄对象在空间内的位置进行追踪的处理。在对拍摄对象的位置进行追踪的系统中，通过可视外壳法始终合并从多个摄像机得到的检测结果，从而估计拍摄对象的位置，生成拍摄对象的动作路线数据。(例如，参照专利文献1)

现有技术文献

专利文献

专利文献1：日本特开2009―265922号公报

发明内容

发明要解决的课题

在以往的拍摄对象追踪装置中，为了获取拍摄对象的三维坐标等的信息，需要始终通过多个摄像机对1个拍摄对象进行拍摄。由于针对1个拍摄对象需要多个摄像机，因此存在要监视的范围中配置的摄像机的数量变多的问题。

本发明正是为了解决如上所述的课题而完成的，本发明得到一种以较少的数量来构成为了追踪拍摄对象而在要监视的范围中配置的摄像机的拍摄对象追踪装置。

用于解决课题的手段

本发明具备：入退场检测摄像机，其对拍摄对象进行出入的入退场检测区域进行拍摄；入退场检测上部传感器，其设置于拍摄对象的上部，对入退场检测摄像机所拍摄的拍摄对象进行检测；上部传感器，其设置于拍摄对象的上部，以检测拍摄对象的范围的一部分与入退场检测上部传感器检测拍摄对象的范围重叠的方式设置；初始位置估计部，其根据由入退场检测摄像机拍摄的二维图像中的拍摄对象的位置坐标和入退场检测区域的三维坐标信息而估计拍摄对象的初始位置；上部位置检测部，其根据由入退场检测上部传感器或上部传感器检测到的图像而检测从拍摄对象的上部观察到的拍摄对象的位置；初始动作路线生成部，其将与拍摄对象的初始位置对应的拍摄对象的位置作为初始动作路线的起点，将拍摄对象的位置中的距离起点最近的位置和起点连结而生成初始动作路线；以及追踪部，其对初始动作路线追加拍摄对象的位置而生成动作路线。

发明效果

本发明能够得到一种拍摄对象追踪装置，其根据由入退场检测摄像机检测到的位置坐标和入退场检测区域的三维坐标信息而估计拍摄对象的初始位置的三维坐标，使拍摄对象的初始位置的三维坐标和由入退场检测上部传感器检测到的位置坐标对应起来，因此能够以较少的数量来构成在要监视的范围中配置的摄像机。

附图说明

图1是示出本发明的实施方式1中的拍摄对象追踪装置的基本结构的框图。

图2是示出本发明的实施方式1中的入退场检测摄像机、入退场检测上部摄像机以及上部摄像机的配置的说明图。

图3是本发明的实施方式1中的入退场检测上部摄像机和上部摄像机的拍摄范围的重叠配置的侧面图。

图4是入退场检测摄像机和入退场检测上部摄像机的拍摄范围的重叠配置的说明图。

图5是示出动作路线信息的例子的表。

图6是示出初始动作路线生成处理的流程的流程图。

图7是示出追踪处理的流程的流程图。

具体实施方式

实施方式1.

图1是示出本发明的实施方式1中的拍摄对象追踪装置的基本结构的框图。图2是示出本发明的实施方式1中的入退场检测摄像机100、入退场检测上部摄像机200以及上部摄像机300的配置的说明图。在图1中，入退场检测摄像机100将所拍摄的影像传递给对作为拍摄对象1000的人物的脸部进行检测的脸部检测部500。脸部检测部500将影像上的位置坐标传递给初始位置估计部700。初始位置估计部700将变换为三维坐标后的位置坐标传递给初始动作路线生成部800。另外，作为入退场检测上部传感器的入退场检测上部摄像机200将所拍摄的影像传递给对作为拍摄对象1000的人物的头部等人物的上部位置进行检测的上部位置检测部600。此外，在上部位置检测部600中，只要是拍摄对象1000的上部位置即可而不限于头部，也可以对肩等进行检测。作为上部传感器的上部摄像机300还将所拍摄的影像传递给上部位置检测部600。上部位置检测部600将作为检测结果的头部的位置坐标传递给追踪部900。入退场检测上部摄像机200以及上部摄像机300是可见光摄像机。另外，上部位置检测部600将头部的位置坐标传递给初始动作路线生成部800。初始动作路线生成部800将初始动作路线信息传递给动作路线存储部950。动作路线存储部950存储初始动作路线信息，另一方面，将所存储的动作路线信息传递给追踪部900。另外，动作路线存储部950存储由追踪部900生成的动作路线信息。而且，动作路线存储部950将动作路线信息传递给显示装置1100。动作路线存储部950存储初始动作路线生成部800所生成的初始动作路线，将初始动作路线输出到追踪部900，并且存储追踪部900所生成的动作路线信息。在本发明的实施方式1中的拍摄对象追踪装置中，将设置有摄像机且收敛于摄像机的拍摄范围的空间称为拍摄对象空间。

另外，在本实施方式中，设上部摄像机300或入退场检测上部摄像机200进行头部的拍摄而进行说明。

入退场检测摄像机100是以对拍摄对象1000向拍摄对象空间进行出入的部位进行拍摄的方式设置的摄像机，与一般的摄像机同样地按照透视投影模型根据向摄像机入射的入射光生成拍摄影像。换言之，入退场检测摄像机100按照透视投影模型对拍摄对象1000进行拍摄。所拍摄的影像被传递给脸部检测部500。

另外，在入退场检测摄像机100的拍摄对象空间中，将拍摄对象1000进行出入的部位称为入退场检测区域。在本实施方式中拍摄对象1000进行出入的部位是入退场检测区域1。此外，关于入退场检测区域1和入退场检测上部摄像机200的配置等，使用图2在后面进行说明。可设置多个入退场检测区域1，但在该情况下本发明中的入退场检测摄像机100需要与入退场检测区域1数量相同。另外，此时，使用由与拍摄对象1000最初进入的入退场检测区域1对应的入退场检测摄像机100所拍摄的影像，在初始位置估计部700中计算作为初始位置的三维坐标。

关于入退场检测区域，只要在拍摄对象空间中，可由入退场检测摄像机100充分地拍摄，并具有拍摄对象能够出入的宽广度即可。即，无需必须是由门、壁等划分的平面，例如也可以是由细长的柱表示的门那样的物体。

入退场检测上部摄像机200是以从上方对拍摄对象1000进行拍摄的方式设置在拍摄对象空间的上部的摄像机。入退场检测上部摄像机200的拍摄范围的一部分包括入退场检测区域1。入退场检测上部摄像机200至少需要与入退场检测摄像机100数量相同。入退场检测上部摄像机200将所拍摄的映像传递给上部位置检测部600。

上部摄像机300是以从上方对拍摄对象1000进行拍摄的方式设置在天花板等拍摄对象空间的上部的摄像机。上部摄像机300将所拍摄的影像传递给上部位置检测部600。上部摄像机300与入退场检测上部摄像机200不同，拍摄范围的一部分是否包括入退场检测区域1不受限制，但另一方面，受到如下限制：以存在多台上部摄像机300为前提，多台上部摄像机300以相互共享一部分拍摄范围的方式进行设置。以后，关于存在多个的上部摄像机300，为了相互区分其个体，如上部摄像机300a、上部摄像机300b、…、上部摄像机300x这样附加标号。

脸部检测部500根据从入退场检测摄像机100传递的影像进行作为拍摄对象1000的人物的脸部检测，将其脸部在影像上的位置坐标传递给初始位置估计部700。另外，脸部检测部500以矩形的方式取得图像上的脸部的区域。传递给初始位置估计部700的位置坐标例如是将由与脸部的轮廓相接的4边构成的矩形的上侧两个顶点连结的线的中点。传递给初始位置估计部700的位置坐标是将取得的矩形的上侧两个顶点连结的线的中点，因此能够得到拍摄对象1000的高度信息。“拍摄对象1000的高度”是指身高。在从影像检测脸部时，能够利用使用Haar-Like特征等的公知技术。具体而言，通过组合多个以相邻的矩形区域的亮度值总和的差为输出的检测器即Haar-Like滤波器，从而能够从影像进行脸部检测。此外，即使在只拍摄到向后的影像的情况或由于佩戴口罩、头盔而无法进行脸部检测的情况下，只要能够通过提取与脸部相当的部分并与脸部的检测同样地定义矩形而得到位置坐标，就能够向初始位置估计部700传递位置坐标。

上部位置检测部600根据从入退场检测上部摄像机200或上部摄像机300传递并由一个人物的活动得到的多个影像一并进行人物头部的检测，将在其影像上的作为二维坐标的位置坐标传递给追踪部900。换言之，在上部位置检测部600中，根据由入退场检测上部摄像机200或上部摄像机300所拍摄的影像而检测从拍摄对象1000的上部观察到的拍摄对象1000的位置。在人物头部的检测中，能够使用将背景差分法和椭圆检测进行组合的方法和基于帧间差分、光流计算的运动体检测这样的公知技术。“背景差分法”是通过比较观测图像与事先取得的图像来提取在事先取得的图像中不存在的物体的处理方法。另外，“光流”是指在时间上连续的数字图像等视觉表现中用向量来表现物体的活动。另外，作为二维坐标的位置坐标是形成与地板面平行的面的二维面中的位置坐标。

初始位置估计部700根据入退场检测摄像机100与入退场检测区域1的位置关系，将从脸部检测部500传递的脸部在影像上的位置坐标变换为拍摄对象空间的三维坐标，并将变换后的坐标估计为拍摄对象1000的初始位置，将其传递给初始动作路线生成部800。换言之，在初始位置估计部700中，根据由入退场检测摄像机100拍摄的二维图像中的拍摄对象1000的位置坐标和入退场检测区域1的三维坐标信息而估计拍摄对象1000的初始位置。此外，作为初始位置的坐标是在拍摄对象空间中拍摄对象1000最初所处的位置的三维坐标。通过计算入退场检测区域1所成的平面与将由入退场检测摄像机100所拍摄的影像上的位置坐标和入退场检测摄像机100进行摄像的位置即视点连结的直线的延长线的交点，求出作为初始位置的坐标。

对初始位置估计部700进行三维坐标变换的方法进行记载。首先，设初始位置估计部700具有入退场检测摄像机100的摄像机参数和拍摄对象空间中的入退场检测区域1的三维坐标信息。

首先，对入退场检测摄像机100的摄像机参数进行说明。一般而言，已知如果是投影过程遵循透视投影模型并且由镜头引起的影像畸变可忽略的摄像机，则在将拍摄对象空间内的某个点的三维坐标设为(x，y，z)，并将该点投影到影像上的位置坐标(u，v)的情况下，(x，y，z)与(u，v)的对应关系用以下的两个数学式来记述。

[数1]

[数2]

由入退场检测摄像机100最少拍摄6个拍摄对象空间内的位置已测定的点，并调查拍摄到各个点的影像的位置坐标，求解适用于上述两个等式而得到的12个变量的联立方程式，从而得到式(1)以及式(2)所具有的12个系数p₀₀～p₂₃。此外，式(1)和式(2)的分母部分是相同的。p₀₀～p₂₃包括表现了摄像机的拍摄对象空间内的投影中心位置、拍摄方向、焦距、影像内的像素大小以及影像中心位置的信息。以下，在本发明中将系数p₀₀～p₂₃总称为摄像机参数。这样，三维空间中的位置与由摄像机拍摄时的影像中的位置的对应关系成为以摄像机的位置、姿势、焦距以及像素大小为参数的伪线性变换，因此通过根据两者已知的点的对应关系求解联立方程式，能够决定摄像机参数。

接下来，关于入退场检测区域1的三维的信息进行说明。一般而言，已知三维空间内的平面能够用下面的数学式来表现。

[数3]

a x+b y+c z＝O····(3)

因此，在拍摄对象空间内，如果事先以能够用上述a～c的参数来表现的方式测量包括入退场检测区域1的平面，则在(u，v)以及p₀₀～p₂₃、a～c已知的情况下，将式(1)(2)(3)合在一起，得到未知变量和式子的数量都为3的联立方程式。即，能够确定(x，y，z)。

通过入退场检测摄像机100对入退场检测区域1进行拍摄，因此从入退场检测区域1入室的人物必然在通过包括入退场检测区域1的平面时被入退场检测摄像机100拍摄。因此，能够根据式(1)(2)(3)，将其影像上的位置坐标变换为三维空间中的位置坐标即三维坐标。

在入退场检测摄像机100的拍摄范围未覆盖入退场检测区域1的情况下，由入退场检测摄像机100拍摄的影像上的位置坐标的任何点都不与表示入退场检测区域1的平面范围的三维空间上的坐标对应。因此，如上所述，入退场检测摄像机100的拍摄范围覆盖入退场检测区域1，这在本发明的结构中是必要条件。

初始动作路线生成部800根据由入退场检测上部摄像机200拍摄到的拍摄对象1000的头部的影像而使由上部位置检测部600检测到的坐标与拍摄对象1000的初始位置的三维坐标对应起来。将与拍摄对象1000的初始位置的三维坐标对应起来的上部位置检测部600中的检测坐标设为初始动作路线的起点。通过将检测到的头部的坐标中的距离起点最近的坐标的位置和起点连结，由此生成初始动作路线。换言之，初始动作路线生成部800将与拍摄对象1000的初始位置对应的拍摄对象1000的位置作为初始动作路线的起点，将拍摄对象1000的位置中的距离起点最近的位置和起点连结而生成初始动作路线。生成初始动作路线是指，将起点的三维坐标存储到动作路线存储部950，将距离起点最近的坐标的位置的三维坐标存储到动作路线存储部950。另外，入退场检测上部摄像机200对拍摄对象1000进行拍摄的时刻、拍摄对象1000的ID等也作为动作路线信息而存储到动作路线存储部950。

追踪部900检索由入退场检测上部摄像机200以及上部摄像机300拍摄到并由上部位置检测部600检测到的坐标和距离最后存储在动作路线存储部950中的位置坐标最近的三维坐标，将检索到的拍摄对象1000的位置坐标存储到动作路线存储部950。另外，在追踪部900中，对初始动作路线追加拍摄对象1000的位置坐标而生成动作路线。动作路线是将初始动作路线的最终位置的三维坐标的位置与距离最近的拍摄对象1000的头部的坐标的位置连结而生成的。根据初始动作路线生成的以后的动作路线是将动作路线的最终位置与距离最近的拍摄对象1000的头部的坐标的位置连结而生成的。初始动作路线还可以说是动作路线的初始状态。

动作路线存储部950存储从初始动作路线生成部800传递的初始动作路线信息，对追踪部900传递所存储的动作路线信息。另外，动作路线存储部950再次存储由追踪部900追加的动作路线信息。此外，也可以说通过追踪部900对动作路线追加拍摄对象1000的头部的坐标而生成新的动作路线。另外，初始动作路线信息是动作路线信息的最初的部分，换言之是动作路线信息的一部分。关于动作路线信息，将在与动作路线存储部950相关的记载的部分中进行说明。

显示装置1100通过制作将存储于动作路线存储部950的动作路线信息投影到从拍摄对象空间的上侧俯瞰的二维映射图的影像，从而呈现给利用者。

如上所述，图2是示出本发明的实施方式1中的入退场检测摄像机100、入退场检测上部摄像机200以及上部摄像机300的配置的说明图，另外，将拍摄对象空间内的三维坐标轴表示为x轴、y轴以及z轴。x轴表示拍摄对象空间中的纵深方向。y轴表示拍摄对象空间中的与入退场检测区域1平行的方向。z轴表示拍摄对象空间中的高度方向。另外，在图2中，将入退场检测摄像机100所拍摄的影像上的位置坐标轴表示为u轴以及v轴。u轴表示入退场检测摄像机100所拍摄的影像上的水平方向。v轴表示入退场检测摄像机100所拍摄的影像上的垂直方向。图3是示出本发明的实施方式1中的入退场检测上部摄像机200和上部摄像机300的拍摄范围的重叠配置的侧面图。另外，图4是入退场检测摄像机100和入退场检测上部摄像机200的拍摄范围的重叠配置的说明图。在本发明中，需要如图4所示入退场检测摄像机100的拍摄范围至少覆盖入退场检测区域1的整体以及入退场检测上部摄像机200与入退场检测摄像机100同样地覆盖入退场检测区域1，并需要如图3所示入退场检测上部摄像机200和上部摄像机300的相邻配置的摄像机彼此拍摄的范围的端部彼此重叠。因此，入退场检测上部摄像机200和入退场检测摄像机100至少在入退场检测区域1中共享拍摄范围是拍摄对象追踪的条件。另外，由入退场检测上部摄像机200和入退场检测摄像机100检测到的拍摄对象1000为同一对象是拍摄对象追踪的条件。此外，图2以及图3中的拍摄对象1000a、拍摄对象1000b、拍摄对象1000c以及拍摄对象1000d分别是拍摄的时间不同的拍摄对象1000。

而且，在此对记录于动作路线存储部950的动作路线信息进行说明。动作路线信息即是具有以时间序列记录的位置坐标的集合、该时间序列中的顺序、对应的拍摄对象1000的ID以及最后检测到拍摄对象1000的时刻等的信息。此外，关于拍摄对象1000的ID，能够确认在动作路线存储部950中使用的ID，从未使用的编号中任意地选择1个等而取得。动作路线存储部950将多个动作路线信息以能够根据各个拍摄对象1000的ID来区分的方式储存，针对来自初始动作路线生成部800或追踪部900的请求，根据请求来传递动作路线信息。

图5是示出动作路线信息的例子的表。在该例子中储存有N个动作路线信息。另外，在图5中，针对各项(项目编号)，示出数据内容、数据形式以及数据大小。数据内容是例如动作路线信息的个数N(动作路线的数量N)、表示各动作路线的开始地址的信息(动作路线ID)、或动作路线ID的信息等。数据形式是例如正的整数16比特(unsigned int 16bit)、正的整数32比特(unsigned int 32bit)、或浮点数(float)。数据大小是指，以8比特作为1个单位，如果是16比特则是“2”，如果是32比特则是“4”。在第2项(项目编号2)中，储存有动作路线信息的个数N。在第“3”～“N+2”项中，储存有在表中表示各动作路线的开始地址的信息。在第“N+3”项中储存有与第1个动作路线对应的拍摄对象1000的ID的信息，在第“N+4”项中储存有第1个动作路线所具有的位置坐标的数量的信息，在第“N+5”项中储存有对第1个动作路线追加位置坐标的最终时刻即最终更新时刻的信息。此外，在此所称的“最终更新时刻”是最后检测到拍摄对象1000的时刻。在该表记载的例子中，第1个动作路线所具有的位置坐标的数量是m1个。第“N+6”～“N+3+3×m1+2”项是将m1个三维坐标按照追加的时刻顺序排列而成的。从第“N+3+3×m1+3”项起，将与第“N+3”～“N+3+3×m1+2”项同样的动作路线信息重复配置与N个动作路线对应的动作路线信息的量。

接下来，对初始动作路线生成部800进行三维坐标变换的方法进行说明。图6是示出初始动作路线生成处理的流程的流程图。本流程图示出直至初始动作路线生成部800根据初始位置估计部700估计出的三维位置坐标生成初始动作路线信息为止的流程。在初始动作路线生成部800中，与入退场检测摄像机100中的摄像机参数p₀₀～p₂₃在初始位置估计部700中导出完毕的情况同样地，设为入退场检测上部摄像机200中的参数p₀₀～p₂₃也在初始动作路线生成部800中导出完毕。

在步骤S1100中，初始位置估计部700根据入退场检测摄像机100与入退场检测区域1的位置关系，将从脸部检测部500传递的脸部在影像上的位置坐标变换为拍摄对象空间的三维坐标，将变换出的坐标计算为拍摄对象1000的初始位置，并将其传递给初始动作路线生成部800。接下来在步骤S1200中，上部位置检测部600从由入退场检测上部摄像机200得到的影像取得影像中的二维图像中的头部位置坐标(u，v)，并将其传递给初始动作路线生成部800。被传递头部位置坐标的初始动作路线生成部800在步骤S1300中使用根据由入退场检测摄像机100拍摄到的二维图像中的拍摄对象1000的位置坐标和入退场检测区域1的三维坐标信息得到的三维坐标和头部位置坐标，从二维图像中的头部位置坐标(u，v)变换成三维坐标。

如上述说明的那样，在(u，v)以及p₀₀～p₂₃、a～c已知的情况下，根据式(1)(2)(3)得到头部位置的三维坐标(x，y，z)。

在步骤S1400中，计算所述临时的三维坐标中的二维位置坐标(x，y)与利用入退场检测摄像机100得到的表示脸部的位置的二维位置坐标(x，y)之间的距离，在距离充分地近，例如欧几里德距离为所设定的阈值以下的情况下，判断为是同一拍摄对象，并将所述临时的三维坐标作为最终的三维坐标。此外，例如可以根据人的肩宽等来设定上述阈值。另外，在欧几里德距离大于所设定的阈值的情况下，判断为拍摄对象并是同一个，并返回到步骤S1100而等待新的初始位置检测。

在步骤S1500中，使由上部位置检测部600检测到的最终的头部位置的三维坐标和拍摄对象1000的初始位置的三维坐标对应起来。将与拍摄对象1000的初始位置的三维坐标对应起来的上部位置检测部600中的检测坐标作为初始动作路线的起点。通过将检测到的头部的坐标中的距离起点最近的坐标的位置和起点连结，从而生成初始动作路线。在步骤S1600中，将距离起点最近的坐标的三维坐标存储于动作路线存储部950。

图7是示出追踪处理的流程的流程图。使用本流程图，对追踪部900进行三维坐标变换的方法进行说明。本流程图示出使从上部摄像机300取得的影像与存储于动作路线存储部950的动作路线信息对应起来而更新动作路线信息的处理的流程。首先，追踪部900在步骤S2100中从存储于动作路线存储部950的动作路线信息中取得二维坐标与由入退场检测上部摄像机200以及上部摄像机300拍摄到并由上部位置检测部600检测到的二维坐标最近的最终位置坐标(三维坐标)。当关注该取得的三维坐标中的z坐标时，在动作路线存储部950中存储有N个动作路线信息的情况下，能够取得N个z坐标。此时，最后的拍摄对象1000的三维坐标是第N个坐标。

接下来，在步骤S2200中，追踪部900根据上部位置检测部600检测到的影像中的二维图像中的头部位置坐标(u，v)，与步骤S1300同样地使用式(1)(2)以及已经得到的N个z坐标，计算N个(x，y，z)坐标的组。在上部摄像机300按照透视投影模型进行摄像的情况下，从各个z坐标计算(x，y，z)的三维坐标的方法能够使用与步骤S1300相同的方法。此外，关于上部摄像机300的参数，也与入退场检测上部摄像机200的参数是同样的。

接下来，在步骤S2300中，选定与先前位置坐标的差最小的候选。即，针对N个计算出的(x，y，z)坐标的各个坐标，计算其与从动作路线存储部950取得的原始的三维坐标之间的欧几里得距离，提取距离最小的对。接下来，在步骤S2400中，追加到动作路线信息。即，在提取出的对中，将计算出的一侧的(x，y，z)坐标设为更新后的三维坐标，与检测时间信息一起追加到从动作路线存储部950提取出的原始的动作路线信息。接下来，在步骤S2500中，存储到动作路线存储部950。即，再次存储到动作路线存储部950。

在此，记载使得追踪部900的处理内容成立的上部摄像机300的三维配置上的限制。设提供某个动作路线信息的最终位置的是上部摄像机300a，并且该最终位置处于上部摄像机300a的拍摄范围的端部。在假设存在与上部摄像机300a不同并且拍摄范围的端部与上部摄像机300a重叠的上部摄像机300b时，在该最终时刻在上部摄像机300b中也检测到与由上部摄像机300a取得的动作路线信息相应的拍摄对象1000。

在该情况下，即使在接下来的检测时刻拍摄对象1000从上部摄像机300a的拍摄范围脱离的情况下，也可期待由上部摄像机300b检测相应的拍摄对象1000，此时，在接下来的检测时刻能够根据上部摄像机300b的头部检测结果来更新动作路线信息，能够继续追踪。即，如图3所示，上部摄像机300彼此的拍摄范围重叠到能够对拍摄对象1000的头部进行拍摄的程度，这在本发明中成为用于在上部摄像机300之间进行拍摄对象1000的追踪的必要条件。

以上是实施方式1中的基于拍摄对象1000的追踪的动作路线生成的方法的说明。能够通过图6以及图7的流程图中记载的处理，逐次追踪拍摄对象1000在拍摄对象空间中的三维位置。

此外，在步骤S2300中，选定在前一个时刻从动作路线存储部950得到的位置坐标即先前位置坐标与三维坐标的距离最小的坐标。也可以根据先前位置坐标与更前一个时刻的先前位置坐标以及时间差计算预测移动目的地坐标，将与它们的距离最小的候选作为新的移动目的地坐标。该方式使各上部摄像机300之间的拍摄范围的共享更少，具有使摄像机的利用效率提高的效果。

另外，在步骤S2300中，选定先前位置坐标与三维坐标候选的距离最小的坐标，但也可以是，相反地将先前位置坐标和成为三维坐标候选的各点的数据向原始的各上部摄像机影像传递，取出对应点附近的影像中的颜色信息，选定先前位置坐标的颜色信息与各三维坐标候选的颜色信息最接近的候选而作为新的移动目的地坐标。该方式具有使跨越入退场检测上部摄像机200以及上部摄像机300的追踪更稳定的效果。

例如，在专利文献1中，通过可见外壳法始终合并从多个摄像机得到的检测结果，从而估计拍摄对象的位置，并生成拍摄对象的动作路线信息，因此在未针对1个拍摄对象配置多个摄像机的情况下，有可能错误地识别人物和动作路线。在本发明中，估计拍摄对象空间的三维坐标，在共享拍摄范围的部分以外的拍摄范围中，在用1个摄像机对1个拍摄对象进行拍摄的基础上得到包括高度信息的三维坐标的信息，因此即使在未针对1个拍摄对象配置多个摄像机的情况下，也具有进行不会错误地识别人物和动作路线的检测的效果。

而且，脸部检测部500、上部位置检测部600、初始位置估计部700、初始动作路线生成部800、追踪部900以及动作路线存储部950既可以安装为专用运算电路，或者也可以安装为在通用计算机上动作的程序。在安装为程序的情况下，也可以是，脸部检测部500、上部位置检测部600、初始位置估计部700、初始动作路线生成部800、追踪部900或动作路线存储部950各自在不同的计算机上动作。脸部检测部500、上部位置检测部600、初始位置估计部700、初始动作路线生成部800、追踪部900以及动作路线存储部950也可以在1台计算机上动作。

作为在本实施方式中使用的入退场检测上部摄像机200以及上部摄像机300，也可以使用与入退场检测摄像机100同等的摄像机。例如，在入退场检测上部摄像机200以及上部摄像机300是鱼眼镜头等无法忽略由镜头引起的影像畸变的摄像机的情况下，能够通过畸变校正对影像上位置坐标进行变换之后应用式(1)(2)。在鱼眼摄像机的情况下，在将投影模型设为向光轴的入射角为θ、距影像上的光轴中心的距离设为r时，两者的关系如式(4)所示。

[数4]

r＝k₁×θ+k₂×θ²+k₃×θ³+k₄×θ⁴+k₅×θ⁵···(4)

能够根据三维空间中的位置己知的点与由摄像机拍摄时的影像中的二维图像中的位置坐标的对应而求出系数k₁～k₅。同时还能够求出摄像机的位置、姿势、焦距、像素大小等，生成畸变和偏移少的俯瞰影像。

如上所述，在本发明中，在根据入退场检测摄像机100与入退场检测区域1的位置关系估计出拍摄对象空间的三维坐标的基础上，在共享拍摄范围的部分以外的拍摄范围中，用1个摄像机对1个拍摄对象1000进行拍摄而得到坐标的信息，因此能够得到以较少的数量来构成在要监视的范围中配置的摄像机的拍摄对象追踪装置。

此外，在本实施方式中，针对各个上部摄像机300具备1个上部位置检测部600，但也可以设为针对各个上部摄像机300分别具备上部位置检测部600的结构。在该结构的情况下，针对入退场检测上部摄像机200以及上部摄像机300的头部检测处理分散到各个上部位置检测部600，因此具有能够更高速地实施头部检测处理的效果。

另外，如果拍摄对象1000限于人物，则作为代替入退场检测上部摄像机200以及上部摄像机300的入退场检测上部传感器以及上部传感器，也可以使用红外线图像摄像机。在使用红外线图像摄像机的情况下，在红外线图像上人物区域被显示为温度比周围高的区域，因此能够与摄像机同样地利用背景差分根据与没有人物的情况下的红外线图像的差分图像提取人物区域，在从人物区域检测到与圆相近的区域的情况下，提取该区域作为人物头部。该改良能够将运动体探测限定为人。

另外，作为代替入退场检测上部摄像机200以及上部摄像机300的入退场检测上部传感器以及上部传感器，也可以使用ToF(Time of Flight)摄像机。ToF摄像机通过采用与没有拍摄对象1000的情况下的与纵深映射图的比较，也能够从上方检测拍摄对象1000的相对位置作为二维坐标。此外，“ToF”是指计算光的飞行时间来测量距离的技术，摄像机的输出被获取为自摄像机中心起的纵深影像。在使用ToF摄像机的情况下，在纵深影像上人物区域被获取为纵深小的区域，因此能够与摄像机的情况同样地通过背景差分取得减去没有人物的情况下的纵深影像而得到的差分影像，提取纵深局部变小的区域作为人物头部区域。该改良具有拍摄对象1000的检测与通常的摄像机相比更稳定的效果。

此外，在以上的实施方式中，假设入退场检测上部摄像机200、上部摄像机300等为设置于天花板等的摄像机进行了说明，但只要如俯瞰的位置这样设置于拍摄对象1000的上部，则设置位置不限于天花板。

此外，以上的实施方式只不过是例示，本发明不限于这些实施方式。

(符号说明)

1：入退场检测区域；100：入退场检测摄像机；200：入退场检测上部摄像机；300：上部摄像机；500：脸部检测部；600：上部位置检测部；700：初始位置估计部；800：初始动作路线生成部；900：追踪部；950：动作路线存储部；1100：显示装置。

Claims (7)

1.一种拍摄对象追踪装置，其具备：

入退场检测摄像机，其对拍摄对象进行出入的入退场检测区域进行拍摄；

入退场检测上部传感器，其被设置于所述拍摄对象的上部，对所述入退场检测摄像机所拍摄的所述拍摄对象进行检测；

上部传感器，其被设置于所述拍摄对象的上部，并以检测所述拍摄对象的范围的一部分与所述入退场检测上部传感器检测所述拍摄对象的范围重叠的方式设置；

初始位置估计部，其根据由所述入退场检测摄像机拍摄的二维图像中的所述拍摄对象的位置坐标和所述入退场检测区域的三维坐标信息而估计所述拍摄对象的初始位置；

上部位置检测部，其根据由所述入退场检测上部传感器或所述上部传感器检测到的图像而检测从所述拍摄对象的上部观察到的所述拍摄对象的位置；

初始动作路线生成部，其将与所述拍摄对象的初始位置对应的所述拍摄对象的位置作为初始动作路线的起点，将所述拍摄对象的位置中的距离所述起点最近的位置和所述起点连结而生成初始动作路线；以及

追踪部，其对所述初始动作路线追加所述拍摄对象的位置而生成动作路线。

2.根据权利要求1所述的拍摄对象追踪装置，其中，

所述拍摄对象追踪装置还具备动作路线存储部，该动作路线存储部存储所述初始动作路线生成部生成的所述初始动作路线，将所述初始动作路线输出到所述追踪部，并存储所述追踪部生成的所述动作路线。

3.根据权利要求2所述的拍摄对象追踪装置，其中，

所述动作路线存储部记录表示所述动作路线的开始位置的信息、与所述动作路线对应的所述拍摄对象的ID的信息、所述动作路线具有的位置坐标的数量的信息、以及对所述动作路线追加了所述拍摄对象的位置的最终时刻的信息。

4.根据权利要求1至3中的任意一项所述的拍摄对象追踪装置，其中，

所述入退场检测上部传感器以及所述上部传感器是可见光摄像机。

5.根据权利要求1至3中的任意一项所述的拍摄对象追踪装置，其中，

所述入退场检测上部传感器以及所述上部传感器是红外线图像摄像机。

6.根据权利要求1至3中的任意一项所述的拍摄对象追踪装置，其中，

所述入退场检测上部传感器以及所述上部传感器是ToF摄像机。

7.一种拍摄对象追踪方法，其具备如下步骤：

对拍摄对象进行出入的入退场检测区域进行拍摄；

从所述拍摄对象的上部对所述拍摄对象进行检测；

根据通过对所述入退场检测区域进行拍摄的步骤而拍摄到的二维图像中的所述拍摄对象的位置坐标和所述入退场检测区域的三维坐标信息而估计所述拍摄对象的初始位置；

根据在对所述拍摄对象进行检测的步骤中检测到的图像而检测从所述拍摄对象的上部观察到的所述拍摄对象的位置；

将与所述拍摄对象的初始位置对应的所述拍摄对象的位置作为初始动作路线的起点，将所述拍摄对象的位置中的距离所述起点最近的位置和所述起点连结而生成初始动作路线；以及

对所述初始动作路线追加所述拍摄对象的位置。

Images