CN102089770B - 对物体在监视区中的移动进行分类的设备和方法 - Google Patents

Abstract

用于监视物体(26)通过监视区域(12)移动的设备，包括分别对在所述区域中的多个相邻的区(24.1到24.n)的每个区中物体(26)的存在与否敏感的、在上方的照相机(20)。区被安排成使得在第一方向(y)上有至少两个相邻行的区和在垂直于第一方向的方向(x)上有至少两个相邻行的区。每个区与各个区标号相关联。照相机用来获取通过所述区移动的物体的时序图像(a)到(f)，包括关于在每个区中物体的存在与否的感测的数据。处理器装置被连接到照相机，用于把感测的数据处理成物体在区中存在与否的多维图案，其中第一维是时间，并且第二维是区标号。处理器装置被配置成把图案分段成与事件有关的图案部分。分类器被提供来用于参考与预期的事件有关的历史数据来对图案部分进行分类，由此，提供通过区域沿至少一个方向移动的物体的计数值。

Description

对物体在监视区中的移动进行分类的设备和方法

技术领域

本发明涉及对物体在监视区域中的移动进行监视的设备和方法。

背景技术

在US5,519,784中，公开了对于物体沿通道的移动进行分类的设备和方法。设备包括用于把离散的和间隔开的平行的直线辐射波束阵列从通道的一端投射到通道的相反的一端的设备。在通道的相反的一端处的检测器感测波束何时被在通道中的、沿第一方向和第二相反的方向的任一方向移动的一个或多个人中断。间隔开的波束在不同的时间以对应于人的数目和人的移动方向的顺序被中断。顺序生成的中断波束信号作为物体移动历史信息被存储在存储器中，然后被处理，以便生成表示人的数目和移动方向的、复合波束中断图案，所述图案是时域和传感器标号--即，传感器识别号--和在通道中的位置的函数。最终得到的生成的图案通过利用计算机化的图案识别分析，诸如人工神经网络，而与基准图案进行比较。比较结果把通道中的人按数目和移动的方向分类。

这个设备和方法可能不适用于某些应用。例如，用于投射间隔开的平行波束的装置被安装在拉长的外壳中。外壳通常被安装在通道的一端，大约在踝与膝盖高度之间平行于地面延伸。这个外壳可能太大而无法适配于可提供的空间和/或在某些应用中从美学观点看来是不可接受的。而且，在通道的任一端安装这个设备也是在体力、时间和花费上高强度的，常常必须凿刻通道的侧壁，以便安装延伸到设备的电缆。再者，在一端的波束投射装置和在另一端的检测器可能出现误对准，这使得设备停止工作。这种在一端安装的设备的另一个问题是，在通道中静止不动的人或物体会中断波束，因此至少使得设备对于在静止物体的任一端的、沿通道移动的其它物体暂时不敏感。再一个问题是投射波束的范围可能不足以横跨宽的通道。需要承载具有所有的上述的缺点的附加设备的中间结构来覆盖宽的通道。另一个已知的系统，但基本上是不同的，使用跟踪算法，并试图识别离散的物体和监视它们在由物体传感装置产生的连续的帧之间的位置，以便确定对于每个感兴趣的物体的向量。处理过程是复杂的，因为它需要对于每个帧的完全的分析，并且接着与以前的帧进行比较，以便确定该物体是在新位置上的以前的物体还是完全是新的物体。与这一点纠缠在一起的是，在一方面是两个人与另一方面是例如携带背包或行李的一个人之间进行区分的困难。通过将物体隔离开并得到它们的向量，系统能够跟踪它们在预定的监视区域中的移动和随之增量或减量计数。系统在隔离物体，链接它们的连续的位置联系或区分开物体的数目方面缺乏能力，损害了系统的精度。另外，可视化的分析是处理器极其高强度的，因此是昂贵的。

发明内容

因此，本发明的目的是提供用来监视物体通过监视区域中的移动的替换的设备和方法。

按照本发明，提供用于监视物体通过监视区域中的移动的设备，设备包括：

-传感装置，对于在所述区域中的多个相邻的区的每个区中物体的存在与否是敏感的；

-区被安排成使得在第一方向上有至少两个相邻行的区和在垂直于第一方向的方向上有至少两个相邻行的区；

-每个区是与各个区标号相关联的；

-传感装置被配置成分别对于在每个区中物体的存在与否是敏感的，并用来获取在所述区域中移动的物体的时间顺序表示，包括关于在每个区中物体的存在与否的感测的数据；

-被连接到传感装置的处理器装置，用于把感测的数据处理成物体在区中存在与否的多维图案，其中第一维是时间，和第二维是区标号；

-处理器装置被配置成把图案分段成与事件有关的图案部分；以及

-分类器，用于参考与预期的事件有关的历史数据来对图案部分进行分类。

传感装置可包括被安装在监视区域上方的至少一个照相机。

传感装置可包括从不同的角度覆盖该区域的一对立体照相机。

因此，按照本发明的系统并不想要识别在视场中的每个独特的物体，而是分析事件，并通过比较这个事件与事件特征的以前的知识，能够通过使用可包括神经网络的分类器而给出计数数值。图像处理是相对较简单的，它可以相当便宜地完成，而神经网络本身可以在相对较简单的微处理器上运行，因此节约成本。据信所述系统至少也可以缓和上述的某些与US5,519,784的上述的一端安装的系统相关联的问题。

多个区可以形成紧密相邻的区的阵列，并且每个区可以具有在第一方向上的第一维、在第二方向上的第二维、和面积。

感测的数据可包括与由物体占用的区的一部分面积成比例的数据或参数。

处理器装置可被配置成将在无活动的图案的区中的图案沿时间维进行分段。

按照本发明的另一方面，提供了用于监视物体通过监视区域中的移动的方法，方法包括以下步骤：

-把区域划分成多个区，每个区与区标号相关联；

-区被安排成使得在第一方向上有至少两个相邻行的区和在垂直于第一方向的方向上有至少两个相邻行的区；

-自动地和在时间上顺序地利用传感装置来分别感测在每个区中物体的存在与否；

-生成关于在区中物体的存在与否的多维图案的数据，其中第一维是时间和第二维是区标号；

-把图案分段成与事件有关的图案部分；以及

-参考与预期的事件有关的历史数据来对于图案部分进行分类。

在本发明的范围内还包括作为用于监视物体通过监视区域中的移动的计算机程序的宿主的计算机可读的介质，程序执行以下步骤：

-从传感器装置接收与物体通过区域中的移动的时间顺序表示有关的感测数据，感测数据包括与在多个区的每个区中物体的存在与否有关的数据，区被安排成使得在第一方向上有至少两个相邻行的区和在垂直于第一方向的方向上有至少两个相邻行的区，以及每个区是与区标号相关联的；

-生成与区中的物体的存在与否的多维图案有关的数据，其中第一维是时间和第二维是区标号；

-把图案分段成与事件有关的图案部分；以及

-参考与预期的事件有关的历史数据来对于图案部分进行分类。

由此，在使用时，提供通过区域沿至少一个方向移动的物体的计数值作为输出。

本发明还扩展到包括计算机程序的固件和被配置成执行上述的步骤的计算机程序。

附图说明

现在参照附图，仅仅作为例子，进一步描述本发明，其中：

图1是用安装在区域上方的、用于监视通过区域的物体的移动的照相机设备进行监视区域的示意表示；

图2是在监视区域中的区阵列的示意表示；

图3是设备的框图；

图4是监视通过监视区域的物体的移动的方法的相关的部分的流程图；

图5是显示椭圆物体通过区域移动的时序图像的示意图；

图6是物体通过区域移动的三维表示，一维是时间；

图7是替换表示，其中三维张量被平坦化为二维矩阵；

图8是图5的事件的最终结果的表示；

图9是在图5和9中的事件的图像；

图10是通过区域移动的许多人的、从上方拍的照片；

图11是图10中的事件的、类似于图6的表示；

图12是图10中的事件的、类似于图9的图像；

图13是与像素信道相关联的分布的图；

图14是简单的子事件模型的表示；

图15描述子事件搜索的图像；

图16是规定子事件的中心的最大值的表示；

图17是子事件模型的第一四维的表示；

图18是从图15上的事件提取的子事件和它们的分类的表示；以及

图19是图15上的原先的事件和在图18上的子事件被去除后剩余的事件的表示。

具体实施方式

用于监视通过监视区域12的物体的移动的设备在图1和2上总的用附图标记10表示。

区域12可以形成在计数点处的入口或通道14的一部分，诸如建筑物18的进口16，以及设备10可以自动地和在一个时间段内被用来监视和计数通过该进口进入和离开建筑物的人26，正如将在下文中描述的。

设备10包括对于在区域中多个相邻的区24.1到24.n的每一个中的物体26的存在与否敏感的传感装置20。参照图2，区24.1到24.n被安排成使得在第一方向y(也就是通过区域的物体的通常的流动方向)有至少两个相邻行的区和在垂直于第一方向的方向x上有至少两个相邻行的区。每个区24.1到24.n是与各个区标号相关联。传感装置20被配置成分别对在每个区中物体的存在与否敏感，并用来获取通过区移动的物体的时序表示，优选地是图像(如图5和6所示)。图像包括感测的数据，其包括与在每个区中物体的存在与否有关的数据。处理器装置22(如图3所示)被连接到传感装置20，该处理器装置用于把感测的数据处理成当物体通过区域移动时物体在区中存在与否的多维图案(如图7和8所示)，其中第一维是时间，和第二维是区标号。处理器装置还被配置成把图案分段成与事件有关的图案部分，以及分类器用于参考与预期的事件有关的历史数据来对图案部分实时分类。

传感装置可包括被安装在区域12的至少一个图像传感器，诸如视频照相机20和相关联的光学装置21，用于获取区域的时序图像，每个图像包括感测的数据。设备还包括电子子系统23，其包括被连接到照相机20的处理器装置22(如图3所示)，用于接收来自照相机的感测的数据和用于生成多维图案数据，正如此后描述的。

照相机20优选地被安装在通道的上方在房顶28上，从而在监视区12的上方。照相机可包括以不同的角度指向所述区域的一对立体照相机，其包括第一和第二照相机，这样，它们从不同的角度覆盖区域，加上额外的维度并规定在通道14的地面30以上的适当的水平或高度h的监视区12。子系统23可被提供在监视区，可选地被集中地提供在建筑物的其他进口处(未示出)被连接到类似的传感装置的同一个建筑物上，再替换地，子系统可以远程和离站设置。

在如图2所示的示例性实施例中，监视区域12包括沿第一方向延伸的第一轴y和沿垂直于第一方向的第二方向延伸的第二轴x，这样，每个区具有一个面积。在监视区12中的上述的多个区24.1到24.n形成相邻的区域的行和列的阵列，每个具有在第一方向上的第一维和在第二方向上的第二维。

在图3所示的示例性实施例，照相机20被连接到子系统23的处理器装置22。处理器装置包括场可编程门阵列(FPGA)，替换地，复杂可编程逻辑器件(CPLD)32。FPGA被连接到双端口RAM装置34，以及装置34被连接到处理核36。在其他实施例(未示出)中，处理器装置22可包括照相机接口和具有直接存储器存取(DMA)的处理器。子系统23还包括被连接到处理核36和逻辑电路40的通信模块38。被连接到逻辑电路的还有实时时钟(RTC)42、数据存储器装置44和程序存储器装置46。设备10由可被连接到市电的电源模块48被提供以电功率。通信模块38使能在设备10与外部网络之间进行数据通信。

如前所述，照相机20被配置成获取区域12的时序图像。因此，每个图像和它的相关联的感测的数据与唯一的时间有关的数据相关联，由此提供对于感测的数据的时间维度和多维表示，正如此后描述的。

参照图5，当椭圆物体26通过区域12移动时，由传感装置20生成的时序图像被显示于图5(a)到5(f)。例如，在第二图像--也就是图5(b)上的图像--的时间，物体全部覆盖区24.3，和部分覆盖区24.2、24.4和24.8。感测的数据，作为参数，可包括与由物体占用的或覆盖的区的部分面积的成比例的数据。

在图5(a)到5(f)上的感测数据或矩阵的流可以用三维表示来表示，其中时间是一个维度，正如图6上显示的。

三维表示可以通过将矩阵转换成向量而被重新安排，从而把三维张量平坦化成二维表示，其中一个维度是时间(t)，如图7所示。

图案矩阵的流按时间进行分段，对应于活动的周期。无论何时在一个小组的连续的帧中图案矩阵元素的和值超过阈值水平时，事件被触发。相反，无论何时在一组连续的帧中所述和下降到低于阈值时，事件被终结。

图5上的事件的表示被显示于图8和9。

在图10上，显示另一个示例性事件，其中多个人正通过区域12以任意方向移动。图11对于后一个事件对应于图6，以及图12对于这个后一个事件对应于图9。

现在参照图4，设备和方法具有以下的主要部件，预处理60、事件提取70、特征提取80和分类90，用来变换和处理在视频量中大量的像素有关的数据，直到得到两个数，即，在方向A上的计数值和在方向B上的计数值。

前端视频预处理60牵涉到把原始的像素流处理成对于背景有区别的不变量以及在亮度和对比度上全局变化的形式。系统的这个部分可能是计算上最敏感的，因为它在每个像素级别上运行。因此，视频处理故意地保持为相对较简单的。在62，通过滤波和下采样，图像首先被减小为可管理的尺寸。从这个改变尺寸的图像，提取工作的区域。工作区域是在一帧中用户规定的区域，其限定用来对于穿过它的人进行计数的边界。为了计算的有效性，需要这个边界是直线的，并与图像轴对准。这个边界规定两个方向：第一流动方向y和垂直于第一方向的第二方向x。工作区域是轴对准的矩形，其中心在该边界上。矩形的横向宽度由用户规定，而它沿流动方向的维度由在该帧中中等的人的相对尺度来确定。仅仅工作区域被进一步处理，而帧的其余部分被丢弃。预处理的重要任务是将原始的输入视频相对于背景进行归一化。在本上下文中的背景将被限定为对应于在情景中在延长的时间段上物理地静止的物体的图像部分。相反，前景对应于描绘物理地移动的物体的图像部分。为了这样地分段每个帧，构建与前景和背景相关联的像素变化的模型。由于背景由它的慢的改变速率限定，背景模型64实际上是通过把时间低通滤波器施加到与输入视频相关联的统计值而被近似的。前景模型是通过分析没有被背景模型充分描述的图像区的统计值而被构建的。这个归一化过程被称为背景去除。它最终试图对于输入帧的每个像素分配一个概率，其作为前景的一部分(移动的物体)。

为了计算的简单性，每个输入像素被独立地考虑，每个像素又具有与它相关联的一组信道。在这些信道内的变化通过多变量高斯分布被建模。由于中心极限定理，这种选择很少是由普遍存在的高斯分布激发的，而更多的是由于高斯分布可以仅仅通过计算它的平均值和离散值(spread)而适配于输入数据的事实激发。具有中值μ和协方差∑的d-维随机变量的多变量高斯分布为如下：

$G_{\mathrm{\μ},\mathrm{\Σ}}\left(x\right)=\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^d\left|\mathrm{\Σ}\right|}}\exp [-\frac{1}{2}{(x-\mathrm{\μ})}^T{\mathrm{\Σ}}^{-1}(x-\mathrm{\μ})]$

这个分布的对数对于计算常常是更方便的：

$\ln \left(G_{\mathrm{\μ},\mathrm{\Σ}}\left(\mathrm{\Δ}\right)\right)=-\frac{1}{2}[d\ln \left(2\mathrm{\π}\right)+\ln |\mathrm{\Σ}|+{\mathrm{\Δ}}^t{\mathrm{\Σ}}^{-1}\mathrm{\Δ}]$

其中Δ＝x-μ

每个像素由像素信道的d维向量x表示。当前使用四个信道：发光度和来自YUV彩色空间的两个色度值，以及发光度的时间导数。像素前景和背景条件分布为如下：

$P\left(x\right|x\∈S_{\mathrm{bg}})=G_{{\mathrm{\μ}}_{\mathrm{bg}}}{,}_{{\mathrm{\Σ}}_{\mathrm{bg}}}\left(x\right),P\left(x\right|x\∈S_{\mathrm{fg}})=G_{{\mathrm{\μ}}_{\mathrm{fg}}}{,}_{{\mathrm{\Σ}}_{\mathrm{fg}}}\left(x\right)$

其中s_fg和s_bg＝s^c _fg分别表示对应于前景和背景的可能的x的组，以及{μ_bg，∑_bg}和{μ_fg，∑_fg}分别表示与前景和背景相关联的中值和协方差。为了使得这个推导简明起见，用来表示两个分布的fg和bg下标在对于前景和背景模型都成立的公式中将被省略。

为了计算的简单性，假设像素信道是独立的。因此，∑被假设为对角的，所以高斯分布可被表示为如下：

$\ln \left[G_{\mathrm{\μ},\mathrm{\Σ}}\left(x\right)\right]=-\frac{1}{2}[d\ln \left(2\mathrm{\π}\right)+\underset{i=1}{\overset{d}{\mathrm{\Σ}}}(\frac{{(x_i-{\mathrm{\μ}}_i)}^2}{{\mathrm{\σ}}_i^2}+\ln \left({\mathrm{\σ}}_i^2\right))]$

其中σ_i ²对应于∑的对角线元素，以及x_i和μ_i分别是x和μ的元素，对于i＝1...d。在给定对于两个类别的以前的概率，P(x∈S_fg)≡γ_fg，以及P(x∈S_bg)≡γ_bg后，可以把条件分布转换成联合分布：

P(x，x∈S)＝P(x∈S)P(x|x∈S)＝p(x)

应当指出，以前的概率受γ_fg+γ_bg＝1限制，因为像素或者属于前景或者背景。

最终的目标是后验概率，P(x∈S_fg|x)≡z_fg(x)，即，给定的像素是前景的一部分的概率。这可以按照贝叶斯定理如下地进行计算：

$z_{\mathrm{fg}}\left(x\right)=\frac{p_{\mathrm{fz}}\left(x\right)}{p_{\mathrm{bg}}\left(x\right)+p_{\mathrm{fg}}\left(x\right)}=1-z_{\mathrm{bg}}\left(x\right)$

根据分布的对数形式，这更好地表示实际的计算方法，它可被表示为：

$L\left(x\right)=\ln p\left(x\right)=\ln \mathrm{\γ}-\frac{1}{2}[d\ln \left(2\mathrm{\π}\right)+\underset{i=1}{\overset{d}{\mathrm{\Σ}}}(\frac{{(x_i-{\mathrm{\μ}}_i)}^2}{{\mathrm{\σ}}_i^2}+\ln \left({\mathrm{\σ}}_i^2\right))]$

$z_{\mathrm{fg}}\left(x\right)={(1+\frac{p_{\mathrm{fg}}\left(x\right)}{p_{\mathrm{bg}}\left(x\right)})}^{-1}=\frac{1}{1+\exp (L_{\mathrm{fg}}\left(x\right)-L_{\mathrm{bg}}\left(x\right))}$

这些分布的参数，{μ_bg，∑_bg}和{μ_fg，∑_fg}，被随时调整成跟踪改变的照度和背景的改变。背景中值μ_bg按每个像素被建模，然而，方差∑_fg、∑_bg和前景中值μ_fg是全局的，由在图像中的所有的像素共享。这个选择使得计算复杂性保持为低的，但也通过平均在整个帧上的统计值而保持方差的计算更稳定。

图13是与像素信道相关联的分布的典型例子。在前景为主的场合下，后验概率接近1，但在背景为主的场合下，后验概率减小到几乎为0。像素模型参数在每个帧后逐渐被更新，以便跟踪由全局照度的变化或背景的添加而引起的统计值的慢变化。模型参数以类似于一阶低通IIR滤波器的方式被更新。在给定当前的参数θ_i后，新的参数θ_i+1被定义为如下：

${\mathrm{\θ}}_{i+1}=\frac{{\mathrm{\θ}}_i+\mathrm{\λ}\widehat{\mathrm{\θ}}}{1+\mathrm{\λ}}$

其中λ是适配速率，和

是通过使得模型适配于当前帧中的数据而得到的参数向量。前景与背景中值和方差被近似为像素信道值的加权的第一和第二矩(moment)。像素加权依赖于它们的相关的概率。前景概率在前景模型参数的计算中被使用，以及背景概率用于背景参数。慢得多的适配速率被使用于方差计算，因为它需要更多的自由度，从而需要更多的数据来可靠地确定它。通过使得λ依赖于前景和背景像素概率而把非线性加到这个线性方法。这是通过用当前的帧中的部分前景像素调制λ，进行方差更新而完成的。因此，方差仅仅在帧内有活动时才改变。这防止方差在长的无活动的时间期间人工地变小。这是有意义的，因为在仅仅在帧内有活动时对于区分前景和背景感兴趣。

一旦输入视频被归一化成与背景和照度无关的形式，视频就被分解成可管理的块。这是通过下采样该归一化的视频成为图案和然后及时分段这些图案以形成事件而完成的。

在72，对于每个帧，直接从它的前景概率图像提取图案。该图案仅仅通过平均在横跨区域的网格或阵列的区24.1到24.n内的前景概率而被构建。如图2和5所示，网格在流动的方向上有四个分割部分。在横向方向上分割部分的数目依赖于工作区域的物理的宽度。区的纵横比保持为恒定，然而，它们的尺度匹配于在帧中的人的平均相对尺寸。因此，每个帧产生可以由矩阵表示的图案，矩阵元素对应于在它们的相关联的区域中的部分的前景像素。

图案矩阵随着时间被堆叠成可被想象为三维张量的东西，如图6和11所示。在图4的74上，这个图案矩阵流按时间被分段成对应于活动的时间段的事件。无论何时在一个小组的连续的帧中，图案矩阵元素的和值超过阈值时，事件被触发。相反，当在一组连续的帧中，所述和下降到低于阈值时，事件被终结。图11上的表示把每个区描绘为具有与区数值成比例的尺寸的立方体。为了紧凑地可视化这些事件，有用的是使得三维结构沿流动方向平坦化，以形成矩阵，如图7所示，该矩阵可以被方便地描绘为二维图像，图8、9和12正是这种情形。再次参照图4，在试图及时地压缩事件图案和在某个程度上相对于物体速度进行事件归一化时，在76，把类似于运行长度编码(RLE)的方法施加到事件。处理过程从作为原型的第一帧图案开始。然后把帧与原型连续地比较，如果帧没有由原型很好地表示(即，差别是很大的)，则它变为新的原型。这个过程继续进行，直至达到事件结束端为止。归一化的事件是通过把原型改变之间的伸展平均成单个图案而被构建。每个跨度的长度也被记录，附着在每个原型向量上，所以原先的定时没有丢失。

归一化的中值平方距离度量值被使用来对图案进行比较：

$D(p_0,p_1)=\frac{{|p_1-p_0|}^2}{{\left|p_1\right|}^2+{\left|p_0\right|}^2+c}$

其中p＊是代表图案的列向量，以及c是小的正的规则化常数，以防止被除以零。为了清晰起见，在本说明的其余部分中提到的任何事件在这方面将被假设为归一化的。

在图4上的80处的特征提取通常牵涉到从与输入传感装置20相关联的某些通常高维数的输入空间投射到与感兴趣的物体的模型相关联的低维数的参数空间。在这种情形下，特征提取涉及到把可变长度事件图案投影成不同的固定长度特征向量。

事件还被分解成对应于通常的较低的级别的子事件--诸如单个人，两个紧挨在一起的人，或带有小车的人--的区域。为了做到这一点，构建这样的子事件的模型82。线性模型提供最简单的选项用于这一点，因为对于它们的构建有封闭形式的解决方案，诸如，主要成分分析(PCA)和线性鉴别分析(LDA)。虽然这些方法产生紧凑地和特殊地表示的子事件的模型，但它们不提供对这些模型进行分类的直接的方法。为此，高斯混合模型(GMM)被使用来把由PCA和LDA产生的子空间划分成类别。子事件模型包含两个相关的模型：被使用来有效地找出在事件内的子事件(在图8上的84处)的简单的搜索模型；和被使用来在86进行暂时的或弱的分类的更复杂的分类模型。这两个模型包含通过使用LDA构建的线性基和由该基跨越的子空间中限定的GMM。子事件跨越在较大的事件内的固定尺寸窗口。在这种情形下，使用6×4×16窗口。如果窗口扩展到事件的维度范围以外，用零替代边界外面的元素。扩大到从窗口内提取的子事件数据，是窗口的相对横向位置以及通过对应于窗口帧的RLE压缩而生成的跨越组。

如前所述，简单的子事件模型被使用来在84有效率地找出在事件内有效的子事件。这个简单的模型试图区分三个类别：

向里的--在向里面的方向上，如图2所示的A方向，进行平均的子事件；

向外的--在向外面的方向上，如图2所示的B方向，进行平均的子事件；以及

空--不对应于移动的人的事件的区域。

在以下的表中显示对于每个类别在投射回事件空间时的示例：

表1 简单的子事件类别

在图14上，显示了被使用来区分在LDM子空间内的这些类别的GMM。在图上，线对应于各个高斯分量的iso概率线。应当指出，高斯分量具有非限制的协方差矩阵，因此iso概率线映射到椭圆。图上的背景图像显示由类别的后验概率生成的软判决边界。

在84，通过及时和沿横向移动的方向穷举地搜索事件，找到子事件。三维窗口，子事件模型的尺寸，滑过事件，把每个点分类为向里面、向外面、或空子事件的中心。这产生如图15所示的、对应于向里面方向和向外面方向的、一对二维搜索图像。这些图像被相加在一起，并被平滑，产生如图16所示的、具有限定明确的最大值的图像。正是这些最大值限定子事件的中心。图16上的最大值由在团斑(blob)中心的黑色像素100指示。向里面和向外面的图像在以后在特征计算时再次被使用。

一旦子事件中心如前所述地被找到，这些子事件中心需要在图4的86处被弱地分类。这是通过更精细地分类子事件模型而完成。它是计算上更昂贵的和更有辨别力的，但仅仅被施加到已找到的子事件，而不是整个事件。这个模型使用五维基。

由这个模型区分十二个子事件类别。在以下的表中概述这些类别：

表2：子事件类别

像简单的模型那样，每个类别被建模为具有非限制的协方差的高斯分量。图17显示子事件模型的头四个维度。

图17上的×画出在图15上的示例性事件中找到的子事件，每个方形按照它的子事件模型的分类的全面版本加标记。在事件空间中的这些子事件和它们的分类的对应的外观被显示于图18。

分类子事件模型在对于整个事件的实际的计数是4-2的这种特定的情形下似乎完成得相当好。每个子事件又被分类，每个产生后验概率的向量，其中第i个元素对应于子事件表示第i个类别的概率。这些向量在所有的子事件上相加在一起，产生向量z，形成最后的特征向量的一部分。z的分量大略对应于在事件内的每个类别的子事件数目。如果两个子事件在它们的相关联的窗口中被发现以适当的重叠紧密地在一起，则有可能引起重叠的信息被计数两次，对于每个子事件一次。为了缓和这一点，在每个子事件被分类后，分类的结果被投影回事件空间，并从原先的事件中被减去，有效地标记事件的那个部分为已计数的。图19显示原先的事件和在子事件被连续地去除后剩下的部分。

子事件模型的构建要求，在训练数据内的子事件的位置和标签是已知的。然而，这个数据是不可提供的，因为训练数据没有被向下分段到子事件级别，只有每个事件的单个标签。因此，使用迭代方法来构建子事件模型。处理过程从在每个事件的单个子事件的中心处在事件的矩心的假设下所构建的初始模型开始。通过使用这个粗糙模型，找到和分类新的组的子事件，由此可以重新计算模型，然后过程继续进行直至模型收敛为止。

特征向量f包含在整个事件上的一组聚合的统计值。特征向量的结构为如下：

$f={\left[\begin{array}{cccccc}{t}_e& t_c& m_{\mathrm{in}}^T& m_{\mathrm{out}}^T& s& z^T\end{array}\right]}^T$

其中

t_e是在帧中的事件的持续时间

t_c是压缩的事件的长度

m_in是向里搜索图像的矩

m_out是向外搜索图像的矩

s是对应于子事件中心的最大值数值的和

z是总的子事件分类向量

矩向量m_in和m_out包含如图15所示的向里面和向外面搜索图像的0阶矩(degree moment)和2阶矩。每个矩向量具有以下形式的四个维度：

m＝[m_0，0 m_2，0 m_0，2 m_1，1]^T

其中如果f_xt表示在横向位置x和时间t的图像单元，

$m_{\mathrm{0,0}}=\underset{z}{\mathrm{\Σ}}\underset{t}{\mathrm{\Σ}}{f}_{\mathrm{xt}}$

$\left[\begin{array}{c}{m}_{\mathrm{1,0}}\\ m_{\mathrm{0,1}}\end{array}\right]=\frac{1}{m_{\mathrm{0,0}}}\underset{x}{\mathrm{\Σ}}\underset{t}{\mathrm{\Σ}}{f}_{\mathrm{xt}}\left[\begin{array}{c}x\\ t\end{array}\right]$

$\left[\begin{array}{cc}{m}_{\mathrm{2,0}}& m_{\mathrm{1,1}}\\ m_{\mathrm{1,1}}& m_{\mathrm{0,2}}\end{array}\right]=\frac{1}{m_{\mathrm{0,0}}}\underset{x}{\mathrm{\Σ}}\underset{t}{\mathrm{\Σ}}{f}_{\mathrm{xt}}\left[\begin{array}{c}x\\ t\end{array}\right]\left[\begin{array}{cc}x& t\end{array}\right]-\left[\begin{array}{c}{m}_{\mathrm{1,0}}\\ m_{\mathrm{0,1}}\end{array}\right]\left[\begin{array}{cc}{m}_{\mathrm{1,0}}& m_{\mathrm{0,1}}\end{array}\right]$

子事件分类向量是12维的，因为有12个子事件类别，矩向量每个贡献四个分量，以及有三个标量，因此最后的特征向量是23维。

再次参照图4，在90的分类的目标是从每个特征向量提取最后的“向里”和“向外”计数值。需要构建在特征向量与计数值之间的映射，这构成回归问题。人工神经网络92被使用来实施这个映射。神经网络通过使得回归误差最佳化而从一个大组的加标记的事件中学习这个映射。标准多层感觉(MLP)被使用，单个隐藏层使用S形的驱动函数和输出层具有用于回归的线性驱动。

MLP的训练实际上是最佳化问题，使得输出误差相对于边缘加权值最小化，为此使用共轭梯度下降算法。训练数据取特征向量组和对应的计数标签的形式。然而，在训练之前，特征被白化，将特征空间归一化为单位协方差，从而改善收敛到绝对最小值的机会。在它被训练后，把归一化投影引入回到神经网络的第一层加权值。

将会意识到，神经网络的输出可被使用来计数如图2所示通过区域并沿方向A和方向B中的任一方向移动的人。

Claims (12)

1.一种用于监视物体通过监视区域移动的设备，该设备包括：

-传感装置，分别对在所述区域中的多个相邻的区的每个区中的物体的存在与否敏感；

-区被安排成使得在第一方向上有至少两个相邻行的区和在垂直于第一方向的方向上有至少两个相邻行的区；

-每个区与各个区标号相关联；

-传感装置用来获取移动通过所述区域的物体的时序表示，该时序表示包括关于在每个区中物体的存在与否的感测的数据；

-被连接到传感装置的处理器装置，用于把感测的数据处理成物体在区中存在与否的多维图案，其中第一维是时间，和第二维是区标号；

-处理器装置被配置成把图案分段成与事件有关的图案部分；以及

-分类器，用于参考与预期的事件有关的历史数据来对图案部分进行分类。

2.如在权利要求1中要求的设备，其中传感装置包括被安装在监视区域上方的至少一个照相机。

3.如在权利要求1中要求的设备，其中传感装置包括从不同的角度覆盖该区的一对立体成像的照相机。

4.如在权利要求2中要求的设备，其中传感装置包括从不同的角度覆盖该区的一对立体成像的照相机。

5.如在权利要求1到4的任一项中要求的设备，其中多个区形成紧密相邻的区的阵列，以及其中每个区具有在第一方向上的第一维、在第二方向上的第二维、面积。

6.如在权利要求5中要求的设备，其中感测的数据包括与由物体占用的区的一部分面积成比例的参数。

7.如在权利要求1到4的任一项中要求的设备，其中处理器被配置成将在无活动的图案的区域中的图案沿时间维度进行分段。

8.如在权利要求5中要求的设备，其中处理器被配置成将在无活动的图案的区域中的图案沿时间维度进行分段。

9.如在权利要求6中要求的设备，其中处理器被配置成将在无活动的图案的区域中的图案沿时间维度进行分段。

10.一种用于监视物体通过监视区域移动的方法，所述方法包括以下步骤：

-把区域划分成多个区，每个区与各个区标号相关联；

-区被安排成使得在第一方向上有至少两个相邻行的区和在垂直于第一方向的方向上有至少两个相邻行的区；

-自动地和在时间上顺序地利用传感器装置来分别感测每个区中物体的存在与否；

-生成关于在区中物体的存在与否的多维图案的数据，其中第一维是时间，并且第二维是区标号；

-把图案分段成与事件有关的图案部分；以及

-参考与预期的事件有关的历史数据来对于图案部分进行分类。

11.一种用于监视物体通过监视区域移动的方法，所述方法包括以下步骤：

-从传感器装置接收与物体通过区域移动的时序表示有关的感测数据，感测数据包括与在多个区的每个区中物体的存在与否有关的数据，区被安排成使得在第一方向上有至少两个相邻行的区和在垂直于第一方向的方向上有至少两个相邻行的区，以及其中每个区与区标号相关联；

-生成与区中物体的存在与否的多维图案有关的数据，其中第一维是时间，并且第二维是区标号；

-把图案分段成与事件有关的图案部分；以及

-参考与预期的事件有关的历史数据来对于图案部分进行分类，

由此，在使用时，提供沿至少一个方向移动通过区域的物体的计数值，作为输出。

12.一种用于监视物体通过监视区域移动的设备，所述设备包括：

-用于从传感器装置接收与物体通过区域移动的时序表示有关的感测数据的装置，感测数据包括与在多个区的每个区中物体的存在与否有关的数据，区被安排成使得在第一方向上有至少两个相邻行的区和在垂直于第一方向的方向上有至少两个相邻行的区，以及其中每个区与区标号相关联；

-用于生成与区中物体的存在与否的多维图案有关的数据的装置，其中第一维是时间，并且第二维是区标号；

-用于把图案分段成与事件有关的图案部分的装置；以及

-用于参考与预期的事件有关的历史数据来对于图案部分进行分类的装置，

由此，在使用时，提供沿至少一个方向移动通过区域的物体的计数值，作为输出。

Images