CN105225248B - 识别物体的运动方向的方法和设备 - Google Patents

Abstract

提供了一种用于识别物体的运动方向的方法，包括：获取由至少一个立体相机拍摄的包括所述物体的图像帧序列，该图像帧序列的帧数为预定的采样窗口的大小；确定每个立体相机拍摄的图像帧序列中的每一图像帧中的所述物体投影在现实世界中的对应轨迹点；和对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向，作为所述物体在所述采样窗口中的运动方向。根据本发明实施例的用于识别物体的运动方向的技术即使在轨迹点受到噪声影响的情况下，也可以识别出较为准确的运动方向。另外，该用于识别物体的运动方向的技术可以利用多个立体相机来检测物体，因此能够很好地处理物体遮挡的问题，并进一步提高了识别精度。

Description

识别物体的运动方向的方法和设备

技术领域

本发明总体涉及图像处理，具体涉及用于识别物体的运动方向的方法和设备。

背景技术

随着人们对于公共安全的关注日益密切，各式各样的监控系统已遍布各个城市的各个角落。在这些各式各样的监控系统中，运动物体的运动方向分析是其中不可或缺的一部分。例如，在飞机场、火车站和地铁站等公共交通枢纽，逆向于人流或是逆向于规定的指示方向行走常常被认为是一种异常行为。再比如，对于例如安装在危险化学品存储仓库、放射物质存储仓库等危险仓库的监控系统，它的一个基本功能是能够检测到人靠近危险物品的行为，并且一旦检测到这类行为，就立刻发出报警以防止潜在危险事故的发生。

在当前的视频图像处理领域，识别物体运动方向的技术大致可以分为两大类：基于分析运动物体轨迹点的方法和基于物体视频图像特征的方法。

基于分析物体运动轨迹点的方法通过直接分析运动物体轨迹点的位置信息和时间先后顺序，得到一系列点的运动矢量，并将这一系列运动矢量作为物体的运动方向。然而，由于现有的跟踪算法无法时时刻刻精确地定位到物体，因此运动物体轨迹点的位置信息将沿着物体真实运动轨迹发生偏离，从而得到的物体的运动方向将会非常不稳定，具体表现为前后两个时刻的运动方向会发生突变，从而使得结果无效。这类方法的一个改进方法是将运动物体的轨迹方向转化为某种图像特征，然后通过分析该图像特征来计算物体的运动方向。一个典型的例子是基于运动历史图(Motion history image,MHI)的方法。该方法将物体运动轨迹的时域信息(即时间的先后)用灰度图像的亮度来表示，从而形成一种新的特征图像——运动历史图。在运动历史图上，高亮度的像素点位置对应于物体在时域上较新时刻的位置，而较早时刻位置的像素点的亮度则较低。因此，通过分析运动历史图上像素点的明暗可以得到运动物体的运动方向信息。然而，基于运动历史图的方法所得到的物体的运动方向精度不高，无法满足高精度需求的应用。

基于物体视频图像特征的方法则是通过识别某些能反映物体朝向的外貌特征来确定物体的运动方向。例如，以人为例，这类方法预先从图像中提取诸如人的头部、肩膀等部位的特征(这些特征在人以不同的角度面向摄像机时是不同的)，然后将这些特征作为事先训练好的分类器的输入来获得人的朝向信息作为人的运动方向。在这类方法中，需要事先训练大量的样本，这是一个繁琐且耗时的过程。另外，利用该类方法获得的运动方向的精度很大程度上取决于分类器性能的高低。

发明内容

根据本发明的一个实施例，提供了一种用于识别物体的运动方向的方法，包括：获取由至少一个立体相机拍摄的包括所述物体的图像帧序列，该图像帧序列的帧数为预定的采样窗口的大小；确定每个立体相机拍摄的图像帧序列中的每一图像帧中的所述物体投影在现实世界中的对应轨迹点；和对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向，作为所述物体在所述采样窗口中的运动方向。

根据本发明的另一实施例，提供了一种用于识别物体的运动方向的设备，包括：图像获取单元，配置用于获取由至少一个立体相机拍摄的包括所述物体的图像帧序列，该图像帧序列的帧数为预定的采样窗口的大小；位置确定单元，配置为确定每个立体相机拍摄的图像帧序列中的每一图像帧中的所述物体投影在现实世界中的对应轨迹点；运动方向确定单元，配置为对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向，作为所述物体在所述采样窗口中的运动方向。

根据本发明实施例的用于识别物体的运动方向的技术基于统计的观点对轨迹点的总体分布进行分析，因此即使轨迹点受到噪声的影响，也可以识别出较为准确的运动方向。另一方面，该用于识别物体的运动方向的技术可以利用多个立体相机获取的位置信息来识别物体的运动方向，因此进一步提高了识别精度，并且能够很好地处理物体遮挡的问题，适用于复杂场景的情况。

附图说明

图1示出了现有技术中直接根据定位结果计算物体的运动矢量作为运动方向与应用本发明实施例确定的物体的运动方向的对比图。

图2示出了根据本发明第一实施例的用于识别物体的运动方向的方法的流程图。

图3(a)例示了通过坐标转换获得的人的最高点在现实世界中的对应位置点的示意图；图3(b)例示了将图3(a)中的各个对应位置点投影到地平面上得到的各个对应轨迹点的示意图。

图4例示了根据物体的运动速度自适应地调整采样窗口的大小的一个示意图。

图5例示了根据物体的运动速度自适应地调整采样窗口的大小的又一示意图。

图6示出了根据本发明的一个具体实施例的识别物体的运动方向的方法的流程图。

图7示出了根据本发明第二实施例的用于识别物体的运动方向的方法的流程图。

图8(a)例示了多相机情况下通过坐标转换获得的人的最高点在现实世界中的对应位置点的示意图；图8(b)例示了将图8(a)中的各个对应位置点投影到地平面上得到的各个对应轨迹点的示意图。

图9例示了根据本发明第二实施例的用于识别物体的运动方向的方法中基于各个轨迹点的可信度对多个对应轨迹点的总体分布进行统计分析以确定轨迹点的变化最显著的方向的处理的流程图。

图10(a)示出了物体对立体相机完全可见时相应的投影表面积图；图10(b)示出了当物体被部分遮挡时相应的投影表面积图；图10(c)示出了物体的投影面积与整个投影表面积图的面积的相对关系。

图11(a)例示了对来自多个相机的轨迹点分配权重的示意情形；图11(b)示出了对如图11(a)所示的各轨迹点进行重采样后的示例情形；图11(c)例示了对如图11(b)中所示的重采样的多个子轨迹点的总体分布进行统计分析以确定其变化最显著的方向的示意图。

图12示出了根据本发明实施例的用于识别物体的运动方向的设备的功能配置框图。

图13示出了根据本发明实施例的用于识别物体的运动方向的系统的总体硬件框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

首先结合图1对本发明实施例的一个基本思想进行简要的介绍。

为了便于理解，下文中以运动物体是人为例进行说明。图1示出了现有技术中直接根据定位结果计算运动矢量作为运动方向的示意图。如图1所示，图中左侧的6个椭圆代表由图像捕获设备拍摄的连续6帧(f1-f6)中的人在世界坐标系的XOZ平面中的投影。为了便于说明，此处认为世界坐标系的XOZ平面与地平面重合，另外，能够理解，从正上方俯看人的形状大致近似于椭圆。图1中分别位于6个椭圆中的6个点是在f1-f6这6帧中定位出的人的最高点投影到世界坐标系的XOZ平面中得到的轨迹点。一般说来，人的最高点对应于头部上的某个点，又由于人身体具有对称性，因此当从正上方俯看时，人的最高点应该位于椭圆的中心。但从图1中可以看出，在各帧中，定位出的人的最高点投影在XOZ平面中的轨迹点并非位于椭圆的中间。造成这一情况的原因主要包括以下几点：(a)人体是非刚性物体，在其运动(例如行走)过程中，每时每刻都可能发生姿态的改变，因此很难保证每帧都能取到人的最高点；(b)立体相机跟踪定位结果的精度取决于深度信息的精确度，而深度信息的精确度受到人与相机的距离、光照、噪声等诸多因素的影响；(c)人的最高点可能被遮挡，以至于无法跟踪定位到。

图1中左侧的5个短箭头表示直接根据相邻两帧的定位结果计算运动矢量所得到的人的运动方向。可以看出，由于上文中提到的与人的最高点对应的轨迹点并非位于椭圆的中心的问题，直接根据相邻两帧的定位结果得到的人的运动方向十分不稳定，两帧间方向的变化很大，因而无法反映出如图1中示出的人实际的运动方向。

结合上述内容分析可知，当人在运动的时候，其投影在XOZ平面的轨迹点位置发生改变主要是由两个原因造成的：第一个原因是人自身的运动(例如行走)，而第二个原因则包括诸如其姿态的改变、数据噪声、遮挡等因素。而对于一个良好的实时跟踪定位算法，当人在运动时，由于其自身的运动所造成的轨迹点位置的改变量必定要大于上述第二个原因造成的轨迹点位置的改变量。因此，将多个轨迹点在XOZ平面中变化最显著的方向作为人的运动方向是较为准确的，其可以有效地抑制直接计算运动矢量带来的方向的不稳定性。

<第一实施例>

图2示出了根据本发明第一实施例的用于识别物体的运动方向的方法的流程图。

如图2所示，在步骤S201，获取由立体相机拍摄的包括所述物体的图像帧序列，该图像帧序列的帧数为预定的采样窗口的大小。

采样窗口是确定物体运动方向的分析窗口，即当获取到采样窗口大小的一系列图像帧时，就通过对该一系列图像帧进行分析处理来确定物体在该采样窗口的运动方向。能够理解，此处采样窗口的大小即获取到的用于进行分析处理的图像帧的数量，例如，对于如图1中例示的情形，采样窗口的大小为6。采样窗口的大小可以由本领域技术人员根据经验值预先设定。例如，在实验中，当例如物体(人)以1.5m/s的速度运动，相机的帧率为30时，采样窗口的大小为13。

在步骤S202，确定立体相机拍摄的图像帧序列中的每一图像帧中的所述物体投影在现实世界中的对应轨迹点。

待识别运动方向的所述物体位于立体相机捕获的图像帧中，在该步骤中，对于每一图像帧，通过任何适当的物体检测方法从该图像帧中检测出所述物体，并通过例如坐标转换确定该图像帧中的所述物体中的预定特征点在现实世界中的对应轨迹点。所述预定特征点是能够反映物体的运动轨迹的任意点。例如，以运动物体是人为例，所述特征点可以是图1中例示的人的最高点，当然也可是例如左肩最高点、右肩最高点等其他适当的点。

通过坐标转换确定物体中的预定特征点(例如人的最高点)在现实世界中的对应位置点是本领域中的公知技术，为了避免不必要地混淆本发明的发明内容，此处省略对该转换过程的详细描述。图3(a)例示了通过坐标转换获得的人的最高点在现实世界中的对应位置点的示意图。具体的，图3(a)示出了第T帧，第T+1帧和第T+2帧中人体的最高点在现实世界中的对应位置点。从图3(a)可以看出，世界坐标系由Xw，Yw和Zw三个轴组成，其中Yw轴方向为垂直于XOZ地平面的方向。由于所关心的物体的运动方向在XOZ平面上，因此Yw方向的坐标值可以忽略，即置为0。这等同于将物体中的预定特征点在现实世界中的对应位置点投影到地平面得到对应的轨迹点。图3(b)例示了将各个对应位置点投影到地平面上得到的各个对应轨迹点的示意图。具体的，图3(b)示出了第T帧，第T+1帧和第T+2帧中人体的最高点在现实世界中的对应位置点投影到地平面得到的对应轨迹点。

在步骤S203，对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向，作为所述物体在所述采样窗口中的运动方向。

以图1中所示的情形为例，采样窗口的大小为6(如图中右侧的椭圆形所示)，也就是说进行分析处理的图像帧的数量为6，因此在该步骤中将对分别与该6个图像帧对应的6个轨迹点(如图中右侧的椭圆形中的6个点所示)进行统计分析。此处，可以采用任何适当的现有方法对多个轨迹点的总体分布进行统计分析以确定轨迹点变化最显著的方向，作为物体在该采样窗口中的运动方向。

例如，在一个示例实现中，可以采用主成分分析法(PCA)对多个轨迹点的总体分布进行统计分析，并将应用主成分分析法计算出的第一主成分方向作为所述物体在采样窗口中的运动方向。主成分分析法以及第一主成分方向均是本领域中公知的，此处不进行详细描述。

再比如，在另一个示例实现中，可以采用最小二乘法对多个轨迹点的总体分布进行统计分析，并将应用最小二乘法拟合而成的直线的方向作为所述物体在采样窗口中的运动方向。最小二乘法以及直线拟合均是本领域中公知的，此处不进行详细描述。

能够理解，上述主成分分析法、最小二乘法仅仅是示例而并非是对本发明的限制，本领域技术人员可以采用其他适当的方法对轨迹点的总体分布进行统计分析以确定其变化最显著的方向。

以上描述了如图2所示的用于识别物体的运动方向的方法。如前所述，由于该用于识别物体的运动方向的方法基于统计的观点对轨迹点的总体分布进行分析，因此即使轨迹点受到噪声的影响，也可以识别出较为准确的运动方向。

可选的，上述如图2所示用于识别物体的运动方向的方法可以连续执行多次，即每当按照上述步骤S201-S203针对一个采样窗口确定了物体在该采样窗口中的运动方向后，可以继续跟踪待识别运动方向的物体，并再次执行上述步骤S201-S203中的处理，以识别物体在下一采样窗口的运动方向。

可选的，在每次执行如图2中所示的用于识别物体的运动方向的方法时，可以采用不同大小的采样窗口。具体的，在针对一个采样窗口确定了物体在该采样窗口中的运动方向后，可以基于该采样窗口中的对应轨迹点确定物体的运动速度，并根据该运动速度自适应地调整所述采样窗口的大小，随后应用该调整了大小的采样窗口执行上述用于识别物体的运动方向的方法。如何根据轨迹点来确定物体的运动速度是本领域中公知的(例如，最简单的，可以基于轨迹点之间的距离和获取与轨迹点对应的图像帧的时刻来确定物体的运动速度)，此处不再赘述。下面将结合图4和图5对根据物体的运动速度调整采样窗口的大小进行说明。

图4例示了根据物体的运动速度自适应地调整采样窗口的大小的一个示意图。如图4所示，仍以图1中对应于第f1帧到第f6帧的6个轨迹点来加以说明。较之图1中的6个轨迹点，图4左侧对应于第f1帧到第f6帧的6个轨迹点更加靠拢，这主要是由于物体的运动速度变慢的缘故。从图4中可以看出，此时难以辨识出人的运动方向，这是由于在该采样窗口内由人的运动造成的轨迹点位置的改变量与由于噪声、跟踪不准确等因素造成的轨迹点位置的改变量相当。因此，无法确定这些轨迹点位置变化最显著的方向作为人的运动方向。在这种情况下，可以加大采样窗口，使得一个采样窗口中出现更多的轨迹点，从而使得由于人的运动造成的轨迹点位置的改变比由于噪声、

跟踪不准确等因素造成的轨迹点位置的改变更加显著，进而可以通过分析轨迹点变化最显著的方向来准确地反映人的运动方向。例如，如图4右侧所示，当将采样窗口的大小增大到10帧，从而将与第f7帧到第f10帧对应的轨迹点加入考虑后，可以分析出分别与从第f1帧到第f10帧对应的10个轨迹点的变化最显著的方向(如图4中的长箭头所示)，从而准确地反映出人的运动方向。当然，将采样窗口的大小增大到10帧仅仅是一个示例，能够理解，将采样窗口的大小增到大于或小于10帧都是可能的。

图5例示了根据物体的运动速度自适应地调整采样窗口的大小的又一示意图。图5显示的是物体高速运动的情况。如图所示，物体真实的运动方向为先直行然后向右前进。若采用适合于低速或者中速的采样窗口大小6，则通过分析6个轨迹点确定的变化最显著的方向如图5左侧椭圆的长轴方向所示。显然，该变化最显著的方向并未正确地反映物体的真实运动方向。在这种情况下，可以缩小采样窗口，例如将其从原来的6缩小为3，则由此分析得到的变化最显著方向如图5右侧两个椭圆形的长轴方向所示。可以看出，较之采样窗口大小为6，采样窗口大小为3时识别出的物体的运动方向更加接近真实的运动方向。能够理解，将采样窗口的大小缩小到3仅仅是一个示例，根据识别的具体情况将采样窗口的大小缩小到大于或小于3都是可能的。

由此可见，通过根据物体的运动速度自适应地调整采样窗口的大小，可以提高物体的运动方向的识别精确度。另一方面，除了物体的运动速度以外，也可以根据立体相机的采样帧率或者结合考虑物体的运动速度和立体相机的采样帧率来自适应地调整采样窗口的大小。例如，在根据立体相机的采样帧率来调整采样窗口的大小的情况下，如果采样帧率较快，则可以增大采样窗口；如果采样帧率较慢，则可以缩小采样窗口。在结合考虑物体的运动速度和立体相机的采样帧率来调整采样窗口的大小的情况下，作为一种示例，在实际操作过程中，可以通过实验预先建立描述采样窗口的大小与物体的运动速度、采样帧率之间的关系的查找表(LookUp table)，并在随后识别物体的运动方向时通过查找该查找表来确定采样窗口的大小。

如前所述，在调整了采样窗口的大小后，可以应用该调整了大小的采样窗口执行上述用于识别物体的运动方向的方法。具体来说，在针对例如大小为m的采样窗口识别了物体在该采样窗口的方向、并自适应地将采样窗口的大小调整为n之后，可以继续获取由立体相机拍摄的包括所述物体的后续图像帧序列，该后续图像帧序列的帧数为调整后的采样窗口的大小n；确定立体相机拍摄的后续图像帧序列中的每一图像帧中的所述物体投影在现实世界中的对应轨迹点；并对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向，作为所述物体在所述调整后的采样窗口中的运动方向。

为了有助于本领域技术人员更好的理解根据本发明实施例的上述用于识别物体的运动方向的方法，以下利用一个具体而非限制的实施例来详细描述该方法。

图6示出了根据本发明的一个具体实施例的识别物体的运动方向的方法的流程图。

如图6所示，在步骤S601，获取由立体相机拍摄的包括待识别运动方向的物体的图像帧序列，该图像帧序列的帧数为采样窗口的大小。

假设当前采样窗口的大小为6，则在该步骤中获取由立体相机拍摄的包括待识别运动方向的物体的f1-f6帧图像。

在步骤S602，确定立体相机拍摄的图像帧序列中的每一图像帧中的所述物体投影在现实世界中的对应轨迹点。

在该步骤中，获得f1-f6帧图像中的物体的最高点投影在现实世界中的对应轨迹点P1-P6。

在步骤S603，对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向，作为所述物体在所述采样窗口中的运动方向。

在该步骤中，通过例如主成分分析法对轨迹点P1-P6的总体分布进行统计分析，确定其变化最显著的方向(即第一主成分方向)，作为物体在该采样窗口中的运动方向。

在步骤S604，判断是否需要继续跟踪并识别物体的运动方向。如果判断结果为是，则处理继续到步骤S605；如果判断结果为否，则运动方向识别处理结束。

在步骤S605，根据所述采样窗口中的对应轨迹点，确定物体的运动速度。

在该步骤中，通过轨迹点P1和P2之间的距离以及获取与轨迹点P1和P2对应的图像帧的时间差来确定物体的第一运动速度，并类似地确定轨迹点P2和P3之间的第二运动速度、轨迹点P3和P4之间的第三运动速度、轨迹点P4和P5之间的第四运动速度以及轨迹点P5和P6之间的第五运动速度，随后将第一到第五运动速度的平均值作为所述物体的运动速度。

在步骤S606，判断是否需要调整采样窗口的大小。具体的，在该步骤中，可以例如通过查找预先建立的描述采样窗口的大小与物体的运动速度之间的关系的查找表来确定是否需要调整采样窗口的大小。如果判断结果为是，则处理进行到步骤S607；如果判断结果为否，则处理返回到步骤S601。

在步骤S607，调整采样窗口的大小。随后处理返回到步骤S601。

在该步骤根据步骤S606中所述的查找表，增大或者缩小采样窗口的大小。

以上通过一个具体示例详细描述了根据本发明第一实施例的物体运动方向识别方法。在该实施例中，基于统计的观点对轨迹点的总体分布进行分析，因此即使轨迹点受到噪声的影响，也可以识别出较为准确的运动方向。另一方面，在该实施例中，根据物体的运动速度自适应地调整采样窗口的大小，从而可以提高物体的运动方向的识别精确度。

<第二实施例>

在根据本发明第一实施例的物体的运动方向识别方法中是利用单个立体相机来检测物体以识别其运动方向的，然而单个立体相机的检测视角有限，并且由于相机的固有误差，检测范围和检测精度也受限。因此在本实施例中，使用多个立体相机来检测物体以进行物体运动方向的识别，其能够解决物体遮挡问题，并且能够进一步提高运动方向的识别精度。

根据本实施例的物体的运动方向识别方法与第一实施例中描述的识别方法大致相同。在下文中，将省略对相同内容的描述，而仅对与第一实施例不同的地方进行详细描述。

图7示出了根据本发明第二实施例的用于识别物体的运动方向的方法的流程图。下面将结合图7对该方法进行描述。

如图7所示，在步骤S701，获取由多个立体相机拍摄的包括所述物体的图像帧序列，该图像帧序列的帧数为预定的采样窗口的大小。

该步骤中的处理与步骤S201中的处理基本相同，区别仅在于多个立体相机中每个都拍摄包括待识别运动方向的物体的图像帧序列。例如，假设采样窗口的大小为6并采用cam1，cam2，cam3这3个立体相机进行识别，则这3个立体相机中的每一个都拍摄从第f1帧到第f6帧的6个图像帧。能够理解，立体相机cam1，cam2和cam3是同步好的，即cam1，cam2和cam3在相同的时刻t1拍摄各自的第f1帧，在相同的时刻t2拍摄各自的第f2帧,依次类推，直至在相同的时刻t6拍摄各自的第f6帧。相机如何同步是本领域中公知的，例如可以通过NTP服务器来实现同步，此处不再赘述。

在步骤S702，确定每个立体相机拍摄的图像帧序列中的每一图像帧中的所述物体投影在现实世界中的对应轨迹点。

与步骤S202中的处理类似，在该步骤中，对于每个立体相机拍摄的每一图像帧，通过例如坐标转换确定该图像帧中的所述物体中的预定特征点在现实世界中的对应轨迹点。能够理解，立体相机cam1，cam2和cam3都做了外参标定，因此，各个立体相机拍摄的图像帧中的所述物体中的预定特征点都转换到一个统一的世界坐标系中。

图8(a)例示了通过坐标转换获得的人的最高点在现实世界中的对应位置点的示意图。具体的，图8(a)示出了第T帧，第T+1帧和第T+2帧中人体的最高点在现实世界中的对应位置点。从图中可以看出，由于利用3个相机分别拍摄了各自的第T帧到第T+2帧，因此对于第T帧，第T+1帧和第T+2帧中的每一帧，人体的最高点在现实世界中的对应位置点均有三个，分别来自3个立体相机。图8(b)例示了将各个对应位置点投影到地平面上得到的各个对应轨迹点的示意图。具体的，图8(b)示出了第T帧，第T+1帧和第T+2帧中人体的最高点在现实世界中的对应位置点投影到地平面得到的对应轨迹点。同样，对于第T帧，第T+1帧和第T+2帧中的每一帧，人体的最高点投影到地平面得到的轨迹点均有三个，分别来自3个立体相机。

在步骤S703，对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向，作为所述物体在所述采样窗口中的运动方向。

与步骤S203中类似，在该步骤中同样可以采用例如主成分分析法、最小二乘法等任何适当的现有方法对多个轨迹点的总体分布进行统计分析以确定轨迹点变化最显著的方向，作为物体在该采样窗口中的运动方向。

在如上所述对多个所述对应轨迹点的总体分布进行统计分析以确定其变化最显著的方向的处理中，各个轨迹点在确定变化最显著方向时所起的作用是相同的。然而，事实上，所述多个轨迹点来自不同的立体相机cam1，cam2和cam3，而由于各个立体相机在拍摄图像帧时的环境条件不同，各个立体相机的定位误差也不相同，即基于由不同立体相机拍摄的图像帧确定的物体中的预定特征点在现实世界中的对应轨迹点的可信度不同。因此，能够理解，针对这一情形，使得可信度高的轨迹点在所述对多个所述对应轨迹点的总体分布进行统计分析以确定其变化最显著的方向的处理中起到较大的作用能够提高所确定的方向的精确度。

由此在步骤S203中，可选的，可以基于各个轨迹点的可信度(即为各个轨迹点分配权重)来对所述多个对应轨迹点的总体分布进行统计分析以确定所述轨迹点的变化最显著的方向。下面，将结合图9对这一处理进行详细描述。

如图9所示，在步骤S7031，对于由所述多个立体相机在相同时刻拍摄的多个对应图像帧中的所述物体中的预定特征点在现实世界中的各个对应位置点确定置信度。

所述对应位置点的置信度取决于基于立体相机拍摄的图像定位所述物体中的预定特征点的准确性。该预定特征点的定位的准确性受到例如跟踪定位算法本身、相机的误差等多种因素的影响。因此，在该步骤S7031中可以基于任何适当的影响因素来确定所述对应位置点的置信度。

例如，在一个示例中，基于在所述相同时刻多个立体相机与所述物体的距离来确定各个对应位置点的置信度。具体的，随着物体与立体相机之间距离的增大，立体相机拍摄的图像给出的物体深度信息的精度也会随之下降，进而影响基于立体相机拍摄的图像来定位所述物体中的预定特征点的准确性。因此，对于由多个立体相机在相同时刻拍摄的多个对应图像帧，例如对于由多个立体相机在相同时刻t1拍摄的各自的f1帧中，基于距离物体较近的立体相机拍摄的第f1帧定位的位置点的精度要高于基于距离物体较远的立体相机拍摄的f1帧定位的位置点的精度。具体的，可以采用各种适当的方式来确定各位置点的具体置信度值，只要置信度值与物体和立体相机之间的距离成反比即可。

再比如，在另一个示例中，基于在所述相同时刻所述物体相对于多个立体相机的可见度来确定各个对应位置点的置信度。可以采用各种适当的方式来确定物体相对于立体相机的可见度，这里结合图10(a)-10(c)以基于投影表面积图的方法为例进行说明。关于投影表面积图的具体概念可参见Michael Harville的论文‘Stereo Person Tracking withAdaptive Plan-View Templates of Height and Occupancy Statistics’。图10(a)示出了作为待识别运动方向的物体的人对立体相机完全可见时相应的投影表面积图；图10(b)示出了当人被部分遮挡时相应的投影表面积图。比较图10(a)和10(b)右侧的投影表面积图可知，非黑色区域的面积越大，则人对于相机的可见度就越高。因此，可以采用如下公式(1)来表示物体对于相机的可见度：

其中，AO表示投影面积，即投影表面积图中非黑色的区域的面积，而AB代表整个投影表面积图的面积，如图10(c)所示。显然，AO与AB的比值越大，人对于立体相机的可见度就越高，进而基于该立体相机拍摄的图像定位所述物体中的预定特征点的准确性就越高。因此，对于由多个立体相机在相同时刻拍摄的多个对应图像帧，例如对于由多个立体相机在相同时刻t1拍摄的各自的f1帧中，基于人相对于其的可见度较高的立体相机拍摄的第f1帧定位的位置点的精度要高于基于人相对于其的可见度较低的立体相机拍摄的f1帧定位的位置点的精度。具体的，可以采用各种适当的方式来确定各位置点的具体置信度值，只要置信度值与人相对于立体相机的可见度成正比即可。

当然，以上所描述的基于多个立体相机与所述物体的距离、基于物体相对于多个立体相机的可见度来确定对应位置点的置信度仅仅是示例而并非是对本发明的限制，本领域技术人员也可以同时考虑上述两者或基于其他的影响因素来确定对应位置点的置信度。

在步骤S7032，对各个对应位置点投影在地平面上的各个对应轨迹点分配权重，其中对应位置点的置信度越高，则对应轨迹点的权重越大。

在该步骤中根据各个位置点的置信度来为与其对应的轨迹点分配权重，以使得轨迹点的权重与对应位置点的置信度成正比。图11(a)例示了对来自多个相机的轨迹点分配权重的示意情形。如图11(a)所示，仍以图1中对应于第f1帧到第f6帧的轨迹点来加以说明。如前所述，立体相机cam1，cam2和cam3是同步好的，即cam1，cam2和cam3分别在相同的时刻t1-t6拍摄各自的第f1-f6帧。假设立体相机cam1，cam2和cam3在每个时刻拍摄的图像帧中的物体中的预定特征点投影在现实世界中的对应轨迹点分别用空心圆点、实心圆点和带阴影的圆点来表示。其中，圆点的大小表示每个时刻由每个相机定位的轨迹点的可信度，点越大代表轨迹点的可信度越高，权重越大。例如，如图中所示，在拍摄各自的第f2帧时，基于立体相机cam1拍摄的第f2帧定位的位置点的置信度最高，因此与该位置点对应的轨迹点的权重最大，而基于立体相机cam2拍摄的第f2帧定位的位置点的置信度最低，因此与该位置点对应的轨迹点的权重最大。再比如，在拍摄各自的第f5帧时，基于立体相机cam2拍摄的第f5帧定位的位置点的置信度最高，因此与该位置点对应的轨迹点的权重最大，而基于立体相机cam3拍摄的第f5帧定位的位置点的置信度最低，因此与该位置点对应的轨迹点的权重最小。

回到图9，在步骤S7033，基于各个轨迹点的权重，对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向。

以图11(a)中所示的情形为例，采用立体相机cam1，cam2和cam3来识别物体的运动方向，并且采样窗口的大小为6，因此在该步骤中将结合轨迹点的权重，对于如图中所示18个轨迹点进行统计分析。此处，可以采用任何适当的现有方法基于各个轨迹点的权重对所述多个轨迹点的总体分布进行统计分析以确定轨迹点变化最显著的方向，作为物体在该采样窗口中的运动方向。

例如，在一个示例实现中，可以基于各个轨迹点的权重进行重采样，并采用主成分分析法(PCA)对重采样后的多个轨迹点的总体分布进行统计分析。所谓重采样，就是基于各个轨迹点的权重，用不同数量的“子轨迹点”来代替原轨迹点的过程。具体来说，对于权重较大的轨迹点，用较多数量的“子轨迹点”来代替它；而对于权重较小的轨迹点，则用较少数量的“子轨迹点”来代替它。例如，图11(b)示出了对于如图11(a)所示的各轨迹点进行重采样后的示例情形。如前所述，在图11(a)所示的情形中，在拍摄各自的第f2帧时，基于立体相机cam1拍摄的第f2帧定位的轨迹点的权重最大，而基于立体相机cam2拍摄的第f2帧定位的轨迹点的权重最大，因此如图11(b)所示，在进行重采样时，对于基于立体相机cam1拍摄的第f2帧定位的轨迹点用较多数量的“子轨迹点”(例如4个)来代替，而对于基于立体相机cam2拍摄的第f2帧定位的轨迹点则用较少数量的“子轨迹点”(例如2个)来代替。再比如，如前所述，在图11(a)所示的情形中，在拍摄各自的第f5帧时，基于立体相机cam2拍摄的第f5帧定位的轨迹点的权重最大，而基于立体相机cam3拍摄的第f5帧定位的轨迹点的权重最小。因此如图11(b)所示，在进行重采样时，对于基于立体相机cam2拍摄的第f5帧定位的轨迹点用较多数量的“子轨迹点”(例如4个)来代替，而对于基于立体相机cam3拍摄的第f5帧定位的轨迹点则用较少数量的“子轨迹点”(例如2个)来代替。能够理解，在拍摄第f1帧至f6帧的6个时刻中的每个时刻，重采样得到的“子轨迹点”的总数是一致的。图11(c)例示了采用主成分分析法(PCA)对重采样后的多个子轨迹点的总体分布进行统计分析以确定其变化最显著的方向作为物体在该采样窗口中的运动方向的示意图。如图11(c)所示，图中的椭圆形表示采样窗口，图中的长箭头表示应用主成分分析法计算出的第一主成分方向，其作为所述物体在该采样窗口中的运动方向。主成分分析法以及第一主成分方向均是本领域中公知的，此处不进行详细描述。

能够理解，上述基于各个轨迹点的权重进行重采样并采用主成分分析法确定轨迹点变化最显著的方向仅仅是示例而并非是对本发明的限制，本领域技术人员可以采用例如带权的最小二乘法、基于加权协方差矩阵的主成分分析等其他适当的方法对轨迹点的总体分布进行统计分析以确定其变化最显著的方向来作为物体的运动方向。

以上描述了如图7中所示的识别物体的运动方向的方法。可选的，上述如图7所示的用于识别物体的运动方向的方法可以连续执行多次，即每当按照上述步骤S701-S703针对一个采样窗口确定了物体在该采样窗口中的运动方向后，可以继续跟踪待识别运动方向的物体，并再次执行上述步骤S701-S703中的处理，以识别物体在下一采样窗口的运动方向。

可选的，与第一实施例中类似，在每次执行如图7中所示的用于识别物体的运动方向的方法时，可以采用不同大小的采样窗口。具体的，在针对一个采样窗口确定了物体在该采样窗口中的运动方向后，可以基于该采样窗口中的对应轨迹点确定物体的运动速度，并根据该运动速度自适应地调整所述采样窗口的大小，随后应用该调整了大小的采样窗口执行上述用于识别物体的运动方向的方法。上述处理的具体内容在第一实施例中已有详细说明，此处不再赘述。

以上描述了根据本发明第二实施例的用于识别物体的运动方向的方法，其中主要描述了该第二实施例与第一实施例的不同之处。在该实施例中，采用多个立体相机来检测物体以识别物体的运动方向，从而增大了检测的覆盖区域，解决了物体遮挡问题，并且减小了相机的定位误差的不利影响，提高了运动方向的识别精度。

<识别物体的运动方向的设备的总体配置>

图12示出了根据本发明实施例的用于识别物体的运动方向的设备1200的功能配置框图。

如图12所示，用于识别物体的运动方向的设备1200包括：图像获取单元1210，配置用于获取由至少一个立体相机拍摄的包括所述物体的图像帧序列，该图像帧序列的帧数为预定的采样窗口的大小；位置确定单元1220，配置为确定每个立体相机拍摄的图像帧序列中的每一图像帧中的所述物体投影在现实世界中的对应轨迹点；运动方向确定单元1230，配置为对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向，作为所述物体在所述采样窗口中的运动方向。

上述图像获取单元1210、位置确定单元1220和运动方向确定单元1230的具体功能和操作可以参考上述对图1到图11的相关描述，此处不再重复描述。

可选的，用于识别物体的运动方向的设备1200还可以包括速度检测单元1240，配置为根据所述采样窗口中的对应轨迹点，确定物体的运动速度；调整单元1250，配置为根据所述运动速度和/或立体相机拍摄的帧率自适应地调整所述采样窗口的大小。

<系统硬件配置>

图13示出了根据本发明实施例的用于识别物体的运动方向的系统1300的总体硬件框图。如图13所示，用于识别物体的运动方向的系统1300可以包括：输入设备1310，用于从外部输入有关图像或信息，例如由立体相机拍摄的深度图像或彩色图像，该输入设备例如可以是键盘、鼠标、摄像机等等；处理设备1320，用于实施上述的按照本发明实施例的用于识别物体的运动方向的方法，或者实施为上述的用于识别物体的运动方向的设备，该处理设备例如可以是计算机的中央处理器或其它的具有处理能力的芯片等等；输出设备1330，用于向外部输出实施上述识别物体的运动方向的过程所得到的结果，例如识别出的物体的运动方向、对应的采样窗口等，该输出设备例如可以是显示器、打印机等等；以及存储设备1340，用于以易失或非易失的方式存储上述物体跟踪过程所涉及的数据，例如待识别运动方向的物体的深度信息、待识别运动方向的物体中的特征点在3D真实世界中的位置坐标、轨迹点的坐标、采样窗口的大小、物体的运动速度、各个轨迹点的权重、各个位置点的置信度等等，该存储设备例如可以是随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (8)

1.一种用于识别物体的运动方向的方法，包括：

获取由至少一个立体相机拍摄的包括所述物体的图像帧序列，该图像帧序列的帧数为预定的采样窗口的大小；

确定每个立体相机拍摄的图像帧序列中的每一图像帧中的所述物体投影在现实世界中的对应轨迹点；和

对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向，作为所述物体在所述采样窗口中的运动方向；

其中，所述确定每个立体相机拍摄的图像帧序列中的每一图像帧中的所述物体投影在现实世界中的对应轨迹点进一步包括：

确定所述每一图像帧中的所述物体中的预定特征点在现实世界中的对应位置点；

获取各个对应位置点投影在地平面上的各个对应轨迹点；

其中，所述至少一个立体相机包括同步的多个立体相机，

其中，对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向作为物体在该采样窗口中的运动方向进一步包括：

对于由所述多个立体相机在相同时刻拍摄的多个对应图像帧中的所述物体中的预定特征点在现实世界中的各个对应位置点确定置信度；

对各个对应位置点投影在地平面上的各个对应轨迹点分配权重，其中对应位置点的置信度越高，则对应轨迹点的权重越大；

基于各个轨迹点的权重，对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向作为物体在该采样窗口中的运动方向。

2.如权利要求1所述的识别物体的运动方向的方法，还包括：

根据所述采样窗口中的对应轨迹点，确定物体的运动速度；

根据所述运动速度和/或立体相机拍摄的帧率自适应地调整所述采样窗口的大小。

3.如权利要求1所述的识别物体的运动方向的方法，还包括：

获取由至少一个立体相机拍摄的包括所述物体的后续图像帧序列，该后续图像帧序列的帧数为调整后的采样窗口的大小；

确定每个立体相机拍摄的后续图像帧序列中的每一图像帧中的所述物体投影在现实世界中的对应轨迹点；和

对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向，作为所述物体在所述调整后的采样窗口中的运动方向。

4.如权利要求1-3中任一项所述的识别物体的运动方向的方法，其中对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向作为所述物体在所述采样窗口中的运动方向进一步包括：

采用主成分分析法对多个所述对应轨迹点的总体分布进行统计分析，并将第一主成分方向作为所述物体在所述采样窗口中的运动方向。

5.如权利要求1-3中任一项所述的识别物体的运动方向的方法，其中对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向作为所述物体在所述采样窗口中的运动方向进一步包括：

采用最小二乘法对多个所述对应轨迹点的总体分布进行统计分析，并将拟合而成的直线的方向作为所述物体在所述采样窗口中的运动方向。

6.如权利要求1所述的识别物体的运动方向的方法，其中根据在所述相同时刻多个立体相机与所述物体的距离以及所述物体相对于多个立体相机的可见度中的至少一个来确定各个对应位置点的置信度。

7.一种用于识别物体的运动方向的设备，包括：

图像获取单元，配置用于获取由至少一个立体相机拍摄的包括所述物体的图像帧序列，该图像帧序列的帧数为预定的采样窗口的大小；

位置确定单元，配置为确定每个立体相机拍摄的图像帧序列中的每一图像帧中的所述物体投影在现实世界中的对应轨迹点；

运动方向确定单元，配置为对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向，作为所述物体在所述采样窗口中的运动方向；

其中，所述位置确定单元进一步被配置为：

确定所述每一图像帧中的所述物体中的预定特征点在现实世界中的对应位置点；

获取各个对应位置点投影在地平面上的各个对应轨迹点；

其中，所述至少一个立体相机包括同步的多个立体相机，

其中，运动方向确定单元，进一步被配置：

对于由所述多个立体相机在相同时刻拍摄的多个对应图像帧中的所述物体中的预定特征点在现实世界中的各个对应位置点确定置信度；

对各个对应位置点投影在地平面上的各个对应轨迹点分配权重，其中对应位置点的置信度越高，则对应轨迹点的权重越大；

基于各个轨迹点的权重，对多个所述对应轨迹点的总体分布进行统计分析，以确定其变化最显著的方向作为物体在该采样窗口中的运动方向。

8.如权利要求7所述的识别物体的运动方向的设备，还包括：

速度检测单元，配置为根据所述采样窗口中的对应轨迹点，确定物体的运动速度；

调整单元，配置为根据所述运动速度和/或立体相机拍摄的帧率自适应地调整所述采样窗口的大小。