CN105760849B - 基于视频的目标对象行为数据获取方法及装置 - Google Patents

Abstract

本发明提供了一种基于视频的目标对象行为数据获取方法。首先，播放待处理的视频；然后，按照预定的目标识别算法和目标跟踪算法，对所述视频中的目标对象进行识别和跟踪，并根据所述视频的像素坐标与物理坐标的对应关系，计算所述目标对象的物理坐标；最后，根据所述物理坐标及对应的帧数、视频的帧率计算获得所述目标对象的行为数据。相较于现有技术，本发明基于视频，利用目标识别算法、目标跟踪算法和视频像素坐标与物理坐标的对应关系，实现了获取视频中的目标对象的物理坐标，再根据所述视频的帧率和帧数，计算获得所述目标对象的行为数据，从而能够为研究行人的微观行为提供真实、有效、客观、大量的数据支撑。

Description

基于视频的目标对象行为数据获取方法及装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于视频的目标对象行为数据获取方法和一种基于视频的目标对象行为数据获取装置。

背景技术

随着经济的飞速发展和城市化进程的加快,出行需求的急速增长对客运系统的要求越来越多样化和复杂化，在这种形势下，城市轨道交通系统如地铁、公交等凭借其高频率、高效率、大运量的优点逐渐成为城市公共交通体系的重要组成部分之一。作为城市轨道交通网络中具有强大辐射效应的节点，城市轨道交通枢纽一直将客运组织和服务作为车站运营中的核心任务，客流流线组织问题也是衡量这个枢纽客运能力和城市交通现代化水平的重要指标之一，行人是枢纽日常运营中的活动主体，其各种交通行为密切影响着客流是否能安全、高效、流畅地流动和集散。因此，研究行人的微观行为并在此基础上制定有效的客流流线组织方案成为城市轨道枢纽客运能力提升的关键环节。相似的，在商场、路口等人流量大的区域，研究行人的微观行为，也有助于制定有效的人流流线组织方案，以及及时发现行人行为异常、避免群体性踩踏事件的发生。而研究行人的微观行为需要大量的行人行为数据支撑。

目前国内外的行人行为研究大都基于数学理论和计算机手段展开，虽已取得一定的成果，但由于行人的行为数据一般都是来源于实验或仿真模拟，数据量较小，也难以真实、有效、客观地反映行人的行为情况。

另外，随着视频监控技术的发展，视频监控设备目前已比较普及，在交通枢纽、商场、交通路况等人流量大的区域，设有大量的视频监控设备，如能够利用监控视频获取行人的行为数据，将能够为研究行人的微观行为提供真实、有效、客观、大量的数据支撑，进而有助于交通枢纽单位制定有效的客流流线组织方案和换乘流线方案等，以及有助于商场制定有效的人流流线组织方案，以及及时发现行人行为异常、避免群体性踩踏事件的发生。

发明内容

鉴于上述问题，需要提供一种能够根据监控视频获取行人的行为数据的基于视频的目标对象行为数据获取方法，以及相应的一种基于视频的目标对象行为数据获取装置。

本申请提供一种基于视频的目标对象行为数据获取方法，包括：

播放待处理的视频；

按照预定的目标识别算法，在当前播放的视频帧中识别出目标对象；

根据所述目标对象在所述视频帧中的像素坐标，按照所述视频的像素坐标与物理坐标的对应关系，计算所述目标对象在所述视频帧中对应的物理坐标；

按照预定的目标跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象，并根据所述目标对象在每个所述视频帧中的像素坐标，按照所述视频的像素坐标与物理坐标的对应关系，计算所述目标对象在每个所述视频帧中对应的物理坐标；

根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得所述目标对象的行为数据。

可选的，所述行为数据包括以下至少一种：

速度、加速度、转角、横向位移、路程偏移、与附近最近目标距离、穿过监控区域行走的距离、穿过监控区域经历的时间、在监控区域停滞的时间。

可选的，所述根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得所述目标对象的行为数据，包括：

根据所述目标对象在不同视频帧中对应的物理坐标，计算获得所述目标对象在不同视频帧之间的移动路径；

根据所述视频的帧率和所述目标对象对应的帧数，计算获得所述目标对象在不同视频帧之间的时间差；

根据所述移动路径和所述时间差，计算获得所述目标对象的行为数据。

可选的，所述基于视频的目标对象行为数据获取方法，还包括：

接收用户输入的区域选择指令，并根据所述区域选择指令生成区域信息；

所述根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得所述目标对象的行为数据，包括：

根据计算获得的所述目标对象的所有物理坐标和对应的帧数、所述视频的帧率和所述区域信息，计算获得所述目标对象在所述区域内的行为数据。

可选的，所述基于视频的目标对象行为数据获取方法，还包括：

接收用户输入的参数选择指令，并根据所述参数选择指令生成参数信息；

所述根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得所述目标对象的行为数据，包括：

根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得与所述用户选择的参数对应的所述目标对象的行为数据。

可选的，所述基于视频的目标对象行为数据获取方法，还包括：

采用仿射变换算法，建立所述视频的像素坐标与物理坐标的对应关系。

可选的，所述按照预定的目标识别算法，在当前播放的视频帧中识别出目标对象，包括：

采用Adaboost算法，在当前播放的视频帧中识别出目标对象。

可选的，所述按照预定的目标跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象，包括：

采用压缩跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象。

可选的，所述采用压缩跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象，包括：

采用压缩跟踪算法和预测跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象。

相应的，本发明提供一种基于视频的目标对象行为数据获取装置实施例，包括：

视频播放模块，用于播放待处理的视频；

目标对象识别模块，用于按照预定的目标识别算法，在当前播放的视频帧中识别出目标对象；

物理坐标计算模块，用于根据所述目标对象在所述视频帧中的像素坐标，按照所述视频的像素坐标与物理坐标的对应关系，计算所述目标对象在所述视频帧中对应的物理坐标；

目标对象跟踪模块，用于按照预定的目标跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象，并根据所述目标对象在每个所述视频帧中的像素坐标，按照所述视频的像素坐标与物理坐标的对应关系，计算所述目标对象在每个所述视频帧中对应的物理坐标；

行为数据计算模块，用于根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得所述目标对象的行为数据。

可选的，所述行为数据包括以下至少一种：

速度、加速度、转角、横向位移、路程偏移、与附近最近目标距离、穿过监控区域行走的距离、穿过监控区域经历的时间、在监控区域停滞的时间。

可选的，所述行为数据计算模块，包括：

路径计算单元，用于根据所述目标对象在不同视频帧中对应的物理坐标，计算获得所述目标对象在不同视频帧之间的移动路径；

时间差计算单元，用于根据所述视频的帧率和所述目标对象对应的帧数，计算获得所述目标对象在不同视频帧之间的时间差；

行为数据计算单元，用于根据所述移动路径和所述时间差，计算获得所述目标对象的行为数据。

可选的，所述基于视频的目标对象行为数据获取装置，还包括：

区域指令接收模块，用于接收用户输入的区域选择指令，并根据所述区域选择指令生成区域信息；

所述行为数据计算模块，包括：

区域数据计算单元，用于根据计算获得的所述目标对象的所有物理坐标和对应的帧数、所述视频的帧率和所述区域信息，计算获得所述目标对象在所述区域内的行为数据。

可选的，所述基于视频的目标对象行为数据获取装置，还包括：

参数指令接收模块，用于接收用户输入的参数选择指令，并根据所述参数选择指令生成参数信息；

所述行为数据计算模块，包括：

参数数据计算单元，用于根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得与所述用户选择的参数对应的所述目标对象的行为数据。

可选的，所述基于视频的目标对象行为数据获取装置，还包括：

坐标仿射模块，用于采用仿射变换算法，建立所述视频的像素坐标与物理坐标的对应关系。

可选的，所述目标对象识别模块，包括：

目标对象识别单元，用于采用Adaboost算法，在当前播放的视频帧中识别出目标对象。

可选的，所述目标对象跟踪模块，包括：

压缩跟踪单元，用于采用压缩跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象。

可选的，所述目标对象跟踪模块，包括：

压缩预测跟踪单元，用于采用压缩跟踪算法和预测跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象。

与现有技术相比，本发明具有以下优点：

本发明提供的一种基于视频的目标对象行为数据获取方法，包括：首先，播放待处理的视频；然后，按照预定的目标识别算法，在当前播放的视频帧中识别出目标对象；接下来，根据所述目标对象在所述视频帧中的像素坐标，按照所述视频的像素坐标与物理坐标的对应关系，计算所述目标对象在所述视频帧中对应的物理坐标；再按照预定的目标跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象，并根据所述目标对象在每个所述视频帧中的像素坐标，按照所述视频的像素坐标与物理坐标的对应关系，计算所述目标对象在每个所述视频帧中对应的物理坐标；最后，根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得所述目标对象的行为数据。

相较于现有技术，本发明基于视频，利用目标识别算法、目标跟踪算法和视频像素坐标与物理坐标的对应关系，实现了获取视频中的目标对象的物理坐标，再根据所述视频的帧率和帧数，计算获得所述目标对象的行为数据。从而能够为研究行人的微观行为提供真实、有效、客观、大量的数据支撑，进而有助于交通枢纽单位制定有效的客流流线组织方案和换乘流线方案等，以及有助于商场制定有效的人流流线组织方案，以及及时发现行人行为异常、避免群体性踩踏事件的发生。

进一步的，本发明采用了Adaboost算法进行目标对象的识别，具有识别准确率高、能够同时识别大量目标对象的优点，非常适用于交通枢纽、商场等高密度人群区域的行人行为数据获取，进一步保证了所述行为数据的真实性和有效性，实用性强。

此外，本发明采用压缩跟踪算法和预测跟踪算法对视频中的目标对象进行跟踪，其中，压缩跟踪算法能够有效降低数据运算量、提高运算效率，预测跟踪算法则可以有效解决高密度人群区域行人容易发生遮挡的问题，降低对目标跟踪的失败率。从而提供更为准确、客观、有效的行为数据。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1示出了本发明提供的一种基于视频的目标对象行为数据获取方法实施例的流程图；

图2示出了本发明提供的一种基于视频的目标对象行为数据获取方法优选实施例中行人行为分析软件的初始界面示意图；

图3示出了本发明提供的一种基于视频的目标对象行为数据获取方法的优选实施例中障碍物和障碍线的标定结果示意图；

图4示出了本发明提供的一种基于视频的目标对象行为数据获取方法的优选实施例中自动识别目标对象的结果示意图；

图5示出了本发明提供的一种基于视频的目标对象行为数据获取方法的优选实施例中数据处理参数选择框的示意图；

图6示出了本发明提供的一种基于视频的目标对象行为数据获取装置实施例的示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

请参考图1，其为本发明提供的一种基于视频的目标对象行为数据获取方法实施例的流程图，所述基于视频的目标对象行为数据获取方法包括：

步骤S101：播放待处理的视频。

本步骤中，首先获取待处理的视频，在本申请提供的一个实施例中，所述视频为在行人运动区域拍摄的监控视频；然后，播放所述待处理的视频。

步骤S102：按照预定的目标识别算法，在当前播放的视频帧中识别出目标对象。

在所述待处理的视频播放时，在当前播放的视频帧中，可以按照预定的目标识别算法识别出其中的目标对象，所述目标对象可以是行人，由于本实施例中获取的行为数据主要是行人整体的移动数据或运动数据，且对于高密度人群区域，监控视频中看到的大部分行人都不是完整的人体，因此，在本申请提供的一个实施例中，还可以选取行人的头部或行人头戴的帽子等作为目标对象来表征行人。

在本申请提供的一个实施例中，所述目标识别算法为Adaboost算法，Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用Adaboost分类器可以排除一些不必要的训练数据特征，并放在关键的训练数据上面。

在本申请提供的一个实施例中，所述待处理的视频为高密度行人区域的监控视频，将行人的头部作为目标对象，识别方法为：

对于所述监控视频的每一视频帧提取图像的Harr-like特征，并将特征向量输入到分类器中进行分类，判断是否为人体头部，从而实现目标识别。

其中，分类器需要提前训练生成，训练方法：采集大量的人体头部、面部图像作为正样本，以及一些容易干扰的非头部的图像作为负样本，提取图像的Harr-like特征作为特征向量，训练离线Adaboost分类器。

经实际应用，该Adaboost算法在人群密集且背景复杂的场景下，能够达到比较好的识别效果。

步骤S103：根据所述目标对象在所述视频帧中的像素坐标，按照所述视频的像素坐标与物理坐标的对应关系，计算所述目标对象在所述视频帧中对应的物理坐标。

考虑到监控视频的监控场景一般为不变化的固定区域，因此，可以根据所述目标对象在所述视频中的像素坐标定位出相应的物理坐标，在本申请提供的一个实施例中，在开始播放所述待处理的视频后，会采用仿射变换算法，建立所述视频的像素坐标与物理坐标的对应关系，之后，就可以根据所述目标对象在当前播放的视频帧中的像素坐标，按照所述视频的像素坐标与物理坐标的对应关系，计算出所述目标对象在所述当前播放的视频帧中对应的物理坐标。

步骤S104：按照预定的目标跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象，并根据所述目标对象在每个所述视频帧中的像素坐标，按照所述视频的像素坐标与物理坐标的对应关系，计算所述目标对象在每个所述视频帧中对应的物理坐标。

在当前的视频帧中对目标对象进行识别后，继续播放所述待处理的视频，由于视频中的目标对象会发生移动，因此，在本步骤中，需要对所述目标对象进行跟踪，以获取所述目标对象新的物理坐标，从而获得所述目标对象按时序变化的多个物理坐标。

考虑到在高密度人群区域的行人行为数据的获取中，要在识别所述目标对象后能够稳定地跟踪行人，并获得行人的位置坐标，主要面临人多密集、遮挡、阴影、运动轨迹难以预测等困难，传统的基于前景以及光流的算法无法取得良好的效果，因此，在本申请提供的一个实施例中，所述预定的目标跟踪算法为压缩跟踪算法，所述压缩跟踪算法是基于压缩感知算法的目标跟踪方法，主要对人头部、面部等位置的像素特征进行压缩，作为正样本，获取目标附近的非人体目标作为负样本，进行训练，作为跟踪检测的依据。其中，压缩感知算法的主要原理就是用一个随机感知矩阵去降维一个高维信号，得到的低维信号可以完全保持高维信号的特性。

在本申请提供的一个实施例中，所述采用压缩跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象的方法为：

在t帧的时候，采样得到若干张目标(正样本)和背景(负样本)的图像片，然后对他们进行多尺度变换，再通过一个稀疏测量矩阵对多尺度图像特征进行降维，然后通过降维后的特征(包括目标和背景，属二分类问题)去训练朴素贝叶斯分类器。

在t+1帧的时候，在上一帧跟踪到的目标位置的周围采样n个扫描窗口(避免去扫描整幅图像)，通过同样的稀疏测量矩阵对其降维，提取特征，然后用第t帧训练好的朴素贝叶斯分类器进行分类，分类分数最大的窗口就认为是目标窗口。这样就实现了从t帧到t+1帧的目标跟踪。

考虑到在高密度人群区域，行人之间或行人与立柱等障碍物之间容易发生遮挡，当某个运动行人人体头部、面部发生全部遮挡后，则无法通过头部、面部检测和识别获得该目标对象的实时测量量，导致目标跟踪失败，因此，在本申请提供的一个实施例中，采用压缩跟踪算法和预测跟踪算法相结合的方式，在之后播放的多个视频帧中跟踪所述目标对象，主要采用压缩跟踪算法，当遇到遮挡时，再采用预测跟踪算法来降低遮挡对跟踪稳定性的影响。

在本申请提供的一个实施例中，所述预测跟踪算法包括基于卡尔曼滤波的预测跟踪算法，卡尔曼滤波(Kalman filtering)一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。实施时，使用卡尔曼滤波预测模型的预测量作为行人头部、面部的测量量，从而得到行人头部、面部位置和质心等信息，实现对预测模型的更新和行人的继续跟踪，并保持行人的卡尔曼滤波预测模型不变，同时不断与检测到的行人进行匹配，当匹配成功后，继续按照压缩跟踪算法实现卡尔曼滤波预测模型更新和行人的继续跟踪。

其中，Kalman滤波是一种递推线性最小方法估计，是由状态方程和观测方程组成的。假设某系统t时刻的状态变量为X_t，观测变量为Y_t，则状态方程式表示为：

X_t＝A_t-1X_t-1+ω_t-1

观测方程式表示为：

Y_t＝C_tX_t+ν_t

其中，t表示时间，需要注意的是这里表示的是第t步迭代。A表示状态变量之间的增益矩阵，随着时间变化而变化，A_t表示第t步迭代时，增益矩阵A的取值；以此类推，C_t表示第t步迭代时，状态变量与观测变量之间的增益矩阵。ω_t表示第t步迭代时的输入信息噪声，为一白噪声；ν_t表示第t步迭代时的观测噪声，也是一白噪声。

为了推导方便，假设ω_t、ν_t都是均值为零的正态白噪声，方差分别为Q_t和R_t，并且初始状态与ω_t、ν_t都不相关，即：

其中Cov(ω_i,ν_j)＝0。

离散Kalman滤波器的递推公式为：

Kalman滤波在已知前一时刻的状态估计值和当前的观测值Y_t的情况下，由上述递推公式可以得到估计值

在跟踪所述目标对象的同时，本步骤中，还根据所述目标对象在每个所述视频帧中的像素坐标，按照所述视频的像素坐标与物理坐标的对应关系，计算所述目标对象在每个所述视频帧中对应的物理坐标，从而获得所述目标对象在识别和跟踪的所有视频帧中对应的物理坐标。

步骤S105：根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得所述目标对象的行为数据。

根据视频的帧率和所述目标对象对应的帧数，可以计算所述目标对象在两个视频帧之间的时间差，例如，帧率为10fps，则第1帧和第11帧之间时间差为(11-1)/10＝1秒，根据所述时间差和所述目标对象在所述两个视频帧中对应的物理坐标，即可计算出所述目标对象的行为数据，如速度、加速度、转角、横向位移、路程偏移、与附近最近目标距离、穿过监控区域行走的距离、穿过监控区域经历的时间、在监控区域停滞的时间等等；其中，横向位移是相邻两帧间目标对象的位移，路径偏移是目标对象穿过监控区域整体的横向偏移量。另外，若在所述视频帧中标记出障碍物，还可以计算出目标对象与所述障碍物相关的行为数据，如距离障碍物的距离等等。

在本申请提供的一个实施例中，所述根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得所述目标对象的行为数据，包括：

根据所述目标对象在不同视频帧中对应的物理坐标，计算获得所述目标对象在不同视频帧之间的移动路径；

根据所述视频的帧率和所述目标对象对应的帧数，计算获得所述目标对象在不同视频帧之间的时间差；

根据所述移动路径和所述时间差，计算获得所述目标对象的行为数据。

例如：

第1帧时，目标对象的物理坐标为(0,0)，单位为m，此帧开始进入监控区域；

第2帧时，目标对象的物理坐标为(0,1)；

第3帧时，目标对象的物理坐标为(1,1)；

第4帧时，目标对象的物理坐标为(1,2)；

第5帧时，目标对象的物理坐标为(1,4)；

第6帧时，目标对象的物理坐标为(1,4)，第6帧发生停滞；

第7帧时，目标对象的物理坐标为(2,5)；

第8帧时，目标对象的物理坐标为(3,5)；

第9帧时，目标对象的物理坐标为(3,6)；

第10帧时，目标对象的物理坐标为(3,7)，之后离开监控区域；

则可计算出所述目标对象在第2帧时的转角为90度，在第1帧与第2帧之间的平均速度为1m/s，在第2帧与第4帧之间的加速度为2m/s²，在第6帧与第7帧之间的横向位移为1m，从第1帧至第10帧总的路程偏移为3m，穿过监控区域行走的距离为9.4m，穿过监控区域经历的时间为0.9s，在监控区域停滞的时间为0.1s。若监控区域中还有其他目标对象或障碍物等，还可以根据物理坐标计算出所述目标对象与附近最近的目标(其他目标对象或障碍物)的距离等行为数据。

为了实现分析人员自定义区域进行所述目标对象的行为分析，在本申请提供的一个实施例中，所述基于视频的目标对象行为数据获取方法，还包括：

接收用户输入的区域选择指令，并根据所述区域选择指令生成区域信息；

所述根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得所述目标对象的行为数据，包括：

根据计算获得的所述目标对象的所有物理坐标和对应的帧数、所述视频的帧率和所述区域信息，计算获得所述目标对象在所述区域内的行为数据。根据本实施例，可以计算出目标在选定区域内的行为数据。

为了实现按照分析人员自定义的参数计算行为数据，以便于进行目标对象的行为分析，在本申请提供的一个实施例中，所述基于视频的目标对象行为数据获取方法，还包括：

接收用户输入的参数选择指令，并根据所述参数选择指令生成参数信息；

所述根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得所述目标对象的行为数据，包括：

根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得与所述用户选择的参数对应的所述目标对象的行为数据。

例如，研究人员只选择对速度进行分析，那么本实施例中，只计算所述目标对象的速度。

在本申请提供的一个优选的实施例中，本申请所述的基于视频的目标对象行为数据获取方法通过行人行为分析软件实施，如图2所示为本申请提供的一种基于视频的目标对象行为数据获取方法的优选实施例中行人行为分析软件的初始界面示意图，本优选的实施例的实施步骤如下：

首先，用户点击“打开视频”按键后，选择待处理的视频；

然后，选择“裁剪”，拖动鼠标指针框选出所述待处理视频的部分区域作为待处理视频区域；

接下来，所述行人行为分析软件自动识别所述待处理视频的帧率，需要说明的是，由于视频格式不同可能和实际视频帧率有出入，在识别错误时，所述帧率还可以由用户手动修改；

然后，选择“四点标定”，再在视频中点击4个标定点，输入与所述4个标定点对应的4个物理坐标，选择”开始转换”，软件自动识别所述4个标定点的像素坐标，然后采用仿射变换算法建立所述视频的像素坐标与物理坐标的对应关系；

接下来，选择“标障碍物(柱)”(实际行人运动过程中经常会遇到障碍物，如护栏、柱子等，标障碍物(柱)指的是标定的视频中的障碍物(柱))，在检测区域(即待处理视频区域)中点击障碍物所在点，并在弹出框中输入障碍物半径，可以连续点击多个点，标注多个柱状障碍物。此外，还可以选择“标障碍物(线)”，在检测区域中左键点击线状障碍物的多个顶点，连续点击，右击完成该线状障碍物，依上面方法可标定多个线状障碍物。还可以选择“标截断面”，在检测区域中左键拖动选择断截面，连续左键拖动标注多个断截面(标截断面：标注截断面后，能检测此断面的行人流量)。还可以选择“标密度框”，在检测区域中左键拖动选择密度框，连续左键拖动标注多个密度框(标密度框：标注密度框后，能检测框内的行人密度)。选择“保存”，对以上参数进行保存。如图3所示为本申请提供的一种基于视频的目标对象行为数据获取方法的优选实施例中障碍物和障碍线的标定结果示意图，图中用圆圈标定出了障碍物，用线段标定出了障碍线。

然后，可以选择“手动标注”或“协助标注”，手动标注和协助标注两个不同的标注方式，手动标注是由用户识别出视频帧中的目标对象并进行标注，协助标注是软件利用目标识别算法自动识别出视频帧中的目标对象并进行标注，其中，在自动标注过程中可以随时人工参与修正。手动标注的步骤为：直接选择手动标注，则按照默认尺寸进行人头标定，或者在输入框中输入制定宽高，则标定时按照该宽高进行人头标定，或者左键拖动鼠标指针在检测区域中进行人头标定，然后，点击鼠标滚轮，进行年龄、行李、颜色等参数添加。协助标注的步骤为：默认选择“默认参数”，如果取消“默认参数”，选择“协助标注”，则可以对目标检测参数进行个性化设置，也可以直接点击“协助标注”，由软件自动根据目标识别算法识别出目标对象。如图4所示为本申请提供的一种基于视频的目标对象行为数据获取方法的优选实施例中自动识别目标对象的结果示意图，图中用方框框出了识别的目标对象(人头)。

接下来，继续播放视频，软件根据目标跟踪算法自动跟踪标定出来的目标对象，并生成相应的包含坐标数据的基础数据，基础数据格式为：

第一行：视频帧率

第二行：密度框个数|1左上顶点x坐标1左上顶点y坐标1右下顶点x坐标1右下顶点y坐标|2左上顶点x坐标2左上顶点y坐标2右下顶点x坐标2右下顶点y坐标|…

第三行：柱状障碍物个数|1障碍物x坐标1障碍物y坐标1障碍物半径|1障碍物x坐标1障碍物y坐标1障碍物半径|…

第四行：线状障碍物个数/1线状障碍物顶点数|1顶点x坐标1顶点y坐标|2顶点x坐标2顶点y坐标|…/2线状障碍物顶点数|1顶点x坐标1顶点y坐标|2顶点x坐标2顶点y坐标|…/…

第五行：断截面个数|1起点x坐标1起点y坐标1终点x坐标1终点y坐标|2起点x坐标2起点y坐标2终点x坐标2终点y坐标|…

第六行起：

时间 目标 ID x坐标 y坐标 性别 年龄 行李 参数1 参数2 帽子颜色(没有认为黑)

时间 目标 ID x坐标 y坐标 性别 年龄 行李 参数1 参数2 帽子颜色(没有认为黑)

…

在生成上述基础数据后，可以采用本软件继续处理，也可以对所述基础数据进行人工处理后再导入本软件进行处理，接下来，进行行为数据的计算：

点击“数据处理”，弹出数据处理参数选择框，如图5所示为本申请提供的一种基于视频的目标对象行为数据获取方法的优选实施例中数据处理参数选择框的示意图，用户在所述数据处理参数选择框中选择需要计算的行为数据参数，由软件自动计算获得目标对象的行为数据。本软件可输出两种格式的行为数据：一种是为每一帧计算的行为数据，另一种是针对每个目标对象计算的行为数据。

输出的为每一帧计算的行为数据的格式如下：

TIME:时间

ID:目标ID

X:x坐标

Y:Y坐标

DENSITY0:密度框0密度

DENSITY1:密度框1密度

SPEED:速度

ACC:加速度

ANGLE:转角

SCHANGE:路程偏移

SOFFSET：横向位移

VCHANGE:速度变化是否超过阈值

FRONTD:前面最近目标距离

BACKD:后面最近目标距离

LEFTD:左面最近目标距离

RIGHTD:右面最近目标距离

FLOW0:是否穿过0观测线

DIS_OBSTACLE_P0:与柱状障碍物0的距离

DIS_OBSTACLE_P1:与柱状障碍物1的距离

DIS_OBSTACLE_L0_1:与线状障碍物0第1段线段距离

DIS_OBSTACLE_L0_2:与线状障碍物0第2段线段距离

GENDER:性别

AGE：年龄段

BAGGAGE:行李多少。

…

输出的为每个目标对象计算的行为数据的格式如下：

ID：目标ID

DIS：穿过检测区域行走的距离

TIMEUSE：穿过检测区域花费的时间

TIMESTOP：穿过检测区域过程中停滞的时间

SPEED:速度

ACC:加速度

ANGLE:转角

…

至此，通过步骤S101至步骤S105，完成了本发明提供的一种基于视频的目标对象行为数据获取方法实施例的流程。相较于现有技术，本发明基于视频，利用目标识别算法、目标跟踪算法和视频像素坐标与物理坐标的对应关系，实现了获取视频中的目标对象的物理坐标，再根据所述视频的帧率和帧数，计算获得所述目标对象的行为数据。从而能够为研究行人的微观行为提供真实、有效、客观、大量的数据支撑，进而有助于交通枢纽单位制定有效的客流流线组织方案和换乘流线方案等，以及有助于商场制定有效的人流流线组织方案，以及及时发现行人行为异常、避免群体性踩踏事件的发生。

进一步的，本发明采用了Adaboost算法进行目标对象的识别，具有识别准确率高、能够同时识别大量目标对象的优点，非常适用于交通枢纽、商场等高密度人群区域的行人行为数据获取，进一步保证了所述行为数据的真实性和有效性，实用性强。

此外，本发明采用压缩跟踪算法和预测跟踪算法对视频中的目标对象进行跟踪，其中，压缩跟踪算法能够有效降低数据运算量、提高运算效率，预测跟踪算法则可以有效解决高密度人群区域行人容易发生遮挡的问题，降低对目标跟踪的失败率。从而提供更为准确、客观、有效的行为数据。

在上述的实施例中，提供了一种基于视频的目标对象行为数据获取方法，与之相对应的，本申请还提供一种基于视频的目标对象行为数据获取装置。请参考图6，其为本发明提供的一种基于视频的目标对象行为数据获取装置实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

本发明提供的一种基于视频的目标对象行为数据获取装置实施例，包括：

视频播放模块101，用于播放待处理的视频；

目标对象识别模块102，用于按照预定的目标识别算法，在当前播放的视频帧中识别出目标对象；

物理坐标计算模块103，用于根据所述目标对象在所述视频帧中的像素坐标，按照所述视频的像素坐标与物理坐标的对应关系，计算所述目标对象在所述视频帧中对应的物理坐标；

目标对象跟踪模块104，用于按照预定的目标跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象，并根据所述目标对象在每个所述视频帧中的像素坐标，按照所述视频的像素坐标与物理坐标的对应关系，计算所述目标对象在每个所述视频帧中对应的物理坐标；

行为数据计算模块105，用于根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得所述目标对象的行为数据。

在本申请提供的一个实施例中，所述行为数据包括以下至少一种：

速度、加速度、转角、横向位移、路程偏移、与附近最近目标距离、穿过监控区域行走的距离、穿过监控区域经历的时间、在监控区域停滞的时间。

在本申请提供的一个实施例中，所述行为数据计算模块105，包括：

路径计算单元，用于根据所述目标对象在不同视频帧中对应的物理坐标，计算获得所述目标对象在不同视频帧之间的移动路径；

时间差计算单元，用于根据所述视频的帧率和所述目标对象对应的帧数，计算获得所述目标对象在不同视频帧之间的时间差；

行为数据计算单元，用于根据所述移动路径和所述时间差，计算获得所述目标对象的行为数据。

在本申请提供的一个实施例中，所述基于视频的目标对象行为数据获取装置，还包括：

区域指令接收模块，用于接收用户输入的区域选择指令，并根据所述区域选择指令生成区域信息；

所述行为数据计算模块105，包括：

区域数据计算单元，用于根据计算获得的所述目标对象的所有物理坐标和对应的帧数、所述视频的帧率和所述区域信息，计算获得所述目标对象在所述区域内的行为数据。

在本申请提供的一个实施例中，所述基于视频的目标对象行为数据获取装置，还包括：

参数指令接收模块，用于接收用户输入的参数选择指令，并根据所述参数选择指令生成参数信息；

所述行为数据计算模块105，包括：

参数数据计算单元，用于根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得与所述用户选择的参数对应的所述目标对象的行为数据。

在本申请提供的一个实施例中，所述基于视频的目标对象行为数据获取装置，还包括：

坐标仿射模块，用于采用仿射变换算法，建立所述视频的像素坐标与物理坐标的对应关系。

在本申请提供的一个实施例中，所述目标对象识别模块102，包括：

目标对象识别单元，用于采用Adaboost算法，在当前播放的视频帧中识别出目标对象。

在本申请提供的一个实施例中，所述目标对象跟踪模块104，包括：

压缩跟踪单元，用于采用压缩跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象。

在本申请提供的一个实施例中，所述目标对象跟踪模块104，包括：

压缩预测跟踪单元，用于采用压缩跟踪算法和预测跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象。

以上，为本申请提供的一种基于视频的目标对象行为数据获取装置的实施例。

需要说明的是，本发明附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本发明实施例所提供的一种基于视频的目标对象行为数据获取装置可以是计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (7)

1.一种基于视频的目标对象行为数据获取方法，其特征在于，包括：

播放待处理的视频；

按照预定的目标识别算法，在当前播放的视频帧中识别出目标对象；

根据所述目标对象在所述视频帧中的像素坐标，按照所述视频的像素坐标与物理坐标的对应关系，计算所述目标对象在所述视频帧中对应的物理坐标；具体包括：采用仿射变换算法，建立所述视频的像素坐标与物理坐标的对应关系；

按照预定的目标跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象，并根据所述目标对象在每个所述视频帧中的像素坐标，按照所述视频的像素坐标与物理坐标的对应关系，计算所述目标对象在每个所述视频帧中对应的物理坐标；

所述按照预定的目标跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象，包括：

采用压缩跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象；当遇到遮挡时，采用压缩跟踪算法与预测跟踪算法相结合的方式，在之后播放的多个视频帧中跟踪所述目标对象，所述预测跟踪算法包括基于卡尔曼滤波的预测跟踪算法；

根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得所述目标对象的行为数据；具体包括：

根据所述目标对象在不同视频帧中对应的物理坐标，计算获得所述目标对象在不同视频帧之间的移动路径；

根据所述视频的帧率和所述目标对象对应的帧数，计算获得所述目标对象在不同视频帧之间的时间差；

根据所述移动路径和所述时间差，计算获得所述目标对象的行为数据。

2.根据权利要求1所述的基于视频的目标对象行为数据获取方法，其特征在于，所述行为数据包括以下至少一种：

速度、加速度、转角、横向位移、路程偏移、与附近最近目标距离、穿过监控区域行走的距离、穿过监控区域经历的时间、在监控区域停滞的时间。

3.根据权利要求1所述的基于视频的目标对象行为数据获取方法，其特征在于，还包括：

接收用户输入的区域选择指令，并根据所述区域选择指令生成区域信息；

所述根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得所述目标对象的行为数据，包括：

根据计算获得的所述目标对象的所有物理坐标和对应的帧数、所述视频的帧率和所述区域信息，计算获得所述目标对象在所述区域内的行为数据。

4.根据权利要求1所述的基于视频的目标对象行为数据获取方法，其特征在于，还包括：

接收用户输入的参数选择指令，并根据所述参数选择指令生成参数信息；

所述根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得所述目标对象的行为数据，包括：

根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得与所述用户选择的参数对应的所述目标对象的行为数据。

5.根据权利要求1所述的基于视频的目标对象行为数据获取方法，其特征在于，所述按照预定的目标识别算法，在当前播放的视频帧中识别出目标对象，包括：

采用Adaboost算法，在当前播放的视频帧中识别出目标对象。

6.根据权利要求1所述的基于视频的目标对象行为数据获取方法，其特征在于，所述按照预定的目标跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象，包括：

采用压缩跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象。

7.一种基于视频的目标对象行为数据获取装置，其特征在于，包括：

视频播放模块，用于播放待处理的视频；

目标对象识别模块，用于按照预定的目标识别算法，在当前播放的视频帧中识别出目标对象；

物理坐标计算模块，用于根据所述目标对象在所述视频帧中的像素坐标，按照所述视频的像素坐标与物理坐标的对应关系，计算所述目标对象在所述视频帧中对应的物理坐标；具体包括：采用仿射变换算法，建立所述视频的像素坐标与物理坐标的对应关系；

目标对象跟踪模块，用于按照预定的目标跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象，并根据所述目标对象在每个所述视频帧中的像素坐标，按照所述视频的像素坐标与物理坐标的对应关系，计算所述目标对象在每个所述视频帧中对应的物理坐标；所述按照预定的目标跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象，包括：

采用压缩跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象；当遇到遮挡时，采用压缩跟踪算法和预测跟踪算法，在之后播放的多个视频帧中跟踪所述目标对象，所述预测跟踪算法包括基于卡尔曼滤波的预测跟踪算法；

行为数据计算模块，用于根据计算获得的所述目标对象的所有物理坐标和对应的帧数，以及所述视频的帧率，计算获得所述目标对象的行为数据；具体包括：

根据所述目标对象在不同视频帧中对应的物理坐标，计算获得所述目标对象在不同视频帧之间的移动路径；

根据所述视频的帧率和所述目标对象对应的帧数，计算获得所述目标对象在不同视频帧之间的时间差；

根据所述移动路径和所述时间差，计算获得所述目标对象的行为数据。