CN104537685B - 一种基于视频图像进行自动客流统计分析方法 - Google Patents

Abstract

本发明公开了一种基于视频图像进行自动客流统计分析方法。它的步骤如下：1) 视频码流解析；2)像素点MV求解；3)前景目标获取；4)人流方向获取。本发明可以大大减少数据收集费用，避免人工计数带来的信息不完整。这项技术在欧美等发达国家已经非常的普遍，近年来新加坡、日本、香港等发达地区的也逐步大量采用客分析系统。但由于在大型商场里，由于需要对分布在各个位置的多路视频进行解码和视频分析不间断工作，需要部署专门机房，采购多台视频服务器，建设和后期的持续维护成本高。

Description

一种基于视频图像进行自动客流统计分析方法

技术领域

本发明涉及客流分析方法，尤其涉及一种基于视频图像进行自动客流统计分析方法。

背景技术

客流分析是一项重要的市场研究手段，国外几乎所有购物中心、商场、大型连锁营业厅和连锁商业网点在企业的各项营运决策之前都必须进行的环节。随着竞争的加剧，商业模式逐步由传统坐商向极具主动性的行商转变。因此，商家对日常客流的统计及其变化规律的分析掌控就显得尤为重要。目前国内很多商家的经营决策者已经意识到了客流信息对于企业的管理和营运决策分析的重要性。一般会在节假日采用人工的方式进行客流量数据的统计和分析。客流量数据需要长期不间断地统计分析，才能发现其中变化规律，同时结合内部已有数据以及必要的问卷调查等各项数据信息交叉对比分析才能充分地发挥它的应用价值，为决策提供强有力的依据。

如图1所示，现有基于人流量统计分析方法流程如下：

1)解码单元,对前端摄像机传送过来的码流进行解码处理；

2)前景检测单元,检测出运动前景；

3)图像匹配和识别单元,获取人流方向人流量等信息。

基于视频图像进行自动客流统计分析，可以大大减少数据收集费用，避免人工计数带来的信息不完整。这项技术在欧美等发达国家已经非常的普遍，近年来新加坡、日本、香港等发达地区的也逐步大量采用客分析系统。但由于在大型商场里，由于需要对分布在各个位置的多路视频进行解码和视频分析不间断工作，需要部署专门机房，采购多台视频服务器，建设和后期的持续维护成本高。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于视频图像进行自动客流统计分析方法。

基于视频图像进行自动客流统计分析方法的步骤如下：

1)视频码流解析

首先对于接收到摄像机发送的视频码流,调用解码器的码流解析单元进行码流信息提取，得到当前一副视频采集画面中每一个编码子块的运动矢量(MV),根据相邻位置的子块运动方向一致性原理，对解析出的每个子块的运动矢量和与其相邻的子块的运动矢量施加中值滤波器，消除编码过程中有可能产生的运动估计矢量错误，滤波器模板尺寸为3-5像素，同时从码流中读取每个子块运动误差的残差信息；

2)像素点MV求解

对运动矢量使用基于像素点修正运动矢量的方式，获取图像中每一个像素点的运动矢量mvpixel(x，y)，其x，y分别是像素点在图像中的水平和垂直坐标位置；

3)前景目标获取

统计具有坐标位置相邻,且具有相同运动矢量的像素点,组成集合,定义为一个前景区域，对当前图像中所有的像素点做同样的判断,得到所有的前景目标。

4)人流方向获取

判断图像中每一个像素点的运动矢量mvpixel(x，y)，把坐标位置相邻，且运动矢量方向相同的像素点记做一个前景区域，得到当前图像中所有的前景区域ActiveArea(n，t)，其中n为前景区域的编号，t为帧号；

把属于同一个前景区域内n的所有像素点的运动矢量求均值，作为当前前景区域的运动矢量：MVActiveArea(n，t)，其中n为前景区域的编号，t为帧号；对于当前图像中每一个前景区域n,通过运动矢量和前景区域大小的比较，得到在不同图像中属于同一个前景区域的物体，根据相连两帧或多帧之间属于相同前景的目标位置坐标点的变化，得到人流运动方向和速度信息。

所述的步骤2)为：具体过程如下：

(1)判断当前子块的运动矢量和邻域子块MV(x-1，y-1)、MV(x-1，y)、MV(x，y-1)、MV(x，y+1)、MV(x+1，y)、MV(x+1，y+1)、MV(x-1，y+1)、MV(x+1，y-1)八个子块运动矢量差值的绝对值之和DiffMV(x，y)，其中x，y表示当前子块是水平和垂直方向的序号；

(2)如果DiffMv(x，y)的值小于于预先设定的阀值T1，其中T1＜8，则直接把当前子块的运动矢量当作当前子块所有像素点的运动矢量；否则，根据每一个像素点和周边子块的坐标点位置进行加权插值，得到每一个象素点所对应的运动矢量；

(3)求解当前子块每个像素点的运动矢量MV值，计算公式如下：

其中，blocksize是子块的大小，d(n)是当前像素点到各个子块中心像素点的距离；mvblock(x，y)表示上述八个邻域子块的运动矢量，diff(n)表示上述八个邻域子块的残差值，由于残差值越小，表明当前编码子块和运动矢量所对应的参考帧子块匹配度越高，把残差值作为运动矢量的可靠度，帧内运动子块往往是由于编码器在进行子块编码时,运动估计的误差较大,不再进行帧间估计,因此对于帧内编码子块，把残差值修改为无穷大的正数；

基于每个象素点的运动矢量方向确定前景目标，把属于邻域象素点，并且具有相同运动矢量的像素点集合定义为一个前景区域，通过对图像中所有像素点的运动矢量进行扫描判断，得到当前帧图像所有的前景目标，检测第t和第t+1帧中的属于同一前景的目标，记录满足下面条件的前景目标对:

ABS(PixnumActiveArea(n，t)-PixnumActiveArea(m，t+1))＜T3

其中符号PixnumActiveArea表示计算当前前景子块的象素点个数，n为第t帧的前景目标，m为第t+1帧的前景个数，ABS为求绝对值，T3为阀值，取10；

从满足上述公式的匹配前景对中，选择子块运动矢量差异最小的子块作为同一个运动前景物体，根据前景区域的面积和数量得到人流密度信息，对不同帧之间连续施加所描述的前景匹配方法，得到不同视频帧中前景物体的坐标位置，从而得到运动轨迹、人流方向信息。

传统的基于多高斯进行背景建模以及前背景分离的方法，不是直接对运动前景进行建模。对背景图像的建模是基于像素点的，而不是基于区域的，进行处理时是针对每帧图像进行单独的处理，而没有考虑到图像帧之间的相关性和反馈。同时，对得到前景区域需要进行图像匹配的工作，以得到前景区域的运动轨迹等信息，计算负荷和部署维护成本都很高。基于上述考虑，本发明提出一种直接从视频码流中抽取前景关键信息的方法，可以极大地降低由于原始视频进行处理所需要的计算复杂度，减少对视频分析服务器数量和性能的需求，降低系统的部署和运营成本。

本发明通过这种方式进行判断，得到前后帧对应的同一前景，从而可以描述出此目标前景的轨迹与方向。对比传统的多高斯建模方案中，由于建模过程没有考虑到前后帧之间的运动关联，必须再使用复杂的图像识别和匹配算法确定相邻帧之间前景区域的运动方向。

附图说明

图1是现有基于人流量统计分析方法流程示意图；

图2是基于视频图像进行自动客流统计分析方法流程示意图；

图3是本发明的视频编码中基于子块进行运动估计示意图；

图4是本发明的视频编码流程图。

具体实施方式

基于视频图像进行自动客流统计分析方法的步骤如下：

1)视频码流解析

首先对于接收到摄像机发送的视频码流,调用解码器的码流解析单元进行码流信息提取，得到当前一副视频采集画面中每一个编码子块的运动矢量(MV)，根据相邻位置的子块运动方向一致性原理，对解析出的每个子块的运动矢量和与其相邻的子块的运动矢量施加中值滤波器，消除编码过程中有可能产生的运动估计矢量错误，滤波器模板尺寸为3-5像素，同时从码流中读取每个子块运动误差的残差信息；

2)像素点MV求解

对运动矢量使用基于像素点修正运动矢量的方式，获取图像中每一个像素点的运动矢量mvpixel(x，y)，其x，y分别是像素点在图像中的水平和垂直坐标位置；

3)前景目标获取

统计具有坐标位置相邻,且具有相同运动矢量的像素点,组成集合,定义为一个前景区域，对当前图像中所有的像素点做同样的判断,得到所有的前景目标。

4)人流方向获取

判断图像中每一个像素点的运动矢量mvpixel(x，y)，把坐标位置相邻，且运动矢量方向相同的像素点记做一个前景区域，得到当前图像中所有的前景区域ActiveArea(n，t)，其中n为前景区域的编号，t为帧号；

把属于同一个前景区域内n的所有像素点的运动矢量求均值，作为当前前景区域的运动矢量：MVActiveArea(n，t)，其中n为前景区域的编号，t为帧号；对于当前图像中每一个前景区域n,通过运动矢量和前景区域大小的比较，得到在不同图像中属于同一个前景区域的物体，根据相连两帧或多帧之间属于相同前景的目标位置坐标点的变化，得到人流运动方向和速度信息。

所述的步骤2)为：具体过程如下：

(1)判断当前子块的运动矢量和邻域子块MV(x-1，y-1)、MV(x-1，y)、MV(x，y-1)、MV(x，y+1)、MV(x+1，y)、MV(x+1，y+1)、MV(x-1，y+1)、MV(x+1，y-1)八个子块运动矢量差值的绝对值之和DiffMv(x，y)，其中x，y表示当前子块是水平和垂直方向的序号；

(2)如果DiffMv(x，y)的值小于于预先设定的阀值T1，其中T1＜8，则直接把当前子块的运动矢量当作当前子块所有像素点的运动矢量；否则，根据每一个像素点和周边子块的坐标点位置进行加权插值，得到每一个象素点所对应的运动矢量；

(3)求解当前子块每个像素点的运动矢量MV值，计算公式如下：

其中，blocksize是子块的大小，d(n)是当前像素点到各个子块中心像素点的距离；mvblock(x，y)表示上述八个邻域子块的运动矢量，diff(n)表示上述八个邻域子块的残差值，由于残差值越小，表明当前编码子块和运动矢量所对应的参考帧子块匹配度越高，把残差值作为运动矢量的可靠度，帧内运动子块往往是由于编码器在进行子块编码时,运动估计的误差较大,不再进行帧间估计,因此对于帧内编码子块，把残差值修改为无穷大的正数；

基于每个象素点的运动矢量方向确定前景目标，把属于邻域象素点，并且具有相同运动矢量的像素点集合定义为一个前景区域，通过对图像中所有像素点的运动矢量进行扫描判断，得到当前帧图像所有的前景目标，检测第t和第t+1帧中的属于同一前景的目标，记录满足下面条件的前景目标对:

ABS(PixnumActiveArea(n，t)-PixnumActiveArea(m，t+1))＜T3

其中符号PixnumActiveArea表示计算当前前景子块的象素点个数，n为第t帧的前景目标，m为第t+1帧的前景个数，ABS为求绝对值，T3为阀值，取10；

从满足上述公式的匹配前景对中，选择子块运动矢量差异最小的子块作为同一个运动前景物体，根据前景区域的面积和数量得到人流密度信息，对不同帧之间连续施加所描述的前景匹配方法，得到不同视频帧中前景物体的坐标位置，从而得到运动轨迹、人流方向信息。

基于视频的客流分析在对解码后的图像进行前景区域检测。在前背景检测过程中，由于图像变化的原因很多，诸如光照变化、摄像头与背景间的相对抖动、运动目标的阴影等，会对检测算法造成干扰,造成误检和漏检。大多数前景获取方法都在致力于减少以上因素带来的影响，获得适时更新的自适应背景。如最简单的平均法就是将一段视频中的多帧图像求和再作平均，以此作为近似的背景图像，该方法容易将长时间静止的前景目标混为背景。模型法假设图像每一个像素的灰度值在多帧图像序列中满足某种模型的分布，并且这种模型是可以根据前景目标的出现与否自动更新的。高斯背景模型是目前研究和应用最多的一种建模方法，在灰度图像下，单高斯背景模型基于这样的假设：每个像素点的灰度值f(x，y)均服从一维高斯分布(正态分布).

背景模型的每个象素属性包括两个参数：平均值τ和方差。对于一幅给定的图像G，如果其中一个像素点的数值代入上述公式得到的结果大于预先设定的阀值，则认为这个点属于前景点。

同时，随着时间的变化，背景图像也会发生缓慢的变化，这时我们要不断更新每个象素点的参数。这里，a称为更新参数，表示背景变化的速度.

单高斯背景模型适用于缓慢变化的单模态场景，且只能对背景灰度值进行建模，当运动目标处于较复杂场景中，适应能力很低。作为一种改进，混合高斯模型又是其中自适应性较好的。该方法的原理是将视频序列中每个像素点的灰度值看做是一个统计随机过程，其灰度值服从多个高斯分布的加权平均。混合高斯模型的建模首先初始化预先定义的几个高斯模型，对高斯模型中的参数进行初始化，并求出之后将要用到的参数。其次，对于每一帧中的每一个像素进行处理，看其是否匹配某个模型，若匹配，则将其归入该模型中，并对该模型根据新的像素值进行更新，若不匹配，则以该像素建立一个高斯模型，初始化参数，代理原有模型中最不可能的模型。最后选择前面几个最有可能的模型作为背景模型，为背景目标提取做铺垫。从计算杂度上考虑，多高斯模型计算复杂度是单高斯模型的3倍以上。由于这类运动检测算法是基于减背景的，即对背景图像进行建模，如果某像素点不属于背景，那么就把它归类到运动前景里面去，而不是直接对运动前景进行建模。对背景图像的建模是基于像素点的，而不是基于区域的，进行处理时是针对每帧图像进行单独的处理，而没有考虑到图像帧之间的相关性和反馈。因此，上面方法从一帧图形中得到的前景图像，并不能推导出人流方向、驻足时间等信息，必须还要增加图像匹配过程。

图像处理中的目标匹配基本原理是事先确定一个参考目标模板，然后在每帧图像的搜索区域内寻找使得当前待定模板与目标模板最相似的位置，它可以识别待定目标及确定目标的相对位置，把连续视频分析法在公交车客流统计中的研究与应用帧的目标匹配连起来就实现了跟踪。主要方法可以分为区域匹配、特征匹配、模型匹配和频率域的匹配。区域匹配的思想是把参考目标的某一块整体在实时图像上的所有待选位置上进行叠加，计算某种相似性度量指标，寻求使该指标最大的位置作为目标定位。区域匹配算法需要与图像分割算法结合应用，互相指导和优化。该方法能获得较高的定位精度，但是计算量大，实时性难以得到保障。

上述过程中代表了目前视频分析的主要处理过程，在目前已有的方案下，采用视频分析的客流分析系统要承担很大的处理负荷。尤其是多高斯建模阶段，要对图像中的每个象素点建立多个高斯模型，得到的前景信息，同时为了得到人流方向等信息，还需要进行复杂的前后帧前景目标匹配工作。当用于大型商场等摄像机数量众多的场合时，需要建立多个视频服务器进行并行工作，成本和能耗非常高。

通用的编码模块如图2所示，其中，图像以块为单位进行编码，通过预测单元(ME),降低视频图像的空间和时间冗余，得到当前块和参考帧之间的运动矢量(MV):参考帧上的预测块与当前帧上的的待预测块的相对位置。MV有两个分量：，分别表示在水平和垂直方向的运动矢量的大小。由于运动估计存在误差，为了在解码端消除误差，编码器把两个子块之间的误差进行量化并以残差的方式进行编码，组成码流字段发送到解码端。

从视频编码标准中可知道，编码器得到并存储在码流中的运动向量信息表征的是一幅图像和参考帧图像之间子块的运动方向和大小,本发明提出下面的一种方法，可以快速的根据子块的运动矢量信息得到图像中的运动前景。

首先对于接收到的视频码流,调用解码器的码流解析单元进行码流信息提取，得到每一个子块的运动矢量(MV)，为了消除编码过程中有可能产生的运动估计矢量错误，根据相邻位置运动方向一致性原理，对运动向量做中值滤波处理，滤波器模板尺寸，其中W为滤波器模版的大小，一般取3到5之间。类似的，也可以选用其它低通滤波器模板进行滤波。

同时使用解码器码流解析单元从码流中读取每个子块运动误差的残差信息,由于残差值越小，表明当前编码子块和运动矢量所对应的参考帧子块匹配度越高，本发明把残差值作为运动矢量的可靠度.帧内运动子块往往是由于编码器在进行子块编码时,运动估计的误差较大,不再进行帧间估计,因此对于帧内编码子块，我们把其残差值修改为一无穷大值.

目前的视频编码标准中，编码器是按照固定的子块大小，比如16*16像素点尺寸大小的子块，进行视频编码，对于前景目标的边缘部分，存在前景和背景同处于同一个编码子块中的情况，也有可能同一个编码子块中，存在两个运动矢量不同的前景物体。由于每个最小尺寸的编码子块，只有唯一的一个运动矢量来表征这个子块相对于参考帧的运动情况，对于上述两种情况，如果把当前子块的运动矢量当作每个像素点的运动矢量，一些像素点运动矢量误差会很大。

本发明对运动矢量适应一种基于像素点修正运动矢量的方式，获取图像中每一个像素点的运动矢量。过程如下：

1)判断当前子块的运动矢量和邻域子块MV(x-1,y-1)、MV(x-1，y)、MV(x，y-1)、MV(x，y+1)、MV(x+1，y)、MV(x+1，y-1)、MV(x-1，y+1)、MV(x+1，y-1)八个子块运动矢量差值的绝对值之和。

2)如果的值小于于预先设定的阀值T1，直接把当前子块的运动矢量当作当前子块所有像素点的运动矢量；否则，表明存在不同前景或前背景同时存在当前子块的情况，需要进一步进行运动矢量按照像素点位置的加权处理，以求取出每一个象素点所对应的运动矢量。

3)目前的视频编码标准中，编码器是按照固定的子块大小，比如16*16像素点尺寸大小的子块，进行视频编码，对于一个前景目标的边缘部分，存在和背景同处于同一个子块中的情况，也有可能同一个子块中，存在两个或多个运动矢量不同的前景物体。而对于一个最小编码子块，由于运动预测基于子块进行，每个子块只有唯一的一个运动矢量来表征这个子块相对于参考帧的运动情况，因此，对于上述两种情况，如果把当前子块的运动矢量当作每个像素点的运动矢量，一些像素点运动矢量误差会很大，因此需要求解当前子块每个像素点的运动矢量MV值，计算公式如下：

其中，blocksize是子块的大小，d(n)是当前像素点到各个子块中心像素点的距离；mvblock(x，y)表示上述八个邻域子块的运动矢量，diff(n)表示上述八个邻域子块的残差值，由于残差值越小，表明当前编码子块和运动矢量所对应的参考帧子块匹配度越高，把残差值作为运动矢量的可靠度，帧内运动子块往往是由于编码器在进行子块编码时,运动估计的误差较大,不再进行帧间估计,因此对于帧内编码子块，把残差值修改为无穷大的正数；

在上面公式中，考虑到了像素点的位置关系，可以消除上述子块中存在前景边缘或多个前景的问题，同时，把子块运动估计的残差值作为权重系数引入，避免因编码器运动估计失效而引入的像素点运动矢量求解错误。

通过上述过程，可以得到整幅图像所有像素点对应的运动矢量,并且由于运动矢量特征对外部光线变化不敏感,通过上述方法得到的像素点运动矢量可以快速准确的区分前景区域，作为一个实施例，基于每个象素点的运动矢量方向确定前景目标，把属于邻域象素点，并且具有相同运动矢量的像素点集合定义为一个前景区域，通过对图像中所有像素点的运动矢量进行扫描判断，得到当前帧图像所有的前景目标。

通过上述方法,避免了单高斯建模因环境干扰带来的错误检测，以及多高斯建模的方案带来的高强度计算负荷。

基于上述结果，检测第t和第t+1帧中的属于同一前景的目标，记录满足下面条件的前景目标对:

AES(PixnumActiveArea(n，t)-PixnumActiveArea(m，t+1))＜T3

其中符号PixnumActiveArea表示计算当前前景子块的象素点个数，n为第t帧的前景目标，m为第t+1帧的前景个数，ABS为求绝对值，T3为阀值，取10,从满足上述公式的匹配前景对中，选择子块运动矢量差异最小的子块作为同一个运动前景物体。

最后,根据前景区域的面积和数量得到人流密度信息，并对不同帧之间连续施加所描述的前景匹配方法，得到不同视频帧中前景物体的坐标位置，从而得到运动轨迹、人流方向信息。

Claims (3)

1.一种基于视频图像进行自动客流统计分析方法，其特征在于，步骤如下：

1)视频码流解析

首先对于接收到摄像机发送的视频码流,调用解码器的码流解析单元进行码流信息提取，得到当前一幅视频采集画面中每一个编码子块的运动矢量MV，根据相邻位置的子块运动方向一致性原理，对解析出的每个子块的运动矢量和与其相邻的子块的运动矢量施加中值滤波器，消除编码过程中有可能产生的运动估计矢量错误，滤波器模板尺寸为3-5像素，同时从码流中读取每个子块运动误差的残差信息；

2)像素点MV求解

对运动矢量使用基于像素点修正运动矢量的方式，获取图像中每一个像素点的运动矢量mvpixel(x，y)，其中x，y分别是像素点在图像中的水平和垂直坐标位置；

3)前景目标获取

统计具有坐标位置相邻,且具有相同运动矢量的像素点,组成集合,定义为一个前景区域，对当前图像中所有的像素点做同样的判断,得到所有的前景目标；

4)人流方向获取

判断图像中每一个像素点的运动矢量mvpixel(x，y)，把坐标位置相邻，且运动矢量方向相同的像素点记做一个前景区域，得到当前图像中所有的前景区域ActiveArea(n，t)，其中n为前景区域的编号，t为帧号；

把属于同一个前景区域内n的所有像素点的运动矢量求均值，作为当前前景区域的运动矢量：MVActiveArea(n，t)，其中n为前景区域的编号，t为帧号；对于当前图像中每一个前景区域n,通过运动矢量和前景区域大小的比较，得到在不同图像中属于同一个前景区域的物体，根据相连两帧或多帧之间属于相同前景的目标位置坐标点的变化，得到人流运动方向和速度信息。

2.如权利要求1所述的一种基于视频图像进行自动客流统计分析方法，其特征在于，所述的步骤2)为：具体过程如下：

(1)判断当前子块的运动矢量和八个邻域子块MV(x-1，y-1)、

MV(x-1，y)、MV(x，y-1)、MV(x，y+1)、MV(x+1，y)、MV(x+1，y+1)、MV(x-1，y+1)、MV(x+1，y-1)中各子块运动矢量差值的绝对值之和DiffMv(x，y)，其中x，y表示当前子块是水平和垂直方向的序号；

(2)如果DiffMv(x，y)的值小于预先设定的阈值T1，其中T1＜8,则直接把当前子块的运动矢量当作当前子块所有像素点的运动矢量；否则，根据每一个像素点和周边子块的坐标点位置进行加权插值，得到每一个像素点所对应的运动矢量；

(3)求解当前子块每个像素点的运动矢量MV值，计算公式如下：

$mvpixel(x,y)=\underset{n=1}{\overset{8}{\Σ}}\left(\right(blocksize-d\left(n\right)/diff\left(n\right))\·mvblock(x,y\left)\right)/\underset{n=1}{\overset{8}{\Σ}}\left(\right(blocksize-d\left(n\right)/diff\left(n\right)\left)\right)$

其中，blocksize是子块的大小，d(n)是当前像素点到各个子块中心像素点的距离；mvblock(x，y)表示上述八个邻域子块的运动矢量，diff(n)表示上述八个邻域子块的残差值，由于残差值越小，表明当前编码子块和运动矢量所对应的参考帧子块匹配度越高，把残差值作为运动矢量的可靠度，帧内运动子块是由于编码器在进行子块编码时,运动估计的误差较大,不再进行帧间估计,因此对于帧内编码子块，把残差值修改为无穷大的正数。

3.如权利要求1所述的一种基于视频图像进行自动客流统计分析方法，其特征在于，基于每个像素点的运动矢量方向确定前景目标，把属于邻域像素点，并且具有相同运动矢量的像素点集合定义为一个前景区域，通过对图像中所有像素点的运动矢量进行扫描判断，得到当前帧图像所有的前景目标，检测第t和第t+1帧中的属于同一前景的目标，记录满足下面条件的前景目标对:

ABS(PixnumActiveArea(n，t)-PixnumActiveArea(m，t+1))＜T3

其中符号PixnumActiveArea表示计算当前前景子块的像素点个数，n为第t帧的第n个前景区域，m为第t+1帧的第m个前景区域，ABS为求绝对值，T3为阈值，取10；

从满足上述公式的匹配前景对中，选择子块运动矢量差异最小的子块作为同一个运动前景物体，根据前景区域的面积和数量得到人流密度信息，对不同帧之间连续施加所描述的前景匹配方法，得到不同视频帧中前景物体的坐标位置，从而得到运动轨迹、人流方向信息。