CN103984937A - 基于光流法的行人计数方法 - Google Patents

Abstract

本发明属于计算机视觉技术领域，并提供了一种基于光流法的行人计数方法，包括：获取监控区域的视频流图像作为输入图像；对所述输入图像进行背景建模，以得到背景模型；利用光流法估计速度算法检测线上各像素点的运动速度；利用速度修正算法，对得到的检测线上各像素点的运动速度进行优化，得到运动速度信息；将运动速度信息与背景建模相结合得到行人切片，并对行人切片进行拼接得到拼图；利用线性回归分析方法统计所述拼图区域内的人数。在本发明中，利用光流法得到运行运动信息，继而利用线性回归分析方法得到运动区域内的人数，有效地提高了对公共区域内对行人进行人数统计的效率与准确度。

Description

基于光流法的行人计数方法

技术领域

本发明属于计算机视觉技术领域，特别涉及一种基于光流法的行人计数方法。

背景技术

在很多行业，人流信息可以为人流管理、资源管理、管理决策提供关键的依据。例如在地铁站，通过行人计数可以实时了解每个站点的人流大小，灵活调度地铁列车密度，实施人流控制，实时发布人流密集地区信息，有利于加强人群运输效率，确保地铁运营平稳有效。

在商场，人流量是体现其商业价值的重要依据，对人流量的准确计算，有利于掌握客人的购物偏好，从而实现更好的物流安排，还可以根据各区域的人群密集程度，有效调配服务人员。人流量还关系到人流密集场所的安全问题，有效控制场内人群数量，可以在火警等紧急情况下迅速疏导人群，避免踩踏、推挤等情况发生。

传统的行人计数方法只能依靠机械手段进行行人人数的统计，一般利用机械的运动来进行人流统计。行人走过闸门的同时推动机械转动，通过统计转动的次数即可统计人流信息。这种基于机械的方法建设成本高昂，设备投入费用巨大，而且设备体积较大，一般是固定在出入口处，使用起来不够灵活，对于人流信息的管理也不够方便，还有一个最大的缺点就是阻碍了人流的行进速度。

有鉴于此，有必要对现有技术中公共区域中的人数统计方法予以改进，以解决上述技术瑕疵。

发明内容

本发明的目的在于提供基于光流法的视频行人计数方法，用以提高对公共区域内对行人进行人数统计的效率与准确度。

为实现上述发明目的，本发明提供了一种基于光流法的行人计数方法，该方法包括以下步骤：

S1、获取监控区域的视频流图像作为输入图像；

S2、对所述输入图像进行背景建模，以得到背景模型；

S3、利用光流法估计速度算法计算检测线上各像素点的运动速度；

S4、利用速度修正算法，对得到的检测线上各像素点的运动速度进行优化，得到运动速度信息；

S5、将运动速度信息与背景建模相结合得到行人切片，并对行人切片进行拼接得到拼图；

S6、利用线性回归分析方法统计所述拼图区域内的人数。

作为本发明的进一步改进，所述步骤S1具体为：通过摄像机获取监控区域的视频流图像作为输入图像，所述监控区域位于摄像机的正下方。

作为本发明的进一步改进，所述步骤S2中的“背景建模”具体为：利用混合高斯模型进行背景建模。

作为本发明的进一步改进，所述步骤S3中的“光流法估计速度算法”具体为：

利用最小化能量函数E得到运动行人在通过检测线上各像素点的运动速度，所述最小化能量函数E的计算公式为：

E＝E_br+αE_sl+βE_tp+γE_sp

其中，E_br为多帧iso brightness约束，E_sl为慢约束，E_tp为时间平滑约束，E_sp为空间平滑约束。

作为本发明的进一步改进，所述步骤S4中的“速度修正法”具体为：对于检测线上的每个速度值u_i，设定参考范围为2τ，以速度值u_i为中心，选取范围在[i-τ，i+τ]邻域内的所有速度值作为参考点，将当前速度值与邻域内的所有参考值作比较，并根据邻域内的参考值对当前速度值进行调整。

作为本发明的进一步改进，所述步骤S5中的“将运动速度信息与背景建模相结合得到行人切片”具体为：

当行人通过检测线时，分割行人在每一帧中通过检测线的行人切片，截取行人在一帧内从检测线上的某一像素点移动的像素距离，以获得在该帧图像中行人通过检测线的图像信息；并根据步骤1中的背景模型，去除行人切片中的背景信息及碎片部分。

作为本发明的进一步改进，所述步骤S5中的“对行人切片进行拼接得到拼图”具体为：经过多帧的运动，行人整体通过检测线之后，得到多块行人切片，将行人切片重新拼接后还原成为行人拼图。

作为本发明的进一步改进，所述步骤S5还包括：通过遍历拼图中的连通区域，统计每一个连通区域内的像素点个数，像素点个数低于阀值P的连通区域将被判断为碎片区域，并清除清除拼图中的碎片部分；其中，所述阀值P为70。

与现有技术相比，本发明的有益效果是：在本发明中，利用光流法得到运行运动信息，继而利用线性回归分析方法得到运动区域内的人数，从而有效地提高了对公共区域内对行人进行人数统计的效率与准确度。

附图说明

图1为本发明基于光流法的视频行人计数方法具体实施方式的流程示意图；

图2为实现步骤S1的工作原理示意图；

图3为行人运动的速度方向示意图；

图4为速度修正示意图；

图5为行人A和行人B沿相反方向通过检测区域中检测线的过程中的切片累加示意图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

参图1所示，图1为本发明基于光流法的行人计数方法的流程示意图。

在本实施方式中，该基于光流法的行人计数方法包括以下步骤：

首先，执行步骤S1：获取监控区域的视频流图像作为输入图像。

关于公共区域内的行人人数统计的方法，常用的有基于运动特性的方法、基于形状信息的方法、基于行人模型、结构元素的方法、立体视觉的方法、神经网络的方法、小波和支持向量机等方法。

参图2所示，本发明基于光流法的行人计数方法是基于摄像机10垂直拍摄并可适用于室外环境和室内环境。在本实施方式中，该步骤S1具体为：通过摄像机10获取监控区域30的视频流图像作为输入图像，所述监控区域30位于摄像机10的正下方。

具体的，摄像机10设置在出入口20的正上方，行人可沿着箭头201的方向上在出入口20中来回走动。摄像机10所获取的监控区域30可完全覆盖出入口20的全部区域。该出入口20可设置在需要对行人人数进行统计的商场、车库、银行等需要重点监控场所的大门口或者走廊中。

需要说明的是，本发明在摄像机10垂直地正对着监控区域30时的效果最佳，当然可也将摄像机10倾斜地对着需要进行行人人数计数统计的区域，以通过摄像机10覆盖整个监控区域30。

在本实施方式中，该监控区域30为矩形；当然也可以为正方形或圆形或者其他形状。摄像机10位于监控区域30的中心点301的正上方，此时该监控区域30位于摄像机10的正下方。

然后，执行步骤S2：对所述输入图像进行背景建模，以得到背景模型。

在本实施方式中，背景建模具体的实现过程为：利用混合高斯模型对在步骤S1中所获取的输入图像进行背景建模，从而得到背景图像D_k(x，y)，即背景模型。

然后，执行步骤S3：利用光流法估计速度算法计算检测线上各像素点的运动速度。

光流(Optical flow)是指图像表观运动的速度。当物体在移动时，物体所对应像素点的亮度模式也在运动。这种图像亮度模式的表观运动(apparentmotion)就称之为光流。

光流显示了运动目标的变化信息，包含了物体的运动信息，从而可以确定目标的运动情况。光流计算用来确定物体图像点上的运动方向和运动速率，因此光流场是一种二维的瞬时速度场，因此在计算机视觉技术中，光流在目标对象分割、识别、跟踪及机器人导航以及形状信息恢复等方面都有着重要应用。

参图3所示，在本实施方式中，该监控区域30为矩形区域，可以认为行人的运动方向都接近垂直于检测线31，因此可根据垂直于检测线31的速度(垂直向上或垂直向下)来表征出入口20中的行人通过监控区域30时的移动速度。

传统的光流法通过在帧间寻找像素点附近最相似的像素值来估计目标物体的移动速度。在本实施方式中，由于被看作光流的物体是一个运动的整体(例如：运动中的行人)，单个物体的光流速度集合会呈现出一定程度的速度大小和方向上的一致性。针对行人计数的特殊应用环境，本实施方式在现有技术中的光流法的基础上添加更多的约束条件(1)、(2)、(3)、(4)；其中，

约束条件(1)为多帧iso brightness约束：指将传统的两帧之间isobrightness约束改进为多帧之间的iso brightness约束，以提高算法的鲁棒性。

约束条件(2)为slow慢约束：指行人的行走速度较慢。

约束条件(3)为temporal smoothness时间平滑约束：指行人的速度在时间上是平稳的，不会突然发生变速。

约束条件(4)为spatial smoothness空间平滑约束。

检测线31的宽度为n，且该检测线31上的n个点表示为{x₁，x₂，…，x_n}。使用改进的光流法算法计算对应位置的速度表示为{u₁，u₂，…，u_n}，I_t(x)表示时刻为t的帧上位置为x的像素值。

在本实施方式中，该光流法估计速度算法通过多帧iso brightness约束、slow慢约束、spatial smoothness空间平滑约束和temporal smoothness时间平滑约束组成的能量函数E估计通过检测线31上各个像素点的运动速度。

具体的，多帧iso brightness约束的能量函数的计算公式为：

$E_{\mathrm{br}}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{\mathrm{\τ}=-T}{\overset{T}{\mathrm{\Σ}}}|I_{t+\mathrm{\τ}}(x_i+u_i\mathrm{\τ})-I_t\left(x_i\right)|$

其中，[-T，T]表示截取的时间区间。一般取时刻为t-1、t和t+1这相邻的三帧图像来进行相互比较。

spatial smoothness空间平滑约束的能量函数的计算公式为：

$E_{\mathrm{sp}}=\underset{i=1}{\overset{N-1}{\mathrm{\Σ}}}|u_i-u_{i+1}|$

slow慢约束的能量函数的计算公式为：

$E_{\mathrm{sl}}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|u_i\right|$

temporal smoothness时间平滑约束的能量函数的计算公式为：

$E_{\mathrm{tp}}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|u_i-{u_i}^{\′}|$

其中，u_i′表示前一帧第i个像素点的速度。

结合上述四项约束组成的能量函数得到以下表达式：

E＝E_br+αE_sl+βE_tp+γE_sp

其中，α、β、γ为各约束项的权值，且α＝200，β＝10，γ＝2000。

当候选速度集合能够最大程度地满足上述四个约束项时，则该候选速度集合最能反映实际物体的运动速度。因此通过最小化能量函数E就可以得到检测线31上各像素点的运动速度。

为了保证光流法估计速度的鲁棒性和能量函数全局最小，可以使用动态规划的方法求解能量函数，具体算法如下所示。

能量函数E可以拆分成帧内相关和帧间相关两项，计算公式为：

$E=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{D}_i+\underset{i=2}{\overset{N}{\mathrm{\Σ}}}{D}_{i-1,i}$

其中， $D_i=\underset{\mathrm{\τ}=-T}{\overset{T}{\mathrm{\Σ}}}|I_{t+\mathrm{\τ}}(x_i+u_i\mathrm{\τ})-I_t\left(x_i\right)|+\mathrm{\α}\left|u_i\right|+\mathrm{\β}|u_i-{u_i}^{\′}|$

其中，D_i-1，i＝γ|u_i-1-u_i|。

对于每一个运动速度u_i，假设有K个候选运动速度值候选运动速度值的取值与最大运动速度有关，假设运动速度范围为[-MaxVel，+MaxVel]，在本实施方式中最大运动速度设定为25像素/帧。对于每一个候选运动速度值表示从第1个累加到第i个像素点的最小能量。

使用动态规划求解能量函数的最小值的详细过程如下所示：

步骤1)对于检测线31上的像素点的运动速度u_i的每一个候选运动速度值令 $E_1^{\left(k\right)}=D_1,$ 令i＝2。

步骤2)对于检测线31上的像素点的运动速度u_i的每一个候选运动速度值令 $E_i^{\left(k\right)}=D_i+{\min }_{k^{\′}}[D_{i-1,i}+E_{i-1}^{k^{\′}}],$ 并记录前一帧对应的k′。

步骤3)如果i＝N，选择最小的能量回溯每一个像素点的最优候选运动速度值并退出；否则，令i←i+1，并重复步骤2)。

至此，使用改进的光流法估计速度算法计算得到了检测线31上各个像素点的运动速度。

接下来，执行步骤S4：利用速度修正算法，对得到的检测线上各像素点的运动速度进行优化，得到运动速度信息。

在实际场景中，光流的速度估计方法会受到各种外在因素影响，例如计算机系统只计算行人垂直于检测线31的速度，而实际情况下行人的运动方向往往并非是完全垂直于检测线31的，因此有必要对光流法得到的速度估计进行相应地修正。

理想的行人的运动速度结果应该是连续、平缓及同向的。行人的运动速度的连续性能够反映行人的宽度，行人的运动速度的平缓性有利于保证拼图的准确性，而行人的运动速度的同向性则有利于保证拼图的完整性。

本实施方式提出了一种“速度修正算法”。由于检测线31上的速度是利用改进光流法对运动行人进行速度估计得到的，相邻的速度应该具有相似的分布特征。因此，可以选取邻近像素点的速度值，并将当前速度值与之作对比，从而判断该像素点的速度值及方向是否与邻近像素点相一致，进而发现差异较大的速度，并对其进行调整。

参图4所示，对于检测线31上的每一个速度值u_i，设定参考范围为2τ，以该速度值为中点，选取范围在[i-τ，i+τ]内所有速度值作为参考，并根据参考范围内的速度集合对当前速度值进行调整。

在本实施方式中，“速度修正算法”的具体实施过程如下所示：

对于每一个速度值u_i为中点，遍历参考范围[i-τ，i+τ]内的速度值u_i+j(j∈[-τ，τ])；

若u_i+j＞0，p++，其中p表示参考范围内速度值为正的个数；

若u_i+j＜0，n++，其中n表示参考范围内速度值为负的个数；

U+＝abs(u_i+j)，其中U表示参考范围内速度值的绝对值之和。

若u_i≠0，则：

若u_i＝0，则：

由上述算法可以看出，对于检测线31上每一个速度值，首先统计参考范围内的速度分别为正和负的个数和平均速度值。对于速度值为0和非0的像素点，处理方法不同，具体如下所示。

当前速度值为非0时，若该速度方向与参考范围(2τ)内的大部分速度方向相反，则认为该像素点是速度反向像素点，并改变该速度方向；若参考范围(2τ)内速度值为非0的参考像素点的个数不超过参考像素点总数的三分之一，则认为该像素点是噪声点，并将该速度值清零。

当前速度值为0时，若参考范围(2τ)内速度值为非0的参考像素点超过参考像素点总数的一半，则认为该像素点是速度估计失败的像素点，并重新给该像素点赋新的速度值。具体的，新的速度值等于所述参考范围(2τ)内速度值的平均速度值，具体的参上述两个公式。

然后，执行步骤S5：将运动速度信息与背景建模相结合得到行人切片，并对行人切片进行拼接得到拼图。

通过光流法估计检测线31上的像素点速度单位是“像素每帧(Pixels perframe)”，表示行人在一帧内从检测线31上的某一像素点移动的像素距离。因此，只要截取这部分像素点信息，即可获得在该帧图像中行人通过检测线31的图像信息。

由于行人的行走动作和复杂背景等因素，行人各个位置的速度分布是不均匀的，使用不均匀速度获取到的切片形状是不规则的，这不利于后续的图像拼接，因为不规则形状的切片之间不能完全咬合。

在本实施方式中，行人切片的形状必须是规则的，将行人在检测线31上平均速度作为行人切片的厚度，行人速度序列的起始点和终点与行人切片厚度共同决定了一个矩形的切割范围，每一帧的行人切片保存切割范围内的图像信息。

参图5所示，在本实施方式中，为便于清楚说明本发明所含技术方案，因此以图5中行人A与行人B分别相向地通过监控区域30中的检测线31。其中，图5中的椭圆代表行人A或行人B这种运动中的行人轮廓。

具体的，当行人通过检测线31时，每一帧都会生成一个行人切片，计算机系统会立刻对该行人切片进行拼接处理。如果在连续五帧图像的时间内，检测线31在某一方向上均检测不到速度，计算机系统则认为行人已经完全通过该检测线31，累积的行人切片经过拼接后得到行人的完整拼图，还原行人的原始图像。

为了进一步增强拼图的准确性，减少冗余信息，计算机系统在行人切片生成的过程中结合了背景建模技术，通过背景模型检测出目标前景部分(即在步骤S2中所生成的“背景模型”)，去除行人切片中的背景信息及碎片部分，具体操作方式如下所示。

通过遍历拼图中的连通区域，统计每一个连通区域内的像素点个数，像素点个数低于阀值P的连通区域将被判断为碎片区域，并将其清除。在本实施方案中，该阀值P取值为70，最终通过拼图得到了像素点的运动信息。

由于摄像机10被垂直地设置在出入口20的正上方，因此正常的行人在通过监控区域30中来回走动时，每一个行人轮廓基本上呈现为椭圆形。

最后，执行步骤S6：利用线性回归分析方法统计拼图内的人数。

在本实施方式中，拼图内包含了运动行人通过检测线31时的图像信息。拼图内不会全都是单个行人，也有可能是两个人甚至多个人，需要通过现有拼图分析计算出拼图区域内的人数。

在本实施方式中，由于运动行人个数与拼图的像素点及边缘个数成正比，因此可根据该拼图内像素点的个数和边缘个数两个特征作为判断拼图内行人个数的依据。

基于运动行人的个数与其特征成正比的关系，可利用如下线性函数来描述运动行人的个数与其特征之间的关系，具体的如公式(1)所示：

AX+BY+C＝Z   (1)：

其中，X表示拼图的像素点个数，Y表示拼图的边缘个数，Z表示拼图的人数，A、B、C分别是线性函数的系数。通过采集大量行人拼图作为样本，使用线性回归的方法对样本进行拟合，就可以计算得到线性回归函数的系数A、B和C。

假定有n个样本{(X₁，Y₁，Z₁)，(X₂，Y₂，Z₂)，…，(X_n，Y_n，Z_n)}，其中，Z_i表示拼图人数测量值，Z_j表示根据式(1)的线性函数得到拼图人数计算值，具体如公式(2)所示：

Z_j＝AX_i+BY_i+C   (2)；

利用最小二乘法进行对样本数据进行拟合，令表示拼图人数测量值Z_i和拼图人数计算值Z_j之间的误差，误差可以用两者之差的平方和来表示，具体如公式(3)所示：

将公式(3)代入式(2)可以得到公式(4)：

为了使误差最小，可用对系数A、B、C分别求偏导，并令这三个偏导数都等于0，具体如公式(5)所示：

通过求解公式(5)，可以得到线性回归函数的系数A、B、C。

在本实施方式中，计算机系统利用线性回归分析的方法，拟合样本集的数据，计算得到表示拼图人数与拼图像素点个数与边缘个数关系的线性方程。具体的，该线性方程参公式(1)所示。

拟合过程可以采用在线拟合方式或者离线拟合方式。在线拟合方式所获得的样本集更接近与现实场景，可以准确把现场的影响因素及时地通过样本集反映出来，有利于减少回归分析的误差，但是在线拟合方式在实际运用中会带来一定麻烦，每次部署完毕后都要通过人工方式判断大量样本集。

离线拟合方式则简化了部署环节的难度，通过对不同场景下的大量样本进行拟合，回归分析出一组适用于大部分场景的系数，可以避免过拟合，应用范围更广，实际运算速度更快。因此在本实施方式中，优选为通过离线拟合方式并获取拟合样本。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.基于光流法的行人计数方法，其特征在于，该方法包括以下步骤：

S1、获取监控区域的视频流图像作为输入图像；

S2、对所述输入图像进行背景建模，以得到背景模型；

S3、利用光流法估计速度算法计算检测线上各像素点的运动速度；

S4、利用速度修正算法，对得到的检测线上各像素点的运动速度进行优化，得到运动速度信息；

S5、将运动速度信息与背景建模相结合得到行人切片，并对行人切片进行拼接得到拼图；

S6、利用线性回归分析方法统计所述拼图区域内的人数。

2.根据权利要求1所述的行人计数方法，其特征在于，所述步骤S1具体为：通过摄像机获取监控区域的视频流图像作为输入图像，所述监控区域位于摄像机的正下方。

3.根据权利要求1所述的行人计数方法，其特征在于，所述步骤S2中的“背景建模”具体为：利用混合高斯模型进行背景建模。

4.根据权利要求1所述的行人计数方法，其特征在于，所述步骤S3中的“光流法估计速度算法”具体为：

利用最小化能量函数E得到运动行人在通过检测线上各像素点的运动速度，所述最小化能量函数E的计算公式为：

E＝E_br+αE_sl+βE_tp+γE_sp

其中，E_br为多帧iso brightness约束，E_sl为慢约束，E_tp为时间平滑约束，E_sp为空间平滑约束。

5.根据权利要求1所述的行人计数方法，其特征在于，所述步骤S4中的“速度修正法”具体为：对于检测线上的每个速度值u_i，设定参考范围为2τ，以速度值u_i为中心，选取范围在[i-τ，i+τ]邻域内的所有速度值作为参考点，将当前速度值与邻域内的所有参考值作比较，并根据邻域内的参考值对当前速度值进行调整。

6.根据权利要求1所述的行人计数方法，其特征在于，所述步骤S5中的“将运动速度信息与背景建模相结合得到行人切片”具体为：

当行人通过检测线时，分割行人在每一帧中通过检测线的行人切片，截取行人在一帧内从检测线上的某一像素点移动的像素距离，以获得在该帧图像中行人通过检测线的图像信息；并根据步骤1中的背景模型，去除行人切片中的背景信息及碎片部分。

7.根据权利要求1所述的行人计数方法，其特征在于，所述步骤S5中的“对行人切片进行拼接得到拼图”具体为：经过多帧的运动，行人整体通过检测线之后，得到多块行人切片，将行人切片重新拼接后还原成为行人拼图。

8.根据权利要求1或6或7所示的行人计数方法，其特征在于，所述步骤S5还包括：通过遍历拼图中的连通区域，统计每一个连通区域内的像素点个数，像素点个数低于阀值P的连通区域将被判断为碎片区域，并清除清除拼图中的碎片部分；其中，所述阀值P为70。