CN105427345A - 基于相机投影矩阵的三维人流运动分析方法 - Google Patents

Abstract

本发明提出了一种基于相机投影矩阵的三维人流运动分析方法，包括：采集目标区域的监控视频图像，将监控视频图像与目标区域的三维模型进行对应点映射，计算相机投影矩阵；提取监控视频图像的多个前景运动目标，获取多个前景运动目标的二维坐标，根据每个前景运动目标的二维坐标和透视投影矩阵，对运动目标进行三维映射；根据提取得到的多个前景运动目标，划分出运动前景区域，估算运动前景区域的人流密度值；采用光流法计算每个前景运动目标的运动矢量，将运动矢量根据相机投影矩阵映射到三维区域，在区域运动主方向上统计人流汇集程度的，进行人流汇聚预警。本发明实现对前景运动区域中人流密度和汇聚方向等特征的检测，实现对人流汇聚的预警。

Description

基于相机投影矩阵的三维人流运动分析方法

技术领域

本发明涉及人流运动分析技术领域，特别涉及一种基于相机投影矩阵的三维人流运动分析方法。

背景技术

随着经济的飞速发展，人口的城市化程度越来越高。城市的人口密度越来越大，场景监控下的人群密度估计成为公共安全管理中的面临的一项重要工作。

由于大场景的人群监控都是多镜头的监控，传统的基于单画面的监控存在很大的弊端。一方面，传统的基于手工标定的方式只是简单的通过手动框选目标，指定目标大小。采用线性变换计算得到图像由近及远的ScaleMap，这在一定程度上解决了透视投影的形变问题。但是由于不是在全图像尺寸上的对应，无法得到目标像素对应的三维位置信息，因此很难完美解决Perspective误差。

另一方面，单镜头的监控图像的简单叠加无法满足大范围、跨镜头的人群密度分布和协同运动情况。

在目标提取方面，现有工作主要分为两类：

第一类方法是人体目标特征分析方法：首先检测、跟踪视频序列图像中的人体特征(主要为头、肩区域)，识别是否人体目标，然后进行统计。这类方法在室内的小场景效果较好，适用于人数比较稀疏情况。然而，对于大场景情况下的公共场所而言，普遍存在着高密度人群，难以进行目标的有效分割。

第二类方法是通过特征分析法：比如对比度、均匀度、能量和熵等描述图像粗糙程度的特征矢量，边缘面积比，边缘方向直方图灯一系列方法。抽取与人群密度相关的特征，采用回归分析进行统计。述估计方法均是基于对训练样本的分析，找出特征与密度的变化关系，建立统计模型，并将问题求解转换为基于统计模型的机器学习及决策过程。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种基于相机投影矩阵的三维人流运动分析方法，实现对前景运动区域中人流密度和汇聚方向等特征的检测，实现对人流汇聚的预警。

为了实现上述目的，本发明的实施例提供一种基于相机投影矩阵的三维人流运动分析方法，包括如下步骤：

步骤S1，采集目标区域的监控视频图像，将所述监控视频图像与所述目标区域的三维模型进行对应点映射，根据所述监控视频图像的图像特征点与所述三维模型的三维特征点的对应关系计算相机投影矩阵M；

步骤S2，提取所述监控视频图像的多个前景运动目标，获取所述多个前景运动目标的二维坐标，根据每个所述前景运动目标的二维坐标和所述透视投影矩阵，对所述运动目标进行三维映射；

步骤S3，根据提取得到的多个前景运动目标，划分出运动前景区域，根据所述运动前景区域的像素统计值和纹理特征、MSER稳定区域特征、Minkowski分形维特征和灰度共生矩阵中的一项或多项，估算所述运动前景区域的人流密度值；

步骤S4，采用光流法计算每个所述前景运动目标的运动矢量，得到多个主动方向，将所述运动矢量根据所述相机投影矩阵映射到所述三维区域，生成区域运动主方向，在所述区域运动主方向上统计人流汇集程度的，进行人流汇聚预警。

进一步，在所述步骤S1中，将所述监控视频图像所述目标区域的三维模型进行对应点映射，得到所述视频图像中图像特征点的二维坐标与所述三维模型中三维特征点的三维坐标的对应关系，利用最小二乘法计算相机投影矩阵M。

进一步，在所述步骤S1中，采用特征点的非线性插值将所述监控视频图像的二维到坐标映射到三维坐标。

进一步，在所述步骤S2中，采用高斯背景模型从所述监控视频图像中分离出所述多个前景运动目标。

进一步，在所述步骤S3中，

当所述运动前景区域的前景独立轮廓区域较小时，根据所述运动前景区域的像素统计值和区域权值，估算所述运动前景区域的人流密度值，

其中，对所述目标区域进行图像区域划分，根据所述相机投影矩阵计算该区域对应的三维位置范围，根据所述三维位置范围和运动目标的实际尺寸，生成所述区域权值。

进一步，在所述步骤S3中，

当所述运动前景区域的前景独立轮廓区域较大时，根据所述纹理特征、MSER稳定区域特征、Minkowski分形维特征和灰度共生矩阵，采用回归算法估算所述运动前景区域的人流密度值。

进一步，所述回归算法为高斯回归算法或者支持向量回归算法。

进一步，在所述步骤S4中，采用光流法计算每个所述前景运动目标的运动矢量，包括如下步骤：

计算每个像素对应的三维区域大小，计算像素权值；

根据所述像素权值，采用光流法计算每个像素的光流运动矢量。

进一步，在所述步骤S4中，所述在区域运动主方向上统计人流汇集程度的，进行人流汇聚预警，包括如下步骤：

计算所述多个主方向上光流运动矢量的交汇点，对得到的交汇点进行距离计算；

当预设半径内的人流密度预测达到预设阈值时，对该区域进行人流汇聚预警。

根据本发明实施例的基于相机投影矩阵的三维人流运动分析方法，通过建立监控图像的二维坐标与三维模型的三维坐标的映射，获取运动目标对应的三维位置关系，实现对前景运动区域中人流密度和汇聚方向等特征的检测，实现对人流汇聚的预警，相关部门可以提前采取疏散措施，保障人员安全。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于相机投影矩阵的三维人流运动分析方法的流程图；

图2为根据本发明实施例的透视投影对应关系的示意图；

图3(a)和图3(b)为根据本发明实施例的高斯背景模型前景提取结果的示意图；

图4为根据本发明实施例的高斯回归算法的映射函数曲线的示意图；

图5为根据本发明实施例的支持向量回归算法的映射函数曲线的示意图；

图6为根据本发明实施例的光流检测与主运动矢量统计和空间运动矢量映射的示意图；

图7为根据本发明实施例的人员异常汇聚的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考图1至图7对本发明实施例基于相机投影矩阵的三维人流运动分析方法进行说明。

本发明提供了一种基于相机投影矩阵的三维人流运动分析方法，实现对监控视频中运动目标进行统计分析，可以实现对以下特征：人流密度、目标运动主方向及人流量统计、异常汇聚预警等的统计。

如图1所示，本发明实施例的基于相机投影矩阵的三维人流运动分析方法，包括如下步骤：

步骤S1，采集目标区域的监控视频图像，将监控视频图像与目标区域的三维模型进行对应点映射，根据监控视频图像的图像特征点与三维模型的三维特征点的对应关系计算相机投影矩阵M。

具体地，将真实的监控视频图像目标区域的三维模型进行对应点映射，得到视频图像中图像特征点的二维坐标与三维模型中三维特征点的三维坐标的对应关系，利用最小二乘法计算相机投影矩阵M。图像上每个像素(u,v)都可以通过相机投影矩阵M计算出对应的三维位置。图2为根据本发明实施例的透视投影对应关系的示意图。

(uv，1)＝M(x，y，z)T

采用特征点的非线性插值将监控视频图像的二维UV坐标映射到三维坐标。

具体地，在三维标高z未知的情况下，利用相邻特征点的标高，插值得到z值。在三维标高z已知的情况下，根据(u,v)可求出(x,y)的坐标值。

步骤S2，提取监控视频图像的多个前景运动目标，获取多个前景运动目标的二维坐标，根据每个前景运动目标的二维坐标和透视投影矩阵，对运动目标进行三维映射。

在本发明的一个实施例中，如图3(a)和(b)所示，采用高斯背景模型从监控视频图像中分离出多个前景运动目标，并根据上一步得到的相机投影矩阵M得到运动目标的三维映射。

步骤S3，根据提取得到的多个前景运动目标，划分出运动前景区域，根据运动前景区域的像素统计值和纹理特征、MSER稳定区域特征、Minkowski分形维特征和灰度共生矩阵中的一项或多项，估算运动前景区域的人流密度值。

具体地，当运动前景区域的前景独立轮廓区域较小时，根据运动前景区域的像素统计值和区域权值ScaleMap，估算运动前景区域的人流密度值。

其中，对目标区域进行图像区域划分，根据相机投影矩阵计算该区域对应的三维位置范围，根据三维位置范围和实际场景中运动目标的实际尺寸，生成区域权值ScaleMap。

当运动前景区域的前景独立轮廓区域较大时，前景密度较大，认为场景发生遮挡。此时，根据纹理特征、MSER稳定区域特征、Minkowski分形维特征和灰度共生矩阵，采用回归算法估算运动前景区域的人流密度值。

本步骤通过高斯背景模型提取运动前景，得到运动前景区域。在运动前景的基础上，结合以下三种特征：

(1)利用Canny算子得到的图像边缘信息，统计Minkowski分形维特征；

(2)灰度共生矩阵得到的纹理特征；

(3)MSER稳定区域特征。

在本发明的一个实施例中，回归算法为高斯回归GR算法或者支持向量回归SVR算法。图4和图5分别为高斯回归算法和支持向量回归算法的映射函数曲线的示意图。

步骤S4，采用光流法计算每个前景运动目标的运动矢量，得到多个主动方向，将运动矢量根据相机投影矩阵映射到三维区域，生成区域运动主方向，在区域运动主方向上统计人流汇集程度的，进行人流汇聚预警。

图6为根据本发明实施例的光流检测与主运动矢量统计和空间运动矢量映射的示意图。

具体地，采用光流法计算每个前景运动目标的运动矢量，包括如下步骤：首先计算每个像素对应的三维区域大小，计算像素权值w。然后，根据像素权值w，采用光流法计算每个像素的光流信息，得到图像空间的光流分布，生成光流运动矢量，得到若干个主运动方向，将运动矢量映射到三维区域，从而得到区域运动主方向。

图7为根据本发明实施例的人员异常汇聚的示意图。

通过在场景内布置多个摄像头，可以计算出场景内的三维运动方向，预测人流汇聚方向。在区域运动主方向上统计人流汇集程度的，进行人流汇聚预警，包括如下步骤：

首先，计算多个主方向上光流运动矢量的交汇点，对得到的交汇点进行距离计算。

然后，统计一定时间内的人流汇聚情况对大范围人流汇聚提供预警，当预设半径内的人流密度预测达到预设阈值时，对该区域进行人流汇聚预警。

如图7所示，计算多个主方向运动矢量的交汇点，对得到的交汇点进行距离计算。当预设半径内的人流可能的汇集达到预设阈值时，对该区域进行报警

根据本发明实施例的基于相机投影矩阵的三维人流运动分析方法通过建立监控图像的二维坐标与三维模型的三维坐标的映射，获取运动目标对应的三维位置关系，实现对前景运动区域中人流密度和汇聚方向等特征的检测，实现对人流汇聚的预警，相关部门可以提前采取疏散措施，保障人员安全。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。

Claims (9)

1.一种基于相机投影矩阵的三维人流运动分析方法，其特征在于，包括如下步骤：

步骤S1，采集目标区域的监控视频图像，将所述监控视频图像与所述目标区域的三维模型进行对应点映射，根据所述监控视频图像的图像特征点与所述三维模型的三维特征点的对应关系计算相机投影矩阵M；

步骤S2，提取所述监控视频图像的多个前景运动目标，获取所述多个前景运动目标的二维坐标，根据每个所述前景运动目标的二维坐标和所述透视投影矩阵，对所述运动目标进行三维映射；

步骤S3，根据提取得到的多个前景运动目标，划分出运动前景区域，根据所述运动前景区域的像素统计值和纹理特征、MSER稳定区域特征、Minkowski分形维特征和灰度共生矩阵中的一项或多项，估算所述运动前景区域的人流密度值；

步骤S4，采用光流法计算每个所述前景运动目标的运动矢量，得到多个主动方向，将所述运动矢量根据所述相机投影矩阵映射到所述三维区域，生成区域运动主方向，在所述区域运动主方向上统计人流汇集程度的，进行人流汇聚预警。

2.如权利要求1所述的基于相机投影矩阵的三维人流运动分析方法，其特征在于，在所述步骤S1中，将所述监控视频图像所述目标区域的三维模型进行对应点映射，得到所述视频图像中图像特征点的二维坐标与所述三维模型中三维特征点的三维坐标的对应关系，利用最小二乘法计算相机投影矩阵M。

3.如权利要求1所述的基于相机投影矩阵的三维人流运动分析方法，其特征在于，在所述步骤S1中，采用特征点的非线性插值将所述监控视频图像的二维到坐标映射到三维坐标。

4.如权利要求1所述的基于相机投影矩阵的三维人流运动分析方法，其特征在于，在所述步骤S2中，采用高斯背景模型从所述监控视频图像中分离出所述多个前景运动目标。

5.如权利要求1所述的基于相机投影矩阵的三维人流运动分析方法，其特征在于，在所述步骤S3中，

当所述运动前景区域的前景独立轮廓区域较小时，根据所述运动前景区域的像素统计值和区域权值，估算所述运动前景区域的人流密度值，

其中，对所述目标区域进行图像区域划分，根据所述相机投影矩阵计算该区域对应的三维位置范围，根据所述三维位置范围和运动目标的实际尺寸，生成所述区域权值。

6.如权利要求1所述的基于相机投影矩阵的三维人流运动分析方法，其特征在于，在所述步骤S3中，

当所述运动前景区域的前景独立轮廓区域较大时，根据所述纹理特征、MSER稳定区域特征、Minkowski分形维特征和灰度共生矩阵，采用回归算法估算所述运动前景区域的人流密度值。

7.如权利要求6所述的基于相机投影矩阵的三维人流运动分析方法，其特征在于，所述回归算法为高斯回归算法或者支持向量回归算法。

8.如权利要求1所述的基于相机投影矩阵的三维人流运动分析方法，其特征在于，在所述步骤S4中，采用光流法计算每个所述前景运动目标的运动矢量，包括如下步骤：

计算每个像素对应的三维区域大小，计算像素权值；

根据所述像素权值，采用光流法计算每个像素的光流运动矢量。

9.如权利要求1所述的基于相机投影矩阵的三维人流运动分析方法，其特征在于，在所述步骤S4中，所述在区域运动主方向上统计人流汇集程度的，进行人流汇聚预警，包括如下步骤：

计算所述多个主方向上光流运动矢量的交汇点，对得到的交汇点进行距离计算；

当预设半径内的人流密度预测达到预设阈值时，对该区域进行人流汇聚预警。