CN106503613A - 一种公共区域人体行为监控方法 - Google Patents

Abstract

本发明公开了一种公共区域人体行为监控方法，利用激光扫描仪同时实现摄像机监控和进出口行人流量统计，在保证系统功能的前提下简化了软硬件系统复杂度；监控获得的视频可以获得三维信息，得到的运动轨迹直接为三维坐标，而如果用摄像机进行视频采集并获得运动三维信息则需要通过多相机的立体视觉获得，这样即增加了硬件成本，又增加了软件开发的工作量；将三维激光扫描仪和CCD摄像机结合使用，可以减少视频盲区，此外相同帧数的情况下，CCD的价格比三维激光扫描仪的价格便宜的多，因此可以减少设备成本。

Description

一种公共区域人体行为监控方法

技术领域

本发明涉及一种公共区域人体行为监控方法。

背景技术

目前视频监控系统对人体行为监控很多情况下都是只监控不报警，大部分情况下现有的监控系统并没有充分发挥其主动的监督作用，预警绝大部分情况下要依靠安保系统人工进行识别和监控出行为人的可疑、异常及危险行为，例如：在火车站、地铁站这样人员密集的公共场合发生物品被盗情况，往往都是案发后安保人员通过调取当天的视频记录进行回放才能找出线索，而此时犯罪人员早已逃之夭夭，因此在监控系统24小时不间断对公共敏感区域监控的情况下，如何从海量的监控信息中自动识别筛选出有用信息并且能自动向安保人员及相关部门提供预警已经成为亟待解决的技术难点。此外，现有系统的功能相对单一。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种公共区域人体行为监控方法。

为解决上述技术问题，本发明所采用的技术方案是：一种公共区域人体行为监控方法，包括以下步骤：

1)通过激光扫描仪获取公共区域人体目标表面点云集合S＝{q₁,q₁,....,q_n},i＝1,2,...,n，每个点由m个属性表示，即q_i＝{x₁,x₂,...,x_m},j＝1,2,...,m，得到散乱点云数据，点集S是以n×m的矩阵A出现的，其中x_m为点云集合S中各个点云的属性；

2)对点云集合S去噪，得到去噪后的点云集合S'＝{p_i|i＝1,....,n}；

3)利用所述去噪后的点云集合S'＝{p_i|i＝1,....,n}重建出人体三维轮廓，从而得到人体凸包；

4)通过数据聚类，检测出所述人体凸包的数量，即得到激光扫描面的客流个数；数据具备在时间轴上的长度即为行人通过垂直激光扫描面的时间，即客流的通行速度；数据聚类的横向间隔代表行人间的距离，即客流密度。

对点云集合S去噪的具体实现过程为：

1)固定三维坐标中的Z轴，即矩阵A的第三列，基于矩阵A的第三列对点云数据进行升序排序；

2)设定分层阈值P；

3)基于Z轴，将空间内的散乱点云分为K层，得到每一层的中心以及簇内点的个数，分层数目和分层中心分别作为k-means算法的聚类数搜索范围的上限k_max和初始聚类中心。

分层阈值P取值为0.07。

利用所述去噪后的点云集合S'＝{p_i|i＝1,....,n}重建出人体三维轮廓的具体实现过程为：

1)对任一插入点p，以p为中心，以边长g形成一个四边形；p点为点云集合S'中的数据点；

2)利用所述四边形限定所述首三角形的搜索范围，选取重心离p距离最近的三角形T作为搜索判断的首三角形；其中首个三角形的边长由随意选定第一个点，然后计算出距离该点最短距离的临近二个点，最后将这三个点连接起来，即为首个三角形；

3)T的重心和p连接生成搜索方向线，若搜索方向线和首三角形不相交，则p位于T中，算法结束；若搜索方向线和T中某条边e相交，则计算搜索方向线和边e邻接三角形T₀的交点个数，若个数为1，则p在T₀中；若交点个数为2，相交边分别为e、e1，则继续判断搜索方向线和e1的邻接三角形的交点个数，直至最后一条边被找到，则结束；若搜索方向线和首三角形相交但交点为首三角形的顶点p₀，则按逆时针方向搜索p₀的对边h，判断h和搜索方向线是否相交，若h和搜索方向线不相交，则对p₀的下一个对边判断，若相交且交点不是顶点，则直接对该对边的邻接三角形进行判断，若相交但交点仍是首三角形的顶点，则按上述方法完成插入点目标三角形定位；

4)从平面点集中选择未处理的点R，利用上述平面点集S'，对已经定位好的三角形，将这些三角形根据构建出来的顺序，建立一个三角形链表，从三角形链表中选择包含点R的目标三角形，连接R和包含点R的目标三角形的三个顶点，并根据Delaunay优化准则进行局部优化，即对包含点R的目标三角形进行优化，即在含点R的目标三角形中，如果有未连的点R，则在含点R的目标三角形内再次细分连接三角形，也就是将含点R的目标三角形细分为三个三角形；

5)生成二维Delaunay三角网格，即重建出人体三维轮廓，从而得到人体凸包。

与现有技术相比，本发明所具有的有益效果为：本发明可以利用激光扫描仪同时实现摄像机监控和进出口行人流量统计，在保证系统功能的前提下简化了软硬件系统复杂度；监控获得的视频可以获得三维信息，得到的运动轨迹直接为三维坐标，而如果用摄像机进行视频采集并获得运动三维信息则需要通过多相机的立体视觉获得，这样即增加了硬件成本，又增加了软件开发的工作量；将三维激光扫描仪和CCD摄像机结合使用，可以减少视频盲区，此外相同帧数的情况下，CCD的价格比三维激光扫描仪的价格便宜的多，因此可以减少设备成本。

附图说明

图1为本发明一实施例监控系统示意图；

图2为本发明一实施例目标三角形的最佳定位路径；

图3为本发明一实施例人体凸包示意图；

图4为本发明一实施例凸包模板图像匹配过程示意图。

具体实施方式

在公共区域通道或出入口上方设置激光扫描仪使其垂直扫描，形象地说，就像是在通道的横截面上拉一道看不见的激光帘。当行人通过激光帘时，当前帧的激光扫描数据中会出现由点云构成的凸包，反映出监控区域内监控目标的外轮廓。峰包数代表当前通过激光扫描面行人的个数，每个峰包的高度代表在该垂直扫描切面的行人高度。同时，由于激光扫描仪获取到的点云为三维坐标系下的坐标，因此通过将三维点云进行重构可以直接得出监控目标的三维形状。系统示意图见图1。

激光扫描仪由一台处理终端控制，进行数据采集及客流量检测。将一段激光扫描数据在时空间坐标系中显示(图2)，即横轴为一帧激光扫描数据序列，序列号与扫描角度一致；纵轴为时间；像素值为距离值，代表被测物体的高度。每个通过垂直激光扫描面的行人，其数据呈现为一个二维的凸包，表示该行人在通过激光扫描面时被连续数帧扫描到。通过数据聚类，可以检测出凸包的数目，也就是得到通过激光扫描面的客流个数。另外，每个数据聚类在时间轴上的长度为该行人通过垂直激光扫描面是的时间，可以在一定程度上反映客流的通行速度。再者，数据聚类的横向间隔代表行人间的距离，从而反映出客流密度。点云去噪：

(1)通过激光扫描仪获取到人体目标表面点云集合S＝{q₁,q₁,....,q_n},i＝1,2,...,n，每个点由m个属性表示，q_i＝{x₁,x₂,...,x_m},j＝1,2,...,m，因此可以得到散乱点云数据，点集S是以n×m的矩阵A出现的,其中x_m为点云集合S中各个点云的属性；

(2)一般情况下，扫描得到的点云都包含三维坐标，即矩阵A为n×3的矩阵，针对具有明显分层的散乱点云数据，固定三维坐标当中的Z轴(即矩阵A的第三列)，基于矩阵A的第三列对点云数据进行升序排序；

(3)设定分层阈值p(经验值为0.07)，并保证误差范围内的点分配在同一层；

(4)基于Z轴，将空间内的散乱点云分为K层，由此得到每一层的中心以及簇内点的个数，分层数目和分层中心分别作为k-means算法的聚类数搜索范围的上限k_max和初始聚类中心，该步骤可以将大量离散点云最终聚类为属于目标、交互对象和场景的少数几类。聚类在第4步完成，通过该步骤，可以完成点云去噪。

三维建模：

激光点云数据是离散分布的不规则点数据。因此，要用模型的形式表示地形表面分布，就需要进行网格化处理，即将离散的点连续化。可以采用三角网的方式对数据进行组织。三角形网格化目前以Delaunay三角剖分最为流行，本文方案就是采用对离散点集的Delaunay三角剖分来完成人体轮廓重建。具体实施步骤如下：

给定未知人体轮廓面F的去噪后点云集合S＝{p_i|i＝1,....,n}，其中p_i的三维坐标值为(x_i,y_i,z_i)，n为点集内点的数量。在平面Delaunay三角化过程中，对任一插入点p，以p为中心，以边长l形成一个四边形，此四边形称为p的自身小四边形，自身小四边形主要用在平面三角化过程中定位目标三角形的预筛选上。p和首三角形重心的连线称为p的搜索方向线。

(1)利用插入点p的小四边形限定首三角形的搜索范围，选取其重心离p距离最近的三角形T作为搜索判断的首三角形。

(2)T的重心和p连接生成搜索方向线，若方向线和首三角形不相交，则p位于T中，算法结束。若和T中某条边e相交，则计算搜索方向线和边e邻接三角形T0的交点个数，若个数为1，则p在T0中；若交点个数为2(相交边分别为e、e1)，则继续判断和e1的邻接三角形的交点个数，直至算法结束。若搜索方向线和首三角形相交但交点为三角形的顶点p0，则按逆时针方向搜索p0的对边e，判断e和搜索方向线是否相交；若e和搜索方向线不相交，则对p0的下一个对边判断，若相交且交点不是顶点，则直接对该边的邻接三角形进行判断，若相交但交点仍是顶点，则按上述方法继续判断。

(3)完成插入点目标三角形定位。

如图3所示，插入点为p，首三角形T1的重心为G，搜索方向线为pG，与三角形T1判断，pG和T1相交且交点为顶点c，则逆时针搜索c的对边，分别为〈b，d〉、〈d，e〉、〈e，a〉，判断pG和这些边是否相交，图中和〈d，e〉相交，交点仍为交点e，逆时针搜索e的对边〈d，g〉、〈g，f〉、〈f，a〉、〈a，e〉，其中边〈g，f〉和方向线相交且交点不是顶点，且pG和边〈g，f〉的邻接三角形T8的交点个数为2，则搜索相交边〈f，h〉的邻接三角形T10，交点个数仍为2，则搜索T11，方向线pG和T11交点个数为1，则认为p处于T11中；

(4)实现平面的三角化，具体步骤如下：

1)增加三个附加点构造超级三角形作为初始三角形；

2)从平面点集中选择未处理的点p，利用上述的快速定位技术从三角形链表中选择包含p的目标三角形，连接p和三角形的三个顶点，删除原三角形，并根据Delaunay优化准则进行局部优化；

3)删除附加点的所有邻接三角形，生成二维Delaunay三角网格。

因此，通过上述步骤可以重建出人体三维轮廓，从而得到人体凸包。(提取到人体轮廓后，从上往下看就是一个凸包，示意图如图4所示)通过数据聚类，可以检测出凸包的数目，也就是得到通过激光扫描面的客流个数。

将激光扫描仪设置于被人员密集场所的不同地点，在地面高度进行水平扫描，从而实现对大范围空间的平面覆盖。每个激光扫描仪分别由一台处理终端控制，并通过网络与数据处理服务器进行数据通信。数据处理服务器将垂直激光扫描仪、水平激光扫描仪和CCD测量的数据，通过时钟同步及坐标系转换，实现三个传感器的数据融合。也就是，将同一时刻测量到的数据抽取出来，并统一到全局坐标系中。通过这样的垂直、水平激光扫描数据和CCD的同步融合，数据处理服务器不仅可以得到对整个被测区域的全局信息，同时对于每一个移动目标，可以得到来自不同视点的观测数据，从而恢复较为完整的平面轮廓数据，得到行人运动的三维坐标信息(本发明中通过获得人体目标三维点云，然后重建出三维目标轮廓，由于点云为三维坐标，因此得出的目标轮廓点也是三维坐标位置)。人体目标的运动轨迹为三维坐标信息。这样的数据融合不仅可以实现对大范围空间的平面覆盖，减少数据遮挡。安装的CCD可以实现对行人轨迹的跟踪。

(1)利用凸包计算客流量

利用凸包计算客流量的工作原理：利用第一部分得到的人体凸包，注意统计出各个监控面中的凸包个数，由于通过激光扫描得到的图像背景和目标有很强的对比，因此计数比较准确。

(2)监控行人运动轨迹

工作原理：利用提取到的人体凸包，将凸包中的某一块图像作为模板，然后利用模板匹配，提取出行人运动轨迹。

假设在第i帧图像中的某个行人的凸包，选择以凸包中心(x,y)为中心、大小为n×m的搜索窗口W，然后根据算法要求的搜索效率(算法要求的搜索效率即为，在监控现场，用户要求的系统运行时间)预先定义一个搜索窗口(通常是以第i帧中的块W为中心的一个对称窗口)，在此范围内查找与图像搜索窗口大小相同的最佳匹配中心的位置r＝(Δx,Δy)。匹配过程示意图见图4。

在搜索过程中，模板匹配需要一个相似度的度量。本算法中采用的是归一化去均值互相关系数NCC(Normalized mutual Correlation Coefficient)，传统的相关系数Cur计算如下：

假设待搜索目标图像T(i,j)的w*w，模板T'(i,j)的h*h，且w>>h，其中w,h代表图像像素，模板T在图像T’上平滑移动，搜索窗口所覆盖的图像区域称为子图。模板图像T'(i,j)为行人凸包的第一帧或前几帧较为清晰的图像，目标图像T(i,j)为当前行人图像。T为待搜索的行人目标图像，T’为行人的模板图像。i，j分别为横纵坐标值。

假设在第n帧进行模板更新，且该帧中取模板为T_n(i,j)，通过下式计算两个模板的相似度：

当通过较长时间的跟踪后，人体凸包模板图像可能会因为光照变化、图像变形和图像模糊等原因导致人体模板图像发生变化，使得模板图像和真实人体凸包图像相差较大，导致模板匹配出现较大误差。通过不停的图像匹配，寻找出场景内人体目标，实现人体目标跟踪，得到运动轨迹。

其中，Δ是该时刻带匹配节点图像会模板之间的差值，该值小于阈值T

(该阈值经验参数为0.02，在实际测试过程中，由于在室外实际环境，受到光照不均匀，拍摄角度导致的视频图像变形，扭曲导致模板图像和当前图像发生很大误差，因此，需要找出一个合适的阈值。如果阈值过大，则两者图像差异过大，会降低匹配精度；如果阈值过小，则两者图像差异过小，导致计算量过大，影响计算实时性)，则不需要更新模板(更新模板即为取前集帧凸包图像或者前几帧凸包图像作为新的模板)，Cur(I_n,I_n+1)为前后帧的相关系数。

Claims (4)

1.一种公共区域人体行为监控方法，其特征在于，包括以下步骤：

1)通过激光扫描仪获取公共区域人体目标表面点云集合S＝{q₁,q₁,....,q_n},i＝1,2,...,n，每个点由m个属性表示，即q_i＝{x₁,x₂,...,x_m},j＝1,2,...,m，得到散乱点云数据，点集S是以n×m的矩阵A出现的，其中x_m为点云集合S中各个点云的属性；

2)对点云集合S去噪，得到去噪后的点云集合S'＝{p_i|i＝1,....,n}；

3)利用所述去噪后的点云集合S'＝{p_i|i＝1,....,n}重建出人体三维轮廓，从而得到人体凸包；

4)通过数据聚类，检测出所述人体凸包的数量，即得到激光扫描面的客流个数；数据具备在时间轴上的长度即为行人通过垂直激光扫描面的时间，即客流的通行速度；数据聚类的横向间隔代表行人间的距离，即客流密度。

2.根据权利要求1所述的公共区域人体行为监控方法，其特征在于，对点云集合S去噪的具体实现过程为：

1)固定三维坐标中的Z轴，即矩阵A的第三列，基于矩阵A的第三列对点云数据进行升序排序；

2)设定分层阈值P；

3)基于Z轴，将空间内的散乱点云分为K层，得到每一层的中心以及簇内点的个数，分层数目和分层中心分别作为k-means算法的聚类数搜索范围的上限k_max和初始聚类中心。

3.根据权利要求2所述的公共区域人体行为监控方法，其特征在于，分层阈值P取值为0.07。

4.根据权利要求2所述的公共区域人体行为监控方法，其特征在于，利用所述去噪后的点云集合S'＝{p_i|i＝1,....,n}重建出人体三维轮廓的具体实现过程为：

1)对任一插入点p，以p为中心，以边长g形成一个四边形；p点为点云集合S'中的数据点；

2)利用所述四边形限定所述首三角形的搜索范围，选取重心离p距离最近的三角形T作为搜索判断的首三角形；其中首个三角形的边长由随意选定第一个点，然后计算出距离该点最短距离的临近二个点，最后将这三个点连接起来，即为首个三角形；

3)T的重心和p连接生成搜索方向线，若搜索方向线和首三角形不相交，则p位于T中，算法结束；若搜索方向线和T中某条边e相交，则计算搜索方向线和边e邻接三角形T₀的交点个数，若个数为1，则p在T₀中；若交点个数为2，相交边分别为e、e1，则继续判断搜索方向线和e1的邻接三角形的交点个数，直至最后一条边被找到，则结束；若搜索方向线和首三角形相交但交点为首三角形的顶点p₀，则按逆时针方向搜索p₀的对边h，判断h和搜索方向线是否相交，若h和搜索方向线不相交，则对p₀的下一个对边判断，若相交且交点不是顶点，则直接对该对边的邻接三角形进行判断，若相交但交点仍是首三角形的顶点，则按上述方法完成插入点目标三角形定位；

4)从平面点集中选择未处理的点R，利用上述平面点集S'，对已经定位好的三角形，将这些三角形根据构建出来的顺序，建立一个三角形链表，从三角形链表中选择包含点R的目标三角形，连接R和包含点R的目标三角形的三个顶点，并根据Delaunay优化准则进行局部优化，即对包含点R的目标三角形进行优化，即在含点R的目标三角形中，如果有未连的点R，则在含点R的目标三角形内再次细分连接三角形，也就是将含点R的目标三角形细分为三个三角形；

5)生成二维Delaunay三角网格，即重建出人体三维轮廓，从而得到人体凸包。