CN105787469A - 行人监控和行为识别的方法和系统 - Google Patents

Abstract

本发明涉及行为分析仿真相关技术领域，其公开了一种行人监控和行为识别方法，包括如下步骤：S1）对体感视频设备进行视频采集，获取相应的深度图像数据流和彩色图像数据流；（S2）计算系统空间坐标‑地面坐标转换矩阵，对深度信息进行地面投影，有效分割多人遮挡进入时的单个人体，并根据地面投影排除非人体目标；（S3）获取目标个体的三维深度信息，根据深度信息定位人体15个关节的三维坐标；（S4）建立人体三维模型；（S5）获取人体的运动参数；（S6）获取人体的行为特征并反馈处理结果。本发明的有益效果是：安装方便灵活，能够实时监控、检测指定区域内的行人进出情况并对进入行人进行跟踪和行为识别。

Description

行人监控和行为识别的方法和系统

技术领域

本发明涉及行为分析仿真相关技术领域，尤其涉及一种基于Xtion的银行大厅内行人监控和行为识别方法及系统。

背景技术

目前，随着银行业务的拓展，人们越来越关心在银行内的安全措施和防护，如何有效预防和避免在银行大厅内发生的突发事件是目前急需解决的问题。当前银行内的视频监控大多不具备智能分析功能，不能对突发事件做出反应，在事件发生后也不能快速查阅，这对银行内的安防造成了极大困扰。

相比于彩色摄像机，体感摄像机能够获得更多的有用信息，并将二维的平面图像拓展到三维。体感摄像机最初应用到游戏领域，利用肢体的动作控制游戏中的人物。近年来，体感摄像机被越来越多的应用于计算机视觉、智能控制等领域，中国专利申请公布号：CN201310251766.2，申请公布日2013年6月21日，公开了一种基于Kinect的行人闯红灯检测方法及其系统，利用体感摄像机对红绿灯区域进行闯红灯分析和识别，但模型较为简单，仅能识别闯红灯一个行为动作，且无法对多行人的情况作出有效分析；同时，体感摄像机易受阳光影响，在室外效果较差，无法达到理想的效果。

发明内容

为了解决现有技术的不足，本发明提供一种行人监控和行为识别的方法和系统，解决现有技术中应用场景局限、识别动作类别较少、多人遮挡无法分割的问题。

本发明是通过以下技术方案实现的:设计、制造一种行人监控和行为识别的方法，包括如下步骤:

（S1）对体感视频设备进行视频采集，获取相应的深度图像数据流和彩色图像数据流；

（S2）计算系统空间坐标-地面坐标转换矩阵，对深度信息进行地面投影，有效分割多人遮挡进入时的单个人体，并根据地面投影排除非人体目标；

（S3）获取目标个体的三维深度信息，根据深度信息定位人体15个关节的三维坐标；

（S4）建立人体三维模型；

（S5）获取人体的运动参数；

（S6）获取人体的行为特征并反馈处理结果。

作为本发明的进一步改进：所述步骤（S2）中：先建立系统空间坐标系，通过彩色图像和深度图像进行双目标定，然后在视频流中画出监控区域的地面部分，进行地面标定，得到系统坐标-地面坐标转换矩阵，建立地面坐标系；利用系统坐标-地面坐标转换矩阵，将系统坐标系下的三维深度信息进行地面投影，得到监控区域内的地面投影；利用地面投影分割多行人进入时造成的互相遮挡和区域连接，并区分人体和非人体。

作为本发明的进一步改进：所述步骤（S3）中，以系统空间坐标系为基准来确定人体骨骼关键关节的系统空间坐标，建立人体骨骼与系统空间的转换矩阵，确定人体15个骨骼关节的系统空间坐标。

作为本发明的进一步改进：所述步骤（S4）中，利用检测到的人体骨骼点和地面投影对人体进行三维建模，确定人体各部分的物理位置和相对关系，确定人体在监控区域所处的位置以及上半身的深度信息分布以便建立的人体三维模型。

作为本发明的进一步改进：所述步骤（S5）中，分析行人一定时间段内的行为特征并与预设的事件特征进行比较，符合预设的事件特征时自动反馈相应的处理结果。

本发明同时提供了一种行人监控和行为识别的系统，包括:

体感视频设备和内设预警模块的处理器单元；所述体感视频设备通过USB接口连接所述处理器单元；所述预警模块进行图像采集、双目标定和地面标定、人体骨骼运动定位、人体点云地面投影、人体三维建模、人体运动跟踪、人体运动识别和事件处理。

作为本发明的进一步改进：所述行人监控和行为识别的系统还包括：报警装置、信息处理模块和服务器单元；所述处理器单元分别连接所述报警装置、信息处理模块和服务器单元。

作为本发明的进一步改进：所述体感视频设备安装在监控区域的斜上方，固定该体感视频设备的支架下端能够上下、左右、前后移动；所述体感视频设备进行360度转动。

作为本发明的进一步改进：所述预警模块分析行人自进入监控区域到离开这一时间段的行为特征，并与预存的报警事件特征比较，符合预设的报警事件特征时自动通过报警装置进行报警，将报警事件信息上传至服务器单元，并通过信息处理模块发送给处理单位或个人。

本发明的有益效果：安装方便灵活，能够实时监控、检测指定区域内的行人进出情况并对进入行人进行跟踪和行为识别，可以有效解决多行人遮挡进入的情况，对行人的多种行为作出准确判断，报警事件以三种方式进行传送，保证了系统的安全性、可靠性和独创性。

附图说明

图1是本发明的系统框图；

图2是本发明一实施例Xtion体感摄像机安装示意图。

图3是本发明人体骨骼点示意图。

具体实施方式

为了便于本领域技术人员的理解，下面结合附图和实施例对本发明作进一步的描述。

一种行人监控和行为识别的方法，包括如下步骤:

（S1）对体感视频设备进行视频采集，获取相应的深度图像数据流和彩色图像数据流；

（S2）计算系统空间坐标-地面坐标转换矩阵，对深度信息进行地面投影，有效分割多人遮挡进入时的单个人体，并根据地面投影排除非人体目标；

（S3）获取目标个体的三维深度信息，根据深度信息定位人体15个关节的三维坐标；

（S4）建立人体三维模型；

（S5）获取人体的运动参数；

（S6）获取人体的行为特征并反馈处理结果。

所述步骤（S2）中：先建立系统空间坐标系，通过彩色图像和深度图像进行双目标定，然后在视频流中画出监控区域的地面部分，进行地面标定，得到系统坐标-地面坐标转换矩阵，建立地面坐标系；利用系统坐标-地面坐标转换矩阵，将系统坐标系下的三维深度信息进行地面投影，得到监控区域内的地面投影；利用地面投影分割多行人进入时造成的互相遮挡和区域连接，并区分人体和非人体。

所述步骤（S3）中，以系统空间坐标系为基准来确定人体骨骼关键关节的系统空间坐标，建立人体骨骼与系统空间的转换矩阵，确定人体15个骨骼关节的系统空间坐标。

所述步骤（S4）中，利用检测到的人体骨骼点和地面投影对人体进行三维建模，确定人体各部分的物理位置和相对关系，确定人体在监控区域所处的位置以及上半身的深度信息分布以便建立的人体三维模型。

所述步骤（S5）中，分析行人一定时间段内的行为特征并与预设的事件特征进行比较，符合预设的事件特征时自动反馈相应的处理结果。

本发明同时提供了一种行人监控和行为识别的系统，包括:

体感视频设备和内设预警模块的处理器单元；所述体感视频设备通过USB接口连接所述处理器单元；所述预警模块进行图像采集、双目标定和地面标定、人体骨骼运动定位、人体点云地面投影、人体三维建模、人体运动跟踪、人体运动识别和事件处理。

所述行人监控和行为识别的系统还包括：报警装置、信息处理模块和服务器单元；所述处理器单元分别连接所述报警装置、信息处理模块和服务器单元。

所述体感视频设备安装在监控区域的斜上方，固定该体感视频设备的支架下端能够上下、左右、前后移动；所述体感视频设备进行360度转动。

所述预警模块分析行人自进入监控区域到离开这一时间段的行为特征，并与预存的报警事件特征比较，符合预设的报警事件特征时自动通过报警装置进行报警，将报警事件信息上传至服务器单元，并通过信息处理模块发送给处理单位或个人。

在一实施例中，在银行大厅对行人进行监控时，一种基于Xtion的银行大厅内行人监控和行为识别方法，如图1，包括如下步骤：

(1)通过Xtion体感摄影机(a)对银行大厅指定区域进行视频采集，获取相应的深度图像数据流和彩色图像数据流；在安装阶段，Xtion体感摄像机和吊顶支架都经过外形设计（Xtion原本的的外壳不使用）。吊顶支架采用吸顶的方式固定在天花板上，通过螺丝固定，下端能够上下、左右、前后移动，方便位置、距离的细微调整；Xtion体感摄像机的底座部分经过重新设计，能够360度转动，方便角度的调整；

(2)进行体感摄像机标定，确定地面，进行地面标定(e)，一实施例中，先建立系统空间坐标系，通过彩色图像和深度图像进行双目标定，以确保坐标的精确性。然后在视频流中画出监控区域的地面部分，利用棋盘格进行地面标定，得到系统坐标-地面坐标转换矩阵，建立地面坐标系；

(3)利用获得的深度图像数据流和彩色图像数据流，定位人体骨骼中15个关节在系统空间坐标系中的三维坐标值(f)，在一实施例中，以系统空间坐标系为基准来确定人体骨骼关键关节(f)的系统空间坐标，之后建立人体骨骼与系统空间的转换矩阵，最后确定人体骨骼15个关节的系统空间坐标；在一实施例中，利用Xtion获取的深度数据定位人体15个骨骼点，包括头、颈、手2、肘2、肩2、躯干、髋2、膝2、脚2，这十五个人体骨骼点简单的定义了人体的骨骼框架，能够有效表示人体的各种简单动作和运动状态。以系统空间坐标系为基准来确定人体骨骼关键关节的系统空间坐标，之后建立人体骨骼与系统空间的转换矩阵，最后确定人体骨骼15个关节的系统空间坐标；

(4)通过深度图像数据流获取人体三维点云，利用地面标定参数对人体进行地面投影(g)，通过地面投影区分人体与非人体，并能够有效分割多人遮挡进入时的单个人体，如利用系统坐标-地面坐标转换矩阵，将系统坐标系下的三维点云人体进行地面投影，得到人体的地面投影区域(g)，地面投影后，能够有效分割多行人进入时造成的互相遮挡和区域连接，同时，根据地面投影后的深度值分布可以区分人体和非人体，以此排除非人体目标；

(5)根据获取的人体骨骼点和地面投影，建立人体三维模型(h)，利用检测到的人体骨骼点和地面投影对人体进行三维建模，人体骨骼点大致确定了人体各部分的物理位置和相对关系，地面投影确定了人体在监控区域所处的位置以及上半身的深度信息分布，以此建立的人体三维模型能够涵盖人体头部和躯干的主要信息；

(6)通过建立的人体三维模型，跟踪人体的运动状态，将图像与预先定义的人体模型相匹配，以此得到各个采样时刻的人体运动参数；

(7)在人体姿势图像序列建立后，分析行人自进入监控区域到离开这一时间段的行为特征，并与预存的报警事件特征比较，若与特定事件的匹配度较高，则判定为该报警事件；

(8)判断监控区域内人员的行为状态，若识别为报警行为，则通过语音报警装置播报危险提示，将报警事件上传至客户中心端，并通过4G短信模块发送给处理单位或个人；若监控区域内人员的行为被判断为报警事件，则对实时事件进行截图并将事件上传至客户中心端，同时进行语音播报以及短信发送，通过多种方式实时的对报警事件进行处理。为保证系统使用的灵活性，可以设置系统内检测算法的运行时段和报警类型，提高了对不同场景和时段的适应性。

在具体操作时，在指定区域和指定时间段，通过预警模块进行监控，具体如下：

（1）在银行大厅安装Xtion体感设备、小型PC、语音报警装置、4G短信模块、智能预警软件，Xtion体感摄像机安装在监控区域的斜上方，调整安装高度和角度，确定监控区域和距离；

（2）开启Xtion体感摄影机，获取深度图像数据流和彩色图像数据流，通过智能预警软件画出指定监控范围的地面区域，同时进行自动的地面标定（体感摄像机的双目标定在出厂时已完成，参数确定），随后进行背景建模；

（3）背景建模后，检测进入指定区域的行人和物体，若检测到行人进入，利用深度数据获取人体三维点云，然后定位15个人体骨骼点，并利用地面标定参数对人体三维点云数据进行地面投影，通过地面投影，对多行人遮挡进入的情况可以有效分割单个个体；

（4）利用得到的深度数据、人体骨骼点以及地面投影对人体进行三维建模，重建人体的三维数据；

（5）通过建立的人体三维模型，标定、跟踪人体的运动状态，将实时运动图像与预先定义的人体模型相匹配，以此得到各个采样时刻的人体运动参数；

（6）在人体姿势图像序列建立后，分析行人自进入监控区域到离开这一时间段的行为特征，并与预存的报警事件特征比较，若与特定事件的匹配度达到设置的阈值，则判定为该报警事件；

（7）判断监控区域内人员的行为状态，若识别为报警行为，则通过语音报警装置播报危险提示，将报警事件上传至客户中心端，并通过4G短信模块以短信形式发送给处理单位或个人。

预存的报警事件特征分为时间特征和动作特征，时间特征描述的时间包括：逗留、徘徊，动作特征包括：尾随、越界、打架、奔跑、跌倒，时间特征通过计算行人在监控区域或业务区域的滞留时间来获得，动作特征通过定义人体骨骼点的运动和相对关系来决定。

一实施例中，一种基于Xtion的银行大厅内行人监控和行为识别的系统，其构成包括：用于采集深度图像和彩色图像的华硕Xtion体感摄像机、USB延长放大接口、处理采集到的视频图像序列的小型PC(即处理器)、语音报警装置、4G短信模块、客户中心服务器、预装在小型PC的智能预警软件(界面和算法)；所述的Xtion体感摄影机通过USB延长放大接口与小型PC连接，所述的小型PC连接客户中心服务器、语音报警装置和4G短信模块。

所述的智能预警软件包括图像采集模块、摄像机双目标定和地面标定模块、人体骨骼定位模块、人体点云地面投影模块、人体三维建模模块、人体跟踪模块、人体行为识别模块和事件处理模块。在智能预警软件中，用户可以设置人体行为识别开启的时间、监控的区域、识别行为的种类、报警事件保存的方式、4G短信模块发送短信的预设号码、语音播报的类型和音量。

所述的语音报警装置、4G短信模块、客户中心服务器属于三种事件报警方式，当发生事件报警时，系统会通过语音报警装置进行现场播报并将事件截图和详细信息上传到客户中心服务器，同时通过4G短信模块将事件以短信的形式发送给相关单位或个人。通过多渠道的事件传播，避免了事件遗失和报警延迟，能够保证报警事件的实时传送。

以上内容是结合具体实现方式对本发明做的进一步阐述，不应认定本发明的具体实现只局限于以上说明。对于本技术领域的技术人员而言，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，均应视为有本发明所提交的权利要求确定的保护范围之内。

Claims (9)

1.一种行人监控和行为识别的方法，其特征在于：包括如下步骤:

（S1）对体感视频设备进行视频采集，获取相应的深度图像数据流和彩色图像数据流；

（S2）计算系统空间坐标-地面坐标转换矩阵，对深度信息进行地面投影，有效分割多人遮挡进入时的单个人体，并根据地面投影排除非人体目标；

（S3）获取目标个体的三维深度信息，根据深度信息定位人体15个关节的三维坐标；

（S4）建立人体三维模型；

（S5）获取人体的运动参数；

（S6）获取人体的行为特征并反馈处理结果。

2.根据权利要求1所述的行人监控和行为识别的方法，其特征在于:所述步骤（S2）中：先建立系统空间坐标系，通过彩色图像和深度图像进行双目标定，然后在视频流中画出监控区域的地面部分，进行地面标定，得到系统坐标-地面坐标转换矩阵，建立地面坐标系；利用系统坐标-地面坐标转换矩阵，将系统坐标系下的三维深度信息进行地面投影，得到监控区域内的地面投影；利用地面投影分割多行人进入时造成的互相遮挡和区域连接，并区分人体和非人体。

3.根据权利要求1所述的行人监控和行为识别的方法，其特征在于，所述步骤（S3）中，以系统空间坐标系为基准来确定人体骨骼关键关节的系统空间坐标，建立人体骨骼与系统空间的转换矩阵，确定人体15个骨骼关节的系统空间坐标。

4.根据权利要求1所述的行人监控和行为识别的方法，其特征在于:所述步骤（S4）中，利用检测到的人体骨骼点和地面投影对人体进行三维建模，确定人体各部分的物理位置和相对关系，确定人体在监控区域所处的位置以及上半身的深度信息分布以便建立人体三维模型。

5.根据权利要求1所述的行人监控和行为识别的方法，其特征在于:所述步骤（S5）中，分析行人一定时间段内的行为特征并与预设的事件特征进行比较，符合预设的事件特征时自动反馈相应的处理结果。

6.一种行人监控和行为识别的系统，其特征在于，包括:

体感视频设备和内设预警模块的处理器单元；所述体感视频设备通过USB接口连接所述处理器单元；所述预警模块进行图像采集、双目标定和地面标定、人体骨骼运动定位、人体点云地面投影、人体三维建模、人体运动跟踪、人体运动识别和事件处理。

7.根据权利要求6所述的行人监控和行为识别的系统，其特征在于，所述行人监控和行为识别的系统还包括：报警装置、信息处理模块和服务器单元；所述处理器单元分别连接所述报警装置、信息处理模块和服务器单元。

8.根据权利要求6所述的行人监控和行为识别的系统，其特征在于:所述体感视频设备安装在监控区域的斜上方，固定该体感视频设备的支架下端能够上下、左右、前后移动；所述体感视频设备进行360度转动。

9.根据权利要求6所述的行人监控和行为识别的系统，其特征在于:所述预警模块分析行人自进入监控区域到离开这一时间段的行为特征，并与预存的报警事件特征比较，符合预设的报警事件特征时自动通过报警装置进行报警，将报警事件信息上传至服务器单元，并通过信息处理模块发送给处理单位或个人。