CN111723633B - 一种基于深度数据的人员行为模式分析方法和系统 - Google Patents

Abstract

本发明提出一种基于深度数据的人员行为模式分析方法，包括：S1，部署多台距离传感器，采集检测区域内的深度数据；S2，对采集的深度数据进行处理，形成结构化数据；S3，分析目标的行为模式，判断目标的异常行为，如果异常，则告警。本发明能够实现：1)自动检测：对当前人员姿态进行实时监测，检测异常行为情况。出现异常行为时，自动告警。2)行为分析：对人员行为进行连续监测，为人员生活习惯、习性等进行分析。

Description

一种基于深度数据的人员行为模式分析方法和系统

技术领域

本发明涉及行人检测和点云智能化分析技术，更具体地，涉及一种基于深度数据的人员行为模式分析方法和系统。

背景技术

在室内环境中对人员进行视频监控，一般使用常规彩色摄像头人工监控人员行为，也有一些基于彩色视频运用机器视觉技术来自动监控人员行为。使用视频对人员进行监控，对异常行为进行监控，在安防领域具有重要作用。当前存在的问是：1、在一些司法安全领域，不适合使用常规彩色摄像，如何保护被监控人员一定的隐私。2、基于彩色视频运用机器视觉技术可以监控一定的人员行为，但是不能定位监控人员的空间信息。3、夜间监控，常规彩色摄像无法监控人员行为。4、视频监控异常的告警。

发明内容

为解决现有技术中的问题，本发明提出一种基于深度数据的人员行为模式分析方法，包括：S1，部署多台距离传感器，采集检测区域内的深度数据；S2，对采集的深度数据进行处理，形成结构化数据； S3，分析目标的行为模式，判断目标的异常行为，如果异常，则告警。

本发明还提出一种基于深度数据的人员行为模式分析系统，包括存储有计算机程序的存储器和能够执行所述计算机程序的处理器，所述计算机程序被执行时实现如下步骤：S1，部署多台距离传感器，采集检测区域内的深度数据；S2，对采集的深度数据进行处理，形成结构化数据；S3，分析目标的行为模式，判断目标的异常行为，如果异常，则告警。

本发明采用基于深度数据的人员行为模式分析技术对人员进行监控。在室内安装距离传感器，采集人员的深度数据，利用智能算法自动监控人员行为，对异常行为自动进行告警。解决了以下问题：1、自动检测：对当前人员姿态进行实时监测，检测异常行为情况。出现异常行为时，自动告警。2、行为分析：对人员行为进行连续监测，为人员生活习惯、习性等进行分析。

本发明的有益效果包括：1、高精度空间数据采集：毫米级识别精度。2、数据分辨能力强：物体精准识别、行为动作准确判别。 3、无需外部光照。不受夜晚、雾霭等外部环境影响。4、隐私保护：不识别面部信息。5、主动的智能化判断及预警：结构化数据，基于规则的数据检测和主动式预警。6、智能联动：基于规则判断结果驱动视频监控、声光告警等传统安防设备，协同联动。

附图说明

图1为本发明的方法的一个实施方式的流程图。

图2为本发明的方法的一个实施方式的流程图。

具体实施方式

下面参照附图描述本发明的实施方式。

如图1所示，本发明的一个实施方式的方法如下。

S1，部署多台距离传感器，采集检测区域内的深度数据。

距离传感器布置在空中，传感器将现有的应用层面从二维提升到三维空间，从空间视角呈现管理对象，以结构化的空间数据提升安防管理能力，实现精准数据支撑的主动式安防。

每个距离传感器为一个客户端，通过无线LSN进行通信，传感器采集的收据返回到主机服务器。主机服务器可查看各台传感器的工作状态，利用数据同化算法，可收集、统合所有传感器的数据，形成上帝视角，实时查看整个区域内的人群流动状况。

距离传感器通过面扫描方式发射并接收非可见光光束，获取每一帧的扫描数据。该数据包括被扫描物体到传感器的距离、扫描时间和扫描频率。

优选地，在数据采集之前，需要对距离传感器进行如下处理：

1、同步：数据采集开始前，各客户端需要进行时间同步。即使在采集前各设备进行了时间同步，采集PC、传感器在长时间工作中，仍会有稍许时间误差，需要在后期手动消除这些误差，使其数据时间完全一致。

2、配准：使多台传感器数据点云放置在一个世界坐标显示，形成上帝视角；选取原始点云数据空间中一个平面数据点，如地面数据点，将地面数据点转换为同一平面数据点，通过最小二乘方法使得地面数据点与此平面的距离最小，从而获取一个变换参数，再计算各传感器的相对坐标。

S2，对采集的深度数据进行处理，形成结构化数据。所述步骤S2 包括：

S21，对深度数据进行预处理，包括：1)数据去噪：由于硬件设备和实际环境的影响，深度传感器采集到的深度数据有部分噪声，根据各数据点邻域信息，设置一定大小的滤波算子，使用二维卷积运算，去除无效数据点，可以提升目标检测精度；2)数据归一化：由于实际环境的影响，深度传感器采集到的深度数据中有部分无效距离数据。通过选择有效的检测距离，将距离值转换线性变换到[0-1]之间，这种归一化深度数据可以消除不同目标距离远近对检测的影响，有利于提到目标检查精度；

S22，对预处理后的深度数据，根据采集时间、数据大小、深度数据和点云数据等信息，按照需要制作深度数据数据库，用于目标检测、实时告警、行为分析等任务。

S3，分析目标的行为模式，判断目标的异常行为，如果异常，则告警。具体地，将深度数据与已经确定的后台模型库进行比对，得出目标的行为模式信息，由此断定目标属于坐姿、站姿或是躺姿等。

在分析目标的行为模式时，具体包括如下步骤：

S31、采集、标注目标的行为模式。对当前深度数据进行深度学习检测分析，根据目标任务对获取的结构化数据进行人工标注，标注类别为坐姿、站姿或是躺姿等，标注信息为目标在深度图像中的边界信息。

S32、通过深度神经网络训练一个目标位置和类别检测的分类器。对当前深度数据进行预处理，使用训练得到的目标检测模型，前向运算得到当前帧的目标检测结果，检测目标是否为坐姿、站姿或躺姿等姿态信息；结合对应目标的点云空间信息获取目标所在的坐标位置；最后得到目标的空间位置信息和行为模式类别。

深度神经网络可以采用SSD网络结构(参见Liu W,Snguelov D, ErhSn D,etSl.SSD:Single Shot MultiBox Detector)，通过网络输出结果和标注真实结果差距不断训练网络参数。本发明的目的是检测人员的位置和类别信息，深度学习SSD网络结构结合使用卷积运算和回归分析来获取目标的位置和类别。SSD网络结构使用卷积运算获取目标的特征信息，回归分析获取目标的位置和类别，再结合多尺度特征信息精精确定目标位置。

S33、用得到的行为模式分类器预测深度数据中目标的行为类别，根据检测得到的类别结果判断异常行为，检测到异常行为时进行告警。当获取到目标的空间坐标位置和姿态类别后，可以确定检测区域内人员的目标位置和姿态，再通过人员时序性的空间位置和姿态信息，可以判断人员的行为。最后对行为进行检测，当出现不规范或违规行为时，触发告警机制，实时告警。如在某一被监控的房间内，出现人员超高自缢行为时，后台检测软件会检测出有人员在一定位置持续出现高度异常，从而实时触发超高自缢告警；如在某一被监控的房间内，出现人员未在指定时间内休息时，后台检测软件会检测出有人员未在指定时间躺下休息，从而实时触发行为不规范告警。

S4，对目标行为进行分析。

融合多个距离传感器检测结果，根据长期的行为数据对目标生活习惯进行分析。获取目标的空间位置和姿态类别后，可以实时监测目标人员的状态，也可以获取目标的长时间内的状态信息。对目标长时间内的状态信息的分析包括：

1)运动轨迹分析：根据目标人员的位置和姿态，获取目标人员的运动和动作轨迹；

2)作息习惯分析：根据目标人员的位置和姿态，获取目标人员的起讫睡觉时间、睡觉时长和睡觉质量等信息，从而得到目标人员的作息习惯；

3)交流习惯分析：根据目标人员的位置和姿态，获取目标人员与其他人员的交流频率、交流时间和独自状态等信息，从而得到目标人员的交流习惯。可对目标人员心理分析和心理治疗等；

本发明可以对室内人员姿态进行智能识别，室内监控可以应用在以下场景：1、学校、幼儿园、司法机构和政府机构等室内监控预警：对人群聚集、人群行为异常和个体行为异常等，实现实时侦测、预警。 2、交通枢纽、公共场所群体性事件和异常事件预警：实时掌握乘客的分布、区域密度、行动速度，规划应急疏导的科学化路径，与广播系统联动的越界告警、非法闯入告警、聚集告警。

以上所述仅是本发明较优选的具体实施方式，应当指出，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (8)

1.一种基于深度数据的人员行为模式分析方法，其特征在于，包括：

S1，部署多台距离传感器，采集检测区域内的深度数据；

S2，对采集的深度数据进行处理，形成结构化数据；

S3，分析目标的行为模式，判断目标的异常行为，如果异常，则告警，包括：S31，采集、标注目标的行为模式：对当前深度数据进行深度学习检测分析，根据目标任务对获取的结构化数据进行人工标注；S32，通过深度神经网络训练一个目标位置和类别检测的分类器；S33，用得到的行为模式分类器预测深度数据中目标的行为类别，根据检测得到的类别结果判断异常行为，检测到异常行为时进行告警；

其中，步骤33还包括：根据获取到的目标的空间坐标位置和姿态类别来确定检测区域内人员的目标位置和姿态，再通过人员时序性的空间位置和姿态信息，从而判断人员的行为。

2.根据权利要求1所述的方法，其特征在于，在步骤S1中，还包括：

1)数据采集开始前，时间同步各个距离传感器；

2)对各个距离传感器进行配置，计算各个传感器的相对坐标。

3.根据权利要求1所述的方法，其特征在于，在步骤S2中，还包括：

S21，对深度数据进行预处理，包括数据去噪和数据归一化；

S22，对预处理后的深度数据，根据采集时间、数据大小、深度数据和点云数据信息，按照需要制作深度数据数据库。

4.根据权利要求3所述的方法，其特征在于，步骤S3还包括：

1)对当前深度数据进行预处理，使用训练得到的目标检测模型，前向运算得到当前帧的目标检测结果，检测目标是否为坐姿、站姿或躺姿的姿态信息；

2)结合对应目标的点云空间信息获取目标所在的坐标位置；

3)得到目标的空间位置信息和行为模式类别。

5.根据权利要求4所述的方法，其特征在于，步骤S33还包括：

使用SSD网络结构来进行训练，通过网络输出结果和标注真实结果差距不断训练网络参数。

6.一种基于深度数据的人员行为模式分析系统，其特征在于，包括存储有计算机程序的存储器和能够执行所述计算机程序的处理器，所述计算机程序被执行时实现如下步骤：

S1，部署多台距离传感器，采集检测区域内的深度数据；

S2，对采集的深度数据进行处理，形成结构化数据；

S3，分析目标的行为模式，判断目标的异常行为，如果异常，则告警，包括： S31，采集、标注目标的行为模式：对当前深度数据进行深度学习检测分析，根据目标任务对获取的结构化数据进行人工标注；S32，通过深度神经网络训练一个目标位置和类别检测的分类器；S33，用得到的行为模式分类器预测深度数据中目标的行为类别，根据检测得到的类别结果判断异常行为，检测到异常行为时进行告警；

其中，步骤S33还包括：根据获取到的目标的空间坐标位置和姿态类别来确定检测区域内人员的目标位置和姿态，再通过人员时序性的空间位置和姿态信息，从而判断人员的行为。

7.根据权利要求6所述的系统，其特征在于，

步骤S1还包括：1)数据采集开始前，时间同步各个距离传感器；2)对各个距离传感器进行配置，计算各个传感器的相对坐标；

步骤S2还包括：S21，对深度数据进行预处理，包括数据去噪和数据归一化；S22，对预处理后的深度数据，根据采集时间、数据大小、深度数据和点云数据信息，按照需要制作深度数据数据库。

8.根据权利要求7所述的系统，其特征在于，

步骤S32还包括：1)对当前深度数据进行预处理，使用训练得到的目标检测模型，前向运算得到当前帧的目标检测结果，检测目标是否为坐姿、站姿或躺姿的姿态信息；2)结合对应目标的点云空间信息获取目标所在的坐标位置；3)得到目标的空间位置信息和行为模式类别；

使用SSD网络结构来进行训练，通过网络输出结果和标注真实结果差距不断训练网络参数。

Images