CN108830215A - 基于人员骨架信息的危险行为识别方法 - Google Patents

Abstract

本发明提出了一种基于人员骨架信息的危险行为识别方法，首先建立行为数据库并划分正常行为和异常行为；提取骨架长度信息的标准值；对行为数据库中的骨架关节位置信息进行预处理；对预处理后的关节位置数据构造成图像；将构造的图像进行神经网络训练，得到行为识别模型；通过深度摄像头采集监控区域的人员图片，同时获取人员骨架关节位置信息，将数据存储至待识别数据库；将采集的人员骨架关节位置信息进行预处理；将预处理后的的关节位置数据构造成图像；对构造的图像导入至识别模型中，进行行为识别；判断待检测的行为与行为数据库进行比对，判定是否属于异常行为。本发明可实现对人员的异常行为进行识别。

Description

基于人员骨架信息的危险行为识别方法

技术领域

本发明属于计算机视觉生产安全监控领域，特别是一种基于人员骨架信息的危险行为识别方法。

背景技术

目前，随着我国制造业信息化和制造车间数字化正处于迅速发展阶段，车间工作人员的数量随之减少，但不可否认，工人依旧是一个工厂保持高效正常运转的重要因素。

不同于工业机器人或者工厂的设备设施，具有较为独立的工作空间，工人的活动范围不仅仅局限于工人所处的工位，而是工厂的各个角落。因此，制定相应的规章守则，对人员进行统一管理，保证生产的安全，具有重要的意义。然而对于生产的重点区域的，仅依靠规章制度并不能达到良好的效果，因此需要在这些区域对人员行为进行监控，从而保证安全生产的有效进行。

传统的安防监控系统所获取的数据，多是未经过处理的RGB图片，对于这种视频数据的处理，大多需要人工参与，并且由工作人员长期注视监控画面才能对异常行为进行预警以及响应。而此种方法对工作人员有着严格的要求。人长期注视某件事物时，会因其枯燥乏味而产生视觉疲劳，降低工作效率和识别准确度。导致会误报或者漏掉一些安全隐患，造成严重的后果。此外，传统的安防系统还占用了大量的人力资源，降低企业生产效率。

发明内容

本发明的目的在于提供一种安全监控的系统，该系统是基于人员点云数据提取的骨架信息，通过骨架信息的变化建立行为识别模型，对人员行为进行识别。

实现本发明目的的技术解决方案为：

一种基于人员骨架信息的危险行为识别方法，包括以下步骤：

步骤1、建立行为数据库并划分正常行为和异常行为：对人员行为进行分类通过深度摄像机获得正常行为和异常行为的骨架关节位置信息，并存储至数据库中；

步骤2、提取骨架长度信息的标准值：对骨架关节位置数据进行标准化，将数据集中的人体尺寸化为统一的标准；

步骤3、对行为数据库中的骨架关节位置信息进行预处理：对行为数据库中的骨架数据进行标准化，得出标准化的人体骨架关节位置数据；

步骤4、对预处理后的关节位置数据构造成图像；

步骤5、将构造的图像进行神经网络训练，得到行为识别模型；

步骤6、通过深度摄像头采集监控区域的人员图片，同时获取人员骨架关节位置信息，将数据存储至待识别数据库；

步骤7、对采集的人员骨架关节位置信息进行预处理；

步骤8、将预处理后的的关节位置数据构造成图像；

步骤9、对构造的图像导入至识别模型中，进行行为识别；

步骤10、异常行为判定：判断待检测的行为与行为数据库进行比对，判定是否属于异常行为。

本发明与现有技术相比，其显著优点：

(1)本发明提出了一种无人智能监控的方法，通过训练的行为识别模型，能够实现无需人工参与，即可识别异常行为，以实现监控的无人化。

(2)通过骨架数据标准化的方式能够减小个体差异对行为识别的影响，提高了行为识别判断的准确性，具有较好的实用性；

(3)将基于时间序列的行为识别问题转换为图像识别问题，应用更为成熟简洁的识别算法，对行为进行更为高效的识别。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明实施具体执行流程图。

图2为人体主要关节点标号图。

图3为数据预处理前后效果对比图。

图4为模型数据处理流程图。

图5为图4中原始数据示意图。

图6为图4中局部(16帧)数据示意图。

图7为图4中关节距离数据示意图。

具体实施方式

为了说明本发明的技术方案及技术目的，下面结合附图及具体实施例对本发明做进一步的介绍。

本发明的一种基于人员骨架信息的危险行为识别方法，包括以下步骤：

步骤1、建立行为数据库并划分正常行为和异常行为：

1.1、对人员行为进行分类：首先将待检测的行为actionClass进行分类，包括正常行为和异常行为；

如在生产车间中，可能涉及的待检测的行为actionClass有搬运，喝水，敲打，抽烟等，在行为样本库中，搬运，喝水，敲打属于正常行为，抽烟属于异常行为，正常行为数据包括搬运，喝水，敲打动作的骨架关节位置信息；异常行为数据包括抽烟动作的骨架关节位置信息。

1.2、对分类后的行为进行采集，通过深度摄像机获得正常行为和异常行为的骨架关节位置信息，并存储至数据库中。

采集的数据为actionData，是由不定长个frameData数据组成，每帧frameData在actionData占据一行，frameData表示单帧图片的骨架关节位置数据；

frameData＝{x₁，y₁，z₁，...，x_i，y_i，z_i}

式中，x_i，y_i，z_i表示深度摄像机采集的第i个关节点的坐标(该坐标系的原点是深度摄像头，X轴遵循笛卡尔直角坐标系，Y轴垂直向上，Z轴是深度摄像头的光轴并向采集方向)；

式中，m代表的是这一组数据的帧数；

优选的，所述深度摄像机采用微软Kinect；Kinect获取得到的人员骨架信息数据是一组包含人体25个主要关节点(见图2)的数据，每个关节点的数据有3个，分别为该关节点在笛卡尔坐标系中的X，Y，Z三个坐标轴的值，该坐标系为Kinect自带坐标系，该坐标轴的坐标原点位于Kinect的红外相机中心；X轴方向为顺着Kinect的照射方向的左方向，Y轴方向为顺着Kinect的照射方向的上方向，Z轴方向为顺着Kinect的照射方向。

步骤2、提取骨架长度信息的标准值：

对骨架关节位置数据进行标准化，将数据集中的人体尺寸化为统一的标准，减少不同个体间由于身高，体态等导致的差异。

此处的行为数据集，优选的采用南洋理工大学在2016年推出的大型人员行为数据集(NTURGB+D dataset)中的人员行为数据，对骨架数据标准化。该数据集包含了5万多组行为数据，包含数据量大、动作丰富、不同种族、不同性别，样本类型丰富。遍历NTU RGB+Ddataset中的骨架数据，剔除所有存在异常值的帧。

2.1、对行为数据集中的数据进行异常值剔除：对于采集到的数据的异常值(误将桌子，椅子等识别为人员)，需要对该异常值进行剔除，具体为：

2.1.1、计算四肢长度：四肢包括左手腕-左肘长度lenth_{7_6}，右手腕-右肘长度lenth_{11_10}，左膝-左脚踝长度lenth_{14_15}，右膝-右脚踝长度lenth_{18_19}，计算如下：

其中，x₇，y₇，z₇表示左手腕的坐标值；x₆，y₆，z₆表示左肘的坐标值；x₁₀，y₁₀，z₁₀表示右手腕的坐标值；x₁₁，y₁₁，z₁₁表示右肘的坐标值；x₁₄，y₁₄，z₁₄表示左膝的坐标值；x₁₅，y₁₅，z₁₅表示左脚踝的坐标值；z₁₈，y₁₈，z₁₈表示右膝的坐标值；z₁₉，y₁₉，z₁₉表示右脚踝的坐标值；

2.1.2、计算相对比例：计算提取数据中每一帧的左、右肢体相对比例D，具体如下：

2.1.3、删除异常值：遍历人员行为数据集中的骨架数据，剔除所有存在异常值的帧。

设定异常值阈值T，若左、右肢体的相对比例D大于阈值T则删除该帧数据，否则保留该数据。

2.2、坐标变换：由于摄像头采集到的原始数据坐标系的原点并不位于人体中，需对该坐标进行转换，使坐标原点位于人体臀部中心(x₁，y₁，z₁)的位置，即图2中1号关节点位置。具体转换方法如下：

式中x_i，y_i，z_i表示转换后的在第i个关节节点的在新坐标系下的坐标值；

则：

frameData_new＝{x₁，y₁，z₁，...，x_i，y_i，z_i}

新得到的frameData_new即为转换后的以关节点1(臀部中心)为原点的坐标系的单帧图片骨架关节位置信息。

2.3、提取骨骼标准长度：遍历一帧数据，对于重要关节点，取所有节点长度的平均值作为标准值；对于非重要关节点之间的距离使用其原始值即可。

用符号sta_d_{j_}k表示关节点j和关节点k之间长度的标准值，n表示人员行为数据集的所有帧数；

(1)对于重要关节点，标准值sta_d_{j_k}的计算方式为：

(2)对于非重要关节点，标准值sta_d_{j_k}的计算方式为：

通过上述两个公式，即可计算出关键关节点间和非关键关节点间长度标准值。

优选的，当选取25个关节节点时，依次计算指定15个重要关节点(图2中的关节点1：臀中部；关节点2：脊柱；关节点5：左肩；关节点6：左肘；关节点8：左手；关节点9：右肩；关节点10：右肘；关节点12：右手；关节点13：左臀；关节点14：左膝；关节点15：左脚踝；关节点17：右臀；关节点18：右膝；关节点19：右脚踝；关节点21：肩膀中部)之间的距离，包括了14个骨骼的长度(sta_d_{1_2}：臀中部-脊柱；sta_d_{10_11}：右肘-右手腕；sta_d_{2_21}：脊柱-肩中部；sta_d_{21_5}：肩膀部-左肩；sta_d_{21_9}：肩膀部-右肩；sta_d_{5_6}：左肩-左肘；sta_d_{9_10}：右肩-右肘；sta_d_{6_7}：左肘-左手腕；sta_d_{1_13}：臀中部-左臀；sta_d_{1_17}：臀中部-右臀；sta_d_{13_14}：左臀-左膝；sta_d_{17_18}：右臀-右膝；sta_d_{18_19}：右膝-右脚踝；sta_d_{14_15}：左膝-左脚踝)；

对于其他的非重要关节点之间的距离(sta_d_{19_20}：右脚踝-右脚；sta_d_{15_16}：左脚踝-左脚；sta_d_{7_23}：左手腕-左大拇指；sta_d_{7_8}：左手腕-左手；sta_d_{8_22}：左手-左手指尖；sta_d_{11_12}：右手腕-右手；sta_d_{11_25}：右手腕-右大拇指；sta_d_{12_24}：右手-右手指尖；sta_d_{21_3}：肩膀中部-颈；sta_d_{3_4}：颈-头)，鉴于其对识别结果影响较小，此处不对该值进行标准化，即使用其原始值即可：

步骤3、对行为数据库中的骨架关节位置信息进行预处理：

3.1、对行为数据库中的数据进行异常值剔除，方法与步骤2.1的相同，区别的是此处的骨架关节位置信息是来源于行为数据库中的骨架关节位置数据。

3.2、对行为数据库中的骨架关节位置进行坐标变换：方法与步骤2.2的相同。

3.3、对骨架数据进行标准化：由步骤2可以获得骨架长度的标准值sta_d_{j_k}，通过骨架长度的标准值sta_d_{j_k}和坐标向量的方向即可对骨架坐标进行重构。表示由关节节点j和关节节点k两个关节点构成的向量：

通过关节间的向量关系，可以得到关节点的各个关节点之间的向量和长度，并据此计算标准化的人体骨架位置数据：

式中，表示的是从关节点1到关节点t的方向向量，代表的是由关节点s_k-1到关节点s_k的向量，该向量是关节点1到关节点t的中间向量，此时(x′_t，y′_t，z′_t)代表的是标准化之后，关节点t在新坐标系下的坐标值。

对每一个关节点都进行上述计算，得出标准化的人体骨架关节位置数据：

frameData_sta＝{x′₁，y′₁，z′₁，...，x′_i，y′_i，z′_i}

式中，frameData_sta即为标准化处理后的一帧的骨架数据；

步骤4、对预处理后的关节位置数据构造成图像：

4.1、读取行为数据库中的数据actionData，对此数据逐帧按照步骤3进行预处理，返回不定长的行为数据actionData_sta，即：

4.2等间距随机获取f帧行为数据：对于不定长的行为数据actionData_sta，等间距分成f份(若无法整除，舍去末尾几帧)，再分别从f份中随机取出一帧，组成新的行为数据actionData_new。

4.3、计算距离特征：计算actionData_new中人体的主要关节点到对行为识别影响较大的关节点的距离distanceFrameData_c：

式中，d_{c_1},d_{c_2},…,d_{c_21}分别代表人体的主要关节点c到对行为识别影响较大的关节点之间的距离。将这些点距离汇总，即可得到distanceFrameData_c；

其中，人体的主要关节点包括关节点5(左肩)，关节点9(右肩)，关节点13(左臀)，关节点17(右臀)，位置相对稳定。

对行为识别影响较大的关节点包括，关节点1(臀中部)，关节点2(脊柱)，关节点4(头)，关节点5(左肩)，关节点6(左肘)，关节点8(左手)，关节点9(右肩)，关节点10(右肘)，关节点12(右手)，关节点13(左臀)，关节点14(左膝)，关节点15(左脚踝)，关节点17(右臀)，关节点18(右膝)，关节点19(右脚踝)，关节点21(肩膀中部)。

4.4构建输入数据inputData：输入数据合并，在步骤3.3中，计算距离特征之后，可以得到16个行为识别影响较大的关节点到4个主要关节点的距离，分别是distanceFrameData₅，distanceFrameData₉，distanceFrameData₁₃，distanceFrameData₁₇。此处，将这四个距离数据合并，即可构成数据inputData:

此处inputData为一个2f×32的矩阵；

步骤5、将构造的图像进行神经网络训练，得到行为识别模型；

5.1建立模型：使用python建立VGG19图像识别模型，加载预训练权重，并删除最后三层全连接层的权重。

5.2将步骤3.4中的数据导入此模型中，进行指定轮数的模型训练，在训练过程中调整学习率，达到良好的训练效果，即当学习率上升和损失函数下降到趋于平缓时结束模型训练并保存模型。

步骤6、通过深度摄像头采集监控区域的人员图片，同时获取人员骨架关节位置信息，并按照步骤1.2的方式，将数据存储至待识别数据库(该数据库用于存储监控区域人员图片和骨架关节位置信息，该信息用于后续的识别)。区别在于此处存储至数据库中不区分正常行为和异常行为。

步骤7、对步骤6采集的人员骨架关节位置信息进行预处理：

预处理与步骤3的过程一样。区别在于每一次数据提取，按照数据在待识别数据库中的存储时间顺序，提取最新的指定帧数数据，并用此数据进行预处理以及后期的行为识别。

步骤8、将步骤7预处理后的的关节位置数据构造成图像：构造图像步骤与步骤4的图像构造相同。

步骤9、对步骤8构造的图像导入至步骤5构造的识别模型中，进行行为识别：

将步骤7中的图像导入至神经网络模型中，调用python的predict函数，即可对此次输入进行一次行为识别，输出结果为dataOut：

dataOut＝{probability，actionClass}

式中，probability表示的是在步骤5的行为识别模型中，识别结果的置信度。

步骤10、异常行为判定：

在步骤9中，输出结果dataOut包含的信息中提取待检测的行为actionClass，判断待检测的行为actionClass在步骤1中是否属于异常行为，若为异常行为，则判断probability的值。此处设置行为识别置信度的阈值，若probability大于阈值，则判定该行为是异常行为，并返回至步骤6，继续下一序列判断，若为正常行为，则直接返回步骤6，继续进行下一行为序列判断。

实施例

步骤1、建立行为数据库并划分正常行为和异常行为：

1.1、对人员行为进行分类：首先将待检测的行为actionClass分为正常行为和异常行为；在生产车间的某一指定区域，涉及的行为actionClass有搬运，喝水，敲打，抽烟，在行为数据库中，搬运，喝水，敲打属于正常行为，抽烟属于异常行为；

1.2、对分类后的行为进行采集，通过Kinect获得正常行为和异常行为的骨架关节位置信息，并存储至数据库中。

采集的数据为actionData，是由不定长个frameData数据组成，每帧frameData在actionData占据一行，frameData表示单帧图片的骨架关节位置数据；

frameData＝{x₁，y₁，z₁，...，x₂₅，y₂₅，z₂₅}

Kinect获取得到的人员骨架信息数据是一组包含人体25个主要关节点(见图2)，关节名称和关节标号之间的对应关系如表1所示，每个关节点的数据有3个，分别为该关节点在笛卡尔坐标系中的X，Y，Z三个坐标轴的值，该坐标系为Kinect自带坐标系，该坐标轴的坐标原点位于Kinect的红外相机中心；X轴方向为顺着Kinect的照射方向的左方向，Y轴方向为顺着Kinect的照射方向的上方向，Z轴方向为顺着Kinect的照射方向。

表1人体骨架关节序号对照表

步骤2、提取骨架长度信息的标准值：

对骨架关节位置数据进行标准化，将数据集中的人体尺寸化为统一的标准，减少不同个体间由于身高，体态等导致的差异。

采用南洋理工大学在2016年推出的大型人员行为数据集(NTURGB+D dataset)中的人员行为数据，对骨架数据标准化。

2.1、对NTURGB+D dataset中的数据进行异常值剔除：对于采集到的数据的异常值(误将桌子，椅子等识别为人员)，需要对该异常值进行剔除，具体为：

2.1.1、计算四肢长度：四肢包括左手腕-左肘长度lenth_{7_6}，右手腕-右肘长度lenth_{11_10}，左膝-左脚踝长度lenth_{14_15}，右膝-右脚踝长度lenth_{18_19}，计算如下：

其中，x₇，y₇，z₇表示左手腕的坐标值；x₆，y₆，z₆表示左肘的坐标值；x₁₀，y₁₀，z₁₀表示右手腕的坐标值；x₁₁，y₁₁，z₁₁表示右肘的坐标值；x₁₄，y₁₄，z₁₄表示左膝的坐标值；x₁₅，y₁₅，z₁₅表示左脚踝的坐标值；x₁₈，y₁₈，z₁₈表示右膝的坐标值；x₁₉，y₁₉，z₁₉表示右脚踝的坐标值；

2.1.2、计算相对比例：计算提取数据中每一帧的左、右肢体相对比例D，具体如下：

2.1.3、删除异常值：遍历人员行为数据集中的骨架数据，剔除所有存在异常值的帧。

设定异常值阈值T＝1.5，若左、右肢体的相对比例D大于阈值1.5则删除该帧数据，否则保留该数据。

2.2、坐标变换：由于摄像头采集到的原始数据坐标系的原点并不位于人体中，需对该坐标进行转换，使坐标原点位于人体臀部中心(x₁，y₁，z₁)的位置，即图2中1号关节点位置。具体转换方法如下：

式中，x_i，y_i，z_i表示转换后的在第i个关节节点的在新坐标系下的坐标值；

则：

frameData_new＝{x₁，y₁，z₁，...，x₂₅，y₂₅，z₂₅}

新得到的frameData_new即为转换后的以关节点1(臀部中心)为原点的坐标系的单帧图片骨架关节位置信息。

2.3、提取骨骼标准长度：遍历一帧数据，对于重要关节点，取所有节点长度的平均值作为标准值；对于非重要关节点之间的距离使用其原始值即可。

用符号sta_d_{j_k}表示关节点j和关节点k之间长度的标准值，n表示NTURGB+Ddataset的所有帧数；

(1)对于重要关节点，标准值sta_d_{j_k}的计算方式为：

其中j，k∈i

(2)对于非重要关节点，标准值sta_d_{j_k}的计算方式为：

其中j，k∈i

依次计算指定15个重要关节点(图2中的关节点1：臀中部；关节点2：脊柱；关节点5：左肩；关节点6：左肘；关节点8：左手；关节点9：右肩；关节点10：右肘；关节点12：右手；关节点13：左臀；关节点14：左膝；关节点15：左脚踝；关节点17：右臀；关节点18：右膝；关节点19：右脚踝；关节点21：肩膀中部)之间的距离，包括了14个骨骼的长度(sta_d_{1_2}：臀中部-脊柱；sta_d_{10_11}：右肘-右手腕；sta_d_{2_21}：脊柱-肩中部；sta_d_{21_5}：肩膀部-左肩；sta_d_{21_9}：肩膀部-右肩；sta_d_{5_6}：左肩-左肘；sta_d_{9_10}：右肩-右肘；sta_d_{6_7}：左肘-左手腕；sta_d_{1_13}：臀中部-左臀；sta_d_{1_17}：臀中部-右臀；sta_d_{13_14}：左臀-左膝；sta_d_{17_18}：右臀-右膝；sta_d_{18_19}：右膝-右脚踝；sta_d_{14_15}：左膝-左脚踝)；

对于其他的非重要关节点之间的距离(sta_d_{19_20}：右脚踝-右脚；sta_d_{15_16}：左脚踝-左脚；sta_d_{7_23}：左手腕-左大拇指；sta_d_{7_8}：左手腕-左手；sta_d_{8_22}：左手-左手指尖；sta_d_{11_12}：右手腕-右手；sta_d_{11_25}：右手腕-右大拇指；sta_d_{12_24}：右手-右手指尖；sta_d_{21_3}：肩膀中部-颈；sta_d_{3_4}：颈-头)，鉴于其对识别结果影响较小，此处不对该值进行标准化，即使用其原始值即可通过上述两个公式，即可计算出关键关节点间和非关键关节点间长度标准值。其中，对于重要关节点的长度代号，长度含义以及标准值如表2所示。

表格2

对于其他的非重要关节点之间的距离(sta_d_{19_20}：右脚踝-右脚；sta_d_{15_16}：左脚踝-左脚；sta_d_{7_23}：左手腕-左大拇指；sta_d_{7_8}：左手腕-左手；sta_d_{8_22}：左手-左手指尖；sta_d_{11_12}：右手腕-右手；sta_d_{11_25}：右手腕-右大拇指；sta_d_{12_24}：右手-右手指尖；sta_d_{21_3}：肩膀中部-颈；sta_d_{3_4}：颈-头)，鉴于其对识别结果影响较小，此处不对该值进行标准化，即使用其原始值即可。

步骤3、对行为数据库中的骨架关节位置信息进行预处理：

3.1、对行为数据库中的数据进行异常值剔除，方法与步骤2.1的相同，区别的是此处的骨架关节位置信息是来源于行为数据库中的骨架关节位置数据。

3.2、对行为数据库中的骨架关节位置进行坐标变换：方法与步骤2.2的相同。

3.3、对骨架数据进行标准化：由步骤2可以获得骨架长度的标准值sta_d_{j_k}，通过骨架长度的标准值sta_d_{j_k}和坐标向量的方向即可对骨架坐标进行重构。表示由关节节点j和关节节点k两个关节点构成的向量：

通过关节间的向量关系，可以得到关节点的各个关节点之间的向量和长度，并据此计算标准化的人体骨架位置数据：

式中，表示的是从关节点1到关节点t的方向向量，代表的是由关节点s_k-1到关节点s_k的向量，该向量是关节点1到关节点t的中间向量，此时(x′_t，y′_t，z′_t)代表的是标准化之后，关节点t在新坐标系下的坐标值。

对每一个关节点都进行上述计算，出标准化的人体骨架关节位置数据：

frameData_sta＝{x′₁，y′₁，z′₁，...，x′₂₅，y′₂₅，z′₂₅}

式中，frameData_sta即为标准化处理后的一帧的骨架数据，图3为处理前后的效果对比图，其中图3-a1和图3-b1分别表示的身高是1.5m和身高1.8m的人在数据预处理前的示意图，图3-a2和图3-b2表示的是两个人在数据预处理后的示意图，图中将不同身高的两个人转换通过骨架标准化转化为统一的身高大小。

步骤4、对预处理后的关节位置数据构造成图像：结合图4-图7；

4.1、读取行为数据库中的数据actionData，对此数据逐帧按照步骤3进行预处理，返回不定长的行为数据actionData_sta，即：

4.2等间距随机获取16帧行为数据：对于不定长的行为数据actionData_sta，等间距分成16份(若无法整除，舍去末尾几帧)，再分别从16份中随机取出一帧，组成新的行为数据actionData_new。

4.3、计算距离特征：计算actionData_new中人体的主要关节点到对行为识别影响较大的关节点的距离distanceFrameData_c：

式中，d_{c_1},d_{c_2},…,d_{c_21}分别代表人体的主要关节点c到对行为识别影响较大的关节点之间的距离。将这些点距离汇总，即可得到distanceFrameData_c；

其中，人体的主要关节点包括，关节点5(左肩)，关节点9(右肩)，关节点13(左臀)，关节点17(右臀)，位置相对稳定。

对行为识别影响较大的关节点包括，关节点1(臀中部)，关节点2(脊柱)，关节点4(头)，关节点5(左肩)，关节点6(左肘)，关节点8(左手)，关节点9(右肩)，关节点10(右肘)，关节点12(右手)，关节点13(左臀)，关节点14(左膝)，关节点15(左脚踝)，关节点17(右臀)，关节点18(右膝)，关节点19(右脚踝)，关节点21(肩膀中部)。

4.4构建输入数据：输入数据合并，在步骤3.3中，计算距离特征之后，可以得到16个行为识别影响较大的关节点到4个主要关节点的距离，分别是distanceFrameData₅，distanceFrameData₉，distanceFrameData₁₃，distanceFrameData₁₇。此处，将这四个距离数据合并，即可构成数据inputData:

此处inputData为一个32×32的矩阵；

步骤5、将构造的图像进行神经网络训练，得到行为识别模型；

5.1.1建立模型：使用python建立VGG19图像识别模型，加载预训练权重，并删除最后三层全连接层的权重。

5.1.2将步骤3.4中的数据导入此模型中，进行140轮的模型训练，在训练过程中，前80轮使用0.01的学习率进行训练，后60轮使用0.001的学习率进一步训练。当训练结束即保存行为识别模型。

步骤6、通过深度摄像头采集监控区域的人员图片，同时获取人员骨架关节位置信息，并按照步骤1.2的方式，将数据存储至待识别数据库(该数据库用于存储监控区域人员图片和骨架关节位置信息，该信息用于后续的识别)。区别在于此处存储至数据库中不区分正常行为和异常行为。

步骤7、对步骤6采集的人员骨架关节位置信息进行预处理：

预处理与步骤3的过程一样。区别在于每一次数据提取，按照数据在待识别数据库中的存储时间顺序，提取最新的300帧数据，并用此数据进行预处理以及后期的行为识别。

步骤8、将步骤7预处理后的的关节位置数据构造成图像：构造图像步骤与步骤4的图像构造完全相同。

步骤9、对步骤8构造的图像导入至识别模型中，进行行为识别：

将步骤7中的图像导入至神经网络模型中，调用python的predict函数，即可对此次输入进行一次行为识别，输出结果为dataOut：

dataOut＝{probability，actionClass}

式中，actionClass表示的识别行为类型，probability表示的是在步骤5的行为识别模型中，识别结果的置信度。

步骤10、异常行为判定以及数据存储：

在步骤8中，dataOut包含的信息中提取actionClass，判断actionClass在步骤1中是否属于异常行为，若为异常行为，则判断probability的值。此处设置行为识别置信度的阈值为0.8，若probability大于0.8，则判定该行为是异常行为，保存将此判断结果以及系统当前时间保存，并返回至步骤6，继续下一序列判断；若为正常行为，则直接返回步骤6，继续进行下一行为序列判断。

Claims (9)

1.一种基于人员骨架信息的危险行为识别方法，其特征在于，包括以下步骤：

步骤1、建立行为数据库并划分正常行为和异常行为：对人员行为进行分类通过深度摄像机获得正常行为和异常行为的骨架关节位置信息，并存储至数据库中；

步骤2、提取骨架长度信息的标准值：对骨架关节位置数据进行标准化，将数据集中的人体尺寸化为统一的标准；

步骤3、对行为数据库中的骨架关节位置信息进行预处理：对行为数据库中的骨架数据进行标准化，得出标准化的人体骨架关节位置数据；

步骤4、对预处理后的关节位置数据构造成图像；

步骤5、将构造的图像进行神经网络训练，得到行为识别模型；

步骤6、通过深度摄像头采集监控区域的人员图片，同时获取人员骨架关节位置信息，将数据存储至待识别数据库；

步骤7、对采集的人员骨架关节位置信息进行预处理；

步骤8、将预处理后的的关节位置数据构造成图像；

步骤9、对构造的图像导入至识别模型中，进行行为识别；

步骤10、异常行为判定：判断待检测的行为与行为数据库进行比对，判定是否属于异常行为。

2.根据权利要求1所述的基于人员骨架信息的危险行为识别方法，其特征在于，步骤1建立行为数据库并划分正常行为和异常行为，具体包括以下步骤：

1.1、对人员行为进行分类：首先将待检测的行为actionClass进行分类，包括正常行为和异常行为；

1.2、对分类后的行为进行采集，通过深度摄像机获得正常行为和异常行为的骨架关节位置信息，并存储至数据库中：

采集的数据为actionData，由不定长个frameData数据组成，frameData＝{x₁，y₁，z₁，...，x_i，y_i，z_i}；frameData表示单帧图片的骨架关节位置数据；

m代表的是这一组数据的帧数。

3.根据权利要求2所述的基于人员骨架信息的危险行为识别方法，其特征在于，步骤2提取骨架长度信息的标准值，具体包括以下步骤：

2.1、对行为数据集中的数据进行异常值剔除；

2.2、坐标变换：将摄像头采集到的原始数据坐标原点变换到位于人体臀部中心的位置；

2.3、提取骨骼标准长度：遍历一帧数据，对于重要关节点，取所有节点长度的平均值作为标准值；对于非重要关节点之间的距离使用其原始值。

4.根据权利要求3所述的基于人员骨架信息的危险行为识别方法，其特征在于，步骤2.1剔除异常值，具体包括以下步骤：

2.1.1、计算四肢长度：四肢包括左手腕-左肘长度lenth_{7_6}，右手腕-右肘长度lenth_{11_10}，左膝-左脚踝长度lenth_{14_15}，右膝-右脚踝长度lenth_{18_19}，计算如下：

2.1.2、计算相对比例：计算提取数据中每一帧的左、右肢体相对比例D：

2.1.3、删除异常值：设定异常值阈值T，若左、右肢体的相对比例D大于阈值T，则删除该帧数据。

5.根据权利要求4所述的基于人员骨架信息的危险行为识别方法，其特征在于，步骤2.3提取骨骼标准长度，具体包括：

(1)对于重要关节点，标准值sta_d_{j_k}的计算方式为：

(2)对于非重要关节点，标准值sta_d_{j_k}的计算方式为：

其中，sta_d_{j_k}表示关节点j和关节点k之间长度的标准值，n表示人员行为数据集的所有帧数。

6.根据权利要求5所述的基于人员骨架信息的危险行为识别方法，其特征在于，步骤3、对行为数据库中的骨架关节位置信息进行预处理，具体包括以下步骤：

3.1、对行为数据库中的数据进行异常值剔除；

3.2、对行为数据库中的骨架关节位置进行坐标变换；

3.3、对骨架数据进行标准化。

7.根据权利要求6所述的基于人员骨架信息的危险行为识别方法，其特征在于，步骤3.3对骨架数据进行标准化，具体通过：由步骤2可以获得骨架长度的标准值sta_d_{j_k}，通过骨架长度的标准值sta_d_{j_k}和坐标向量的方向即可对骨架坐标进行重构。

8.根据权利要求7所述的基于人员骨架信息的危险行为识别方法，其特征在于，步骤4对预处理后的关节位置数据构造成图像，具体包括以下步骤：

4.1、读取行为数据库中的数据actionData，对此数据逐帧按照步骤3进行预处理，返回不定长的行为数据actionData_sta，即：

4.2等间距随机获取f帧行为数据：对于不定长的行为数据actionData_sta，等间距分成f份，再分别从f份中随机取出一帧，组成新的行为数据actionData_new；

4.3、计算距离特征：计算actionData_new中人体的主要关节点到对行为识别影响较大的关节点的距离distanceFrameData_c：

式中，d_{c_1},d_{c_2},…,d_{c_21}分别代表人体的主要关节点c到对行为识别影响较大的关节点之间的距离；将这些点距离汇总，即可得到distanceFrameData_c；

4.4构建输入数据：将行为识别影响较大的关节点到主要关节点的距离数据合并，即可构成输入数据。

9.根据权利要求8所述的基于人员骨架信息的危险行为识别方法，其特征在于，步骤5得到行为识别模型的具体步骤包括：

5.1建立模型：使用python建立VGG19图像识别模型，加载预训练权重，并删除最后三层全连接层的权重；

5.2将步骤3.4中的数据导入此模型中，进行指定轮数的模型训练，在训练过程中调整学习率，达到良好的训练效果，即当学习率上升和损失函数下降到趋于平缓时结束模型训练并保存模型。