CN113920326A - 基于人体骨骼关键点检测的摔倒行为识别方法 - Google Patents

Abstract

本发明公开了基于人体骨骼关键点检测的摔倒行为识别方法，包括以下步骤：S10，收集数据：用OpenPose获取人体骨架关节点序列；S20，标注数据，组织数据集；S30，GC‑LSTM模型搭建，用已有数据集进行模型训练；S40，判断是否发出警报。本发明通过人体骨架姿态检测获取骨架数据，再由训练好的卷积神经网络进行分类识别做出摔倒判断；本发明使用基于OpenPose骨架获取和图卷积长短期记忆神经网络(GC‑LSTM)模型行为来实现摔倒识别。

Description

基于人体骨骼关键点检测的摔倒行为识别方法

技术领域

本发明属于动作检测技术领域，涉及一种基于人体骨骼关键点检测的摔倒行为识别方法。

背景技术

基于深度学习的人体行为识别是当前计算机视觉领域的一大研究热点，其中基于关键点检测的深度神经网络算法，可以实现对人体骨架姿态的自动检测，如关节架构，手势，表情状态等，并能通过关键点描述人体骨骼信息来识别人体行为类型。人类的身体可以被看作是由骨头和连接骨头的关节构成的系统，这样人体的行为姿态就可以由关节点及关节之间的关联性、时空特性来表示从输入图像的性质分类，可以分为基于深度图像和基于普通RGB图像的关键点检测。最近几年的人体关键点检测研究都是基于普通RGB图像，基于RGB图像的人体关键点检测也可以分为两种不同的方法：传统方法和深度学习方法。传统的人体骨骼关键点检测算法基本上都是在几何先验的基础上基于模版匹配的思路来进行，例如，树模型(Tree Models)和随机森林模型(Random Forest Models)都被证明是非常有效的关键点检测算法。还有一些算法是基于图模型，比如随机场模型(Random Field Models)和依赖图模型(Dependency Graph Models)也被很多学者研究。

由于人体具有相当的柔性，会出现各种姿态和形状，不同身体部位的形变非常多样性导致人体关键点检测非常具有挑战性。直到2014年，卷积神经网络被引入人体关键点检测领域，关键点检测取得了一些重大进展。根据处理情况不同可以分为单人关键点检测和多人关键点检测，单人关键点检测可以处理单个人的关键点检测问题，一般需要人在图片中心位置。多人关键点检测分自上而下和自下而上两种方法。其中OpenPose是世界上首个基于深度学习的自下而上实时多人2D姿态估计应用，其核心是采用非参数表征方法部分亲和度向量场(PAFs)，去学习身体部位和对应个体关联。相比于传统的自上而下的估计方法，其鲁棒性更稳健，还可能将运行时的复杂性和图像中的人数进行分离。

利用深度学习模型自动提取人体行为特征，有效的避免了人工特征设计的盲目性和差异性。我们可以总结的深度学习的模型有循环神经网络(RNN)或长短期记忆(LSTM)、卷积神经网络(CNN)、图卷积神经网络(GCN)。循环神经网络更注重提取骨架序列的时间特征，特别是长短期记忆网络(LSTM)可以很好的获取时间序列信息，挖掘时域中的长期依赖关系，但相对应的较容易忽略其空间特性，而卷积神经网络则相反，更关注骨架的空间结构信息，对时间域上的信息倒并不关注。在行为识别领域，已经开发了尝试利用关节之间的自然连接关系的方法。方法在不断改进推动着研究领域的不断发展，目前的方法很少可以同时考虑两个维度的方式对动作序列进行建模，并可以自动学习嵌入在关节联合的空间配置及其时间动态的模型。

一个良好的适用于人体关键点检测问题的深度学习网络模型应该具有较强鲁棒性、较低的计算成本、较好的识别精度的特点，比如GC-LSTM(嵌入图卷积的长短期记忆网络)，结合了卷积神经网络和循环神经网络的优势，能同时捕获到关节点中复杂的时空特征。

使用深度学习的方法进行人体关键点识别，从而对人的动作做出判定，这对于提高生产施工现场的安全性具有重大意义。为了尽可能保证施工人员和其他进入工地的人员的安全，需要有安全监管员进行监督，但是因为工地情况复杂，人力不能够有效地监督整个工地，且安全监管员也无法一直守在工地现场进行监督，在建筑工地，检测到工人的摔倒动作，长时间不起可以及时反映以确保工人的安全，获得及时的救助。

发明内容

为解决上述问题，本发明所提出的跌倒检测方法属于基于视觉检测类，通过人体骨架姿态检测获取骨架数据，再由训练好的卷积神经网络进行分类识别做出摔倒判断。使用基于OpenPose骨架获取和图卷积长短期记忆神经网络(GC-LSTM)模型行为识别。

为实现上述目的，本发明的技术方案为基于人体骨骼关键点检测的摔倒行为识别方法，包括以下步骤：

S10，收集数据：用OpenPose获取人体骨架关节点序列；

S20，标注数据，组织数据集；

S30，GC-LSTM模型搭建，用已有数据集进行模型训练；

S40，判断是否发出警报。

优选地，所述收集数据，包括以下步骤：

S11，获取视频，形成样本数据集：通过摄像头进行拍摄，采集数据，获取视频样本；

S12，利用OpenPose对采集到的视频进行处理，得到视频中每一帧图像中人体骨架关节点数据。

优选地，所述S12包括以下步骤：

S121，通过OpenPose方法对视频中每帧人体进行姿态估计，得到人体脖子、鼻子、左眼、右眼、左耳、右耳、右肩、左肩、右跨、左跨、右手关节、左手关节、右膝盖、左膝盖、右手腕、左手腕、右脚踝和左脚踝这18个关节点的位置坐标，其中第k个关节点的坐标表示为Lk＝(ak,bk)，k从0到17；

S122，对每个关节点的位置坐标进行归一化，归一化之后的18个关节点位置坐标构成坐标矩阵P，P＝[(x0,y0),(x2,y2),...,(xk,yk),...,(x17,y17)],其中(xk,yk)表示第k个关节点归一化之后的坐标；

S123，根据相邻两帧的坐标矩阵Pn和Pn-1，计算相邻两帧关节点位置坐标变化量矩阵，根据关节点位置坐标变化量矩阵计算关节点距离变化量矩阵D。

优选地，所述标注数据，组织数据集，包括以下步骤：

S21，利用labelimg对数据集进行标注；

S22，利用python脚本文件将样本数据集分成训练集和测试集两部分。

优选地，所述S21中标注分为3个类别，包括行走、摔倒和爬起，选择生成txt标注文件。

优选地，所述GC-LSTM模型搭建，用已有数据集进行模型训练，包括以下步骤：

S31，搭建GC-LSTM模型，设置参数，将样本训练集输入到GC-LSTM模型中进行训练；

S32，将测试集输入到训练好的模型中得到分类识别的准确性，通过调整参数来获取能让测试准确率实现最高结果的参数；

S33，生成混淆矩阵，分析模型对三个动作类别识别的各自的准确率。

优选地，所述调整参数中参数包括时间序列、通道设置、学习率和批处理大小。

优选地，所述判断是否发出警报，包括以下步骤：

S41，布置15-20台摄像头，实时获取视频样本，对视频进行分段处理，每段视频时长3-5s，每段用OpenPose从中获取人体骨架关节点序列，输入GC-LSTM模型中进行识别；

S42，若发生摔倒动作，从GC-LSTM识别出摔倒的那一段视频开始，连续五段视频未曾识别爬起或行走动作，则发出警报。

本发明至少有如下具体有益效果：

1、采用OpenPose框架来人体骨架信息，其核心是从底向上的建立人体骨架模型并通过部分亲和域(PAFS)的方法来匹配人体，在多人骨架检测上极占优势，并且使用嵌入图卷积的长短期记忆网络的(GC-LSTM)深度学习网络模型，对于OpenPose获取的骨架关节点信息，从人体行为序列的时序上进行了特征提取，又从其空间维度提取特征以及时空关联信息上对人体行为序列进行分析，很大程度上能准确的提取出人体行为信息的显著特征。这可以有效增加识别系统的鲁棒性，可靠性更高，获取到相应数据集，也可以对其他动作进行检测识别，具有极大的实用价值。

2、使用时间分层体系结构，关节序列经过三个GC-LSTM单元，每个GC-LSTM单元前都经过一个TAP层来多层次的对时空特征进行建模，运用时间平均池化来提高对时间动能感知的敏感性以此增加GC-LSTM顶部的时间接受域，可以显著降低计算成本，提高运算效率。

附图说明

图1为本发明实施例的基于人体骨骼关键点检测的摔倒行为识别方法的步骤流程图；

图2为本发明实施例的基于人体骨骼关键点检测的摔倒行为识别方法的人体骨架关键点检测示意图；

图3为本发明实施例的基于人体骨骼关键点检测的摔倒行为识别方法的S12步骤示意图；

图4为本发明实施例的基于人体骨骼关键点检测的摔倒行为识别方法的S30步骤示意图；

图5为本发明实施例的基于人体骨骼关键点检测的摔倒行为识别方法的警报步骤示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

本发明首先进行以下定义及说明：

LSTM:长短期记忆网络,是循环神经网络的一种改进，可以来保存长期状态，不会导致很久以前的有用信息被遗忘，解决一般递归神经网络中常见的长期依赖问题。

GCN:图卷积神经网络,把卷积运算从传统数据延伸到了图数据，是一种用于深度学习图形数据的方法，是学习图结构化数据表示形式的通用有效框架。

FC：全连接层，在整个神经网络中，对图片进行分类和回归操作。

FA：特征增强。

平均池化：对计算位置以及其相邻领域内的特征点求取平均值，平均池化可有效提取图片的背景特征信息。

VGG-19:VGG网络结构探索了卷积神经网络的深度与其性能之间的关系，通过反复的使用3x3的小型卷积核和2x2的最大池化层，VGG网络成功地构筑了16～19层深的卷积神经网络，VGG-19则是包含了19个隐藏层(16个卷积层和3个全连接层)。

labelimg:是用于制作VOC数据集(一套检测和识别标准化的数据集)时，对数据集进行标注的工具。

参见图1，为本发明实施例的本发明的技术方案为基于人体骨骼关键点检测的摔倒行为识别方法的步骤流程图，包括以下步骤：

S10，收集数据：用OpenPose获取人体骨架关节点序列；

S20，标注数据，组织数据集；

S30，GC-LSTM模型搭建，用已有数据集进行模型训练；

S40，判断是否发出警报。

S10，收集数据，包括以下步骤：

S11，获取视频，形成样本数据集：通过摄像头进行拍摄，采集数据，获取视频样本；

S12，利用OpenPose对采集到的视频进行处理，得到视频中每一帧图像中人体骨架关节点数据。

S12包括以下步骤：

S121，通过OpenPose方法对视频中每帧人体进行姿态估计，得到人体脖子、鼻子、左眼、右眼、左耳、右耳、右肩、左肩、右跨、左跨、右手关节、左手关节、右膝盖、左膝盖、右手腕、左手腕、右脚踝和左脚踝这18个关节点的位置坐标，其中第k个关节点的坐标表示为Lk＝(ak,bk)，k从0到17；人体骨架关键点位置对应序号关系参见图2，亦见表1所示。

表1人体关键点位置表

0	鼻子
		1	脖子
2	右肩
		3	右臂关节
4	右手腕
		5	左肩
6	左臂关节
		7	左手腕
8	右胯
		9	右膝盖
10	右脚踝
		11	左胯
12	左膝盖
		13	左脚踝
14	右眼
		15	左眼
16	右耳
		17	左耳

S122，对每个关节点的位置坐标进行归一化，归一化之后的18个关节点位置坐标构成坐标矩阵P，P＝[(x0,y0),(x2,y2),...,(xk,yk),...,(x17,y17)],其中(xk,yk)表示第k个关节点归一化之后的坐标；

S123，根据相邻两帧的坐标矩阵Pn和Pn-1，计算相邻两帧关节点位置坐标变化量矩阵，根据关节点位置坐标变化量矩阵计算关节点距离变化量矩阵D。

参见图3，为具体实施例中S12OpenPose获取人体骨架关节点流程示意图，输入RGB视频，进行处理得到视频中每一帧图片，通过VGG-19网络检测人体关键点，通过PAFs进行人体匹配，骨架关键点和关联向量获取，通过匈牙利算法进行骨架匹配，最终输出人体骨架序列。

S20，标注数据，组织数据集，包括以下步骤：

S21，利用labelimg对数据集进行标注；

S22，利用python脚本文件将样本数据集分成训练集和测试集两部分。

S21中标注分为3个类别，包括行走、摔倒和爬起，选择生成txt标注文件。

S30，GC-LSTM模型搭建，用已有数据集进行模型训练，包括以下步骤：

S31，搭建GC-LSTM模型，设置参数，将样本训练集输入到GC-LSTM模型中进行训练；

S32，将测试集输入到训练好的模型中得到分类识别的准确性，通过调整参数来获取能让测试准确率实现最高结果的参数；

S33，生成混淆矩阵，分析模型对三个动作类别识别的各自的准确率。

调整参数中参数包括时间序列、通道设置、学习率和批处理大小。

参见图4，为具体实施例中S30的步骤示意图，输入前述获得的骨架序列后，全连接层将关节点的坐标转换成高维向量；进行特征扩充；通过LSTM归一化消除位置特征和帧差异特征之间的尺度特征；通过GC-LSTM得到骨骼图构造表现时空关系，GCN提取空间特征，LSTM特区时间特征；在时间域中进行平均池化，增加时态感受野，显著降低模型的计算量；通过GC-LSTM进行特征提取；进行平均池化；通过GC-LSTM将聚合节点特征用作全局特征；分类和损失监控。

参见图5，为判断是否发出警报步骤示意图，包括以下步骤：

S41，布置15-20台摄像头，实时获取视频样本，对视频进行分段处理，每段视频时长3-5s，每段用OpenPose从中获取人体骨架关节点序列，输入GC-LSTM模型中进行识别；

S42，若发生摔倒动作，从GC-LSTM识别出摔倒的那一段视频开始，连续五段视频未曾识别爬起或行走动作，则发出警报。

OpenPose是由以caffe为框架开发的开源库，整个模型架构是自底向上建模的，首先检索足部关节关键点，并由底上顺序识别出身体各部分关键点和关节域，然后通过相关算法组合成个体的姿势图，获得骨架序列，将骨架序列使用线性层和LSTM层将每个关节的坐标转换成具有线性层的空间特征。将两个连续帧之间的位置特征和帧差异特征连接起来进行扩充特征。因为两个特征是不同的两种概念，串联之后定会形成尺度差异，为了消除特征间单位和尺度差异的影响，以对每维特征同等看待，需要对特征进行归一化，使用共享LSTM来处理每个关节序列。再经过三个GC-LSTM单元，每个GC-LSTM单元前都经过一个TAP层来多层次的对时空特征进行建模。加入图卷积算子的GC-LSTM可以有效捕获嵌入关节中的空间特征以及其时间动态，每个GC-LSTM单元前都经过一个TAP层进行时间平均池化来提高对时间动能感知的敏感性。通过识别出摔倒动作从而对工人和安全监管员进行提醒和报警。

目前来看，对于工地摔倒检测这一领域，很少有对针对摔倒这一动作做出特定处理的发明，对于工地生产的安全性提高具有重大实际意义。该专利的提出：对于在工地工作的现场人员的生命安全提供了保障，通过工业场地的摄像头捕捉到的画面，实时检测在工地中有摔倒行为的工人，并根据动作保持时间进行判断反映，这样可以避免尤其是在晚上有工人进入工地不甚摔倒受伤无人及时发现并报警救助的情况，可以提高安全性，避免事故发生，可以说，本专利的出现对于经常需要夜晚作业的公司提供了很好的解决方案：该技术不仅可以应用于工业生产领域，对于普通人的安全，特别是行动不便的老人也能做出保障。比如家庭或街道或小区的摄像头通过本专利检测到有人摔倒，并且长时间保持摔倒动作立即做出报警操作，避免老人摔倒无法站立起来出现无法及时报警求助，长时间无人发现等情况，从而减小造成的伤害。由此可见，本发明无论是在工业，还是民用方面，都有很大的实用价值。

Claims (8)

1.基于人体骨骼关键点检测的摔倒行为识别方法，其特征在于，包括以下步骤：

S10，收集数据：用OpenPose获取人体骨架关节点序列；

S20，标注数据，组织数据集；

S30，GC-LSTM模型搭建，用已有数据集进行模型训练；

S40，判断是否发出警报。

2.根据权利要求1所述的方法，其特征在于，所述收集数据，包括以下步骤：

S11，获取视频，形成样本数据集：通过摄像头进行拍摄，采集数据，获取视频样本；

S12，利用OpenPose对采集到的视频进行处理，得到视频中每一帧图像中人体骨架关节点数据。

3.根据权利要求2所述的方法，其特征在于，所述S12包括以下步骤：

S121，通过OpenPose方法对视频中每帧人体进行姿态估计，得到人体脖子、鼻子、左眼、右眼、左耳、右耳、右肩、左肩、右跨、左跨、右手关节、左手关节、右膝盖、左膝盖、右手腕、左手腕、右脚踝和左脚踝这18个关节点的位置坐标，其中第k个关节点的坐标表示为Lk＝(ak,bk)，k从0到17；

S122，对每个关节点的位置坐标进行归一化，归一化之后的18个关节点位置坐标构成坐标矩阵P，P＝[(x0,y0),(x2,y2),...,(xk,yk),...,(x17,y17)],其中(xk,yk)表示第k个关节点归一化之后的坐标；

S123，根据相邻两帧的坐标矩阵Pn和Pn-1，计算相邻两帧关节点位置坐标变化量矩阵，根据关节点位置坐标变化量矩阵计算关节点距离变化量矩阵D。

4.根据权利要求1所述的方法，其特征在于，所述标注数据，组织数据集，包括以下步骤：

S21，利用labelimg对数据集进行标注；

S22，利用python脚本文件将样本数据集分成训练集和测试集两部分。

5.根据权利要求4所述的方法，其特征在于，所述S21中标注分为3个类别，包括行走、摔倒和爬起，选择生成txt标注文件。

6.根据权利要求5所述的方法，其特征在于，所述GC-LSTM模型搭建，用已有数据集进行模型训练，包括以下步骤：

S31，搭建GC-LSTM模型，设置参数，将样本训练集输入到GC-LSTM模型中进行训练；

S32，将测试集输入到训练好的模型中得到分类识别的准确性，通过调整参数来获取能让测试准确率实现最高结果的参数；

S33，生成混淆矩阵，分析模型对三个动作类别识别的各自的准确率。

7.根据权利要求6所述的方法，其特征在于，所述调整参数中参数包括时间序列、通道设置、学习率和批处理大小。

8.根据权利要求7所述的方法，其特征在于，所述判断是否发出警报，包括以下步骤：

S41，布置15-20台摄像头，实时获取视频样本，对视频进行分段处理，每段视频时长3-5s，每段用OpenPose从中获取人体骨架关节点序列，输入GC-LSTM模型中进行识别；

S42，若发生摔倒动作，从GC-LSTM识别出摔倒的那一段视频开始，连续五段视频未曾识别爬起或行走动作，则发出警报。

Images