CN111931733A - 基于深度相机的人体姿态检测方法 - Google Patents

Abstract

本发明公开了一种基于深度相机的人体姿态检测方法，其包括S1、采用深度相机采集人体在室内场景的视频数据，之后采用人体骨骼关键点检测方法获取视频数据中每帧图像帧内人体的多个关节点的三维坐标；S2、根据当前图像帧对应关节点的三维坐标，计算评估当前图像帧中人体姿态的姿态特征表；S3、根据当前图像帧的姿态特征表，采用阈值检测方法确定当前图像帧中人体的姿态；S4、根据当前图像帧与其前面预设数量的图像帧对应的人体重心和姿态，判断当前图像帧中人体的姿态是否正确，若正确，则进入步骤S5，否则采用上一图像帧的姿态作为当前图像帧的姿态，之后进入步骤S5；S5、实时显示人体当前在房间内的姿态，并在跌倒姿态时发出报警。

Description

基于深度相机的人体姿态检测方法

技术领域

本发明涉及人体姿态检测技术，具体涉及一种基于深度相机的人体姿态检测方法。

背景技术

随着中国人口老龄化问题的不断加重，老人的养老安全监测问题受到越来越多的社会关注。目前针对人员安全监测领域面临的最主要问题就是摔倒检测。

针对人体摔倒检测的核心方法主要有三类：一是通过可穿戴式传感器采集人体质心的高度进行实时监测，并通过采集的实时数据传回进行摔倒检测，该方法最大的缺点就是穿戴设备易损坏、体感舒适度低；二是通过将环境传感器部署在房间中，通过对声音、地板振动以及房间的光流信息进行采集并分析来检测摔倒，该种方法的缺点是易受环境干扰、稳定性差及误判率高。三是通过安装视频监控，通过摄像头实时采集视频数据进行姿态检测。

第三类目前常见分为两种：一种是基于人体关键点的检测，这种方法通过人体在二维图像中的身体比例、高度变化等特征进行姿态判定，该方法的主要缺点是：第一，二维图像无法描述人体的真实高度，仅通过高度变化无法对姿态进行准确判定；第二，若人体某部分出现被遮挡的情况，则方法可能失效。

发明内容

针对现有技术中的上述不足，本发明提供的基于深度相机的人体姿态检测方法解决了现有人体姿态检测方法姿态易出现误判的问题。

为了达到上述发目的，本发明采用的技术方案为：

提供一种基于深度相机的人体姿态检测方法，其包括：

S1、采用深度相机采集人体在室内场景的视频数据，之后采用人体骨骼关键点检测方法获取视频数据中每帧图像帧内人体的多个关节点的三维坐标；

S2、根据当前图像帧对应关节点的三维坐标，计算评估当前图像帧中人体姿态的姿态特征表：

M=[h ₀,θ ₁,θ ₂,θ ₃,θ ₄,h,Q(x,y)]

其中，M为姿态特征表；h ₀为人体估计身高；θ ₁为上半身和大腿之间的角度；θ ₂为大腿和小腿之间的角度；θ ₃为上半身与水平面的倾角；θ ₄为下半身与水平面的倾角；h为当前人体高度；Q(x,y)为人体重心的位置坐标；

S3、根据当前图像帧的姿态特征表，采用阈值检测方法确定当前图像帧中人体的姿态；

S4、根据当前图像帧与其前面预设数量的图像帧对应的人体重心和姿态，判断当前图像帧中人体的姿态是否正确，若正确，则进入步骤S5，否则采用上一图像帧的姿态作为当前图像帧的姿态，之后进入步骤S5；

S5、实时显示人体当前在房间内的姿态，并在跌倒姿态时发出报警。

本发明的有益效果为：本方案实时采集房间中人体的视频，并对视频的每帧图像进行人体的多个关节点进行获取，并基于关节点参与姿态特征表中的数据的获取，以此进行人体静态时姿态的确定，之后再结合人体重心坐标位置和每帧图像帧静态的姿态进行连续姿态的确定，以最终确定人体的姿态，从而保证了姿态检测的准确性。

本方案能够在跌倒发生时及时向医护人员和家人报警，其它姿态可用于对老人的健康状态进行评估和预警；本方案引入智能养老系统后，可完全摆脱传统的佩戴式安全监测设别，通过深度相机对老人的健康安全进行实时监测，在好的体验感下避免带来不必要的健康安全事件。

近年来，由于养老机构护理人员不足，加上监测系统的缺陷，我国养老机构频发一些老人跌倒的安全事件，造成了严重的后果。本方案的引入可以实现对站姿、坐姿、睡姿和跌倒四种状态的检测，可解决养老机构老人的安全健康智能监测，缓解医护人员的工作压力。在智能养老领域具有重要的应用价值和经济价值，本方案的检测方法将推动该领域的发展。

附图说明

图1为基于深度相机的人体姿态检测方法的流程图。

图2为深度相机的坐标系。

图3为房间坐标系及区域划分。

图4为人体关节点分布。

图5为人体姿态检测流程图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

参考图1，图1示出了基于深度相机的人体姿态检测方法；如图1所示，该方法包括步骤S1至步骤S5。

在步骤S1，采用深度相机采集人体在室内场景的视频数据，之后采用人体骨骼关键点检测方法获取视频数据中每帧图像帧内人体的多个关节点的三维坐标。

如图4所示，本方案在进行关键点提取时，主要涉及多个关节点包括颈部NECK、右肩部R_SHOULDER、左肩部L_SHOULDER、盆骨PELVIS、右臀R_HIP、左臀L_HIP、右膝盖R_KNEE、左膝盖L_KNEE、右脚踝R_ANKLE、左脚踝L_ANKLE、右脚R_FOOT和左脚L_FOOT。

本方案所采用的人体骨骼关键点检测方法为现有技术中比较常规的方案。

在步骤S2中，根据当前图像帧对应关节点的三维坐标，计算评估当前图像帧中人体姿态的姿态特征表：

M=[h ₀,θ ₁,θ ₂,θ ₃,θ ₄,h,Q(x,y)]

其中，M为姿态特征表；h ₀为人体估计身高；θ ₁为上半身和大腿之间的角度；θ ₂为大腿和小腿之间的角度；θ ₃为上半身与水平面的倾角；θ ₄为下半身与水平面的倾角；h为当前人体高度；Q(x,y)为人体重心的位置坐标。

在本发明的一个实施例中，人体估计身高h ₀ 的计算公式为：

其中，h _R 和h _L 分别为右大腿和左大腿的长度；x _{R_KNEE} 、y _{R_KNEE} 和z _{R_KNEE} 为右膝盖关节点的三维坐标值；x _{R_HIP} 、y _{R_HIP} 和z _{R_HIP} 为右臀部关节点的三维坐标值；x _{L_KNEE} 、y _{L_KNEE} 和z _{L_KNEE} 为左膝盖关节点的三维坐标值；x _{L_HIP} 、y _{L_HIP} 和z _{L_HIP} 为左臀部关节点的三维坐标值；

计算上半身和大腿之间的角度θ ₁的计算公式为：

其中，x _KNEE 、y _KNEE 和z _KNEE 为左、右膝盖关节点三维坐标的平均值；x _NECK 、y _NECK 和z _NECK 为颈部关节点的三维坐标值；x _PELVIS 、y _PELVIS 和z _PELVIS 为盆骨关节点的三维坐标值；

大腿和小腿之间的角度θ ₂的计算公式为：

其中，x _{R_KNEE} 、y _{R_KNEE} 和z _{R_KNEE} 为右脚踝关节点的三维坐标；x _{L_KNEE} 、y _{L_KNEE} 和z _{L_KNEE} 为左脚踝关节点的三维坐标；x _ANKLE 、y _ANKLE 和z _ANKLE 为左、右脚踝关节点三维坐标的平均值；

上半身与水平面的倾角θ ₃计算时，采用

作为其对应的水平面坐标点，则倾角θ ₃的计算公式为：

下半身与水平面的倾角θ ₄计算时，采用

作为其对应的水平面坐标点，则倾角θ ₄的计算公式为：

其中，（△x ₁，△y ₁，△z ₁）、 （△x ₂，△y ₂，△z ₂）、（△x ₃，△y ₃，△z ₃）、（△x ₄，△y ₄，△z ₄）、（△x ₄，△y ₅，△z ₅）、（△x ₆，△y ₆，△z ₆）、（△x ₇，△y ₇，△z ₇）和（△x ₈，△y ₈，△z ₈）均为中间变量坐标。

采用颈部关节点到脚部关节点在y轴上的距离作为当前人体高度h：

其中，y _{R_FOOT} 、y _{L_FOOT} 分别为右脚部和左脚部关节点的y坐标值；y _NECK 为颈部关节点的y坐标值；

采用盆骨关节点的坐标作为人体重心的位置坐标Q(x,z)=(x _PELVIS ,z _PELVIS )。

本方案通过上述方式进行后续人体姿态检测的参数，可以实现每帧图像对应的静态姿态的准确识别，从而保证了本方案最终识别的准确性。

在步骤S3中，根据当前图像帧的姿态特征表，采用阈值检测方法确定当前图像帧中人体的姿态。

实施时，本方案优选采用阈值检测方法确定当前图像帧中人体的姿态的方法包括：

S31、当满足条件(0.75h ₀＜h＜h ₀)∪(45°＜θ ₃＜=90°)时，当前图像帧中人体的姿态为站姿；

S32、当满足条件(0.45h ₀＜h＜0.75h ₀)∩(0°＜θ ₁＜120°)∩(30°＜θ ₂＜180°)时，当前图像帧的人体的姿态为坐姿；

S33、当满足条件(h＜0.3h ₀)∩(0°＜θ ₃＜30°)∩(0°＜θ ₄＜30°)时，当前图像帧中人体的姿态为睡姿；

S34、当满足条件(h＜0.45h ₀)∩{(0°＜θ ₃＜30°)∪(0°＜θ ₄＜30°)}时，当前图像帧中人体的姿态为跌倒。

本方案通过上述的检测方法能够实现姿态的快速确定。

在本发明的一个实施例中，在步骤S2和步骤S3之间还包括确定人体在房间中的区域，并根据所述区域确定相应区域存在的姿态：

获取房间坐标系对应房间的分区R0、R1和R2，房间坐标系及区域划分参考图3，三个区域的范围为：

其中，area为区分的区域名，R0、R1和R2分别为深度相机的盲区、床所在区域、公共活动区域；coordinate为矩形区域的范围；

为区域R0在房间中的坐标范围；

为区域R1在房间中的坐标范围；other代表区域R2是除去R0、R1剩下的区域；

判断人体重心的位置坐标

是否满足条件

对应的区域：

当i=0满足条件时，人体重心的位置坐标Q(x,z)位于区域R0；当i=1满足条件时，人体重心的位置坐标Q(x,z)位于区域R1；当i=0,1均不满足条件时，人体重心的位置坐标Q(x,z)位于区域R2；

根据人体重心的位置坐标位于的区域，确定相应区域存在的姿态：

当位于区域R0时，不进行姿态检测；当位于区域R1时，只进行睡姿和坐姿检测；当位于区域R2时，只进行站姿、坐姿和跌倒检测。

本方案通过对人体所在区域进行确定后，在后续姿态判别过程中可以直接进入相应姿态判断，不需要每个姿态都去进行比较识别一次，可以大幅度降低计算量。

当本方案引入“确定人体在房间中的区域，并根据所述区域确定相应区域存在的姿态”后，本方案进入姿态确定的相关步骤可以参考图5，通过图5可以准确了解姿态判断的具体实现过程。

在步骤S4中，根据当前图像帧与其前面预设数量的图像帧对应的人体重心和姿态，判断当前图像帧中人体的姿态是否正确，若正确，则进入步骤S5，否则采用上一图像帧的姿态作为当前图像帧的姿态，之后进入步骤S5；

实施时，本方案优选判断当前图像帧中人体的姿态是否正确的方法为：

S41、判断图像帧对应的人体重心是否满足

，其中

为t时刻的人体重心的坐标位置；N为预设数量；△x和△z分别为坐标之间的最大允许误差值；

步骤S41中的条件表示当前时刻帧人体重心所在位置与前N帧人体重心基本上在一个位置，即需满足在位置基本不变的前提下，再判断是否有姿态变化。

S42、若满足，则进入步骤S43，否则，当前图像帧中人体的姿态不正确；

S43、判断

是否成立，S _t 为t时刻检测到的姿态；若是，则当前图像帧中人体的姿态正确，否则当前图像帧中人体的姿态不正确。

步骤S43中的条件表示当前时刻帧检测的姿态结果和前N帧的姿态检测结果一样，这样可以消除一些中间姿态（一种姿态向另一种姿态转换的中间帧）的误判。

本方案采用上述方式进行连续姿态的确定，以此可以实现最终取得姿态的准确性，同时还可以避免中间状态被误判及除分类姿态以外的其它动作姿态会误判为分类姿态情况。

在步骤S5中，实时显示人体当前在房间内的姿态，并在跌倒姿态时发出报警。

在本发明的一个实施例中，基于深度相机的人体姿态检测方法还包括计算当前图像帧中人体在房间坐标系的位置：

获取房间坐标系和深度相机的三维坐标系的映射关系；

根据映射关系，对当前图像帧对应人体重心的位置坐标进行转换，得到人体在房间坐标系的坐标，并与当前图像帧对应姿态同步显示。

本方案在进行姿态判断的同时，可以实时显示老人的状态，这样一旦老人出现摔倒意外时，可以及时知道老人位于房间的位置，以快速确定老人摔倒应对策略。

其中的映射关系f的计算公式为：

其中，

为基于房间建立的坐标系

中的坐标点；(x,z)为基于深度相机建立的坐标系L（深度相机的坐标系可以参考图2）中的坐标点；X0为房间长度的一半；Y0为房间的宽度。

深度相机的三维坐标系如图2所示，原点[0,0,0]位于相机焦点处；坐标系的方向是正X轴向右，正Y轴向下，正Z轴向前。房间坐标系及区域划分如图3所示，图中坐标原点a[0,0]是基于深度相机建立的坐标系L（注：这里的坐标系建立用到的是深度相机的x和z轴（描述真实距离）；没有标注出来的y轴用来表示高度信息）；坐标原点b[0,0]是基于房间建立的坐标系

。

本方案基于深度相机对人体进行追踪，并实时获取人体关节点的位置坐标。利用关节点坐标信息构建人体姿态特征表，在三维空间中通过人体姿态特征表对人体姿态进行判断，可以实现站姿、坐姿、睡姿和跌倒的检测。将基于深度相机的坐标系映射到房间的坐标系上，可以实现人员在房间的定位。

Claims (7)

1.基于深度相机的人体姿态检测方法，其特征在于，包括：

S1、采用深度相机采集人体在室内场景的视频数据，之后采用人体骨骼关键点检测方法获取视频数据中每帧图像帧内人体的多个关节点的三维坐标；

S2、根据当前图像帧对应关节点的三维坐标，计算评估当前图像帧中人体姿态的姿态特征表：

M=[h ₀,θ ₁,θ ₂,θ ₃,θ ₄,h,Q(x,y)]

其中，M为姿态特征表；h ₀为人体估计身高；θ ₁为上半身和大腿之间的角度；θ ₂为大腿和小腿之间的角度；θ ₃为上半身与水平面的倾角；θ ₄为下半身与水平面的倾角；h为当前人体高度；Q(x,y)为人体重心的位置坐标；

S3、根据当前图像帧的姿态特征表，采用阈值检测方法确定当前图像帧中人体的姿态；

S4、根据当前图像帧与其前面预设数量的图像帧对应的人体重心和姿态，判断当前图像帧中人体的姿态是否正确，若正确，则进入步骤S5，否则采用上一图像帧的姿态作为当前图像帧的姿态，之后进入步骤S5；

S5、实时显示人体当前在房间内的姿态，并在跌倒姿态时发出报警。

2.根据权利要求1所述的基于深度相机的人体姿态检测方法，其特征在于，还包括计算当前图像帧中人体在房间坐标系的位置：

获取房间坐标系和深度相机的三维坐标系的映射关系；

根据映射关系，对当前图像帧对应人体重心的位置坐标进行转换，得到人体在房间坐标系的坐标，并与当前图像帧对应姿态同步显示。

3.根据权利要求2所述的基于深度相机的人体姿态检测方法，其特征在于，所述映射关系f的计算公式为：

其中，

为基于房间建立的坐标系

中的坐标点；(x,z)为基于深度相机建立的坐标系L中的坐标点；X0为房间长度的一半；Y0为房间的宽度。

4.根据权利要求1所述的基于深度相机的人体姿态检测方法，其特征在于，所述采用阈值检测方法确定当前图像帧中人体的姿态的方法包括：

S31、当满足条件(0.75h ₀＜h＜h ₀)∪(45°＜θ ₃＜=90°)时，当前图像帧中人体的姿态为站姿；

S32、当满足条件(0.45h ₀＜h＜0.75h ₀)∩(0°＜θ ₁＜120°)∩(30°＜θ ₂＜180°)时，当前图像帧的人体的姿态为坐姿；

S33、当满足条件(h＜0.3h ₀)∩(0°＜θ ₃＜30°)∩(0°＜θ ₄＜30°)时，当前图像帧中人体的姿态为睡姿；

S34、当满足条件(h＜0.45h ₀)∩{(0°＜θ ₃＜30°)∪(0°＜θ ₄＜30°)}时，当前图像帧中人体的姿态为跌倒。

5.根据权利要求4所述的基于深度相机的人体姿态检测方法，其特征在于，在步骤S2和步骤S3之间还包括确定人体在房间中的区域，并根据所述区域确定相应区域存在的姿态：

获取房间坐标系对应房间的分区R0、R1和R2，三个区域的范围为：

其中，area为区分的区域名，R0、R1和R2分别为深度相机的盲区、床所在区域、公共活动区域；coordinate为矩形区域的范围；

为区域R0在房间中的坐标范围；

为区域R1在房间中的坐标范围；other代表区域R2是除去R0、R1剩下的区域；

判断人体重心的位置坐标

是否满足条件

对应的区域：

当i=0满足条件时，人体重心的位置坐标Q(x,z)位于区域R0；当i=1满足条件时，人体重心的位置坐标Q(x,z)位于区域R1；当i=0,1均不满足条件时，人体重心的位置坐标Q(x,z)位于区域R2；

根据人体重心的位置坐标位于的区域，确定相应区域存在的姿态：

当位于区域R0时，不进行姿态检测；当位于区域R1时，只进行睡姿和坐姿检测；当位于区域R2时，只进行站姿、坐姿和跌倒检测。

6.根据权利要求1所述的基于深度相机的人体姿态检测方法，其特征在于，多个关节点包括颈部、右肩部、左肩部、盆骨、右臀、左臀、右膝盖、左膝盖、右脚踝、左脚踝、右脚和左脚；

人体估计身高h ₀ 的计算公式为：

其中，h _R 和h _L 分别为右大腿和左大腿的长度；x _{R_KNEE} 、y _{R_KNEE} 和z _{R_KNEE} 为右膝盖关节点的三维坐标值；x _{R_HIP} 、y _{R_HIP} 和z _{R_HIP} 为右臀部关节点的三维坐标值；x _{L_KNEE} 、y _{L_KNEE} 和z _{L_KNEE} 为左膝盖关节点的三维坐标值；x _{L_HIP} 、y _{L_HIP} 和z _{L_HIP} 为左臀部关节点的三维坐标值；

计算上半身和大腿之间的角度θ ₁的计算公式为：

其中，x _KNEE 、y _KNEE 和z _KNEE 为左、右膝盖关节点三维坐标的平均值；x _NECK 、y _NECK 和z _NECK 为颈部关节点的三维坐标值；x _PELVIS 、y _PELVIS 和z _PELVIS 为盆骨关节点的三维坐标值；

大腿和小腿之间的角度θ ₂的计算公式为：

其中，x _{R_KNEE} 、y _{R_KNEE} 和z _{R_KNEE} 为右脚踝关节点的三维坐标；x _{L_KNEE} 、y _{L_KNEE} 和z _{L_KNEE} 为左脚踝关节点的三维坐标；x _ANKLE 、y _ANKLE 和z _ANKLE 为左、右脚踝关节点三维坐标的平均值；

上半身与水平面的倾角θ ₃计算时，采用

作为其对应的水平面坐标点，则倾角θ ₃的计算公式为：

下半身与水平面的倾角θ ₄计算时，采用

作为其对应的水平面坐标点，则倾角θ ₄的计算公式为：

其中，（△x ₁，△y ₁，△z ₁）、 （△x ₂，△y ₂，△z ₂）、（△x ₃，△y ₃，△z ₃）、（△x ₄，△y ₄，△z ₄）、（△x ₄，△y ₅，△z ₅）、（△x ₆，△y ₆，△z ₆）、（△x ₇，△y ₇，△z ₇）和（△x ₈，△y ₈，△z ₈）均为中间变量坐标；

采用颈部关节点到脚部关节点在y轴上的距离作为当前人体高度h：

其中，y _{R_FOOT} 、y _{L_FOOT} 分别为右脚部和左脚部关节点的y坐标值；y _NECK 为颈部关节点的y坐标值；

采用盆骨关节点的坐标作为人体重心的位置坐标Q(x,z)=(x _PELVIS ,z _PELVIS )。

7.根据权利要求1-6任一所述的基于深度相机的人体姿态检测方法，其特征在于，判断当前图像帧中人体的姿态是否正确的方法为：

S41、判断图像帧对应的人体重心是否满足

，其中

为t时刻的人体重心的坐标位置；N为预设数量；△x和△z分别为坐标之间的最大允许误差值；

S42、若满足，则进入步骤S43，否则，当前图像帧中人体的姿态不正确；

S43、判断

是否成立，S _t 为t时刻检测到的姿态；若是，则当前图像帧中人体的姿态正确，否则当前图像帧中人体的姿态不正确。

Images