CN109325476B - 一种基于三维视觉的人体异常姿态检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于三维视觉的人体异常姿态检测系统及方法，属于计算机视觉技术领域，本发明要解决的技术问题为如何增大跌倒检测范围，有效避免检测过程中遮挡物的遮挡，同时如何能够准确的检测出跌倒情况，采用的技术方案为：该方法是将Kinect体感传感器搭载在采用Mecanum轮移动平台上，使搭载了Kinect体感传感器的移动平台能够跟随人体移动而移动，并利用Kinect体感传感器获取移动平台到人体骨骼点的距离，将获取的距离变化转化为电信号发送到移动平台，使移动平台能够跟随人体的移动方向和移动速度而移动，确保移动平台与人体保持设定距离；同时根据Kinect体感传感器上摄像头拍摄的画面获取人体骨骼点信息建立跌倒模型并进行人体的跌倒检测。

Description

一种基于三维视觉的人体异常姿态检测系统及方法

技术领域

本发明涉及属于计算机视觉技术领域，具体地说是一种基于三维视觉的人体异常姿态检测系统及方法。

背景技术

跌倒已经渐渐的成为继慢性疾病、交通事故、癌症之后导致老年人高死亡率和致残率的第四种原因。如果老年人跌倒时能够及时的发现，就能够让老年人得到及时的救助和治疗同时减少老年人因跌倒带来的伤害和病痛。

利用Kinect体感传感器来做跌倒检测的方法大致可以分为两类：一类是利用Kinect获取到的RGB图像和深度图像进行处理，利用Kinect深度图像技术获取人体深度图像前景图,建立前景图三维包围盒,通过实时计算的三维包围盒的长、宽、高数值以及该数值的变化速度,判断人体跌倒是否发生；另一类是通过Kinect骨骼追踪技术获取人体骨架关节点的空间位置，设计摔倒识别特征，支持向量机技术，进行跌倒检测。这两类技术都是把Kinect摄像头放置在固定位置，所以跌倒检测具有局限性，只能在摄像头能够覆盖的空间内进行跌倒检测，如果在每个房间内都安装一个摄像头其经济成本太过昂贵。跌倒检测主要针对的是老年人，虽然老年人的活动范围有限，单是在有限的范围内还会受到家具等遮挡物的遮挡。如果老年人正好在摄像头的遮挡物处死角跌倒，就不能及时检测到老年人跌倒。故如何增大跌倒检测范围，有效避免检测过程中遮挡物的遮挡，同时如何能够准确的检测出跌倒情况是目前急需解决的技术问题。

专利号为CN107578036A的专利文献公开了一种局域小波距的深度图像跌倒识别算法，该算法首先根据图像中各像素点相对于质心的距离做归一化，然后对归一化的图像极坐标化、FFT变换，最后对图像进行小波变换获取特征向量，并结合最小距离分类识别人体行为。但是该技术方案仅能在固定位置获取数据进行跌倒检测且仅能对深度图像进行处理，深度图像包含的数据内容十分多且复杂，数据处理难度较大，同时跌倒模型时，对所有像素点进行相对于质心距离做归一化处理，计算量较大。

发明内容

本发明的技术任务是提供一种基于三维视觉的人体异常姿态检测系统及方法，来解决如何增大跌倒检测范围，有效避免检测过程中遮挡物的遮挡，同时如何能够准确的检测出跌倒情况的问题。

本发明的技术任务是按以下方式实现的，一种基于三维视觉的人体异常姿态检测方法，该方法是将Kinect体感传感器搭载在移动平台上，移动平台采用Mecanum轮为移动轮，使搭载了Kinect体感传感器的移动平台能够跟随人体移动而移动，并利用Kinect体感传感器获取移动平台到人体骨骼点的距离，将获取的距离变化转化为电信号发送到移动平台，使移动平台能够跟随人体的移动方向而移动，且移动平台能够根据距离变化控制Mecanum轮的移动速度，确保移动平台与人体保持设定距离；同时根据Kinect体感传感器上摄像头拍摄的画面获取人体骨骼点信息建立跌倒模型，根据跌倒模型实时进行人体的跌倒检测。

作为优选，所述根据跌倒模型实时进行人体的跌倒检测包括如下步骤：

S1、利用Kinect体感传感器的摄像头获取人体的深度图形；

S2、利用深度图形建立人体骨骼点构成的人体骨架图；

S3、提取用于跌倒检测判定的五个特征骨骼点；

S4、获取五个特征骨骼点的空间位置，建立一个垂直于地面的平面L₁且确保五个特征骨骼点到平面L₁的距离最小；

S5、建立与平面L₁垂直的平面L₂且确保五个特征骨骼点到平面L₂的距离最小；

S6、计算五个特征骨骼点在移动过程中到平面L₁和平面L₂的加权平均距离

和

以及五个特征骨骼点的移动速度

S7、利用加权平均距离

和

以及五个特征骨骼点的移动速度

的变化来判断是否发生跌倒：

①、若加权平均距离

和

大于设定的阀值，则代表特征骨骼点偏出建立的标准坐标系，发生巨大位置变化，表示人体跌倒的可能性较大，发出报警信号；

②、若特征骨骼点的移动速度

大于设定阀值时，表示人体跌倒的可能性较大，发出报警信号。

更优地，所述特征骨骼点分别是头部、肩部中心、左肩、右肩和脊柱。

更优地，所述步骤S4中建立平面L₁方法包括如下步骤：

(1)、获取五个特征骨骼点的空间坐标位置，头部骨骼点、肩部中心骨骼点、左肩骨骼点、右肩骨骼点和脊柱骨骼点在三维空间中的坐标分别为A(x₁,y₁,z₁)、B(x₂,y₂,z₂)、C(x₃,y₃,z₃)、D(x₄,y₄,z₄)和E(x₅,y₅,z₅)；

(2)、利用最小二乘法中的一元线性回归分析(回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析)建立样本回归模型：

其中，Y_i为因变量，表示响应变量或被预测变量；

为Y_i的截距；

为直线斜率；X_i为自变量，表示解释变量或预测变量；e_i为随机误差；Y_i模型中的X_i对应的值；

(3)、计算残差平方和：

其中，

为实际的坐标值；

(4)、使残差平方和达到最小计算出距离五个特征骨骼点距离最小的切面；以

为变量，计算出

值：

即Q对两个待估参数

的偏导数：

解得：

(5)、距离五个特征骨骼点距离最小的切面垂直于地面，故平面方程为z₁＝k₁x+b₁；

(6)、利用最小二乘法将五个特征骨骼点的x轴坐标和z轴坐标数据带入样本回归模型即可求得k₁，b₁值；

(7)、五个特征骨骼点在z轴与x轴构成平面L1的位置。

更优地，所述步骤S5中建立平面L₂的方法包括如下步骤：

(1)、利用点和平面的性质，根据平面L₁求出L₁的一个正交切面L₂，使平面L₂与地面垂直；

(2)、使平面L₂经过人体的脊柱骨骼点E(x₅,y₅,z₅)；

(3)、平面L₁和平面L₂在x轴和z轴构成的平面内为两条正交的直线，已知L₁的方程z₁＝k₁x+b₁，故L₂的方程z₂＝k₂x+b₂的系数，联立方程组求出L₂的平面方程系数：

得出，

人体的背部开始是对着Kinect体感传感器的摄像头的L₁平面，就是当人体在Kinect体感传感器的摄像头前后方向上的跌倒时，平面L₁的位置就会发生垂直于地面的平移变化，骨骼点到平面L₁的距离就会发生明显的变化，根据距离的变化来判定其是否发生跌倒；但是不能只根据平面L₁来判定跌倒是否发生，当人体跌倒的方向在Kinect体感传感器的摄像头的左右方向时，跌倒基本上就会发生在L₁平面附近，而且特征骨骼点到平面L₁距离上不会有太大的变化，进而不能判定跌倒的发生，所以平面L₂的作用就是来弥补不能判别这种跌倒情况的发生；当人体不论是往哪一个方向跌倒时骨骼点到两个平面的距离都会发生明显的变化，但是有一种类似于弯腰的情况就比较特殊，取的五个特征骨骼点是人体上半身躯干的位置，当人体弯腰时五个特征骨骼点距离两个平面的距离也会发生比较明显的变化，但这不属于跌倒的发生，所以还要引入人体骨骼点速度的变化来作为判定的依据，弯腰这种类似的过程对于老年人来说是相对比较缓慢的，速度的变化不会变化太大的。

作为优选，所述步骤S6中五个特征骨骼点的移动速度

的计算方法如下：

(1)、计算特征骨骼点到平面L₁和平面L₂的距离：

①、五个特征骨骼点分别到平面L₁的距离为：

五个特征骨骼点到平面L1的加权平均距离为：

其中，d_A1、d_B1、d_C1、d_D1、d_E1分别表示五个特征骨骼点分别到平面L₁的距离，

分别表示采用随机森林得到五特征骨骼点在跌倒过程中的权重；

②、五个特征骨骼点分别到平面L₂的距离为：

五个点到平面L2的加权平均距离为：

其中，d_A2、d_B2、d_C2、d_D2、d_E2分别表示五个特征骨骼点分别到平面L₂的距离，

分别表示采用随机森林得到五特征骨骼点在跌倒过程中的权重；

(2)、计算特征骨骼点速度的变化：地面的平面的方程式固定不变的，故利用地面作为参考对象来计算特征骨骼点的位置变化；

①、Kinect体感传感器获取特征骨骼点的三维坐标用来计算特征骨骼点距离地面的高度；

②、在Kinect体感传感器提供的IbodyFrame类里面有一个get_FloorClipPlane函数，函数的参数是vector4*floorClipPlane，返回值是HRESULT类型；其中，vector4结构体里有4个float类型的数据成员，分别是x,y,z,w，这4个参数即为地面方程的系数x,y,z和常数项w，地面方程是在Kinect体感传感器的坐标系下得到的，常数项w表示Kinect体感传感器的中心点到地面的距离；将这四个数分别赋值给A，B，C，D，则可得地面方程为：Ax+By+Cz+D＝0；

③、根据特征骨骼点的三维坐标和地面方程，计算出特征骨骼点离地面的距离：

④、Kinect体感传感器以每秒30帧的频率来获取特征骨骼点的数据，利用两帧之间特征骨骼点距离地面的变化来计算这两个帧之间的速度；第i+1帧时速度计算为：

其中，d_i+1为时间t_i+1时间帧点到地面的距离；d_i为时间t_i时间帧点到地面的距离；

⑤、计算五个特征骨骼点在运动过程中的平均速度：

其中，v_A、v_B、v_C、v_D、v_E分别表示五个特征骨骼点在运动过程中的速度。

作为优选，该系统包括移动平台，移动平台下侧面设置有至少三个移动轮，移动轮采用Mecanum轮；移动平台的上侧面设置有Kinect体感传感器，Kinect体感传感器无线连接有上位PC机，上位PC机通过串口蓝牙以无线通讯的方式与移动平台进行通信；

移动平台上还设置有直流电机和主控制器，直流电机上设置有电机驱动器和光电编码器，上位PC机通过串口蓝牙以无线通讯的方式与主控制器进行通信；主控制器连接并控制电机驱动器，电机驱动器连接并控制直流电机，直流电机驱动Mecanum轮转动，直流电机连接光电编码器，光电编码器用于在直流电机转动的同时能实时速度反馈给主控制器用于转速调节，从而形成反馈控制。

作为优选，所述移动平台上还设置有锂电池、充电管理模块和电源管理模块，充电管理模块电连接锂电池，锂电池电连接电源管理模块，电源电力模块分别电连接Kinect体感传感器、主控制器、电机驱动器、光电编码器为其供电。

更优地，所述Kinect体感传感器设置有Depth传感器，Depth传感器是利用TOF(Time of Fligh)技术投射的红外线脉冲反射回来的时间来获得可以取得Depth数据(和传感器的距离信息)。

本发明的基于三维视觉的人体异常姿态检测系统及方法具有以下优点：

(一)、Kinect体感传感器能够跟随人体移动，解决了人体运动时，出现拍摄死角，不能及时监测人体是否跌倒的问题，同时解决了跌倒监测范围的局限性问题；

(二)、移动平台上由三个或以上Mecanum轮排列组成的移动平台具有平面内三个自由度,可同时独立的前后、左右和原地旋转运动,可在不改变自身位姿的情况下向任意方向移动，借助于横向移动和原地回旋的特性，全方位运动平台可方便的穿梭于狭窄拥挤空间中,Mecanum轮具有很高的灵活性，能够适应多种环境，确保搭载了Kinect体感传感器的移动平台能够跟随式的获取人体运动数据，能够有效的避免遮挡物的遮挡问题；

(三)、搭载了Kinect体感传感器的移动平台能够近距离的跟随在，确保获取数据的准确性及有效性，进而保证判别跌倒的准确率，减少跌倒的判别误差，同时近距离建立的跌倒模型也具有很高的跌倒识别性；

(四)、Kinect体感传感器上搭载了彩色深度摄像头，可以获取人体深度图像；Kinect体感传感器可以应用于不同场景，获取人体深度图像数据并提取人体骨骼点，建立人体骨架图，通过骨骼点的三维空间位置来计算出人体骨骼点距离摄像头的距离进而转换为控制指令实现移动平台的移动方向和移动速度的控制，确保移动平台与人体间隔适当距离，同时能够紧随人体，确保人体深度图像数据的准确性；

(五)、Kinect体感传感器与被检测人体始终保持在1.5m的距离，所得到的数据也更加具有真实性和代表性；为了结合这种优势在数据提取上采用的是利用人体特征骨骼点的数据建立一个垂直的平面L₁,同时利用平面L₁找到与平面L₁正交的平面L₂，在实时追踪监测过程中不断的获取特征骨骼点与这两个平面内的垂直距离d；当d大于设定的阈值就代表特征骨骼点偏出建立的标准坐标系，发生巨大空间位置变化，表示人体极有可能发生跌倒。

附图说明

下面结合附图对本发明进一步说明。

附图1为基于三维视觉的人体异常姿态检测方法的流程框图；

附图2为基于三维视觉的人体异常姿态检测系统的结构框图；

附图3为在平面L₁上特征骨骼点分布图；

附图4为在平面L₂上特征骨骼点分布图。

具体实施方式

参照说明书附图和具体实施例对本发明的一种基于三维视觉的人体异常姿态检测系统及方法作以下详细地说明。

实施例1：

本发明的基于三维视觉的人体异常姿态检测方法,该方法是将Kinect体感传感器搭载在移动平台上，移动平台采用Mecanum轮为移动轮，使搭载了Kinect体感传感器的移动平台能够跟随人体移动而移动，并利用Kinect体感传感器获取移动平台到人体骨骼点的距离，将获取的距离变化转化为电信号发送到移动平台，使移动平台能够跟随人体的移动方向而移动，且移动平台能够根据距离变化控制Mecanum轮的移动速度，确保移动平台与人体保持设定距离；同时根据Kinect体感传感器上摄像头拍摄的画面获取人体骨骼点信息建立跌倒模型，根据跌倒模型实时进行人体的跌倒检测。如附图1所示，根据跌倒模型实时进行人体的跌倒检测包括如下步骤：

S1、利用Kinect体感传感器的摄像头获取人体的深度图形；

S2、利用深度图形建立人体骨骼点构成的人体骨架图；

S3、提取用于跌倒检测判定的五个特征骨骼点；特征骨骼点分别是头部、肩部中心、左肩、右肩和脊柱；

S4、获取五个特征骨骼点的空间位置，建立一个垂直于地面的平面L₁且确保五个特征骨骼点到平面L₁的距离最小；

建立平面L₁方法包括如下步骤：

(1)、获取五个特征骨骼点的空间坐标位置，头部骨骼点、肩部中心骨骼点、左肩骨骼点、右肩骨骼点和脊柱骨骼点在三维空间中的坐标分别为A(x₁,y₁,z₁)、B(x₂,y₂,z₂)、C(x₃,y₃,z₃)、D(x₄,y₄,z₄)和E(x₅,y₅,z₅)；

(2)、利用最小二乘法中的一元线性回归分析(回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析)建立样本回归模型：

其中，Y_i为因变量，表示响应变量或被预测变量；

为Y_i的截距；

为直线斜率；X_i为自变量，表示解释变量或预测变量；e_i为随机误差；Y_i模型中的X_i对应的值；

(3)、计算残差平方和：

其中，

为实际的坐标值；

(4)、使残差平方和达到最小计算出距离五个特征骨骼点距离最小的切面；以

为变量，计算出

值：

即Q对两个待估参数

的偏导数：

解得：

(5)、距离五个特征骨骼点距离最小的切面垂直于地面，故平面方程为z₁＝k₁x+b₁；

(6)、利用最小二乘法将五个特征骨骼点的x轴坐标和z轴坐标数据带入样本回归模型即可求得k₁，b₁值；

(7)、五个特征骨骼点在z轴与x轴构成平面L1的位置，如图3所示。

S5、建立与平面L₁垂直的平面L₂且确保五个特征骨骼点到平面L₂的距离最小；建立平面L₂的方法包括如下步骤：

(1)、利用点和平面的性质，根据平面L₁求出L₁的一个正交切面L₂，使平面L₂与地面垂直；

(2)、使平面L₂经过人体的脊柱骨骼点E(x₅,y₅,z₅)，如附图4所示；

(3)、平面L₁和平面L₂在x轴和z轴构成的平面内为两条正交的直线，已知L₁的方程z₁＝k₁x+b₁，故L₂的方程z₂＝k₂x+b₂的系数，联立方程组求出L₂的平面方程系数：

得出，

S6、计算五个特征骨骼点在移动过程中到平面L₁和平面L₂的加权平均距离

和

以及五个特征骨骼点的移动速度

五个特征骨骼点的移动速度

的计算方法如下：

(1)、计算特征骨骼点到平面L₁和平面L₂的距离：

①、五个特征骨骼点分别到平面L₁的距离为：

五个特征骨骼点到平面L1的加权平均距离为：

其中，d_A1、d_B1、d_C1、d_D1、d_E1分别表示五个特征骨骼点分别到平面L₁的距离，

分别表示采用随机森林得到五特征骨骼点在跌倒过程中的权重；

②、五个特征骨骼点分别到平面L₂的距离为：

五个点到平面L2的加权平均距离为：

其中，d_A2、d_B2、d_C2、d_D2、d_E2分别表示五个特征骨骼点分别到平面L₂的距离，

分别表示采用随机森林得到五特征骨骼点在跌倒过程中的权重；

(2)、计算特征骨骼点速度的变化：地面的平面的方程式固定不变的，故利用地面作为参考对象来计算特征骨骼点的位置变化；

①、Kinect体感传感器获取特征骨骼点的三维坐标用来计算特征骨骼点距离地面的高度；

②、在Kinect体感传感器提供的IbodyFrame类里面有一个get_FloorClipPlane函数，函数的参数是vector4*floorClipPlane，返回值是HRESULT类型；其中，vector4结构体里有4个float类型的数据成员，分别是x,y,z,w，这4个参数即为地面方程的系数x,y,z和常数项w，地面方程是在Kinect体感传感器的坐标系下得到的，常数项w表示Kinect体感传感器的中心点到地面的距离；将这四个数分别赋值给A，B，C，D，则可得地面方程为：Ax+By+Cz+D＝0；

③、根据特征骨骼点的三维坐标和地面方程，计算出特征骨骼点离地面的距离：

④、Kinect体感传感器以每秒30帧的频率来获取特征骨骼点的数据，利用两帧之间特征骨骼点距离地面的变化来计算这两个帧之间的速度；第i+1帧时速度计算为：

其中，d_i+1为时间t_i+1时间帧点到地面的距离；d_i为时间t_i时间帧点到地面的距离；

⑤、计算五个特征骨骼点在运动过程中的平均速度：

其中，v_A、v_B、v_C、v_D、v_E分别表示五个特征骨骼点在运动过程中的速度。

S7、利用加权平均距离

和

以及五个特征骨骼点的移动速度

的变化来判断是否发生跌倒：

①、若加权平均距离

和

大于设定的阀值，则代表特征骨骼点偏出建立的标准坐标系，发生巨大位置变化，表示人体跌倒的可能性较大，发出报警信号；

②、若特征骨骼点的移动速度

大于设定阀值时，表示人体跌倒的可能性较大，发出报警信号。

其中，Mecanum轮的主轮周边分布着与轮子轴线成α＝45度的小滚轮，滚轮能自身转动同时又能绕车轴转动，使得主轮具备了绕轮轴的转动和沿滚轮轴线垂线方向运动的两个自由度。通过对轮子的运动解析得到平台的运动学方程为：

其中，利用平移动台的前后方向为x轴，左右方向为y轴，往前和往左为正方向。v_x，v_y分别为x轴和y轴的移动速度。移动平台的长度为2a，宽度为2b，Mecanum轮与主轴线的夹角为

V1、V2、V3、V4分别为四个Mecanum轮的运动的线速度，ω为车轮旋转的角速度。通过公式可以设定小车在平面内的全方位移动，则可由运动学模型可以解算出4个轮子的转速和转动角速度，从而实现该小车在平面内的前后移动、左右移动、原地旋转和斜向移动等典型移动，可计算出的各Mecanum轮的转动方向和速度，将这些计算结果集中表示，即可获得常见的Mecanum轮全方位移动情况的车轮转向关系。

实施例2：

跌倒判定的具体实施案例：

(一)、计算关节点到平面的距离：根据提取的五个特征关键点以及建立的两个平面L₁和L₂来计算点到面的距离来进行判定跌倒的发生。

已知点M的坐标(x_M,y_M,z_M)和平面的方程L：Ax+By+Cz+D＝0,点M到平面L的距离公式:

首先计算五个骨骼特征点点分别到平面L1的距离公式为：

再计算五个骨骼特征点点分别到平面L2的距离公式为：

对于Kinect体感传感器利用获取的五个特征骨骼点每一帧数据就会获取五个特征骨骼点到平面L₁和平面L₂的十个距离数据，直接对着十个数据进行求和或者求平均值，得到的数据没有很深的说服性和代表性，求得的数据误差也会比较大；通过对人体跌倒过程的研究，人体在跌倒时时由于惯性的原因，所以在大部分跌倒时腿部首先滑动；由于上半身仍然保持惯性的原因，人体会以一种倾斜式的方式往下坠落，所以五个特征骨骼点的位置在空间中的变化情况是不一样的，而利用简单的对距离求平均值的办法是不具有代表性的，跌倒过程中五个特征骨骼点在空间的位置变化是不一样的，对跌倒影响贡献度也是不同的，所以可以利用五个特征骨骼点对跌倒的贡献度来计算距离的平均值，利用加权平均值来计算距离的平均值。

跌倒的过程可以看做是一个连续的非间断的过程。在利用Kinect体感传感器进行跌倒检测时，利用其获取的深度图像的功能来进行提取人体骨骼点的数据；再对特征骨骼点进行处理时，提取的是头部、肩部中心、左肩、右肩和脊柱五个特征骨骼点，Kinect体感传感器在获取空间数据时，是以每秒30帧的数据进行反馈，再计算五个特征骨骼点在跌倒过程中权重的关系，可以使用随机森林的方法来计算五个特征骨骼点的权重。随机森林是一个简单的决策树的集合，输入向量在多个决策树上运行。对于回归问题，所有决策树的输出值都是平均的；对于分类问题，使用一个投票方案来确定最终的类别。

首先，身高体型有差异的五个人进行10次模拟跌倒和10次的正常行走，同时利用Kinect体感传感器对五个特征骨骼点的三维坐标进行逐帧导出进行数据的提取，把提取的数据作为训练样本。随机森林是由多个决策树构成的，每个决策树单独对数据进行预测，最终结果依赖于决策树中类别最多的一类。我们首先要生成决策树，第一步特征的选择，第二步决策树生成，第三步决策树的修剪。

因此，随机森林的训练过程如下：

(1)、给定训练集S，测试集T，特征维数F。确定参数：使用到的CART的数量t，每棵树的深度d，每个节点使用到的特征数量f，终止条件：节点上最少样本数s，节点上最少的信息增益m对于第1-t棵树，i＝1-t。

(2)、从S中有放回的抽取大小和S一样的训练集S(i)，作为根节点的样本，从根节点开始训练。

(3)、如果当前节点上达到终止条件，则设置当前节点为叶子节点，该叶子节点的预测输出为当前节点样本集合中数量最多的那一类c(j)，概率p为c(j)占当前样本集的比例，然后继续训练其他节点。如果当前节点没有达到终止条件，则从F维特征中无放回的随机选取f维特征。利用这f维特征，寻找分类效果最好的一维特征k及其阈值th，当前节点上样本第k维特征小于th的样本被划分到左节点，其余的被划分到右节点。继续训练其他节点。

(4)、重复(2)、(3)直到所有节点都训练过了或者被标记为叶子节点。

(5)、重复(2)、(3)、(4)直到所有CART都被训练过。

利用随机森林的预测过程如下：

对于第1-t棵树，i＝1-t：

(1)、从当前树的根节点开始，根据当前节点的阈值th，判断是进入左节点还是进入右节点，直到到达某个叶子节点，并输出预测值。

(2)、重复执行(1)直到所有t棵树都输出了预测值。

最后通过训练的数据输出这五个骨骼点的权重。利用权重就可以求得五个特征骨骼点到两个平面的平均距离

和

(二)、通过对身高体型有差异的五个人进行10次模拟跌倒和10次的正常行走的实验中，利用上述的方法进行跌倒的模拟和检测。同时进行数据的实时采集，不断地对比分析正常行走和跌倒过程中的五个骨骼点到两个平面的加权平均距离以及速度的变化，找到一个相对比较合适的距离阈值D＝1200mm和速度的阈值V＝1000mm/ms，根据设定好的距离的阈值和速率的阈值就可以检测跌倒是否发生。

(三)、实验测试与结果

利用身高体型不相似的五个人对行走、坐和跌倒三个动作进行测试，对每一个动作每一人进行10次的监测。共计150次的实验测试，试验结果如表一所示。

表一 实验检验结果

引入速度作为判定跌倒条件之一就是为了不让系统对弯腰动作识别为跌倒，弯腰这种动作对于跌倒模型来说是符合跌倒的特征的。为了检测系统区别弯腰动作是不是一种跌倒，单独对弯腰进行试验验证。还是利用身高体型不相似的五个人对弯腰动作进行测试，每人进行10次的监测，第一种先是不引入速度参考量作为跌倒判定条件，第二种引入速度参考量作为跌倒判定条件得到结果如表二所示。通过试验结果可以看到引入速度这一参考量是十分必要的。

表二 弯腰动作检测识别结果

故本发明在获取数据时采用的是近距离的实时获取的方法，同时对被监测者也是近距离的实时监测。利用Kinect体感传感器能够获取人体距离的功能，把Kinect体感传感器放置在基于Mecanum轮的移动平台上。Mecanum轮具有非常便捷的移动特点，能够让Kinect体感传感器进行近距离的实时获取数据和监测。和其它跌倒检测方法相比较其优势在于：①、灵活性，基于Mecanum轮的移动平台，受地理环境的影响较小；②、广泛性，不在仅局限于固定的房间位置，在户外室内都可以进行实时的检测；③、隐私安全性，在获取数据时是获取的人体深度图像，生成的是人体骨架图，无论是白天还是黑夜不受光线的影响都能够实时监测，相对来说比较保护使用者的隐私；④、便携性，使用的跟随人体移动的方式，不需要被监测者佩戴任何设备。⑤、高效性，本身获取的数据就是跟随人体的实时获取的数据，在跌倒检测是近距离的实时监测，在跌倒检测效率是也具有相对的高效性。

实施例3：

本实施例是基于三维视觉的人体异常姿态检测系统，该系统用于实现实施例1的基于三维视觉的人体异常姿态检测方法，包括移动平台，移动平台下侧面安装四个移动轮，移动轮采用Mecanum轮；移动平台的上侧面安装有Kinect体感传感器，Kinect体感传感器安装有Depth传感器，Depth传感器是利用TOF(Time of Fligh)技术投射的红外线脉冲反射回来的时间来获得可以取得Depth数据(和传感器的距离信息)。Kinect体感传感器无线连接有上位PC机，上位PC机通过串口蓝牙以无线通讯的方式与移动平台进行通信；移动平台上还安装有直流电机、主控制器、锂电池、充电管理模块和电源管理模块，直流电机上安装有电机驱动器和光电编码器，上位PC机通过串口蓝牙以无线通讯的方式与主控制器进行通信；主控制器连接并控制电机驱动器，电机驱动器连接并控制直流电机，直流电机驱动Mecanum轮转动，直流电机连接光电编码器，光电编码器用于在直流电机转动的同时能实时速度反馈给主控制器用于转速调节，从而形成反馈控制。充电管理模块电连接锂电池，锂电池电连接电源管理模块，电源电力模块分别电连接Kinect体感传感器、主控制器、电机驱动器、光电编码器为其供电。

工作过程：上位PC机通过串口蓝牙以无线通信的方式与移动平台上的主控制进行通信；移动平台移动时，先是由上位PC机将移动平台运动规律的参数以报文的形式发送到主控制器，主控制器接受成功后提取移动平台的速度参数，转化Mecanum轮的转动角速度和转向；然后主控制器对各个电机驱动器发送与转速的相对应的控制信号；光电编码器用于在直流电机转动的同时能将实时速度反馈给主控制器用于转速调节，从而形成反馈控制。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种基于三维视觉的人体异常姿态检测方法，其特征在于，该方法是将Kinect体感传感器搭载在移动平台上，移动平台采用Mecanum轮为移动轮，使搭载了Kinect体感传感器的移动平台能够跟随人体移动而移动，并利用Kinect体感传感器获取移动平台到人体骨骼点的距离，将获取的距离变化转化为电信号发送到移动平台，使移动平台能够跟随人体的移动方向而移动，且移动平台能够根据距离变化控制Mecanum轮的移动速度，确保移动平台与人体保持设定距离；同时根据Kinect体感传感器上摄像头拍摄的画面获取人体骨骼点信息建立跌倒模型，根据跌倒模型实时进行人体的跌倒检测；

其中，根据跌倒模型实时进行人体的跌倒检测包括如下步骤：

S1、利用Kinect体感传感器的摄像头获取人体的深度图形；

S2、利用深度图形建立人体骨骼点构成的人体骨架图；

S3、提取用于跌倒检测判定的五个特征骨骼点；

S4、获取五个特征骨骼点的空间位置，建立一个垂直于地面的平面L₁且确保五个特征骨骼点到平面L₁的距离最小；

S5、建立与平面L₁垂直的平面L₂且确保五个特征骨骼点到平面L₂的距离最小；其中，建立平面L₂的方法包括如下步骤：

(1)、利用点和平面的性质，根据平面L₁求出L₁的一个正交切面L₂，使平面L₂与地面垂直；

(2)、使平面L₂经过人体的脊柱骨骼点E(x₅,y₅,z₅)；

(3)、平面L₁和平面L₂在x轴和z轴构成的平面内为两条正交的直线，已知L₁的方程z₁＝k₁x+b₁，故L₂的方程z₂＝k₂x+b₂的系数，联立方程组求出L₂的平面方程系数：

得出，

S6、计算五个特征骨骼点在移动过程中到平面L₁和平面L₂的加权平均距离

和

以及五个特征骨骼点的移动速度

S7、利用加权平均距离

和

以及五个特征骨骼点的移动速度

的变化来判断是否发生跌倒：

①、若加权平均距离

和

大于设定的阀值，则代表特征骨骼点偏出建立的标准坐标系，发生巨大位置变化，表示人体跌倒的可能性较大，发出报警信号；

②、若特征骨骼点的移动速度

大于设定阀值时，表示人体跌倒的可能性较大，发出报警信号。

2.根据权利要求1所述的基于三维视觉的人体异常姿态检测方法，其特征在于，所述特征骨骼点分别是头部、肩部中心、左肩、右肩和脊柱。

3.根据权利要求1或2所述的基于三维视觉的人体异常姿态检测方法，其特征在于，所述步骤S4中建立平面L₁方法包括如下步骤：

(1)、获取五个特征骨骼点的空间坐标位置，头部骨骼点、肩部中心骨骼点、左肩骨骼点、右肩骨骼点和脊柱骨骼点在三维空间中的坐标分别为A(x₁，y₁，z₁)、B(x₂，y₂，z₂)、C(x₃，y₃，z₃)、D(x₄，y₄，z₄)和E(x₅，y₅，z₅)；

(2)、利用最小二乘法中的一元线性回归分析建立样本回归模型：

其中，Y_i为因变量，表示响应变量或被预测变量；

为Y_i的截距；

为直线斜率；X_i为自变量，表示解释变量或预测变量；e_i为随机误差；Y_i模型中的X_i对应的值；

(3)、计算残差平方和：

其中，

为实际的坐标值；

(4)、使残差平方和达到最小计算出距离五个特征骨骼点距离最小的切面；以

为变量，计算出

值：

即Q对两个待估参数

的偏导数：

解得：

(5)、距离五个特征骨骼点距离最小的切面垂直于地面，故平面方程为z₁＝k₁x+b₁；

(6)、利用最小二乘法将五个特征骨骼点的x轴坐标和z轴坐标数据带入样本回归模型即可求得k₁，b₁值；

(7)、五个特征骨骼点在z轴与x轴构成平面L1的位置。

4.根据权利要求1所述的基于三维视觉的人体异常姿态检测方法，其特征在于，所述步骤S6中五个特征骨骼点的移动速度

的计算方法如下：

(1)、计算特征骨骼点到平面L₁和平面L₂的距离：

①、五个特征骨骼点分别到平面L₁的距离为：

五个特征骨骼点到平面L1的加权平均距离为：

其中，d_A1、d_B1、d_C1、d_D1、d_E1分别表示五个特征骨骼点分别到平面L₁的距离，

分别表示采用随机森林得到五特征骨骼点在跌倒过程中的权重；

②、五个特征骨骼点分别到平面L₂的距离为：

五个点到平面L2的加权平均距离为：

其中，d_A2、d_B2、d_C2、d_D2、d_E2分别表示五个特征骨骼点分别到平面L₂的距离，

分别表示采用随机森林得到五特征骨骼点在跌倒过程中的权重；

(2)、计算特征骨骼点速度的变化：地面的平面的方程式固定不变的，故利用地面作为参考对象来计算特征骨骼点的位置变化；

①、Kinect体感传感器获取特征骨骼点的三维坐标用来计算特征骨骼点距离地面的高度；

②、在Kinect体感传感器提供的IbodyFrame类里面有一个get_FloorClipPlane函数，函数的参数是vector4*floorClipPlane，返回值是HRESULT类型；其中，vector4结构体里有4个float类型的数据成员，分别是x，y，z，w，这4个参数即为地面方程的系数x，y，z和常数项w，地面方程是在Kinect体感传感器的坐标系下得到的，常数项w表示Kinect体感传感器的中心点到地面的距离；将这四个数分别赋值给A，B，C，D，则可得地面方程为：Ax+By+Cz+D＝0；

③、根据特征骨骼点的三维坐标和地面方程，计算出特征骨骼点离地面的距离：

④、Kinect体感传感器以每秒30帧的频率来获取特征骨骼点的数据，利用两帧之间特征骨骼点距离地面的变化来计算这两个帧之间的速度；第i+1帧时速度计算为：

其中，d_i+1为时间t_i+1时间帧点到地面的距离；d_i为时间t_i时间帧点到地面的距离；

⑤、计算五个特征骨骼点在运动过程中的平均速度：

其中，v_A、v_B、v_C、v_D、v_E分别表示五个特征骨骼点在运动过程中的速度。

5.一种基于三维视觉的人体异常姿态检测系统，其特征在于，该系统用于实现如权利要求1-4中任一所述的基于三维视觉的人体异常姿态检测方法，包括移动平台，移动平台下侧面设置有至少三个移动轮，移动轮采用Mecanum轮；移动平台的上侧面设置有Kinect体感传感器，Kinect体感传感器无线连接有上位PC机，上位PC机通过串口蓝牙以无线通讯的方式与移动平台进行通信；

移动平台上还设置有直流电机和主控制器，直流电机上设置有电机驱动器和光电编码器，上位PC机通过串口蓝牙以无线通讯的方式与主控制器进行通信；主控制器连接并控制电机驱动器，电机驱动器连接并控制直流电机，直流电机驱动Mecanum轮转动，直流电机连接光电编码器，光电编码器用于在直流电机转动的同时能实时速度反馈给主控制器用于转速调节，从而形成反馈控制。

6.根据权利要求5所述的基于三维视觉的人体异常姿态检测系统，其特征在于，所述移动平台上还设置有锂电池、充电管理模块和电源管理模块，充电管理模块电连接锂电池，锂电池电连接电源管理模块，电源电力模块分别电连接Kinect体感传感器、主控制器、电机驱动器、光电编码器为其供电。

7.根据权利要求5或6所述的基于三维视觉的人体异常姿态检测系统，其特征在于，所述Kinect体感传感器设置有Depth传感器。

Images