CN105719429A - 一种基于Kinect的跌倒检测及报警系统及其操作方法 - Google Patents

Abstract

本发明涉及一种跌倒检测及报警系统及其操作方法，旨在应用Kinect的骨骼节点的数据检测等功能以及相应的软硬件搭配，实现以非接触的方式让老年人的活动信息与计算机进行交互。本发明的主要工作是在不影响老人正常生活的情况下通过对人体骨骼数据的采集，获取骨骼节点的三维坐标，计算出人体重心在空间中的位置及速度，通过判断人体重力作用线是否超出支撑面范围以及重心在竖直方向和水平方向的移动速度大小，实现对跌倒的准确检测。此外本发明还创新性地在以视频通话、深度图像和彩色图像传输、短信提醒三种方式进行报警。最后本发明搭建了自动跟踪人体旋转的云台，编写相关软件界面，完成基于Kinect的跌倒检测及报警系统。

Description

一种基于Kinect的跌倒检测及报警系统及其操作方法

技术领域

本发明涉及家庭监护领域，特别涉及跌倒检测领域，具体是指一种跌倒检测及报警系统。

背景技术

目前的跌倒检测技术根据获取跌倒信息手段的不同可以分为：

(1)用户自主启动型报警系统

用户在摔倒之后必须没有失去意识，有一定的活动能力，并且用户不能是患有老年痴呆或者其他精神疾病的老年人。这使得很多情况的跌倒无法被检测和识别。

(2)基于穿戴式的跌倒探测系统

这种检测系统可以实时监测人体的活动，当人体的运动参数发生改变时，通过算法判断是否发生了跌倒。但这种系统需要随身携带，比较不方便，可能会影响用户的正常生活。

(3)基于视频装置的跌倒探测系统

基于视频装置的跌倒探测系统是指通过视频监测技术来对人的姿态进行监控，达到在人体跌倒之后进行识别的系统。其准确度及报警有效性仍需提高。

因此，急需一个系统，其既可以不影响用户生活，又可以实时监控人体活动达到准确识别跌倒并有效进行报警。

发明内容

本发明的目的是克服了上述现有技术中的缺点，提供一种基于kinect的跌倒检测及报警系统。该系统准确度高、做到实时监控又不影响用户正常生活、能以视频通话、邮件传输、短信提醒三种方式进行报警。

为了实现上述的目的，本发明的一种跌倒检测及报警系统具有如下构成：

一种基于Kinect的跌倒检测及报警系统，包括：数据采集单元，由Kinect组件构成，用于检测用户的运动状态；数据处理单元，由电脑及应用程序模块构成，能够处理跌倒检测单元传递来的数据，得出用户跌倒提示；其特征在于：通过数据采集单元得到用户骨骼节点信息；数据处理单元根据用户骨骼节点信息通过建立人体重心、重力作用线及重力支撑面模型来进行用户跌倒检测。

所述数据采集单元通过对人体骨骼数据的采集，用以判断人体重心位置信息。

所述数据采集单元用Kinect组件进行用户骨骼的构造和追踪，并将骨骼节点的三维坐标提供给数据处理单元。数据处理单元中的应用程序首先会分别计算11个部分单独的重心位置。之后乘上相应的比例相加得到整体的重心位置；数据处理单元根据重心位置建立三维坐标，形成重力作用线的模型；此外，数据处理单元以用户双脚的重心位置作为焦点，双脚的重心位置间距的两倍作为长轴长，脚长的两倍作为短轴长，在双脚所处平面建立椭圆形的重力支撑面模型；当重力作用线超出了重力支撑面的范围，数据处理单元会判定用户具有跌倒的趋势。

所述数据处理单元的应用程序模块采用KinectSDK软件平台进行开发，达到跌倒检测的功能。

所述数据处理单元采用重心速度阈值法实现对各种跌倒情况的检测，所采用阈值由实验法取得。

优选的，本发明还包括Kinect姿态调整单元，由云台组件构成，用于辅助数据采集单元进行视角变化；Kinect姿态调整单元同时与数据处理单元相连，通过分析跌倒检测单元的数据对Kinect姿态调整单元进行角度调节。

所述云台组件由Netduino控制，能自动跟踪人体旋转。

优选的，本发明还包括报警单元，由所述数据处理单元的电脑和报警软件模块构成，用于在得到数据处理单元做出的用户跌倒提示后，对外发出报警。

所述报警单元以视频通话方式进行报警。

所述报警单元以深度图像和彩色图像传输方式进行报警。

所述报警单元以短信提醒方式进行报警。

一种操作基于Kinect的跌倒检测及报警系统的方法，所述方法包括：

(一)数据采集单元监控用户的运动状态，并获得用户骨骼节点数据；

(二)(1)数据处理单元分析用户骨骼跌点数据；

(2)数据处理单元利用软件系统获得用户重心位置；

(3)数据处理单元利用阈值法判断用户行为状态；

(三)数据处理单元在得出用户跌倒的判断后，向报警单元发出信号；

(四)报警单元在得到数据处理单元做出的用户跌倒提示后，对外发出报警。

所述Kinect组件通过KinectSDK系统开发工具包中相应API应用程序接口获得监测对象的人体骨骼数据(即人体动作数据)，KinectforWindowsSDK主要以Windows7为平台进行开放，设计，内含驱动程序、丰富的原始感测数据流程式开发接口(RawSensorStreamsAPI)、自然用户接口、安装文件以及参考数据。

在本设计中，该SDK主要能调用的功能模块包括：

1，信息采集模块：Kinect本身具有距离传感器、彩色摄影机，本发明可以利用其硬件组合获得初步的原始信息。

2，骨架追踪：KinectSDK能够追踪Kinect视野内用户的骨架影像，并通过程序模块计算获得人体重心的实时数据。

采用KinectSDK建立的主程序，结合本发明的硬件，可以在不影响老人正常生活的情况下通过对人体骨骼数据的采集，获取骨骼节点的三维坐标，计算出人体重心在空间中的位置及速度。本发明通过判断人体重力作用线是否超出支撑面范围来确定人体是否处于一个平衡状态。当人体状态不平衡时，本发明判断重心在竖直方向和水平方向的移动速度大小是否超过阈值，实现对跌倒的检测。检测到跌倒后，本发明将以视频通话、深度图像和彩色图像传输、短信提醒三种方式进行报警，使用户的家人能以最为直观、全面的方式了解用户情况，从而及时采取最佳的救助措施。

由于Kinect的视角场有限，只能达到43°(垂直方向)和57°(水平方向)可视范围。老人如果离开了其视角场或是处在视角场的边缘就会给监护带来一定障碍。本系统搭建了一个可以自动跟踪人体转动的云台来“扩大”Kinect的视角场。

基于Netduino具有编程语言与环境均与主程序相同，且运算速度快等优点。本系统采用其作为云台控制器。

Netduino基于微软的.NETMicroFramework，采用Atmel的32位ARM7，频率48MHz，内存为128K，RAM为60K。可以进行仿真与在线调试。PWM输出常被当做模拟输出用，最高电压平均是3.3V。

在完成骨骼节点三维坐标数据采集的主程序中，根据体感得出的人体重心距Kinect坐标系Z轴的距离及其落在的空间卦限，通过一系列算法计算出云平台马达需要的DutyCycle。本系统中采用的马达经实验测定DutyCycle为0.48时停转，大于0.48时正传，小于0.48是反转。主程序将计算出的DutyCycle通过无线网络，以Udp协议的方式传输至控制云台的Netduino副程序，进一步操作云平台的适应性动作。

最后本发明编写相关软件界面，完成基于Kinect的跌倒检测及报警系统。

附图说明

图1是本发明的系统硬件的实施示意图。

图2是系统简要程序框图。

图3是重心在空间中的速度阈值实验原始数据

图4是准确度实验数据。

具体实施方式

为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。

一、系统构成

如图1所示，本发明的该跌倒检测及报警系统，包括数据采集单元1，由Kinect组件构成，用于检测用户5的运动状态；Kinect姿态调整单元2，由云台组件构成，用于辅助数据采集单元进行视角变化；数据处理单元3，由电脑及KinectSDK软件模块构成，能够处理跌倒检测单元传递来的数据，得出用户跌倒提示；数据处理单元同时与Kinect姿态调整单元相连，通过分析跌倒检测单元的数据对Kinect姿态调整单元进行角度调节；报警单元，由所述数据处理单元的电脑和报警软件模块构成，用于在得到数据处理单元做出的用户跌倒提示后，并向外部设备4发出报警。以下是本发明的一具体实施例中跌倒检测与报警系统两方面的介绍及其相关实验。

二、跌倒检测方法

(一)本发明采用的人体重心位置计算方法

人体包括由骨骼节点连接起来的各个部分，每当这些部分或者骨骼节点的位置由于人体姿势的改变而改变，人体重心的位置就会改变。如果人体处于弯腰状态时，重心位置甚至会处在人体外部。因此，如果仅仅以重心大致在人体总身高的55％处估算其位置，在应用中就显得不够准确。RudolfsDilliris和RenatoContini的研究结果显示：人体可以被分成几个部分，每个部分的质量在占身体总质量的比重在不同人身上大致相同。

(二)Kinect与人体重心位置确定

人体骨骼被分成了11个部分头和躯干(×1)，上臂(×2)，前臂(×2)，大腿(×2)，小腿(×2)，脚(×2)，双手因为它们只占了身体总质量的一小部分而被忽略。利用Kinect进行用户骨骼的构造和追踪，并且将其作为一个数据的输入设备将骨骼节点的三维坐标提供给程序。程序首先会采用表中的数据分别计算11个部分单独的重心位置。之后乘上相应的比例相加得到整体的重心位置。人体重心的具体计算方式如表1所示

表1

(三)判断人体姿势

本系统可以根据Kinect检测出的各关节点的相对位置、四肢躯干的角度进行计算，将人体状态转换为几何的角度以方便程序处理。

区别人体“站”与“坐”：

取左肩(SL)，右肩(SR)，臀部中央(H)，左膝(KL)，右膝(KR)5个骨骼节点。在主程序中计算∠SL-H-KL以及∠SR-H-KR的度数。

当∠SL-H-KL以及∠SR-H-KR的度数均小于阈值，如表2所示，经实验测定其阈值为4/5π，超过阈值时判定人体为站立的状态，反之人体为坐状态。

表2

角度	准确率
		0.70π	65.00％
0.75π	90.00％
		0.80π	95.00％
0.85π	85.00％
		0.90π	50.00％

本系统仅在人体为站立状态时开启跌倒检测功能，有效提高判断的准确度以及系统的效率。

(四)判断人体平衡

从力学角度来讲，人体的平衡跟两方面因素有关，一个是人体的重心的位置，另一个是重力支撑面的面积。一旦人体重力的作用线超出了支撑面的范围，则人体就会处于不平衡的状态。因此也可以说，摔倒是由于人体重力作用线脱离了支撑面而产生的不稳定状态。

重力作用线即为X轴与Z轴的坐标与重心一致，Y轴坐标为任意实数的一条直线。本课题中主要是利用重力作用线与双脚所在平面的交点，此交点的Y轴坐标即为双脚所在平面的Y轴坐标。在程序中可以方便定义一个点，使其满足上述要求。算出这个点到两脚的距离之和，与椭圆的长轴长的两倍作比较，大于长轴长的两倍即表示重力作用线落在重力支撑面以外。此处2倍亦是通过实验获得，每个数值实验20次，实验结果如表3：

表3

倍数	准确度
		1.00	45.00％
1.25	60.00％
		1.50	70.00％
1.75	85.00％
		2.00	95.00％
2.25	80.00％
		2.50	70.00％

重力支撑面的确定是这一部分中的难点。在双脚着地的情况下，支撑多边形计算可能很复杂。目前对支撑多边形的相关研究多用图形形式简化表示。本发明考虑到Kinect体感检测的特性，在实验的基础上，确定以双脚的重心位置作为焦点，双脚的重心位置间距的两倍作为长轴长，脚长的两倍作为短轴长，在双脚所在平面建立了一个椭圆的模型。这个椭圆可以近似的看做为重力支撑面。如果人体重力的作用线超出了支撑面的范围，程序会判定用户具有跌倒的趋势。

(五)重心在空间中的速度

本发明在这一部分采用阈值法，阈值的确定主要是通过实验来完成的。发明进行了18次跌倒，前倒、后倒、侧倒各6次。用程序记录每次跌倒过程中重心在竖直和水平方向的速度最大值，实验原始数据请参阅图3所示。

本发明中确定的速度阈值为重心在竖直方向的速度绝对值大于1.8米每秒，在水平方向的速度绝对值大于1.0米每秒。

三、Kinect姿态调整单元工作方式

由于Kinect的视角场有限，只能达到43°(垂直方向)和57°(水平方向)可视范围。老人如果离开了其视角场或是处在视角场的边缘就会给监护带来一定障碍。本系统搭建了一个可以自动跟踪人体转动的云台来“扩大”Kinect的视角场。

基于Netduino具有编程语言与环境均与主程序相同，且运算速度快等优点。本系统采用其作为云台控制器。

Netduino基于微软的.NETMicroFramework，采用Atmel的32位ARM7，频率48MHz，内存为128K，RAM为60K。可以进行仿真与在线调试。PWM输出常被当做模拟输出用，最高电压平均是3.3V。

在完成骨骼节点三维坐标数据采集的主程序中，根据体感得出的人体重心距Kinect坐标系Z轴的距离及其落在的空间卦限，通过一系列算法计算出云平台马达需要的DutyCycle。本系统中采用的马达经实验测定DutyCycle为0.48时停转，大于0.48时正传，小于0.48是反转。主程序将计算出的DutyCycle通过无线网络，以Udp协议的方式传输至控制云台的Netduino副程序，进一步操作云平台的适应性动作。

四、报警单元工作方式

本发明能在检测到跌倒后，能自动通过一系列指令打开Skype视频通话软件的URL地址，实现与指定联系人视频通话的功能。这样就可以使家人最为直观、全面的认识到用户的状态。如果用户意识清醒，还可以与之对话，了解跌倒造成的伤害程度，从而及时采取最佳的救助措施。

考虑到用户家人不一定有条件进行视频通话，本系统设计了另一种报警方法。这种方法能够充分利用kinect的景深传感器(3DDepth)和彩色摄像头(RGBCamera)，在检测到跌倒后自动调整Kinect的垂直仰角，使之向下倾斜至正好可以拍摄到用户的位置，并捕捉可以清晰显示用户跌倒状态的深度图像和彩色图像。考虑到如果跌倒发生在光线昏暗的夜晚，彩色图像无法看清人体。此时深度图像由于用明显的亮红色标注人体，可以有效帮助家人识别用户的位置和状态。通过SMTP协议自动将一封带有两张图片附件的邮件传输到家人的邮箱，并同时发送一条短信提醒家人接收邮件。用户家人在一分钟以内即可收到报警短信。家人可以在手机上安装邮箱客户端，直接在手机上接收邮件。这样可以让家人更为方便的在第一时间得知情况，并可根据照片判断用户具体跌倒情况。这些照片同时也可以进一步消除误判可能。

视频通话、邮件传输、短信提醒三者是同时进行的，互不影响。

五、具体实验场景

测试在不同场景下分别测试，避免应用于不同的生活场景中实验结果产生偏差。场景一位于1.7米乘4.5米的家中走道，比较空旷，Kinect仅能获取人的深度信息，其余均在量程外，这个场景理论上是最佳的。场景二位于2.5米乘3.6米的卧室中，这个场景较为一般。场景三位于3.2米乘4.0米的餐厅，背景较为复杂，桌椅及桌上杂物有可能会干扰Kinect识别，最为不利。考虑到此系统主要应用于空巢老人家中，所以实验中没有设计除用户以外的其他人。

实验每个简单日常行为在不同背景下，各测量10次。实验跌倒行为在不同背景下，各测量15次(前倒、后倒、侧倒各5次)。

(一)简单日常行为的测试

1)正常行走或站立

实验者站立或者以不同的速率行走。在场景1和场景2中，系统可识别出无跌倒事件发生，无警报发出。在场景3中，当用户以较快速度行走时，出现两次误判。

2)快速的坐下

实验者尽可能的快速的坐下。在30次实验中，尽管检测到一个较大的速度，但重力的作用线没有超出支撑面的范围，因此，无警报发出。

3)快速的蹲下

实验者尽可能的快速的坐下。同样的，在30次实验中，尽管检测到一个大的速度，但重力的作用线没有超出支撑面的范围，因此，仅在场景3出现一次误判。

(二)跌倒行为的检测测试

实验者以各种方向摔向地板：前倒、后倒、侧倒。跌倒后，实验者保持躺着或斜坐在地上。向前及向后跌倒的各45次实验中均有一次未能成功检测，且均出现在场景3。而向侧跌倒的45次实验中在场景2和场景3均出现一次未能成功检测。

六、实验结论

实验具体数据请参阅图4所示。跌倒检测系统的准确度可以满足实际应用的要求，准确率可以控制在93％以上。比较三种简单日常行为的判断可以发现，误判发生主要集中在场景3，其主要原因可能是由于障碍物影响Kinect对于人体骨骼节点数据的获得，导致重心三维坐标不够精确，检测出现错误。比较三种跌倒方向可以得出，在最为有利的环境下，没有出现漏判，而在两种具有干扰的场景下，程序获取人体的骨骼数据略有影响，但准确度仍旧可以保持在相当高的水平。

综上，本发明的跌倒检测及报警系统准确度高、做到实时监控又不影响用户正常生活、能以视频通话、邮件传输、短信提醒三种方式进行报警。

Claims (12)

1.一种基于Kinect的跌倒检测系统，包括：数据采集单元，由Kinect组件构成，用于检测用户的运动状态；数据处理单元，由电脑及应用程序模块构成，能够处理跌倒检测单元传递来的数据，得出用户跌倒提示；其特征在于：通过数据采集单元得到用户骨骼节点信息；数据处理单元根据用户骨骼节点信息通过建立人体重心、重力作用线及重力支撑面模型来进行用户跌倒检测。

2.如权利要求1所述的基于Kinect的跌倒检测系统，其特征在于，所述数据采集单元通过对人体骨骼数据的采集，用以判断人体重心位置信息。

3.如权利要求1所述的基于Kinect的跌倒检测系统，其特征在于，所述数据处理单元的应用程序模块采用KinectSDK软件平台进行开发，达到跌倒检测的功能。

4.如权利要求1所述的基于Kinect的跌倒检测系统，其特征在于，所述数据采集单元用Kinect组件进行用户骨骼的构造和追踪，并将骨骼节点的三维坐标提供给数据处理单元。数据处理单元中的应用程序首先会分别计算11个部分单独的重心位置。之后乘上相应的比例相加得到整体的重心位置；数据处理单元根据重心位置建立三维坐标，形成重力作用线的模型；此外，数据处理单元以用户双脚的重心位置作为焦点，双脚的重心位置间距的两倍作为长轴长，脚长的两倍作为短轴长，在双脚所处平面建立椭圆形的重力支撑面模型；当重力作用线超出了重力支撑面的范围，数据处理单元会判定用户具有跌倒的趋势。

5.如权利要求1所述的基于Kinect的跌倒检测系统，其特征在于，所述数据处理单元采用重心速度阈值法实现对各种跌倒情况的检测，所采用阈值由实验法取得。

6.如权利要求1所述的基于Kinect的跌倒检测及系统，其特征在于，还包括Kinect姿态调整单元，由云台组件构成，用于辅助数据采集单元进行视角变化；Kinect姿态调整单元同时与数据处理单元相连，通过分析跌倒检测单元的数据对Kinect姿态调整单元进行角度调节。

7.如权利要求4所述的基于Kinect的跌倒检测系统，其特征在于，所述云台组件由Netduino控制，能自动跟踪人体旋转。

8.如权利要求1所述的基于Kinect的跌倒检测系统，其特征在于，还包括报警单元，由所述数据处理单元的电脑和报警软件模块构成，用于在得到数据处理单元做出的用户跌倒提示后，对外发出报警。

9.如权利要求5所述的基于Kinect的跌倒检测系统，其特征在于，所述报警单元以视频通话方式进行报警。

10.如权利要求5所述的基于Kinect的跌倒检测系统，其特征在于，所述报警单元以深度图像和彩色图像传输方式进行报警。

11.如权利要求5所述的基于Kinect的跌倒检测系统，其特征在于，所述报警单元以短信提醒方式进行报警。

12.一种操作基于Kinect的跌倒检测系统的方法，所述方法包括：

(一)数据采集单元监控用户的运动状态，并获得用户骨骼节点数据；

(二)(1)数据处理单元分析用户骨骼跌点数据；

(2)数据处理单元利用软件系统获得用户重心位置；

(3)数据处理单元建立重心、重力作用线和重力支撑面模型，并利用阈值法判断用户行为状态；

(三)数据处理单元在得出用户跌倒的判断后，向报警单元发出信号；

(四)报警单元在得到数据处理单元做出的用户跌倒提示后，对外发出报警。