CN104680525B - 基于Kinect深度图像的人体摔倒自动检测方法 - Google Patents
基于Kinect深度图像的人体摔倒自动检测方法 Download PDFInfo
- Publication number
- CN104680525B CN104680525B CN201510074534.3A CN201510074534A CN104680525B CN 104680525 B CN104680525 B CN 104680525B CN 201510074534 A CN201510074534 A CN 201510074534A CN 104680525 B CN104680525 B CN 104680525B
- Authority
- CN
- China
- Prior art keywords
- human body
- depth
- depth image
- detection
- kinect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 99
- 230000008859 change Effects 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 27
- 238000012360 testing method Methods 0.000 claims description 27
- 238000002156 mixing Methods 0.000 claims description 25
- 230000004888 barrier function Effects 0.000 claims description 8
- 238000011161 development Methods 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 230000002035 prolonged effect Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 2
- 230000007797 corrosion Effects 0.000 claims 1
- 238000005260 corrosion Methods 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 claims 1
- 238000011897 real-time detection Methods 0.000 abstract description 6
- 230000011218 segmentation Effects 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 9
- 230000018109 developmental process Effects 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 241001122767 Theaceae Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000002844 melting Methods 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000414 obstructive effect Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Emergency Alarm Devices (AREA)
Abstract
本发明提出一种基于Kinect深度图像的人体摔倒自动检测方法。本检测方法利用Kinect获取检测环境的深度图像，对其中的人体前景图进行分割和提取，建立人体深度图像前景图的三维包围盒，获取三维包围盒的长、宽、高数值及其单位帧内的变化速度，根据摔倒判定条件和临界值，判定摔倒事件是否发生。人体若有障碍物遮挡，则启动遮挡融合算法，将人体深度图同遮挡物深度图像融合，建立新的三维包围盒，再根据判定条件和临界值，判定摔倒事件是否发生。摔倒事件一旦发生，通过手机短信报警。本方法利用了人体的深度图像，有效降低了误判率。利用遮挡融合算法解决了人体在被遮挡情况下的摔倒事件判别问题，降低了漏报率，并可实现对人体的24小时连续实时检测。
Description
技术领域：
本发明涉及一种基于Kinect深度图像的人体摔倒自动检测方法。
背景技术：
人体摔倒自动检测方法是指利用外部设备自动监控检测人体居家环境下的日常活动，以检测人体意外摔倒事件的技术。目前，根据检测摔倒事件的技术原理，人体摔倒自动检测技术主要分为三种：①基于穿戴式传感器：采用三轴加速度计和三轴陀螺仪采集人体各种状态下躯干的加速度值与角速度值，利用阈值法检测摔倒事件。但基于穿戴式传感器的摔倒检测设备穿戴舒适性欠佳，对人体正常运动具有阻碍性，且误报率和漏报率较高；②基于视频技术：通过摄像机的连续监控，借助图像处理技术，实时分析目标图像信息，检测人体摔倒事件的发生。视频技术对人体的日常生活干扰较小，可以对摔倒事件进行远程验证等。但是，安装校准摄像机镜头需要消耗大量时间；普通CCD摄像机不能在夜间以及弱光照条件下工作，无法进行实时检测；较易泄露使用者隐私；③基于声频信号技术：通过检测人体摔倒时刻的声音大小及频率高低检测人体摔倒事件的发生，此类系统对使用环境的声学背景要求高，安装复杂，资金投入大，精度不高。现有文献资料中已经出现过基于上述技术的人体摔倒自动检测系统，但其在实际生活中的适用性和检测成功率均不高。
深度图像是具有三维纵深的黑白像素点云图像。Kinect借助自身的红外线发射器，发出激光覆盖整个Kinect的可视范围，激光在散射体表面产生漫反射，红外线摄像头接收漫反射光线，利用光编码技术，对可视范围内的空间进行编码。Kinect对获取的具有三维纵深的编码进行解码运算，获得深度图像数据流。Kinect传感器可以提供人体居家环境下深度图像数据流，且在运行期间不依赖可见光，可进行24小时连续实时检测，借助算法分割出人体深度图像前景图，通过对具有三维纵深的人体深度图像前景图的分析和处理，可以提供人体摔倒自动检测的新方法。
发明内容：
本发明提出了一种基于Kinect深度图像的人体摔倒自动检测方法，目的是为了克服上述三种自动检测技术不足，提供一种无需穿戴、不依赖可见光、检测结果准确、价格低廉的人体摔倒自动检测方法。
本发明通过以下的技术方案实现的：
一种基于Kinect深度图像的人体摔倒自动检测方法，具体步骤如下：
A、准备一台安装有NITE1.5.2.21、OpenNI1.5.4.0和SensorKinect093的计算机，SensorKinect093是Kinect的驱动程序，SensorKinect093用于Kinect在NITE1.5.2.21的框架下与计算机相连，OpenNI1.5.4.0开发包中包含了Kinect中各传感器的接口以及应用程序编程接口API；
B、Kinect安装的高度距离地面DECF的高度d＝2.6m，Kinect下俯视角β＝31°，以覆盖整个检测环境；
C、启动基于Kinect深度图像的摔倒自动检测系统，用户可以在规定的检测环境内部自由地进行日常活动；
D、在计算机主机的驱动下，Kinect启动其自带的红外线发射器，通过红外线覆盖整个检测环境，对整个检测环境内的静止物体和运动物体进行持续照射，然后通过自带的红外线CMOS摄像机收集和记录环境内的红外线反射光线，并对检测环境内的所有物体进行光编码运算；
E、Kinect在获取检测环境内所有物体在Kinect坐标下的三维纵深编码值后，通过Kinect内部的解码芯片对获取的三维纵深编码进行解码运算，获取检测环境下所有物体的深度图像数据流；
F、在计算机上，通过OpenNI SDK中的Simpleviewer数据接口，可在计算机屏幕上显示Kinect实时获取的检测环境内的深度图像；
G、Kinect将获取的检测环境内的深度图像数据通过应用程序编程接口API传递至已编写完成的应用程序，对检测环境深度图像中的人体前景图进行分割和提取，建立人体深度图像前景图的三维包围盒，在人体被障碍物遮挡情况下，启动遮挡融合算法，判别人体摔倒事件是否发生，并进一步通过语音应答确认，如果摔倒事件发生，则向已登记的手机发送摔倒报警短信。
具体检测过程如下：
(1)、人体深度图像前景图三维包围盒的建立：
对Kinect获取的人体前景图进行分割和提取，建立人体深度图像前景图的三维包围盒，获取三维包围盒的长、宽、高数值及其单位帧内的变化速度，根据摔倒判定条件和临界值，判定摔倒事件是否发生。
人体在居家环境下的日常活动是无序的，如走动、小跑、下蹲、跳跃、坐下、躺下等，因此在人体摔倒事件自动检测过程中，需要建立人体深度图像前景图的三维包围盒。首先，利用Simpleviewer数据接口获取检测环境内的深度图像，并通过阈值法将深度图像中的人体深度图像前景图进行着色、分割和提取，以区别于检测环境内的背景深度图像；第二，利用先腐蚀后膨胀的算法对具有三维纵深的人体深度图像前景图的外表面进行去噪和去空洞处理，使人体深度图像前景图的外表面保持光滑；第三，基于OpenNI的Skeletonwrappedskin接口，对人体深度图像前景图的外表面进行皮肤重构，利用面积S＝m且不等形状的三角形将人体深度图像前景图的外表面进行重新包裹；第四，在对人体前景图外表面进行皮肤重构的基础上，利用OpenNI的Closestpointvierwer接口，获取人体深度图像前景图在检测环境内的前、后、上、下、左、右像素边界点A、B、C、D、E、F，此像素边界点即为上一步中面积S＝m且不等形状三角形的顶点；最后，以像素边界点A、B、C、D、E、F为切点，建立包裹人体深度图像前景图前、后、上、下、左、右的6个矩形平面，通过这6个平面构建起三维包围盒。自动检测方法获取三维包围盒的长、宽、高数值i、j、k，以及长、宽、高数值i、j、k在单位帧内的变化速度I、J、K，T为数值i、j、k不变情况下的停留时间，设定为t，根据人体尺寸以及摔倒实验，设定p1、p2、p3、p4值：
判定条件一：即检测过程中，当人体深度图像三维包围盒的k＜p1或时，满足条件一的要求；
判定条件二：即检测过程中，人体深度图像三维包围盒的变化速度K＞p3或时，满足条件二的要求；
判定条件三：Th3＝(T≥t)，即检测过程中，人体深度图像三维包围盒的长、宽、高数值i、j、k保持数据不发生变化的时间T≥t时，满足条件三的要求；
当成立，即同时满足条件一、二、三的要求时，自动检测方法判定人体摔倒事件发生；
(2)、人体被障碍物遮挡情况下的检测：
人体在居家环境下日常活动中，意外摔倒事件可能会发生在带有靠背的椅子后方、沙发后方、茶几后方以及书桌后方等，这些易引起遮挡的遮挡物高度一般低于人体肩部。日常生活中，人体运动至与遮挡物接近，当人体深度图像边界点与遮挡物深度图像边界点的最近距离L≤q时，q为设定值，遮挡融合算法启动，直至人体深度图像边界点与遮挡物深度图像边界点的最近距离L＞q时，遮挡融合算法关闭。在遮挡融合算法运行期间，人体深度图像会与遮挡物深度图像融为一体R，此时摔倒检测方法建立深度图像R的三维包围盒，并获取此三维包围盒的长、宽、高数值i'、j'、k'，以及长、宽、高数值i'、j'、k'在单位帧内的变化速度I'、J'、K'，n为遮挡物深度图像的高度数值，T'为k'＝n的停留时间，设定为t'：
判定条件四：Th4＝(k'＝n)，即检测过程中，当L≤q时，启动遮挡融合算法，当融合后的深度图像R三维包围盒的k'＝n时，满足条件四的要求；
判定条件五：Th5＝(K'＞p3)，即检测过程中，当L≤q时，启动遮挡融合算法，当融合后的深度图像R三维包围盒的变化速度K'＞p3时，满足条件五的要求；
判定条件六：Th6＝(T'≥t')，即检测过程中，当L≤q时，启动遮挡融合算法，当融合后的深度图像R三维包围盒的高度值k'＝n保持不变的时间T'≥t'时，满足条件六的要求。
当成立，即同时满足条件四、五、六的要求时，自动检测方法判定人体摔倒事件发生；
(3)、语音确认和报警短信发送：
为进一步降低本系统在检测人体日常活动中摔倒事件的误判率，缩短人体摔倒后的救助时间，本系统借助语音识别模块，在算法检测结束后，通过语音应答进一步确认人体是否摔倒，若确认摔倒，则向已登记的手机发送摔倒报警信息。语音识别模块基于LD3320A模块开发，采用JLINK V8接口，并通过USB接口与计算机主机连接。当人体在居家环境内部进行日常活动，人体某一序列帧内的运动状态符合或时，则本摔倒事件自动检测方法初步判定人体摔倒事件发生，而后摔倒事件检测方法调用语音输出开发包Microsoft Speech SDK 5.1，通过计算机自带的扬声器每隔5秒发出语音询问“您摔倒了吗？”，若语音识别模块30秒内接收到语音应答“没有”，则系统摔倒预警解除，继续下一帧的检测；若语音识别模块30秒内未接受到语音应答“没有”或未接受到任何应答，则系统向短信发报模块发出指令，向已登记的手机发送摔倒报警信息。报警短信发送模块基于SIM900A模块开发，采用RS232接口，通过USB接口与计算机主机连接。报警短信内容预存于模块内部，内容可自行编辑，如“某某人已经摔倒。”接收方的手机号码需预先在模块内进行登记，为减少摔倒后的救助时间，可登记2至3个号码，保证短信内容及时传达。当系统通过上述检测最终将命令传至短信发报模块后，短信发报模块会立即向已登记的手机发送摔倒报警信息，至此整个摔倒检测流程结束。
本发明与现有技术相比具有如下优点：
(1)、与基于视频的摔倒自动检测技术相比，基于Kinect深度图像的摔倒自动检测技术利用深度图像包含的目标图像像素z方向上的深度值，可以降低对宽、高数据的依赖，有效降低误判率。同时利用遮挡融合算法，可以避免人体遮挡条件下连续检测的缺失，有效降低漏报率。Kinect深度图像用黑白光谱的方式来检测人体，可以有效保护使用者的隐私；
(2)、与基于穿戴式传感器的摔倒自动检测技术相比，Kinect运行期间不受可见光影响，无需穿戴，适用性和舒适性好，可以实现对人体的24小时连续实时检测，提高了检测的效率，有效降低了人体夜晚摔倒不易发现的危险性；
(3)、Kinect的价格低廉，较易在社会中推广，实现人体摔倒事件的自动实时检测，构建人体意外摔倒检测报警系统，为摔倒人群尤其是老年人提供及时的安全救助，降低意外死亡风险。
附图说明
图1为Kinect传感器在检测环境中的安装位置；
图2为人体深度图像前景图；
图3为人体深度图像外表皮肤重构图；
图4为人体深度图像前景图的三维包围盒；
图5为遮挡融合算法运行时，人体深度图像前景图与遮挡物深度图像融合的过程。
具体实施方式
为了加深对本发明的理解，下面将结合实施例和附图对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
本发明提出一种基于Kinect深度图像的人体摔倒自动检测方法，该方法运用具有三维纵深的深度图像技术对使用者进行摔倒检测，无需使用者穿戴任何传感类设备，可在无光照条件下进行24小时连续实时检测，检测过程中对人体深度图像前景图生成三维包围盒，通过获取三维包围盒的长、宽、高数值及其变化速度判别摔倒事件是否发生，在遭遇人体被障碍物遮挡的情况下，方法采用遮挡融合算法将人体深度图像与遮挡物深度图像融合，通过检测融合图像的高度值及其变化速度判别摔倒事件是否发生。具体步骤如下：
A、在装有Windows 7的64位操作系统的计算机上安装NITE1.5.2.21、OpenNI1.5.4.0和SensorKinect093，SensorKinect093是Kinect传感器的驱动程序，用于Kinect传感器在NITE1.5.2.21的框架下与计算机相连，OpenNI1.5.4.0开发包中包含了Kinect装置中各传感器的接口以及应用程序编程接口API；
B、将Kinect安装于天花板角落处，距离地面DECF的高度d＝2.6m，Kinect下俯视角β＝31°，以覆盖整个检测环境；
C、启动基于Kinect深度图像的摔倒自动检测系统，用户可以在规定的检测环境内部自由的进行日常活动，如进行家务、捡拾物品和健身锻炼等；
D、在计算机主机的驱动下，Kinect装置启动其自带的红外线发射器，通过红外线覆盖整个检测环境，对整个检测环境内的静止物体和运动物体进行持续照射，然后通过自带的红外线CMOS摄像机收集和记录环境内的红外线反射光线，并对检测环境内的所有物体进行光编码运算；
E、Kinect装置在获取检测环境内所有物体在Kinect坐标下的三维纵深编码值后，通过其内部的解码芯片对获取的三维纵深编码进行解码运算，获取检测环境下所有物体的深度图像数据流；
F、在计算机上，通过OpenNI SDK中的Simpleviewer数据接口，可在计算机屏幕上显示Kinect实时获取的居家环境内的深度图像；
G、Kinect装置将获取的检测环境内的深度图像数据通过应用程序编程接口API传递至已编写完成的应用程序，对检测环境深度图像中的人体前景图进行分割和提取，建立人体深度图像前景图的三维包围盒，在人体被障碍物遮挡情况下，启动遮挡融合算法，判别人体摔倒事件是否发生，并进一步通过语音应答确认。如果摔倒事件发生，则向已登记的手机发送摔倒报警短信。
具体检测过程如下：
(1)、人体深度图像前景图三维包围盒的建立：利用具有三维纵深的深度图像，建立人体深度图像前景图的三维包围盒，并通过获取三维包围盒的长、宽、高数值及其单位帧内的瞬时变化速度，得到人体在居家环境内部的运动状态；
如图1，将Kinect安装于天花板角落处A，距离地面DECF的高度d＝2.6m，Kinect下俯视角β＝31°，以覆盖整个检测环境。首先，利用Simpleviewer数据接口获取检测环境内的深度图像，并通过阈值法将深度图像中的人体深度图像前景图进行着色、分割和提取，以区别于检测环境内的背景深度图像，如图2；第二，利用先腐蚀后膨胀的算法对具有三维纵深的人体深度图像前景图的外表面进行去噪和去空洞处理，使人体深度图像前景图的外表面保持光滑；第三，基于OpenNI的Skeletonwrappedskin接口，对人体深度图像前景图的外表面进行皮肤重构，利用面积S＝m且不等形状的三角形将人体深度图像前景图的外表面进行重新包裹，如图3；第四，如图4，在对人体前景图外表面进行皮肤重构的基础上，利用OpenNI的Closestpointvierwer接口，获取人体深度图像前景图在检测环境内的前、后、上、下、左、右像素边界点A、B、C、D、E、F，此像素边界点即为上一步中面积S＝m且不等形状三角形的顶点；最后，以像素边界点A、B、C、D、E、F为切点，建立包裹人体深度图像前景图前、后、上、下、左、右的6个矩形平面STQP、VURO、VUTS、ORQP、VSPO、UTQR，通过这6个平面构建起三维包围盒。自动检测方法获取三维包围盒的长、宽、高数值i、j、k，以及长、宽、高数值i、j、k在单位帧内的变化速度I、J、K，T为数值i、j、k不变情况下的停留时间，设定为t，根据老年人人体尺寸以及摔倒实验，设定p1、p2、p3、p4值：
判定条件一：即检测过程中，当人体深度图像三维包围盒的k＜p1或时，满足条件一的要求；
判定条件二：即检测过程中，人体深度图像三维包围盒的变化速度K＞p3或时，满足条件二的要求；
判定条件三：Th3＝(T≥t)，即检测过程中，人体深度图像三维包围盒的长、宽、高数值i、j、k保持数据不发生变化的时间T≥t时，满足条件三的要求；
当成立，即同时满足条件一、二、三的要求时，自动检测方法判定人体摔倒事件发生；
(2)、人体被障碍物遮挡情况下的检测：在有障碍物遮挡在人体深度图像前景图前方的条件下，利用遮挡融合算法，将人体深度图同遮挡物深度图像融合，解决了日常生活中人体在被遮挡情况下的摔倒事件判别问题，可以降低漏报率；
人体在居家环境下日常活动中，意外摔倒事件可能会发生在带有靠背的椅子后方、沙发后方、茶几后方以及书桌后方等，这些易引起遮挡的遮挡物高度一般低于人体肩部。日常生活中，人体运动至与遮挡物接近，如图5，当人体深度图像边界点与遮挡物深度图像边界点的最近距离L≤q时，q为设定值，遮挡融合算法启动，两深度图像开始融合，直至人体深度图像边界点与遮挡物深度图像边界点的最近距离L＞q时，遮挡融合算法关闭。在遮挡融合算法运行期间，人体深度图像会与遮挡物深度图像融为一体R，此时摔倒检测方法建立深度图像R的三维包围盒，并获取此三维包围盒的长、宽、高数值i'、j'、k'，以及长、宽、高数值i'、j'、k'在单位帧内的变化速度I'、J'、K'，n为遮挡物深度图像的高度数值，T'为k'＝n的停留时间，设定为t'：
判定条件四：Th4＝(k'＝n)，即检测过程中，当L≤q时，启动遮挡融合算法，当融合后的深度图像R三维包围盒的k'＝n时，满足条件四的要求；
判定条件五：Th5＝(K'＞p3)，即检测过程中，当L≤q时，启动遮挡融合算法，当融合后的深度图像R三维包围盒的变化速度K'＞p3时，满足条件五的要求；
判定条件六：Th6＝(T'≥t')，即检测过程中，当L≤q时，启动遮挡融合算法，当融合后的深度图像R三维包围盒的高度值k'＝n保持不变的时间T'≥t'时，满足条件六的要求。
当成立，即同时满足条件四、五、六的要求时，自动检测方法判定人体摔倒事件发生；
(3)、语音确认和报警短信发送：将语音确认技术和短信发送技术引入本摔倒检测方法，进一步降低了本摔倒检测系统的误判率，减少了相关机构或个人对意外摔倒者的救助时间，以挽救生命和降低社会医疗成本。
为进一步降低本系统在检测人体日常活动中摔倒事件的误判率，缩短人体摔倒后的救助时间，本系统借助语音识别模块，在算法检测结束后，通过语音应答进一步确认人体是否摔倒，若确认摔倒，则通过手机短信发送摔倒报警信息。语音识别模块基于LD3320A模块开发，采用JLINK V8接口，并通过USB接口与计算机主机连接。当人体在居家环境内部进行日常活动，人体某一序列帧内的运动状态符合或时，则本摔倒事件自动检测方法初步判定人体摔倒事件发生，而后摔倒事件检测方法调用语音输出开发包Microsoft Speech SDK 5.1，通过计算机自带的扬声器每隔5秒向人体发出语音询问“您摔倒了吗？”，若语音识别模块30秒内接收到语音应答“没有”，则系统摔倒预警解除，继续下一帧的检测；若语音识别模块30秒内未接受到语音应答“没有”或未接受到任何应答，则系统向短信发报模块发出指令，向已登记的手机发送摔倒报警信息。
报警短信发送模块基于SIM900A模块开发，采用RS232接口，通过USB接口与计算机主机连接。报警短信内容预存于模块内部，内容可自行编辑，如“某某人已经摔倒。”接收方的手机号码需预先在模块内进行登记，为减少摔倒后的救助时间，可登记2至3个号码，保证短信内容及时传达。当系统通过上述检测最终将命令传至短信发报模块后，短信发报模块会立即向已登记的手机发送摔倒报警信息，至此整个摔倒检测流程结束。
人体在日常生活中，会进行许多无序的活动，如主动坐地、快速下坐、蹲下捡拾、主动躺倒等，这些日常较为平常的人体活动或动作，采用以往的摔倒自动检测方法，会造成人体摔倒误判等问题，如对于穿戴类的系统，人体高度方向上的速度突变，往往会造成误报，而对于视屏类的系统，人体图像宽高比的变化，也会造成系统的误报。本检测方法利用人体深度图像前景图三维包围盒，同时引入了长、宽、高数值以及这三个方向上单位帧内的变化速度，凭借这些参数，弥补了穿戴类系统长、宽方向速度的缺失，同时针对视屏类的系统，增加了图像深度方向的参数。因此，本检测方法结合了两大类系统的优势，可以有效降低误判率。
日常居家环境中的椅子、书桌、床等，在人体日常活动中，经常会遮住人体躯干的部分或者大部分区域，在这种情况下，如若人体发生摔倒事件，对于视屏类的系统，往往检测不到摔倒事件，造成摔倒事件的漏报。本检测方法利用深度图像融合算法，解决了人体被遮挡情况下的摔倒事件检测问题。
Claims (2)
1.一种基于Kinect深度图像的人体摔倒自动检测方法，其特征在于：具体步骤如下：
A、准备一台安装有NITE1.5.2.21、OpenNI1.5.4.0和SensorKinect093的计算机，SensorKinect093是Kinect的驱动程序，SensorKinect093用于Kinect在NITE1.5.2.21的框架下与计算机相连，OpenNI1.5.4.0开发包中包含了Kinect中各传感器的接口以及应用程序编程接口API；
B、Kinect安装的高度距离地面DECF的高度d＝2.6m，Kinect下俯视角β＝31°，以覆盖整个检测环境；
C、启动基于Kinect深度图像的摔倒自动检测系统，用户可以在规定的检测环境内部自由地进行日常活动；
D、在计算机主机的驱动下，Kinect启动其自带的红外线发射器，通过红外线覆盖整个检测环境，对整个检测环境内的静止物体和运动物体进行持续照射，然后通过自带的红外线CMOS摄像机收集和记录环境内的红外线反射光线，并对检测环境内的所有物体进行光编码运算；
E、Kinect在获取检测环境内所有物体在Kinect坐标下的三维纵深编码值后，通过Kinect内部的解码芯片对获取的三维纵深编码进行解码运算，获取检测环境下所有物体的深度图像数据流；
F、在计算机上，通过OpenNI SDK中的Simpleviewer数据接口，可在计算机屏幕上显示Kinect实时获取的检测环境内的深度图像；
G、Kinect将获取的检测环境内的深度图像数据通过应用程序编程接口API传递至已编写完成的应用程序，对检测环境深度图像中的人体前景图进行分割和提取，建立人体深度图像前景图的三维包围盒，在人体被障碍物遮挡情况下，启动遮挡融合算法，判别人体摔倒事件是否发生，并进一步通过语音应答确认，如果摔倒事件发生，则向已登记的手机发送摔倒报警短信；
其中，建立人体深度图像前景图的三维包围盒，具体步骤如下：首先，利用Simpleviewer数据接口获取检测环境内的深度图像，并通过阈值法将深度图像中的人体深度图像前景图进行着色、分割和提取，以区别于检测环境内的背景深度图像；第二，利用先腐蚀后膨胀的算法对具有三维纵深的人体深度图像前景图的外表面进行去噪和去空洞处理，使人体深度图像前景图的外表面保持光滑；第三，基于OpenNI的Skeletonwrappedskin接口，对人体深度图像前景图的外表面进行皮肤重构，利用面积S＝m且不等形状的三角形将人体深度图像前景图的外表面进行重新包裹；第四，在对人体前景图外表面进行皮肤重构的基础上，利用OpenNI的Closestpointvierwer接口，获取人体深度图像前景图在检测环境内的前、后、上、下、左、右像素边界点A、B、C、D、E、F，此像素边界点即为第三步中面积S＝m且不等形状三角形的顶点；最后，以像素边界点A、B、C、D、E、F为切点，建立包裹人体深度图像前景图前、后、上、下、左、右的6个矩形平面，通过这6个平面构建起三维包围盒；自动检测方法获取三维包围盒的长、宽、高数值i、j、k，以及长、宽、高数值i、j、k在单位帧内的变化速度I、J、K，T为数值i、j、k不变情况下的停留时间，设定为t，根据人体尺寸以及摔倒实验，设定p1、p2、p3、p4值：
判定条件一：即检测过程中，当人体深度图像三维包围盒的k＜p1或时，满足条件一的要求；
判定条件二：即检测过程中，人体深度图像三维包围盒的变化速度K＞p3或时，满足条件二的要求；
判定条件三：Th3＝(T≥t)，即检测过程中，人体深度图像三维包围盒的长、宽、高数值i、j、k保持数据不发生变化的时间T≥t时，满足条件三的要求；
当成立，即同时满足条件一、二、三的要求时，自动检测方法判定人体摔倒事件发生；
人体被障碍物遮挡情况下的检测：人体运动至与遮挡物接近，当人体深度图像边界点与遮挡物深度图像边界点的最近距离L≤q时，q为设定值，遮挡融合算法启动，直至人体深度图像边界点与遮挡物深度图像边界点的最近距离L＞q时，遮挡融合算法关闭；在遮挡融合算法运行期间，人体深度图像会与遮挡物深度图像融为一体R，此时摔倒检测方法建立深度图像R的三维包围盒，并获取此三维包围盒的长、宽、高数值i'、j'、k'，以及长、宽、高数值i'、j'、k'在单位帧内的变化速度I'、J'、K'，n为遮挡物深度图像的高度数值，T'为k'＝n的停留时间，设定为t'：
判定条件四：Th4＝(k'＝n)，即检测过程中，当L≤q时，启动遮挡融合算法，当融合后的深度图像R三维包围盒的k'＝n时，满足条件四的要求；
判定条件五：Th5＝(K'＞p3)，即检测过程中，当L≤q时，启动遮挡融合算法，当融合后的深度图像R三维包围盒的变化速度K'＞p3时，满足条件五的要求；
判定条件六：Th6＝(T'≥t')，即检测过程中，当L≤q时，启动遮挡融合算法，当融合后的深度图像R三维包围盒的高度值k'＝n保持不变的时间T'≥t'时，满足条件六的要求；
当成立，即同时满足条件四、五、六的要求时，自动检测方法判定人体摔倒事件发生。
2.根据权利要求1所述基于Kinect深度图像的人体摔倒自动检测方法，其特征在于：本系统借助语音识别模块，在算法检测结束后，通过语音应答进一步确认人体是否摔倒，若确认摔倒，则向已登记的手机发送摔倒报警信息；语音识别模块基于LD3320A模块开发，采用JLINK V8接口，并通过USB接口与计算机主机连接，当人体在居家环境内部进行日常活动，人体某一序列帧内的运动状态符合或时，则本摔倒事件自动检测方法初步判定人体摔倒事件发生，而后摔倒事件检测方法调用语音输出开发包Microsoft Speech SDK 5.1，通过计算机自带的扬声器每隔5秒发出语音询问“您摔倒了吗？”，若语音识别模块30秒内接收到语音应答“没有”，则系统摔倒预警解除，继续下一帧的检测；若语音识别模块30秒内未接受到语音应答“没有”或未接受到任何应答，则系统向短信发报模块发出指令，向已登记的手机发送摔倒报警信息；报警短信发送模块基于SIM900A模块开发，采用RS232接口，通过USB接口与计算机主机连接，报警短信内容预存于模块内部，内容可自行编辑，如“某某人已经摔倒”；接收方的手机号码需预先在模块内进行登记，可登记2至3个号码，当系统通过上述检测最终将命令传至短信发报模块后，短信发报模块会立即向已登记的手机发送摔倒报警信息，至此整个摔倒检测流程结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510074534.3A CN104680525B (zh) | 2015-02-12 | 2015-02-12 | 基于Kinect深度图像的人体摔倒自动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510074534.3A CN104680525B (zh) | 2015-02-12 | 2015-02-12 | 基于Kinect深度图像的人体摔倒自动检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104680525A CN104680525A (zh) | 2015-06-03 |
| CN104680525B true CN104680525B (zh) | 2017-05-10 |
Family
ID=53315518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510074534.3A Expired - Fee Related CN104680525B (zh) | 2015-02-12 | 2015-02-12 | 基于Kinect深度图像的人体摔倒自动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104680525B (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104133813B (zh) * | 2014-08-11 | 2017-02-15 | 南通大学 | 一种基于Kinect的海军旗语训练方法 |
| CN104966380B (zh) * | 2015-06-12 | 2018-04-13 | 深圳开源创客坊科技有限公司 | 一种可监控人体意外摔倒的报警系统及方法 |
| JP6587435B2 (ja) * | 2015-06-29 | 2019-10-09 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
| CN105469545A (zh) * | 2015-12-31 | 2016-04-06 | 贵州七十二弯信息科技有限公司 | 室内人员摔倒检测及报警系统 |
| CN105469546B (zh) * | 2016-01-14 | 2018-01-02 | 上海大学 | 一种摔倒报警系统和方法 |
| CN105448041B (zh) | 2016-01-22 | 2018-04-17 | 苏州望湖房地产开发有限公司 | 一种人体摔倒智能控制系统及其方法 |
| CN105583856B (zh) * | 2016-01-28 | 2019-01-01 | 苏州大学 | 一种被试仿人机器人 |
| CN105787469B (zh) * | 2016-03-25 | 2019-10-18 | 浩云科技股份有限公司 | 行人监控和行为识别的方法和系统 |
| CN108885469B (zh) * | 2016-09-27 | 2022-04-26 | 深圳市大疆创新科技有限公司 | 用于在跟踪系统中初始化目标物体的系统和方法 |
| CN106658710A (zh) * | 2016-12-26 | 2017-05-10 | 北京匡恩网络科技有限责任公司 | 用于人员位置定位的方法、装置和系统 |
| CN107016350A (zh) * | 2017-04-26 | 2017-08-04 | 中科唯实科技（北京）有限公司 | 一种基于深度相机的老人跌倒检测方法 |
| KR102013935B1 (ko) * | 2017-05-25 | 2019-08-23 | 삼성전자주식회사 | 위험 상황을 감지하는 방법 및 시스템 |
| CN107292913B (zh) * | 2017-06-12 | 2020-06-23 | 大连海事大学 | 一种基于视频的多阶段摔倒检测方法 |
| CN107454376B (zh) * | 2017-09-11 | 2019-07-19 | Oppo广东移动通信有限公司 | 跌落提醒方法、装置、电子装置和计算机可读存储介质 |
| CN108846996B (zh) * | 2018-08-06 | 2020-01-24 | 浙江理工大学 | 一种摔倒侦测系统及方法 |
| CN108986407B (zh) * | 2018-08-23 | 2020-03-31 | 浙江理工大学 | 一种用于独居老人的安全侦测系统及方法 |
| CN109461185B (zh) * | 2018-09-10 | 2021-08-17 | 西北工业大学 | 一种适用于复杂场景的机器人目标主动避障方法 |
| CN109035702A (zh) * | 2018-09-30 | 2018-12-18 | 胡青青 | 跌倒检测方法、装置及可穿戴设备 |
| CN111127837A (zh) * | 2018-10-31 | 2020-05-08 | 杭州海康威视数字技术股份有限公司 | 一种报警方法、摄像机及报警系统 |
| CN109697830B (zh) * | 2018-12-21 | 2020-10-20 | 山东大学 | 一种基于目标分布规律的人员异常行为检测方法 |
| CN109886101A (zh) * | 2018-12-29 | 2019-06-14 | 江苏云天励飞技术有限公司 | 姿势识别方法及相关装置 |
| CN110677535A (zh) * | 2019-09-24 | 2020-01-10 | 捷开通讯(深圳)有限公司 | 一种智能应急的方法、装置、存储介质和终端 |
| CN111369765A (zh) * | 2020-04-13 | 2020-07-03 | 无锡青起长升智能科技有限公司 | 一种基于物联网技术的智能家居看护方法及装置 |
| CN113409231A (zh) * | 2021-06-10 | 2021-09-17 | 杭州易现先进科技有限公司 | 一种基于深度学习的ar人像拍照方法和系统 |
| WO2023245635A1 (en) * | 2022-06-24 | 2023-12-28 | Intel Corporation | Apparatus and method for object detection |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102044131A (zh) * | 2010-07-20 | 2011-05-04 | 北京紫峰华纳科技有限公司 | 一种报警信号处理方法及基于人体体位信息的报警方法 |
| CN102110347A (zh) * | 2009-12-29 | 2011-06-29 | 深圳市赛格导航科技股份有限公司 | 一种人体跌倒检测和报警的设备和方法 |
| CN102814814A (zh) * | 2012-07-31 | 2012-12-12 | 华南理工大学 | 一种双臂机器人基于Kinect的人机交互方法 |
-
2015
- 2015-02-12 CN CN201510074534.3A patent/CN104680525B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102110347A (zh) * | 2009-12-29 | 2011-06-29 | 深圳市赛格导航科技股份有限公司 | 一种人体跌倒检测和报警的设备和方法 |
| CN102044131A (zh) * | 2010-07-20 | 2011-05-04 | 北京紫峰华纳科技有限公司 | 一种报警信号处理方法及基于人体体位信息的报警方法 |
| CN102814814A (zh) * | 2012-07-31 | 2012-12-12 | 华南理工大学 | 一种双臂机器人基于Kinect的人机交互方法 |
Non-Patent Citations (2)
| Title |
|---|
| Fall Detection System Based on Kinect Sensor Using Novel Detection and Posture Recognition Algorithm;Choon Kiat Lee, Vwen Yen Lee;《ICOST 2013》;20131231;第2部分，图1,2 * |
| Fall detection system using Kinect’s infrared sensor;Georgios Mastorakis, Dimitrios Markris;《Journal of Real-Time Image Processing》;20141231;第9卷(第4期);第3部分 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104680525A (zh) | 2015-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104680525B (zh) | 基于Kinect深度图像的人体摔倒自动检测方法 | |
| WO2020125406A1 (zh) | 安全监护方法、装置、终端及计算机可读存储介质 | |
| CN110895861B (zh) | 异常行为预警方法、装置、监控设备和存储介质 | |
| US8508372B2 (en) | Method and system for fall detection | |
| CN105069976B (zh) | 一种疲劳检测和行驶记录综合系统及疲劳检测方法 | |
| CN104598896A (zh) | 基于Kinect骨架追踪的人体摔倒自动检测方法 | |
| CN102750709B (zh) | 利用视频检测打架行为的方法和装置 | |
| JP6720909B2 (ja) | 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置 | |
| WO2015133195A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| KR20140110484A (ko) | 영상정보를 이용한 위험 행동 검지방법 | |
| CN107886677A (zh) | 一种基于Kinect的老年人步态家庭监控系统 | |
| CN104224182A (zh) | 一种监测人体跌倒的方法及装置 | |
| CN109767600A (zh) | 一种可自动报警的ar眼镜及其实现方法 | |
| CN112270807A (zh) | 一种老人跌倒预警系统 | |
| KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
| CN110633652A (zh) | 意外状况确定方法、装置和电子设备 | |
| TWI541769B (zh) | 跌倒偵測系統及方法 | |
| CN109431018A (zh) | 一种基于嵌入式的多功能拐杖 | |
| JP2003518251A (ja) | ある表面を基準として対象を検出するための方法およびシステム | |
| CN205322334U (zh) | 基于计算机视觉和多传感器融合信息的老人智能监护系统 | |
| Kepski et al. | Human fall detection using Kinect sensor | |
| JP4375879B2 (ja) | 視覚障害者用歩行支援システムおよび情報記録媒体 | |
| CN114469074A (zh) | 一种跌倒预警方法、系统、设备及计算机存储介质 | |
| JP2008541650A (ja) | モニタリング方法および装置 | |
| CN101635083A (zh) | 一种事件检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190711 Address after: No. 9, Nantong City, Jiangsu, Jiangsu Patentee after: Center for technology transfer, Nantong University Address before: 226000 No. 9 Siyuan Road, Chongchuan District, Nantong City, Jiangsu Province Patentee before: Nantong University |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20191121 Address after: No.1, floor 3, No.319, zhanggongshan Road, Yuhui District, Bengbu City, Anhui Province Patentee after: Bengbu guijiu Intellectual Property Service Co., Ltd Address before: 226019 Jiangsu city of Nantong province sik Road No. 9 Patentee before: Center for technology transfer, Nantong University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200710 Address after: 100190 04-882, 8 / F, 18 Zhongguancun Street, Haidian District, Beijing Patentee after: Beijing Xianxiang Technology Co., Ltd Address before: No.1, floor 3, No.319, zhanggongshan Road, Yuhui District, Bengbu City, Anhui Province Patentee before: Bengbu guijiu Intellectual Property Service Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170510 Termination date: 20210212 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |