CN110598536A - 一种基于人体骨架运动模型的跌倒检测方法及系统 - Google Patents

一种基于人体骨架运动模型的跌倒检测方法及系统 Download PDF

Info

Publication number
CN110598536A
CN110598536A CN201910704215.4A CN201910704215A CN110598536A CN 110598536 A CN110598536 A CN 110598536A CN 201910704215 A CN201910704215 A CN 201910704215A CN 110598536 A CN110598536 A CN 110598536A
Authority
CN
China
Prior art keywords
trunk
fall
inclination angle
human
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910704215.4A
Other languages
English (en)
Inventor
金敏孝
叶昂越
张云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lian Fan Technology Co Ltd
Original Assignee
Hangzhou Lian Fan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lian Fan Technology Co Ltd filed Critical Hangzhou Lian Fan Technology Co Ltd
Priority to CN201910704215.4A priority Critical patent/CN110598536A/zh
Publication of CN110598536A publication Critical patent/CN110598536A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明涉及计算机视觉技术领域,特别涉及一种基于人体骨架运动模型的跌倒检测方法及系统。包括:获取实时人体运动图像;对人体运动图像进行人体骨架识别,提取人体躯干倾斜角;当所述躯干倾斜角超过设定的阈值时,进行跌倒判定;当所述跌倒判定为跌倒时,进行跌倒预警。本发明由于基于深度图像提取的人体骨架精度较高,曲率尺度空间特征具有尺度不变性,使得检测精度和效率大幅提高,具有更强的鲁棒性和适应性。

Description

一种基于人体骨架运动模型的跌倒检测方法及系统
技术领域
本发明涉及计算机视觉技术领域,特别涉及一种基于人体骨架运动模型的跌倒检测方法及系统。
背景技术
跌倒是60岁以上老龄人口的主要健康危害之一,可能会导致严重后果,如骨折、甚至危及生命。老人跌倒如果短时间内无法获得帮助,情况可能会更糟,自动检测跌倒有助于缩短跌倒与医疗到达之间的时间。
目前自动检测跌倒主要有3种方法:a、基于可穿戴设备的方法;b、基于环境传感器的方法;c、基于计算机视觉检测的方法。“基于可穿戴设备”方法可能由于设备磨损或损坏或者忘记佩戴,将无法检测到跌落;“基于环境传感器”方法(如压力、声音、振动等)由于部署成本或者检测准确性的问题,目前也无法很好的应用。
发明内容
本发明实施例提供了一种基于人体骨架运动模型的跌倒检测方法及系统,利用OpenPose技术,进行人体姿态估算,提取人体骨架躯干部分倾斜角的重心变化,并根据该变化率来判别人类是否跌倒。
根据本发明实施例的第一方面,一种基于人体骨架运动模型的跌倒检测方法,包括:
获取实时人体运动图像;
对人体运动图像进行人体骨架识别,提取人体躯干倾斜角;
当所述躯干倾斜角超过设定的阈值时,进行跌倒判定;
当所述跌倒判定为跌倒时,进行跌倒预警。
所述跌倒判定;当所述跌倒判定为跌倒时,进行跌倒预警,包括:
计算设定时间段内的人体躯干倾斜角的变化率和中心高度的变化率,判断人体躯干倾斜角的变化率和中心高度的变化率是否超过设定的阈值;
超过阈值时,判断为跌倒,发出跌倒预警。
所述人体躯干倾斜角为躯干线与重力垂直线的夹角,通过相机标定的方法测定躯干线与重力垂直线。
所述躯干线为肩关节中心点和髋关节中心点的连线,躯干中心可包括髋关节中心点、肩关节中心点或者肩关节中心点和髋关节中心点的中点,通过相机标定的方法测定所述躯干中心高度。
当某一侧的肩关节点或髋关节点存在遮挡是,以未遮挡一侧的髋关节和肩关节的连线作为躯干线,以未遮挡一侧的髋关节或肩关节或者髋关节和肩关节的中点作躯干中心点。
所述躯干倾斜角阈值大于等于12度。
所述跌倒判定的设定时间段包括0.9s~2s。
一种基于人体骨架运动模型的跌倒检测系统,包括:
包括摄像机、骨架识别模块、测定计算模块、预警模块,
摄像机实时录制视频;
骨架识别模块识别录制视频数据帧的人体骨架;
测定计算模块通过实时读取的人体骨架进行人体躯干倾斜角和中心高度的判定,当人体躯干倾斜角超过阈值时,进行躯干倾斜角和中心高度变化率的测定,躯干倾斜角变化率和中心高度变化率超过设定阈值时,将预警信号传递于预警模块;
预警模块接收测定计算模块的预警信号,并发出跌倒预警。
所述摄像机需要首先进行相机标定。
所述躯干倾斜角阈值大于12度,所述跌倒判定的设定时间段包括0.9s~2s。
本发明实施例提供的技术方案可以包括以下有益效果:本方法利用计算机深度图像处理技术建立人体骨架运动模型,提取人体骨架的躯干倾斜角、重心高度特征作为人体跌倒检测的特征,通过分析人体的姿态进行人体跌倒检测,进行人体跌倒检测。由于基于深度图像提取的人体骨架精度较高,曲率尺度空间特征具有尺度不变性,使得检测精度和效率大幅提高,具有更强的鲁棒性和适应性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是人体骨架示意图;
图2是躯干倾斜角示意图;
图3是本发明的一种基于人体骨架运动模型的跌倒检测方法流程图;
图4是跌倒判定流程图;
图5是本发明的一种基于人体骨架运动模型的跌倒检测系统示意图。
具体实施方式
实施例一
如图1所示,本发明提供了一种基于人体骨架运动模型的跌倒检测方法,包括:
获取实时人体运动图像;
对人体运动图像进行人体骨架识别,提取人体躯干倾斜角和躯干中心高度,优选的,通过相机标定的方法测定躯干中心高度和躯干倾斜角,优选的,躯干倾斜角为躯干线与重力垂直线的夹角,躯干线为肩关节中心点和髋关节中心点的连线;优选的,躯干中心可以为髋关节中心点、肩关节中心点或者肩关节中心点和髋关节中心点的中点;优选的,当某一侧的肩关节点或髋关节点存在遮挡是,以未遮挡一侧的髋关节和肩关节的连线作为躯干线,以未遮挡一侧的髋关节或肩关节或者髋关节和肩关节的中点作躯干中心点;
根据提取的人体运动特征和人体躯干线和躯干倾斜角的值与设定的阈值进行比对,当人体躯干线和躯干倾斜角的值超过设定的阈值时,开始跌倒判定,具体包括:
计算设定时间段内的人体躯干倾斜角的变化率和中心高度的变化率,判断人体躯干倾斜角的变化率和中心高度的变化率是否超过设定的阈值;
超过阈值时,判断为跌倒,发出跌倒预警;
在设定时间内未超过阈值时,返回继续读取人体躯干倾斜角和躯干中心高度。
实施例二
如图1所示,一种基于人体骨架运动模型的跌倒检测方法的对人体躯干线的定义,其定义如下:以肩关节中心点和髋关节中心点的连线为躯干线。
躯干线表示为SH=f(s,h),其中s表示肩关节中心,h表示髋关节中心;
如图2所示,一种基于人体骨架运动模型的跌倒检测方法的对躯干倾斜角和重心高度的定义,其定义如下:躯干线与重力垂直线的交角为躯干倾斜角,以髋关节中心点到地面的距离为重心高度。
躯干倾斜角表示为α=∠(SH,GL),SH表示躯干线,GL表示重力垂直线;
重心高度表示为HG=f(g,h),其中h表示髋关节中心,g表示地面点;
一种基于人体骨架运动模型的跌倒检测方法的算法模型。
在本申请中,把躯干倾斜角(α)和重心高度(HG)作为两个重要特征;本申请的方法模型设定了阈值,其中Tα开始跌倒关键检查的阈值,Tαt是躯干倾斜角变化率的阈值,Tht是重心高度变化率的阈值。如果在躯干倾斜角超过Tα后,逐帧检测躯干倾斜角的变化率和重心高度的变化率,当在指定的时间内变化率超过阈值Tαt和Tht时,认为发生了跌倒。
根据平衡性测试,成年人在前后不超过12°或者左右不超过16°的情况下可以保持平衡,大多数的跌倒发生时间为1s-1.6s。在本申请的方法中,将躯干倾斜角的开始检测阈值可以大于12度,优选的,本申请将躯干倾斜角的开始检测阈值设为16度,跌倒发生时间区域为0.9s~2s。本申请以α={α1,α2,...,αn}表示躯干倾斜角变化向量,h={h1,h2,...,hn}为重心高度变化向量,t={t1,t2,...,tn}跌倒发生时间变化向量。躯干倾斜角的变化率和重心高度的变化率分别表示为公式
X为躯干倾斜角的变化率集合的元素,y为重心高度的变化率集合的元素;
跌倒判断公式表示为
其中,Tαt为躯干倾斜角变化率的阈值,Tht为重心高度的变化率的阈值;躯干角的变化是否超过阈值Tαt(我们可设定α的变化值为70度,转化后Tαt=70度/2秒=35度/秒)中心高度的变化是否超过阈值Tht(我们可设定h的变化值为0.7m,转化后Tht=0.7米/2秒=0.35米/秒)。
如图3所示,一种基于人体骨架运动模型的跌倒检测方法的执行流程。
其流程为:
S1,计算机获取实时人体运动图像;
S2,进行人体骨架识别,提取人体躯干倾斜角和重心高度;
S3,利用模型和算法,计算该人体的运行特征值并以此获取人体躯干线和躯干倾斜角的值;
S4,根据提取的人体运动特征和人体躯干线和躯干倾斜角的值与设定的阈值进行比对,当人体躯干线和躯干倾斜角的值大于设定的阈值时,启动跌倒判定流程;躯干倾斜角阈值可以为12度。
如图4所示,一种基于人体骨架运动模型的跌倒检测方法的跌倒判定流程。
其流程为:
S1,计算设定时间段内的人体躯干倾斜角的变化率和中心高度的变化率,判断是否达到跌倒检测条件,即人体躯干倾斜角的变化率是否超过Tαt和中心高度的变化率是否超过Tht
S2,对步骤S1的人体运动模型进行判断,判断当前活动是否为跌倒;
S3,判断跌倒后,发出跌倒预警。
一种基于人体骨架运动模型的跌倒检测系统,具体包括摄像机、骨架识别模块、测定计算模块、预警模块,
摄像机实时录制视频,优选的,摄像机提前进行了相机标定;
骨架识别模块识别摄像机数据帧的人体骨架;
测定计算模块通过实时读取的人体骨架进行人体躯干倾斜角和中心高度的判定,当人体躯干倾斜角超过阈值时,进行跌倒判定,进行躯干倾斜角变化率和中心高度变化率的测定,躯干倾斜角变化率和中心高度变化率超过阈值时,将预警信号传递于预警模块;
预警模块接收测定计算模块的预警信号,并发出跌倒预警。
优选的,躯干倾斜角的开始检测阈值设为不低于12度,优选的,跌倒判定的设定时间段包括0.9s~2s。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于人体骨架运动模型的跌倒检测方法,其特征在于,包括:
获取实时人体运动图像;
对人体运动图像进行人体骨架识别,提取人体躯干倾斜角;
当所述躯干倾斜角超过设定的阈值时,进行跌倒判定;
当所述跌倒判定为跌倒时,进行跌倒预警。
2.如权利要求1所述的一种基于人体骨架运动模型的跌倒检测方法,其特征在于,所述跌倒判定;当所述跌倒判定为跌倒时,进行跌倒预警,包括:
计算设定时间段内的人体躯干倾斜角的变化率和中心高度的变化率,判断人体躯干倾斜角的变化率和中心高度的变化率是否超过设定的阈值;
超过阈值时,判断为跌倒,发出跌倒预警。
3.如权利要求2所述的一种基于人体骨架运动模型的跌倒检测方法,其特征在于,所述人体躯干倾斜角为躯干线与重力垂直线的夹角,通过相机标定的方法测定躯干线与重力垂直线。
4.如权利要求3所述的一种基于人体骨架运动模型的跌倒检测方法,其特征在于,所述躯干线为肩关节中心点和髋关节中心点的连线,躯干中心可包括髋关节中心点、肩关节中心点或者肩关节中心点和髋关节中心点的中点,通过相机标定的方法测定所述躯干中心高度。
5.如权利要求4所述的一种基于人体骨架运动模型的跌倒检测方法,其特征在于,当某一侧的肩关节点或髋关节点存在遮挡时,以未遮挡一侧的髋关节和肩关节的连线作为躯干线,以未遮挡一侧的髋关节或肩关节或者髋关节和肩关节的中点作躯干中心。
6.如权利要求3所述的一种基于人体骨架运动模型的跌倒检测方法,其特征在于,躯干倾斜角阈值大于等于12度。
7.如权利要求6所述的一种基于人体骨架运动模型的跌倒检测方法,其特征在于,所述跌倒判定的设定时间段包括0.9s~2s。
8.一种基于人体骨架运动模型的跌倒检测系统,其特征在于,包括:
包括摄像机、骨架识别模块、测定计算模块、预警模块,
摄像机实时录制视频;
骨架识别模块识别录制视频数据帧的人体骨架;
测定计算模块通过实时读取的人体骨架进行人体躯干倾斜角和中心高度的判定,当人体躯干倾斜角超过阈值时,进行躯干倾斜角和中心高度变化率的测定,当躯干倾斜角变化率和中心高度变化率在设定时间段内超过设定阈值时,将预警信号传递于预警模块;
预警模块接收测定计算模块的预警信号,并发出跌倒预警。
9.如权利要求8所述的一种基于人体骨架运动模型的跌倒检测系统,其特征在于,所述摄像机需要首先进行相机标定。
10.如权利要求9所述的一种基于人体骨架运动模型的跌倒检测系统,其特征在于,所述躯干倾斜角阈值大于12度,所述跌倒判定的设定时间段包括0.9s~2s。
CN201910704215.4A 2019-07-31 2019-07-31 一种基于人体骨架运动模型的跌倒检测方法及系统 Pending CN110598536A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910704215.4A CN110598536A (zh) 2019-07-31 2019-07-31 一种基于人体骨架运动模型的跌倒检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910704215.4A CN110598536A (zh) 2019-07-31 2019-07-31 一种基于人体骨架运动模型的跌倒检测方法及系统

Publications (1)

Publication Number Publication Date
CN110598536A true CN110598536A (zh) 2019-12-20

Family

ID=68853263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910704215.4A Pending CN110598536A (zh) 2019-07-31 2019-07-31 一种基于人体骨架运动模型的跌倒检测方法及系统

Country Status (1)

Country Link
CN (1) CN110598536A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460908A (zh) * 2020-03-05 2020-07-28 中国地质大学(武汉) 一种基于OpenPose的人体摔倒识别方法及系统
CN111582158A (zh) * 2020-05-07 2020-08-25 济南浪潮高新科技投资发展有限公司 一种基于人体姿态估计的摔倒检测方法
CN111985443A (zh) * 2020-09-01 2020-11-24 安徽炬视科技有限公司 一种鲁棒的人体姿态估计算法
CN113712538A (zh) * 2021-08-30 2021-11-30 平安科技(深圳)有限公司 基于wifi信号的跌倒检测方法、装置、设备和存储介质
CN114419842A (zh) * 2021-12-31 2022-04-29 浙江大学台州研究院 一种基于人工智能的辅助用户至智能马桶的跌倒报警方法及装置
CN114465849A (zh) * 2021-12-07 2022-05-10 华信咨询设计研究院有限公司 基于ai图像识别和流媒体技术的粮库安全监管云网关
CN115034280A (zh) * 2022-03-16 2022-09-09 宁夏广天夏科技股份有限公司 矿井下人员不安全行为检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103211599A (zh) * 2013-05-13 2013-07-24 桂林电子科技大学 一种监测跌倒的方法及装置
CN107194967A (zh) * 2017-06-09 2017-09-22 南昌大学 基于Kinect深度图像的人体摔倒检测方法及装置
US20190099113A1 (en) * 2016-01-07 2019-04-04 Gunther Röder Method and device for detecting a fall
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103211599A (zh) * 2013-05-13 2013-07-24 桂林电子科技大学 一种监测跌倒的方法及装置
US20190099113A1 (en) * 2016-01-07 2019-04-04 Gunther Röder Method and device for detecting a fall
CN107194967A (zh) * 2017-06-09 2017-09-22 南昌大学 基于Kinect深度图像的人体摔倒检测方法及装置
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460908A (zh) * 2020-03-05 2020-07-28 中国地质大学(武汉) 一种基于OpenPose的人体摔倒识别方法及系统
CN111460908B (zh) * 2020-03-05 2023-09-01 中国地质大学(武汉) 一种基于OpenPose的人体摔倒识别方法及系统
CN111582158A (zh) * 2020-05-07 2020-08-25 济南浪潮高新科技投资发展有限公司 一种基于人体姿态估计的摔倒检测方法
CN111985443A (zh) * 2020-09-01 2020-11-24 安徽炬视科技有限公司 一种鲁棒的人体姿态估计算法
CN113712538A (zh) * 2021-08-30 2021-11-30 平安科技(深圳)有限公司 基于wifi信号的跌倒检测方法、装置、设备和存储介质
CN114465849A (zh) * 2021-12-07 2022-05-10 华信咨询设计研究院有限公司 基于ai图像识别和流媒体技术的粮库安全监管云网关
CN114419842A (zh) * 2021-12-31 2022-04-29 浙江大学台州研究院 一种基于人工智能的辅助用户至智能马桶的跌倒报警方法及装置
CN114419842B (zh) * 2021-12-31 2024-05-10 浙江大学台州研究院 基于人工智能的辅助用户至马桶的跌倒报警方法及装置
CN115034280A (zh) * 2022-03-16 2022-09-09 宁夏广天夏科技股份有限公司 矿井下人员不安全行为检测系统

Similar Documents

Publication Publication Date Title
CN110598536A (zh) 一种基于人体骨架运动模型的跌倒检测方法及系统
CN109919132B (zh) 一种基于骨架检测的行人跌倒识别方法
CN102427765B (zh) 用于检测佩戴位置的感测设备
JP6444309B2 (ja) 坐位及び立位姿勢の間の遷移を特定する方法及び装置
US10314520B2 (en) System and method for characterizing biomechanical activity
US10258257B2 (en) Quantitative falls risk assessment through inertial sensors and pressure sensitive platform
WO2017156834A1 (zh) 测量卡路里消耗和监测手部姿势识别的智慧手套及估算的方法和系统
AU2017202152B2 (en) Method and system for determining postural balance of a person
Li et al. Pre-impact fall detection based on a modified zero moment point criterion using data from Kinect sensors
KR102285632B1 (ko) 보행패턴을 이용한 건강이상감지 시스템 및 방법
CN110738154A (zh) 一种基于人体姿态估计的行人摔倒检测方法
JP2016501593A (ja) ユーザの転倒リスクを推定する方法及び装置
CN111241913A (zh) 一种检测人员摔倒的方法、装置及系统
CN110251070A (zh) 一种用眼健康情况监测方法及系统
US20240282147A1 (en) Action recognition method, action recognition device, and non-transitory computer readable recording medium
Ghosh et al. Implementing real-time food intake detection in a wearable system using accelerometer
Liao et al. A vision-based walking posture analysis system without markers
Zhang et al. An automatic human fall detection approach using RGBD cameras
US20210390738A1 (en) Methods and apparatus to cluster and collect head-toe lines for automatic camera calibration
CN116050158A (zh) 一种跌倒行为识别及判定方法
WO2020236091A2 (en) Method for detecting falls by using relative barometric pressure signals
Htoo et al. Privacy preserving human fall recognition using human skeleton data
KR20110022917A (ko) 사용자 적응형 행위 감지 장치 및 그 방법
KR20230061916A (ko) 회복 불능 지점 검출 기반 낙상 인식 장치 및 방법
Tang et al. Wearable IMU Based Gait Quality Quantitative Evaluation Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191220