CN112287759A - 基于关键点的跌倒检测方法 - Google Patents
基于关键点的跌倒检测方法 Download PDFInfo
- Publication number
- CN112287759A CN112287759A CN202011026089.0A CN202011026089A CN112287759A CN 112287759 A CN112287759 A CN 112287759A CN 202011026089 A CN202011026089 A CN 202011026089A CN 112287759 A CN112287759 A CN 112287759A
- Authority
- CN
- China
- Prior art keywords
- human body
- corresponds
- key point
- key points
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 93
- 210000003423 ankle Anatomy 0.000 claims abstract description 23
- 210000003127 knee Anatomy 0.000 claims abstract description 17
- 230000009471 action Effects 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims abstract description 7
- 210000000707 wrist Anatomy 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 30
- 210000000988 bone and bone Anatomy 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 210000002683 foot Anatomy 0.000 claims description 9
- 238000009432 framing Methods 0.000 claims description 9
- 210000002414 leg Anatomy 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 210000002310 elbow joint Anatomy 0.000 claims description 6
- 210000003857 wrist joint Anatomy 0.000 claims description 6
- 210000000689 upper leg Anatomy 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 244000309466 calf Species 0.000 claims 2
- 241000238366 Cephalopoda Species 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 15
- 238000010276 construction Methods 0.000 description 8
- 230000036544 posture Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 210000001503 joint Anatomy 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了基于关键点的跌倒检测方法，基于关键点的跌倒检测系统包括依次连接的图像采集模块、图像识别模块、动作检测模块和显示模块，图像采集模块包括摄像头，摄像头逐帧采集区域内图像；图像识别模块检测连续帧图像中的人体，并识别出所检测人体的骨骼关键点；动作检测模块基于目标检测框符合设定阈值的宽高比例，检测连续帧图像中的人体骨骼关键点中手腕关键点与脚踝关键点构成的直线距离，眼睛关键点与脚踝关键点构成的直线距离，以及肩膀关键点和膝盖关键点的夹角变化情况来判断视频中人体是否处于跌倒状态；显示模块：通过显示器显示视频图像区域内是否有人处于跌倒状态，并给出相应的警告提示。
Description
技术领域
本发明属于动作检测技术领域，涉及一种基于关键点的跌倒检测方法。
背景技术
意外跌倒受伤事件时常发生，尤其是在老年人居多的养老院，或者需要高强度体力劳动的建筑工地等场所，意外跌倒所带来的危害往往是非常严重的，缺乏及时的发现并救治，是可能导致生命危险的。目前，研究学者对摔倒检测技术的研究对象往往为老年人，而对建筑工地中工人的跌倒检测方法和应用还是一片空白领域。建筑工人的工作环境恶劣，工作强度大，工作过程中时常会出现脱力跌倒甚至晕倒的情况，如果不能及时救治，后果往往是非常严重的。
根据采用传感方式的不同，可以将现有的摔倒检测技术分为三大类：穿戴式，环境部署式和基于视觉检测。
1.基于穿戴式的跌倒检测技术
目前穿戴式传感器的摔倒检测所采用的传感方式通常为三轴加速度传感器。通过把加速度传感器嵌入到相关的可穿戴设备上，由人体随身佩戴并收集人体运动信息，经过对采集到的信息进行分析处理，从而判断人体是否摔倒。
基于穿戴式传感器的跌倒检测方法准确度比较高，通常不会受环境变化而影响检测结果。但是，这种方法最大的局限性就是人必须要穿戴相关设备，检测要求和成本较高。对于记忆力衰退的老年人，或者从事高强度体力工作的工作人员而言，这种基于穿戴设备的跌倒检测方法并不适用。所以，这种跌倒检测方法的检测对象是有限制的，不能很好的用于其他场合，对未穿戴相关设备的人员没有跌倒检测和保护的作用。
2.基于环境部署的跌倒检测技术
基于环境部署的摔倒检测技术一般是利用人体运动导致环境中一些物理量的变化，如振动，红外热源，声音等，通过检测这些物理信号的变化来识别人体的运动模式。
基于环境部署式的跌倒检测方法所需要的设备功耗小，价格低廉，其检测结果同样不会受环境影响，通常被应用在居家，图书馆等室内小范围环境。但是，作为一种被动感知的检测方法，传感器的检测范围是固定的，人与传感器的位置距离变长，其检测结果将不再准确及时。另外，安装传感器需要定位布线，对于建筑工地等相对杂乱，环境变动较为频繁的场合，并不适合布置大量传感器。
3.基于视觉的摔倒检测技术
基于视觉的摔倒检测技术是利用摄像头收集人体视频图像，采用图像处理技术提取相关人体特征来进行判断，例如常用的体积匹配算法来进行人体姿态估计。
这类方法对设备要求，技术要求都相对较高，但是基于视觉的跌倒检测方法应用场景广泛，也具有较高的精确度和实时性。这类方法的关键难点是提出准确高效的跌倒检测算法并有效地应用到图像中。
现有技术中基于深度学习的实时跌倒检测方法包括以下步骤：
采集人体图像；
进行人体骨骼关键点识别：使用神经网络卷积VGG-19提取特征，预测每个关键点的热点图谱，通过多阶段的网络迭代，每一个阶段的输出作为下一个阶段的输入，对上一个阶段的结果优化；对于预测的关键点增加矢量编码，对于图像中的关键点进行组合，同一个人的不同部位进行连接；迁移学习训练图像数据集；
使用SSD-Mobilenet目标检测算法对检测的人体关键点区域进行目标检测，去掉非人体的部分：先使用Mobilenet网络对COCO数据集进行预训练，生成预训练模型；使用迁移学习训练图像数据集采集的数据生成tfrecord数据用于迁移学习；把生成的数据和预训练模型融合特征传入SSD网络；
使用SVDD分类算法对采集到的人体骨骼关键点进行分类。
上述现有技术至少存在以下缺点：
1)现有的检测方法针对单人检测，无法实现同时的多人跌倒检测；
2)每次的跌倒判断都是利用关键点判断，缺少时序控制；
3)一些特殊的跌倒姿态，可以利用其它判断方法进行判断，判断时间可以缩短。
发明内容
为解决上述问题，本发明所提出的跌倒检测方法属于基于视觉检测类，采用了基于人体骨骼关键点的行为检测来判断人体是否处于摔倒状态，精度更高，对常见的类似跌倒动作进行了进一步判断，基于视觉的检测应用场景广泛，能更好的对建筑工地等场景进行实时跌倒检测。
为实现上述目的，本发明的技术方案为基于关键点的跌倒检测方法，基于关键点的跌倒检测系统包括依次连接的图像采集模块、图像识别模块、动作检测模块和显示模块，图像采集模块包括摄像头，摄像头逐帧采集区域内图像；图像识别模块检测连续帧图像中的人体，并识别出所检测人体的骨骼关键点；动作检测模块基于目标检测框符合设定阈值的宽高比例，检测连续帧图像中的人体骨骼关键点中手腕关键点与脚踝关键点构成的直线距离，眼睛关键点与脚踝关键点构成的直线距离，以及肩膀关键点和膝盖关键点的夹角变化情况来判断视频中人体是否处于跌倒状态；显示模块：通过显示器显示视频图像区域内是否有人处于跌倒状态，并给出相应的警告提示，采用上述系统的方法包括以下步骤：
S10，摄像头获取图像；
S20，进行人体识别框定；
S30，进行人体关键点识别与计算；
S40，利用显示模块对判断为跌倒的情况发出警示信息。
优选地，所述进行人体识别框定，包括以下步骤：
S21，使用R-CNN算法对图像处理，检测图像中人体并用检测框框定；
S22，计算人体检测框的宽高比λ，与设定的阈值λ’进行对比，若符合λ>λ’，则判断人体摔倒。
优选地，所述进行人体关键点识别与计算包括以下步骤：
S31，利用MASK-RCNN算法对人体图像进行处理，提取出人体的17个骨骼关键点，并按顺序标记，0对应鼻子、1对应左眼、2对应右眼、3对应左耳、4对应右耳、5对应左肩膀、6对应右肩膀、7对应左手肘关节、8对应右手肘关节、9对应左手腕关节、10对应右手腕关节、11对应左边胯部、12对应右边胯部、13对应左腿膝盖、14对应右腿膝盖、15对应左腿脚踝、16对应右腿脚踝；
S32，判断人体17个骨骼关键点是否识别完全，
S33，否，则利用基于生成对抗网络的行人重识别方法对缺失骨骼关键点进行补全；
S34，是，则对指定骨骼关键点的角度与距离进行计算，从而判断是否跌倒。
优选地，所述对指定骨骼关键点的角度与距离进行计算，从而判断是否跌倒为，当人体上身躯干与大腿的角度小于预设角度阈值，且头部到脚部的头脚距离小于预设的头脚长度阈值，手部到脚部的手脚距离小于预设的手脚长度阈值时，则再进行时间判断，若该姿态持续时间超过预设时间阈值，则判断为跌倒；如果指定骨骼关键点的角度与距离未满足上述条件，或姿态持续时间没有达到时间阈值，则判断为非跌倒。
优选地，所述预设角度阈值为130°-150°。
优选地，所述头脚长度阈值为1.8-2.2倍的小腿长度，所述小腿长度为脚踝关键点与膝盖关键点间的长度。
优选地，所述手脚长度阈值为1.1-1.25倍的小腿长度，所述小腿长度为脚踝关键点与膝盖关键点间的长度。
优选地，所述预设时间阈值为1.5s。
本发明提出了一种基于关键点的跌倒检测技术，有效的对多种伪跌倒动作与真实跌倒动作进行区分判断，提高了跌倒检测的精确度，采用摄像头的实时抓捕检测，扩大了该检测技术的应用场景，使该技术能更好的适用于建筑工地的跌倒行为实时检测。
至少有如下具体有益效果：
1、创新的提出将检测框宽高比和关键点检测结合成新颖的跌倒检测算法，通过设定检测框宽高比阈值，添加多条人体关键点的条件约束，对真实跌倒动作与多种伪跌倒动作进行了更精确的区分判断。相比于以前的基于体积匹配法的跌倒检测技术，本发明专利提出的跌倒检测方法对多种摔倒动作的识别度更高，精度更好。
2、创新的尝试将跌到检测技术应用到建筑工地场合，利用基于关键点的跌倒检测技术实时监测工地区域内是否有人员意外摔倒。相比于图书馆，商场等公共区域，建筑工地发生意外摔倒事件的概率更高，将跌倒检测技术创新的应用到工地场合，提高了工地安全防护技术水平，也对工人的生命安全提供了更好的保障。
3、创新的将目标检测模块，人体摔倒判断模块与警告模块结合使用，实现了一套完整的自动实时跌倒检测系统。相比于传统的专人负责监控视频，本发明专利提出的跌倒检测系统可以自动完成跌倒检测与预警，减少了人力投入，同时增强了目标检测模块与摔倒判断模块的耦合度，提高了实时监测的效果。
附图说明
图1为本发明方法实施例的基于关键点的跌倒检测方法的步骤流程图；
图2为本发明方法实施例的基于关键点的跌倒检测方法的判断跌倒步骤流程图；
图3为本发明方法实施例的基于关键点的跌倒检测方法的人体骨骼关键点示意图；
图4为本发明方法实施例的基于关键点的跌倒检测方法的骨骼关键点角度计算示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
本发明首先进行以下定义及说明：
目标检测框：通过目标检测模型对图像内指定的物体进行检测识别，用矩形框将物体标记出来，该矩形框即为目标检测框；
骨骼关键点：将人体的一些关键部位，如关节，五官等标记成关键点，通过检测关键点可以有效地描述人体姿态，对预测人体行为有很大的帮助。本发明将从人体中提取17个关键点，其位置分布参见图3所示，骨骼关键点对应位置的序号信息参见下表1所示；
角度α：参见图4为关键点角度计算示意图，5为肩膀关键点；11为胯部关键点；13为膝盖关键点；α为上身躯干与大腿的夹角，由肩膀关键点5或6，胯部关键点11或12和膝盖关键点13或14，三者通过余弦定理计算得出：
其中，L5-11为左肩膀到左边胯部的距离，以此类推。
角度阈值β1：骨骼关键点的约束条件，用于限制角度α的大小；
头脚距离Lhead：头部与脚部的直线距离定义为Lhead，由眼睛关键点1或2和脚踝关键点15或16计算绝对距离得出：
其中，L15x-L1x为左腿脚踝与左眼的水平方向距离，L15y-L1y为左腿脚踝与左眼的垂直方向距离，以此类推，以下不再赘述；
头脚长度阈值Lhead-1：骨骼关键点的约束条件，用于限制Lhead的长度；
手脚距离Lhand：手腕与脚部的直线距离定义为Lhand，由手腕关键点9或10和脚踝关键点15或16计算绝对距离得出
手脚长度阈值Lhand-1：骨骼关键点的约束条件，用于限制Lhand的长度；
检测框宽高比λ：目标检测框标记出人体所在位置时，将检测框的宽度W，检测框的高度H进行计算，计算出检测框宽高比
比例阈值λ’：检测框的约束条件，用于限制检测框的宽高比；
小腿长度Lshank：脚踝关键点15，16与膝盖关键点13，14间的长度，作为距离参考标准
参见图1，为本发明实施例的本发明的技术方案为基于关键点的跌倒检测方法的步骤流程图，基于关键点的跌倒检测系统包括依次连接的图像采集模块、图像识别模块、动作检测模块和显示模块，图像采集模块包括摄像头，摄像头逐帧采集区域内图像；图像识别模块检测连续帧图像中的人体，并识别出所检测人体的骨骼关键点；动作检测模块基于目标检测框符合设定阈值的宽高比例，检测连续帧图像中的人体骨骼关键点中手腕关键点与脚踝关键点构成的直线距离，眼睛关键点与脚踝关键点构成的直线距离，以及肩膀关键点和膝盖关键点的夹角变化情况来判断视频中人体是否处于跌倒状态；显示模块：通过显示器显示视频图像区域内是否有人处于跌倒状态，并给出相应的警告提示，采用上述系统的方法包括以下步骤：
S10，摄像头获取图像；
S20，进行人体识别框定；
S30，进行人体关键点识别与计算；
S40，利用显示模块对判断为跌倒的情况发出警示信息。
S20，进行人体识别框定，包括以下步骤：
S21，使用R-CNN算法对图像处理，检测图像中人体并用检测框框定；
S22，计算人体检测框的宽高比λ，与设定的阈值λ’进行对比，若符合λ>λ’，则判断人体摔倒。
S30，参见图2，进行人体关键点识别与计算包括以下步骤：
S31，利用MASK-RCNN算法对人体图像进行处理，提取出人体的17个骨骼关键点，并按顺序标记，0对应鼻子、1对应左眼、2对应右眼、3对应左耳、4对应右耳、5对应左肩膀、6对应右肩膀、7对应左手肘关节、8对应右手肘关节、9对应左手腕关节、10对应右手腕关节、11对应左边胯部、12对应右边胯部、13对应左腿膝盖、14对应右腿膝盖、15对应左腿脚踝、16对应右腿脚踝；
S32，判断人体17个骨骼关键点是否识别完全，
S33，否，则利用基于生成对抗网络的行人重识别方法对缺失骨骼关键点进行补全；
S34，是，则对指定骨骼关键点的角度与距离进行计算，从而判断是否跌倒。
S34，对指定骨骼关键点的角度与距离进行计算，从而判断是否跌倒为，当人体上身躯干与大腿的夹角α<β1，头部到脚部的距离Lhead<Lhead-1(1.8-2.2Lshank)，手部到脚部的距离Lhand>Lhand-1(1.1-1.25Lshank)时，则对该姿态进行时间判断，若该姿态持续时间T>1.5s，则判断为跌倒。如果指定关键点的角度与距离不满足相应要求，或姿态维持时间没有达到阈值，则判断为非跌倒。
图3为本发明实施例骨骼关键点对应位置示意图，其位置表参见表1。
表1
| 关键点序号 | 对应人体部位 |
| 0 | 鼻子 |
| 1 | 左-眼 |
| 2 | 右-眼 |
| 3 | 左-耳 |
| 4 | 右-耳 |
| 5 | 左-肩膀 |
| 6 | 右-肩膀 |
| 7 | 左手-肘关节 |
| 8 | 右手-肘关节 |
| 9 | 左手-腕关节 |
| 10 | 右手-腕关节 |
| 11 | 左边-胯部 |
| 12 | 右边-胯部 |
| 13 | 左腿-膝盖 |
| 14 | 右腿-膝盖 |
| 15 | 左腿-脚踝 |
| 16 | 右腿-脚踝 |
具体实施例中，S34中的判断阈值参见表2，
表2
| 应用场合 | 比例阈值λ<sub>1</sub> | 角度阈值β<sub>1</sub> | 长度阈值L<sub>head-1</sub> | 长度阈值L<sub>hand-1</sub> |
| 建筑工地 | 3.0 | 150° | 2.20L<sub>shank</sub> | 1.25L<sub>shank</sub> |
| 养老院 | 3.0 | 150° | 2.20L<sub>shank</sub> | 1.25L<sub>shank</sub> |
| 幼儿园 | 2.0 | 130° | 1.80L<sub>shank</sub> | 1.10L<sub>shank</sub> |
Claims (8)
1.基于关键点的跌倒检测方法，其特征在于，基于关键点的跌倒检测系统包括依次连接的图像采集模块、图像识别模块、动作检测模块和显示模块，图像采集模块包括摄像头，摄像头逐帧采集区域内图像；图像识别模块检测连续帧图像中的人体，并识别出所检测人体的骨骼关键点；动作检测模块基于目标检测框符合设定阈值的宽高比例，检测连续帧图像中的人体骨骼关键点中手腕关键点与脚踝关键点构成的直线距离，眼睛关键点与脚踝关键点构成的直线距离，以及肩膀关键点和膝盖关键点的夹角变化情况来判断视频中人体是否处于跌倒状态；显示模块：通过显示器显示视频图像区域内是否有人处于跌倒状态，并给出相应的警告提示，采用上述系统的方法包括以下步骤：
S10，摄像头获取图像；
S20，进行人体识别框定；
S30，进行人体关键点识别与计算；
S40，利用显示模块对判断为跌倒的情况发出警示信息。
2.根据权利要求1所述的方法，其特征在于，所述进行人体识别框定，包括以下步骤：
S21，使用R-CNN算法对图像处理，检测图像中人体并用检测框框定；
S22，计算人体检测框的宽高比λ，与设定的阈值λ’进行对比，若符合λ>λ’，则判断人体摔倒。
3.根据权利要求1所述的方法，其特征在于，所述进行人体关键点识别与计算包括以下步骤：
S31，利用MASK-RCNN算法对人体图像进行处理，提取出人体的17个骨骼关键点，并按顺序标记，0对应鼻子、1对应左眼、2对应右眼、3对应左耳、4对应右耳、5对应左肩膀、6对应右肩膀、7对应左手肘关节、8对应右手肘关节、9对应左手腕关节、10对应右手腕关节、11对应左边胯部、12对应右边胯部、13对应左腿膝盖、14对应右腿膝盖、15对应左腿脚踝、16对应右腿脚踝；
S32，判断人体17个骨骼关键点是否识别完全，
S33，否，则利用基于生成对抗网络的行人重识别方法对缺失骨骼关键点进行补全；
S34，是，则对指定骨骼关键点的角度与距离进行计算，从而判断是否跌倒。
4.根据权利要求3所述的方法，其特征在于，所述对指定骨骼关键点的角度与距离进行计算，从而判断是否跌倒为，当人体上身躯干与大腿的角度小于预设角度阈值，且头部到脚部的头脚距离小于预设的头脚长度阈值，手部到脚部的手脚距离小于预设的手脚长度阈值时，则再进行时间判断，若该姿态持续时间超过预设时间阈值，则判断为跌倒；如果指定骨骼关键点的角度与距离未满足上述条件，或姿态持续时间没有达到时间阈值，则判断为非跌倒。
5.根据权利要求4所述的方法，其特征在于，所述预设角度阈值为130°-150°。
6.根据权利要求4所述的方法，其特征在于，所述头脚长度阈值为1.8-2.2倍的小腿长度，所述小腿长度为脚踝关键点与膝盖关键点间的长度。
7.根据权利要求4所述的方法，其特征在于，所述手脚长度阈值为1.1-1.25倍的小腿长度，所述小腿长度为脚踝关键点与膝盖关键点间的长度。
8.根据权利要求4所述的方法，其特征在于，所述预设时间阈值为1.5s。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011026089.0A CN112287759A (zh) | 2020-09-26 | 2020-09-26 | 基于关键点的跌倒检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011026089.0A CN112287759A (zh) | 2020-09-26 | 2020-09-26 | 基于关键点的跌倒检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112287759A true CN112287759A (zh) | 2021-01-29 |
Family
ID=74421376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011026089.0A Pending CN112287759A (zh) | 2020-09-26 | 2020-09-26 | 基于关键点的跌倒检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112287759A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906548A (zh) * | 2021-02-07 | 2021-06-04 | 广东省科学院智能制造研究所 | 一种基于边缘计算的跌倒检测方法及系统 |
| CN112949569A (zh) * | 2021-03-25 | 2021-06-11 | 南京邮电大学 | 一种面向跌倒分析的人体姿态点有效提取方法 |
| CN113065474A (zh) * | 2021-04-07 | 2021-07-02 | 泰豪软件股份有限公司 | 行为识别方法、装置及计算机设备 |
| CN113392751A (zh) * | 2021-06-10 | 2021-09-14 | 北京华捷艾米科技有限公司 | 一种基于人体骨架节点的摔倒检测方法及相关装置 |
| CN113963439A (zh) * | 2021-10-22 | 2022-01-21 | 无锡八英里电子科技有限公司 | 一种基于机器视觉的电梯轿厢扒门行为识别方法 |
| CN114372996A (zh) * | 2021-12-02 | 2022-04-19 | 北京航空航天大学 | 一种面向室内场景的行人轨迹生成方法 |
| CN114419024A (zh) * | 2022-01-27 | 2022-04-29 | 广州东利运动科技有限公司 | 一种基于视频图像分析来判断脚踝形变的智能算法 |
| CN114694252A (zh) * | 2022-03-30 | 2022-07-01 | 电子科技大学 | 一种老年人跌倒风险预测方法 |
| CN115170603A (zh) * | 2021-04-06 | 2022-10-11 | 广州视源电子科技股份有限公司 | 基于跑步机的步幅检测方法、装置、跑步机及存储介质 |
| CN115273243A (zh) * | 2022-09-27 | 2022-11-01 | 深圳比特微电子科技有限公司 | 跌倒检测方法、装置、电子设备和计算机可读存储介质 |
| WO2022228252A1 (zh) * | 2021-04-27 | 2022-11-03 | 北京百度网讯科技有限公司 | 人体行为检测方法、装置、电子设备以及存储介质 |
| WO2023138445A1 (zh) * | 2022-01-24 | 2023-07-27 | 索尼半导体解决方案公司 | 用于检测人摔倒、人的拾取或放回行为的检测方法和设备 |
| CN116863500A (zh) * | 2023-06-14 | 2023-10-10 | 中国人民解放军总医院第一医学中心 | 一种患者离床监控方法和系统 |
| WO2023217193A1 (zh) * | 2022-05-10 | 2023-11-16 | 神顶科技（南京）有限公司 | 机器人和机器人识别跌倒的方法 |
| CN117173795A (zh) * | 2023-11-03 | 2023-12-05 | 赋之科技(深圳)有限公司 | 一种危险动作检测方法及终端 |
| WO2024077005A1 (en) * | 2022-10-03 | 2024-04-11 | Sensormatic Electronics, LLC | Systems and methods for detecting fall events |
| CN112906548B (zh) * | 2021-02-07 | 2024-05-28 | 广东省科学院智能制造研究所 | 一种基于边缘计算的跌倒检测方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103961108A (zh) * | 2013-02-06 | 2014-08-06 | 由田新技股份有限公司 | 跌倒侦测方法 |
| CN104317199A (zh) * | 2014-09-16 | 2015-01-28 | 江苏大学 | 移动式智能管家 |
| CN108629300A (zh) * | 2018-04-24 | 2018-10-09 | 北京科技大学 | 一种跌倒检测方法 |
| CN109919132A (zh) * | 2019-03-22 | 2019-06-21 | 广东省智能制造研究所 | 一种基于骨架检测的行人跌倒识别方法 |
| CN110222614A (zh) * | 2019-05-28 | 2019-09-10 | 深兰科技（上海）有限公司 | 一种识别行人跌倒的方法和设备 |
| CN110287923A (zh) * | 2019-06-29 | 2019-09-27 | 腾讯科技（深圳）有限公司 | 人体姿态获取方法、装置、计算机设备及存储介质 |
| CN111241913A (zh) * | 2019-12-19 | 2020-06-05 | 北京文安智能技术股份有限公司 | 一种检测人员摔倒的方法、装置及系统 |
| CN111680562A (zh) * | 2020-05-09 | 2020-09-18 | 北京中广上洋科技股份有限公司 | 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端 |
-
2020
- 2020-09-26 CN CN202011026089.0A patent/CN112287759A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103961108A (zh) * | 2013-02-06 | 2014-08-06 | 由田新技股份有限公司 | 跌倒侦测方法 |
| CN104317199A (zh) * | 2014-09-16 | 2015-01-28 | 江苏大学 | 移动式智能管家 |
| CN108629300A (zh) * | 2018-04-24 | 2018-10-09 | 北京科技大学 | 一种跌倒检测方法 |
| CN109919132A (zh) * | 2019-03-22 | 2019-06-21 | 广东省智能制造研究所 | 一种基于骨架检测的行人跌倒识别方法 |
| CN110222614A (zh) * | 2019-05-28 | 2019-09-10 | 深兰科技（上海）有限公司 | 一种识别行人跌倒的方法和设备 |
| CN110287923A (zh) * | 2019-06-29 | 2019-09-27 | 腾讯科技（深圳）有限公司 | 人体姿态获取方法、装置、计算机设备及存储介质 |
| CN111241913A (zh) * | 2019-12-19 | 2020-06-05 | 北京文安智能技术股份有限公司 | 一种检测人员摔倒的方法、装置及系统 |
| CN111680562A (zh) * | 2020-05-09 | 2020-09-18 | 北京中广上洋科技股份有限公司 | 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端 |
Non-Patent Citations (2)
| Title |
|---|
| 李文阳等: "基于Kinect V2的跌倒行为检测与分析", 《现代电子技术》 * |
| 茅莉磊等: "一种人体跌倒检测方法", 《计算机系统应用》 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906548B (zh) * | 2021-02-07 | 2024-05-28 | 广东省科学院智能制造研究所 | 一种基于边缘计算的跌倒检测方法及系统 |
| CN112906548A (zh) * | 2021-02-07 | 2021-06-04 | 广东省科学院智能制造研究所 | 一种基于边缘计算的跌倒检测方法及系统 |
| CN112949569B (zh) * | 2021-03-25 | 2022-07-29 | 南京邮电大学 | 一种面向跌倒分析的人体姿态点有效提取方法 |
| CN112949569A (zh) * | 2021-03-25 | 2021-06-11 | 南京邮电大学 | 一种面向跌倒分析的人体姿态点有效提取方法 |
| CN115170603A (zh) * | 2021-04-06 | 2022-10-11 | 广州视源电子科技股份有限公司 | 基于跑步机的步幅检测方法、装置、跑步机及存储介质 |
| CN115170603B (zh) * | 2021-04-06 | 2024-01-23 | 广州视源电子科技股份有限公司 | 基于跑步机的步幅检测方法、装置、跑步机及存储介质 |
| CN113065474A (zh) * | 2021-04-07 | 2021-07-02 | 泰豪软件股份有限公司 | 行为识别方法、装置及计算机设备 |
| WO2022228252A1 (zh) * | 2021-04-27 | 2022-11-03 | 北京百度网讯科技有限公司 | 人体行为检测方法、装置、电子设备以及存储介质 |
| CN113392751A (zh) * | 2021-06-10 | 2021-09-14 | 北京华捷艾米科技有限公司 | 一种基于人体骨架节点的摔倒检测方法及相关装置 |
| CN113963439A (zh) * | 2021-10-22 | 2022-01-21 | 无锡八英里电子科技有限公司 | 一种基于机器视觉的电梯轿厢扒门行为识别方法 |
| CN114372996A (zh) * | 2021-12-02 | 2022-04-19 | 北京航空航天大学 | 一种面向室内场景的行人轨迹生成方法 |
| WO2023138445A1 (zh) * | 2022-01-24 | 2023-07-27 | 索尼半导体解决方案公司 | 用于检测人摔倒、人的拾取或放回行为的检测方法和设备 |
| CN114419024A (zh) * | 2022-01-27 | 2022-04-29 | 广州东利运动科技有限公司 | 一种基于视频图像分析来判断脚踝形变的智能算法 |
| CN114419024B (zh) * | 2022-01-27 | 2023-06-27 | 广州东利运动科技有限公司 | 一种基于视频图像分析来判断脚踝形变的方法 |
| CN114694252A (zh) * | 2022-03-30 | 2022-07-01 | 电子科技大学 | 一种老年人跌倒风险预测方法 |
| CN114694252B (zh) * | 2022-03-30 | 2023-04-28 | 电子科技大学 | 一种老年人跌倒风险预测方法 |
| WO2023217193A1 (zh) * | 2022-05-10 | 2023-11-16 | 神顶科技（南京）有限公司 | 机器人和机器人识别跌倒的方法 |
| CN115273243B (zh) * | 2022-09-27 | 2023-03-28 | 深圳比特微电子科技有限公司 | 跌倒检测方法、装置、电子设备和计算机可读存储介质 |
| CN115273243A (zh) * | 2022-09-27 | 2022-11-01 | 深圳比特微电子科技有限公司 | 跌倒检测方法、装置、电子设备和计算机可读存储介质 |
| WO2024077005A1 (en) * | 2022-10-03 | 2024-04-11 | Sensormatic Electronics, LLC | Systems and methods for detecting fall events |
| CN116863500A (zh) * | 2023-06-14 | 2023-10-10 | 中国人民解放军总医院第一医学中心 | 一种患者离床监控方法和系统 |
| CN116863500B (zh) * | 2023-06-14 | 2024-05-10 | 中国人民解放军总医院第一医学中心 | 一种患者离床监控方法和系统 |
| CN117173795A (zh) * | 2023-11-03 | 2023-12-05 | 赋之科技(深圳)有限公司 | 一种危险动作检测方法及终端 |
| CN117173795B (zh) * | 2023-11-03 | 2024-02-23 | 赋之科技(深圳)有限公司 | 一种危险动作检测方法及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112287759A (zh) | 基于关键点的跌倒检测方法 | |
| Zhang et al. | Ergonomic posture recognition using 3D view-invariant features from single ordinary camera | |
| CN104038738B (zh) | 一种提取人体关节点坐标的智能监控系统及方法 | |
| Kwolek et al. | Improving fall detection by the use of depth sensor and accelerometer | |
| Dikovski et al. | Evaluation of different feature sets for gait recognition using skeletal data from Kinect | |
| CN111595453A (zh) | 一种基于人脸识别的红外测温系统及方法 | |
| CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及系统 | |
| CN106295544B (zh) | 一种基于Kinect的视角不变性步态识别方法 | |
| CN109344694B (zh) | 一种基于三维人体骨架的人体基本动作实时识别方法 | |
| CN108596148B (zh) | 一种基于计算机视觉的建筑工人劳动状态分析系统及方法 | |
| CN111553229B (zh) | 基于三维骨骼与lstm的工人动作识别方法及装置 | |
| CN111241913A (zh) | 一种检测人员摔倒的方法、装置及系统 | |
| CN110008913A (zh) | 基于姿态估计与视点机制融合的行人再识别方法 | |
| CN108209926A (zh) | 基于深度图像的人体身高测量系统 | |
| CN113920326A (zh) | 基于人体骨骼关键点检测的摔倒行为识别方法 | |
| CN112270807A (zh) | 一种老人跌倒预警系统 | |
| CN111783702A (zh) | 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法 | |
| Raheja et al. | Cross border intruder detection in hilly terrain in dark environment | |
| CN114998986A (zh) | 基于计算机视觉的引体向上动作规范智能识别方法及系统 | |
| Abd et al. | Human fall down recognition using coordinates key points skeleton | |
| CN113033501A (zh) | 一种基于关节四元数的人体分类方法及装置 | |
| Bansal et al. | Elderly people fall detection system using skeleton tracking and recognition | |
| Khan et al. | Video analytic for fall detection from shape features and motion gradients | |
| CN114639168B (zh) | 一种用于跑步姿态识别的方法和系统 | |
| CN114332922A (zh) | 一种基于图像静态特征的摔倒检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210129 |