CN111931733B - 基于深度相机的人体姿态检测方法 - Google Patents
基于深度相机的人体姿态检测方法 Download PDFInfo
- Publication number
- CN111931733B CN111931733B CN202011019079.4A CN202011019079A CN111931733B CN 111931733 B CN111931733 B CN 111931733B CN 202011019079 A CN202011019079 A CN 202011019079A CN 111931733 B CN111931733 B CN 111931733B
- Authority
- CN
- China
- Prior art keywords
- human body
- posture
- image frame
- current image
- knee
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 230000036544 posture Effects 0.000 claims abstract description 97
- 230000005484 gravity Effects 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 17
- 210000003127 knee Anatomy 0.000 claims description 12
- 210000000689 upper leg Anatomy 0.000 claims description 12
- 210000004197 pelvis Anatomy 0.000 claims description 11
- 210000003423 ankle Anatomy 0.000 claims description 8
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 210000002683 foot Anatomy 0.000 claims description 6
- 210000001624 hip Anatomy 0.000 claims description 4
- 210000000629 knee joint Anatomy 0.000 claims description 4
- 244000309466 calf Species 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- HCUOEKSZWPGJIM-YBRHCDHNSA-N (e,2e)-2-hydroxyimino-6-methoxy-4-methyl-5-nitrohex-3-enamide Chemical compound COCC([N+]([O-])=O)\C(C)=C\C(=N/O)\C(N)=O HCUOEKSZWPGJIM-YBRHCDHNSA-N 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 210000003108 foot joint Anatomy 0.000 claims description 2
- 210000004394 hip joint Anatomy 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000000474 nursing effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 206010016173 Fall Diseases 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度相机的人体姿态检测方法，其包括S1、采用深度相机采集人体在室内场景的视频数据，之后采用人体骨骼关键点检测方法获取视频数据中每帧图像帧内人体的多个关节点的三维坐标；S2、根据当前图像帧对应关节点的三维坐标，计算评估当前图像帧中人体姿态的姿态特征表；S3、根据当前图像帧的姿态特征表，采用阈值检测方法确定当前图像帧中人体的姿态；S4、根据当前图像帧与其前面预设数量的图像帧对应的人体重心和姿态，判断当前图像帧中人体的姿态是否正确，若正确，则进入步骤S5，否则采用上一图像帧的姿态作为当前图像帧的姿态，之后进入步骤S5；S5、实时显示人体当前在房间内的姿态，并在跌倒姿态时发出报警。
Description
技术领域
本发明涉及人体姿态检测技术，具体涉及一种基于深度相机的人体姿态检测方法。
背景技术
随着中国人口老龄化问题的不断加重，老人的养老安全监测问题受到越来越多的社会关注。目前针对人员安全监测领域面临的最主要问题就是摔倒检测。
针对人体摔倒检测的核心方法主要有三类：一是通过可穿戴式传感器采集人体质心的高度进行实时监测，并通过采集的实时数据传回进行摔倒检测，该方法最大的缺点就是穿戴设备易损坏、体感舒适度低；二是通过将环境传感器部署在房间中，通过对声音、地板振动以及房间的光流信息进行采集并分析来检测摔倒，该种方法的缺点是易受环境干扰、稳定性差及误判率高。三是通过安装视频监控，通过摄像头实时采集视频数据进行姿态检测。
第三类目前常见分为两种：一种是基于人体关键点的检测，这种方法通过人体在二维图像中的身体比例、高度变化等特征进行姿态判定，该方法的主要缺点是：第一，二维图像无法描述人体的真实高度，仅通过高度变化无法对姿态进行准确判定；第二，若人体某部分出现被遮挡的情况，则方法可能失效。
发明内容
针对现有技术中的上述不足，本发明提供的基于深度相机的人体姿态检测方法解决了现有人体姿态检测方法姿态易出现误判的问题。
为了达到上述发目的，本发明采用的技术方案为：
提供一种基于深度相机的人体姿态检测方法，其包括：
S1、采用深度相机采集人体在室内场景的视频数据，之后采用人体骨骼关键点检测方法获取视频数据中每帧图像帧内人体的多个关节点的三维坐标；
S2、根据当前图像帧对应关节点的三维坐标，计算评估当前图像帧中人体姿态的姿态特征表：
M=[h 0,θ 1,θ 2,θ 3,θ 4,h,Q(x,y)]
其中，M为姿态特征表；h 0为人体估计身高；θ 1为上半身和大腿之间的角度；θ 2为大腿和小腿之间的角度；θ 3为上半身与水平面的倾角；θ 4为下半身与水平面的倾角；h为当前人体高度；Q(x,y)为人体重心的位置坐标；
S3、根据当前图像帧的姿态特征表，采用阈值检测方法确定当前图像帧中人体的姿态；
S4、根据当前图像帧与其前面预设数量的图像帧对应的人体重心和姿态，判断当前图像帧中人体的姿态是否正确，若正确，则进入步骤S5，否则采用上一图像帧的姿态作为当前图像帧的姿态，之后进入步骤S5；
S5、实时显示人体当前在房间内的姿态，并在跌倒姿态时发出报警。
本发明的有益效果为：本方案实时采集房间中人体的视频，并对视频的每帧图像进行人体的多个关节点进行获取，并基于关节点参与姿态特征表中的数据的获取，以此进行人体静态时姿态的确定，之后再结合人体重心坐标位置和每帧图像帧静态的姿态进行连续姿态的确定，以最终确定人体的姿态，从而保证了姿态检测的准确性。
本方案能够在跌倒发生时及时向医护人员和家人报警，其它姿态可用于对老人的健康状态进行评估和预警；本方案引入智能养老系统后，可完全摆脱传统的佩戴式安全监测设别，通过深度相机对老人的健康安全进行实时监测，在好的体验感下避免带来不必要的健康安全事件。
近年来，由于养老机构护理人员不足，加上监测系统的缺陷，我国养老机构频发一些老人跌倒的安全事件，造成了严重的后果。本方案的引入可以实现对站姿、坐姿、睡姿和跌倒四种状态的检测，可解决养老机构老人的安全健康智能监测，缓解医护人员的工作压力。在智能养老领域具有重要的应用价值和经济价值，本方案的检测方法将推动该领域的发展。
附图说明
图1为基于深度相机的人体姿态检测方法的流程图。
图2为深度相机的坐标系。
图3为房间坐标系及区域划分。
图4为人体关节点分布。
图5为人体姿态检测流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
参考图1，图1示出了基于深度相机的人体姿态检测方法；如图1所示，该方法包括步骤S1至步骤S5。
在步骤S1，采用深度相机采集人体在室内场景的视频数据，之后采用人体骨骼关键点检测方法获取视频数据中每帧图像帧内人体的多个关节点的三维坐标。
如图4所示，本方案在进行关键点提取时，主要涉及多个关节点包括颈部NECK、右肩部R_SHOULDER、左肩部L_SHOULDER、盆骨PELVIS、右臀R_HIP、左臀L_HIP、右膝盖R_KNEE、左膝盖L_KNEE、右脚踝R_ANKLE、左脚踝L_ANKLE、右脚R_FOOT和左脚L_FOOT。
本方案所采用的人体骨骼关键点检测方法为现有技术中比较常规的方案。
在步骤S2中，根据当前图像帧对应关节点的三维坐标，计算评估当前图像帧中人体姿态的姿态特征表：
M=[h 0,θ 1,θ 2,θ 3,θ 4,h,Q(x,y)]
其中，M为姿态特征表；h 0为人体估计身高；θ 1为上半身和大腿之间的角度；θ 2为大腿和小腿之间的角度；θ 3为上半身与水平面的倾角；θ 4为下半身与水平面的倾角；h为当前人体高度；Q(x,y)为人体重心的位置坐标。
在本发明的一个实施例中，人体估计身高h 0 的计算公式为：
其中，h R 和h L 分别为右大腿和左大腿的长度；x R_KNEE 、y R_KNEE 和z R_KNEE 为右膝盖关节点的三维坐标值；x R_HIP 、y R_HIP 和z R_HIP 为右臀部关节点的三维坐标值；x L_KNEE 、y L_KNEE 和z L_KNEE 为左膝盖关节点的三维坐标值；x L_HIP 、y L_HIP 和z L_HIP 为左臀部关节点的三维坐标值；
计算上半身和大腿之间的角度θ 1的计算公式为：
其中，x KNEE 、y KNEE 和z KNEE 为左、右膝盖关节点三维坐标的平均值；x NECK 、y NECK 和z NECK 为颈部关节点的三维坐标值；x PELVIS 、y PELVIS 和z PELVIS 为盆骨关节点的三维坐标值；
大腿和小腿之间的角度θ 2的计算公式为：
其中，x R_KNEE 、y R_KNEE 和z R_KNEE 为右脚踝关节点的三维坐标；x L_KNEE 、y L_KNEE 和z L_KNEE 为左脚踝关节点的三维坐标；x ANKLE 、y ANKLE 和z ANKLE 为左、右脚踝关节点三维坐标的平均值；
上半身与水平面的倾角θ 3计算时，采用
作为其对应的水平面坐标点，则倾角θ 3的计算公式为：
下半身与水平面的倾角θ 4计算时，采用
作为其对应的水平面坐标点，则倾角θ 4的计算公式为：
其中，（△x 1，△y 1，△z 1）、 （△x 2，△y 2，△z 2）、（△x 3，△y 3，△z 3）、（△x 4，△y 4，△z 4）、（△x 4，△y 5，△z 5）、（△x 6，△y 6，△z 6）、（△x 7，△y 7，△z 7）和（△x 8，△y 8，△z 8）均为中间变量坐标。
采用颈部关节点到脚部关节点在y轴上的距离作为当前人体高度h：
其中，y R_FOOT 、y L_FOOT 分别为右脚部和左脚部关节点的y坐标值；y NECK 为颈部关节点的y坐标值；
采用盆骨关节点的坐标作为人体重心的位置坐标Q(x,z)=(x PELVIS ,z PELVIS )。
本方案通过上述方式进行后续人体姿态检测的参数，可以实现每帧图像对应的静态姿态的准确识别，从而保证了本方案最终识别的准确性。
在步骤S3中，根据当前图像帧的姿态特征表，采用阈值检测方法确定当前图像帧中人体的姿态。
实施时，本方案优选采用阈值检测方法确定当前图像帧中人体的姿态的方法包括：
S31、当满足条件(0.75h 0＜h＜h 0)∪(45°＜θ 3＜=90°)时，当前图像帧中人体的姿态为站姿；
S32、当满足条件(0.45h 0＜h＜0.75h 0)∩(0°＜θ 1＜120°)∩(30°＜θ 2＜180°)时，当前图像帧的人体的姿态为坐姿；
S33、当满足条件(h＜0.3h 0)∩(0°＜θ 3＜30°)∩(0°＜θ 4＜30°)时，当前图像帧中人体的姿态为睡姿；
S34、当满足条件(h＜0.45h 0)∩{(0°＜θ 3＜30°)∪(0°＜θ 4＜30°)}时，当前图像帧中人体的姿态为跌倒。
本方案通过上述的检测方法能够实现姿态的快速确定。
在本发明的一个实施例中，在步骤S2和步骤S3之间还包括确定人体在房间中的区域，并根据所述区域确定相应区域存在的姿态：
获取房间坐标系对应房间的分区R0、R1和R2，房间坐标系及区域划分参考图3，三个区域的范围为：
其中，area为区分的区域名，R0、R1和R2分别为深度相机的盲区、床所在区域、公共活动区域；coordinate为矩形区域的范围；
为区域R0在房间中的坐标范围；
为区域R1在房间中的坐标范围；other代表区域R2是除去R0、R1剩下的区域；
判断人体重心的位置坐标
是否满足条件
对应的区域：
当i=0满足条件时，人体重心的位置坐标Q(x,z)位于区域R0；当i=1满足条件时，人体重心的位置坐标Q(x,z)位于区域R1；当i=0,1均不满足条件时，人体重心的位置坐标Q(x,z)位于区域R2；
根据人体重心的位置坐标位于的区域，确定相应区域存在的姿态：
当位于区域R0时，不进行姿态检测；当位于区域R1时，只进行睡姿和坐姿检测；当位于区域R2时，只进行站姿、坐姿和跌倒检测。
本方案通过对人体所在区域进行确定后，在后续姿态判别过程中可以直接进入相应姿态判断，不需要每个姿态都去进行比较识别一次，可以大幅度降低计算量。
当本方案引入“确定人体在房间中的区域，并根据所述区域确定相应区域存在的姿态”后，本方案进入姿态确定的相关步骤可以参考图5，通过图5可以准确了解姿态判断的具体实现过程。
在步骤S4中，根据当前图像帧与其前面预设数量的图像帧对应的人体重心和姿态，判断当前图像帧中人体的姿态是否正确，若正确，则进入步骤S5，否则采用上一图像帧的姿态作为当前图像帧的姿态，之后进入步骤S5；
实施时，本方案优选判断当前图像帧中人体的姿态是否正确的方法为：
S41、判断图像帧对应的人体重心是否满足
，其中
为t时刻的人体重心的坐标位置；N为预设数量；△x和△z分别为坐标之间的最大允许误差值；
步骤S41中的条件表示当前时刻帧人体重心所在位置与前N帧人体重心基本上在一个位置，即需满足在位置基本不变的前提下，再判断是否有姿态变化。
S42、若满足，则进入步骤S43，否则，当前图像帧中人体的姿态不正确；
S43、判断
是否成立，S t 为t时刻检测到的姿态；若是，则当前图像帧中人体的姿态正确，否则当前图像帧中人体的姿态不正确。
步骤S43中的条件表示当前时刻帧检测的姿态结果和前N帧的姿态检测结果一样，这样可以消除一些中间姿态（一种姿态向另一种姿态转换的中间帧）的误判。
本方案采用上述方式进行连续姿态的确定，以此可以实现最终取得姿态的准确性，同时还可以避免中间状态被误判及除分类姿态以外的其它动作姿态会误判为分类姿态情况。
在步骤S5中，实时显示人体当前在房间内的姿态，并在跌倒姿态时发出报警。
在本发明的一个实施例中，基于深度相机的人体姿态检测方法还包括计算当前图像帧中人体在房间坐标系的位置：
获取房间坐标系和深度相机的三维坐标系的映射关系；
根据映射关系，对当前图像帧对应人体重心的位置坐标进行转换，得到人体在房间坐标系的坐标，并与当前图像帧对应姿态同步显示。
本方案在进行姿态判断的同时，可以实时显示老人的状态，这样一旦老人出现摔倒意外时，可以及时知道老人位于房间的位置，以快速确定老人摔倒应对策略。
其中的映射关系f的计算公式为：
其中，
为基于房间建立的坐标系
中的坐标点；(x,z)为基于深度相机建立的坐标系L（深度相机的坐标系可以参考图2）中的坐标点；X0为房间长度的一半；Y0为房间的宽度。
深度相机的三维坐标系如图2所示，原点[0,0,0]位于相机焦点处；坐标系的方向是正X轴向右，正Y轴向下，正Z轴向前。房间坐标系及区域划分如图3所示，图中坐标原点a[0,0]是基于深度相机建立的坐标系L（注：这里的坐标系建立用到的是深度相机的x和z轴（描述真实距离）；没有标注出来的y轴用来表示高度信息）；坐标原点b[0,0]是基于房间建立的坐标系
。
本方案基于深度相机对人体进行追踪，并实时获取人体关节点的位置坐标。利用关节点坐标信息构建人体姿态特征表，在三维空间中通过人体姿态特征表对人体姿态进行判断，可以实现站姿、坐姿、睡姿和跌倒的检测。将基于深度相机的坐标系映射到房间的坐标系上，可以实现人员在房间的定位。
Claims (5)
1.基于深度相机的人体姿态检测方法，其特征在于，包括：
S1、采用深度相机采集人体在室内场景的视频数据，之后采用人体骨骼关键点检测方法获取视频数据中每帧图像帧内人体的多个关节点的三维坐标；
S2、根据当前图像帧对应关节点的三维坐标，计算评估当前图像帧中人体姿态的姿态特征表：
M=[h 0,θ 1,θ 2,θ 3,θ 4,h,Q(x,y)]
其中，M为姿态特征表；h 0为人体估计身高；θ 1为上半身和大腿之间的角度；θ 2为大腿和小腿之间的角度；θ 3为上半身与水平面的倾角；θ 4为下半身与水平面的倾角；h为当前人体高度；Q(x,y)为人体重心的位置坐标；
S3、根据当前图像帧的姿态特征表，采用阈值检测方法确定当前图像帧中人体的姿态；
S4、根据当前图像帧与其前面预设数量的图像帧对应的人体重心和姿态，判断当前图像帧中人体的姿态是否正确，若正确，则进入步骤S5，否则采用上一图像帧的姿态作为当前图像帧的姿态，之后进入步骤S5；
S5、实时显示人体当前在房间内的姿态，并在跌倒姿态时发出报警；
判断当前图像帧中人体的姿态是否正确的方法为：
S41、判断图像帧对应的人体重心是否满足
，其中
为t时刻的人体重心的坐标位置；N为预设数量；△x和△z分别为坐标之间的最大允许误差值；
S42、若满足，则进入步骤S43，否则，当前图像帧中人体的姿态不正确；
S43、判断
是否成立，S t 为t时刻检测到的姿态；若是，则当前图像帧中人体的姿态正确，否则当前图像帧中人体的姿态不正确。
2.根据权利要求1所述的基于深度相机的人体姿态检测方法，其特征在于，还包括计算当前图像帧中人体在房间坐标系的位置：
获取房间坐标系和深度相机的三维坐标系的映射关系；
根据映射关系，对当前图像帧对应人体重心的位置坐标进行转换，得到人体在房间坐标系的坐标，并与当前图像帧对应姿态同步显示。
3.根据权利要求2所述的基于深度相机的人体姿态检测方法，其特征在于，所述映射关系f的计算公式为：
其中，
为基于房间建立的坐标系
中的坐标点；(x,z)为基于深度相机建立的坐标系L中的坐标点；X0为房间长度的一半；Y0为房间的宽度。
4.根据权利要求1所述的基于深度相机的人体姿态检测方法，其特征在于，在步骤S2和步骤S3之间还包括确定人体在房间中的区域，并根据所述区域确定相应区域存在的姿态：
获取房间坐标系对应房间的分区R0、R1和R2，三个区域的范围为：
其中，area为区分的区域名，R0、R1和R2分别为深度相机的盲区、床所在区域、公共活动区域；coordinate为矩形区域的范围；
为区域R0在房间中的坐标范围；
为区域R1在房间中的坐标范围；other代表区域R2是除去R0、R1剩下的区域；
判断人体重心的位置坐标
是否满足条件
对应的区域：
当i=0满足条件时，人体重心的位置坐标Q(x,z)位于区域R0；当i=1满足条件时，人体重心的位置坐标Q(x,z)位于区域R1；当i=0,1均不满足条件时，人体重心的位置坐标Q(x,z)位于区域R2；
根据人体重心的位置坐标位于的区域，确定相应区域存在的姿态：
当位于区域R0时，不进行姿态检测；当位于区域R1时，只进行睡姿和坐姿检测；当位于区域R2时，只进行站姿、坐姿和跌倒检测。
5.根据权利要求1所述的基于深度相机的人体姿态检测方法，其特征在于，多个关节点包括颈部、右肩部、左肩部、盆骨、右臀、左臀、右膝盖、左膝盖、右脚踝、左脚踝、右脚和左脚；
人体估计身高h 0 的计算公式为：
其中，h R 和h L 分别为右大腿和左大腿的长度；x R_KNEE 、y R_KNEE 和z R_KNEE 为右膝盖关节点的三维坐标值；x R_HIP 、y R_HIP 和z R_HIP 为右臀部关节点的三维坐标值；x L_KNEE 、y L_KNEE 和z L_KNEE 为左膝盖关节点的三维坐标值；x L_HIP 、y L_HIP 和z L_HIP 为左臀部关节点的三维坐标值；
计算上半身和大腿之间的角度θ 1的计算公式为：
其中，x KNEE 、y KNEE 和z KNEE 为左、右膝盖关节点三维坐标的平均值；x NECK 、y NECK 和z NECK 为颈部关节点的三维坐标值；x PELVIS 、y PELVIS 和z PELVIS 为盆骨关节点的三维坐标值；
大腿和小腿之间的角度θ 2的计算公式为：
其中，x R_ANKLE 、y R_ANKLE 和z R_ANKLEE 为右脚踝关节点的三维坐标；x L_ANKLE 、y L_ANKLE 和z L_ANKLE 为左脚踝关节点的三维坐标；x ANKLE 、y ANKLE 和z ANKLE 为左、右脚踝关节点三维坐标的平均值；
上半身与水平面的倾角θ 3计算时，采用
作为其对应的水平面坐标点，则倾角θ 3的计算公式为：
下半身与水平面的倾角θ 4计算时，采用
作为其对应的水平面坐标点，则倾角θ 4的计算公式为：
其中，（△x 1，△y 1，△z 1）、（△x 2，△y 2，△z 2）、（△x 3，△y 3，△z 3）、（△x 4，△y 4，△z 4）、（△x 4，△y 5，△z 5）、（△x 6，△y 6，△z 6）、（△x 7，△y 7，△z 7）和（△x 8，△y 8，△z 8）均为中间变量坐标；
采用颈部关节点到脚部关节点在y轴上的距离作为当前人体高度h：
其中，y R_FOOT 、y L_FOOT 分别为右脚部和左脚部关节点的y坐标值；y NECK 为颈部关节点的y坐标值；
采用盆骨关节点的坐标作为人体重心的位置坐标Q(x,z)=(x PELVIS ,z PELVIS )。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011019079.4A CN111931733B (zh) | 2020-09-25 | 2020-09-25 | 基于深度相机的人体姿态检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011019079.4A CN111931733B (zh) | 2020-09-25 | 2020-09-25 | 基于深度相机的人体姿态检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111931733A CN111931733A (zh) | 2020-11-13 |
| CN111931733B true CN111931733B (zh) | 2021-02-26 |
Family
ID=73335082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011019079.4A Active CN111931733B (zh) | 2020-09-25 | 2020-09-25 | 基于深度相机的人体姿态检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111931733B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11819734B2 (en) | 2020-12-29 | 2023-11-21 | NEX Team Inc. | Video-based motion counting and analysis systems and methods for virtual fitness application |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112782664B (zh) * | 2021-02-22 | 2023-12-12 | 四川八维九章科技有限公司 | 一种基于毫米波雷达的卫生间跌倒检测方法 |
| CN112990089B (zh) * | 2021-04-08 | 2023-09-26 | 重庆大学 | 一种判断人体运动姿态的方法 |
| US11837006B2 (en) * | 2021-06-30 | 2023-12-05 | Ubtech North America Research And Development Center Corp | Human posture determination method and mobile machine using the same |
| CN114783059B (zh) * | 2022-04-20 | 2022-10-25 | 浙江东昊信息工程有限公司 | 一种基于深度相机的寺庙香客参拜管理方法和系统 |
| CN114942434B (zh) * | 2022-04-25 | 2024-02-02 | 四川八维九章科技有限公司 | 一种基于毫米波雷达点云的跌倒姿态识别方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102387345A (zh) * | 2011-09-09 | 2012-03-21 | 浙江工业大学 | 基于全方位视觉的独居老人安全监护系统 |
| CN102750803A (zh) * | 2012-07-16 | 2012-10-24 | 深圳市富晶科技有限公司 | 跌倒报警仪、跌倒报警检测装置及方法 |
| CN103903281A (zh) * | 2014-04-04 | 2014-07-02 | 西北工业大学 | 一种基于多特征分析和场景学习的老人摔倒检测方法 |
| CN104598896A (zh) * | 2015-02-12 | 2015-05-06 | 南通大学 | 基于Kinect骨架追踪的人体摔倒自动检测方法 |
| CN111460908A (zh) * | 2020-03-05 | 2020-07-28 | 中国地质大学（武汉） | 一种基于OpenPose的人体摔倒识别方法及系统 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020091991A1 (en) * | 2000-05-11 | 2002-07-11 | Castro Juan Carlos | Unified real-time microprocessor computer |
| WO2013071285A1 (en) * | 2011-11-11 | 2013-05-16 | Rutgers, The State University Of New Jersey | Methods for the diagnosis and treatment of neurological disorders |
| CN103745485A (zh) * | 2013-12-31 | 2014-04-23 | 深圳泰山在线科技有限公司 | 判断物体静止或运动的方法及系统 |
| CN105719429A (zh) * | 2014-07-29 | 2016-06-29 | 吴诗蕊 | 一种基于Kinect的跌倒检测及报警系统及其操作方法 |
| WO2017058913A1 (en) * | 2015-09-28 | 2017-04-06 | Case Western Reserve University | Wearable and connected gait analytics system |
| CN107045623B (zh) * | 2016-12-30 | 2020-01-21 | 厦门瑞为信息技术有限公司 | 一种基于人体姿态跟踪分析的室内危险情况告警的方法 |
| CN108392208B (zh) * | 2018-02-23 | 2020-12-15 | 大同公元三九八智慧养老服务有限公司 | 一种基于多阶段模型的跌倒判断方法 |
| CN108629300B (zh) * | 2018-04-24 | 2022-01-28 | 北京科技大学 | 一种跌倒检测方法 |
| CN108652637B (zh) * | 2018-06-30 | 2024-04-12 | 源珈力医疗器材国际贸易（上海）有限公司 | 一种穿戴式跌倒预测防护系统及其预测方法 |
| CN109919132B (zh) * | 2019-03-22 | 2021-04-23 | 广东省智能制造研究所 | 一种基于骨架检测的行人跌倒识别方法 |
| CN110472473A (zh) * | 2019-06-03 | 2019-11-19 | 浙江新再灵科技股份有限公司 | 基于姿态估计检测扶梯上人跌倒的方法 |
| CN110287923B (zh) * | 2019-06-29 | 2023-09-15 | 腾讯科技（深圳）有限公司 | 人体姿态获取方法、装置、计算机设备及存储介质 |
| CN110490070A (zh) * | 2019-07-12 | 2019-11-22 | 浙江省北大信息技术高等研究院 | 一种基于人体姿态估计的跌倒检测方法 |
| CN111274954B (zh) * | 2020-01-20 | 2022-03-15 | 河北工业大学 | 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法 |
| CN111330213A (zh) * | 2020-03-24 | 2020-06-26 | 孝感峰创智能科技有限公司 | 一种vr跑步机的防摔预判方法、系统及可读存储介质 |
| CN111582158A (zh) * | 2020-05-07 | 2020-08-25 | 济南浪潮高新科技投资发展有限公司 | 一种基于人体姿态估计的摔倒检测方法 |
-
2020
- 2020-09-25 CN CN202011019079.4A patent/CN111931733B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102387345A (zh) * | 2011-09-09 | 2012-03-21 | 浙江工业大学 | 基于全方位视觉的独居老人安全监护系统 |
| CN102750803A (zh) * | 2012-07-16 | 2012-10-24 | 深圳市富晶科技有限公司 | 跌倒报警仪、跌倒报警检测装置及方法 |
| CN103903281A (zh) * | 2014-04-04 | 2014-07-02 | 西北工业大学 | 一种基于多特征分析和场景学习的老人摔倒检测方法 |
| CN104598896A (zh) * | 2015-02-12 | 2015-05-06 | 南通大学 | 基于Kinect骨架追踪的人体摔倒自动检测方法 |
| CN111460908A (zh) * | 2020-03-05 | 2020-07-28 | 中国地质大学（武汉） | 一种基于OpenPose的人体摔倒识别方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| "基于姿态分析的摔倒检测研究与实现";高苗;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190815(第 08 期);I138-1092 * |
| "Fall prediction based on key points of human bones";QingzhenXu 等;<Physica A: Statistical Mechanics and its Applications>;20200215;第540卷;1-13 * |
| "基于深度学习的牛脸检测与姿态角度估计";黄巍;《中国优秀硕士学位论文全文数据库 农业科技辑》;20200415(第 04 期);D050-35 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11819734B2 (en) | 2020-12-29 | 2023-11-21 | NEX Team Inc. | Video-based motion counting and analysis systems and methods for virtual fitness application |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111931733A (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111931733B (zh) | 基于深度相机的人体姿态检测方法 | |
| CN109919132B (zh) | 一种基于骨架检测的行人跌倒识别方法 | |
| CN104598896B (zh) | 基于Kinect骨架追踪的人体摔倒自动检测方法 | |
| Dubois et al. | Human activities recognition with RGB-Depth camera using HMM | |
| CN109726672B (zh) | 一种基于人体骨架序列和卷积神经网络的摔倒检测方法 | |
| CN109558865A (zh) | 一种基于人体关键点的对需特别看护人员的异常状态检测方法 | |
| CN105868707B (zh) | 一种基于深度图像信息的坠床行为实时检测方法 | |
| CN107169456A (zh) | 一种基于坐姿深度图像的坐姿检测方法 | |
| CN104361321A (zh) | 一种判断老年人摔倒行为及身体平衡能力的方法 | |
| CN111127848A (zh) | 一种人体坐姿检测系统及方法 | |
| Jansen et al. | 3D human pose recognition for home monitoring of elderly | |
| CN112115827B (zh) | 基于人体姿态动态特征的跌倒行为识别方法 | |
| CN106056116A (zh) | 一种基于模糊粗糙集的睡姿压力图像识别方法 | |
| CN106388771A (zh) | 一种自动检测人体生理状态的方法及运动手环 | |
| CN108898108B (zh) | 一种基于扫地机器人的用户异常行为监测系统及方法 | |
| CN110472473A (zh) | 基于姿态估计检测扶梯上人跌倒的方法 | |
| CN104751146A (zh) | 一种基于3d点云图像的室内人体检测方法 | |
| SG188111A1 (en) | Condition detection methods and condition detection devices | |
| KR20140110484A (ko) | 영상정보를 이용한 위험 행동 검지방법 | |
| CN107993249A (zh) | 一种基于多Kinect的人体步态数据融合方法 | |
| CN109271918A (zh) | 基于重心偏移模型区分平衡能力障碍人群的方法 | |
| CN111783702A (zh) | 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法 | |
| CN111191499B (zh) | 一种基于最小中心线的跌倒检测方法及装置 | |
| CN113128379A (zh) | 人体跌倒检测方法、计算机可读存储介质和电子装置 | |
| CN109325474A (zh) | 一种对需特别看护人员的异常状态检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210201 Address after: 610000, No. two, section 111, North Ring Road, Jinniu District, Sichuan, Chengdu Applicant after: SOUTHWEST JIAOTONG University Applicant after: Sichuan Bawei Power Technology Co.,Ltd. Applicant after: Sichuan Bawei Jiuzhang Technology Co.,Ltd. Address before: 610000, No. two, section 111, North Ring Road, Jinniu District, Sichuan, Chengdu Applicant before: SOUTHWEST JIAOTONG University Applicant before: Sichuan Bawei Innovation Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231016 Address after: 610000 Chengdu, Sichuan Province, China (Sichuan) Free Trade Pilot Zone Patentee after: Sichuan Bawei Jiuzhang Technology Co.,Ltd. Address before: 610000, No. two, section 111, North Ring Road, Jinniu District, Sichuan, Chengdu Patentee before: SOUTHWEST JIAOTONG University Patentee before: Sichuan Bawei Power Technology Co.,Ltd. Patentee before: Sichuan Bawei Jiuzhang Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Human pose detection method based on depth camera Granted publication date: 20210226 Pledgee: Bank of China Limited Dujiangyan sub branch Pledgor: Sichuan Bawei Jiuzhang Technology Co.,Ltd. Registration number: Y2024980013479 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |