CN107194967B - 基于Kinect深度图像的人体摔倒检测方法及装置 - Google Patents
基于Kinect深度图像的人体摔倒检测方法及装置 Download PDFInfo
- Publication number
- CN107194967B CN107194967B CN201710433311.0A CN201710433311A CN107194967B CN 107194967 B CN107194967 B CN 107194967B CN 201710433311 A CN201710433311 A CN 201710433311A CN 107194967 B CN107194967 B CN 107194967B
- Authority
- CN
- China
- Prior art keywords
- human body
- angle
- depth image
- point
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 230000005484 gravity Effects 0.000 claims abstract description 89
- 230000008859 change Effects 0.000 claims abstract description 67
- 210000000323 shoulder joint Anatomy 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 26
- 210000003108 foot joint Anatomy 0.000 claims description 19
- 210000000988 bone and bone Anatomy 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 6
- 230000006399 behavior Effects 0.000 description 34
- 238000012544 monitoring process Methods 0.000 description 12
- 230000009471 action Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于Kinect深度图像的人体摔倒检测方法和装置，该方法包括：分析Kinect摄像头拍摄的视频的每一帧深度图像，确定当前深度图像中的人体的骨骼中心点、肩关节中心点和腰部中心点；计算所述当前深度图像中的所述人体的上身躯干中心线与重力线构成的夹角的角度，以得到所述人体的当前重力角的角度，所述上身躯干中心线为所述人体的骨骼中心点和肩关节中心点的连线；当所述当前重力角的角度大于阈值角度时，在预设时间段内，计算每一时间点的所述重力角的变化率和质心高度的变化率，所述质心高度为所述腰部中心点与参考面或参考点的距离；当任意一时间点的所述重力角的变化率大于第一预设值，且所述质心高度的变化率大于第二预设值时确定所述人体摔倒。
Description
技术领域
本发明涉及人体摔倒检测领域，特别是涉及一种基于Kinect深度图像的人体摔倒检测方法及装置。
背景技术
人体摔倒检测方法广泛应用于家庭中对老人、小孩的监控和医院中对病患的监控，主要通过外部设备自动监控人体的活动，以检测人体意外摔倒事件。快速有效地发现摔倒行为可使摔倒人及时得到救助，缩短获助等待时间，将摔倒风险降到最低。
现有摔倒检测核心算法可分为三类：一是通过可穿戴设备对检测人质心高度进行监控，并以可穿戴设备返回的实时监控数据对摔倒进行判断；二是通过环境传感器对声音、地板震动、光流等信息进行分析以达到摔倒检测的目的；三是通过监控摄像头，对监控视频进行实时分析，实现摔倒行为的判别和报警。由于可穿戴设备易损坏、舒适度低，且环境数据分析法误报率高等因素，基于监控视频分析的检测算法已成为摔倒检测的主流方向。
Kinect比一般的摄像头更为智能，首先，它能够发射红外线，从而对整个房间进行立体定位，Kinect摄像头则可以借助红外线来识别人体的运动，对人体的骨骼点进行实时追踪。目前基于Kinect摄像头，通过分析深度图像，判断摔倒行为的方法分析过程复杂、计算量大，且不能有效区分“类似摔倒”行为，如：躺下、快速蹲下、弯腰等而导致误报。
发明内容
鉴于上述状况，有必要针对现有技术中摔倒行为检测方法计算量大和误报率高的问题，提供一种基于Kinect深度图像的人体摔倒检测方法及装置。
本发明提供了一种基于Kinect深度图像的人体摔倒检测方法，包括
分析Kinect摄像头拍摄的视频的每一帧深度图像，确定当前深度图像中的人体的骨骼中心点、肩关节中心点和腰部中心点；
计算所述当前深度图像中的人体的当前重力角的角度，所述当前重力角为所述当前深度图像中人体的上身躯干中心线与重力线构成的夹角，所述上身躯干中心线为所述当前深度图像中人体的骨骼中心点和肩关节中心点的连线；
当所述当前重力角的角度大于阈值角度时，在预设时间段内，计算每一时间点的所述重力角的变化率和质心高度的变化率，所述质心高度为所述腰部中心点与参考面或参考点的距离；
当任意一时间点的所述重力角的变化率大于第一预设值，且所述质心高度的变化率大于第二预设值时确定所述人体摔倒。
上述人体摔倒检测方法，其中，所述计算所述当前深度图像中的人体的当前重力角的角度的步骤包括：
在Kinect深度摄像头所创建的三维空间坐标系中构建所述当前深度图像中从所述骨骼中心点至所述肩关节中心点的第一向量；
以所述人体的骨骼中心点为坐标原点建立二维坐标系，并构建从所述二维坐标系中的Y轴上任意一点至所述人体骨骼中心点的第二向量；
计算所述第一向量和第二向量的夹角的角度，以得到所述当前深度图像中人体的当前重力角的角度。
上述人体摔倒检测方法，其中，当检测到地面时，所述计算每一时间点的质心高度的变化率的步骤包括：
计算质心至所述地面的距离的变化率；
当无法检测到地平面时，所述计算每一时间点的质心高度的变化率的步骤包括：
计算所述质心至所述人体的右脚关节点或左脚关节点的距离的变化率。
上述人体摔倒检测方法，其中，所述确定当前深度图像中的人体的骨骼中心点、肩关节中心点和腰部中心点的步骤包括：
对所述视频中每一帧深度图像中进行人体骨架模型匹配，追踪所述深度图像的人体的20个骨架关节点；
确定当前深度图像中的人体的骨骼中心点、肩关节中心点和腰部中心点。
上述人体摔倒检测方法，其中，所述阈值角度为13°。
上述人体摔倒检测方法，其中，所述预设时间段为1s，所述第一预设值为0.12°/ms，第二预设值为1.21m/s。
本发明还提供了一种基于Kinect深度图像的人体摔倒检测装置，包括：
分析模块，用于分析Kinect摄像头拍摄的视频的每一帧深度图像，确定当前深度图像中的人体的骨骼中心点、肩关节中心点和腰部中心点；
第一计算模块，用于计算所述当前深度图像中的人体的当前重力角的角度，所述当前重力角为所述当前深度图像中人体的上身躯干中心线与重力线构成的夹角，所述上身躯干中心线为所述当前深度图像中人体的骨骼中心点和肩关节中心点的连线；
第二计算模块，用于当所述当前重力角的角度大于阈值角度时，在预设时间段内，计算每一时间点的所述重力角的变化率和质心高度的变化率，所述质心高度为所述腰部中心点与参考面或参考点的距离；
确定模块，用于当任意一时间点的所述重力角的变化率大于第一预设值，且所述质心高度的变化率大于第二预设值时确定所述人体摔倒。
上述人体摔倒检测装置，其中，所述第一计算模块包括：
第一向量构建模块，用于在Kinect深度摄像头所创建的三维空间坐标系中构建所述当前深度图像中从所述骨骼中心点至所述肩关节中心点的第一向量；
第二向量构建模块，用于以所述人体的骨骼中心点为坐标原点建立二维坐标系，并构建从所述二维坐标系中的Y轴上任意一点至所述人体骨骼中心点的第二向量；
第一计算子模块，用于计算所述第一向量和第二向量的夹角的角度，以得到所述当前深度图像中人体的当前重力角的角度。
上述人体摔倒检测装置，其中，所述第二计算模块包括质心高度变化率计算模块，用于：
当检测到地面时，计算质心至所述地面的距离的变化率；
当无法检测到地平面时，计算所述质心至所述人体的右脚关节点或左脚关节点的距离的变化率。
上述人体摔倒检测装置，其中，所述分析模块具体用于：
对所述视频中每一帧深度图像中进行人体骨架模型匹配，追踪所述深度图像的人体的20个骨架关节点；
确定当前深度图像中的人体的骨骼中心点、肩关节中心点和腰部中心点。
上述人体摔倒检测装置，其中，所述阈值角度为13°。
本发明实施例通过Kinect摄像头获取深度图像，追踪人体的骨骼中心点、肩关节中心点和腰部中心点，提取出一种全新的摔倒特征“重力角”，并首次使用于摔倒行为检测。通过“重力角”特征计算能够对摔倒行为进行有效检测，且与质心高度变化率结合后，能够高效区分摔倒行为与类似摔倒行为，具有计算量小、准确性高的特点，可以在老年人居家监控、异常行为检测等应用中得到更好推广和实施。
附图说明
图1为本发明第一实施例提供的基于Kinect深度图像的人体摔倒检测方法的流程图；
图2为Kinect深度摄像头所创建的三维空间；
图3为人体骨骼点的结构示意图；
图4a为站立行为下深度图像中的上身躯干中心线与重力线的夹角示意图
图4b为行走时深度图像中的上身躯干中心线与重力线的夹角示意图；
图4c为坐下时深度图像中的上身躯干中心线与重力线的夹角示意图；
图5为一段时间内摔倒、弯腰、行走三种不同行为下重力角的变化曲线示意图；
图6为本发明第二实施例提供的基于Kinect深度图像的人体摔倒检测方法的流程图；
图7a为Kinect深度摄像头拍摄的摔倒行为视频中的一帧深度图像；
图7b表示的是图7a中上身躯干中心线在三维空间中的位置示意图；
图7c为构建的二维平面坐标系下上身躯干中心线的位置示意图；
图8a为Kinect深度摄像头拍摄的前摔行为视频中的一帧深度图像；
图8b为前摔行为视频中重力角的变化曲线图；
图8c为前摔行为视频中质心高度的变化曲线图；
图9a为Kinect深度摄像头拍摄的后摔行为视频中的一帧深度图像；
图9b为后摔行为视频中重力角的变化曲线图；
图9c为后摔行为视频中质心高度的变化曲线图；
图10a为Kinect深度摄像头拍摄的左摔行为视频中的一帧深度图像；
图10b为左摔行为视频中重力角的变化曲线图；
图10c为左摔行为视频中质心高度的变化曲线图；
图11a为Kinect深度摄像头拍摄的右摔行为视频中的一帧深度图像；
图11b为右摔行为视频中重力角的变化曲线图；
图11c为右摔行为视频中质心高度的变化曲线图；
图12为本发明第三实施例提供的基于Kinect深度图像的人体摔倒检测装置的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1，为发明第一实施例中的基于Kinect深度图像的人体摔倒检测方法，包括步骤S11～S14。
步骤S11，分析Kinect摄像头拍摄的视频的每一帧深度图像，确定当前深度图像中的人体的骨骼中心点、肩关节中心点和腰部中心点。
本发明通过Kinect深度摄像头，对进入监控环境进行监控与分析。Kinect深度摄像头应安装在距离监控环境中的地面为1.5～1.7米高度的位置，并以能够检测到地面为佳，且其拍摄范围可覆盖整个检测环境。
对Kinect深度摄像头拍摄的视频中每一帧深度图像中进行人体骨架模型匹配，追踪所述深度图像的人体的20个骨架关节点，并确定当前深度图像中的人体的骨骼中心点、肩关节中心点和腰部中心点。图2为Kinect深度摄像头所创建的三维空间，并可通过KinectSDK跟踪并计算出人体20个骨骼点，如图3所示，其中A、B、C分别为人体的骨骼中心点(hipcenter)、肩关节中心点(shoulder center)和腰部中心点(spin center)。
步骤S12，计算所述当前深度图像中人体的当前重力角的角度。
所述当前重力角为所述当前深度图像中的人体的上身躯干中心线与重力线构成的夹角。所述上身躯干中心线为所述人体的骨骼中心点和肩关节中心点的连线，重力线是重力的作用线，是自重心垂直于地面的线。由上身躯干中心线与重力线构成的夹角，本发明定义为“重力角”。如图4a～4c所示，在日常正常行为中，如：站、行走、坐，上身躯干中心线与重力线几乎是保持平衡或仅有很小夹角。当人失去平衡摔倒时，重力角将在短时间内激增。图5记录了一段时间内摔倒、弯腰、行走三种不同行为下重力角的变化曲线，从图5中可知，人体摔倒时，30帧～35帧之间，重力角急剧增大，而弯腰、行走时重力角的变化不明显。
步骤S13，当所述当前重力角的角度大于阈值角度时，在预设时间段内，计算每一时间点的所述重力角的变化率和质心高度的变化率。
腰部中心点作为人体的质心，所述质心高度为所述腰部中心点与参考面或参考点的距离，参考面例如为Kinect摄像头拍摄范围内的地面，参考点例如为人体的右脚关节点或左脚关节点。
根据经典物理学理论，在无外力作用情况下，物体受重力影响可保持平衡的最大角度称为自锁角，当自锁角>13°时，物体将失去平衡。本实施例中，阈值角度设置为13°，当人体的重力角大于13°时，将失去平衡摔倒。当当前重力角大于13度时，在预设时间段，例如1000ms内，监测重力角和质心高度的变化，计算每一时间点的所述重力角的变化率和质心高度的变化率。重力角的变化率的计算公式为：
质心高度的变化率的计算公式为：
步骤S14，当任意一时间点的所述重力角的变化率大于第一预设值，且所述质心高度的变化率大于第二预设值时确定所述人体摔倒。
上述步骤中，第一预设值和第二预设值根据试验得到的最佳试验阈值，分别为0.12°/ms和1.21m/s。
本实施例通过Kinect摄像头获取深度图像，追踪人体的骨骼中心点、肩关节中心点和腰部中心点，提取出一种全新的摔倒特征“重力角”，并首次使用于摔倒行为检测。重力角特征标识性强、区分度高、计算量低，能够对摔倒行为进行有效检测，与质心高度变化率结合后，还能够高效区分摔倒行为与类似摔倒行为，如：躺下、快速蹲下、弯腰等传统算法难以区分的行为。同时，深度图像本身特点，还可从根本上实现受监督者隐私保护。因此，本实施例中的基于Kinect深度图像的人体摔倒检测方法成本低、效率高，可以在老年人居家监控、异常行为检测等应用中得到更好推广和实施。
请参阅图6，为本发明第二实施例中的基于Kinect深度图像的人体摔倒检测方法，包括步骤S21～S26。
步骤S21，分析Kinect摄像头拍摄的视频的每一帧深度图像，确定当前深度图像中的人体的骨骼中心点、肩关节中心点和腰部中心点。
步骤S22，在Kinect深度摄像头所创建的三维空间坐标系中构建所述当前深度图像中从所述骨骼中心点至所述肩关节中心点的第一向量。
Kinect摄像头对整个检测环境内部的物体进行扫描，借助人体体型检测算法对检测环境内的类人物体进行持续拍摄和追踪，分析出人体骨架模型以及20个关节点，并提供人体骨架模型数据。在获取检测环境内人体骨架模型数据后，通过Kinect SDK对获取的人体骨架模型进行建模及运算，获取检测环境下人体骨骼中心点和腰部中心点在Kinect深度摄像头所创建的三维空间坐标系中的三维坐标，连接骨骼中心点和腰部中心点的坐标形成第一向量。
步骤S23，以所述人体的骨骼中心点为坐标原点建立二维坐标系，并构建从所述二维坐标系中的Y轴上任意一点至所述人体骨骼中心点的第二向量。
步骤S24，计算所述第一向量和第二向量的夹角的角度，以得到所述当前深度图像中人体的当前重力角的角度。
Kinect采集的深度图像实际包含的数据中包含三维坐标信息。因此，可以理解为图片中的每一个像素都由{x，y，z}三轴信息组成。图7b表示的是图7a上身躯干中心线在三维空间中的位置，如图7b所示，从骨骼中心点PC至所述肩关节中心点PH的第一向量
为：
本实施例中，为减轻计算复杂度，实现实时计算实时判别，在本方法步骤中可只考虑骨骼中心点与肩关节中心点两个关节点，根据向量的可平移特性，可将骨骼中心点移至坐标原点，并以此构建二维平面，如图7(c)所示。此时，y坐标轴即可理解为重力线。Y轴上任意一点与骨骼中心点构成第二向量
可表示为：
由此，根据余弦定理，可计算重力角a具体数值，计算公式如下：
步骤S25，当所述当前重力角的角度大于阈值角度时，在预设时间段内，计算每一时间点的所述重力角的变化率和质心高度的变化率。
上述步骤中，当检测到地面时，所述计算每一时间点的质心高度的变化率的步骤包括：计算质心至所述地面的距离的变化率。所述质心高度的计算公式为：
当无法检测到地平面时，所述计算每一时间点的质心高度的变化率的步骤包括：
确定所述当前深度图像中的人体的右脚关节点或左脚关节点；
计算所述质心至所述人体的右脚关节点或左脚关节点的距离的变化率。所述质心高度的计算公式为：
本实施例中，在计算质心高度之前，需要判断地面所在位置，通过KinectSDK所提供方设法，可由如下公式获取地平面纠偏参数：
Ax+By+Cz+D＝0
其中，{X,Y,Z}为拍摄环境中地面任意一位置的坐标，A，B，C，D地平面纠偏参数。但是，如果当摄像头安装过高，无法正常检测到地平面时，系统将默认设置A、B、C、D参数均为0。这无疑将给摔倒检测算法的准确率带来严重影响。故，本实施例中，对系统默认算法进行了修改，在能够获取到地平面参数时，利用地平面参数进行质心高度估计，在无法获取地平面参数时，通过被监控人的右脚关节点或左脚关节点的坐标为基准点，计算质心高度。
步骤S26，当任意一时间点的所述重力角的变化率大于第一预设值，且所述质心高度的变化率大于第二预设值时确定所述人体摔倒。当确定人体摔倒后可进行报警或向向监护人发送报警信息，防止发生意外。
如下表1所示，为本实施例通过分析Kinect深度图像，对前摔、后摔、左摔、右摔行为的检测中，摔倒发现时间的检测。
表1.摔倒发现时间
从表1还可看出，本实施例在摔倒过程中即可判断摔倒是否发生，计算方法效率高，可实现实时对摔倒行为进行检测。
请参阅图8a～11c为本实施例对前摔、后摔、左摔、右摔行为下重力角和质心高度的检测，检测结果表明，各种摔倒检测数据曲线趋同性强，即：重力角瞬间增大；质心高度瞬间变小，算法稳定，鲁棒性强。
如表2所示，为本实施例中的基于Kinect深度图像的人体摔倒检测方法与现有技术中对摔倒行为识别率和检测误报率的对比结果。
表.2.本实施例人体摔倒检测方法与现有算法的对比
表2是实施例中的检测方法与现有主流算法即宽高比算法、椭圆形态分析法、可穿戴算法的多维度比较。本实施例中的检测方法无论在正确识别率，还是行为区分上均强于目前三种主流识别算法。
请参阅图12，为本发明第三实施例中的基于Kinect深度图像的人体摔倒检测装置，包括：
分析模块100，用于分析Kinect摄像头拍摄的视频的每一帧深度图像，确定当前深度图像中的人体的骨骼中心点、肩关节中心点和腰部中心点；
第一计算模块200，用于计算所述当前深度图像中的人体的当前重力角的角度，所述当前重力角为所述当前深度图像中人体的上身躯干中心线与重力线构成的夹角，所述上身躯干中心线为所述当前深度图像中人体的骨骼中心点和肩关节中心点的连线；
第二计算模块300，用于当所述当前重力角的角度大于阈值角度时，在预设时间段内，计算每一时间点的所述重力角的变化率和质心高度的变化率，所述质心高度为所述腰部中心点与参考面或参考点的距离；
确定模块400，用于当任意一时间点的所述重力角的变化率大于第一预设值，且所述质心高度的变化率大于第二预设值时确定所述人体摔倒。
进一步的，所述第一计算模块包括：
第一向量构建模块，用于在Kinect深度摄像头所创建的三维空间坐标系中构建所述当前深度图像中从所述骨骼中心点至所述肩关节中心点的第一向量；
第二向量构建模块，用于以所述人体的骨骼中心点为坐标原点建立二维坐标系，并构建从所述二维坐标系中的Y轴上任意一点至所述人体骨骼中心点的第二向量；
第一计算子模块，用于计算所述第一向量和第二向量的夹角的角度，以得到所述当前深度图像中人体的当前重力角的角度。
进一步的，所述第二计算模块包括质心高度变化率计算模块，用于：
当检测到地面时，计算质心至所述地面的距离的变化率；
当无法检测到地平面时，计算所述质心至所述人体的右脚关节点或左脚关节点的距离的变化率。
进一步的，所述分析模块具体用于：
对所述视频中每一帧深度图像中进行人体骨架模型匹配，追踪所述深度图像的人体的20个骨架关节点；
确定当前深度图像中的人体的骨骼中心点、肩关节中心点和腰部中心点。
进一步的，所述阈值角度为13°。
本实施例的装置，可以用于执行图1至图2任一所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于Kinect深度图像的人体摔倒检测方法，其特征在于，包括
分析Kinect摄像头拍摄的视频的每一帧深度图像，确定当前深度图像中的人体的骨骼中心点、肩关节中心点和腰部中心点；
计算所述当前深度图像中的人体的当前重力角的角度，所述当前重力角为所述当前深度图像中人体的上身躯干中心线与重力线构成的夹角，所述上身躯干中心线为所述当前深度图像中人体的骨骼中心点和肩关节中心点的连线；
当所述当前重力角的角度大于阈值角度时，在预设时间段内，计算每一时间点的所述重力角的变化率和质心高度的变化率，所述质心高度为所述腰部中心点与参考面或参考点的距离，其中，所述阈值角度为人体的自锁角，即在无外力作用情况下，人体受重力影响可保持平衡的最大角度；
当任意一时间点的所述重力角的变化率大于第一预设值，且所述质心高度的变化率大于第二预设值时确定所述人体摔倒；其中，
所述计算所述当前深度图像中的人体的当前重力角的角度的步骤包括：
在Kinect深度摄像头所创建的三维空间坐标系中构建所述当前深度图像中从所述骨骼中心点至所述肩关节中心点的第一向量；
以所述人体的骨骼中心点为坐标原点建立二维坐标系，并构建从所述二维坐标系中的Y轴上任意一点至所述人体骨骼中心点的第二向量；
计算所述第一向量和第二向量的夹角的角度，以得到所述当前深度图像中人体的当前重力角的角度。
2.如权利要求1所述的人体摔倒检测方法，其特征在于，当检测到地面时，所述计算每一时间点的质心高度的变化率的步骤包括：
计算质心至所述地面的距离的变化率；
当无法检测到地平面时，所述计算每一时间点的质心高度的变化率的步骤包括：
计算所述质心至所述人体的右脚关节点或左脚关节点的距离的变化率。
3.如权利要求1所述的人体摔倒检测方法，其特征在于，所述确定当前深度图像中的人体的骨骼中心点、肩关节中心点和腰部中心点的步骤包括：
对所述视频中每一帧深度图像中进行人体骨架模型匹配，追踪所述深度图像的人体的20个骨架关节点；
确定当前深度图像中的人体的骨骼中心点、肩关节中心点和腰部中心点。
4.如权利要求1所述的人体摔倒检测方法，其特征在于，所述阈值角度为13°。
5.如权利要求1所述的人体摔倒检测方法，其特征在于，所述预设时间段为1s，所述第一预设值为0.12°/ms，第二预设值为1.21m/s。
6.一种基于Kinect深度图像的人体摔倒检测装置，其特征在于，包括：
分析模块，用于分析Kinect摄像头拍摄的视频的每一帧深度图像，确定当前深度图像中的人体的骨骼中心点、肩关节中心点和腰部中心点；
第一计算模块，用于计算所述当前深度图像中的人体的当前重力角的角度，所述当前重力角为所述当前深度图像中人体的上身躯干中心线与重力线构成的夹角，所述上身躯干中心线为所述当前深度图像中人体的骨骼中心点和肩关节中心点的连线；
第二计算模块，用于当所述当前重力角的角度大于阈值角度时，在预设时间段内，计算每一时间点的所述重力角的变化率和质心高度的变化率，所述质心高度为所述腰部中心点与参考面或参考点的距离；
确定模块，用于当任意一时间点的所述重力角的变化率大于第一预设值，且所述质心高度的变化率大于第二预设值时确定所述人体摔倒；
所述第一计算模块包括：
第一向量构建模块，用于在Kinect深度摄像头所创建的三维空间坐标系中构建所述当前深度图像中从所述骨骼中心点至所述肩关节中心点的第一向量；
第二向量构建模块，用于以所述人体的骨骼中心点为坐标原点建立二维坐标系，并构建从所述二维坐标系中的Y轴上任意一点至所述人体骨骼中心点的第二向量；
第一计算子模块，用于计算所述第一向量和第二向量的夹角的角度，以得到所述当前深度图像中人体的当前重力角的角度。
7.如权利要求6所述的人体摔倒检测装置，其特征在于，所述第二计算模块包括质心高度变化率计算模块，用于：
当检测到地面时，计算质心至所述地面的距离的变化率；
当无法检测到地平面时，计算所述质心至所述人体的右脚关节点或左脚关节点的距离的变化率。
8.如权利要求6所述的人体摔倒检测装置，其特征在于，所述分析模块具体用于：
对所述视频中每一帧深度图像中进行人体骨架模型匹配，追踪所述深度图像的人体的20个骨架关节点；
确定当前深度图像中的人体的骨骼中心点、肩关节中心点和腰部中心点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710433311.0A CN107194967B (zh) | 2017-06-09 | 2017-06-09 | 基于Kinect深度图像的人体摔倒检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710433311.0A CN107194967B (zh) | 2017-06-09 | 2017-06-09 | 基于Kinect深度图像的人体摔倒检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107194967A CN107194967A (zh) | 2017-09-22 |
| CN107194967B true CN107194967B (zh) | 2021-04-06 |
Family
ID=59877977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710433311.0A Expired - Fee Related CN107194967B (zh) | 2017-06-09 | 2017-06-09 | 基于Kinect深度图像的人体摔倒检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107194967B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108629300B (zh) * | 2018-04-24 | 2022-01-28 | 北京科技大学 | 一种跌倒检测方法 |
| CN108803341A (zh) * | 2018-06-29 | 2018-11-13 | 炬大科技有限公司 | 一种基于扫地机器人的家庭安保监测系统及方法 |
| CN108965850B (zh) * | 2018-07-05 | 2020-04-07 | 盎锐（上海）信息科技有限公司 | 人体形态的采集装置及方法 |
| CN109543517A (zh) * | 2018-10-16 | 2019-03-29 | 华南理工大学 | 一种计算机视觉人工智能应用方法及系统 |
| US10351392B1 (en) * | 2018-10-23 | 2019-07-16 | Otis Elevator Company | Escalator and moving walkway system with safety sensor |
| CN109635783B (zh) * | 2019-01-02 | 2023-06-20 | 上海数迹智能科技有限公司 | 视频监控方法、装置、终端和介质 |
| CN111428540A (zh) * | 2019-01-10 | 2020-07-17 | 北京京东尚科信息技术有限公司 | 输出信息的方法和装置 |
| CN109993063A (zh) * | 2019-03-05 | 2019-07-09 | 福建天晴数码有限公司 | 一种识别待救援人员的方法及终端 |
| CN109919132B (zh) * | 2019-03-22 | 2021-04-23 | 广东省智能制造研究所 | 一种基于骨架检测的行人跌倒识别方法 |
| CN110287825B (zh) * | 2019-06-11 | 2022-12-02 | 沈阳航空航天大学 | 一种基于关键骨骼点轨迹分析的摔倒动作检测方法 |
| CN110598536A (zh) * | 2019-07-31 | 2019-12-20 | 杭州连帆科技有限公司 | 一种基于人体骨架运动模型的跌倒检测方法及系统 |
| CN110543861A (zh) * | 2019-09-05 | 2019-12-06 | 深圳前海达闼云端智能科技有限公司 | 一种预警方法、服务器及预警系统 |
| CN112381002B (zh) * | 2020-11-16 | 2023-08-15 | 深圳技术大学 | 人体风险姿态识别方法及系统 |
| CN112766168B (zh) * | 2021-01-20 | 2024-06-28 | 北京韵洋科技有限公司 | 一种人员摔倒检测方法、装置及电子设备 |
| KR102558054B1 (ko) * | 2021-01-22 | 2023-07-19 | 동의대학교 산학협력단 | 딥러닝 모델을 이용한 낙상 상황 검출 방법 및 장치 |
| CN112818929B (zh) * | 2021-02-26 | 2023-04-18 | 济南博观智能科技有限公司 | 一种人员斗殴检测方法、装置、电子设备及存储介质 |
| CN114495285B (zh) * | 2022-04-18 | 2022-07-12 | 江西科技学院 | 复杂行为识别方法、系统、计算机设备及可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2889805A2 (en) * | 2013-12-31 | 2015-07-01 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for emotion and behavior recognition |
| US9600993B2 (en) * | 2014-01-27 | 2017-03-21 | Atlas5D, Inc. | Method and system for behavior detection |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9597016B2 (en) * | 2012-04-27 | 2017-03-21 | The Curators Of The University Of Missouri | Activity analysis, fall detection and risk assessment systems and methods |
| CN104361321B (zh) * | 2014-11-13 | 2018-02-09 | 侯振杰 | 一种判断老年人摔倒行为及身体平衡能力的方法 |
| CN104598896B (zh) * | 2015-02-12 | 2017-09-05 | 南通大学 | 基于Kinect骨架追踪的人体摔倒自动检测方法 |
| CN106778481A (zh) * | 2016-11-15 | 2017-05-31 | 上海百芝龙网络科技有限公司 | 一种人体状况监测方法 |
-
2017
- 2017-06-09 CN CN201710433311.0A patent/CN107194967B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2889805A2 (en) * | 2013-12-31 | 2015-07-01 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for emotion and behavior recognition |
| US9600993B2 (en) * | 2014-01-27 | 2017-03-21 | Atlas5D, Inc. | Method and system for behavior detection |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107194967A (zh) | 2017-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107194967B (zh) | 基于Kinect深度图像的人体摔倒检测方法及装置 | |
| Auvinet et al. | Multiple cameras fall dataset | |
| Pansiot et al. | Ambient and wearable sensor fusion for activity recognition in healthcare monitoring systems | |
| Dikovski et al. | Evaluation of different feature sets for gait recognition using skeletal data from Kinect | |
| Zhang et al. | Evaluating depth-based computer vision methods for fall detection under occlusions | |
| Yun et al. | Human fall detection in videos by fusing statistical features of shape and motion dynamics on Riemannian manifolds | |
| Amini et al. | A comparison between heuristic and machine learning techniques in fall detection using Kinect v2 | |
| Kottari et al. | Real-time fall detection using uncalibrated fisheye cameras | |
| SG188111A1 (en) | Condition detection methods and condition detection devices | |
| Rougier et al. | Video surveillance for fall detection | |
| Stone et al. | Silhouette classification using pixel and voxel features for improved elder monitoring in dynamic environments | |
| JP7173341B2 (ja) | 人物状態検出装置、人物状態検出方法及びプログラム | |
| Soni et al. | Automated fall detection from a camera using support vector machine | |
| Liu et al. | Human body fall detection based on the Kinect sensor | |
| Kepski et al. | Unobtrusive fall detection at home using kinect sensor | |
| Rastogi et al. | Human fall detection and activity monitoring: a comparative analysis of vision-based methods for classification and detection techniques | |
| Kepski et al. | Human fall detection using Kinect sensor | |
| Nguyen et al. | Extracting silhouette-based characteristics for human gait analysis using one camera | |
| KR101394274B1 (ko) | 뎁스 정보 분석을 통한 신체 검출 방법 및 사용자 신체 검출을 위한 뎁스 정보 분석 장치 | |
| Zhang et al. | An automatic human fall detection approach using RGBD cameras | |
| Flores-Barranco et al. | Accidental fall detection based on skeleton joint correlation and activity boundary | |
| Yuan et al. | Fall detection and direction judgment based on posture estimation | |
| Kwolek et al. | Fall detection using kinect sensor and fall energy image | |
| Nehra et al. | Unobtrusive and non-invasive human activity recognition using Kinect sensor | |
| JP7396364B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210406 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |