CN105279483A - 一种基于深度图像的跌倒行为实时检测方法 - Google Patents

一种基于深度图像的跌倒行为实时检测方法 Download PDF

Info

Publication number
CN105279483A
CN105279483A CN201510628837.5A CN201510628837A CN105279483A CN 105279483 A CN105279483 A CN 105279483A CN 201510628837 A CN201510628837 A CN 201510628837A CN 105279483 A CN105279483 A CN 105279483A
Authority
CN
China
Prior art keywords
pixel
depth
human body
point
fall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510628837.5A
Other languages
English (en)
Other versions
CN105279483B (zh
Inventor
肖阳
赵峰
曹治国
陈希
邓春华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201510628837.5A priority Critical patent/CN105279483B/zh
Publication of CN105279483A publication Critical patent/CN105279483A/zh
Application granted granted Critical
Publication of CN105279483B publication Critical patent/CN105279483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system

Abstract

本发明公开了一种基于深度图像的跌倒行为实时检测方法,包括深度图像获取,人体图像识别,深度差分特征提取,人体部位解析,关节点提取,高度特征提取和跌倒检测步骤;基于深度图像,在识别出的人体图像上选择特定的深度差分特征,使用随机森林分类器对人体部位进行解析,将人体分为头部与躯干两个部位类型,随后检测关节点,然后提取高度特征向量,再通过支持向量机分类器检测对象是否处于跌倒状态的信息;本发明提供跌倒行为检测方法,提高了运算速度,实现了跌倒检测的实时性;并且利用深度图像进行跌倒检测;一方面不受光照影响,可全天候工作;另一方面,相比于彩色图像,可很好地保护个人隐私;其硬件支撑件仅需一个深度传感器,具有低成本的特点。

Description

一种基于深度图像的跌倒行为实时检测方法
技术领域
本发明属于数字图像识别技术领域,更具体地,涉及一种基于深度图像的跌倒行为实时检测方法。
背景技术
随着社会人口老龄化严重,老年人看护逐渐成为一个热点问题,而跌倒检测作为老年人看护的一个重要问题也逐渐被人们所关注。按照监测设备与选用特征的不同,目前的跌倒检测系统主要分为三大类别:基于环境监控的跌倒检测系统、基于穿戴设备的跌倒检测系统和基于视频图像的跌倒检测系统。
环境监控式系统对日常活动影响较小,但是传感器较多,成本较高;穿戴式设备的检测系统适用性广,计算量小,但需要用户时刻穿戴,长时间穿戴会对人体活动造成不适;视频监测系统具有精确度高,成本低的优点;目前基于视频图像的跌倒检测系统,是根据彩色图像进行检测,易受光照影响,全天候监控效果差,隐私保护性差;近几年逐渐出现基于深度图像的跌倒检测,深度图像可以有效解决易受光照影响的问题,但是目前的方法未能达到实时性要求。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于深度图像的跌倒行为实时检测方法,其目的在于通过对深度图像里人体部位解析,根据关节点的高度特征向量识别出跌倒行为,解决现有跌倒检测系统易受光照影响、隐私保护性和实时性差的问题。
为实现上述目的,按照本发明的一个方面,提供了一种基于深度图像的跌倒行为实时检测方法,包括以下步骤:
(1)深度图像获取;通过深度传感器获取室内场景的深度图像;深度图像具有光照不变性,可全天候进行检测;且在深度图像中不能辨别个体身份,可有效保护隐私;
(2)人体图像识别:对比前、后帧的深度图像,根据深度变化程度值找出深度变化明显的像素点,根据相邻相似原则获取属于人体的像素点;所有这些属于人体的像素点构成一个连通区域,即为识别出的人体图像;
(3)深度差分特征提取:提取人体图像中各像素点的八邻域差分特征,获取多维特征向量;根据像素点深度与该像素点的偏移位置深度获取像素点的深度差分特征 g ( s ) = d ( s ) - d ( s + v d ( s ) ) ;
其中,d(s)是图像在像素s点处的深度,v表示偏移向量,是对偏移向量进行深度不变性处理,是像素s点的偏移位置深度;
其中,八邻域差分特征是指分别向八个方向取八个像素点与样本点做差;每次做差选取不同偏移向量v,偏置向量v等差变化变换N次,构成N×8维特征向量;
(4)人体部位解析;根据步骤(3)获取的深度差分特征,对人体部位进行解析;
在部位解析前,构建人体模型,将人体分为头部和躯干两个类别;粗略分为两个部位而并不进一步细化为手臂、头部、胸部、腿部等更加具体的部位,可降低计算量,保证实时性;
采用随进森林分类器进行人体部位解析,判断出各像素所属的类别,即完成人体部位的解析;选择此分类器的原因在于:一方面它具有特征选择功能,自动选择分类效果最好的特征维度;另一方面,由于该分类器是多棵树并行预测,可以极大的提升分类速度,提高实时性;
(5)关节点提取:通过均值漂移算法确定头部与躯干的关节点位置;其中,关节点位置是某个部位像素密度最大的位置;其中,均值漂移算法是一种基于密度梯度上升的非参数方法,通过迭代运算找到目标位置;
(6)高度特征提取:获取到头部的关节点与躯干的关节点位置后,选取连续多帧头部关节点与地面的距离构成高度特征向量;高度特征是连续多帧的高度值组成的多维向量;
(7)跌倒检测:利用高度特征的训练样本离线训练跌倒分类器;采用训练好的跌倒分类器对上述高度特征向量进行分类检测,获取跌倒检测结果。
优选地,步骤(2)中的人体图像识别,具体包括如下子步骤;
(2.1)对深度图像进行中值滤波,消除未检测到深度的空洞点;
(2.2)根据相邻帧里同一位置深度变化程度k1,筛选出深度值明显变化的运动像素点;
其中,相邻帧同一位置深度变化程度d1(s)表示某一帧某位置像素点的深度,d2(s)表示其相邻帧同一位置像素点的深度;将k1>0.5的点判定为深度值变化明显的点,属于人体运动的像素点;
(2.3)在所述人体运动的像素点的邻域范围内,根据同一帧不同位置深度变化程度k2获取属于人体的像素点;
其中,同一帧不同位置深度变化程度其中,d(s1),d(s2)表示同一帧不同像素s1,s2的深度;将k2<0.1的像素点判定为属于人体的像素点;
(2.4)重复步骤(2.3),直至筛选出所述邻域范围全部满足符合k2<0.1的像素点;由筛选出来的相邻相似的像素点构成的连通区域,即为识别出的人体区域;
在初始确定人体图像后,对于后续进入的每一帧新的深度图,首先将其与其前一帧比较,若存在运动像素,则重复人体图像识别步骤;若不存在运动像素,则表明人体未运动,继续保留之前识别出的人体图像部分。
优选地,步骤(4)的人体部位解析包括如下子步骤:
(4.1)对分类器进行训练,获得具体的分类模型:获取至少1000张已经计算深度差分特征的深度图像,将其中的人体头部与躯干部位进行标记,获得每个像素点的所属类别c;结合该样本点的深度特征构成该点的样本信息将大量训练样本信息集合作为输入,训练随机森林,得到分类器模型;其中,随机森林是指包含多个决策树的分类器,其输出的类别是由个别树输出的类别的众数而定;
步骤(4.1)是离线步骤;在开始跌倒检测之前完成获取深度差分特征的训练样本和训练随机森林的步骤;可有效提高跌倒行为检测的实时性;
(4.2)采用训练完成的随机森林分类器进行人体部位的解析:输入各像素点的深度差分特征,对随机森林分类器中的每一棵树进行分类判断,每一棵树得到像素s所属类别的概率分布Pi(c|s),即像素s的最终类别概率分布:
P ( c | s ) = 1 N Σ i = 1 N P i ( c | s )
其中,N表示随机森林中决策树的数目,Pi(c|s)表示一棵决策树中像素s的所属类别概率分布;获取到像素s的所属类别概率分布后,选取概率值最大的类别作为像素s的类别;判断出像素所属类别,即完成人体部位的解析。
优选地,步骤(5)中提取步关节点的步骤包括如下子步骤:
(5.1)初始化中心像素点:将属于某部位的所有像素点的横坐标相加取平均作为中心像素点的横坐标,纵坐标相加取平均作为中心像素点的纵坐标,获得中心像素点的位置
(5.2)获取中心像素点的偏移量进入步骤(5.3);
其中是中心像素点在世界坐标系中的坐标,N是图像中人体部分的像素数量,wic是像素权重,是本类别像素点在世界坐标系中的坐标,bc是身体部位的宽度;系数wic如下:
wic=P(c|si)·d(si)2
其中,P(c|si)表示在像素上所属身体部位类的概率分布;d(si)2为像素点深度的平方,与该像素点在世界坐标系中的表面积具有正相关的关系,即一个像素点深度越大,则在世界坐标系中所占的面积越大;
(5.3)确定关节点位置:根据中心像素点的偏移量移动中心像素点,确定其新位置;进入步骤(5.2),再次获取偏移量,不断迭代,直至偏移量为0;偏移量为0的点的坐标即为该部位的关节点坐标
优选地,步骤(6)提取高度特征步骤,包括如下子步骤:
(6.1)地面识别:通过深度传感器获得室内场景的深度图像,确认其中属于地面的三个点(xi,yi,zi)(其中,i=1,2,3);地面描述如下:
A x i + B y i + C z i + D = 0 A 2 + B 2 + C 2 = 1
其中,xi,yi,zi是实际地面对应点坐标;A,B,C、D四个系数通过代入三个样本点(xi,yi,zi)的坐标联立方程求解获取;获取系数后确定地面的函数,完成地面识别;
步骤(6.1)是离线步骤;在开始跌倒检测之前,先获取一张深度图,人工选择其中属于地面的三个样本点(xi,yi,zi),从而确定地面;
(6.2)高度特征提取:选择连续多帧头部关节点高度,构成高度特征向量。
优选地,步骤(7)包括如下子步骤:
(7.1)获取高度特征的训练样本,包括高度特征的正样本和高度特征的负样本;
(7.2)训练跌倒分类器:采用上述高度特征的训练样本训练支持向量机分类器,获取该分类器的具体模型;
(7.3)跌倒检测:将步骤(6)所述的高度特征向量实时输入上述分类器的具体模型,由该分类器的具体模型初步判定是否跌倒;
(7.4)当步骤(7.3)中初步判定为跌倒时,检测躯干关节点与地面之间的距离,当所述距离在预设的时间段内持续不变,则确认为跌倒;若在预设的时间段内躯干关节点恢复正常高度,则判定为非跌倒。
优选地,上述步骤(7.1)和(7.2)是离线步骤;在投入跌倒检测之前,离线完成高度特征训练样本获取与支持向量机分类器的训练;再将训练好的跌倒分类器用于跌倒检测;可有效提高跌倒行为检测的实时性。
优选地,在上述步骤(7.4)中,当确认为跌倒时发出警报,判定为非跌倒时取消警报。
优选地,步骤(7.4)中,预设时间段长度为4s。
优选地,上述步骤(7.1)包括如下子步骤:
(7.1.1)正样本合成:跌倒过程中,头部运动高度h(t)的变化与自由落体的高度变化相似,
通过上式,给定时间t,获取对应的h(t)的值;根据以固定步长连续增加的t值,获取连续的h(t),也就是跌倒时连续多帧里人体头部的高度,构成高度特征正样本;
(7.1.2)负样本合成:以模拟行走、坐下动作时的高度特征作为负样本;将人体行走时头部的高度变化特征描述为:h(t)′=h0+ε;将人体坐下时头部的高度变化特征描述为:
根据以固定步长连续增加的t值,获取连续变化的h(t)′与h(t)″,构成高度特征负样本;
其中,ε是随机变量,加入该随机变量以增加h(t)的鲁棒性,使其更符合实际情况,afall是头部距离地面高度变化的加速度,asit是人体坐下动作的加速度,h(t)是随时间变化的头部高度,h0是跌倒前的高度,t0是跌倒动作起始时刻;
人体高度特征在跌倒时是持续变化的,不同的个体跌倒的加速度也具有差异,并且存在噪声;同样的,人体行走与坐下动作也因个体而异;故需要构造尽可能多的正样本与负样本,使得样本尽量覆盖所有跌倒的情况。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
(1)本发明提供的基于深度图像的跌倒行为实时检测方法,通过选择特定的深度差分特征、将人体简化为头部与躯干两个部位类型、使用随机森林分类器并行预测进行部位解析,提高了运算速度,提高了检测的实时性;
(2)本发明提供的基于深度图像的跌倒行为实时检测方法,利用深度信息进行跌倒检测;一方面不受光照影响,可全天候工作;另一方面,相比于彩色图像,可很好地保护个人隐私;
(3)本发明提供的基于深度图像的跌倒行为实时检测方法,其硬件支撑件仅需一个深度传感器,具有低成本的特点。
附图说明
图1是本发明提供的跌倒行为检测方法的流程示意图;
图2是人体深度图像;
图3是与图2对应的彩色图;
图4深度特征不变性示意图;
图5是八邻域差分特征;
图6是人体模型的各种姿态图;
图7是随机森林训练过程;
图8是随机森林中一棵随机决策树的分类过程;
图9是简单累加平均预测的关节点位置;
图10是均值漂移的关节点位置。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供的基于深度图像的跌倒行为实时检测方法,其流程如图1所示,包括深度图像获取,人体图像识别,深度差分特征提取,人体部位解析,关节点提取,高度特征提取和跌倒检测步骤;以下结合实施例来具体阐述本发明提供的这种跌倒行为实时检测方法。
实施例提供的基于深度图像的跌倒行为实时检测方法,具体步骤如下:
(1)深度图像获取
通过深度传感器获取人体深度图像,如图2所示;与图3所示的图像对比可以看出,在图2的深度图像中不能辨别个体身份,可有效保护隐私;另一方面,深度图像具有光照不变性,不受光线条件影响,可全天候进行检测;
(2)人体图像识别:根据前后帧的深度图像,找出深度变化明显的像素点;根据相邻相似原则获取属于人体的像素,这些像素构成一个连通区域,即为人体图像;具体包括如下子步骤;
(2.1)对深度图像进行中值滤波,去除未检测到深度的空洞点;
(2.2)根据前后帧的深度图像,获取深度明显变化的运动像素点;相邻帧同一位置深度变化程度
其中,d1(s),d2(s)表示同一位置像素点前后帧的深度;当k1>0.5,表明该点深度值变化明显,该点为运动人体的一部分;
(2.3)寻找相邻相似像素点:在已确定为人体运动的像素点邻域范围内,根据下式寻找属于人体的像素点;同一帧不同位置深度变化程度 k 2 = | d ( s 1 ) - d ( s 2 ) | m a x ( d ( s 1 ) , d ( s 2 ) ) ;
其中,d(s1),d(s2)分别表示同一帧不同像素s1,s2前后帧的深度,k2<0.1的像素点为属于人体的像素点;
重复步骤(2.3),直至筛选出所有相邻相似像素点邻域范围里全部满足符合k2<0.1的像素点;由筛选出来的相邻相似的像素点构成的连通区域,即为识别出的人体区域;
在初始确定人体图像后,对于后续进入的每一帧新的深度图,首先将其与其前一帧比较,若存在运动像素,则重复人体图像识别步骤;若不存在运动像素,则表明人体未运动,继续保留之前识别出的人体图像部分;
(3)深度差分特征提取:对人体图像的每个像素点提取八邻域差分特征,每一维深度差分特征的计算方法如下:
通过在该像素点取偏移向量v,获取偏移位置深度与该像素点深度的差值,该差值即为差分特征
其中,d(s)是图像在像素s处的深度,v表示偏移向量,是对偏移向量进行深度不变性处理;
如图4所示,是同一对象的同一姿态在距离相机不同距离时的深度图,若给定偏移向量而不进行深度归一化,则同一像素点本应相近的特征值将完全不同;而在进行深度归一化以后,偏移向量会根据深度值进行自动调整;
本实施例所提取特征为八邻域差分特征,如图5,即分别向八个方向取八个像素点与样本点做差值,选取不同偏移向量v;偏置向量v等差变化变换64次,构成64×8=512维特征向量,即
采用该深度差分特征可以覆盖全图,尽可能全面的提取每个特征点的有效信息,同时保证跌倒检测的实时性要求;
(4)人体部位解析:提取人体图像每个像素点的深度差分特征后,根据这些深度差分特征,对人体部位进行解析;
(4.1)构建人体模型,将人体分为头部和躯干两个部位类型;如图6所示,是人体模型的各种姿态图,在各姿态里,人体均被分为头部与躯干两个部位类型;
(4.2)采用随机森林分类器进行部位解析,具体包括以下步骤:
(4.2.1)分类器训练,获得具体的分类模型,训练过程如图7所示;
获取至少1000张已经计算深度差分特征的深度图像,将其中人体头部和躯干部位进行标记,获得每个像素点的所属类别c;结合该样本点的深度特征构成该点的样本信息
在给定的训练样本中,仅把属于人体部分的像素作为训练集合其中,像素点si的特征向量为所属类别为c;随机生成参数集合{(t)};t表示阈值;具体训练过程如下:
(4.2.1.1)数据输入:样本集合
(4.2.1.2.)初始化:使用标准随机决策树;实施例中,决策树最大深度为20,最小样本数100,一共4棵树;
(4.2.1.3)生成树:
a、根据初始化条件(4.2.1.2.),判断当前结点是否要继续增长:若决策树最大深度未到20,且节点的最小样本数未达到100,要继续增长则执行步骤b;否则执行步骤c;
b、生成分裂结点,根据熵最小原则从特征向量的所有维度中选择第j维特征作为判断条件,并生成阈值t;按照下式把当前结点分裂为左右子结点Qleft和Qright
s i &Element; Q l e f t , i f g i , j < t s i &Element; Q r i g h t , i f g i , j &GreaterEqual; t
c、生成最终的叶子结点,计算叶子节点中样本集合的所属类别概率分布情况P(c);
d、生成子节点Qleft和Qright后,对于各子节点,再进入从步骤a;
(4.2.2)分类器分类:如图8所示,是随机森林中一棵随机决策树的分类过程;输入每个待分类像素样本点的深度特征,在森林中的每一棵树进行分类判断,最后每一棵树都会得到像素s的所属类别的概率分布Pi(c|s);决策树对像素s分类的过程如下:
(4.2.1)从决策树的根结点输入待分类像素s;
(4.2.2)判断该节点中标志的是否为叶子节点,若为叶子节点,则输出该像素到达该叶子结点中的所属部位类别概率分布P(c|s),停止该决策树的预测过程;
(4.2.3)若为非叶子结点,根据其中的分类准则(该像素的深度差分特征的第j维),计算后与阈值t进行比较,根据下式判别准则把该像素划分到相应子节点;
s i &Element; Q l e f t , i f g i , j < t s i &Element; Q r i g h t , i f g i , j &GreaterEqual; t
(4.2.4)返回步骤(4.2.2);
通过每一个棵树的分类,获取待分类像素s在N棵树的分类结果,即所属类别的概率分布,即为像素s的最终类别概率分布:
P ( c | s ) = 1 N &Sigma; i = 1 N P i ( c | s )
其中,N表示随机森林中决策树的数目,Pi(c|s)表示一棵决策树中像素s的所属类别概率分布;
按照从像素s的所属类别概率分布中,选取概率值最大的类别作为像素s的类别,即像素s是属于头部还是躯干;判断出类别,完成人体部位的解析;
(5)关节点提取
人体部位解析完毕后,通过均值漂移算法确定头部和躯干的关节点位置,提取关节点的具体步骤如下:
(5.1)初始化中心像素点:通过对属于某个部位的所有像素点的横纵坐标分别相加取平均,如图9,获得中心像素点的位置
(5.2)获取中心像素点的偏移量:
f c ( x ^ ) = &Sigma; i = 1 N w i c exp ( - | | x ^ - x ^ i b c | | 2 )
其中是中心像素点在世界坐标系中的坐标,N是图像中人体部分的像素数量,wic是像素权重,是本类别像素点在世界坐标系中的坐标,bc是身体部位的宽度;系数wic如下:
wic=P(c|si)·d(si)2
式中,P(c|si)表示在像素上所属身体部位类的概率分布;d(si)2为像素点深度的平方,与该像素点在世界坐标系中的表面积具有正相关的关系,即一个像素点深度越大,则在世界坐标系中所占的面积越大。
(5.3)确定关节点位置:根据中心像素点的偏移量移动中心像素点,确定其新位置;根据步骤(5.2)再次获取偏移量,不断迭代,直至偏移量为0;如图10,偏移量为0的点的坐标即为该部位的关节点坐标
(6)高度特征提取:获得头部与躯干关节点位置后,选择连续多帧头部关节点与地面的距离构成高度特征向量,用于跌倒的判断;具体方法如下:
(6.1)地面识别与确定:在确定头部关节点高度之前,先识别地面,该过程是离线确认的过程;
通过深度传感器获得一张室内场景的深度图像,确认其中属于地面的三个点(xi,yi,zi)(其中,i=1,2,3);地面描述如下:
Axi+Byi+Czi+D=0
A2+B2+C2=1
其中,xi,yi,zi是实际地面对应点坐标,A,B,C和D四个系数通过代入三个样本点(xi,yi,zi)的坐标,联立方程求解获取;确定地面的函数表达式,完成地面识别;
(6.2)高度特征提取:选择连续多帧头部关节点高度,构成高度特征向量,用于跌倒的判断;
(7)跌倒检测:
(7.1)高度特征的训练样本合成:在确定高度特征后,合成用于跌倒分类器训练的高度特征样本;具体包括如下子步骤:
(7.1.1)正样本合成:采用自由落体模型描述跌倒过程中人体头部运动高度h(t)的变化特征,
根据以固定步长连续增加的t值,获取连续的h(t);获取10000个的跌倒的高度特征正样本;
(7.1.2)负样本合成:以模拟行走、坐下动作时的高度特征作为负样本,将人体行走时头部的高度变化特征描述为:h(t)′=h0+ε;将人体坐下时头部的高度变化特征描述为:
根据以固定步长连续增加的t值,获取连续变化的h(t)′与h(t)″;获取100000个的跌倒的高度特征副样本;
其中,afall是头部距离地面高度变化的加速度,asit是人体坐下动作的加速度,h(t)是随时间头部高度的变化,h0是跌倒前的高度;t0是跌倒动作起始时刻。
(7.2)训练跌倒分类器,将合成的高度特征样本输入支持向量机分类器,训练该分类器的具体模型;
(7.3)将步骤(6)所述的高度特征向量实时输入上述分类器的具体模型,由该分类器的具体模型初步判定是否跌倒;
(7.4)当步骤(7.3)中初步判定为跌倒时,检测躯干关节点与地面之间的距离,当所述距离在预设的时间段内持续不变,则确认为跌倒,发出警报;若在预设的时间段内躯干关节点恢复正常高度,则判定为非跌倒。
实施例里,使用训练得到的分类器模型对跌倒行为进行检测;当初步判定为跌倒时,持续检测躯干关节与地面的距离,当其与距离地面距离小于阈值ht=0.1m,且时间持续超过阈值t0=4s时,则确认为跌倒;
当初步判定为跌倒,但是躯干关节与距离地面距离小于ht=0.1m的时间未超过阈值t0=4s时,判定为非跌倒;以减小误判。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度图像的跌倒行为实时检测方法,其特征在于,包括以下步骤:
(1)通过深度传感器获取室内场景的深度图像;
(2)对比前、后帧的深度图像,根据深度变化程度值找出深度变化明显的像素点;根据相邻相似原则获取属于人体的像素点;所述属于人体的像素点构成一个连通区域,即为识别出的人体图像;
(3)提取人体图像中各像素点的八邻域差分特征,获取多维特征向量;根据像素点深度与该像素点的偏移位置深度获取像素点的深度差分特征
其中,d(s)是人体图像在像素s点处的深度,v指偏移向量,是像素s点的偏移位置深度;
(4)根据各像素点的深度差分特征,采用随机森林分类器进行人体部位解析,判断出各像素点所属的类别;
(5)通过均值漂移算法确定头部与躯干的关节点位置坐标;
(6)采用连续多帧的头部关节点与地面的距离构成高度特征向量;
(7)利用高度特征的训练样本离线训练跌倒分类器,采用训练好的跌倒分类器对所述高度特征向量进行分类检测,获取跌倒检测结果。
2.如权利要求1所述的跌倒行为实时检测方法,其特征在于,所述步骤(2)具体包括如下子步骤;
(2.1)对深度图像进行中值滤波,删除未检测到深度的空洞点;
(2.2)根据相邻帧里同一位置深度变化程度k1,筛选出深度值明显变化的运动像素点;
其中,相邻帧同一位置深度变化程度d1(s)表示某一帧某位置像素点的深度,d2(s)表示其相邻帧同一位置像素点的深度;将k1>0.5的点判定为深度值变化明显的点,属于人体运动的像素点;
(2.3)在所述人体运动的像素点的邻域范围内,根据同一帧不同位置深度变化程度k2获取属于人体的像素点;
其中,同一帧不同位置深度变化程度其中,d(s1),d(s2)表示同一帧不同像素s1,s2的深度;将k2<0.1的像素点判定为属于人体的像素点;
(2.4)重复步骤(2.3),直至筛选出所述邻域范围全部满足符合k2<0.1的像素点;由筛选出来的相邻相似的像素点构成的连通区域,即为识别出的人体区域。
3.如权利要求1所述的跌倒行为实时检测方法,其特征在于,所述步骤(4)包括如下子步骤:
(4.1)获取至少1000张已经计算出深度差分特征的深度图像,标记其中的人体头部与躯干部位,获得各像素点的所属类别c;结合样本点的深度特征构成样本点的样本信息将训练样本信息集合作为输入,训练随机森林,获取随机森林分类器模型;
(4.2)采用所述分类器模型进行人体部位的解析:输入各像素点的深度差分特征,对随机森林分类器模型中的每棵树进行分类判断,获取每棵树中像素s所属类别的概率分布
(4.3)选取概率值最大的类别作为像素s的类别;判断出像素所属类别,即完成人体部位的解析;
其中,N指随机森林中决策树的数目,Pi(c|s)指一棵决策树中像素s的所属类别概率分布。
4.如权利要求1所述的跌倒行为实时检测方法,其特征在于,所述步骤(5)包括如下子步骤:
(5.1)通过将属于某部位的所有像素点的横坐标相加取平均作为中心像素点的横坐标,纵坐标相加取平均作为中心像素点的纵坐标,获得中心像素点的位置
(5.2)获取中心像素点的偏移量进入步骤(5.3);
(5.3)根据中心像素点的偏移量移动中心像素点;
进入步骤(5.2),再次获取偏移量;不断迭代,直至偏移量为0;偏移量为0的点的坐标即为所述部位的关节点坐标
其中,N是深度图像中人体部分的像素数量,wic是像素权重,是本类别像素点在世界坐标系中的坐标,bc是身体部位的宽度;系数wic=P(c|si)·d(si)2;P(c|si)表示在像素上所属身体部位类的概率分布;d(si)2为像素点深度取平方。
5.如权利要求1所述的跌倒行为实时检测方法,其特征在于,所述步骤(6)包括如下子步骤:
(6.1)通过深度传感器获得室内场景的深度图像,将地面描述如下:
(6.2)根据步骤(6.1)获得的地面函数,采用连续多帧头部关节点高度与地面之间的距离构成高度特征向量;
其中,xi,yi,zi是实际地面对应点坐标;A,B,C、D四个系数通过代入三个样本点的坐标获取。
6.如权利要求1所述的跌倒行为实时检测方法,其特征在于,所述步骤(7)的具体包括如下子步骤:
(7.1)获取高度特征的训练样本,包括高度特征的正样本和高度特征的负样本;
(7.2)采用所述高度特征的训练样本训练支持向量机分类器,获取该分类器的具体模型;
(7.3)将步骤(6)所述的高度特征向量实时输入所述支持向量机分类器的具体模型,由所述支持向量机分类器的具体模型初步判定是否跌倒;
(7.4)当步骤(7.3)中初步判定为跌倒时,检测躯干关节点与地面之间的距离,当所述距离在预设的时间段内持续不变,则确认为跌倒;若在预设的时间段内躯干关节点恢复正常高度,则判定为非跌倒。
7.如权利要求6所述的跌倒行为实时检测方法,其特征在于,所述述步骤(7.1)和(7.2)是离线步骤:在开始跌倒检测之前,离线完成高度特征训练样本获取与支持向量机分类器的训练。
8.如权利要求6或7所述的跌倒行为实时检测方法,其特征在于,步骤(7.4)中所述预设时间段长度为4s。
9.如权利要求6或7所述的跌倒行为实时检测方法,其特征在于,步骤(7.4)中,当确认为跌倒时发出警报,判定为非跌倒时取消警报。
10.如权利要求6所述的跌倒行为实时检测方法,其特征在于,所述步骤(7.1)包括如下子步骤:
(7.1.1)采用自由落体模型描述跌倒过程中的头部运动高度h(t)的变化特征
根据以固定步长连续增加的t值,获取连续的h(t),由h(t)构成高度特征正样本;
(7.1.2)将人体行走时头部的高度变化特征描述为:h(t)′=h0+ε;将人体坐下时头部的高度变化特征描述为:
根据以固定步长连续增加的t值,获取连续变化的h(t)′与h(t)″;由h(t)′与h(t)″构成高度特征负样本;
其中,ε是随机变量,加入该随机变量以增加h(t)的鲁棒性,使其更符合实际情况,afall是头部距离地面高度变化的加速度,asit是人体坐下动作的加速度,h(t)是随时间变化的头部高度,h0是跌倒前的高度,t0是跌倒动作起始时刻。
CN201510628837.5A 2015-09-28 2015-09-28 一种基于深度图像的跌倒行为实时检测方法 Active CN105279483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510628837.5A CN105279483B (zh) 2015-09-28 2015-09-28 一种基于深度图像的跌倒行为实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510628837.5A CN105279483B (zh) 2015-09-28 2015-09-28 一种基于深度图像的跌倒行为实时检测方法

Publications (2)

Publication Number Publication Date
CN105279483A true CN105279483A (zh) 2016-01-27
CN105279483B CN105279483B (zh) 2018-08-21

Family

ID=55148467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510628837.5A Active CN105279483B (zh) 2015-09-28 2015-09-28 一种基于深度图像的跌倒行为实时检测方法

Country Status (1)

Country Link
CN (1) CN105279483B (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608479A (zh) * 2016-03-01 2016-05-25 北京正安维视科技股份有限公司 结合深度数据的异常行为检测方法及系统
CN105868707A (zh) * 2016-03-28 2016-08-17 华中科技大学 一种基于深度图像信息的坠床行为实时检测方法
CN106097352A (zh) * 2016-06-15 2016-11-09 深圳市易奉亲智慧养老科技有限公司 基于视频图像的人体定位方法及装置
CN106327484A (zh) * 2016-08-16 2017-01-11 苏州迪凯尔医疗科技有限公司 一种用于牙医操作姿势评估的方法
CN106407996A (zh) * 2016-06-30 2017-02-15 华南理工大学 一种基于机器学习的老人跌倒检测方法及其检测系统
CN106530616A (zh) * 2016-12-06 2017-03-22 上海斐讯数据通信技术有限公司 一种自动报警方法及系统
CN107016350A (zh) * 2017-04-26 2017-08-04 中科唯实科技(北京)有限公司 一种基于深度相机的老人跌倒检测方法
CN107045623A (zh) * 2016-12-30 2017-08-15 厦门瑞为信息技术有限公司 一种基于人体姿态跟踪分析的室内危险情况告警的方法
CN107103733A (zh) * 2017-07-06 2017-08-29 司马大大(北京)智能系统有限公司 一种摔倒报警方法、装置及设备
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法
CN107451524A (zh) * 2016-06-01 2017-12-08 丰田自动车株式会社 行为识别装置、学习装置、行为识别方法、学习方法及计算机可读的记录介质
CN107578036A (zh) * 2017-09-28 2018-01-12 南通大学 一种基于小波矩的深度图像跌倒识别算法
CN108375920A (zh) * 2018-02-28 2018-08-07 四川长虹电器股份有限公司 基于深度传感器的设备控制系统
CN108509938A (zh) * 2018-04-16 2018-09-07 重庆邮电大学 一种基于视频监控的跌倒检测方法
CN108629300A (zh) * 2018-04-24 2018-10-09 北京科技大学 一种跌倒检测方法
CN108805032A (zh) * 2018-05-17 2018-11-13 郑州大学 基于深度卷积网络的跌倒检测方法
CN109389041A (zh) * 2018-09-07 2019-02-26 南京航空航天大学 一种基于关节点特征的跌倒检测方法
CN109635846A (zh) * 2018-11-16 2019-04-16 哈尔滨工业大学(深圳) 一种多类医学图像判断方法和系统
CN109635783A (zh) * 2019-01-02 2019-04-16 上海数迹智能科技有限公司 视频监控方法、装置、终端和介质
CN109886102A (zh) * 2019-01-14 2019-06-14 华中科技大学 一种基于深度图像的跌倒行为时空域检测方法
CN109886101A (zh) * 2018-12-29 2019-06-14 江苏云天励飞技术有限公司 姿势识别方法及相关装置
CN110443150A (zh) * 2019-07-10 2019-11-12 思百达物联网科技(北京)有限公司 一种跌倒检测方法、装置、存储介质
CN110458061A (zh) * 2019-07-30 2019-11-15 四川工商学院 一种识别老年人跌倒的方法及陪伴机器人
CN110598606A (zh) * 2019-09-02 2019-12-20 南京邮电大学 一种具有视觉隐私保护优势的室内跌倒行为检测方法
CN110895671A (zh) * 2018-09-13 2020-03-20 纬创资通股份有限公司 跌倒检测方法以及使用此方法的电子系统
CN111767812A (zh) * 2020-06-18 2020-10-13 浙江大华技术股份有限公司 跌倒检测方法、跌倒检测装置及存储装置
CN111914676A (zh) * 2020-07-10 2020-11-10 泰康保险集团股份有限公司 人体摔倒检测方法、装置、电子设备和存储介质
CN113822242A (zh) * 2021-11-19 2021-12-21 中化学交通建设集团有限公司 一种基于图像识别技术的安全帽佩戴识别方法和装置
WO2022041484A1 (zh) * 2020-08-26 2022-03-03 歌尔股份有限公司 人体跌倒检测方法、装置、设备及存储介质
CN114694252A (zh) * 2022-03-30 2022-07-01 电子科技大学 一种老年人跌倒风险预测方法
CN115205982A (zh) * 2022-09-08 2022-10-18 深圳市维海德技术股份有限公司 起立跟踪检测方法、电子设备及介质
CN116091983A (zh) * 2023-04-10 2023-05-09 四川弘和通讯集团有限公司 一种行为检测方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017395A (zh) * 2020-08-03 2020-12-01 九江学院 一种卫生间跌倒监测方法及监测装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030058341A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
CN102722721A (zh) * 2012-05-25 2012-10-10 山东大学 一种基于机器视觉的人体跌倒检测方法
CN102722715A (zh) * 2012-05-21 2012-10-10 华南理工大学 一种基于人体姿势状态判决的跌倒检测方法
CN104794463A (zh) * 2015-05-11 2015-07-22 华东理工大学 基于Kinect实现室内人体跌倒检测的系统及方法
US9105102B1 (en) * 2013-10-01 2015-08-11 The United States Of America As Represented By The Secretary Of The Navy Method for processing radiographic images of rapidly moving objects such as shaped charge jet particles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030058341A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
CN102722715A (zh) * 2012-05-21 2012-10-10 华南理工大学 一种基于人体姿势状态判决的跌倒检测方法
CN102722721A (zh) * 2012-05-25 2012-10-10 山东大学 一种基于机器视觉的人体跌倒检测方法
US9105102B1 (en) * 2013-10-01 2015-08-11 The United States Of America As Represented By The Secretary Of The Navy Method for processing radiographic images of rapidly moving objects such as shaped charge jet particles
CN104794463A (zh) * 2015-05-11 2015-07-22 华东理工大学 基于Kinect实现室内人体跌倒检测的系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王力玄: "基于RGBD跌倒检测综述", 《电脑知识与技术》 *

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608479A (zh) * 2016-03-01 2016-05-25 北京正安维视科技股份有限公司 结合深度数据的异常行为检测方法及系统
CN105608479B (zh) * 2016-03-01 2019-03-29 北京正安维视科技股份有限公司 结合深度数据的异常行为检测方法及系统
CN105868707A (zh) * 2016-03-28 2016-08-17 华中科技大学 一种基于深度图像信息的坠床行为实时检测方法
CN107451524B (zh) * 2016-06-01 2020-07-07 丰田自动车株式会社 行为识别装置、学习装置、行为识别方法、学习方法及计算机可读的记录介质
CN107451524A (zh) * 2016-06-01 2017-12-08 丰田自动车株式会社 行为识别装置、学习装置、行为识别方法、学习方法及计算机可读的记录介质
CN106097352A (zh) * 2016-06-15 2016-11-09 深圳市易奉亲智慧养老科技有限公司 基于视频图像的人体定位方法及装置
CN106407996A (zh) * 2016-06-30 2017-02-15 华南理工大学 一种基于机器学习的老人跌倒检测方法及其检测系统
CN106327484B (zh) * 2016-08-16 2019-07-16 苏州迪凯尔医疗科技有限公司 一种用于牙医操作姿势评估的方法
CN106327484A (zh) * 2016-08-16 2017-01-11 苏州迪凯尔医疗科技有限公司 一种用于牙医操作姿势评估的方法
CN106530616A (zh) * 2016-12-06 2017-03-22 上海斐讯数据通信技术有限公司 一种自动报警方法及系统
CN107045623A (zh) * 2016-12-30 2017-08-15 厦门瑞为信息技术有限公司 一种基于人体姿态跟踪分析的室内危险情况告警的方法
CN107045623B (zh) * 2016-12-30 2020-01-21 厦门瑞为信息技术有限公司 一种基于人体姿态跟踪分析的室内危险情况告警的方法
CN107016350A (zh) * 2017-04-26 2017-08-04 中科唯实科技(北京)有限公司 一种基于深度相机的老人跌倒检测方法
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法
CN107103733A (zh) * 2017-07-06 2017-08-29 司马大大(北京)智能系统有限公司 一种摔倒报警方法、装置及设备
CN107578036A (zh) * 2017-09-28 2018-01-12 南通大学 一种基于小波矩的深度图像跌倒识别算法
CN108375920A (zh) * 2018-02-28 2018-08-07 四川长虹电器股份有限公司 基于深度传感器的设备控制系统
CN108509938A (zh) * 2018-04-16 2018-09-07 重庆邮电大学 一种基于视频监控的跌倒检测方法
CN108629300A (zh) * 2018-04-24 2018-10-09 北京科技大学 一种跌倒检测方法
CN108629300B (zh) * 2018-04-24 2022-01-28 北京科技大学 一种跌倒检测方法
CN108805032B (zh) * 2018-05-17 2021-06-15 郑州大学 基于深度卷积网络的跌倒检测方法
CN108805032A (zh) * 2018-05-17 2018-11-13 郑州大学 基于深度卷积网络的跌倒检测方法
CN109389041A (zh) * 2018-09-07 2019-02-26 南京航空航天大学 一种基于关节点特征的跌倒检测方法
CN110895671B (zh) * 2018-09-13 2022-11-08 纬创资通股份有限公司 跌倒检测方法以及使用此方法的电子系统
CN110895671A (zh) * 2018-09-13 2020-03-20 纬创资通股份有限公司 跌倒检测方法以及使用此方法的电子系统
CN109635846A (zh) * 2018-11-16 2019-04-16 哈尔滨工业大学(深圳) 一种多类医学图像判断方法和系统
CN109886101A (zh) * 2018-12-29 2019-06-14 江苏云天励飞技术有限公司 姿势识别方法及相关装置
CN109635783A (zh) * 2019-01-02 2019-04-16 上海数迹智能科技有限公司 视频监控方法、装置、终端和介质
CN109886102A (zh) * 2019-01-14 2019-06-14 华中科技大学 一种基于深度图像的跌倒行为时空域检测方法
CN110443150A (zh) * 2019-07-10 2019-11-12 思百达物联网科技(北京)有限公司 一种跌倒检测方法、装置、存储介质
CN110458061A (zh) * 2019-07-30 2019-11-15 四川工商学院 一种识别老年人跌倒的方法及陪伴机器人
CN110458061B (zh) * 2019-07-30 2022-04-05 四川工商学院 一种识别老年人跌倒的方法及陪伴机器人
CN110598606A (zh) * 2019-09-02 2019-12-20 南京邮电大学 一种具有视觉隐私保护优势的室内跌倒行为检测方法
CN110598606B (zh) * 2019-09-02 2022-05-27 南京邮电大学 一种具有视觉隐私保护优势的室内跌倒行为检测方法
CN111767812A (zh) * 2020-06-18 2020-10-13 浙江大华技术股份有限公司 跌倒检测方法、跌倒检测装置及存储装置
CN111767812B (zh) * 2020-06-18 2023-04-21 浙江大华技术股份有限公司 跌倒检测方法、跌倒检测装置及存储装置
CN111914676A (zh) * 2020-07-10 2020-11-10 泰康保险集团股份有限公司 人体摔倒检测方法、装置、电子设备和存储介质
WO2022041484A1 (zh) * 2020-08-26 2022-03-03 歌尔股份有限公司 人体跌倒检测方法、装置、设备及存储介质
CN113822242A (zh) * 2021-11-19 2021-12-21 中化学交通建设集团有限公司 一种基于图像识别技术的安全帽佩戴识别方法和装置
CN114694252A (zh) * 2022-03-30 2022-07-01 电子科技大学 一种老年人跌倒风险预测方法
CN114694252B (zh) * 2022-03-30 2023-04-28 电子科技大学 一种老年人跌倒风险预测方法
CN115205982A (zh) * 2022-09-08 2022-10-18 深圳市维海德技术股份有限公司 起立跟踪检测方法、电子设备及介质
CN116091983A (zh) * 2023-04-10 2023-05-09 四川弘和通讯集团有限公司 一种行为检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN105279483B (zh) 2018-08-21

Similar Documents

Publication Publication Date Title
CN105279483A (zh) 一种基于深度图像的跌倒行为实时检测方法
CN102803991B (zh) 物体检测设备
CN103955699B (zh) 一种基于监控视频的实时摔倒事件检测方法
CN105868707B (zh) 一种基于深度图像信息的坠床行为实时检测方法
CN103886344B (zh) 一种图像型火灾火焰识别方法
CN111401144B (zh) 一种基于视频监控的手扶电梯乘客行为识别方法
JP5848551B2 (ja) 学習装置、学習装置の制御方法、検出装置、検出装置の制御方法、およびプログラム
CN102903122B (zh) 基于特征光流与在线集成学习的视频目标跟踪方法
CN108509897A (zh) 一种人体姿态识别方法和系统
CN110287825B (zh) 一种基于关键骨骼点轨迹分析的摔倒动作检测方法
CN103984948B (zh) 一种基于人脸图像融合特征的软双层年龄估计方法
CN109670396A (zh) 一种室内老人跌倒检测方法
CN106127137A (zh) 一种基于3d轨迹分析的目标检测识别算法
CN105844295A (zh) 一种基于颜色模型与运动特征的视频烟雾精细分类方法
CN104794463A (zh) 基于Kinect实现室内人体跌倒检测的系统及方法
CN105022982A (zh) 手部运动识别方法和装置
CN103718175A (zh) 检测对象姿势的设备、方法和介质
CN106647742A (zh) 移动路径规划方法及装置
CN111191667A (zh) 基于多尺度生成对抗网络的人群计数方法
CN109063625A (zh) 一种基于级联深度网络的人脸关键点检测方法
CN105404894A (zh) 无人机用目标追踪方法及其装置
CN108510011B (zh) 一种基于手机多传感器的用户出行方式分析方法
CN103871081A (zh) 一种自适应鲁棒在线目标跟踪方法
CN110388926A (zh) 一种基于手机地磁和场景图像的室内定位方法
CN108460320A (zh) 基于改进单元分析的监控视频异常事件检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant