CN104794463A - 基于Kinect实现室内人体跌倒检测的系统及方法 - Google Patents

基于Kinect实现室内人体跌倒检测的系统及方法 Download PDF

Info

Publication number
CN104794463A
CN104794463A CN201510237341.5A CN201510237341A CN104794463A CN 104794463 A CN104794463 A CN 104794463A CN 201510237341 A CN201510237341 A CN 201510237341A CN 104794463 A CN104794463 A CN 104794463A
Authority
CN
China
Prior art keywords
human body
fall detection
detection module
image
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510237341.5A
Other languages
English (en)
Other versions
CN104794463B (zh
Inventor
朱煜
黎文鹏
叶炯耀
马箐璘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China University of Science and Technology
Original Assignee
East China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China University of Science and Technology filed Critical East China University of Science and Technology
Priority to CN201510237341.5A priority Critical patent/CN104794463B/zh
Publication of CN104794463A publication Critical patent/CN104794463A/zh
Application granted granted Critical
Publication of CN104794463B publication Critical patent/CN104794463B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于Kinect实现室内人体跌倒检测的系统及方法,其中包括图像采集模块;图像分割模块;第一跌倒检测模块,用以基于人体倾斜角度和轮廓变化趋势进行跌倒检测判断;第二跌倒检测模块,用以基于人体运动叠加图分析进行跌倒检测判断;第三跌倒检测模块,用以基于传感器坐标系下人体运动方向和速度进行跌倒检测判断;综合跌倒检测模块,用以根据所述的第一、第二和第三跌倒检测模块进行人体是否跌倒的综合判断并输出判断结果。采用该种结构的基于Kinect实现室内人体跌倒检测的系统及方法,基于Kinect传感器采集的图像进行跌倒判断检测、提高鲁棒性和检测率、具有更广泛应用范围。

Description

基于Kinect实现室内人体跌倒检测的系统及方法
技术领域
本发明涉及检测技术领域,尤其涉及跌倒检测技术领域,具体是指一种基于Kinect实现室内人体跌倒检测的系统及方法。
背景技术
近年来,家庭监护及康复领域引起广泛关注,尤其随着人口老龄化和空巢化趋势的加剧,医护人员的大量短缺,研究一种精度高、稳定性好、实时性强的人体跌倒检测系统变得越来越重要。目前大多数成熟的跌倒检测技术多是基于加速度传感器或可穿戴式传感器,但长期佩戴会对于身体产生不适的影响,无法保证跌倒检测的有效性。即使采用计算机图像处理方法进行跌倒检测,由于传统的计算机图像处理研究方法缺乏灵活性,复杂的算法极大地影响了实时性的检测要求,依赖特定场景,不具有普适性。
发明内容
本发明的目的是克服了上述现有技术的缺点,提供了一种能够实现基于Kinect传感器采集的图像进行跌倒判断检测、提高鲁棒性和检测率、具有更广泛应用范围的基于Kinect实现室内人体跌倒检测的系统及方法。
为了实现上述目的,本发明的基于Kinect实现室内人体跌倒检测的系统及方法具有如下构成:
该基于Kinect实现室内人体跌倒检测的系统,其主要特点是,所述的系统包括:
图像采集模块,用以基于Kinect传感器进行深度图像采集;
图像分割模块,用以对采集的深度图像进行初始化后进行人体分割并二值化处理;
第一跌倒检测模块,用以基于人体倾斜角度和轮廓变化趋势进行跌倒检测判断;
第二跌倒检测模块,用以基于人体运动叠加图分析进行跌倒检测判断;
第三跌倒检测模块,用以基于传感器坐标系下人体运动方向和速度进行跌倒检测判断;
综合跌倒检测模块,用以根据所述的第一跌倒检测模块、第二跌倒检测模块和第三跌倒检测模块进行人体是否跌倒的综合判断并输出判断结果。
本发明还涉及一种通过权利要求1所述的系统基于Kinect实现室内人体跌倒检测的方法,其特征在于,所述的方法包括以下步骤:
(1)所述的图像采集模块基于Kinect传感器进行深度图像采集;
(2)所述的图像分割模块对采集的深度图像进行初始化后进行人体分割并二值化处理;
(3)所述的第一跌倒检测模块基于人体倾斜角度和轮廓变化趋势进行跌倒检测判断;
(4)所述的第二跌倒检测模块基于人体运动叠加图分析进行跌倒检测判断;
(5)所述的第三跌倒检测模块基于传感器坐标系下人体运动方向和速度进行跌倒检测判断;
(6)所述的综合跌倒检测模块根据所述的第一跌倒检测模块、第二跌倒检测模块和第三跌倒检测模块进行人体是否跌倒的综合判断并输出判断结果。
较佳地,所述的对采集的深度图像进行初始化,包括以下步骤:
(2-1)将采集的深度图像进行网格化并对每个小块进行编号;
(2-2)基于采集的深度图像的灰度级线性分布性进行地板分割。
更佳地,所述的基于采集的深度图像的灰度级线性分布性进行地板分割,包括以下步骤:
(2-2-1)对已编号的每个小块进行两种划分分为上下、左右各两个大小相等的单元;
(2-2-2)设置水平阈值与垂直阈值对应来判断平行平面和垂直平面;
(2-2-3)在水平面图像中将图像小块最多的连通平面进行分割得到地板区域图像并将地板区域中所包含小块的位置进行记录。
更进一步地,所述的进行人体分割并二值化处理,包括以下步骤:
(2-3)在视频序列中对连续两帧网格化后的图像进行对比后根据灰度级变换的像素数量判断是否出现运动目标以得到图像中运动目标的二值图像;
(2-4)在二值图像中提取包含小块数量最多的连通区域进行人体判断得到人体二值图像;
(2-5)在人体二值图像中将宽度小于宽度阈值的凸出部分消除。
再进一步地,所述的在视频序列中对连续两帧网格化后的图像进行对比后根据灰度级变换的像素数量判断是否出现运动目标,包括以下步骤:
(2-3-1)在视频序列中对连续两帧网格化后的图像进行对比后判断每个小块中灰度级变换的像素数量是否超过一半,如果是,则继续步骤(2-3-2),否则继续步骤(2-3-3);
(2-3-2)将该小块中所有像素的灰度级置255,并记录255图像小块的数量,然后继续步骤(2-3-4);
(2-3-3)将该小块中所有像素的灰度级置0,然后继续步骤(2-3-4);
(2-3-4)判断255图像小块的数量是否达到系统预设阈值要求,如果是,则判断为出现运动目标,否则继续步骤(2-3-1)。
再进一步地,所述的在二值图像中提取包含小块数量最多的连通区域进行人体判断,包括以下步骤:
(2-4-1)在二值图像中提取包含小块数量最多的连通区域;
(2-4-2)计算得到具有横坐标最大的图像小块的位置celllocal及其灰度平均值grayaver
(2-4-3)判断运动目标是否同时满足以下条件:
二值图像中的小块数量达到系统预设的允许阈值,地板区域图像中celllocal位置处是一个非零的图像小块且地板区域图像中该celllocal位置处的图像小块的灰度平均值与的grayaver差值小于系统预设差值阈值;
如果是,则判断运动目标为人体,否则继续步骤(2-3)。
较佳地,所述的第一跌倒检测模块基于人体倾斜角度和轮廓变化趋势进行跌倒检测判断,包括以下步骤:
(3-1)在二值图像中获取人体最接近的矩形边界框并得到长宽比序列seqp={pi},i=0,1,2,...,99;
(3-2)计算seqp序列的平均值averp
(3-3)通过OPENCV对人体二值图像进行椭圆拟合并根据返回的椭圆长轴与垂直的角度ellipseangle按照如下公式计算出人体实际与垂直方向偏离度realangle
real angle = ellipa e angle ifellips e angle < 90 | 180 - ellipse angle | ifellips e angle > 90
(3-4)记录当前100帧的realangle值得到一个角度统计序列seqangle,并计算该序列的角度平均值averangle
(3-5)设当前帧与上一帧的长宽比为pcurrent与pprev,角度比为anglecurrent与angleprev,则人体跌倒方向判断符号函数为:
Sym II ( angle ) = 1 ifangl e current - angl e prev > 0 0 other ;
(3-6)基于人体几个形状的跌倒判别函数为:
fII(angle,p)=SymII(angle)*(w1*|anglecurrent-averangle|+w2*|pcurrent-averp|)
其中,w1与w2为权重值;
(3-6)设thII为跌倒判别阈值,判断fII(angle,p)是否大于thII,如果是,则判断为跌倒并继续步骤(4),否则判断为未跌倒并继续步骤(4)。
较佳地,所述的第二跌倒检测模块基于人体运动叠加图分析进行跌倒检测判断,包括以下步骤:
(4-1)在一定的帧数之内进行叠加人体运动二值图后生成一幅灰度图像,其中不同的灰度级表示不同时刻下的运动分量;
(4-2)在系统预设的先验条件下,采集大量正与负样本;
(4-3)利用深度学习对标准样本进行训练作为跌倒检测系统的分类器;
(4-4)测试时将测试样本投入分类器进行分类以识别人体是否发生跌倒。
较佳地,所述的第三跌倒检测模块基于传感器坐标系下人体运动方向和速度进行跌倒检测判断,包括以下步骤:
(5-1)分析人体的头部和腹部在传感器坐标系下的坐标;
(5-2)通过K-means算法对Seqx进行分类,基于传感器坐标系下人体运动方向和速度的跌倒检测判别函数如下:
fI(x)=SymI(x)*|xCurrent-Validvalue|*|xCurrent-xPrev|
其中含最多样本的类别的中心点为Validvalue
(5-3)判断f(x)是否大于系统预设判断阈值,如果是则判断为跌倒并继续步骤(6),否则判断为未跌倒并继续步骤(6)。
更佳地,所述的分析人体的头部和腹部在传感器坐标系下的坐标,包括以下步骤:
(5-1-1)根据如下公式计算人体的头部和腹部在传感器坐标系下的纵坐标为HeadY与SpineY平均值得到averY
aver Y = 1 3 ( Head Y + 2 * Spine Y )
保存当前100帧的纵坐标averx得到平均值序列Seqx
(5-1-2)当前帧数和上一帧的平均纵坐标依次为xCurrent、xPrev,纵坐标改变的方向定位符号函数如下:
Sym I ( x ) = 1 if x Current - x prev < 0 0 others .
较佳地,所述的综合跌倒检测模块根据所述的第一跌倒检测模块、第二跌倒检测模块和第三跌倒检测模块进行人体是否跌倒的综合判断并输出判断结果,具体为:
所述的综合跌倒检测模块判断是否所述的第一跌倒检测模块、第二跌倒检测模块和第三跌倒检测模块均判断为跌倒,如果是,则判断被检测人体跌倒,否则判断被检测人体未跌倒。
采用了该发明中的基于Kinect实现室内人体跌倒检测的系统及方法,结合Kinect传感器的彩色,骨骼和深度数据流分别提出了人体跌倒检测系统的设计方法,基于RGB视觉的头部定位算法利用跟踪定位人体头部运动情况检测跌倒;通过对人体骨骼数据的分析计算,提取关键关节点的运动参数,获取最优阈值,进行跌倒行为检测;为提高系统鲁棒性和检测率,经过深度图像采集和预处理,提出了基于Kinect深度图像的人体分割算法,实现了室内人体跌倒的判别,具有更广泛的应用范围。
附图说明
图1为本发明的基于Kinect实现室内人体跌倒检测的方法的流程图。
图2为本发明的基于人体倾斜角度和轮廓变化趋势的跌倒检测的流程图。
图3为本发明的基于人体运动叠加图分析的跌倒检测的流程图。
图4为本发明的基于传感器坐标系下人体运动方向和速度的跌倒检测的流程图。
具体实施方式
为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。
Kinect传感器是微软发布的,具有即时动态捕捉、影像辨识等功能。Kinect传感器的普及为家庭护理和医疗辅助领域带来了很多新思路。
如图1所示,为本发明的基于Kinect实现室内人体跌倒检测的方法的流程图:
实现步骤如下:
1、Kinect进行采集深度图像。
2、将Kinect的深度图像网格化,划分成很多大小为8×8像素的小块,对每一小块进行编号其在图像中的位置。
3、基于深度图像的灰度级线性分布性进行地板的分割,该步骤是跌倒检测程序在无人操作时对周围环境的初始化,实现步骤如下:
3-1.对每一个图像小块同时进行两种划分,为上下、左右两个大小相等的单元。
3-2.设置水平阈值与垂直阈值对应来判断平行平面和垂直平面。计算图像小块中两个单元的平均灰度值,根据该平均值之差可以判断出是否为平面,具体分为三种情况:上下两个单元的平均灰度值之差小于垂直阈值则判别为垂直平面;如果左右两个单元平均灰度值之差小于水平阈值则判别为水平平面;如果都不满足上述两种情况则将该图像小块判别为未知曲面形状。
3-3.通过步骤3-2获得的水平面图像中,将图像小块最多的连通平面分割下来,即深度图像中最大的地板区域——地板图像。然后将地板区域中所包含的小块的位置记录下来。
4、深度图像人体分割并二值化,实现步骤如下:
4-1.视频序列中,对连续两帧网格化之后进行对比,如果小块中出现灰度级变更的情况,并且灰度级变化的像素数量超过一半(32像素)则将该小块中所有像素的灰度级置255,否则置0,并记录置255图像小块的数量。如果该数量达到程序允许的阈值,则判别为出现运动目标,从而得到图像中移动目标的二值图像并开始执行4-2步骤。否则返回步骤1。
4-2.通过步骤4-1得到的二值图像中,提取出一个包含小块数量最多的连通区域。运动目标图像中计算出具有横坐标最大的图像小块的位置celllocal及其灰度平均值grayaver。设置阈值thrmovement,运动目标为人体的条件:
+)二值图像的小块数量达到程序允许的阈值。
+)地板图像中,在位置为celllocal必须是一个非零的图像小块,而且该图像小块的灰度平均值与grayaver的差值要小于thrmovement。
满足上述两个条件则将运动目标判别为人体,并开始执行步骤4-3。否则返回步骤4-1。
4-3.设宽度阈值为wthreshold,人体二值图像中将宽度小于wthreshold的凸出部分消除。
5、基于人体倾斜角度和轮廓变化趋势的跌倒检测,如图2所示,实现步骤如下:
5-1.通过步骤4得到的二值图像中,从被编码小块的坐标计算出人体部分的最高和最低的纵与横坐标,获取人体最接近的矩形边界框,其高度h和宽度w。记录当前100帧的比例,得到长宽比序列seqp={pi},i=0,1,2,...,99。
(5-2)计算seqp序列的平均值averp
(5-3)通过OPENCV对人体二值图像进行椭圆拟合,返回的椭圆长轴与垂直的角度为ellipseangle。从ellipseangle计算出人体实际与垂直方向偏离度realangle
real angle = ellipa e angle ifellips e angle < 90 | 180 - ellipse angle | ifellips e angle > 90
记录当前100帧的realangle值得到一个角度统计序列seqangle,并计算该序列的角度平均值averangle
(5-4)设当前帧与上一帧的长宽比为pcurrent与pprev,角度比为anglecurrent与angleprev,则人体跌倒方向判断符号函数:
Sym II ( angle ) = 1 ifangl e current - angl e prev > 0 0 other
(5-5)基于人体几个形状的跌倒判别函数:
fII(angle,p)=SymII(angle)*(w1*|anglecurrent-averangle|+w2*|pcurrent-averp|)
其中w1与w2是权重。
(5-6)设thII为跌倒判别阈值,若fII(angle,p)大于thII则判别为发生跌倒。
(6)基于人体运动叠加图分析的跌倒检测,如图3所示,实现步骤如下:
(6-1)在一定的帧数之内进行叠加人体运动二值图,生成一幅灰度图像,不同的灰度级表示不同时刻下的运动分量。
(6-2)在已知的先验条件下,采集大量正与负样本。
(6-3)利用深度学习对标准样本进行训练,作为跌倒检测系统的分类器。
(6-4)测试时,将测试样本投入分类器进行分类,识别出是否发生跌倒。
(7)基于传感器坐标系下人体运动方向和速度的跌倒检测,如图4所示:
(7-1)分析头部和腹部传感器坐标系下的坐标
(7-1-1)令头部和腹部在传感器坐标系下的纵坐标为HeadY与SpineY平均值得到averY
aver Y = 1 3 ( Head Y + 2 * Spine Y )
保存当前100帧的纵坐标averx得到平均值序列Seqx
(7-1-2)当前帧数和上一帧的平均纵坐标依次为xCurrent,xPrev。纵坐标改变的方向定位符号函数:
Sym I ( x ) = 1 if x Current - x prev < 0 0 others
(7-2)通过K-means算法对Seqx进行分类,目标类别为2类。含较多样本的类别的中心点为Validvalue。基于传感器坐标系下人体运动方向和速度的跌倒检测判别函数:
fI(x)=SymI(x)*|xCurrent-Validvalue|*|xCurrent-xPrev|
设thI为跌倒判断阈值,如果f(x)大于thI则为发生跌倒。
(8)系统运行时,当与仅当以上三种检测模型都判别为发生跌倒时,系统的综合判别为发生跌倒。
采用了该发明中的基于Kinect实现室内人体跌倒检测的系统及方法,结合Kinect传感器的彩色,骨骼和深度数据流分别提出了人体跌倒检测系统的设计方法,基于RGB视觉的头部定位算法利用跟踪定位人体头部运动情况检测跌倒;通过对人体骨骼数据的分析计算,提取关键关节点的运动参数,获取最优阈值,进行跌倒行为检测;为提高系统鲁棒性和检测率,经过深度图像采集和预处理,提出了基于Kinect深度图像的人体分割算法,实现了室内人体跌倒的判别,具有更广泛的应用范围。
在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。

Claims (12)

1.一种基于Kinect实现室内人体跌倒检测的系统,其特征在于,所述的系统包括:
图像采集模块,用以基于Kinect传感器进行深度图像采集;
图像分割模块,用以对采集的深度图像进行初始化后进行人体分割并二值化处理;
第一跌倒检测模块,用以基于人体倾斜角度和轮廓变化趋势进行跌倒检测判断;
第二跌倒检测模块,用以基于人体运动叠加图分析进行跌倒检测判断;
第三跌倒检测模块,用以基于传感器坐标系下人体运动方向和速度进行跌倒检测判断;
综合跌倒检测模块,用以根据所述的第一跌倒检测模块、第二跌倒检测模块和第三跌倒检测模块进行人体是否跌倒的综合判断并输出判断结果。
2.一种通过权利要求1所述的系统基于Kinect实现室内人体跌倒检测的方法,其特征在于,所述的方法包括以下步骤:
(1)所述的图像采集模块基于Kinect传感器进行深度图像采集;
(2)所述的图像分割模块对采集的深度图像进行初始化后进行人体分割并二值化处理;
(3)所述的第一跌倒检测模块基于人体倾斜角度和轮廓变化趋势进行跌倒检测判断;
(4)所述的第二跌倒检测模块基于人体运动叠加图分析进行跌倒检测判断;
(5)所述的第三跌倒检测模块基于传感器坐标系下人体运动方向和速度进行跌倒检测判断;
(6)所述的综合跌倒检测模块根据所述的第一跌倒检测模块、第二跌倒检测模块和第三跌倒检测模块进行人体是否跌倒的综合判断并输出判断结果。
3.根据权利要求2所述的基于Kinect实现室内人体跌倒检测的方法,其特征在于,所述的对采集的深度图像进行初始化,包括以下步骤:
(2-1)将采集的深度图像进行网格化并对每个小块进行编号;
(2-2)基于采集的深度图像的灰度级线性分布性进行地板分割。
4.根据权利要求3所述的基于Kinect实现室内人体跌倒检测的方法,其特征在于,所述的基于采集的深度图像的灰度级线性分布性进行地板分割,包括以下步骤:
(2-2-1)对已编号的每个小块进行两种划分分为上下、左右各两个大小相等的单元;
(2-2-2)设置水平阈值与垂直阈值对应来判断平行平面和垂直平面;
(2-2-3)在水平面图像中将图像小块最多的连通平面进行分割得到地板区域图像并将地板区域中所包含小块的位置进行记录。
5.根据权利要求4所述的基于Kinect实现室内人体跌倒检测的方法,其特征在于,所述的进行人体分割并二值化处理,包括以下步骤:
(2-3)在视频序列中对连续两帧网格化后的图像进行对比后根据灰度级变换的像素数量判断是否出现运动目标以得到图像中运动目标的二值图像;
(2-4)在二值图像中提取包含小块数量最多的连通区域进行人体判断得到人体二值图像;
(2-5)在人体二值图像中将宽度小于宽度阈值的凸出部分消除。
6.根据权利要求5所述的基于Kinect实现室内人体跌倒检测的方法,其特征在于,所述的在视频序列中对连续两帧网格化后的图像进行对比后根据灰度级变换的像素数量判断是否出现运动目标,包括以下步骤:
(2-3-1)在视频序列中对连续两帧网格化后的图像进行对比后判断每个小块中灰度级变换的像素数量是否超过一半,如果是,则继续步骤(2-3-2),否则继续步骤(2-3-3);
(2-3-2)将该小块中所有像素的灰度级置255,并记录255图像小块的数量,然后继续步骤(2-3-4);
(2-3-3)将该小块中所有像素的灰度级置0,然后继续步骤(2-3-4);
(2-3-4)判断255图像小块的数量是否达到系统预设阈值要求,如果是,则判断为出现运动目标,否则继续步骤(2-3-1)。
7.根据权利要求5所述的基于Kinect实现室内人体跌倒检测的方法,其特征在于,所述的在二值图像中提取包含小块数量最多的连通区域进行人体判断,包括以下步骤:
(2-4-1)在二值图像中提取包含小块数量最多的连通区域;
(2-4-2)计算得到具有横坐标最大的图像小块的位置celllocal及其灰度平均值grayaver
(2-4-3)判断运动目标是否同时满足以下条件:
二值图像中的小块数量达到系统预设的允许阈值,地板区域图像中celllocal位置处是一个非零的图像小块且地板区域图像中该celllocal位置处的图像小块的灰度平均值与的grayaver差值小于系统预设差值阈值;
如果是,则判断运动目标为人体,否则继续步骤(2-3)。
8.根据权利要求2所述的基于Kinect实现室内人体跌倒检测的方法,其特征在于,所述的第一跌倒检测模块基于人体倾斜角度和轮廓变化趋势进行跌倒检测判断,包括以下步骤:
(3-1)在二值图像中获取人体最接近的矩形边界框并得到长宽比序列seqp={pi},i=0,1,2,…,99;
(3-2)计算seqp序列的平均值averp
(3-3)通过OPENCV对人体二值图像进行椭圆拟合并根据返回的椭圆长轴与垂直的角度ellipseangle按照如下公式计算出人体实际与垂直方向偏离度realangle
real angle = ellipse angle if ellipse angle < 90 | 180 - ellipse angle | if ellipse angle > 90
(3-4)记录当前100帧的realangle值得到一个角度统计序列seqangle,并计算该序列的角度平均值averangle
(3-5)设当前帧与上一帧的长宽比为pcurrent与pprev,角度比为anglecurrent与angleprev,则人体跌倒方向判断符号函数为:
Sym II ( angle ) = 1 if angle current - angle prev > 0 0 others
(3-6)基于人体几个形状的跌倒判别函数为:
fII(angle,p)=SymII(angle)*(w1*|anglecurrent-averangle|+w2*pcurrent-averp|)
其中,w1与w2为权重值;
(3-6)设thII为跌倒判别阈值,判断fII(angle,p)是否大于thII,如果是,则判断为跌倒并继续步骤(4),否则判断为未跌倒并继续步骤(4)。
9.根据权利要求2所述的基于Kinect实现室内人体跌倒检测的方法,其特征在于,所述的第二跌倒检测模块基于人体运动叠加图分析进行跌倒检测判断,包括以下步骤:
(4-1)在一定的帧数之内进行叠加人体运动二值图后生成一幅灰度图像,其中不同的灰度级表示不同时刻下的运动分量;
(4-2)在系统预设的先验条件下,采集大量正与负样本;
(4-3)利用深度学习对标准样本进行训练作为跌倒检测系统的分类器;
(4-4)测试时将测试样本投入分类器进行分类以识别人体是否发生跌倒。
10.根据权利要求2所述的基于Kinect实现室内人体跌倒检测的方法,其特征在于,所述的第三跌倒检测模块基于传感器坐标系下人体运动方向和速度进行跌倒检测判断,包括以下步骤:
(5-1)分析人体的头部和腹部在传感器坐标系下的坐标;
(5-2)通过K-means算法对Seqx进行分类,基于传感器坐标系下人体运动方向和速度的跌倒检测判别函数如下:
f1(x)=Sym1(x)*|xCurrent-Validvalue|*|xCurrent-xPrev|
其中含最多样本的类别的中心点为Validvalue
(5-3)判断f(x)是否大于系统预设判断阈值,如果是则判断为跌倒并继续步骤(6),否则判断为未跌倒并继续步骤(6)。
11.根据权利要求10所述的基于Kinect实现室内人体跌倒检测的方法,其特征在于,所述的分析人体的头部和腹部在传感器坐标系下的坐标,包括以下步骤:
(5-1-1)根据如下公式计算人体的头部和腹部在传感器坐标系下的纵坐标为HeadY与SpineY平均值得到averY
aver Y = 1 3 ( Head Y + 2 * Spin e Y )
保存当前100帧的纵坐标averx得到平均值序列Seqx
(5-1-2)当前帧数和上一帧的平均纵坐标依次为xCurrent、xprev,纵坐标改变的方向定位符号函数如下:
Sym I ( x ) = 1 if x Curren - x Prev < 0 0 others .
12.根据权利要求2所述的基于Kinect实现室内人体跌倒检测的方法,其特征在于,所述的综合跌倒检测模块根据所述的第一跌倒检测模块、第二跌倒检测模块和第三跌倒检测模块进行人体是否跌倒的综合判断并输出判断结果,具体为:
所述的综合跌倒检测模块判断是否所述的第一跌倒检测模块、第二跌倒检测模块和第三跌倒检测模块均判断为跌倒,如果是,则判断被检测人体跌倒,否则判断被检测人体未跌倒。
CN201510237341.5A 2015-05-11 2015-05-11 基于Kinect实现室内人体跌倒检测的系统及方法 Expired - Fee Related CN104794463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510237341.5A CN104794463B (zh) 2015-05-11 2015-05-11 基于Kinect实现室内人体跌倒检测的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510237341.5A CN104794463B (zh) 2015-05-11 2015-05-11 基于Kinect实现室内人体跌倒检测的系统及方法

Publications (2)

Publication Number Publication Date
CN104794463A true CN104794463A (zh) 2015-07-22
CN104794463B CN104794463B (zh) 2018-12-14

Family

ID=53559250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510237341.5A Expired - Fee Related CN104794463B (zh) 2015-05-11 2015-05-11 基于Kinect实现室内人体跌倒检测的系统及方法

Country Status (1)

Country Link
CN (1) CN104794463B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279483A (zh) * 2015-09-28 2016-01-27 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
CN105303563A (zh) * 2015-09-22 2016-02-03 北京格灵深瞳信息技术有限公司 一种跌倒检测方法及装置
CN105816182A (zh) * 2016-03-24 2016-08-03 西安交通大学 一种基于Kinect传感器的颈椎活动度测量方法
CN105868707A (zh) * 2016-03-28 2016-08-17 华中科技大学 一种基于深度图像信息的坠床行为实时检测方法
CN105930871A (zh) * 2016-04-26 2016-09-07 浪潮电子信息产业股份有限公司 一种基于改进的智能学习算法的老年人防摔倒技术
CN106097352A (zh) * 2016-06-15 2016-11-09 深圳市易奉亲智慧养老科技有限公司 基于视频图像的人体定位方法及装置
CN106908064A (zh) * 2017-01-22 2017-06-30 电子科技大学 一种基于Kinect2传感器的室内夜间视觉导航方法
CN107578019A (zh) * 2017-09-13 2018-01-12 河北工业大学 一种视觉触觉融合的步态识别系统及识别方法
CN107578036A (zh) * 2017-09-28 2018-01-12 南通大学 一种基于小波矩的深度图像跌倒识别算法
CN107851326A (zh) * 2016-05-09 2018-03-27 东莞市安零模具科技有限公司 自动检测单车是否倒地的方法
CN108682000A (zh) * 2018-02-12 2018-10-19 中国农业大学 基于Kinect视频的猪体长体宽检测方法
CN108955519A (zh) * 2018-04-09 2018-12-07 江苏金海湾智能制造有限公司 一种快递活物检测系统和方法
CN108986405A (zh) * 2018-08-07 2018-12-11 河南云拓智能科技有限公司 一种基于Zigbee网关的多参数控制方法
CN109101943A (zh) * 2018-08-27 2018-12-28 寿带鸟信息科技(苏州)有限公司 一种用于检测老人跌倒的机器视觉方法
CN109858322A (zh) * 2018-12-04 2019-06-07 广东工业大学 一种人体跌倒检测方法及装置
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法
CN110895671A (zh) * 2018-09-13 2020-03-20 纬创资通股份有限公司 跌倒检测方法以及使用此方法的电子系统
CN111046701A (zh) * 2018-10-12 2020-04-21 深圳技威时代科技有限公司 一种摔倒检测方法及摔倒检测设备
CN111414789A (zh) * 2019-10-20 2020-07-14 上海辰努智能科技有限公司 一种基于视频网格化的人体回头行为的判定方法
CN114005247A (zh) * 2021-09-16 2022-02-01 深圳绿米联创科技有限公司 跌倒检测方法、装置、电子设备及存储介质
CN114419842A (zh) * 2021-12-31 2022-04-29 浙江大学台州研究院 一种基于人工智能的辅助用户至智能马桶的跌倒报警方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120025989A1 (en) * 2010-07-30 2012-02-02 General Electric Company Method and system for detecting a fallen person using a range imaging device
CN102375816A (zh) * 2010-08-10 2012-03-14 中国科学院自动化研究所 一种在线视频浓缩装置、系统及方法
CN102722715A (zh) * 2012-05-21 2012-10-10 华南理工大学 一种基于人体姿势状态判决的跌倒检测方法
CN102722721A (zh) * 2012-05-25 2012-10-10 山东大学 一种基于机器视觉的人体跌倒检测方法
CN103976739A (zh) * 2014-05-04 2014-08-13 宁波麦思电子科技有限公司 穿戴式摔倒动态实时检测方法和装置
CN104361361A (zh) * 2014-11-14 2015-02-18 北京天地弘毅科技有限公司 通过云计算和机器学习算法判断摔倒的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120025989A1 (en) * 2010-07-30 2012-02-02 General Electric Company Method and system for detecting a fallen person using a range imaging device
CN102375816A (zh) * 2010-08-10 2012-03-14 中国科学院自动化研究所 一种在线视频浓缩装置、系统及方法
CN102722715A (zh) * 2012-05-21 2012-10-10 华南理工大学 一种基于人体姿势状态判决的跌倒检测方法
CN102722721A (zh) * 2012-05-25 2012-10-10 山东大学 一种基于机器视觉的人体跌倒检测方法
CN103976739A (zh) * 2014-05-04 2014-08-13 宁波麦思电子科技有限公司 穿戴式摔倒动态实时检测方法和装置
CN104361361A (zh) * 2014-11-14 2015-02-18 北京天地弘毅科技有限公司 通过云计算和机器学习算法判断摔倒的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周民刚: ""基于计算机视觉的人体跌倒检测算法研究"", 《万方数据库》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303563A (zh) * 2015-09-22 2016-02-03 北京格灵深瞳信息技术有限公司 一种跌倒检测方法及装置
CN105303563B (zh) * 2015-09-22 2018-04-17 北京格灵深瞳信息技术有限公司 一种跌倒检测方法及装置
CN105279483A (zh) * 2015-09-28 2016-01-27 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
CN105279483B (zh) * 2015-09-28 2018-08-21 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
CN105816182A (zh) * 2016-03-24 2016-08-03 西安交通大学 一种基于Kinect传感器的颈椎活动度测量方法
CN105868707A (zh) * 2016-03-28 2016-08-17 华中科技大学 一种基于深度图像信息的坠床行为实时检测方法
CN105930871A (zh) * 2016-04-26 2016-09-07 浪潮电子信息产业股份有限公司 一种基于改进的智能学习算法的老年人防摔倒技术
CN105930871B (zh) * 2016-04-26 2019-06-25 浪潮电子信息产业股份有限公司 一种基于改进的智能学习算法的摔倒预警方法
CN107851326A (zh) * 2016-05-09 2018-03-27 东莞市安零模具科技有限公司 自动检测单车是否倒地的方法
CN106097352A (zh) * 2016-06-15 2016-11-09 深圳市易奉亲智慧养老科技有限公司 基于视频图像的人体定位方法及装置
CN106908064B (zh) * 2017-01-22 2019-12-27 电子科技大学 一种基于Kinect2传感器的室内夜间视觉导航方法
CN106908064A (zh) * 2017-01-22 2017-06-30 电子科技大学 一种基于Kinect2传感器的室内夜间视觉导航方法
CN107578019A (zh) * 2017-09-13 2018-01-12 河北工业大学 一种视觉触觉融合的步态识别系统及识别方法
CN107578019B (zh) * 2017-09-13 2020-05-12 河北工业大学 一种视觉触觉融合的步态识别系统及识别方法
CN107578036A (zh) * 2017-09-28 2018-01-12 南通大学 一种基于小波矩的深度图像跌倒识别算法
CN108682000B (zh) * 2018-02-12 2020-10-09 中国农业大学 基于Kinect视频的猪体长体宽检测方法
CN108682000A (zh) * 2018-02-12 2018-10-19 中国农业大学 基于Kinect视频的猪体长体宽检测方法
CN108955519B (zh) * 2018-04-09 2020-05-22 江苏金海湾智能制造有限公司 一种快递活物检测系统和方法
CN108955519A (zh) * 2018-04-09 2018-12-07 江苏金海湾智能制造有限公司 一种快递活物检测系统和方法
CN108986405A (zh) * 2018-08-07 2018-12-11 河南云拓智能科技有限公司 一种基于Zigbee网关的多参数控制方法
CN109101943A (zh) * 2018-08-27 2018-12-28 寿带鸟信息科技(苏州)有限公司 一种用于检测老人跌倒的机器视觉方法
CN110895671A (zh) * 2018-09-13 2020-03-20 纬创资通股份有限公司 跌倒检测方法以及使用此方法的电子系统
CN110895671B (zh) * 2018-09-13 2022-11-08 纬创资通股份有限公司 跌倒检测方法以及使用此方法的电子系统
CN111046701A (zh) * 2018-10-12 2020-04-21 深圳技威时代科技有限公司 一种摔倒检测方法及摔倒检测设备
CN109858322A (zh) * 2018-12-04 2019-06-07 广东工业大学 一种人体跌倒检测方法及装置
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法
CN109919132B (zh) * 2019-03-22 2021-04-23 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法
CN111414789A (zh) * 2019-10-20 2020-07-14 上海辰努智能科技有限公司 一种基于视频网格化的人体回头行为的判定方法
CN114005247A (zh) * 2021-09-16 2022-02-01 深圳绿米联创科技有限公司 跌倒检测方法、装置、电子设备及存储介质
CN114419842A (zh) * 2021-12-31 2022-04-29 浙江大学台州研究院 一种基于人工智能的辅助用户至智能马桶的跌倒报警方法及装置
CN114419842B (zh) * 2021-12-31 2024-05-10 浙江大学台州研究院 基于人工智能的辅助用户至马桶的跌倒报警方法及装置

Also Published As

Publication number Publication date
CN104794463B (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN104794463A (zh) 基于Kinect实现室内人体跌倒检测的系统及方法
CN110425005B (zh) 矿井下皮带运输人员人机交互行为安全监控与预警方法
CN101713776B (zh) 一种基于神经网络的尿液中有形成分识别分类方法
CN102803991B (zh) 物体检测设备
CN103400157B (zh) 一种基于视频分析的道路行人及非机动车检测方法
CN101339655B (zh) 基于目标特征和贝叶斯滤波的视觉跟踪方法
CN109460709A (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN102799893B (zh) 考场监控视频处理方法
CN106096561A (zh) 基于图像块深度学习特征的红外行人检测方法
CN110532850B (zh) 一种基于视频关节点和混合分类器的跌倒检测方法
CN109101924A (zh) 一种基于机器学习的路面交通标志识别方法
CN104715238A (zh) 一种基于多特征融合的行人检测方法
CN106503643B (zh) 人体跌倒检测方法
CN106886216A (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN108985170A (zh) 基于三帧差分法及深度学习的输电线路悬挂物识别方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN108052886A (zh) 一种小麦条锈病菌夏孢子自动统计计数方法
CN109376740A (zh) 一种基于视频的水尺读数检测方法
CN104835182A (zh) 摄像机上实现动态目标实时跟踪的方法
CN104298969A (zh) 基于颜色与haar特征融合的人群规模统计方法
CN110378232A (zh) 改进的ssd双网络的考场考生位置快速检测方法
CN104183142A (zh) 一种基于图像视觉处理技术的车流量统计方法
CN105930770A (zh) 一种基于高斯过程隐变量模型的人体动作识别方法
CN109708658A (zh) 一种基于卷积神经网络的视觉里程计方法
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181214

Termination date: 20210511