CN107292913A - 一种基于视频的多阶段摔倒检测算法 - Google Patents
一种基于视频的多阶段摔倒检测算法 Download PDFInfo
- Publication number
- CN107292913A CN107292913A CN201710439937.2A CN201710439937A CN107292913A CN 107292913 A CN107292913 A CN 107292913A CN 201710439937 A CN201710439937 A CN 201710439937A CN 107292913 A CN107292913 A CN 107292913A
- Authority
- CN
- China
- Prior art keywords
- target
- mrow
- msub
- image
- binary image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本发明公开了一种基于视频的多阶段摔倒检测算法,包括以下步骤:(1)运动目标分离:通过运动目标分离方法将输入的视频帧序列图像生成二值化图像;(2)图像优化处理:对步骤(1)中生成的所述二值化图像进行形态学处理和矩形框优化生成目标二值化图像;(3)图像特征提取:对生成的目标二值化图像进行特征提取;(4)摔倒判断:根据提取的目标二值化图像的特征执行摔倒判决算法以判断目标的运动状态;摔倒判决算法包括以下步骤:1)遮挡发生判别;2)根据遮挡发生判别结果,执行相应的有遮挡摔倒或无遮挡摔倒判决算法。该方法可以区分目标是否被环境物体所遮挡,并根据遮挡程度的不同使用相应的摔倒判决算法来快速且精确的判断摔倒事件。
Description
技术领域
本发明涉及图像模式识别,具体涉及一种基于视频的多阶段摔倒检测算法。
背景技术
意外摔倒是威胁老年人健康生活的重要因素之一,由于近年来人口老龄化趋势的增大使得意外摔倒的及时预防与处理这一问题受到诸多研究者的关注。目前在摔倒识别领域主要有三大技术方案,即可穿戴传感器设备,环境传感器设备,与计算机视觉设备。其中可穿戴传感器设备是将传感器穿戴于测试者身上以采集运动过程中的信息,通过一定的算法判断该运动是否属于摔倒;环境传感器则是在墙壁,天花板等环境中安装音频传感器来采集空间内目标的声波信息来检测摔倒;计算机视觉设备则是从环境中采集视频源,依据图像处理的方法识别出场景中的目标,并使用一定的算法来判断目标是否发生摔倒。随着近年来图像处理、机器学习等领域的相关技术逐渐发展成熟,越来越多的研究者们热衷于计算机视觉的摔倒检测这一方法。
在基于计算机视觉的摔倒检测方法中,中国发明专利CN103903281A公开了一种提取宽高比,中心距离,面积比三类特征并进行阈值法判决的视频摔倒检测算法。该方法融合多种特征,因此对于摔倒事件的描述更为充分,然而阈值法作为一种摔倒判别算法,其单一的阈值不足以充分适应目标处于遮挡或没有遮挡等不同的环境。在中国发明专利CN103186902A中提出一种自适应的摔倒检测方法,其无需人为设定阈值而从场景采集的信息中不断更新阈值,具有更好的环境适应性,然而在特征提取方面其主要采集重心下移量不足以充分说明摔倒行为,且对于视频摔倒检测方法而言未分析由于环境物体遮挡对于摔倒检测的判决效果的影响。因此需要一种摔倒检测算法其能够适应有遮挡和无遮挡等不同的环境。
发明内容
鉴于已有技术存在的缺陷,本发明公开了一种基于视频的多阶段摔倒检测算法,其具有依据场景中目标被遮挡的面积大小不同判断出目标处于未遮挡、遮挡或过遮挡状态,并对未遮挡或遮挡两种状态执行不同的摔倒判决算法以判断目标是否摔倒,对于过遮挡状态则发出场景无目标的报警信号。
为实现上述目的,本发明的技术方案:
一种基于视频的多阶段摔倒检测算法,包括以下步骤:(1)运动目标分离:通过运动目标分离方法将摄像头采集的视频帧序列图像中的运动目标用白像素点表示,背景用黑像素点表示得到二值化图像;(2)图像优化处理:对步骤(1) 中得到的所述二值化图像进行形态学处理和矩形框优化处理得到目标二值化图像;(3)图像特征提取:对步骤(2)中得到的所述目标二值化图像进行特征提取,获得所述目标二值化图像的特征值;(4)摔倒判断:根据步骤(3)中获得的所述特征值执行摔倒判决算法以判断所述目标的运动状态,所述摔倒判决算法包括以下步骤:1)根据所述特征值进行遮挡发生判别,获得遮挡发生判别结果;2)根据所述遮挡发生判别结果,执行相应的有遮挡摔倒判决算法或无遮挡摔倒判决算法,得到所述目标的运动状态;
进一步地,所述矩形框优化处理具体方法如下:对所述形态学处理后的图像进行扫描,获取所述图像中的多个运动目标及所述多个运动目标的最小外接矩形框,对所述多个运动目标的最小外接矩形框的面积进行比较,将面积最大者确定为主要目标矩形框,提取所述主要目标矩形框中的图像获得目标二值化图像;
进一步地,所述图像特征提取包括宽高比α、垂直中心y0、地平线比y1以及遮挡率MRO;
所述宽高比α采用公式(1)进行计算:
其中,αt为第t帧所述目标二值化图像的宽高比,ht为第t帧所述目标二值化图像的高度值,wt为第t帧所述目标二值化图像的宽度值;
所述垂直中心y0采用公式(2)进行计算:
其中,y0_t为第t帧所述目标二值化图像的垂直中心,ymax_t与ymin_t为第t帧所述目标二值化图像的纵坐标最大、最小值;
所述地平线比y1采用公式(3)进行计算:
其中,y1_t为第t帧所述目标二值化图像的地平线比,n1为第t帧所述目标二值化图像中从ymax_t到基准地平线y=yh间目标像素个数,n2为第t帧所述目标二值化图像中从基准地平线y=yh到ymin_t间目标像素个数,所述yh为所述目标二值化图像垂直高度的处的纵坐标,所述基准地平线y=yh为图像中的一条水平线,用于表示图像场景中地面与室内墙体相接的地平线,其通过调整摄像头位置与角度可实现基准地平线与实际场景的地平线基本重合;
所述遮挡率MRO定义如公式(4)所示:
其中n为当前帧所述目标二值化图像中的目标白点个数,n0为其前一帧所述目标二值化图像中目标白点个数;
进一步地,根据所述遮挡率MRO值与设定的阈值关系进行所述遮挡发生判别,所述设定的阈值包括遮挡阈值和过遮挡阈值;当MRO值大于等于0且小于遮挡阈值时,判断为未遮挡;当MRO值大于等于遮挡阈值且小于过遮挡阈值时,判断为发生遮挡;当MRO值大于等于过遮挡阈值时,判断为过遮挡;其中,所述遮挡阈值的设定过程具体如下:1)分析引起MRO产生的事件,所述产生MRO的事件包括身体面积重叠、GMM模型背景更新以及静物遮挡;2)通过实验采集所述事件的y0、y1和MRO值;3)根据所述采集的y0、y1和MRO值绘制相应事件的时间-幅值变化曲线;4)比较所述遮挡事件与所述身体面积重叠、GMM模型背景更新事件的时间-幅值变化曲线中的MRO值以确定遮挡阈值;所述过遮挡阈值根据所述图像中运动目标的最小外接矩形框面积进行设定;
进一步地,所述遮挡阈值为0.4,所述过遮挡阈值为0.8;
进一步地,所述无遮挡摔倒判决算法包括状态阈值判决、运动阈值判决和 SVM分类器判决三个阶段的判决过程;在所述状态阈值判决过程中,若α≥2.5且 y0≥1.5时,判断为非摔倒状态,否则执行运动状态阈值判决;在所述运动状态阈值判决中,定义了运动状态阈值TH如公式(5)所示:
TH=Δα×Δy0+Δα×Δy1+Δy0×Δy1 (5)
其中,Δα,Δy0,Δy1分别为当前帧所述目标二值化图像的宽高比α、垂直中心y0以及地平线比y1相对于其k帧前的所述目标二值化图像相应参数的变化量,并根据运动状态阈值TH值进行摔倒判决,若所述TH值小于设定阈值则判别为非摔倒状态,否则进入SVM分类器判决;所述SVM分类器判决如下:SVM分类器训练集的正样本为摔倒,负样本由坐、弯腰、蹲按3:1:1的比例构成,正负样本比例近似1:1,并通过交叉验证方法获得SVM分类器的最优参数,并在所述最优参数下用所述SVM分类器进行摔倒判决;
进一步地,所述有遮挡摔倒判决算法是通过对垂直中心y0和地平线比y1进行阈值判断以判断目标是否摔倒,当y0≤1且y1≤0.8时判定为遮挡摔倒,否则判断为遮挡非摔倒状态。
本发明具有以下有益效果:1)本发明的摔倒判决算法可以实现有遮挡摔倒和无遮挡摔倒两种环境的摔倒判断;2)本发明的图像优化处理包括形态学处理和矩形框优化,通过形态学处理可以得到消除了噪点、平滑了目标图像边缘以及填充了目标中小空洞的清晰图像,通过矩形框优化可以排除场景中的干扰目标,得到稳定的处理目标;3)对图像进行宽高比α、垂直中心y0以及地平线比y1等特征参数提取,可以更精确的描述目标的运动状态;4)无遮挡摔倒判决算法包括运算高效的状态阈值判决、运动阈值判决和准确率高的SVM分类器判决三个阶段的判决过程,可以快速且准确的判断目标的运动状态。
附图说明
图1是本发明的摔倒检测算法总流程图;
图2是本发明的摔倒检测算法具体过程流程图;
图3是本发明的基准地平线的定义示意图;
图4是本发明的摔倒判决算法的一个实施例的流程图;
图5中(a)、(b)、(c)和(d)分别是运动目标处于蹲、弯腰、消隐和行走中发生遮挡时对y0、y1和MRO进行实验数据采集并根据实验数据绘制幅度与时间曲线图;
图6是本发明的实施例中摔倒过程中α、y0、y1的状态变化曲线图;
图7中(a)、(b)、(c)分别是本发明的实施例中摔倒过程中k取1~3下α、 y0、y1的变化率曲线;
图8是本发明的实施例中三次摔倒中对α取5级db4小波分解;
图9是本发明的实施例中对α做2级重建后k取1~4的变化率曲线;
图10是本发明的实施例中对TH取值的实验曲线图,其中,(a)为3次摔倒行为下TH值变化曲线;(b)为5次坐行为下TH值变化曲线;(c)为5次弯腰行为下TH值变化曲线;(d)为5次蹲行为下TH值变化曲线。
具体实施方式
为使本发明的技术方案和优点更加清楚,下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚完整的描述。
如图1所示为执行本发明的摔倒检测算法的总流程,其包括用于输入摄像头采集的视频图像的输入视频帧序列过程和用于对输入的视频图像执行摔倒检测算法以判断目标的运动状态的过程,摔倒检测算法包括运动目标分离、图形优化处理、图像特征提取、摔倒判断等步骤,摔倒检测算法总流程还包括根据是否摔倒执行摔倒报警提示或返回输入视频帧序列以进行下一次的摔倒检测等过程,如果根据摔倒检测算法判断目标摔倒则执行摔倒警报提示,如果未摔倒则返回输入视频帧序列以进行下一次摔倒检测。
其中,如图2所示,摔倒检测算法具体过程如下:
步骤1:首先采用运动目标分离方法(背景减除法、帧间差法、GMM或光流法等)将输入的原始视频帧序列图像中的运动目标(图像中可能既包括要进行监视的运动目标,也可能包括宠物等其它干扰运动目标)用白像素点表示、背景用黑像素点表示以生成二值化图像使得目标与背景分离。优选地,运动目标分离方法采用GMM方法,其适用于背景相对变化较少的环境,且具有一定的背景更新速率,适用于室内居住环境。
步骤2:对运动目标分离后的二值化图像进行图像优化处理,图像优化处理包括形态学处理和矩形框优化。形态学处理是通过腐蚀、膨胀等方法将步骤1 中生成的二值化图像中的前景图像(前景图像就是二值化图像中的白像素点所形成的图像,表示场景中运动物体所形成的图像,是相对于静止环境的背景图像而言的)中的噪点滤除、平滑目标图像边缘和填充目标图像中的小空洞,以生成清晰的图像源用于后续处理。矩形框优化用于消除图像中的运动干扰目标,其具体过程如下:对二值化图像从左至右按列扫描当出现白像素点时记录此时纵坐标为矩形框左边界起点,而后依序扫描后面各列直到某列没有白像素点时记录该列为矩形框右边界终点。然后在左右边界内由上至下按行扫描并记录出现白像素点所在行数的最大值与最小值作为矩形框的上下边界,获取目标的最小外接矩形框。将此矩形框设为目标矩形1,随后从目标矩形1的右边界的下一列开始重复上述扫描过程得到目标矩形2,比较两个矩形面积大小将面积较大者赋值给目标矩形1,随后从目标矩形2右边界的下一列开始重复上述过程,直到扫描至图像最后一列结束。这样遍历一幅图可以扫描出图像中的所有运动目标,并通过对所有运动目标的最小外接矩形进行面积比较可获得外接矩形面积最大的运动目标,并将该运动目标作为后续处理的目标,提取面积最大的矩形框中的图像获得目标二值化图像,其它目标则视为干扰目标不予处理。在该矩形框优化过程中,先按列后按行扫描是因为正常情况下人站立或坐下时竖直方向扫描到白像素点的可能性大,使矩形框更稳定。其扫描过程也可以先按行后按列,但效果不如前面所述的扫描方法。
步骤3:对步骤2中的目标二值化图像进行特征提取,特征提取包括宽高比α、垂直中心y0、地平线比y1以及遮挡率MRO;
所述宽高比α采用公式(1)进行计算:
其中,αt为第t帧所述目标二值化图像的宽高比,ht为第t帧所述目标二值化图像的高度值,wt为第t帧所述目标二值化图像的宽度值;
所述垂直中心y0采用公式(2)进行计算:
其中,y0_t为第t帧所述目标二值化图像的垂直中心,ymax_t与ymin_t为第t帧所述目标二值化图像的纵坐标最大、最小值;
如图3所示,在图像中设定了一条y=yh的基准水平线,一般取图像高度的处纵坐标值,如图中为yh为坐标值120的水平线,基准水平线用于表示图像场景中地面与室内墙体相接的地平线,其通过调整摄像头位置与角度可实现基准地平线与实际场景的地平线基本重合(即图中虚线与实线的关系),
所述地平线比y1采用公式(3)进行计算:
其中,y1_t为第t帧所述目标二值化图像的地平线比,n1为第t帧所述目标二值化图像中从ymax_t到基准地平线y=yh间目标像素个数,n2为第t帧所述目标二值化图像中从基准地平线y=yh到ymin_t间目标像素个数;地平线比y1可用于描述目标接近地面的程度,当目标站立行走(如图3所示)时仅腿部图像位于地平线之下,则y1的取值往往大于1,而摔倒时,身体躺在地面上,地平线以上的目标像素很少,使y1小于1且接近于0。因此该特征可描述目标接近于地面的程度,值越小说明目标越靠近地面。
所述遮挡率MRO定义如公式(4)所示:
其中n为当前帧所述目标二值化图像中的目标白点个数,n0为其前一帧所述目标二值化图像中目标白点个数。
步骤4:执行摔倒判断,如图2流程图中的摔倒判决算法部分所示,在摔倒判断步骤中首先执行遮挡发生判别,根据步骤3中得到的遮挡率MRO进行判断,其具体判断过程如下:将遮挡率MRO值与设定的阈值进行比较,设定的阈值包括遮挡阈值和过遮挡阈值;当MRO值大于等于0且小于遮挡阈值时,判断为未遮挡;当MRO值大于等于遮挡阈值且小于过遮挡阈值时,判断为发生遮挡;当MRO 值大于等于过遮挡阈值时,判断为过遮挡,其中,所述遮挡阈值的设定过程具体如下:1)分析引起MRO产生的事件,所述产生MRO的事件包括身体面积重叠、 GMM模型背景更新以及静物遮挡;2)通过实验采集所述事件的y0、y1和MRO值; 3)根据所述采集的y0、y1和MRO值绘制相应事件的时间-幅值变化曲线;4)比较所述遮挡事件与所述身体面积重叠、GMM模型背景更新事件的时间-幅值变化曲线中的MRO值以确定遮挡阈值;所述过遮挡阈值根据所述图像中运动目标的最小外接矩形框面积进行设定。实验中发现引起MRO变化的主要因素包括三个方面:(1)在身体面积重叠的行为(如蹲、弯腰等过程)中躯干部分图像被腿部而非环境物体所遮挡,这引起MRO产生;(2)由于GMM模型背景更新特性,当人体不动时会逐渐消隐成为背景,即使未被遮挡也有MRO产生;(3)由于静物遮挡而使MRO产生,此类为实际中的遮挡情况。单独使用MRO可能把上述三类情况皆判别为遮挡,而真实的遮挡只有第三类情况,因此需要设置一个遮挡阈值以排除前面两种情况的干扰。在文献[1]中,其使用MRO判决摔倒时定义0.5以下摔倒检测有效,0.5以上摔倒检测无效,本发明对其进行改进,如图5中(a)、 (b)、(c)和(d)所示分别是根据实验采集的运动目标处于蹲、弯腰、消隐和行走中发生遮挡过程中y0、y1和MRO的数据,并根据采集的数据绘制的时间与幅度曲线图,从图5中可以看出无论是弯腰下蹲等身体折叠,还是消隐MRO基本维持在0.4以下,即图中纵坐标为2虚线以下。而行走中发生遮挡时,MRO主要因遮挡面积的大小而改变,行走中被静物遮挡时除MRO会有值之外,y0和y1都显著增大,而其他行为中很少有y0和y1显著增大的情况,据此可以判断正常行走时发生遮挡,并根据图5可以看出因遮挡发生MRO对应的值将大于0.4,因此根据实验结果将0.4设为遮挡阈值。过遮挡阈值设置为0.8也是实验结果,因为扫描运动目标最小矩形框时的条件是运动目标最小矩形框面积大小介于图像尺寸的1/100与2/3之间。例如图像尺寸为640×480,若矩形框面积小于640 ×480/100=3072,则认为目标图像信息过小,无法判决摔倒。实验结果表明当 MRO>0.8时矩形框的面积都小于3072,因此确定0.8为有遮挡和过遮挡区分的阈值。因此如图4所示,当MRO<0.4时判断为无遮挡;当0.4≤MRO<0.8时判断为有遮挡,当0.8≤MRO≤1时则判断过遮挡(场景中目标消失)。
然后,根据遮挡发生判别的结果执行相应的摔倒判决算法,在本实施例中,当MRO<0.4时执行无遮挡判决算法,无遮挡摔倒判决算法包括状态阈值判决、运动阈值判决和SVM分类器判决三个阶段的判决过程。其中,状态阈值判决是通过宽高比α和垂直中心y0的值对目标状态进行判断(宽高比α和垂直中心y0的阈值确定是根据根据大量实验数据所得),本实施例中选取宽高比α的阈值为2.5、垂直中心y0的阈值为1.5,当α≥2.5且y0≥1.5,可确定目标处于站立行走状态,将其判断为非摔倒状态状态,否则,进入运动阈值判决。运动状态阈值TH判决的计算公式如(5)所示:
TH=Δα×Δy0+Δα×Δy1+Δy0×Δy1 (5)
其中,Δα,Δy0,Δy1分别为当前帧目标二值化图像中的宽高比α、垂直中心y0以及地平线比y1相对于前k帧目标二值化图像相应参数的变化量(本实施例选取k=3),若TH<3则判别为非摔倒状态,否则执行SVM分类器判决。通过运动阈值判决可以将运动变化不明显的坐,弯腰,蹲,躺等动作判定为非摔倒状态。
在本实施例中,帧间隔k取3的实验数据选取过程如下:
图6为一段时间内发生三次摔倒行为中α、y0、y1的状态变化,图中纵向虚线对应于三次摔倒时刻。图7(a)、(b)、(c)分别为这三次摔倒过程中k取1~ 3求得的特征变化率曲线,纵向虚线仍对应于三次摔倒时刻。由图7可见随着k 值增大,摔倒时刻的运动特征曲线的尖峰越明显,但由于曲线数据源是目标运动过程的随机信号,非摔倒时刻的曲线波动也可能很剧烈。因此需要通过数学方法来分析得到合理的k值。在帧率为5fps的条件下采用小波变换来对不同k值下摔倒行为的变化率进行研究。在此以α为例对输入序列进行离散小波分解,取小波函数为4阶Daubechies函数,分解级数为5,图8为三次摔倒中对α取5 级db4小波分解的各级近似系数结果,s表示α的原始信号,其三次负尖峰表示三次摔倒,a1~a5则是5级小波分解每一级的输出波形。可见随着级数的增加波形的高频分量越少且延时越大,3~5级近似波形与原信号比延时大且包络信息不完整,1级近似波形又掺杂少量冗余的高频分量,因此2级近似能更好反映原信号的摔倒特性且有效滤除干扰。图9是分解后的函数进行2级重建后取k为1~ 4得到输出波形,以此确定不同k值的变化率。可见,当k≥3时摔倒变化明显且k 越大越显著,但延时也越大,同时k增加会占用更多的内存,因此本算法中取 k=3。
在确定3帧间隔的运动阈值后对摔倒与其他行为进行实验来绘制运动阈值 TH曲线,结果如图10,其中(a)3次摔倒行为下TH值变化曲线、(b)5次坐行为下TH值变化曲线、(c)5次弯腰行为下TH值变化曲线以及(d)5次蹲行为下TH 值变化曲线所示:从图中可以看出,将运动阈值TH设置为3可将部分运动变化幅度不明显的行为(图中方框标记)判决为未摔倒,而对于摔倒而言实际测试的TH明显大于3,不会被误判,因此设定3是为了将运动变化小的行为判决为未摔倒进一步减少了SVM分类器的输入数据。
SVM分类器判决选用具有径向基核函数的SVM分类器对状态特征进行分类判决,SVM分类器的训练集包括两类数据,即由摔倒组成的正样本和由坐、弯腰、蹲按3:1:1的比例纳入的负样本,正负样本比例近似1:1。以此训练集使用交叉验证的方法来获得SVM分类器的最优参数,并在此参数下用该分类器对测试集中的目标二值化图像进行摔倒判决。通过状态阈值判决、运动阈值判决和SVM 分类器判决三个阶段的判决过程对目标二值图像进行摔倒判决,既可以迅速的将站立和运动变化不明显的坐、弯腰、蹲和躺判断为非摔倒状态以减少计算量,又可以将运动状态类似于摔倒的坐、弯腰、蹲和躺等动作精确的判别为非摔倒状态以提高判别精度。
当0.4≤MRO<0.8时判断为有遮挡状态,执行遮挡摔倒判决算法,遮挡摔倒判决算法中考虑了垂直中心y0以及地平线比y1两个特征,而忽略掉宽高比α,因为遮挡发生使得α这一特征受遮挡面积大小的影响而不可靠。在遮挡摔倒判决算法中,综合考虑各类行为的状态特征均值与实验测试效果,本实施例中确定当y0≤1 且y1≤0.8时判定为遮挡摔倒,否则系统给出遮挡非摔倒状态的结果。
如图1所示,本发明的摔倒检测算法是总流程还包括根据摔倒判断的结果执行相应的操作,如果根据摔倒判决算法得出摔倒结论则进行报警提示,如果根据摔倒判决算法得出非摔倒状态结论则重新进行上述各步骤以进行下一帧图像的判断。
文献[1]:H.Rajabi,M.Nahvi.An intelligent video surveillance system forfall and anesthesia detection for elderly and patients[C]. PatternRecognition and Image Analysis(IPRIA),2015 2nd International Conference on,Rasht,2015:1-6。
Claims (7)
1.一种基于视频的多阶段摔倒检测算法,包括以下步骤:
(1)运动目标分离:通过运动目标分离方法将摄像头采集的视频帧序列图像中的运动目标用白像素点表示,背景用黑像素点表示得到二值化图像;
(2)图像优化处理:对步骤(1)中得到的所述二值化图像进行形态学处理和矩形框优化处理得到目标二值化图像;
(3)图像特征提取:对步骤(2)中得到的所述目标二值化图像进行特征提取,获得所述目标二值化图像的特征值;
(4)摔倒判断:根据步骤(3)中获得的所述特征值执行摔倒判决算法以判断所述目标的运动状态,所述摔倒判决算法包括以下步骤:1)根据所述特征值进行遮挡发生判别,获得遮挡发生判别结果;2)根据所述遮挡发生判别结果,执行相应的有遮挡摔倒判决算法或无遮挡摔倒判决算法,得到所述目标的运动状态。
2.根据权利要求1所述的基于视频的多阶段摔倒检测算法,其特征在于:所述矩形框优化处理具体方法如下:对所述形态学处理后的图像进行扫描,获取所述图像中的多个运动目标及所述多个运动目标的最小外接矩形框,对所述多个运动目标的最小外接矩形框的面积进行比较,将面积最大者确定为主要目标矩形框,提取所述主要目标矩形框中的图像获得目标二值化图像。
3.根据权利要求1所述的基于视频的多阶段摔倒检测算法,其特征在于:所述图像特征提取包括宽高比α、垂直中心y0、地平线比y1以及遮挡率MRO;
所述宽高比α采用公式(1)进行计算:
<mrow>
<msub>
<mi>&alpha;</mi>
<mi>t</mi>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>h</mi>
<mi>t</mi>
</msub>
<msub>
<mi>w</mi>
<mi>t</mi>
</msub>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,αt为第t帧所述目标二值化图像的宽高比,ht为第t帧所述目标二值化图像的高度值,wt为第t帧所述目标二值化图像的宽度值;
所述垂直中心y0采用公式(2)进行计算:
<mrow>
<msub>
<mi>y</mi>
<mrow>
<mn>0</mn>
<mo>_</mo>
<mi>t</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>y</mi>
<mrow>
<mi>max</mi>
<mo>_</mo>
<mi>t</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>y</mi>
<mrow>
<mi>min</mi>
<mo>_</mo>
<mi>t</mi>
</mrow>
</msub>
</mrow>
<mn>2</mn>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,y0_t为第t帧所述目标二值化图像的垂直中心,ymax_t与ymin_t为第t帧所述目标二值化图像的纵坐标最大、最小值;
所述地平线比y1采用公式(3)进行计算:
<mrow>
<msub>
<mi>y</mi>
<mrow>
<mn>1</mn>
<mo>_</mo>
<mi>t</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>n</mi>
<mn>1</mn>
</msub>
<msub>
<mi>n</mi>
<mn>2</mn>
</msub>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,y1_t为第t帧所述目标二值化图像的地平线比,n1为第t帧所述目标二值化图像中从ymax_t到基准地平线y=yh间目标像素个数,n2为第t帧所述二值化图像中从基准地平线y=yh到ymin_t间目标像素个数,所述yh为所述目标二值化图像垂直高度的处的纵坐标,所述基准地平线y=yh为图像中的一条水平线,用于表示图像场景中地面与室内墙体相接的地平线,其通过调整摄像头位置与角度可实现基准地平线与实际场景的地平线基本重合;
所述遮挡率MRO定义如公式(4)所示:
<mrow>
<mi>M</mi>
<mi>R</mi>
<mi>O</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mi>n</mi>
<msub>
<mi>n</mi>
<mn>0</mn>
</msub>
</mfrac>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>&le;</mo>
<msub>
<mi>n</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>></mo>
<msub>
<mi>n</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中n为当前帧所述目标二值化图像中的目标白点个数,n0为其前一帧所述目标二值化图像中目标白点个数。
4.根据权利要求3所述的基于视频的多阶段摔倒检测算法,其特征在于:根据所述遮挡率MRO值与设定的阈值关系进行所述遮挡发生判别,所述设定的阈值包括遮挡阈值和过遮挡阈值;当MRO值大于等于0且小于遮挡阈值时,判断为未遮挡;当MRO值大于等于遮挡阈值且小于过遮挡阈值时,判断为发生遮挡;当MRO值大于等于过遮挡阈值时,判断为过遮挡;其中,所述遮挡阈值的设定过程具体如下:1)分析引起MRO产生的事件,所述产生MRO的事件包括身体面积重叠、GMM模型背景更新以及静物遮挡;2)通过实验采集所述事件的y0、y1和MRO值;3)根据所述采集的y0、y1和MRO值绘制相应事件的时间-幅值变化曲线;4)比较所述遮挡事件与所述身体面积重叠、GMM模型背景更新事件的时间-幅值变化曲线中的MRO值以确定遮挡阈值;所述过遮挡阈值根据所述图像中运动目标的最小外接矩形框面积进行设定。
5.根据权利要求4所述的基于视频的多阶段摔倒检测算法,其特征在于:所述遮挡阈值为0.4,所述过遮挡阈值为0.8。
6.根据权利要求3所述的基于视频的多阶段摔倒检测算法,其特征在于:所述无遮挡摔倒判决算法包括状态阈值判决、运动阈值判决和SVM分类器判决三个阶段的判决过程;
在所述状态阈值判决过程中,若α≥2.5且y0≥1.5时,判断为非摔倒状态,否则执行运动状态阈值判决;
在所述运动状态阈值判决中,定义了运动状态阈值TH如公式(5)所示:
TH=Δα×Δy0+Δα×Δy1+Δy0×Δy1 (5)
其中,Δα,Δy0,Δy1分别为当前帧所述目标二值化图像的宽高比α、垂直中心y0以及地平线比y1相对于其k帧前的所述目标二值化图像相应参数的变化量,并根据运动状态阈值TH值进行摔倒判决,若所述TH值小于设定阈值则判别为非摔倒状态,否则进入SVM分类器判决;
所述SVM分类器判决如下:SVM分类器训练集的正样本为摔倒,负样本由坐、弯腰、蹲按3:1:1的比例构成,正负样本比例近似1:1,并通过交叉验证方法获得SVM分类器的最优参数,并在所述最优参数下用所述SVM分类器进行摔倒判决。
7.根据权利要求3所述的基于视频的多阶段摔倒检测算法,其特征在于:所述有遮挡摔倒判决算法是通过对垂直中心y0和地平线比y1进行阈值判断以判断目标是否摔倒,当y0≤1且y1≤0.8时判定为遮挡摔倒,否则判断为遮挡非摔倒状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710439937.2A CN107292913B (zh) | 2017-06-12 | 2017-06-12 | 一种基于视频的多阶段摔倒检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710439937.2A CN107292913B (zh) | 2017-06-12 | 2017-06-12 | 一种基于视频的多阶段摔倒检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107292913A true CN107292913A (zh) | 2017-10-24 |
CN107292913B CN107292913B (zh) | 2020-06-23 |
Family
ID=60096553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710439937.2A Active CN107292913B (zh) | 2017-06-12 | 2017-06-12 | 一种基于视频的多阶段摔倒检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107292913B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108664931A (zh) * | 2018-05-11 | 2018-10-16 | 中国科学技术大学 | 一种多阶段视频动作检测方法 |
CN108737785A (zh) * | 2018-05-21 | 2018-11-02 | 北京奇伦天佑创业投资有限公司 | 基于tof 3d摄像机的室内跌倒自动检测系统 |
CN108764131A (zh) * | 2018-05-25 | 2018-11-06 | 哈尔滨理工大学 | 一种基于视频处理的自适应阈值多目标摔倒检测方法 |
CN109740533A (zh) * | 2018-12-29 | 2019-05-10 | 北京旷视科技有限公司 | 遮挡比例确定方法、装置和电子系统 |
CN110207702A (zh) * | 2019-04-22 | 2019-09-06 | 北京云迹科技有限公司 | 目标定位的方法及装置 |
CN110390313A (zh) * | 2019-07-29 | 2019-10-29 | 哈尔滨工业大学 | 一种暴力动作检测方法及系统 |
CN112183446A (zh) * | 2020-10-14 | 2021-01-05 | 重庆邮电大学 | 一种基于独立成分分析的室内实时摔倒检测方法 |
CN112535476A (zh) * | 2020-12-01 | 2021-03-23 | 业成科技(成都)有限公司 | 跌倒侦测系统及其方法 |
CN112861686A (zh) * | 2021-02-01 | 2021-05-28 | 内蒙古大学 | 一种基于svm的图像目标检测方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722715A (zh) * | 2012-05-21 | 2012-10-10 | 华南理工大学 | 一种基于人体姿势状态判决的跌倒检测方法 |
US20150020571A1 (en) * | 2013-07-18 | 2015-01-22 | Vital Connect, Inc. | Fall detection using machine learning |
CN104680525A (zh) * | 2015-02-12 | 2015-06-03 | 南通大学 | 基于Kinect深度图像的人体摔倒自动检测方法 |
CN105336102A (zh) * | 2015-11-25 | 2016-02-17 | 青岛理工大学 | 摔倒检测定位方法和装置 |
CN105426814A (zh) * | 2015-10-30 | 2016-03-23 | 苏州领泰数字医疗设备有限公司 | 一种基于手机的老人跌倒检测方法 |
CN105469105A (zh) * | 2015-11-13 | 2016-04-06 | 燕山大学 | 一种基于视频监控的香烟烟雾检测方法 |
CN105913003A (zh) * | 2016-04-07 | 2016-08-31 | 国家电网公司 | 一种多特征多模型的行人检测方法 |
CN106571014A (zh) * | 2016-10-24 | 2017-04-19 | 上海伟赛智能科技有限公司 | 一种在视频中识别异常动作的方法和系统 |
-
2017
- 2017-06-12 CN CN201710439937.2A patent/CN107292913B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722715A (zh) * | 2012-05-21 | 2012-10-10 | 华南理工大学 | 一种基于人体姿势状态判决的跌倒检测方法 |
US20150020571A1 (en) * | 2013-07-18 | 2015-01-22 | Vital Connect, Inc. | Fall detection using machine learning |
CN104680525A (zh) * | 2015-02-12 | 2015-06-03 | 南通大学 | 基于Kinect深度图像的人体摔倒自动检测方法 |
CN105426814A (zh) * | 2015-10-30 | 2016-03-23 | 苏州领泰数字医疗设备有限公司 | 一种基于手机的老人跌倒检测方法 |
CN105469105A (zh) * | 2015-11-13 | 2016-04-06 | 燕山大学 | 一种基于视频监控的香烟烟雾检测方法 |
CN105336102A (zh) * | 2015-11-25 | 2016-02-17 | 青岛理工大学 | 摔倒检测定位方法和装置 |
CN105913003A (zh) * | 2016-04-07 | 2016-08-31 | 国家电网公司 | 一种多特征多模型的行人检测方法 |
CN106571014A (zh) * | 2016-10-24 | 2017-04-19 | 上海伟赛智能科技有限公司 | 一种在视频中识别异常动作的方法和系统 |
Non-Patent Citations (6)
Title |
---|
APICHET YAJAI1 等: "Fall Detection using Directional Bounding Box", 《2015 12TH INTERNATIONAL JOINT CONFERENCE ON COMPUTER SCIENCE AND SOFTWARE ENGINEERING (JCSSE)》 * |
HAMID RAJABI 等: "An Intelligent Video Surveillance System for Fall and Anesthesia Detection For Elderly and Patients", 《2015 2ND INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION AND IMAGE ANALYSIS (IPRIA 2015)》 * |
YIXIAO YUN 等: "Fall Detection in RGB-D Videos for Elderly Care", 《2015 17TH INTERNATIONAL CONFERENCE ON E-HEALTH NETWORKING, APPLICATION & SERVICES (HEALTHCOM)》 * |
孙晓雯 等: "基于阈值与PSO-SVM的人体跌倒检测研究", 《计算机工程》 * |
茅莉磊 等: "一种人体跌倒检测方法", 《计算机系统应用》 * |
裴利然 等: "基于支持向量机的跌倒检测算法研究", 《光学精密工程》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108664931A (zh) * | 2018-05-11 | 2018-10-16 | 中国科学技术大学 | 一种多阶段视频动作检测方法 |
CN108664931B (zh) * | 2018-05-11 | 2022-03-01 | 中国科学技术大学 | 一种多阶段视频动作检测方法 |
CN108737785A (zh) * | 2018-05-21 | 2018-11-02 | 北京奇伦天佑创业投资有限公司 | 基于tof 3d摄像机的室内跌倒自动检测系统 |
CN108737785B (zh) * | 2018-05-21 | 2020-07-03 | 北京奇伦天佑创业投资有限公司 | 基于tof 3d摄像机的室内跌倒自动检测系统 |
CN108764131B (zh) * | 2018-05-25 | 2021-11-30 | 哈尔滨理工大学 | 一种基于视频处理的自适应阈值多目标摔倒检测方法 |
CN108764131A (zh) * | 2018-05-25 | 2018-11-06 | 哈尔滨理工大学 | 一种基于视频处理的自适应阈值多目标摔倒检测方法 |
CN109740533A (zh) * | 2018-12-29 | 2019-05-10 | 北京旷视科技有限公司 | 遮挡比例确定方法、装置和电子系统 |
CN110207702A (zh) * | 2019-04-22 | 2019-09-06 | 北京云迹科技有限公司 | 目标定位的方法及装置 |
CN110207702B (zh) * | 2019-04-22 | 2022-01-07 | 北京云迹科技有限公司 | 目标定位的方法及装置 |
CN110390313A (zh) * | 2019-07-29 | 2019-10-29 | 哈尔滨工业大学 | 一种暴力动作检测方法及系统 |
CN110390313B (zh) * | 2019-07-29 | 2023-03-28 | 哈尔滨工业大学 | 一种暴力动作检测方法及系统 |
CN112183446A (zh) * | 2020-10-14 | 2021-01-05 | 重庆邮电大学 | 一种基于独立成分分析的室内实时摔倒检测方法 |
CN112183446B (zh) * | 2020-10-14 | 2022-09-23 | 重庆邮电大学 | 一种基于独立成分分析的室内实时摔倒检测方法 |
CN112535476A (zh) * | 2020-12-01 | 2021-03-23 | 业成科技(成都)有限公司 | 跌倒侦测系统及其方法 |
CN112535476B (zh) * | 2020-12-01 | 2022-11-22 | 业成科技(成都)有限公司 | 跌倒侦测系统及其方法 |
CN112861686A (zh) * | 2021-02-01 | 2021-05-28 | 内蒙古大学 | 一种基于svm的图像目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107292913B (zh) | 2020-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107292913A (zh) | 一种基于视频的多阶段摔倒检测算法 | |
CN106874894B (zh) | 一种基于区域全卷积神经网络的人体目标检测方法 | |
CN106682635B (zh) | 一种基于随机森林特征选择的烟雾检测方法 | |
CN103279737B (zh) | 一种基于时空兴趣点的打架行为检测方法 | |
CN102136059B (zh) | 一种基于视频分析的烟雾检测方法 | |
CN109670396A (zh) | 一种室内老人跌倒检测方法 | |
CN104361351B (zh) | 一种基于区域统计相似度的合成孔径雷达图像分类方法 | |
CN106529398A (zh) | 基于级联结构的快速精准人脸检测方法 | |
CN106056079A (zh) | 一种图像采集设备及人脸五官的遮挡检测方法 | |
CN105893946A (zh) | 一种正面人脸图像的检测方法 | |
CN110390673B (zh) | 一种监控场景下基于深度学习的香烟自动检测方法 | |
CN110210482B (zh) | 改进类别不平衡的目标检测方法 | |
CN109255326A (zh) | 一种基于多维信息特征融合的交通场景烟雾智能检测方法 | |
CN108647575A (zh) | 基于光学视觉分析的溺水预警方法 | |
KR101030257B1 (ko) | 카메라의 영상을 이용한 보행자 계수 방법 및 장치 | |
US20220309635A1 (en) | Computer vision-based anomaly detection method, device and electronic apparatus | |
CN111046827A (zh) | 一种基于卷积神经网络的视频烟雾检测方法 | |
CN105046218A (zh) | 一种基于串并行处理的多特征交通视频烟雾检测方法 | |
CN103049748B (zh) | 行为监测方法及装置 | |
CN115171218A (zh) | 一种基于图像识别技术的物资送样异常行为识别系统 | |
CN101520850A (zh) | 物体检测分类器的构造方法和物体检测方法与相应系统 | |
CN106943116B (zh) | 一种婴幼儿视力自动检测方法 | |
CN110390313A (zh) | 一种暴力动作检测方法及系统 | |
CN113129214A (zh) | 一种基于生成对抗网络的超分辨率重建方法 | |
Widynski et al. | A contrario edge detection with edgelets |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |