CN110555394A - 基于人体形体特征的跌倒风险评估方法 - Google Patents
基于人体形体特征的跌倒风险评估方法 Download PDFInfo
- Publication number
- CN110555394A CN110555394A CN201910764031.7A CN201910764031A CN110555394A CN 110555394 A CN110555394 A CN 110555394A CN 201910764031 A CN201910764031 A CN 201910764031A CN 110555394 A CN110555394 A CN 110555394A
- Authority
- CN
- China
- Prior art keywords
- human body
- image
- posture
- person
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012502 risk assessment Methods 0.000 title claims abstract description 28
- 230000037237 body shape Effects 0.000 title claims abstract description 22
- 230000002159 abnormal effect Effects 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 238000012706 support-vector machine Methods 0.000 claims description 17
- 230000007797 corrosion Effects 0.000 claims description 15
- 238000005260 corrosion Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000003628 erosive effect Effects 0.000 claims 4
- 238000009432 framing Methods 0.000 claims 1
- 230000001771 impaired effect Effects 0.000 claims 1
- 230000002093 peripheral effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 208000012639 Balance disease Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000472 traumatic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开的基于人体形体特征的跌倒风险评估方法,首先按照与人体行走时正面呈90°的角度拍摄正常人和非正常人在搭建好的模拟现实的虚拟场景中的人体行走姿态视频;然后,将采集到的正常人和非正常人的行走姿态视频分别提取成图像,对提取的图像进行预处理,再分别提取预处理后正常人和有跌倒风险的人图像的人体形体宽高比、人体形体姿态面积比和SURF特征;最后,人体形体宽高比、人体形体姿态面积比和SURF特征融合,通过SVM进行训练,判断并分类出容易跌倒的人群。本发明公开的方法通过采集人体形态的特征,得到人体跌倒评估模型,判断并分类出容易跌倒的人群,最终评估的准确率在86%以上。
Description
技术领域
本发明属于数字图像处理技术领域,具体涉及一种基于人体形体特征的跌倒风险评估方法。
背景技术
跌倒不仅会带来身体创伤,还会带来心理创伤。有些人害怕再次跌倒,会表现出消极、害怕、抑郁以及对新事物的抗拒和畏惧的行为,这些行为表现不仅会限制自己的活动,还会丧失自信心,由此带来的恶性循环甚至永久性残疾,会对人生理和心理造成双重打击,反而使得跌倒的可能性增加,使他们害怕独处,从而减少社会活动和外出锻炼的时间,对人的身体健康和心理健康极其不利。虽然现在的医疗科技水平一直在进步,但依旧无法防范跌倒的发生,因此,跌到风险的评估显得尤为重要,能让看护人员和医护人员快速发现并及时救治,减轻人对跌倒的恐惧和心理负担。
传统的跌倒风险评估方法主要有基于可穿戴传感器的跌到检测方法,包括加速度计、压力传感器、螺旋仪等,将这些传感器嵌入到日常的配件中,自动收集数据,对数据进行分析处理识别跌倒。该设备成本比较低,简单易操作,但是这种设备需要安装在人身上,一方面会对人体活动带来不便,另一方面没有佩戴设备就无法检测跌倒,局限性较大;基于场景传感器的跌到风险评估方法,主要采用的是振动传感器、声音传感器和压力传感器,在某些情况下,人无法佩戴传感设备,因此可以利用人跌倒时与地面产生的压力来分析。这种方法的优势在于无需在身上穿戴任何设备,方法简便,但是场景传感器对外界刺激反应灵敏,易受周边环境的干扰,任何压力、声音或者震动可能都会造成误检,导致最终结果产生误差;基于视觉传感器的跌倒检测方法,主要采用的设备为摄像机或Kinect体感摄像机,它克服了前两种方法带来的缺点。因为视频信息中包含丰富的信息,可以通过分析其中目标的姿态变换过程进行跌倒检测。受外部噪声干扰的可能性小,老人可以不受影响的随意自由活动且检测结果更为准确。但是摄像头的摆放位置若超过监控范围也无法检测,光线的变化影响因素也很大。
目前,基于虚拟现实的VR系统得到了很大的利用,其涉及计算机图形学、人机交互技术、传感技术、人工智能等技术,有望产生巨大的经济效益和社会效益。利用计算机,生成逼真的三维视、听、嗅觉等感觉,使参与者自然地对虚拟世界进行体验和交互作用,通过精确的3D世界影像产生身临其境的感觉。通过VR系统模拟出的不同虚拟场景,使参与者根据相应的场景做出反应与交互,同时计算机根据所做出的反应得到的数据,通过科学的依据与数据测量计算方法,就可以快速预测人体跌到风险。具有更高的准确性和可靠性,以及更高的效率。现有基于VR拍摄视频进行跌倒风险评价的方法中,大多是根据物理设备进行检测,导致分类准确率不高,本发明对提取的训练视频进行拆帧,并融合多种人体形体特征,极大的提高了跌倒风险评估的准确率。
发明内容
本发明的目的是提供一种基于人体形体特征的跌倒风险评估方法,解决了现有方法易受不确定因素影响和评估标准死板而造成跌倒风险评估准确率不高的问题。
本发明所采用的技术方案是,基于人体形体特征的跌倒风险评估方法,具体操作过程包括如下步骤:
步骤1,按照与人体行走时正面呈90°的角度拍摄正常人和非正常人在搭建好的模拟现实的虚拟场景中的人体行走姿态视频;
步骤2,将采集到的正常人和有跌倒风险的人的行走姿态视频分别提取成图像,对提取的图像进行预处理,再分别提取预处理后正常人和有跌倒风险的人图像的人体形体宽高比、人体形体姿态面积比和SURF特征;
步骤3,将步骤2得到的人体形体宽高比、人体形体姿态面积比和SURF特征融合,通过SVM进行训练,得到人体跌倒风险评估模型,判断并分类出容易跌倒的人群。
本发明的其他特点还在于,
步骤2包括以下步骤:
步骤2.1,使用cvLoadImage函数读取采集到的正常人和有跌倒风险的人的姿态视频,设定读入视频的开始时间和结束时间,如果Capture函数没有读取到含有人像的视频,则重新设定视频的开始时间和结束时间,重复步骤2.1,如果Capture函数读取到含有人像的视频,则进行步骤2.2;
步骤2.2,通过OpenCV中的CvCapture函数将提取的正常人和有跌倒风险的人的视频分别拆帧,分别提取出两组视频中的空白场景进行图片保存后,然将拍摄的人体姿态视频每两秒取一帧保存为图像;
步骤2.3,将保存的正常人和有跌倒风险的人的姿态图像分别与空白场景进行差分后依次进行去噪、腐蚀、边缘提取和二值化的过程,得到预处理后的黑白图像;
步骤2.4,从预处理后的二值图像中,提取图像中的人体形体宽高比、人体形体姿态面积比的特征。
优选的,步骤2.3中将正常人和非正常人的姿态图像分别与空白场景图像进行差分过程如下:
设第k时刻提取到的含有人体的图像为Ip,空白场景的图像为Ie,对两张图像进行差分,得到差分图像为Idif,则有Idif=Ip-Ie。
优选的,步骤2.3中采用双边滤波算法进行图像去噪,使用周边像素亮度值的加权平均代表某个像素的强度,具体过程是:令Idif和Il BF分别为差分处理得到图像和去噪处理后的图像,则双边滤波输出的结果为
其中,参数σs定义了用于过滤像素的空间邻域的大小,σr控制了由于强度差异而使相邻像素下降的程度,Wl BF使权的和标准化。
优选的,步骤2.3中通过getStructuringElement函数定义腐蚀窗口的大小,选择矩形窗口MORPH_RECT,腐蚀核的大小选择3×3,通过腐蚀窗口MORPH_RECT使用erode函数进行腐蚀操作,得到只含有人像的图片。
优选的,步骤2.4的具体过程如下:
步骤2.4.1,定义人体形体最小外接矩的高为h,宽为w,则人体形体高宽比T为公式(1)所示:
T=(y2-y1)/(x2-x1)=h/w (1)
其中,x1,x2,y1,y2是人体形体外接框的坐标参数,T是人体姿态高宽比;当人处于站立状态时,T大于2;在平衡能力较差而发生跌倒时,人体形态的宽度会增加而高度会减小,此时T小于2;
步骤2.4.2,人体形体姿态面积比是用人体外接矩中运动目标占整个区域面积的比值来表示,如公式(2)所示:
A=Sp/Se (2)
其中,A用来表示人体形体姿态面积与人体外接矩区域面积的比值,Sp表示人体体形面积,Se表示人体外接矩整个区域的面积;
步骤2.4.3,在高斯尺度空间和图像中提取稳定的SURF特征点。
优选的,步骤2.4.3的具体过程如下:
将每一幅图像中的每个像素点在相邻区域中最暗或者最亮的定义为Hessian矩阵;
将Hessian矩阵处理过的图像的每一个像素点与当前像素点周围3*3领域的8个像素点以及上下相邻两层的18个像素点共26个像素点进行比较,当大于或者小于所有领域点时,该点就是特征点,否则去除;
采用特征点圆形领域内的Haar小波特征,以60°扇形为单位,计算扇形区域内所有特征点的x方向和y方向的Haar小波特征之和,最大矢量的方向就是主方向;
按照主方向在特征点周围选取一个正方形框,将该框分成4*4的方形子区域,每个子区域在5*5规则间隔的采样点处计算水平方向和垂直方向的Haar小波特征,得到四维的SURF特征向量,如公式(3)所示:
V=(∑dx,∑dy,∑|dx|,∑|dy|) (3)
其中,dx和dy分别表示水平方向和垂直方向上的Haar小波特征。
优选的,步骤3的中将步骤2得到的人体形体宽高比、人体形体姿态面积比和SURF特征进行并联融合,作为新的向量输出。
优选的,步骤3中SVM的训练过程如下:
加载训练数据集和测试数据集,其中,包含了训练数据和训练标签以及测试数据和测试标签,即人体重心面积数据及正确标签,将其分为训练数据和测试数据两部分,通过SVMcgForRegress参数寻优函数获取当前数据的最优参数,使用得到的优化后的参数再通过svmtrain函数训练数据,得到训练完成的模型;最后使用svmpredict函数进行测试,得到带有标记“1”或“-1”分类标签;
将融合后的得到的新向量作为SVM的输入,训练SVM模型,若输出的平衡能力标记为“1”,则被区分为正常人,说明平衡能力好;若输出的平衡能力标记为“-1”,则被区分为非正常人,说明存在平衡能力障碍。
本发明的有益效果是,基于人体形体特征的跌倒风险评估方法,解决了现有方法易受不确定因素影响和评估标准死板而造成跌倒风险评估准确率不高的问题。通过对采集的行人图像进行相应的预处理得到可以描述每张图像的特征向量,不借助任何平衡测量仪器,利用人体姿态或形体特征就可以区分出易跌倒的人群,使得对自己或他人的平衡能力产生客观的判断,通过提取图像中的人体形体宽高比、人体形体姿态面积比和SURF特征,将三个特征数据融合后,通过支持向量机(SVM)模型训练,得到人体跌倒风险评估模型,判断并分类出容易跌倒的人群,最终评估的准确率在86%以上。
附图说明
图1是本发明的基于人体形体特征的跌倒风险评估方法的操作流程图;
图2是本发明的基于人体形体特征的跌倒风险评估方法的整体过程流程图;
图3是本发明实施例的差分图像,其中(a)是正常人的图像差分图,(b)是有跌倒风险的人的图像差分图;
图4是本发明实施例的去噪图,其中(a)是正常人的图像去噪图;(b)有跌倒风险的人的图像去噪图;
图5是本发明实施例的腐蚀图,其中(a)是正常人的图像腐蚀图;(b)有跌倒风险的人的图像腐蚀图;
图6是本发明实施例的二值化图,其中(a)是正常人的图像二值化图;(b)有跌倒风险的人的图像二值化图;
图7是本发明实施例的人体形体宽高比图,其中(a)是正常人人体形体宽高比图;(b)有跌倒风险的人的人体形体宽高比图;
图8是本发明实施例的人体形体姿态面积比图,其中(a)是正常人人体形体宽高比图;(b)有跌倒风险的人的人体形体宽高比图;
图9是本发明的SURF特征描述子生成过程图;
图10是本发明实施例的人体形体姿态的SURF特征图,其中(a)是正常人人体形体的SURF特征图;(b)有跌倒风险的人的人体形体SURF特征图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明的基于人体形体特征的跌倒风险评估方法,如图1和图2所示,具体操作过程包括如下步骤:
步骤1,按照与人体行走时正面呈90°的角度拍摄正常人和非正常人在搭建好的模拟现实的虚拟场景中的人体行走姿态视频;
步骤2,将采集到的正常人和有跌倒风险的人的行走姿态视频分别提取成图像,对提取的图像进行预处理,再分别提取预处理后正常人和有跌倒风险的人图像的人体形体宽高比、人体形体姿态面积比和SURF特征;
步骤2包括以下步骤:
步骤2.1,使用cvLoadImage函数读取采集到的正常人和有跌倒风险的人的姿态视频,设定读入视频的开始时间和结束时间,如果Capture函数没有读取到含有人像的视频,则重新设定视频的开始时间和结束时间,重复步骤2.1,如果Capture函数读取到含有人像的视频,则进行步骤2.2;
步骤2.2,通过OpenCV中的CvCapture函数将提取的正常人和有跌倒风险的人的视频分别拆帧,分别提取出两组视频中的空白场景进行图片保存后,然将拍摄的人体姿态视频每两秒取一帧保存为图像;
步骤2.3,将保存的正常人和有跌倒风险的人的姿态图像分别与空白场景进行差分后依次进行去噪、腐蚀、边缘提取和二值化的过程,得到预处理后的黑白图像;
其中,将正常人和有跌倒风险的人的姿态图像分别与空白场景图像进行差分过程如下:
将保存的正常人和有跌倒风险的人的包含有人体姿态的图片与空白场景图做差分处理,设第k时刻提取到的含有人体的图像为Ip,空白场景的图像为Ie,对两张图像进行差分,得到差分图像为Idif,则有Idif=Ip-Ie;
采用双边滤波算法进行图像去噪,使用周边像素亮度值的加权平均代表某个像素的强度,具体过程是:令Idif和Il BF分别为差分处理得到图像和去噪处理后的图像,则双边滤波输出的结果为
其中,参数σs定义了用于过滤像素的空间邻域的大小,σr控制了由于强度差异而使相邻像素下降的程度,Wl BF使权的和标准化;
通过getStructuringElement函数定义腐蚀窗口的大小,选择矩形窗口MORPH_RECT,腐蚀核的大小选择3×3,通过腐蚀窗口MORPH_RECT使用erode函数进行腐蚀操作,得到只含有人像的图片;
步骤2.4,基于预处理后的二值图像,提取图像中的人体形体宽高比、人体形体姿态面积比的特征;
步骤2.4的具体过程如下:
步骤2.4.1,无论一个人高或者矮,处于站立状态时,其身体的高度始终大于身体宽度,因此,可以用人体形体的高宽比特征来评估人体姿态发生的变化。用人体形体的最小外接矩形选出运动目标,计算外接矩形框的高宽之比。定义人体形体最小外接矩的高为h,宽为w,则人体形体高宽比T为公式(2)所示。
T=(y2-y1)/(x2-x1)=h/w (1)
其中,x1,x2,y1,y2是人体形体外接框的坐标参数,T是人体姿态高宽比值;根据样本的数据分析可知,当人处于站立状态时,T大于2,而在平衡能力较差而发生跌倒时,人体形态的宽度会增加而高度会减小,此时T小于2;
步骤2.4.2,人体形体高宽比不能单独用来作为评估跌倒风险的依据,可能会因为身高比例、胖瘦的问题出现误判的情况。因此,引入了人体形体姿态面积比进一步加强上面评估错误的部分;人体形体姿态面积比是用人体外接矩中运动目标占整个区域面积的比值来表示,如公式(2)所示:
A=Sp/Se (2)
其中,A用来表示人体形体姿态面积与人体外接矩区域面积的比值,Sp表示人体体形面积,Se表示人体外接矩整个区域的面积;
步骤2.4.3,SURF是一种稳定的局部特征检测方法。通过在高斯尺度空间和图像中提取稳定的特征点,提取过程如下:
构造Hessian矩阵:对一幅图像求出每个像素点的Hessian矩阵,当前点在相邻区域中最暗或者最亮,即为Hessian矩阵;
构造尺度空间,图像的尺度空间以不同的图像分辨率表示;SURF算法不需要对图像双重采样,而是增加图像核的大小,且允许同时处理尺度空间中的多层图像;
将Hessian矩阵处理过的图像的每一个像素点与当前像素点周围3*3领域的8个像素点以及上下相邻两层的18个像素点共26个像素点进行比较,当大于或者小于所有领域点时,该点就是特征点,否则去除;
采用特征点圆形领域内的Haar小波特征,以60°扇形为单位,计算扇形区域内所有特征点的x方向和y方向的Haar小波特征之和,最大矢量的方向就是主方向;
按照主方向在特征点周围选取一个正方形框,如图9所示,方向为特征点的主方向。将该框分成4*4的方形子区域,每个子区域在5*5规则间隔的采样点处计算水平方向和垂直方向的Haar小波特征,从而得到四维的SURF特征向量,如公式(3)所示,其中dx和dy分别表示水平方向和垂直方向上的Haar小波特征。归一化后形成64维SURF描述算子。
V=(∑dx,∑dy,∑|dx|,∑|dy|) (3)
步骤3,将步骤2得到的人体形体宽高比、人体形体姿态面积比和SURF特征融合,通过SVM进行训练,得到人体跌倒风险评估模型,判断并分类出容易跌倒的人群。
步骤3的中将步骤2得到的人体形体宽高比、人体形体姿态面积比和SURF特征进行并联融合,作为新的向量输出。
步骤3中SVM的训练过程如下:
加载训练数据集和测试数据集,其中,包含了训练数据和训练标签以及测试数据和测试标签,即融合后的人体形体特征数据及正确标签,将其分为训练数据和测试数据两部分,通过SVMcgForRegress参数寻优函数获取当前数据的最优参数,使用得到的优化后的参数再通过svmtrain函数训练数据,得到训练完成的模型;最后使用svmpredict函数进行测试,得到带有标记“1”或“-1”分类标签;
将融合后的得到的新向量作为SVM的输入,训练SVM模型,若输出的平衡能力标记为“1”,则被区分为不易跌倒的人,说明平衡能力好;若输出的平衡能力标记为“-1”,则被区分为易跌倒的人,说明存在平衡能力障碍。
实施例
按照与人体行走时正面呈90°的角度拍摄正常人和有跌倒风险的人在搭建好的模拟现实的虚拟场景中的人体行走姿态视频,使用cvLoadImage函数读取采集到的正常人和有跌倒风险的人的姿态视频,设定读入视频的开始时间和结束时间,如果Capture函数没有读取到含有人像的视频,则重新设定视频的开始时间和结束时间,重复上述过程,如果capture函数读取到含有人像的视频,则通过OpenCV中的CvCapture函数将提取的正常人和有跌倒风险的人的视频分别拆帧,分别提取出两组视频中的空白场景进行图片保存后,然将拍摄的人体姿态视频每两秒取一帧保存为图像;
分别对图像进行差分处理后如图3所示,依次进行去噪(图4)、腐蚀(图5)、二值化的过程,得到预处理后的黑白图像如图6所示,提取图像的人体形体宽高比如特征图7所示,提取图像的人体形体姿态面积比特征如特征图8所示,提取图像的人体形体姿态的SURF特征如特征图10所示,进行并联融合后输入SVM模型用于评估人体跌倒风险,本发明的方法的准确率与使用单一的人体形体特征结果对比如表1所示:
表1本发明的方法与单一的人体形体特征准确率对比
由表1我们可以看出,当使用单个特征对跌倒风险进行评估时,准确率并不高。而使用融合后的多人体形体特征进行跌倒风险评估时,准确率提高。正常人的评估准确率为82.72%,易跌倒的人评估准确率为88.36%。
Claims (9)
1.基于人体形体特征的跌倒风险评估方法,其特征在于,具体操作过程包括如下步骤:
步骤1,按照与人体行走时正面呈90°的角度拍摄正常人和非正常人在搭建好的模拟现实的虚拟场景中的人体行走姿态视频;
步骤2,将采集到的正常人和有跌倒风险的人的行走姿态视频分别提取成图像,对提取的图像进行预处理,再分别提取预处理后正常人和有跌倒风险的人图像的人体形体宽高比、人体形体姿态面积比和SURF特征;
步骤3,将步骤2得到的人体形体宽高比、人体形体姿态面积比和SURF特征融合,通过SVM进行训练,得到人体跌倒风险评估模型,判断并分类出容易跌倒的人群。
2.如权利要求1所述的基于人体形体特征的跌倒风险评估方法,其特征在于,所述步骤2包括以下步骤:
步骤2.1,使用cvLoadImage函数读取采集到的正常人和有跌倒风险的人的姿态视频,设定读入视频的开始时间和结束时间,如果Capture函数没有读取到含有人像的视频,则重新设定视频的开始时间和结束时间,重复步骤2.1,如果Capture函数读取到含有人像的视频,则进行步骤2.2;
步骤2.2,通过OpenCv中的CvCapture函数将提取的正常人和有跌倒风险的人的视频分别拆帧,分别提取出两组视频中的空白场景进行图片保存后,然将拍摄的人体姿态视频每两秒取一帧保存为图像;
步骤2.3,将保存的正常人和有跌倒风险的人的姿态图像分别与空白场景进行差分后依次进行去噪、腐蚀、边缘提取和二值化的过程,得到预处理后的黑白图像;
步骤2.4,从预处理后的二值图像中,提取图像中的人体形体宽高比、人体形体姿态面积比的特征。
3.如权利要求2所述的基于人体形体特征的跌倒风险评估方法,其特征在于,所述步骤2.3中将正常人和非正常人的姿态图像分别与空白场景图像进行差分过程如下:
设第k时刻提取到的含有人体的图像为Ip,空白场景的图像为Ie,对两张图像进行差分,得到差分图像为Idif,则有Idif=Ip-Ie。
4.如权利要求2所述的基于人体形体特征的跌倒风险评估方法,其特征在于,所述步骤2.3中采用双边滤波算法进行图像去噪,使用周边像素亮度值的加权平均代表某个像素的强度,具体过程是:令Idif和分别为差分处理得到图像和去噪处理后的图像,则双边滤波输出的结果为
其中,参数σs定义了用于过滤像素的空间邻域的大小,σr控制了由于强度差异而使相邻像素下降的程度,使权的和标准化。
5.如权利要求2所述的基于人体形体特征的跌倒风险评估方法,其特征在于,所述步骤2.3中通过getStructuringElement函数定义腐蚀窗口的大小,选择矩形窗口MORPH_RECT,腐蚀核的大小选择3×3,通过腐蚀窗口MORPH_RECT使用erode函数进行腐蚀操作,得到只含有人像的图片。
6.如权利要求2所述的基于人体形体特征的跌倒风险评估方法,其特征在于,所述步骤2.4的具体过程如下:
步骤2.4.1,定义人体形体最小外接矩的高为h,宽为w,则人体形体高宽比T为公式(1)所示:
T=(y2-y1)/(x2-x1)=h/w (1)
其中,x1,x2,y1,y2是人体形体外接框的坐标参数,T是人体姿态高宽比;当人处于站立状态时,T大于2;在平衡能力较差而发生跌倒时,人体形态的宽度会增加而高度会减小,此时T小于2;
步骤2.4.2,人体形体姿态面积比是用人体外接矩中运动目标占整个区域面积的比值来表示,如公式(2)所示:
A=Sp/Se (2)
其中,A用来表示人体形体姿态面积与人体外接矩区域面积的比值,Sp表示人体体形面积,Se表示人体外接矩整个区域的面积;
步骤2.4.3,在高斯尺度空间和图像中提取稳定的SURF特征点。
7.如权利要求6所述的基于人体形体特征的跌倒风险评估方法,其特征在于,所述步骤2.4.3的具体过程如下:
将每一幅图像中的每个像素点在相邻区域中最暗或者最亮的定义为Hessian矩阵;
将Hessian矩阵处理过的图像的每一个像素点与当前像素点周围3*3领域的8个像素点以及上下相邻两层的18个像素点共26个像素点进行比较,当大于或者小于所有领域点时,该点就是特征点,否则去除;
采用特征点圆形领域内的Haar小波特征,以60°扇形为单位,计算扇形区域内所有特征点的x方向和y方向的Haar小波特征之和,最大矢量的方向就是主方向;
按照主方向在特征点周围选取一个正方形框,将该框分成4*4的方形子区域,每个子区域在5*5规则间隔的采样点处计算水平方向和垂直方向的Haar小波特征,得到四维的SURF特征向量,如公式(3)所示:
V=(∑dx,∑dy,∑|dx|,∑|dy|) (3)
其中,dx和dy分别表示水平方向和垂直方向上的Haar小波特征。
8.如权利要求1所述的基于人体形体特征的跌倒风险评估方法,其特征在于,所述步骤3的中将步骤2得到的人体形体宽高比、人体形体姿态面积比和SURF特征进行并联融合,作为新的向量输出。
9.如权利要求8所述的基于人体形体特征的跌倒风险评估方法,其特征在于,所述步骤3中SVM的训练过程如下:
加载训练数据集和测试数据集,其中,包含了训练数据和训练标签以及测试数据和测试标签,即人体重心面积数据及正确标签,将其分为训练数据和测试数据两部分,通过SVMcgForRegress参数寻优函数获取当前数据的最优参数,使用得到的优化后的参数再通过svmtrain函数训练数据,得到训练完成的模型;最后使用svmpredict函数进行测试,得到带有标记“1”或“-1”分类标签;
将融合后的得到的新向量作为SVM的输入,训练SVM模型,若输出的平衡能力标记为“1”,则被区分为正常人,说明平衡能力好;若输出的平衡能力标记为“-1”,则被区分为非正常人,说明存在平衡能力障碍。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910764031.7A CN110555394A (zh) | 2019-08-19 | 2019-08-19 | 基于人体形体特征的跌倒风险评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910764031.7A CN110555394A (zh) | 2019-08-19 | 2019-08-19 | 基于人体形体特征的跌倒风险评估方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110555394A true CN110555394A (zh) | 2019-12-10 |
Family
ID=68737554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910764031.7A Pending CN110555394A (zh) | 2019-08-19 | 2019-08-19 | 基于人体形体特征的跌倒风险评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110555394A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113628413A (zh) * | 2021-08-30 | 2021-11-09 | 中山大学附属第三医院(中山大学肝脏病医院) | 穿脱防护服出现意外的自动报警求救技术 |
CN113963442A (zh) * | 2021-10-25 | 2022-01-21 | 重庆科技学院 | 一种基于体态综合特征的跌倒行为识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140313340A1 (en) * | 2003-12-12 | 2014-10-23 | Careview Communications, Inc. | System and method for predicting patient falls |
CN105718857A (zh) * | 2016-01-13 | 2016-06-29 | 兴唐通信科技有限公司 | 一种人体异常行为检测方法及系统 |
CN106845456A (zh) * | 2017-03-01 | 2017-06-13 | 西安电子科技大学 | 一种视频监控系统中人体摔倒监测的方法 |
CN108171181A (zh) * | 2017-12-31 | 2018-06-15 | 南昌大学 | 一种适用于家居内的人体摔倒检测方法 |
CN109171738A (zh) * | 2018-07-13 | 2019-01-11 | 杭州电子科技大学 | 基于人体加速度多特征融合和knn的跌倒检测方法 |
CN109271918A (zh) * | 2018-09-10 | 2019-01-25 | 西安理工大学 | 基于重心偏移模型区分平衡能力障碍人群的方法 |
CN109558797A (zh) * | 2018-10-19 | 2019-04-02 | 西安理工大学 | 基于视觉刺激下的重心面积模型区分人体平衡障碍的方法 |
-
2019
- 2019-08-19 CN CN201910764031.7A patent/CN110555394A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140313340A1 (en) * | 2003-12-12 | 2014-10-23 | Careview Communications, Inc. | System and method for predicting patient falls |
CN105718857A (zh) * | 2016-01-13 | 2016-06-29 | 兴唐通信科技有限公司 | 一种人体异常行为检测方法及系统 |
CN106845456A (zh) * | 2017-03-01 | 2017-06-13 | 西安电子科技大学 | 一种视频监控系统中人体摔倒监测的方法 |
CN108171181A (zh) * | 2017-12-31 | 2018-06-15 | 南昌大学 | 一种适用于家居内的人体摔倒检测方法 |
CN109171738A (zh) * | 2018-07-13 | 2019-01-11 | 杭州电子科技大学 | 基于人体加速度多特征融合和knn的跌倒检测方法 |
CN109271918A (zh) * | 2018-09-10 | 2019-01-25 | 西安理工大学 | 基于重心偏移模型区分平衡能力障碍人群的方法 |
CN109558797A (zh) * | 2018-10-19 | 2019-04-02 | 西安理工大学 | 基于视觉刺激下的重心面积模型区分人体平衡障碍的方法 |
Non-Patent Citations (2)
Title |
---|
HAIYAN JIN ET AL.: "Classification for Human Balance Capacity Based on Visual Stimulation under a Virtual Reality Environment", 《SENSORS》 * |
秦英瑜: "家庭监控系统中人体异常姿态的识别算法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113628413A (zh) * | 2021-08-30 | 2021-11-09 | 中山大学附属第三医院(中山大学肝脏病医院) | 穿脱防护服出现意外的自动报警求救技术 |
CN113963442A (zh) * | 2021-10-25 | 2022-01-21 | 重庆科技学院 | 一种基于体态综合特征的跌倒行为识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lu et al. | Deep learning for fall detection: Three-dimensional CNN combined with LSTM on video kinematic data | |
Lotfi et al. | Supporting independent living for older adults; employing a visual based fall detection through analysing the motion and shape of the human body | |
CN105740780B (zh) | 人脸活体检测的方法和装置 | |
JP4860749B2 (ja) | 画像中の人物における位置決め指示との適合性を判定する機器、システム、及び方法 | |
CN112766159A (zh) | 一种基于多特征融合的跨数据库微表情识别方法 | |
CN108549886A (zh) | 一种人脸活体检测方法及装置 | |
CN104794463B (zh) | 基于Kinect实现室内人体跌倒检测的系统及方法 | |
CN109271918B (zh) | 基于重心偏移模型区分平衡能力障碍人群的方法 | |
CN109670396A (zh) | 一种室内老人跌倒检测方法 | |
CN109145696B (zh) | 一种基于深度学习的老人跌倒检测方法及系统 | |
CN111539911B (zh) | 一种口呼吸面容识别方法、设备和存储介质 | |
CN108615226A (zh) | 一种基于生成式对抗网络的图像去雾方法 | |
CN102722715A (zh) | 一种基于人体姿势状态判决的跌倒检测方法 | |
CN114842397A (zh) | 一种基于异常检测的实时老人跌倒检测方法 | |
WO2012117392A1 (en) | Device, system and method for determining compliance with an instruction by a figure in an image | |
CN113378649A (zh) | 身份、位置和动作识别方法、系统、电子设备及存储介质 | |
CN109684919B (zh) | 一种基于机器视觉的羽毛球发球违例判别方法 | |
CN106951826B (zh) | 人脸检测方法及装置 | |
CN114100103B (zh) | 一种基于关键点识别的跳绳计数检测系统及方法 | |
CN109271941A (zh) | 一种基于防屏摄攻击的活体检测方法 | |
CN104463240B (zh) | 一种仪表定位方法及装置 | |
CN107145226A (zh) | 眼控人机交互系统及方法 | |
An et al. | VFP290k: A large-scale benchmark dataset for vision-based fallen person detection | |
CN110555394A (zh) | 基于人体形体特征的跌倒风险评估方法 | |
CN110490049A (zh) | 基于多特征和svm区分人体平衡障碍的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191210 |
|
RJ01 | Rejection of invention patent application after publication |