CN111027417B - 基于人体关键点检测算法的步态识别方法及步态评估系统 - Google Patents

基于人体关键点检测算法的步态识别方法及步态评估系统 Download PDF

Info

Publication number
CN111027417B
CN111027417B CN201911149103.3A CN201911149103A CN111027417B CN 111027417 B CN111027417 B CN 111027417B CN 201911149103 A CN201911149103 A CN 201911149103A CN 111027417 B CN111027417 B CN 111027417B
Authority
CN
China
Prior art keywords
sequence
gait
key
frame
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911149103.3A
Other languages
English (en)
Other versions
CN111027417A (zh
Inventor
王艳红
邹乔莎
冯新宇
史传进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201911149103.3A priority Critical patent/CN111027417B/zh
Publication of CN111027417A publication Critical patent/CN111027417A/zh
Application granted granted Critical
Publication of CN111027417B publication Critical patent/CN111027417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于人体关键点检测算法的步态识别方法及步态评估系统,该方法包括以下步骤:步骤1,对单个摄像头从人体侧面拍摄获得的3m起立行走实验视频中的每一帧进行关键点检测,并提取关键点随时间的位置变化信息,以获得关键点序列;步骤2,根据关键点序列对所述视频选取关键帧;所述关键帧作为视频中不同种动作的分界点;步骤3,根据所述视频中的关键点序列及选取得到的关键帧,进行步态参数的提取。本发明通过关键点检测,获得能够作为视频中不同种动作的分界点的关键帧,然后进行步态参数估计。本发明利用算法进行自动分析,保证了步态评估的一致性。

Description

基于人体关键点检测算法的步态识别方法及步态评估系统
技术领域
本发明涉及步态识别技术领域,具体涉及一种基于人体关键点检测算法的步态识别方法及系统。
背景技术
实验研究证明,步态障碍的严重程度及其进展速度与死亡风险密切相关。随着社会结构的老龄化,亟需重视这些老年性疾病的诊治需求。步态障碍在老年人中是非常常见的,同时也是很多潜在的疾病的前期表现。
像慢走等步态障碍可作为许多潜在脑血管疾病的首要客观临床症状,然而,这些细微的信号很容易被忽视,尤其是一些老年人一直认为这是身体老化的自然表现。如果隐性疾病未被及时发现和治疗,将会继续发展恶化,导致患者可能会出现震颤、步态冻结等更严重的步态障碍,导致经常性摔倒。及时发现这些疾病可以帮助医护人员进行更有效的进行干预,在疾病的前期就进行有效控制。另外,患者在已经有比较严重的步态障碍之后,要进行康复训练。康复训练的效果评估很重要,不仅可以对患者进行反馈,对康复训练的方法做出评价,更能帮助医生及时调整训练方案。
目前临床上对步态障碍的评估主要通过各种量表方法。最常用的筛查量表是威斯康星步态量表(WGS)。上述量表评估方法需要经培训的医师或专业人员完成,耗时长,对医疗资源消耗极大。而且由于此类量表需要通过他人的问询和观察完成,不同人员的评估不尽相同,难以满足评估一致性的要求。
为了降低医疗资源消耗和提高评估一致性,目前也有很多自动化监测的方法。这些方法主要基于可穿戴设备如速度感应器,红外传感器等。这类方法由于使用可穿戴设备,在测试过程中对患者造成了很重的物理负担,导致本来就行动不便的患者行走更加困难,由此获得的步态结果也难以保证准确度。另外,此类设备操作比较繁琐,需要医师经过专业培训,需要患者高度配合,经常要反复操作才能达到测试要求,对医师和患者造成较大的时间和精力消耗。
发明内容
本发明的目的是提出了基于人体关键点检测算法的步态识别方法及步态评估系统,以降低医疗资源消耗和提高评估一致性。
为了达到上述目的,本发明提供了一种基于人体关键点检测算法的步态识别方法,包括以下步骤:步骤1,对单个摄像头从人体侧面拍摄获得的3m起立行走实验视频中的每一帧进行关键点检测,并提取关键点随时间的位置变化信息,以获得关键点序列;步骤2,根据关键点序列对所述视频选取关键帧;所述关键帧作为视频中不同种动作的分界点;步骤3,根据所述视频中的关键点序列及选取得到的关键帧,进行步态参数的提取。
较佳地,步骤1中,通过人体检测网络获得所述的关键点序列。
较佳地,所述的关键点包含:人体的左肩膀、右肩膀、脚踝、髋、膝盖。
较佳地,所述的关键帧为:起身完毕关键帧f1,第一次转身开始帧f2,第一次转身结束帧f3,第二次转身开始帧f4,第二次转身结束帧f5,刚坐下关键帧f6
较佳地,所述的关键点序列包含:竖直序列和水平序列;所述的关键帧通过以下公式选取得到:
threup=min(x)+λup*(max(x)-min(x))
thredown=min(x)+λdown*(max(x)-min(x))
其中,threup为序列的上阈值;thredown为序列的下阈值;min(x)为序列的最小值;max(x)为序列的最大值;λup和λdown为可调参数,需满足0<λdown<λup<1;x为竖直序列或水平序列;
步骤2中,关键帧的选取具体包含:
(1)f1和f6的选取:利用所述的公式,得出左右肩膀的平均竖直序列的上阈值和下阈值;依次将视频中每一帧的左右肩膀的竖直序列的平均值与上阈值和下阈值比较;以人体下方为竖直序列的正向,序列数值在起身时候减小,在坐下时候增大,第一个低于下阈值的竖直序列对应的帧选取为f1,f1之后第一个大于上阈值的竖直序列对应的帧选取为f6
(2)f2、f3、f4和f5的选取:利用左右肩膀的水平序列,做差,得到肩宽值,通过所述的公式,得出肩宽值的上阈值和下阈值;再依次将视频中每一帧的肩宽值与上阈值和下阈值比较,以第一次触发上阈值前的最后一个低于下阈值的肩宽值对应的帧选取为第一次转身开始帧f2;以f2之后,并且在触发下阈值后,以第一次触发上阈值前的最后一个高于上阈值的肩宽值对应的帧选取为第一次转身结束帧f3;f3之后,触发下阈值前的最后一个低于下阈值的肩宽值对应的帧选取为f4;以f4之后,并且在触发下阈值后,触发上阈值前的最后一个高于上阈值的肩宽值对应的帧选取为f5
较佳地,选取f1和f6前,先对左右肩膀的竖直序列进行滤波平滑处理。
较佳地,选取f1和f6时,λup=1/2,λdown=1/4;选取f2、f3、f4和f5时,λup=1/2,λdown=1/3。
较佳地,所述的视频包含第一次3米直行和第二次3米直行阶段;所述的步态参数包含:起身时间、转身时间、步速、步长、步频、左右脚支撑时间和左右髋曲;步骤3中,所述的步态参数的提取具体包含:
(1)计算所述起身时间Stand up time、转身时间Turning time、步速Velocity,计算公式如下:
Stand up time=f1/fr
Turning time=(f3-f2)/fr
Velocity=s/((f2-f1)+(f4-f3))
其中,fr是视频的帧速度,s为6米;
(2)计算步长Standlength,步频Cadence:第一次3米直行阶段和第二次3米直行阶段,首先计算出脚踝关键点水平序列的水平差值,然后利用选取关键帧的公式分别得到两个阶段的步数,所述的公式中,设置λup=1/2,λdown=1/3,得到的第一次3米直行中步数为step1,第二次3米直行中步数为step2;则步长、步频按照以下公式计算:
Standlength=s/(step1+step2)
Cadence=(step1+step2)/((f2-f1)+(f4-f3));
(3)计算左右脚支撑时间:对于左支撑时间,利用左脚脚踝的水平序列,对其求导,得到其导函数图像,;然后利用选取关键帧的公式,设置λup=1/4,λdown=1/5,求出导数的上阈值和下阈值,进而检测出每个步行周期中左脚支撑开始帧和结束帧,去掉开头和结尾的步行周期,对剩余的步行周期得到的支撑时间进行平均,得到左脚支撑时间;右脚支撑时间的计算和左脚计算方法相同;
(4)计算左右髋曲:使用髋关键点序列和膝盖关键点序列,由下面公式计算髋角的正切值,其中,hip_angle表示髋角,hip_x表示髋角的水平序列,Knee_x表示膝盖的水平序列,Knee_y表示膝盖的竖直序列,hip_y表示髋角的竖直序列,“L”表示左,“R”表示右;
tan(LHip_angle)=(LHip_x-LKnee_x)/(LKnee_y-LHip_y)
tan(RHip_angle)=(RKnee_x-RHip_x)/(RKnee_y-RHip_y)
得到正切值序列之后,取髋角的正切值在一个步行周期内的最大差值作为髋曲的值。
本发明还提供了一种步态评估系统,该系统包含:信息采集模块,用于采集包含待测步态信息的视频;所述的视频为单个摄像头从人体侧面拍摄获得的3m起立行走实验视频;关键帧检测模块,用于检测所述视频的关键帧;所述关键帧作为视频中不同种动作的分界点;步态参数提取模块,用于提取人体的步态参数;及步态诊断结果输出模块,用于输出步态的评估结果,步态的评估结果包含:人体的步态参数,以及步态的正异常结果。
较佳地,该系统存储有:在被处理器执行时,能够实现上述方法中的步骤的计算机程序。
有益效果:
(1)本发明通过关键点检测,获得能够作为视频中不同种动作的分界点的关键帧,然后进行步态参数估计。
(2)本发明不对患者施加任何物理负担,让患者在最自然的状态下进行3m往返步态视频录制,保证了结果的准确性及步态评估的一致性;利用算法进行自动分析,只需要经过简单培训录制操作的医护人员,不需要经过复杂培训的专业医生,降低了医疗资源的消耗。
附图说明
图1是本发明的步态识别方法的分析流程简图。
图2是步态视频录制示意图。
图3是本发明的步态识别方法的步态视频骨架示意图。
图4为关键点坐标序列示意图。
图5是本发明的步态识别方法采用的步态参数列表。
具体实施方式
以下结合附图和实施例对本发明的技术方案做进一步的说明。
图1显示了本发明的基于人体关键点检测算法的步态识别方法的简化示意图。首先是3m起立行走实验彩色步态视频的录制,经步态评估算法处理后输出步态评估结果。本发明通过检测视频的每一帧的关键点序列,利用关键点序列检测得到视频的关键帧,关键帧作为视频中不同种动作的分界点,进而提取得到步态参数。
图2是3m起立行走实验视频录制的示意图。3m起立行走实验视频录制基于起立-行走计时测试方法,这种方法是一种快速定量评定功能性步行能力的方法,可用于临床评定和研究。起立-行走计时测试评定方法很简单,只需要一张有扶手的椅子和一个秒表。评定时受试者的起始状态是坐在凳子上,向前走3m后转身,走回椅子坐下。评分标准主要涉及行走的时间、测试过程中的步态及可能会摔倒的危险性。本发明中,视频录制时,受试者的起始状态是坐在凳子上,操作者发布“开始”命令的同时开始录制视频,受试者站起,向前直行3米,转身,走回来,再坐下,视频录制结束。整个过程中,摄像机从人体侧面固定位置进行视频录制。要求整个录制视频中没有其他人物干扰,没有物体遮挡受试者身体画面。因为本发明采用的算法可在服务器运行,可以支持多数据同时处理,所以可以多个录制点对多位受试者同时录制,同时上传到服务器进行并行化处理。本发明通过算法提取出视频中人体的步态参数,实现了起立-行走计时测试方法中步态参数估计的自动化。
请继续参阅图2,3m起立行走实验视频中,根据人体的动作种类,可以分为6个阶段,依次为:起身阶段、第一次3米直行阶段、第一次转身阶段、第二次3米直行阶段、第二次转身阶段、坐下阶段,进而将视频分段为6个子视频。视频其余部分为剩余冗余阶段。通过检测视频的关键帧以对视频进行分段。每段视频以关键帧作为分界点。因此,共需要检测6个关键帧,分别为:起身完毕关键帧、第一次转身开始帧、第一次转身结束帧、第二次转身开始帧、第二次转身结束帧、刚坐下关键帧,分别定义为:f1、f2、f3、f4、f5、f6。起身阶段中,起身时间为从录制开始至f1的时间;第一次3米直行阶段为f1至f2;第一次转身阶段为f2至f3,第二次3米直行阶段为f3至f4,第二次转身阶段为f4至f5,坐下阶段为f5至f6。坐下阶段为从第二次转身结束后至坐回椅子上的过程。本发明主要从前四个阶段中对步态参数进行提取。
步态参数选择:起身时间,转身时间,步长,步速,步频,右支撑相时间,左支撑相时间,右髋屈,左髋屈。各个参数的含义请参阅图5。起身时间即为起身前的时间,转身时间即为视频的第三阶段中转身的时间,步长、步速、步频是通过检测第一次3m直行,第二次3米直行中的总步数和总时间,利用固定的总距离,根据其数学关系算出。左右支撑相时间是在人体直行中每一个步态周期的支撑相时间的平均值。左右髋屈是指:髋角的正切值在一个步行周期内的最大差值。
算法的处理分为三个部分:(1)关键点检测,对输入的彩色视频检测关键帧,并以此进行动作分段;(2)在相应的分段子视频中对每一帧进行人体关键点检测,同一关键点坐标按照帧数排列得到关键点坐标序列;(3)步态参数提取,首先对关键点检测得到的各个关键点序列进行滤波,然后运用双阈值触发方法对序列进行信号检测,得到整个序列中的起身时间,步行速度等步态参数,并将得到的步态参数写入报告。
人体关键点用于表征人体骨骼关键点,人体骨骼关键点是指人体的固定部位的位置。本发明中,关键点包括:人体的左、右肩膀、脚踝、髋、膝盖,这些关键点可用于提取步态参数。一些实施例中,还对其他关键点进行检测,总共对17个关键点进行检测,以构建人体骨架模型。
图3为录制视频的骨架识别结果示意图,图4为关键点坐标序列示意图。如图3所示,以视频中每一帧作为输入,关键点监测网络可以对每一帧中的受试者进行关键点检测,将关键点按照一定规则连接,即可以得到骨架模型。如图4所示,将每一帧中的每一个关键点序列按帧排列,即得到了关键点坐标序列。关键点坐标序列构建中,y坐标采用的序列可以是水平序列或竖直序列。水平序列和竖直序列分别为各个关键点在水平方向和竖直方向随视频帧序列的坐标值变化。通过对序列的滤波,信号检测等统计学算法分析,可以得到各种步态参数。
实施例
获取3m起立行走实验视频后,对参数进行提取,具体过程为:
一、对视频中的每一帧进行关键点检测。在医务人员发布“开始”命令时开始录制视频,在受试者走回椅子后结束录制。关键点检测的检测过程具体包含:
1.1对单个彩色视频,每一帧图像单独处理;对于每一帧图像,首先输入到人体检测网络中,网络输出图像中所有人的矩形边框,作为目标人物的候选框;可采用现有的人体检测网络进行关键点的检测;人体检测网络也可称为关键点监测网络;
1.2对于每一帧图像,按照检测到的所有候选框从原图中截取相应的单人区域,将该区域输入到人体检测网络中,人体检测网络输出每个候选框中人物的17个关键点位置;
1.3对于每一帧图像,对于所有的候选框和其对应的17个关键点,利用非极大值抑制方法去除冗余候选框;
1.4对于每一帧图像,若所述非极大值抑制方法得到的剩余候选框多余一个,则选择步骤1.1和步骤1.2中置信度得分最高的为唯一目标;
1.5对单个彩色视频,将每一帧图像得到的关键点按时间排列,得到17个二维关键点序列,每个关键点序列都包含水平序列和竖直序列两个部分。人体的左、右肩膀、脚踝、髋、膝盖的关键点序列,可用于关键帧检测和步态参数的提取。请参阅图3中的坐标方向,水平序列检测时,以人体直行的前方为正向,竖直序列检测时,以人体下方为正向。如图4所示,利用水平序列或者竖直序列构建坐标,以帧数为横轴,序列作为纵轴,可得到序列的变化情况。
二、根据关键点序列检测视频的关键帧,以关键帧为分界点对视频进行分段为子视频,每段对应一种动作分类;视频关键帧检测过程如下:
2.1利用左右肩膀的竖直序列,对该序列进行滤波平滑处理,然后利用双阈值方法得到起身完毕关键帧f1和刚坐下关键帧f6。其中上阈值threup和下阈值thredown的选取按照以下公式:
threup=min(x)+λup*(max(x)-min(x))
thredown=min(x)+λdown*(max(x)-min(x))
此公式利用了信号检测中双阈值触发的原理,threup和thredown分别是触发的上下阈值。双阈值触发的基本原理是在信号检测的同时有一个触发开关。触发开关打开时上升沿触发有效,触发开关关闭时上升沿无效。上升沿触发的阈值为上阈值,在一次触发之后,触发开关关闭,直到下降沿低于下阈值时触发开关开启。这种双阈值触发方法能有效的减少阈值附近序列波动带来的误触发。由于人体行走时,身体存在摆动,因此无法通过竖直序列的最大值或最小值选取关键帧,通过选择合适的λup和λdown,可以得到序列的上阈值和下阈值。通过将关键点序列与上阈值和下阈值比较,将触发上阈值或下阈值后的第一帧选取为关键帧。
使用以上两个公式进行上下阈值的选取,其中min(x)是序列的最小值,max(x)是序列的最大值。λup和λdown是两个可调参数,需满足0<λdown<λup<1。
在关键帧f1和f6的提取中,使用的x序列是平滑后的左右肩膀竖直序列的平均值,设置λup=1/2,λdown=1/4。由于以人体的下方作为竖直序列的正向,该序列数值应该是在起身时候减小,在坐下时候增大。整段视频中以帧数为横轴,左右肩膀的竖直序列的平均值为纵轴,构建的坐标如图4所示,得到的竖直序列的图形为凹形曲线。依次将视频中每一帧的左右肩膀的平均竖直序列与上阈值和下阈值比较,以第一个低于下阈值的竖直序列对应的帧选取为起身完毕关键帧f1,f1之后第一个大于上阈值的竖直序列对应的帧选取为刚坐下关键帧f6
2.2利用左右肩膀的水平序列,做差,得到肩宽值,由于是侧面视频,整个过程中肩宽只有在两次转身的时候有先增大后减小的变化,其余动作时间都是比较小的。整段视频中以帧数为横轴,肩宽值为纵轴,构建的坐标请参阅图4,由于有两次转身,得到的肩宽值的图形具有两个波峰。
还是采用双阈值触发,使用上述的公式,λup=1/2,λdown=1/3。依次将视频中每一帧的肩宽值与上阈值和下阈值比较,以第一次触发上阈值前的最后一个低于下阈值的肩宽值对应的帧选取为第一次转身开始帧f2;以f2之后,并且在触发下阈值后,以第一次触发上阈值前的最后一个高于上阈值的肩宽值对应的帧选取为第一次转身结束帧f3;f3之后,触发下阈值前的最后一个低于下阈值的肩宽值对应的帧选取为f4;以f4之后,并且在触发下阈值后,触发上阈值前的最后一个高于上阈值的肩宽值对应的帧选取为f5
2.3根据得到的6个关键帧f1-f6,将整个视频分为六段,分别是起身阶段(录制开始至f1),第一次3米直行阶段(f1至f2),第一次转身阶段(f2至f3),第二次3米直行阶段(f3至f4),第二次转身阶段(f4至f5),坐下阶段(f5至f6),其余为剩余冗余阶段。
三、步态参数提取,过程如下:
3.1,起身时间,转身时间,步速:起身时间为从录制开始至f1的时间,转身时间为f2到f3的时间,步速为两次直行阶段的步行速度,三者的计算公式分别如下:
Stand up time=f1/fr
Turning time=(f3-f2)/fr
Velocity=s/((f2-f1)+(f4-f3))
其中,fr是视频的帧速度,s为6米,是3m直立行走实验的总直行路程。
3.2步长,步频:在第一次3米直行和第二次3米直行阶段,我们首先计算出脚踝关键点水平序列的水平差值,然后利用双阈值方法及上述公式分别得到两个阶段的步数,在此过程中,设置λup=1/2,λdown=1/3,得到水平差值的上阈值和下阈值。人体走路时,每走一步(左脚向前和右脚向前),存在脚踝关键点水平差值从最大步长减小为零和从零增大为最大步长两个过程,因此会触发两次上阈值和两次下阈值。上阈值或下阈值被触发次数的一半即为步数。
得到的第一次3米直行中步数为step1,第二次3米直行中步数为step2。则步长Standlength、步频Cadence按照以下公式计算:
Standlength=s/(step1+step2)
Cadence=(step1+step2)/((f2-f1)+(f4-f3))
3.3左右脚支撑时间:在一个步行周期内,左脚连续触地的时间为左支撑时间,右脚连续触地的时间为右支撑时间,在第一个3米直行和第二个3米直行阶段提取这两个参数。对于左支撑时间,以人体前进方向为水平序列的正向,左脚脚踝的水平序列为纵轴,帧数为横轴,对得到的曲线求导,得到其导函数图像,则导函数中的0平台期就是左脚的支撑帧。理想状态下,左脚脚踝的水平序列的曲线图随帧数的递增,应是逐渐攀升、持平两种状态交替的曲线。在左脚连续触地时,左脚脚踝的水平序列是不变的,因此其导数应为0。但实际检测时,导函数无法得到理想的0平台期。因此利用双阈值方法及步骤2.1的公式进行检测,设置λup=1/4,λdown=1/5,得出导数的上阈值和下阈值,检测出每个步行周期中左脚支撑开始帧和结束帧。例如在一个0平台期的左端,以第一个低于下阈值对应帧作为左脚支撑开始帧,在一个0平台期的右端,以第一个高于下阈值对应帧作为左脚支撑结束帧。结束帧后与下一个开始帧之间会触发上阈值。在一个3米直行阶段,去掉开头和结尾的步行周期,对剩余的步行周期得到的支撑时间进行平均,便得到了左脚支撑时间。右脚支撑时间的计算和左脚计算方法相同。为使检测得到的关键点序列更精确,左脚脚踝的水平序列选择左脚靠近摄像机的3米直行阶段中的序列,右脚脚踝的水平序列选择右脚靠近摄像机的另一个3米直行阶段中的序列。因此左、右脚支撑时间均只在一个3米直行阶段内计算。
3.4左右髋角:髋角定义为大腿所在直线的方向和竖直方向形成的夹角。在第一个3米直行和第二个3米直行阶段,对于每一张图片,使用髋关键点序列和膝盖关键点序列,由下面公式计算髋角的正切值。hip_angle表示髋角,hip_x表示髋角的水平序列,Knee_x表示膝盖的水平序列,Knee_y表示膝盖的竖直序列,hip_y表示髋角的竖直序列,右髋角的表示方法类似左髋角,即公式中“L”表示左,“R”表示右。依然以人体下方为竖直序列的正向。
tan(LHip_angle)=(LHip_x-LKnee_x)/(LKnee_y-LHip_y)
tan(RHip_angle)=(RKnee_x-RHip_x)/(RKnee_y-RHip_y)
得到正切值序列之后,取髋角的正切值在一个步行周期内的最大差值作为步态特征左右髋屈的值。与左右脚支撑时间的检测类似,左右髋屈均只在一个3米直行阶段内计算。
四、步态是否异常的判断
将步态参数作为输入,使用训练好的支持向量机进行分类,检测步态是否异常,最终结果写入评估报告中,作为预诊断结果,供医生进行参考。评估报告中还可给出步态参数,作为医生对病人进行诊断的中间数据。
利用上述方法,本发明提供了一种步态评估系统,该系统可以输出检测得到的人体的步态参数,以及步态的正异常结果。
综上所述,本发明建立在国际公认的步态测试的基础上,通过对受试者的步态视频进行算法分析,得到评估参数和提供预诊断结果。可作为医生对脑血管病神经功能损伤病人进行诊断的参考数据,还可以用于对运动康复训练效果进行无接触式评估,从而也可以对康复方法进行评价。使用此方法进行步态评估,可以减少专业医护人员投入,提高诊断效率,使医疗资源得到更有效的利用。
尽管本发明的内容已经通过上述优选实施例作了详细介绍,但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后,对于本发明的多种修改和替代都将是显而易见的。因此,本发明的保护范围应由所附的权利要求来限定。

Claims (6)

1.一种基于人体关键点检测算法的步态识别方法,其特征在于,包括以下步骤:
步骤1,对单个摄像头从人体侧面拍摄获得的3m起立行走实验视频中的每一帧进行关键点检测,并提取关键点随时间的位置变化信息,以获得关键点序列;
步骤2,根据关键点序列对所述视频选取关键帧;所述关键帧作为视频中不同种动作的分界点;
步骤3,根据所述视频中的关键点序列及选取得到的关键帧,进行步态参数的提取;
所述的关键点包含:人体的左肩膀、右肩膀、脚踝、髋、膝盖;
所述的关键帧为:起身完毕关键帧f1,第一次转身开始帧f2,第一次转身结束帧f3,第二次转身开始帧f4,第二次转身结束帧f5,刚坐下关键帧f6;所述的关键点序列包含:竖直序列和水平序列;所述的关键帧通过以下公式选取得到:
threup=min(x)+λup*(max(x)-min(x))
thredown=min(x)+λdown*(max(x)-min(x))
其中,threup为序列的上阈值;thredown为序列的下阈值;min(x)为序列的最小值;max(x)为序列的最大值;λup为针对脉冲检测的上阈值的严谨程度调整参数,λdown为针对脉冲检测的下阈值的严谨程度调整参数,需满足0<λdown<λup<1;x为某关节点的水平或者垂直坐标视频序列;步骤2中,关键帧的选取具体包含:
(1)f1和f6的选取:利用所述的公式,得出左右肩膀的平均竖直序列的上阈值和下阈值;依次将视频中每一帧的左右肩膀的竖直序列的平均值与上阈值和下阈值比较;以人体下方为竖直序列的正向,序列数值在起身时候减小,在坐下时候增大,第一个低于下阈值的竖直序列对应的帧选取为f1,f1之后第一个大于上阈值的竖直序列对应的帧选取为f6
(2)f2、f3、f4和f5的选取:利用左右肩膀的水平序列,做差,得到肩宽值,通过所述的公式,得出肩宽值的上阈值和下阈值;再依次将视频中每一帧的肩宽值与上阈值和下阈值比较,以第一次触发上阈值前的最后一个低于下阈值的肩宽值对应的帧选取为第一次转身开始帧f2;以f2之后,并且在触发下阈值后,以第一次触发上阈值前的最后一个高于上阈值的肩宽值对应的帧选取为第一次转身结束帧f3;f3之后,触发下阈值前的最后一个低于下阈值的肩宽值对应的帧选取为f4;以f4之后,并且在触发下阈值后,触发上阈值前的最后一个高于上阈值的肩宽值对应的帧选取为f5
2.根据权利要求1所述的基于人体关键点检测算法的步态识别方法,其特征在于,步骤1中,通过人体检测网络获得所述的关键点序列。
3.根据权利要求1所述的基于人体关键点检测算法的步态识别方法,其特征在于,选取f1和f6前,先对左右肩膀的竖直序列进行滤波平滑处理。
4.根据权利要求1所述的基于人体关键点检测算法的步态识别方法,其特征在于,选取f1和f6时,λup=1/2,λdown=1/4;选取f2、f3、f4和f5时,λup=1/2,λdown=1/3。
5.根据权利要求1所述的方法,其特征在于,所述的视频包含第一次3米直行和第二次3米直行阶段;所述的步态参数包含:起身时间、转身时间、步速、步长、步频、左右脚支撑时间和左右髋曲;步骤3中,所述的步态参数的提取具体包含:
(1)计算所述起身时间Stand up time、转身时间Turning time、步速Velocity,计算公式如下:
Stand up time=f1/fr
Turning time=(f3-f2)/fr
Velocity=s/((f2-f1)+(f4-f3))
其中,fr是视频的帧速度,s为6米;
(2)计算步长Standlength,步频Cadence:第一次3米直行阶段和第二次3米直行阶段,首先计算出脚踝关键点水平序列的水平差值,然后利用权利要求1所述的公式分别得到两个阶段的步数,所述的公式中,设置λup=1/2,λdown=1/3,得到的第一次3米直行中步数为step1,第二次3米直行中步数为step2;则步长、步频按照以下公式计算:
Standlength=s/(step1+step2)
Cadence=(step1+step2)/((f2-f1)+(f4-f3));
(3)计算左右脚支撑时间:对于左支撑时间,利用左脚脚踝的水平序列,对其求导,得到其导函数图像;然后利用权利要求1所述的公式,设置λup=1/4,λdown=1/5,求出导数的上阈值和下阈值,进而检测出每个步行周期中左脚支撑开始帧和结束帧,去掉开头和结尾的步行周期,对剩余的步行周期得到的支撑时间进行平均,得到左脚支撑时间;右脚支撑时间的计算和左脚计算方法相同;
(4)计算左右髋曲:使用髋关键点序列和膝盖关键点序列,由下面公式计算髋角的正切值,其中,hip_angle表示髋角,hip_x表示髋角的水平序列,Knee_x表示膝盖的水平序列,Knee_y表示膝盖的竖直序列,hip_y表示髋角的竖直序列,“L”表示左,“R”表示右;
tan(LHip_angle)=(LHip_x-LKnee_x)/(LKnee_y-LHip_y)
tan(RHip_angle)=(RKnee_x-RHip_x)/(RKnee_y-RHip_y)得到正切值序列之后,取髋角的正切值在一个步行周期内的最大差值作为髋曲的值。
6.一种步态评估系统,其特征在于,该系统包含:
信息采集模块,用于采集包含待测步态信息的视频;所述的视频为单个摄像头从人体侧面拍摄获得的3m起立行走实验视频;
关键帧检测模块,用于检测所述视频的关键帧;所述关键帧作为视频中不同种动作的分界点;
步态参数提取模块,用于提取人体的步态参数;
步态诊断结果输出模块,用于输出步态的评估结果,步态的评估结果包含:人体的步态参数,以及步态的正异常结果;及
计算机程序,所述计算机程序存储在所述系统中,用于在被处理器执行时,能够实现权利要求1-5任意一项所述方法中的步骤。
CN201911149103.3A 2019-11-21 2019-11-21 基于人体关键点检测算法的步态识别方法及步态评估系统 Active CN111027417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911149103.3A CN111027417B (zh) 2019-11-21 2019-11-21 基于人体关键点检测算法的步态识别方法及步态评估系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911149103.3A CN111027417B (zh) 2019-11-21 2019-11-21 基于人体关键点检测算法的步态识别方法及步态评估系统

Publications (2)

Publication Number Publication Date
CN111027417A CN111027417A (zh) 2020-04-17
CN111027417B true CN111027417B (zh) 2023-09-01

Family

ID=70206274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911149103.3A Active CN111027417B (zh) 2019-11-21 2019-11-21 基于人体关键点检测算法的步态识别方法及步态评估系统

Country Status (1)

Country Link
CN (1) CN111027417B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111836072B (zh) * 2020-05-21 2022-09-13 北京嘀嘀无限科技发展有限公司 视频处理方法、装置、设备和存储介质
CN111881838B (zh) * 2020-07-29 2023-09-26 清华大学 具有隐私保护功能的运动障碍评估录像分析方法及设备
CN112597903B (zh) * 2020-12-24 2021-08-13 珠高电气检测有限公司 基于步幅测量的电力人员安全状态智能识别方法及介质
CN112800908B (zh) * 2021-01-19 2024-03-26 中国科学院心理研究所 一种基于视频中个体步态分析的焦虑感知模型的建立方法
CN112887792B (zh) * 2021-01-22 2023-07-25 维沃移动通信有限公司 视频处理方法、装置、电子设备及存储介质
CN115170603B (zh) * 2021-04-06 2024-01-23 广州视源电子科技股份有限公司 基于跑步机的步幅检测方法、装置、跑步机及存储介质
CN115188063A (zh) * 2021-04-06 2022-10-14 广州视源电子科技股份有限公司 基于跑步机的跑姿分析方法、装置、跑步机及存储介质
CN113855003A (zh) * 2021-09-29 2021-12-31 复旦大学附属中山医院 一种步态检测方法、系统及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100824757B1 (ko) * 2007-02-09 2008-04-24 연세대학교 산학협력단 걸음걸이를 이용한 생체 인식 방법
CN102426645A (zh) * 2011-08-30 2012-04-25 北京航空航天大学 一种多视角多状态的步态识别方法
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法
CN108363974A (zh) * 2018-02-09 2018-08-03 上海理工大学 用于社会安全管理的计算机视觉步态识别的足根检测方法
CN108416325A (zh) * 2018-03-27 2018-08-17 中国计量大学 一种结合视角转换模型与隐马尔可夫模型的步态识别方法
CN108960155A (zh) * 2018-07-09 2018-12-07 济南大学 基于Kinect的成人步态提取与异常分析方法
CN108960056A (zh) * 2018-05-30 2018-12-07 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
CN109902558A (zh) * 2019-01-15 2019-06-18 安徽理工大学 一种基于cnn-lstm的人体健康深度学习预测方法
WO2019159587A1 (ja) * 2018-02-14 2019-08-22 パナソニックIpマネジメント株式会社 リスク評価システム及びリスク評価方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204625B2 (en) * 2010-06-07 2019-02-12 Affectiva, Inc. Audio analysis learning using video data
US9597016B2 (en) * 2012-04-27 2017-03-21 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
KR102387378B1 (ko) * 2014-10-07 2022-04-15 삼성전자주식회사 보행 동작 인식을 위한 장치 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100824757B1 (ko) * 2007-02-09 2008-04-24 연세대학교 산학협력단 걸음걸이를 이용한 생체 인식 방법
CN102426645A (zh) * 2011-08-30 2012-04-25 北京航空航天大学 一种多视角多状态的步态识别方法
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法
CN108363974A (zh) * 2018-02-09 2018-08-03 上海理工大学 用于社会安全管理的计算机视觉步态识别的足根检测方法
WO2019159587A1 (ja) * 2018-02-14 2019-08-22 パナソニックIpマネジメント株式会社 リスク評価システム及びリスク評価方法
CN108416325A (zh) * 2018-03-27 2018-08-17 中国计量大学 一种结合视角转换模型与隐马尔可夫模型的步态识别方法
CN108960056A (zh) * 2018-05-30 2018-12-07 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
CN108960155A (zh) * 2018-07-09 2018-12-07 济南大学 基于Kinect的成人步态提取与异常分析方法
CN109902558A (zh) * 2019-01-15 2019-06-18 安徽理工大学 一种基于cnn-lstm的人体健康深度学习预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡元文.复杂场景视频中的运动目标监控与人体异常行为分析.信息科技.2015,(2015年第01期),第16-17、60-65页. *

Also Published As

Publication number Publication date
CN111027417A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN111027417B (zh) 基于人体关键点检测算法的步态识别方法及步态评估系统
US9996739B2 (en) System and method for automatic gait cycle segmentation
Leu et al. A robust markerless vision-based human gait analysis system
JP6433805B2 (ja) 運動機能診断装置及び方法、並びにプログラム
CN108960155B (zh) 基于Kinect的成人步态提取与异常分析方法
Martens et al. Inter-individual variability and pattern recognition of surface electromyography in front crawl swimming
Aghanavesi et al. Motion sensor-based assessment of Parkinson's disease motor symptoms during leg agility tests: results from levodopa challenge
CN114307117B (zh) 基于视频的立定跳远成绩测量方法和装置
JP2022008806A (ja) 血圧推定システム、血圧推定方法、学習装置、学習方法及びプログラム
Zhao et al. Gait assessment using the Kinect RGB-D sensor
US20230355135A1 (en) Intelligent gait analyzing apparatus
CN113456060B (zh) 一种运动功能特征参数的提取装置
JP7439353B2 (ja) 認知機能評価方法、認知機能評価装置及び認知機能評価プログラム
CN113768471A (zh) 一种基于步态分析的帕金森疾病辅助诊断系统
Gaud et al. Human gait analysis and activity recognition: A review
Muender et al. Extracting heart rate from videos of online participants
Khan et al. Computer vision methods for parkinsonian gait analysis: a review on patents
Allin et al. Video based analysis of standing balance in a community center
US20210059614A1 (en) Sarcopenia evaluation method, sarcopenia evaluation device, and non-transitory computer-readable recording medium in which sarcopenia evaluation program is recorded
WO2014122236A1 (en) Synchronous physiological measurements for cardiac acquisitions
Boev et al. Algorithm for Monitoring the State of the Musculoskeletal System in Scoliosis
Kiyama et al. Development of robust video-oculography system for non-invasive autonomic nerve quantification
Hassan Vision based gait by using smart phone technology incidence of first time stroke post analysis
Awais et al. Face and its features detection during nap
NAKAYAMA et al. Gait Analysis Method Focused on Skeleton Pose Estimation Using Wheeled Gait-Training Walker

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant