CN108022248A - 一种基于视觉采集设备的下肢步态康复评估系统 - Google Patents

一种基于视觉采集设备的下肢步态康复评估系统 Download PDF

Info

Publication number
CN108022248A
CN108022248A CN201610953145.2A CN201610953145A CN108022248A CN 108022248 A CN108022248 A CN 108022248A CN 201610953145 A CN201610953145 A CN 201610953145A CN 108022248 A CN108022248 A CN 108022248A
Authority
CN
China
Prior art keywords
gait
data
evaluation
gait evaluation
lower limb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610953145.2A
Other languages
English (en)
Inventor
帅梅
于闯
宋明月
李候
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201610953145.2A priority Critical patent/CN108022248A/zh
Publication of CN108022248A publication Critical patent/CN108022248A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001Image restoration
    • G06T5/002Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Abstract

本发明公开了一种基于视觉采集设备的下肢步态康复评估系统,包括步态评估算法程序,步态评估人机交互界面和步态评估数据库。步态评估算法部分主要包括原始步态数据采集,数据预处理,时间序列分割,步态评估参数的计算。步态评估界面是在Unity 3D开发平台实现的,由三个部分组成,包括控制按钮部分、用户基本信息输入部分和数据显示图表部分,实现了友好的交互界面。步态评估数据库是基于MySQL平台建立的,主要用于保存和调取用户基本信息和步态评估数据,便于康复医师进行康复状况跟踪。该系统能够有效地帮助康复医师进行康复评估,节省时间,而且能够根据量化的评估数据进行合理的康复方案制定。

Description

一种基于视觉采集设备的下肢步态康复评估系统 一.
技术领域
[0001] 本发明属于康复医学和机器视觉技术的交叉技术领域,涉及一种基于视觉采集设 备的下肢步态康复评估系统。 二.
背景技术
[0002] 近年来人们利用Kinect研究出了大量有趣的应用,如虚拟试衣、视频会议、人脸检 测、手势识别等。结合微软提供的SDK,连接好硬件设备,就可以通过微软提供的接口很便捷 地获取人体的三维骨骼数据。而且Kinect还能直接获取深度数据,相比于传统视觉设备需 要麻烦的配置和复杂的数据处理,Kinect具有更加便捷的优势。
[0003] 随着国家医学事业的进步,医疗保健系统的完善,我国开始重视康复医学的发展, 加强经济投入,着力健全康复科室的建设。其中,对下肢功能障碍康复状态的评估成为一个 关注的焦点问题。有很多原因会导致下肢功能障碍,比如人的老龄化导致的运动机能衰退, 心脑血管疾病导致的偏瘫,交通事故导致的关节损伤和骨关节炎等。传统的下肢步态功能 障碍的康复治疗和病情评估主要依赖康复医师一对一的徒手训练和目视评估。这种方法效 率比较低,而且康复效果取决于康复医师的康复经验,需要很高的人工成本。
[0004] 目前使用的穿戴式的步态评估系统,穿戴麻烦,浪费测试者和康复医师的时间,而 且评估的准确度和穿戴的位置有很大关系,同时评估设备的穿戴会影响步态评估患者的行 走自然程度,使得评估结果和患者自然行走状态的实际步态状况有所差别。因此需要有非 接触式的步态评估方式来解决这些问题,快速高效地实现步态评估。 三.
发明内容
[0005] 本方法目的在于克服以上的不足,提供一种基于视觉采集设备的下肢步态康复评 估系统,简单快捷高效地实现步态评估,极大方便患者和康复医师。
[0006] 为了达到上述目的,本发明技术方案包括步态评估算法部分,步态评估人机交互 界面部分和步态评估数据库部分。
[0007] 步态评估算法部分主要包括原始步态数据采集,数据预处理,时间序列分割,步态 评估参数的计算。包括以下步骤:
[0008] (1)在Windows环境下编写程序,采用视觉采集设备Kinect二代获取10个下肢骨 骼关节点空间坐标数据(Χ,γ,ζ),对应关节包括:人体中心、左右髋关节中心、左髋关节、右 髋关节、左膝关节、右膝关节、左踝关节、右踝关节、左足关节和右足关节;
[0009] (2)对原始数据进行中值滤波处理,滤除噪声,中值滤波的窗口长度是根据正常人 下肢步态周期和Kinect数据传输速率(每秒30桢)确定的;
[0010] (3)分析人体的下肢步态的运动学规律,根据踝关节Z坐标周期性变化规律,使用 阈值分割方法进行周期分割和支撑相和摆动相的分割;
[0011] (4)计算关节之间的三维空间向量,使用向量法计算左髋关节角度、右髋关节角 度、左膝关节角度和右膝关节角度;
[0012] (5)根据步骤(3)相邻两次周期分割点获得的踝关节空间坐标,计算其欧氏距离, 获得步幅,根据这个方法分别计算左腿步幅和右腿步幅,并计算左右步幅差异,用于评估左 右侧对称性;
[0013] (6)根据步骤⑶支撑相和摆动相的分割点获取的时钟时间,计算时间间隔获得支 撑相时间和摆动相时间,根据这个方法分别计算左腿支撑相时间和摆动相时间,右腿支撑 相时间和摆动相时间;
[0014] ⑺根据步骤⑶相邻两次周期分割点获得的时钟时间,计算时间间隔作为步态周 期,根据这个方法分别计算左腿步态周期和右腿步态周期;
[0015] (8)根据步骤(6)和⑺获得步态周期和对应侧支撑相时间计算支撑相时间占比, 根据这个方法分别计算获得左腿支撑相时间占比和右腿支撑相时间占比;
[0016] 步态评估人机交互界面是基于Unity 3D开发平台搭建的,通过输入框获取测试者 基本信息,用图表和曲线直观实时地显示步态评估特征数据,其中用饼状图展示支撑相时 间占比,用曲线实时显示膝关节和髋关节对应的关节角度值,用柱状图显示左右侧步幅和 步幅差异值。
[0017] 步态评估数据库是基于MySQL数据管理平台建立的,步态评估之前保存用户输入 的基本信息,这些数据作为数据回放查询的依据,同时评估过程中实时保存步态评估特征 数据,而且用户还可以根据需要调用步态数据,用于步态数据回放。
[0018] 本发明的优点和有益效果如下:
[0019] (1)本发明基于视觉采集设备Kinect进行步态数据采集,无需贴标记点和穿戴传 感设备,方便快捷高效。
[0020] (2)本发明对实时的步态数据进行了有效的周期分割和支撑相摆动相分割,提取 了有效的步态评估特征数据,为步态康复评估提供了可靠的依据。
[0021] (3)本发明采用Unity 3D平台搭建的交互界面,能够提供友好易操作的人机交互 功能,采用MySQL建立数据库,便于数据存储和回放,极大方便了测试者和康复医师的康复 评估和康复计划制定,有很好的实用意义。 四.附图说明
[0022]图1是骨骼跟踪功能坐标系
[0023] 图2是下肢步态评估关节索引图
[0024] 图3是步态评估流程图
[0025] 图4是步态评估系统界面分布图
[0026] 图5是数据库结构图 五.具体实施方式(各部分的实现方式)
[0027] 下面结合附图对本发明的技术方案进行更加清楚,更加详细的描述。
[0028] 基于视觉采集设备的下肢步态康复评估系统包括步态评估算法部分,步态评估人 机交互界面部分和步态评估数据库部分。步态评估算法部分用于处理步态评估数据,步态 评估人机交互界面部分是基于Unity 3D平台建立步态评估界面,实现更友好的人机交互, 步态评估数据库部分是基于MySQL搭建的步态数据库,方便步态数据的存储与再次调用。
[0029] 基于视觉采集设备的下肢步态康复评估系统的整个过程如图3所示,步骤如下:
[0030] 步骤1:在Windows平台下安装Kinect SDK,用于视觉采集设备Kinect和计算机连 接,并能顺利采集数据。编写C袖却本,获取Kinect骨骼跟踪功能的10个下肢关节的空间坐标 数据(X,Y,Z),单位为米,坐标原点在深度摄像头处,对应骨骼跟踪功能空间坐标系如图1所 不。
[0031] 其中图2是下肢步态评估的关节索引,以次是人体中心、左右髋关节中心、左髋关 节、右髋关节、左膝关节、右膝关节、左踝关节、右踝关节、左足关节和右足关节。获取关节点 数据过程中,要求测试者在Kinect正前方l-4m的范围内,才能保证这10个关节的三维空间 坐标数据有效。
[0032] 步骤2:根据步骤1中获得原始步态数据,采用中值滤波的方法进行噪声滤除。中值 滤波适用于偶然出现的脉冲干扰信号,是一种基于排序统计理论并有效抑制噪声的非线性 信号处理技术。中值滤波的基本原理是把数字信号序列中现在的值和其邻域的各点值排 序,然后去中间的值代替该点的值,从而消除孤立的噪声点。
[0033] 在对步骤1中10个关节点空间坐标X,Y,Z进行中值滤波的过程中,需要定义一个奇 数长度2η+1 (η为自然数)的窗口。以膝关节Y坐标值为例,连续的2η+1个Y坐标值序列为:Y (i-n),Y(i-n+l),...,Y(i),...,Y(i+n-l),Y(i+n),其中 Y ⑴为膝关节 Y 坐标值得采样值, 将该数据序列按数值大小进行从小到大排序,排序后结果为:Srange3d(I) ,Srange3d (2),…, Sranged (2n+l)中值滤波输出值T为Sranged (n+1),如公式1所示。
[0034] T = Sranged (n+1) =Med (Sranged (l) ,Sranged (2) ,'",Sranged (2n+l) ) (l)
[0035] 其中,Med函数为取序列中间值的函数。
[0036] 步骤3:根据人体运动学规律,结合左右踝关节点坐标Z的周期性变化,进行周期分 割和支撑相摆动相分割。在支撑相踝关节Z坐标不变化,在摆动相踝关节Z坐标不断减小或 者增大,减小或者增大和运动方向有关。
[0037] 计算踝关节坐标的变化率,根据实验数据分析,选取合适的分割变化率阈值。根据 阈值分割法,当大于阈值时为摆动期,小于阈值时为支撑期,实现支撑相和摆动相的分割。 连续的支撑相和摆动相合在一起构成一个完整步态周期,进而实现步态周期的分割。
[0038] 步骤4:根据步骤3获得相邻两次周期分割点获得的踝关节空间坐标,计算其欧氏 距离,获得步幅,根据这个方法分别计算左腿步幅和右腿步幅,并计算左右步幅差异,用于 评估左右侧对称性。
[0039] 根据步骤3支撑相和摆动相的分割点获取的时钟时间,计算时间间隔获得支撑相 时间和摆动相时间,根据这个方法分别计算左右腿支撑相时间和摆动相时间。
[0040] 根据步骤3相邻两次周期分割点获得的时钟时间,计算时间间隔作为步态周期,根 据这个方法分别计算左腿步态周期和右腿步态周期。
[0041] 步骤5:计算两个相邻关节之间的三维空间向量,使用向量法计算左髋关节角度、 右髋关节角度、左膝关节角度和右膝关节角度。关节角度的计算如公式2所示。
[0042]
Figure CN108022248AD00051
(2)
[0043] 其中,i,j,I,m为图2中关节点索引值,Angle (i,j,I,m)代表关节点i,j,I,m组成的 角度值,取锐角,V (i,j)和V (I,m)分别代表关节i,j的空间坐标组成向量和关节I,m的空间 坐标组成向量。
[0044] 左髋关节角度、右髋关节角度、左膝关节角度和右膝关节角度对应的角度分别为 Angle (I,2,3,4),Angle (I,2,7,8),Angle (3,4,4,5),Angle (7,8,8,9)。
[0045] 步骤6:步态评估界面是在Unity 3D平台开发实现的,由三个部分组成,包括控制 按钮部分、用户基本信息输入部分和数据显示图表部分,如图4所示。控制按钮部分主要用 于程序的开始、暂停、结束和复位等,用户基本信息输入部分用于采集用户的基本信息以便 保存用户信息。数据显示图表部分主要是用图表和曲线直观实时地显示步态评估特征数 据,其中饼状图展示支撑相时间占比,曲线实时显示关节角度值,用柱状图显示左右侧步幅 和步幅差异值。
[0046] 步骤7:基于MySQL数据管理平台建立步态评估数据库。步态数据库的建立过程如 图5所示,步态评估之前保存用户输入的基本信息,根据用户基本信息判断该用户是否已经 做过步态评估训练,若是第一次做步态测试,则建立新的步态数据表专门用于保存该用户 的步态数据。否者,根据用户信息查询已经存在的相关步态数据表,然后存储步态数据。而 且用户还可以根据需要调用步态数据,用于步态数据回放。
[0047] 以上技术方案阐述了本发明的技术思路,不能以此限定本发明的保护范围,凡是 未脱离本发明技术方案的内容,依据本发明的技术实质对以上技术方案所作的任何改动及 修饰,均属于本发明技术方案的保护范围。

Claims (4)

1. 一种基于视觉采集设备的下肢步态康复评估系统,其特征在于,包括步态评估算法 程序,步态评估人机交互界面和步态评估数据库。
2. 根据权利要求1所述的一种基于视觉采集设备的下肢步态康复评估系统,其特征在 于,步态评估算法程序包括以下内容: 1) 采用Kinect获取测试者下肢步态原始数据,原始数据包含一定的噪声,对原始数据 进行中值滤波预处理,消除噪声; 2) 结合人体的运动学规律,分析左右踝关节点坐标周期性变化,采用阈值分割法对实 时的步态数据进行周期分割和支撑相摆动相分割; 3) 根据步态康复学知识,结合周期分割数据进行步态评估特征提取,其中步态特征包 括左腿步幅、右腿步幅、左腿支撑相时间占比、右腿支撑相时间占比、左右腿髋关节角度和 左右腿膝关节角度,分别计算出各个步态特征数据,进而评估步态状况。
3. 根据权利要求1所述的一种基于视觉采集设备的下肢步态康复评估系统,其特征在 于,步态评估人机交互界面是基于Unity 3D开发平台建立人机交互界面,通过输入框获取 测试者基本信息,使用图表和曲线实时显示步态评估数据。
4. 根据权利要求1所述的一种基于视觉采集设备的下肢步态康复评估系统,其特征在 于,步态评估数据库是基于MySQL数据管理平台建立的数据库,步态评估之前保存用户输入 的基本信息,评估过程中实时保存步态评估数据,同时用户可以根据需要调用步态数据库 的步态数据,用于步态数据回放。
CN201610953145.2A 2016-11-03 2016-11-03 一种基于视觉采集设备的下肢步态康复评估系统 Pending CN108022248A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610953145.2A CN108022248A (zh) 2016-11-03 2016-11-03 一种基于视觉采集设备的下肢步态康复评估系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610953145.2A CN108022248A (zh) 2016-11-03 2016-11-03 一种基于视觉采集设备的下肢步态康复评估系统

Publications (1)

Publication Number Publication Date
CN108022248A true CN108022248A (zh) 2018-05-11

Family

ID=62070873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610953145.2A Pending CN108022248A (zh) 2016-11-03 2016-11-03 一种基于视觉采集设备的下肢步态康复评估系统

Country Status (1)

Country Link
CN (1) CN108022248A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932504A (zh) * 2018-07-24 2018-12-04 中国科学院深圳先进技术研究院 身份认证方法、装置、电子设备及存储介质
CN108968973A (zh) * 2018-08-07 2018-12-11 南通大学 一种人体步态采集与分析系统及方法
CN111967366A (zh) * 2020-08-12 2020-11-20 华中科技大学鄂州工业技术研究院 一种对腿部患者的康复状况进行评测的方法及助行机器人
CN112998700A (zh) * 2021-05-26 2021-06-22 北京欧应信息技术有限公司 用于辅助对象运动功能评估的设备、系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130123665A1 (en) * 2010-07-14 2013-05-16 Ecole Polytechnique Federale De Lausanne (Epfl) System and method for 3d gait assessment
CN103514302A (zh) * 2013-10-28 2014-01-15 深圳先进技术研究院 人体步态数据库及其建立方法
CN103505219A (zh) * 2012-06-20 2014-01-15 中国科学院电子学研究所 一种人体步态评测系统及方法
CN103598889A (zh) * 2013-11-13 2014-02-26 东南大学常州研究院 基于Kinect视觉步态分析的情景交互康复训练方法
CN104408718A (zh) * 2014-11-24 2015-03-11 中国科学院自动化研究所 一种基于双目视觉测量的步态数据处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130123665A1 (en) * 2010-07-14 2013-05-16 Ecole Polytechnique Federale De Lausanne (Epfl) System and method for 3d gait assessment
CN103505219A (zh) * 2012-06-20 2014-01-15 中国科学院电子学研究所 一种人体步态评测系统及方法
CN103514302A (zh) * 2013-10-28 2014-01-15 深圳先进技术研究院 人体步态数据库及其建立方法
CN103598889A (zh) * 2013-11-13 2014-02-26 东南大学常州研究院 基于Kinect视觉步态分析的情景交互康复训练方法
CN104408718A (zh) * 2014-11-24 2015-03-11 中国科学院自动化研究所 一种基于双目视觉测量的步态数据处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贾泽皓 等: "基于康复训练过程的人体步态分析", 《人工智能与机器人研究》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932504A (zh) * 2018-07-24 2018-12-04 中国科学院深圳先进技术研究院 身份认证方法、装置、电子设备及存储介质
CN108968973A (zh) * 2018-08-07 2018-12-11 南通大学 一种人体步态采集与分析系统及方法
CN111967366A (zh) * 2020-08-12 2020-11-20 华中科技大学鄂州工业技术研究院 一种对腿部患者的康复状况进行评测的方法及助行机器人
CN112998700A (zh) * 2021-05-26 2021-06-22 北京欧应信息技术有限公司 用于辅助对象运动功能评估的设备、系统和方法
CN112998700B (zh) * 2021-05-26 2021-09-24 北京欧应信息技术有限公司 用于辅助对象运动功能评估的设备、系统和方法

Similar Documents

Publication Publication Date Title
CN108022248A (zh) 一种基于视觉采集设备的下肢步态康复评估系统
CN106650687B (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
CN102184541B (zh) 多目标优化人体运动跟踪方法
CN107174255A (zh) 基于Kinect体感技术的三维步态信息采集与分析方法
Islam et al. Yoga posture recognition by detecting human joint points in real time using microsoft kinect
CN104382595A (zh) 基于肌电信号与虚拟现实交互技术的上肢康复系统及方法
CN102682452A (zh) 基于产生式和判别式结合的人体运动跟踪方法
CN107930048B (zh) 一种太空体感识别运动分析系统及运动分析方法
CN106599770A (zh) 一种基于体感动作识别及抠像的滑雪场景显示方法
CN104353240A (zh) 基于Kinect的跑步机系统
CN107993249A (zh) 一种基于多Kinect的人体步态数据融合方法
Cha et al. Analysis of climbing postures and movements in sport climbing for realistic 3D climbing animations
CN111582158A (zh) 一种基于人体姿态估计的摔倒检测方法
CN106815855A (zh) 基于产生式和判别式结合的人体运动跟踪方法
CN111460875A (zh) 图像处理方法及装置、图像设备及存储介质
Mastorakis et al. Fall detection without people: A simulation approach tackling video data scarcity
Zhao et al. Gait assessment using the Kinect RGB-D sensor
CN104898971A (zh) 一种基于视线跟踪技术的鼠标指针控制方法及系统
CN102475966B (zh) 一种基于计算机的扭腰运动实现方法及系统
CN107272593A (zh) 一种基于Kinect的机器人体感编程方法
CN110298279A (zh) 一种肢体康复训练辅助方法及系统、介质、设备
CN110168316B (zh) 基于步频的足部计步数方法、装置及设备
CN108921062A (zh) 一种联合多步态特征协同字典的步态识别方法
Ren et al. Multivariate analysis of joint motion data by kinect: Application to Parkinson’s disease
Ye et al. Gait analysis using a single depth camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180511