CN113974612B - 一种卒中患者上肢运动功能自动化评估方法与系统 - Google Patents
一种卒中患者上肢运动功能自动化评估方法与系统 Download PDFInfo
- Publication number
- CN113974612B CN113974612B CN202111463497.7A CN202111463497A CN113974612B CN 113974612 B CN113974612 B CN 113974612B CN 202111463497 A CN202111463497 A CN 202111463497A CN 113974612 B CN113974612 B CN 113974612B
- Authority
- CN
- China
- Prior art keywords
- evaluation
- motion
- upper limb
- data
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 87
- 210000001364 upper extremity Anatomy 0.000 title claims abstract description 63
- 208000006011 Stroke Diseases 0.000 title claims abstract description 55
- 238000013210 evaluation model Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 38
- 210000002569 neuron Anatomy 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 17
- 230000007659 motor function Effects 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 14
- 238000011511 automated evaluation Methods 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000010183 spectrum analysis Methods 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000002790 cross-validation Methods 0.000 claims description 4
- 206010008190 Cerebrovascular accident Diseases 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 11
- 238000012423 maintenance Methods 0.000 description 9
- 238000010276 construction Methods 0.000 description 8
- 230000000386 athletic effect Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000002490 cerebral effect Effects 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 241000282461 Canis lupus Species 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 206010061296 Motor dysfunction Diseases 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 210000000245 forearm Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011990 functional testing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Artificial Intelligence (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Primary Health Care (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Epidemiology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physical Education & Sports Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供的卒中患者上肢运动功能自动化评估方法和系统，基于运动数据构建运动数据集，对运动数据集进行预处理得到预处理数据集，从预处理数据集中动态提取运动学特征，构建特征集，将特征集输入至训练好的评估模型中，得到各项运动评估分数，基于各项运动评估分数得到待评估卒中患者上肢的运动评估总分数，使得到的数据更加客观，并且基于这些客观数据得到的评分结果更加准确、客观，进而能够解决传统上肢运动功能评估方法在实际评估工作中的局限性问题。
Description
技术领域
本发明涉及运动评估技术领域，特别是涉及一种卒中患者上肢运动功能自动化评估方法与系统。
背景技术
脑卒中(又称：中风)是世界范围内导致残疾的主要原因之一，随着全球范围内人口老龄化现象日趋严重，脑卒中的患病率预计还会持续增加。据相关统计，高达80％的脑卒中患者在发病后的急性期到亚急性期有不同程度的上肢残疾，这对于他们及其家人的生活质量产生了负面的影响。脑卒中的恢复是一个漫长的过程，康复治疗会贯穿于疾病的全过程，主要分为三个阶段。超早期(24小时内)/早期康复(48小时后)针对脑卒中急性期患者，多在神经内科或脑卒中中心进行治疗，多以关节被动活动、早期床边坐位保持和坐位平衡训练为主；中期康复(2～3周后)针对脑卒中恢复期患者，多在康复中心或康复病房进行治疗，多以中高强度的物理治疗、作业治疗、语言治疗等为主；社区康复(出院后)针对脑卒中后遗症期患者，多在社区或家中进行治疗，多以恢复日常生活活动能力为主。
康复评定是制定康复治疗方案的基础，也是观察其治疗效果的客观标准，对治疗疗效评价、功能恢复预测均有重要作用。“康复始于评定，终于评定”作为康复行业的格言也体现了康复评定在康复治疗过程中的重要地位。目前，对于患者运动功能的康复评定，康复医师大多使用临床评定量表来进行，主要包括Brunnstrom评定表，Fugl-Meyer评定表(Fugl-MeyerAssessment，FMA)，Wolf运动功能测试表(WolfMotorFunctionTest，WMFT)等。但是这些临床量表存在两个主要的局限性：1)运动功能评估较为耗时；2)临床量表测试的分数是基于人为的主观判断，缺乏客观性。因此，传感器技术被应用于运动功能评估中来，但是传统的运动捕捉技术也存在相关局限性，主要在于：1)需要人为策略性地把物理标记(如反光球)放置在身体骨性标志点上，这可能干扰患者运动与运动数据的采集；2)需要特殊的工作环境来收集数据，是许多临床康复和社区康复环境无法满足的；3)捕捉系统及其设置的成本费用过高。因此，在临床康复和社区康复环境下，传统的上肢运动功能评估方法与运动捕捉技术展现出众多局限性。
发明内容
为了解决现有技术存在的上述问题，本发明提供了一种卒中患者上肢运动功能自动化评估方法与系统。
为实现上述目的，本发明提供了如下方案：
一种卒中患者上肢运动功能自动化评估方法，包括：
获取待评估卒中患者上肢的运动数据；
基于所述运动数据构建运动数据集；
对所述运动数据集进行预处理得到预处理数据集；
从所述预处理数据集中动态提取运动学特征，构建特征集；
将所述特征集输入至训练好的评估模型中，得到各项运动评估分数；
基于所述各项运动评估分数得到待评估卒中患者上肢的运动评估总分数。
优选地，所述获取待评估卒中患者上肢的运动数据，具体包括：
采用KinectV2设备，基于预设采样频率通过运动跟踪子系统采集待评估卒中患者上肢的运动数据。
优选地，所述预设采样频率为30Hz。
优选地，所述对所述运动数据集进行预处理得到预处理数据集，具体包括：
从所述运动数据集中提取关节运动数据；
基于待评估卒中患者重复运动的次数对所述关节运动数据进行分割，得到分割数据；
采用奇异谱分析方法对所述分割数据进行处理得到所述预处理数据集。
优选地，所述从所述预处理数据集中动态提取运动学特征，构建特征集，具体包括：
从所述预处理数据集中提取预设个数的运动学特征；
采用Multi-ReliefF算法进行动态运动学特征选择，以形成特征集。
优选地，采用Multi-ReliefF算法进行动态运动学特征选择，具体包括：
依据权重对提取的运动学特征进行排序，得到排序结果；
删除所述排序结果中权重为负的运动学特征，以完成运动学特征的选择。
优选地，所述预设个数为32。
优选地，所述训练好的评估模型包括：输入层、隐藏层和输出层；
所述输入层中的神经元小于等于32个；所述隐藏层包括20个神经元；所述输出层包括6个神经元。
一种卒中患者上肢运动功能自动化评估系统，包括：KinectV2设备，运动跟踪子系统和运动功能评估子系统；
所述Kinect V2设备与运动跟踪子系统连接；所述KinectV2设备用于采集待评估卒中患者上肢的运动数据；所述运动跟踪子系统用于构建运动数据集；所述运动功能评估子系统用于对所述运动数据集进行预处理得到预处理数据集，用于从所述预处理数据集中动态提取运动学特征，构建特征集，用于将所述特征集输入至训练好的评估模型中，得到各项运动评估分数，用于基于所述各项运动评估分数得到待评估卒中患者上肢的运动评估总分数。
优选地，所述运动跟踪子系统和所述运动功能评估子系统中植入有人机交互界面。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的卒中患者上肢运动功能自动化评估方法和系统，基于运动数据构建运动数据集，对运动数据集进行预处理得到预处理数据集，从预处理数据集中动态提取运动学特征，构建特征集，将特征集输入至训练好的评估模型中，得到各项运动评估分数，基于各项运动评估分数得到待评估卒中患者上肢的运动评估总分数，使得到的数据更加客观，并且基于这些客观数据得到的评分结果更加准确、客观，进而能够解决传统上肢运动功能评估方法在实际评估工作中的局限性问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的卒中患者上肢运动功能自动化评估方法的流程图；
图2为本发明实施例提供的现实环境搭建的设备连接示意图；
图3为本发明实施例提供的患者上肢运动功能自动化评估方法的实施流程示意图；
图4为本发明实施例提供的运动功能评估子系统的结构示意图；
图5为本发明实施例提供的运动跟踪子系统的人机交互界面显示图；
图6为本发明实施例提供的运动功能评估子系统的人机交互界面任务选择页图；
图7为本发明实施例提供的运动功能评估子系统的人机交互界面上肢特征显示页图；
图8为本发明实施例提供的运动功能评估子系统的人机交互界面运动柔顺显示页图；
图9为本发明实施例提供的运动功能评估子系统的人机交互界面特征值计算页图；
图10为本发明实施例提供的运动功能评估子系统的人机交互界面得分计算页图；
图11为本发明实施例提供的运动功能评估子系统的人机交互界面结果输出页图；
图12为本发明实施例提供的运动功能评估子系统的人机交互界面模型再训练页图(即维护界面)；
图13为本发明实施例捕捉的人体骨骼关键点示意图；
图14为本发明实施例提供的动态特征选择(Multi-ReliefF)的流程图；
图15为本发明实施例提供的评估模型FFNN(前馈神经网络)的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种卒中患者上肢运动功能自动化评估方法和系统，能够解决传统上肢运动功能评估在实际评估工作中的局限性问题，进而客观、精确的给出运动评估得分。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供的卒中患者上肢运动功能自动化评估方法，包括：
步骤100：获取待评估卒中患者上肢的运动数据。在本发明中，为了提高数据采集的客观性，采用KinectV2设备，基于预设采样频率采集待评估卒中患者上肢的运动数据。例如，预设采样频率可以是30Hz。KinectV2是微软公司开发的一款低成本、无标记、便携式3D运动捕捉系统，它可以利用内置的深度学习算法与预设采样频率采集数据，并基于有深度信息的图像来估计身体关节(25个关节)的三维(XYZ)位置坐标。
步骤101：基于运动数据构建运动数据集。
步骤102：对运动数据集进行预处理得到预处理数据集。进行数据预处理主要包括数据分割和滤波，基于此，该步骤具体包括：
步骤1020：从运动数据集中提取关节运动数据。
步骤1021：基于待评估卒中患者重复运动的次数对关节运动数据进行分割，得到分割数据。
步骤1022：采用奇异谱分析方法对分割数据进行处理得到预处理数据集。
具体的，首先对KinectV2采集的每个数据集提取出10个关节的运动数据，包括脊柱肩/中、肩左/右、肘左/手、腕左/手和手左/右这些关节，如图13所示。然后对运动数据根据参与者重复运动的次数进行分割，并使用奇异谱分析方法(singular spectrumanalysis，SSA)对分割的数据进行滤波操作，达到降噪平滑的效果。SSA算法的使用包含平滑、过滤和趋势提取。
步骤103：从预处理数据集中动态提取运动学特征，构建特征集。该步骤具体包括：
步骤1030：从预处理数据集中提取预设个数的运动学特征。
步骤1031：采用Multi-ReliefF算法进行动态运动学特征选择，以形成特征集。
具体的，从预处理的数据中提取计算出32项运动学特征(如表1所示)。这些特征主要可以分成三个类：末端运动学(11项特征，例如最大速度、曲率指数、关节间协调指数、速度峰值数)、肩部角度运动学(18项特征，例如最大角速度、归一化平均绝对抖动值)和其他运动学(3项特征，例如最大躯干位移、手臂末端路径长度)。本发明采用曲率指数IC(theindex ofcurvature)去估算手臂末端的直线度。IC值以手臂末端路径长度与视线距离(起始位置与结束位置的直线距离)之比的形式获得。同时，提出了使用光谱弧长(spectralarc-length，SAL)来评估手臂末端的运动平滑度，SAL算法主要是基于傅里叶振幅谱研发的，它的性能在识别运动行为改变方面优于其他平滑度算法。
表1运动学特征表
例如，可以通过角速度量化肩部的转速，基于此，三个欧拉角速度的方程表示如下(Z-X-Y旋转顺序)：
其中θ1、θ2、θ3分别表示围绕Z轴、X轴、Y轴的旋转角度，ωf、ωa、ωi分别表示肩部屈曲、内收与内翻的角速度。
这些运动学特征的有效性和可靠性已经在健康人与患者身上进行了测试与评估，可以用来定量地评定某一方面的运动功能障碍(如效率、平稳性等)。
进一步，在构建特征集之前，对已有的运动特征通过自研方法Multi-ReliefF进行动态选择，主要包含排序和过滤两个部分。特征选择的步骤如图14所示，使用RelifF算法根据重要性权重对原始特征进行排序并删除所有权重值为负的特征，不断迭代排序和过滤直到所有特征的权重值为正，至此特征集的动态选择完成。
步骤104：将特征集输入至训练好的评估模型中，得到运动评估分数。在本发明中，训练好的评估模型包括：输入层、隐藏层和输出层。输入层中的神经元小于等于32个。隐藏层包括20个神经元。输出层包括6个神经元。如图15所示，输入层最多有32个神经元(X1，X2…X32)用来对应输入的特征数目，隐藏层神经元数量为20个，输出层有6个神经元并对应WMFT-FAS(以此评分量表为例，可以根据其他量表调整输出层神经元个数)每个任务的6个不同评价分数：0代表所测试的上肢没有尝试参与测试(即完全丧失运动功能)，5表示所测试的上肢参与测试并完成任务(即与健侧上肢动作基本一致)。反向传播算法也被纳入FFNN模型中，以计算处理后的神经元误差积累，从而提高预测的准确性。基于FFNN评估模型的结构也可以在图15中看到，它采用了“赢家通吃”的评分策略，即选择发生概率最大的分数作为评估的最终分数。例如，分数0、1、2、3、4和5发生的可能性分别为0％、5％、5％、10％、20％和60％，那么该任务的最终评估分数将为5(因为分数5的发生概率60％是最高的)。
步骤105：基于各项运动评估分数得到待评估卒中患者上肢的运动评估总分数。首先针对每一项任务，根据患者重复的次数取平均得分并使用“四舍五入”法则对平均得分进行取整计算(因WMFT-FAS量表的得分都是整数)。然后对每项任务的最终得分进行求和得到本次评估的总分。
基于上述内容能够得到待评估卒中患者上肢的运动评分(各项分数及总分)。在实际使用过程中，康复医师可以远程将计算得分和运动数据作为参考依据，基于此对卒中患者的上肢康复情况进行评定并及时调整康复训练方案，最终得出一份评估报告。
对应于上述提供的卒中患者上肢运动功能自动化评估方法，本发明采用卒中患者上肢运动功能自动化评估系统进行实现，该系统主要包括：KinectV2设备，运动跟踪子系统，和运动功能评估子系统。
KinectV2设备与运动跟踪子系统连接；KinectV2设备用于采集待评估卒中患者上肢的运动数据。运动功能评估子系统用于基于运动跟踪子系统构建的运动数据集，用于对运动数据集进行预处理得到预处理数据集，用于从预处理数据集中动态提取运动学特征，构建特征集，用于将特征集输入至训练好的评估模型中，得到各项运动评估分数，用于基于各项运动评估分数得到待评估卒中患者上肢的运动评估总分数。其中，运动跟踪子系统和运动功能评估子系统中植入有人机交互界面。
在本发明中，如图4所示，运动功能评估子系统可以进一步包括：现实搭建与数据采集模块(图2)、预处理模块、特征集模块、评估模块、计算模块、分析模块、数据库和维护模块。
在现实搭建与数据采集模块(图2)中，首先搭建现实的评估区域，以便于采用KinectV2设备进行运动数据的采集，然后从计算机中打开定制的运动跟踪子系统识别出所需的Kinect数据，并按照所采用的WMFT-FAS评估量表所包含的15个运动任务(如表2所示)进行数据集构建。
预处理模块主要用于对采集的数据集进行预处理，包括数据分割和过滤。
特征集模块主要用于从预处理的数据中计算32个运动学特征，通过Multi-RelifF算法进行特征的动态选择，并构建相关特征集。
评估模块主要用于对于已经训练完毕的FFNN(前馈神经网络)评估模型，可以直接基于上一步骤构建的特征集进行每个运动任务的自动化打分。
计算模块主要用于使用开发的自动化系统计算所采用评估量表的临床总得分。
分析模块的设置便于康复医师远程根据自动化系统的评估得分(单项及总分)及运动视频，分析卒中患者康复功能恢复情况及动态调整康复训练方案，并出具评估报告。
维护模块用于评估模型的后期维护，需要对新积累的患者运动数据进行特征集构建，并使用k折交叉验证法进行评估模型的参数更新。
表215项任务列表
下面针对每一模块中进行的数据处理进行细化说明，如图3所示，数据处理过程包括：
步骤1：现实搭建与数据集构建得到的连接关系如图2所示，主要是为了实现现实搭建并从定制的运动跟踪子系统识别所需的Kinect数据。
现实搭建具体是让患者站在指定的测试区域，首先打开KinectV2设备与计算机，患者在评估区域入座后，通过观看投影仪上的康复评估任务视频讲解，模仿动作进行康复评估。主要通过KinectV2设备、计算机、投影仪、椅子(患者座位)搭建整个现实环境，然后患者在指定的训练区域进行上肢功能康复评估。
运动数据由KinectV2设备采集，KinectV2是微软公司开发的一款低成本、无标记、便携式3D运动捕捉系统，它可以利用内置的深度学习算法，以30Hz采样频率进行数据的采集，并基于有深度信息的图像来估计身体关节(25个关节)的三维(XYZ)位置坐标。同时，发明人开发了定制的运动跟踪子系统(如图5所示)，该系统可以将采集的运动学数据与时间帧数保存到计算机中，按照运动任务的不同进行数据的分类，数据保存格式采取CSV格式。
构建运动数据集。数据的采集会招募处于各种康复程度的卒中患者参与，并签署相关知情同意书。所有的参与者均由经验丰富的康复医师使用WMFT-FAS(FunctionalAbility Scale of Wolf Motor Function Test，基于功能性能力量表的Wolf运功功能测试)量表进行评估。WMFT-FAS是一项用于评估卒中患者上肢运动能力的量表，针对患者在各项指定任务中上肢运动能力的表现，根据速度、精确度、柔顺性、协调性等特点进行评分(0-5分，6个分级)。参与者需要通过完整的WMFT-FAS量表进行临床评估(15项任务，如上表2所示)，如：前臂放到桌子上(侧面，任务1)，前臂由桌子放到盒子上(侧面，任务2)，在桌子上伸展肘部(侧面，任务3)，在桌上有负荷地伸展肘部(侧面，任务4)等。对于每个任务而言，每个参与者的每一次重复运动都被认为是一组新数据，该组数据包含运动数据和相对应的一个临床评分。因此，当完成所有评定任务之后，每个参与者都会生成15个不同的运动数据集。对于数据积累而言(用于后期维护)，所有参与者产生的运动数据都会按照任务的种类进行分类并形成相应的运动数据库。
步骤2：预处理
通过计算机对生成的运动数据集进行预处理，包括数据分割和过滤。发明人开发了一款运动功能评估子系统(其中植入的人机交互界面如图6-图12所示)，该子系统可以完成数据集的预处理(也可以完成后续的特征提取与运动功能评估)。首先对KinectV2采集的每个数据集提取出10个关节的运动数据，包括脊柱肩/中、肩左/右、肘左/手、腕左/手和手左/右(如图13所示)这些关节。然后对原始数据根据参与者重复运动的次数进行分割，并使用奇异谱分析方法(singular spectrum analysis，SSA)对分割的数据进行滤波操作，达到降噪平滑的效果。SSA算法的使用包含平滑、过滤和趋势提取。
步骤3：特征集构建:
从步骤2预处理的数据中提取计算出32项运动学特征(如表1所示)。这些特征主要可以分成三个类：末端运动学(11项特征，例如最大速度、曲率指数、关节间协调指数、速度峰值数)、肩部角度运动学(18项特征，例如最大角速度、归一化平均绝对抖动值)和其他运动学(3项特征，例如最大躯干位移、手臂末端路径长度)。发明人提出使用曲率指数IC(theindex of curvature)去估算手臂末端的直线度。IC值以手臂末端路径长度与视线距离(起始位置与结束位置的直线距离)之比的形式获得。同时，提出了使用光谱弧长(spectralarc-length，SAL)来评估手臂末端的运动平滑度，SAL算法主要是基于傅里叶振幅谱研发的，它的性能在识别运动行为改变方面优于其他平滑度算法。
角速度用于量化肩部的转速，角速度的确定公式为上述公式(1)-(3).这些运动学特征的有效性和可靠性已经在健康人与患者身上进行了测试与评估，可以用来定量地评定某一方面的运动功能障碍(如效率、平稳性等)。
在构建特征集之前，对已有的运动特征通过自研方法Multi-ReliefF进行动态选择，主要包含排序和过滤两个部分。特征选择的步骤如图14所示，使用RelifF算法根据重要性权重对原始特征进行排序并删除所有权重值为负的特征，不断迭代排序和过滤直到所有特征的权重值为正，至此特征的选择完成。
步骤4：评估模型
使用已经训练完毕的FFNN(前馈神经网络)作为评估模型的核心，其结构如图15所示，输入层最多有32个神经元(X1，X2…X32)用来对应输入的特征数目，隐藏层神经元数量为20个，输出层有6个神经元并对应WMFT-FAS每个任务的6个不同评价分数：0代表所测试的上肢没有尝试参与测试(即完全丧失运动功能)，5表示所测试的上肢参与测试并完成任务(即与健侧上肢动作基本一致)。反向传播算法也被纳入FFNN模型中，以计算处理后的神经元误差积累，从而提高预测的准确性。基于FFNN评估模型的结构也可以在图15中看到，它采用了“赢家通吃”的评分策略，即选择发生概率最大的分数作为评估的最终分数。例如，分数0、1、2、3、4和5发生的可能性分别为0％、5％、5％、10％、20％和60％，那么该任务的最终评估分数将为5(因为分数5的发生概率60％是最高的)。
步骤5：总分计算:
优先地，使用运动功能评估子系统自动计算患者本次上肢运功功能评估的总分。首先针对每一项任务，根据患者重复的次数取平均得分并使用“四舍五入”法则对平均得分进行取整计算(因WMFT-FAS量表的得分都是整数)。然后对每项任务的最终得分进行求和得到本次评估的总分。
步骤6：结果分析
通过上述几个步骤，可以计算出客观的临床分数(各项任务得分和总分)和记录相应的运动视频(图7“打开相关视频”按钮)。然后，康复医师可以远程将计算得分和运动数据作为参考依据，基于此对卒中患者的上肢康复情况进行评定并及时调整康复训练方案，最终得出一份评估报告。
步骤7：后期维护
为了提高在实际环境下使用的准确率，该自动化方法与系统可以定期积累患者的运动数据，并采用标准的k折交叉验证法对步骤4中所提出的FFNN(前馈神经网络)的内部参数进行定期训练和更新。具体步骤如下：1)将新积累患者的运动数据按照步骤2和步骤3构建相应的特征集。2)将生成的特征集随机划分成k个子集合。3)FFNN模型将基于随机挑选的k-1个子集合进行参数训练，并将剩余的1个子集合作为测试集合用来验证。4)训练过程将重复k次，每次使用不同的测试集进行验证，从而不断提升模型的性能。5)使用混淆矩阵来评定训练模型的性能。对于混淆矩阵，它包含四个变量：1)TP表示真阳性实例的数量。2)TN表示真阴性实例的数量。3)FP表示假阳性实例的数量。4)FN表示假阴性实例的数量。在此基础上，发明人使用从混淆矩阵中得出的准确性指标对FFNN模型进行性能评估(如图12所示)。
准确性＝正确预测总数/预测总数
Accurate＝(TP+TN)/(TP+TN+FP+FN)
基于上述描述，本发明提供的技术方法相对于现有技术具有以下优点：
1、采用了微软公司开发的KinectV2设备进行无标记点运动数据的采集，代替了KinectV1设备和其他类似设备，在硬件方面提高了数据采集的准确性与稳定性。在临床环境中，与传统的上肢运动功能评估方法与运动捕捉技术相比，采用本发明中的方法与系统可以方便地应用于医院和社区等现实环境中。
2、提出了性能优秀的数据预处理模块和特征集构建模块。采用的SSA算法与其他知名滤波器算法相比，能更有效地过滤原始运动数据的噪声，使得运动数据更加平滑和柔顺。另一方面，提出Multi-ReliefF方法来实现特征的动态选取，从而剔除了冗余的特征，提升了评估的准确性和效率。
3、采用的FFNN(前馈神经网络)是一种基于神经网络的评估模型，结构简单易于维护，与其他模型相比具有良好的综合性能。同时，在后期维护中，该FFNN评估模型可以通过大数据集/新实例来提高其性能，这有利于在实际应用中的维护。
3、采用的是一种简单且成本相对低廉的方法进行开发，可对卒中患者进行日常的上肢运动功能评估，可减轻物理治疗师和社会医疗资源的负担，有望可以成为一种有用且廉价的评估工具，用于监测家庭、社区以及农村地区卒中患者康复的进程。
4、与基于可穿戴传感器的自动化评估系统相比，本发明中的系统可以提供一种更方便的方式来进行运动功能的评估，特别是对于由于服装或环境限制(例如在冬天)而无法在正确位置佩戴传感器的患者。
5、在实际应用中，康复医师可以基于本发明得到的评分结果通过网络共享的数据或自行收集卒中患者的最新运动学数据来更新已有数据集，并根据更新后的数据集对评估模型进行再训练，以提高其性能，操作简单高效。
综上，本发明可以对脑卒中患者上肢运动功能进行自动化的打分，这些分数是通过自动化系统中的评估模型直接计算出来的，快速且客观，康复医师可以根据计算出的分数和录制的运动视频对患者进行有针对性的康复干预。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种卒中患者上肢运动功能自动化评估方法，其特征在于，包括： 获取待评估卒中患者上肢的运动数据； 基于所述运动数据构建运动数据集； 对所述运动数据集进行预处理得到预处理数据集； 从所述预处理数据集中提取预设个数的运动学特征，采用Multi-ReliefF算法进行动态运动学特征选择，构建特征集；所述运动学特征包括：末端运动学和肩部角度运动学；所述末端运动学包括：末端最大角速度、曲率指数、关节间协调指数、速度峰值数和光谱弧长；所述肩部角度运动学包括：肩部屈曲角速度、肩部内收的角速度和肩部内翻的角速度；其中，曲率指数IC用于估算手臂末端的直线度，IC值以手臂末端路径长度与视线距离之比的形式获得；光谱弧长用于评估手臂末端的运动平滑度； 将所述特征集输入至训练好的评估模型中，得到各项运动评估分数； 基于所述各项运动评估分数得到待评估卒中患者上肢的运动评估总分数；
所述自动化评估方法还包括定期积累患者的运动数据，并采用标准的k折交叉验证法对所述训练好的评估模型的内部参数进行定期训练和更新；
其中，采用Multi-ReliefF算法进行动态运动学特征选择，具体包括： 使用ReliefF算法依据权重对提取的运动学特征进行排序，得到排序结果； 删除所述排序结果中权重为负的运动学特征，不断迭代排序和过滤直到所有特征的权重值为正，至此特征的选择完成。
2. 根据权利要求1所述的卒中患者上肢运动功能自动化评估方法，其特征在于，所述获取待评估卒中患者上肢的运动数据，具体包括： 采用Kinect V2设备，基于预设采样频率通过运动跟踪子系统采集待评估卒中患者上肢的运动数据。
3.根据权利要求2所述的卒中患者上肢运动功能自动化评估方法，其特征在于，所述预设采样频率为30Hz。
4. 根据权利要求1所述的卒中患者上肢运动功能自动化评估方法，其特征在于，所述对所述运动数据集进行预处理得到预处理数据集，具体包括： 从所述运动数据集中提取关节运动数据； 基于待评估卒中患者重复运动的次数对所述关节运动数据进行分割，得到分割数据； 采用奇异谱分析方法对所述分割数据进行处理得到所述预处理数据集。
5.根据权利要求1所述的卒中患者上肢运动功能自动化评估方法，其特征在于，所述预设个数为32。
6. 根据权利要求1所述的卒中患者上肢运动功能自动化评估方法，其特征在于，所述训练好的评估模型包括：输入层、隐藏层和输出层； 所述输入层中的神经元小于等于32个；所述隐藏层包括20个神经元；所述输出层包括6个神经元。
7. 一种卒中患者上肢运动功能自动化评估系统，其特征在于，包括：Kinect V2设备、运动跟踪子系统和运动功能评估子系统； 所述Kinect V2设备与所述运动跟踪子系统连接；所述Kinect V2设备用于采集待评估卒中患者上肢的运动数据；所述运动跟踪子系统用于构建运动数据集；所述运动功能评估子系统用于对所述运动数据集进行预处理得到预处理数据集，用于从所述预处理数据集中动态提取运动学特征，构建特征集，用于将所述特征集输入至训练好的评估模型中，得到各项运动评估分数，用于基于所述各项运动评估分数得到待评估卒中患者上肢的运动评估总分数；其中，所述自动化评估系统定期积累患者的运动数据，并采用标准的k折交叉验证法对所述训练好的评估模型的内部参数进行定期训练和更新；
其中，从所述预处理数据集中动态提取运动学特征，构建特征集的过程包括： 从所述预处理数据集中提取预设个数的运动学特征； 采用Multi-ReliefF算法进行动态运动学特征选择，以形成特征集；所述运动学特征包括：末端运动学和肩部角度运动学；所述末端运动学包括：末端最大角速度、曲率指数、关节间协调指数、速度峰值数和光谱弧长；所述肩部角度运动学包括：肩部屈曲角速度、肩部内收的角速度和肩部内翻的角速度；其中，曲率指数IC用于估算手臂末端的直线度，IC值以手臂末端路径长度与视线距离之比的形式获得；光谱弧长用于评估手臂末端的运动平滑度；
采用Multi-ReliefF算法进行动态运动学特征选择，具体包括： 使用ReliefF算法依据权重对提取的运动学特征进行排序，得到排序结果； 删除所述排序结果中权重为负的运动学特征，不断迭代排序和过滤直到所有特征的权重值为正，至此特征的选择完成。
8.根据权利要求7所述的卒中患者上肢运动功能自动化评估系统，其特征在于，所述运动跟踪子系统和所述运动功能评估子系统中植入有人机交互界面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111463497.7A CN113974612B (zh) | 2021-12-02 | 2021-12-02 | 一种卒中患者上肢运动功能自动化评估方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111463497.7A CN113974612B (zh) | 2021-12-02 | 2021-12-02 | 一种卒中患者上肢运动功能自动化评估方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113974612A CN113974612A (zh) | 2022-01-28 |
| CN113974612B true CN113974612B (zh) | 2024-02-09 |
Family
ID=79733089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111463497.7A Active CN113974612B (zh) | 2021-12-02 | 2021-12-02 | 一种卒中患者上肢运动功能自动化评估方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113974612B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115089112B (zh) * | 2022-05-06 | 2024-04-30 | 清华大学 | 卒中后认知障碍风险评估模型建立方法、装置及电子设备 |
| CN115579130B (zh) * | 2022-11-10 | 2023-03-14 | 中国中医科学院望京医院(中国中医科学院骨伤科研究所) | 一种患者肢体功能的评估方法、装置、设备及介质 |
| CN117558406B (zh) * | 2023-11-01 | 2024-08-13 | 河南翔宇医疗设备股份有限公司 | 一种基于上肢康复的主动训练方法和系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539941A (zh) * | 2020-04-27 | 2020-08-14 | 上海交通大学 | 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI435744B (zh) * | 2010-07-30 | 2014-05-01 | Univ Nat Yang Ming | 中風患者之雙側上肢動作訓練與評估系統 |
-
2021
- 2021-12-02 CN CN202111463497.7A patent/CN113974612B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539941A (zh) * | 2020-04-27 | 2020-08-14 | 上海交通大学 | 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端 |
Non-Patent Citations (2)
| Title |
|---|
| Feasibility of Home-Based Automated Assessment of Postural Instability and Lower Limb Impairments in Parkinson’s Disease;Claudia Ferraris et.al.;《sensors》;20190305;第1-21页 * |
| 基于深度学习的脑卒中上肢运动功能自动评定;刘朗;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20200715(第7期);第11-85页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113974612A (zh) | 2022-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113974612B (zh) | 一种卒中患者上肢运动功能自动化评估方法与系统 | |
| US11324439B2 (en) | Methods and apparatus for machine learning to analyze musculo-skeletal rehabilitation from images | |
| US10004455B2 (en) | Realtime biofeedback mechanism and data presentation for knee injury rehabilitation monitoring and a soft real time intelligent system thereof | |
| CN109635820B (zh) | 基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法 | |
| US11957478B2 (en) | Methods and apparatus for machine learning to analyze musculo-skeletal rehabilitation from images | |
| Dwivedi et al. | A learning scheme for EMG based decoding of dexterous, in-hand manipulation motions | |
| CN110755085B (zh) | 基于关节活动度与运动协调性的运动功能评估方法及设备 | |
| CN110659677A (zh) | 一种基于可移动传感器组合设备的人体跌倒检测方法 | |
| CN117438048B (zh) | 一种精神科患者用心理障碍测评方法及系统 | |
| CN109934179B (zh) | 基于自动特征选择和集成学习算法的人体动作识别方法 | |
| US20220351824A1 (en) | Systems for dynamic assessment of upper extremity impairments in virtual/augmented reality | |
| CN110991268A (zh) | 一种基于深度图像的帕金森手部运动量化分析方法和系统 | |
| CN113768471A (zh) | 一种基于步态分析的帕金森疾病辅助诊断系统 | |
| Dyshel et al. | Quantifying levodopa-induced dyskinesia using depth camera | |
| CN118044813A (zh) | 基于多任务学习的心理健康状况评估方法及系统 | |
| Oubre et al. | Detection and assessment of point-to-point movements during functional activities using deep learning and kinematic analyses of the stroke-affected wrist | |
| Tang et al. | An artificial neural network algorithm for the evaluation of postoperative rehabilitation of patients | |
| CN115067934A (zh) | 一种基于机器智能的手部运动功能分析系统 | |
| CN116543455A (zh) | 建立帕金森症步态受损评估模型、使用方法、设备及介质 | |
| Mohamed et al. | Automated Upper Limb Motor Functions Assessment System Using One-Class Support Vector Machine | |
| CN115251905A (zh) | 一种乳腺癌术后康复状态评估方法及系统 | |
| Guo et al. | A novel fuzzy neural network-based rehabilitation stage classifying method for the upper limb rehabilitation robotic system | |
| CN110755084A (zh) | 基于主被动、分阶段动作的运动功能评估方法及设备 | |
| Guo et al. | Upper limb motion recognition for unsupervised stroke rehabilitation based on Support Vector Machine | |
| Guo et al. | Wearable rehabilitation assessment system based on complex network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |