CN116052835A - 一种基于计算机视觉的关节康复训练方法及系统 - Google Patents

Abstract

本发明提供一种基于计算机视觉的关节康复训练方法及系统，通过人体姿态估计方法，获取患者的参数化人体模型，生成数字孪生形象。使用康复运动处方所规定的运动学参数驱动该数字孪生形象，通过混合现实的显示手段进行康复动作指导，能够有效地进行动作示教与评价。基于上述方法的系统包括：摄像头模块，用于动作采集；系统控制模块，用于姿态估计和云端交互；显示模块，用于混合显示呈现及系统交互。本发明采用了非接触式的手段，消除了外部设备引入的测量误差，提升了检测精度，降低了使用难度和设备成本。利用本发明提出的基于患者数字孪生形象的动作示教方法，提高了示教动作的个性化程度，增强患者运动沉浸感，改善康复运动训练效果。

Description

一种基于计算机视觉的关节康复训练方法及系统

技术领域

本发明属于康复医疗技术领域，尤其是涉及一种基于计算机视觉的关节康复训练方法及系统。

背景技术

人体关节是支持躯体活动的关键部位，随着老龄化程度的加深，关节疾病发病情况日趋广泛。以骨关节炎为例，根据《中国骨关节炎诊疗指南(2021年版)》，我国40岁以上人群原发性骨关节炎的总体患病率已高达46.3％，且有逐渐上升的趋势。关节疾病会造成阵发性或持续性疼痛，关节活动受限或造成关节畸形。严重影响患者行动能力与生活质量。

国际骨关节炎研究学会发布的非手术治疗骨关节炎指南强推荐无论有无合并症，运动治疗是所有患者的首选治疗方式。其指出，在医生指导下选择正确的运动方式，制定个体化的运动方案，可减轻疼痛，改善关节功能，保持关节活动度，延缓疾病进程。关节疾病手术后的康复运动是重要的后续流程，良好的康复训练将有效提升关节恢复程度，改善患者的行动能力与生活质量。

专业的康复训练需要在医院或者康复机构内进行，在骨科医生或者康复科医生指导下，完成各项康复运动动作，并对动作完成情况进行评价。在当前的医疗条件下，患者无法在院内完成所有的康复训练，大部分的训练任务仅能在接受医生指导后居家进行。由于患者并不具备康复运动专业知识，居家运动时的动作质量无法得到保障，严重影响到康复进展。

发明内容

为了解决上述技术问题，本发明提供一种基于计算机视觉的关节康复训练方法及系统，通过非接触式的视觉人体动作捕捉方法，获取当前患者的参数化人体模型，生成患者的数字孪生形象,使用康复运动处方所规定的运动学参数驱动该数字孪生形象，通过混合现实的显示手段对患者进行康复动作指导，能够有效地进行动作示教与完成情况评估。

本发明是通过以下技术方案实现的：

一种基于计算机视觉的关节康复运动训练方法，所述方法包括：

步骤101、构建人体主要关节的康复训练动作库；

步骤102、构建康复训练动作的运动学参数库；

步骤103、针对特定患者生成个性化康复运动处方；

步骤104、生成由个性化康复运动处方驱动的数字孪生形象；

步骤105、基于数字孪生形象的康复训练示教；

步骤106、基于计算机视觉的运动过程监测、评估与反馈。

进一步的，所述步骤1中，构建人体主要关节的康复训练动作库，具体包括：

针对人体主要关节如髋、膝、踝、颈、肩、肘等，调研与收集康复医师与康复技师关于人体关节康复运动的知识经验，梳理每个关节常见的康复运动动作，构建康复训练动作库。

进一步的，所述步骤2中，构建康复训练动作的运动学参数库，具体包括：

在康复训练动作库的基础上，根据不同的康复运动类型与阶段要求，添加关节运动学参数，包括关节点位置、肢体角度、肢体运动角速度和角加速度等，构建人体主要关节常见康复训练动作的运动学参数库。进一步的，基于真人动作捕捉与计算机制作，形成指定康复运动类型在相应运动学参数约束下关节运动的时序动作模型。

进一步的，所述步骤3中，针对特定患者生成个性化康复运动处方，具体包括：

针对特定患者，由康复医师或康复技师评估后确定该患者需要执行的运动处方内容，包括动作类型、速度、幅度、频率、组数与次数等。根据运动处方内容在运动学参数库中匹配对应的参数指标与时序动作模型，形成个性化且可被后续任务直接读取使用的数字化康复运动处方。

进一步的，所述步骤4中，生成由个性化康复运动处方驱动的数字孪生形象，具体包括：

通过摄像头设备采集患者站立自转一周的视频，采集到患者多个视角下的形态信息。通过多视角三维重建技术，回归患者的体态参数，包括肢体长度，身材比例等，构建出患者本人的参数化人体模型。该模型将患者的现实形象映射至计算机虚拟的三维空间中，生成可由运动学参数驱动执行康复训练动作的患者数字孪生形象。

进一步的，所述步骤5中，基于数字孪生形象的康复训练示教，具体包括：

患者通过互联网下载待执行的个性化运动处方，该处方规定的运动学参数和时序运动模型与患者数字孪生形象的形态数据进行匹配，使得数字孪生形象可以准确演示规定的运动训练动作。患者跟随示教动作进行康复运动训练，摄像头采集患者执行动作的影像，显示设备将患者真实运动影像与数字孪生形象进行重叠显示以实现混合现实效果，数字孪生形象是患者本人的准确映射，患者按照指示跟随数字孪生形象到达的指定运动位置即是处方所要求的目标参数。

进一步的，所述步骤6，基于计算机视觉的运动过程监测、评估与反馈，具体包括：

当患者进行某一关节的康复训练时，摄像头对患者动作进行拍摄，实时地进行人体姿态估计，获取当前患者关节的运动学参数。将获取到的运动学参数与当前所执行的运动处方中目标参数间进行对比以得出达成情况，得到不足、正确、过量的判断结果与准确的偏差数值。进一步的，显示设备以文字、颜色等信息提示患者当前动作的达成情况，实现动作纠偏。进一步的，处方执行完毕后，汇总所执行的各项运动项目的目标参数达成情况与偏差值，生成本次运动训练执行效果报告。进一步的，将当次康复运动执行效果报告上传至医生端进行专业评估，医生根据指标的达成情况，更新患者的康复运动处方。进一步的，将当次康复运动的执行过程上传至医生端，患者的运动过程也通过参数化人体模型映射至计算机虚拟的三维空间中，可供医生任意缩放与变换角度，与示教形象对比以进一步评估当前处方的执行效果。

根据本发明的另一方面，提出一种基于计算机视觉的关节康复训练系统，其组成包括：

摄像头采集模块，用于利用摄像头采集患者的形态参数和运动过程中的影像数据；

系统控制模块，用于对摄像头采集数据的原始数据处理、人体姿态估计、运动参数解算和与云服务器间的信息交互；

显示模块，用于显示当前动作要求、混合现实呈现，动作完成情况展示及交互操作。

有益效果：

本发明提供的一种基于计算机视觉的关节康复训练方法及系统，能够弥补现有技术的不足，通过计算机视觉信息捕捉患者运动状态，采用了非接触式的手段，消除了由佩戴如惯性传感器等外部设备引入的测量误差，提升了检测精度，降低了使用难度和设备成本。利用本发明提出的基于患者数字孪生形象的动作示教方法，通过混合现实显示手段，提高了示教动作的个性化程度，增强患者运动沉浸感，改善康复运动训练效果。

附图说明

图1是本发明提供的一种基于计算机视觉的关节康复训练方法流程图；

图2是本发明提供的一种基于计算机视觉的关节康复训练系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明提供一种基于计算机视觉的关节康复训练方法及系统，用以方便准确地实现关节康复训练指导及评估。方法和系统是基于同一技术构思的，由于方法及系统解决问题的原理相似，因此系统与方法的实施可以相互参见，重复之处不再赘述。

参见图1，图1是本发明提供的一种基于计算机视觉的关节康复训练方法的一个实施例的流程示意图；本发明实施例提供一种膝关节康复训练的指导和评估方法，包括步骤S101-S106；

S101，构建人体主要关节的康复训练动作库：

针对人体主要关节如髋、膝、踝、颈、肩、肘等，调研与收集康复医师与康复技师关于人体关节康复运动的知识经验，梳理每个关节常见的康复运动动作，构建康复训练动作库。

S102，构建康复训练动作的运动学参数库：

调研与收集康复医师与康复技师关于人体关节康复运动的知识经验，梳理人体主要关节康复运动方案，包含术后各阶段康复运动或亚健康状态下的康复运动。根据不同的康复运动类型与阶段要求，添加关节运动学参数，包括关节点位置、肢体角度、肢体运动角速度和角加速度等，构建人体主要关节常见康复训练动作的运动学参数库。进一步的，基于真人动作捕捉与计算机制作，形成指定康复运动类型在相应运动学参数约束下关节运动的时序动作模型。

S103，针对特定患者生成个性化康复运动处方：

针对特定患者，由康复医师或康复技师评估后确定该患者需要执行的运动处方内容，包括动作类型、速度、幅度、频率、组数与次数等。将处方内容输入系统中以匹配对应的运动学参数，对于缺省的参数值，赋予默认的值。将该处方所匹配到的所有项目方式及运动学参数存储为当前患者的个性化康复运动处方。进一步的，从指定动作的时序动作模型中截取满足当前患者运动参数的段落，补充至个性化康复运动处方中供后续动作驱动。

S104，生成由个性化康复运动处方驱动的数字孪生形象：

通过摄像头设备采集患者以直立且双手平举姿态自转一周的视频信息，获得患者环绕视角下的人体参数，包括高度，肢体长度，体态等信息，通过多视角三维重建，建立可以描述患者本人形态的参数化人体模型。以使用马克思-普朗克研究所提出的蒙皮多人线性模型(Skinned Multi-Person Linear Model，SMPL)为例，使用同一患者的多视角图像，回归出SMPL的输入参数，包含形态参数β与关节点位置参数θ，β是一个10维的向量，描述了身高、肢体长度和体态等信息，θ描述了23个关节点的在三维空间的位置坐标。通过SMPL输出的6890个顶点所构成的蒙皮模型，准确表征了当前患者的形态信息，则将当前患者在计算机模拟的三维空间中进行了准确描述，生成了患者的数字孪生形象，且该模型可以进一步使用运动学参数进行驱动。优选的，蒙皮模型可以进一步的细化，包含更高阶的语义信息，如衣着等，用以更加准确的映射当前患者。

S105，基于数字孪生形象的康复训练示教：

患者通过互联网下载待执行的个性化运动处方，该处方规定的运动学参数和时序运动模型与患者数字孪生形象的形态数据进行匹配，使得数字孪生形象可以准确演示规定的运动训练动作。患者跟随示教动作进行康复运动训练，摄像头采集患者执行动作的影像，显示设备显示患者当前运动实况，将数字孪生形象缩放至与真人影像同等大小后，以重叠的方式半透明的覆盖患者本人形象，由于数字孪生形象是患者本人的映射，患者按照指示跟随数字孪生形象到达的指定运动位置即是处方所要求的目标参数。

S106，基于计算机视觉的运动过程监测、评估与反馈：

当患者进行某一关节的康复训练时，摄像头对患者动作进行拍摄，实时地进行人体姿态估计，获取当前患者关节的运动学参数。将获取到的运动学参数与当前所执行的运动处方中目标参数间进行对比以得出达成情况，得到不足、正确、过量的判断结果与准确的偏差数值，如角度的差值、速度的差值等，显示设备以文字显示当前运动与目标运动间的参数偏差、使用颜色等信息提示患者当前动作的达成情况，实现动作纠偏。

当前运动处方执行完毕后，汇总所执行的各项运动项目的目标参数达成情况与偏差值，生成本次运动训练执行效果报告，报告内容在显示设备上进行展示，以数值化的形式向患者报告本次运动的执行效果，对存在偏差的参数使用不同颜色进行标注以加强提醒。

将当次康复运动执行效果报告上传至医生端进行专业评估，医生查看由系统生成的执行效果报告，根据指标的达成情况，更新患者的康复运动处方。进一步的，可以将当次康复运动的执行过程上传至医生端，该运动过程通过参数化人体模型映射至计算机虚拟的三维空间中，可供医生任意缩放与变换角度，在任意时刻暂停，与示教形象对比以进一步评估当前处方的执行效果。康复医师更新后的处方将于下一次锻炼时更新至患者的设备中。

根据本发明的另一个实施例，如图2所示，为本发明提供的一种基于计算机视觉的关节康复训练系统结构图，包括：

摄像头采集模块，用于摄像头采集视觉视频数据；

系统控制模块，用于对摄像头采集数据的原始数据处理、人体姿态估计、运动参数解算和与云服务器间的信息交互；

显示模块，用于显示当前动作要求、混合现实呈现，动作完成情况展示及其他系统交互操作。

需要说明的是，对于前述的各方法实施方式或实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为根据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述实施方式或实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于计算机视觉的关节康复运动训练方法，其特征在于，包括如下步骤：

步骤101、构建人体主要关节的康复训练动作库；

步骤102、构建康复训练动作的运动学参数库；

步骤103、针对特定患者生成个性化康复运动处方；

步骤104、生成由个性化康复运动处方驱动的数字孪生形象；

步骤105、基于数字孪生形象的康复训练示教；

步骤106、基于计算机视觉的运动过程进行监测、评估与反馈。

2.根据权利要求1所述的关节康复运动训练方法，其特征在于，所述步骤1中，构建人体主要关节的康复训练动作库，具体包括：

所述人体主要关节包括髋、膝、踝、颈、肩、肘，调研与收集康复医师与康复技师关于人体关节康复运动的知识经验，梳理每个关节常见的康复运动动作，构建康复训练动作库。

3.根据权利要求2所述的关节康复运动训练方法，其特征在于，所述步骤2中，构建康复训练动作的运动学参数库，具体包括：

在康复训练动作库的基础上，根据不同的康复运动类型与阶段要求，添加关节运动学参数，所述关节运动学参数包括关节点位置、肢体角度、肢体运动角速度和角加速度，构建人体主要关节常见康复训练动作的运动学参数库；

进一步的，基于真人动作捕捉与计算机制作，形成指定康复运动类型在相应运动学参数约束下关节运动的时序动作模型。

4.根据权利要求3所述的关节康复运动训练方法，其特征在于，所述步骤3中，针对特定患者生成个性化康复运动处方，具体包括：

针对特定患者，由康复医师或康复技师评估后确定该患者需要执行的运动处方内容，包括动作类型、速度、幅度、频率、组数与次数；根据运动处方内容在运动学参数库中匹配对应的参数指标与时序动作模型，形成个性化且可被后续任务直接读取使用的数字化康复运动处方。

5.根据权利要求4所述的关节康复运动训练方法，其特征在于，所述步骤4中，生成由个性化康复运动处方驱动的数字孪生形象，具体包括：

通过摄像头设备采集患者站立自转一周的视频，采集到患者多个视角下的形态信息；通过多视角三维重建技术，回归患者的体态参数，所述体态参数包括肢体长度，身材比例，构建出患者本人的参数化人体模型；所述参数化人体模型将患者的现实形象映射至计算机虚拟的三维空间中，生成可由运动学参数驱动执行康复训练动作的患者数字孪生形象。

6.根据权利要求5所述的关节康复运动训练方法，其特征在于，所述步骤5中，基于数字孪生形象的康复训练示教，具体包括：

患者通过互联网下载待执行的个性化运动处方，所述个性化运动处方规定的运动学参数和时序运动模型与患者数字孪生形象的形态数据进行匹配，使得数字孪生形象准确演示规定的运动训练动作；患者跟随示教动作进行康复运动训练，摄像头采集患者执行动作的影像，显示设备将患者真实运动影像与数字孪生形象进行重叠显示以实现混合现实效果，数字孪生形象是患者本人的准确映射，患者按照指示跟随数字孪生形象到达的指定运动位置即是处方所要求的目标参数。

7.根据权利要求6所述的关节康复运动训练方法，其特征在于，所述步骤6，基于计算机视觉的运动过程进行监测、评估与反馈，具体包括：

当患者进行某一关节的康复训练时，摄像头对患者动作进行拍摄，实时地进行人体姿态估计，获取当前患者关节的运动学参数；将获取到的运动学参数与当前所执行的运动处方中目标参数间进行对比以得出达成情况，得到不足、正确、过量的判断结果与准确的偏差数值；进一步的，显示设备以文字、颜色等信息提示患者当前动作的达成情况，实现动作纠偏；进一步的，处方执行完毕后，汇总所执行的各项运动项目的目标参数达成情况与偏差值，生成本次运动训练执行效果报告；进一步的，将当次康复运动执行效果报告上传至医生端进行专业评估，医生根据指标的达成情况，更新患者的康复运动处方；进一步的，将当次康复运动的执行过程上传至医生端，患者的运动过程也通过参数化人体模型映射至计算机虚拟的三维空间中，供医生任意缩放与变换角度，与示教形象对比以进一步评估当前处方的执行效果。

8.实现权利要求1-7之一所述的一种基于计算机视觉的关节康复训练方法的系统，其特征在于，包括：

摄像头采集模块，用于利用摄像头采集患者的形态参数和运动过程中的影像数据；

系统控制模块，用于对摄像头采集数据的原始数据处理、人体姿态估计、运动参数解算和与云服务器间的信息交互；

显示模块，用于显示当前动作要求、混合现实呈现，动作完成情况展示及交互操作。

Images