CN111345823A - 一种远程运动康复方法、装置和计算机可读存储介质 - Google Patents

一种远程运动康复方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111345823A
CN111345823A CN201811585363.0A CN201811585363A CN111345823A CN 111345823 A CN111345823 A CN 111345823A CN 201811585363 A CN201811585363 A CN 201811585363A CN 111345823 A CN111345823 A CN 111345823A
Authority
CN
China
Prior art keywords
rehabilitation
patient
motion
exercise
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811585363.0A
Other languages
English (en)
Other versions
CN111345823B (zh
Inventor
吴娜
王博
陈梦瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN201811585363.0A priority Critical patent/CN111345823B/zh
Publication of CN111345823A publication Critical patent/CN111345823A/zh
Application granted granted Critical
Publication of CN111345823B publication Critical patent/CN111345823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Rehabilitation Tools (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明实施例提供了一种远程运动康复方法、装置和计算机可读存储介质，所述方法包括：基于患者的电子病历和电子健康档案生成院外的运动康复方案；基于所述运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果；基于所述康复训练效果优化所述运动康复方案。

Description

一种远程运动康复方法、装置和计算机可读存储介质
技术领域
本发明涉及移动通信技术领域，尤其涉及一种远程运动康复方法、装置和计算机可读存储介质。
背景技术
“脑卒中”又称“中风”，是一种急性脑血管疾病，是由于脑部血管突然破裂或因血管阻塞导致血液不能流入大脑而引起脑组织损伤的一组疾病，具有极高复发率，高致残率和致死率，已位居我国居民的第一死亡原因，会造成重大的社会和经济负担。
在全世界范围内，中风是永久性残疾最常见的病因，循证医学证实，康复运动能促进脑卒中患者脑结构和功能的重塑，减轻残疾程度，提高自理能力，从而提高患者的生存质量。
传统的脑卒中恢复方法是以反射或分级运动控制为理论基础，主要是依靠康复医师手动辅助患者康复训练。多数患者由于种种原因在早期康复后选择出院回家，后续的康复难以跟进。远程康复对于解决该问题是一项可行的解决方案，但现有的脑卒中远程康复相关技术方案主要有以下技术缺陷：
1)个性化、智能化的技术仍缺乏，患者得不到适合自身疾病状况的康复指导方案；
2)基于周身传感器的康复运动监测设备在实施上有较大限制。
发明内容
有鉴于此，本发明实施例期望提供一种远程运动康复方法、装置和计算机可读存储介质。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种远程运动康复方法，该方法包括：
基于患者的电子病历和电子健康档案生成院外的运动康复方案；
基于所述运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果；
基于所述康复训练效果优化所述运动康复方案。
其中，所述基于患者的电子病历和电子健康档案生成院外的运动康复方案，包括：
基于所述患者的电子病历和电子健康档案，并结合深度学习网络确定所述患者的疾病类型、康复风险因素，以及中风的位置；
基于所述疾病类型、康复风险因素、以及中风的位置，并结合生成式对抗网络GAN生成所述患者的运动康复方案。
可选的，所述基于运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果之前，该方法还包括：
构建脑卒中患者的康复运动数据集；
基于所述康复运动数据集生成运动轨迹跟踪模型，用于确定所述患者的康复训练效果。
其中，所述构建脑卒中患者的康复运动数据集，包括：
获取各康复动作的图片和/或康复运动视频中相应康复动作的视频帧图像；所述康复动作的图片和康复运动视频为所述远程运动康复之前获取的；
对所述康复动作的图片和/或所述康复动作视频帧图像进行预处理，将图片中的人体区域调整到指定大小；
对每个康复动作对应的预设数量的所述图片和/或视频帧图像进行标注，得到每个康复动作对应的人体关键部位的坐标数据，形成所述康复运动数据集。
其中，所述基于所述康复运动数据集生成运动轨迹跟踪模型，包括：
基于开源的人体身体部位关键点检测深度学习模型，并使用迁移学习的方法在模型已有的人体身体部位关键点特征基础上，通过使用所述康复运动数据集对所述人体身体部位关键点检测深度学习模型进行训练，得到能检测患者康复训练时人体关键部位的坐标数据的模型。
其中，所述基于运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果，包括：
实时获取患者的运动轨迹并同步监测生理信号；
将所述患者的运动轨迹与所述运动康复方案中的示范视频动作进行一致性评估；
基于所述一致性评估的结果以及所述实时监测的生理信号确定所述患者的康复训练效果。
其中，所述将所述患者的运动轨迹与所述运动康复方案中的示范视频动作进行一致性评估，包括：
基于所述康复运动数据集将患者的运动轨迹中每一帧图像以及示范视频中每一帧图像中的人体区域调整到指定大小；
基于所述运动轨迹跟踪模型分别对上述调整后的每一帧图像进行分析，得到所述患者的人体关键部位的坐标数据和示范模特的人体关键部位的坐标数据；
基于仿射变换算法将所述患者的人体关键部位的坐标数据映射到所述示范模特的对应人体关键部位的坐标数据；
确定仿射变换后所述患者的数据与示范模特的数据之间的误差，基于所述误差完成运动姿态的一致性评估。
其中，所述基于所述康复训练效果优化所述运动康复方案，包括：
将所述康复训练效果作为约束条件对所述院外的运动康复方案进行完善。
本发明实施例还提供了一种远程运动康复装置，该装置包括：
方案生成模块，用于基于患者的电子病历和电子健康档案生成院外的运动康复方案；
效果确定模块，用于基于所述运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果；
方案优化模块，用于基于所述康复训练效果优化所述运动康复方案。
本发明实施例还提供了一种远程运动康复装置，该装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行上述方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本发明实施例提供的远程运动康复方法、装置和计算机可读存储介质，基于患者的电子病历和电子健康档案生成院外的运动康复方案；基于所述运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果；基于所述康复训练效果优化所述运动康复方案。本发明实施例基于患者的电子病历、电子健康档案，并结合康复效果等自动生成精准的脑卒中远程康复方案，其中康复训练评估效果作为生成模型的约束条件用于持续优化康复方案生成模型，使得模型更具个性化、实时性，从而为脑卒中患者提供便于实施、个性化、智能的院外远程康复方案和实时效果评估反馈。
此外，相对相关技术，本实施例摒弃了全身佩戴的传感器，通过视频采集、分析、评估康复动作的一致性，同步监测生理信号评估疲劳状态，从而给出实时的康复训练效果评估反馈。
附图说明
图1为本发明实施例所述远程运动康复方法流程示意图；
图2为本发明实施例所述远程运动康复装置结构示意图；
图3为本发明实施例所述远程运动康复系统方案框图；
图4为本发明实施例所述疾病语义判别模型生成示意图；
图5为本发明实施例所述运动康复方案生成系统解决方案框图；
图6为本发明实施例所述康复运动数据集构建方案示意图；
图7为本发明实施例所述对人体关键部位进行标注示意图；
图8为本发明实施例所述运动轨迹跟踪模型生成示意图；
图9为本发明实施例所述运动姿态一致性评估示意图。
具体实施方式
下面结合附图和实施例对本发明进行描述。
本发明实施例提供了一种远程运动康复方法，如图1所示，该方法包括：
步骤101：基于患者的电子病历和电子健康档案生成院外的运动康复方案；
步骤102：基于所述运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果；
步骤103：基于所述康复训练效果优化所述运动康复方案。
本发明实施例中，需要基于所述康复训练效果不断对所述运动康复方案进行优化，以达到为患者提供个性化的运动康复方案。
本发明实施例基于患者的电子病历、电子健康档案，并结合康复效果等自动生成精准的脑卒中远程康复方案，其中康复训练评估效果作为生成模型的约束条件用于持续优化康复方案生成模型，使得模型更具个性化、实时性，从而为脑卒中患者提供便于实施、个性化、智能的院外远程康复方案和实时效果评估反馈。
本发明实施例中，所述基于运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果之前，该方法还包括：
构建脑卒中患者的康复运动数据集；
基于所述康复运动数据集生成运动轨迹跟踪模型，用于确定所述患者的康复训练效果。
本发明实施例中，所述构建脑卒中患者的康复运动数据集，包括：
获取各康复动作的图片和/或康复运动视频中相应康复动作的视频帧图像；所述康复动作的图片和康复运动视频为所述远程运动康复之前获取的；
对所述康复动作的图片和/或所述康复动作视频帧图像进行预处理，将图片中的人体区域调整到指定大小；
对每个康复动作对应的预设数量的所述图片和/或视频帧图像进行标注，得到每个康复动作对应的人体关键部位的坐标数据，形成所述康复运动数据集。
这里，所述人体关键部位可为：鼻子，脖子，右肩，右肘，右腕，左肩，左肘，左腕，右髋，右膝，右踝，左髋，左膝，左踝，左眼，右眼，左耳，右耳这18个身体部位。
本发明实施例中，所述基于所述康复运动数据集生成运动轨迹跟踪模型，包括：
基于开源的人体身体部位关键点检测深度学习模型，并使用迁移学习的方法在模型已有的人体身体部位关键点特征基础上，通过使用所述康复运动数据集对所述人体身体部位关键点检测深度学习模型进行训练，得到能检测患者康复训练时人体关键部位的坐标数据的模型。
本发明实施例中，所述基于患者的电子病历和电子健康档案生成院外的运动康复方案，包括：
基于所述患者的电子病历和电子健康档案，并结合深度学习网络确定所述患者的疾病类型、康复风险因素，以及中风的位置；
基于所述疾病类型、康复风险因素、以及中风的位置，并结合生成式对抗网络(GAN)生成所述患者的运动康复方案。
本发明实施例中，所述基于运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果，包括：
实时获取患者的运动轨迹并同步监测生理信号；
将所述患者的运动轨迹与所述运动康复方案中的示范视频动作进行一致性评估；
基于所述一致性评估的结果以及所述实时监测的生理信号确定所述患者的康复训练效果。
本发明实施例中，所述将所述患者的运动轨迹与所述运动康复方案中的示范视频动作进行一致性评估，包括：
基于所述康复运动数据集将患者的运动轨迹中每一帧图像以及示范视频中每一帧图像中的人体区域调整到指定大小；
基于所述运动轨迹跟踪模型分别对上述调整后的每一帧图像进行分析，得到所述患者的人体关键部位的坐标数据和示范模特的人体关键部位的坐标数据；
基于仿射变换算法将所述患者的人体关键部位的坐标数据映射到所述示范模特的对应人体关键部位的坐标数据；
确定仿射变换后所述患者的数据与示范模特的数据之间的误差，基于所述误差完成运动姿态的一致性评估。
本发明实施例中，所述基于所述康复训练效果优化所述运动康复方案，包括：
将所述康复训练效果作为约束条件对所述院外的运动康复方案进行完善。
为了实现上述方法实施例，本发明实施例还提供了一种远程运动康复装置，如图2所示，该装置包括：
方案生成模块201，用于基于患者的电子病历和电子健康档案生成院外的运动康复方案；
效果确定模块202，用于基于所述运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果；
方案优化模块203，用于基于所述康复训练效果优化所述运动康复方案。
本发明实施例中，所述效果确定模块202基于运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果之前，还用于
构建脑卒中患者的康复运动数据集；
基于所述康复运动数据集生成运动轨迹跟踪模型，用于确定所述患者的康复训练效果。
本发明实施例中，所述效果确定模块202构建脑卒中患者的康复运动数据集，包括：
获取各康复动作的图片和/或康复运动视频中相应康复动作的视频帧图像；所述康复动作的图片和康复运动视频为所述远程运动康复之前获取的；
对所述康复动作的图片和/或所述康复动作视频帧图像进行预处理，将图片中的人体区域调整到指定大小；
对每个康复动作对应的预设数量的所述图片和/或视频帧图像进行标注，得到每个康复动作对应的人体关键部位的坐标数据，形成所述康复运动数据集。
这里，所述人体关键部位可为：鼻子，脖子，右肩，右肘，右腕，左肩，左肘，左腕，右髋，右膝，右踝，左髋，左膝，左踝，左眼，右眼，左耳，右耳这18个身体部位。
本发明实施例中，所述效果确定模块202基于所述康复运动数据集生成运动轨迹跟踪模型，包括：
基于开源的人体身体部位关键点检测深度学习模型，并使用迁移学习的方法在模型已有的人体身体部位关键点特征基础上，通过使用所述康复运动数据集对所述人体身体部位关键点检测深度学习模型进行训练，得到能检测患者康复训练时人体关键部位的坐标数据的模型。
本发明实施例中，所述方案生成模块201基于患者的电子病历和电子健康档案生成院外的运动康复方案，包括：
基于所述患者的电子病历和电子健康档案，并结合深度学习网络确定所述患者的疾病类型、康复风险因素，以及中风的位置；
基于所述疾病类型、康复风险因素、以及中风的位置，并结合生成式对抗网络(GAN)生成所述患者的运动康复方案。
本发明实施例中，所述效果确定模块202基于运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果，包括：
实时获取患者的运动轨迹并同步监测生理信号；
将所述患者的运动轨迹与所述运动康复方案中的示范视频动作进行一致性评估；
基于所述一致性评估的结果以及所述实时监测的生理信号确定所述患者的康复训练效果。
本发明实施例中，所述效果确定模块202将所述患者的运动轨迹与所述运动康复方案中的示范视频动作进行一致性评估，包括：
基于所述康复运动数据集将患者的运动轨迹中每一帧图像以及示范视频中每一帧图像中的人体区域调整到指定大小；
基于所述运动轨迹跟踪模型分别对上述调整后的每一帧图像进行分析，得到所述患者的人体关键部位的坐标数据和示范模特的人体关键部位的坐标数据；
基于仿射变换算法将所述患者的人体关键部位的坐标数据映射到所述示范模特的对应人体关键部位的坐标数据；
确定仿射变换后所述患者的数据与示范模特的数据之间的误差，基于所述误差完成运动姿态的一致性评估。
本发明实施例中，所述方案优化模块203基于所述康复训练效果优化所述运动康复方案，包括：
将所述康复训练效果作为约束条件对所述院外的运动康复方案进行完善。
本发明实施例还提供了一种远程运动康复装置，该装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行：
基于患者的电子病历和电子健康档案生成院外的运动康复方案；
基于所述运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果；
基于所述康复训练效果优化所述运动康复方案。
所述基于运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果之前，所述处理器还用于运行所述计算机程序时，执行：
构建脑卒中患者的康复运动数据集；
基于所述康复运动数据集生成运动轨迹跟踪模型，用于确定所述患者的康复训练效果。
所述构建脑卒中患者的康复运动数据集时，所述处理器还用于运行所述计算机程序时，执行：
获取各康复动作的图片和/或康复运动视频中相应康复动作的视频帧图像；所述康复动作的图片和康复运动视频为所述远程运动康复之前获取的；
对所述康复动作的图片和/或所述康复动作视频帧图像进行预处理，将图片中的人体区域调整到指定大小；
对每个康复动作对应的预设数量的所述图片和/或视频帧图像进行标注，得到每个康复动作对应的人体关键部位的坐标数据，形成所述康复运动数据集。
所述基于所述康复运动数据集生成运动轨迹跟踪模型时，所述处理器还用于运行所述计算机程序时，执行：
基于开源的人体身体部位关键点检测深度学习模型，并使用迁移学习的方法在模型已有的人体身体部位关键点特征基础上，通过使用所述康复运动数据集对所述人体身体部位关键点检测深度学习模型进行训练，得到能检测患者康复训练时人体关键部位的坐标数据的模型。
所述基于患者的电子病历和电子健康档案生成院外的运动康复方案时，所述处理器还用于运行所述计算机程序时，执行：
基于所述患者的电子病历和电子健康档案，并结合深度学习网络确定所述患者的疾病类型、康复风险因素，以及中风的位置；
基于所述疾病类型、康复风险因素、以及中风的位置，并结合生成式对抗网络GAN生成所述患者的运动康复方案。
所述基于运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果时，所述处理器还用于运行所述计算机程序时，执行：
实时获取患者的运动轨迹并同步监测生理信号；
将所述患者的运动轨迹与所述运动康复方案中的示范视频动作进行一致性评估；
基于所述一致性评估的结果以及所述实时监测的生理信号确定所述患者的康复训练效果。
所述将所述患者的运动轨迹与所述运动康复方案中的示范视频动作进行一致性评估时，所述处理器还用于运行所述计算机程序时，执行：
基于所述康复运动数据集将患者的运动轨迹中每一帧图像以及示范视频中每一帧图像中的人体区域调整到指定大小；
基于所述运动轨迹跟踪模型分别对上述调整后的每一帧图像进行分析，得到所述患者的人体关键部位的坐标数据和示范模特的人体关键部位的坐标数据；
基于仿射变换算法将所述患者的人体关键部位的坐标数据映射到所述示范模特的对应人体关键部位的坐标数据；
确定仿射变换后所述患者的数据与示范模特的数据之间的误差，基于所述误差完成运动姿态的一致性评估。
所述基于所述康复训练效果优化所述运动康复方案时，所述处理器还用于运行所述计算机程序时，执行：
将所述康复训练效果作为约束条件对所述院外的运动康复方案进行完善。
需要说明的是：上述实施例提供的装置在进行远程运动康复时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将设备的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的装置与相应方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行：
基于患者的电子病历和电子健康档案生成院外的运动康复方案；
基于所述运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果；
基于所述康复训练效果优化所述运动康复方案。
所述基于运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果之前，所述计算机程序被处理器运行时，还执行：
构建脑卒中患者的康复运动数据集；
基于所述康复运动数据集生成运动轨迹跟踪模型，用于确定所述患者的康复训练效果。
所述构建脑卒中患者的康复运动数据集时，所述计算机程序被处理器运行时，还执行：
获取各康复动作的图片和/或康复运动视频中相应康复动作的视频帧图像；所述康复动作的图片和康复运动视频为所述远程运动康复之前获取的；
对所述康复动作的图片和/或所述康复动作视频帧图像进行预处理，将图片中的人体区域调整到指定大小；
对每个康复动作对应的预设数量的所述图片和/或视频帧图像进行标注，得到每个康复动作对应的人体关键部位的坐标数据，形成所述康复运动数据集。
所述基于所述康复运动数据集生成运动轨迹跟踪模型时，所述计算机程序被处理器运行时，还执行：
基于开源的人体身体部位关键点检测深度学习模型，并使用迁移学习的方法在模型已有的人体身体部位关键点特征基础上，通过使用所述康复运动数据集对所述人体身体部位关键点检测深度学习模型进行训练，得到能检测患者康复训练时人体关键部位的坐标数据的模型。
所述基于患者的电子病历和电子健康档案生成院外的运动康复方案时，所述计算机程序被处理器运行时，还执行：
基于所述患者的电子病历和电子健康档案，并结合深度学习网络确定所述患者的疾病类型、康复风险因素，以及中风的位置；
基于所述疾病类型、康复风险因素、以及中风的位置，并结合生成式对抗网络GAN生成所述患者的运动康复方案。
所述基于运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果时，所述计算机程序被处理器运行时，还执行：
实时获取患者的运动轨迹并同步监测生理信号；
将所述患者的运动轨迹与所述运动康复方案中的示范视频动作进行一致性评估；
基于所述一致性评估的结果以及所述实时监测的生理信号确定所述患者的康复训练效果。
所述将所述患者的运动轨迹与所述运动康复方案中的示范视频动作进行一致性评估时，所述计算机程序被处理器运行时，还执行：
基于所述康复运动数据集将患者的运动轨迹中每一帧图像以及示范视频中每一帧图像中的人体区域调整到指定大小；
基于所述运动轨迹跟踪模型分别对上述调整后的每一帧图像进行分析，得到所述患者的人体关键部位的坐标数据和示范模特的人体关键部位的坐标数据；
基于仿射变换算法将所述患者的人体关键部位的坐标数据映射到所述示范模特的对应人体关键部位的坐标数据；
确定仿射变换后所述患者的数据与示范模特的数据之间的误差，基于所述误差完成运动姿态的一致性评估。
所述基于所述康复训练效果优化所述运动康复方案时，所述计算机程序被处理器运行时，还执行：
将所述康复训练效果作为约束条件对所述院外的运动康复方案进行完善。
下面结合场景实施例对本发明进行描述。
本实施例提出了一种用于脑卒中远程运动康复的方法和系统，主要包括图3所示模块：多参数输入模块、运动康复方案生成模块以及康复训练效果评估模块；具体实现如下：
(一)多参数输入模块
该模块用于设定运动康复目标和方案的多参数，包括：电子病历、电子健康档案、以及康复训练效果；
所述电子病历为：就诊记录、医院随访记录等，其中就诊记录包括疾病史、疾病类型、发病时间、手术否、体重、体质、血液检测指标、心电、颅脑CT影像、肢体活动能力、语言能力、药物处方、康复建议等。
上述参数以文本、结构化数值、影像、生理电信号为主要数据类型。
所述电子健康档案为：日常血压、血糖监测记录、用药依从性记录、历史运动锻炼记录、饮食情况、吸烟情况等。
上述参数以文本、结构化数值为主要数据类型。
所述康复训练效果为：康复阶段的运动生理信号时间序列，运动康复实施时间长度、康复效果评级。上述参数以生理电信号、数值、文本为主要数据类型。
基于深度神经网络(DNN)的运动康复方案生成模块
个性化运动康复方案将推荐运动康复示范视频(包含视频剪辑类别、身体动作部位、运动时长、强度等)，以及相应的饮食等方案；实现方案包括：
步骤一：基于群体数据构建语义判别模型、以及疾病类型与位置判别模型，如图4所示；
首先，将大规模群体数据的多参数进行类别化：
构建医学术语知识库，收录有医学期刊、医学书籍、医学论文，临床指南、循证医学证据。
将群体数据(病历、电子档案、康复方案)的文本类多参数规范为标准医学术语，生成词向量矩阵，作为模型输入。
其次，基于深度学习网络构建初步的疾病语义判别模型Model1，主要用于判断疾病类型、康复风险因素；
然后，将影像数据基于深度神经网络构建疾病类型及位置判别模型Model2。
步骤二：将语义判别模型的输出向量S、疾病类型及位置的判别模型的输出P，运动评估效果输出A，利用GAN网络生成适合个体的运动视频方案，其中运动评估效果输出A作为GAN网络判别器的约束条件，如图5所示；
步骤三：在经过不断的运动评估效果反馈后，GAN网络不断进化完善；
步骤四：基于优化后的康复方案设定模型，针对脑卒中患者的多参数输入，对其个性化康复方案进行预测。
(三)康复训练效果评估模块
该模块实时跟踪患者的运动轨迹、同步监测生理信号，与示范视频动作比对动作一致性、同时评估疲劳状态，给出康复训练效果评估以及实时的提醒，具体如下：
步骤一：基于示范视频利用深度学习模型对运动目标进行轨迹跟踪和姿态识别；
首先，构建脑卒中患者康复运动数据集，生成Posenet，利用Posenet获取目标人体的关键点捕捉其运动姿态，进一步与运动康复方案进行比对，评估一致性。
1)构建脑卒中患者康复运动数据集
脑卒中患者康复运动数据是指脑卒中患者在做康复运动时的图像数据，原始的数据来源可以是网上获取或者自己采集；网上获取的方式，可以通过图片搜索引擎搜索各康复动作的图片，也可以通过视频搜索引擎搜索康复视频，人工截取视频中与各康复动作相匹配的视频帧(即图片)；自己采集的方式，是可以是在医院等脑卒中患者进行康复运动的场所，在脑卒中患者进行康复运动时，使用图像采集设备获取图片/视频数据，如果是视频数据，再人工截取对应康复动作的视频帧；
对图像数据进行预处理，将图片中的人体区域裁剪、缩放到指定大小，如图7所示；
每个康复动作采集1000张以上的图像数据，然后人工对所有的图片进行以下标注：1鼻子，2脖子，3右肩，4右肘，5右腕，6左肩，7左肘，8左腕，9右髋，10右膝，11右踝，12左髋，13左膝，14左踝，15左眼，16右眼，17左耳，18右耳这18个身体部位的x、y坐标(原点为图片左上角)进行标注，如图8所示。
为了保证标注的准确性和一致性，将采取两次标注，第一次是通过众包、请实习生等方式让多人对同一张图片进行标注，获得每个标注者的标注结果以及多个结果的平均值，第二次是通过较高专业水平的人员对第一次标注的结果进行审核，选出每个图片的最佳标注结果。经过上述流程之后，得到了图片文件、图片所对应的康复动作、图片中人体18个关键部位坐标的数据。
2)基于所述康复运动数据集生成运动轨迹跟踪模型
运动轨迹跟踪模型对输入图像文件进行分析，得到图像中人体18个关键部位的坐标。在本应用中，该模型输入为脑卒中患者在做康复运动时的图像数据，输出为输入图像中人体18个身体部位的x、y坐标，18个身体部位分别为1鼻子，2脖子，3右肩，4右肘，5右腕，6左肩，7左肘，8左腕，9右髋，10右膝，11右踝，12左髋，13左膝，14左踝，15左眼，16右眼，17左耳，18右耳。使用上述脑卒中患者康复运动数据集中的数据，将每个动作的数据乱序之后按照80％、10％、10％的比例分开，作为训练集、开发测试集、测试集。训练集用于训练模型，开发测试集用于调整模型参数，测试集用于评估模型性能。本实施例基于开源的人体身体部位关键点检测深度学习模型，使用迁移学习的方法，在模型已有的人体身体部位关键点特征基础上，通过使用上述训练集数据对模型进行训练，让模型学习脑卒中患者康复运动的特征，最终得到可以准确检测脑卒中患者康复运动人体18个身体部位的x、y坐标的模型，如图8所示。
3)运动姿态一致性评估
在本实施例中，使用的是脑卒中患者康复运动视频和教学视频，在分析处理时，将对两个视频的每一帧进行如下处理，如图9所示：
①对图像数据进行预处理，将图片中的人体区域裁剪、缩放到与训练集数据相同大小；
②使用前述运动轨迹跟踪模型分别对脑卒中患者康复运动图像数据和教学视频中该时刻模特动作的视频截图进行分析得到脑卒中患者的人体18个关键部位数据和模特的18个关键部位数据；
③基于仿射变换算法，将脑卒中患者康复运动人体18个关键部位数据通过仿射变换(平移、缩放、翻转、旋转、剪切等)映射到模特数据；
④使用最小二乘法计算仿射变换后脑卒中患者康复运动数据与模特数据之间的误差。
考虑到不同人体之间的体型差异，如果使用全部身体部位进行上述处理，体型差异较大的人在做同样的动作时得到的误差较大，无法准确评估动作一致性。因此使用以下方法进行优化：将人体关键点分为三组：脸部(眼睛、耳朵、鼻子)、躯干(上肢、脖子)、下肢(腿、臀部)，分别对三组数据进行上述仿射变换、最小二乘法计算得到三部分误差，求和后得到总误差。
在本实施例中，使用的是脑卒中患者康复运动视频和教学视频，在分析处理时，将对两个视频的每一帧进行预处理、运动轨迹跟踪模型分析、仿射变化、计算误差，最终得到两个视频所有帧的总误差，基于误差分析得到运动姿态的一致性。
步骤二：基于患者时间序列数据(运动康复动作一致性、实时的生理信号)，给出运动康复效果评价，给予个性化的反馈和激励。
1)输入为患者运动轨迹的每一帧图像的姿态识别一致性分析结果、以及对应的生理信号(心电、血氧、肌电等)时间序列数据，利用LSTM网络，生成运动康复的效果评价。
2)根据评估的效果，给出患者相应的反馈，包括实施的提醒和激励。
本发明实施例基于患者的电子病历、电子健康档案，并结合康复效果等多参数信息(语义、影像)，自动生成精准的脑卒中远程康复方案，其中康复训练评估效果作为生成模型的约束条件用于持续优化康复方案生成模型，使得模型更具个性化、实时性，从而为脑卒中患者提供便于实施、个性化、智能的院外远程康复方案和实时效果评估反馈。
此外，相对相关技术，本实施例摒弃了全身佩戴的传感器，通过视频采集、分析、评估康复动作的一致性，同步监测生理信号评估疲劳状态，从而给出实时的康复训练效果评估反馈。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (11)

1.一种远程运动康复方法，其特征在于，该方法包括：
基于患者的电子病历和电子健康档案生成院外的运动康复方案；
基于所述运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果；
基于所述康复训练效果优化所述运动康复方案。
2.根据权利要求1所述的方法，其特征在于，所述基于患者的电子病历和电子健康档案生成院外的运动康复方案，包括：
基于所述患者的电子病历和电子健康档案，并结合深度学习网络确定所述患者的疾病类型、康复风险因素，以及中风的位置；
基于所述疾病类型、康复风险因素、以及中风的位置，并结合生成式对抗网络GAN生成所述患者的运动康复方案。
3.根据权利要求1所述的方法，其特征在于，所述基于运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果之前，该方法还包括：
构建脑卒中患者的康复运动数据集；
基于所述康复运动数据集生成运动轨迹跟踪模型，用于确定所述患者的康复训练效果。
4.根据权利要求3所述的方法，其特征在于，所述构建脑卒中患者的康复运动数据集，包括：
获取各康复动作的图片和/或康复运动视频中相应康复动作的视频帧图像；所述康复动作的图片和康复运动视频为所述远程运动康复之前获取的；
对所述康复动作的图片和/或所述康复动作视频帧图像进行预处理，将图片中的人体区域调整到指定大小；
对每个康复动作对应的预设数量的所述图片和/或视频帧图像进行标注，得到每个康复动作对应的人体关键部位的坐标数据，形成所述康复运动数据集。
5.根据权利要求3所述的方法，其特征在于，所述基于所述康复运动数据集生成运动轨迹跟踪模型，包括：
基于开源的人体身体部位关键点检测深度学习模型，并使用迁移学习的方法在模型已有的人体身体部位关键点特征基础上，通过使用所述康复运动数据集对所述人体身体部位关键点检测深度学习模型进行训练，得到能检测患者康复训练时人体关键部位的坐标数据的模型。
6.根据权利要求4所述的方法，其特征在于，所述基于运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果，包括：
实时获取患者的运动轨迹并同步监测生理信号；
将所述患者的运动轨迹与所述运动康复方案中的示范视频动作进行一致性评估；
基于所述一致性评估的结果以及所述实时监测的生理信号确定所述患者的康复训练效果。
7.根据权利要求6所述的方法，其特征在于，所述将所述患者的运动轨迹与所述运动康复方案中的示范视频动作进行一致性评估，包括：
基于所述康复运动数据集将患者的运动轨迹中每一帧图像以及示范视频中每一帧图像中的人体区域调整到指定大小；
基于所述运动轨迹跟踪模型分别对上述调整后的每一帧图像进行分析，得到所述患者的人体关键部位的坐标数据和示范模特的人体关键部位的坐标数据；
基于仿射变换算法将所述患者的人体关键部位的坐标数据映射到所述示范模特的对应人体关键部位的坐标数据；
确定仿射变换后所述患者的数据与示范模特的数据之间的误差，基于所述误差完成运动姿态的一致性评估。
8.根据权利要求1所述的方法，其特征在于，所述基于所述康复训练效果优化所述运动康复方案，包括：
将所述康复训练效果作为约束条件对所述院外的运动康复方案进行完善。
9.一种远程运动康复装置，其特征在于，该装置包括：
方案生成模块，用于基于患者的电子病历和电子健康档案生成院外的运动康复方案；
效果确定模块，用于基于所述运动康复方案以及实时获取的患者的运动轨迹和生理信号确定所述患者的康复训练效果；
方案优化模块，用于基于所述康复训练效果优化所述运动康复方案。
10.一种远程运动康复装置，其特征在于，该装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行权利要求1-8中任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。
CN201811585363.0A 2018-12-24 2018-12-24 一种远程运动康复方法、装置和计算机可读存储介质 Active CN111345823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811585363.0A CN111345823B (zh) 2018-12-24 2018-12-24 一种远程运动康复方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811585363.0A CN111345823B (zh) 2018-12-24 2018-12-24 一种远程运动康复方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111345823A true CN111345823A (zh) 2020-06-30
CN111345823B CN111345823B (zh) 2023-05-09

Family

ID=71188453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811585363.0A Active CN111345823B (zh) 2018-12-24 2018-12-24 一种远程运动康复方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111345823B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951941A (zh) * 2020-08-24 2020-11-17 广元量知汇科技有限公司 智慧医疗康复辅助管理系统
CN113539419A (zh) * 2021-08-01 2021-10-22 重庆医科大学附属第一医院 一种卒中健身操效果评估方法和系统
CN114099234A (zh) * 2021-11-23 2022-03-01 复旦大学 一种用于辅助康复训练的智能化康复机器人数据处理方法及系统
CN115040840A (zh) * 2022-06-20 2022-09-13 山西医科大学第二医院 一种上肢康复训练方法及装置
CN117457147A (zh) * 2023-12-25 2024-01-26 深圳市尼罗河移动互联科技有限公司 康复患者个性化护理计划方法及系统
CN117860531A (zh) * 2024-03-11 2024-04-12 天津市天津医院 一种基于肌电生物反馈的脊髓损伤康复装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567638A (zh) * 2011-12-29 2012-07-11 无锡微感科技有限公司 一种基于微型传感器的交互式上肢康复系统
CN105963926A (zh) * 2016-04-29 2016-09-28 中国科学院苏州生物医学工程技术研究所 多模态融合手功能康复训练与智能评估系统
CN107564585A (zh) * 2017-07-06 2018-01-09 四川护理职业学院 基于云平台的脑瘫康复管理系统及方法
US20180133089A1 (en) * 2016-11-17 2018-05-17 Hefei University Of Technology Smart medical rehabilitation device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567638A (zh) * 2011-12-29 2012-07-11 无锡微感科技有限公司 一种基于微型传感器的交互式上肢康复系统
CN105963926A (zh) * 2016-04-29 2016-09-28 中国科学院苏州生物医学工程技术研究所 多模态融合手功能康复训练与智能评估系统
US20180133089A1 (en) * 2016-11-17 2018-05-17 Hefei University Of Technology Smart medical rehabilitation device
CN107564585A (zh) * 2017-07-06 2018-01-09 四川护理职业学院 基于云平台的脑瘫康复管理系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
原晓孟: "面向运动康复的可穿戴式无线传感网系统设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951941A (zh) * 2020-08-24 2020-11-17 广元量知汇科技有限公司 智慧医疗康复辅助管理系统
CN113539419A (zh) * 2021-08-01 2021-10-22 重庆医科大学附属第一医院 一种卒中健身操效果评估方法和系统
CN114099234A (zh) * 2021-11-23 2022-03-01 复旦大学 一种用于辅助康复训练的智能化康复机器人数据处理方法及系统
CN114099234B (zh) * 2021-11-23 2023-08-22 复旦大学 一种用于辅助康复训练的智能化康复机器人数据处理方法及系统
CN115040840A (zh) * 2022-06-20 2022-09-13 山西医科大学第二医院 一种上肢康复训练方法及装置
CN117457147A (zh) * 2023-12-25 2024-01-26 深圳市尼罗河移动互联科技有限公司 康复患者个性化护理计划方法及系统
CN117457147B (zh) * 2023-12-25 2024-03-19 深圳市尼罗河移动互联科技有限公司 康复患者个性化护理计划方法及系统
CN117860531A (zh) * 2024-03-11 2024-04-12 天津市天津医院 一种基于肌电生物反馈的脊髓损伤康复装置
CN117860531B (zh) * 2024-03-11 2024-05-14 天津市天津医院 一种基于肌电生物反馈的脊髓损伤康复装置

Also Published As

Publication number Publication date
CN111345823B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN111345823B (zh) 一种远程运动康复方法、装置和计算机可读存储介质
Capecci et al. The kimore dataset: Kinematic assessment of movement and clinical scores for remote monitoring of physical rehabilitation
US20230206782A1 (en) Systems and Methods for Monitoring and Evaluating Body Movement
US11266341B2 (en) Measuring dynamic body movement
Chaudhari et al. Yog-guru: Real-time yoga pose correction system using deep learning methods
JP7057589B2 (ja) 医療情報処理システム、歩行状態定量化方法およびプログラム
WO2020224433A1 (zh) 基于机器学习的目标对象属性预测方法及相关设备
KR20080005798A (ko) 모션트랙킹 기술과 증강현실 기법을 활용한 인지 및행동장애 재활 지원시스템
CN114998983A (zh) 一种基于增强现实技术和姿态识别技术的肢体康复方法
Yahaya et al. Gesture recognition intermediary robot for abnormality detection in human activities
Sim et al. Improving the accuracy of erroneous-plan recognition system for Activities of Daily Living
TW202221621A (zh) 用於照護教育之虛擬環境訓練系統
TW201445493A (zh) 一種自主復健動作量化評估系統
Kaku et al. Strokerehab: A benchmark dataset for sub-second action identification
Tang et al. An artificial neural network algorithm for the evaluation of postoperative rehabilitation of patients
Low et al. Lower extremity kinematics walking speed classification using long short-term memory neural frameworks
Ekambaram et al. Artificial Intelligence (AI) Powered Precise Classification of Recuperation Exercises for Musculoskeletal Disorders.
Jazouli et al. Stereotypical motor movement recognition using microsoft kinect with artificial neural network
Lu et al. Intelligent monitoring of Taijiquan exercise based on fuzzy control theory
Lakshminarayan et al. Three-level training of multi-head architecture for pain detection
Zhong Reliable deep learning for intelligent wearable systems
Abraham et al. Ensemble of shape functions and support vector machines for the estimation of discrete arm muscle activation from external biceps 3D point clouds
Mohamed et al. Automated Upper Limb Motor Functions Assessment System Using One-Class Support Vector Machine
Jadhav et al. Aasna: Kinematic Yoga Posture Detection And Correction System Using CNN
Kiran et al. Deep learning approach to recognize yoga posture for the ailment of the low

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant