CN115410707B - 一种膝关节骨性关节炎的远程诊疗及康复系统 - Google Patents

一种膝关节骨性关节炎的远程诊疗及康复系统 Download PDF

Info

Publication number
CN115410707B
CN115410707B CN202211346454.5A CN202211346454A CN115410707B CN 115410707 B CN115410707 B CN 115410707B CN 202211346454 A CN202211346454 A CN 202211346454A CN 115410707 B CN115410707 B CN 115410707B
Authority
CN
China
Prior art keywords
rehabilitation
patient
joint
module
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211346454.5A
Other languages
English (en)
Other versions
CN115410707A (zh
Inventor
王一帆
周彤
杨苹
魏家田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Maichuang Technology Co ltd
Southwest Petroleum University
Original Assignee
Chengdu Maichuang Technology Co ltd
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Maichuang Technology Co ltd, Southwest Petroleum University filed Critical Chengdu Maichuang Technology Co ltd
Priority to CN202211346454.5A priority Critical patent/CN115410707B/zh
Publication of CN115410707A publication Critical patent/CN115410707A/zh
Application granted granted Critical
Publication of CN115410707B publication Critical patent/CN115410707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Rehabilitation Tools (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种膝关节骨性关节炎的远程诊疗及康复系统，属于混合现实及康复领域。包含远程诊疗子系统和康复锻炼子系统，远程诊疗子系统包括包括患者图像采集模块、骨关节疼痛区域三维重建模块、三维模型传输模块、医患交流模块；康复锻炼子系统包括康复训练模块、预防跌倒模块、实时报警模块。本发明采用模糊双成分评价法评价患者动作的标准度，通过积分形式提高患者的康复积极性。与现有技术相比，本发明极大缩短了地理距离的鸿沟，使得膝关节骨性关节炎患者能够就近问诊，同时也减少患者对康复治疗师的依赖。

Description

一种膝关节骨性关节炎的远程诊疗及康复系统
技术领域
本发明涉及混合现实及康复领域，尤其涉及一种膝关节骨性关节炎的远程诊疗及康复系统。
背景技术
据国家统计局21年的调查显示，我国60岁及以上人口比重达18.7%，老龄化进程明显加快，由此可以看出，人口老龄化是社会发展的一大趋势，也是今后较长一段时期我国的基本国情。65岁以上的老年人常伴随正常老化的功能退变或是疾病造成的功能障碍，膝关节骨性关节炎发病率也随着老年人年龄的增长而不断升高。如若膝关节骨性关节炎未得到及时治疗，病情逐渐发展至关节损坏，则会导致肌肉萎缩，甚至出现关节强直、畸形，影响患者日常生活。
老年膝关节骨性关节炎患者在就诊时常因距离原因来回奔波，偏远地区膝关节骨性关节炎患者也面临离最近的具备诊疗技术和医学设备的医院的距离问题。随着国家政策的推动与支持，我国远程诊疗行业市场规模持续扩张，且医疗资源市场化逐渐扩大，互联网医疗服务纳入医保，同时也推动着远程诊疗应用进程的发展。因此，本发明采用RGB-D相机和混合现实设备为患者提供远程诊疗。
膝关节骨性关节炎患者的常见治疗手段有传统中医针灸穴位刺激、现代康复物理疗法及科学合理的膝关节肌肉锻炼疗法。治疗后的康复训练也尤为重要，否则患者的恢复期将加长。目前适用于膝关节骨性关节炎患者的康复锻炼有游泳、骑自行车这类有氧运动，但对老年人的适用度不高，像太极拳、八段锦、股四头肌长伸缩、靠墙静蹲这类动作，如果训练动作不标准，将对患者的膝关节将造成更严重的伤害。
由此，本发明的太极拳康复模块及定制化康复模块能够实现膝关节骨性关节炎患者就近进行康复锻炼，将地理距离的差距无限缩小，同时也节约了康复医疗人员的资源，使膝关节骨性关节炎患者在无康复治疗师的情况下也能进行科学、有效的康复训练。
发明内容
本发明提出了一种膝关节骨性关节炎的远程诊疗及康复系统，可以实现老年膝关节骨性关节炎患者就地问诊、偏远地区膝关节骨性关节炎患者异地就诊，减少了地理距离带来的不便，使得优质医疗资源有效下沉，极大程度地方便了患者就诊；同时患者能够根据自己的需求选择太极拳康复模式或定制化康复模式进行自主康复训练，解决了康复治疗师资源缺乏等问题。
为了实现上述内容，本发明采用如下技术方案：
一种膝关节骨性关节炎的远程诊疗及康复系统，其中，
包含远程诊疗子系统和康复锻炼子系统，远程诊疗子系统包括患者图像采集模块、骨关节疼痛区域三维重建模块、三维模型传输模块、医患交流模块；康复锻炼子系统包括康复训练模块、预防跌倒及实时报警模块。
所述患者图像采集模块，通过RGB-D相机设备的深度相机及彩色相机采集患者站立位、仰卧位、坐立位的图像。
所述骨关节疼痛区域三维重建模块，步骤如下：
(1)将训练集中的人体图片分成与重构模型相关的二维关节坐标、三维关节坐标、体积占用三个部分作为后续SMPL模型训练的参数。
(2)采用主要目标法对(1)中模型的三个参数迭代优化。
(3)将优化后的三个参数用于训练SMPL模型。
(4)根据医生检查膝关节骨性关节炎患者的方式，采用RGB-D相机设备在窄视场模式下采集患者的身体图像数据。
(5)将训练后的模型用于重建患者的三维人体模型。
(6)将患者的三维人体模型传输至医生端的混合现实设备中。
所述医患交流模块，用于远程诊疗过程中医生与患者的交流，医生在混合现实设备中可观察到患者病理区域的全息图像，通过语音指令或手指实现交互。
所述康复训练模块，包含太极拳康复、定制化康复、康复训练分析、康复积分和积分兑换五大子功能模块，太极拳康复模块，设置有利于膝关节骨性关节炎患者康复的太极拳二十四式动作用于患者锻炼；定制化康复模块，根据患者自身需求或医生要求将标准康复动作输入到RGB-D相机设备中，检测患者康复动作的正确性。
所述预防跌倒及实时报警模块，采用隐马尔可夫算法识别跌倒动作，当患者在训练过程中面临跌倒风险时，立即发出预测性警报，预防康复过程中患者可能出现的跌倒伤害。
其中，膝关节骨性关节炎患者可以使用RGB-D相机设备进行太极拳24式康复训练，在没有康复治疗师的情况下也能够实现科学、有效的康复训练。
所述，医患交流模块包含患者情绪评估、医患交互、会诊交流、会诊资料库、会诊报告、医生回访六大子功能块。
所述康复训练模块包含太极拳康复子功能块和定制化康复子功能块，通过RGB-D相机中的人体跟踪软件工具开发包所提供的接口获取患者的骨骼数据、捕捉患者的康复动作，采对比分析患者的康复动作与标准动作的差距，进行评分。
其中，康复训练模块包括太极拳康复、定制化康复、康复训练分析、康复积分和积分兑换五大子功能块，在康复训练分析子模块中，对于患者康复训练评分制度为最终得分=基于骨骼识别实时评分×70%+基于视频识别评分×30%；
基于骨骼识别实时评分采用基于固定轴的关节角度法对比分析患者的康复动作与标准动作的关键关节点位置、角度及速度之间的差距，其中，患者康复动作关节角度与标准动作关节角度采用基于欧氏距离的余弦相似度进行评分，具体评分方式如下：
基于骨骼实时评分实际分数：
Figure DEST_PATH_IMAGE002
评分根据动作的关键关节点分赋予32个人体关节点a、b、c三个等级的权重，如：在下蹲动作中，左髋、左膝、左脚、右髋、右膝和右脚关节点的等级为a，在实际应用中，将采用专家打分制对动作的每一个关节点赋权。其中，关键关节点等级为a的的关节点个数为N a，对应权重为W a，a等级各关节点所得评分为bscore ai；关键关节点等级为b的的关节点个数为N b，对应权重为W b，b等级各关节点所得评分为bscore bi；关键关节点等级为c的的关节点个数为Nc，对应权重为W c，c等级各关节点所得评分为bscore ci。
bscore为基于骨骼实时评分基础分数，是基于欧氏距离的余弦相似度所得出的每个关节角度的评分后的映射值，其中，sim为余弦相似度计算，angle pa i为患者的关节角度值，angle std i为标准动作的关节角度值。
Figure DEST_PATH_IMAGE004
，
bscore 1为基于欧氏距离的余弦相似度所得，bscore 1的范围值为[-1，1]，由线性函数映射到范围值为[0，100]的bscore中。
基于视频识别评分采用动态时间规整算法进行评分。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单介绍。
图1为本发明一种膝关节骨性关节炎的远程诊疗及康复系统的功能模块图。
图2为本发明一种膝关节骨性关节炎的远程诊疗及康复系统中RGB-D相机设备的人体关节点图。
具体实施方式
下面将结合本发明的具体实施例对本发明进行清楚、完整的描述，显然，所描述的实施例仅是本发明中的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的其他实施例，都属于本发明的保护范围。
本发明的实施方式涉及一种膝关节骨性关节炎的远程诊疗及康复系统，包含远程诊疗子系统和康复锻炼子系统，远程诊疗子系统包括患者图像采集模块、骨关节疼痛区域三维重建模块、三维模型传输模块、医患交流模块；康复锻炼子系统包括康复训练模块、预防跌倒模块及实时报警模块。患者图像采集模块，通过RGB-D相机设备的深度相机及彩色相机采集患者站立位、仰卧位、坐立位的图像。所述医患交流模块，用于远程诊疗过程中医生与患者的交流，医生在混合现实设备中可观察到患者病理区域的全息图像，通过语音指令或手指实现交互；所述康复训练模块，包含太极拳康复、定制化康复、康复训练分析、康复积分和积分兑换五大子功能模块，太极拳康复模块，设置有利于膝关节骨性关节炎患者康复的太极拳二十四式动作用于患者锻炼；定制化康复模块，根据患者自身需求或医生要求将标准康复动作输入到RGB-D相机设备中，检测患者康复动作的正确性；所述预防跌倒及实时报警模块，采用隐马尔可夫算法识别跌倒动作，当患者在训练过程中面临跌倒风险时，立即发出预测性警报，预防康复过程中患者可能出现的跌倒伤害。
在系统初始状态，用户根据自身需求选择远程诊疗服务或康复训练服务。在远程诊疗服务中，患者与医生通过远程会诊系统实施问诊，整个诊疗过程将以视频形式保存于系统中，患者可自行下载。每次问诊都将出具诊断报告，供患者及医生下次问诊参考。在康复训练服务中，患者根据医生建议及自身身体状况在太极拳康复模块和定制化康复模块中选择，自主进行康复训练。
如图1所示的一种膝关节骨性关节炎的远程诊疗及康复系统的各模块的具体介绍如下：
1)患者图像采集模块
患者疼痛区域采集模块的主要设备是RGB-D相机，通过RGB-D相机设备的深度相机及彩色相机采集患者站立位、仰卧位、坐立位的图像。
RGB-D相机设备中的深度相机支持的工作模式有窄视场、宽视场及被动红外模式，在骨关节疼痛区域采集模块中用到的模式是窄视场模式。
RGB-D相机面向开发人员提供了多种软件工具开发包和接口，在骨关节疼痛区域采集模块中，运用到了RGB-D相机的传感器软件工具开发包及里面的多个接口，系统由此可以访问RGB-D相机中关于RGB、惯性测量单元、设备校准数据和同步控制的传感器原始数据。
在骨关节疼痛区域采集模块，建议室内最佳环境为10-25摄氏度，8-90%（非冷凝）相对湿度，可以保证RGB-D相机设备的稳定性。
2)骨关节疼痛区域三维重建模块将依据患者图像采集模块的图像重建患者的三维模型，具体来说，骨关节疼痛区域三维重建模块步骤如下：
①将训练集中的人体图片分成与重构模型相关的二维关节坐标、三维关节坐标、体积占用三个部分作为后续SMPL模型训练的参数。其中，二位关节坐标的估计采用AlphaPose算法实现；三维关节坐标估计采用Densepose算法实现；体积占用部分采用Occupany算法实现。
②采用主要目标法对①中模型的三个参数迭代优化。
③将优化后的三个参数用于训练SMPL模型。
④根据医生检查膝关节骨性关节炎患者的方式，采用RGB-D相机设备在窄视场模式下采集患者的身体图像数据。
⑤将患者的三维人体模型传输至医生端的混合现实设备中。
3)医患交流模块
在医患交流模块中，包含患者情绪评估、医患交互、会诊交流、会诊资料库、会诊报告、医生回访六大子功能块：
①患者情绪评估：患者在诊疗时，医生很难主观或客观评判出患者的情绪细微变化，但依托RGB-D相机与人脸情绪识别算法，系统能够帮助评估分析患者的面部及情绪变化，从而为患者提供更合适的诊疗和康复方案。
②医患交互：医生通过混合现实设备可看到患者病理区域的情况，沉浸感极强且不受视点限制，医生可以通过语音指令或手指缩放、旋转、移动患者病理区域的三维图像。
③会诊交流：在诊疗过程中，医生与患者的交流将通过远程会诊系统进行。
④会诊资料库：整个诊疗过程的记录将以视频+语音的形式存储下来，放入会诊资料库中。
⑤会诊报告：在诊断完毕后，医生将根据患者情况开具会诊报告，会诊报告包含医生诊断报告、康复训练方案、患者就诊时的情绪表现、会诊过程的语音自动转文字文档。
⑥医生回访：在患者进行一段时间的康复训练后，医生将根据会诊资料库和会诊报告对患者进行回访，了解患者的现状及康复情况。
4)康复训练模块
康复训练模块运用到的设备为一台RGB-D相机，包含太极拳康复、定制化康复、康复训练分析、康复积分和积分兑换五大子功能块：
①太极拳康复子功能块：膝关节骨性关节炎患者可以通过RGB-D相机设备进行太极拳24式康复训练。
②定制化康复子功能块：根据患者需求和医生建议输入康复锻炼动作到系统中，患者依照动作次序进行康复训练。
③康复训练分析子功能块：通过RGB-D相机中的人体跟踪软件工具开发包所提供的接口获取患者的骨骼数据、捕捉患者的康复动作，采用模糊双成分评价法对患者的康复动作打分。
④康复积分子功能块：患者每次康复训练所获得的评分将以1：1的形式转换至患者的康复积分中，且系统将根据患者每周的康复锻炼频率和康复锻炼时间赋予患者相应的康复积分。
⑤积分兑换子功能块：患者可以在系统的积分兑换商城中使用康复积分兑换礼品，该子模块主要是激励患者积极参与康复训练且能够加强动作的标准性。
其中，②的标准动作为根据患者需求和医生建议确定后由康复治疗师录制构成定制化康复训练集，③的标准动作为联系本地太极拳医学协会成员协助完成录制构成太极拳康复训练集。流程大致为，先用RGB-D相机采集标准动作，然后采集到的视频数据进行滤波，最后保存并建立标准动作数据库。
其中，①、②都包含视频教学模块，系统将录制好的标准康复训练动作视频配置关键动作的语音讲解，患者在进行康复锻炼前可进行语音视频学习。
其中，③中的康复动作标准度分析是根据人体跟踪、姿态与动作识别、运动估计来分析的。在姿态与动作识别中，采用RGB-D相机的深度图像信息构建患者的铰链式身体配置，并采用非刚性点配准进行优化。
其中，④以RGB-D相机中的身体跟踪软件工具开发包提供的骨骼数据作为患者关节的三维坐标输入，并用它们来创建不同的矢量和角度。
其中，在③中，对于患者康复训练评分制度为康复训练最终得分=基于骨骼识别实时评分×70%+基于视频识别评分×30%；
基于骨骼识别实时评分采用基于固定轴的关节角度法对比分析患者的康复动作与标准动作的关键关节点位置、角度及速度之间的差距，其中，患者康复动作关节角度与标准动作关节角度采用基于欧氏距离的余弦相似度进行评分，具体评分方式如下：
基于骨骼实时评分实际分数：
Figure DEST_PATH_IMAGE005
评分根据动作的关键关节点分赋予32个人体关节点a、b、c三个等级的权重，如：在下蹲动作中，左胯、左膝、左脚、右胯、右膝和右脚关节点的等级为a，在实际应用中，将采用专家打分制对动作的每一个关节点赋权。其中，关键关节点等级为a的的关节点个数为N a，对应权重为W a，a等级各关节点所得评分为bscore ai；关键关节点等级为b的的关节点个数为N b，对应权重为W b，b等级各关节点所得评分为bscore bi；关键关节点等级为c的的关节点个数为Nc，对应权重为W c，c等级各关节点所得评分为bscore ci。
bscore为基于骨骼实时评分基础分数，是基于欧氏距离的余弦相似度所得出的每个关节角度的评分后的映射值，其中，sim为余弦相似度计算，angle pa i为患者的关节角度值，angle std i为标准动作的关节角度值。
Figure DEST_PATH_IMAGE006
，
bscore 1为基于欧氏距离的余弦相似度所得，bscore 1的范围值为[-1，1]，由线性函数映射到范围值为[0，100]的bscore中。
基于视频识别评分采用动态时间规整算法进行评分。
其中，在③中，由于各人群的骨骼结构不同，不同位置、不同高度的康复训练患者在关节数据上由细微差距。为了减少康复训练患者由于身高、骨架结构、距离摄像头远近等引起的差异，本发明将32个人体关节点中的15个重要关节点和5个重要关节角度作为评价指标进行辅助分析。如图2所示，五个关节角度为五个关节角度记录为角度 1（头、颈和胸）、角度 2（左肩、左肘和左手腕）、角度 3（右肩、右肘和右手腕）、角度 4（左胯、左膝和左脚）和角度 5（右胯、右膝和右脚）。
5)预防跌倒及实时报警模块
采用隐马尔可夫算法识别跌倒动作，当患者在训练过程中面临跌倒风险时，立即发出预测性警报，预防康复过程中患者可能出现的跌倒伤害。
下面结合具体用户A对一种膝关节骨性关节炎的远程诊疗及康复系统的模糊双成分评价法中的基于骨骼实时评分实际分数做进一步说明。
实施例 用户A通过本发明所述系统进行康复训练
在系统初始状态，用户根据自身需求选择康复锻炼子系统中康复训练模块进行锻炼，并且，在康复训练模块中，用户A选择定制化康复子功能块；
根据用户A的需求和医生建议确定康复动作，由康复治疗师录制用户A的定制化康复训练集导入系统中；
用户A康复锻炼前通过视频教学模块进行语音视频学习；
开始运动锻炼；
通过模糊双成分评价法对患者的康复训练动作分析；
在20：00-20：10，患者完成第一套动作，针对于下蹲动作，用户A的左胯、左膝、左脚、左脚踝、右胯、右膝和右脚、右脚踝关节点的等级为a，权重为60%，骨盆、脊椎、胸椎、腰椎、左肩、右肩关键点的等级为b，权重为30%，其余关键点的等级为c，权重为10%。
根据基于骨骼实时评分基础分数计算式及线性函数映射得到用户A的左胯、左膝、左脚踝、右胯、右膝、右脚踝关节点分数为80；左脚、右脚关节点分数为70，其余关节点分数为85，则总户A在基于骨骼识别实时评分所得分数为80.71分。
以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应该理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种膝关节骨性关节炎的远程诊疗及康复系统，包含远程诊疗子系统和康复锻炼子系统，其特征在于，
所述远程诊疗子系统基于虚拟现实技术、RGB-D相机和混合现实设备，采用基于SMPL参数模型的三分支优化方法和训练数据集重建患者患处，包括患者图像采集模块、骨关节疼痛区域三维重建模块、三维模型传输模块和 医患交流模块；
所述康复锻炼子系统采用模糊双成分评价法对患者的康复动作打分，包括康复训练模块、预防跌倒模块和 实时报警模块；
其中，所述康复锻炼子系统采用的模糊双成分评价法中，康复训练最终得分＝基于骨骼识别实时评分×70％+基于视频识别评分×30％，基于骨骼识别实时评分部分，患者康复动作关节角度与标准动作关节角度采用基于欧氏距离的余弦相似度进行评分，具体评分方式如下：基于骨骼实时评分实际分数式为：
Figure FDA0003983756950000011
评分根据动作的关键关节点的重要程度分别赋予32个人体关节点a、b、c三个等级的权重，其中，关键关节点等级为a的关节点个数为Na，对应权重为Wa，a等级各关节点所得评分为bscoreai；关键关节点等级为b的关节点个数为Nb，对应权重为Wb，b等级各关节点所得评分为bscorebi；关键关节点等级为c的关节点个数为Nc，对应权重为Wc，c等级各关节点所得评分为bscoreci；
基于骨骼实时评分基础分数计算式为：
Figure FDA0003983756950000012
式中，bscore1基于骨骼实时评分基础分数，sim为余弦相似度计算函数，anglepa i为患者的关节角度值，anglestd i为标准动作的关节角度值；
由于bscore1为基于欧氏距离的余弦相似度所得，bscore1的范围值为[-1，1]，由线性函数映射到范围值为[0，100]的bscore中；
基于视频识别评分采用动态时间规整算法进行评分。
2.根据权利要求1所述的一种膝关节骨性关节炎的远程诊疗及康复系统，其特征在于，所述远程诊疗子系统中的骨关节疼痛区域三维重建模块采用基于SMPL参数模型的三分支优化方法进行三维重建，其中，基于SMPL参数模型的三分支优化方法中的SMPL模型的训练数据集包括二维关节坐标、三维关节坐标和体积占用三个参数，采用主要目标法联合迭代优化更新训练数据集。
3.根据权利要求1所述的一种膝关节骨性关节炎的远程诊疗及康复系统，其特征在于，所述骨关节疼痛区域三维重建模块采用的训练数据集中，人体站立位、仰卧位、坐立位、其他位姿的占比为各25％。
CN202211346454.5A 2022-10-31 2022-10-31 一种膝关节骨性关节炎的远程诊疗及康复系统 Active CN115410707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211346454.5A CN115410707B (zh) 2022-10-31 2022-10-31 一种膝关节骨性关节炎的远程诊疗及康复系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211346454.5A CN115410707B (zh) 2022-10-31 2022-10-31 一种膝关节骨性关节炎的远程诊疗及康复系统

Publications (2)

Publication Number Publication Date
CN115410707A CN115410707A (zh) 2022-11-29
CN115410707B true CN115410707B (zh) 2023-01-31

Family

ID=84167678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211346454.5A Active CN115410707B (zh) 2022-10-31 2022-10-31 一种膝关节骨性关节炎的远程诊疗及康复系统

Country Status (1)

Country Link
CN (1) CN115410707B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117594245B (zh) * 2024-01-18 2024-03-22 凝动万生医疗科技(武汉)有限公司 一种骨科患者康复进程跟踪方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101846903A (zh) * 2009-03-25 2010-09-29 夏普株式会社 树脂被覆载体及其制造方法、双成分显影剂、显影装置、图像形成装置及图像形成方法
CN114049683A (zh) * 2021-10-26 2022-02-15 哈尔滨工业大学（威海） 基于三维人体骨架模型的愈后康复辅助检测系统、方法、介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108852694A (zh) * 2018-04-13 2018-11-23 廉江市人民医院 一种神经外科病床辅助装置
CN109394180B (zh) * 2018-11-09 2022-03-15 上海中医药大学附属曙光医院 一种基于红外成像的膝骨关节炎远程诊疗系统
PT3656302T (pt) * 2018-11-26 2020-11-03 Lindera Gmbh Sistema e método para análise da marcha humana
US20220051437A1 (en) * 2020-08-17 2022-02-17 Northeastern University 3D Human Pose Estimation System
CN112669996A (zh) * 2020-12-26 2021-04-16 深圳市龙华区妇幼保健院(深圳市龙华区妇幼保健计划生育服务中心、深圳市龙华区健康教育所) 一种基于反向眼跳和记忆导向眼跳的远程诊疗康复系统
CN114067953A (zh) * 2021-10-29 2022-02-18 北航歌尔(潍坊)智能机器人有限公司 康复训练方法、系统及计算机可读存储介质
CN114504777B (zh) * 2022-04-19 2022-07-15 西南石油大学 基于神经网络和模糊综合评价的锻炼强度计算系统和方法
CN114783611B (zh) * 2022-06-22 2022-08-23 新泰市中医医院 基于人工智能的神经康复动作检测系统
CN115040114A (zh) * 2022-06-23 2022-09-13 广西大学 一种基于虚拟现实和人机交互的远程康复系统及训练方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101846903A (zh) * 2009-03-25 2010-09-29 夏普株式会社 树脂被覆载体及其制造方法、双成分显影剂、显影装置、图像形成装置及图像形成方法
CN114049683A (zh) * 2021-10-26 2022-02-15 哈尔滨工业大学（威海） 基于三维人体骨架模型的愈后康复辅助检测系统、方法、介质

Also Published As

Publication number Publication date
CN115410707A (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
US11633659B2 (en) Systems and methods for assessing balance and form during body movement
JP6871379B2 (ja) 治療及び／又は運動の指導プロセス管理システム、治療及び／又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法
US20110112855A1 (en) System and method for assisting in making a treatment plan
ES2467154T3 (es) Método para la monitorización médica remota que incorpora procesamiento de video
CN113647939B (zh) 一种针对脊柱退行性疾病的人工智能康复评估与训练系统
Lockery et al. Store-and-feedforward adaptive gaming system for hand-finger motion tracking in telerehabilitation
KR20080005798A (ko) 모션트랙킹 기술과 증강현실 기법을 활용한 인지 및행동장애 재활 지원시스템
Haddas et al. Functional balance testing in cervical spondylotic myelopathy patients
CN115410707B (zh) 一种膝关节骨性关节炎的远程诊疗及康复系统
Aqel et al. Review of recent research trends in assistive technologies for rehabilitation
CN117503115A (zh) 用于神经损伤的康复训练系统及训练方法
CN115985462A (zh) 儿童脑瘫康复益智训练系统
LIU et al. Artificial intelligence rehabilitation evaluation and training system for degeneration of joint disease
WO2022260046A1 (ja) 被験者の状態を推定するためのコンピュータシステム、方法、およびプログラム
Peng Evaluation of the Effectiveness of Artificial Neural Network Based on Correcting Scoliosis and Improving Spinal Health in University Students
Gegenbauer An interdisciplinary clinically-oriented evaluation framework for gait analysis after stroke
CN114984540B (zh) 一种基于人工智能的健身锻炼效果评价分析管理系统
KR102457571B1 (ko) 요추부 코어 트위스트 운동 치료 시스템 및 요추부 코어 트위스트 운용 치료 방법
CN114403855B (zh) 瘫痪者上肢运动功能评估方法、系统和计算机可读存储介质
Guo et al. Artificial Intelligence Providing a More Optimized Assessment Tool for Comprehensive Geriatric Assessment
Chen et al. Deep learning real-time detection and correction system for stroke rehabilitation posture
EP4273873A1 (en) Personalized exercise guidance system and method based on machine learning
CN114360714A (zh) 体态采集分析系统
Fonseca Quantification, reduction and management of kinematic variability in clinical gait analysis
Osuji Pilot Study to Enhance the Repeatability, Validity and Reliability of Traditional Observational Falls Risk Assessments by Incorporating Markerless Motion Capture Technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant