CN116650788A - 一种基于增强现实的前庭康复训练系统及方法 - Google Patents
一种基于增强现实的前庭康复训练系统及方法 Download PDFInfo
- Publication number
- CN116650788A CN116650788A CN202310597414.6A CN202310597414A CN116650788A CN 116650788 A CN116650788 A CN 116650788A CN 202310597414 A CN202310597414 A CN 202310597414A CN 116650788 A CN116650788 A CN 116650788A
- Authority
- CN
- China
- Prior art keywords
- augmented reality
- patient
- training
- user
- subsystem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 160
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000004424 eye movement Effects 0.000 claims abstract description 62
- 230000001720 vestibular Effects 0.000 claims abstract description 47
- 230000008569 process Effects 0.000 claims abstract description 37
- 238000011156 evaluation Methods 0.000 claims abstract description 29
- 230000000694 effects Effects 0.000 claims abstract description 14
- 238000012544 monitoring process Methods 0.000 claims abstract description 6
- 230000000007 visual effect Effects 0.000 claims description 56
- 238000007405 data analysis Methods 0.000 claims description 29
- 210000001508 eye Anatomy 0.000 claims description 25
- 238000011157 data evaluation Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 12
- 210000003128 head Anatomy 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 210000005252 bulbus oculi Anatomy 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013210 evaluation model Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000005021 gait Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 2
- 238000004148 unit process Methods 0.000 claims description 2
- 210000001747 pupil Anatomy 0.000 description 4
- 208000012886 Vertigo Diseases 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 208000002173 dizziness Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 231100000889 vertigo Toxicity 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001684 chronic effect Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 230000004064 dysfunction Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010013578 Dizziness postural Diseases 0.000 description 1
- 208000027601 Inner ear disease Diseases 0.000 description 1
- 206010047348 Vertigo positional Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000003474 anti-emetic effect Effects 0.000 description 1
- 229940125683 antiemetic agent Drugs 0.000 description 1
- 239000002111 antiemetic agent Substances 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 208000001870 benign paroxysmal positional vertigo Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 239000003112 inhibitor Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001314 paroxysmal effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002636 symptomatic treatment Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 208000027491 vestibular disease Diseases 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/112—Gait analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
- A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Ophthalmology & Optometry (AREA)
- Hematology (AREA)
- Geometry (AREA)
- Anesthesiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Psychology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明提供一种基于增强现实的前庭康复训练系统及方法，包括：增强现实头戴显示子系统，用于将虚拟画面构成的增强现实引导目标物显示在佩戴者的视野之中；人体姿态跟踪子系统用于实时跟踪患者的位置信息，调整引导目标物的空间位置来引导患者追随虚拟物体运动；眼动追踪子系统用于监测患者的眼动情况，评估其视觉追踪能力以及协同性；增强现实训练评估子系统用于实时分析训练过程中用户的数据，并在训练结束后分析在训练整个过程中的各项数据；增强现实引导目标物子系统用于动态地调整引导目标物在患者视野中的空间位置，使患者免于碰撞障碍物并保持合理的速度，个性化地推荐训练强度。本发明解决了现有前庭训练安全性差、效果不佳的问题。
Description
技术领域
本发明涉及医疗康复技术领域，尤其涉及一种基于增强现实的前庭康复训练系统及方法。
背景技术
眩晕是临床最常见的症状之一。据统计，65岁以上的老人眩晕发病率，女性达57％，男性为39％。良性阵发性位置性晕(BPPV)在一般人群中的终生累积患病率达10％。认真对待眩晕，提高其康复训练水平，具有重大的意义。最常见的眩晕病因是前庭系统问题导致的，据统计可达到眩晕病人的50％～70％。前庭系统位于人的内耳，负责感知头部运动和位置信息，以及调节眼球运动以保持视觉稳定。前庭系统出现功能失调，如前庭眼反射(VOR)、前庭脊髓反射(VSR)等失调等，可以影响人的视觉、本体觉空间定向和身体平衡，导致头晕、眩晕、失衡、眼震等症状，严重影响患者的生活质量。前庭功能失调在急性期时可能需要前庭抑制剂或止吐剂等药物对症治疗，但慢性期则需要主要依靠前庭康复训练而非药物来治疗。前庭康复训练被认为是慢性前庭功能恢复最安全有效的方法。
常规前庭康复训练方法主要基于机械和物理，如注视练习：患者手持小视靶，注视视靶的同时保持头部与视靶做相对运动，改善患者的视觉稳定性；平衡练习：在睁眼和闭眼下练习改变体位，适应转身，提高患者的身体稳定性和平衡能力；功能性练习：在睁眼和闭眼下进行屋内行走，上下台阶，弯腰拾物等，提高患者在实际生活环境中的平衡和空间定向能力。但这样的训练方法重复、耗时、单调、乏味，患者较难坚持，较难达到理想疗效。
基于虚拟现实(VR)的前庭康复训练可以大大改进训练的趣味性，增进训练效果。它主要将传统的物理与机械的训练方法改为佩戴头戴式显示器和手柄来完成。通过在头戴式显示器中模拟丰富的场景变化和声光效果，可以增加患者的兴趣和完成度，达到更好的训练效果。
但遗憾的是，但基于虚拟现实的前庭康复训练仍存在许多缺陷：一方面，由于患者只能看到虚拟场景而无法看到真实场景，无法注意到真实场景中的障碍物和危险，存在安全隐患；另一方面，为保障被动安全对场地要求严格，一般需要宽敞且无人的环境，一般医院难以达到。因此目前虚拟现实的前庭康复训练一般只能让用户做一些坐立或站立的原地康复训练，对行走等功能性练习支持有限。
发明内容
本发明提供一种基于增强现实的前庭康复训练系统及方法，用以解决现有前庭训练安全性差、效果不佳的问题。
本发明提供一种基于增强现实的前庭康复训练系统，所述系统包括：增强现实头戴显示子系统、人体姿态跟踪子系统、眼动追踪子系统、增强现实训练评估子系统和增强现实引导目标物子系统；
所述增强现实头戴显示子系统，用于将虚拟3D模型或2D画面构成的增强现实引导目标物显示在佩戴者的视野之中，使患者通过观察或跟随这些引导目标物的运动来进行康复训练；
所述人体姿态跟踪子系统，用于实时跟踪患者的位置信息，调整引导目标物的空间位置来引导患者追随虚拟物体运动；
眼动追踪子系统，用于监测患者的眼动情况，评估其视觉追踪能力以及眼动与平衡功能的协同性；
增强现实训练评估子系统，用于实时分析训练过程中用户的数据，向用户或医护人员给出反馈信息；以及用于在训练结束后分析在训练整个过程中的各项数据，对此次训练效果及用户康复进度进行总体上的评估；
增强现实引导目标物子系统，用于动态地调整引导目标物在患者视野中的空间位置，使患者在跟随引导目标物行走过程中免于碰撞障碍物并保持合理的速度，并根据患者的表现情况个性化地推荐训练强度。
根据本发明提供的一种基于增强现实的前庭康复训练系统，所述增强现实头戴显示子系统包括：
微型显示器和半透半返光学组合器；
所述微型显示器，用于显示增强现实引导目标物并投射到所述增强现实头戴显示子系统的半透半反光学组合器上；
所述半透半反光学组合器位于佩戴者双目前方，用于透射外界光线和反射所述微型显示器的画面，使用户能够同时看到外界物理影像和所述微型显示器显示的虚拟影像。
根据本发明提供的一种基于增强现实的前庭康复训练系统，所述半透半反光学组合器采用自由曲面半透半反镜，在所述微型显示器的出光端设置一组投影透镜，通过所述投影透镜将所述微型显示器显示的虚拟图像放大并投射到自由曲面半透半反镜上。
根据本发明提供的一种基于增强现实的前庭康复训练系统，所述人体姿态跟踪子系统包括：
运动传感器、视觉摄像头和人体姿态处理单元；
所述运动传感器设置在患者身上或所述增强现实头戴显示子系统上，包括惯性传感器、压力传感器、加速度计、陀螺仪和磁力计，用于采集用户的方向、角速度和加速度；
所述视觉摄像头设置在所述增强现实头戴显示子系统上或训练区域内，用于采集患者训练的视觉信号；
所述人体姿态处理单元为一组具有计算功能的设备，设置在所述增强现实头戴显示子系统上或者外部，对运动传感器和视觉摄像头采集的数据进行处理和分析，得到患者的位置信息和身体姿态信息。
根据本发明提供的一种基于增强现实的前庭康复训练系统，所述人体姿态处理单元通过预设的人体姿态跟踪算法对运动传感器和视觉摄像头采集的数据进行处理和分析；
所述人体姿态跟踪算法采用深度学习的方法，利用卷积神经网络对输入的图像或视频进行特征提取和关键点预测，输出带有空间信息的热力图；
每个热力图对应一个人体关节，通过找到热力图上的最大响应位置，可以得到相应关节的坐标，生成患者的位置信息和身体姿态信息。
根据本发明提供的一种基于增强现实的前庭康复训练系统，所述眼动追踪子系统包括：
眼动捕捉摄像头和眼动分析模块；
所述眼动捕捉摄像头设置在患者眼前，用于采集患者的眼球运动数据；
所述眼动分析模块设置在所述增强现实头戴显示子系统上或者外部，用于对眼球运动数据进行处理和分析，计算出患者的注视点、注视时间、注视频率和注视稳定性指标。
根据本发明提供的一种基于增强现实的前庭康复训练系统，所述增强现实训练评估子系统包括：
机械数据分析评估模块和视觉数据分析评估模块；
所述机械数据分析评估模块，用于获取和分析用户训练过程中所述人体姿态跟踪子系统和所述眼动追踪子系统捕捉到的机械运动数据，包括用户的位置、朝向以及眼动数据，以评估用户的训练完成度和康复情况；
所述视觉数据分析评估模块，用于获取和分析用户训练过程中所述人体姿态跟踪子系统捕捉到的训练的视觉信号，包括图像和视频，从中提取到包括关节角度、步长和步宽等姿态数据，以评估用户的步态及康复情况。
根据本发明提供的一种基于增强现实的前庭康复训练系统，所述视觉数据分析评估模块对捕捉到的图像和视频数据进行特征提取；
基于提取的特征数据选择与特征数据契合的评估模型，将特征映射为用户的分数或级别，回归出反映用户康复情况的得分或分类出用户的康复程度级别；
根据用户的康复情况在训练结束后可给出若干的可视化结果。
根据本发明提供的一种基于增强现实的前庭康复训练系统，所述增强现实引导目标物子系统包括：
注视引导模块、旋转引导模块和行走引导模块；
所述注视引导模块通过移动引导目标物的方向，引导患者转动眼球或头部始终注视引导目标物，改善患者的视觉稳定性；
所述旋转引导模块通过移动引导目标物的角度，引导患者适应转身，提高患者的身体稳定性和平衡能力；
所述行走引导模块通过移动引导目标物的位置，引导患者实际行走，提高患者在实际生活环境中的平衡和空间定向能力。
本发明还提供一种基于增强现实的前庭康复训练方法，所述方法用于执行实现基于增强现实的前庭康复训练系统。
本发明提供的一种基于增强现实的前庭康复训练系统及方法，通过使用增强现实提供趣味性强的康复训练，增强患者的参与度和训练效果；提供可靠安全的康复训练手段，保障患者的主动安全性；实时监测和个性化指导，为患者提供精确的训练反馈和个性化的训练指导；综合评估康复进度，为医护人员提供全面的康复进展评估和康复方案制定参考；融合多项关键技术的创新应用，提供了全面的前庭康复训练体验。这些有益效果将有效改善前庭功能障碍患者的康复训练体验和康复效果，提升患者的生活质量。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于增强现实的前庭康复训练系统的架构图；
图2是本发明提供的一种基于增强现实的前庭康复训练方法的流程示意图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1和图2，描述本发明的一种基于增强现实的前庭康复训练系统，所述系统包括：
增强现实头戴显示子系统、人体姿态跟踪子系统、眼动追踪子系统、增强现实训练评估子系统和增强现实引导目标物子系统；
S100、所述增强现实头戴显示子系统，用于将虚拟3D模型或2D画面构成的增强现实引导目标物显示在佩戴者的视野之中，使患者通过观察或跟随这些引导目标物的运动来进行康复训练；
S200、所述人体姿态跟踪子系统，用于实时跟踪患者的位置信息，调整引导目标物的空间位置来引导患者追随虚拟物体运动；
S300、眼动追踪子系统，用于监测患者的眼动情况，评估其视觉追踪能力以及眼动与平衡功能的协同性；
S400、增强现实训练评估子系统，用于实时分析训练过程中用户的数据，向用户或医护人员给出反馈信息；以及用于在训练结束后分析在训练整个过程中的各项数据，对此次训练效果及用户康复进度进行总体上的评估；
S500、增强现实引导目标物子系统，用于动态地调整引导目标物在患者视野中的空间位置，使患者在跟随引导目标物行走过程中免于碰撞障碍物并保持合理的速度，并根据患者的表现情况个性化地推荐训练强度。
在本发明中，通过增强现实(AR)在现实环境中融入了虚拟元素，而不是屏蔽现实环境，可以使佩戴者同时看到物理环境与虚拟物体，既增强趣味性又增强了主动安全性，更有利于前庭患者的康复训练。
增强现实头戴显示子系统包括两个部分：微型显示器和半透半反光学组合器。其中，所述微型显示器由一块液晶屏组成，可以产生高分辨率、高亮度的图像，用于显示增强现实引导目标物并将图像投射到所述半透半反光学组合器上；所述半透半反光学组合器位于佩戴者双目前方，可以透射外界光线的同时反射所述微型显示器的画面，以便将虚拟图像与真实场景叠加，保持对环境的透视，可以让用户同时看到虚拟图像与真实场景。
在本具体实施方式中，所述微型显示器采用OLED方案，该微型显示器包括以下部分：一块OLED面板，由多个像素单元组成，每个像素单元包括红、绿、蓝三种颜色的发光二极管，可以在电流的激发下自发光，形成彩色图像；一块驱动电路板，与OLED面板电连接，用于控制每个像素单元的发光状态，根据输入的视频信号生成对应的图像；一块散热模块，与OLED面板和驱动电路板紧密贴合，用于散发OLED面板和驱动电路板产生的热量，保持微型显示器的温度稳定；一块保护玻璃，覆盖在OLED面板的外部，用于保护OLED面板免受灰尘、水汽、划痕等损伤，同时提供透明的显示窗口。
在本具体实施方式中，所述半透半反光学组合器采用自由曲面半透半反镜方案，具体地：在所述微型显示器的出光端设置一组投影透镜，用于将所述微型显示器显示的虚拟图像放大并投射到自由曲面半透半反镜上。在投影透镜的出光端设置一块自由曲面半透半反镜，其形状为一个凹面，其反射率和透射率根据虚拟图像和真实图像的亮度和对比度进行调节。在自由曲面半透半反镜的反射侧设置一对眼镜片，用于将用户的眼睛与自由曲面半透半反镜之间的距离调节到合适的范围，以保证用户能够清晰地看到虚拟图像和真实图像。
所述人体姿态跟踪子系统包括运动传感器、视觉摄像头和人体姿态处理单元。
运动传感器设置在所述增强现实头戴显示子系统或设置在患者身上，用于采集患者的身体姿态数据。运动传感器包括惯性传感器、压力传感器、温度传感器等，可以采集患者身体部位的运动、压力、温度等数据，并通过无线信号发送给所述人体姿态处理单元。
视觉摄像头设置在所述增强现实头戴显示子系统上或训练区域内，用于采集患者训练的视觉信号来解算位置数据或动作。视觉摄像头可以是普通光学摄像头、红外摄像头、深度摄像头等，可以在患者所佩戴的所述增强现实头戴显示子系统上采集环境视觉数据，或在训练区域内采集患者的身体图像或视频，并通过有线或无线信号发送给所述人体姿态处理单元。
人体姿态处理单元是一组具有计算功能的设备，位于患者所佩戴的所述增强现实头戴显示子系统上，或位于所述增强现实头戴显示子系统外部，用于处理和分析身体姿态数据。人体姿态处理单元运行同步定位与地图构建算法(SLAM)，对物理空间进行建模，并实时计算患者所佩戴的所述增强现实头戴显示子系统的位置，得到患者的位置信息和身体姿态信息。人体姿态处理单元还运行人体姿态跟踪算法，该算法采用计算机视觉技术，可以确定图像和视频中对人体关节的定位，即用户的某个身体部位出现在图像中的位置。具体地，该算法采用深度学习的方法，利用卷积神经网络对输入的图像或视频进行特征提取和关键点预测，输出带有空间信息的热力图，每个热力图对应一个人体关节，通过找到热力图上的最大响应位置，可以得到相应关节的坐标。
所述眼动追踪子系统包括眼动捕捉摄像头和眼动分析模块，眼动捕捉摄像头设置在患者眼前，用于采集患者的眼球运动数据，眼动分析模块设置在患者所佩戴的所述增强现实头戴显示子系统上或所述增强现实头戴显示子系统外部，用于对眼球运动数据进行处理和分析，计算出患者的注视点、注视时间、注视频率、注视稳定性等指标。
所述眼动捕捉摄像头可以是红外摄像头，可以拍摄患者眼部，采集患者的眼部图像或视频，并通过有线或无线信号发送给处理单元。
眼动分析模块是一组具有计算功能的设备，可以运行眼动追踪算法，对眼动捕捉摄像头采集的数据进行处理和分析，得到患者的眼动指标，并根据这些指标评估患者的视觉追踪能力以及眼动与平衡功能的协同性。具体来说，眼动数据分析模块采用以下方法：1.预处理：对眼动数据进行去除噪声、滤波、校准等操作，以提高数据质量；2.特征提取：从眼动数据中提取常用的眼动指标，如注视时间、凝视时间、回视次数、落点位置、扫描路径、眼跳长度、眼跳角度、瞳孔大小等；3.分类：根据不同的任务类型或目标区域，对眼动指标进行分类或聚类，以区分用户在不同情境下的眼动模式或策略。
眼动追踪评估包含以下方面：1.视觉追踪能力:可以用眼动指标中的落点位置、扫描路径、眼跳长度和眼跳角度来衡量。落点位置反映了用户对目标区域的注意力分配，扫描路径反映了用户对目标区域的探索顺序，眼跳长度和眼跳角度反映了用户对目标区域的探索范围和方向。一般来说，落点位置越接近目标区域的中心，扫描路径越紧凑和有序，眼跳长度越小，眼跳角度越接近水平或垂直方向，说明用户的视觉追踪能力越强。因此，可以用这些眼动指标的平均值、方差、最大值、最小值等统计量来计算视觉追踪能力的评估指标，并与正常人群或康复人群的基准值进行比较，以判断用户的视觉追踪能力是否正常或有改善。2.眼动与平衡功能协同性:可以用眼动指标中的瞳孔大小和注视时间来衡量。瞳孔大小反映了用户在康复训练过程中的认知负荷和情绪状态，注视时间反映了用户对目标区域的兴趣和专注程度。一般来说，瞳孔大小越大，注视时间越长，说明用户在康复训练过程中遇到了更多的困难或压力，需要更多的注意力和精力来完成任务，说明用户的眼动与平衡功能协同性越差。因此，可以用这些眼动指标的平均值、方差、最大值、最小值等统计量来计算眼动与平衡功能协同性的评估指标，并与正常人群或康复人群的基准值进行比较，以判断用户的眼动与平衡功能协同性是否正常或有改善。
所述增强现实训练评估子系统包括两个部分：机械数据分析评估模块和视觉数据分析评估模块。
所述机械数据分析评估模块获取所述人体姿态跟踪子系统和眼动追踪子系统中可穿戴部分传感器记录的机械运动数据，包括用户的位置、朝向等身体行走方面的数据，头部、躯干运动等身体姿态方面的数据，以及眼动数据，并使用这些数据分析用户的训练完成度和康复情况。
所述视觉数据分析评估模块获取所述人体姿态跟踪子系统和眼动追踪子系统中的外部摄像头捕捉到的图像、视频等数据，首先通过加工和分析这些数据提取到包括关节角度、步长和步宽等姿态数据，再通过这些推测出的姿态数据分析用户的训练完成度和康复情况。
增强现实训练评估子系统的使用场景可以分为两大类：一是在训练过程中实时分析用户数据，并且向用户或应用给出反馈信息；二是在训练结束后分析在训练整个过程中的各项数据，并对此次训练效果及用户康复进度进行总体上的评估。
以下将分别详细说明所述机械数据分析评估模块和所述视觉数据分析评估模块的具体实施方式；
所述机械数据分析评估模块从所述人体姿态跟踪子系统和眼动追踪子系统中读取可穿戴部分传感器记录的机械运动数据，包括人体姿态数据和眼动数据。可以获取的相关数据主要为用户在之前一段时间内每一刻的位置、头部朝向等。有一些数据即使不能直接获取但可以根据获取的数据推算，例如用户的速度大小和角速度。在数据处理和分析评估过程中，机械数据分析评估模块关注数据的时序性，即考虑之前一段时间内所有数据，而并非仅仅关注其瞬时值。即便针对训练过程中的任意时刻即时地给出评估结果，也需要考虑之前一段时间内所有数据，而并非仅考虑当前瞬时数据。
所述机械数据分析评估模块采用统计方法分析得到反映用户训练完成情况或康复情况的指标，如：1.注视稳定性。使用用户的头部朝向数据、眼动数据，结合引导目标物在空间中的位置，通过统计一定时间内用户视线脱离引导目标物的次数，对用户目光注视引导目标物的稳定性进行评估。2.行走直线性。该指标指用户在一段时间内行走的路径整体和直线的契合程度，具体地，它可以通过分段路径的曲率或是起始、终止点的连线与实际路径的最远距离等方式被计算得出。3.行走稳定性。该指标指用户在一段时间内行走路径的稳定程度。用户在行走时不可避免地有大量微小的抖动，具体地，可以通过将原始路径和平滑后的中心路径作比较可得其平均或最大抖动范围，从而计算该指标。4.转向连续性。该指标指用户近期转向意图是否连续。在一次转向中，用户可能会有小幅度的方向切换、停滞、速度突变等情况，通过统计一定时间内这些非连续行为的发生次数、发生时长等指标可以获得该次转向的连续性。
上述描述的指标仅作为示例给出，在实际实现时结合医疗需求可能有更多合理的指标及衡量方案。以上针对每个指标的统计评估方法也是示例性的，可以采用等价的方法来同样实现指标的预测。例如，系统可以根据数据库中患者的历史行走数据训练长短期记忆网络(Long-Short Term Memory,LSTM)，并使用LSTM神经网络实时预测患者的若干上述行走指标。在足够的数据支撑之下，神经网络有可能得到更为准确的评估结果。但是，由于神经网络往往可解释性较差，可能无法为其打分结果给出充足的原因分析以指导患者。因此，系统的具体实现方式需要根据实际应用情况决定。
根据以上若干反映用户训练完成情况或康复情况的指标，采用线性回归的方式为用户的训练完成情况或康复情况打分，打分采用百分制。其中在训练过程中实时分析用户数据时，采用过去5秒内的机械运动数据作为输入，且将打分的结果通过所述增强现实头戴显示子系统实时反馈给用户。将用户在训练过程中的所有时刻的平均得分作为整个训练过程中的总体评估结果，同样通过所述增强现实头戴显示子系统反馈给用户和医护人员。
所述视觉数据分析评估模块处理的主要是所述人体姿态跟踪子系统和眼动追踪子系统中的外部摄像头捕捉到的图像和视频数据。这些数据能够捕捉到一些可穿戴部分传感器无法捕捉到的特征和数据，因此可以有效弥补机械数据分析评估模块的不足。同时，它的评估结果也更容易以图像或视频等直观的方式呈现，在结果层面上也是对机械数据分析评估模块很好的补充。然而视觉数据分析评估模块需要增加系统的软硬件成本开销，并且评估结果不如所述机械数据分析评估模块可靠，因此可根据实际康复训练的情况决定是否采用。
首先，所述视觉数据分析评估模块对捕捉到的图像和视频数据进行特征提取。应利用计算机视觉方法从图像或视频中提取用户步态、关节姿态、面部表情等可穿戴部分传感器难以获取的特征数据。得到的数据形式可以是简单的参数化模型结果，也可以是较为复杂的三维重建结果，还可以直接转化为对应的长度、角度等可以直接被机械数据分析评估模块利用的参数。在必要时，可以将一些机械数据作为特征提取的辅助数据输入。
接下来，所述视觉数据分析评估模块选择与特征数据契合的评估模型，将特征映射为用户的分数或级别。例如，若特征数据是用户的关节姿态，则评估模型就应当接受该类关节姿态表示作为输入并且输出定量指标或康复程度评级。评估模型可以选择多层感知机等机器学习模型，并在训练数据集上进行预先训练，使其准确回归出反映用户康复情况的得分或分类出用户的康复程度级别。
最后，所述视觉数据分析评估模块在训练结束后可给出若干的可视化结果。可视化结果主要为得分较低的时刻外部摄像头捕捉到的图像和视频数据，通过所述增强现实头戴显示子系统播放反馈给患者和医护人员参考。
所述增强现实引导目标物子系统可进一步被细分为三个模块：注视引导模块，旋转引导模块和行走引导模块。在使用中，可以根据患者的实际情况选择最合适的模块或训练任务。
注视引导模块对应于传统康复训练方式中的引导注视练习。该模块的目标为通过让患者转动眼球或头部始终注视视靶，改善患者的视觉稳定性。在一个具体实施例中：
训练开始时，让患者在该位置面朝一个特定的初始方向站定或坐下。在整个训练过程中，用户保持身体的姿势基本不变，而只通过头部及眼部的运动完成对视靶的注视。
在系统刚启动时，对用户所在的物理空间进行分析。在分析完毕后，在物理空间中选择若干个目标位置，该位置附近尽可能满足两个条件：第一，该位置周围应尽可能空敞而无障碍物；第二，该位置附近一段视野内无明显的视觉吸引点。如果该空间难以找到这样的位置，系统会给出警告，要求患者或医护人员调整周围空间。
在系统开始运行时，在所述增强现实头戴显示子系统中生成一个引导目标物。该引导目标物初始位置位于用户的正前方，用户清晰可见。该引导目标物由一个虚拟三维模型来表示，采用双目显示，用户能够通过双目视觉在空间中精确感知其位置。在使用中，引导目标物的外观没有具体的约束，可以是传统的靶状物外观，也可以用其他的外观表示，如漂浮的水晶模型、3D虚拟人、飞行的小鸟、来回跳跃的青蛙等等。
在正常进行训练过程时，对引导目标物的空间位置进行若干调整。在默认情况下，引导目标物会在空间中选择一个目标位置并缓慢移向该位置。选择的目标位置平均距离和引导目标物移动速度表示任务的难度，选择的目标位置平均距离越大、以及引导目标物移动速度越快，表示训练任务的难度越大。训练任务的难度参数根据预先设定的训练强度进行调整，也可以根据用户眼部和头部实时的追踪表现动态调整。
使用以下优化目标来调整引导目标物的运动：首先，保证引导目标物不出现在训练的物理空间以外或障碍物之中，以及不被障碍物遮挡；其次，使每次选择的引导目标物位置尽可能均匀分布在空间的各个角度中，以全方位锻炼患者对不同视角的注视；再次，引导目标物移动的角速度保持合理值，从而使用户的注视能够正常跟上视靶的移动；最后，引导目标物相对用户的距离的保持均匀分布，并在均值附近穿插变化，以增强训练的效果及趣味性。
使用引导目标物本身的特性来反映训练的情况并督促用户训练，例如当检测到用户最近一段时间内没有完成注视时引导目标物变为红色，保持注视则引导目标物变为绿色等。
在正常进行训练过程时，也可以根据用户训练情况对引导目标物区域亮度进行调整。例如，当用户注视表现下降或是因训练而过于疲惫时，可选择调亮引导目标物区域的亮度来增强吸引力，降低训练任务的难度。而当用户视线始终良好跟踪引导目标物时，则降低引导目标物的亮度，避免用户视觉疲劳。
以上部分描述了注视引导模块的实现，接下来的部分将继续描述旋转引导模块的实现：
旋转引导模块的目标通过让患者适应转身，提高患者的身体稳定性和平衡能力。旋转引导模块的一种实施方式表述如下：
类似于注视引导模块的实现，在系统刚启动时，系统对用户所在的物理空间进行分析，并在分析完毕后给出一个合适的位置或是产生警告。在该训练过程中，要求用户在同一个位置站立，通过旋转身体以及对头部、眼部进行轻微的调整完成对引导目标物的注视。
类似于注视引导模块的实现，在系统开始运行时，系统会在显示系统中生成一个引导目标物。系统会实时调整引导目标物的位置，但调整的方式有别于注视引导模块的实现。在默认条件下，引导目标物会保持在用户的平视高度绕用户旋转，每次向一个方向连续缓慢旋转若干角度后短暂停滞，再继续下一次旋转的过程。该旋转过程亦可以根据设定的难度参数或是用户实时表现反馈调整。
使用以下优化目标来调整引导目标物的运动：首先，在保持引导目标物在视野中呈现清晰的前提下，尽可能维持引导目标物距用户的距离稳定，以避免消耗额外的注视精力；其次，因为用户身体的旋转并非像眼动或头部转动一样平滑，故使引导目标物绕用户的旋转运动速度实时匹配用户的实际转动速度，以免增加用户心理压力；最后，避免在一次旋转过程中连续转动过大的角度。
旋转引导系统同样使用引导目标物本身的特性来反映训练的情况并督促用户训练，也可以根据用户训练情况对引导目标物区域亮度进行调整。具体过程与注视引导模块一致，不再赘述。
以上部分描述了旋转引导系统的实现，接下来的部分将重点描述行走引导系统的实现：
行走引导模块对应于传统康复训练方式中的功能性练习。该模块的目标是通过让患者练习实际行走，提高患者在实际生活环境中的平衡和空间定向能力。该模块利用了增强现实中用户可以同时看到虚拟和物理环境的特点，大幅度降低虚拟现实康复训练过程中用户无法知晓物理环境的焦虑和不安感，让用户可以放心行走。该模块的一种实施方式表述如下：
在系统刚启动时，系统对用户所在的物理空间进行分析，确定边界位置、障碍物位置和用户位置。为了严格保障用户行走中的安全，要求物理空间满足以下条件：第一，宽敞，有足够的可行走区域；第二，空间中物体摆放应有条理，能够支持顺畅的行走，避免过多或是杂乱的障碍物；第三，空间中不能存在尖锐或容易对人体造成伤害的危险物品，或者阶梯、移动平台等可能产生安全隐患的因素。为了有效辅助训练过程，系统可以允许医护或陪同人员在场景中活动。
类似于注视引导模块和旋转引导模块，行走引导模块开始运行时，会在显示系统中生成一个引导目标物。该引导目标物引导用户行走并转向，同时保证用户的安全。在默认情况下，该引导目标物的引导逻辑如下：
根据边界位置、障碍物位置和用户位置决定物理空间中一个安全的位置为引导目标物的目标位置，实时缓慢移动引导目标物到该目标位置，并在此过程中引导用户追逐引导目标物走动。每次在用户接近当前的引导位置后，寻找一个新的安全位置引导用户走动，循环往复。安全的位置的选择满足以下条件：第一，以该位置为中心，周围没有任何障碍物，也不会越过物理空间的边界；第二，该位置和用户当前位置的距离不过远或过近；第三，该位置在用户的视野内，并且从用户位置出发直线行走可以到达，而没有越过空间边界或是撞到障碍物的危险。如果用户视野内找不到满足要求的位置，则通过旋转引导模块引导用户转身后再选择安全位置。
引导目标物的移动速度和角速度根据用户的行走状态实时调整，确保用户安全的同时尽可能维持合适的引导距离。首先确定引导目标物与用户之间的舒适距离范围，记为[s_1,s_2]。以及引导目标物与用户之间可被接受的最大引导距离s_max。此外，确定一个最小引导速度v_min，它匹配于用户在实际行走中最缓慢的行走速度。在训练过程中，这些值可以根据用户实际情况调整。对于引导目标物的移动速度而言，一种参考方案如下：获取用户当前相对引导目标物的距离s。若s<s_1，则此时用户和引导目标物的距离偏小，考虑加快引导目标物的移动速度，故设定引导目标物移动速度为v+v_0，其中v是用户当前相对引导目标物的速度大小，v_0是一个较小的补偿速度值；若s_2<s<s_max，则此时用户和引导目标物的距离偏大，考虑降低引导目标物的移动速度，但是需保证引导目标物的移动速度不过小，故设定引导目标物移动速度为max(v-v_0,v_min)；若s>＝s_max，则此时用户和引导目标物的距离过大，则将引导目标物静止在原地等待用户接近；若s_1≤s≤s_2，则此时引导距离合适，可以直接设定引导目标物移动速度为v以适应用户的行走。对于引导目标物的移动角速度而言，尽可能保持平滑，即与用户转身的速度相匹配即可，与旋转引导模块相同。
实时处理异常情况。训练过程中也可能发生异常情况，例如环境中其他人员的活动也可能会影响训练的过程，用户偏离引导路线，用户进行了后退、跳跃等不正常的行动等。因此，系统需要实时检测引导方案是否发生异常。若用户与引导目标物之间出现了动态障碍物，或用户小幅度偏离路线，可以通过暂停引导目标物移动，或在用户当前视野范围内重新选择引导目标物移动目标的方式来提供缓冲修正。若引导目标物暂停移动超过一定时间，且无法选择安全的新的引导目标物移动目标，则系统会给出警告并通知其他人员前来辅助。
行走引导模块同样使用引导目标物本身的特性来反映训练的情况并督促用户训练，具体过程与注视引导模块一致，不再赘述。但为了保障行走安全，行走引导模块免于对引导目标物区域亮度进行调整，以免用户注意不到物理空间的危险。
通过本发明提供的一种基于增强现实的前庭康复训练系统，通过使用增强现实提供趣味性强的康复训练，增强患者的参与度和训练效果；提供可靠安全的康复训练手段，保障患者的主动安全性；实时监测和个性化指导，为患者提供精确的训练反馈和个性化的训练指导；综合评估康复进度，为医护人员提供全面的康复进展评估和康复方案制定参考；融合多项关键技术的创新应用，提供了全面的前庭康复训练体验。这些有益效果将有效改善前庭功能障碍患者的康复训练体验和康复效果，提升患者的生活质量。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于增强现实的前庭康复训练系统，其特征在于，所述系统包括：
增强现实头戴显示子系统、人体姿态跟踪子系统、眼动追踪子系统、增强现实训练评估子系统和增强现实引导目标物子系统；
所述增强现实头戴显示子系统，用于将虚拟3D模型或2D画面构成的增强现实引导目标物显示在佩戴者的视野之中，使患者通过观察或跟随这些引导目标物的运动来进行康复训练；
所述人体姿态跟踪子系统，用于实时跟踪患者的位置信息，调整引导目标物的空间位置来引导患者追随虚拟物体运动；
所述眼动追踪子系统，用于监测患者的眼动情况，评估其视觉追踪能力以及眼动与平衡功能的协同性；
所述增强现实训练评估子系统，用于实时分析训练过程中用户的数据，向用户或医护人员给出反馈信息；以及用于在训练结束后分析在训练整个过程中的各项数据，对此次训练效果及用户康复进度进行总体上的评估；
所述增强现实引导目标物子系统，用于动态地调整引导目标物在患者视野中的空间位置，使患者在跟随引导目标物行走过程中免于碰撞障碍物并保持合理的速度，并根据患者的表现情况个性化地推荐训练强度。
2.根据权利要求1所述的基于增强现实的前庭康复训练系统，其特征在于，所述增强现实头戴显示子系统包括：
微型显示器和半透半返光学组合器；
所述微型显示器，用于显示增强现实引导目标物并投射到所述增强现实头戴显示子系统的半透半反光学组合器上；
所述半透半反光学组合器位于佩戴者双目前方，用于透射外界光线和反射所述微型显示器的画面，使用户能够同时看到外界物理影像和所述微型显示器显示的虚拟影像。
3.根据权利要求2所述的基于增强现实的前庭康复训练系统，其特征在于，所述半透半反光学组合器采用自由曲面半透半反镜，在所述微型显示器的出光端设置一组投影透镜，通过所述投影透镜将所述微型显示器显示的虚拟图像放大并投射到自由曲面半透半反镜上。
4.根据权利要求1所述的基于增强现实的前庭康复训练系统，其特征在于，所述人体姿态跟踪子系统包括：
运动传感器、视觉摄像头和人体姿态处理单元；
所述运动传感器设置在患者身上或所述增强现实头戴显示子系统上，包括惯性传感器、压力传感器、加速度计、陀螺仪和磁力计，用于采集用户的方向、角速度和加速度；
所述视觉摄像头设置在所述增强现实头戴显示子系统上或训练区域内，用于采集患者训练的视觉信号；
所述人体姿态处理单元为一组具有计算功能的设备，设置在所述增强现实头戴显示子系统上或者外部，对运动传感器和视觉摄像头采集的数据进行处理和分析，得到患者的位置信息和身体姿态信息。
5.根据权利要求4所述的基于增强现实的前庭康复训练系统，其特征在于，所述人体姿态处理单元通过预设的人体姿态跟踪算法对运动传感器和视觉摄像头采集的数据进行处理和分析；
所述人体姿态跟踪算法采用深度学习的方法，利用卷积神经网络对输入的图像或视频进行特征提取和关键点预测，输出带有空间信息的热力图；
每个热力图对应一个人体关节，通过找到热力图上的最大响应位置，可以得到相应关节的坐标，生成患者的位置信息和身体姿态信息。
6.根据权利要求1所述的基于增强现实的前庭康复训练系统，其特征在于，所述眼动追踪子系统包括：
眼动捕捉摄像头和眼动分析模块；
所述眼动捕捉摄像头设置在患者眼前，用于采集患者的眼球运动数据；
所述眼动分析模块设置在所述增强现实头戴显示子系统上或者外部，用于对眼球运动数据进行处理和分析，计算出患者的注视点、注视时间、注视频率和注视稳定性指标。
7.根据权利要求1所述的基于增强现实的前庭康复训练系统，其特征在于，所述增强现实训练评估子系统包括：
机械数据分析评估模块和视觉数据分析评估模块；
所述机械数据分析评估模块，用于获取和分析用户训练过程中所述人体姿态跟踪子系统和所述眼动追踪子系统捕捉到的机械运动数据，包括用户的位置、朝向以及眼动数据，以评估用户的训练完成度和康复情况；
所述视觉数据分析评估模块，用于获取和分析用户训练过程中所述人体姿态跟踪子系统捕捉到的训练的视觉信号，包括图像和视频，从中提取到包括关节角度、步长和步宽等姿态数据，以评估用户的步态及康复情况。
8.根据权利要求7所述的基于增强现实的前庭康复训练系统，其特征在于，所述视觉数据分析评估模块对捕捉到的图像和视频数据进行特征提取；
基于提取的特征数据选择与特征数据契合的评估模型，将特征映射为用户的分数或级别，回归出反映用户康复情况的得分或分类出用户的康复程度级别；
根据用户的康复情况在训练结束后可给出若干的可视化结果。
9.根据权利要求1所述的基于增强现实的前庭康复训练系统，其特征在于，所述增强现实引导目标物子系统包括：
注视引导模块、旋转引导模块和行走引导模块；
所述注视引导模块通过移动引导目标物的方向，引导患者转动眼球或头部始终注视引导目标物，改善患者的视觉稳定性；
所述旋转引导模块通过移动引导目标物的角度，引导患者适应转身，提高患者的身体稳定性和平衡能力；
所述行走引导模块通过移动引导目标物的位置，引导患者实际行走，提高患者在实际生活环境中的平衡和空间定向能力。
10.一种基于增强现实的前庭康复训练方法，其特征在于，所述方法用于执行实现如权利要求1至9任一项所述基于增强现实的前庭康复训练系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310597414.6A CN116650788A (zh) | 2023-05-25 | 2023-05-25 | 一种基于增强现实的前庭康复训练系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310597414.6A CN116650788A (zh) | 2023-05-25 | 2023-05-25 | 一种基于增强现实的前庭康复训练系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116650788A true CN116650788A (zh) | 2023-08-29 |
Family
ID=87713020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310597414.6A Pending CN116650788A (zh) | 2023-05-25 | 2023-05-25 | 一种基于增强现实的前庭康复训练系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116650788A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117438076A (zh) * | 2023-11-08 | 2024-01-23 | 北京爱德训科技有限公司 | 一种耳石症vr辅助诊治的系统、仪器及方法 |
-
2023
- 2023-05-25 CN CN202310597414.6A patent/CN116650788A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117438076A (zh) * | 2023-11-08 | 2024-01-23 | 北京爱德训科技有限公司 | 一种耳石症vr辅助诊治的系统、仪器及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10231614B2 (en) | Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance | |
| CN108519676B (zh) | 一种头戴式助视装置 | |
| US20190235624A1 (en) | Systems and methods for predictive visual rendering | |
| CN107929007B (zh) | 一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统及方法 | |
| US9788714B2 (en) | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance | |
| US9355583B2 (en) | Exercising application for personal audio/visual system | |
| US9370302B2 (en) | System and method for the measurement of vestibulo-ocular reflex to improve human performance in an occupational environment | |
| CN104603673B (zh) | 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法 | |
| KR101880386B1 (ko) | Vr 장치를 이용한 시각장애 치료 시스템 | |
| JP2021527998A (ja) | フレーム変調機能性を伴う拡張現実ディスプレイ | |
| US10200680B2 (en) | Eye gaze responsive virtual reality headset | |
| KR101094766B1 (ko) | 시선 위치 추적 장치 및 방법 | |
| CN108427503A (zh) | 人眼追踪方法及人眼追踪装置 | |
| CN111603134B (zh) | 眼球运动测试的装置及方法 | |
| CN110502100A (zh) | 基于眼动跟踪的虚拟现实交互方法及装置 | |
| KR20120057033A (ko) | Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법 | |
| US20100305411A1 (en) | Control of operating characteristics of devices relevant to distance of visual fixation using input from respiratory system and/or from eyelid function | |
| KR102616391B1 (ko) | 양안 장애의 진단 평가 및 선별을 위한 방법, 시스템 및 장치 | |
| KR20210019883A (ko) | 영상 기반의 안구운동능력 훈련 장치, 방법 및 프로그램 | |
| CN116650788A (zh) | 一种基于增强现实的前庭康复训练系统及方法 | |
| JP2019215688A (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
| WO2023037348A1 (en) | System and method for monitoring human-device interactions | |
| JP2017191546A (ja) | 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法 | |
| CN113729609B (zh) | 同视机 | |
| US20220004253A1 (en) | Data processing apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |