CN111863261A - 一种通过适应性训练缓解虚拟现实病的方法及系统 - Google Patents

一种通过适应性训练缓解虚拟现实病的方法及系统 Download PDF

Info

Publication number
CN111863261A
CN111863261A CN202010695822.1A CN202010695822A CN111863261A CN 111863261 A CN111863261 A CN 111863261A CN 202010695822 A CN202010695822 A CN 202010695822A CN 111863261 A CN111863261 A CN 111863261A
Authority
CN
China
Prior art keywords
evaluation
user
training
adaptive training
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010695822.1A
Other languages
English (en)
Inventor
马贺
衣俊霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neuch Medical Technology Suzhou Co ltd
Original Assignee
Neuch Medical Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neuch Medical Technology Suzhou Co ltd filed Critical Neuch Medical Technology Suzhou Co ltd
Priority to CN202010695822.1A priority Critical patent/CN111863261A/zh
Publication of CN111863261A publication Critical patent/CN111863261A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4842Monitoring progression or stage of a disease
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Psychology (AREA)
  • Anesthesiology (AREA)
  • Acoustics & Sound (AREA)
  • Hematology (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Rehabilitation Tools (AREA)

Abstract

一种通过适应性训练缓解虚拟现实病的方法及系统,其特征在于:包括软件优化单元,评估系统单元,适应性训练系统单元,硬件单元;软件优化单元包括优化的动态视觉修改方法,结合动感单车的身体移动同步法,通过人造风实现的视觉‑前庭系统重新耦合法以及性能优化算法。的评估系统单元包括前期评估系统,后期评估系统,未使用软件优化的场景评估,使用软件优化的场景评估,主观的评估量化标准以及客观的评估量化标准;的适应性训练系统单元包括适应VR训练,直线运动适应训练以及中低速运动训练。本发明能在一定程度上让用户适应在未来的VR设备使用,减少用户的不适感,减弱他们虚拟现实病的症状。在VR技术飞速发展并得到广泛应用。

Description

一种通过适应性训练缓解虚拟现实病的方法及系统
技术领域
本发明属于多媒体视觉领域,特别涉及到通过适应性训练缓解虚拟现实病的方法及系统,包含算法、软件设计。
背景技术
近年来,虚拟现实(简称VR)得到了相当快速的发展,由于其相对较低的成本,以及可以模拟比较复杂环境下的真实场景而被广泛应用于医疗,娱乐,军事,工业制造业等诸多行业。从VR的问世,到其被广泛运用,一直伴随着一个比较严重的问题——VR病,有时也称之为晕动症,它会引起类似于晕车的症状,这些症状包括头痛,胃部不适,面色苍白,出汗,迷失方向等。据研究表明,如果用户对于VR的最初的体验不愉快,他们将不愿再次尝试,因此,解决VR病成为了目前研究VR的目标之一。从VR的面世之初,研究人员就不断从硬件方面进行优化,以改善VR的用户体验。而如今消费级市场出现的多种高端VR头显均满足在高性能PC的支持下以每秒90帧稳定运行,并能以低延迟、高自由度的方式转动视角,这足以说明硬件已经不再是阻碍VR发展的最大障碍。于是很多研究人员的研究重点都放在了通过优化软件以及改善使用环境,给用户更深的沉浸感,来解决视觉与前庭系统的感知之间的冲突,从而缓解VR病的症状。
针对VR使用过程中的眩晕问题,研究人员已经提出多种解决方案,包括视觉修改,身体移动同步以及视觉-前庭系统重新耦合等。
可视化视觉修改解决方案对于应用程序的开发人员以及使用人员都是十分友好的,因为不需要其他设备,开发难度相对较低,而且用户的学习难度也较低。当今,VR中使用的最常见的视觉修改解决方法是传送:使用者视野在模糊或变暗等之后瞬间移动到所需位置。由于用户的视角与用户的身体保持相对静止并且几乎没有观察到视野内的运动状态,所以几乎没有眩晕症状的产生。但是,这种方法可能损失一定的沉浸感,并且不适用于多人竞技以及模拟驾驶等需要实时移动的游戏或程序。此外,在瞬间移动后,用户可能会发现自己暂时丧失了方向感,需要重新认清熟悉周围的环境。
除了传送之外的另一种视觉修改是通过微妙的动态视野修改来对抗VR病,这种解决方案被证明是有效的。但是在使用中有用户表示变小的视场需要更多的头部旋转来寻找路径,并且该方案通过遮罩实现,不能实现连续的视野变换。为了解决这个问题,我们参考人类眯眼时的视场角大小与形状(椭圆),以及前人的成果,研究更接近于真实视角的视觉修改方法。
VR病的另一大类解决方案是通过身体运动来移动用户的视角,从而同步视觉和前庭系统的感受。使用万向跑步机可能是此类方案中最好的解决方法之一,这种解决方法将现实中的身体运动与虚拟场景中的运动进行同步,以达到更深的沉浸感和更少的眩晕症状。但是,安装万向跑步机所需的高昂成本和空间可能成为此方法进行市场推广的最大障碍。身体移动同步的其他解决方案还有很多,如使用马鞍椅来使用户在坐着旋转时拥有同现实中站姿旋转一样的灵活和视点高度,但此方法还是无法更好的模拟真实视角以改善晕动症。其他的研究人员还有设法实现了通过手臂摆动或者交替点击手柄进行模拟用户在虚拟场景中的脚步,但此类方法可能随时间造成身体局部疲劳,从而缩短了使用时间,并且所占用的手臂动作或控制器按钮会减少该方法在虚拟场景中本来能做到的其他动作的数量。
视觉-前庭系统重新耦合方案之前多用于在飞行模拟中对抗VR病。其中的一种方法是电刺激,然而该方法长期使用可能对身体造成潜在威胁。为了找到电刺激的代替方法,研究人员选择使用骨骼传导震动来解决VR病,这种方法可以避免电动刺激的潜在威胁,但是由于设备太过复杂导致推广困难。还有的研究人员研究了一种更简单且有效的方法,在头部前庭系统两侧附近安装两个机械设备,用户在虚拟场景中行走时交替轻轻敲击头部,达到同步用户脚步的效果,此方法都被证明是有效的,但是这些方法都有一定的不适感,进而可能影响沉浸感。
模拟器病,俗称3D眩晕,是一种类似于晕车的生理现象,它发生在许多媒体参与的环境中,包括电子游戏。此症状通常主要是由于人体前庭系统所感受到的运动幅度或频率超过某适当的值,或者视觉焦点移动过快,就会导致头痛,恶心呕吐等不良症状。而通常的解决方法除了服用药物和食用生姜之外,还有远眺和呼吸新鲜空气等。模拟器病在度过了前期的眩晕,身体机能适应3D游戏之后,将会得到很大缓解,而VR病的原理与模拟器病基本相同,我们受此启发,进一步探索如何通过适应性训练度过VR病的前期眩晕。
发明内容
我们参照了3D眩晕的适应性疗法,结合前人的优化方案,提出一种通过适应训练来提高用户对VR的适应性,便于用户以后更好的体验VR的方案。我们使用室内单车来同步用户的运动与他看到的景象,并使用优化过的动态调整视野方法,来完成分为三阶段的方案:前期评估,中期适应,后期评估。我们通过前期评估来评估用户的VR病的严重程度,以便为用户个性化定制适应性训练的方案,然后使用该方案进行中期适应,在适应结束后对用户进行后期评估来判断我们的技术方案是否有效。我们使用模拟器疾病问卷以及检查点打分机制作为本发明的评估依据,并率先引入了除了用户主观评价之外的客观判断标准—体征数据,通过对比用户在适应性训练前后对同一个场景的主观评价以及体征数据来判断适应性训练是否能减少用户在之后的VR病的症状。
本发明的技术方案是这样实现的:一种通过适应性训练缓解虚拟现实病的方法及系统包括:软件优化部分,评估系统部分,适应性训练系统部分,硬件部分;
所述软件优化部分包括优化的动态视觉修改方法,结合动感单车的身体移动同步法,通过人造风实现的视觉-前庭系统重新耦合法以及性能优化算法。
优化的动态视觉修改方法主要参考了生活中人们在头晕不适的情况下通常会眯眼或闭眼的现象,而人在轻微眯眼时的视度也是大于现在市面主流高性能VR头显的视场角,由此我们有理由认为对视野进行边缘模糊的效果近似于人类轻微眯眼的状态。于是我们最终选择了初始将视野做边缘模糊,之后模拟人眯眼的状态将视野逐渐变小的方案,在用户做容易引起眩晕的行为时,先开启边缘模糊,当这种行为持续一段时间后,将用户的视角收缩为椭圆形,待恢复不易引起眩晕的运动状态时回复视角;
结合动感单车的身体移动同步法为软硬件结合,硬件主要由后文的硬件部分配合,利用动感单车等设备实现用户眼中的场景随骑行同步运动。并通过定位模拟提高真实度,通过视角锁定等稳定用户眼中的运动状态,尽量减少眩晕的可能;
通过人造风实现的视觉-前庭系统重新耦合法同为软硬件结合,使用风扇与硬件部分中的核心处理器部分配合,使用户感受与骑行速度相同步的人造风;
性能优化算法主要由优化的层次细节模型算法以及剔除算法构成。剔除算法又分为视锥剔除与遮挡剔除两部分进行。视锥剔除使用了四叉树存储结构,并通过转换坐标系实现,遮挡剔除使用unity内置引擎,通过设置遮挡与被遮挡关系实现;层次细节模型算法结合了生活中与人相对速度越大的物体在人眼中越模糊的现象,采用三级不同精细度的模型,并通过对四种系统影响因子:模型与用户距离,模型与用户视线正前方所成夹角,模型与用户相对速度以及系统对运行平台的性能评估。通过对四种因子的分析,来确定显示模型的精细度。
所述的评估系统部分包括前期评估系统,后期评估系统,未使用软件优化的场景评估,使用软件优化的场景评估,主观的评估量化标准以及客观的评估量化标准;
前期评估系统用于评估用户的使用VR设备的眩晕程度,用于给用户个性化定制适应性训练过程;后期评估系统用于评估用户适应性训练的效果,两个评估流程完全相同;
未使用软件优化的场景评估和使用软件优化的场景评估所使用的场景相同,区别在于是否使用上文所述的优化过程,旨在通过不同的状态评估用户的眩晕程度,来为用户设计合理的适应性训练过程,以及最终评估适应性训练的效果;
主观的量化评估标准分为两部分,一部分为前人设计的模拟器疾病问卷(SSQ),分为三大类共十六个问题,每个问题打分从零到三不适程度逐级升高,每个问题有不同的权重比,最终构成了SSQ的总分。另一部分为一到十分的舒适度打分,一为最舒适,九为几乎想要停止评估,十为中途停止评估的打分。舒适度打分用于评估适应性训练的舒适程度,以及评估过程中途的检查点打分,用于评估VR在使用过程中的眩晕程度,用于尽量消除由于SSQ评分反映的更多的是用户VR体验结束的感受所产生的误差。
客观的评估量化标准使用普通的血压计与指夹式心率检测仪测量数据,使用测量出的收缩压以及心率数据,计算心率收缩压乘积(RPP),RPP通常被用在临床医学,用来衡量心脏的耗氧量,反映出心脏的状况,从而可以分析患者的身体状态。我们的系统使用RPP作为客观评估标准,可以一定程度上反映用户的眩晕程度,起消除用户主观误差的作用。
所述的适应性训练系统部分包括适应VR训练,直线运动适应训练以及中低速运动训练。
适应性训练的训练时间由上文所述的评估系统的评分决定,将前期评估系统所测得的SSQ,RPP以及检查点的打分数据进行加权计算,得到的结果作为三次训练的训练时间。适应性训练的场景各不相同,且不同于前期评估与后期评估系统的场景,都采用上文所述的全部优化方案;
适应VR训练为静止训练,配合VR等设备,并播放用户喜欢的音乐;
直线运动适应训练为配合动感单车等设备的运动训练,并设置了较低的运动与转弯速度,在只有四个直角弯道的场景里骑行指定时间;
中低速运动训练为配合动感单车等设备的运动训练,设置了较慢的转弯速度并限制了最大骑行速度,除此之外与评估及评估场景风格无差别;
所述的硬件部分包括速度采集部分、可选分离式阻尼控制器部分、核心处理器部分、高性能PC部分和虚拟眼镜部分;
速度采集部分包括健身房普通动感单车、霍尔传感器、镶嵌多块小磁铁的橡胶轮、转向按钮和刹车漂移按钮;刹车漂移按钮安装在动感单车的车把上,霍尔传感器、镶嵌多块小磁铁的橡胶轮安装在动感单车的车轮上,霍尔传感器用于收集动感单车的车轮的转速脉冲,运动时,霍尔传感器检测到镶嵌多块小磁铁的橡胶轮带动磁铁转动的脉冲,将脉冲信号输入到核心处理器部分;转向按钮和刹车漂移按钮为通断按钮,分别接在stm32处理器的不同低电平串口上,当触发转向或者刹车漂移按钮时,串口端会检测到一个下降沿,从而将按钮触发后的低电平信号发送至stm32处理器;
可选分离式阻尼控制器部分设有多个阻尼控制挡位,安装在动感单车自带的压力调节旋钮上,包括步进电机、电机电源、变向齿轮组、可调夹子;步进电机、电源、变向齿轮组固定安装在一个简易盒中,简易盒底部固定在动感单车横梁上;所述电机电源与步进电机电源端连接,为步进电机供电,步进电机通过转轴与变向齿轮组转轴相连,变向齿轮组的转轴末端固定可调夹子,可调夹子用于夹住动感单车的压力调节旋钮;当步进电机接收到核心处理器的不同指令时,步进电机带动变向齿轮组,利用可调夹子给动感单车不同的阻尼,来模拟不同的坡度;
核心处理器部分包括stm32处理器、XM-04-HID-K蓝牙HID键盘模块;stm32处理器接收到霍尔传感器采集到的脉冲信号时,对脉冲信号进行计数,并通过计算将其转化为速度信息存储在stm32处理器自带的存储器中,然后给蓝牙HID键盘模块发送前进及速度信号,并给风扇控制端发转速信号;当stm32处理器接收到转向以及刹车漂移信号时,给蓝牙HID键盘模块发送转向以及刹车漂移信号;蓝牙HID键盘模块内置封装好的蓝牙协议,能够与PC部分进行蓝牙连接并向PC部分发送控制指令和速度信号,控制虚拟场景的变换;当加装可选分离式阻尼控制器部分时,蓝牙HID键盘模块接收到PC部分发送的阻尼数据后,经过stm32处理器处理,转化成步进电机所需的脉冲信号后,发送给步进电机;
高性能PC部分为CPU性能不低于I5-9400f以及GPU性能不低于GTX2060的主机,用于渲染在unity3D设置的虚拟场景,并显示到虚拟眼镜部分上;
虚拟眼镜部分为HTC VIVE,OCULUS RIFR S以及同等级别的PC VR,用于与高性能PC部分配合显示虚拟场景。
采用上述技术方案所产生的有益效果在于:本发明提供的一种通过适应性训练缓解虚拟现实病的方法及系统,该发明不同于现阶段研究人员所研究的实时减少VR设备带来的不适,创造性的率先运用了适应性训练的方法,在借鉴并优化了了前人对VR sickness的实时改善,并取得了显著的效果的同时,让用户适应VR的使用,从而减少用户VR sickness的症状。我们设计了一项分为三个部分的系统,分别通过前期的评估为用户个性化定制适应性训练系统,并通过该系统让用户适应VR设备的使用,最后通过后期评估检验训练的有效性。该发明能在一定程度上让用户适应在未来的VR设备使用,减少用户的不适感,减弱他们虚拟现实病的症状。在VR技术飞速发展并得到广泛应用,且在未来一定会得到更加广泛及普遍的应用的情况下,我们认为本发明是解决虚拟现实病的最有希望和可靠的方案之一。
附图说明
图1本发明的实施流程图;
图2为本发明边缘模糊的效果;
图3为本发明Viggnetting的效果;
图4为本发明前期和后期评估的路线以及检查点图;
图5为本发明硬件部分的结构图。
具体实施方式
为了便于理解本发明,下面将结合说明书附图对本发明地作进一步地详细阐述。
本发明的软件优化部分实施方法如下所述:
生活中人们在头晕不适的情况下通常会眯眼或闭眼,而人在轻微眯眼时的视度也是大于现在市面主流高性能VR头显的视场角,由此我们有理由认为对视野进行边缘模糊的效果近似于人类轻微眯眼的状态。于是我们参考并改良了上文提到过的通过微妙的动态视野修改来对抗VR病的方法,最终选择了初始将视野做边缘模糊,之后模拟人眯眼的状态将视野逐渐变小的方案,并辅以优化渲染管线来降低高斯模糊带来的性能需求提升。
我们的动态视野调整方案为:当检测到使用者转弯以及速度较快的情况,触发边缘模糊,当检测到转弯或者高速运动超过0.5秒后,关闭高斯模糊并开启Vignetting效果,在一秒钟的时间内将视野从110度过渡到80度。该数据的设计参照了前人研究的不严重损失沉浸感体验的最小视场角。在检测恢复到直线低速运动1秒后,系统将在1秒内将视场角恢复。这里不讨论高速转弯的情况,用户在我们的场景不能做到在高速移动中转弯。以上方案中的时间设计均为正式评估开始前研究人员通过小范围的评估并结合场景情况设计。动态视野调整方案具体算法如下:
Figure BDA0002590687380000071
边缘模糊和Viggnetting的部分我们都使用了边缘检测技术,利用不同的着色器实现边缘模糊和视野连续变小的效果。其中高斯模糊同样参照了前人的研究,将模糊区域设计在110度与95度之间,尽量减少对沉浸感的影响。Viggnetting的着色器部分采用了椭圆形的边缘检测,与人们眯眼的状态更加吻合。边缘模糊部分我们使用了高斯模糊,在边缘检测确定区域后,对区域内的图像与正态分布做卷积,对其做一个低通滤波处理,最后得到边缘模糊的效果。
传统的高斯模糊操作需要对整个图像进行采样,整个操作的时间复杂度较大。而高斯模糊是卷积操作,是一个线性操作,可被拆分为多个无关的操作。我们选择牺牲一点存储空间作为中间结果的缓存空间,对图像进行先横向,再竖向的采样操作,可以大大降低高斯模糊操作的时间复杂度,对于性能的优化起到很大的作用。
本系统利用室内单车以及光电传感模块组实现了特制的身体移动同步方案,通过光电传感器获取骑行速度,并对方案加以视角和速度的优化。为了保证系统的可玩性以及优化后的舒适度,我们在对不同的蹬车频率与车速的比值进行舒适度评估后,再利用GOPRO拍摄的现实场景骑行的状态,用其将虚拟场景中的速度模拟为真实速度的情况下,在开发人员的评估衡量后,将比值降为真实速度的五分之一。
在与舒适度息息相关的视角优化方面,我们利用定位模拟了人类骑行时的眼部高度,提高系统真实度。并锁定了热点的受迫性旋转,使热点静止时初始视角方向始终保持与世界坐标的Y轴相平行,并使用胶囊碰撞体,使热点与地面的接触面积无限小。在几种方法的配合下,大大减少了视觉与前庭系统因视角不稳定引发的不同步情况,进而减少了眩晕的可能性。
我们还借鉴了前人的自然风对于VR病具有缓解作用的方案,在系统中添加了人造风,以进一步缓解VR病的症状。最后我们在优化方案中添加了播放用户喜爱的音乐,此方法是否对VR病症状有所缓解有待商榷,添加的目的为了提升用户对VR的兴趣和适应性。
我们的优化方案主要是通过优化剔除算法和层次细节模型算法,来优化渲染管线流程,从而达到节约高斯模糊所带来的性能需求的目的。
我们使用四叉树数据结构来管理和动态加载场景的模型,这是系统的基础,系统其他优化都是基于这个四叉树进行的。在对场景大小,以及场景中的模型大小以及模型间距进行分析后,我们考虑了存储开销,决定使用深度为7的四叉树来存储场景内的模型。对于正好位于两个叶子节点边界的模型,我们采用由父亲节点存储的方案,易于管理的同时可以节约存储开销。
基于四叉树的存储,我们先实现了以距离为标准的剔除算法。常见的方法有视锥剔除和六面体剔除,由于我们的设备拥有足够的即时演算能力,在我们的场景不需要过多转身的情况下,我们选择实现视锥剔除。对于判断某个点是否与摄像机交叉的问题,我们将该点转换到裁剪空间,利用其坐标与摄像机视锥体进行对比即可,大大减少了比较时间。我们创建两个字典来保存当前显示的物体以及刚超出区域的物体,并开启一个新的线程用来每隔一段时间清理超出区域的物体。
层次细节模型算法(即LOD)在视锥剔除算法之后进行,传统的LOD实现依靠引擎内建的机制,实现在视野内不同距离显示不同精细度的模型。而为了实现更好的更适合本系统的优化,我们手动实现了定制的LOD算法。我们设计了三个级别的LOD模型,从0到2细节精细程度逐级递减。本系统定LOD内建四个影响因子,分别为:
距离L:热点(用户摄像头位置)与草距离>5及与其他大型模型距离>20,当前模型L=1
移动速度V:热点速度>1,则距离<5范围内的模型V=1
热点与视角正前方夹角R:若高斯模糊开启,则|夹角|>45,当前模型R=1
系统性能评估F:若系统帧数<60,F=1
本LOD对不同大小的模型实行了不同的模型切换触发条件,更大的模型实行更大的切换距离。鉴于高速运动时,视野中越近距离的物体看起来越模糊的现象,本LOD采取了在达到一定速度下近距离模型降低精细度的方案。由于本系统采用边缘模糊,则在边缘模糊开启时,降低模糊处模型的精细度。本LOD还内建有对运行条件的性能负反馈评估,当系统帧数小于60帧时,降低全体可视范围内模型的精细度。
本系统LOD算法计算公式为:
LODM=2-LM-VM-RM-F
LOD三级模型由精细至粗糙的0,1,2等级分别对应公式内的〖LOD〗_模为2,1,≤0。
优化阶段最后实现的是遮挡剔除,本系统遮挡剔除使用unity引擎内建方案。在对场景内模型进行分析后,我们决定将岩石等较大的模型设置为静态遮挡物,将花草等设置为被遮挡物。场景内的树木因其体积较大且空洞较多,遮挡剔除反而会增加性能开销,故不对其做遮挡剔除的操作。在多次尝试分析后,我们设置了适当的最小遮挡孔径,最小遮挡尺寸以及遮挡阈值等参数,最后进行烘焙,至此,场景优化流程完毕。
本发明的具体流程如下;
我们受到模拟器病缓解的启发。当玩过一段时间的3D游戏后,大多数用户的眩晕程度较刚开始接触3D游戏时得到了明显的缓解。为了让有VR病症状的用户也可以通过前期的缓冲,使身体技能适应VR场景,我们设计了一整套适应以及评估的流程,来让使用者在训练的过程中适应VR技术,并最终评估适应流程的效果。我们在前人常规的VR病症状评估的基础上,添加了以体征数据为辅助的客观评价数据,能够在一定程度上减少用户的主观判断影响。
我们之前的发明设计是开发一款配合动感单车使用的VR健身系统,当使用时,虚拟场景便会随使用者的骑行同步移动,在对其进行优化之前,我们便发现其会导致眩晕问题,于是将其分为两个场景相同,但是采用了不同的优化策略的版本,并将其作为本发明的前期和后期评估的场景。而在适应性场景的选择上,我们认为需要使用不同于评估部分的场景以免产生误差,训练场景和评估场景的优化策略与技术相同。
本发明的使用流程主要由三大部分构成:前期评估部分,中期适应性训练,后期评估部分。在前期评估部分,我们首先会让用户们填写一份问卷,内容主要包括年龄,是否使用过VR,喜欢的两首音乐,是否有晕车症状以及他们的健康状况等。在开始之前,我们会采集用户的静息体征数据,并让他们在未佩戴VR头显的情况下以我们要求的特定速度骑行五分钟,并在骑行之后再次记录体征数据。此组数据作为本发明流程的对照数据,以用来消除骑行对体征数据的影响。接下来的所有评估及训练过程中,开始和结束使均记录用户的体征情况,作为VR病症状主观打分之外的客观判断依据。
前期评估开始之后,我们使用预先设计好的未经优化的特定路线的场景对用户进行评估,评估时间约为十分钟,即在我们的场景中骑行一圈。我们的评估场景中设置了检查点,检查点的设定综合了本发明的特点,选择一些容易眩晕的点以及容易疲倦的点。在检查点数量的选择上,我们考虑了评估结果研究的严谨性,以及骑行具有惯性不宜有太多检查点的问题,在综合了场景大小之后将检查点的数量定为四个,分别位于场景中的直线路段,连续弯道路段,上坡路段以及下坡路段之后。在每个检查点,系统将询问用户的舒适度并记录,舒适度分值为1-10之间的整数,分值1为最舒适,分值9为几乎想要停止评估,而在评估中因身体不适而中途终止评估的分值为10,记录之后用户继续骑行。在评估结束后对用户进行体征测量,并要求用户完成SSQ的填写。
接下来我们使用和之前前期评估相同但做过针对性优化的场景对用户们进行再次评估,我们为每个用户所评估的场景使用了不同的音乐,所用的音乐为之前填写问卷里所写的音乐。评估中的情况和评估前后的数据采集与之前的评估相同,之后我们会对两次评估的结果进行比较,来证明我们的优化对缓解VR病有一定的效果,以继续接下来的对用户的适应性训练。
两次评估后,我们通过分析计算评估中得出的SSQ,检查点以及RPP情况,通过加权计算得出一个时间值,作为接下来三次适应性训练的时间,三次训练的时间相同。
接下来的适应性训练我们分为三次进行,分别由第一次的适应VR环境,第二次的直线运动和第三次的中低速正常运动组成,第一次训练为静止训练,后两次训练为配合动感单车使用的优化后的骑行训练,每次训练后均有主观打分和体征数据测量,由于前面的评估结果证实了优化后的场景对VR病症状有一定的缓解,为了简化训练流程,适应性训练的舒适度分数安排与之前评估中检查点打分相同。适应性训练中所用的场景为与评估评估不同但风格类似的优化方法场景,使用与评估评估不同的音乐。
第一次的适应VR训练场景为截取的一块卡通风格的森林场景用户们将坐着体验几乎静止的VR场景,并聆听他们喜欢的音乐,减少枯燥感,以继续接下来的训练。
第二次的直线运动训练使用经过优化的卡通风格的林间小路场景,全图只有四个转弯。用户们通过骑动感单车来向前移动,通过按钮来转弯。我们设置了较慢转弯速度,并限制了最大骑行速度,让用户们适应在虚拟场景中移动的感觉。
第三次的中低速正常运动使用经过优化的山间优美小径场景,这次训练的移动速度和转弯速度为我们调试的较慢的速度,在训练后收集用户的评分并整合。
三次适应性训练之后我们进行最终的后期评估。该评估使用与前期评估相同的场景,首先对用户进行优化后的场景评估,最后对用户进行优化前的场景评估,最终将所有数据汇总并分析,并要求用户在评估结束之后对整个流程的体验度发表意见。
关于本发明的硬件部分的补充描述如下:
初始化以及设置的参数通过stm32处理器的IIC串行总线将数据发送至速度采集部分,然后使用者骑上动感单车开始运动。使用者每骑一圈霍尔传感器将发送一个脉冲信号到stm32处理器,stm32处理器根据自身时钟用提前写入的程序通过脉冲数计算出速度,然后通过USART的RX、TX串口将速度数据发送至蓝牙HID键盘模块的TX、RX端口,蓝牙HID键盘模块通过蓝牙协议对PC端进行信号输入。如果骑行过程中按了转向及刹车漂移按钮,stm32处理器通过对串口的下降沿检测,将转向复位信号读取至核心处理器,然后通过USART的RX、TX串口将数据发送至蓝牙HID键盘模块的TX、RX端口,蓝牙HID键盘模块通过蓝牙协议对PC端进行信号输入。
对于不同速度、转向以及漂移信息,核心处理器在编写好的程序处理后会通过蓝牙HID键盘模块已经内置的蓝牙协议发送不同代码即可发送所需要的控制指令。在PC端接收到来自蓝牙HID键盘模块的不同控制指令后,PC端对已经由unity3D导入的虚拟场景会随着键盘指令做出相应改变,在VR端将有相应的显示。虚拟场景根据场景中的坡度向核心处理器发送不同的阻尼值,控制步进电机调节动感单车阻尼,增强沉浸感。
使用本实施例所述的通过适应性训练缓解虚拟现实病的系统时,使用者可自行或在工作人员的帮助下,检测静息体征数据,打开PC中的软件并录入刚测试的数据、安装好虚拟眼镜、速度采集部分、操控按钮以及可选分离式阻尼控制器之后,打开核心处理器,佩戴好虚拟眼镜,双手握住车把并保证能够触碰到转向及刹车漂移按钮,以便能够随着虚拟场景中的景象进行控制,设置好的蓝牙HID键盘模块会自动连接至虚拟眼镜设备端。即可开始评估或训练。在本次评估或训练结束后,同样需要检测并输入体征数据。
综上所述,我们综合多种缓解VR病的方案,并结合一定的生活经验,创造性的发明出一种通过适应性训练缓解虚拟现实病的方法及系统。本发明的优势如下:
1.在VR病解决领域首次提出适应性训练的方案;
2.采用模块化设计,易于简化及推广;
3.采用主观及客观两种评估模式结合,结果科学;
4.训练过程采用个性化定制,可节约轻症状用户的时间及使重症状用户更好的适应。
在VR技术飞速发展并得到广泛应用,且在未来一定会得到更加广泛及普遍的应用的情况下,我们认为本发明是解决虚拟现实病的最有希望和可靠的方案之一。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (9)

1.一种通过适应性训练缓解虚拟现实病的方法及系统,其特征在于:包括软件优化单元,评估系统单元,适应性训练系统单元,硬件单元;
所述软件优化单元包括优化的动态视觉修改方法,结合动感单车的身体移动同步法,通过人造风实现的视觉-前庭系统重新耦合法以及性能优化算法;
所述的评估系统单元包括前期评估系统,后期评估系统,未使用软件优化的场景评估,使用软件优化的场景评估,主观的评估量化标准以及客观的评估量化标准;
所述的适应性训练系统单元包括适应VR训练,直线运动适应训练以及中低速运动训练;
所述的硬件单元包括速度采集部分、可选分离式阻尼控制器部分、核心处理器部分、高性能PC部分和虚拟眼镜部分。
2.根据权利要求1所述的通过适应性训练缓解虚拟现实病的方法及系统,其特征在于,所述实现单元通过当用户在虚拟场景中行进至容易眩晕的区域后,对用户视野周围进行边缘模糊,以及对用户视角进行缩小来减少虚拟现实病的症状,待行进至不易眩晕处恢复视野。
3.根据权利要求1所述的通过适应性训练缓解虚拟现实病的方法及系统,其特征在于,利用动感单车等设备实现用户眼中的场景随骑行同步运动,并通过定位模拟提高真实度,通过视角锁定等稳定用户眼中的运动状态,并通过风扇使用户感受与骑行速度相同步的人造风,尽量减少眩晕的可能。
4.根据权利要求1所述的通过适应性训练缓解虚拟现实病的方法及系统,其特征在于,提出了新的性能优化算法,包括优化的层次细节模型算法,通过对四种系统影响因子-模型与用户距离,模型与用户视线正前方所成夹角,模型与用户相对速度以及系统对运行平台的性能评估,这四种因子的分析,来确定显示模型的精细度,从而优化系统。
5.根据权利要求1所述的通过适应性训练缓解虚拟现实病的方法及系统,其特征在于,所述的所有评估系统都是用了主客观相结合的评估量化标准,主观标准采用了SSQ问卷以及检查点打分相结合;客观的量化标准采用了收缩压以及心率的乘积(RPP),来一定程度上反映用户的眩晕程度。
6.根据权利要求1所述的通过适应性训练缓解虚拟现实病的方法及系统,其特征在于,适应性训练单元的三个阶段使用经过优化后的场景,眩晕程度循序渐进,来让用户适应VR的使用。
7.根据权利要求1所述的通过适应性训练缓解虚拟现实病的方法及系统,其特征在于,可选分离式阻尼控制器部分设有多个阻尼控制挡位,根据虚拟场景中的不同坡度调整不同的阻尼,给用户真实感。
8.一种通过适应性训练缓解虚拟现实病方法,其特征在于,包括如下步骤:
步骤S1:通过前期评估系统,检测出用户的虚拟现实病的严重程度,并为其个性化定制适应性训练;
步骤S2:通过个性化的适应性训练训练,让用户适应VR的使用,减少他们之后使用VR的不适感;
步骤S3:通过后期评估系统,评估方式与前期评估系统相同,并于前期评估的结果相对比,检查适应性训练的效果。
9.根据权利要求1所述的通过适应性训练缓解虚拟现实病方法,其特征在于,所述进行评估或训练的具体操作;
具体过程如下:
步骤S1:使用者自行或在工作人员的帮助下,检测静息体征数据,打开PC中的软件并录入刚测试的数据;
步骤S2:安装好虚拟眼镜、速度采集部分、操控按钮以及可选分离式阻尼控制器之后,打开核心处理器,佩戴好虚拟眼镜,双手握住车把并保证能够触碰到转向及刹车漂移按钮,以便能够随着虚拟场景中的景象进行控制,设置好的蓝牙HID键盘模块会自动连接至虚拟眼镜设备端,即可开始评估或训练;
步骤S3:在本次评估或训练结束后,同样需要检测并输入体征数据。
CN202010695822.1A 2020-07-18 2020-07-18 一种通过适应性训练缓解虚拟现实病的方法及系统 Withdrawn CN111863261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010695822.1A CN111863261A (zh) 2020-07-18 2020-07-18 一种通过适应性训练缓解虚拟现实病的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010695822.1A CN111863261A (zh) 2020-07-18 2020-07-18 一种通过适应性训练缓解虚拟现实病的方法及系统

Publications (1)

Publication Number Publication Date
CN111863261A true CN111863261A (zh) 2020-10-30

Family

ID=73000673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010695822.1A Withdrawn CN111863261A (zh) 2020-07-18 2020-07-18 一种通过适应性训练缓解虚拟现实病的方法及系统

Country Status (1)

Country Link
CN (1) CN111863261A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113009960A (zh) * 2021-02-03 2021-06-22 上海橙捷健康科技有限公司 一种摄像机影像数据与压力跑步机数据的时间同步方法
CN114099005A (zh) * 2021-11-24 2022-03-01 重庆金山医疗机器人有限公司 器械是否在视野内、是否被遮挡的判断法及能量显示方法
CN114999237A (zh) * 2022-06-07 2022-09-02 青岛理工大学 一种智慧教育互动教学方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113009960A (zh) * 2021-02-03 2021-06-22 上海橙捷健康科技有限公司 一种摄像机影像数据与压力跑步机数据的时间同步方法
CN114099005A (zh) * 2021-11-24 2022-03-01 重庆金山医疗机器人有限公司 器械是否在视野内、是否被遮挡的判断法及能量显示方法
CN114099005B (zh) * 2021-11-24 2023-09-15 重庆金山医疗机器人有限公司 器械是否在视野内、是否被遮挡的判断法及能量显示方法
CN114999237A (zh) * 2022-06-07 2022-09-02 青岛理工大学 一种智慧教育互动教学方法
CN114999237B (zh) * 2022-06-07 2023-09-29 青岛理工大学 一种智慧教育互动教学方法

Similar Documents

Publication Publication Date Title
CN111863261A (zh) 一种通过适应性训练缓解虚拟现实病的方法及系统
Tian et al. A review of cybersickness in head-mounted displays: raising attention to individual susceptibility
Yao et al. Oculus vr best practices guide
Salamin et al. Quantifying effects of exposure to the third and first-person perspectives in virtual-reality-based training
Ustinova et al. Development of a 3D immersive videogame to improve arm-postural coordination in patients with TBI
Sundstedt Gazing at games: An introduction to eye tracking control
US8900165B2 (en) Balance training system
US11497440B2 (en) Human-computer interactive rehabilitation system
CN105832502B (zh) 智能视觉功能训练方法及训练仪
CN103207667B (zh) 一种人机互动的控制方法及其运用
Matthews et al. Rendering optimizations for virtual reality using eye-tracking
CN108762498A (zh) 人体行走姿态控制的虚拟现实系统
CN108143596A (zh) 一种头戴式视觉训练仪、系统及训练方法
Choroś et al. Software techniques to reduce cybersickness among users of immersive virtual reality environments
US20200219468A1 (en) Head mounted displaying system and image generating method thereof
Reuderink Games and brain-computer interfaces: The state of the art
CN106127846A (zh) 虚拟现实终端及其视觉虚拟方法和装置
CN117940196A (zh) 增强现实人工智能增强用户感知自己的方式
CN108992849A (zh) 一种基于虚拟现实的骑行娱乐装置
KR102433084B1 (ko) 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템
US11771955B2 (en) System and method for neurological function analysis and treatment using virtual reality systems
US11992746B1 (en) Hybrid display system for a force measurement assembly, an exercise device, or an interactive game
Simões-Silva et al. Gamification as Upper Limb Rehabilitation Process
CN117582363A (zh) 一种基于感知学习的双眼分视数字系统
KR20240036743A (ko) 가상현실 기반 안구운동을 통한 사시 개선 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201030

WW01 Invention patent application withdrawn after publication