CN108538095A - 基于虚拟现实技术的医学教学系统及方法 - Google Patents
基于虚拟现实技术的医学教学系统及方法 Download PDFInfo
- Publication number
- CN108538095A CN108538095A CN201810376444.3A CN201810376444A CN108538095A CN 108538095 A CN108538095 A CN 108538095A CN 201810376444 A CN201810376444 A CN 201810376444A CN 108538095 A CN108538095 A CN 108538095A
- Authority
- CN
- China
- Prior art keywords
- scene
- dimensional
- module
- teaching
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Abstract
本发明揭示了一种基于虚拟现实技术的医学教学系统及方法,医学教学系统包括主机装置及与主机装置连接的显示装置、手柄装置和定位装置,定位装置捕捉到手柄装置的动作传递给主机装置,主机装置根据动作和手柄装置的指令调取不同的三维虚拟场景和教学内容于显示装置中显示,三维虚拟场景包括三维虚拟教学场景和虚拟角色;医学教学方法以上述教学系统为基础,通过手柄装置控制虚拟角色的动作行为,并发送指令,三维虚拟教学场景及教学内容根据虚拟角色的动作行为及指令不断变化更新来进行相应的虚拟教学。本申请的发明实现在虚拟场景中的仿真教学,让使用者可以在例如外科手术这种因为资源稀缺导致的学习机会较少的实体教学中进行学习。
Description
技术领域
本发明涉及虚拟现实技术领域,具体的涉及一种基于虚拟现实技术的医学教学系统及方法。
背景技术
医学教育的最终目标是临床操作,传统医学教育多以平面教材为主,实体教学为辅,难以给学习者高效的指导,尤其是对例如外科手术类的教学,更是因为资源稀缺导致学习机会较少,现有的医学院没有较多资源进行理论与实践相结合的教学;而随着虚拟现实技术的高速发展,其模拟环境越发真实,感知系统越发完全,使用者的沉浸体验越深,如何通过虚拟现实技术来实现医学教育,尤其是理论与实践相结合的实体教学,成为现在急需解决的问题。
发明内容
针对现有技术的不足,本发明提供一种基于虚拟现实技术的医学教学系统及方法。
一种基于虚拟现实技术的医学教学系统包括:主机装置,其包括主机本体以及设于主机本体内的存储模块;存储模块用于存储三维虚拟场景及教学内容,三维虚拟场景包括三维虚拟教学场景以及位于三维虚拟教学场景中的虚拟角色;以及
与主机本体连接的显示装置、手柄装置和定位装置;
显示装置包括显示本体以及设于显示本体的图像显示模块;图像显示模块用于显示三维虚拟场景及教学内容;
手柄装置包括手柄本体以及设于手柄本体的手柄控制模块;手柄控制模块用于指令发送;
定位装置包括多个空间定位模块;每一空间定位模块用于捕捉手柄本体的动作数据;
主机本体根据动作数据分析出手柄本体的动作,并根据手柄本体的动作控制虚拟角色于三维虚拟教学场景中进行相应的动作行为;主机本体根据虚拟角色于三维虚拟教学场景中的位置以及虚拟角色的动作行为对三维虚拟场景进行变化更新;主机本体根据指令加载教学内容于三维虚拟教学场景中;三维虚拟教学场景与教学内容相适配。
根据本发明一实施方式,主机装置还包括三维场景构建模块、视景调度模块以及数据动态加载模块;
三维场景构建模块、视景调度模块以及数据动态加载模块均设于主机本体内,并分别与存储模块连接;视景调度模块与数据动态加载模块连接;三维场景构建模块用于三维虚拟场景的构建,并存储三维虚拟场景至存储模块内;视景调度模块用于调度不同的三维虚拟场景于图像显示模块内显示;数据动态加载模块用于加载相适配的教学内容至视景调度模块调度的三维虚拟教学场景中。
根据本发明一实施方式,其还包括教学显示模块;主机装置还包括系统同步模块;系统同步模块设于主机本体并分别与教学显示模块及视景调度模块连接;
教学显示模块通过系统同步模块同步显示图像显示模块显示的三维虚拟场景和教学内容。
根据本发明一实施方式,多个空间定位模块分设于显示本体。
根据本发明一实施方式,三维虚拟教学场景包括医院整体场景、更衣室场景、手术室场景、消毒室场景、医疗设备使用场景以及手术场景。
根据本发明一实施方式,教学内容包括医疗理论课程、理疗实体课程以及临床操作课程。
一种基于虚拟现实技术的医学教学方法,包括以下步骤:
主机本体调用存储模块中存储的三维虚拟场景于图像显示模块中进行显示;三维虚拟场景包括三维虚拟教学场景及位于三维虚拟教学场景中的虚拟角色;
定位装置获取手柄本体的动作数据并传递至主机本体;主机本体根据动作数据分析出手柄主体的动作,并根据动作控制虚拟角色于三维虚拟教学场景中进行相应的动作行为;
主机本体根据虚拟角色于三维虚拟教学场景中的位置以及虚拟角色的动作行为对三维虚拟教学场景进行变化更新;
手柄控制模块发送指令至主机本体;主机本体根据指令于三维虚拟教学场景中加载教学内容,教学内容与三维虚拟教学场景相适配。
根据本发明一实施方式,在三维虚拟场景于图像显示模块中进行显示之前,还包括:
构建三维虚拟场景并存储至存储模块内。
根据本发明一实施方式,三维虚拟场景于图像显示模块中显示之后,还包括:
图像显示模块显示的内容通过教学显示模块在外部进行同步显示。
根据本发明一实施方式,三维虚拟场景还包括虚拟教学角色,虚拟教学角色用于对虚拟角色进行教学引导。
同现有技术相比,本申请的发明通过主机装置、显示装置、手柄装置以及定位装置的相互配合,实现在虚拟场景中的仿真教学,让使用者可以在例如外科手术这种因为资源稀缺导致的学习机会较少的实体教学中进行学习。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为实施例一中基于虚拟现实技术的医学教学系统的控制框图;
图2为实施例二中基于虚拟现实技术的医学教学方法的流程图。
附图标记说明:
1、主机装置;11、主机本体;12、存储模块;13、三维场景构建模块;14、视景调度模块;15、数据动态加载模块;16、系统同步模块;2、显示装置;21、显示本体;22、图像显示模块;3、手柄装置;31、手柄主体;32、手柄控制模块;4、定位装置;41、空间定位模块。
具体实施方式
以下将以图式揭露本发明的多个实施方式,为明确说明起见,许多实务上的细节将在以下叙述中一并说明。然而,应了解到,这些实务上的细节不应用以限制本发明。也就是说,在本发明的部分实施方式中,这些实务上的细节是非必要的。此外,为简化图式起见,一些习知惯用的结构与组件在图式中将以简单的示意的方式绘示之。
需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的,并非特别指称次序或顺位的意思,亦非用以限定本发明,其仅仅是为了区别以相同技术用语描述的组件或操作而已,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
为能进一步了解本发明的内容、特点及功效,兹例举以下两个实施例,并配合附图详细说明如下:
实施例一:
参照图1,图1为实施例一中基于虚拟现实技术的医学教学系统的控制框图;本实施例中基于虚拟现实技术的医学教学系统包括主机装置1、显示装置2、手柄装置3及定位装置4,主机装置1分别与显示装置2、手柄装置3及定位装置4连接。
主机装置1包括主机本体11、存储模块12、三维场景构建模块13、视景调度模块14以及数据动态加载模块15,存储模块12、三维场景构建模块13、视景调度模块14以及数据动态加载模块15均设于主机本体11内;三维场景构建模块13、视景调度模块14以及数据动态加载模块15分别与存储模块12连接;视景调度模块14与数据动态加载模块15连接。
主机本体11具有外接端口及处理系统,其中,主机本体11的外接端口用于与显示装置2、手柄装置3及定位装置4的连接,完成数据信息的交互,主机本体11的处理系统用于进行相应的数据处理,具体的,主机本体11可为PC主机,存储模块12可为设于主机本体11的硬件存储模块,三维场景构建模块13、视景调度模块14以及数据动态加载模块15为设于主机本体11的软件模块,存储模块12、三维场景构建模块13、视景调度模块14以及数据动态加载模块15均基于主机本体11的处理系统来实现自身的功能,并通过主机本体11的外接端口完成与显示装置2、手柄装置3及定位装置4进行信息交互,具体的,可通过相应规格的数据线进行连接完成信息交互,或者通过无线网络进行信息交互,例如无线蓝牙网络。
存储模块12用于存储三维虚拟场景和教学内容,其中,三维虚拟场景包括三维虚拟教学场景和虚拟角色,虚拟角色位于三维虚拟教学场景中,且虚拟角色可以于三维虚拟教学场景中完成动作行为,具体的,存储模块12可为设于主机本体11内的硬盘,其可通过主机本体11的处理系统完成硬盘中存储内容的存入与调用,此外,存储模块12还可为云端的云存储盘,通过主机本体11的处理系统进行存储内容的上传存储及下载调用。存储模块12存储的三维虚拟教学场景具体包括医院整体场景、更衣室场景、手术室场景、消毒室场景、医疗设备使用场景以及手术场景等;存储模块12存储的教学内容包括医疗理论课程、理疗实体课程、临床操作课程以及考核课程等,其中,医疗理论课程以及理疗实体课程可为医学院规定的教学课程内容,其与医学生学习的医学课本内容一致,临床操作课程可为手术人员衣着规范、手术消毒规范、手术室工作流程、手术流程及注意事项,考核课程可为相关知识的问答考核及实操考核等,可以用于学生对课程掌握程度的考核评估;教学内容的相关信息可直接由外部通过主机本体11输入存储于存储模块12中。
三维场景构建模块13用于三维虚拟教学场景的构建,即三维建模,具体的,其可为VRP-BUILDER虚拟现实编辑器,VRP-BUILDER虚拟现实编辑器于主机本体11的处理系统中运行,使用者通过输入相关建模素材于三维场景构建模块13中,三维场景构建模块13根据素材进行三维虚拟场景的构建,或者由工作者直接根据现实环境进行三维建模,例如,通过医院大门、医院大楼、医院实际楼层,医院周围环境、更衣室、手术室、消毒室、管理室、排班室、医疗器材、医疗设备、手术环境、手术过程等图像素材完成医院整体场景、更衣室场景、手术室场景、消毒室场景、医疗设备使用场景以及手术场景的三维构建;三维场景构建模块13构建好的三维虚拟教学场景传送至存储模块12中进行存储。
视景调度模块14用于对存储模块12中不同的三维虚拟教学场景进行调度,调度的三维虚拟教学场景于显示装置2中进行显示,数据动态加载模块15用于在视景调度模块14调度的三维虚拟教学场景中加载存储模块12中教学内容,视景调度模块14及数据动态加载模块15具体为VRP虚拟现实平台,VRP虚拟现实平台于主机本体11的处理系统中运行,VRP-BUILDER虚拟现实编辑器与VRP虚拟现实平台相适配。三维场景构建模块13构建的三维虚拟教学场景于存储模块12中进行存储,教学内容直接通过主机本体11输入到存储模块12内进行存储,视景调度模块14调度存储模块12中的三维虚拟教学场景并通过主机本体11传递至显示装置2,数据动态加载模块15加载存储模块12中的教学内容于相应的三维虚拟教学场景中,显示装置2同步对三维虚拟教学场景中的教学内容进行显示。
显示装置2包括显示本体21以及图像显示模块22,图像显示模块22设于显示本体21内,图像显示模块22通过显示本体21与主机本体11连接,两者之间具体可通过数据线进行信息交互;图像显示模块22用于显示三维虚拟场景和教学内容,显示本体21与人体的头部相适配,图像显示模块22与人体的眼部相适配,具体的,显示装置2为虚拟现实眼镜,或虚拟现实头盔,例如可采用型号为HTC Vive的头戴式虚拟现实眼镜;具体应用时,使用者佩戴显示装置2于自身头部,通过图像显示模块22看到三维虚拟场景和教学内容。
手柄装置3包括手柄本体31以及手柄控制模块32,手柄控制模块32设于手柄本体31上,手柄控制模块32用于指令发送,手柄控制模块32通过手柄本体31与主机本体11连接,两者之间具体可通过数据线进行信息交互,手柄控制模块32具体为按键,使用者通过按压手柄控制模块32完成指令发送,指令具体包括加载教学内容指令以及关闭教学内容指令,例如可定义设置,单次按压手柄控制模块32为进行加载教学内容指令的发送,双次按压手柄控制模块32为进行关闭教学内容指令的发送,指令信息通过手柄本体31传递至主机本体11的处理系统;具体的,手柄装置3可采用型号为HTC Vive的操作手柄,HTC Vive操作手柄与显示模块2的HTC Vive的头戴式虚拟现实眼镜相适配。
定位装置4包括多个空间定位模块41,多个空间定位模块41分设于显示本体21上,每一空间定位模块41均用于捕捉手柄本体31的动作数据,动作数据包括手柄本体31的位置信息以及手柄本体31处于当前位置时的时间信息;空间定位模块41具体的可采用三维空间跟踪定位器对手柄本体31在三维空间内的位置进行捕捉,例如,采用型号为HC-SR04超声式传感器作为三维空间跟踪定位器对手柄本体31的位置进行捕捉定位;多个空间定位模块41分别获取到手柄本体31的动作数据并传递给主机本体11,其具体获取过程为,多个空间定位模块41分别捕捉到手柄本体31各个时间段的位置信息传递给主机本体11,主机本体11的处理系统根据多个空间定位模块41捕捉到手柄本体31位置的时间先后关系分析出手柄本体31的运动轨迹,以此来获取到手柄本体31的动作,例如,静止动作、前后摆动动作、单柄抬起动作,双柄抬起动作以及转动动作等;在具体应用时,为获得更好的位置信息的捕捉效果,多个空间定位模块41可以按照全面覆盖的原则安装在预先准备的教学室内,全面覆盖原则,即为手柄装置3的活动范围被完全覆盖于定位装置4的定位范围内。
复参照图1,进一步,本实施例中的基于虚拟现实技术的医学教学系统还包括教学显示模块5;主机装置1还包括系统同步模块16,系统同步模块16设于主机本体11,系统同步模块16与视景调度模块14连接,系统同步模块16通过主机本体11的外接端口与教学显示模块5连接,系统同步模块16用于把图像显示模块22显示的三维虚拟教学和教学内容同步传送至教学显示模块6进行显示,让外界的人进行观看到三维虚拟场景和教学内容;具体的,系统同步模块16可为HDMI连接线,教学显示模块6可为电脑屏幕或者投影仪,在教学时,其他未进行虚拟教学的同学可以通过教学显示模块6进行观看,并且教师可根据此进行相应知识的讲解。
本实施例中的基于虚拟现实技术的医学教学系统的运作过程如下:三维场景构建模块13构建出三维虚拟场景并于存储模块12中进行存储,教学内容通过主机本体11直接输入至存储模块12中,视景调度模块14调度三维虚拟场景于图像显示模块12内进行显示,多个空间定位模块41捕捉到手柄本体31的位置信息和手柄本体31处于当前位置的时间信息并发送至主机本体11,主机本体11的处理系统根据手柄本体31的不同时段的位置信息分析出其运动轨迹,进而获得相应手柄本体31的动作,主机本体11根据手柄本体31的动作控制虚拟角色于三维虚拟教学场景中进行相应的动作行为,视景调度模块14根据虚拟角色的动作行为以及虚拟角色于三维虚拟教学场景的位置分析出虚拟角色所观察到的虚拟教学场景与即将观察到的虚拟教学场景,而后进行相应的三维虚拟教学场景变化更新,数据动态加载模块15根据手柄控制模块32的指令加载相应的教学内容于三维虚拟教学场景中,教学内容与当前三维虚拟教学场景相适配,同时,系统同步模块16把三维虚拟教学场景以及教学内容同步在教学显示模块5中进行显示。
实施例二:
参照图2,图2为实施例二中基于虚拟现实技术的医学教学方法的流程图,本实施例中基于虚拟现实技术的医学教学方法为根据实施例一中所述的基于虚拟现实技术的医学教学系统实现的相应教学方法,其具体包括以下步骤:
三维虚拟场景的构建及存储;三维虚拟场景包括三维虚拟教学场景和虚拟角色,虚拟角色处于三维虚拟教学场景中;三维虚拟场景的构建由三维场景构建模块13完成,具体的,由工作人员根据现实中的教学环境和人物进行构建所需素材的获取,例如,用于构建三维虚拟教学场景的医院大楼、更衣室、手术室、消毒室、管理室、排班室、医疗器材及医疗设备等图像照片素材,用于构建虚拟角色的人物图像照片素材等,而后,获取的素材通过主机装置1的主机本体11输入至三维场景构建模块13中,三维场景构建模块13根据输入的素材完成三维虚拟教学场景和虚拟角色的构建,并把构建完成的三维虚拟教学场景和虚拟角色传输至存储模块12中进行存储;此外,还可以由工作人员直接在三维场景构建模块13中进行三维建模,完成三维虚拟教学场景和虚拟角色的构建,再把构建出三维虚拟教学场景和虚拟角色存储至存储模块12。
教学内容的存储;工作人员直接把教学内容通过主机本体11传输并存储至存储模块12内,教学内容可为医疗理论课程、理疗实体课程、临床操作课程以及考核课程等,教学内容与三维虚拟教学场景相适配。
虚拟角色于三维虚拟教学场景中完成动作行为;首先,需完成定位装置4的安装设置,定位装置4的多个空间定位模块41按照全面覆盖原则安装于预先准备的教学室内,全面覆盖原则即显示装置2和手柄装置3的运动范围均处于定位装置4的覆盖区域内;而后,使用者进入定位装置4的覆盖区域内,佩戴显示装置2的显示本体21于头部,此时视景调度模块14会调度存储模块12内的三维虚拟场景于图像显示模块22内进行显示,让使用者通过图像显示模块22看到三维虚拟教学场景,此时,虚拟角色与使用者相为对应关系,即使用者以虚拟角色的身份融入到三维虚拟教学场景中,使用者此时可以通过虚拟角色的第一视角观察三维虚拟教学场景,也可以选择通过第三视角同时观察到三维虚拟教学场景以及虚拟角色,使用者双手分别手持一手柄装置3的手柄本体31,并于定位装置4的覆盖区域内进行动作,使用者、显示装置2以及手柄装置3均处于多个空间定位模块41监测范围至内,多个空间定位模块41可精准对手柄模块3的手柄主体31进行定位,捕捉到手柄主体31在各个时间段所处于的位置,即获得手柄主体31的动作数据;然后,多个空间定位模块41把捕捉到手柄主体31的动作数据传递至主机本体11,主机本体11的处理系统根据动作数据以及接收到动态数据的时间分析出手柄主体31的动作轨迹,进而确定手柄主体31的动作;最后,主机本体11的处理系统根据手柄主体31的动作控制虚拟角色于三维虚拟教学场景中进行相应的动作行为;例如,通过手柄本体31的前后摆动的动作来控制虚拟角色移动,通过手柄本体31的自然下放的动作控制虚拟角色停止,通过手柄本体31的左右摆动的动作控制虚拟角色转向,通过手柄本体31抬起并暂停的动作控制虚拟角色抬手向前推的动作等等;以具体控制虚拟角色的移动过程为例,使用者前后摆动手持的手柄本体31,多个空间定位模块41精准捕捉到手柄本体31位置信息并传递至主机本体11,主机本体11的处理系统根据获得手柄本体31位置信息的时间先后关系计算出手柄本体31的运动轨迹,进而根据运动轨迹获取到手柄本体31正在做前后摆动的动作,而后主机本体11根据手柄本体31的动作控制虚拟角色于三维虚拟教学场景中进行向着前方移动的动作行为。
三维虚拟教学场景根据虚拟角色的位置及动作行为进行变化更新;主机本体11实时获取虚拟角色于三维虚拟教学场景中的位置,并把虚拟角色处于三维虚拟教学场景的位置信息和虚拟角色的动作行为信息实时传递至视景调度模块14,视景调度模块14根据虚拟角色处于三维虚拟教学场景的位置信息和虚拟角色的动作行为,分析获取到虚拟角色于当前视角所能看到的三维虚拟教学场景,并据此进行三维虚拟教学场景的变化更新,以便适应虚拟角色此时的视角,若使用者采用的是第三方视角在进行观看,则视景调度模块14根据虚拟角色处于三维虚拟教学场景的位置信息和虚拟角色的动作行为,分析获取到第三方视角于当前视角所能看到的三维虚拟教学场景,并据此进行三维虚拟教学场景的变化更新。
教学内容加载;在不同的三维虚拟教学场景中具有相适配的教学内容,如此使用者才能根据三维虚拟教学场景进行仿真学习;三维虚拟教学场景在进行变化更新时,当遇到具有教学内容的三维虚拟教学场景时,三维虚拟教学场景中会有相关的教学内容学习的提示信息,例如,消毒规范的实体课程的标语提示,使用者在看到学习的提示信息后,按压手柄本体31上的手柄控制模块32一次,手柄控制模块32发送指令至主机本体11,即发送加载教学内容指令,主机本体11接收到指令后,把指令信息传递至数据动态加载模块15,数据动态加载模块15根据指令信息以及当前虚拟角色处于的三维虚拟教学场景等信息,加载相适配的教学内容于三维虚拟教学场景中,让使用者看到与三维虚拟教学场景相关的教学内容,例如消毒规范的演示、讲解及消毒实操,使用者在完成学校后,按压手柄本体31上的手柄控制模块32两次,即发送关闭数据教学内容指令,数据动态加载模块15根据指令停止加载相应的教学内容,例如关闭消毒规范的教学。
复参照图2,进一步,本实施例中的基于虚拟现实技术的医学手术的教学方法在三维虚拟场景于图像显示模块22中进行显示之后还包括内容外显的步骤,在三维虚拟场景于图像显示模块22中显示后,三维虚拟教学场景和虚拟角色通过系统同步模块16在教学显示模块5中同步对图像显示模块22的内容进行显示,使得教学显示模块5显示的内容与使用者观察到的内容一致,如此通过教学显示模块5把虚拟医学教学系统的教学内容进行外显,可供其他未使用的人观看其中的内容进行学习。
复参照图2,更进一步,三维虚拟场景还包括虚拟教学角色,虚拟教学角色用于对所述虚拟角色进行教学引导,具体的,教学引导包括控制动作教学引导和内容教学引导,例如,控制动作教学引导,在使用者通过虚拟角色融入至三维虚拟教学场景后,虚拟教学角色引导使用者学会通过手柄本体31完成对虚拟角色的控制,具体的,可以通过虚拟角色与虚拟教学角色的对话方式,在虚拟教学场景中显示对话框告知使用者控制虚拟角色的方法,对话框由数据动态加载模块15加载至三维虚拟教学场景中;内容教学引导也可通过与虚拟教学角色的对话方式完成。
为了更好的对本教学方法进行说明,现以外科手术实操的教学课程为例,从使用者的角度说明整个学习过程,其具体过程如下:使用者,即虚拟角色初始在三维虚拟教学场景的医院大门前生成,使用者在虚拟教学角色的引导下学会控制虚拟角色后,继续跟随虚拟教学角色移动,此时三维虚拟教学场景会根据虚拟角色的动作进行变化更新,使用者先控制虚拟角色移动至医院大楼,推开大门,虚拟角色进入到医院大楼内,观察医院大楼环境,并获取手术室位置,而后通过电梯进入到手术楼层,而后,达到排班室内查看手术安排表,手术安排表具有多个手术教学清单,使用者控制虚拟教学角色于手术教学清单上进行手术学习选择,例如选择“全麻下阑尾切除术”,此时会加载相应的理论教学内容,对“全麻下阑尾切除术”进行理论教学,然后进入到更衣室,此时会进行衣着规范的实体教学,更换衣着后进入手术区,先至消毒室内进行消毒,此时会进行消毒注意事项的实体教学,消毒完成后进入到手术室内,此时会进行“全麻下阑尾切除术”手术的实体教学,先进行手术工具及手术流程学习,而后,可选择由虚拟教学角色进行的阑尾切除术,使用者在一旁传递手术工具进行观察学习,或者由虚拟角色直接进行阑尾切除术,虚拟教学角色在一旁进行指导教学,在完成手术后,虚拟角色退出手术室时,进行离开手术室注意事项学习,离开手术区后进行手术完成后患者的后续治疗方案的学习,完成所有教学之后,使用者退出三维虚拟教学场景。
综上:通过主机装置1、显示装置2、手柄装置3以及定位装置4的相互配合,实现在虚拟场景中的仿真教学,让使用者可以在例如外科手术这种因为资源稀缺导致的学习机会较少的实体教学中进行学习,并通过教学显示模块5进行外显,进而使得更多的人可以参与到教学中。
上所述仅为本发明的实施方式而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等,均应包括在本发明的权利要求范围之内。
Claims (10)
1.一种基于虚拟现实技术的医学教学系统,其特征在于,包括:
主机装置(1),其包括主机本体(11)以及设于所述主机本体(11)内的存储模块(12);所述存储模块(12)用于存储三维虚拟场景及教学内容,所述三维虚拟场景包括三维虚拟教学场景以及位于所述三维虚拟教学场景中的虚拟角色;以及
与所述主机本体(11)连接的显示装置(2)、手柄装置(3)和定位装置(4);
所述显示装置(2)包括显示本体(21)以及设于所述显示本体(21)的图像显示模块(22);所述图像显示模块(22)用于显示所述三维虚拟场景及教学内容;
所述手柄装置(3)包括手柄本体(31)以及设于所述手柄本体(31)的手柄控制模块(32);所述手柄控制模块(32)用于指令发送;
所述定位装置(4)包括多个空间定位模块(41);每一所述空间定位模块(41)用于捕捉所述手柄本体(31)的动作数据;
所述主机本体(11)根据所述动作数据分析出所述手柄本体(31)的动作,并根据所述手柄本体(31)的动作控制所述虚拟角色于三维虚拟教学场景中进行相应的动作行为;所述主机本体(11)根据所述虚拟角色于所述三维虚拟教学场景中的位置以及所述虚拟角色的动作行为对所述三维虚拟场景进行变化更新;所述主机本体(11)根据所述指令加载所述教学内容于所述三维虚拟教学场景中;所述三维虚拟教学场景与所述教学内容相适配。
2.根据权利要求1所述的基于虚拟现实技术的医学教学系统,其特征在于,所述主机装置(1)还包括三维场景构建模块(13)、视景调度模块(14)以及数据动态加载模块(15);
所述三维场景构建模块(13)、视景调度模块(14)以及数据动态加载模块(15)均设于所述主机本体(11)内,并分别与所述存储模块(12)连接;所述视景调度模块(14)与所述数据动态加载模块(15)连接;所述三维场景构建模块(13)用于三维虚拟场景的构建,并存储所述三维虚拟场景至所述存储模块(12)内;所述视景调度模块(14)用于调度不同的三维虚拟场景于所述图像显示模块(22)内显示;所述数据动态加载模块(15)用于加载相适配的教学内容至所述视景调度模块(14)调度的三维虚拟教学场景中。
3.根据权利要求2所述的基于虚拟现实技术的医学教学系统,其特征在于,其还包括教学显示模块(5);所述主机装置(1)还包括系统同步模块(16);所述系统同步模块(16)设于所述主机本体(11)并分别与所述教学显示模块(5)及视景调度模块(14)连接;
所述教学显示模块(5)通过所述系统同步模块(16)同步显示所述图像显示模块(22)显示的三维虚拟场景和教学内容。
4.根据权利要求1所述的基于虚拟现实技术的医学教学系统,其特征在于,多个所述空间定位模块(41)分设于所述显示本体(21)。
5.根据权利要求1所述的基于虚拟现实技术的医学教学系统,其特征在于,所述三维虚拟教学场景包括医院整体场景、更衣室场景、手术室场景、消毒室场景、医疗设备使用场景以及手术场景。
6.根据权利要求1所述的基于虚拟现实技术的医学教学系统,其特征在于,所述教学内容包括医疗理论课程、理疗实体课程以及临床操作课程。
7.一种基于虚拟现实技术的医学教学方法,其特征在于,包括以下步骤:
主机本体(11)调用存储模块(12)中存储的三维虚拟场景于图像显示模块(22)中进行显示;所述三维虚拟场景包括三维虚拟教学场景及位于所述三维虚拟教学场景中的虚拟角色;
定位装置(4)获取手柄本体(31)的动作数据并传递至所述主机本体(11);所述主机本体(11)根据所述动作数据分析出所述手柄主体(31)的动作,并根据所述动作控制所述虚拟角色于所述三维虚拟教学场景中进行相应的动作行为;
所述主机本体(11)根据所述虚拟角色于所述三维虚拟教学场景中的位置以及所述虚拟角色的动作行为对所述三维虚拟教学场景进行变化更新;
手柄控制模块(32)发送指令至所述主机本体(11);所述主机本体(11)根据所述指令于所述三维虚拟教学场景中加载教学内容,所述教学内容与所述三维虚拟教学场景相适配。
8.根据权利要求7所述的基于虚拟现实技术的医学教学方法,其特征在于,在所述三维虚拟场景于图像显示模块(22)中进行显示之前,还包括:
构建三维虚拟场景并存储至所述存储模块(12)内。
9.根据权利要求7所述的基于虚拟现实技术的医学教学方法,其特征在于,所述三维虚拟场景于图像显示模块(22)中显示之后,还包括:
所述图像显示模块(22)显示的内容通过教学显示模块(5)在外部进行同步显示。
10.根据权利要求7所述的基于虚拟现实技术的医学教学方法,其特征在于,所述三维虚拟场景还包括虚拟教学角色,所述虚拟教学角色用于对所述虚拟角色进行教学引导。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810376444.3A CN108538095A (zh) | 2018-04-25 | 2018-04-25 | 基于虚拟现实技术的医学教学系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810376444.3A CN108538095A (zh) | 2018-04-25 | 2018-04-25 | 基于虚拟现实技术的医学教学系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108538095A true CN108538095A (zh) | 2018-09-14 |
Family
ID=63477599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810376444.3A Pending CN108538095A (zh) | 2018-04-25 | 2018-04-25 | 基于虚拟现实技术的医学教学系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108538095A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109493652A (zh) * | 2018-11-05 | 2019-03-19 | 广州南洋理工职业学院 | 基于vr技术的实践教学系统 |
CN109897747A (zh) * | 2019-03-04 | 2019-06-18 | 江苏农林职业技术学院 | 一种基于虚拟现实的精酿啤酒糖化操作系统及方法 |
CN110264812A (zh) * | 2019-05-31 | 2019-09-20 | 江苏农林职业技术学院 | 基于虚拟现实的cip清洗啤酒发酵罐操作系统及方法 |
CN110442236A (zh) * | 2019-07-18 | 2019-11-12 | 江苏农林职业技术学院 | 基于沉浸式虚拟现实的精酿啤酒麦汁冷却操作系统及方法 |
CN111080759A (zh) * | 2019-12-03 | 2020-04-28 | 深圳市商汤科技有限公司 | 一种分镜效果的实现方法、装置及相关产品 |
CN111290583A (zh) * | 2020-03-02 | 2020-06-16 | 北京萌科科技有限公司 | 三维立体板书的生成方法、电子设备及教学系统 |
CN112148111A (zh) * | 2019-06-26 | 2020-12-29 | 台达电子工业股份有限公司 | 网络教学系统及其网络教学方法 |
CN112309215A (zh) * | 2020-11-11 | 2021-02-02 | 黑龙江中医药大学 | 一种临床医学内科教学用演示系统及其控制方法 |
CN112331004A (zh) * | 2020-09-30 | 2021-02-05 | 核动力运行研究所 | 核电厂全运行值培训考核系统 |
CN112686786A (zh) * | 2020-12-29 | 2021-04-20 | 新疆医科大学第一附属医院 | 一种医疗护理用教学系统及教学方法 |
CN113126759A (zh) * | 2021-04-08 | 2021-07-16 | 重庆建筑工程职业学院 | 一种用于建筑教学的交互式虚拟现实系统 |
CN113506484A (zh) * | 2021-07-06 | 2021-10-15 | 清控道口财富科技(北京)股份有限公司 | 利用虚拟现实技术的教育教学系统及其教学方法 |
CN113593339A (zh) * | 2021-07-23 | 2021-11-02 | 商丘医学高等专科学校 | 一种基于虚拟现实技术的医学教学系统及方法 |
CN115132013A (zh) * | 2022-07-26 | 2022-09-30 | 北京大学深圳医院 | 一种医用超声模拟教学方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN206133563U (zh) * | 2016-07-28 | 2017-04-26 | 西安鑫威泰网络科技有限公司 | 一种虚拟现实的外科手术训练设备 |
CN106781719A (zh) * | 2017-03-30 | 2017-05-31 | 武汉大学 | 一种基于虚拟现实技术的显微血管吻合手术教学展示系统 |
CN107067856A (zh) * | 2016-12-31 | 2017-08-18 | 歌尔科技有限公司 | 一种医学模拟训练系统和方法 |
CN107862912A (zh) * | 2017-12-20 | 2018-03-30 | 四川纵横睿影医疗技术有限公司 | 基于vr技术的医疗教学系统 |
-
2018
- 2018-04-25 CN CN201810376444.3A patent/CN108538095A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN206133563U (zh) * | 2016-07-28 | 2017-04-26 | 西安鑫威泰网络科技有限公司 | 一种虚拟现实的外科手术训练设备 |
CN107067856A (zh) * | 2016-12-31 | 2017-08-18 | 歌尔科技有限公司 | 一种医学模拟训练系统和方法 |
CN106781719A (zh) * | 2017-03-30 | 2017-05-31 | 武汉大学 | 一种基于虚拟现实技术的显微血管吻合手术教学展示系统 |
CN107862912A (zh) * | 2017-12-20 | 2018-03-30 | 四川纵横睿影医疗技术有限公司 | 基于vr技术的医疗教学系统 |
Non-Patent Citations (2)
Title |
---|
洪杰文: "《新媒体技术》", 30 June 2016 * |
郝建平: "《虚拟维修仿真理论与技术》", 31 January 2008 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109493652A (zh) * | 2018-11-05 | 2019-03-19 | 广州南洋理工职业学院 | 基于vr技术的实践教学系统 |
CN109897747A (zh) * | 2019-03-04 | 2019-06-18 | 江苏农林职业技术学院 | 一种基于虚拟现实的精酿啤酒糖化操作系统及方法 |
CN110264812A (zh) * | 2019-05-31 | 2019-09-20 | 江苏农林职业技术学院 | 基于虚拟现实的cip清洗啤酒发酵罐操作系统及方法 |
CN112148111A (zh) * | 2019-06-26 | 2020-12-29 | 台达电子工业股份有限公司 | 网络教学系统及其网络教学方法 |
CN110442236A (zh) * | 2019-07-18 | 2019-11-12 | 江苏农林职业技术学院 | 基于沉浸式虚拟现实的精酿啤酒麦汁冷却操作系统及方法 |
CN111080759A (zh) * | 2019-12-03 | 2020-04-28 | 深圳市商汤科技有限公司 | 一种分镜效果的实现方法、装置及相关产品 |
CN111290583A (zh) * | 2020-03-02 | 2020-06-16 | 北京萌科科技有限公司 | 三维立体板书的生成方法、电子设备及教学系统 |
CN112331004A (zh) * | 2020-09-30 | 2021-02-05 | 核动力运行研究所 | 核电厂全运行值培训考核系统 |
CN112309215A (zh) * | 2020-11-11 | 2021-02-02 | 黑龙江中医药大学 | 一种临床医学内科教学用演示系统及其控制方法 |
CN112686786A (zh) * | 2020-12-29 | 2021-04-20 | 新疆医科大学第一附属医院 | 一种医疗护理用教学系统及教学方法 |
CN113126759A (zh) * | 2021-04-08 | 2021-07-16 | 重庆建筑工程职业学院 | 一种用于建筑教学的交互式虚拟现实系统 |
CN113506484A (zh) * | 2021-07-06 | 2021-10-15 | 清控道口财富科技(北京)股份有限公司 | 利用虚拟现实技术的教育教学系统及其教学方法 |
CN113593339A (zh) * | 2021-07-23 | 2021-11-02 | 商丘医学高等专科学校 | 一种基于虚拟现实技术的医学教学系统及方法 |
CN115132013A (zh) * | 2022-07-26 | 2022-09-30 | 北京大学深圳医院 | 一种医用超声模拟教学方法及系统 |
CN115132013B (zh) * | 2022-07-26 | 2023-03-14 | 北京大学深圳医院 | 一种医用超声模拟教学方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108538095A (zh) | 基于虚拟现实技术的医学教学系统及方法 | |
US10438415B2 (en) | Systems and methods for mixed reality medical training | |
US11551578B2 (en) | Augmented reality system for teaching patient care | |
US9381426B1 (en) | Semi-automated digital puppetry control | |
US11410564B2 (en) | System and method for creating immersive interactive application | |
CN107111682A (zh) | 集成用户环境 | |
KR20190087912A (ko) | 증강현실과 가상현실을 이용한 훈련용 응급처치 시뮬레이션 방법 | |
CN110688005A (zh) | 混合现实的教学环境、教师、教具互动系统及互动方法 | |
KR102109942B1 (ko) | 가상현실을 이용한 공존 직업 체험 제공 시스템 및 방법 | |
de Farias Paiva et al. | A collaborative and immersive VR simulator for education and assessment of surgical teams | |
US11875693B2 (en) | Simulated reality technologies for enhanced medical protocol training | |
KR102211108B1 (ko) | Gmp 환경 모니터링을 위한 가상 현실 기반의 바이오 안전 캐비닛의 무균 입증 절차 교육 시스템 | |
Peña-Ríos et al. | Towards the next generation of learning environments: An InterReality learning portal and model | |
Giraud et al. | “Can you help me move this over there?”: training children with ASD to joint action through tangible interaction and virtual agent | |
CN108538171A (zh) | 组建实景化虚拟医疗团队方法 | |
CN106781719A (zh) | 一种基于虚拟现实技术的显微血管吻合手术教学展示系统 | |
Kopp et al. | Using second life for just-in-time training: Building teaching frameworks in virtual worlds | |
KR20130027160A (ko) | Led소자가 장착된 경혈모형 및 led 경혈모형을 이용한 학습관리시스템 | |
CN103531069A (zh) | 一种基于模拟为基础的学习实训系统 | |
Ng et al. | Using immersive reality in training nursing students | |
Ponder et al. | Interactive scenario immersion: Health emergency decision training in JUST project | |
CA3133789A1 (en) | System and method for virtual online medical team training and assessment | |
CN114661153A (zh) | 沉侵式vr手术室场景于手机终端再现系统及其操作方法 | |
Crawford et al. | DentalVerse: Interactive Multiusers Virtual Reality Implementation to train preclinical dental student psychomotor skill | |
Reddington et al. | Development and evaluation of virtual reality classrooms through user-centered design during covid-19 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180914 |
|
RJ01 | Rejection of invention patent application after publication |