CN105096670B - 一种用于鼻胃管操作实训的智能沉浸式教学系统及装置 - Google Patents
一种用于鼻胃管操作实训的智能沉浸式教学系统及装置 Download PDFInfo
- Publication number
- CN105096670B CN105096670B CN201410220519.0A CN201410220519A CN105096670B CN 105096670 B CN105096670 B CN 105096670B CN 201410220519 A CN201410220519 A CN 201410220519A CN 105096670 B CN105096670 B CN 105096670B
- Authority
- CN
- China
- Prior art keywords
- virtual
- nose catheter
- human body
- unit
- nose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 36
- 238000007654 immersion Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 24
- 210000003484 anatomy Anatomy 0.000 claims description 43
- 238000001514 detection method Methods 0.000 claims description 13
- 230000007786 learning performance Effects 0.000 claims description 12
- 210000002784 stomach Anatomy 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000035479 physiological effects, processes and functions Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 210000003238 esophagus Anatomy 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 210000001519 tissue Anatomy 0.000 claims description 5
- 206010011224 Cough Diseases 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 239000011800 void material Substances 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 206010003497 Asphyxia Diseases 0.000 claims description 2
- 239000013013 elastic material Substances 0.000 claims description 2
- 210000002409 epiglottis Anatomy 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 238000013178 mathematical model Methods 0.000 claims description 2
- 238000002627 tracheal intubation Methods 0.000 claims description 2
- 230000002457 bidirectional effect Effects 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 6
- 239000000203 mixture Substances 0.000 abstract description 5
- 230000009471 action Effects 0.000 abstract description 4
- 230000011514 reflex Effects 0.000 abstract description 4
- 230000001149 cognitive effect Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 abstract description 3
- 230000019771 cognition Effects 0.000 abstract description 2
- 238000009472 formulation Methods 0.000 abstract description 2
- 238000011158 quantitative evaluation Methods 0.000 abstract description 2
- 210000000697 sensory organ Anatomy 0.000 abstract description 2
- 238000012800 visualization Methods 0.000 abstract 1
- 210000001331 nose Anatomy 0.000 description 43
- 238000010586 diagram Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000000474 nursing effect Effects 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 210000003800 pharynx Anatomy 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000158526 Nasalis Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002922 simulated annealing Methods 0.000 description 2
- 241000167880 Hirundinidae Species 0.000 description 1
- 206010061216 Infarction Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000004945 emulsification Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000007574 infarction Effects 0.000 description 1
- 210000000867 larynx Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229940041290 mannose Drugs 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 210000001989 nasopharynx Anatomy 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Instructional Devices (AREA)
Abstract
本发明公开了一种用于鼻胃管操作实训的智能沉浸式教学系统及装置，通过虚拟现实建模技术构建出虚拟人体结构，学员通过在系统上完成鼻胃管手工放置步骤以实现认知训练，该过程不仅实现了可视化，且通过触觉反馈和立体声效向学员模拟患者的生理反应，学员在整个鼻胃管放置过程的动作将予以量化评估，供学员改进临床操作技巧，实现了学员的自主高效实训，提升了学习者的感官认知以及临床沟通技巧，同时也对教学计划的制定提供数据支持。
Description
技术领域
本发明涉及虚拟现实应用领域，更具体地说，涉及一种用于鼻胃管操作实训的智能沉浸式教学系统及装置。
背景技术
鼻胃管(NGT)是一种在门诊和医院中惯用的标准医疗器械，其放置操作是护理环节中的常见过程。然而，鼻胃管放置是一个不能在人类视觉透视辅助下完成的动作，管体的定位不能直接被裸眼识别，因此由疏忽造成的鼻胃管误插导致的致命医疗事故及并发症时有发生。
在当前的技术条件下，护理教学中鼻胃管放置通常是在普通课室中利用真人实验对象进行操作实训，而严重的医疗事故是有可能发生在这些真人被实验者身上的，其原因在于上述无视觉透视插管过程中，鼻胃管可能会在不经意间碰撞到除胃部外的其他人体器官，如食道和鼻咽部位，导致纵膈并发症或者肺炎，甚至由于食道及胸腔大血管的穿刺而造成大量出血。
除却真人实验，采用医用假人模特也是鼻胃管放置训练的一种途径，然而毕竟假人模特不能替代人体解剖学实验，且其缺乏感知触觉，不能模拟患者在插管过程中的生理反应，使得该种训练方法难以在护理学院和医学院的学员中得到有效推广。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述护理学教学过程中真人鼻胃管操作实训可能导致严重医疗事故，而假人模特无法模拟患者生理反应的缺陷，提供一种用于鼻胃管操作实训的智能沉浸式教学系统及方法，该系统基于个人电脑平台上安装的虚拟现实(VR)与智能计算软件以及一套外置的触觉反馈设备，学员通过在系统上完成临床鼻胃管手工放置步骤以实现认知训练，该训练过程中系统根据预置的临床数据划分管体所处的虚拟人体区域，并通过触觉反馈和立体声效向学员模拟患者的生理反应，学员在整个鼻胃管放置过程中的动作将予以量化评估，供学员改进临床操作技巧。
本发明解决其技术问题所采用的技术方案是：构造一种用于鼻胃管操作实训的智能沉浸式教学系统，包括以下部分：
系统数据库，用于存储人体解剖学结构和虚拟场景内的三维几何模型以及操作者的学习表现数据；
虚拟人体模块，用于构建所述虚拟人体解剖学结构，所述虚拟人体模块包括：
碰撞检测单元，用于实时确定虚拟鼻胃管在虚拟人体中的位置，探测所述虚拟鼻胃管与所述虚拟人体解剖学结构之间的碰撞；
变形单元，用于计算所述虚拟鼻胃管与所述虚拟人体解剖学结构之间的碰撞力度大小及所述人体解剖学结构的物理变形程度；
反馈信息生成模块，用于根据所述虚拟鼻胃管在所述虚拟人体中的位置，所述虚拟鼻胃管与所述虚拟人体解剖学结构之间的碰撞力度大小及所述人体解剖学结构的物理变形程度生成反馈信息。
用户界面，用于在所述虚拟鼻胃管放置操作过程中实现操作者与虚拟患者之间信息交互。
优选地，所述反馈信息生成模块包括：
图像反馈信息生成单元，用于生成反映虚拟鼻胃管在虚拟人体中的位置，所述虚拟鼻胃管与所述虚拟人体解剖学结构之间的碰撞力度大小及所述人体解剖学结构的物理变形程度的图像反馈信息；
所述用户界面包括：
图像反馈显示单元，用于根据所述图像反馈信息生成所述虚拟鼻胃管在所述虚拟人体中的放置过程透视图。
优选地，所述反馈信息生成模块包括：
触觉反馈信息生成单元，用于生成反映所述虚拟鼻胃管与所述虚拟人体解剖学结构之间的碰撞及碰撞力度大小的触觉反馈信息；
所述用户界面包括：
触觉反馈传递单元，用于传递所述虚拟鼻胃管放置操作过程中所述操作者对所述虚拟鼻胃管所施加的作用力，以及根据所述触觉反馈信息重构所述虚拟鼻胃管对所述操作者所施加的反作用力。
优选地，所述虚拟人体模块还包括：
生理学单元，用于再现所述虚拟鼻胃管的放置过程中所述虚拟人体解剖学结构所产生的生理变化；
所述用户界面包括：
语音输出单元，用于识别所述操作者对所述虚拟患者所下达的标准指令，使得所述生理学单元根据所述标准指令产生相应的生理变化。
优选地，所述用户界面还包括：
语音输入单元，用于所述操作者对所述虚拟患者下达所述标准指令，使得所述生理学单元根据所述标准指令产生相应的生理变化。
优选地，所述系统还包括以下部分：
表现评估模块，用于记录所述虚拟鼻胃管的放置过程中所述操作者的若干个所述学习表现数据并根据所述学习表现数据实现表现评估，所述学习表现数据存储于所述系统数据库。
优选地，所述学习表现数据包括下列参数中的一种或多种：鼻胃管放置任务总耗时，所述虚拟鼻胃管停留在各所述人体解剖学结构的分耗时，所述操作者对所述虚拟鼻胃管所施加的作用力，以及所述虚拟鼻胃管的运动轨迹。
优选地，所述虚拟人体模块基于将所述人体解剖学结构以四面体网格的方式进行建模，不同部位的所述人体解剖学结构根据临床鼻胃管放置流程中遇到梗塞的可能性大小差异而具有不同的建模分辨率。
优选地，所述变形单元的构建基于质点弹簧模型及有限单元法。
本发明还提供一种用于鼻胃管操作实训的智能沉浸式教学装置，其特征在于，包括以下部分：
计算机主机，用于安装并运行系统数据库，虚拟人体模块，反馈信息生成模块以及表现评估模块；
显示器，用于向操作者展示用户界面；
触觉反馈器件，用于传递虚拟鼻胃管放置操作过程中所述操作者对所述虚拟鼻胃管所施加的作用力及所述虚拟鼻胃管对所述操作者所施加的反作用力。
实施本发明的一种用于鼻胃管操作实训的智能沉浸式教学系统及装置，具有以下有益效果：基于虚拟现实技术的智能沉浸式教学系统，彻底杜绝了利用真人实验对象进行实训操作时可能出现的医疗事故，保障了教学安全；虚拟鼻胃管管体在虚拟人体行进的过程对于学员而言是可视化的，插管过程中的作用力将传递至操作者手部，临床患者所可能出现的生理反应以多种方式及时向操作者反馈，从而加深了学习者的感官认知；操作者与教学系统之间通过语音命令实现互动，提升了学员临床沟通技巧；通过对操作者的模拟插管表现进行评估，实现了学员即使导师不在场的情况下也能进行自主练习，也对教学计划的制定提供数据支持。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明的用于鼻胃管操作实训的智能沉浸式教学系统逻辑结构框图；
图2是本发明的用于鼻胃管操作实训的智能沉浸式教学系统用户界面示意图；
图3是本发明的用于鼻胃管操作实训的智能沉浸式教学装置硬件组成示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
本发明的核心理念是将前沿的VR技术引入鼻胃管放置教学中,其目的在于通过互动、智能以及低成本的基于虚拟现实的模拟系统提升鼻胃管放置技术的教学效果，模拟器程序中包括鼻胃管放置临床步骤的认知训练，如校核必要材料，检查鼻腔通道，估算放置管长，调整病人姿势，以及确认管体定位等。图1是本发明的用于鼻胃管操作实训的智能沉浸式教学系统逻辑结构框图。如图1所示，本发明的用于鼻胃管操作实训的智能沉浸式教学系统包括系统数据库1，虚拟人体模块2，反馈信息生成模块3以及用户界面4。其中系统数据库1用于存储基于临床解剖学实验所得的真实人体结构及器官数据，以及本系统硬件层面上所采用的触觉反馈器件相关数据,作为本发明虚拟系统的数字建模基础。本发明的重点，建立虚拟人体模块2的主要目的在于，利用上述临床数据以及触觉反馈器件数据基于半自动等值面提取算法(Semi-automatic Iso-surfaceExtractionAlgorithms)构建虚拟的人体解剖学结构，尤其是鼻胃管所经过的主要人体解剖学通道，包括鼻腔、鼻咽部、口咽部、咽喉、食道以及胃，上述组织以几何建模的方式得以重构并以四面体网格的形式呈现出来。鼻腔及鼻咽部，以及其它在临床插管过程中遇到梗塞物可能性更高的部位的三维网格具有更高的分辨率，以更接近现实地模拟在鼻胃管放置过程中操作者所感受到的反作用力。除了几何建模外，虚拟人体模块2还具有两项最基本的功能，分别由虚拟人体模块2的两个功能子单元，即碰撞检测单元21与变形单元22完成。以下将对上述单元进行详细讨论。
软组织的变形模拟是本发明的核心难题。基于计算机建模的基本理论及发明人过往在临床医学计算机图像应用方面的大量实践经验，确定变形单元22的构建基于质点弹簧模型(Mass-SpringModel,MSM)以及有限单元法(Finite ElementModel,FEM)，其中FEM与连续介质力学在用于生物组织的力学特性建模时，该生物组织为不可压缩且各向异性的非线性弹性材料，同时假塑性(Pseudo-Plasticity)以及大幅形变在构造食道的塌陷时也将被纳入设计范围。特别的，力传递模型(ForcePropagationModel,FPM)，一种MSM的特例变体，被用于实时互动模拟软组织的生物力学特性。需要提及的是，模拟退火法(SimulatedAnnealing,SA)与遗传算法(GeneticAlgorithm,GA)在本发明中被创造性地用于甄别合适的模型数据以及模拟真正的组织反应。此外，变形单元22还构造出了具有双向线性弹簧的多层MSM，以模拟真实临床实验中生理组织所体现出的非线性及异质性。通过上述机制，变形单元22得以计算虚拟鼻胃管与虚拟人体解剖学结构之间的碰撞力度大小及人体解剖学结构受虚拟鼻胃管作用导致的物理变形程度。
在碰撞检测单元21中，其构建借鉴了虚拟缝合领域的相关技术，且基于弹性的一维目标。在采用MSM用于缝合的变形模拟时，开发者研究了数种用于快速碰撞检测的边界体层次。经对比，轴对齐矩形边界框(Axis-aligned BoundingBoxes,AABB)是在平衡计算精度和速度方面的一个较优选择，其边界球体是最有效的。此外，在超声乳化切除术的案例中，快速碰撞检测是通过分割包含虚拟透镜的空间来达成的，所述虚拟透镜将具有矩形边界框并以八叉树对其加以整理。通过上述机制，虚拟鼻胃管在虚拟人体中将被精确定位，且两者之间的相互碰撞得以快速探测。
根据虚拟鼻胃管在虚拟人体中的位置，虚拟鼻胃管与虚拟人体解剖学结构之间的碰撞力度大小及人体解剖学结构的物理变形程度，本发明的反馈信息生成模块3自动生成反馈信息。在本发明的一个实施例中，所述反馈信息生成模块3包括图像反馈信息生成单元31，用于生成反映虚拟鼻胃管在虚拟人体中的位置，虚拟鼻胃管与虚拟人体解剖学结构之间的碰撞力度大小及人体解剖学结构的物理变形程度的图像反馈信息。在本发明的另一个实施例中，所述反馈信息模块3还包括触觉反馈信息生成单元32，用于生成反映所述虚拟鼻胃管与所述虚拟人体解剖学结构之间的碰撞及碰撞力度大小的触觉反馈信息。如图2所示，为本发明的用户界面示意图，在本发明中的一个较佳实施例中，用户界面4运行在一个装配有立体图像显示卡的液晶显示屏上，该用户界面4包含有图像反馈显示单元41，用于根据所述图像反馈信息生成所述虚拟鼻胃管在所述虚拟人体中的放置过程透视图。上述图像反馈信息与触觉反馈信息，将在本发明的图像反馈显示单元41中向使用者显示，学员通过用户界面4的图像显示平台，管体的图像将会与人体内部解剖结构一并展示，因而可以清楚得知鼻胃管放置操作过程中管体在虚拟人体中所处的位置，以及由管体与虚拟人体器官接触所导致的软组织形变，并将学员的操作即时反映在图像显示反馈单元上。这在真实的临床操作或者传统的活体或者实体模型鼻胃管放置教学中是不可能实现的，从而为学员提供更直观的关于鼻胃管放置过程中管体与人体器官间相对空间位置关系的认识，以加深对相关技能的掌握程度。
除了向使用者提供视觉反馈，在本发明的另一个实施例中，该教学系统还向学员提供鼻胃管放置过程中手部操作虚拟鼻胃管时的触觉反馈。如图3所示，为本发明的用于鼻胃管操作实训的智能沉浸式教学装置硬件组成示意图。除了用于安装并运行系统数据库1，虚拟人体模块2，反馈信息生成模块3的计算机主机91，用于展示用户界面4的显示器92，还包括一个触觉反馈器件93，所述触觉反馈器件93的构成包括一个固定底座，固定底座上装配有可水平方向任意旋转的旋转台，该旋转台连接有可在任意竖直方向上伸缩的机械臂，因而该触觉反馈器件93在虚拟空间中提供六自由度的输入值，即将输入值转化为三位空间中(x,y,z)坐标轴方向上分量及其旋转(qx,qy,qz)的合成；同样的，该装置还能根据基于物理模拟的虚拟环境中管体与人体器官相互作用产生三自由度的力输出(fx,fy,fz)。在本发明的一个具体实施例中，所述触觉反馈器件93采用美国SensAbleTechnologies公司的PhantomOmni系列产品。在整个教学过程中，学员须手持该机械臂的前端并在三维空间上施加力，施加力的动作将被触觉反馈器件93上配备的触觉反馈传递单元42记录并同步传递至计算机主机91，利用上述碰撞检测探测与变形运算机制，计算机主机91得到操作者施加应力时所相应感受到的反作用力，该反作用力反馈至触觉反馈器件93，触觉反馈传递单元42根据触觉反馈信息通过虚拟鼻胃管对操作者施加反作用力，操作者可以感受到近似于临床操作时插管动作的用力情况。
在本发明的一个实施例中，所述虚拟人体模块2还包括生理学单元23，用于再现所述虚拟鼻胃管的放置过程中所述虚拟人体解剖学结构所产生的生理变化。该模块所产生插管期间虚拟病人的生理反馈，是基于描述性模型或数学模型。比如，当学员引导虚拟病人小口喝水并下咽，操作者以语音的方式向用户界面4下达指令并由语音输入单元44接收后，指令识别单元24接收并识别该语音指令并以减小通道摩擦及关闭会厌的形式同步做出反应。生理学单元23亦将对虚拟食道的变形产生信号以模拟蠕动式的输送。当鼻胃管到达咽喉附近的梗塞区域，向前放置过程将被阻碍，碰撞检测引擎传递信息至决定阻塞程度的模块，连同血氧饱和度、血压和脉搏率，综合上述数据，由用户界面4的语音输出单元43相应产生咳嗽和窒息声效。在鼻胃管放置临床过程中，护士与患者之间的沟通与协作是必不可少的。为此，系统利用个人计算机操作系统附带的语音识别程序来有效识别学员所发出的语音指令，学员以此来与虚拟病人完成语音互动。通常来说，鼻胃管放置过程中指令识别单元24主要识别的对象仅针对标准指令，系统还提供语音反馈，例如，咳嗽或者窒息的声效，用以警示学员虚拟患者当前的生理状况。
传统的教授鼻胃管放置是一种针对小组学生所进行的学徒式的训练，尽管训练非常必要，但往往效率低下。尽管基于高度仿真的物理模型及模拟器的训练方法已经实现，但其成本仍然无法降低，且极大程度上依赖于导师的监督并辅助每个学生，其实质是一个一对一或一对少数几个的教学模式，学生不能在自由选择时间加以实践。而在本发明的一个实施例中，所述用于鼻胃管操作实训的智能沉浸式教学系统还包括表现评估模块5，用于记录所述虚拟鼻胃管的放置过程中所述操作者的若干个学习表现数据并根据所述学习表现数据实现表现评估，所述学习表现数据存储于系统数据库1。根据临床训练的需要，教学系统提供了四种主要的评价参数用于对学院进行量化能力评估，包括：(a)鼻胃管放置任务总耗时，(b)管体停留在通道各不同区间的分区耗时，(c)鼻胃管放置过程中对通道施加的应力，以及(d)管体在通道中的运动轨迹。上述数据，以及通过在上述数据中加以提取的区分性性质，将被用作智能评分系统的输入参数。表现评估模块5设置的初衷在于增加鼻胃管放置操作的机会。为了达到自主练习，引入了智能评价模块为学员的表现进行智能评估，即使导师无法现场指导，利用智能计算技术所开发的自动评价系统为学员提供一个考核分数，以反映他们在操作过程中的总体表现。由于本发明的教学系统可以安装在市面上销售的一系列通用个人电脑平台上，其硬件层面的要求极低，使得学员可以在任何时间、任何地点实现自主练习，自我评估。上述所有表现参数将存储于系统数据库1中，便于管理者对教学进度进行监控。
本发明的建模开发主要针对鼻胃管放置的手工操作模拟，其构造方法同样适用于多种类型的临床手工操作学习，如直肠镜放置，气管插管教学等，皆在本发明的保护范围之列。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (7)
1.一种用于鼻胃管操作实训的智能沉浸式教学系统，其特征在于，包括以下部分：
系统数据库(1)，用于存储人体解剖学结构、虚拟场景内的三维几何模型以及操作者的学习表现数据；
虚拟人体模块(2)，用于构建所述虚拟人体解剖学结构，所述虚拟人体模块(2)包括：
碰撞检测单元(21)，用于实时确定虚拟鼻胃管在虚拟人体中的位置，探测所述虚拟鼻胃管与所述虚拟人体解剖学结构之间的碰撞；
变形单元(22)，用于计算所述虚拟鼻胃管与所述虚拟人体解剖学结构之间的碰撞力度大小及所述人体解剖学结构的物理变形程度；
生理学单元(23)，用于再现所述虚拟鼻胃管的放置过程中所述虚拟人体解剖学结构所产生的生理变化；
反馈信息生成模块(3)，用于根据所述虚拟鼻胃管在所述虚拟人体中的位置，所述虚拟鼻胃管与所述虚拟人体解剖学结构之间的碰撞力度大小及所述人体解剖学结构的物理变形程度生成反馈信息；
用户界面(4)，用于在所述虚拟鼻胃管放置操作过程中实现所述操作者与虚拟患者之间信息交互；
所述用户界面(4)包括：
语音输出单元(43)，用于根据所述生理变化向所述操作者反馈虚拟患者语音信息；语音输入单元(44)，用于识别所述操作者对所述虚拟患者所下达的标准指令，使得所述生理学单元(23)根据所述标准指令产生相应的生理变化；
其中，所述变形单元(22)中对碰撞力度大小及人体解剖学结构的物理变形程度的计算基于质点弹簧模型(Mass-Spring Model，MSM)以及有限单元法(Finite Element Model,FEM)进行运算；所述虚拟人体解剖学结构为不可压缩且各项异性的非线性弹性材料，假塑性(Pseudo-Plasticity)以及大幅形变特性应用于所述虚拟人体解剖学结构的食道构造中；双向线性弹簧的多层质点弹簧模型用于模拟真实临床实验中人体生理组织的非线性及异质性特性；
其中，力传递模型(Force Propagation Model,FPM)，一种质点弹簧模型的特例变体，应用于实时互动模拟所述虚拟人体解剖学结构的生物力学特性；
其中，在所述碰撞检测单元(21)中，基于轴对齐矩形边界框(Axis-aligned BoundingBoxes,AABB)的边界球体应用于基于质点弹簧模型的缝合变形模拟，并且快速碰撞检测通过分割包含虚拟透镜的空间实现，所述包含虚拟透镜的空间利用所述轴对齐矩形边界框，基于八叉树三维数据结构算法进行空间计算，从而实现鼻胃管在虚拟人体中的精确定位，并且实现两者之间的相互碰撞及快速探测；
其中，所述生理学单元(23)所产生插管期间虚拟病人的生理反馈是基于描述性模型或者数学模型建模而成， 操作者以语音方式向用户界面(4)下达指令，指令识别单元(24)接收并识别该语音指令并以减小通道摩擦及关闭会厌的形式同步作出反应；生理学单元(23)对虚拟食道的变形产生信号，并模拟食道变形蠕动；当鼻胃管到达咽喉附近的哽塞区域并遇到阻碍时，所述碰撞检测单元(21)传递信息至决定阻塞的模块，由用户界面(4)的语音输出单元(43)相应产生咳嗽和窒息生效。
2.根据权利要求1所述的用于鼻胃管操作实训的智能沉浸式教学系统，其特征在于，所述反馈信息生成模块(3)包括：
图像反馈信息生成单元(31)，用于生成反映虚拟鼻胃管在虚拟人体中的位置，所述虚拟鼻胃管与所述虚拟人体解剖学结构之间的碰撞力度大小及所述人体解剖学结构的物理变形程度的图像反馈信息；
所述用户界面(4)包括：
图像反馈显示单元(41)，用于根据所述图像反馈信息生成所述虚拟鼻胃管在所述虚拟人体中的放置过程透视图。
3.根据权利要求1所述的用于鼻胃管操作实训的智能沉浸式教学系统，其特征在于，所述反馈信息生成模块(3)包括：
触觉反馈信息生成单元(32)，用于生成反映所述虚拟鼻胃管与所述虚拟人体解剖学结构之间的碰撞及碰撞力度大小的触觉反馈信息；
所述用户界面(4)包括：
触觉反馈传递单元(42)，用于传递所述虚拟鼻胃管放置操作过程中所述操作者对所述虚拟鼻胃管所施加的作用力，以及根据所述触觉反馈信息重构所述虚拟鼻胃管对所述操作者所施加的反作用力。
4.根据权利要求1所述的用于鼻胃管操作实训的智能沉浸式教学系统，其特征在于，所述系统还包括以下部分：
表现评估模块(5)，用于记录所述虚拟鼻胃管的放置过程中所述操作者的所述学习表现数据并根据所述学习表现数据实现表现评估，所述学习表现数据存储于所述系统数据库(1)。
5.根据权利要求4所述的用于鼻胃管操作实训的智能沉浸式教学系统，其特征在于，所述学习表现数据包括下列参数中的一种或多种：鼻胃管放置任务总耗时，所述虚拟鼻胃管停留在各所述人体解剖学结构的分耗时，所述操作者对所述虚拟鼻胃管所施加的作用力，以及所述虚拟鼻胃管的运动轨迹。
6.根据权利要求1所述的用于鼻胃管操作实训的智能沉浸式教学系统，其特征在于，所述虚拟人体模块(2)基于将所述人体解剖学结构以四面体网格的方式进行建模，不同部位的所述人体解剖学结构根据临床鼻胃管放置流程中遇到梗塞的可能性大小差异而具有不同的建模分辨率。
7.一种运行如权利要求1-6任一所述的用于鼻胃管操作实训的智能沉浸式教学系统的装置，其特征在于，包括以下部分：
计算机主机(91)，用于安装并运行系统数据库(1)，虚拟人体模块(2)，反馈信息生成模块(3)以及表现评估模块(5)；
显示器(92)，用于向操作者展示用户界面(4)；
触觉反馈器件(93)，用于传递虚拟鼻胃管放置操作过程中所述操作者对所述虚拟鼻胃管所施加的作用力及所述虚拟鼻胃管对所述操作者所施加的反作用力。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410220519.0A CN105096670B (zh) | 2014-05-23 | 2014-05-23 | 一种用于鼻胃管操作实训的智能沉浸式教学系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410220519.0A CN105096670B (zh) | 2014-05-23 | 2014-05-23 | 一种用于鼻胃管操作实训的智能沉浸式教学系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105096670A CN105096670A (zh) | 2015-11-25 |
| CN105096670B true CN105096670B (zh) | 2018-07-06 |
Family
ID=54576981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410220519.0A Active CN105096670B (zh) | 2014-05-23 | 2014-05-23 | 一种用于鼻胃管操作实训的智能沉浸式教学系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105096670B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106200982A (zh) * | 2016-07-26 | 2016-12-07 | 南京意斯伽生态科技有限公司 | 一种基于虚拟现实技术的医学手术训练系统 |
| CN106293082A (zh) * | 2016-08-05 | 2017-01-04 | 成都华域天府数字科技有限公司 | 一种基于虚拟现实的人体解剖交互系统 |
| CN106920452A (zh) * | 2017-03-31 | 2017-07-04 | 张小来 | 一种运用虚拟仿真呼吸机的教学训练系统及方法 |
| CN107633724B (zh) * | 2017-09-18 | 2021-04-20 | 南京梦宇三维技术有限公司 | 基于动作捕捉的听诊训练系统 |
| CN107527542B (zh) * | 2017-09-18 | 2020-09-08 | 南京梦宇三维技术有限公司 | 基于动作捕捉的叩诊训练系统 |
| CN109118834A (zh) * | 2018-07-12 | 2019-01-01 | 广东工业大学 | 一种虚拟种植牙手术训练系统 |
| CN110738889A (zh) * | 2018-07-19 | 2020-01-31 | 苏州敏行医学信息技术有限公司 | 肠胃减压术智能训练方法及系统 |
| CN109935129A (zh) * | 2019-03-28 | 2019-06-25 | 福建水立方三维数字科技有限公司 | 鼻饲操作训练装置 |
| CN110265149B (zh) * | 2019-06-26 | 2021-11-12 | 西安科技大学 | 基于改进的质点弹簧模型的牙龈软组织形变仿真方法 |
| CN110969705B (zh) * | 2019-11-29 | 2023-11-14 | 上海青鸿教育科技有限公司 | 一种学前脑力强化结合智能评估的训练系统、方法及介质 |
| CN111540380B (zh) * | 2020-04-20 | 2023-07-07 | 深圳妙创医学技术有限公司 | 临床训练系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5791907A (en) * | 1996-03-08 | 1998-08-11 | Ramshaw; Bruce J. | Interactive medical training system |
| CN1488127A (zh) * | 2001-01-24 | 2004-04-07 | ��±���ѧ��ƿ�ѧ�ɷݹ�˾ | 模拟外科过程的方法和系统 |
| JP2005043644A (ja) * | 2003-07-22 | 2005-02-17 | Gifu Univ | リハビリテーション訓練技術教育装置 |
| CN101320526A (zh) * | 2008-07-11 | 2008-12-10 | 深圳先进技术研究院 | 一种手术预测和训练的设备及其方法 |
| CN101996507A (zh) * | 2010-11-15 | 2011-03-30 | 罗伟 | 构建外科虚拟手术教学及训练系统的方法 |
-
2014
- 2014-05-23 CN CN201410220519.0A patent/CN105096670B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5791907A (en) * | 1996-03-08 | 1998-08-11 | Ramshaw; Bruce J. | Interactive medical training system |
| CN1488127A (zh) * | 2001-01-24 | 2004-04-07 | ��±���ѧ��ƿ�ѧ�ɷݹ�˾ | 模拟外科过程的方法和系统 |
| JP2005043644A (ja) * | 2003-07-22 | 2005-02-17 | Gifu Univ | リハビリテーション訓練技術教育装置 |
| CN101320526A (zh) * | 2008-07-11 | 2008-12-10 | 深圳先进技术研究院 | 一种手术预测和训练的设备及其方法 |
| CN101996507A (zh) * | 2010-11-15 | 2011-03-30 | 罗伟 | 构建外科虚拟手术教学及训练系统的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105096670A (zh) | 2015-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105096670B (zh) | 一种用于鼻胃管操作实训的智能沉浸式教学系统及装置 | |
| US11361516B2 (en) | Interactive mixed reality system and uses thereof | |
| Liu et al. | A survey of surgical simulation: applications, technology, and education | |
| Tendick et al. | A virtual environment testbed for training laparoscopic surgical skills | |
| Basdogan et al. | VR-based simulators for training in minimally invasive surgery | |
| Choi et al. | A virtual reality based simulator for learning nasogastric tube placement | |
| US20080050711A1 (en) | Modulating Computer System Useful for Enhancing Learning | |
| CN109637252A (zh) | 一种神经外科虚拟手术训练系统 | |
| Cheng et al. | Application of DenTeach in remote dentistry teaching and learning during the COVID-19 pandemic: a case study | |
| Wang et al. | Development of a microsurgery training system | |
| He et al. | Robotic simulators for tissue examination training with multimodal sensory feedback | |
| Lamata et al. | Conceptual framework for laparoscopic VR simulators | |
| Riener et al. | VR for medical training | |
| Srikong et al. | Immersive technology for medical education: Technology enhance immersive learning experiences | |
| Fager et al. | The use of haptics in medical applications | |
| JP2014134762A (ja) | 歯科用マネキン・シミュレーション装置およびシステム | |
| Pereira Santos et al. | Embodied Agents for Obstetric Simulation Training | |
| Radetzky et al. | Elastodynamic shape modeler: A tool for defining the deformation behavior of virtual tissues | |
| Lam et al. | A review of computer-generated simulation in the pedagogy of cataract surgery training and assessment | |
| Reis et al. | A framework for simulation systems and technologies for medical training | |
| Oropesa et al. | Virtual reality simulators for objective evaluation on laparoscopic surgery: current trends and benefits | |
| Moore et al. | The interactive medical simulation toolkit (iMSTK): an open source platform for surgical simulation | |
| Eriksson | Haptic Milling Simulation in Six Degrees-of-Freedom: With Application to Surgery in Stiff Tissue | |
| Rasakatla et al. | Robotic Surgical training simulation for dexterity training of hands and fingers (LESUR) | |
| Westwood | A virtual reality throat examination simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |