CN117334111A - 一种气道管理教学系统及其应用方法 - Google Patents
一种气道管理教学系统及其应用方法 Download PDFInfo
- Publication number
- CN117334111A CN117334111A CN202311280201.7A CN202311280201A CN117334111A CN 117334111 A CN117334111 A CN 117334111A CN 202311280201 A CN202311280201 A CN 202311280201A CN 117334111 A CN117334111 A CN 117334111A
- Authority
- CN
- China
- Prior art keywords
- airway
- teaching
- reality display
- virtual
- expansion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000003190 augmentative effect Effects 0.000 claims abstract description 50
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 230000000694 effects Effects 0.000 claims abstract description 22
- 238000005516 engineering process Methods 0.000 claims description 46
- 238000010276 construction Methods 0.000 claims description 15
- 230000003993 interaction Effects 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 12
- 239000007787 solid Substances 0.000 claims description 11
- 230000008673 vomiting Effects 0.000 claims description 10
- 230000000740 bleeding effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000016776 visual perception Effects 0.000 claims description 8
- 206010047700 Vomiting Diseases 0.000 claims description 6
- 206010003497 Asphyxia Diseases 0.000 claims description 5
- 206010021143 Hypoxia Diseases 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 208000014674 injury Diseases 0.000 claims description 5
- 230000008733 trauma Effects 0.000 claims description 5
- 210000004916 vomit Anatomy 0.000 claims description 5
- 206010028980 Neoplasm Diseases 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 230000007954 hypoxia Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000001575 pathological effect Effects 0.000 claims description 4
- 230000000472 traumatic effect Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 abstract description 8
- 238000004088 simulation Methods 0.000 description 13
- 208000032843 Hemorrhage Diseases 0.000 description 8
- 210000000214 mouth Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000004438 eyesight Effects 0.000 description 5
- 208000034158 bleeding Diseases 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 206010002660 Anoxia Diseases 0.000 description 1
- 241000976983 Anoxia Species 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000007953 anoxia Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002695 general anesthesia Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005399 mechanical ventilation Methods 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000002627 tracheal intubation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- Medicinal Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明适用于医学教育技术领域，提供了一种气道管理教学系统及其应用方法，所述系统包括：教学输入模块、空间计算模块、气道管理工具模块、工具姿态感知模块和扩展现实显示模块，所述教学输入模块，响应于教学者输入或预设的教案，确定教案所需的教学环境及其扩展表示方式；该扩展表示方式包括：虚拟现实显示、增强现实显示、混合现实显示；所述空间计算模块，基于确定的教学环境，在指定的扩展现实空间视场，建立支持气道扩展现实显示的气道扩展模型，和/或生成气道管理工具的加载请求；本发明实现气道管理操作的虚拟现实显示示教、混合现实的显示示教、气道管理操作的混合现实显示的实时反馈指导，达到提升气道管理教学培训的效果。
Description
技术领域
本发明属于医学教育技术领域，尤其涉及一种气道管理教学系统及应用方法。
背景技术
气道管理是指在全麻、急救、危重患者诊疗中，因病情或手术需要进行人工通气，建立、实施、撤除人工机械通气或人工辅助通气的过程。人工气道主要是通过一根导管经过患者的口腔、鼻腔或气管切开路径直接进入人体器官中所建立的一个气体通道。
当前，现有技术气道管理训练系统利用机械上复杂的患者模型，该患者模型包括多个电机和相关致动器以及复杂的模型结构特征，以使患者模型尽可能逼真。
由上可知，现有的气道管理教学模型，为了使模型尽可能逼真，导致了模型结构复杂；同时，模型的教学训练模式刻板、效果差，教学演示效果差，受众小；亟需一种气道管理教学系统来教学。
发明内容
本发明实施例的目的在于提供一种气道管理教学系统及应用方法，基于混合现实显示、虚拟现实显示技术，建立气道管理教学系统，实现气道管理操作的虚拟现实显示示教、气道管理混合现实的显示示教、气道管理操作的混合现实显示的实时反馈指导，达到简化继续结构复杂度、提升受众范围和提升气道管理教学培训的效果。
本发明实施例是这样实现的，一种气道管理教学系统，所述气道管理教学系统包括：教学输入模块、空间计算模块、气道管理工具模块、工具姿态感知模块和扩展现实显示模块；
所述教学输入模块，响应于教学者输入或预设的教案，确定教案所需的教学环境及其扩展表示方式；该扩展表示方式包括：虚拟现实显示、增强现实显示、混合现实显示；
所述空间计算模块，基于确定的教学环境，在指定的扩展现实空间视场，建立支持气道扩展现实显示的气道扩展模型，和/或生成气道管理工具的加载请求，及融合加载的气道管理工具与气道扩展模型；
所述气道管理工具模块，响应于所述气道管理工具的加载请求，在所述扩展现实空间视场中，构建与教案关联的气道管理工具；
所述工具姿态感知模块，可实时感知所述气道管理工具在所述扩展现实空间视场中的位置、姿态信息；
所述扩展现实显示模块，能够根据确定的扩展表示方式，将所述气道扩展模型进行扩展现实显示，或将所述气道扩展模型、所述气道管理工具进行扩展现实显示；
所述扩展现实显示模块，还能够根据所述气道管理工具在所述气道扩展模型中的位置变化进行教学过程的交互、教学效果的反馈。
优选地，所述教案包括演示气道、气道场景、气道管理工具，及气道管理工具在气道或气道场景中的应用；
其中，所述气道包括：张口受限气道、口腔肿瘤气道、狭窄气道、出血污染气道、呕吐物污染气道、喉痉挛气道、支气管痉挛气道、创伤气道；
所述气道场景包括：气道出血、呕吐、气道创伤、窒息缺氧；
所述气道管理工具包括：气道管理实体工具和气道管理虚拟工具；所述气道管理实体工具包括：喉镜、视频喉镜、插管光棒、气管导管、喉罩、口咽通气道、鼻咽通气道；气道管理虚拟工具包括：虚拟喉镜、虚拟视频喉镜、虚拟插管光棒、虚拟气管导管、虚拟喉罩、虚拟口咽通气道、虚拟鼻咽通气道。
优选地，所述空间计算模块包括：空间坐标系构建单元、气道构建单元、虚拟与真实标定单元、气道管理工具加载单元；
所述空间坐标系构建单元，用于构建所述的扩展现实空间视场；
所述气道构建单元，基于确定的教学环境，在指定的扩展现实空间视场，建立支持气道扩展现实显示的气道扩展模型；
所述虚拟与真实标定单元，能够通过预先选定的标志点对齐所述的扩展现实空间视场与气道扩展模型；
所述气道管理工具加载单元，用于生成所述气道管理工具的加载请求。
优选地，所述空间计算模块还包括：气道参数调节单元；
所述气道参数调节单元，基于接收的调节请求，对气道扩展模型中的气道场景进行调节，以及对气道解剖特征点的不同气道特征参数进行调节；
其中，气道特征参数包括：舌体厚度、甲颏距离、仰头角度、张口度。
优选地，所述工具姿态感知模块包括：三维视觉感知单元、位置跟踪单元；
所述三维视觉感知单元，基于机器视觉和空间计算，结合预设的气道管理工具三维参数，获取气道管理工具的第一部分位置信息；
所述位置跟踪单元，用于通过监测预设在气道管理工具上的跟踪点的位置信息来获取气道管理工具的第二部分位置信息，进而感知所述气道管理工具在所述扩展现实空间视场中的位置、姿态信息。
优选地，所述扩展现实显示模块包括：虚拟现实显示单元、混合现实显示单元；
所述混合现实显示单元，基于混合现实显示技术，实现气道扩展模型和气道管理虚拟工具的视觉融合、显示；
所述虚拟现实显示单元，基于虚拟现实显示技术，实现教学者在气道管理虚拟工具上实施气道管理的操作。
优选地，所述气道扩展模型包括气道实体模型、气道虚拟模型。
本发明提供了一种气道管理教学系统的应用方法，所述方法包括以下步骤：
通过气道扩展模型对正常及病理性虚拟气道的扩展现实显示，进行气道的教学；
通过对气道管理工具的扩展现实显示，进行气道管理工具的教学；
以及，基于虚拟现实显示、混合现实显示及其结合，在气道扩展模型上操作气道管理工具，并进行虚拟、现实和人的交互。
优选地，其中，所述扩展现实显示包括虚拟现实显示、增强现实显示和混合现实显示。
本发明实施例提供的一种气道管理教学系统，该系统相比现有技术具有以下有益效果：在进行气道、气道管理工具教学时，利用了虚拟现实显示技术、混合现实显示技术，实现气道管理操作的虚拟现实显示示教、气道管理混合现实的显示示教、气道管理操作的混合现实显示的实时反馈指导，达到提升气道管理教学培训的效果。
附图说明
图1为本发明实施例提供的一种气道管理教学系统的结构框图；
图2为一个实施例中工具姿态感知模块的结构框图；
图3为一个实施例中空间计算模块的结构框图；
图4为另一个实施例中空间计算模块的结构框图；
图5为一个实施例提供的一种气道管理教学系统的应用方法的流程图；
图6为本发明实施例提供的一种气道管理教学系统的工作流程图；
图7为本发明实施例提供的另一种气道管理教学系统的工作流程图；
图8为一个实施例中计算机设备的结构框图。
图中：教学输入模块100、空间计算模块200、气道管理工具模块300、工具姿态感知模块400、扩展现实显示模块500。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
名词解释：
虚拟现实显示技术(Virtual Reality，VR)，囊括计算机、电子信息、仿真技术，其基本实现方式是以计算机技术为主，利用并综合三维图形技术、多媒体技术、仿真技术、显示技术、伺服技术等，借助计算机等设备和显示设备，产生一个逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世界，从而使处于虚拟世界中的人产生一种身临其境的感觉。
混合现实显示技术(Mixed Reality，MR)：是虚拟现实技术(AR)、增强现实技术(VR)的进一步发展，该技术通过在现实场景环境中引入虚拟信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以实现虚拟和现实的信息交互。
扩展现实显示技术(Extended Reality，简称XR)，是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，这也是AR、VR、MR等多种技术的统称。
XR(扩展现实)技术包含了AR(增强现实)、VR(虚拟现实)、MR(混合现实)，利用硬件设备结合多种技术手段，将虚拟的内容和真实场景融合。
空间计算(Spatial Computing)：利用空间原则优化物理空间信息分布式计算的原理和方法，捕获、处理各种3D数据及交互计算的方法，实现科学参数之间的时间与空间交互。
图1为本发明实施例提供的一种气道管理教学系统的结构框图，具体可以包括：教学输入模块100、空间计算模块200、气道管理工具模块300、工具姿态感知模块400和扩展现实显示模块500；
所述教学输入模块100，响应于教学者输入或预设的教案，确定教案所需的教学环境及其扩展表示方式；该扩展表示方式包括：虚拟现实显示、增强现实显示、混合现实显示；
所述空间计算模块200，基于确定的教学环境，在指定的扩展现实空间视场，建立支持气道扩展现实显示的气道扩展模型，和/或生成气道管理工具的加载请求，及融合加载的气道管理工具与气道扩展模型；
所述气道管理工具模块300，响应于所述气道管理工具的加载请求，在所述扩展现实空间视场中，构建与教案关联的气道管理工具；
所述工具姿态感知模块400，可实时感知所述气道管理工具在所述扩展现实空间视场中的位置、姿态信息；
所述扩展现实显示模块500，能够根据确定的扩展表示方式，将所述气道扩展模型进行扩展现实显示，或将所述气道扩展模型、所述气道管理工具进行扩展现实显示；
所述扩展现实显示模块500，还能够根据所述气道管理工具在所述气道扩展模型中的位置变化进行教学过程的交互、教学效果的反馈。
本实施例中，所述的教学输入模块100，可以选择苹果公司的Vision Pro、微软公司的HoloLens；也可以选择其他具有相似功能的电子设备或穿戴设备。其中的所述气道扩展模型包括气道实体模型、气道虚拟模型。在混合现实显示气道管理模拟教学应用时，对气道实体模型、气道虚拟模型进行空间坐标融合，对气道管理工具的位置姿态信息与气道虚拟模型进行空间坐标融合，实现混合现实显示的气道管理教学效果。在虚拟现实显示气道管理模拟教学应用时，对气道管理虚拟工具的位置姿态信息与气道虚拟模型进行空间坐标融合，实现虚拟操作演示的视觉效果；此外，通过教学输入模块100配置的手势识别与控制技术，实现气道管理虚拟工具的选择与虚拟操作。如此，利用了虚拟现实显示技术、混合现实显示技术，实现气道管理操作的虚拟现实显示示教、气道管理混合现实的显示示教、气道管理操作的混合现实显示的实时反馈指导，达到提升气道管理教学培训的效果。
在本实施例的一个示例中，所述气道管理工具包括：气道管理实体工具和气道管理虚拟工具。
在本实施例的一个示例中，所述教案包括演示气道、气道场景、气道管理工具，及气道管理工具在气道或气道场景中的应用；
其中，所述气道包括：张口受限气道、口腔肿瘤气道、狭窄气道、出血污染气道、呕吐物污染气道、喉痉挛气道、支气管痉挛气道、创伤气道；
所述气道场景包括：气道出血、呕吐、气道创伤、窒息缺氧；
所述气道管理工具包括：气道管理实体工具和气道管理虚拟工具；所述气道管理实体工具包括：喉镜、视频喉镜、插管光棒、气管导管、喉罩、口咽通气道、鼻咽通气道；气道管理虚拟工具包括：虚拟喉镜、虚拟视频喉镜、虚拟插管光棒、虚拟气管导管、虚拟喉罩、虚拟口咽通气道、虚拟鼻咽通气道。
如图3所示，在一个实施例中，所述空间计算模块200包括：空间坐标系构建单元210、气道构建单元220、虚拟与真实标定单元230、气道管理工具加载单元240；
所述空间坐标系构建单元210，用于构建所述的扩展现实空间视场；
所述气道构建单元220，基于确定的教学环境，在指定的扩展现实空间视场，建立支持气道扩展现实显示的气道扩展模型；
所述虚拟与真实标定单元230，能够通过预先选定的标志点对齐所述的扩展现实空间视场与气道扩展模型；
该预先选定的标志点，主要为患者身体的相对稳定的解剖标志点、患者身体附近环境标志点中的至少一种。
所述气道管理工具加载单元240，用于生成所述气道管理工具的加载请求。
本实施例中，所述空间坐标系构建单元210构建的扩展现实空间视场，相对于现实与虚拟，具有统一的虚拟空间坐标系，在扩展现实空间视场中，能够定义气道扩展模型在坐标系中的位置。
其中的气道构建单元220，是一种计算机程序，该计算机程序设置有数据调用接口，能够调用大量的现有基础模型，在基础模型上快速建立气道扩展模型；气道扩展模型可以真实地模拟人体气道解剖特特点；气道解剖特特点中进行数值量化处理，设可调节的不同气道特征参数。
其中，现有基础模型，包括一些虚拟气道三维图形，即可提供丰富的正常及病理性气道三维图形，包括：张口受限气道，口腔肿瘤气道，狭窄气道，出血污染气道，呕吐物污染气道，喉痉挛气道，支气管痉挛气道，创伤气道；及提供丰富的临床气道管理模拟场景模拟，包括：气道出血、呕吐、气道创伤，窒息缺氧等。
气道管理工具加载单元240在作用时，已经预先将气道管理工具库挂载到气道构建单元220，气道管理工具库提供丰富的气道管理实体工具和气道管理虚拟工具，气道管理实体工具，包括：喉镜，视频喉镜，插管光棒，气管导管，喉罩，口咽通气道，鼻咽通气道；气道管理虚拟工具，包括虚拟喉镜，虚拟视频喉镜，虚拟插管光棒，虚拟气管导管，虚拟喉罩，虚拟口咽通气道，虚拟鼻咽通气道。
因此，在所述教学输入模块100响应于教学者输入或预设的教案，确定教案所需的教学环境及其扩展表示方式的步骤时，教案包含上述的气道管理实体工具和气道管理虚拟工具的教学，则可以加载相关工具，构成所需的教学环境；
例如：喉镜，以混合现实显示的方式进行教学，或以增强现实显示的方式进行教学；
气道出血、呕吐、气道创伤，窒息缺氧等，以混合现实显示的方式进行教学；
呕吐物污染气道，以增强现实显示的方式进行教学；
虚拟喉镜、虚拟喉罩等，以虚拟现实显示的方式进行教学。
不同的教学环境，可能其扩展表示方式是不一样的，但是，本实施例的方案可以提供丰富的教学环境，以及与教学环境相关的扩展表示方式，例如虚拟现实显示、增强现实显示、混合现实显示，以及任一方式的切换、混搭，如此，可以根据教学效果进行灵活的选择。
在一个实施例中，所述空间计算模块200，构建所述的扩展现实空间视场后，可以定义气道虚拟模型(气道扩展模型的一种)在扩展现实空间视场(或虚拟空间坐标系)中的位置；可对气道管理虚拟工具的位置姿态信息与气道虚拟模型进行空间坐标融合，实现虚拟操作演示视觉效果；通过手势识别与控制技术(可以配置在教学输入模块100中)，实现气道管理虚拟工具的选择与虚拟操作。
所述空间计算模块200，还可以与工具姿态感知模块400协同，即根据工具姿态感知模块400感知的相关工具的信息，计算气道管理工具在虚拟空间坐标系中的位置和姿态；对气道管理工具中的气道管理实体工具和气道管理虚拟工具进行空间坐标融合，对气道管理工具的位置姿态信息与气道扩展模型(包括气道实体模型、气道虚拟模型)进行空间坐标融合，实现混合现实显示气道管理导航教学效果。
之后，通过扩展现实显示模块500，利用混合现实显示技术，实现气道管理实体工具和气道管理虚拟工具的视觉融合；还可通过混合现实显示技术，实现气道管理工具在气道扩展模型中的实体气道模型和虚拟气道模型(即气道实体模型、气道虚拟模型)的空间视觉实时融合显示，实现气道管理模拟导航的教学效果。
如图4所示，在一个实施例中，所述空间计算模块200还包括：气道参数调节单元250；
所述气道参数调节单元250，基于接收的调节请求，对气道扩展模型中的气道场景进行调节，以及对气道解剖特征点的不同气道特征参数进行调节；
其中，气道特征参数包括：舌体厚度、甲颏距离、仰头角度、张口度。
通过设置的气道参数调节单元250的舌体厚度、甲颏距离、仰头角度、张口度进行调节，并且，在调节后可以反映到扩展现实显示上。
此外，可以通过该气道参数调节单元250，模拟调节气道管理场景，例如对气道出血、呕吐、窒息等的调节和模拟。
上述，通过气道参数调节单元250对气道参数的调节，可以提供临床气道的多种模拟场景，提供多种的气道管理模拟场景。
本实施例中，所述的气道管理工具库中，可以年龄、性别、身高、体重等身体参数建立目录，主要以年龄、性别为主，针对不同的目录项，对应的初始虚拟三维模型中的尺寸或形状会有不同，以便于更真实的与真实气道吻合。
当然，抽取的初始虚拟三维模型，即使与真实气道存在不同，也可以通过气道参数调节单元250或空间计算模块200对虚拟三维模型进行尺寸矫正，使其与患者真实气道尺寸对应。
如图2所示，在一个实施例中，所述工具姿态感知模块400包括：三维视觉感知单元410、位置跟踪单元420；
所述三维视觉感知单元410，基于机器视觉和空间计算，结合预设的气道管理工具三维参数，获取气道管理工具的第一部分位置信息；
所述位置跟踪单元420，用于通过监测预设在气道管理工具上的跟踪点的位置信息来获取气道管理工具的第二部分位置信息，进而感知所述气道管理工具在所述扩展现实空间视场中的位置、姿态信息。
本实施例中，所述三维视觉感知单元410配置为：
通过光学辅助器件、磁定位辅助器件标记气道管理工具实体模型，使其可被定位追踪；
光学辅助器件可以选择一些进行视觉成像、拍摄的摄像头、相机等，磁定位辅助器件包括磁铁、磁感应器等，磁铁设置在气道管理工具的实体模型上，磁感应器用于通过与磁铁之间的磁场感应监测或感知磁铁的位置、姿态，进而感知气道管理工具的实体模型在气道扩展模型中的位置、姿态。
位置跟踪单元420配置为：通过位置姿态感知定位技术，实时感知气道管理模型的位置、姿态；通过位置姿态感知定位技术，实时感知气道管理工具的位置、姿态。
上述实施例中，其中的气道管理工具的第一部分，指的是气道管理工具未插入口/鼻内的部分；气道管理工具的第二部分，指的是气道管理工具插入口/鼻内的部分。
三维视觉感知单元410、位置跟踪单元420可以采用空间定位技术，例如：红外光学技术、双目技术、结构光技术、磁定位技术，对应的设备是红外成像设备、双目相机、TOF相机、磁定位仪；
下面以磁定位技术为例进行说明：
在气道管理工具需插入气道的尖端部分设置磁信号定位辅助器件，例如磁电偶、磁铁等，通过磁定位技术跟踪气道管理工具的尖端在患者气道中的位置，再根据磁定位技术跟踪的数据计算气道管理工具插入气道的尖端部分的整体位置；结合获取或监测得到的软质气道管理工具的位置、姿态，即可得到完整的气道管理工具的位置、姿态信息。
在一个实施例中，所述扩展现实显示模块500包括：虚拟现实显示单元、混合现实显示单元；
所述混合现实显示单元，基于混合现实显示技术，实现气道扩展模型和气道管理虚拟工具的视觉融合、显示；
所述虚拟现实显示单元，基于虚拟现实显示技术，实现教学者在气道管理虚拟工具上实施气道管理的操作。
可以理解的是，上述的混合现实显示技术、虚拟现实显示技术是现有技术，在此不再详述。
如图5所示，在另一个实施例中，提供了一种气道管理教学系统的应用方法，所述方法包括以下步骤：
S202、通过气道扩展模型对正常及病理性虚拟气道的扩展现实显示，进行气道的教学；
S204、通过对气道管理工具的扩展现实显示，进行气道管理工具的教学；
S206、基于虚拟现实显示、混合现实显示及其结合，在气道扩展模型上操作气道管理工具，并进行虚拟、现实和人的交互。
其中，所述扩展现实显示包括虚拟现实显示、增强现实显示和混合现实显示。
本实施例的一个示例中，上述步骤S202-S206的第一具体方面，该应用方法由气道管理教学系统根据操作者的指令执行，包括：
确定目标气道模型类型，气道实体模型、气道虚拟模型的其中之一；
确定目标气道管理工具类型；
获取操作者的手势信息，通过手势控制技术操作气道管理工具在目标虚拟气道模型进行气道管理操作的虚拟数据；
根据虚拟数据，通过扩展现实显示模块500和空间计算模块200，实时显示气道管理工具与气道模型的位置关系，实时显示操作者的气道管理操作过程和操作效果。
本实施例的一个示例中，上述步骤S202-S206的第二具体方面，该应用方法由气道管理教学系统根据操作者的指令执行，包括：
在教学输入模块100中确定气道参数和气道管理模拟场景，确定目标气道模型类型；
在气道管理工具模块300中确定气道管理工具类型；
获取操作者应用气道管理工具在气道实体模型上进行气道管理操作的混合现实数据；
根据混合现实数据，空间计算模块200建立统一空间坐标系，把实体气道模型与虚拟气道模型进行空间融合，并通过工具姿态感知模块400反馈的气道管理工具的位置、姿态信息，计算其在坐标系中的位置；
通过扩展现实显示模块500的混合现实显示技术(苹果公司的Vision Pro技术、微软公司的HoloLens技术)，实时显示气道管理工具与虚拟气道模型的位置关系、气道管理工具与实体气道模型的空间位置关系、操作者的气道管理操作过程和操作者气道管理操作效果，实现气道管理模拟导航的教学效果。
在一个示例中，操作者和监视者可以通过扩展现实显示模块500实时观察气道管理工具与虚拟气道模型的位置关系，实时观察气道管理工具与实体气道模型的空间位置关系，实时观察操作者的气道管理操作过程，实时观察操作者气道管理操作效果，实现气道管理模拟导航的教学效果。
综上所述，与现有技术相比，具备以下有益效果：本实施例基于空间位置的感知与计算，利用虚拟现实显示技术、混合现实显示技术，实现气道管理操作的虚拟现实显示示教、气道管理混合现实的显示示教、气道管理操作的混合现实显示的实时反馈指导，达到提升气道管理教学培训的效果。
在本实施例的一个示例中，所述的教学输入模块100，是一种计算机软件程序，设置有手势控制识别接口、人机交互接口，能够将操作者利用手势控制技术、人机交互技术输入的信息进行数字化并传输给空间计算模块200；以便于将虚拟的数字内容(图像、画面、图形等)与真实的气道实体模型进行视觉融合，或与气道虚拟模型进行视觉融合；可以在现有技术的基础上编程实现，现有技术如苹果公司的Vision Pro、微软公司的Hololens 2；例如可通过微软公司的Hololens技术建立扩展现实空间视场，即虚拟三维空间坐标系。
如图6所示，在一个实施例中，一种气道管理教学系统的工作流程，所述工作流程包括以下步骤：
S101、响应于教学者输入或预设的教案，确定教案所需的教学环境及其扩展表示方式；该扩展表示方式包括：虚拟现实显示、增强现实显示、混合现实显示；
S103、基于确定的教学环境，在指定的扩展现实空间视场，建立支持气道扩展现实显示的气道扩展模型，和/或生成气道管理工具的加载请求，及融合加载的气道管理工具与气道扩展模型；
S105、响应于所述气道管理工具的加载请求，在所述扩展现实空间视场中，构建与教案关联的气道管理工具；
S107、实时感知所述气道管理工具在所述扩展现实空间视场中的位置、姿态信息；
S109、根据确定的扩展表示方式，将所述气道扩展模型进行扩展现实显示，或将所述气道扩展模型、所述气道管理工具进行扩展现实显示；
如图6、图7所示，在一个示例中，该工作流程还包括：
S111、根据所述气道管理工具在所述气道扩展模型中的位置变化进行教学过程的交互、教学效果的反馈。
如图8所示，在另一个实施例中，一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述方法的步骤S101至S111。
本实施例提供的一种气道管理教学系统，既能实现虚拟现实显示，又能实现混合现实显示；基于混合现实显示、虚拟现实显示技术，建立气道管理教学系统及应用方法，实现气道管理操作的虚拟现实显示示教、气道管理混合现实的显示示教、气道管理操作的混合现实显示的实时反馈指导，达到提升气道管理教学培训的效果。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种气道管理教学系统，其特征在于，所述气道管理教学系统包括：教学输入模块、空间计算模块、气道管理工具模块、工具姿态感知模块和扩展现实显示模块；
所述教学输入模块，响应于教学者输入或预设的教案，确定教案所需的教学环境及其扩展表示方式；该扩展表示方式包括：虚拟现实显示、增强现实显示、混合现实显示；
所述空间计算模块，基于确定的教学环境，在指定的扩展现实空间视场，建立支持气道扩展现实显示的气道扩展模型，和/或生成气道管理工具的加载请求，及融合加载的气道管理工具与气道扩展模型；
所述气道管理工具模块，响应于所述气道管理工具的加载请求，在所述扩展现实空间视场中，构建与教案关联的气道管理工具；
所述工具姿态感知模块，可实时感知所述气道管理工具在所述扩展现实空间视场中的位置、姿态信息；
所述扩展现实显示模块，能够根据确定的扩展表示方式，将所述气道扩展模型进行扩展现实显示，或将所述气道扩展模型、所述气道管理工具进行扩展现实显示；
所述扩展现实显示模块，还能够根据所述气道管理工具在所述气道扩展模型中的位置变化进行教学过程的交互、教学效果的反馈。
2.根据权利要求1所述的气道管理教学系统，其特征在于，所述教案包括演示气道、气道场景、气道管理工具，及气道管理工具在气道或气道场景中的应用；
其中，所述气道包括：张口受限气道、口腔肿瘤气道、狭窄气道、出血污染气道、呕吐物污染气道、喉痉挛气道、支气管痉挛气道、创伤气道；
所述气道场景包括：气道出血、呕吐、气道创伤、窒息缺氧；
所述气道管理工具包括：气道管理实体工具和气道管理虚拟工具；所述气道管理实体工具包括：喉镜、视频喉镜、插管光棒、气管导管、喉罩、口咽通气道、鼻咽通气道；气道管理虚拟工具包括：虚拟喉镜、虚拟视频喉镜、虚拟插管光棒、虚拟气管导管、虚拟喉罩、虚拟口咽通气道、虚拟鼻咽通气道。
3.根据权利要求1所述的气道管理教学系统，其特征在于，所述空间计算模块包括：空间坐标系构建单元、气道构建单元、虚拟与真实标定单元、气道管理工具加载单元；
所述空间坐标系构建单元，用于构建所述的扩展现实空间视场；
所述气道构建单元，基于确定的教学环境，在指定的扩展现实空间视场，建立支持气道扩展现实显示的气道扩展模型；
所述虚拟与真实标定单元，能够通过预先选定的标志点对齐所述的扩展现实空间视场与气道扩展模型；
所述气道管理工具加载单元，用于生成所述气道管理工具的加载请求。
4.根据权利要求3所述的气道管理教学系统，其特征在于，所述空间计算模块还包括：气道参数调节单元；
所述气道参数调节单元，基于接收的调节请求，对气道扩展模型中的气道场景进行调节，以及对气道解剖特征点的不同气道特征参数进行调节；
其中，气道特征参数包括：舌体厚度、甲颏距离、仰头角度、张口度。
5.根据权利要求1所述的气道管理教学系统，其特征在于，所述工具姿态感知模块包括：三维视觉感知单元、位置跟踪单元；
所述三维视觉感知单元，基于机器视觉和空间计算，结合预设的气道管理工具三维参数，获取气道管理工具的第一部分位置信息；
所述位置跟踪单元，用于通过监测预设在气道管理工具上的跟踪点的位置信息来获取气道管理工具的第二部分位置信息，进而感知所述气道管理工具在所述扩展现实空间视场中的位置、姿态信息。
6.根据权利要求2所述的气道管理教学系统，其特征在于，所述扩展现实显示模块包括：虚拟现实显示单元、混合现实显示单元；
所述混合现实显示单元，基于混合现实显示技术，实现气道扩展模型和气道管理虚拟工具的视觉融合、显示；
所述虚拟现实显示单元，基于虚拟现实显示技术，实现教学者在气道管理虚拟工具上实施气道管理的操作。
7.根据权利要求1或2所述的气道管理教学系统，其特征在于，所述气道扩展模型包括气道实体模型、气道虚拟模型。
8.一种如权利要求1-7任一所述的气道管理教学系统的应用方法，其特征在于，所述方法包括以下步骤：
通过气道扩展模型对正常及病理性虚拟气道的扩展现实显示，进行气道的教学；
通过对气道管理工具的扩展现实显示，进行气道管理工具的教学；
基于虚拟现实显示、混合现实显示及其结合，在气道扩展模型上操作气道管理工具，并进行虚拟、现实和人的交互。
9.根据权利要求8所述的方法，其特征在于，其中，所述扩展现实显示包括虚拟现实显示、增强现实显示和混合现实显示。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
响应于教学者输入或预设的教案，确定教案所需的教学环境及其扩展表示方式；
基于确定的教学环境，在指定的扩展现实空间视场，建立支持气道扩展现实显示的气道扩展模型，和/或生成气道管理工具的加载请求，及融合加载的气道管理工具与气道扩展模型；
响应于所述气道管理工具的加载请求，在所述扩展现实空间视场中，构建与教案关联的气道管理工具；
实时感知所述气道管理工具在所述扩展现实空间视场中的位置、姿态信息；
根据确定的扩展表示方式，将所述气道扩展模型进行扩展现实显示，或将所述气道扩展模型、所述气道管理工具进行扩展现实显示；
根据所述气道管理工具在所述气道扩展模型中的位置变化进行教学过程的交互、教学效果的反馈。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311280201.7A CN117334111A (zh) | 2023-10-07 | 2023-10-07 | 一种气道管理教学系统及其应用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311280201.7A CN117334111A (zh) | 2023-10-07 | 2023-10-07 | 一种气道管理教学系统及其应用方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117334111A true CN117334111A (zh) | 2024-01-02 |
Family
ID=89289795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311280201.7A Pending CN117334111A (zh) | 2023-10-07 | 2023-10-07 | 一种气道管理教学系统及其应用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117334111A (zh) |
-
2023
- 2023-10-07 CN CN202311280201.7A patent/CN117334111A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220378510A1 (en) | System and method for multi-client deployment of augmented reality instrument tracking | |
| US20200261159A1 (en) | Virtual reality laparoscopic tools | |
| CN109791801B (zh) | 机器人外科手术系统中的虚拟现实训练、模拟和协作 | |
| US11270601B2 (en) | Virtual reality system for simulating a robotic surgical environment | |
| US20230072188A1 (en) | Calibration for Augmented Reality | |
| US20210015583A1 (en) | Augmented reality system and method for tele-proctoring a surgical procedure | |
| US20190000578A1 (en) | Emulation of robotic arms and control thereof in a virtual reality environment | |
| CA2484586C (en) | A surgical training simulator | |
| EP3737322A1 (en) | Guidance for placement of surgical ports | |
| KR101816172B1 (ko) | 의료 훈련 시뮬레이션 시스템 및 방법 | |
| CN112346572A (zh) | 一种虚实融合实现方法、系统和电子设备 | |
| EP4054396A1 (en) | Steerable endoscope system with augmented view | |
| CN115804652A (zh) | 手术操作系统及方法 | |
| CN112587233B (zh) | 一种模拟气管内插管术的方法及系统 | |
| JP2021113814A (ja) | 測定システムおよび測定支援システム | |
| CN117334111A (zh) | 一种气道管理教学系统及其应用方法 | |
| US20240177427A1 (en) | Mixed Reality Combination System | |
| KR20040084243A (ko) | 인공고관절 가상 시술 시뮬레이션 시스템 | |
| JP4366165B2 (ja) | 画像表示装置及び方法並びに記憶媒体 | |
| JP2007293412A (ja) | 情報処理方法および装置 | |
| US11651706B2 (en) | Airway management virtual reality training | |
| CN115547129B (zh) | 一种心脏三维可视化的ar实现系统与方法 | |
| Hong | An intelligent guidance system for computer-guided surgical training | |
| Fei et al. | Development of an augmented reality system for tracheal intubation guidance of airway management | |
| Bianchi | Exploration of augmented reality technology for surgical training simulators |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |