CN116013118A - 一种基于增强现实的儿科气管插管培训系统及方法 - Google Patents

Abstract

本发明涉及一种基于增强现实的儿科气管插管培训系统及方法，包括增强现实模块、气管插管实体模型模块、医疗行为识别评估模块及语音交互模块；增强现实模块包括增强现实眼镜，增强现实模块用于为使用者提供增强现实画面及音频；气管插管实体模型模块用于为使用者提供模拟完成气管插管操作的实体模型；医疗行为识别评估模块用于识别使用者执行气管插管过程中的行为并给予实时评估；语音交互模块用于向使用者发出指令或回复，同时模拟临床中执行气管插管操作时发出的声音。本发明融合增强现实、语音交互、深度学习等技术，使得培训方法更加专业、高效。与现有技术相比，本发明具有成本低、节约教学时间、教学效率高等优点。

Description

一种基于增强现实的儿科气管插管培训系统及方法

技术领域

本发明涉及医疗技术领域，尤其是涉及一种基于增强现实的儿科气管插管培训系统及方法。

背景技术

气管插管术是临床重要且常见的急救技术。目前的插管教学通常由带教老师先使用PPT进行理论讲解、随后在模型上进行操作示范，由学生进行模仿练习。然而实践中表明，该种教学模式下，由于教学内容枯燥学生兴趣不高，且学生自主学习和探究的机会较少，无法在短时间内掌握所有相关知识，因此很难通过这种教学方式快速掌握插管技巧；与此同时，由于教学培训场景与真实诊疗环境的差异，学生不了解临床中可能出现的实际情况，因此即便通过了相关气管插管操作的考核，也很难在临床尽早地进行技术应用。

当前，主流的气管插管教学方式仍是带教老师首先进行理论讲解，随后在实体模型上进行操作示范，最后学生进行练习并由带教老师在一旁考核。某些教学单位采用视频喉镜替代传统喉镜的方法，使带教老师示范时学生能够看到口咽部的各个解剖结构，了解喉镜插入口、咽的动态过程；一些实体模型在喉部加装光电门或在牙齿部安装压力传感器，以在学生误插入食管或压迫牙齿时报警。以上方法虽改进了现今气管插管教学的某些缺点，但并未从根本上改变教师讲解、示范、考核的传统教学模式，气管插管教学的智能化，专业化水平并未显著提高。

一些单位在气管插管教学中引入了PBL(problem-based learning，以问题为基础的学习)模式，在气管插管教学前要求学生阅读相关病例资料，查找儿科临床进行气管插管时可能出现的各类问题。研究表明该方法增强了学生的学习兴趣和学习能力，但这种教学模式依然仅停留于理论，学生依然无法在此种模式下将理论与实践相结合，培训的真实度、效率并未得到提升。

在当前的气管插管培训模式下，某医院的相关统计显示，仅35％低年资住院医生掌握气管插管技术，18.5％的医院气管插管操作完全依赖麻醉科医生。

同时，儿科气管插管缺乏更为具体、精细化的教学模式，实际中儿童的气管插管操作与成人的有许多区别。成人气道较为固定，而儿童气道状况较为复杂，常见许多先天畸形；儿童的喉头位置更靠前，不宜暴露；儿童对镇静及肌松药物敏感，实际插管前较少使用相关药物，故临床中会产生模型培训中遇不到的抵抗。

此外，传统的气管插管培训，仅仅针对相关模型进行操作培训，既不会结合相关病例，也不会有临床上可能遇到的相关突发状况；同时现如今主流使用的实体模型，虽然装备一些传感器，如检测牙齿压迫，误插食管这些状况，但都是以报警的形式反应，智能化水平低，实际临床操作中患儿却不会告知医生是否有误操作。因此这种培训方式无法真正提高医生将理论与实际相结合的能力。并且，在规培医生的操作考核中，往往需要有经验的教学老师在一旁对学生逐个评估，极大浪费了医生的时间、降低了评估效率。

因此，当前需要针对以上问题，设计新的儿童气管插管培训系统，提高医生的学习效率；使教学老师从繁琐的操作评估中解放出来；使儿科气管插管培训更加专业化、精细化；使得气管插管培训更加真实，更加模拟临床，更加提高医生将理论和实际相结合的能力。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于增强现实的儿科气管插管培训系统及方法。本发明能对医师的操作进行自动考核，使儿科气管插管培训更加专业化及精细化；同时提高培训系统的智能化水平，使插管培训更加真实，更加贴近临床，使医师更好的将理论与实际相结合，从而有效地提高儿科医师专业水平，为保障医疗急救护理质量提供一种新的技术方案。

本发明的目的可以通过以下技术方案来实现：

一种基于增强现实的儿科气管插管培训系统，包括增强现实模块、气管插管实体模型模块、医疗行为识别评估模块及语音交互模块；

所述医疗行为识别评估模块与增强现实模块相连；

所述增强现实模块包括增强现实眼镜，增强现实模块用于为使用者提供增强现实画面及音频；

所述气管插管实体模型模块用于为使用者提供模拟完成气管插管操作的实体模型；

所述医疗行为识别评估模块用于识别使用者执行气管插管过程中的行为并给予实时评估；

所述语音交互模块用于向使用者发出指令或回复，同时模拟临床中执行气管插管操作时发出的声音。

进一步地，所述增强现实眼镜中包括记忆单元，记忆单元用于储存部分插管操作视频。

进一步地，所述的气管插管实体模型模块包括儿童实体模型、视频喉镜及气管插管设备。

进一步地，语音交互模块包括语音设备及语音识别软件。

进一步地，所述医疗行为识别评估模块包括相机、信息采集设备及控制器。

进一步地，所述信息采集设备包括IMU、光电门及压力传感器。

进一步地，所述医疗行为识别评估模块的控制器中部署有基于深度学习的行为识别与评估技术方案，用于识别所述气管插管过程中操作者的状态，该方案包括以下步骤：

运用AlphaPose算法进行操作者的姿态检测，提取骨架关键点，基于骨架关键点进行行为识别和分析；

使用参数化姿态非最大抑制消除冗余的姿态检测；

由MLP多层感知机基于检测到的骨架关键点识别操作者的医疗行为。

进一步地，所述IMU共设有两个，IMU用于佩戴在使用者双手上，控制器通过采集IMU数据，进行细粒度医疗行为识别，包括以下步骤：

将IMU数据分别输入两个LSTM神经网络；

IMU数据经过两层的LSTM层进行特征提取后进行特征融合；

融合后的特征经过softmax层输出细粒度医疗行为识别结果。

一种基于增强现实的儿科气管插管培训方法，应用于如上所述的一种基于增强现实的儿科气管插管培训系统，包括学习模式和练习模式，学习模式包括以下步骤：

记录教师进行插管操作的教学视频，所述教学视频包括使用医疗行为识别评估模块中的相机记录的教师操作过程及视频喉镜置入过程，以及由视频喉镜上设置的录像装置记录到的喉内部结构视频；

将所述教学视频储存于增强现实模块中；

操作者使用增强现实模块中的增强现实眼镜进行学习，增强现实眼镜向操作者展示教学视频及视频喉镜所记录的录像，同时语音交互模块进行实时操作引导，直至操作者完成学习。

进一步地，所述练习模式包括以下步骤：

增强现实眼镜向操作者展示虚拟患者背景及基本症状，并结合具体病例适时呈现突发状况；

操作者通过语音交互系统回答对虚拟患者的病情判断以及需要进行的医疗操作；

操作者对儿童实体模型执行气管插管操作，操作过程中，医疗行为识别评估模块将记录操作者的动作，并进行评估；

当操作者的操作出现失误时，医疗行为识别评估模块计算该失误操作可能导致的后果，通过增强现实模块将所述后果映射到儿童实体模型上；

操作者结束操作后，由医疗行为识别评估模块对操作者全操作过程进行评估，输出评估结果。

与现有技术相比，本发明具有以下有益效果：

1、本发明针对当前我国医疗资源分布不均，尤其是儿童医疗卫生服务可及性不够的现象，提出了一种基于增强现实和多传感器的儿科气管插管培训系统。该系统针对传统儿科气管插管培训手段单一，智能化水平低，理论与实践相差大，不够专业化、精细化等缺点，融合增强现实、语音交互、深度学习等技术，使得培训方法更加专业、高效。

2、本发明的学习模式中，初学者结合在增强现实眼镜中的操作教学视频和语音交互模块的引导，能够按步骤快速掌握气管插管术的基本操作，减少了学生的学习时间与尝试次数，增强了对基础知识的记忆。

3、本发明的练习模式中，增强现实、语音交互、深度学习等技术皆被运用于儿科气管插管教学过程中。其中，教学以问题为导向(PBL)，增强现实眼镜首先以具体病例为背景，考察儿科学生对不同病情知识的掌握。随后，学生开始气管插管操作，操作过程中，行为识别评估系统时刻采集学生动作，并结合学生操作与真实案例，将各类型突发症状通过增强现实及语音交互模块表现在虚拟患者模型上，并适时展示虚拟患儿的血压、心电信息等由学生进行分析，将理论与实践相结合，极大提高了气管插管操作的真实度，提升了学生的思考、分析能力，提高了学生学习的积极性，加深学生对于各种临床问题的理解，提升了学生对儿科气管插管临床中出现突发状况的应变能力和临床动手能力，使儿科气管插管培训相较普通气管插管培训更加专业、精细、真实。最后，由医疗行为识别评估模块给出学生全操作过程的评估结果，用深度学习的方法取代了传统评教老师的评估，大大节约了人力资源，提高评估效率，同时节约了教学时间。

附图说明

图1为本发明的系统结构示意图；

图2为学习模式步骤流程图；

图3为练习模式步骤流程图；

图4为基于视觉的行为识别与评估技术方案流程图；

图5为基于IMU的细粒度医疗行为识别方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本发明提出了一种基于增强现实的儿科气管插管培训系统，包括增强现实模块、气管插管实体模型模块、医疗行为识别评估模块及语音交互模块；

医疗行为识别评估模块与增强现实模块相连；

增强现实模块包括增强现实眼镜，增强现实模块用于为使用者提供增强现实画面及音频，包括文字、图像、音频信息等。增强现实眼镜中包括记忆单元，记忆单元用于储存部分插管操作视频。

气管插管实体模型模块包括儿童实体模型、视频喉镜及气管插管设备。气管插管实体模型模块用于为使用者提供模拟完成气管插管操作的实体模型；本实施例中，儿童实体模型采用上呼吸道解剖结构准确、气道逼真、拟人形态逼真、体表标志明显的虚拟儿童实体模型。

医疗行为识别评估模块包括相机、信息采集设备及控制器。信息采集设备包括IMU(Inertial measurement unit，惯性测量单元)、光电门及压力传感器。光电门用于检测插管的插入状态；压力传感器用于检测视频喉镜是否对儿童实体模型的牙齿产生压迫。医疗行为识别评估模块用于识别使用者执行气管插管过程中的行为并给予实时评估。

语音交互模块包括语音设备及语音识别软件，语音交互模块用于向使用者发出指令或回复，同时模拟临床中执行气管插管操作时发出的声音。

医疗行为识别评估模块的控制器中部署有基于深度学习的行为识别与评估技术方案，用于识别气管插管过程中操作者的医疗行为，该方案包括以下步骤：

(1)运用AlphaPose算法进行操作者的姿态检测，提取骨架关键点，基于骨架关键点进行行为识别和分析；

(2)使用参数化姿态非最大抑制消除冗余的姿态检测；

(3)由MLP(Multilayer Perceptron，多层感知机)基于检测到的骨架关键点评估操作者医疗行为。

本实施例中，IMU共设有两个，IMU用于佩戴在使用者双手上，控制器通过采集IMU数据，进行细粒度医疗行为识别，包括以下步骤：

(1)将IMU数据分别输入两个LSTM(long short-term memory，长短期记忆)神经网络；

(2)IMU数据经过两层的LSTM层进行特征提取后进行特征融合；

(3)融合后的特征经过softmax层输出细粒度医疗行为识别结果。

本实施例还提供了一种基于增强现实的儿科气管插管培训方法，应用于如上所述的一种基于增强现实的儿科气管插管培训系统，包括学习模式和练习模式，学习模式用于初学者逐步学习气管插管操作；练习模式用于已经较为熟悉气管插管操作的使用者基于PBL方法，结合实际病例进行更为真实的儿科气管插管操作。

如图2所示，学习模式包括以下步骤：

记录教师进行插管操作的教学视频，所述教学视频包括使用医疗行为识别评估模块中的相机记录的教师操作过程及视频喉镜置入过程，以及由视频喉镜上设置的录像装置记录到的喉内部结构视频；

将所述教学视频储存于增强现实模块中；

操作者使用增强现实模块中的增强现实眼镜进行学习，增强现实眼镜向操作者展示教学视频及视频喉镜所记录的录像，同时语音交互模块进行实时操作引导，直至操作者完成学习。

练习模式包括以下步骤：

增强现实眼镜向操作者展示虚拟患者背景及基本症状，并结合具体病例适时呈现突发状况；

操作者通过语音交互系统回答对虚拟患者的病情判断以及需要进行的医疗操作；

操作者对儿童实体模型执行气管插管操作，操作过程中，医疗行为识别评估模块将记录操作者的动作，并进行评估；

当操作者的操作出现失误时，医疗行为识别评估模块计算该失误操作可能导致的后果，通过增强现实模块将所述后果映射到儿童实体模型上；

操作者结束操作后，由医疗行为识别评估模块对操作者全操作过程进行评估，输出评估结果。

本实施例中，针对插管中常出现的失误，医疗行为识别评估模块将通过识别医师的错误操作呈现虚拟患者的紧急不良反应，并结合具体病例呈现某些突发症状，主要包括如下几点：

1、当操作过程中过于压迫牙齿时，操作者将在增强现实眼镜中看到虚拟患者的牙齿出现轻微流血的症状。

2、当导管选择不当或插管时间过长，操作者会在增强现实眼镜中看到视频喉镜所拍到的虚拟患者出现喉头水肿的症状。

3、当操作者动作过猛时，操作者会在听到语音交互模块提示患者的舌、气管、声带或食道出现损伤。

4、若患儿本已处于缺氧衰竭状态，由于插管后挣扎而进一步缺氧，操作者会在增强现实眼镜中看到虚拟患儿表现出如发绀的症状。

5、若气管插管对患儿产生过度刺激，操作者会在增强现实眼镜中看到患儿出现剧烈呛咳、憋气等症状。

6、若插管操作刺激咽喉部迷走神经，增强现实眼镜中展示的患儿心电信号会出现心动过缓的症状。

7、若插管引起患儿的自主神经过度兴奋，增强现实眼镜中展示的患儿心电信号将会出现心动过缓、心率失常，甚至心跳骤停、心动失速、室性早搏或心室纤颤等症状。

8、若操作者将导管误插入食管时，将会在增强现实眼镜中看到患儿腹部隆起，同时听到语音交互模块发出的上腹部进气声及患儿发声。

9、若插管前未下胃管吸引、喉镜刺激或心脏按压引起患儿呕吐，操作者将在增强现实眼镜中看到患儿出现干呕或呕吐症状。

本实施例中，医疗行为识别评估模块的控制器中收集有病例数据及临床操作数据，基于该类数据，控制器可根据具体病例，随机输出气管插管可能引起的相关突发症状，并将该突发症状发送给增强现实模块，由增强现实模块进行显示。

医师操作过程中，本系统的医疗行为识别评估模块将会实时识别患者的动作，根据患者的操作及虚拟儿童的病例而产生相应的文字、视频或音频由操作者判断、分析与处理。操作者需要根据症状而做出相应的反应，如修正操作甚至停止插管；对于无法借助现有工具做出应对的症状，操作者将口头说出应该采取的解决方法，由语音交互模块接收并判断正确与否。

当患者的完整操作流程结束后，行为识别与评估模块完成对操作者本次操作的评估，将结果以文字显示在增强现实眼镜上告知操作者。

本实施例中医疗行为识别与评估模块由多个传感器与多种神经网络组成。传感器包括相机，IMU，光电门，压力传感器；两台相机分别安装在操作台侧面和正上方，两个IMU佩戴在操作者的左右手上，光电门及压力传感器安装于插管实体模型上，分别用于检测导管是否插入气管及喉镜是否压迫牙齿。本发明对于儿科气管插管操作规范的评估，设计了一个基于深度学习的行为识别与评估技术方案。

对于大部分医疗行为，该方案运用AlphaPose算法检测人体骨架关键点，基于人体骨架关键点进行行为识别和分析。如图4所示，该系统采用自顶向下的方法，首先检测环境中的人体检测框，基于检测框内的特征识别人体骨架关键点，再使用参数化姿态非最大抑制高效地消除冗余的姿态检测，最后MLP多层感知机基于检测到的人体骨架关键点评估人体动作。

同时，该场景下有许多细粒度动作，这些动作之间的关联性很大，具有高度类间相似性，难以通过基于视频的方法识别，因此本发明选择采集佩戴在操作者双手的IMU数据，进行细粒度医疗行为识别。本发明使用的细粒度医疗行为识别方法如图5所示，我们将两个IMU数据分别输入进两个LSTM神经网络，各自经过两层的LSTM层进行特征提取后进行特征融合，随后经过softmax层输出结果。通过以上方法识别使用者的医疗行为并给予最终评估。

该系统针对传统儿科气管插管培训手段单一，智能化水平低，理论与实践相差大，不够专业化、精细化等缺点，巧妙地融合增强现实、语音交互、深度学习等前沿技术，使得每一个学习儿科气管插管操作的学生都能使用到更加专业、高效的培训技术。

在学习模式中：

初学者结合在增强现实眼镜中看到的带教老师的操作和语音交互模块的引导，能够按步骤快速掌握气管插管术的基本操作，减少了学生的学习时间与尝试次数，增强了对基础知识的记忆。

在练习模式中：

增强现实、语音交互、深度学习等前沿技术皆被运用于儿科气管插管教学过程中。

其中，教学以问题为导向，增强现实眼镜首先以具体病例为背景，考察儿科学生对不同病情知识的掌握。

随后，学生开始气管插管操作，操作过程中，行为识别评估系统时刻采集学生动作，并结合学生操作与真实案例，将各类型突发症状通过增强现实及语音交互模块表现在虚拟患者模型上，并适时展示虚拟患儿的血压、心电信息等由学生分析，将理论与实践相结合，极大提高了气管插管操作的真实度，提升了学生的思考、分析能力，提高了学生学习的积极性，加深学生对于各种临床问题的理解，提升了学生对儿科气管插管临床中出现突发状况的应变能力和临床动手能力，使儿科气管插管培训相较普通气管插管培训更加专业、精细、真实。

最后，由医疗行为识别评估模块给出学生全操作过程的评估结果，用深度学习的方法取代了传统评教老师的评估，大大节约了人力资源，提高评估效率，节约了老师的时间。

为了更好阐释本发明实施方式，下面将结合一位患NRDS(新生儿呼吸窘迫综合征)的虚拟患儿为例，阐释本儿科气管插管培训系统的工作流程。

首先，增强现实眼镜中展示虚拟患儿基本信息：日龄6小时新生儿，主因“进行性呼吸困难5小时”需进行急诊就诊。患儿出生后1小时出现呼吸困难、呼吸急促(大于60次/分钟)。

同时，学生在增强现实眼镜中看到患儿呈呼吸急促、呼气性呻吟、颜面青紫的症状。

随后，语音交互模块向学生发出提问：“请初步判断患儿病情”，学生需回答对患儿病情的推断，并指出需要进行那些常规检查。

下一步，系统将在增强现实眼镜中向学生展示如虚拟患儿的血常规、血气分析、胸片等检查结果，语音交互模块要求学生对检查结果进行分析，做出进一步病情推断和需要进行的操作。

学生完成对检查结果的分析，指出需进行气管插管和机械通气治疗。语音交互模块提示请进行气管插管操作。

随后学生开始进行气管插管操作，医疗行为识别与评估系统开始工作。学生首先完成插管前准备工作，随后站至床头，口头告知系统插管开始。学生使虚拟患儿仰卧，肩部垫一小枕，头后仰，使口、咽、喉处同一直线。检查口腔，打开无菌盘，戴手套。试气囊是否漏气，插入导管芯，用石蜡油纱布润滑导管及镜片前端，系统检测到导管芯选择错误或未进行润滑，学生插管后会看到虚拟患儿出现剧烈呛咳，憋气等症状。完成上一步后，使用右手拇、食、中三指分开上下唇、左手持喉镜沿口角右侧置入口腔，用镜片侧翼将舌体左推，使喉镜片移至正中位，用左臂用力上提暴露口腔，此时系统监测到以牙为支点上翘，学生在增强现实眼镜中看到虚拟患儿牙齿轻微流血。在气管导管的气囊过声门后，将导管芯拨出，继续插至所需深度，此时增强现实眼镜中展示虚拟患儿的心电信号，学生经分析得出患儿出现心动过缓，此时应该立刻停止插管操作，口头回答应进行哪些急救操作。虚拟患儿心跳恢复正常后，学生继续进行插管操作。放入牙垫，退出喉镜，用简易呼吸器连接气管插管(助手协助挤压气囊)，听诊双肺，确定导管在气管内；此时学生在增强现实眼镜中看到患儿腹部隆起，同时听到语音交互模块

发出的上腹部进气声及患儿发声，说明误插入食管。修正后成功将导管插入气管，固定导管及牙垫，用注射器向气囊内注气约6～8ml，密闭气道。完成后拔管，并口述拔管要点(清除口腔、咽腔及导管内分泌物；放气囊；边吸边引边拔管，清洁患者嘴唇)；举手示意操作结束。

最后，学生将在增强现实眼镜中看到全过程的医疗行为评估结果及错误行为记录，本次儿科气管插管培训结束。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于增强现实的儿科气管插管培训系统，其特征在于，包括增强现实模块、气管插管实体模型模块、医疗行为识别评估模块及语音交互模块；

所述医疗行为识别评估模块与增强现实模块相连；

所述增强现实模块包括增强现实眼镜，增强现实模块用于为使用者提供增强现实画面及音频；

所述气管插管实体模型模块用于为使用者提供模拟完成气管插管操作的实体模型；

所述医疗行为识别评估模块用于识别使用者执行气管插管过程中的行为并给予实时评估；

所述语音交互模块用于向使用者发出指令或回复，同时模拟临床中执行气管插管操作时发出的声音。

2.根据权利要求1所述的一种基于增强现实的儿科气管插管培训系统，其特征在于，所述增强现实眼镜中包括记忆单元，记忆单元用于储存部分插管操作视频。

3.根据权利要求1所述的一种基于增强现实的儿科气管插管培训系统，其特征在于，所述的气管插管实体模型模块包括儿童实体模型、视频喉镜及气管插管设备。

4.根据权利要求1所述的一种基于增强现实的儿科气管插管培训系统，其特征在于，语音交互模块包括语音设备及语音识别软件。

5.根据权利要求1所述的一种基于增强现实的儿科气管插管培训系统，其特征在于，所述医疗行为识别评估模块包括相机、信息采集设备及控制器。

6.根据权利要求5所述的一种基于增强现实的儿科气管插管培训系统，其特征在于，所述信息采集设备包括IMU、光电门及压力传感器。

7.根据权利要求5所述的一种基于增强现实的儿科气管插管培训系统，其特征在于，所述医疗行为识别评估模块的控制器中部署有基于深度学习的行为识别与评估技术方案，用于识别所述气管插管过程中操作者的状态，该方案包括以下步骤：

运用AlphaPose算法进行操作者的姿态检测，提取骨架关键点，基于骨架关键点进行行为识别和分析；

使用参数化姿态非最大抑制消除冗余的姿态检测；

由MLP多层感知机基于检测到的骨架关键点识别操作者的医疗行为。

8.根据权利要求6所述的一种基于增强现实的儿科气管插管培训系统，其特征在于，所述IMU共设有两个，IMU用于佩戴在使用者双手上，控制器通过采集IMU数据，进行细粒度医疗行为识别，包括以下步骤：

将IMU数据分别输入两个LSTM神经网络；

IMU数据经过两层的LSTM层进行特征提取后进行特征融合；

融合后的特征经过softmax层输出细粒度医疗行为识别结果。

9.一种基于增强现实的儿科气管插管培训方法，其特征在于，应用于如权利要求1-8任一所述的一种基于增强现实的儿科气管插管培训系统，包括学习模式，学习模式包括以下步骤：

记录教师进行插管操作的教学视频，所述教学视频包括使用医疗行为识别评估模块中的相机记录的教师操作过程及视频喉镜置入过程，以及由视频喉镜上设置的录像装置记录到的喉内部结构视频；

将所述教学视频储存于增强现实模块中；

操作者使用增强现实模块中的增强现实眼镜进行学习，增强现实眼镜向操作者展示教学视频及视频喉镜所记录的录像，同时语音交互模块进行实时操作引导，直至操作者完成学习。

10.根据权利要求9所述的一种基于增强现实的儿科气管插管培训方法，其特征在于，还包括练习模式，所述练习模式包括以下步骤：

增强现实眼镜向操作者展示虚拟患者背景及基本症状，并结合具体病例适时呈现突发状况；

操作者通过语音交互系统回答对虚拟患者的病情判断以及需要进行的医疗操作；

操作者对儿童实体模型执行气管插管操作，操作过程中，医疗行为识别评估模块将记录操作者的动作，并进行评估；

当操作者的操作出现失误时，医疗行为识别评估模块计算该失误操作可能导致的后果，通过增强现实模块将所述后果映射到儿童实体模型上；

操作者结束操作后，由医疗行为识别评估模块对操作者全操作过程进行评估，输出评估结果。

Images