CN111508285A - 一种基于混合现实的医学急救培训方法及系统 - Google Patents

Abstract

本发明提供一种基于混合现实的医学急救培训方法及系统，该方法包括：采集处于物理环境中的医学人体模型图像数据，生成可处理的可视化影像；基于可视化影像，对医学人体模型的预设部位进行识别定位；基于预设部位的识别定位结果，实时地将预设的虚拟急救指导模型叠加到医学人体模型的预设部位上，以实现预设类型的医学急救培训。本发明的医学急救培训方法及系统可有效评估伤员症状，对急救现场做出临床判断，可有效提升急救培训的效率。

Description

一种基于混合现实的医学急救培训方法及系统

技术领域

本发明涉及计算机视觉技术领域，特别是指一种基于混合现实的医学急救培训方法及系统

背景技术

在当下的生活中，各种意外伤害和突发急症时时刻刻的威胁着我们的生命健康。根据以往的死亡统计，将近50％的伤亡发生伤者在受伤后的5分钟内，超过90％发生在伤后30分钟内。因此，伤员能否在10分钟内进行有效的心肺复苏、人工呼吸、包扎止血、固定和预防窒息等治疗，是具有决定性的。综上，如何有效的普及急救知识、培训急救意识和技术、提高急救现场的自救互救能力，越来越成为公众共同关注的热点话题。

目前，急救培训的常用方法包括利用模拟人辅助教学、虚拟现实技术培训等。但这些方法存在定位不准确、打开不及时或不换位等问题，为了避免在救治过程中贻误时间，出现问题，甚至造成二次伤害，学习者在学习医疗急救知识的同时，也要学习精准的实践操作和累积宝贵的临床经验。所以，迫切需要一种急救培训新技术，能在弥补上述培训方法不足的基础上，有效评估伤员症状，对急诊现场做出临床判断。

发明内容

本发明要解决的技术问题是提供一种基于混合现实的医学急救培训方法及系统，以至少部分解决现有医学急救培训方法所存在的上述问题。

为解决上述技术问题，本发明提供如下技术方案：

一种基于混合现实的医学急救培训方法，其包括：

采集处于物理环境中的医学人体模型图像数据，生成可处理的可视化影像；

基于所述可视化影像，对所述医学人体模型的预设部位进行识别定位；

基于所述预设部位的识别定位结果，实时地将预设的虚拟急救指导模型叠加到所述医学人体模型的预设部位上，以实现预设类型的医学急救培训。

其中，所述采集处于物理环境中的医学人体模型图像数据，包括：

利用可穿戴设备采集处于物理环境中的医学人体模型图像数据。

其中，基于可视化影像，对医学人体模型的预设部位进行识别定位，包括：

对所述可视化影像进行实时识别，得到所述医学人体模型的预设部位的分类和定位预测结果，生成包括所述预设部分的分类和定位预测结果的识别图像。

其中，基于预设部位的识别定位结果，实时地将预设的虚拟急救指导模型叠加到医学人体模型的预设部位上，以实现预设类型的医学急救培训，包括：

计算出所述虚拟急救指导模型与医学人体模型之间的相对位置，根据计算出的相对位置，将所述虚拟急救指导模型叠加到所述医学人体模型的预设部位；

通过实时的地图重建，将预设的虚拟急救操作指导动画实时、稳定的叠加融合在所述医学人体模型的预设部位，以实现预设类型的医学急救培训。

其中，所述计算出虚拟急救指导模型与医学人体模型间的相对位置，包括：

根据所述识别图像中的所述预设部分的分类和定位预测结果，通过预设图像处理算法得到所述识别图像中的图像特征点的坐标信息，然后与所述虚拟急救指导模型的坐标系进行配准变换，以实现虚拟急救指导模型的叠加。

其中，所述通过实时的地图重建，将预设的虚拟急救操作指导动画实时、稳定的叠加融合在所述医学人体模型的预设部位，包括：

根据虚拟场景中摄像头与物理场景的相对位置和方向，确定虚拟急救指导模型在物理场景中的空间位置，实现虚拟急救指导模型在物理场景中的平移、旋转和缩放效果，以实现所述虚拟急救指导模型和医学人体模型的实时融合；

通过实时的地图重建，结合对医学人体模型的预设部位的位姿的实时估计，对虚拟急救操作指导动画和医学人体模型进行注册变换，实现将虚拟急救操作指导动画稳定、实时地叠加融合在医学人体模型的预设部位上。

相应地，为解决上述技术问题，本发明还提供如下技术方案：

一种基于混合现实的医学急救培训系统，其包括：

物理环境采集模块，用于采集处于物理环境中的医学人体模型图像数据，生成可处理的可视化影像；

医学人体模型在线识别模块，用于基于所述物理环境采集模块输出的可视化影像，对所述医学人体模型的预设部位进行识别定位；

虚拟指导模型与物理环境融合模块，用于基于所述医学人体模型在线识别模块输出的所述预设部位的识别定位结果，实时地将预设的虚拟急救指导模型叠加到所述医学人体模型的预设部位上，以实现预设类型的医学急救培训。

其中，所述医学人体模型在线识别模块具体用于：

对所述可视化影像进行实时识别，得到所述医学人体模型的预设部位的分类和定位预测结果，生成包括所述预设部分的分类和定位预测结果的识别图像。

其中，所述虚拟指导模型与物理环境融合模块具体用于：

计算出所述虚拟急救指导模型与医学人体模型之间的相对位置，根据计算出的相对位置，将所述虚拟急救指导模型叠加到所述医学人体模型的预设部位；

通过实时的地图重建，将预设的虚拟急救操作指导动画实时、稳定的叠加融合在所述医学人体模型的预设部位，以实现预设类型的医学急救培训。

其中，所述虚拟指导模型与物理环境融合模块，包括：

虚拟模型叠加模块，用于根据所述医学人体模型在线识别模块输出的所述识别图像中的所述预设部分的分类和定位预测结果，通过预设图像处理算法得到所述识别图像中的图像特征点的坐标信息，然后与所述虚拟急救指导模型的坐标系进行配准变换，以实现虚拟急救指导模型的叠加；

虚拟模型实时渲染模块，用于根据虚拟场景中摄像头与物理场景的相对位置和方向，确定虚拟急救指导模型在物理场景中的空间位置，实现虚拟急救指导模型在物理场景中的平移、旋转和缩放效果，以实现虚拟急救指导模型和医学人体模型的实时融合；通过实时地图重建，结合对医学人体模型的预设部位位姿的实时估计，对虚拟急救操作指导动画和医学人体模型进行注册变换，将虚拟急救操作指导动画稳定、实时地叠加融合在医学人体模型的预设部位上。

本发明的上述技术方案的有益效果如下：

1、本发明实现了医学人体模型关键部位的实时检测，利用该方法得到的定位区域能最精确、最直观检测出人体模型的关键部位；

2、本发明将即时定位与地图构建技术运用到混合现实系统中，从而实现了本发明方案提出的将预先设计好的虚拟急救操作动画稳定、实时地叠加融合在医用急救模拟人体的关键部位上的效果；

3、本发明实现了基于混合现实的医学急救培训系统，由物理环境采集模块、医学人体模型在线识别模块、虚拟模型叠加模块与虚拟模型实时渲染模块组成。这四个部分完整地描述了基于混合现实的医学急救培训系统在医疗急救教学中应用的完整过程，使得研究更具有实用意义。

附图说明

图1为本发明的第一实施例提供的基于混合现实的医学急救培训方法的流程示意图；

图2为本发明的第二实施例提供的基于混合现实的医学急救培训系统的系统模块组成示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

第一实施例

请参阅图1，本实施例提供一种基于混合现实的医学急救培训方法，包括：

S101，采集处于物理环境中的医学人体模型图像数据，生成可处理的可视化影像，并实时上传到服务器中；

需要说明的是，上述步骤是通过利用可穿戴设备采集处于物理环境中的医学人体模型图像数据，生成可处理的可视化影像，并实时将生成的影像上传到服务器中，由服务器负责对接收到的视频信息进行后续的处理。

S102，基于可视化影像，对医学人体模型的预设部位进行识别定位；

需要说明的是，上述步骤具体为：服务器在接收到可穿戴设备上传的可视化影像后，对可视化影像进行实时的视频识别，得到医学人体模型的预设关键部位的分类和定位预测结果，然后通过服务器的处理，生成包括医学人体模型的关键部位的分类和定位预测结果的识别图像。

S103，基于预设部位的识别定位结果，实时地将预设的虚拟急救指导模型叠加到医学人体模型的预设部位上，以实现预设类型的医学急救培训。

需要说明的是，上述步骤具体为：

计算出虚拟急救指导模型与医学人体模型之间的相对位置，根据计算出的相对位置，将虚拟急救指导模型准确地叠加到医学人体模型的关键部位；

通过实时的地图重建，将预设的虚拟急救操作指导动画实时、稳定的叠加融合在医学人体模型的关键部位，以实现预设类型的医学急救培训。

进一步地，计算出虚拟急救指导模型与医学人体模型间的相对位置，包括：

在服务器端获取到医学人体模型的关键部位识别和定位信息之后，通过图像处理算法得到识别图像中的图像特征点的坐标信息，然后与虚拟急救指导模型的坐标系进行配准变换，从而实现虚拟急救指导模型的叠加；

根据虚拟场景中摄像头与物理场景的相对位置和方向，确定虚拟急救指导模型在物理场景中的空间位置，从而实现三维虚拟急救指导模型在物理场景中的平移、旋转和缩放效果，达到虚拟急救模型和医学人体模型实时融合的目的；

通过实时的地图重建，结合对医学人体模型的预设部位的位姿的实时估计，对虚拟急救操作指导动画和医学人体模型进行注册变换，实现将虚拟急救操作指导动画稳定、实时地叠加融合在医学人体模型的预设部位上。

本实施例的方法将虚拟急救指导模型的坐标系与真实的医学人体模型的世界坐标系进行配准变换，并对已有的医学人体模型关键部位的识别结果进行分析处理，从而确定了虚拟急救操作的叠加位置。然后，从即时定位与地图构建系统初始化、位姿估计以及地图构建三个方面，对虚拟急救指导动画和真实的医学人体模型进行注册变换，从而实现了将虚拟急救操作指导动画稳定、实时地叠加融合在医用模拟人体的关键部位上。以实现预设类型的医学急救培训。

第二实施例

请参阅图2，本实施例提供一种基于混合现实的医学急救培训系统，包括：

物理环境采集模块，用于采集处于物理环境中的医学人体模型图像数据，生成可处理的可视化影像；

医学人体模型在线识别模块，用于基于物理环境采集模块输出的可视化影像，对医学人体模型的预设部位进行识别定位；

虚拟指导模型与物理环境融合模块，用于基于医学人体模型在线识别模块输出的预设部位的识别定位结果，实时地将预设的虚拟急救指导模型叠加到医学人体模型的预设部位上，以实现预设类型的医学急救培训。

其中，虚拟指导模型与物理环境融合模块，包括：

虚拟模型叠加模块，用于根据医学人体模型在线识别模块输出的识别图像中的预设部分的分类和定位预测结果，通过预设图像处理算法得到识别图像中的图像特征点的坐标信息，然后与虚拟急救指导模型的坐标系进行配准变换，以实现虚拟急救指导模型的叠加；

虚拟模型实时渲染模块，用于根据虚拟场景中摄像头与物理场景的相对位置和方向，确定虚拟急救指导模型在物理场景中的空间位置，实现虚拟急救指导模型在物理场景中的平移、旋转和缩放效果，以实现虚拟急救指导模型和医学人体模型的实时融合；通过实时地图重建，结合对医学人体模型的预设部位位姿的实时估计，对虚拟急救操作指导动画和医学人体模型进行注册变换，将虚拟急救操作指导动画稳定、实时地叠加融合在医学人体模型的预设部位上。

本实施例的基于混合现实的医学急救培训系统与上述第一实施例的基于混合现实的医学急救培训方法相对应；其中，该基于混合现实的医学急救培训系统中的各功能模块所实现的功能与上述第一实施例中的基于混合现实的医学急救培训方法中的各流程步骤一一对应；故，在此，不再赘述。

此外，需要说明的是，本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需说明的是，以上所述是本发明的优选实施方式，应当指出，尽管已描述了本发明的优选实施例，但对于本领域普通技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (10)

1.一种基于混合现实的医学急救培训方法，其特征在于，包括：

采集处于物理环境中的医学人体模型图像数据，生成可处理的可视化影像；

基于所述可视化影像，对所述医学人体模型的预设部位进行识别定位；

基于所述预设部位的识别定位结果，实时地将预设的虚拟急救指导模型叠加到所述医学人体模型的预设部位上，以实现预设类型的医学急救培训。

2.如权利要求1所述的基于混合现实的医学急救培训方法，其特征在于，所述采集处于物理环境中的医学人体模型图像数据，包括：

利用可穿戴设备采集处于物理环境中的医学人体模型图像数据。

3.如权利要求1所述的基于混合现实的医学急救培训方法，其特征在于，所述基于所述可视化影像，对医学人体模型的预设部位进行识别定位，包括：

对所述可视化影像进行实时识别，得到所述医学人体模型的预设部位的分类和定位预测结果，生成包括所述预设部分的分类和定位预测结果的识别图像。

4.如权利要求3所述的基于混合现实的医学急救培训方法，其特征在于，所述基于所述预设部位的识别定位结果，实时地将预设的虚拟急救指导模型叠加到所述医学人体模型的预设部位上，以实现预设类型的医学急救培训，包括：

计算出所述虚拟急救指导模型与医学人体模型之间的相对位置，根据计算出的相对位置，将所述虚拟急救指导模型叠加到所述医学人体模型的预设部位；

通过实时的地图重建，将预设的虚拟急救操作指导动画实时、稳定的叠加融合在所述医学人体模型的预设部位，以实现预设类型的医学急救培训。

5.如权利要求4所述的基于混合现实的医学急救培训方法，其特征在于，所述计算出所述虚拟急救指导模型与医学人体模型之间的相对位置，包括：

根据所述识别图像中的所述预设部分的分类和定位预测结果，通过预设图像处理算法得到所述识别图像中的图像特征点的坐标信息，然后与所述虚拟急救指导模型的坐标系进行配准变换，以实现虚拟急救指导模型的叠加。

6.如权利要求5所述的基于混合现实的医学急救培训方法，其特征在于，所述通过实时的地图重建，将预设的虚拟急救操作指导动画实时、稳定的叠加融合在所述医学人体模型的预设部位，包括：

根据虚拟场景中摄像头与物理场景的相对位置和方向，确定虚拟急救指导模型在物理场景中的空间位置，实现虚拟急救指导模型在物理场景中的平移、旋转和缩放效果，以实现所述虚拟急救指导模型和医学人体模型的实时融合；

通过实时的地图重建，结合对医学人体模型的预设部位的位姿的实时估计，对虚拟急救操作指导动画和医学人体模型进行注册变换，实现将虚拟急救操作指导动画稳定、实时地叠加融合在医学人体模型的预设部位上。

7.一种基于混合现实的医学急救培训系统，其特征在于，包括：

物理环境采集模块，用于采集处于物理环境中的医学人体模型图像数据，生成可处理的可视化影像；

医学人体模型在线识别模块，用于基于所述物理环境采集模块输出的可视化影像，对所述医学人体模型的预设部位进行识别定位；

虚拟指导模型与物理环境融合模块，用于基于所述医学人体模型在线识别模块输出的所述预设部位的识别定位结果，实时地将预设的虚拟急救指导模型叠加到所述医学人体模型的预设部位上，以实现预设类型的医学急救培训。

8.如权利要求7所述的基于混合现实的医学急救培训系统，其特征在于，所述医学人体模型在线识别模块具体用于：

对所述可视化影像进行实时识别，得到所述医学人体模型的预设部位的分类和定位预测结果，生成包括所述预设部分的分类和定位预测结果的识别图像。

9.如权利要求8所述的基于混合现实的医学急救培训系统，其特征在于，所述虚拟指导模型与物理环境融合模块具体用于：

计算出所述虚拟急救指导模型与医学人体模型之间的相对位置，根据计算出的相对位置，将所述虚拟急救指导模型叠加到所述医学人体模型的预设部位；

通过实时的地图重建，将预设的虚拟急救操作指导动画实时、稳定的叠加融合在所述医学人体模型的预设部位，以实现预设类型的医学急救培训。

10.如权利要求8所述的基于混合现实的医学急救培训系统，其特征在于，所述虚拟指导模型与物理环境融合模块，包括：

虚拟模型叠加模块，用于根据所述医学人体模型在线识别模块输出的所述识别图像中的所述预设部分的分类和定位预测结果，通过预设图像处理算法得到所述识别图像中的图像特征点的坐标信息，然后与所述虚拟急救指导模型的坐标系进行配准变换，以实现虚拟急救指导模型的叠加；

虚拟模型实时渲染模块，用于根据虚拟场景中摄像头与物理场景的相对位置和方向，确定虚拟急救指导模型在物理场景中的空间位置，实现虚拟急救指导模型在物理场景中的平移、旋转和缩放效果，以实现虚拟急救指导模型和医学人体模型的实时融合；通过实时地图重建，结合对医学人体模型的预设部位位姿的实时估计，对虚拟急救操作指导动画和医学人体模型进行注册变换，将虚拟急救操作指导动画稳定、实时地叠加融合在医学人体模型的预设部位上。

Images