CN110335516B - 一种采用vr心脏手术模拟系统进行vr心脏手术模拟的方法 - Google Patents

Abstract

本发明公开了一种VR心脏手术模拟系统，包括仿真服务器、手术操作装置、用药操作装置、虚拟数据库和实景数据生成单元，虚拟数据库接有通信接口，手术操作装置和实景数据生成单元之间依次接有操作数据采集装置和操作数据通信模块，用药操作装置和实景数据生成单元之间依次接有用药流量采集装置和用药流量通信模块。本发明还公开了一种VR心脏手术模拟方法。本发明中以存储在虚拟数据库中用药操作模型、手术操作模型和心脏模拟数据响应心肌压力检测模块的采集数据和手术操作装置的动作状态数据，获得虚实混合仿真场景，从而实现实际操作与虚拟场景相结合的技术效果，有助于术前方案设计，有利于外科医师在实践中成长，使用效果好。

Description

一种采用VR心脏手术模拟系统进行VR心脏手术模拟的方法

技术领域

本发明属于医学技术技术领域，具体涉及一种VR心脏手术模拟方法。

背景技术

虚拟实境，简称VR技术，也称灵境技术或人工环境，是利用电脑模拟产生一个三度空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。使用者进行位置移动时，电脑可以立即进行复杂的运算，将精确的3D世界影像传回产生临场感。虚拟现实，看到的场景和人物全是假的，是把人的意识代入一个虚拟的世界。通过VR技术构建模拟场景，可应用于游戏、社交、科教、办公、医疗、观光、驾驶、娱乐、休闲、运动、视频播放等方面。

虚拟现实是多种技术的综合，包括实时三维计算机图形技术，广角立体显示技术，对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等。

VR在医学方面的应用具有十分重要的现实意义。在虚拟环境中，可以建立虚拟的人体模型，借助于跟踪球、HMD、感觉手套，学生可以很容易了解人体内部各器官结构，这比现有的采用教科书的方式要有效得多。 Pieper及Satara等研究者在90年代初基于两个SGI工作站建立了一个虚拟外科手术训练器，用于腿部及腹部外科手术模拟。这个虚拟的环境包括虚拟的手术台与手术灯，虚拟的外科工具(如手术刀、注射器、手术钳等)，虚拟的人体模型与器官等。借助于HMD及感觉手套，使用者可以对虚拟的人体模型进行手术。但该系统有待进一步改进，如需提高环境的真实感，增加网络功能，使其能同时培训多个使用者，或可在外地专家的指导下工作等。手术后果预测及改善残疾人生恬状况，乃至新型药物的研制等方面， VR技术都有十分重要的意义。

在医学院校，学生可在虚拟实验室中，进行“尸体”解剖和各种手术练习。用这项技术，由于不受标本、场地等的限制，所以培训费用大大降低。一些用于医学培训、实习和研究的虚拟现实系统，仿真程度非常高，其优越性和效果是不可估量和不可比拟的。

外科医生在真正动手术之前，通过虚拟现实技术的帮助，能在显示器上重复地模拟手术，移动人体内的器官，寻找最佳手术方案并提高熟练度。在远距离遥控外科手术，复杂手术的计划安排，手术过程的信息指导，手术后果预测及改善残疾人生活状况，乃至新药研制等方面，虚拟现实技术都能发挥十分重要的作用。

对于心脏手术来说，一方面，由于心脏外科微创技术普及，瓣膜手术进入修复时代，均强调了对手术方案设计的个体化，既往的统一手术入路及策略面临挑战，一对一的手术方案提高了医护人员对患者心脏的了解程度，VR手术有助于术前方案设计；另一方面，心脏手术操作精细，学习曲线漫长，单纯的理论教学远离实际，VR辅助教学有利于外科医师在实践中成长。因此迫切需要一种VR心脏手术模拟系统及其模拟方法。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种采用VR心脏手术模拟系统进行VR心脏手术模拟的方法，其结构简单，设计合理，以存储在虚拟数据库中用药操作模型、手术操作模型和心脏模拟数据响应心肌压力检测模块的采集数据和手术操作装置的动作状态数据，然后在仿真服务器中渲染获得虚实混合仿真场景，达到以虚拟场景响应实际操作的效果，从而使使用者可直观清晰的感知到不同的手术操作、不同的药剂、不同的药剂用量对心脏生理参数产生的医学效应，适用于医学解剖、医学认知等场景，有助于术前方案设计，有利于外科医师在实践中成长。

为解决上述技术问题，本发明采用的技术方案是：

一种采用VR心脏手术模拟系统进行VR心脏手术模拟的方法，其特征在于，系统包括用于渲染虚拟仿真场景的仿真服务器、用于对心脏模型进行仿真手术操作的手术操作装置、用于对心脏模型进行仿真用药的用药操作装置、与所述仿真服务器相接且用于存储虚拟环境数据的虚拟数据库，以及与所述仿真服务器相接且用于生成实际操作场景的实景数据生成单元，所述虚拟数据库接有通信接口，所述手术操作装置和实景数据生成单元之间依次接有操作数据采集装置和操作数据通信模块，所述用药操作装置和实景数据生成单元之间依次接有用药流量采集装置和用药流量通信模块，所述仿真服务器的输出端接有VR仿真显示平台、仿真声效模块和VR穿戴设备，所述仿真服务器的输入端接有开关模块，所述心脏模型具有心肌压力检测模块，

所述心肌压力检测模块包括传感层和与所述传感层相连接的压敏层，

所述操作数据采集装置包括微控制器，以及与所述微控制器相接的三轴加速度传感器、影像定位模块和位移传感器，

所述手术操作装置包括手术刀、手术剪、血管钳、持针器和手术镊，

所述手术操作装置包括导管、导丝、穿刺针、血管鞘、球囊和活检针，

所述用药操作装置包括输液器、微量泵和输血器，

所述VR穿戴设备为头戴式VR设备，

方法包括以下步骤：

步骤一、初始化：

使用者按下开关模块，仿真服务器加载虚拟数据库中的虚拟环境数据和心脏模拟数据，其中虚拟环境数据包括手术场景、手术操作模型和用药操作模型，所述手术操作模型包括手术操作装置虚拟模型和手术操作姿态数据，用药操作模型包括用药操作装置虚拟模型和用药数据，心脏模拟数据包括心脏生理参数和与所述心脏生理参数相对于的心脏仿真姿态数据，VR仿真显示平台根据虚拟环境数据和心脏模拟数据显示三维仿真场景；

实际使用时，实景数据生成单元基于OpenSceneGraph三维引擎、并采用VitualPlanet Builder工具分别对手术操作装置和用药操作装置进行预处理，生成手术操作装置虚拟模型和用药操作装置虚拟模型；

步骤二、获取实际操作数据：

步骤201、操作数据采集装置采集手术操作装置的动作状态数据，并将动作状态数据传输通过操作数据通信模块传输给实景数据生成单元，实景数据生成单元基于OpenSceneGraph三维引擎、并采用Vitual Planet Builder 工具对手术操作装置虚拟模型进行姿态渲染，生成实景三维手术操作姿态数据；

步骤202、用药流量采集装置采集用药操作装置的用药流量，并将用药流量通过用药流量通信模块传输给实景数据生成单元，实景数据生成单元基于OpenSceneGraph三维引擎、并采用Vitual Planet Builder工具对用药操作装置虚拟模型进行姿态渲染，生成实景三维用药数据；

步骤203、心肌压力检测模块采集心脏模块在模拟手术过程中的心肌压力数据，并将压力数据传输给仿真服务器；

步骤三、生成虚实混合仿真场景：

仿真服务器调取虚拟数据库中的手术场景、与实景三维手术操作姿态数据相对应的手术操作模型、与实景三维用药数据相对于的用药操作模型、与心肌压力数据相对于的心脏仿真姿态数据，然后在仿真服务器中渲染获得虚实混合仿真场景；

步骤四、VR显示：

仿真服务器将虚实混合仿真场景通过VR仿真显示平台和VR穿戴设备显示出来。

上述的方法，其特征在于：虚拟环境数据还包括手术提示声音，所述手术操作模型还包括手术声效，所述用药操作模型还包括给药声效，步骤四中 VR仿真显示平台显示虚实混合仿真场景时，仿真声效模块同时加载手术提示声音、手术声效和给药声效。

本发明与现有技术相比具有以下优点：

1、本发明的结构简单、设计合理，实现及使用操作方便。

2、本发明的模拟系统中设置有操作数据采集装置和用药流量采集装置，操作数据采集装置采集手术操作装置的动作状态数据，并将动作状态数据传输通过操作数据通信模块传输给实景数据生成单元，用药流量采集装置采集用药操作装置的用药流量，并将用药流量通过用药流量通信模块传输给实景数据生成单元，实景数据生成单元可根据操作数据采集装置和用药流量采集装置的实际姿态生成模拟仿真姿态，从而将实际操作姿态模拟融合进虚拟场景中。

3、本发明中，仿真服务器结合实景数据生成单元生成的模拟仿真姿态和虚拟数据库中的手术场景、手术操作模型和用药操作模型，渲染获得虚实混合仿真场景，从而实现实际操作与虚拟场景相结合的技术效果。

4、本发明在虚拟数据库中存储有手术场景、手术操作模型和用药操作模型，手术操作模型包括手术操作装置虚拟模型和手术操作姿态数据，用药操作模型包括用药操作装置虚拟模型和用药数据，仿真服务器调取虚拟数据库中的手术场景、与实景三维手术操作姿态数据相对应的手术操作模型、与实景三维用药数据相对于的用药操作模型，然后在仿真服务器中渲染获得虚实混合仿真场景，从而使使用者可直观清晰的感知到不同的手术操作、不同的药剂、不同的药剂用量对心脏生理参数产生的医学效应，适用于医学解剖、医学认知、手术模拟练习等场景。

5、本发明采用心脏模型代替虚拟心脏，增加了手术真实感，采用心肌压力检测模块检测心脏模型在手术操作装置下的压力，增加了心脏生理参数的反馈，使用效果好。

综上所述，本发明结构简单、设计合理，仿真服务器结合实景数据生成单元生成的模拟仿真姿态和虚拟数据库中的手术场景、手术操作模型和用药操作模型，渲染获得虚实混合仿真场景，从而实现实际操作与虚拟场景相结合的技术效果，从而使使用者可直观清晰的感知到不同的手术操作、不同的药剂、不同的药剂用量对心脏生理参数产生的医学效应，适用于医学解剖、医学认知等场景，有助于术前方案设计，有利于外科医师在实践中成长。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明VR心脏手术模拟系统的电路原理框图。

图2为本发明操作数据采集装置的电路原理框图。

图3为本发明VR心脏手术模拟方法的方法流程图。

附图标记说明:

1—仿真服务器； 2—VR仿真显示平台； 3—仿真声效模块；

4—VR穿戴设备； 5—手术操作装置； 6—操作数据采集装置；

7—操作数据通信模块； 8—用药操作装置； 9—用药流量采集装置；

10—用药流量通信模块； 11—虚拟数据库；

12—通信接口； 13—实景数据生成单元；

14—心肌压力检测模块； 15—开关模块。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。

如图1至图2所示，本发明的一种VR心脏手术模拟系统及其模拟方法，包括用于渲染虚拟仿真场景的仿真服务器1、用于对心脏模型进行仿真手术操作的手术操作装置5、用于对心脏模型进行仿真用药的用药操作装置8、与所述仿真服务器1相接且用于存储虚拟环境数据的虚拟数据库11，以及与所述仿真服务器1相接且用于生成实际操作场景的实景数据生成单元13，所述虚拟数据库11接有通信接口12，所述手术操作装置5和实景数据生成单元 13之间依次接有操作数据采集装置6和操作数据通信模块7，所述用药操作装置8和实景数据生成单元13之间依次接有用药流量采集装置9和用药流量通信模块10，所述仿真服务器1的输出端接有VR仿真显示平台2、仿真声效模块3和VR穿戴设备4，所述仿真服务器1的输入端接有开关模块15，所述心脏模型具有心肌压力检测模块14。

实际使用时，采用心脏模型代替虚拟心脏，增加了手术真实感，采用心肌压力检测模块14检测心脏模型在手术操作装置下的压力，增加了心脏生理参数的反馈，使用效果好。

实际使用时，手术操作装置5分为两种，一种是常规外科手术装置，常规外科手术装置包括但不限于手术刀、手术剪、血管钳、持针器和手术镊。另外一种是介入式手术装置，包括但不限于导管、导丝、穿刺针、血管鞘、球囊和活检针。

通过选择不同的手术操作装置5，可模拟不同形式的手术，适用性好，使用方便。

实际使用时，操作数据采集装置6采集手术操作装置5的动作状态数据，并将动作状态数据传输通过操作数据通信模块7传输给实景数据生成单元 13，用药流量采集装置9采集用药操作装置8的用药流量，并将用药流量通过用药流量通信模块10传输给实景数据生成单元13。

实景数据生成单元13包括OpenSceneGraph三维引擎、并采用Vitual PlanetBuilder工具。

实景数据生成单元13可根据操作数据采集装置6和用药流量采集装置9 的实际姿态生成模拟仿真姿态。

为了增强模拟手术的真实性，操作数据通信模块7和用药流量通信模块 10均采用无线网络通信模块。

虚拟数据库11中存储有手术场景、手术操作模型和用药操作模型，所述手术操作模型包括手术操作装置虚拟模型和手术操作姿态数据，用药操作模型包括用药操作装置虚拟模型和用药数据，心脏模拟数据包括心脏生理参数和与所述心脏生理参数相对于的心脏仿真姿态数据。

仿真服务器1结合实景数据生成单元13生成的模拟仿真姿态和虚拟数据库11中的手术场景、手术操作模型和用药操作模型，渲染获得虚实混合仿真场景，从而实现实际操作与虚拟场景相结合的技术效果，从而使使用者可直观清晰的感知到不同的手术操作、不同的药剂、不同的药剂用量对心脏生理参数产生的医学效应，适用于医学解剖、医学认知、手术模拟练习等场景，有助于术前方案设计，有利于外科医师在实践中成长，使用效果好。

本实施例中，所述心肌压力检测模块14包括传感层和与所述传感层相连接的压敏层。

实际使用时，传感层用于感应触摸位置和压力；压敏层为间隔兼传输层，与传感层连接，用于传输传感层感应到的触摸位置和压力。

压敏层为紧密排列的针状PDMS阵列。

本实施例中，所述操作数据采集装置6包括微控制器61，以及与所述微控制器61相接的三轴加速度传感器63、影像定位模块64和位移传感器62。

实际使用时，三轴加速度传感器63为芯片LIS3DH，影像定位模块64包括定位摄像头和与所述定位摄像头相接的图像处理模块。

需要说明的是，本发明中，微控制器61、三轴加速度传感器63、影像定位模块64和位移传感器62均为现有技术设备，可以直接购置并与微控制器61连接使用。

具体实施时，三轴加速度传感器63用于检测手术操作装置5在空间XYZ 方向上的姿态，影像定位模块64用于检测手术操作装置5相对于心脏模型的位置，位移传感器62用于检测手术操作装置5的位移。根据三轴加速度传感器63、影像定位模块64和位移传感器62的检测结果，可以判断出手术操作装置5的空间姿态以及动作。

本实施例中，所述用药操作装置8包括输液器、微量泵和输血器。

实际使用时，通过使用不同的用药操作装置8可对心脏模型或静脉或动脉注射不同的药物或血液，方便使用者直观清晰的观测不同的药物对心肌细胞收缩的影响、对心律的影响、对心室颤动的影响等。

而且本申请中设置有用药流量采集装置9，用药流量采集装置9检测用药操作装置8的给药剂量，因此可通过设置用药流量采集装置9可使使用者直观清晰的观测不同剂量的药物对心肌细胞收缩的影响、对心律的影响、对心室颤动的影响等。

本实施例中，所述VR穿戴设备4为头戴式VR设备。

具体实施时，VR穿戴设备4为头戴式VR眼镜，可直观感知VR影像，模拟现实操作。

如图3所述，本发明还包括一种VR心脏手术模拟方法，其特征在于，包括以下步骤：

步骤一、初始化：

使用者按下开关模块15，仿真服务器1加载虚拟数据库11中的虚拟环境数据和心脏模拟数据，其中虚拟环境数据包括手术场景、手术操作模型和用药操作模型，所述手术操作模型包括手术操作装置虚拟模型和手术操作姿态数据，用药操作模型包括用药操作装置虚拟模型和用药数据，心脏模拟数据包括心脏生理参数和与所述心脏生理参数相对于的心脏仿真姿态数据，VR 仿真显示平台2根据虚拟环境数据和心脏模拟数据显示三维仿真场景；

实际使用时，实景数据生成单元13基于OpenSceneGraph三维引擎、并采用VitualPlanet Builder工具分别对手术操作装置5和用药操作装置8 进行预处理，生成手术操作装置虚拟模型和用药操作装置虚拟模型。

手术操作姿态数据包括不同的手术操作装置在不同的压力、不同的触摸位置作用下对心脏产生的手术效果；用药数据包括不同种类的药品在不同剂量的用法下对心脏产生的用药效果；心脏生理参数指的是心肌压力检测模块 14感应到的触摸位置和压力。

具体实施时，手术操作姿态数据和用药数据均根据医护人员经验获得，并存储在虚拟数据库11中。

步骤二、获取实际操作数据：

步骤201、操作数据采集装置6采集手术操作装置5的动作状态数据，并将动作状态数据传输通过操作数据通信模块7传输给实景数据生成单元 13，实景数据生成单元13基于OpenSceneGraph三维引擎、并采用Vitual Planet Builder工具对手术操作装置虚拟模型进行姿态渲染，生成实景三维手术操作姿态数据；

步骤202、用药流量采集装置9采集用药操作装置8的用药流量，并将用药流量通过用药流量通信模块10传输给实景数据生成单元13，实景数据生成单元13基于OpenSceneGraph三维引擎、并采用Vitual Planet Builder 工具对用药操作装置虚拟模型进行姿态渲染，生成实景三维用药数据；

步骤203、心肌压力检测模块14采集心脏模块在模拟手术过程中的心肌压力数据，并将压力数据传输给仿真服务器1；

步骤三、生成虚实混合仿真场景：

仿真服务器1调取虚拟数据库11中的手术场景、与实景三维手术操作姿态数据相对应的手术操作模型、与实景三维用药数据相对于的用药操作模型、与心肌压力数据相对于的心脏仿真姿态数据，以存储在虚拟数据库11中用药操作模型、手术操作模型和心脏模拟数据响应心肌压力检测模块14的采集数据和手术操作装置5的动作状态数据，然后在仿真服务器1中渲染获得虚实混合仿真场景，达到以虚拟场景响应实际操作的效果，有助于术前方案设计，有利于外科医师在虚拟实践中成长。

步骤四、VR显示：

仿真服务器1将虚实混合仿真场景通过VR仿真显示平台2和VR穿戴设备4显示出来。

实际使用时，使用者可通过VR设备观看仿真服务器1上的仿真场景，从而直观的感受到仿真情景，起到模拟现实的效果。

本实施例中，虚拟环境数据还包括手术提示声音，所述手术操作模型还包括手术声效，所述用药操作模型还包括给药声效，步骤四中VR仿真显示平台2显示虚实混合仿真场景时，仿真声效模块3同时加载手术提示声音、手术声效和给药声效。

以上所述，仅是本发明的实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (2)

1.一种采用VR心脏手术模拟系统进行VR心脏手术模拟的方法，其特征在于：系统包括用于渲染虚拟仿真场景的仿真服务器(1)、用于对心脏模型进行仿真手术操作的手术操作装置(5)、用于对心脏模型进行仿真用药的用药操作装置(8)、与所述仿真服务器(1)相接且用于存储虚拟环境数据的虚拟数据库(11)，以及与所述仿真服务器(1)相接且用于生成实际操作场景的实景数据生成单元(13)，所述虚拟数据库(11)接有通信接口(12)，所述手术操作装置(5)和实景数据生成单元(13)之间依次接有操作数据采集装置(6)和操作数据通信模块(7)，所述用药操作装置(8)和实景数据生成单元(13)之间依次接有用药流量采集装置(9)和用药流量通信模块(10)，所述仿真服务器(1)的输出端接有VR仿真显示平台(2)、仿真声效模块(3)和VR穿戴设备(4)，所述仿真服务器(1)的输入端接有开关模块(15)，所述心脏模型具有心肌压力检测模块(14)，

所述心肌压力检测模块(14)包括传感层和与所述传感层相连接的压敏层，

所述操作数据采集装置(6)包括微控制器(61)，以及与所述微控制器(61)相接的三轴加速度传感器(63)、影像定位模块(64)和位移传感器(62)，

所述手术操作装置(5)包括手术刀、手术剪、血管钳、持针器和手术镊，

所述手术操作装置(5)包括导管、导丝、穿刺针、血管鞘、球囊和活检针，

所述用药操作装置(8)包括输液器、微量泵和输血器，

所述VR穿戴设备(4)为头戴式VR设备，

方法包括以下步骤：

步骤一、操作初始化：

使用者按下开关模块(15)，仿真服务器(1)加载虚拟数据库(11)中的虚拟环境数据和心脏模拟数据，其中虚拟环境数据包括手术场景、手术操作模型和用药操作模型，所述手术操作模型包括手术操作装置虚拟模型和手术操作姿态数据，用药操作模型包括用药操作装置虚拟模型和用药数据，心脏模拟数据包括心脏生理参数和与所述心脏生理参数相对于的心脏仿真姿态数据，VR仿真显示平台(2)根据虚拟环境数据和心脏模拟数据显示三维仿真场景；

步骤二、获取实际操作数据：

步骤201、操作数据采集装置(6)采集手术操作装置(5)的动作状态数据，并将动作状态数据传输通过操作数据通信模块(7)传输给实景数据生成单元(13)，实景数据生成单元(13)基于OpenSceneGraph三维引擎、并采用Vitual Planet Builder工具对手术操作装置虚拟模型进行姿态渲染，生成实景三维手术操作姿态数据；

步骤202、用药流量采集装置(9)采集用药操作装置(8)的用药流量，并将用药流量通过用药流量通信模块(10)传输给实景数据生成单元(13)，实景数据生成单元(13)基于OpenSceneGraph三维引擎、并采用VitualPlanet Builder工具对用药操作装置虚拟模型进行姿态渲染，生成实景三维用药数据；

步骤203、心肌压力检测模块(14)采集心脏模块在模拟手术过程中的心肌压力数据，并将压力数据传输给仿真服务器(1)；

步骤三、生成虚实混合仿真场景：

仿真服务器(1)调取虚拟数据库(11)中的手术场景、与实景三维手术操作姿态数据相对应的手术操作模型、与实景三维用药数据相对于的用药操作模型、与心肌压力数据相对于的心脏仿真姿态数据，然后在仿真服务器(1)中渲染获得虚实混合仿真场景；

步骤四、VR显示：

仿真服务器(1)将虚实混合仿真场景通过VR仿真显示平台(2)和VR穿戴设备(4)显示出来。

2.根据权利要求1所述的方法，其特征在于：虚拟环境数据还包括手术提示声音，所述手术操作模型还包括手术声效，所述用药操作模型还包括给药声效，步骤四中VR仿真显示平台(2)显示虚实混合仿真场景时，仿真声效模块(3)同时加载手术提示声音、手术声效和给药声效。

Images