CN106920451A - 一种基于虚拟现实技术的手术教学展示系统 - Google Patents

Abstract

本发明提供一种基于虚拟现实技术的手术教学展示系统，包括基础数据存储单元、手术精细操作模拟单元、手术流程及场景展示单元、虚拟现实成像单元、手术直播单元；所述手术流程及场景展示单元分别与基础数据存储单元、手术精细操作模拟单元、虚拟现实成像单元、手术直播单元连接，基础数据存储单元与手术精细操作模拟单元连接。本发明提供的基于虚拟现实技术手术教学展示系统，使医护人员可以在体验到虚拟现实技术的同时对包括骨科、妇产科、肿瘤外科、心胸外科等临床手术科室的各类型手术有一个比较直观的体验，在整个手术模拟过程当中可以让医疗技术得到更好的锻炼和达到学习交流的目的，可以更加真实的学习和了解各类手术的流程及规范。

Description

一种基于虚拟现实技术的手术教学展示系统

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种基于虚拟现实技术的手术教学展示系统。

背景技术

虚拟现实技术是虚拟场景系统、知觉管理系统和用户之间的多重信号传导，使用户融入虚拟场景。计算机完成虚拟场景的设计、制作，VR设备实现用户的知觉反馈，这是虚拟现实的内容输入；用户接收知觉信号并通过捕捉设备将用户知觉输入计算机，完成场景响应，这是用户的信号输出；知觉管理系统将信号在虚拟场景系统和用户之间不断传导，形成完整的信号闭环。不过目前VR技术最大的问题是晕眩的解决、行业标准的建立，困于多产业、多场景的复杂融合。

医疗教育的最终目的是临床操作，但是传统的平面教材缺失互动和立体等特性，难以给予学习者实质性的高效指导，特别是实体解剖和外科手术等价值高但是机会少的资源稀缺，恰恰正是切中VR的优势。VR可以为学生提供课堂环境下提供不了的更优医疗培训。借助立体建模、定位测距、五维坐标（三维空间+平行宇宙）等技术，VR在模拟器官解剖和虚拟外科手术方面具有传统教学难以比拟的巨大优势。

普通的VR技术仅仅只有操作人员本人才能够对整个系统进行完整体验，而周围的观摩人员则只能跟随操作人员的视角，这样容易导致观摩人员会有严重的晕眩感以及无法对操作人员进行准确的指导。并且如果想将虚拟世界的影响向外界直播的时候也需要借助成本高昂的辅助设备等。

发明内容

针对背景技术存在的问题，本发明提供一种基于虚拟现实技术的手术教学展示系统，是一种基于VR技术将手术全过程以第三人称视角向外进行直播以及向观摩人员展示使用的多视角直播系统。

本发明采用如下技术方案实现：

一种基于虚拟现实技术的手术教学展示系统，包括包括基础数据存储单元、手术精细操作模拟单元、手术流程及场景展示单元、虚拟现实成像单元、手术直播单元；所述手术流程及场景展示单元分别与基础数据存储单元、手术精细操作模拟单元、虚拟现实成像单元、手术直播单元连接，基础数据存储单元与手术精细操作模拟单元连接；

所述基础数据存储单元：存储了在各类型手术过程当中所使用的全部医疗器械的高精度模型及操作动画，以及对应的器械功能信息等；

所述手术精细操作模拟单元：针对不同类型手术的精细操作需求，设置一个专门模拟各类手术的精细操作及显示单元；在该单元当中，操作者进行操作的精度与实际动作的精度是相同的，最大程度的还原了各类精细手术操作的体验。

所述手术流程及场景展示单元：调取基础数据存储单元内的数据构建一个虚拟手术室以及手术工具与材料，针对手术具体流程，将基础数据存储单元中的模型数据进行采集和加工，完成整个手术流程，并通过虚拟现实成像单元、手术直播单元显示；该单元可以具体分为场景展示单元和手术流程单元，场景展示单元：在虚拟环境内调取基础数据存储单元内的数据构建一个与真实手术场景高度对应的虚拟手术室以及极其仿真的手术工具与材料。手术流程单元：针对手术具体流程，将基础数据存储单元中的模型数据进行采集和加工，完成整个手术流程，并通过虚拟现实成像单元和手术直播单元成像及显示。

所述虚拟现实成像单元：以操作人员的视角成像并显示；显示的输出有两种，一种是操作者的VR成像显示，即：通过佩戴在操作人员头部的虚拟成像设备显示；另一种是通过平面显示器显示，操作人员虚拟成像显示设备可以清楚的观察到场景展示单元，平面显示器可以提供给第三方人员看到操作人员实时所观察到的场景展示单元。

所述手术直播单元：以观摩人员的视角成像并显示；是提供给观摩人员的可以全方位观察整个手术操作全过程的显示单元，可以让操作人员无需顾虑自身视角的情况下向观摩人员进行整个手术过程的讲解，也可以让观摩人员在手术的全程实时指导操作人员手术操作。

所述手术精细操作模拟单元包括虚拟操作控制单元、手术定制处理单元、手术器械与手术目标模拟单元、精细操作输入单元；虚拟操作控制单元分别与手术定制处理单元、手术器械与手术目标模拟单元、精细操作输入单元连接，精细操作输入单元、手术器械与手术目标模拟单元、手术定制处理单元依次连接；

虚拟操作控制单元进行整体流程控制，由精细操作输入单元获取操作人员手的实时位置以及正在进行的操作，当操作人员进行的操作信息进入到手术器械与手术目标模拟单元后，进行手术操作流程检查以及精度检查，检查通过后推动手术流程继续进行，手术定制处理单元则根据不同的手术类型决定相应的显示方式，该单元实时的将手术操作的每一个细小的动作清晰的呈现在操作人员的面前。

所述虚拟现实成像单元包括操作人员头控模块、操作人员摄像机、操作人员VR成像单元、虚拟现实成像输出单元、操作人员非VR成像单元、平面显示器；操作人员摄像机分别与手术流程及场景展示单元、操作人员头控模块、操作人员VR成像单元、操作人员非VR成像单元连接，操作人员VR成像单元与虚拟现实成像输出单元连接，操作人员非VR成像单元与平面显示器连接；

手术操作的场景及动作的图形数据信息由手术流程及场景展示单元送入操作人员摄像机，操作人员摄像机由操作人员头控模块控制方向与角度，其展示操作人员的第一视角，对于操作人员的视角以两个成像单元显示，既操作人员VR成像单元和操作人员非VR成像单元，再分别由虚拟现实成像输出单元、平面显示器输出。

所述手术直播单元包括观摩人员摄像机、观摩人员成像显示单元、平面显示器；手术流程及场景展示单元、观摩人员摄像机、观摩人员成像单元、平面显示器依次连接；

手术操作的场景及动作的图形数据信息由手术流程及场景展示单元送入观摩人员摄像机，观摩人员成像显示单元以观摩人员的视角成像后由平面显示器输出，观摩人员摄像机是预先设定好的固定机位，目的是向观摩人员展示整个手术的全貌。

本发明提供的基于虚拟现实（VR）技术的手术教学展示系统，使医护人员可以在体验到虚拟现实技术的同时对包括骨科、妇产科、肿瘤外科、心胸外科、普通外科、神经外科、眼科、耳鼻喉科等临床手术科室的各类型手术有一个比较直观的体验，在整个手术模拟过程当中可以让医疗技术得到更好的锻炼和达到学习交流的目的，可以更加真实的学习和了解各类手术的流程及规范，本发明还创建了一个专供观摩人员观看的手术直播单元，在启动手术直播单元之后，手术操作人员可以非常方便的向观摩人员讲解手术，观摩人员也可以全方位的观察整个手术过程并给出指导。

附图说明

图1为本系统的整体结构示意图；

图2为本系统中手术精细操作模拟单元的结构示意图；

图3为本系统中虚拟现实成像单元及手术直播单元的结构示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步说明。

如图1所示，本发明包括基础数据存储单元、手术精细操作模拟单元、手术流程及场景展示单元、虚拟现实成像单元、手术直播单元；所述手术流程及场景展示单元分别与基础数据存储单元、手术精细操作模拟单元、虚拟现实成像单元、手术直播单元连接，基础数据存储单元与手术精细操作模拟单元连接。

基础数据存储单元：存储由多种手术操作器械组成的模型数据，对应的该手术器械的功能信息以及手术操作器械的1:1等比例高精度模型及操作动画等信息。

手术精细操作模拟单元：用于模拟手术的精细操作环境，以提供给操作人员接近与真实手术操作的体验。在图2中具体描述了整个手术精细操作模拟单元的组成。该单元由虚拟操作控制单元进行整体流程控制，操作人员手持代表手术器械的模拟手柄，手柄的所有信息由基础数据存储单元所提供，手柄的输出信息交由精细操作单元处理，由精细操作输入单元来获取操作人员手的实时位置以及正在进行的操作，当操作人员进行的操作信息进入到手术器械与手术目标模拟单元的时候，会进行大量的手术操作流程检查以及精度检查，检查通过后才能推动手术流程继续进行。而特定的手术定制处理单元则根据不同的手术类型决定相应的显示方式，该单元将会实时的将手术操作的每一个细小的动作都清晰的呈现在操作人员的面前。

手术流程及场景展示单元，用于模拟真实的手术室场景来带给操作人员一种接近真实手术的环境体验，同时控制整个手术流程并会给出语音提示。

虚拟现实成像单元和手术直播单元都是将手术操作的过程画面展示出来，但其渲染流程是有区别的。如图3所示，左侧分支为虚拟现实成像单元流程，右侧分支为手术直播单元流程，手术流程及场景展示单元中的手术操作的场景及动作的图形数据信息会分别送入操作人员摄像机和观摩人员摄像机，操作人员摄像机有操作人员自己的头控模块控制方向与角度等，展示的是操作人员的第一视角，而观摩人员摄像机则是预先设定好的固定机位，目的是向观摩人员展示整个手术的全貌。对于操作人员的视角，在通常的虚拟显示系统中会分出两个成像单元，既操作人员的双目显示单元和提供给旁观人员的单一平面显示单元，但这两个显示单元的显示内容通常是一样的。本发明中单独创建了一个专供观摩人员观看的手术直播单元。在启动手术直播单元之后，手术操作人员可以非常方便的向观摩人员讲解手术，观摩人员也可以全方位的观察整个手术过程并给出指导。

以上所述仅是对本发明的较佳实施例，并非对本发明的范围进行限定，故在不脱离本发明设计精神的前提下，本领域普通工程技术人员对本发明所述的构造、特征及原理所做的等效变化或装饰，均应落入本发明的保护范围内，本发明未做详细阐述的内容均属于现有技术。

Claims (4)

1.一种基于虚拟现实技术的手术教学展示系统，其特征在于：包括基础数据存储单元、手术精细操作模拟单元、手术流程及场景展示单元、虚拟现实成像单元、手术直播单元；所述手术流程及场景展示单元分别与基础数据存储单元、手术精细操作模拟单元、虚拟现实成像单元、手术直播单元连接，基础数据存储单元与手术精细操作模拟单元连接；

所述基础数据存储单元：存储在各类型手术过程当中所使用的全部医疗器械的高精度模型及操作动画，以及对应的器械功能信息；

所述手术精细操作模拟单元：针对不同类型手术的精细操作需求，设置一个专门模拟各类手术的精细操作及显示单元；

所述手术流程及场景展示单元：调取基础数据存储单元内的数据构建一个虚拟手术室以及手术工具与材料，针对手术具体流程，将基础数据存储单元中的模型数据进行采集和加工，完成整个手术流程，并通过虚拟现实成像单元、手术直播单元显示；

所述虚拟现实成像单元：以操作人员的视角成像并显示；

所述手术直播单元：以观摩人员的视角成像并显示。

2.根据权利要求1所述的一种基于虚拟现实技术的手术教学展示系统，其特征在于：所述手术精细操作模拟单元包括虚拟操作控制单元、手术定制处理单元、手术器械与手术目标模拟单元、精细操作输入单元；虚拟操作控制单元分别与手术定制处理单元、手术器械与手术目标模拟单元、精细操作输入单元连接，精细操作输入单元、手术器械与手术目标模拟单元、手术定制处理单元依次连接；

虚拟操作控制单元进行整体流程控制，由精细操作输入单元获取操作人员手的实时位置以及正在进行的操作，当操作人员进行的操作信息进入到手术器械与手术目标模拟单元后，进行手术操作流程检查以及精度检查，检查通过后推动手术流程继续进行，手术定制处理单元则根据不同的手术类型决定相应的显示方式，该单元实时的将手术操作的每一个细小的动作清晰的呈现在操作人员的面前。

3.根据权利要求2所述的一种基于虚拟现实技术的手术教学展示系统，其特征在于：所述虚拟现实成像单元包括操作人员头控模块、操作人员摄像机、操作人员VR成像单元、虚拟现实成像输出单元、操作人员非VR成像单元、平面显示器；操作人员摄像机分别与手术流程及场景展示单元、操作人员头控模块、操作人员VR成像单元、操作人员非VR成像单元连接，操作人员VR成像单元与虚拟现实成像输出单元连接，操作人员非VR成像单元与平面显示器连接；

手术操作的场景及动作的图形数据信息由手术流程及场景展示单元送入操作人员摄像机，操作人员摄像机由操作人员头控模块控制方向与角度，其展示操作人员的第一视角，对于操作人员的视角以两个成像单元显示，既操作人员VR成像单元和操作人员非VR成像单元，再分别由虚拟现实成像输出单元、平面显示器输出。

4.根据权利要求3所述的一种基于虚拟现实技术的手术教学展示系统，其特征在于：所述手术直播单元包括观摩人员摄像机、观摩人员成像显示单元、平面显示器；手术流程及场景展示单元、观摩人员摄像机、观摩人员成像单元、平面显示器依次连接；

手术操作的场景及动作的图形数据信息由手术流程及场景展示单元送入观摩人员摄像机，观摩人员成像显示单元以观摩人员的视角成像后由平面显示器输出，观摩人员摄像机是预先设定好的固定机位，目的是向观摩人员展示整个手术的全貌。