CN111276022A - 一种基于vr技术的胃镜模拟操作系统 - Google Patents

Abstract

本发明公开了一种基于VR技术的胃镜模拟操作系统开发方法，包括以下步骤：1）还原设计：临床场景、模拟人体以及人体胃部模型的三维设计，图像叠加实现材质还原、胃部动态模拟；2）跟踪设计：VR动画编程、VR动画跟踪技术；3）整体设计：沉浸式模拟技术、胃部病理数据库建立、胃镜模拟操作的交互式技术以及外部设备创新。以计算机、VR设备代替有成本高昂、使用场地限制等问题的传统高仿真模拟设备，VR胃镜模拟操作系统将实物虚拟化，体积更小、便于携带，并且可以通过VR动画的重新制作以及力反馈系统的相应编程，实现从胃镜模拟操作系统到身体其他部位模拟操作系统的拓展。

Description

一种基于VR技术的胃镜模拟操作系统

技术领域

本发明涉及VR技术领域，尤其涉及到VR胃镜模拟操作系统的开发。

背景技术

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真，包括实时三维计算机图形技术，广角(宽视野)立体显示技术，对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等，使用户进入到该环境中，达到沉浸式的交互体验。虚拟现实技术的特征在于多感知性、交互性、自主性、存在感。指除一般计算机所具有的视觉感知外，还有听觉感知、触觉感知、运动感知，甚至还包括味觉、嗅觉、感知等一切人所具有的感知功能；当用户感到作为主角存在于模拟环境中的真实程度应达到使用户难辨真假的程度；用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度；虚拟环境中的物体依据现实世界物理运动定律动作的程度。

目前国内跨界研究方向主要集中于国家军事、航空航天培训、和游戏等方向的研究开发。虽有一部分涉及到VR技术与医学专业的结合，但都未形成系统的理论和可实际应用的成果，而医学领域对VR技术有着巨大的应用需求，为VR技术发展提供了强大的牵引力。VR技术因沉浸性、超文本性和交互性等方面的技术特点，可与多种医学治疗手段、医学教学紧密结合，开发出更为成熟的医学临床模拟系统，并且协同VR技术本身的发展不断深入医学模拟操作系统的研究。现有大部分胃镜模拟设备造价昂贵、不便于携带，加之受到材料和储存条件的限制，不能真实地还原消化道内壁的肌理、粘液等。本发明是将实践和理论相结合的创新研究，重点攻关数字还原技术，通过创建高模、高清贴图等技术更真实地还原消化道全貌；突破创新编程跟踪技术，拟解决狭小空间定点、捕捉探测技术，更加细腻真实地模拟跟踪胃镜探测仪器。为此，我们设计出一种基于VR技术的胃镜模拟操作系统，来解决上述部分问题。

发明内容

现有技术医学仿真领域传统的高仿真设备造价十分高昂结合实物使用的三维动画其模型与动画都过于简单甚至粗糙存在的不足，而提出的一种基于VR技术的胃镜模拟操作系统。

为实现上述目的，本发明采用了如下技术方案：

基于VR动画仿真技术，以胃镜模拟操作系统为切入点，逐步扩展VR技术在消化内镜治疗领域的应用。

以医院、高校为研究主体，以三维动画建模为基础，结合计算机编程、VR程序编写，以高性能外接设备开发为技术导向，攻克VR动画技术与医学实践相结合过程中的重点、难点，并将对后续医学临床模拟系统进行深入研究。基于VR技术的胃镜模拟操作系统，包括对临床场景、模拟人体以及人体器官的真实还原、对体验者动作的编码跟踪、虚拟现实技术、头戴式可视设备、操控手柄和计算机。所述对人体器官的真实还原，用于还原人体胃部等器官的真实结构；所述对体验者动作的编码跟踪，用于对体验者运用手持感应设备操作胃镜模拟操作系统的动作进行编码跟踪；所述三维动画嵌入虚拟现实技术，通过三维动画技术设计出胃镜模拟操作所需要的模型、贴图、动画等，并导入到虚拟引擎中，制作成全方位的胃镜模拟操作环境，再通过编写代码的方式制作成虚拟的胃镜模拟操作系统；计算机作为处理终端，且与头戴式可视设备和手柄之间数据相通，经由头戴式可视设备进入虚拟场景，并使用手柄操作系统，将选择按钮指令信号传输给计算机，计算机中的胃镜模拟操作系统对指令信号进行分析，并控制头戴式可视设备中的虚拟胃部场景做出相应的操作反馈，根据指令信号，完成上消化道的胃部检查或手术操作。

与现有技术相比，本发明的有益效果是：

1、患者展示，学术展示

近年来医患矛盾不断激化，医患关系亟待改善，因此借由基于VR技术的医学临床应用系统向患者详述实际病情与治疗方案，促进患者对自身健康问题的深入了解，可减少因医患沟通不足引起的医疗纠纷；也可将此系统用于面向广大群众的知识科普以及面向专家学者的学术研讨。

2、学生教育、医师培训

各种器械检查、侵入式操作、介入治疗、外科手术的实作经验对医科学生、临床医师极为重要，利用VR技术进行医学模拟操作，让学生、医师在沉浸式医学临床操作模拟系统中进行可重复训练，大大减少手术培训时间，降低高昂的培训成本，缩短成材周期。并且在医疗、教学过程中可以尽量避免不必要的动物、人体试验，减少因道德伦理问题引起的社会矛盾。

3、临床新技术、拓展新领域、创建新平台

通过VR动画技术、编程技术、临床医学的结合创建跨领域平台，并以此为基础弥补传统医疗技术的不足、开发先进医疗技术，且在新技术实际投入使用之前通过VR医学临床应用系统进行可行性分析、最优方案设计，提高医疗技术的安全性和有效性。用VR技术的医学模拟操作系统，将人体器官的形态及其运动规律、病理表现都将通过计算机技术来实现还原，器材仅需购置运行模拟程序的VR设备，从而节省了大量的材料费和人工费，缩短了培养周期，降低了培养成本。虚拟现实技术与医学相结合将是今后医学教学培训的新方向，体验者在获得医疗知识的同时并能有美好的体验，能够真正应用于医学教学和科普当中。VR技术与医学结合的运用不局限于胃镜模拟操作系统的开发，在其他医学专业也有着极大需求，以胃镜模拟操作系统为出发点，可预见VR技术在医学其他领域的大面积开发应用。虚拟现实技术与临床的结合将为医学教育、医学实验带来极大便利。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

1，本发明是一种基于VR技术的胃镜模拟操作系统，包括对临床场景、模拟人体以及人体器官的真实还原、对体验者动作的编码跟踪、虚拟现实技术、头戴式可视设备、操控手柄和计算机。所述对临床场景、模拟人体以及人体器官的真实还原，用于还原人体胃部等器官的真实结构；所述对体验者动作的编码跟踪，用于对体验者运用手持感应设备操作胃镜模拟操作系统的动作进行编码跟踪；所述三维动画嵌入虚拟现实技术，通过三维动画技术设计出胃镜模拟操作所需要的模型、贴图、动画等，并导入到虚拟引擎中，制作成全方位的胃镜模拟操作环境，再通过编写代码的方式制作成虚拟的胃镜模拟操作系统；计算机作为处理终端，且与头戴式可视设备和手柄之间数据相通，经由头戴式可视设备进入虚拟场景，并使用手柄操作系统，将选择按钮指令信号传输给计算机，计算机中的胃镜模拟操作系统对指令信号进行分析，并控制头戴式可视设备中的虚拟胃部场景做出相应的操作反馈，根据指令信号，完成上消化道的胃部检查或手术操作。

本发明在具体实施时，首先，胃镜操作系统的模型设定是动画艺术语言基于胃镜检查的实际操作需要而设计的。项目组成员经过前期调研、资料分析、讨论、总结之后，最终确定所需三维模型为：人体、口腔、食道、胃部、手术器具、仪器等单个物体以及操作台、手术台等组合场景。由于单个物体和组合场景的位置摆放、空间布局直接影响画面的构成，所以场景中的模型位置主要依照医院手术室的实际布局来布置。这个虚拟场景主要包括虚拟手术台、手术灯、手术器具、电子设备以及虚拟人体模型、人体器官等，形成了一个完整的胃镜操作系统设定。

按照预设的胃镜模拟操作场景，借助于三维技术，使用MAYA软件，将不同的几何形状进行移动、变形，构建出人体、胃部、器具等单个物体模型，再通过ZBrush数字雕刻笔刷工具塑造出细节部分，包括人体皮肤的纹理、器官的皱壁等肌理，创建出生动逼真的高精度模型，再根据实际情景拼接搭建成一个完整的虚拟胃镜模拟操作场景，使之更好地还原胃镜的实际操作场景。

在建造模型过程中，首先要求布线是均等的四边面，且布线的走向需按照实际物体的结构来分布。例如人体模型的布线一般按照骨骼结构的走向来设计，且布线的四边面尽量大小均等、排列有序。其次，在处理细节部分时，可以使用“一分三法”，适用于从简单过渡到复杂的布线处理方式，例如食道到胃部的连接部位由窄到宽，此时可以在四边面的一个点上延伸出一根线，由一根线拆分为三根线，以此来实现更为细致的处理。然后再根据每个物体的特征和结构，比如胃镜操作仪器这种相对处于静止状态或者运动较少的模型，只需要平均布线就能够完成定型；而运动相对较多的模型，例如手关节，这类型的模型就必须有充足的伸展线，才能保证其在运动过程中贴图材质不被拉伸；另外，若模型处于在画面中的关键位置，例如作为VR胃镜模拟操作系统主体的胃部，这种主体物也需要加密布线来表现更多细节，同时也能增加胃部模型的真实性，达到真实还原人体器官的目的。

三维软件MAYA常使用的贴图方式有平面、柱体和球体等，分别对应于不同的多边形需求。同时根据物体表面的特性不同，项目组采取的贴图方式也有所不同：一种是图像拼贴，图像拼贴选用与物体表面相似的图片，在模型UV图上根据真实物体的表面特征进行拼贴，以此来表现物体的材质，从而令模型的色彩、纹理、光滑度、透明度、发光度以及反光度等更贴合物体的真实形象，让体验者获得更加真实的观感。另一种是贴图绘制，在对模型进行的UV裁剪拼贴成的一张平面图像上，根据UV的摆放位置通过Photoshop软件在相对应的平面模型上进行绘制贴图。类似的模型材质可以一起绘制，例如胃部等器官可以一起绘制，器具和场景可以一起绘制，再针对每一种不同的材质做出不同的绘制处理，按照物体的实际情况添加不同的材质纹理，例如在绘制器官部分注重绘制器官表面的皱壁、黏膜等纹理的真实贴图，达到胃部表面的真实效果，实现人体器官的真实还原。

动画是三维动画技术根据胃镜检查的实际操作动作，并遵循运动规律，以此还原胃镜检查中的真实操作动作和胃部的运动状态。该动作设计是把一个完整的动作分解成预备、起始、轨线、过激、复位五个关键帧，再根据时间节奏在不同的时间点上对控制器进行移动、旋转、缩放等技术做好五个关键动作，在三维动画软件中自动生成一个连续的动作。再通过景深和变焦等处理手法来对动画的立体感和空间感进行修饰，将胃镜检查的完整过程中的所有动作连续播放制作成全方位的交互动画，实现动态的模拟还原。

在完整的虚拟胃镜模拟操作场景中，项目组通过虚幻引擎软件Unreal Engine4创建行走相机，利用HMD头戴设备封闭使用者视觉，在其眼前呈现出虚拟的胃部模型、手术器械及操作空间等场景，使用者可以直观地了解整个胃部等器官结构，并借助于跟踪定位器和触觉反馈系统来对使用者的行为进行追踪，模拟胃镜检查动作，形成可视化的操作与互动，创建交互式胃镜模拟操作系统。再通过数据手套、六自由度鼠标、操纵杆等设备，实现虚拟胃镜在虚拟的胃部场景里自由行走的真实操作，模拟胃镜检查的全过程，再通过虚拟的操作系统，模拟完成胃部疾病的微创手术，可反复实践。使用者通过亲身体验胃镜检查、手术的整个过程，产生身临其境的代入感，达到沉浸式的胃镜模拟操作体验。

利用虚拟现实技术，使用者头戴显示设备。该设备封闭人对外的视觉、听觉，通过HMD 的左右眼屏幕分别对应呈现左右眼的胃镜操作场景图像，两眼视网膜成像不完全对称，形成双眼视差，人眼接收到带有差异的胃镜操作场景信息后，在脑海中产生立体知觉，形成胃镜模拟操作场景的三维立体感，引导使用者产生一种身在虚拟操作环境中的真实空间假想。通过虚拟现实技术创建的模拟胃镜操作系统，利用计算机等设备生成一种虚拟的场景，是一种融合了多源信息的、交互式的三维动态视景和仿真的实际操作系统，让使用者产生视觉感知、听觉感知、触觉感知、运动感知等多种感知性，从而沉浸到胃镜操作的环境中。虚拟环境中物体的可操作性和使用者行为产生的反馈信息相结合，为使用者提供交互性的体验。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围部不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

附图说明 图1为本发明提出的一种基于VR技术的胃镜模拟操作系统的使用流程示意图。

Claims (9)

1.一种基于VR技术的胃镜模拟操作系统，其特征在于沉浸式的、可互动的胃镜模拟操作系统，包括对临床场景、模拟人体以及人体器官的真实还原、胃部疾病病例数据库的建立、对体验者动作的编码跟踪、虚拟现实技术、头戴式可视设备、操控手柄和计算机；所述对人体以及人体器官的真实还原，用于还原临床场景、模拟人体以及人体胃部、十二指肠等部位的真实结构；所述对体验者动作的编码跟踪，用于对体验者运用手持感应设备操作胃镜模拟操作系统的动作进行编码跟踪并提供相应的力反馈；所述三维动画嵌入虚拟现实技术，通过三维动画技术设计出胃镜模拟操作所需要的模型、贴图、动画等，并导入到虚拟引擎中，制作成与临床情景相契合的、全方位的胃镜模拟操作环境，再通过编程将独立的三维动画模块联系起来，并以符合用户操作习惯的交互界面为媒介，制作成虚拟胃镜模拟操作系统；计算机作为处理终端，与头戴式可视设备和手柄之间数据相通，经由头戴式可视设备进入虚拟场景，并使用手柄操作系统，将选择按钮指令信号传输给计算机，计算机中的胃镜模拟操作系统对指令信号进行分析，控制头戴式可视设备中的虚拟胃部场景做出相应的操作反馈，根据指令信号，完成上消化道的胃部检查或手术操作。

2.根据权利要求1所述的一种基于VR技术的胃镜模拟操作系统，其特征在于，所述对临床场景、模拟人体和人体器官的真实还原具体包括：通过三维动画技术建模，模拟还原胃镜检查真实场景、真实病人状态，以及胃镜操作过程中涉及到的人体口腔、食道、胃部、十二指肠等器官的真实结构；通过绘制器官皱壁、粘膜纹理的真实贴图，还原器官皱壁、粘膜纹理实现动态模拟还原技术；将胃镜从口腔进入胃部检查的完整过程制作成全方位的交互动画，导入Unity3D制作全景，实现360度无死角观察上消化道的目标；通过增加原动画帧数，达到减小使用者眩晕感的目的，实现视网膜成像还原技术。

3.根据权利要求1所述的基于VR技术的胃镜模拟操作系统，其特征在于，所述胃部疾病病例数据库的建立具体包括，通过与三甲医院胃镜中心合作，获得真实病理数据、图片、影像资料，据此绘制草图、进行三维建模、计算机编程建立多种胃部疾病对应的胃部模型数据库，如食管炎、食管异物、食管静脉曲张、胃溃疡、胃穿孔、胃癌变、胃息肉、胃十二指肠出血等，完成胃部疾病病例数据库的建立。

4.根据权利要求1所述的基于VR技术的胃镜模拟操作系统，其特征是，所述对体验者动作的编码跟踪具体包括：VR动画编程技术是通过手持设备与激光定位基站来捕捉动作，编程人员编写代码对各种动作进行判断，再将前端语言与全景制作软件结合，编写代码实现逻辑，编写完成后进入VR场景进行逻辑测试并不断完善内容；VR动画跟踪技术是通过创建行走相机，模拟胃镜从口腔通过食道进入胃部并进行360度观察上消化道的全过程，实现虚拟胃镜在虚拟胃部场景里自由行走的真实操作体验，达到沉浸式的胃镜模拟操作的交互式体验。

5.根据权利要求1所述的一种基于VR技术的胃镜模拟操作系统，其特征在于，所述虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统,利用计算机生成一种模拟的虚拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户达到沉浸式的交互体验。

6.根据权利要求1所述的一种基于VR技术的胃镜模拟操作系统，其特征在于，所述头戴式可视设备采用HTC Vive产品。

7.根据权利要求I所述的一种基于VR技术的胃镜模拟操作系统，其特征在于，所述虚拟场景中，根据系统选项，体验者持手柄选择操作所需要的按钮来进行胃镜检查和手术等动作。

8.根据权利要求1所述的一种基于VR技术的胃镜模拟操作系统，其特征在于，所述头戴式可视设备和手柄与计算机之间的数据传输可采用有线或者无线传输，无线传输的方式主要为蓝牙或者WIFI。

9.根据权利要求1所述的基于VR技术的胃镜模拟操作系统的工作方法，其特征在于，包括以下步骤；

步骤1：佩戴头戴式可视设备和持手柄站在感应探测范围内；

步骤2：设备与电脑进行连接匹配；

步骤3：登陆系统进入虚拟场景中；

步骤4：根据系统选项，选择所需要的按钮（检查或手术）；

步骤5：根据系统选项，选择需要检查或手术的疾病类型；

步骤6：选择检查或手术所需的器具；

步骤7：对胃部进行检查或手术；

步骤8：完成操作后，选择是否重新选择，选择是，回到步骤4，选择否则退出系统；

步骤9：取下头戴式可视设备和手柄。

Images