CN103903487B - 一种基于3d力反馈技术的内窥镜微创手术三维仿真系统 - Google Patents

Abstract

本发明公开了一种基于3D力反馈技术的内窥镜微创手术三维仿真系统，该系统以计算机虚拟现实技术原理为基础，采用自主研发的3D底层引擎平台，空间定位传感器模块化组件，利用人体系统仿真和力反馈技术，模拟临床手术器械操作手感与手术步骤；基于国内首创专用3D底层引擎平台及软件开发环境，并结合临床训练方案，包含虚拟人体器官碰撞检测算法、组织形变仿真计算模型等，构建了微创手术内窥镜三维仿真系统。

Description

一种基于3D力反馈技术的内窥镜微创手术三维仿真系统

技术领域

本发明涉及一种医疗技术领域，具体的说是涉及一种基于3D力反馈技术的内窥镜微创手术三维仿真系统。

背景技术

内窥镜微创手术三维仿真平台系统是内窥镜微创手术模拟训练的核心，文件管理、网络特性等等，3D平台系统的核心是3D引擎，3D引擎有开源和商业的，常见的开源3D引擎有：Unreal，Quake，Lithtech，OGRE，Irrlicht等，OGRE在开源的引擎中评价最高，一个原因是作为一个图形渲染引擎，它支持的图形特性最多，所以渲染质量也不错；另一个原因是设计模式的清晰；另外，速度也不错。商业3D max引擎,还有国外商业3D引擎。目前3D引擎存在的缺点和不足主要如下：

1、大多数引擎主要针对3D仿真应用，模拟的对象主要是刚体，而内窥镜微创手术模拟训练针对的对象是人体组织，大部分是软体。

2、建模方法过于单一，一般只支持3Dmax等建模工具建的模型。

3、没法模拟手术器械的各种动作，或者模拟的效果和实际差别太大。

4、不能很好的模拟各种医学效果，如抓取、切割、缝合、打结、上钛夹、烟雾、流血等。

5、一般和微软的3D DirectX绑定，没法支持跨平台的开发和应用。

6、对目前主流的3D控制终端支持不够，只能支持特定的3D控制终端。

发明内容

本发明要解决的技术问题在于提供了一种基于3D力反馈技术的内窥镜微创手术三维仿真系统，该系统以计算机虚拟现实技术原理为基础，采用自主研发的3D底层引擎平台，空间定位传感器模块化组件，利用人体系统仿真和力反馈技术，模拟临床手术器械操作手感与手术步骤；基于国内首创专用3D底层引擎平台及软件开发环境，并结合临床训练方案，包含虚拟人体器官碰撞检测算法、组织形变仿真计算模型等，构建了微创手术内窥镜三维仿真系统。

为解决上述技术问题，本发明通过以下方案来实现：一种基于3D力反馈技术的内窥镜微创手术三维仿真系统，该系统包括操作台、支架、光学摄像系统、内窥镜系统、图像传输系统、显示设备，所述光学摄像系统主要由棱镜或光导纤维构成，所述支架横向两端设有2个并列设置的光学摄像头，分别为摄像头、摄像头，2个光学摄像头分别与图像传输系统相连，2个光学摄像头的拍摄位置相交于被摄物上，所述支架横向中部的纵向上设置一摄像头，该摄像头与图像传输系统相连，并与另2个横向设置的光学摄像头的拍摄位置相交于被摄物上；所述内窥镜微创手术三维仿真系统还包括数据接收处理设备、3D医学模型处理服务器、3D平台系统服务器、所述数据接收处理设备用于实现力反馈及虚拟触觉，操作台与数据接收处理设备相连接，所述数据接收处理设备与3D平台系统服务器相连接，所述3D医学模型处理服务器亦与3D平台系统服务器相连接，3D平台系统服务器与显示设备相连接。

进一步的，所述数据接收处理设备与3D平台系统服务器相连接，实现数据双向传输过程，即正向过程，由操作台来驱动虚拟环境中的器械运行；逆向过程，虚拟环境中的力通过力反馈作用驱动操作台产生反馈力的作用。

进一步的，所述操作台由左右二组操作手臂构成，每组操作手臂包括相连接的底座、大转轮、支撑座、螺旋轮、电机、位置传感器、旋转轮盖、操作杆、自转微调拨盘、剪刀手柄、惰轮、轴承、直线导轨及钢丝绳张紧装置。

进一步的，所述第一摄像头、第二摄像头、第三摄像头上都设有LED灯3。

进一步的，所述第一摄像头、第二摄像头、第三摄像头通过转轴可作30度-120度旋转。

本发明的有益效果是：本发明设计并实现了平台专用的底层3D开发引擎，可以具有交互作用，集成3D力反馈技术与包围球碰撞检测优化算法等关键技术基础上，可以实现腔内器械触摸器官造成的逼真柔体形变效果，编写出复杂的三维应用程序以及形体碰撞检测功能，以3D FLASH嵌入式形式的WEB展示，进而构建了微创手术三维仿真支撑软件环境设计出基于WEB 3D技术的在线交互。

附图说明

图1为本发明插入部光学摄像组件示意图。

图2为本发明外部的连接设备示意图。

图3为本发明实施例1中球碰撞原理示意Ⅰ图。

图4为本发明实施例2中球碰撞原理示意Ⅱ图。

图5为本发明实施例3中球碰撞原理示意Ⅲ图。

图6为本发明实施例图文报告软件的程序框图。

图7为本发明内窥镜微创手术三维仿真系统硬件结构图。

具体实施方式

以下结合附图对本发明作详细说明。

如图1、图2、图6、图7所示，一种基于3D力反馈技术的内窥镜微创手术三维仿真系统，该系统包括操作台、支架4、光学摄像系统、内窥镜系统、图像传输系统、显示设备5、扫描仪6，所述光学摄像系统主要由棱镜或光导纤维构成，所述支架4横向两端设有2个并列设置的光学摄像头，分别为第一摄像头、第二摄像头，2个光学摄像头分别与图像传输系统相连，2个光学摄像头的拍摄位置相交于被摄物上，其特征在于：所述支架4横向中部的纵向上设置一第三摄像头，该第三摄像头与图像传输系统相连，并与另2个横向设置的光学摄像头的拍摄位置相交于被摄物上；所述系统还包括数据接收处理设备、3D医学模型处理服务器、3D平台系统服务器、所述数据接收处理设备用于实现力反馈及虚拟触觉，操作台与数据接收处理设备相连接，所述数据接收处理设备与3D平台系统服务器相连接，所述3D医学模型处理服务器亦与3D平台系统服务器相连接，3D平台系统服务器与显示设备相连接。所述数据接收处理设备与3D平台系统服务器相连接，实现数据双向传输过程，即正向过程，由操作台来驱动虚拟环境中的器械运行；逆向过程，虚拟环境中的力通过力反馈作用驱动操作台产生反馈力的作用。所述操作台由左右二组操作手臂构成，每组操作手臂包括相连接的底座、大转轮、支撑座、螺旋轮、电机、位置传感器、旋转轮盖、操作杆、自转微调拨盘、剪刀手柄、惰轮、轴承、直线导轨及钢丝绳张紧装置，所述第一摄像头、第二摄像头、第三摄像头上都设有LED灯3，所述第一摄像头、第二摄像头、第三摄像头通过转轴可作30度-120度旋转。根据图2，所述光学摄像系统2主要由棱镜或光导纤维构成，图像传输系统传输，通过支架4上的导线被内窥镜系统接收，并由内窥镜系统内部的影像处理系统处理输出，在显示设备5上显示。本发明支架4的3个光学摄像系统，各个光学摄像系统有一定的距离，因此3个光学摄像系统拍摄的影像具有一定相位差，从而产生距离感，当两个光学摄像系统拍摄的图像信号由图像传输系统传至内窥镜系统后，再由影像处理系统处理成可显示的图像或视频，通过显示设备5显示，即为3D立体图像或视频，当使用光学摄像系统中任意一个摄像头工作时，就可作为普通内窥镜系统使用。

内镜微创手术实习医生以及基层医院医生，非常有必要到具有卫生部内镜考评委认定的培训资格的内镜培训基地进行培训，对内镜微创外科器械的培养，从拿起内镜那一刻，直至最后操作结束，一步一步规范化，这些程序式的规范操作看似基础，其实极为必要，如果不规范操作的习惯持续多年，不但影响医疗质量，对医生自身知识技能掌握新的医疗器械的培养也有害无益。标准操作流程SOP在卫生部内镜培训基地急需内镜微创仿真手术训练、考评系统，因我国现行医疗行业自主开发能力较弱等原因，导致该类一体化的医教高端设备几乎依赖进口。

本发明基于3D力反馈技术的内窥镜微创手术三维仿真系统以计算机虚拟现实技术原理为基础，符合我国卫生部医学临床，采用自主研发的3D底层引擎平台，空间定位传感器模块化组件，方便扩展增值新手术科室手术仿真，利用人体系统仿真和力反馈技术，模拟临床手术器械操作手感与手术步骤。基于国内首创专用3D底层引擎平台及软件开发环境，并结合临床训练方案，包含虚拟人体器官碰撞检测算法、组织形变仿真计算模型等，构建了微创手术内窥镜仿真培训系统。

本发明主要内容包括以下部分：

1.多种腔内虚拟人体器官组织形变仿真模型软件渲染过程设计。

人体组织通常是非均匀的、各向异性的，结合医学实际，设计多种仿真三维显示的基本过程，把这些不同科室手术过程分为独立的软件模块进行描述。下面以普外科腹腔镜为例，完成模型仿真三维渲染的基本过程如下：

①数据准备.即获取三维可视化工作所需的基本的具体腔体、器械仿真模型数据。

②启动数据模型，控制点校正，可手工或自动校验。

③透视投影变换，即建立三维图像点间的透视关系，也同样可以在屏幕上生成不同视角条件下的立体透视图，具体的模型由视点，视角，三维图形大小等参数来确定。

④光照Camera模型。实际的研发中，为了逼真地反映腔体内仿真表面明暗，颜色变化需要根据光照方向和结点的法向量逐点计算每个象素的颜色和灰度.然后反映到生成的普外科仿真三维模型上去，对腹腔镜下景物中的普外科仿真表面，可以先在3DMAX获得基础的数据模型加工，光照模型要考虑光源的位置、光源的强度、视点的位置、腔体内器官的漫反射光，以及器械面对光的反射和吸收特性，在设置虚拟camera来手工验证效果，并在软件实现中进行参数校正。

⑤消隐和裁剪。本发明采用的消隐处理是先做一次快速简单的光线跟踪法扫描消隐，然后结合Z-buffer算法处理，最后当视点切换移动的时候启用画家算法消隐，达到快速高效的消隐效果。图形裁剪就是根据模型视区的大小确定三维普外科仿真的不可视部分，将已经落入显示器范围外的部分图形自动裁剪掉，从而使显示屏给出一完整的三维图形画面。

⑥图形绘制和存储.依各种相应算法如模拟灰度，分形几何，纹理影射等绘制并显示各种类型的三维普外科仿真图，并以标准图像文件格式进行记录。

⑦三维图形的后处理.在三维透视图上添加各种材质等，进行颜色，亮度，对比度等处理。为了增加三维普外科仿真图的真实感使用性，在已生成三维图的基础上，叠加显示实地区域内一些主要器官皮肤材质或血管和有关普外科特征是十分必要的，这需要在3DMAX建立模型材质库支撑下实现。在三维图成功显示后，在三维普外科仿真图上依据有关参数，数据库或数据文件以及有关算法，进行普外科模型仿真可以在此基础上实现一些基于普外科3D模型的分析功能软件，分析功能包括可视分析和可操作性分析，这种分析的优点便是直观，不必等软件实现，即可获得手术仿真过程效果提出一套模型数据质量管理方案。

2.多种腔体下基于包围球碰撞检测优化算法设计与实现。

虚拟手术仿真是虚拟现实技术在医学领域中的重要应用。在虚拟手术仿真过程中，可以进行术前手术计划制定、手术过程仿真、术后效果预测等工作。本发明运用虚拟现实技术来实现内镜微创手术训练系统来辅助外科手术训练、考核过程。

而碰撞检测是构成系统虚拟现实的基本要素，系统中碰撞检测需要确定手术器械工具与人体器官组织是否碰撞，在确认碰撞后，通过力反馈装置获得反馈碰撞点的具体信息。依据这些获取的数据，系统才能对人体组织的形变做出相应的操作。常用的碰撞检测算法主要有包围盒的检测方法已经空间分割的检测方法，有包围球Bounding Sphere、轴包围盒Axis Aligned Bounding Box,简称AABB、方向包围盒Oriented Bounding Box,简称OBB等。碰撞检测不仅要满足手术仿真实时性的需要，还要满足力反馈精确度的需要，力反馈装置改变电磁线圈中电流的大小来实现真实的反馈效果，本发明采用优化精确的包围球碰撞检测算法，选用了计算量小、实时性高的包围球碰撞检测方法。

如图3、图4、图5所示，下面以运动球体与碰撞球体为例，解释采用包围球碰撞检测优化算法实现碰撞检测，设定球体BALL₁、BALL₂、BALL₃的半径分别为R₁和R₂、R₃,球体BALL₁球心到BALL₂或到BALL₃的球心距离为d，碰撞初始状态为“状态1”,碰撞发生时为“状态2”，碰撞发生形变为“状态3”，碰撞发生形变两球相交区域为点集合e。

BALL₁、BALL₂、BALL₃碰撞检测简述如下：

设定BALL₁为运动球体，BALL₂、BALL₃为静止球体，由BALL₁沿着某一方向BALL₂运动。在初始状态时即“状态1”，如图3所示，d>R₁+R₂没有碰撞点；

在碰撞发生形变时即“状态3”，如图4所示，d﹤R₁+R₂有n多个碰撞点共同构成了点集e(X_n,Y_n)；

如图5所示，三球A、B、C发生碰撞，在碰撞发生形变时，D﹤R₁+R₂+R₃,多个碰撞点共同构成了点集D区域(X_n，Y_n，Z_n)；这个坐标为三维坐标。

总结以上碰撞原理，通过计算3个球体的球心之间距离，与3个球的半径之和比较大小，检测有没有碰撞。在具体实现代码过程中，程序需要确认在运动初始位置处两球体之间是否相交，程序只需要根据判定公式即可根据上面原理。

3.多种腔体交互环境器官软组织的实时形变计算下力反馈技术实现。

在多种腔体内建立虚拟手术操作在3D环境下对器械和器官进行碰撞检测之后，力反馈技术能将虚拟环境下手术中的数据转化成用户可以感觉到的效果，例如宫腔子宫、卵巢上钛夹钳、电凝刀灼烧或者转动手术手柄方向盘感受到的反作用力，这些效果都是力反馈控制驱动软件结合力反馈装置控制电路，反馈给操作手柄，受训者感受到力反馈“播放”出来的。力反馈技术，实质一种触觉处理芯片电路与控制软件，可以提供加速、优化等功能，使其虚拟现实的效果更加流畅、逼真，在传动方面要采用的是电动机带动齿轮，手柄机械部分前进、后退方向增加电磁线圈装置，提供柔顺的力反馈效果，进行力的线性传动。要注意的是平常所见游戏的“振动手柄”使用的并不是力反馈技术。本发明自主研发的强力反馈技术相比要复杂得多，结合3D引擎软件，给力反馈电路发出的指令，它可以模拟出真实的操纵感，而不是简单的振动。比如，妇科宫腔镜手术，在子宫、卵巢上钛夹钳和转动手术手柄上完全是不同的感觉，根据力反馈力度与速度的不同，力反馈控制芯片会根据手术场景中提供的数据计算出合理上的反作用力，根据不同的碰撞检测，体现力反馈效果，比如触碰到腔体或管壁，有柔和的接触感，和真实的手术触感是一致的。

同时，基于柔体的形变计算模型和实时的力反馈计算模型，通过传感器使机械部分系统从多种腔内虚拟器官软组织3D模型数据中“感知”，3D定位机构还增加了一个自由度使操控模拟手柄的人机交互更具灵活性，同时引入可渐变力度的3D力反馈控制系统来控制、仿真操作持内窥镜手术过程，通过GPU硬件加速和并行计算来解决实时计算的问题。

4.适应多种腔体治疗性手术培训的软件架构设计与实现。

固定的案例和虚拟场景，只能用于手术技能培训，多种腔内治疗性内镜手术医教培训平台可以虚拟多种腔体下微创手术方案，系统可以提供便捷的模型升级自服务功能与可虚拟开发功能，使普遍用户能够根据个性化的病人影像数据，快速构造虚拟场景模型，无需编写任何代码，即能完成交互操作设计，并可灵活加载模型的包围球碰撞检测优化算法进行虚拟检测，这样可以加快在不同腔体下手术中的推广应用。

5.多种腔体下基于BIS 3D设计与实现。

BIS 3D技术应用成功进行现实应用的关键，可以实现在WEB页面以flash动态效果展示3D模型，通过采用完全互动粒子处理技术，提高了微创手术腔体和手术过程的仿真效果如器械和器官的碰撞、流血、器官纹理色彩、电刀火花和烟雾和冲洗等，多自由度实时交互，最大限度的满足医学教学实践，也是内镜微创手术三维仿真训练平台最本质的特征和要求之一。

BIS 3D又称网络虚拟三维，是一种在传统虚拟现实技术的基础上，利用3D互联网平台将现实世界中有形的物品通过互联网进行虚拟的三维立体展示并可互动浏览操作的一种网络虚拟现实技术。相比起目前网上主流的以图片、FLASH、三维动画的展示方式来说，BIS 3D技术让用户有了浏览的自主感，以自己的角度去观察和互动操作。目前比较流行的平台有Microsoft的DirectX、Java3D和GL4JavaOpenGl For Java、Fluid3D、Cult3D等。其中Microsoft的DirectX可广泛用在三维动画、三维游戏等领域，可利用Windows Server的系统级加速，可以直接调用一些软件如ALIAS、LIGHTWARE、3DS MAX生成的形体，使形体带有颜色、贴图，可以产生形体的运动、变化，动态地改变观测点的位置及视角。

多种腔内治疗性内镜手术三维仿真医教培训平台引入基于Microsoft DirectX的BIS 3D驱动技术，设计并实现了平台专用的底层3D开发引擎，可以具有交互作用，集成3D力反馈技术与包围球碰撞检测优化算法等关键技术基础上，可以实现腔内器械触摸器官造成的逼真柔体形变效果，编写出复杂的三维应用程序以及形体碰撞检测功能，以3D FLASH嵌入式形式的WEB展示，进而构建了微创手术三维仿真支撑软件环境设计出基于BIS 3D技术的在线交互，满足更多的训练者在线参与训练。

以上所述仅为本发明的优选实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种基于3D力反馈技术的内窥镜微创手术三维仿真系统，该系统包括操作台、支架、光学摄像系统、内窥镜系统、图像传输系统、显示设备、扫描仪，所述光学摄像系统主要由棱镜或光导纤维构成，所述支架横向两端设有2个并列设置的光学摄像头，分别为第一摄像头、第二摄像头，2个光学摄像头分别与图像传输系统相连，2个光学摄像头的拍摄位置相交于被摄物上，其特征在于：所述支架横向中部的纵向上设置一第三摄像头，该第三摄像头与图像传输系统相连，并与另2个横向设置的光学摄像头的拍摄位置相交于被摄物上；所述内窥镜微创手术三维仿真系统还包括数据接收处理设备、3D医学模型处理服务器、3D平台系统服务器、所述数据接收处理设备用于实现力反馈及虚拟触觉，操作台与数据接收处理设备相连接，所述数据接收处理设备与3D平台系统服务器相连接，所述3D医学模型处理服务器亦与3D平台系统服务器相连接，3D平台系统服务器与显示设备相连接。

2.根据权利要求1所述的一种基于3D力反馈技术的内窥镜微创手术三维仿真系统，其特征在于：所述数据接收处理设备与3D平台系统服务器相连接，实现数据双向传输过程，即正向过程，由操作台来驱动虚拟环境中的器械运行；逆向过程，虚拟环境中的力通过力反馈作用驱动操作台产生反馈力的作用。

3.根据权利要求1所述的一种基于3D力反馈技术的内窥镜微创手术三维仿真系统，其特征在于：所述操作台由左右二组操作手臂构成，每组操作手臂包括相连接的底座、大转轮、支撑座、螺旋轮、电机、位置传感器、旋转轮盖、操作杆、自转微调拨盘、剪刀手柄、惰轮、轴承、直线导轨及钢丝绳张紧装置。

4.根据权利要求1所述的一种基于3D力反馈技术的内窥镜微创手术三维仿真系统，其特征在于：所述第一摄像头、第二摄像头、第三摄像头上都设有LED灯。

5.根据权利要求1或4所述的一种基于3D力反馈技术的内窥镜微创手术三维仿真系统，其特征在于：所述第一摄像头、第二摄像头、第三摄像头通过转轴可作30度-120度旋转。