CN103315696A

CN103315696A - 使用由真实图像得到的虚拟平面来确定摄像机角度的系统和方法

Info

Publication number: CN103315696A
Application number: CN2013100924490A
Authority: CN
Inventors: 阿希维尼·K·潘迪
Original assignee: Covidien LP
Current assignee: Covidien LP
Priority date: 2012-03-21
Filing date: 2013-03-21
Publication date: 2013-09-25
Also published as: US20130250081A1; CA2808757A1; AU2013201547A1; EP2641561A1

Abstract

本发明提供了使用由真实图像得到的虚拟平面来确定摄像机角度的系统和方法。一种图像输出系统包括多个手术器械，其中多个手术器械中的每个手术器械相对于患者身体的目标对象的位置关系和方位关系被确定。图像输出系统进一步包括至少一个视频图像捕获单元，其被安置在多个手术器械中的每个手术器械上并且被配置为选择性地捕获真实图像。提供图像生成器，其用于相对于患者身体的目标对象选择性地限定、生成和分配与真实图像相关联的虚拟图像，虚拟图像是从多个手术器械中的每个手术器械获得的。还提供用于处理捕获的真实图像和生成的虚拟图像的图像处理器。另外，提供用于显示捕获的真实图像和生成的虚拟图像以多种配置的组合的图像输出设备。

Description

使用由真实图像得到的虚拟平面来确定摄像机角度的系统和方法

相关申请的交叉引用

本申请要求提交于2012年3月21日、序列号为61/613,623的美国临时专利申请的权益和优先权，其全部内容通过引用合并于此。

技术领域

本公开涉及内窥镜图像输出系统。更具体地，本公开涉及用于将真实图像与由真实图像得到的虚拟图像组合以用来为外科医生提供改进的内窥镜定向能力的系统和方法。

背景技术

内窥镜检查是指用于检查或观察内腔或中空构造的技术。内窥镜检查手术，也称作微入路手术（minimal access surgery），因为明确的优点（如术后发病率降低、疼痛减轻以及住院期间缩短）而已经被广泛地接受。然而，由于几个原因（如较小的器械、较小的进入口的限制以及被手术的区域有限的可见度），内窥镜检查手术比“传统的开放式手术”在技术上有更高的要求。内窥镜检查手术的学习曲线（learning curve）要比十年前预期的长得多。

而且，内窥镜检查包括图像引导的手术导航，图像引导的手术导航是在借助如超声波、磁共振以及各种放射照相技术的技术获得的解剖成像信息的帮助下设计微创手术方案并向患者身体内的目标引导手术工具的过程。因为在微创操作期间外科医生不能够直接看见手术工具和皮下解剖构造，因此这样的解剖成像信息是很有用的。对于早期的图像引导手术技术，为了在手术区域内安全地引导工具，外科医生要依靠他的能力将二维切片平面数据与患者的三维数据准确地关联起来。使用该方法的主要缺陷是：当尝试显现内部解剖构造的准确的想象图时，该方法要求外科医生有抽象的想象力，并且在手术操作期间该方法并不会将手术器械的位置反馈给外科医生。尽管如此，内窥镜检查与图像引导手术的组合仍然是受关注的，因为该组合使内窥镜的内部视图与图像引导手术系统的外部视角结合起来。

使用结合了观察方向可变式内窥镜检查的图像引导系统的价值可能要比使用标准的固定角度式内窥镜检查的价值大得多。首先，这种结合将允许真实图像和虚拟图像在更大的观察范围内相关联，这意味着改进了手术方案的设计，改进了引导能力、并且全面改进了手术操作。其次，这种结合为观察方向可变式内窥镜提供了观察导航的显著改善。然而，由观察方向可变式内窥镜引起的问题是：因为在使用期间器械的末端被遮蔽，所以外科医生很难估计出与轴的轴线有可变的关系的内窥镜瞄准线的变化。在手术操作期间，当外科医生试图将解剖构造的先前知识与观察过程相整合时获得对内窥镜正在“窥视”的位置的外部估算是重要的。

因此，应当变得明显的是，存在对至少提供以下能力的方法的需要：改进的内窥镜的定向能力、内窥镜的位置和观察方向的全局监控、以及改进的手术方案和操作设计。

发明内容

因此，提供了一种图像输出系统。所述图像输出系统包括：多个手术器械，其中，所述多个手术器械中的每个手术器械相对于患者身体的目标对象的位置关系和方位关系被确定。至少一个视频图像捕获单元被安置在所述多个手术器械中的每个器械上并且被配置为选择性地捕获真实图像。另外，提供了图像生成器，其用于相对于所述患者身体的所述目标对象选择性地限定、生成和分配与所述真实图像相关联的虚拟图像，所述虚拟图像是从所述多个手术器械中的每个手术器械获得的。所述图像输出系统还包括：图像处理器，其用于处理捕获的真实图像和生成的虚拟图像；以及图像输出设备，其用于显示所述捕获的真实图像和所述生成的虚拟图像以多种配置的组合。

在另一些实施例中，所述真实图像被叠加在所述虚拟图像上。所述真实图像是对应于关注区域的真实视图的并且被实时捕获的图像。

所述多个器械是用于所述穿过患者身体进行导航而配备的内窥镜。所述视频图像捕获单元可以是摄像机。

在另一实施例中，所述捕获的真实图像和所述生成的虚拟图像的组合用于连续地并且实时地记录和更新虚拟图像数据。

所述虚拟图像是从平面型虚拟表面提取的并且是以对应于所述真实图像的方式来排布的，使得所述平面型虚拟表面垂直于所述多个手术器械的至少一个视频图像捕获单元的观察方向。另外说明，虚拟观察点是以对应于由安置在所述多个手术器械中的每个手术器械上的至少一个视频图像捕获单元提供的真实观察点的方式来排布的。

所述系统是使由安置在所述多个手术器械中的每个手术器械上的至少一个视频图像捕获单元提供的真实视图与所述患者身体的所述目标对象相关联的固定参考系统。

另外，提供了一种图像输出方法。所述方法包括：从安置在多个手术器械中的每个手术器械上的至少一个视频图像捕获单元选择性地获取真实图像，并且确定所述多个手术器械中的每个手术器械相对于所述患者身体的目标对象的位置关系和方位关系。所述方法进一步包括：从图像生成器选择性地获取虚拟图像，所述图像生成器相对于所述患者身体的目标对象选择性地限定、生成和分配与所述真实图像相关联的虚拟图像，所述虚拟图像是从所述多个手术器械中的每个手术器械获得的。所述方法还包括：经由图像处理器来处理所述真实图像和所述虚拟图像，以及经由图像输出设备来显示捕获的真实图像和生成的虚拟图像的组合。

附图说明

合并到本说明书中并且构成了本说明书的一部分的附图，图示了本公开的实施例，并且与在上文中给出的本公开的概括描述以及在下文中给出的实施例的详细描述一起用于解释本公开的原理，其中：

图1是依照本公开的图像捕获单元观察系统，该图像捕获单元观察系统包括用于接收真实图像并根据真实图像生成身体的解剖结构的虚拟图像的多个摄像机；

图2是依照本公开的图像输出系统的系统图；

图3A依照本公开的用于组合并显示从单个图像捕获单元接收到的真实图像和所生成的虚拟图像的方法；

图3B依照本公开的用于组合并显示从多个手术器械的多个图像捕获单元接收到的真实图像和所生成的虚拟图像的方法；

图4图示了依照本公开的图像捕获单元观察系统的用户界面；以及

图5图示了依照本公开多个手术器械，每个手术器械均具有至少一个图像捕获单元，所述图像捕获单元用于从体腔接收真实图像并基于所接收到的真实图像生成多个虚拟平面以限定位置关系和方位关系。

具体实施方式

以下的详细描述以示例的方式（而不是以限制本公开原理的方式）图示了本公开。该描述将使本领域技术人员能够清楚地制造和使用本公开，并且描述了本公开的多个实施例、改进例、变型例、替代例和使用，包括目前被认为是实施本公开的最佳方式的实施例。

现在将参考附图详细地描述本公开的实施例，其中在几幅附图的每幅附图中相同附图标记指代相同的或对应的元件。在本文中使用时，术语“远侧”是指工具或其部件的距用户较远的部分，而术语“近侧”是指的工具或其部件的距用户较近的部分。

“真实图像”可以是视觉上捕获到的图像，特别是对应于关注区域的真实视图的图像，或者是直接由实物成像的图像，因为它们包括由视频捕获装置或物镜特别地实现并实时捕获的图像。术语“真实图像”是指如可以被人眼和/或人眼借助于例如摄像机或物镜看见的所有图像。“真实图像”来自于本身被观察的患者身体的对象和/或部分，而不像在下文中描述的虚拟图像数据那样来自于为患者身体的部分设定的数据。

“虚拟图像数据”可以包括在导航前或在导航期间借助于计算断层扫描、磁共振断层扫描、X射线记录或荧光记录、PET或SPECT记录或其他的医学成像方法来捕获的图像数据。“虚拟图像数据”是从为患者身体正被观察的部分设定的数据获取到的数据。在整个说明书中“虚拟图像数据”可以被称作虚拟图像、虚拟平面、虚拟对象、虚拟空间、虚拟表面、虚拟模型、虚拟视图或虚拟点。

在本公开的示例性实施例中，真实图像是由视频图像捕获单元、特别是摄像机或摄像机的光记录器（例如物镜或光纤端）提供的，使得视频图像捕获单元被布置在器械上或被合并在器械内。

在本公开的示例性实施例中，软件程序是在计算机或其他电子设备上运行的。计算机与内窥镜和显示设备（如监视器）进行电子通信。计算机包括图形处理单元。图形处理单元被特别地设计以快速执行本公开所要求的类型的图形相关的计算。对于既定应用，可以适当地将其他设备连接到计算机。

首先参考图1，呈现出依照本公开的图像捕获单元观察系统，该图像捕获单元观察系统包括用于接收真实图像并由真实图像生成身体的解剖结构的虚拟图像的多个摄像机。

图像捕获系统100包括附接到多个内窥镜120、122、124中的每个内窥镜的多个视频图像捕获单元132、134。内窥镜120、内窥镜122连接到图像获取系统110，而内窥镜124连接到执行器控制单元108，图像获取系统110和执行器控制单元108依次被连接到中央控制单元106。当然，任意数量的内窥镜可以被连接到执行器控制单元108或者图像获取系统110。中央控制单元106可以被连接到多个显示单元102、104。

多个内窥镜120、122、124中的每个内窥镜可以使创建、或显现、或建立可调整的观察矢量160、观察矢量170成为可能，多个内窥镜120、122、124的远端被安置在患者身体150的解剖结构140中。可以自标准光源（未示出）起通过多个内窥镜120、122、124传递用于解剖结构140的照明。多个内窥镜120、122、124可以配备有能够对观察矢量160、观察矢量170进行精确的机电控制的执行器和传感器（未显示）。用户可以通过例如操纵杆或键区（未显示）的输入设备来控制观察矢量160、观察矢量170。

中央控制单元106处理用户输入和关于多个内窥镜120、122、124的当前配置的信息以计算出对观察矢量160、观察矢量170的合适的调整量，而无需改变多个内窥镜120、122、124的位置。执行器控制单元108控制多个内窥镜120、122、124的配置，而图像获取单元110从多个内窥镜120、122、124接收图像信号并在将图像信号转送至中央控制单元106之前根据需要来调整图像信号。

内窥镜视频图像和其他相关信息被发送给显示设备或单元102、104。由一组摄像机132、134来跟踪在多个内窥镜120、122、124上的发光二极管（或其他发射应答器）。中央控制单元106使用来自摄像机132、摄像机134的信号来计算出多个内窥镜120、122、124在全局参考坐标系66中的位置。根据从成像过程获得的体扫描数据（volumetric scan data）来重建的内部解剖结构140的计算机图形模型68具有模型参考坐标系70。通过将模型参考坐标系70与全局参考坐标系66相关联，中央控制单元106可以计算和显示从多个内窥镜120、122、124获得的图形表示73，从而在显示设备104上图示出多个内窥镜120、122、124相对于由图形模型68表示的解剖结构140的位置。观察方向用图形表示为观察矢量76。中央控制单元106持续跟踪观察矢量76的方位，并且使用来自感测多个内窥镜120、122、124上的发射器的摄像机132、134的信号来计算并显示多个内窥镜120、122、124、观察矢量76、以及模型68的相对位置。

多个内窥镜120、122、124的相对位置、它们的观察方向、解剖构造、以及其他相关的信息经由显示单元102、显示单元104被呈现给用户或外科医生。显示单元102、显示单元104的屏幕被构造成显示关于内窥镜诊断或手术操作的信息的多个部分。显示单元102、显示单元104的一个部分被用来显示解剖模型68和观察矢量76的图形表示，给出内窥镜观察方向的全局视角以及在内窥镜图像中所看见的特征相对于周围解剖构造的位置。为了有助于外科医生的空间理解，还显示了内窥镜观察锥体的表示（见图4和图5），并可以显示内窥镜图像的方位，指示真实图像的上行方向。

因此，图像输出系统100可以包括多个内窥镜120、122、124，其中多个内窥镜120、122、124中的每个内窥镜相对于患者身体150的目标对象140的位置关系和方位关系被确定。至少一个视频图像捕获单元132、视频图像捕获单元134被安置在多个内窥镜120、122、124中的每个内窥镜上并且被配置为选择性地捕获患者身体150的目标对象140的真实图像。真实图像是对应于关注区域的真实视图的并且被实时被捕获的图像。如在下文中参照图2、图3A和图3B描述的那样，所获得的真实图像将要与虚拟图像组合。

另外，中央控制单元106可以包括记忆设备，记忆设备用于存储程序和其他数据。因此，依照本公开以更宽泛的术语将视频图像捕获单元132、视频图像捕获单元134表示为用于提供用来处理的合适图像的设备。例如，视频图像捕获单元132、视频图像捕获单元134可以被合并在成像设备内，成像设备如合并在CATSCAN、X射线机、MRI或其他设备中的设备，或者存储的图像，或者以直接连接、调制的红外光束、无线电、陆上线路、传真机或卫星等的方式（例如以万维网或因特网、或这样数据的任何其他合适的源的方式）与其他计算机或设备通信。从视频图像捕获单元132、视频图像捕获单元134接收到的数据（如真实图像）可以实时地、连续地或以周期性间隔存储在中央控制单元106的记忆设备中。

记忆设备可以是任何类型的存储单元。术语“存储单元”可以指数据存储器。“数据存储器”可以至少指有或没有任何其他物件或设备的帮助均能够从其中复制信息的任何物件或材料（如硬盘）。“数据存储”可以至少指以电磁形式的用于计算机处理器访问的数据保存。主存储是随机存取存储器（RAM）和其他“内置”设备中的数据。辅助存储是在硬盘、磁带以及其他外部设备中的数据。“数据存储器”还可以指在有意擦除前用于数字数据的永久保存的地方。“存储器”暗指无需电力就可以保持其内容的存储库。“存储器”主要指磁盘、磁带和光盘（CD、DVD等）。“存储器”还可以指非易失性记忆芯片，如闪存、只读存储器（ROM）和/或电可擦可编程只读存储器（EEPROM）。

显示单元102、显示单元104可以包括使用任何适合装置（如阴极射线显像管、等离子显示器、液晶显示器等）的计算机类型的显示设备，或者其可以包括或不包括用来渲染图像的设备，并且可以方便地包括用来存储用于进一步处理、观察、或估计的图像的记忆设备或记忆设备的一部分，或者可以利用包括如上所指出的与视频图像捕获单元132、视频图像捕获单元134有关的连接或接合。

参考图2，呈现了依照本公开的图像输出系统的系统图。

系统图200包括多个手术器械210、220、230。第一手术器械210包括摄像机212。第二手术器械220包括摄像机222。第三手术器械230包括摄像机232。手术器械210、手术器械220、手术器械230与输入/输出（I/O）接口240可操作地关联。I/O接口240与图像处理器250可操作地关联。图像处理器250经由总线260连接到虚拟图像生成器270、存储器280和图像输出设备290。

图像处理器260被配置为处理所捕获的真实图像和由虚拟图像生成器270生成的虚拟图像。在本文中使用时，术语“处理器”可以用来指可以接收和处理由安置在多个手术器械上或合并于多个手术器械中的摄像机检测到的真实图像和虚拟图像的任何类型的计算机、处理器或逻辑电路。这样的处理器可以包括用来对“真实图像”和由“真实图像”获取到的“虚拟图像”执行图像处理的软件。

虚拟图像生成器270相对于患者身体150的目标对象140选择性地限定、生成和分配与从手术器械210、手术器械220、手术器械230的摄像机212、摄像机222、摄像机232接收到的真实图像相关联的虚拟图像（见图1）。

存储器280被配置为用来存储程序和其他数据，已经在上文中参照图1进行了详细的描述。

如在上文中参照图1描述的那样，图像输出设备290可以包括任何类型的显示器件。

因此，在本公开中，使用多个内窥镜或手术器械210、220、230。手术器械210、手术器械220、手术器械230中的每个手术器械均包括至少一个摄像机212、222、232。手术器械210、手术器械220、手术器械230中的每个手术器械均能够获取患者身体中目标对象的真实图像。基于所获得的真实图像，由与图像处理器250相关联的虚拟图像生成器270创建一个或多个虚拟平面或图像。真实图像和由真实图像得到的虚拟图像可以被存储在存储器280中，并且可以被显示在图像输出设备290上。然后，可以构成组合了真实图像和由真实图像得到的虚拟图像的单个或多个图像（见图3A和图3B）。

参照图3A，呈现了依照本公开的一种组合并显示从单个图像捕获单元接收到的真实图像和由真实图像生成的虚拟图像的方法。

例如，方法300图示了从安装在手术器械上或合并到手术器械中的摄像机中获得的第一真实图像310。基于该第一真实图像310，虚拟图像生成器产生第一虚拟图像320。第一真实图像310和第一虚拟图像320被组合以形成组合图像330。组合图像330被提供给例如图像输出设备340。图像输出设备340在屏幕348上显示组合图像330。另外，图像输出设备340可以显示组合图像330多个不同的视图。例如，可以生成并在分离的屏幕上显示前视图342、俯视图344、以及仰视图346。要注意的是，组合图像可以指将真实图像叠加到虚拟图像上。因此，这样的方法300可以给外科医生提供根据由摄像机获得的真实图像的虚拟平面，从而扩展他/她对手术部位的观察能力。

参照图3B，呈现了依照本公开的一种在多个图像捕获单元协助下组合并显示接收到的真实图像和由真实图像生成的虚拟图像的方法。

方法400扩展了在图3A的方法300中提出的构思。在方法400中，图像输出系统包括三个手术器械。第一手术器械具有用来捕获第一真实图像410的第一摄像机。基于该第一真实图像410，图像生成器生成了第一虚拟图像412。第二手术器械具有用来捕获第二真实图像420的第二摄像机。基于该第二真实图像420，图像生成器生成第二虚拟图像422。第三手术器械具有用来捕获第三真实图像430的第三摄像机。基于该第三真实图像430，图像生成器生成第三虚拟图像432。

第一真实图像410与第一虚拟图像412相组合，第二真实图像420与第二虚拟图像422相组合，并且第三真实图像430与第三虚拟图像432相组合。然后，所有三个组合图像可以组合成为单个组合图像440。如此，可以使用多个手术器械来分别捕获至少一个真实图像，其中，来自多个手术器械中的每个手术器械的至少一个真实图像可以用来经由虚拟图像生成器创建相应的虚拟图像。然后，从所有手术器械获得的所有这样的图像可以被组合以形成单个图像440。因此，可以获得表明每个手术器械以哪种方式相对于患者定向的虚拟表示。如此，外科医生可以观察到从多个真实图像得到的多个虚拟平面，每个真实图像都是从多个手术器械获得的。这样使得外科医生的视野扩大，因为除了从摄像机接收到的真实平面以外，他/她能够观察到具有多个虚拟平面的多个目标对象。

而且，所捕获的真实图像和所生成的虚拟图像的组合可以被用来连续地并且实时地记录和/或更新虚拟图像数据。另外，可以从平面型虚拟表面提取虚拟图像并以对应于真实图像的方式来排布虚拟图像，使得平面型虚拟表面垂直于多个手术器械的至少一个视频图像捕获单元的观察方向。

参照图4，呈现了依照本公开的用于图像捕获单元观察系统的用户界面。

显示设备78的用户界面500被构建成显示关于内窥镜诊断或手术操作的信息的多个部分。屏幕80的一个部分被用来分别显示解剖模型68以及内窥镜73和观察矢量76的图形表示，给出内窥镜观察方向的全局视角以及在内窥镜图像中看到的特征相对于周围解剖构造的位置。为了协助外科医生的空间理解，还显示了内窥镜观察锥体84的表示，并且通过标记器86可以显示内窥镜图像的方位，指示图像的上行方向。其他三部分或视图88、90、92可以显示观察矢量76相对于包含内窥镜末端点的弧矢状平面、冠状平面、和轴向切片平面的方位。随着内窥镜的末端位置移动，这些切片平面改变。存储器位置94、存储器位置96、存储器位置98表明用户可以返回的所保存的观察位置。这些存储器位置94、存储器位置96、存储器位置98在全局坐标系统中是固定的，由于保存了这些位置，因此无论内窥镜的主体是否已经移动，内窥镜总是可以找到它们。这样再一次使得外科医生的视野扩大，因为他/她能够通过从安装在一个或多个手术器械上或合并到一个或多个手术器械中的摄像机看见的一个或多个真实图像中得到多个虚拟平面来观察目标对象。

参照图5，呈现了依照本公开的多个手术器械，每个手术器械均具有至少一个图像捕获单元，该图像捕获单元用于从体腔接收真实图像并基于接收到的真实图像生成多个虚拟平面以限定位置关系和方位关系。

手术系统600描述了第一手术器械610，第一手术器械610具有用来观察第一目标对象614的第一摄像机612。基于该第一真实平面，创建了第一虚拟平面616。另外，可以提供第四手术器械640，第四手术器械640具有第四摄像机642，第四摄像机642用来观察第一目标对象614。基于该第一真实平面，创建了第二虚拟平面618。如此，相对于患者身体150的第一目标对象614，在第一手术器械610和第四手术器械640之间建立了位置关系和方位关系。因此，为了更好地观察到第一目标对象614，外科医生需要多个虚拟平面616、618，虚拟平面616、虚拟平面618是从真实平面得到的。

另外，第二手术器械620可以包括第二摄像机622，第二摄像机622用来观察第二目标对象624。基于该第二真实平面，创建了第二虚拟平面626。第三手术器械630可以包括第三摄像机632，第三摄像机632用来观察第三目标对象634。基于该第三真实平面，创建了第三虚拟平面636。如此，在相对于第二目标对象624的第二手术器械620与相对于患者身体150的第三目标对象634的第三手术器械630之间建立了位置关系和方位关系。

因此，如图5所示，虚拟图像是从平面型虚拟表面或平面提取的并以对应于从手术器械的摄像机获得的真实图像的方式来排布的，使得平面型虚拟表面或平面垂直于手术器械的摄像机的观察方向。另外说明，虚拟观察点是由安置在多个手术器械上或合并到多个手术器械内的多个摄像机以对应于真实观察点的方式来排布的。

因此，一旦外科医生已经选定了目标对象，存在用于下一个步骤的多个选项。例如，外科医生可以选择内窥镜末端位置，或者可以选择进入通道或进入路线，或者可以选择输入内窥镜的视野。在用户已经选定了这三个选项中的任意两个选项后，中央控制单元106就可以确定第三个选项。典型地，可以首先选定进入通道，因为外科医生主要关注的是确定提供以最安全的方式来充分接近目标对象的进入路径。一旦已经确定了进入通道和目标对象，利用标准的计算机图形算法和机器视觉算法，中央控制单元106就可以对于给定的内窥镜计算并显示对于观察目标对象可以接受的虚拟平面或虚拟图像。

使用固定地观察的内窥镜，对于给定的目标对象，所选定的进入通道也许是不可行的。在这种情况下，如果用户已经输入其视野和视角，则中央控制单元106就可以对给定的内窥镜计算并显示可接受的进入通道的范围。只有具有全方向的范围，才有可能选定所有的进入走廊，给予外科医生全面的选择自由。可为给定目标对象提供的虚拟平面或虚拟图像取决于内窥镜的视野、其观察矢量的移动性、以及手术腔体的形状。例如，甚至对于全向式内窥镜也可以限制虚拟平面或虚拟图像，因为突出的组织阻挡了目标。

中央控制单元106还可以为给定的目标对象和内窥镜类型显示进入通道和末端位置的可能组合，给予外科医生评价出产生内窥镜的最佳定位的组合的机会。中央控制单元106同样还可能基于内窥镜的类型和解剖数据，针对给定的目标对象建议有利的进入通道，使得用户能够沿着所推荐的路径插入内窥镜，然后，在到达腔体中时，沿着目标对象的方向来“窥视”。这种类型的避障路径设计将包括计算并显示最短进入距离的最短距离特征。图像输出设备将以图形显示与模型68上每个进入末端位置相关联的可视区域，将外科医生可能期望能够从各种虚拟观察点看见的内容即时反馈给用户。这包括显示将被干涉组织/伸出组织遮挡住的点，以及基于内窥镜的插入角度和末端位置将处于内窥镜的盲区中的点。根据所观察到的这样的真实图像，虚拟图像生成器270（见图2）可以计算、产生和/或生成最适合于每个手术操作的一个或多个虚拟图像或虚拟平面。为了创建改进的内窥镜的定向能力，可以与真实图像相组合来使用这样生成的虚拟平面或虚拟图像以生成外科医生的虚拟视野。

依照本公开，可以利用导航引导来定位关注的区域，其中，虚拟图像会沿着切口路径连续地增加或增强真实图像数据。结果，本公开的系统是一种使由安置在多个手术器械中的每个手术器械上的至少一个视频图像捕获单元提供的真实视图与患者身体的目标对象相关联的固定参考系统。

而且，另外说明，本公开的示例性实施例公开了固定参考系统，该固定参考系统将从安装在手术器械上或合并到手术器械内的多个摄像机获得的多个摄像视图与患者的解剖构造相关联，这会使外科医生更容易理解由多个摄像机所提供的不同视角。通过使用例如回旋器、加速计或任何这样的合适的技术来分配与每个摄像机相关联的虚拟平面，使得虚拟平面垂直于摄像机的方向，来实现本公开的示例性实施例。可以在至少一个输出设备上相对于彼此示出来自不同摄像机的这样的虚拟平面，以及示出患者的解剖构造。这给外科医生提供了关于哪一个虚拟平面给他/她提供在患者解剖构造内最想要的视图的视觉线索。通过选择一个想要的虚拟平面（例如，通过鼠标点击），外科医生可以激活摄像机以为其提供最想要的视图。

依照本公开的一个示例性实施例，当组合输出图像时，虚拟图像数据所占权重可以比真实图像所占权重更大，使得基于虚拟图像数据的、由图像所提供的导航辅助信息会占50%以上，例如，超过80%且最高可达99.9%。权重将取决于相应的应用。

为了在定位上记录虚拟图像数据，特别是针对弹性图像数据的记录（定形态（morphing）），可以使用虚拟图像数据和真实图像的组合。该组合还可以用来更新虚拟图像数据。用来组合待输出图像的图像素材（即图像信息），可以在导航系统中或通过专用的独立的计算机单元（如中央控制单元106（见图1））就相关性进行测试（并加权），其中，省略图像中的次重要的图像成分和/或在显示单元102、显示单元104（见图1）上加强或加亮更重要的图像成分。

可以在硬件和/或软件（包括固件、驻留软件、微代码等）中具体化本公开的计算机程序元素。本公开的计算机程序元素可以采取计算机程序产品的形式，所述计算机程序产品可由计算机可用或计算机可读的存储介质体现的，所述计算机可用或计算机可读的存储介质包括计算机可用或计算机可读的程序指令，“代码”或“计算机程序”在所述介质中具体化以供指令执行系统使用或与指令执行系统关联。

在本申请的上下文中，计算机可用或计算机可读介质可以是可以包含、存储、通信、传播或传送程序以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备关联的任何介质。例如，计算机可用或计算机可读介质可以为如下介质但不限于如下介质：电子、磁、光学、电磁、红外或半导体系统、装置设备或传播介质，如因特网。由于程序可以通过电子方式获取，如通过对纸张或其他适合的介质进行光学扫描，然后再进行编译、解释或以适当的方式进行处理，所以计算机可用或计算机可读介质甚至可能包括：例如，印刷有程序的纸张或其他合适的介质。这里描述的计算机程序产品以及任何软件和/或硬件形成了用来在示例性实施例中执行本公开的功能的各种手段。

而且，有必要简化本公开的附图和说明书以便描绘设备的操作并图示方法中的各个步骤。在使用中，可以用各种工具和设备来处理组织并且组织与各种工具和设备频繁地接触；然而，为了结构和操作的清楚，附图中可以不显示出组织与工具和设备之间密切接触。

虽然已经在附图中示出了本公开的若干实施例，但是本公开并不旨在将本公开限于此，因为本公开的范围应该是本领域允许的广义范围，说明书也应该如此理解。因此，上述描述不应该被解释为限制，而仅作为本公开的实施例的例证。因而，实施例的范围应该由所附权利要求以及它们法律上的等同内容确定，而不是由已经给定的示例确定。

特别地，关于在上文中描述的由元件（部件、组件、设备、组合物等）执行的各种功能，除非另有明确的说明，否则用于描述这样元件（包括对“器件”的任何引用）的术语旨在对应于执行描述的元件的特定功能的任何元件，即：即使在结构上不等同于执行在本文图示的示例性实施例中功能的公开的结构，但是在功能上仍然等同于它的任何元件。

本领域的技术人员将理解的是，在本文中具体描述和附图中图示的设备和方法为非限制性的示例性实施例。结合一个示例性实施例图示或描述的特征可以与其他实施例的特征组合。这种修改和变型旨在被包括于本公开的范围内。同样，本领域的技术人员将认识到本公开的基于上述实施例的其他特征和优点。因此，本公开不限于已经特定示出和描述的内容，除非是由所附权利要求指出的内容。

Claims

1.一种图像输出系统，包括：

多个手术器械，其中所述多个手术器械中的每个手术器械相对于患者身体的目标对象的位置关系和方位关系被确定；

至少一个视频图像捕获单元，其被安置在所述多个手术器械中的每个手术器械上并且被配置为选择性地捕获真实图像；

图像生成器，其用于相对于所述患者身体的所述目标对象选择性地限定、生成和分配与所述真实图像相关联的虚拟图像，所述虚拟图像是从所述多个手术器械中的每个手术器械获得的；

图像处理器，其用于处理捕获的真实图像和生成的虚拟图像；以及

图像输出设备，其用于显示所述捕获的真实图像和所述生成的虚拟图像以多种配置的组合。

2.根据权利要求1所述的图像输出系统，其中，所述真实图像被叠加在所述虚拟图像上。

3.根据权利要求1所述的图像输出系统，其中，所述真实图像是对应于关注区域的真实视图的并且被实时捕获的图像。

4.根据权利要求1所述的图像输出系统，其中，所述多个器械是用于穿过所述患者身体进行导航而配备的内窥镜。

5.根据权利要求1所述的图像输出系统，其中，所述视频图像捕获单元是摄像机。

6.根据权利要求1所述的图像输出系统，其中，所述捕获的真实图像和所述生成的虚拟图像的组合用于连续地并且实时地记录和更新虚拟图像数据。

7.根据权利要求1所述的图像输出系统，其中，所述虚拟图像是从平面型虚拟表面提取的并且是以对应于所述真实图像的方式来排布的，使得所述平面型虚拟表面垂直于所述多个手术器械的至少一个视频图像捕获单元的观察方向。

8.根据权利要求1所述的图像输出系统，其中，虚拟观察点是以对应于由安置在所述多个手术器械中的每个手术器械上的至少一个视频图像捕获单元提供的真实观察点的方式来排布的。

9.根据权利要求1所述的图像输出系统，其中，所述系统是使由安置在所述多个手术器械中的每个手术器械上的至少一个视频图像捕获单元提供的真实视图与所述患者身体的所述目标对象相关联的固定参考系统。

10.一种用于获得对应于患者身体的内部部分的图像数据的方法，所述方法包括：

从安置在多个手术器械中的每个手术器械上的至少一个视频图像捕获单元选择性地获取真实图像；

确定所述多个手术器械中的每个手术器械相对于所述患者身体的目标对象的位置关系和方位关系；

从图像生成器选择性地获取虚拟图像，所述图像生成器相对于所述患者身体的目标对象选择性地限定、生成和分配与所述真实图像相关联的虚拟图像，所述虚拟图像是从所述多个手术器械中的每个手术器械获得的；

经由图像处理器来处理所述真实图像和所述虚拟图像；以及

经由图像输出设备来显示捕获的真实图像和生成的虚拟图像的组合。

11.根据权利要求10所述的方法，进一步包括：将所述真实图像叠加在所述虚拟图像上。

12.根据权利要求10所述的方法，进一步包括：将所述真实图像对应于关注区域的真实视图，所述真实图像是被实时捕获的。

13.根据权利要求10所述的方法，其中，所述多个器械是用于穿过所述患者身体进行导航而配备的内窥镜。

14.根据权利要求10所述的方法，其中，所述视频图像捕获单元是摄像机。

15.根据权利要求10所述的方法，进一步包括：连续地并且实时地记录和更新虚拟图像数据。

16.根据权利要求10所述的方法，进一步包括：

从平面型虚拟表面提取所述虚拟图像；以及

按照对应于所述真实图像的方式来排布所述虚拟图像，使得所述平面型虚拟表面垂直于所述多个手术器械的至少一个视频图像捕获单元的观察方向。

17.根据权利要求10所述的方法，进一步包括：按照对应于由至少一个视频图像捕获单元提供的真实观察点的方式来排布虚拟观察点。

18.根据权利要求10所述的方法，进一步包括：通过选择虚拟图像来显示真实图像。

19.根据权利要求16所述的方法，进一步包括：通过选择虚拟图像来显示真实图像。