CN111184577A

CN111184577A - 器械在视野中的定量三维可视化

Info

Publication number: CN111184577A
Application number: CN202010137786.7A
Authority: CN
Inventors: D·潘埃斯库; D·H·琼斯; C·艾伦比
Original assignee: Intuitive Surgical Operations Inc
Current assignee: Intuitive Surgical Operations Inc
Priority date: 2014-03-28
Filing date: 2015-03-28
Publication date: 2020-05-22
Also published as: JP2017515617A; EP3125808A1; KR20160138142A; EP3125808B1; KR102387096B1; US11266465B2; CN106456267B; WO2015149041A1; US20220241013A1; CN106456267A; EP3125808A4; JP6854237B2; US20170172662A1

Abstract

本发明涉及器械在视野中的定量三维可视化。提供一种系统，其包括Q3D内窥镜和处理器，Q3D内窥镜被设置成对视野进行成像，处理器产生场景的Q3D模型并且识别目标器械和结构。处理器经配置显示来自器械的虚拟视野的场景，以确定围绕目标的禁飞区，从而确定所述器械的预测路径或者提供所述器械的3D追踪。

Description

器械在视野中的定量三维可视化

本申请是申请日为2015年3月28日、发明名称为“器械在视野中的定量三维可视化”的中国专利申请No.201580024441.8(PCT/US2015/023211)的分案申请。

相关申请

本申请要求于2014年3月28日提交的名称为“手术场景的定量三维成像(QUANTITATIVE THREE-DIMENSIONAL IMAGING OF SURGICAL SCENES)”的美国临时专利申请No.61/971,749；以及于2014年12月23日提交的名称为“器械在视野中的定量三维可视化(QUANTITATIVE THREE-DIMENSIONAL VISUALIZATION OF INSTRUMENTS IN A FIELD OFVIEW)”的美国临时专利申请No.62/096,509的优先权的利益，所述专利申请的全部内容以引用方式并入本文。

技术领域

本发明总体涉及具有相关联的图像传感器的手术内窥镜检查系统，并且更具体地涉及确定显示在手术图像中的物理结构的三维坐标。

背景技术

定量三维(Q3D)视觉提供关于真实世界场景中的目标点的实际物理(x、y、z)3D坐标的数值信息。借助定量3D视觉，人不仅可以获得真实世界场景的三维感知，而且可以获得关于该场景中的对象的物理尺寸和该场景中的对象之间的物理距离的数值信息。以往，已经提出了一些Q3D系统，其使用飞行时间(time-of-flight)相关的信息或相位信息以确定关于场景的3D信息。其他Q3D系统已经使用结构光来确定关于场景的3D信息。

飞行时间信息的使用在名称为“CMOS兼容的三维图像传感器IC(CMOS-compatiblethree-dimensional image sensor IC)”的美国专利No.6,323,942中有所公开，该专利公开了三维成像系统，该系统包括使用CMOS制造技术在普通IC上制造的二维像素阵列光感测检测器。每个检测器具有相关联的高速计数器，该计数器累积在数量上与系统发出的脉冲的飞行时间(TOF)成正比的时钟脉冲，以从物点反射并且通过聚焦在该点上的像素检测器来检测。TOF数据提供从特定像素到反射所发出的光脉冲的对象上的点的距离的直接数字测量。在第二实施例中，计数器和高速时钟电路被省略，并且作为替代，每个像素检测器具有电荷积聚器和电子快门。快门在光脉冲发出时打开并且在其后关闭，使得每个像素检测器根据落在相关联的像素检测器上的返回光子能累积电荷。累积的电荷量提供来回TOF的直接测量。

延时信息的使用在名称为“用于内窥镜3D数据收集的装置和方法(Apparatus andmethod for endoscopic 3D data collection)”的美国专利No.8,262,559中有所公开，除了光成像机构以外，该专利公开了经调节的测量光束和光传送机构，用于将测量光束传导至要观察的区域上，其中光传送机构包括照明透镜，光成像机构用于将来自要观察区域的信号光束至少成像到相敏图像传感器上。可对应毫米范围内的深度差异的时间延迟导致相位信息，相位信息使描绘深度信息和距离信息的图像的产生成为可能。

使用结构光以确定对象在可视化图像中的物理坐标在名称为“内窥镜(Endoscope)”的美国专利申请公开No.2012/0190923中；以及在C.Schmalz等人的“基于结构光的内窥镜3D扫描仪(An endoscopic 3D scanner based on structured light)”，Medical Image Analysis，16(2012)1063-1072中有所公开。三角形法用于测量表面形貌。可具有不同颜色光谱范围的呈投影光线形式的结构光入射在表面上并且从该表面反射出。反射光线通过被校准的相机来观察，以使用反射的颜色光谱信息来确定表面的3D坐标。更具体地，结构光的使用通常涉及照亮3D表面上的光图案，并且基于由于物理对象轮廓而产生的光的变形图案来确定物理距离。

已经构建成像器阵列相机，其包括可以用于计算用于阵列中的像素的场景深度信息的多个像素阵列。高分辨率(HR)图像自多个低分辨率(LR)图像生成。选择基准视点并且生成如通过该视点所看到的HR图像。视差处理技术利用混叠效应来确定无基准图像关于基准图像像素的像素对应。融合和超分辨率用于从多个LR图像产生HR图像。参见例如名称为“使用带有异构成像器的单片相机阵列捕捉并处理图像(Capturing and ProcessingImages using Monolithic Camera Array with Heterogeneous Imager)”的美国专利No.8,514,491；名称为“用于使用假设融合从包括混叠的场景的多个视图确定深度的系统和方法(Systems and Methods for Determining Depth from multiple Views of aScene that Include Aliasing using Hypothesized Fusion)”的美国专利申请公开No.2013/0070060；以及K.Venkataraman等人的“PiCam：超薄高性能单片相机阵列(PiCam：An ultra-Thin high Performance Monolithic Camera Array)”。

图1为示出根据一些实施例的已知成像器传感器180的细节的示意图。图像传感器180包括传感器184的排列。在该排列中的每个传感器包括二维的像素排列，该二维的像素排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠186。每个透镜堆叠186具有对应的焦平面188。每个透镜堆叠186创建单独的光学通道，光学通道将图像分解到设置在其对应焦平面188中的对应像素排列上。像素用作光传感器，并且每个焦平面188与其多个像素一起用作图像传感器。每个传感器与其焦平面188一起占据的传感器排列区域与其他传感器和焦平面所占据的传感器排列区域不同。

图2为示出图1的传感器184的已知排列的简化平面图的示意图，传感器184的已知排列包括被标记为传感器S₁₁到S₃₃的传感器。成像器传感器布置184在半导体芯片上进行制造以包括多个传感器S₁₁到S₃₃。传感器S₁₁到S₃₃中的每个包括多个像素(例如，0.32兆像素)，并且耦接到包括独立读出控制和像素数字化的外围电路(未示出)。在一些实施例中，传感器S₁₁到S₃₃排列成如图2所示的格网格式。在其他实施例中，传感器以非格网格式排列。例如，传感器可以环形图案、之字形图案、分散图案或包括子像素偏移的不规则图案排列。

图1至图2的传感器184的每个单个像素包括微透镜像素堆叠。图3为示出图1至图2的传感器的已知微透镜像素堆叠的示意图。像素堆叠800包括微透镜802，其放置在氧化层804之上。通常，氧化层的下方可以有滤色镜806，其设置在氮化层808之上，氮化层808设置在第二氧化层810之上，第二氧化层810位于硅层812的顶上，硅层812包括单个像素的有效区域814(通常是光电二极管)。微透镜802的主要作用是收集入射在其表面上的光并且使所述光聚焦在小的有效区域814上。像素孔径通过微透镜的扩展度来确定。

关于上述已知的成像器传感器排列架构的附加信息在美国申请No.U.S 8,514,491 B2(提交于2010年11月22日)和美国专利申请公开No.U.S 2013/0070060 A1(提交于2012年9月19日)中有所提供。

发明内容

在一方面，系统确定通过内窥镜的Q3D传感器成像的场景的Q3D模型。确定Q3D模型内的目标器械的3D坐标。确定内窥镜姿态的几何变换以使其与所识别的目标器械的姿态对齐。基于该几何变换，对解剖结构的Q3D模型进行变换，以便根据目标器械的姿态为观察者提供虚拟视图。

在另一方面，Q3D系统确定邻近Q3D模型内的至少一个目标的“禁飞区(no flyzone，NFZ)”。至少部分地基于第一目标与第二目标之间的最近距离是否小于阈值距离，作出关于“禁飞区”是否被侵犯(violate)的确定。响应于确定第一目标与第二目标之间的最近距离小于阈值距离，提供输出信号。所述目标可以是器械、结构或解剖器官。

在另一方面，Q3D系统识别成像场景内的器械。至少部分地基于来自所识别的器械所遵循的先前路径的外推或者至少部分地基于所识别的器械的延伸，来确定所识别的器械的预测路径。

在另一方面，Q3D系统识别场景内的目标器械。在场景的可视化3D表示中产生标记，所述标记指示所识别的目标器械在场景的可视化3D表示内的Q3D位置。

附图说明

当结合附图阅读时，从下面详细描述可以最好地理解本公开的方面。应当强调的是，根据行业中的标准实践，各种特征不是按比例绘制的。实际上，为了便于论述，各种特征的尺寸可任意增大或减小。此外，本公开可以在各种示例中重复参考标号和/或字母。这种重复是出于简化和清楚的目的，而其本身并不表示所讨论的各种实施例和/或构造之间的关系。

图1为示出已知成像器传感器的细节的示意图。

图2为示出图1的成像器传感器的已知传感器布置的简化平面图的示意图。

图3为像素在图2的传感器阵列的传感器内的已知微透镜像素堆叠的示意图。

图4为示出根据一些实施例的透过观察器的手术场景的透视图的示意图。

图5为根据一些实施例的远程操作手术系统的示意方框图，该系统使用一个或多个机械臂来执行微创手术程序。

图6为根据一些实施例的图5的系统的患者侧系统的示意透视图。

图7A为根据一些实施例的第一内窥镜的示意图，第一内窥镜包括第一图像捕捉系统。

图7B为根据一些实施例的第二内窥镜的示意图，第二内窥镜包括第二图像捕捉系统。

图8为示出根据一些实施例的与包括图7A的第一图像捕捉系统的第一内窥镜相关联的控制块，并且示出操作中的系统的示意方框图。

图9为根据一些实施例的表示确定物理目标的定量三维位置的过程的示意流程图。

图10为示出根据一些实施例的通常对应于模块图9以系统地选择目标的过程的某些细节的示意流程图。

图11为根据一些实施例的示例传感器成像器阵列的示意图，传感器成像器阵列包括多个传感器并且设置成具有包含示例性三维物理世界场景的视野，示例性三维物理世界场景包括三个示例性对象。

图12为表示根据一些实施例的图11的多个物理对象到多个传感器上的投影的示意图。

图13为指示根据一些实施例的从现实世界场景内选择感兴趣区域(ROI)的示意图。

图14为示出根据一些实施例的关于多个传感器中的投影图像的相对几何偏移的细节的示意图。

图15为示出根据一些实施例的感兴趣区域(ROI)内的某些示例传感器中的投影图像的示意图，所述投影图像向右移位以与ROI内的指定基准传感器中的投影图像对齐。

图16为示出根据一些实施例的所选目标点到多个传感器上的投影的示意图。

图17为示出根据一些实施例的包括图16的多个传感器的成像器阵列的一部分和设置在物理空间中的适当位置处的所选目标点T的示意图。

图18为根据一些实施例的当前所选目标点T到图16的多个图像传感器上的投影的示意性正视图。

图19为示出根据一些实施例的当前所选目标相对于如上参考图17所述的多个传感器的布置的示意图，并且该示意图还示出传感器中的每个的候选像素的y方向像素偏移。

图20为表示根据一些实施例的在手术程序期间使用Q3D信息的第一过程的示意流程图。

图21为示出根据一些实施例的按照图20的过程在显示屏上所显示的菜单选择的示意图。

图22A至图22B为表示根据一些实施例的按照图20的过程接收用户输入的某些细节的示意图。

图23为表示根据一些实施例的在手术程序期间使用Q3D信息的第二过程的示意图。

图24为示出根据一些实施例的按照图23的过程在显示屏上所显示的菜单选择的示意图。

图25为示出根据一些实施例的Q3D内窥镜的透视图的示意图，Q3D内窥镜与图像传感器阵列相关联，并且具有包括手术器械的一部分和一个或更多个解剖结构的视野。

图26为表示将来自内窥镜观察视角的Q3D场景转换成来自内窥镜观察视角内的目标器械的视角的Q3D场景。

图27A至图27C为表示根据一些实施例的虚拟取向变换(图27A)、虚拟位置变换(图27B)和所得的虚拟对齐(图27C)的示意图。

图28A至图28B为根据一些实施例的来自内窥镜顶端的视角(图28A)和来自目标手术器械的视角(图28B)的手术场景的示例Q3D视图。

图29为示出根据一些实施例的处理器的细节的示意图，处理器将Q3D模型的3D透视图显示3D显示器上。

图30A至图30B为根据一些实施例的如参考图5至图6所描述进行部署的Q3D内窥镜的示例性透视图和内窥镜视野(FOV_e)内的器械的透视图，从而显示围绕器械中的一个的相应禁飞区。

图31为表示根据一些实施例的限定禁飞区并且确定是否已经侵犯禁飞区的过程的示意流程图。

图32为示出根据一些实施例的具有内窥镜视野(FOV_e)的Q3D内窥镜和在观察轨迹上的多个不同位置处观察到的手术器械的一部分以及设置在FOV_e内的手术场景中的解剖结构的示意图。

图33为表示根据一些实施例的追踪Q3D场景中的观察路径上的目标器械，并且确定预测路径和预测接触位置的过程的示意流程图。

图34示出根据一些实施例的场景的示例3D可视化表示和利用可视化标记进行标记的在解剖结构上的预测接触位置，在所述场景中，示出第三位置中的目标器械。

图35为表示根据一些实施例的多个不同观察路径中的示例手术场景和对应的预测路径，以及接触位置加上期望接触位置的示意图。

图36为示出根据一些实施例的手术场景的3D视图的示意图，手术场景包括缝合器和预测路径，预测路径表示缝合线和刀槽的延伸。

图37为示出根据一些实施例的具有内窥镜视野(FOV_e)的Q3D内窥镜和在多个不同位置处示出的手术器械的一部分，以及设置在FOV_e内的手术场景中的解剖结构的示意图。

图38A至图38C为表示根据一些实施例的目标器械的位置从在第一时间点时的位置(图38A)到第二时间点时的位置(图38B)到第三时间点时的位置(图38C)的变化的示意图。

图39为表示根据一些实施例的追踪Q3D中的目标器械的过程的示意流程图。

图40为示出与根据一些实施例的场景中的示例3D可视化表示的示意图，在所述场景中，示出与可视化标记相关联的处于第二位置中的目标器械。

具体实施方式

给出以下描述以使本领域技术人员能够创建并使用手术内窥镜检查系统，该系统具有多个图像传感器，每个传感器包括与其他传感器的像素阵列分离的像素阵列，以便确定图像传感器视野内的物理结构的三维坐标。对于本领域的技术人员而言，将易于对本实施例进行各种修改，并且本文所限定的一般原则可以应用于其他实施例和应用，而不背离本发明主题的精神和范围。而且，在下面描述中，出于说明的目的阐述了许多细节。然而，本领域的普通技术人员将认识到本发明主题可在没有这些具体细节的情况下进行实践。在其他情况下，为了不因不需要的细节而混淆本公开，因此以方框图形式示出众所周知的机器部件、过程和数据结构。相同的参考标号可以在不同附图中用于表示相同项的不同视图。下面所参考的附图中的流程图用于表示过程。计算机系统可以经配置执行这些过程中的一些。表示计算机实施过程的流程图内的模块表示根据计算机程序代码的计算机系统的配置，以执行参考这些模块描述的作用。因此，本发明主题并非旨在被限于所示实施例，而是符合与本文所公开的原则和特征一致的最广范围。

简要概述

根据一些实施例，成像器包括与内窥镜相关联的传感器阵列。图像传感器阵列包括多个传感器，并且每个传感器包括像素阵列。内窥镜的一部分插入人体体腔中，并且使用光源来照亮图像传感器阵列的视野中的目标对象。目标对象的物理位置和/或尺寸基于投影到阵列的单个传感器上的目标对象的图像来确定。

图4为示出根据一些实施例的透过观察器312的手术场景的透视图的示意图。具有两个观察元件401R、401L的观察系统可以提供优良的3D观察透视图。表示手术场景中的物理结构的物理尺寸和/或位置信息的所示数值覆盖在手术场景图像上。例如，所示数值距离值“d_Instr_Trgt”显示在器械400和目标410之间的场景内。

远程操作医疗系统

远程操作指的是在一定距离处的机器的操作。在微创远程操作医疗系统中，外科医生可以使用包括相机的内窥镜以观察患者体内的手术部位。立体图像已经被捕捉，其允许在手术程序期间进行深度的感知。根据一些实施例，相机系统安装在内窥镜上并且包括成像器传感器阵列，所述相机系统提供加上颜色和照明数据的定量三维信息，所述定量三维信息可以用于生成三维图像。

图5为根据一些实施例的远程操作手术系统100的示意方框图，系统100使用一个或多个机械臂158来执行微创手术程序。系统100的方面包括遥控机器人和自主操作的特征。这些机械臂经常支撑器械。例如，机械手术臂(例如，中心机械手术臂158C)可以用于支撑带有立体或三维手术图像捕捉设备101C(诸如内窥镜相关联的Q3D图像传感器阵列)的内窥镜。机械手术臂158C可以包括无菌适配器或夹钳、夹子、螺钉、狭槽/凹槽或其他紧固件机构，以将包括图像捕捉设备101C的内窥镜机械地固定到机械臂。相反地，带有图像捕捉设备101C的内窥镜可以包括与机械手术臂158C互补的物理轮廓和/或结构，以便牢固地与其互相配合。

用户或操作者O(通常是外科医生)通过在主控制台150处操纵控制输入设备160来对患者P执行微创手术程序。操作者可以通过立体显示设备164来观察患者身体内部的手术部位的图像的视频帧，立体显示设备164包括以上参考图4所描述的观察器312。控制台150的计算机151经由控制线159引导远程操作的内窥镜手术器械101A至101C的移动，从而使用患者侧系统152(也称为“患者侧推车”)来影响器械的移动。

患者侧系统152包括一个或多个远程操作的机械臂158。通常，患者侧系统152包括至少三个机械手术臂158A至158C(通常称为机械手术臂158)，所述机械手术臂158通过对应的定位组合臂(set-up arm)156来支撑。中心机械手术臂158C可以支撑内窥镜相机101C，内窥镜相机101C适合于捕捉用于相机视野内的图像的Q3D信息。中心左侧和右侧的机械手术臂158A和158B分别可以支撑可操纵组织的器械101A和器械101B。

图6为根据一些实施例的患者侧系统152的示意透视图。患者侧系统152包括通过基座172支撑的推车柱170。一个或多个远程操作的机械操纵器手术臂/连杆158分别附接到一个或多个组合臂156，组合臂156是患者侧系统152的定位部分的一部分。近似地位于基座172上的中心位置处，推车柱170包括保护配重子系统和制动子系统的部件远离污染物的保护罩180。

除监控器臂154之外，每个机械手术臂158均用于控制器械101A至101C。而且，在本发明的一个实施例中，每个机械手术臂158均耦接到组合臂156，组合臂156进而耦接到托架壳体190。一个或多个机械手术臂158各自通过其相应的组合臂156来支撑，如图6所示。

机械手术臂158A至158D各自可以包括一个或多个位移换能器、定向传感器和/或定位传感器185，以生成原始的未校正的运动学信息，从而通过追踪系统辅助精确的远程操作控制以及器械的初始获取和追踪。在本发明的一些实施例中，器械还可以包括位移换能器、定位传感器和或定向传感器186。而且，一个或多个器械可以包括标记189来辅助器械的获取和追踪。

关于远程操作医疗系统的附加信息在美国专利No.5,631,973(提交于1994年5月5日)、No.5,696,837(提交于1995年4月20日)、No.5,814,038(提交于1997年3月27日)以及US7,155,315 B2(提交于2005年12月12日)以及在美国专利申请公开No.US 2012/0020547(提交于2011年9月30日)中有所提供。

内窥镜成像器系统

图7A为根据一些实施例的带有第一图像捕捉系统101C的第一内窥镜的示意图。图像捕捉系统101C包括内窥镜，内窥镜包括伸长部分202，伸长部分202包括第一端部204和第二端部206以及第一端部204的顶端部分208。第一端部204的尺寸设定成插入人体体腔中。包括多个图像传感器(未示出)的传感器阵列210耦接在第一端部204的顶端部分208处。根据一些实施例，传感器阵列210中的每个传感器包括像素阵列。伸长部分202具有足以将顶端部分208定位成足够靠近体腔内的目标对象的长度，使得可以通过成像器传感器阵列210来使对象成像。根据一些实施例，第二端部206可以包括通常如上所述的物理轮廓和/或结构(未示出)，以便牢固地与机械臂(未示出)互相配合。伸长部分202还包括一个或多个电子信号路径212以电子地与成像器传感器阵列210传达信息。设置光源214来照亮要成像的对象。根据一些实施例，光源214可以是非结构化的光，例如白光、滤色光或处于一些所选波长的光。根据一些实施例，光源214位于顶端208处，而在其他实施例中其任意地与内窥镜101C分开定位。

图7B为根据一些实施例的带有第二图像捕捉系统101C2的第二内窥镜的示意图。基本上与带有第一图像捕捉系统101C的第一内窥镜相同的第二图像捕捉系统101C2的方面由相同的参考标号指示并且不再描述。到光导管输入的输入端诸如棒形透镜设置在第一端部204的顶端部分208处。光导管主体在伸长部分202内延伸，以便将作为光导管输入接收的图像传输到成像器传感器阵列210，成像器传感器阵列210从顶端部分208物理移置。在一些实施例中，成像器传感器阵列210移置到距顶端部分208足够远，使得成像器传感器阵列210在观察体腔内的对象期间位于人体体腔外部。

图8为示出根据一些实施例的与带有图7A的第一图像捕捉系统101C的第一内窥镜101相关联的控制块，并且示出操作中的系统的示意方框图。通过成像器传感器阵列210捕捉的图像通过数据总线212发送到视频处理器104，视频处理器104经由总线105与控制器106进行通信。视频处理器104可以包括相机控制单元(CCU)和视频信号检测器(VSD)板。CCU对成像传感器210的各种设置诸如亮度、颜色方案、白平衡等进行编程或控制。VSD处理从成像传感器接收的视频信号。替代地，CCU和VSD结合到一个功能块中。

根据一些实施例，包括一个或多于一个处理器的处理器系统经配置执行处理器功能。在一些实施例中，处理器系统包括多个处理器，所述多个处理器经配置一起进行操作以执行本文所述的处理器功能。因此，本文提及的经配置执行一种或多种功能的至少一个处理器包括处理器系统，在处理器系统中，所述功能可以通过一个处理器单独执行或者通过多个处理器一起工作来执行。

在一种实施方式中，包括处理器和存储设备(未示出)的控制器106计算场景中的邻近伸长部分202的顶端208的点的定量3D坐标，并且驱动视频处理器104和3D显示器驱动器109两者来构成3D场景，然后3D场景可以显示在显示器110上，显示器110可以为内窥镜显示器或体积的(例如，全息的)3D显示器。根据一些实施例，生成关于手术场景的Q3D信息，诸如场景中对象的表面轮廓的尺寸数值记号或距手术场景内的对象的距离。如下面更充分解释的那样，数值Q3D深度信息可以用于借助距离信息或表面轮廓信息对手术场景的立体图像加以注释。

数据总线107和数据总线108交换信息并且控制视频处理器104、控制器106和显示器驱动器109之中的信号。在一些实施例中，这些元件可以在内窥镜主体内部与图像传感器阵列210结合。替代地，它们可以分布在内窥镜的内部和/或外部。所示内窥镜经由插管140定位以穿透人体组织130，以便提供到包括目标120的手术场景的可视化入口。替代地，内窥镜和一个或多个器械还可以穿过单个开口(单个切口或自然孔口)以到达手术部位。目标120可以是解剖目标、另一手术器械或患者身体内部的手术场景的任何其他方面。

输入系统112接收3D可视化表示并且将其提供给处理器106。输入系统112可以包括耦接到电子通信总线(未示出)的存储设备，该存储设备从生成3D模型的系统(未示出)接收3D模型，诸如CRT或MRI。处理器106例如可以用于计算Q3D模型和3D可视化表示之间的预期对齐。更具体地，但不限于，输入系统112可以包括处理器，处理器经配置在系统152和成像系统(未示出)(诸如MRI、CT或超声波成像系统)之间建立以太网通信连接。可以使用其他成像系统。可以使用其他类型的通信连接，诸如蓝牙、WiFi、光纤等。替代地，系统152和成像系统可以结合在一个更大的系统中。对齐过程的结果可保存在与处理器106相关联的存储设备中，为外部设备或系统或如图25所显示的流程提供进一步的操纵。

添加到场景图像的Q3D信息的示例

再次参考图4，图4为示出根据一些实施例的图5的主控制台150的观察器312的透视图的示意图。根据一些实施例，为提供三维透视图，观察器312包括针对每只眼睛的立体图像。如图所示，手术部位的左侧图像400L和右侧图像400R包括分别在左侧观察元件410L和右侧观察元件401R中的任何器械400和目标410。观察元件中的图像400L和图像400R分别可以通过左侧显示设备402L和右侧显示设备402R来提供。显示设备402L、402R可以任选地为一对阴极射线管(CRT)监控器、液晶显示器(LCD)或其他类型的图像显示设备(例如，等离子体、数字光投影等)。在本发明的优选实施例中，彩色图像通过一对彩色显示设备402L、402R来提供；诸如彩色CRT或彩色LCD。为支持与现有设备的向后兼容性，立体显示设备402L和402R可以与Q3D系统一起使用。替代地，Q3D成像系统可以连接到3D监控器、3D TV或自由立体显示器，诸如无需使用3D效果眼镜的显示器。

具有两个观察元件401R、401L的观察系统可以提供优良的3D观察透视图。Q3D成像系统使用手术场景中的物理结构的实际尺寸信息补充该观察透视图。与Q3D内窥镜检查系统结合使用的立体观察器312可以显示覆盖在手术场景的立体图像上的Q3D信息。例如，如图4所示，器械400和目标410之间的数字Q3D距离值“d_Instr_Trgt”可以显示在立体观察器312内。

可以用于覆盖手术场景的3D透视图上的物理位置和尺寸信息的视频立体观察系统的说明在美国专利申请公开No.US 2012/0020547(提交于2011年9月30日)的第0043至0053段和对应附图中有所提供，其以引用方式明确地并入本文。

处理定量三维物理信息

图9为根据一些实施例的表示确定物理目标的定量三维位置的过程的流程图。该过程参考带有图8实施例的图像捕捉系统101C的内窥镜进行描述。模块401配置控制器106以从成像传感器S_ij获取视频数据。应该认识到，虽然图像传感器阵列210使全部视野“成像”，但图像传感器阵列210中的不同传感器和不同传感器内的不同像素可以通过来自视野内的不同对象点的图像投影来照亮。例如，视频数据可以包括颜色或光强度数据。每个传感器的每个像素可以提供指示投影在其上的图像的颜色和强度的一个或多个信号。模块402配置控制器以从物理世界视图(world view)中的所选感兴趣区域中系统地选择目标。模块403配置控制器以开始使用初始(x₀，y₀，z₀)设置计算目标3D坐标(x，y，z)。然后，通过使用来自接收目标投影图像的所有传感器S_ij的图像多样性数据，该算法检查坐标的一致性。坐标计算在决定模块404处进行精确化，直到达到可接受的精确度。决定模块404还配置控制器以确定当前计算的物理位置是否足够精确。响应于当前计算的位置不精确的确定，控制流程返回到模块403以尝试不同的可能的物理位置。响应于当前计算的位置足够精确的确定，模块405配置控制器以确定是否已经扫描整个感兴趣区域。响应于尚未扫描整个感兴趣区域的确定，控制流程返回到模块402并且选择不同的目标。响应于已经扫描整个感兴趣区域的确定，控制流程到模块406，模块406配置控制器以组合感兴趣的成像体积的三维模型。基于指示目标的结构的物理位置的三维信息组合目标的3D图像对本领域的技术人员而言是已知的并且不需要在本文进行描述。模块407配置控制器以存储通过使用为多个目标确定的物理位置信息而形成的3D模型以用于进一步的查看和操纵。例如，3D模型可以稍后用于手术应用，诸如针对患者器官的特定尺寸设定植入物的尺寸。在又一不同示例中，当新手术器械101安装在机器人系统152上时，需要回调所述3D模型并且将其显示在显示器110上，以便将新器械引用到先前的手术场景。模块407还可以存储3D可视化表示和Q3D模型之间的对齐结果。模块408配置控制器以使用为多个目标确定的物理位置信息来显示定量3D视图。Q3D视图的示例是图4所示的距离值“d_Instr_Trgt”。

应当注意到，三维中的立体显示产生观察错觉。然而，实际的3D显示呈现3D图像，诸如全息图像或投影在曲面上的图像。通常，3D显示允许视野移动以改变观察视角。

图10为示出根据一些实施例的通常对应于图9的模块402的过程的某些细节的示意流程图。模块402.1配置控制器以捕捉来自传感器阵列210中所有传感器的物理世界场景的图像。模块402.2配置控制器以从捕捉的场景内指定感兴趣的区域。模块402.3配置控制器以搜寻如感兴趣区域内的场景图像之间的最佳匹配，以便识别在不同传感器中的通过相同目标的投影照亮的像素位置。如稍后所解释，但不限于，通过使来自传感器S_ij的单个图像移位，直到移位图像和基准图像之间的二维交叉相关函数最大化，可实现最佳匹配。基准图像例如可以是从传感器S₁₁接收的场景图像。模块402.4配置控制器以识别通过来自相同目标的投影照亮的候选像素。模块402.5配置控制器以计算用于所选目标的两个或更多个像素坐标(N_x，N_y)，从而确定候选像素是否通过来自相同目标的投影照亮。决定模块402.6确定计算的2D像素坐标值是否指示候选像素通过来自相同目标的投影照亮。通过使用多个传感器S_ij观察相同场景所导致的图像多样性在与各种单个图像S_ij中的具体目标相关联的正确识别(N_x，N_y)中起作用。例如，根据一些实施例，假设一种仅使用三个传感器S₁₁、S₁₂和S₁₃的简化情境，如果2D像素坐的三元数组[(N_X11，Ny₁₁)、(Nx₁₂，Ny₁₂)、(Nx₁₃，Ny₁₃)]并不对应于相同目标到[S₁₁，S₁₂和S₁₃]上的投影，则数量

和

(y方向上投影移位的估计值)将产生不同的值。根据稍后提出的方程式，如果像素坐标(N_X11，Ny₁₁)、(Nx₁₂，Ny₁₂)、(Nx₁₃，Ny₁₃)来自相同目标的投影，则

和

应该是相等的。

如果

和

不近似相等，则控制流程返回到模块402.4并且使传感器平面S_ij上的目标投影的最佳候选精确化。如上所述，上述仅是算法的简化实施。通常，如图10模块402.6所示，

和

之间差的范数应该小于可接受公差ε，以便使模块402完成其迭代。对于x轴线的对应估计值

和

应满足类似的限制。响应于确定计算的2D像素坐标值(N_x，N_y)确实指示候选像素通过来自相同目标的投影来照亮，则控制流程到至模块403。

应该认识到，每个像素直接从世界场景捕捉颜色和强度信息。而且，根据上述过程，每个像素与投影在像素上的世界视图中物理对象的(x，y，z)坐标相关联。因此，颜色信息、照明强度信息和物理位置信息，即被投影的物理对象的颜色和照明以及位置，可以与非暂时性计算机可读存储设备中的像素相关联。下面表格1示出该关联。

表格1

像素标识符

颜色值

照度值

位置(x，y，z)

确定Q3D信息的示例

投影匹配的示例

根据一些实施例，图11为根据一些实施例的示例传感器阵列210的示意图，传感器阵列210包括传感器S₁₁至S₃₃的阵列，传感器S₁₁至S₃₃的阵列被设置为具有包括示例性三维物理世界场景的视野，该场景包括三个示例性对象。如上所述，阵列中的每个传感器S_ij包括像素的二维排列，所述排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠(lensstack)，透镜堆叠创建单独的光学通道，光学通道将图像分解到设置在透镜堆叠的焦平面中的对应像素排列上。每个像素用作光传感器，并且每个焦平面和其多个像素一起用作图像传感器。每个传感器S₁₁至S₃₃和其焦平面一起占据的传感器阵列区域与其他传感器和焦平面占据的传感器阵列区域不同。合适的已知图像传感器在美国专利No.US 8,514,491(提交于2010年11月22日)和美国专利申请公开No.US 2013/0070060(提交于2012年9月19日)中有所公开，所述专利在上面进行了描述。

根据一些实施例，传感器的特征为N_x和N_y(传感器在x方向和y方向上的像素的总数)，以及视野角度θ_x和θ_y。在一些实施例中，期望x轴线和y轴线的传感器特征是相同的。然而，在替代实施例中，传感器具有不对称的x轴线特征和y轴线特征。类似地，在一些实施例中，所有的传感器将具有相同的像素总数和相同的视野角度。传感器以良好受控制的方式分布在整个传感器阵列210中。例如，传感器可以在所示的二维格网上以距离δ分开。传感器布置间距δ在整个此格网上可以对称或不对称。

在图11所示的实施例中，传感器排列在矩形格网中，在该矩形格网中，传感器S₁₁至S₁₃占据顶行，传感器S₂₁至S₂₃占据中间行，并且传感器S₃₁至S₃₃占据底行。每个传感器包括N行像素和N列像素(未示出)。由虚线指示的通过光源产生的光线从三角形的第一对象、球形的第二对象和矩形的第三对象中的每个反射到成像器阵列中的每个传感器，如虚线所指示。为了进行示意性的说明，仅示出到顶行中的传感器S₁₁、S₁₂和S₁₃的光线。例如，光源可以是非结构化的白光或背景光。替代地，光源可以提供处于所选波长的光，诸如例如在可见光谱或红外线光谱中的光，或者光可以被过滤或分割以提供所选波长(例如，颜色)或波长范围(例如，颜色范围)。应该认识到，光线类似地从目标中的每个反射到传感器S₂₁至S₃₃。然而，为了简化说明，未示出这些其他光线。进一步地，应该理解，在一些实施例中，入射在传感器上的光源于对象，诸如在能量源激发的荧光期间，并且反射光的描述包括这种情形。

根据模块401和模块402.1，传感器阵列210的传感器单独地从世界视图中捕捉图像。图12为根据一些实施例的表示图11的三个对象到传感器S_ij(仅示出S₁₁、S₁₂和S₁₃)上的投影的示意图。本领域的技术人员将认识到入射在传感器上的反射光线投影视野中的物体的图像。更具体地，从视野中的对象反射出的入射到成像器阵列的多个不同图像传感器上的光线在接收反射光线的每个传感器中产生对象的从三维到二维的透视投影，即不同投影。具体地，当从S₁₁前进到S₁₂到S₁₃时，对象投影的相对位置从左侧移位到右侧。通过入射光线照亮的图像传感器像素响应于入射光产生电信号。因此，对于每个图像传感器，响应于指示该图像传感器内的图像投影的形状和位置的反射光，通过该图像传感器的像素产生电信号的图案。

根据模块402.2，感兴趣的区域选自世界场景。图13为指示从场景内选择感兴趣区域(ROI)的示意图。在该示例中，三角形的第一对象、球形的第二对象和矩形的第三对象均在所选的感兴趣区域中。该步骤可以通过接受来自操作者的输入来实现，或者其可以使用由软件以规定方式配置的计算机来自动执行，或者通过操作者输入和自动软件控制选择的组合实现。例如，在一些实施例中，世界场景可以示出人类解剖结构的内腔，并且对象可以是内部人体器官或手术器械或其部分。外科医生可以从内腔内接收实时可视化影像，并且可以看到人类解剖结构的组织区域和在体腔内突出的手术器械的一部分。外科医生可以指定视野内的那些对象，对象的位置信息通过众所周知的技术来确定，所述技术诸如远程图显视频标记(参见例如，美国专利No.US7,907,166B2(提交于2005年12月30日))。替代地或另外地，此操作者请求，自动化处理诸如边缘检测算法可以用于指定感兴趣区域。

根据模块402.3，确定在感兴趣区域内的场景图像之间的最佳匹配，以便识别不同传感器中的通过相同目标对象的投影照亮的像素位置。图14为示出根据一些实施例的关于传感器S₁₁、S₁₂和S₁₃中投影图像的相对几何偏移的附加细节的示意图。根据一些实施例，来自传感器S₁₃的图像被认为是基准图像，并且所选ROI中的对象的投影相对于它们在传感器S₁₃中的位置在传感器S₁₂中按照量σ₂₃像素向右偏移。类似地，所选ROI中的对象的投影相对于它们在传感器S₁₃中的位置在传感器S₁₁中按照量σ₁₃像素向右偏移。应该认识到，由于传感器S₁₂、S₁₁的视野(FOV)观察轴各自偏移到传感器S₁₃的FOV观察轴的右侧(此类观察轴垂直于传感器平面)，所以来自ROI的投影图像相对于传感器S₁₁在传感器S₁₃和传感器S₁₂中向左偏移。

图15为示出根据一些实施例的ROI内的传感器S₁₁和S₁₂中的投影图像的示意图，所述投影图像向右侧移位以与ROI内的传感器S₁₃中的投影图像对齐。在当前示例中，传感器S₁₃被指定用作基准传感器。应该认识到，可选择其他传感器用于确定对齐和几何尺寸。所选ROI内对象的投影在指定传感器例如传感器S₁₃中被识别，并且在其他传感器例如传感器S₁₁和传感器S₁₂中的投影被移位直到其与指定传感器中的投影对齐。用这种方式，可以在其他传感器内识别所选ROI内对象的对应投影，连同其相对于指定传感器中投影的位置的偏移。

具体地，例如，三个示例对象的投影在传感器S₁₂中按照量σ₂₃像素向右移位，并且三个示例性对象的投影在传感器S₁₃中按照量σ₁₃像素向右移位。在示例性示例中，为了简化说明，假设投影仅在y方向上偏移不在x方向上偏移，但是相同的原则应用于如传感器之间的x方向投影偏移。然而，虽然该示例示出线性偏移，但本领域的技术人员可以应用其他变换诸如旋转，以使不同传感器中的具有相对偏移的投影对齐。

根据一些实施例，例如，二维(2D)交叉相关技术或主成分分析(PCA)可以用于将S₁₃中ROI内的投影与S₁₂中ROI内的投影对齐，并且将S₁₃中ROI内的投影与S₁₁中ROI内的投影对齐。通常，希望关于指定为基准的传感器的图像最佳匹配或对齐来自传感器S_ij的图像。更具体地，S₁₂中ROI内的投影图像被移位并且与S₁₃中ROI内的投影图像交叉相关，直到实现最高的相关系数。同样地，S₁₁中ROI内的投影图像被移位并且与S₁₃中ROI内的投影图像交叉相关，直到实现最高的相关系数。因此，ROI的投影对齐用于通过确定S₁₃中ROI的投影和S₁₂中ROI的投影之间的偏移，并且通过确定S₁₃中ROI的投影和S₁₁中ROI的投影之间的偏移，来识别传感器S₁₁和传感器S₁₂中ROI的投影位置。

候选像素选择和精确化的示例

根据模块402.4，识别在不同传感器内的候选像素，根据最佳匹配过程，所述不同传感器通过来自相同目标的投影照亮。一旦已经在传感器S₁₁、S₁₂和S₁₃中的每个中识别ROI内的对象的投影，则可确定ROI内单个目标点相对于成像器阵列的物理(x，y，z)投影。根据一些实施例，对于ROI内多个目标点中的每个，识别通过来自目标点的投影照亮的多个传感器中的每个内的一个或多个像素。对于每个此目标点，至少部分基于设置在确定通过来自目标点的投影照亮的不同传感器中的像素之间的几何关系确定物理(x，y，z)目标点位置。

应该认识到，一系列的目标点可以通过系统地遍历ROI(例如，以特定的步长大小从右向左并且以特定的步长大小从上到下)来自动选择，并且可以确定每个所选目标点的物理(x，y，z)目标点位置。由于S₁₁和S₁₂与S₁₃最佳匹配，所以遍历在移位的感兴趣区域内部执行。选择目标包括识别通过目标的投影照亮的传感器S₁₁、S₁₂和S₁₃中的每个中的像素。因此，S₁₁、S₁₂和S₁₃中的每个中的候选像素被识别为通过所选目标点的投影照亮的像素。

换言之，为了选择目标点T，在通过目标点T的投影照亮的传感器S₁₁、S₁₂和S₁₃中的每个中选择像素。应该认识到，目标T的(x，y，z)物理位置在其选择的时候是未知的。而且，应该认识到，上述对齐过程的不精确可以导致每个传感器中哪些像素被所选目标T的投影照亮的确定的不精确。因此，如参考图17、图18和图19所解释，根据通过当前所选目标T的投影照亮的S₁₁、S₁₂和S₁₃中的每个中的像素确定的精确度作出进一步确定。

继续上述示例，假设三角形的第一对象为当前所选目标点。图16为示出根据一些实施例的所选三角形目标点到传感器S₁₁、S₁₂和S₁₃上的投影的示意图。根据这些投影，确定目标T的2D像素坐标[(N_X11，N_y11)、(N_x12，N_y12)、(N_x13，N_y13)]。为了简单化，图16仅示出y轴像素坐标。使用这些2D像素坐标，应用表达式(402.5-1)和(402.5-2)并且计算的

和

作为模块402.5的一部分。作为模块402.6的一部分，计算范数

并且将其与可接受公差ε相比。类似地，计算x轴像素坐标和位置估计值并且将其与可接受公差相比较。如果模块402.6的条件满足，则过程继续到模块403。否则，过程返回到模块402.4以使目标候选进一步精确化。

参考图17，其示出包括传感器S₁₁、S₁₂和S₁₃的成像器阵列的一部分，和设置在物理空间中的位置(x，y，z)处的所选三角形第一对象目标点T。成像器阵列内的传感器在其之间具有已知间距δ_ij。S₁₁和S₁₂之间的物理位置间距为δ₁₂，并且S₁₂和S₁₃之间的物理位置间距为δ₂₃。在一些实施例中，所有传感器S_ij之间的间距是相同的、等于δ的构造规格。传感器S_ij还具有已知的视野角度θ。

如上所解释，在一些实施例中，每个传感器构造成2D成像元件，其中像素以行和列的矩形图案排列。替代地，像素可以例如环形图案、之字形图案、分散图案或以包括子像素偏移的不规则图案排列。这些元件的角度和像素特性可以相同，或替代地传感器之间彼此可不同。然而，这些特性假设为已知。为了简化说明，假设传感器相同，但是，然而，它们可以不同。

为了简化起见，假设所有的传感器S_ij均具有N×N像素。在距传感器S₁₁的距离z处，传感器的N像素宽度向外扩展到通过FOV₁指示的S₁₁的y维度视野。同样地，在距传感器S₁₂的距离z处，传感器S₁₂的y维度视野通过FOV₂来指示。而且，在距传感器S₁₃的距离z处，传感器S₁₃的y维度视野通过FOV₃来指示。长度FOV₁、FOV₂和FOV₃彼此重叠，预示着传感器S₁₁、S₁₂和S₁₃实现物理地位于一些(未知的)距离z处的目标T的3路采样多样性。当然，如果传感器相同地构建，如在示例中所假设的，则长度FOV₁、FOV₂和FOV₃也将相同。应该认识到，三个长度FOV₁、FOV₂和FOV₃均具有相同的大小并且共面，因为它们处于距成像器阵列相同的(未知的)z距离处，但是为了进行示意性的说明，将它们描绘成如同它们彼此邻近堆叠。

参考图18，其示出当前所选目标点T到图像传感器S₁₁、S₁₂和S₁₃上的投影的示意性正视图。为了简化起见，假设传感器包括大小为N×N像素的几何学矩形像素阵列。还假设目标T投影的x坐标均相等。换言之，假设对于目标T到S₁₁、S₁₂和S₁₃上的投影，n_x1＝n_x2＝n_x3。为了简化说明，还假设水平的几何视野角度θ与其垂直时相同，θ_x＝θ_y。如果上述假设中的任一个改变，本领域的技术人员将知道如何修改下面提出的过程，以便计算目标T的x、y和z物理坐标。

目标T的图像在图像传感器S₁₁的平面中，投影到传感器S₁₁内的几何坐标(n_x1，n_y1)处的物理点。更具体地，目标点T到传感器S₁₁上的投影沿y轴线位于n_y1像素，并且沿x轴线位于n_x1像素，x轴线和y轴线均取自原点。目标T的图像在图像传感器S₁₂的平面中，投影到传感器S₁₂内的几何坐标(n_x2，n_y2)处的物理点。目标T的图像在图像传感器S₁₃的平面中，投影到传感器S₁₃内的几何坐标(n_x3，n_y3)处的物理点。应该认识到，每个传感器内的像素位置(n_xi，n_yi)相对于提供给传感器的原点(0，0)基准坐标来确定。如图17或图19所示，全球坐标系(x，y，z)被定义并且用于引用目标。例如但不限于，此类坐标系的原点可以放置在传感器S₁₁的几何中心处。

参考图16和图18两者，可以看出目标的投影的y像素距离在每个传感器中是不同的。当前所选目标T的投影在S₁₁中被设置到原点左侧的n_y1像素。所选目标T的投影在S₁₂中被设置到原点左侧的n_y2像素。所选目标T的投影在S₁₃中被设置到原点左侧的n_y3像素。如上所述，为简化说明，假设目标的投影在三个传感器中均落在距原点相同的x像素距离处。

参考图19，其示出当前所选目标T相对于如上参考图17所述的传感器S₁₁、S₁₂和S₁₃的布置，并且还示出在传感器中的每个中的候选像素的y方向像素偏移。应该理解，图19的附图提出用于确定所选目标点T的(x，y，z)物理坐标的物理结构和分析框架。在距成像器阵列平面的(未知的)距离z处，每个传感器的y方向视野延伸过标记为FOV_i的长度。在一些实施例中，该长度FOV_i对应于传感器的最大像素宽度，最大像素为N像素。考虑到工作假设为传感器具有x方向和y方向上对称的视野，长度还可以是沿x轴线是竖直的FOV_i。

如上所述，候选像素选择至少部分地基于可以具有不确定水平的关联过程，该关联过程可以导致所选目标的物理位置的确定不精确。因此，根据一些实施例，进一步检查目标投影候选选择的精确度可以如下进行。

确定目标的物理(x，y)位置并检查目标投影候选选择的精确度的示例

根据模块402.5，为所选目标计算两个或更多个二维(N_x，N_y)坐标值，以确定来自相同目标的投影实际上是否照亮候选像素。基于上面讨论的假设并且将3D坐标系的原点放置在传感器S₁₁的中心处，图19中的示例中的成像器阵列和当前所选目标T具有如下关系：

其中：

N为成像传感器的像素维度；

n_x1为目标点T的以在x方向上距S₁₁平面的原点的像素数目来表达的位置；

n_y1为目标点T的以在y方向上距离S₁₁平面的原点的像素数目来表达的位置；

n_y2为目标点T的以在y方向上距离S₁₂平面的原点的像素数目来表达的位置；以及

n_y2为目标点T的以在y方向上距离S₁₂平面的原点的像素数目来表达的位置；

θ为视野的角度。

而且，如果使用传感器S₁₁和传感器S₁₃执行相同的公式并且假定S₁₁和S₁₃之间的间隔为2δ，则我们得到：

其中：

n_x3为目标点T的以在x方向上距S₁₃平面的原点的像素数目表达的位置；以及

n_y3为目标点T的以在y方向上距S₁₃平面的原点的像素数目表达的位置。

因此，所选目标T的物理x坐标的确定可以基于表达式(3)或表达式(6)来确定。所选目标T的物理y坐标的确定可以基于表达式(2)或表达式(5)来确定。所选目标T的物理z坐标的确定可以基于方程式(1)或方程式(4)来确定。

更一般地说，根据模块402.6，作出关于计算的2D坐标值是否指示候选像素通过来自相同目标的投影照亮的确定。应该认识到，目标T的物理(x，y，z)坐标的更可靠的确定可以通过使用用于每个坐标的两个公式来得到。例如，用于目标T的y坐标可以使用公式(2)和公式(5)两者来确定。如果使用两个公式计算的所得y坐标值相差超过某些可接受公差值ε_y，则可以作出以下确定，即匹配过程未能够以足够精确度解决不同传感器中的投影之间的偏移，并且因此候选像素不相符，因为它们没有接收到来自相同目标T的投影。在y计算匹配失败的情况下，可执行匹配过程的另外的迭代，试图改善各自对应于所选目标T的传感器内的候选像素的选择。应该认识到，因为不同传感器上的不同透视投影由于例如视差效应而可以不同，因此计算的y值不太可能相等。因此，可接受公差值根据预期的应用加以规定。对于手术成像应用，0.1mm至0.3mm的ε通常提供可接受的Q3D精确度。在没有背离本发明的精神的情况下，本领域的技术人员可以限定不同的可接受公差水平。

考虑到围绕x轴线和y轴线的假设的传感器对称性，本领域的技术人员将认识到，使用类似于(2)和(5)中那些的公式(但使用n_xi代替n_yi)可作出相同类型的确定。公式(3)和公式(6)不可以作为402.5和402.6的一部分被使用，因为所述公式需要z坐标的知识。然而，模块402.5和模块402.6的本质是确定传感器S₁₁、S₁₂和S₁₃的平面上的正确目标投影。为此，针对x轴线和y轴线调整的公式(2)和公式(5)是足够的。完整的一组坐标(x，y，z)作为模块403和模块404的一部分被计算，如下文所述。

确定目标的物理z位置的示例

如图19所示，根据模块403和404，z坐标的初始估计值z₀用于开始实施计算过程。根据医疗应用，该初始值被自动限定。医疗应用定义要进行可视化的预期世界视图。初始值z₀开始于最接近内窥镜的视野边缘。参考图8，例如，对于包括手术内窥镜检查的Q3D应用，z₀可以远离Q3D内窥镜202的远端208 1mm至5mm。此初始估计值通常足以用于该应用，因为不太可能使任何组织或手术器械如此紧密接近Q3D内窥镜的存在。接下来，将值z₀插入公式(3)和公式(6)中。假设目标的x坐标是唯一的，则如果z₀为目标的真实且正确的z坐标，那么公式(3)和公式(6)可产生在可接受的公差水平ε_x内的相同值或大致相等的值。

|x₍₃₎–x₍₆₎|<ε_x (7)

如果(3)和(6)在可接受的公差ε_x以外，那么迭代继续并且尝试z的新估计值z₁。根据一些实施例，自动限定新估计值。例如，z₁＝z₀+△，其中△为迭代的步长。通常，在第k次迭代处，z_k＝z_k-1+Δ。当满足条件(7)时，迭代过程停止。在确定正确的目标坐标时，更小的Δ产生增加的精确度，但还需要更多计算时间以完成该过程，因此等待时间增加。等待时间增加可以导致手术器械的移动和通过操作的外科医生对其可视化之间的延迟。换言之，外科医生可以落后于命令感知系统(即，未实时操作)。对于20cm至30cm深的手术观察空间，0.1mm至0.3mm的Δ可以是足够的。当然，本领域的技术人员将知道平衡△的步长和完成迭代过程所需的计算时间。

出于展示的原因，已将上述说明简化，并且因此其仅包括三个传感器S₁₁、S₁₂和S₁₃。通常，更多个传感器不仅可以用于增加Q3D坐标计算的精确度，而且减少总体迭代次数。例如，如果使用多于三个的传感器，优选地3×3传感器阵列，则可以利用方法诸如最陡梯度法以趋向通过模块402.5和模块403造成的估计误差的方向。迭代步长和方向可以被调整以匹配朝向3D误差梯度表面的局部极值的进展。

借助Q3D信息引导内窥镜手术

图20为根据一些实施例的表示在手术程序期间使用Q3D信息的第一过程2000的示意流程图。计算机程序代码配置计算机151以执行过程2000。模块2002配置计算机以接收用户输入，从而当看向观察器312时选择在外科医生视野内的至少两个对象。模块2004配置计算机以响应于接收用户选择在计算机控制台上显示菜单。决定模块2006配置计算机以确定到菜单的显示距离的用户输入是否被接收。响应于确定显示距离的用户输入被接收，模块2008配置计算机以在外科医生视野中的视频图像内显示数值距离。决定模块2010配置计算机以等待接收选择距离显示的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2006的操作。

决定模块2012配置计算机以确定到菜单的输入/录入(enter)接近度(proximity)警报界限的用户输入是否被接收。响应于确定输入接近度阈值的用户输入被接收，模块2014配置计算机以使用Q3D信息来监控外科医生视野内的两个或更多个对象之间的接近度。决定模块2016确定是否已经越过接近度阈值。响应于确定已经越过接近度阈值，模块2018配置计算机以激活警报。警报可以包括声音、可视化队列诸如闪光信号灯、器械移动的锁定以避免碰撞，或其他触觉反馈。响应于确定还未越过接近度阈值，控制流程返回到监控模块2014。决定模块2020配置计算机以等待接收输入接近度阈值的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2012的操作。

图21为示出根据一些实施例的按照图20过程在显示屏2102上所显示的菜单选择的示意图。显示屏2102包括与计算机151相关联的观察监控器。替代地，显示屏2102可以包括观察器312的观察元件401R、401L的区域。响应于用户输入，模块2004使菜单2104得以显示，菜单2104包括第一菜单项“显示距离”2106和第二菜单项“设定接近度警报”2108。响应于选择“显示距离”菜单项2106的用户输入，模块2008使两个或更多个对象之间的Q3D距离得以显示。再次参考图4，其示出器械400和使用模块2008显示的目标之间的Q3D距离“d_Instr_Trgt”的显示。响应于选择“设定接近度警报”菜单项2108的用户输入，显示“输入距离”UI输入2110，UI输入2110包括用户可以输入接近度距离阈值例如1cm的栏。在替代实施例(未示出)中，可以提前为所有器械设定默认的接近度阈值，并且用户可以使用例如图21的菜单来改变接近度阈值。在替代实施例中，用户可以决定选择默认阈值而不是输入阈值。在一些实施例中，用户可以选择显示距离和设定接近度警报两者。

图22A至图22B为表示根据一些实施例的按照图20的过程接收用户输入的某些细节的示意图。图22A示出目标410L、401R诸如人体组织的示例第一高光区域2202L、2202R，第一高光区域可以使用视频标记工具诸如远程图显，或者使用操纵图4的控制输入设备160的外科医生控制台创建。图22B示出器械顶端400L、400R的示例第二高光区域2206L、2206R，第二高光区域可以使用视频标记工具创建。在根据一些实施例的操作中，用户创建第一高光区域2202L、2202R。接下来，用户使用视频标记工具来创建器械顶端400L、400R的示例第二高光区域2206L、2206R。应该理解，将项加亮的顺序并不重要。然后用户致动选择器(未示出)(例如，按压ENTER键)以输入选择。模块2002将接收到的用户输入解释为目标图像410L、410R和器械图像400L、400R的选择。

图23为表示根据一些实施例的在手术程序期间使用Q3D信息的第二过程2300的示意流程图。计算机程序代码配置计算机151以执行过程2300。模块2302配置计算机以接收用户输入，从而当看向观察器312时选择外科医生视野内的对象。例如，再次参考图22A，其示出用户输入被接收以使用视频标记工具来创建器械顶端400L、400R的第二高光区域2206L、2206R。用户输入(未示出)被接收，以致动选择器(未示出)(例如，按压ENTER键)从而输入器械顶端400L、400R的图像的选择。

再一次返回到图23，响应于接收用户选择，模块2304配置计算机以在计算机控制台上显示菜单。决定模块2306配置计算机以确定到菜单的使所选对象的图像旋转的用户输入是否被接收。响应于确定使图像旋转的用户输入被接收，模块2308配置计算机以使图像旋转从而示出对象的不同三维透视图。决定模块2310配置计算机以等待接收使图像旋转的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2306的操作。

图24为示出根据一些实施例的按照图23的过程在显示屏2402上所显示的菜单选择的示意图。显示屏2402包括与计算机151相关联的观察监控器。替代地，显示屏2402可以包括观察器312的观察元件401R、401L的区域。响应于接收到的用户输入，模块2304使菜单2404得以显示，菜单2404包括第三菜单项“向左旋转”2406和第四菜单项“向右旋转”2408。响应于选择第三菜单项2406或第四菜单项2408中的一个或另一个的用户输入，模块2308使按照图9的模块407创建并存储的3D模型旋转。应该认识到，由于传感器成像器阵列210具有有限的总体视野，所以旋转量可以限制到几度，例如小于30度。

来自器械顶端的虚拟Q3D透视图

图25为示出Q3D内窥镜2502的透视图的示意图，Q3D内窥镜2502与图像传感器阵列210相关联，并且具有内窥镜视野(FOV_e)。图25还示出根据一些实施例的手术器械2506的一部分和设置在视野内的手术场景2508中的一个或更多个解剖结构2508-1、2508-2的透视图。光源2510照亮手术场景2508。如参考图7A至图7B和图8至图10所解释，图像传感器阵列210被定位成捕捉从内窥镜2502的顶端2512扩展的FOV_e内的手术器械2506和解剖结构2508-1、2508-2的图像投影。因此，计算手术场景2508的Q3D模型。如参考图8所解释的，内窥镜2502经由插管穿透人体壁组织或通过自然孔进入人体，并且然后其在患者的体腔内延伸，以便提供可视化入口并且捕捉手术场景2508的图像，手术场景2508包括例如目标、手术器械2406和患者体腔内部的解剖结构2508-1、2508-2。

图25示出根据一些实施例的如参考图5至图6所描述进行部署的Q3D内窥镜2502的视野(FOV_e)。如图5至图6所示，器械101A至101B和Q3D内窥镜101C可以在手术介入期间通过不同的插管进行部署。手术介入可以包括远程操作医疗系统的使用，或者其可以为手动的微创介入，或者其可以为开放手术介入或其组合。应该认识到，如上参考图4所描述，在手术程序期间，内窥镜视野(FOV_e)通过观察器312对外科医生可见。图6参考使用机器人技术的远程操作手术介入示出患者侧推车的机械手术臂158A至158D上的内窥镜101C和器械101A至101B的布置。

出于说明的目的，所示目标手术器械2506具有呈针驱动器形式的端部执行器，诸如用于DA VINCI

手术系统的

Mega针驱动器器械。然而，在手术介入期间，可以使用替代的端部执行器实施不同的手术器械功能，诸如例如剪刀、抓紧器、解剖刀、烧灼电极、缝合器或施夹器。出于说明的目的，患者体腔内的示例手术场景2508包括具有表示第一解剖组织结构的球形形状的第一解剖目标2508-1，和具有表示第二解剖组织结构的棱锥形状的第二解剖目标2508-2。

根据一些实施例，手术场景2508的虚拟Q3D透视图从沿目标手术器械2506的纵向轴线2514的观察角度产生，目标手术器械2506设置在与内窥镜2502相关联的传感器阵列的内窥镜FOV_e内。做出关于内窥镜2502的取向和定位的变换的确定，以使内窥镜2502与目标手术器械2506的轴线2514对齐。这些取向和定位变换用作场景2508的Q3D渲染的以下变换的基础，即从内窥镜2502的FOV_e内的Q3D视图变换到沿手术器械2506的轴线2514的器械视野(FOV_i)内的Q3D视图。来自FOV_i的手术场景2508的视图可使用图4的3D观察器312可视化。因此，Q3D信息用于创建静止的或移动的图像，如同图像捕捉设备位于手术器械2506的顶端处，并且具有以类似于视野与专用内窥镜器械对齐的方式(例如，从纵轴线偏移0°，从纵轴线偏移30°等)与手术器械2506的纵轴线对齐的FOV_i。替代地，FOV_i可以放置在手术器械2506上的另一位置处，诸如处于或邻接钳口之间的支点。描述该方面的另一方式是考虑内窥镜2502和手术器械2506彼此一致，使得从手术器械2506的视角生成内窥镜图像。

图26为表示根据一些实施例的将来自内窥镜观察视角的Q3D场景转换成来自内窥镜观察视角内的目标器械的视角的Q3D场景。为执行根据一些实施例的某些几何变换，假设Q3D内窥镜顶端2512位于坐标x，y，z的3D系统的原点处，如图25所示。模块2602配置来自图8的计算机151(或控制器106；在下面的描述中对计算机151的应用适用于控制器)，以创建场景2508的Q3D模型2650。如上参考图9至图19所解释，计算机151经配置确定在内窥镜FOV_e中确定的点的(x，y，z)坐标。这样一来，系统创建场景2508的Q3D模型2650。Q3D模型2650存储在非暂时计算机可读存储介质2652中。如图25所示，器械2506的远侧部分被捕捉在与内窥镜2502相关联的传感器210的FOV_e内。

模块2604配置来自图8的计算机，以确定内窥镜2502的顶端2512和场景2508之间的距离d₁。距离d₁表示从顶端2512到场景2508的最近点的长度。在图25提供的示例中，d₁为从Q3D内窥镜顶端2512到目标2508-1上的最近点的距离。类似地，模块2604配置计算机151以确定目标手术器械2506的顶端2516和手术场景2508之间的距离d₂。距离d₂表示从顶端2516到场景2508的最近点的长度。在图25提供的示例中，d₂为从器械顶端2516到目标2508-1上的最近点的距离。距离d₁和距离d₂可以通过系统基于Q3D模型的细节来确定。距离d₁和距离d₂可以使用参考图9和图20所述的算法来计算。针对图9描述的算法确定FOV_e中所有点的坐标。然后，针对图20描述的算法可以用于确定任意两个对象之间的距离，诸如2512和2508-1之间，或者诸如2516和2508-1之间的距离。如下面更充分地解释，当描述3D透视图的渲染时，可以使用这些距离参数。

接下来，基于场景2508的Q3D模型中的信息执行一系列的几何变换，以虚拟地“移动”Q3D内窥镜2502，使得其可以拍到器械2506的3D姿态。如在本文中所使用的，术语“姿态”指的是对象或对象的一部分在至少一个平移自由度中的位置，并且指的是该对象或该对象的一部分在至少一个旋转自由度中的取向(在笛卡尔空间中高达六个总自由度(即，颠簸、起伏、摇动、滚动、偏转、俯仰))。虽然该描述根据笛卡尔坐标，但实际上可使用其他坐标系(极坐标系、圆柱形坐标系、球形坐标系等)。

模块2606配置计算机151或控制器106，以从Q3D模型2650确定位于器械2506的可见部分上的至少两个点的(x，y，z)坐标。优选地，为增强精确度，可以确定更多个点。例如，假设这些点是图25所示的P₁和P₂。如上所讨论的，假设内窥镜2502位于坐标的3D系统的z-轴线2518上，其中其顶端在原点处。因此，内窥镜2502的轴线2518可以描述成如通过以下公式所限定的3D直线：

x＝0；y＝0 (8)

模块2608配置计算机系统151以确定器械2506的轴线2514，轴线2514包括通过关于点P₁(x₁，y₁，z₁)和P₂(x₂，y₂，z₂)的以下公式所限定的3D直线：

其中公式(9)限定器械2506的轴线2514上的任意点(x，y，z)。

模块2610配置计算机系统151以计算将内窥镜2502虚拟地“移动”到器械2506的姿态的变换。所述“移动”包括一系列虚拟旋转和虚拟平移，其将内窥镜2502的z-轴线2518与目标器械2506的轴线2514虚拟地对齐。

图27A至图27C为表示根据一些实施例的虚拟取向变换(图27A)、虚拟位置变换(图27B)和所得的虚拟对齐(图27C)的示意图。对本领域的技术人员而言此类变换是已知的，并且它们的实施细节可以变化，包括此变换的顺序、数目或大小。而且，本领域的普通技术人员将理解，除笛卡尔坐标以外可以使用不同的3D坐标系。例如，可以采用极坐标系、参数坐标系或球形坐标系而不改变结果。

参考图27A，例如，线段l₁表示内窥镜2502的姿态，并且线段l₂表示目标器械2506的姿态。更具体地，线段l₁表示内窥镜轴线2518的位置和取向，并且线段l₂表示目标器械轴线2514的定位和定向。模块2610配置计算机151以通过采用旋转角α所限定的旋转矩阵M_x使线段l₁围绕x-轴线虚拟地旋转。模块2610配置计算机151，以随后通过采用旋转角β所限定的旋转矩阵M_y使线段l₁围绕y-轴线虚拟地旋转。最后，如果需要，则模块2610配置计算机151，以通过采用旋转角γ所限定的旋转矩阵M_z使线段l₁围绕z-轴线虚拟地旋转。旋转矩阵的使用对本领域的技术人员而言是众所周知的，并且不需要在本文在详细描述。

如图27B所示，根据一些实施例，这些虚拟旋转的目的和结果是使得变换的线段l₁'现在平行于线段l₂，器械2506的轴线2514。所得的总体旋转矩阵M等于：

M＝M_x·M_y·M_z (10)

或以三角函数格式：

模块2610进一步配置计算机151以确定虚拟位置平移T_v，从而将线段l'₁移动到与线段l₂关联的重叠部分，该部分与线段l₂平行。图27B示出通过矢量

限定的几何位置平移，如图27B所示。矢量

通过线段l'₁和线段l₂的顶端限定，并且其被取向成从线段l'₁指向线段l₂。

如图27C所示，所得的平行线段l"₁被虚拟地移动到其重叠l₂的部分。几何平移对于本领域的技术人员而言是众所周知的，并且不需要在本文中详细描述。

根据一些实施例，来自器械2506的顶端2516的观察视角的场景2508的Q3D模型的虚拟视图，可以通过根据上述操作T_y、M_z、M_y和M_x变换Q3D模型产生，但以相反次序进行。模块2612配置计算机151，以首先通过应用矢量-

的位置平移来变换Q3D模型。模块2612配置计算机151以分别执行相应角–γ、–β和–α的取向旋转M_z、M_y和M_x的顺序。

模块2614配置计算机151以使用变换的Q3D模型显示来自目标器械2506的虚拟透视图的手术场景。基于距离d₂，使用已知的透视绘制算法创建虚拟透视图。图28A至图28B为根据一些实施例的来自内窥镜顶端2512的视角(图28A)和来自目标手术器械2516的视角(图28B)的手术场景2508的示例Q3D视图。应该认识到，如上参考图4所述，图28A至图28B的手术场景在手术程序期间通过观察器312对于外科医生可见。而且，根据一些实施例，外科医生可以选择性地改变虚拟透视图。从图28A的内窥镜视角，目标器械2506与第一(球形的)解剖结构2508-1以及第二(三角形的)解剖结构2508-2一起可见。从图28B的目标器械视角，第一(球形的)解剖结构2508-1和第二(三角形的)解剖结构2508-2可见，而不是从不同于图28A的视角的视角。图28B所示的透视图可以使用来自图26的算法2600生成。

图29为示出根据一些实施例的产生Q3D模型的3D渲染的过程的细节的示意图。一旦已经计算出变换的Q3D模型，其就可以显示在系统的3D显示器110上。许多3D视频算法和硬件实施可以用于该目的。计算机模块2902配置图8的系统，以考虑到62mm至65mm的平均人类瞳孔间距将Q3D模型分成右眼视图2904R和左眼视图2904L，其中所述系统包括视频处理器104、控制器106和显示驱动器109。为实现该步骤，应用体视学和人类IPD的已知细节。根据一些实施例，模块2506配置3D显示驱动器109的3D视频控制器106，以按已知的帧率在向左眼提供视频帧2508L和向右眼提供帧2508R之间交替地切换，以便给予观察者3D场景的印象。图29所描述的方法采用3D观察眼镜，诸如呈现于诸如参考图4至图6所描述的远程操作手术系统上的那些。然而，可以使用其他3D视频显示机制。授予Lipton的美国专利No.4,562,463(提交于1981年5月15日)和授予Naglele等人的美国专利No.6,008,839提供了附加的实施细节，这些专利的全部内容以引用方式并入本文。

禁飞区(NFZ)

图30A至图30B为示出与具有内窥镜视野(FOV_e)的图像传感器阵列210相关联的内窥镜2502的透视图的示意图。并且示出根据一些实施例的与禁飞区3022相关联的第一手术器械3024、第二手术器械3026和设置在FOV_e内的手术场景3008中的解剖结构3007的部分。光源2510照亮手术场景3008。如参考图7A至图7B以及图8至图10所解释的，图像传感器阵列210被定位成捕捉FOV_e内的手术器械2506和解剖结构3007的图像投影，图像投影照亮内窥镜2502的顶端部分2512。虽然所示图像传感器阵列210邻近内窥镜顶端2512设置，应该认识到，替代地，例如图像传感器阵列可以从顶端2512移置，如参考图7B所解释的。如上参考图8所解释的，内窥镜2502被定位成穿透人体壁组织或进入自然孔并且在患者的体腔内延伸，以便提供到手术场景3008的可视化入口，手术场景3008包括例如目标、第一手术器械3024和第二手术器械3026以及患者体腔内部的解剖结构3007。以上提供了内窥镜及其操作的一些实施例的附加解释，并且将不对其进行重复。

图30A至图30B示出根据一些实施例的如参考图5至图6所描述进行部署的Q3D内窥镜2502的视野(FOV_e)。如图5至图6所示，器械101A至器械101B以及Q3D内窥镜101C可以在手术介入期间通过不同的插管进行部署。应该认识到，如上参考图4所述，在手术程序期间，内窥镜视野(FOV_e)通过观察器312对于外科医生可见。NFZ区域可以各种方式出现在场景中，诸如例如通过示出距离d_NFZ的数字注释或作为投影表面或围绕器械3204的“气泡”。手术器械介入可以包括远程操作医疗系统的使用，或者其可以是手动微创介入，或者其可以是开放手术介入或其组合。图6参考远程操作医疗系统手术介入示出患者侧推车的机械手术臂158A至158D上的内窥镜101C和器械101A至图101B的布置。为了清楚地呈现，讨论了包括图像传感器阵列的Q3D内窥镜。然而，本发明的范围包括其他类型的Q3D内窥镜，诸如基于飞行时间的成像传感器的内窥镜。美国专利No.8,262,559(“559专利”)描述了此Q3D内窥镜，并且该专利申请以引用方式并入本文。从第8栏、第45行到第10栏、第27行的559专利说明书以及相应的附图以引用形式并入本文。

通过虚线3022所表示的示例性禁飞区(NFZ)围绕第一器械(器械A)3024被限定。本文使用的术语“禁飞区”指的是围绕结构的空间区域。在一些实施例中，NFZ为旨在由针对其限定NFZ的对象单独占据的区域。为确保患者的安全或程序的功效，不期望其他器械诸如器械3026(器械B)，或邻近的组织位于NFZ区域的界限内。例如，如果器械3024为单极弯剪(MCS)，则可限定NFZ区域使得能量不可以意外地从器械3024递送到器械3026或目的不在于治疗递送的相邻组织结构。有时，根据MCS周围的含湿量，当将能量递送到目标组织时，可产生劣弧或火花。因此，可以选择NFZ界限3022以限定围绕MCS器械3024的1mm至2mm或更大的间隙。因此，在能量递送期间可产生的任意弧或火花将不会无意地到达器械3026或其他邻近组织。根据操作者的关于程序和关于器械的知识，NFZ范围可以通过系统(例如，基于在使用中的器械3024的类型)或通过操作者来自动地选择。器械可以间接地(例如，借助计算机辅助)或手动地致动。当针对该其限定NFC的对象改变位置时，NFZ改变位置。

图30A至图30B中的示例NFZ 3022被限定为距第一器械3024距离d_NFZ内的空间。在图30A中的场景中，第一器械(器械A)3024和第二器械(器械B)3026之间的距离为大于d_NFZ的d_1A/B，并且该情况指示第二器械3026在第一器械3024的禁飞区的外部。然而，在图30B中的场景中，第一器械(器械A)3024和第二器械(器械B)3026之间的距离为小于d_NFZ的d_2A/B，并且该情况指示第二器械3026在第一器械3024的禁飞区内。

图31为表示根据一些实施例的限定禁飞区并且确定是否已经侵犯禁飞区的过程3100的示意流程图。参考图30A至图30B的手术场景3008来对过程3100进行描述。

模块3102配置计算机151以识别Q3D场景中的针对其待创建NFZ的目标，并且基于距离(d_NFZ)围绕一个或多个可以包括器械和/或解剖结构的目标来限定相应的NFZ区域。换言之，NFZ可以被限定为距目标距离d_NFZ内的区域。换句话说，NFZ可以通过在距目标表面距离d_NFZ处围绕目标的虚拟气泡来限定。例如，图30A至图30B中的虚线3022指示围绕器械A3024的NFZ。在一些实施例中，用户可以手动地指示手术场景内的将要具有NFZ的对象，并且用户可以手动地录入d_NFZ信息。参考图22A至图22B，例如，用户可以使用视频标记工具诸如远程图显装置来识别将要具有NFZ的结构。替代地，如果系统接收这种信息，则系统可以基于器械3024或结构3007的特性，或者使用程序通用的或专用的NFZ设置来限定NFZ。应该认识，虽然图30A至图30B中的示例示出用于器械的NFZ的创建，但替代地，可以针对解剖结构3007创建NFZ。并且，虽然图30A至图30B中的示例示出单个NFZ的创建，但是例如可以针对不同器械创建多个NFZ-不同的NFZ，或者针对一个器械创建一个NFZ并且针对解剖结构创建另一个NFZ。

模块3104配置计算机151以针对第一器械3024和第二器械3026的多个对应位置中的每个变化创建不同的Q3D模型，Q3D-1、Q3D-2和Q3D-3。Q3D模型存储在非暂时性存储设备3150中。

模块3106配置计算机系统151以识别多个不同Q3D模型中的每个中的目标器械(例如第一器械2524)和每个其他器械(例如器械3026)，其中，针对第一器械限定NFZ区域，NFC区域基于围绕目标器械限定的(d_NFZ)距离进行限定。在一些实施例中，将器械形状信息与Q3D模型距离信息匹配，以识别目标器械。例如，将目标器械的形状存储在非暂时性存储设备中。器械的存储形状可以从其计算机辅助设计(CAD)模型中知道。替代地，可以预先扫描器械，并且将所得的扫描进行拼接，以便将其组合从而形成3D形状模型。可以采用最佳匹配算法以检测最佳匹配目标器械的存储形状的Q3D模型的截面。如前所述，最佳匹配算法使用2D或3D相关函数，以将存储的器械形状与通过遍历Q3D模型所提取的最佳匹配候选进行比较。

模块3108配置计算机系统151，以针对Q3D模型中的每个确定已经针对其限定d_NFZ的器械(例如，器械A)和另一器械(例如，器械B)之间的距离(d_A/B)是否小于d_NFZ距离。换言之，假设针对器械A限定d_NFZ，则作出关于是否d_NFZ>＝d_A/B的确定。

替代地，例如，如果NFZ(未示出)应用于解剖结构3007，则模块3108确定器械A和器械B中的一个或两者是否侵犯禁飞区(NFZ)。例如，假设解剖结构3007是针对其限定d_NFZ的脆弱的血管。在这种情况下，相应的NFZ界限可以用于阻止任意器械靠得太近并且刺穿血管。作为进一步的替换，例如，如果解剖结构3007具有较低的临床危险程度(例如，脂肪、骨等)，那么可以防止一些但不是所有器械类型进入NFZ(例如，尖锐器械、能量递送器械等)。因此，对于第一类型的器械和第二类型的另一器械，以一种或更多种不同的方式诸如操作者指定、机器视觉或器械数据的直接感测来识别到手术系统的器械类型，允许第一类型的器械(例如，钝性分离器械)进入NFZ但不允许第二类型的器械(例如，烧灼剪切器械)进入NFZ。可以通过直接比较针对不同器械和/或解剖结构规定的d_NFZ距离和它们之间的实际d_A/B距离来执行NFZ范围是否被侵犯的确定。

再次参考图30A至图30B的示例场景，关于针对图30A的示例场景创建的Q3D模型的确定可指示不存在针对第一器械3024限定的示例NFZ 3022的侵犯。但是，关于图30B的示例场景的确定可指示第二器械3026已经越过NFZ 3022。

模块3110配置计算机151以响应于确定NFZ已被侵犯提供警报。警报可以包括声音、可视化提示(诸如，闪光信号灯)或者锁定或阻断器械移动或增强器械移动的刚度，以避免碰撞(例如，通过使用触觉壁)。

投影跑道

图32为示出与具有内窥镜视野(FOV_e)的图像传感器阵列210相关联的内窥镜2502的示意图。应该认识到，如上参考图4所述，在手术期间，内窥镜视野(FOV_e)通过观察器312对于外科医生可见。并且示出根据一些实施例的在观察轨迹上的多个不同位置处观察到的手术器械3206的一部分，以及设置在FOV_e内的手术场景2508中的解剖结构。如下面更充分地解释，当器械3206在多个器械位置3206-p1、3206-p2和3206-p3之间移动时观察相同的器械3206，以便探知其轨迹并且从该移动中推测投影的轨迹跑道。

光源210照亮手术场景2508。如参考图7A至图7B和图8至图10所解释，图像传感器阵列210被定位成捕捉FOV_e内的手术器械3206和解剖结构3207的图像投影，图像投影照亮与内窥镜2502的顶端部分2512相关联的图像传感器阵列210。虽然所示图像传感器阵列210邻近内窥镜顶端2512设置，但是应该认识到，图像传感器阵列可以替代地例如从顶端2515移置，如参考图7B所解释。如上参考图8所解释，内窥镜2502被定位成穿透人体壁组织或自然孔口并且在患者体腔内延伸，以便提供到手术场景2508的可视化入口，手术场景2508包括例如目标、手术器械3206和患者体腔内部的解剖结构3207。以上提供了内窥镜及其操作的一些实施例的附加解释，并且将不对其进行重复。

图32示出根据一些实施例的如参考图5至图6所描述进行部署的Q3D内窥镜2601的视野FOV_e。如图5至图6所示，器械101A至器械101B和Q3D内窥镜101C可以在手术介入期间通过不同的插管进行部署。手术介入可以包括远程操作医疗系统的使用，或者其可以是手动的微创介入，或者其可以是开放手术介入或其组合。图6参考远程操作的手术介入示出患者侧推车的机械手术臂158A-158D上的内窥镜101C和器械101A-101B的布置。

出于说明的目的，所示目标手术器械3206具有呈针驱动器形式的端部执行器，诸如用于DA VINCI

手术系统的Mega针驱动器

器械。在手术介入期间，可以使用替代的端部执行器，诸如缝合器、血管闭合器、剪刀、抓紧器、解剖刀、烧灼电极或施夹器，在手术介入期间实施不同的手术器械功能。在示例场景3208中，相同的目标器械3206沿观察的轨迹改变位置，观察的轨迹还被称为从位置3206-p1到位置3206-p2到位置3206-p3的路径。位置3206-p1、位置3206-p2和位置3206-p3之间的虚线3216表示当器械移动越来越靠近解剖结构3207时，器械所遵循的路径。例如，在医疗介入期间，外科医生可以使目标器械遵循观察的路径3216，观察的路径3216从例如位置3206-p1到位置3206-p2到位置3206-p3改变目标器械的位置。应该认识到，一些外科医生难以精确地将手术器械和将要使用器械接触的解剖结构对齐。例如，外科医生可需要将线性缝合器与组织结构诸如肠对齐，所述组织结构将要使用设备缝合在一起。例如，在触发缝合器之前，将缝合器和肠组织适当对齐是关键的。外科医生有时难以预想一旦将器械插入到其将要被使用的区域中将如何使器械对齐。例如，当缝合器端部执行器插入被切除的肠中以执行吻合术时，外科医生可难以预想缝合器端部执行器的定位和取向。根据一些实施例，在外科医生的视野内提供指示器械路径的预测路径的高度可见的虚拟投影。外科医生可以使用预测路径来提前察觉如何相对于解剖结构对齐器械，并且如何最佳操纵器械以将其放置到期望位置和取向中。例如，外科医生可以提前察觉缝合器是否适当对齐以创建用于吻合术的缝合线。

通过虚线3218指示的预测路径还被称为“跑道”，其从观察路径3216的端部延伸。预测路径可以一直延伸到解剖对象表面上的预测接触位置3220(标记为“X”)处，预测器械3206在该位置处首先接触解剖对象。预测路径3218和预测接触位置3220基于观察路径3216来确定。更具体地，当操作者使器械移动得更靠近解剖对象3207时，图像传感器阵列210用于观察，即产生目标器械3206在一系列多个位置中的每个例如3206-p1、3206-p2和3206-p3处的Q3D模型。基于在一系列时间点确定的一系列位置确定观察路径3216，并且基于观察路径来确定预测路径。例如，预测路径可以为观察路径的线性外推(extrapolation)。替代地，预测路径可以是估计目标器械的某些部分的轨迹的曲线。例如，如果目标器械是单极弯剪或HARMONIC

弯曲剪切器械，则曲线可以预测弯曲叶片的轨迹。基于预测路径3218来确定预测接触位置3220。例如，预测路径3218与表示目标解剖结构3207的Q3D模型的表面之间的几何交叉限定预测接触位置3220。

图33为表示根据一些实施例的追踪Q3D场景中的观察路径上的目标器械，并且确定预测路径和预测接触位置的过程2600的示意流程图。过程2600参考手术场景3208进行描述。

模块3302配置计算机151以针对目标器械3206的多个对应位置改变中的每个创建不同的Q3D模型。位置和对应的模型可以是两个或更多个。例如，如沿从3206-p1到3206-p2到3206-p3的观察轨迹所示，创建了对应的不同的Q3D模型Q3D-1、Q3D-2和Q3D-3。Q3D模型存储在非暂时性存储设备3350中。替代地，当预测路径仅是目标器械的某些特征的延伸时，创建单个Q3D模型并且将其保存在非暂时性存储设备中。

模块3304配置计算机系统151以识别多个不同Q3D模型中的每个中的目标器械。在一些实施例中，将目标器械形状信息与Q3D模型距离信息匹配，以识别目标器械。例如，目标器械的形状存储在非暂时性存储设备中。器械的存储形状可以从其计算机辅助设计(CAD)模型中知道。替代地，可以预先扫描器械，并且将所得的扫描进行拼接以形成3D形状模型。可以采用最佳匹配算法以检测最佳匹配目标器械的存储形状的Q3D模型的截面。如前所述，最佳匹配算法使用2D或3D相关函数，以将存储的器械形状与通过遍历Q3D模型所提取的最佳匹配候选进行比较。

模块3306配置计算机151以确定目标器械的预测路径。

模块3308配置计算机151以产生场景的3D可视化表示，所述可视化表示包括解剖结构3206上的预测接触位置3220的可视化指示。预测路径用作目标器械的当前路径或当前位置的可视化几何延伸。在例如使目标器械实际地与解剖结构进行物理接触之前，外科医生可以试用数个不同的目标器械路径和/或部署取向。根据一些实施例，外科医生改变目标器械位置导致模块3302创建场景的对应于不同位置或取向的不同Q3D模型。进而，模块3306和模块3308探知并且显示目标器械的针对不同Q3D场景或一系列Q3D场景的不同预测路径或延伸。外科医生可以使用可视化地显示的路径信息，以确定最有可能导致目标器械与解剖结构在期望位置处交叉的目标器械的路径或定位。因此，外科医生将能够优化目标器械的路径和/或取向，以便实现期望的临床目标。

更具体地，在一些实施例中，预测路径基于目标器械的观察路径的外推来确定。可以在多个Q3D场景的路线上对观察路径进行观察。参考图32，例如，模块3306配置计算机151以基于目标器械3206的观察路径3216来确定目标器械的预测路径3218。根据一些实施例，观察路径基于器械位置的目标器械位置的改变来确定，例如，从位置3206-p1，随后是3206-p2，随后是3206-p3，从一个Q3D模型到下一个Q3D模型，例如从Q3D-1到Q3D-2并且从Q3D-2到Q3D-3。例如，确定位于目标器械上的至少一个点或区域。例如，在针驱动器器械的情况下，该点可以表示器械的顶端。顺序地确定该点或区域在模型Q3D-1、模型Q3D-2和模型Q3D-3中的位置。轨迹基于最佳拟合曲线来构造。例如，可以采用最小二乘方误差生成穿过目标器械的连续位置的最佳拟合线性轨迹。然后，对该轨迹进行外推以确定器械的预测路径3218。因此，预测路径3218基于观察路径3216来确定。具体地，预测路径3218通过来自观察路径3216的外推来确定。

替代地，在一些实施例中，预测路径基于模块3307来确定，模块3307确定静止目标器械的感兴趣特征的几何延伸。因此，预测路径基于静止目标器械的取向的Q3D观察与基于其观察取向的目标轮廓到场景中的外推结合来确定，而不是观察目标器械在多个Q3D场景的路线上的位置改变。在图36中，例如，目标器械为缝合器，并且预测路径表示缝合线的延伸或缝合器刀槽的延伸。通过观察Q3D延伸的3D表示或这些特征的估计“跑道”，外科医生可以获得最终将缝合器和/或刀口放置在何处的精确得多的和定量的理解。例如，当执行各种手术程序时，3D表示可以辅助外科医生关于解剖体恰当地对齐并且推进缝合器器械，诸如与肠对齐以执行吻合术。另外，如果需要，这些Q3D器械跑道的定量方面允许外科医生测量预定路径的特征(例如，估计刀剖切线和邻近组织之间的间隙)。进一步地，假设预测路径3218与解剖对象3207交叉，可以作出关于交叉位置3220的确定。如上所述，位置3220可以被计算为表示预测路径3218的曲线和表示目标解剖结构3207的Q3D模型表面之间的几何交叉。例如，如上参考图22A至图22B所解释，Q3D接触位置3220的可视化图像表示可以包括显示的可视化标记，所述标记与场景2508的可视化3D视频表示中所示的目标相关联。

参考图34，其示出根据一些实施例的场景3208的示例3D可视化表示和用可视化标记“CL”进行标记的在解剖结构3207上的预测接触位置，在所述场景3208中，假设目标器械3206处于图32中所示的第三位置3206-p3中。应该认识到，如上参考图4所描述，在手术程序期间，内窥镜视野(FOV_e)通过观察器312对于外科医生可见。标记“CL”基于图32的预测路径3218提供。因此，可以先基于器械的多个观察的Q3D位置产生器械3206与解剖结构的3207的预测接触位置3220的可视化表示，操作者可以更容易地引导器械3206在期望接触位置处与解剖结构进行接触。

虽然本文详细地讨论了接触位置3220，但是源于预测路径3218的其他特征同样重要。如上已经提及的，显示估计的缝合器缝合线(即，施加手术钉所沿的线)和/或剖切线(即，由驱动缝合线之间的缝合器刀所产生的组织分离)是非常重要的。对于单极弯剪或HARMONIC

弯曲剪切器，显示从预测路径3218到相邻组织的距离是非常重要的。这些器械或其他器械将能量递送到组织用于治疗目的。为了最小化非故意的组织损伤，帮助操作者理解目的不是治疗递送的组织离预测路径有多远是重要的。

图35为表示根据一些实施例的示例手术场景2508的示意图，其中操作者已经尝试多个不同的观察路径3516-1到3516-3，并且过程3300已经产生对应的预测路径3518-1到3518-3和接触位置CL1到CL3，加上期望接触位置“Y”。手术场景2508包括内窥镜2502的一部分和解剖结构3507。应该认识到，如上参考图4所描述，在手术程序期间，内窥镜视野(FOV_e)通过观察器312对于外科医生可见。参考本文的其他附图所解释的许多细节从图35中省略，以便简化说明。

系统操作者，诸如外科医生可以使用试错技术来确定使目标器械3506遵循的最佳路径，以确保器械3506在期望的接触位置“Y”处接触解剖结构3507。这样一来，操作者可以按照顺序沿多个不同的观察路径来移动器械。图33的过程3300针对每个观察路径在解剖结构的可视化图像上产生预测接触位置标记。操作者可以使用接触位置标记信息来决定使用哪条路径与期望接触位置“Y”接触。

更具体地，例如，实线箭头3516-1、虚线箭头3518-1和接触位置标记CL1分别表示器械的第一观察路径、器械的第一预测路径和目标器械3506的第一预测接触位置。类似地，实线箭头3516-2、虚线箭头3518-2和接触位置标记CL2分别表示器械3206的第二观察路径、器械3506的第二预测路径和器械3506的第二预测接触位置。同样地，实线箭头3516-3、虚线箭头3518-3和接触位置标记CL3分别表示器械3506的第三观察路径、器械3506的第三预测路径和器械3506的第三预测接触位置。应该注意，由操作者尝试的观察路径3516-1、观察路径3516-2和观察路径3516-3导致器械3506在期望位置“Y”中接触解剖结构3507。因此，根据一些实施例，操作者还可以尝试另一预测路径(未示出)。

当感兴趣的特征例如器械的形状或器械的一部分几何地(虚拟地)延伸时可以类似地采用试错技术以确定预测路径3518-1、预测路径3518-2和预测路径3518-3，例如，如在图35中所示的3D中所显示。

应该认识到，可以使用不同的路径以相对于组织结构将工具定位在不同位置处，使得能量诸如激光脉冲可以在例如不同位置处和从距组织不同距离处应用到组织。

图36示出其中也被称为Q3D跑道的预测路径图像3618表示基于器械的当前位置和取向的器械特征的可见几何虚拟延伸的示例。示例目标器械为缝合器器械3620，所示缝合器器械3620处于紧接在解剖组织上并且触发缝合器之前的位置和取向中。外科医生可以花费时间在周围操纵缝合器，以便理解在部署期间缝合器将抵达何处。虚线图像示出包括六条缝合线的示例缝合器的缝合线特征的延伸。如果考虑到示例缝合器3620的当前位置和取向而将其形状延伸一些距离，则虚拟延伸图像3618包括指示由示例缝合器3620占据的物理空间的图像。考虑到Q3D内窥镜可以用于产生包括缝合器和目标组织的3D尺寸和取向的模型，可以确定延伸越过缝合器的实际当前位置并且朝向目标组织(例如，图36中的结肠直肠结构)的缝合线的预测路径。应该认识到，在手术程序期间，内窥镜视野(FOVe)通过观察器312对于外科医生可见，如上参考图4所述。因此，外科医生可以在缝合器实际触摸到目标组织之前，模拟数个缝合器部署取向。这样，外科医生可以更加精确地理解当在组织上夹紧以用于缝合和切除时，缝合器钉仓和砧将抵达目标组织上的何处。因此，外科医生将能够优化缝合线和缝合刀轨迹的取向，以实现期望的治疗目标。

Q3D空间中的器械追踪

图37为示出与具有内窥镜视野(FOV_e)的图像传感器阵列210相关联的内窥镜2502的示意图。图37还示出根据一些实施例的相同手术器械的一部分，和设置在FOV_e内的手术场景3708中的解剖结构3707，其中相同手术器械的一部分在多个不同位置3706-p1、3706-p2和3706-p3处示出。应该认识到，在手术程序期间，内窥镜视野(FOVe)通过观察器312对于外科医生可见，如上参考图4所述。光源2510照亮手术场景3708。如参考图7A至图7B和图8至图10所解释的，图像传感器阵列210被定位成捕捉FOV_e内的手术器械3706和解剖结构3707的图像投影，图像投影照亮与内窥镜2502的顶端部分2512相关联的传感器阵列210。虽然所示图像传感器阵列210邻近内窥镜顶端2512设置，但应该认识到，替代地，图像传感器阵列可以例如从顶端2512移置，如参考图7B所解释。如上参考图8所解释，内窥镜2502被定位成穿透人体壁组织(例如，经由插管)或进入自然孔口并且在患者的体腔内延伸，以便提供到手术场景3008的可视化入口，手术场景3008包括例如目标、手术器械3706和患者体腔内部的解剖结构3707。以上提供了内窥镜及其操作的一些实施例的附加解释，并且将不对其进行重复。

图37示出根据一些实施例的如参考图5至图6所描述进行部署的Q3D内窥镜2502的视野(FOV_e)。如图5至图6所示，器械101A至器械101B和Q3D内窥镜101C可以在手术介入期间通过不同的插管进行部署。如上所提及，替代地，内窥镜和一个或更多个器械还可以穿过单个开口(单个切口或自然孔口)，以到达手术场景。因此，插管的使用不是强制性的。手术介入可以包括远程操作医疗系统的使用，或者其可以是手动的微创介入，或者其可以是开放手术介入或其组合。图6参考远程操作手术介入示出患者侧推车的机械手术臂158A至158D上的内窥镜101C和器械101A至101B的布置。

出于说明的目的，所示目标手术器械3706具有呈针驱动器形式的端部执行器，诸如用于DA VINCI

手术系统的Mega针驱动器。然而，在手术介入期间，可以使用替代的端部执行器实施不同的手术器械功能，诸如剪刀、抓紧器、解剖刀、烧灼电极或施夹器。在示例场景3708中，如通过虚线箭头所指示，相同的目标器械3706从其位置3706-p1到其位置3706-p2然后到其位置3706-p3改变位置。例如，在医疗介入期间，外科医生可以使目标器械从位置3706-p1移动到位置3706-p2并且然后到位置3706-p3。

图38A至图38C为表示根据一些实施例的目标器械的位置从在第一时间点时的位置3706-p1(图38A)到第二时间点时的位置3706-p2(图38B)到第三时间点时的位置3706-p3(图38C)的变化的示意图。参考图4，根据一些实施例，外科医生可以通过包括观察器312的立体显示设备164来观察患者身体内部的手术部位的图像的视频帧。在第一时间点时，外科医生观察图38A所示的场景。在第二时间点时，外科医生观察图38B所示的场景。在第三时间点时，外科医生观察图38C所示的场景。有时在手术的过程中，器械3706可以由于例如血液而变得模糊，并且外科医生可随时难以从解剖对象3707的周围组织结构区别目标器械3706。

图39为表示根据一些实施例的通过使用Q3D系统来追踪目标器械的过程2700的示意流程图。将参考手术场景3708来对过程3900进行描述。

模块3902配置计算机151以针对目标器械3706从3706-p1到3706-p2到3706-p3的多个对应位置变化中的每个创建不同的Q3D模型Q3D-1、Q3D-2和Q3D-3。替代地，第一Q3D模型可以用有关改变器械3706的位置的增量信息来进行更新。Q3D模型或相应的增量更新存储在非暂时性存储设备3950中。

模块3904配置计算机系统151以识别多个不同Q3D模型中的每个中的目标器械。在一些实施例中，将目标器械形状信息与Q3D模型距离信息匹配，以识别目标器械。例如，将目标器械的形状存储在非暂时性存储设备3950中。存储的器械形状可以从其计算机辅助设计(CAD)模型中知道。替代地，可以预先扫描器械，并且将所得的扫描进行拼接，以形成3D形状模型。可以采用最佳匹配算法以检测与目标器械的存储形状最佳匹配的Q3D模型的截面。如前所述，最佳匹配算法使用2D或3D相关函数，以将存储的器械形状与通过遍历Q3D模型所提取的最佳匹配候选进行比较。

模块3906配置计算机系统151以产生Q3D模型中的每个的可视化表示，所述可视化表示各自包括目标器械3706的可视化指示。如上参考图22A至图22B所解释，例如，Q3D模型的可视化图像表示可以包括显示的可视化标记，所述可视化标记与场景3708的可视化3D视频表示中所示的目标相关联。

参考图40，其示出根据一些实施例的场景3708的示例可视化表示，其中处于第二位置3706-p2中的所示目标器械3706与可视化标记“M2”相关联。应该认识到，如上参考图4所描述，在手术程序期间，内窥镜视野(FOV_e)通过观察器312对于外科医生可见。目标器械3706的可视化图像由于体液4002诸如例如血液而从视图部分地模糊。然而，基于Q3D-2提供的标记“M2”指示目标器械3706在位置3706-p2处的位置。因此，可以产生多个Q3D可视化表示以示出在不同时间处的目标器械位置，这允许操作者追踪场景3708内目标器械，即使例如器械由于体液而从视图中变得模糊。

替代地，可以采用呈以已知图案凸起或凹陷的轮廓特征形式的可视化标记。例如，器械可以压印有Q3D内窥镜可识别的图案。图案可以被压印，以便提供图案压印于其上的器械的取向的指示。通过捕捉指示轮廓图案的信息，可以生成Q3D模型，Q3D模型指示器械的位置和取向，即使器械由于流体诸如血液而在视觉上被模糊。

根据本发明实施例的前述描述和附图仅说明了本发明的原理。因此，应该理解，在不背离所附权利要求所限定的本发明的精神和范围的情况下，本领域的技术人员可以对实施例进行各种修改。具体地，以上描述的系统和方法存在于包括Q3D内窥镜的实施方式中，Q3D内窥镜包括图像传感器阵列。然而，本发明的范围包括其他类型的Q3D内窥镜，诸如基于飞行时间成像传感器的Q3D内窥镜。本领域的技术人员将知道如何用其他Q3D内窥镜替代Q3D内窥镜2502。

Claims

1.一种用于操纵手术器械的系统，其包括：

定量三维内窥镜即Q3D内窥镜，其被设置成对其视野内的场景进行成像；和

至少一个处理器，其经配置：

确定通过所述Q3D内窥镜成像的所述场景的Q3D模型；

识别所述场景内的第一目标；

识别所述场景内的第二目标；

确定与所述第一目标或所述第二目标中的至少一个相关联的Q3D禁飞区。

2.根据权利要求1所述的系统，其中所述至少一个处理器经配置：

至少部分地基于所述Q3D模型确定所述Q3D禁飞区是否已经被侵犯；以及

响应于确定Q3D禁飞区被侵犯，提供输出信息。

3.根据权利要求2所述的系统，其中所述至少一个处理器至少部分地响应于所述输出信号产生警报。

4.根据权利要求3所述的系统，其中所述警报能够是以下各项中的一个：可视化、视频、音频、触觉、图形化或文本。

5.根据权利要求1所述的系统，其中所述至少一个处理器经配置：

至少部分地基于所述第一目标与所述第二目标之间的最近距离小于阈值距离，确定所述Q3D禁飞区是否已经被侵犯。

6.根据权利要求1所述的系统，

其中所述第一目标包括手术器械；

其中所述Q3D禁飞区与所述第一目标相关联；以及

其中所述至少一个处理器经配置确定所述第一目标与所述第二目标之间的距离是否足够小以使所述第二目标位于所述Q3D禁飞区内。

7.根据权利要求1所述的系统，

其中所述第一目标包括解剖结构；

其中所述第二目标包括手术器械；

其中所述Q3D禁飞区与所述第一目标相关联；以及

8.一种用于操纵手术器械的系统，其包括：

至少一个处理器，其经配置：

确定通过所述Q3D内窥镜成像的场景的Q3D模型；

识别成像的场景内的至少一个器械；以及

至少部分地基于来自识别的器械所遵循的先前路径的外推和所述识别的器械的虚拟延伸中的至少一个，确定所述识别的器械的预测路径。

9.根据权利要求8所述的系统，其中所述系统包括允许所述用户从一组器械中选择所述至少一个器械的输入。

10.根据权利要求8所述的系统，其中所述至少一个处理器进一步经配置：根据在一个或更多个不同时间点中的每个时所述识别的器械在所述Q3D模型内的一个或更多个3D姿态来确定所述先前路径。

11.根据权利要求10所述的系统，其中所述系统包括允许用户选择所述一个或更多个不同时间点的输入。

12.根据权利要求8所述的系统，其中所述至少一个处理器进一步经配置：

确定由所述Q3D内窥镜在多次中的每次时成像的场景的Q3D模型；

确定在所述多次中的每次时所述成像的场景内的所述至少一个器械的位置；以及

基于在所述多次中的每次时所述成像的场景内的所述至少一个器械的确定的位置来确定所述先前路径。

13.根据权利要求8所述的系统，

其中基于所述识别的器械的虚拟延伸确定所述识别的器械的预测路径进一步包括：

确定所述识别的器械在所述Q3D模型内的3D姿态。

14.根据权利要求8所述的系统，其中所述至少一个处理器进一步经配置：

识别所述成像的场景内的解剖结构；

确定在所述Q3D模型中的所述预测路径与所述解剖结构交叉的位置。

15.根据权利要求14所述的系统，其中所述系统包括允许所述用户选择所述器械和所述解剖结构之间的期望接触位置的输入。

16.根据权利要求15所述的系统，其中所述至少一个处理器进一步经配置：

至少部分地基于所述预测路径来产生所述识别的器械的3D虚拟延伸图像。

17.根据权利要求16所述的系统，其中所述系统包括3D显示器，所述3D显示器显示所述预测路径、与所述解剖结构的所述交叉、所述期望接触位置或所述识别的器械的所述3D虚拟延伸图像中的至少一个。

18.一种用于识别手术场景中的手术器械的系统，其包括：

至少一个处理器，其经配置：

确定通过所述Q3D内窥镜成像的所述场景的Q3D模型；

识别所述场景内的至少一个目标器械；以及

在所述场景的可视化3D表示中产生可视化标记，所述可视化标记指示所述识别的目标器械在所述场景的所述可视化3D表示内的位置。

19.根据权利要求18所述的系统，其中所述至少一个处理器经配置：

通过匹配目标器械构造形状信息与从所述Q3D模型检索的形状信息，识别所述Q3D模型内的所述至少一个目标器械。

20.根据权利要求18所述的系统，其中所述至少一个处理器经配置：

在所述场景的可视化3D表示中产生所述可视化标记，当所述目标器械在所述Q3D内窥镜的视野内移动时，所述可视化标记追踪所述识别的目标器械在所述场景的所述可视化3D表示内的位置。

21.根据权利要求18所述的系统，其中所述系统包括3D显示器，所述3D显示器显示所述目标器械、所述场景的所述3D表示或所述可视化标记。